CN114359014A - 用于卷帘式快门传感器的动态驱动器机构以获取结构光图案 - Google Patents

Abstract

一种装置，包括卷帘式快门图像传感器、结构光投射器和处理器。卷帘式快门图像传感器可以被配置为捕获图像。结构光投射器可以被配置为生成结构光图案。处理器可以被配置为：从所述卷帘式快门图像传感器接收图像；对图像执行计算机视觉操作以检测图像中的对象；确定与检测到的对象相对应的开始线位置和结束线位置；以及向结构光投射器呈现控制信号。控制信号可以被配置为：当卷帘式快门图像传感器位于开始线位置时，激活结构光图案；以及当卷帘式快门图像传感器位于结束线位置时，去激活结构光图案。

Description

用于卷帘式快门传感器的动态驱动器机构以获取结构光图案

技术领域

本发明总体上涉及3D感测系统，并且更具体地涉及一种用于实现用于卷帘式快门传感器的动态驱动器机构以获取结构光图案的方法和/或装置。

背景技术

常规的3D感测解决方案利用全局快门传感器来捕获结构光图案。全局快门传感器是高成本的设备，因为全局快门传感器的所有像素同时开始曝光。使用全局快门传感器会阻止低成本设备成为3D感测应用中的解决方案。

卷帘式快门传感器通常不用于捕获结构光图案，因为卷帘式快门传感器无法同时曝光传感器的所有像素。与全局快门传感器相比，卷帘式快门传感器常常是成本更低的传感器。卷帘式快门传感器一次仅曝光传感器的像素中的一部分(即，像素的每一排(或每一行)在不同时间开始曝光，通常随时间推移从传感器的顶部到传感器的底部曝光)。在指定的帧处利用卷帘式快门传感器获取结构光图案将影响在不同时间获取的其他帧。如果结构光图案不能同时与红外(IR)帧匹配，则IR帧可能仅具有带有结构光图案的一半或更少的帧。即使存在结构光图案，因为投射器由于硬件限制而仅在很短的时间内开启，所以该图案也将不够清晰。

期望实现用于卷帘式快门传感器的动态驱动器机构以获取结构光图案。

发明内容

本发明涉及一种包括卷帘式快门图像传感器、结构光投射器和处理器的装置。卷帘式快门图像传感器可以被配置为捕获图像。结构光投射器可以被配置为生成结构光图案。处理器可以被配置为：从所述卷帘式快门图像传感器接收图像；对图像执行计算机视觉操作以检测图像中的对象；确定与检测到的对象相对应的开始线位置和结束线位置；以及向结构光投射器呈现控制信号。控制信号可以被配置为：当卷帘式快门图像传感器位于开始线位置时，激活结构光图案；以及当卷帘式快门图像传感器位于结束线位置时，去激活结构光图案。

附图说明

通过下面的详细描述以及所附的权利要求书和附图，本发明的实施例将变得显而易见。

图1是示出根据本发明的示例实施例的卷帘式快门传感器系统的图。

图2是示出相机系统的框图的图。

图3是示出在包括RGB-IR卷帘式快门传感器的相机系统中的卷帘式快门系统的图。

图4是示出在包括单独的IR卷帘式快门传感器和RGB卷帘式快门传感器的相机系统中的卷帘式快门系统的图。

图5是示出根据本发明的示例实施例的3D感测系统的元件的图。

图6是示出检测感兴趣区域在图像帧中的开始线和结束线的图。

图7是示出针对IR图像帧的曝光的开始时间和结束时间的图。

图8是示出针对传感器曝光的时序图的图。

图9是示出提供面部解除特征的示例安全面板的图。

图10是示出示例访问控制面板的图。

图11是示出使用密码的示例访问控制面板的图。

图12是示出使用面部识别的示例访问控制面板的图。

图13是示出用于使用卷帘式快门传感器获取结构光图案的方法的流程图。

图14是示出当结构光图案不活动时用于执行计算机视觉来检测对象以确定感兴趣区域在视频帧中的开始线和结束线的方法的流程图。

图15是示出当结构光图案活动时用于执行深度分析的方法的流程图。

图16是示出用于实现用于卷帘式快门传感器的动态驱动器机构的方法的流程图。

具体实施方式

本发明的实施例包括提供一种用于卷帘式快门传感器的动态驱动器机构以获取结构光图案，该动态驱动器机构可以(i)控制卷帘式快门传感器的快门曝光时间；(ii)控制结构光投射器的开启时间和持续时间；(iii)检测感兴趣对象以确定感兴趣区域；(iv)利用来自卷帘式快门传感器的信号(或中断)作为触发信号；(v)响应于触发信号而生成单独的信号来控制结构光投射器；(vi)利用计时器来控制结构光投射器的开启时间；(vii)将结构光的时序与卷帘式快门传感器的对应于感兴趣区域的曝光像素的时序对齐；(viii)与全局快门传感器实现方式相比具有较低的成本；(ix)为控制结构光投射器提供更大的灵活性；(x)与全局快门传感器实现方式相比具有降低的功耗；(xi)在低功率且电池操作的设备中实现；(xii)用于实现低成本的基于结构光的3D感测系统；和/或(xiii)被实现为一个或多个集成电路。

本发明的实施例可以实现用于卷帘式快门传感器的动态驱动器机构。动态驱动器机构可以被配置为获取结构光图案(SLP)。卷帘式快门传感器可能无法同时曝光传感器的所有像素。动态驱动器机构可以被配置为使得卷帘式快门传感器能够获取在特定区域处的结构光图案。通过使得卷帘式快门传感器能够获取在特定区域处的结构光图案，可以使用结构光图案来生成深度图像。例如，深度图像可以用于3D感测、3D建模、3D面部识别、存在性判断等。

在各种实施例中，可以实现低成本的3D感测平台，该低成本的3D感测平台包括视觉片上系统(SoC)、结构光投射器和RGB-IR卷帘式快门图像传感器。在各种实施例中，单个RGB-IR图像传感器可以用于获得可见光图像和红外(IR)图像两者。在各种实施例中，可见光图像(不具有结构光图案)和/或红外图像(不具有结构光图案)可以用于观看、对象(例如，面部等)检测、对象标识和/或面部识别。具有结构光图案的红外(IR)图像可以用于深度感测和存在性确定。例如，可以生成不具有结构光图案的IR图像(例如，当SLP投射器处于关闭状态时)，并且不具有结构光图案的IR图像也可以用于面部检测或面部识别。然而，具有结构光图案的IR图像可以用于深度感测/3D感测/存在性确定，而不具有结构光图案的IR图像可能不能执行深度感测/3D感测/存在性确定。在示例中，视觉SoC可以在单个芯片上提供深度处理、反欺骗、结构光控制、对象检测、对象标识和/或分类、3D面部检测和/或识别以及视频编码。在示例中，视觉SoC可以响应于分析由RGB-IR卷帘式快门图像传感器捕获的图像而生成一个或多个控制信号。在示例中，视觉SoC可以使用一个或多个控制信号来控制安全系统的一个或多个特征(例如，门锁、警报系统、受控访问系统、支付系统等)。在示例中，视觉SoC可以被配置为存储并执行人工神经网络(ANN)，从而实现特征检测和提取、对象检测和标识以及面部检测和识别。在示例中，ANN可以被存储(例如，在非易失性计算机可读存储介质中)作为有向非循环图(DAG)和对应的权重。

本发明的实施例可以被配置为裁剪IR图像的部分并且聚焦于指定的感兴趣区域(ROI)以获取结构光图案。结构光图案的获取可以是动态的，以确保ROI可以充满红外(IR)图像上的结构光图案(例如，结构光图案对于ROI具有充分的积分时间)。在示例中，ROI可以是图像的包括感兴趣对象(例如，人脸)的位置、区域和/或部分。可以根据具有结构光图案的IR图像来计算深度图像。

本发明的实施例可以被配置为从ROI的开始线直到ROI的结束线开启结构光。可以基于感兴趣对象的定位动态地改变ROI。如果在ROI的指定行处的结构光的激活时序与IR帧曝光时序同时不匹配，则ROI可能没有具有充分的积分时间的结构光。可以实现固定的中断信号和基于系统时钟的计时器来控制时序，以防止IR帧曝光时序与卷帘式快门传感器的ROI获取时序之间的不匹配。本发明的实施例可以被配置为使用普通卷帘式快门传感器(例如，单独的RGB和IR传感器)和/或RGB-IR卷帘式快门传感器(例如，利用单个传感器接收RGB和IR像素数据两者)。

本发明的实施例可以被配置为实现卷积神经网络(CNN)。可以执行计算机视觉操作以使得CNN能够检测感兴趣对象的存在。可以在图像帧中的检测感兴趣对象的位置(例如，坐标)。例如，可以在图像帧上使用面部检测操作来检测人脸。感兴趣对象的位置可以用于确定感兴趣区域在图像帧中的开始线和结束线。可以基于感兴趣区域的开始线和结束线来动态地激活结构光(例如，可以使用在图像帧中确定的面部定位来获取在ROI中的结构光图案)。

由于卷帘式快门可以不如全局快门图像传感器昂贵，从而实现本发明的实施例可以使得能够在低成本设备中实现3D感测。结构光投射器的时序可以是可控制的。可以容易地调整时序序列以进行灵活的设计(例如，可以基于反馈来校正时序)。控制结构光的激活的时序可以提供功率节省。当不存在感兴趣对象时，可以关闭结构光图案。

本发明的实施例可以用于低成本3D感测设备中。3D感测可以用于各种应用中以检测和/或识别人的面部。在一个示例中，设备可以使用面部识别来解锁门和/或解除警报系统。在另一示例中，设备可以使用面部识别来允许进入特定区域(例如，对受限区域的“绊网(tripwire)”访问)。例如，可以识别园丁/水池维护人员正在进入住宅房间的后院，并且可以不触发房间安全警报(例如，这可能限于一周中的某些时间和某些天)。在又一示例中，面部识别可以用于在识别时触发警报(例如，如果限制令是针对前配偶的，则如果检测到前配偶，则可以向紧急服务发出警报)。在又一示例中，可以通过基于视频/音频标识获得特权来访问安全系统(例如，类似于Linux中的超级用户访问，其中即使输入了正确的密码，也仅允许特定人或组改变访问级别或策略、添加用户等)。实现本发明的设备的类型可以根据特定实现方式的设计标准而变化。

根据本发明的实施例的低成本3D感测平台可以被配置为实现准确的生物特征标识，该准确的生物特征标识也维护了用户隐私。准确的生物特征标识可以实现具有针对种族多样化人群的面部生物特征和存在性检测的智能访问控制和视频安全产品。生物特征标识可以实现非接触式访问(例如，适合在流行病期间使用)。使用3D而不是2D识别进行感测可以防止欺骗、假阳性、假阴性、性别偏见、种族偏见等。例如，深度处理、反欺骗、3D面部识别和视频编码可以在单个处理芯片上实现。

在各种应用中，根据本发明的实施例的低成本的3D感测平台可以显著地降低系统复杂度，同时改进性能、可靠性和安全性。在示例中，根据本发明的实施例的视觉SoC可以包括但不限于强大的图像信号处理器(ISP)、对RGB-IR颜色滤波器阵列的本地支持以及高级高动态范围(HDR)处理，这可以在低光照且高对比度的环境中产生卓越的图像质量。在示例中，根据本发明的实施例的视觉SoC可以提供一种架构，该架构递送用于存在性检测和3D面部识别的计算功率，同时针对诸如人数计数和反追尾(anti-tailgating)之类的高级特征运行多种人工智能(AI)模型。本发明的各种实施例可以实现低成本的3D感测平台，如在于2020年8月18日提交的共同未决的美国专利申请第16/996,114号中所描述的，该申请的适当部分通过引用合并于此。

参考图1，示出了说明根据本发明的示例实施例的动态驱动器机构的示例实现方式的装置的框图。示出了系统100。系统100可以实现相机系统和/或3D感测平台。在一个示例中，系统100可以包括用于RGB-IR卷帘式快门传感器的动态驱动器机构，该RGB-IR卷帘式快门传感器被配置为获取结构光图案。在另一示例中，系统100可以包括用于IR卷帘式快门传感器(例如，与RGB图像传感器分开实现的IR传感器)的动态驱动器机构。

系统100可以包括块(或电路)102、块(或电路)104和/或块(或电路)106。电路102可以实现处理器和/或片上系统(SoC)。电路104可以实现红外结构光投射器。电路106可以实现捕获设备(或模块)。在示例中，捕获设备106可以是安全/监视相机。系统100可以包括其他组件(未示出)。系统100的组件的数量、类型和/或布置可以根据特定实现方式的设计标准而变化。

处理器102可以包括块(或电路)108和/或块(或电路)110。电路108可以实现图像信号处理(ISP)电路(或处理器或前端)。在一个示例中，电路108通常能够执行多通道ISP。电路110可以实现控制电路(例如，专用电路、嵌入式控制器、处理器、微处理器等)。在示例中，电路102可以包括块(或电路)112。电路112可以实现结构光(SL)控制电路(或功能)。在一个示例中，电路110和电路112可以被实现为单独的电路核心，其可以在单个集成电路衬底(或管芯)上或在多芯片模块(MCM)中被实例化。处理器102可以包括其他组件(未示出)。例如，处理器/SoC 102可以包括存储器、音频处理器和/或其他硬件模块。处理器102的组件的数量、类型和/或布置可以根据特定实现方式的设计标准而变化。

结构光投射器104可以包括结构光源120。结构光源120可以被配置为生成信号(例如，SLP)。信号SLP可以是结构光图案。

捕获设备106可以包括卷帘式快门传感器130。在所示的示例中，卷帘式快门传感器130可以实现RGB-IR传感器。在一些实施例中，捕获设备106可以包括卷帘式快门IR传感器和RGB传感器(例如，被实现为单独的组件)。捕获设备106可以被配置为接收输入信号(例如，LIN)。信号LIN可以是光输入。卷帘式快门传感器130可以被配置为将输入光LIN转换为计算机可读数据。

在示例中，结构光源120可以被实现为垂直腔表面发射激光器(VCSEL)的阵列和镜头。然而，可以实现其他类型的结构光源以满足特定应用的设计标准。在示例中，VCSEL的阵列通常被配置为生成激光图案(例如，信号SLP)。镜头通常被配置为将激光图案分解为密集的点图案阵列。在示例中，结构光源120可以实现近红外(NIR)光源。在各种实施例中，结构光源120的光源可以被配置为发射波长大约为940纳米(nm)的光，该光对于人眼是不可见的。然而，可以利用其他波长。在示例中，可以利用在大约为800nm-1000nm的范围内的波长。

在各种实施例中，电路110可以连接到IR结构光投射器104、捕获设备106和ISP电路108。捕获设备106还可以连接到ISP电路108。在示例中，电路110通常提供中央控制机构以使结构光投射器104和捕获设备106的时序同步。在示例中，电路110可以被配置为计算并维护预定义的时序模型，以控制结构光投射器104的结构光源120。在示例中，电路110还可以被配置为控制捕获设备106的卷帘式快门传感器130的曝光时间。在示例中，电路110还可以被配置为控制ISP电路108以与捕获设备106的输出同步。

在各种实施例中，电路110可以被配置为生成一个或多个视频输出信号(例如，VIDOUT)以及一个或多个控制信号(例如，CTRL)。在示例中，一个或多个控制信号CTRL可以用于控制在电路110和/或SoC 102外部的一个或多个设备的特征(或操作)。

在一些实施例中，图像信号处理器108可以被配置为呈现信号(例如，EOF)。信号EOF可以是中断信号。中断信号EOF可以提供卷帘式快门传感器130的第一排(或第一行)何时开始曝光的指示(或提供促进使用预定义的公式的计算的信息)。中断信号EOF可以表示由卷帘式快门传感器130生成的帧的结束的指示。帧的结束的指示可以对应于先前帧的结束。先前帧的结束时间可以用于计算第一行何时开始当前帧的曝光。中断信号EOF可以是软中断(例如，未连接到硬件引脚)。在一个示例中，图像信号处理器108(或IDSP)可以被配置为生成中断信号EOF。在另一示例中，来自捕获设备106的其他传感器信号可以用于(例如，使用预定义的公式等)计算第一行何时开始曝光。

电路112可以利用来自图像信号处理器108的中断信号EOF来控制结构光投射器104。在另一示例中，中断信号EOF可以被配置为生成卷帘式传感器130的第一排可以开始曝光的指示。该中断可以使得电路112开始结构光投射器104的结构光源120的预定义的开启时段。在示例中，电路112可以被配置为以预定义的开启时段对计时器进行编程。响应于接收到中断信号EOF，电路112可以启动计时器以在预定义的时间段内开启结构光源。

在所示的示例中，电路110可以具有可以接收中断信号EOF的输入。在所示的示例中，电路110可以具有输入/输出，该输入/输出可以经由信号(例如，ISP SYNC)与ISP电路108的输入/输出进行通信。信号ISP SYNC可以被配置为将结构光投射器104的时序与捕获设备106同步。

在所示的示例中，电路110可以具有可以与ISP电路108的输入/输出通信第一图像通道(例如，RGB DATA)的输入/输出以及可以与ISP电路108的另一个输入/输出通信第二图像通道(例如，IR DATA)的另一个输入/输出。

在所示的示例中，电路110可以具有可以向结构光投射器104的输入呈现信号(例如，SL TRIG)的输出。电路110还可以包括用于呈现一个或多个视频输出信号VIDOUT的输出和/或可以呈现一个或多个控制信号CTRL的另一个输出。电路104可以被配置为响应于信号SL TRIG生而成结构光图案。

在所示的示例中，捕获设备106可以接收光输入LIN。在所示的示例中，捕获设备106可以具有可以呈现数据的输出，该数据可以通信可以用于计算曝光的第一行的开始时间的信息。例如，当第一行曝光的开始时间已知时，处理器102可以决定何时在指定时间开启结构光源120以确保ROI顶部至ROI底部具有结构光图案。

捕获设备106还可以包括可以向/从ISP电路108的输入/输出通信信号的(例如，VIDEO)输入/输出。在示例中，信号VIDEO可以将视频像素信息的四个通道(例如，R、G、B和IR)通信到ISP电路108。在一个示例中，捕获设备106和ISP电路108还可以经由携带信号VIDEO的连接交换控制和/或状态信号(例如，双向通信)。捕获设备106可以将信号VIDEO呈现给图像信号处理器108。信号VIDEO可以包括来自RGB和/或IR像素的图像数据。当图像信号处理器108接收到信号VIDEO时，图像信号处理器108可以分析帧时序和/或确定帧的结束并且生成中断信号EOF。

在示例中，ISP电路108可以被配置为将四通道RGB-IR视频信号VIDEO分为单独的IR图像数据通道和RGB图像数据通道。在示例中，ISP电路108可以被配置为响应于信号VIDEO而生成第一图像通道RGB DATA和第二图像通道IR DATA。第一图像通道RGB DATA通常包括彩色图像数据。在示例中，彩色图像数据可以包括RGB彩色空间数据或YUV彩色空间数据。在示例中，第二图像通道IR DATA可以包括单色图像数据。当结构光图案由结构光投射器电路104投射时，第二图像通道IR DATA通常包括IR图像数据和由结构光投射器电路104投射的结构光图案两者。当结构光图案未由结构光投射器电路104投射时，第二图像通道IRDATA通常包括不具有结构光图案的IR图像数据。当结构光图案由结构光投射器电路104投射时，第一图像通道RGB DATA通常也包括由结构光投射器电路104投射的结构光图案，并且因此通常被忽略。

在示例中，由第二图像通道IR DATA携带的结构光图案数据可以由电路102分析以获得针对捕获设备106的视野的3D(例如，深度)信息。电路110还可以被配置为基于由第二图像通道IR DATA携带的结构光图案数据来进行存在性确定。在示例中，电路110可以分析RGB(或YUV)数据以及不具有结构光图案的IR数据，以辨别(例如，检测、标识等)在捕获设备106的视野中的一个或多个特征或对象。

在示例中，电路112可以被配置为生成信号SL TRIG。电路112可以实现根据本发明的实施例的结构光控制时序协议(下面结合图2-8进行描述)。在示例中，电路112可以以硬件、软件(或固件、微码等)或硬件和软件的组合来实现。

在示例中，结构光源120可以被配置为响应于信号SL TRIG而发射结构光图案。在示例中，可以由电路110控制(例如，编程)由结构光源120发射的光的时段和/或强度。在示例中，电路110可以在使信号SL TRIG有效之前配置结构光源120。

在示例中，卷帘式快门传感器130可以被实现为卷帘式快门图像传感器。在示例中，卷帘式快门传感器130可以被实现为RGB-IR卷帘式快门互补金属氧化物半导体(CMOS)图像传感器。在一个示例中，卷帘式快门传感器130可以被配置为使指示第一行曝光时间的信号(例如，FLES，未示出)有效。在另一示例中，卷帘式快门传感器130可以被配置为提供信号VIDEO，并且图像信号处理器108可以使用预定义的公式计算卷帘式快门传感器130的第一行(或排)的曝光的开始(响应于检测到先前帧的结束，以便指示卷帘式快门传感器130的第一行(或排)开始针对当前图像帧的曝光)。

在一个示例中，卷帘式快门传感器130可以将掩模施加到单色传感器。在示例中，掩模可以包括多个单元，这些单元包含一个红色像素、一个绿色像素、一个蓝色像素和一个IR像素。IR像素可以包含红色、绿色和蓝色滤波器材料，这些滤波器材料可以高效地吸收可见频谱中的所有光，同时允许更长的红外波长以最小的损失通过。利用卷帘式快门，随着传感器的每一行(或排)开始曝光，该行(或排)中的所有像素可以同时开始曝光。

参考图2，示出了说明示例实现方式的相机系统100的框图。在示例中，相机系统100可以包括处理器/SoC 102、结构光投射器104、捕获设备106、块(或电路)150、块(或电路)152、块(或电路)154、块(或电路)156、块(或电路)160、块(或电路)162、块(或电路)164和/或块(或电路)166。电路150可以实现存储器。电路152可以实现电池152。电路154可以实现通信设备。电路156可以实现无线接口。块160可以实现光学镜头。块162可以实现结构光图案镜头。电路164可以实现一个或多个传感器。电路166可以实现人机接口设备(HID)。在一些实施例中，相机系统100可以包括处理器/SoC 102、IR结构光投射器104、捕获设备106、存储器150、镜头160、IR结构光投射器104、结构光图案镜头162、传感器164、电池152、通信模块154和无线接口156。在另一示例中，相机系统100可以包括处理器/SoC 102、结构光投射器104、捕获设备106、镜头160、结构光图案镜头162和传感器164，并且存储器150、电池152、通信模块154和无线接口156可以是单独设备的组件。相机系统100可以包括其他组件(未示出)。相机系统100的组件的数量、类型和/或布置可以根据特定实现方式的设计标准而变化。

存储器150可以存储数据。存储器150可以实现各种类型的存储器，包括但不限于高速缓存、闪速存储器、存储卡、随机存取存储器(RAM)、动态RAM(DRAM)存储器等。存储器150的类型和/或大小可以根据特定实现方式的设计标准而变化。存储在存储器150中的数据可以对应于视频文件、运动信息(例如，来自传感器164的读数)、视频融合参数、图像稳定化参数、用户输入、计算机视觉模型和/或元数据信息。

处理器/SoC 102可以被配置为执行计算机可读代码和/或过程信息。在各种实施例中，计算机可读代码可以被存储在处理器/SoC 102内(例如，微码等)和/或存储器150中。在示例中，处理器/SoC 102可以被配置为执行存储在存储器150中的一个或多个人工神经网络模型(例如，面部识别CNN、对象检测CNN、对象分类CNN等)。在示例中，存储器150可以存储一个或多个有向非循环图(DAG)和定义一个或多个人工神经网络模型的一个或多个权重集。处理器/SoC 102可以被配置为从存储器150接收输入和/或向存储器150呈现输出。处理器/SoC 102可以被配置为呈现和/或接收其他信号(未示出)。处理器/SoC 102的输入和/或输出的数量和/或类型可以根据特定实现方式的设计标准而变化。处理器/SoC 102可以被配置用于低功率(例如，电池)操作。

电池152可以被配置为为相机系统100的组件存储和/或供应电力。用于卷帘式快门传感器130的动态驱动器机构可以被配置为节省功耗。降低功耗可以使得相机系统100能够使用电池152在延长的时间段内操作而无需充电。

通信模块154可以被配置为实现一个或多个通信协议。例如，通信模块154和无线接口156可以被配置为实现以下各项中的一个或多个：IEEE102.11、IEEE 102.15、IEEE102.15.1、IEEE 102.15.2、IEEE 102.15.3、IEEE102.15.4、IEEE 102.15.5、IEEE 102.20、

和/或

在一些实施例中，无线接口156还可以实现与蜂窝通信网络相关联的一个或多个协议(例如，GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等)。在其中相机系统100被实现为无线相机的实施例中，由通信模块154和无线接口156实现的协议可以是无线通信协议。由通信模块154实现的通信协议的类型可以根据特定实现方式的设计标准而变化。

通信模块154和/或无线接口156可以被配置为生成广播信号作为来自相机系统100的输出。广播信号可以将视频数据VIDOUT和/或(多个)控制信号CTRL发送到外部设备。例如，可以将广播信号发送到云存储服务(例如，能够按需扩展的存储服务)。在一些实施例中，通信模块154可以不发送数据，直到处理器/SoC 102已经执行视频分析确定对象在相机系统100的视野中为止。

在一些实施例中，通信模块154可以被配置为生成手动控制信号。可以响应于由通信模块154接收到的来自用户的信号而生成手动控制信号。手动控制信号可以被配置为激活处理器/SoC102。可以响应于手动控制信号而激活处理器/SoC 102，而不管相机系统100的功率状态如何。

镜头160可以附接到捕获设备106。在示例中，捕获设备106可以包括图像传感器130、块(或电路)182和块(或电路)184。电路182可以是处理器和/或逻辑。电路184可以是存储器电路(例如，帧缓冲器)。镜头160(例如，相机镜头)可以被定向以提供相机系统100周围的环境的视图。镜头160可以旨在捕获环境数据(例如，光输入LIN)。镜头160可以是广角镜头和/或鱼眼镜头(例如，能够捕获宽视野的镜头)。镜头160可以被配置为捕获和/或聚焦用于捕获设备106的光。通常，图像传感器130位于镜头160的后面。基于从镜头160捕获的光，捕获设备106可以生成位流和/或视频数据(例如，信号VIDEO)。

捕获设备106可以被配置为捕获视频图像数据(例如，由镜头160收集并聚焦的光)。捕获设备106可以捕获通过镜头160接收到的数据以生成视频位流(例如，视频帧的序列)。在各种实施例中，镜头160可以被实现为定焦镜头。定焦镜头通常促进更小的尺寸和低功率。在示例中，定焦镜头可以用于电池供电的门铃和其他低功率相机应用。在一些实施例中，镜头160可以被定向、倾斜、平移、缩放和/或旋转以捕获相机系统100周围的环境(例如，捕获来自视野的数据)。在示例中，可以利用主动镜头系统来实现专业相机模型，以用于增强的功能、远程控制等。

捕获设备106可以将接收到的光转换为数字数据流。在一些实施例中，捕获设备106可以执行模数转换。例如，图像传感器130可以对由镜头160接收到的光执行光电变换。处理器/逻辑182可以将数字数据流转换为视频数据流(或位流)、视频文件和/或多个视频帧。在示例中，捕获设备106可以将视频数据呈现为数字视频信号(例如，VIDEO)。数字视频信号可以包括视频帧(例如，顺序数字图像和/或音频)。

由捕获设备106捕获的视频数据可以被表示为信号/位流/数据VIDEO(例如，数字视频信号)。捕获设备106可以将信号VIDEO呈现给处理器/SoC 102。信号VIDEO可以表示视频帧/视频数据。信号VIDEO可以是由捕获设备106捕获的视频流。在一些实施例中，信号VIDEO可以包括可以由处理器102(例如，视频处理流水线、ISP 108等)操作的像素数据。处理器102可以响应于信号VIDEO中的像素数据来生成视频帧。

图像传感器130可以从镜头160接收输入光LIN并且将输入光LIN转换为数字数据(例如，位流)。例如，图像传感器130可以对来自镜头160的光执行光电变换。在一些实施例中，图像传感器130可以具有不被用作图像输出的一部分的额外裕度。在一些实施例中，图像传感器130可以不具有额外裕度。在各种实施例中，图像传感器130可以被配置为生成RGB-IR视频信号。在仅红外光照明的视野中，图像传感器130可以生成单色(B/W)视频信号。在由IR光和可见光两者照明的视野中，图像传感器130可以被配置为生成除了单色视频信号之外的彩色信息。在各种实施例中，图像传感器130可以被配置为响应于可见光和/或红外(IR)光而生成视频信号。

处理器/逻辑182可以将位流转换为人类可见的内容(例如，无论图像质量如何，普通人都可以理解的视频数据，例如，视频帧和/或可以由处理器102转换为视频帧的像素数据)。例如，处理器/逻辑182可以从图像传感器130接收纯(例如，原始)数据，并且基于原始数据来生成(例如，编码)视频数据(例如，位流)。捕获设备106可以具有存储器184以存储原始数据和/或经处理的位流。例如，捕获设备106可以实现帧存储器和/或缓冲器184以存储视频帧(例如，数字视频信号)中的一个或多个(例如，提供临时存储和/或高速缓存)。在一些实施例中，处理器/逻辑182可以对存储在捕获设备106的存储器/缓冲器184中的视频帧执行分析和/或校正。处理器/逻辑182可以提供关于所捕获的视频帧的状态信息。

结构光图案镜头162可以是用于结构光投射器104的镜头。结构光图案镜头162可以被配置为使得在保护结构光源120的同时能够发射由结构光投射器104的结构光源120生成的结构光SLP。结构光图案镜头162可以被配置为将由结构光源120生成的激光图案分解为图案阵列(例如，密集的点图案阵列)。

传感器164可以实现多个传感器，包括但不限于运动传感器、环境光传感器、接近度传感器(例如，超声、雷达、激光雷达等)、音频传感器(例如，麦克风)等。在实现运动传感器的实施例中，传感器164可以被配置为检测在由相机系统100监视的视野中的任何地方的运动。在各种实施例中，运动的检测可以用作用于激活捕获设备106的一个阈值。传感器164可以被实现为相机系统100的内部组件和/或被实现为相机系统100外部的组件。在示例中，传感器164可以被实现为无源红外(PIR)传感器。在另一示例中，传感器164可以被实现为智能运动传感器。在实现智能运动传感器的实施例中，传感器164可以包括被配置为检测运动和/或人的低分辨率图像传感器。

在各种实施例中，传感器164可以生成信号(例如，SENS)。信号SENS可以包括由传感器164收集的各种数据(或信息)。在示例中，信号SENS可以包括响应于运动在被监视的视野中被检测到而被收集的数据、在被监视的视野中的环境光级别和/或在被监视的视野中拾取的声音。然而，可以基于特定应用的设计标准来收集和/或生成其他类型的数据。可以将信号SENS呈现给处理器/SoC 102。在示例中，当运动在由相机系统100监视的视野中被检测到时，传感器164可以生成信号SENS(使信号SENS有效)。在另一示例中，当由在相机系统100监视的视野中的音频触发传感器164时，传感器164可以生成信号SENS(使信号SENS有效)。在又一示例中，传感器164可以被配置为提供关于在视野中检测到的运动和/或声音的方向信息。方向信息也可以经由信号SENS被通信到处理器/SoC 102。

HID 166可以实现输入设备。例如，HID 166可以被配置为接收人类输入。在一个示例中，HID 166可以被配置为接收来自用户的密码输入。在一些实施例中，相机系统100可以包括小键盘、触摸板(或屏幕)、门铃开关和/或其他人机接口设备(HID)166。在示例中，传感器164可以被配置为确定对象何时接近HID 166。在其中相机系统100被实现为访问控制应用的一部分的示例中，可以开启捕获设备106以提供用于标识尝试访问的人的图像，并且锁定区域的照明和/或用于访问的触摸板166的照明可以被开启。例如，可以将来自HID 166的输入的组合(例如，密码或PIN号)与由处理器102执行的存在性判断和/或深度分析相结合，以实现两因素认证。

处理器/SoC 102可以接收信号VIDEO和信号SENS。处理器/SoC 102可以基于信号VIDEO、信号SENS和/或其他输入来生成一个或多个视频输出信号(例如，VIDOUT)以及一个或多个控制信号(例如，CTRL)。在一些实施例中，可以基于对信号VIDEO和/或在信号VIDEO中检测到的对象的分析来生成信号VIDOUT和CTRL。在各种实施例中，处理器/SoC 102可以被配置为执行以下各项中的一个或多个：特征提取、对象检测、对象跟踪和对象识别。例如，处理器/SoC 102可以通过分析来自信号VIDEO的帧并且将该帧与先前帧进行比较来确定运动信息和/或深度信息。比较可以用于执行数字运动估计。在一些实施例中，处理器/SoC102可以被配置为生成包括来自信号VIDEO的视频数据的视频输出信号VIDOUT。视频输出信号VIDOUT可以被呈现给存储器150、通信模块154和/或无线接口156。

用于基于运动传感器164的输出来激活和/或禁用捕获设备106的多步骤方法和/或相机系统100的任何其他功耗特征可以被实现以减少相机系统100的功耗并且延长电池152的可操作寿命。传感器164的运动传感器可以在电池152上具有低耗电量(例如，小于10W)。在示例中，传感器164的运动传感器可以被配置为保持开启(例如，始终活动)，除非响应于来自处理器/SoC 102的反馈而被禁用。由处理器/SoC 102执行的视频分析可以在电池152上具有相对大的耗电量(例如，大于运动传感器164)。在示例中，处理器/SoC 102可以处于低功率状态(或掉电)，直到某种运动由传感器164的运动传感器检测到为止。

相机系统100可以被配置为使用各种功率状态进行操作。例如，在掉电状态(例如，睡眠状态、低功率状态)下，传感器164的运动传感器和处理器/SoC 102可以开启，并且相机系统100的其他组件(例如，图像捕获设备106、存储器150、通信模块154等)可以关闭。在另一示例中，相机系统100可以在中间状态下操作。在中间状态下，图像捕获设备106可以开启，并且存储器150和/或通信模块154可以关闭。在又一示例中，相机系统100可以在通电(或高功率)状态下操作。在通电状态下，传感器164、处理器/SoC 102、捕获设备106、存储器150和/或通信模块154可以开启。相机系统100可以在掉电状态下消耗来自电池152的一些电力(例如，相对小和/或最小量的电力)。在通电状态下，相机系统100可以消耗来自电池152的更多电力。在相机系统100在功率状态中的每一种状态下操作时，功率状态和/或相机系统100的开启的组件的数量可以根据特定实现方式的设计标准而变化。

示出的处理器102包括多个块(或电路)190a-190n。块190a-190n可以实现由处理器102实现的各种硬件模块。硬件模块190a-190n可以被配置为提供各种硬件组件以实现视频处理流水线。电路190a-190n可以被配置为接收像素数据VIDEO、根据像素数据生成视频帧、对视频帧执行各种操作(例如，去变形(de-warp)、卷帘式快门校正、裁剪、放大、图像稳定化等)、准备视频帧以与外部硬件进行通信(例如，编码、打包、颜色校正等)、解析特征集、实现计算机视觉的各种操作(例如，对象检测、分段、分类等)等。处理器102的各种实现方式可以不一定利用硬件模块190a-190n的所有特征。硬件模块190a-190n的特征和/或功能可以根据特定实现方式的设计标准而变化。可以与于2020年4月16日提交的美国专利申请第16/831,549号、于2019年2月28日提交的美国专利申请第16/288,922号和于2017年5月12日提交的美国专利申请第15/593,493号(现在的美国专利第10,437,600号)、于2020年8月12日提交的美国专利申请第16/991,344号相关联地描述硬件模块190a-190n的细节，这些申请的适当部分通过引用以其整体合并于此。

硬件模块190a-190n可以被实现为专用硬件模块。与软件实现方式相比，使用专用硬件模块190a-190n实现处理器102的各种功能可以使处理器102能够高度优化和/或被定制化以限制功耗、减少热量生成和/或增加处理速度。硬件模块190a-190n可以是可定制化的和/或可编程的，以实现多种类型的操作。实现专用硬件模块190a-190n可以使得用于执行每种类型的计算的硬件能够针对速度和/或效率被优化。例如，硬件模块190a-190n可以实现在计算机视觉操作中频繁使用的多个相对简单的操作，这些操作可以一起使得计算机视觉操作能够被实时执行。视频流水线可以被配置为识别对象。可以通过解释数字和/或符号信息来识别对象以确定视觉数据表示对象的特定类型和/或特征。例如，视频数据的像素的数量和/或像素的颜色可以用于将视频数据的部分识别为对象。

硬件模块190a-190n中的一个(例如，190a)可以实现调度器电路。调度器电路190a可以被配置为存储有向非循环图(DAG)。在示例中，调度器电路190a可以被配置为响应于接收到(例如，加载)的特征集信息来生成并存储有向非循环图。有向非循环图可以定义要执行以从视频帧中提取数据的视频操作。例如，有向非循环图可以定义在执行计算机视觉操作时要应用的各种数学加权以将各种像素组分类为特定对象。

调度器电路190a可以被配置为解析非循环图来生成各种算子。可以由调度器电路190a在其他硬件模块190a-190n中的一个或多个中调度算子。例如，硬件模块190a-190n中的一个或多个可以实现被配置为执行特定任务的硬件引擎(例如，被设计为执行重复用于执行计算机视觉操作的特定数学运算的硬件引擎)。调度器电路190a可以基于算子何时可以准备好由硬件引擎190a-190n处理来调度算子。

调度器电路190a可以基于硬件模块190a-190n的可用性来将任务时间复用到硬件模块190a-190n来执行工作。调度器电路190a可以将有向非循环图解析为一个或多个数据流。每个数据流可以包括一个或多个算子。一旦解析了有向非循环图，调度器电路190a就可以将数据流/算子分配给硬件引擎190a-190n，并发送相关的算子配置信息以启动算子。

每个有向非循环图的二进制表示可以是有向非循环图的有序遍历，其中基于数据相关性来交织描述符和算子。描述符通常提供将数据缓冲区链接到从属算子中的特定操作数的寄存器。在各种实施例中，算子可能不会出现在有向非循环图表示中，直到针对操作数声明了所有从属描述符为止。

硬件模块190a-190n中的一个(例如，190b)可以实现卷积神经网络(CNN)模块。CNN模块190b可以被配置为对视频帧执行计算机视觉操作。CNN模块190b可以被配置为通过多层特征检测来实现对象的识别。CNN模块190b可以被配置为基于所执行的特征检测来计算描述符。描述符可以使得处理器102能够确定视频帧的像素对应于特定对象的可能性(例如，车辆的特定制造/模型/年份、将人标识为特定个体、检测动物的类型等等)。

CNN模块190b可以被配置为实现卷积神经网络能力。CNN模块190b可以被配置为使用深度学习技术来实现计算机视觉。CNN模块190b可以被配置为使用通过多层特征检测的训练过程来实现图案和/或图像识别。CNN模块190b可以被配置为针对机器学习模型进行推断。

CNN模块190b可以被配置为仅在硬件中执行特征提取和/或匹配。特征点典型地表示视频帧中的感兴趣区域(例如，角、边缘等)。通过临时跟踪特征点，可以生成捕获平台的自我运动的估计或场景中观察到的对象的运动模型。为了跟踪特征点，通常由硬件将匹配算法并入CNN模块190b中，以找到参考视频帧和目标视频帧中的特征点之间最可能的对应关系。在匹配参考特征点和目标特征点对的过程中，每个特征点可以由描述符(例如，图像块、SIFT、BRIEF、ORB、FREAK等)表示。使用专用硬件电路实现CNN模块190b可以实现实时计算描述符匹配距离。

CNN模块190b可以被配置为执行面部检测、面部识别和/或存在性判断。例如，可以基于由CNN模块190b实现的经训练的神经网络来执行面部检测、面部识别和/或存在性判断。在一些实施例中，CNN模块190b可以被配置为根据结构光图案来生成深度图像。CNN模块190b可以被配置为执行各种检测和/或识别操作和/或执行3D识别操作。

CNN模块190b可以是被配置为执行视频帧的特征检测的专用硬件模块。由CNN模块190b检测到的特征可以用于计算描述符。CNN模块190b可以响应于描述符来确定视频帧中的像素属于特定的一个对象和/或多个对象的可能性。例如，使用描述符，CNN模块190b可以确定像素对应于特定对象(例如，人、家具项目、宠物、车辆等)和/或对象的特征(例如，眼睛的形状、面部特征之间的距离、车辆的引擎盖、身体部位、车辆的牌照、人的面部、人穿的衣服等)的可能性。将CNN模块190b实现为处理器102的专用硬件模块可以使得装置100能够在本地(例如，片上)执行计算机视觉操作，而无需依赖远程设备的处理能力(例如，将数据传送到云计算服务)。

由CNN模块190b执行的计算机视觉操作可以被配置为对视频帧执行特征检测，以便生成描述符。CNN模块190b可以执行对象检测以确定视频帧中具有匹配特定对象的高可能性的区域。在一个示例中，可以使用开放操作数栈来定制化要匹配的对象(例如，参考对象)的类型(从而实现处理器102的可编程性以实现由有向非循环图定义的各种人工神经网络，每个有向非循环图提供用于执行各种类型的对象检测的指令)。CNN模块190b可以被配置为对具有匹配(多个)特定对象的高可能性的区域执行局部掩蔽以检测对象。

在一些实施例中，CNN模块190b可以确定检测到的对象的各种特征的定位(例如，3D坐标和/或位置坐标)。在一个示例中，可以使用3D坐标来确定人的手臂、腿、胸部和/或眼睛的位置。在第一轴上针对身体部位在3D空间中的垂直位置的一个位置坐标以及在第二轴上针对身体部位在3D空间中的水平位置的另一个坐标可以被存储。在一些实施例中，距镜头160的距离可以表示针对身体部位在3D空间中的深度位置的一个坐标(例如，第三轴上的位置坐标)。使用各个身体部位在3D空间中的位置，处理器102可以确定身体定位和/或检测到的人的身体特性。

可以对CNN模块190b进行预训练(例如，将CNN模块190b配置为基于接收到的训练数据来执行计算机视觉以检测对象来训练CNN模块190b)。例如，训练数据的结果(例如，机器学习模型)可以被预编程和/或加载到处理器102中。CNN模块190b可以针对机器学习模型进行推断(例如，以执行对象检测)。训练可以包括确定针对神经网络模型的每一层的权重值。例如，可以针对用于特征提取的层(例如，卷积层)和/或用于分类的层(例如，全连接层)中的每一个确定权重值。由CNN模块190b学习到的权重值可以根据特定实现方式的设计标准而变化。

卷积操作可以包括在执行计算(例如，矩阵操作)的同时使特征检测窗口沿着层滑动。特征检测窗口可以将过滤器应用于像素和/或提取与每个层相关联的特征。特征检测窗口可以应用于像素和多个周围的像素。在示例中，层可以被表示为表示像素和/或层中的一个的特征的值的矩阵，并且由特征检测窗口应用的滤波器可以被表示为矩阵。卷积操作可以在特征检测窗口覆盖的当前层的区域之间应用矩阵乘法。卷积操作可以使特征检测窗口沿着层的区域滑动以生成表示每个区域的结果。区域的大小、由滤波器应用的操作的类型和/或层的数量可以根据特定实现方式的设计标准而变化。

使用卷积操作，CNN模块190b可以在每个提取步骤中针对输入图像的像素计算多个特征。例如，层中的每一个可以接收来自位于先前层(例如，本地感受野)的小邻域(例如，区域)中的特征集的输入。卷积操作可以提取基本的视觉特征(例如，定向的边缘、端点、角等)，然后这些视觉特征由更高的层组合。由于特征提取窗口对像素和附近的像素进行操作，因此操作的结果可以具有位置不变性。层可以包括卷积层、池化层、非线性层和/或全连接层。在示例中，卷积操作可以学习从原始像素(例如，第一层)中检测边缘，然后使用来自先前层的特征(例如，检测到的边缘)以检测在下一层中的形状，并且然后使用形状检测较高层中的较高级特征(例如，面部特征、宠物、车辆、车辆的组件、家具等)，并且最后一层可以是使用较高级特征的分类器。

CNN模块190b可以执行被定向到特征提取和匹配的数据流，包括两阶段检测、变形算子、操纵分量列表的分量算子(例如，分量可以是共享公共属性的矢量的区域，并且可以与边界框组合在一起)、矩阵求逆算子、点积算子、卷积算子、条件算子(例如，复用和解复用)、重映射算子、最小最大归约算子、池化算子、非最小非最大抑制算子、基于扫描窗口的非最大抑制算子、聚集算子、散射算子、统计算子、分类器算子、积分图像算子、比较算子、索引算子、模式匹配算子、特征提取算子、特征检测算子、两阶段对象检测算子、分数生成算子、块归约算子和升采样算子。由CNN模块190b执行以从训练数据中提取特征的操作类型可以根据特定实现方式的设计标准而变化。

硬件模块190a-190n中的每一个可以实现处理资源(或硬件资源或硬件引擎)。硬件引擎190a-190n可以可操作以执行特定的处理任务。在一些配置中，硬件引擎190a-190n可以并行且彼此独立地操作。在其他配置中，硬件引擎190a-190n可以彼此共同地操作以执行分配的任务。硬件引擎190a-190n中的一个或多个可以是同质处理资源(所有电路190a-190n可以具有相同的能力)或异构处理资源(两个或更多个电路190a-190n可以具有不同的能力)。

参考图3，示出了说明在包括RGB-IR卷帘式快门传感器的相机系统中的卷帘式快门系统的图。示出了示例实施例200。示例实施例200可以包括相机系统100的实施例。相机系统100可以包括结构光投射器104和/或捕获设备106。

示例实施例200可以是实现RGB-IR卷帘式快门传感器的相机系统100的示例。RGB-IR卷帘式快门传感器130被示为捕获设备106的组件。在一个示例中，由相机系统100实现的用于卷帘式快门传感器的动态驱动器机构可以被配置为与RBG-IR卷帘式快门传感器130一起操作。

示出了相机系统100生成像素数据202和像素数据204。像素数据202可以是可以用于生成IR图像(或视频帧)的像素数据。像素数据204可以是可以用于生成RGB图像(或视频帧)的像素数据。处理器102的视频处理流水线(例如，ISP电路108)可以被配置为响应于由RGB-IR卷帘式快门传感器130生成的信号VIDEO中的IR像素数据202来生成IR图像。处理器102的视频处理流水线可以被配置为响应于由RGB-IR卷帘式快门传感器130生成的信号VIDEO中的RGB像素数据204来生成RGB图像。在所示的示例中，IR像素数据202和RGB像素数据204被示出为位于相机系统100的外部。然而，通常，IR像素数据202(和生成的IR图像)和/或RGB像素数据204(和生成的RGB图像)可以由处理器102在内部使用(例如，由控制电路112接收到的信号IR DATA和信号RBG DATA)。

参考图4，示出了说明在包括单独的IR卷帘式快门传感器和RGB卷帘式快门传感器的相机系统中的卷帘式快门系统的图。示出了示例实施例200’。示例实施例200’可以包括相机系统100’的实施例。相机系统100’可以包括结构光投射器104和/或捕获设备106。

示例实施例200’可以是实现单独的IR卷帘式快门传感器和RGB卷帘式快门传感器的相机系统100’的示例。捕获设备106被示出为包括IR卷帘式快门传感器130a和RGB卷帘式快门传感器130b。示出了镜头160a-160b。镜头160a可以是用于IR卷帘式快门传感器130a的镜头，并且镜头160b可以是用于RGB卷帘式快门传感器130b的镜头。在一个示例中，由相机系统100’实现的用于卷帘式快门传感器的动态驱动器机构可以被配置为与IR卷帘式快门传感器130a和RGB卷帘式快门传感器130b一起操作。

示出了相机系统100’生成IR像素数据202和RGB像素数据204。可以响应于由IR卷帘式快门传感器130a生成的IR像素数据202来生成IR图像。可以响应于由RGB卷帘式快门传感器130b生成的RGB像素数据204来生成RGB图像。处理器102的视频处理流水线可以被配置为响应于由IR卷帘式快门传感器130a生成的IR像素数据202来生成IR图像。处理器102的视频处理流水线可以被配置为响应于由RGB卷帘式快门传感器130b生成的RGB像素数据204来生成RGB图像。在所示的示例中，IR像素数据202和RGB像素数据204被示出为位于相机系统100’的外部。然而，通常，IR像素数据202(和IR图像)和/或RGB像素数据204(和RGB图像)可以由处理器102在内部使用(例如，由控制电路112接收到的信号IR DATA和信号RBG DATA)。

参考图5，示出了说明根据本发明的示例实施例的3D感测系统的元件的图。示出了3D感测系统250。3D感测系统250可以包括相机系统100。在所示的示例中，3D感测系统250可以实现与图3相关联地示出的RGB-IR相机系统100。在一些实施例中，3D感测系统250可以实现相机系统100，该相机系统100具有与RGB传感器130b分离的IR传感器130a。相机系统100可以被实现在壳体(例如，密封的外壳、防风雨的外壳、保护性的外壳等)内。例如，红外(IR)结构光投射器104(包括结构光图案镜头162和结构光源120)和相机106(包括镜头160和单个RGB-IR图像传感器130)可以安装在壳体202中。

IR结构光投射器104可以被配置为在开启时将结构光图案SLP投射到捕获设备106的视野中的对象上。RGB-IR传感器130可以用于获取针对捕获设备106的视野中的对象的IR图像数据(具有和不具有结构光图案SLP)和RGB图像数据两者。3D感测系统200通常提供优于常规的两个相机感测系统的优点。例如，通过仅利用一个RGB-IR卷帘式快门传感器130来获得具有/不具有结构光图案SLP的RGB图像数据和IR图像数据两者，相对于使用全局快门传感器(例如，一个传感器和一个镜头对两个传感器和两个镜头，以及卷帘式快门对全局快门)的常规系统，3D感测系统200通常减少系统成本和系统复杂度。

结构光图案SLP被示出为虚线。虚线可以表示结构光图案SLP可能不总是存在(例如，仅在结构光投射器104被激活时才存在)。当投射器104被激活时，处理器102可以接收与结构光图案SLP相对应的数据作为IR数据202的一部分。当投射器104未被激活时，处理器102可以不接收与结构光图案SLP相对应的数据。可以由处理器102接收由RGB-IR卷帘式快门传感器130生成的IR像素数据202。可以由处理器102接收由RGB-IR卷帘式快门数据130生成的RGB像素数据204。例如，处理器102可以接收不具有结构光图案SLP的IR像素数据202和RGB像素数据204，或者接收具有结构光图案SLP的IR像素数据202和RGB像素数据204。

处理器102(例如，其实现硬件模块190a-190n中的一个或多个)的视频处理流水线(例如，ISP电路108)可以被配置为响应于IR像素数据202、RGB像素数据204和/或结构光图案SLP而生成图像和/或视频帧。在示例中，处理器102可以被配置为将来自RGB-IR传感器130的IR像素数据202和RGB像素数据204分开为(分为)IR图像数据通道(例如，IR DATA)和RGB图像数据通道(例如，RGB DATA)。处理器102可以被配置为根据IR像素数据202和/或RGB像素数据204生成视频帧。

在示例中，可以由处理器102处理IR图像数据通道和/或RGB图像数据通道，以用于3D(例如，深度)感知、存在性确定、对象检测、面部检测、对象标识以及面部识别。在示例中，存在结构光图案SLP的IR图像数据通道可以用于执行深度分析和存在性确定。不存在结构光图案SLP的IR图像数据和RGB图像数据通道可以用于执行对象检测、面部检测、对象标识和面部识别。

在示例中，当存在结构光图案SLP时(例如，结构光投射器104开启或响应于信号SLTRIG)，可以将深度分析252应用于IR图像数据通道。还可以利用深度分析252以进行存在性确定。在示例中，可以利用深度分析252以在包括真实的人的图像帧与包括人的表示的图像帧(例如，照片、显示在计算机上的图像、显示在智能电话上的图像等)之间进行辨别。在示例中，当不存在结构光图案SLP时(例如，结构光投射器104关闭)的IR图像数据通道和RGB图像数据通道两者可以用于执行对象检测、面部检测、对象标识和面部识别等。

在示例中，当不存在结构光图案SLP时(例如，结构光投射器104关闭)的IR图像数据通道和/或RGB图像数据通道可以被呈现为对硬件模块190a-190n的输入。在示例中，硬件模块190a-190n中的一个或多个可以被配置为实现一个或多个神经网络架构，包括但不限于卷积神经网络(CNN)、深度学习神经网络(DNN)、完全连接的神经网络等。神经网络(更恰当地被称为“人工”神经网络(ANN))是由多个简单的、高度互连的处理元件(例如，由硬件模块190a-190n中的一个或多个实现)组成的计算系统，这些处理元件通过对外部输入的相应的动态状态响应来处理信息。神经网络是一种松散地模仿大脑的神经元结构但规模要小得多的处理设备(算法或实际硬件)。大型神经网络可以具有上百个或上千个处理单元。

神经网络典型地是分层组织的。这些层可以包括执行操作或激活功能的多个互连节点。输入数据被呈现给网络的输入层，该输入层与一个或多个内部(或隐藏)层进行通信，在该内部层中经由经加权的连接的布置来执行实际处理。确定针对神经网络的经加权的连接的权重的过程典型地被称为训练。隐藏层连接到输出层，在输出层中呈现由神经网络实现的预测模型的结果。

在示例中，CNN模块190b可以(例如，通过设计、通过训练过程等)被配置为实时地获得检测、识别和/或分类结果。CNN模块190b可以被配置为执行各种计算机视觉操作254。在示例中，在低光照(或夜晚)环境中，计算机视觉操作254可以利用IR图像数据通道来标识在生成的图像中人的特征和/或标识图像中的无生命对象(例如，计算机、车辆、树等)。在较亮的(白天)环境中，计算机视觉操作254可以利用RGB图像数据通道来基于彩色图像来进行推断(例如，以检测人和/或无生命对象等)。

深度分析252和/或计算机视觉操作254可以被配置为生成结果256。处理器102可以被配置为单独或组合地利用深度分析252和计算机视觉操作254的结果。结果256可以包括与视频帧中的对象的识别、检测和/或位置相对应的数据。在示例中，结果256可以包括深度图像。

具有结构光图案SLP的IR数据可以用于执行深度分析252，并且然后深度分析252的结果256可以用于存在性确定。不具有结构光图案SLP的RGB数据204和/或IR数据202可以用于执行计算机视觉操作254(例如，用于面部检测、对象检测等)。深度分析252和计算机视觉操作254的组合可以生成结果256，该结果256可以包括存在性结果和面部识别结果。面部检测的结果可以是面部的(多个)坐标。面部的坐标可以用于从原始图像裁剪数据以进行面部识别。面部的坐标也可以用于控制激活(例如，动态地开启结构光投射器104)，并且然后，接收到的具有SLP的IR数据202将用于对面部ROI执行深度分析252。

例如，处理器102可以使用结果256来确定感兴趣对象在视频帧中的位置(例如，视频帧的像素中的X，Y坐标、与该视频帧中的感兴趣对象相对应的边界框的位置等)。结果256可以包括关于检测到的对象的分类的信息(例如，检测到的对象的类型、检测到的对象是否匹配参考对象等)。结果256可以由处理器102使用来执行面部检测和/或识别(例如，以将检测到的人标识为特定的人)。处理器102对结果256的利用可以根据特定实现方式的设计标准而变化。

参考图6，示出了说明检测感兴趣区域在图像帧中的开始线和结束线的图。示出了图像帧(或视频帧)300。图像帧300可以是由处理器102生成的视频帧的代表性示例。在示例中，视频帧300可以由处理器102在内部使用以进行计算机视觉操作254。在另一示例中，视频帧300可以被呈现为相机系统100的输出(例如，作为信号VIDOUT)。例如，视频帧300可以被呈现给显示系统。

在所示的示例中，视频帧300可以表示响应于不存在结构光图案输出SLP的IR图像数据(例如，来自IR像素数据202)和RGB图像数据通道(例如，来自RGB像素数据204)而生成的视频帧。例如，处理器102可以使用视频帧300来执行对象检测、面部检测和/或确定对象在视频帧300中的位置。示例视频帧300可以包括人302的图像。在视频帧300的一部分中示出了人302(例如，与人302相对应的视频数据不占据整个视频帧)。人302可以是感兴趣对象。通常，视频帧可以包括对应于其他对象和/或风景(例如，背景、树、地面、天空、远处的对象等)的视频数据。出于说明的目的，示例视频帧300可以仅示出人302。

示出了虚线框304。虚线框304可以对应于人302的脸。例如，人302的脸可以是感兴趣对象。例如，视频帧300可以是在面部识别应用中使用的相机系统100的示例。虚线框304可以表示检测到的对象的边界框。出于说明的目的，可以示出边界框304。通常，当输出到显示器时，边界框304可能没有在输出视频信号VIDOUT中示出(例如，边界框304可以以操作的调试模式被示出，以指示在视频帧中检测到了哪些对象和/或确保正在执行面部识别)。边界框304可以表示视频帧300中已经检测到感兴趣对象的位置(例如，坐标值)。

感兴趣对象可以由处理器102检测。可以响应于由存储器150存储的计算机可读指令和/或参考对象来确定检测到的特定的感兴趣对象。处理器102可以被配置为检测各种类型的感兴趣对象。感兴趣对象的类型可以通过由处理器102实现的人工神经网络来定义。在所示的示例中，由CNN模块190b实现的人工神经网络可以被配置为检测人脸。在所示的示例中，感兴趣对象可以是人302的脸。当相机系统100用于检测人和/或执行面部识别时，人的脸可以是感兴趣对象。在一些实施例中，感兴趣对象可以是动物和/或特定类型的动物(例如，当相机系统100用作用于自然视频/图像的踪迹相机时)。在一些实施例中，感兴趣对象可以是车辆和/或车辆的特定制造/模式/年份(例如，当相机系统100被实现为车辆相机系统和/或交通相机的一部分时)。检测到的感兴趣对象的类型可以是最终用户可选择的选项。在一些实施例中，可以在由调度器电路190a加载的有向非循环图中定义感兴趣对象的类型。在所示的示例中，检测到一个感兴趣对象。在一些实施例中，处理器102可以被配置为检测多于一个感兴趣对象。由处理器102在视频帧中检测到的感兴趣对象的数量和/或类型可以根据特定实现方式的设计标准而变化。

示出了线310和线312。线310和线312可以各自包括视频帧300的像素数据中的一排。线310可以包括与检测到的对象304(例如，感兴趣对象)相对应的开始线位置。线312可以包括与检测到的对象304(例如，感兴趣对象)相对应的结束线位置。在所示的示例中，开始线位置310通常可以对应于人302的脸的顶部和/或边界框304的顶部。在所示的示例中，结束线位置312通常可以对应于人302的脸的底部和/或边界框304的底部。开始线位置310可以对应于RGB-IR卷帘式快门传感器130的曝光时间。结束线位置312可以对应于RGB-IR卷帘式快门传感器130的曝光时间。

处理器102可以被配置为使用开始线位置310和结束线位置312来控制IR光投射器104的激活。处理器102可以被配置为动态地控制结构光图案SLP的激活以与开始线位置310和结束线位置312的时序对齐。将结构光图案SLP的激活的时序与开始线位置310和结束线位置312对齐可以确保当RGB-IR卷帘式快门传感器130当前正在暴露传感器中的与检测到的对象304的位置相对应的部分时结构光图案SLP处于活动状态。

在一些实施例中，感兴趣对象可以是对象的一般分类。出于确定开始线位置310和结束线位置312的目的，计算机视觉操作254可能不需要执行细粒度的对象304的分类。例如，当相机系统100被配置为执行面部识别时，处理器102可以被配置为首先检测人脸以确定开始线位置310和结束线位置312。出于确定开始线位置310和结束线位置312的目的，处理器102可以不需要将检测到的面部标识为特定的人的面部。例如，当在结构光图案SLP被激活的情况下捕获图像时，可以执行使用深度分析252执行的进一步分析。

处理器102可以被配置为随时间推移动态地定位感兴趣对象304(例如，跟踪其位置)。例如，感兴趣对象304的位置可以随时间推移而改变(例如，人302可移动、走路靠近镜头160、远离镜头160等)。处理器102可以持续地和/或连续地检测感兴趣对象304和/或确定感兴趣对象304的位置。随着感兴趣对象304的位置改变，处理器102可以更新开始线位置310和结束线位置312。通过随着感兴趣对象304的移动(例如，定位随时间推移的改变、定位在视频帧的序列中的改变等)来更新开始线位置310和结束线位置312，处理器102可以使结构光源120的激活能够被动态地调整。动态地调整结构光源120的激活可以确保结构光图案SLP与卷帘式快门传感器130以及感兴趣对象304的位置同步。

参考图7，示出了说明针对IR图像帧的曝光的开始时间和结束时间的图。示出了IR图像帧350。IR图像帧350可以是由处理器102响应于IR像素数据202而生成的IR帧的代表性示例。示例IR图像帧350可以包括当结构光图案SLP处于活动状态时响应于IR数据通道而生成的图像数据。可以仅在RGB-IR卷帘式快门用于生成IR像素数据202(其用于生成IR图像帧350)的时间量的子集内激活结构光图案SLP。在示例中，IR帧350可以由处理器102在内部使用以进行深度感测操作252。

示出了线352和线354。线352可以对应于与图6相关联地示出的开始线位置310。线354可以对应于与图6相关联地示出的结束线位置。开始线位置352和结束线位置354可以用于计算结构光投射器104的激活和/或去激活的时序。

IR图像帧350可以包括部分360、部分362和部分364。部分360通常可以是IR图像帧350的顶部部分。部分360可以是IR图像帧350的位于开始线位置352上方的部分。部分362通常可以包括IR图像帧350的中间部分。部分362可以是IR图像帧350的位于开始线位置352与结束线位置354之间的部分。部分364通常可以是IR图像帧350的底部部分。部分364可以是IR图像帧350的在底部线位置354下方的部分。部分360、部分362和/或部分364的位置和/或大小可以取决于开始线位置352和结束线位置354的位置。

部分362可以是感兴趣区域的位置。感兴趣区域362可以对应于与图6相关联地示出的根据视频帧300确定的感兴趣对象的位置。在一些实施例中，如果感兴趣对象304在IR图像帧350的顶部(例如，边界框304的顶部是IR图像帧350的顶部线)，则感兴趣区域362可以在IR图像帧350的顶部处开始(例如，可以不存在部分360，并且仅部分364可以在感兴趣区域362下方)。在一些实施例中，如果感兴趣对象304在IR图像帧350的底部(例如，边界框304的底部在IR图像帧350的底部)，则感兴趣区域362可以在IR图像帧350的底部处结束(例如，可以不存在部分364，并且仅部分360可以在感兴趣区域362上方)。

RGB-IR卷帘式快门传感器130可以被配置为通过实现从上到下的逐排曝光来捕获IR像素数据202以捕获IR图像帧350。在所示的示例中，可以首先捕获顶部360，然后捕获感兴趣区域362，并且然后捕获底部364。当RGB-IR卷帘式快门传感器130正在获取IR像素数据202和/或RGB像素数据204以生成与图6相关联地示出的视频帧300时，可以关闭(例如，去激活)结构光投射器104。为了生成IR图像350，可以随时间推移顺序地逐排曝光RGB-IR卷帘式快门传感器130。当RGB-IR卷帘式快门传感器130捕获顶部部分360时，结构光源120可以保持去激活状态。

当RGB-IR卷帘式快门传感器130到达开始线位置352(或取决于激活时间和/或期望的积分量而稍早些到达)时，SL控制电路112可以生成信号SL TRIG。信号SL TRIG可以激活结构光源120(例如，当结构光源120处于去激活状态时)。例如，结构光源120可以响应于信号SL TRIG而生成结构光图案SLP。可以继续随时间推移顺序地逐排曝光RGB-IR卷帘式快门传感器130。当RGB-IR卷帘式快门传感器捕获感兴趣区域部分362时，结构光源120可以提供结构光图案SLP(例如，在激活状态下操作)。

当RGB-IR卷帘式快门传感器130到达结束线位置354(或取决于去激活时间和/或期望的积分量而稍晚些到达)时，SL控制电路112可以生成信号SL TRIG。信号SL TRIG可以去激活结构光源120(例如，当结构光源120处于激活状态时)。例如，结构光源120可以生成结构光图案SLP，直到接收到信号SL TRIG为止(例如，直到到达结束线位置354为止)。可以继续随时间推移顺序地逐排曝光RGB-IR卷帘式快门传感器130。RGB-IR卷帘式快门传感器130可以在结构光源120处于操作的去激活状态的情况下捕获底部区域364。在RGB-IR卷帘式快门传感器130的所有排都已经曝光之后，RGB-IR卷帘式快门传感器130可以通过从顶部一排到底部一排顺序地曝光来重复曝光过程。

如果感兴趣对象304移动，则可以动态地调整用于结构光图案SLP的激活和/或去激活的时序的开始线位置352和结束线位置354。通过根据感兴趣对象304在视频帧中的位置来控制结构光图案SLP的激活/去激活，可以由卷帘式快门传感器130在指定帧处捕获结构光图案SLP，而不会影响其他视频帧中的图像的质量。

图像信号处理器108可以被配置为生成中断信号ISP SYNC和/或信号EOF。电路112可以被配置为响应于中断信号ISP SYNC和/或中断信号EOF而生成信号SL TRIG。信号ISPSYNC可以被配置为将结构光源120的时序与卷帘式快门传感器130的曝光的时序同步。可以由图像信号处理器108响应于由卷帘式快门传感器130生成的信号VIDEO中的数据而生成中断信号ISP SYNC和/或中断信号EOF。在一个示例中，信号VIDEO可以包括开始线位置310，并且信号ISP SYNC和/或中断信号EOF可以向电路110提供关于开始线位置310的数据。在另一示例中，信号VIDEO可以包括结束线位置312，并且信号ISP SYNC和/或中断信号EOF可以向电路110提供关于结束线位置312的数据。在又一示例中，信号VIDEO可以包括具有一致的帧速率的其他中断，并且信号ISP SYNC和/或中断信号EOF可以向电路110提供关于帧速率的数据。电路110可以使用来自中断信号ISP SYNC和/或中断信号EOF的数据来计算卷帘式快门传感器130何时可以开始曝光第一行位置352。当处理器102确定卷帘式快门传感器130何时可以开始曝光第一行位置352时，电路110可以基于感兴趣对象304的位置来计算结构光投射器104的开启时间。

处理器102可以被配置为对IR图像帧350执行图像裁剪操作。处理器102可以被配置为从IR图像帧350裁剪出感兴趣区域362。感兴趣区域362可以包括以用于对感兴趣对象304执行深度分析252的期望的时序和/或视觉效果捕获的结构光图案SLP。顶部部分360和底部部分364可以不包括以用于执行深度分析252的期望的时序和/或视觉捕获的结构光图案SLP。通过裁剪感兴趣区域362，仅具有结构光图案SLP的视觉数据可以用于深度分析252，而不具有适当的数据的其他部分360和364可以被丢弃。

参考图8，示出了说明针对传感器曝光的时序图的图。示出了时序图400。时序图400可以提供卷帘式快门传感器130的曝光时序和/或结构光投射器104的激活的时序的说明性示例。

时序图400可以包括水平轴402。水平轴402可以表示时间。例如，水平轴402的左侧可以是比水平轴402的右侧更早发生的时间。

线404a-404b被示出为从水平轴402对角地延伸。线404a可以总体上表示卷帘式快门传感器130的传感器/快门曝光开始时间。线404b可以总体上表示卷帘式快门传感器130的传感器/快门曝光结束时间。在线404a-404b之间示出了具有双头箭头406的水平线。水平箭头406可以是用于卷帘式快门传感器130的曝光的时间量。

在线404a-404b之间示出了水平条408a-408n。水平条408a-408n中的每一个可以表示卷帘式快门传感器130的像素中的一排的曝光。例如，水平条408a可以表示卷帘式快门传感器130的像素中的顶部一排，水平条408b可以表示卷帘式快门传感器130的像素中的第二排，并且水平条408n可以表示卷帘式快门传感器130的像素中的底部一排。卷帘式快门传感器130的像素的排中的每一个408a-408n可以具有相同量的曝光时间406。

示出了线交叉点410a-410n和线交叉点412a-412n。线交叉点410a-410n可以是线404a与水平条408a-408n中的每一个之间的交叉点。线交叉点410a-410n可以各自表示像素的排中的每一个408a-408n的开始曝光时间。线交叉点412a-412n可以是线404b与水平条408a-408n中的每一个之间的交叉点。线交叉点412a-412n可以各自表示像素的排中的每一个408a-408n的结束曝光时间。在所示的示例中，顶部一行408a的曝光开始时间410a和结束时间412a可以比第二行408b的曝光开始时间410b和曝光结束时间412b更早。曝光开始时间410a-410n和曝光结束时间412a-412n可以顺序地发生(例如，与下一行的曝光开始时间410a-410n相比，顶部一行的曝光开始时间410a可以最早发生，并且曝光结束时间412a可以最早发生，然后曝光结束时间412b可以发生，并且像素的最后一排408n的曝光结束时间412n可以最后发生)。

由于曝光时间406对于像素的排中的每一个408a-408n可以是相同的，因此开始时间410a-410n与结束时间412a-412n之间的时间关系对于像素的排中的每一个408a-408n可以是相同的。像素的下一排408a-408n可以在像素的先前排408a-408n结束曝光之前开始曝光。在所示的示例中，像素的第一排的开始时间410a可以早于像素的第二排408b的开始时间410b。然而，像素的第二排408b的开始时间410b可以早于像素的第一排408a的结束时间412a发生。

卷帘式快门传感器130对像素的排中的每一个408a-408n的曝光的交错开始时间410a-410n可以导致视觉伪像(例如，诸如移动对象的失真、运动模糊等之类的卷帘式快门伪像)。处理器102的视频处理流水线可以被配置为校正由卷帘式快门传感器130引起的视觉伪像。交错的开始时间410a-410n还可以导致如果处理器102未将结构光源120的激活和/或去激活与卷帘式快门传感器130同步，则结构光图案SLP将跨像素的每一排408a-408n不均匀地出现。

示出了虚线圆414。虚线圆414可以表示感兴趣对象304的开始线位置(例如，与图6相关联地示出的开始线位置310和/或与图7相关联地示出的开始线位置352)。在所示的示例中，可以为像素的排408c选择开始线位置414。

示出了虚线圆416。虚线圆416可以表示感兴趣对象304的结束线位置(例如，与图6相关联地示出的结束线位置312和/或与图7相关联地示出的结束线位置354)。在所示的示例中，开始线位置416可以位于像素的排408g处。例如，感兴趣对象304可以位于从像素的排408d到像素的排408f之间。

示出了垂直线420a-420b。垂直线420a可以表示结构光源120的激活的时间。垂直线420b可以表示结构光源120的去激活的时间。激活时间420a可以与像素的排408d对齐。去激活时间420b可以与像素的排408h的结束线位置416的开始时间(例如，410h)对齐。

例如，为了选择包括行408d至行408f的ROI 362，处理器102可以选择行408c作为具有结构光图案SLP的第一行。可以选择激活时间420a以在像素的排408c的结束曝光时间412c之前开始。然后，之后的下一行(例如，像素的排408d)可以是具有充分的积分时间的具有结构光图案SLP的第一行。类似地，可以选择去激活时间420b以在像素的排408g的结束之前并且在像素的排408h的开始时间410h之前关闭结构光图案SLP。像素的排408g之前的行(例如，像素的排408f)可以是具有充分的积分时间的具有结构光图案的最后一行。可以选择在ROI 362之前或之后的像素的附加排(例如，两排、三排等)以确保充分的积分时间。在像素的排408c(例如，早于ROI 362的开始的排)期间选择激活时间420a，并且在像素的排408g(例如，晚于ROI 362的结束的排)期间选择去激活时间420b，可以确保像素的排中的全部408a-408n可以具有结构光图案SLP。开始线位置352之前的针对激活时间420a的像素的排的数量和结束线位置354之后的针对去激活时间420b的像素的排的数量可以根据特定实现方式的设计标准而变化。

在所示的示例中，激活时间420a可以发生在像素的排中的一些的曝光时间的中间(例如，在像素的排408c的曝光时间期间)。例如，像素的排408c可能尚未停止曝光并且可以接收结构光图案SLP。在所示的示例中，激活时间420a可以在针对像素的排408b的结束曝光时间412b之后发生。由于激活时间420a可以在结束曝光时间412a和结束曝光时间412b之后发生，因此像素的排408a-408b可以不捕获结构光图案SLP。

类似地，在去激活时间420b之后的像素的排(例如，最后的像素的排408h-408n)可以不捕获结构光图案SLP。处理器102可以被配置为裁剪出除了包括感兴趣对象304的像素的排408d-408f之外的图像数据。例如，可以保留像素的排408d-408f以用于深度分析252，并且其他像素的排408a-408c和408g-408n可以被丢弃。

卷帘式快门传感器130可以在像素的排408c的曝光时间期间累积结构光图案SLP的光子(积分)。如果像素的排408c的结束时间412c早于结构光源120的去激活时间420b，则针对像素的排408c的结构光图案SLP的强度可能不如针对像素的排408d的结构光图案SLP的强度那么强。结构光图案SLP的强度可以取决于积分时间。由于曝光结束时间412c早于结构光投射器104的去激活时间420b，因此像素的排408c可以具有比像素的排408d更短的积分时间。结构光图案SLP可以从第三行(例如，像素的排408c)开始直到像素的排408h为止，该像素的排408h在结束线位置416之后开始曝光。

如果处理器102确定感兴趣对象304(例如，面部)的位置在像素的排408d处开始，则结构光图案SLP可以在行408c的结束处开始，则该像素的排408c之后的所有行(例如，像素的排408d-408g)可以接收结构光图案SLP，并且在408c之前的所有行可以不接收结构光图案SLP，因为行408a-408b已经停止曝光。

在一些实施例中，可以减少曝光时间406，使得当开启结构光投射器104时，像素的排408c将已经停止曝光(例如，确保针对像素的排408c的结束曝光时间412c早于结构光投射器104的激活时间420a)。如果激活时间420a在结束时间412c之后，则在像素的排408c中将不会显示结构光图案。

在结束时间412c之前，在结构光图案激活线420a与像素的排408c的交叉点处示出了虚线圆414。例如，虚线圆414可以表示结构光图案SLP的真实开始线(例如，通常等效于与图6相关联地示出的开始线位置310或与图7相关联地示出的开始线位置352)。由于用于前几条行的积分时间可能小于针对感兴趣区域(例如，与图7相关联地示出的ROI 362)期望的积分时间，因此开始线位置352和/或结束线位置354可以延长为使ROI 362大于具有感兴趣对象304的实际区域。通过捕获具有激活的结构光图案SLP的更大的感兴趣区域，可以裁剪相关数据，并且对于其中可能缺乏清晰度的部分，可以忽略结构光图案SLP(例如，开始位置352的开始的几行和结束位置354的几行)。由于开始线和/或结束线的积分时间可以小于ROI362的其余部分，因此捕获的图像可能太暗。例如，ROI 362的上边界和下边界可能不是很清楚(例如，暗-正常-暗)。

控制结构光投射器104的激活的时序可以提供功率节省。当不存在感兴趣对象304时，可以关闭结构光图案SLP。通过将结构光投射器104的激活限制在感兴趣对象304实际所位于的像素的排408a-408n的曝光的时间范围内，结构光投射器104可以始终不被激活。关闭结构光投射器104可以减少功耗。由于对于ROI 362外部的深度分析252可能不需要结构光图案SLP，因此可以去激活结构光投射器104而不会负面地影响深度分析252的能力。

参考图9，示出了说明提供面部解除特征的示例安全面板的图。在示例中，根据本发明的示例实施例的低成本的3D感测系统可以被实现为安全面板450的一部分。在示例中，安全控制面板450可以被配置为基于面部识别来限制访问和/或许可。在示例中，使用深度分析252确定的3D信息可以用于3D建模和存在性确定，并且可以用于从面部识别特定用户并且自动提供免提访问(例如，解锁门、解除警报系统等)。在示例中，深度分析252的3D建模和存在性确定可以用于识别特定用户并且基于面部标识允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人X或Y改变访问级别或策略、添加用户等)。

参考图10，示出了说明示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3D感测系统可以被实现为访问控制面板480的一部分。在示例中，通过使用用于卷帘式快门传感器130的动态驱动器机构捕获结构光图案SLP生成的3D信息可以用于3D建模和存在性确定。在示例中，低成本的基于结构光的3D感测系统可以用于获得对支付系统(例如，ATM等)的访问权、解除警报系统和/或允许对(例如，花园、车库、房屋等的)受限区域的“绊网”访问。在一个示例中，低成本的基于结构光的3D感测系统可以被配置为识别园丁/水池维护人员并且禁止触发警报。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为限制对一周中的某些时间和日期的访问。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为基于视频/音频标识通过访问控制面板400允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人X或Y改变访问级别或策略、添加用户等)。

参考图11，示出了说明使用密码的示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3D感测系统可以被实现为安全小键盘500的一部分。在示例中，安全小键盘500可以被配置为基于通过使用深度分析252确定的面部识别来限制访问和/或许可。在示例中，来自深度分析252的3D信息可以用于3D建模和存在性确定，并且可以用于识别特定用户并且基于面部标识允许访问、警报系统解除特权、警报系统编程特权和/或警报系统重新编程特权。在示例中，即使在小键盘500上输入了正确的密码，也可以仅允许已知的人(例如，人X或Y)获得访问权或改变访问级别或策略、添加用户等。

参考图12，示出了说明使用面部识别的示例访问控制面板的图。示出了可以利用装置100进行面部识别的替代示例访问控制面板550。可以使用计算机视觉操作254结合深度分析252来执行面部识别。

参考图13，示出了方法(或过程)600。方法600可以使用卷帘式快门传感器获取结构光图案。方法600通常包括步骤(或状态)602、步骤(或状态)604、步骤(或状态)606、步骤(或状态)608、决策步骤(或状态)610、步骤(或状态)(612)、决策步骤(或状态)614、步骤(或状态)616、决策步骤(或状态)618和步骤(或状态)620。

步骤602可以开始方法600。在步骤604中，结构光投射器104可以是不活动的(例如，SL控制电路112可以不呈现信号SL TRIG)。接下来，在步骤606中，处理器102可以接收使用卷帘式快门传感器130捕获的图像(例如，信号VIDEO)。在步骤608中，处理器102可以对捕获的图像执行计算机视觉操作254。接下来，方法600可以移动到决策步骤610。

在决策步骤610中，处理器102可以确定是否已经检测到对象304。在示例中，CNN模块190b可以确定在视频帧中是否存在人脸。如果尚未检测到感兴趣对象，则方法600可以返回到步骤606。如果已经检测到感兴趣对象304，则方法600可以移动到步骤612。在步骤612中，处理器102可以确定感兴趣对象304在视频帧300中的开始线位置310和结束线位置312。开始线310和结束线312可以对应于卷帘式快门传感器130输出的像素的排。接下来，方法600可以移动到决策步骤614。

在决策步骤614中，处理器102可以确定卷帘式快门传感器130是否已经到达开始线位置310。例如，图像信号处理器108可以响应于信号VIDEO而呈现一个或多个指示卷帘式快门传感器130的线位置的信号(例如，帧结束信号EOF)。关于卷帘式快门传感器130的线的曝光速率的时序信息可以用于基于帧结束信号EOF来确定到达开始线位置310的时间量。例如，帧结束信号EOF可以是由图像信号处理器108生成的中断信号。处理器102可以基于(例如，由处理器102实现的)系统时钟来实现计时器。计时器可以被配置为提供用于结构光投射器104的开启时间。如果卷帘式快门传感器130不位于开始线位置310，则方法600可以返回到决策步骤614。如果卷帘式快门传感器130位于开始线位置310，则方法600可以移动到步骤616。在步骤616中，SL控制电路112可以生成控制信号SL TRIG以激活结构光投射器104。接下来，方法600可以移动到决策步骤618。

在决策步骤618中，处理器102可以确定卷帘式快门传感器130是否已经到达结束线位置312。例如，图像信号处理器108可以呈现指示卷帘式快门传感器130的线位置的一个或多个信号，和/或处理器102可以被配置为基于针对卷帘式快门传感器的每一行的曝光时间来执行计算(例如，确定从开始线位置310到卷帘式快门传感器到达结束线位置312的时间量)。处理器102可以基于(例如，由处理器102实现的)系统时钟来实现计时器。计时器可以被配置为提供用于结构光投射器104的关闭时间。如果卷帘式快门传感器130不位于结束线位置312，则方法600可以返回到决策步骤618。如果卷帘式快门传感器130位于结束线位置312，则方法600可以移动到步骤620。在步骤620中，SL控制电路112可以生成控制信号SLTRIG以去激活结构光投射器104。在一些实施例中，处理器102可以早于开始线位置310激活结构光投射器104和/或晚于结束线位置312去激活结构光投射器104，以确保感兴趣区域362具有充分的积分时间。接下来，方法600可以返回到步骤604。

参考图14，示出了方法(或过程)650。当结构光图案不处于活动状态时，方法650可以执行计算机视觉以检测对象来确定感兴趣区域在视频帧中的开始线和结束线。方法650通常包括步骤(或状态)652、步骤(或状态)654、决策步骤(或状态)656、步骤(或状态)658、步骤(或状态)660、步骤(或状态)662、步骤(或状态)664和步骤(或状态)666。

步骤652可以开始方法650。在步骤654中，处理器102可以接收由卷帘式快门传感器130捕获的像素数据。接下来，方法650可以移动到决策步骤656。

在决策步骤656中，处理器102可以确定是否在像素数据中捕获了结构光图案。例如，处理器102可以基于结构光投射器104的激活状态和/或信号SL TRIG的状态来确定是否捕获了结构光图案SLP。如果捕获了结构光图案SLP，则方法650可以移动到步骤666。如果没有捕获结构光图案SLP，则方法650可以移动到步骤658。

在步骤658中，处理器102可以分析IR图像数据202和/或RGB图像数据204。接下来，在步骤660中，CNN模块190b可以执行计算机视觉操作254和/或面部识别以便检测感兴趣对象304。在步骤662中，处理器102可以确定感兴趣对象304在图像数据中的位置。接下来，方法650可以移动到步骤664。

在步骤664中，处理器102可以确定感兴趣对象304的开始线位置310和结束线位置312。处理器102可以使用开始线位置310和结束线位置312来确定当结构光图案SLP处于活动状态时的感兴趣区域362。接下来，方法650可以移动到步骤666。步骤666可以结束方法650。

参考图15，示出了方法(或过程)700。当结构光图案处于活动状态时，方法700可以执行深度分析。方法700通常包括步骤(或状态)702、步骤(或状态)704、决策步骤(或状态)706、步骤(或状态)708、步骤(或状态)710、步骤(或状态)712和步骤(或状态)714。

步骤702可以开始方法700。在步骤704中，处理器102可以接收由卷帘式快门传感器130捕获的像素数据。接下来，方法700可以移动到决策步骤706。

在决策步骤706中，处理器102可以确定是否在像素数据中捕获了结构光图案SLP。例如，处理器102可以基于结构光投射器104的激活状态和/或信号SL TRIG的状态来确定是否捕获了结构光图案SLP。如果没有捕获结构光图案SLP，则方法700可以移动到步骤714。如果捕获了结构光图案SLP，则方法700可以移动到步骤708。

在步骤708中，处理器102可以分析IR图像数据202和/或RGB图像数据204。在结构光图案SLP被激活的情况下，处理器102可以接收IR图像数据202和/或RGB数据204以及结构光图案SLP。通常，当存在结构光图案SLP时，可以忽略RGB数据204。接下来，在步骤710中，CNN模块190b可以响应于结构光图案SLP和IR图像数据202来执行深度分析252。在步骤712中，处理器102可以生成存在性确定的结果256。接下来，方法700可以移动到步骤714。步骤714可以结束方法700。

参考图16，示出了方法(或过程)750。方法750可以实现用于卷帘式快门传感器的动态驱动器机构。方法750通常包括步骤(或状态)752、步骤(或状态)754、决策步骤(或状态)756、步骤(或状态)758、步骤(或状态)760、步骤(或状态)762、步骤(或状态)764、步骤(或状态)766、决策步骤(或状态)768、决策步骤(或状态)770、步骤(或状态)772和步骤(或状态)774。

步骤752可以开始方法750。在步骤754中，处理器102可以对RGB像素数据204和/或IR图像像素数据202执行计算机视觉操作254。接下来，方法750可以移动到决策步骤756。

在决策步骤756中，处理器102可以确定是否已经检测到面部(例如，感兴趣对象304)。如果尚未检测到面部，则方法750可以返回到步骤754。如果已经检测到面部，则方法750可以移动到步骤758。在步骤758中，处理器102可以接收来自图像信号处理器108的中断信号(例如，帧结束信号EOF)。接下来，方法750可以移动到步骤760。

在步骤760中，处理器102可以计算曝光时间406以确定与检测到的面部304相对应的开始线时间310。接下来，在步骤762中，处理器102可以生成信号SL TRIG以在检测到面部304的第一行310处开启结构光投射器104。在步骤764中，处理器102可以保持结构光图案SLP激活以捕获整个面部感兴趣区域362。接下来，在步骤766中，处理器102可以关闭结构光投射器104(例如，当已经到达结束线312时)。接下来，方法750可以移动到决策步骤768。

在决策步骤768中，处理器102可以确定是否仍然检测到面部304。例如，可以使用计算机视觉操作254来分析RGB图像数据204和/或IR图像数据202以检测面部304的位置。如果已经检测到面部304，则方法768可以移动到决策步骤770。在决策步骤770中，处理器102可以确定面部304的位置是否已经移动(例如，面部是否在捕获的视频帧中位于不同的位置)。如果检测到的面部304的位置尚未移动，则方法750可以返回到步骤762。如果检测到的面部304的位置已经移动，则方法750可以移动到步骤772。在步骤772，处理器102可以重新计算开始线位置310。接下来，方法750可以返回到步骤762。

在决策步骤768中，如果不再检测到面部304，则方法750可以移动到步骤774。步骤774可以结束方法750。

由图1-16的图执行的功能可以使用常规通用处理器、数字计算机、微处理器、微控制器、RISC(精简指令集计算机)处理器、CISC(复杂指令集计算机)处理器、SIMD(单指令多数据)处理器、信号处理器、中央处理单元(CPU)、算术逻辑单元(ALU)、视频数字信号处理器(VDSP)和/或根据说明书的教导进行编程的类似的计算机器中的一个或多个来实现，如对(多个)相关领域的技术人员将显而易见的。熟练的程序员可以基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微码和/或程序模块，同样如对(多个)相关领域的技术人员将显而易见的。该软件通常由机器实现方式的处理器中的一个或多个从一种或多种介质执行。

本发明还可以通过以下方式来实现：准备ASIC(专用集成电路)、平台ASIC、FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、CPLD(复杂可编程逻辑器件)、门海(sea-of-gate)、RFIC(射频集成电路)、ASSP(专用标准产品)、一个或多个单片集成电路、被布置为倒装芯片模块和/或多芯片模块的一个或多个芯片或管芯，或者通过互连常规组件电路的适当的网络，如本文中所描述的，其修改对于本领域技术人员而言将是显而易见的。

因此，本发明还可以包括一种计算机产品，该计算机产品可以是一种或多种存储介质和/或一种或多种传输介质，这些介质包括可以用于对机器执行编程以执行根据本发明的一个或多个过程或方法的指令。机器对包含在计算机产品中的指令的执行以及周围电路的操作可以将输入数据转换为存储介质上的一个或多个文件和/或表示物理对象或物质的一个或多个输出信号，例如，音频和/或视觉描绘。存储介质可以包括但不限于任何类型的盘，包括软盘、硬盘驱动器、磁盘、光盘、CD-ROM、DVD和磁光盘以及诸如ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、UVPROM(紫外可擦除可编程ROM)之类的电路、闪速存储器、磁卡、光卡和/或适合于存储电子指令的任何类型的介质。

本发明的元件可以形成一个或多个设备、单元、组件、系统、机器和/或装置的一部分或全部。设备可以包括但不限于服务器、工作站、存储阵列控制器、存储系统、个人计算机、膝上型计算机、笔记本计算机、掌上计算机、云服务器、个人数字助理、便携式电子设备、电池供电的设备、机顶盒、编码器、解码器、代码转换器、压缩器、解压缩器、预处理器、后处理器、发射机、接收机、收发器、密码电路、蜂窝电话、数字相机、定位和/或导航系统、医疗设备、平视显示器、无线设备、音频记录、音频存储和/或音频播放设备、视频记录、视频存储和/或视频播放设备、游戏平台、外围设备和/或多芯片模块。(多个)相关领域的技术人员将理解，可以在其他类型的设备中实现本发明的元件，以满足特定应用的标准。

当在本文中与“是”和动词结合使用时，术语“可以”和“通常”意在传达这样的意图：该描述是示例性的，并且被认为足够宽泛以涵盖本公开中提出的具体示例以及可以基于本公开得出的替代示例两者。如本文所使用的术语“可以”和“通常”不应被解释为必然暗示省略相应元件的可取性或可能性。

尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以对形式和细节进行各种改变。

Claims (20)

1.一种装置，包括：

卷帘式快门图像传感器，其被配置为捕获图像；

结构光投射器，其被配置为生成结构光图案；以及

处理器，其被配置为：(i)从所述卷帘式快门图像传感器接收所述图像；(ii)对所述图像执行计算机视觉操作以检测所述图像中的对象；(iii)确定与检测到的所述对象相对应的开始线位置和结束线位置；以及(iv)向所述结构光投射器呈现控制信号，其中，所述控制信号被配置为：(a)当所述卷帘式快门图像传感器位于所述开始线位置时，激活所述结构光图案；以及(b)当所述卷帘式快门图像传感器位于所述结束线位置时，去激活所述结构光图案。

2.根据权利要求1所述的装置，其中，所述控制信号被配置为使得所述卷帘式快门图像传感器能够在与检测到的所述对象相对应的特定区域处捕获所述结构光图案。

3.根据权利要求1所述的装置，其中，所述处理器还被配置为使用所述结构光图案来生成深度图像。

4.根据权利要求3所述的装置，其中，由所述处理器分析所述深度图像以执行3D感测、3D建模、3D面部识别和存在性判断中的至少一项。

5.根据权利要求1所述的装置，其中，检测到的所述对象是人脸。

6.根据权利要求1所述的装置，其中，所述图像的在所述开始线位置与所述结束线位置之间的一部分是感兴趣区域。

7.根据权利要求6所述的装置，其中，所述感兴趣区域是响应于检测到的所述对象的定位随时间推移的改变而动态地调整的。

8.根据权利要求1所述的装置，其中，所述卷帘式快门图像传感器包括RGB-IR传感器。

9.根据权利要求1所述的装置，其中，(i)所述处理器还包括图像信号处理电路；(ii)所述图像信号处理电路被配置为：(a)响应于从所述卷帘式快门图像传感器接收到的所述图像而生成中断信号；(iii)响应于所述中断信号，所述处理器还被配置为：(a)计算曝光的时间以确定所述开始线位置；以及(b)基于系统时钟来实现计时器；以及(iv)所述计时器被配置为在所述对象被检测到之后提供所述结构光投射器的开启时间。

10.根据权利要求9所述的装置，其中，所述中断信号包括对所述开始线位置的指示。

11.根据权利要求9所述的装置，其中，所述中断信号包括对所述结束线位置的指示。

12.根据权利要求9所述的装置，其中，所述中断信号包括与一致的帧速率相对应的数据，以使得所述处理器能够计算所述曝光的所述时间以确定所述开始线位置。

13.根据权利要求9所述的装置，其中，所述中断信号和所述计时器被实现以控制所述结构光图案的激活的时序以匹配所述图像的曝光时序。

14.根据权利要求1所述的装置，其中，所述装置被实现为低功率相机的一部分。

15.根据权利要求10所述的装置，其中，与实现全局快门图像传感器相比，当所述卷帘式快门图像传感器位于所述开始线位置时激活所述结构光图案并且当所述卷帘式快门图像传感器位于所述结束线位置时去激活所述结构光图案降低了功耗。

16.根据权利要求1所述的装置，还包括第二卷帘式快门传感器，其中，(a)所述卷帘式快门传感器包括RGB卷帘式快门传感器；并且(b)所述第二卷帘式快门传感器包括被配置为捕获IR图像的IR卷帘式快门传感器。

17.根据权利要求1所述的装置，还包括图像信号处理电路，所述图像信号处理电路被配置为处理由所述卷帘式快门图像传感器捕获的所述图像，其中，所述图像信号处理电路将所述图像分为彩色图像数据和红外(IR)图像数据。

18.根据权利要求17所述的装置，其中，所述处理器还被配置为：(i)当所述结构光图案被激活时分析所述IR图像数据，以获得针对所述卷帘式快门图像传感器的视野的3D信息；以及(ii)当所述结构光图案被去激活时分析所述IR图像数据和所述彩色图像数据，以执行所述计算机视觉操作来确定检测到的所述对象的所述开始线位置和所述结束线位置。

19.根据权利要求1所述的装置，其中，所述处理器还被配置为：当所述结构光图案被激活时，裁剪在所述开始线位置上方和在所述结束线位置下方所述图像的部分。

20.一种用于使用卷帘式快门图像传感器来获取结构光图案的方法，包括以下步骤：

(A)使用所述卷帘式快门图像传感器捕获图像；

(B)在处理器处接收所述图像；

(C)对所述图像执行计算机视觉操作以检测所述图像中的对象；

(D)确定与检测到的所述对象相对应的开始线位置和结束线位置；

(E)向结构光投射器呈现控制信号；以及

(F)使用所述结构光投射器生成所述结构光图案，其中，所述控制信号被配置为：(a)当所述卷帘式快门图像传感器位于所述开始线位置时，激活所述结构光图案；以及(b)当所述卷帘式快门图像传感器位于所述结束线位置时，去激活所述结构光图案。

Images