CN114125193A - 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构 - Google Patents

使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构 Download PDF

Info

Publication number
CN114125193A
CN114125193A CN202010895197.5A CN202010895197A CN114125193A CN 114125193 A CN114125193 A CN 114125193A CN 202010895197 A CN202010895197 A CN 202010895197A CN 114125193 A CN114125193 A CN 114125193A
Authority
CN
China
Prior art keywords
structured light
rgb
image
circuit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010895197.5A
Other languages
English (en)
Inventor
张喆
杨志侃
许瑞桉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anba International LP
Original Assignee
Anba International LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anba International LP filed Critical Anba International LP
Priority to CN202010895197.5A priority Critical patent/CN114125193A/zh
Priority to US17/014,117 priority patent/US11323685B2/en
Priority to US17/587,301 priority patent/US11843760B2/en
Publication of CN114125193A publication Critical patent/CN114125193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种装置包括RGB‑IR图像传感器、结构光投影仪和控制电路。控制电路可以被配置为控制RGB‑IR图像传感器的快门曝光时间和结构光投影仪的开启时间，以获得由RGB‑IR图像传感器捕获的图像序列，其中，该图像序列包括：包括结构光图案的至少一个图像，以及其中不存在结构光图案的至少一个图像。

Description

使用具有结构光的RGB-IR传感器得到无污染视频流的计时 机构
技术领域
本发明总体上涉及3D感测系统，并且更具体地涉及一种用于实现使用具有结构光的RGB-IR传感器得到无污染视频流的计时机构的方法和/或装置。
背景技术
常规的3D感测系统包括两个图像传感器，以便获取红外(IR)结构光图案和RGB图像进行存在性检测。可以设计具有单个RGB-IR传感器的相机，但是，结构光图案会在传感器曝光期间污染RGB图像，因为RGB-IR传感器包含RGB和IR像素两者，因此当开启结构光投影仪时，RGB像素将会受到IR图案的影响。
期望实现一种定时机构以使用具有结构光的RGB-IR传感器得到无污染的视频流。
发明内容
本发明涵盖涉及一种装置的方面，该装置包括：RGB-IR图像传感器、结构光投影仪和控制电路。该控制电路可以被配置为控制RGB-IR图像传感器的快门曝光时间和结构光投影仪的开启时间，以获得由RGB-IR图像传感器捕获的图像序列，其中，该图像序列包括：包括结构光图案的至少一个图像，以及其中不存在结构光图案的至少一个图像。
在上面描述的装置方面的一些实施例中，控制电路还可以被配置为：生成指示图像序列中的哪个图像包含结构光图案的信号。
在上面描述的装置方面的一些实施例中，图像序列包括多个组，每个组包括：包括结构光图案的一个或多个图像，以及其中不存在结构光图案的两个或更多图像。
在上面描述的装置方面的一些实施例中，该控制电路还可以被配置为：响应于图像序列和指示图像序列中的哪个图像包含结构光图案的信号来控制安全性系统的一个或多个特征。在一些实施例中，该安全性系统的一个或多个特征可以包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。
在上面描述的装置方面的一些实施例中，该装置包括低功率相机。
在上面描述的装置方面的一些实施例中，该控制电路还可以被配置为执行以下各项中的一个或多个：深度信息生成、存在性确定(liveness determination)以及面部识别。在一些实施例中，面部识别包括利用深度信息的3D面部识别。
在上面描述的装置方面的一些实施例中，结构光投影仪包括垂直腔表面发射激光器的阵列。在结构光投影仪包括垂直腔表面发射激光器的阵列的一些实施例中，垂直腔表面发射激光器的阵列发射波长在800到1000纳米范围内的光。在结构光投影仪包括垂直腔表面发射激光器的阵列的一些实施例中，结构光投影仪还包括镜头，其被配置为将来自垂直腔表面发射激光器的阵列的激光图案分解为密集的点图案阵列。
在上面描述的装置方面的一些实施例中，装置还包括红外(IR)光源或可见光源中的一个或多个。在包括红外(IR)光源或可见光源的一些实施例中，IR光源和所述可见光源包括一个或多个发光二极管。
本发明还包括涉及一种实现低成本的基于结构光的3D感测系统的方法的方面，该方法包括：基于预定的值来设置RGB-IR图像传感器的曝光时间；控制结构光投影仪的开启时间；以及使用RGB-IR图像传感器来捕获图像序列，其中，该图像序列包括：包括结构光图案的至少一个图像，以及其中不存在结构光图案的至少一个图像。
在上面描述的方法方面的一些实施例中，结构光投影仪的开启时间由计时器控制。
在上面描述的方法方面的一些实施例中，该方法还包括：在白天模式下，在结构光投影仪被关闭以进行编码、面部检测和面部识别中的一项或多项时，使用由RGB-IR图像传感器捕获的彩色图像数据和红外图像数据中的一项或多项。
在上面描述的方法方面的一些实施例中，该方法还包括：在夜晚模式下，在结构光投影仪被关闭以进行编码、面部检测和面部识别中的一项或多项时，使用由RGB-IR图像传感器捕获的红外图像数据。
在上面描述的方法方面的一些实施例中，该方法还包括：在结构光投影仪被开启时，使用由RGB-IR图像传感器捕获的红外图像数据以生成深度信息，以用于深度确定、存在性(liveness)确定和3D脸部识别中的一项或多项。
附图说明
通过下面的详细描述以及所附的权利要求书和附图，本发明的实施例将变得显而易见。
图1是示出根据本发明的示例实施例的监测系统的图。
图2是示出根据本发明的示例实施例的3D感测系统的元件的图。
图3是示出根据本发明的示例实施例的示例帧序列的图。
图4是示出在白天和夜晚操作模式期间的示例输出的图。
图5是示出提供面部解除特征的示例安全性面板的图。
图6是示出示例访问控制面板的图。
图7是示出使用密码的示例访问控制面板的图。
图8是示出使用面部识别的示例访问控制面板的图。
图9是示出根据本发明的示例实施例的示例过程的流程图。
图10是示出图1的传感器系统的示例操作的时序图。
图11是示出根据本发明的另一示例实施例的装置的图。
具体实施方式
本发明的实施例包括提供一种计时机构以使用具有结构光的RGB-IR传感器得到无污染的视频流，该计时机构可以(i)利用单个RGB-IR图像传感器在白天和夜晚模式下捕获彩色和红外图像，(ii)忽略在红外(IR)结构光源被开启时捕获的彩色图像数据，(iii)提供可选IR和可见光源，以提高夜晚模式下的图片质量，(iv)向具有和不具有结构光图案(SLP)的图像序列提供可编程性，(v)利用具有结构光图案的IR图像数据生成深度信息，以进行存在性确定和3D面部识别，(vi)利用不具有结构光图案的彩色图像和红外图像进行面部检测和识别，和/或(vii)被实现为一个或多个集成电路。
在各种实施例中，可以提供低成本的3D感测平台。低成本的3D感测平台可以促进智能访问控制系统和智能安全性产品(例如，智能视频门铃和门锁、支付系统、警报系统等)的开发。在各种实施例中，低成本的3D感测平台可以包括视觉片上系统(SoC)、结构光投影仪和RGB-IR图像传感器。在各种实施例中，单个RGB-IR图像传感器可以用于获得可见光图像以及具有和不具有结构光图案的红外(IR)图像两者。在各种实施例中，可见光图像可以用于白天模式下的观看、对象(例如，面部等)检测、对象辨识和/或面部识别。不具有结构光图案的IR图像可以用于夜晚模式下的观看、对象(例如，面部等)检测、对象辨识和/或面部识别。具有结构光图案的IR图像可以在白天模式和夜晚模式下用于深度感测和存在性确定。
在示例中，视觉SoC可以在单个芯片上尤其提供深度处理、反欺骗算法、结构光控制、对象检测/辨识算法、面部检测/识别算法、3D面部检测/识别算法以及视频编码。在示例中，视觉SoC可以响应于分析由RGB-IR图像传感器捕获的图像而生成一个或多个控制信号。在示例中，视觉SoC可以使用一个或多个控制信号来控制安全性系统的一个或多个特征(例如，门锁、警报系统、受控访问系统、支付系统等)。在示例中，视觉SoC可以被配置为存储并执行人工神经网络(ANN)，从而实现特征检测和提取、对象检测和辨识、面部检测和识别，以及存在性确定。在示例中，ANN可以被存储(例如，在非易失性计算机可读存储介质中)为有向非循环图(DAG)和对应的权重。
在各种应用中，根据本发明的实施例的低成本的3D感测平台可以显著地降低系统复杂度，同时改进性能、可靠性和安全性。在示例中，根据本发明的实施例的视觉SoC可以包括但不限于强大的图像信号处理器(ISP)、对RGB-IR滤色器阵列的本地支持以及高级高动态范围(HDR)处理，这可以在低光照且高对比度的环境中产生例外的图像质量。在示例中，根据本发明的实施例的视觉SoC可以提供一种架构，该架构递送用于存在性检测和3D面部识别的计算功率，同时针对诸如人数计数和反尾随(anti-tailgating)之类的高级特征运行多种人工智能(AI)算法。
参考图1，示出了说明根据本发明的示例实施例的感测系统的示例实现方式的装置的框图。在示例中，系统100可以实现3D感测平台，该3D感测平台包括用于使用具有结构光的RGB-IR传感器得到无污染的视频流的计时机构。在示例中，系统100可以包括块(或电路)102、块(或电路)104、块(或电路)106和/或块(或电路)108。电路102可以被实现为控制电路(例如，专用电路、嵌入式控制器、处理器、微处理器等)。电路104可以实现红外结构光投影仪。电路106可以实现安全性/监督相机(或模块)。电路108可以实现图像信号处理(ISP)电路(或处理器或前端)。在示例中，电路108通常能够执行多通道ISP。
在示例中，电路102可以包括块(或电路)110。块110可以实现结构光(SL)控制电路(或功能)。在另一示例中，电路102和110可以被实现为单独的电路核心，而不是在单个集成电路衬底(或管芯)上或在多芯片模块(MCM)中实例化。在示例中，电路102和108(以及当与电路102分离时的电路110)可以在单个集成电路或片上系统(SOC)112中实现。
在各种实施例中，电路102可以连接到IR结构光投影仪104、相机106和ISP电路108。相机106还可以连接到ISP电路108。在示例中，电路102通常提供中央控制机构以使IR投影仪104和相机106的时序同步。在示例中，电路102可以被配置为计算并维护预定义的计时模型，以控制IR投影仪104的结构光源120。在示例中，电路102还可以被配置为控制相机106的RGB-IR传感器130的曝光时间。在示例中，电路102还可以被配置为控制ISP电路108以与相机106的输出同步。在各种实施例中，电路102可以被配置为生成一个或多个视频输出信号(例如，VIDOUT)以及信号(例如，SL FLAG)。在示例中，信号SL FLAG可以用于指示信号VIDOUT何时包含结构光图案。
在各种实施例中，由处理器102生成的视频输出信号VIDOUT可以出于不同目的对各种视频流进行编码。在一个示例中，没有结构光图案污染的RGB通道数据可以用于白天模式下的面部检测和面部识别和/或实时视频馈送。在另一示例中，没有结构光图案污染并且没有附加IR照明的IR通道数据可以用于白天模式下的面部检测、面部识别和/或实时视频馈送。在又一示例中，没有结构光图案污染并且具有附加IR照明的IR通道数据可以用于夜晚模式下的面部检测、面部识别和/或实时视频馈送。在再一示例中，具有结构光图案并且没有附加IR照明的IR通道数据可以用于白天模式和夜晚模式下的深度分析和存在性确定。可以丢弃具有结构光图案污染的RGB通道数据。
在一些实施例中，电路106可以被配置为呈现信号(例如，ES)。信号ES可以指示传感器130何时开始曝光(或提供使用其预定义的公式来促进计算的信息)。在一个示例中，卷帘式传感器130的闪光销可以被配置为生成信号ES。在另一示例中，来自电路106的其他传感器信号可以用于(例如，使用预定义的公式等)计算何时开始曝光。电路110可以利用来自电路106的信号ES以控制电路104。在另一示例中，信号ES可以被配置为响应于传感器130开始曝光而生成中断。该中断可以使得电路110开始IR投影仪104的结构光源120的预定义的开启时段。在示例中，电路110可以被配置为以预定义的开启时段对计时器进行编程。响应于接收到信号ES，电路110可以启动计时器以在预定义的时间段内开启结构光源。
在示例中，电路102可以具有可以接收信号ES的输入、可以经由信号(例如，ISP_SYNC)与电路108的第一输入/输出进行传送的第一输入/输出、可以与电路108的第二输入/输出传送第一图像通道(例如，RGB DATA)的第二输入/输出、可以与电路108的第三输入/输出传送第二图像通道(例如，IR DATA)的第三输入/输出、可以呈现信号(例如，SL_TRIG)的第一输出、可以呈现一个或多个视频输出信号VIDOUT的第二输出以及可以呈现信号SLFLAG的第三输出。在示例中，电路104可以具有可以接收信号SL_TRIG的输入。电路104可以被配置为基于信号SL_TRIG来生成结构光图案。
在示例中，电路106可以具有可以呈现信号ES(或者可以用于计算曝光的开始的另一信号传送信息)的输出，以及可以向电路108的第四输入/输出传送信号的(例如，RAWVIDEO)的输入/输出。在示例中，信号RAW VIDEO可以将视频像素信息的四个通道(例如，R、G、B和IR)传送到电路108。在示例中，电路106和108还可以经由携带信号RAW VIDEO的连接交换控制和/或状态信号。
在示例中，电路108可以被配置为将从电路106接收到的四通道RGB-IR视频信号RAW VIDEO分为单独的IR图像数据通道和RGB图像数据通道。在示例中，电路108可以被配置为响应于信号RAW VIDEO而生成第一图像通道RGB DATA和第二图像通道IR DATA。第一图像通道RGB DATA通常包括彩色图像数据。在示例中，彩色图像数据可以包括RGB彩色空间数据或YUV彩色空间数据。在示例中，第二图像通道IR DATA可以包括单色图像数据。当结构光图案由电路104投影时，第二图像通道IR DATA通常包括IR图像数据和由电路104投影的结构光图案两者。当结构光图案未由电路104投影时，第二图像通道IR DATA通常包括IR图像数据，而没有结构光图案。当结构光图案由电路104投影时，第一图像通道RGB DATA通常也包括由电路104投影的结构光图案，并且因此通常被忽略。
在示例中，由第二图像通道IR DATA携带的结构光图案数据可以由电路102分析以获得针对相机106的视野的3D(例如，深度)信息。电路102还可以被配置为基于由第二图像通道IR DATA携带的结构光图案数据来进行存在性确定。在示例中，电路102可以分析RGB(或YUV)数据以及IR数据，以辨别(例如，检测、辨识等)在相机106的视野中的一个或多个特征或对象。在示例中，电路110可以被配置为生成信号SL_TRIG。电路110可以实现根据本发明的实施例的结构光控制时序协议。在示例中，电路110可以以硬件、软件(或固件、微码等)或硬件和软件的组合来实现。
在示例中，电路120可以被实现为结构光源。在示例中，电路120可以被实现为垂直腔表面发射激光器(VCSEL)的阵列和镜头。然而，可以实现其他类型的结构光源以满足特定应用的设计标准。在示例中，VCSEL的阵列通常被配置为生成激光图案。镜头通常被配置为将激光图案分解为密集的点图案阵列。在示例中，电路120可以实现近红外(NIR)光源。在各种实施例中，电路120的光源可以被配置为发射波长大约为940纳米(nm)的光，该光对于人眼是不可见的。然而，可以利用其他波长。在示例中，可以利用在大约为800nm-1000nm的范围内的波长。在示例中，电路120可以被配置为响应于信号SL_TRIG来发射结构光图案。在示例中，可以由电路102控制(例如，编程)由电路120发射的光的时段和/或强度。在示例中，电路102可以在使信号SL_TRIG有效之前配置电路120。
在示例中，电路130可以用全局快门图像传感器或卷帘式快门图像传感器来实现。当电路130用全局快门图像传感器来实现时，传感器的所有像素可以同时开始曝光。当电路130用卷帘式快门图像传感器来实现时，随着传感器的每一排(或每一行)开始曝光，该排(或行)中的所有像素可以同时开始曝光。在示例中，电路130可以用RGB-IR图像传感器来实现。在示例中，RGB-IR图像传感器可以被实现为RGB-IR互补金属氧化物半导体(CMOS)图像传感器。
在一个示例中，电路130可以被配置为响应于开始曝光而使信号ES有效。在另一示例中，电路130可以被配置为使另一信号有效，该信号可以用于使用预定义的公式来计算传感器的曝光的开始。在示例中，电路130可以被配置为生成信号RAW VIDEO。在示例中，电路130可以将掩模施加到单色传感器。在示例中，掩模可以包括多个单元，所述单元包含一个红色像素、一个绿色像素、一个蓝色像素和一个IR像素。IR像素可以包含红色、绿色和蓝色滤波器材料，这些滤波器材料可以高效地吸收可见频谱中的所有光，同时允许更长的红外波长以最小的损失通过。由于硬件限制，红色、绿色和蓝色像素也可能接收(响应于)更长的红外波长。因此，红外结构光图案(当存在时)会污染RGB通道。由于结构光污染，当存在红外结构光图案时，通常可以忽略RGB帧。
参考图2，示出了说明根据本发明的示例实施例的3D感测系统的元件的图。在示例中，3D感测系统200可以包括壳体202和处理器204。红外(IR)结构光投影仪104(包括第一镜头和结构光源130)和相机106(包括第二镜头和电路130的单个RGB-IR图像传感器)可以安装在壳体202中。IR结构光投影仪104可以被配置为在开启时将结构光图案(SLP)投影到相机106的视野中的对象上。电路130的RGB-IR传感器可以用于获取针对相机106的视野中的对象的IR图像数据(具有和不具有结构光图案)和RGB图像数据(不具有结构光图案)两者。3D感测系统200通常提供优于常规的两个相机感测系统的优点。通过仅利用一个RGB-IR图像传感器来获得具有和不具有结构光图案(SLP)的RGB图像数据和IR图像数据两者，相对于常规系统，3D感测系统200通常减少了系统成本和系统复杂度(例如，一个传感器和一个镜头对两个传感器和两个镜头)。
在示例中，处理器204可以将来自电路130的RGB-IR传感器的RGB-IR数据分开为(分为)包括存在结构光图案的IR图像数据的第一图像数据通道，以及包括不存在结构光图案的RGB和/或IR图像数据的第二图像数据通道。在示例中，可以由处理器204来处理第一和第二图像数据通道，以用于3D(例如，深度)感知、存在性确定、3D面部识别、对象检测、面部检测、对象辨识以及面部识别。在示例中，具有存在结构光图案的IR图像数据的第一图像数据通道可以用于执行深度分析、存在性确定和/或3D面部识别。具有不存在结构光图案的IR图像数据和不存在结构光图案的RGB图像数据的第二图像数据通道可以用于生成编码(或压缩)的视频信号、位流或多个位流，以及执行对象检测、面部检测、对象辨识和/或面部识别。
在示例中，可以将深度分析210应用于第一图像数据通道，其包括存在结构光图案的IR图像数据(例如，当IR投影仪104开启时)。可以利用深度分析210来生成深度信息。在示例中，可以利用由深度分析210生成的深度信息以在真人的3D面部的图像206a(真的面部)与纸、计算机屏幕、电话屏幕等上的人的图片的图像206b(假的面部)之间进行辨别。生成的深度信息也可以用于进行存在性确定和/或执行3D面部识别。
在示例中，由深度分析210生成的深度信息可以被呈现为对神经网络212的输入。在另一示例中，由深度分析210生成的深度信息可以被呈现为对传统图像处理和/或图像分析技术的输入。在示例中，神经网络212可以(例如，通过设计、通过训练过程等)被配置为实时地执行存在性判断(例如3D面部/假的面部)和/或3D面部识别。在示例中，神经网络212可以利用由深度分析210生成的深度信息来识别图像208a中对象或真人的特征以进行3D识别，并将纸、计算机屏幕、电话屏幕等上的对象或人物的图片的图像208b分辨为假的面部或对象。神经网络212还可以利用由深度分析210生成的深度信息来进行存在性确定(判断)。
在示例中，由第二图像数据通道提供的不具有结构光图案的IR图像数据(例如，IR投影仪104被关闭)和不存在结构光图案的RGB图像数据(例如，IR投影仪104被关闭)二者可以用来生成编码位流或多个编码位流并执行对象检测、面部检测、对象辨识以及面部识别。在示例中，不具有结构光图案的IR图像数据(例如，IR投影仪104被关闭)和/或不具有结构光图案的RGB图像数据(例如，IR投影仪104被关闭)可以呈现为对神经网络214的输入。在另一示例中，不具有结构光图案的IR图像数据(例如，IR投影仪104被关闭)和/或不具有结构光图案的RGB图像数据(例如，IR投影仪104被关闭)可以呈现为对传统图像处理和/或图像分析技术的输入。
在示例中，神经网络214可以(例如，通过设计、通过训练过程等)被配置为实时地获得检测、识别和/或分类结果。在示例中，在低光照(或夜晚)环境中，神经网络214可以利用来自第二图像数据通道的IR图像数据(没有结构光图案)来辨识在纸、计算机屏幕、电话屏幕等上的对象或人的图片的单色图像208a或单色图像208b中的对象或人的特征。在较亮的(白天)环境中，神经网络214可以利用来自第二图像数据通道的RGB图像数据(没有结构光图案)基于真实对象或人的彩色图像208a或照片、计算机上的图像、手机屏幕等的彩色图像208b来做出推断。
在实现神经网络212和/或神经网络214的实施例中，神经网络212和214可以包括一个或多个神经网络架构，包括但不限于卷积神经网络(CNN)、深度学习神经网络(DNN)和/或完全连接的神经网络。神经网络(更恰当地被称为“人工”神经网络(ANN))是由多个简单的、高度互连的处理元件组成的计算系统，这些处理元件通过对外部输入的相应的动态状态响应来处理信息。神经网络是一种松散地模仿大脑的神经元结构但规模要小得多的处理设备(算法或实际硬件)。大型神经网络可以具有上百个或上千个处理单元。
神经网络典型地是分层组织的。这些层可以包括执行操作或激活功能的多个互连节点。输入数据被呈现给网络的输入层，该网络与一个或多个内部(或隐藏)层进行通信，在该内部层中经由经加权的连接的布置而执行实际处理。确定针对神经网络的经加权的连接的权重的过程典型地被称为训练。隐藏层连接到输出层，在输出层中呈现由神经网络实现的预测模型的结果。
在各种实施例中，一个或多个应用216可以单独地或组合地利用深度分析210的结果、神经网络212的输出和/或神经网络214的输出。在示例中，(多个)应用216可以在处理器204上运行或使用分布式处理(例如，云资源等)。
参考图3，示出了说明根据本发明的实施例的视频帧序列的图。在示例中，视频序列的一部分220可以包括多个帧222a-222n以及帧224。帧222a-222n可以包括不具有结构光图案的彩色和/或IR图像数据。在示例中，可以在IR投影仪104关闭的情况下捕获帧222a-222n。在示例中，可选IR光源(例如，一个或多个IR LED)可以在夜晚模式下与帧222a-222n一起使用。在示例中，帧222a-222n的数量可以被改变。在示例中，帧的数量可由用户编程。可以在IR投影仪104开启的情况下捕获帧224。
在示例中，部分220可以代表可以被重复的一组帧。在示例中，视频序列可以包括形成具有结构光图案的帧和不具有结构光图案的帧的模式的多个组。在一个示例中，模式可以是001001001...，其中1表示结构光图案的存在。在其他示例中，模式可以是001100110011...，000110001100011...等。在另一示例中，(例如，当检测到面部时)可以实现动态成组方案(例如000100100001000101等)。
当IR投影仪104关闭时，RGB数据和IR数据可以用于编码、面部检测、面部识别等。当IR投影仪104开启时，具有结构光图案的IR数据可以用于深度确定、存在性确定和/或3D面部识别。在IR投影仪104开启的情况下，RGB通道被结构光图案污染，因此通常被忽略(丢弃)。
参考图4，示出了说明可以在白天和夜晚的操作模式期间生成的示例输出的图表250的图。在示例中，在白天模式252期间，可以关闭结构光投影仪和可选的IR LED照明。RGB和IR图像数据通道均可单独使用或组合使用，用以生成编码位流、面部检测和面部识别。在夜晚模式254中，可以关闭结构光投影仪并且可以打开可选的IR或可见光照明。在深度和/或存在性感测模式256下，结构光投影仪可以被打开。深度和/或存在性感测模式256可以在白天模式和夜晚模式中使用。
在开启IR照明的夜晚模式254中，IR图像数据通道可用于生成编码位流、面部检测和面部识别，而彩色(RGB或YUV)图像数据通道可被丢弃(例如，由于太暗)。在开启可见照明的夜晚模式254中，彩色(RGB或YUV)图像数据通道可用于生成编码位流、面部检测和面部识别。在深度和/或存在性感测模式256下，由于结构光图案的污染，彩色(RGB或YUV)图像数据通道可能被丢弃，而具有结构光图案的IR图像数据通道可以在内部(例如，由处理器102)或在外部(例如，由另一电路)使用，以生成深度信息并执行存在性检查或3D面部识别。在深度和/或存在性感测模式256中，IR图像数据通道通常不用于编码。
参考图5，示出了说明提供面部解除特征的示例安全性面板的图。在示例中，根据本发明的示例实施例的低成本的3D感测系统可以被实现为安全性面板300的一部分。在示例中，安全性控制面板300可以被配置为基于面部识别来限制访问和/或许可。在示例中，3D信息可以用于3D建模和存在性确定，并且可以用于从面部识别特定用户并且自动提供免手动访问(例如，解锁门、解除警报系统等)。在示例中，3D建模和存在性确定可以用于识别特定用户并且基于面部辨识来允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人X或Y改变访问级别或策略、添加用户等)。
参考图6，示出了说明示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3D感测系统可以被实现为访问控制面板400的一部分。在示例中，3D信息可以用于3D建模和存在性确定。在示例中，低成本的基于结构光的3D感测系统可以用于获得对支付系统(例如，ATM等)的访问权、解除警报系统和/或允许对(例如，花园、车库、房屋等的)受限区域的“绊网(tripwire)”访问。在一个示例中，低成本的基于结构光的3D感测系统可以被配置为识别园丁/水池维护人员并且禁止触发警报。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为限制对一周中的某些时间和日期的访问。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为基于视频/音频辨识通过访问控制面板400允许警报系统重新编程特权(例如，即使输入了正确的密码，也可以仅允许人X或Y改变访问级别或策略、添加用户等)。
参考图7，示出了说明使用密码的示例访问控制面板的图。在各种实施例中，包括装置100的低成本的基于结构光的3D感测系统可以被实现为安全性小键盘500的一部分。在示例中，安全性小键盘500可以被配置为基于面部识别来限制访问和/或许可。在示例中，3D信息可以用于3D建模和存在性确定，并且可以用于识别特定用户并且基于面部辨识来允许访问、警报系统解除特权、警报系统编程特权和/或警报系统重新编程特权。在示例中，即使在小键盘500上输入了正确的密码，也可以仅允许已知的人(例如，人X或Y)获得访问权或改变访问级别或策略、添加用户等。
参考图8，示出了说明可以利用装置100以进行面部识别的另一示例访问控制面板550的图。
参考图9，示出了说明可以使用图1的装置执行的示例过程的流程图。在示例中，可以实现过程(或方法)600以生成一系列图像(或图像序列)，用于执行尤其是深度分析、存在性确定、对象检测、面部检测、对象辨识和/或面部识别。在示例中，过程600可以包括步骤(或状态)602、决策步骤(或状态)604、步骤(或状态)606、步骤(或状态)608和步骤(或状态)610。在步骤602中，过程600可以使3D感测系统(例如，系统100)初始化。在步骤604中，过程600可以确保结构光投影仪开启。在步骤606中，过程600可以使用RGB-IR图像传感器获得(捕获)图像数据。所捕获的图像数据可以包括红外(IR)图像数据通道和彩色(RGB或YUV)图像数据通道，两者均包含由结构光投影仪投影的结构光图案。来自红外(IR)图像数据通道的具有结构光图案的图像数据的帧可以被捕获以用于深度分析、存在性确定和/或3D面部检测/识别。来自彩色(RGB或YUV)图像数据通道的图像数据由于结构光图案的污染而可能被忽略(丢弃)。
在步骤608中，过程600可以确保结构光投影仪关闭。在步骤610中，过程600可以通过捕获来自IR图像数据通道和彩色图像数据通道两者的图像数据的一个或多个帧，来获得(捕获)不具有结构光图案的一个或多个图像。过程600可以持续地或在预定的时间段内重复步骤604至610以获得一系列图像(或图像序列)。在示例中，在步骤606中捕获的图像可以用于执行深度确定、存在性确定以及3D面部检测/识别。在示例中，在步骤610中捕获的图像可以用于执行编码以及对象检测和辨识，包括但不限于面部检测和面部识别。在示例中，来自彩色(RGB或YUV)图像数据通道的图像数据可以在白天模式下使用，而来自IR图像数据通道的图像数据可以在夜晚模式下使用。在示例中，可选的IR光源(例如，一个或多个发光二极管(LED))可用于在夜晚模式下提供附加照明。在另一示例中，可见光源(例如，白色LED)可以用于夜晚模式，并且来自彩色(RGB或YUV)图像数据通道的图像数据可用于面部检测和面部识别。
参考图10，示出了说明图1的传感器系统的示例操作的时序图700。在示例中，示出了包括6个帧的视频(或帧)序列的一部分。在帧1、2、4和5中，彩色(RGB或YUV)图像数据通道和IR图像数据通道是未被污染的(例如，不存在结构光图案)。彩色(RGB或YUV)图像数据通道和IR图像数据通道均可用于编码的目的。在示例中，可以通过在白天模式期间对彩色(RGB或YUV)图像数据通道进行编码并在夜晚模式期间对IR图像数据通道进行编码来生成视频位流。在示例中，可以在夜晚模式期间开启可选的IR或白色LED照明以改善图像质量。
在帧3和帧6中，结构光投影仪被开启。帧3和帧6的彩色(RGB或YUV)图像数据通道和IR图像数据通道均包含结构光图案。在各种实施例中，仅使用具有结构光图案的IR图像数据通道；具有结构光图案的彩色(RGB或YUV)图像数据通道可能会由于结构光的污染而被丢弃(丢掉)。
在图10所示的示例中，未受污染的帧与受污染的帧的比率为2：1。但是，可以实现其他比率(例如3∶1、4∶1等)。可以基于特定应用来编程该比率。在示例中，甚至可以使用2：0或3：0的比率。例如，当未检测到面部时，不需要开启结构光。
参考图11，示出了说明示例实现方式的相机800的框图。在示例中，相机800可以包括块(或电路)802、块(或电路)804、块(或电路)806、块(或电路)808、块(或电路)810、块(或电路)812、块(或电路)814、块(或电路)816、块(或电路)818和/或块(或电路)820。电路802可以被实现为处理器和/或片上系统(SoC)。电路804可以被实现为捕获设备。电路806可以被实现为存储器。块808可以被实现为光学镜头。电路810可以被实现为结构光投影仪。块812可以被实现为结构光图案镜头。电路814可以被实现为一个或多个传感器。电路816可以被实现为通信设备。电路818可以被实现为无线接口。电路820可以被实现为电池820。在一些实施例中，相机800可以包括处理器/SoC 802、捕获设备804、存储器806、镜头808、IR结构光投影仪810、镜头812、传感器814、通信模块816、无线接口818和电池820。在另一示例中，相机800可以包括捕获设备804、镜头808、IR结构光投影仪810、镜头812和传感器814，并且处理器/SoC 802、存储器806、通信模块816、无线接口818和电池820可以是单独的设备的组件。相机800的实现方式可以根据特定实现方式的设计标准而变化。
镜头808可以附接到捕获设备804。在示例中，捕获设备804可以包括块(或电路)822、块(或电路)824和块(或电路)826。电路822可以实现图像传感器。在示例中，电路822的图像传感器可以是RGB-IR图像传感器。电路824可以是处理器和/或逻辑。电路826可以是存储器电路(例如，帧缓冲器)。
捕获设备804可以被配置为捕获视频图像数据(例如，由镜头808收集并聚焦的光)。捕获设备804可以捕获通过镜头808接收到的数据以生成视频位流(例如，视频帧的序列)。在各种实施例中，镜头808可以被实现为定焦镜头。定焦镜头通常促进更小尺寸和低功率。在示例中，定焦镜头可以用于电池供电的门铃和其他低功率相机应用。在一些实施例中，镜头808可以被定向、倾斜、平移、缩放和/或旋转以捕获相机800周围的环境(例如，捕获来自视野的数据)。在示例中，可以利用主动镜头系统来实现专业相机模型，以用于增强的功能、远程控制等。
捕获设备804可以将接收到的光转换为数字数据流。在一些实施例中，捕获设备804可以执行模数转换。例如，图像传感器822可以对由镜头808接收到的光执行光电变换。处理器/逻辑824可以将数字数据流转换为视频数据流(或位流)、视频文件和/或多个视频帧。在示例中，捕获设备804可以将视频数据呈现为数字视频信号(例如，RAW VIDEO)。数字视频信号可以包括视频帧(例如，顺序数字图像和/或音频)。
由捕获设备804捕获的视频数据可以被表示为由数字视频信号RAW VIDEO传达的信号/位流/数据。捕获设备804可以将信号VIDEO呈现给处理器/SoC 802。信号RAW VIDEO可以表示视频帧/视频数据。信号RAW VIDEO可以是由捕获设备804捕获的视频流。
图像传感器822可以从镜头808接收光并且将光转换为数字数据(例如，位流)。例如，图像传感器822可以对来自镜头808的光执行光电变换。在一些实施例中，图像传感器822可以具有不被用作图像输出的一部分的额外裕度。在一些实施例中，图像传感器822可以不具有额外裕度。在各种实施例中，图像传感器822可以被配置为生成RGB-IR视频信号。在仅红外光照明的视野中，图像传感器822可以生成单色(B/W)视频信号。在由IR光和可见光两者照明的视野中，图像传感器822可以被配置为生成除了单色视频信号之外的彩色信息。在各种实施例中，图像传感器822可以被配置为响应于可见光和/或红外(IR)光而生成视频信号。
处理器/逻辑824可以将位流转换为人类可见的内容(例如，无论图像质量如何，普通人都可以理解的视频数据，例如，视频帧)。例如，处理器/逻辑824可以从图像传感器822接收纯(例如，原始)数据，并且基于原始数据来生成(例如，编码)视频数据(例如，位流)。捕获设备804可以具有存储器826以存储原始数据和/或经处理的位流。例如，捕获设备804可以实现帧存储器和/或缓冲器826以存储(例如，提供临时存储和/或高速缓存)视频帧中的一个或多个(例如，数字视频信号)。在一些实施例中，处理器/逻辑824可以对存储在捕获设备804的存储器/缓冲器826中的视频帧执行分析和/或校正。
传感器814可以实现多个传感器，包括但不限于运动传感器、环境光传感器、接近度传感器(例如，超声、雷达、激光雷达等)、音频传感器(例如，麦克风)等。在实现运动传感器的实施例中，传感器814可以被配置为检测在由相机800监视的视野中的任何地方的运动。在各种实施例中，运动的检测可以用作用于激活捕获设备804的一个阈值。传感器814可以被实现为相机800的内部组件和/或被实现为相机800外部的组件。在示例中，传感器814可以被实现为无源红外(PIR)传感器。在另一示例中，传感器814可以被实现为智能运动传感器。在实现智能运动传感器的实施例中，传感器814可以包括被配置为检测运动和/或人的低分辨率图像传感器。
在各种实施例中，传感器814可以生成信号(例如，SENS)。信号SENS可以包括由传感器814收集的各种数据(或信息)。在示例中，信号SENS可以包括响应于运动在被监视的视野中被检测到而被收集的数据、在被监视的视野中的环境光级别和/或在被监视的视野中拾取的声音。然而，可以基于特定应用的设计标准来收集和/或生成其他类型的数据。可以将信号SENS呈现给处理器/SoC 802。在示例中，当运动在由相机800监视的视野中被检测到时，传感器814可以生成信号SENS(使信号SENS有效)。在另一示例中，当由在相机800监视的视野中的音频触发传感器814时，传感器814可以生成信号SENS(使信号SENS有效)。在又一示例中，传感器814可以被配置为提供关于在视野中检测到的运动和/或声音的方向信息。方向信息也可以经由信号SENS传达到处理器/SoC 802。
处理器/SoC 802可以被配置为执行计算机可读代码和/或过程信息。在各种实施例中，计算机可读代码可以被存储在处理器/SoC 802内(例如，微码等)和/或在存储器806中。在示例中，处理器/SoC 802可以被配置为执行存储在存储器806中的一个或多个人工神经网络模型(例如，面部识别CNN、对象检测CNN、对象分类CNN等)。在示例中，存储器806可以存储一个或多个有向非循环图(DAG)以及定义一个或多个人工神经网络模型的一个或多个权重集。处理器/SoC 802可以被配置为从存储器806接收输入和/或向存储器806呈现输出。处理器/SoC 802可以被配置为呈现和/或接收其他信号(未示出)。处理器/SoC 802的输入和/或输出的数量和/或类型可以根据特定实现方式的设计标准而变化。处理器/SoC 802可以被配置用于低功率(例如，电池)操作。
处理器/SoC 802可以接收信号RAW VIDEO和信号SENS。在示例中，处理器/SoC 802可以基于信号RAW VIDEO、信号SENS和/或其他输入来生成一个或多个视频输出信号(例如，RGB、IR等)以及一个或多个控制信号(例如，SL FLAG)。在一些实施例中，可以基于对信号RAW VIDEO和/或在信号RAW VIDEO中检测到的对象的分析来生成信号RGB、IR和SL FLAG。在示例中，信号RGB通常包括RGB或YUV彩色空间中的彩色图像(帧)。在示例中，当处理器/SoC802在白天模式下操作时，可以生成信号RGB。在示例中，当处理器/SoC 802在白天模式下操作时，可以生成信号RGB。在示例中，信号IR通常包括IR单色图像(帧)。在一个示例中，当处理器/SoC 802在白天模式下操作时，信号IR可以包括使用环境IR光的无污染的IR图像(例如，没有结构光图案)。在另一示例中，当处理器/SoC 802在夜晚模式下操作时，信号IR可以包括使用IR LED照明的无污染的IR图像(例如，没有结构光图案)。在又一示例中，当IR投影仪开启并且处理器/SoC 802在白天模式或夜晚模式下操作时，信号IR可以包括被污染的IR图像(例如，结构光图案存在于图像的至少一部分中)。在各种实施例中，处理器/SoC 802可以被配置为执行以下各项中的一个或多个：特征提取、对象检测、对象跟踪和对象辨识。例如，处理器/SoC 802可以通过分析来自信号RAW VIDEO的帧并且将该帧与先前的帧进行比较来确定运动信息和/或深度信息。比较可以用于执行数字运动估计。在一些实施例中，处理器/SoC 802可以被配置为生成包括来自信号RAW VIDEO的视频数据的视频输出信号RGB和IR。视频输出信号RGB和IR可以被呈现给存储器806、通信模块816和/或无线接口818。信号SL FLAG可被配置为指示何时在信号RGB和IR中存在结构光图案。在示例中，当信号指示存在结构光图案时，可以忽略(丢弃)由信号RGB承载的图像数据。
存储器806可以存储数据。存储器806可以实现各种类型的存储器，包括但不限于高速缓存、闪速存储器、存储器卡、随机存取存储器(RAM)、动态RAM(DRAM)存储器等。存储器806的类型和/或大小可以根据特定实现方式的设计标准而变化。存储在存储器806中的数据可以对应于视频文件、运动信息(例如，来自传感器814的读数)、视频融合参数、图像稳定参数、用户输入、计算机视觉模型和/或元数据信息。
镜头808(例如，相机镜头)可以被定向以提供相机800周围的环境的视图。镜头808可以旨在捕获环境数据(例如，光)。镜头808可以是广角镜头和/或鱼眼镜头(例如，能够捕获宽视野的镜头)。镜头808可以被配置为捕获和/或聚焦用于捕获设备804的光。通常，图像传感器822位于镜头808的后面。基于从镜头808捕获的光，捕获设备804可以生成位流和/或视频数据。
通信模块816可以被配置为实现一个或多个通信协议。例如，通信模块816和无线接口818可以被配置为实现以下各项中的一个或多个：IEEE 802.11、IEEE 802.15、IEEE802.15.1、IEEE 802.15.2、IEEE 802.15.3、IEEE 802.15.4、IEEE 802.15.5、IEEE 802.20、
Figure BDA0002658214130000181
和/或
Figure BDA0002658214130000182
在一些实施例中，无线接口818还可以实现与蜂窝通信网络相关联的一个或多个协议(例如，GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等)。在相机800被实现为无线相机的实施例中，由通信模块816和无线接口818实现的协议可以是无线通信协议。由通信模块816实现的通信协议的类型可以根据特定实现方式的设计标准而变化。
通信模块816和/或无线接口818可以被配置为生成广播信号作为来自相机800的输出。广播信号可以将视频数据RGB和/或IR，和/或控制信号SL FLAG发送到外部设备。例如，可以将广播信号发送到云存储服务(例如，能够按需扩展的存储服务)。在一些实施例中，通信模块816可以不发送数据，直到处理器/SoC 802已经执行视频分析以确定对象在相机800的视野中为止。
在一些实施例中，通信模块816可以被配置为生成手动控制信号。可以响应于由通信模块816从用户接收到的信号而生成手动控制信号。手动控制信号可以被配置为激活处理器/SoC 802。无论相机800的功率状态如何，都可以响应于手动控制信号而激活处理器/SoC 802。
在一些实施例中，相机800可以包括电池820，该电池820被配置成为相机800的各种组件提供电力。用于基于运动传感器814的输出来激活和/或禁用捕获设备804的多步骤方法和/或相机800的任何其他功耗特征可以被实现，以减少相机800的功耗并且延长电池820的可操作寿命。传感器814的运动传感器可以在电池820上具有非常低的耗电量(例如，小于10μW)。在示例中，传感器814的运动传感器可以被配置为保持开启(例如，始终有效)，除非响应于来自处理器/SoC 802的反馈而被禁用。由处理器/SoC 802执行的视频分析可以在电池820上具有大耗电量(例如，大于运动传感器814)。在示例中，处理器/SoC 802可以处于低功率状态(或掉电)，直到某种运动由传感器814的运动传感器检测到为止。
相机800可以被配置为使用各种功率状态进行操作。例如，在掉电状态(例如，睡眠状态、低功率状态)下，传感器814的运动传感器和处理器/SoC 802可以开启，并且相机800的其他组件(例如，图像捕获设备804、存储器806、通信模块816等)可以关闭。在另一示例中，相机800可以在中间状态下操作。在该中间状态下，图像捕获设备804可以开启，并且存储器806和/或通信模块816可以关闭。在又一示例中，相机800可以在通电(或高功率)状态下操作。在通电状态下，传感器814、处理器/SoC 802、捕获设备804、存储器806和/或通信模块816可以开启。相机800可以在掉电状态下消耗来自电池820的一些电力(例如，相对小和/或最小量的电力)。在通电状态下，相机800可以消耗来自电池820的更多电力。在相机800在功率状态中的每一种状态下操作时，功率状态和/或相机800的开启的组件的数量可以根据特定实现方式的设计标准而变化。
在一些实施例中，相机800可以包括小键盘、触摸板(或屏幕)、门铃开关和/或其他人机接口设备(HID)828。在示例中，传感器814可以被配置为确定对象何时在HID 828附近。在相机800被实现为访问控制应用的一部分的示例中，可以开启捕获设备804以提供用于辨识尝试访问的人的图像和锁定区域的照明，和/或可以开启用于访问的触摸板。
在各种实施例中，可以提供低成本的3D感测平台。低成本的3D感测平台可以促进智能访问控制系统和智能安全性产品(例如，智能视频门铃和门锁、支付系统、警报系统等)的开发。在各种实施例中，低成本的3D感测平台可以包括视觉片上系统(SoC)、结构光投影仪和RGB-IR图像传感器。在各种实施例中，RGB-IR CMOS图像传感器可以用于获得用于观看和面部识别的可见光图像和红外(IR)图像两者，并且还利用红外(IR)图像进行深度感测。在示例中，视觉SoC可以在单个芯片上提供深度处理、反欺骗算法、3D面部识别算法和视频编码。
在各种应用中，根据本发明的实施例的低成本的3D感测平台可以显著地降低系统复杂度，同时改进性能、可靠性和安全性。在示例中，根据本发明的实施例的视觉SoC可以包括但不限于强大的图像信号处理器(ISP)、对RGB-IR滤色器阵列的本地支持以及高级高动态范围(HDR)处理，这可以在低光照且高对比度的环境中产生例外的图像质量。在示例中，根据本发明的实施例的视觉SoC可以提供一种架构，该架构递送用于存在性检测和3D面部识别的计算功率，同时针对诸如人数计数和反尾随之类的高级特征运行多种人工智能(AI)算法。
在各种实施例中，可以通过使用RGB-IR传感器来降低系统成本(例如，一个传感器和一个镜头对两个传感器和两个镜头)。在一些实施例中，还可以通过使用RGB-IR卷帘式快门传感器来降低系统成本(例如，卷帘式快门对全局快门)。经由通过软件控制结构光投影仪，可以容易地调整时间序列，提供改进灵活性。因为结构光投影仪可以由软件短暂地使用，所以可以实现功率节约。
在各种实施例中，可以实现低成本的基于结构光的3D感测系统。在示例中，3D信息可以用于3D建模和存在性确定。在示例中，低成本的基于结构光的3D感测系统可以用于解锁门、解除警报系统和/或允许对(例如，花园、车库、房屋等的)受限区域的“绊网”访问。在一个示例中，低成本的基于结构光的3D感测系统可以被配置为识别园丁/水池维护人员并且禁止触发警报。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为限制对一周中的某些时间和日期的访问。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为在识别出某些对象时触发警报(例如，限制令是针对前配偶的，如果检测到该人，则向911报警)。在另一示例中，低成本的基于结构光的3D感测系统可以被配置为基于视频/音频辨识来允许警报系统重新编程特权(例如，即使输入了正确的密码，也仅允许人X或Y改变访问级别或策略、添加用户等)。
由图1-11的图示出的功能可以利用以下中的一个或多个来实现：常规通用处理器、数字计算机、微处理器、微控制器、RISC(精简指令集计算机)处理器、CISC(复杂指令集计算机)处理器、SIMD(单指令多数据)处理器、信号处理器、中央处理单元(CPU)、算术逻辑单元(ALU)、视频数字信号处理器(VDSP)和/或根据说明书的教导进行编程的类似的计算机器，如对(多个)相关领域的技术人员将显而易见的。熟练的程序员可以基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微码和/或程序模块，同样如对(多个)相关领域的技术人员而言也将是显而易见的。该软件通常由机器实现方式的处理器中的一个或多个从一种或多种介质执行。
本发明还可以通过以下方式来实现：准备ASIC(专用集成电路)、平台ASIC、FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、CPLD(复杂可编程逻辑器件)、门海(sea-of-gate)、RFIC(射频集成电路)、ASSP(专用标准产品)、一个或多个单片集成电路、被布置为倒装芯片模块和/或多芯片模块的一个或多个芯片或管芯，或者通过互连常规组件电路的适当的网络，如本文中所描述的，其修改对于本领域技术人员而言将是显而易见的。
因此，本发明还可以包括一种计算机产品，该计算机产品可以是一种或多种存储介质和/或一种或多种传输介质，这些介质包括可以用于对机器执行编程以执行根据本发明的一个或多个过程或方法的指令。机器对包含在计算机产品中的指令的执行以及周围电路的操作可以将输入数据转换为存储介质上的一个或多个文件和/或表示物理对象或物质的一个或多个输出信号，例如，音频和/或视觉描绘。存储介质可以包括但不限于任何类型的盘，包括软盘、硬盘驱动器、磁盘、光盘、CD-ROM、DVD和磁光盘以及诸如ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、UVPROM(紫外可擦除可编程ROM)之类的电路、闪速存储器、磁卡、光卡和/或适合于存储电子指令的任何类型的介质。
本发明的元件可以形成一个或多个设备、单元、组件、系统、机器和/或装置的一部分或全部。设备可以包括但不限于服务器、工作站、存储阵列控制器、存储系统、个人计算机、膝上型计算机、笔记本计算机、掌上计算机、云服务器、个人数字助理、便携式电子设备、电池供电的设备、机顶盒、编码器、解码器、代码转换器、压缩器、解压缩器、预处理器、后处理器、发射机、接收机、收发器、密码电路、蜂窝电话、数字相机、定位和/或导航系统、医疗设备、平视显示器、无线设备、音频记录、音频存储和/或音频播放设备、视频记录、视频存储和/或视频播放设备、游戏平台、外围设备和/或多芯片模块。(多个)相关领域的技术人员将理解，可以在其他类型的设备中实现本发明的元件，以满足特定应用的标准。
当在本文中与“是”和动词结合使用时，术语“可以”和“通常”意在传达这样的意图：该描述是示例性的，并且被认为足够宽泛以涵盖本公开中提出的具体示例以及可以基于本公开得出的替代示例两者。如本文所使用的术语“可以”和“通常”不应被解释为必然暗示省略相应元件的可取性或可能性。
尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以对形式和细节进行各种改变。

Claims (18)

1.一种装置，其包括：
RGB-IR图像传感器；
结构光投影仪；以及
控制电路，其被配置为控制所述RGB-IR图像传感器的快门曝光时间和所述结构光投影仪的开启时间，以获得由所述RGB-IR图像传感器捕获的图像序列，其中，所述图像序列包括：包括结构光图案的至少一个图像，以及其中不存在所述结构光图案的至少一个图像。
2.根据权利要求1所述的装置，其中，所述控制电路还被配置为：生成指示所述图像序列中的哪个图像包含所述结构光图案的信号。
3.根据权利要求1所述的装置，其中，所述图像序列包括多个组，每个组包括：包括所述结构光图案的一个或多个图像，以及其中不存在所述结构光图案的两个或更多个图像。
4.根据权利要求1所述的装置，其中，所述控制电路还被配置为：响应于所述图像序列和指示所述图像序列中的哪个图像包含所述结构光图案的所述信号来控制安全性系统的一个或多个特征。
5.根据权利要求4所述的装置，其中，所述安全性系统的所述一个或多个特征包括以下各项中的一个或多个：门锁、警报系统、受控访问系统以及支付系统。
6.根据权利要求1所述的装置，其中，所述装置包括低功率相机。
7.根据权利要求1所述的装置，其中，所述控制电路还被配置为执行以下各项中的一个或多个：深度信息生成、存在性确定以及面部识别。
8.根据权利要求7所述的装置，其中，面部识别包括利用所述深度信息的3D面部识别。
9.根据权利要求1所述的装置，其中，所述结构光投影仪包括垂直腔表面发射激光器的阵列。
10.根据权利要求9所述的装置，其中，所述垂直腔表面发射激光器的阵列发射波长在800纳米至1000纳米范围内的光。
11.根据权利要求9所述的装置，其中，所述结构光投影仪还包括镜头，其被配置为将来自所述垂直腔表面发射激光器的阵列的激光图案分解为密集的点图案阵列。
12.根据权利要求1所述的装置，还包括：红外(IR)光源或可见光源中的一个或多个。
13.根据权利要求12所述的装置，其中，所述IR光源和所述可见光源包括一个或多个发光二极管。
14.一种实现低成本的基于结构光的3D感测系统的方法，包括：
基于预定的值来设置RGB-IR图像传感器的曝光时间；
控制结构光投影仪的开启时间；以及
使用所述RGB-IR图像传感器来捕获图像序列，其中，所述图像序列包括：包括结构光图案的至少一个图像，以及其中不存在所述结构光图案的至少一个图像。
15.根据权利要求14所述的方法，其中，所述结构光投影仪的所述开启时间由计时器控制。
16.根据权利要求14所述的方法，还包括：
在白天模式下，在所述结构光投影仪被关闭时，使用由所述RGB-IR图像传感器捕获的彩色图像数据和红外图像数据中的一项或多项，以进行编码、面部检测和面部识别中的一项或多项。
17.根据权利要求14所述的方法，还包括：
在夜晚模式下，在所述结构光投影仪被关闭时，使用由所述RGB-IR图像传感器捕获的红外图像数据，以进行编码、面部检测和面部识别中的一项或多项。
18.根据权利要求14所述的方法，还包括：
在所述结构光投影仪被开启时，使用由所述RGB-IR图像传感器捕获的红外图像数据来生成深度信息，以用于深度确定、存在性确定和3D面部识别中的一项或多项。
CN202010895197.5A 2020-08-31 2020-08-31 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构 Pending CN114125193A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010895197.5A CN114125193A (zh) 2020-08-31 2020-08-31 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构
US17/014,117 US11323685B2 (en) 2020-08-31 2020-09-08 Timing mechanism to derive non-contaminated video stream using RGB-IR sensor with structured light
US17/587,301 US11843760B2 (en) 2020-08-31 2022-01-28 Timing mechanism to derive non-contaminated video stream using RGB-IR sensor with structured light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895197.5A CN114125193A (zh) 2020-08-31 2020-08-31 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Publications (1)

Publication Number Publication Date
CN114125193A true CN114125193A (zh) 2022-03-01

Family

ID=80359065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895197.5A Pending CN114125193A (zh) 2020-08-31 2020-08-31 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Country Status (2)

Country Link
US (2) US11323685B2 (zh)
CN (1) CN114125193A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114073063B (zh) * 2020-05-27 2024-02-13 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
US11689822B2 (en) * 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US20230262300A1 (en) * 2022-02-16 2023-08-17 Lenovo (Singapore) Pte. Ltd Information processing apparatus and control method
DE102022002637B3 (de) 2022-07-19 2023-07-27 Mercedes-Benz Group AG Kamerasystem und Verfahren zu dessen Betrieb

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510461A (zh) * 2010-09-28 2012-06-20 微软公司 集成低功率深度相机和投影设备
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术（上海）有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
CN108683902A (zh) * 2018-03-31 2018-10-19 深圳奥比中光科技有限公司 目标图像获取系统与方法
CN109076145A (zh) * 2015-12-21 2018-12-21 英特尔公司 用于主动式照明深度相机的自动范围控制
WO2019182871A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
CN110298874A (zh) * 2018-03-23 2019-10-01 卡普索影像公司 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305108B2 (en) * 2001-11-08 2007-12-04 Pelco Security identification system
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
US10491837B2 (en) * 2015-07-09 2019-11-26 Huawei Technologies Co., Ltd. Imaging method, image sensor, and imaging device
JP6742405B2 (ja) * 2015-09-29 2020-08-19 バイナリーヴィーアール, インコーポレイテッドBinaryvr, Inc. 表情検出機能を備えたヘッドマウントディスプレイ
US20180129866A1 (en) * 2016-11-10 2018-05-10 Intel Corporation Meta illuminator
US11188628B2 (en) * 2019-10-11 2021-11-30 Accenture Global Solutions Limited Biometric challenge-response authentication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
CN102510461A (zh) * 2010-09-28 2012-06-20 微软公司 集成低功率深度相机和投影设备
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术（上海）有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
CN109076145A (zh) * 2015-12-21 2018-12-21 英特尔公司 用于主动式照明深度相机的自动范围控制
WO2019182871A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
CN110298874A (zh) * 2018-03-23 2019-10-01 卡普索影像公司 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
CN108683902A (zh) * 2018-03-31 2018-10-19 深圳奥比中光科技有限公司 目标图像获取系统与方法

Also Published As

Publication number Publication date
US11323685B2 (en) 2022-05-03
US11843760B2 (en) 2023-12-12
US20220070432A1 (en) 2022-03-03
US20220150462A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US11843760B2 (en) Timing mechanism to derive non-contaminated video stream using RGB-IR sensor with structured light
US11146747B1 (en) Dynamic driver mechanism for rolling shutter sensor to acquire the structured light pattern
US11563927B2 (en) Mounting calibration of structured light projector in mono camera stereo system
US10255683B1 (en) Discontinuity detection in video data
US11935257B2 (en) Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression
US11748991B1 (en) IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
US10930126B1 (en) Motion sensing for electronic devices
US12002229B2 (en) Accelerating speckle image block matching using convolution techniques
US11704908B1 (en) Computer vision enabled smart snooze home security cameras
US11570358B1 (en) Using remote sensors to resolve start up latency in battery-powered cameras and doorbell cameras
US10939120B1 (en) Video upload in limited bandwidth
US20230237383A1 (en) Methods and apparatus for performing analytics on image data
CN116721141A (zh) 自适应面部深度图生成
CN114079709B (zh) 用于卷帘式快门传感器的驱动器机构以获取结构光图案
US11163097B1 (en) Detection and correction of optical filter position in a camera device
US11032762B1 (en) Saving power by spoofing a device
CN117354631A (zh) 使用人工智能跟踪移动主体的感兴趣区域的自动曝光计量
US11157761B2 (en) IR/Visible image camera with dual mode, active-passive-illumination, triggered by masked sensor to reduce power consumption
US11935377B1 (en) Security cameras integrating 3D sensing for virtual security zone
US11924555B2 (en) Intelligent auto-exposure control for RGB-IR sensor
US20230206476A1 (en) Accelerated alignment of high-resolution image and depth map for low-bit-width floating-point representation
US11743450B1 (en) Quick RGB-IR calibration verification for a mass production process
US11922697B1 (en) Dynamically adjusting activation sensor parameters on security cameras using computer vision
TWI775801B (zh) 低功率虹膜掃描初始化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination