CN113542529A - 用于dms和oms的940nm led闪光同步 - Google Patents

Abstract

本发明涉及用于DMS和OMS的940NM LED闪光同步。本发明提供了一种装置，其包括第一图像传感器、第二图像传感器、与第一图像传感器相关联的第一光源、与第二图像传感器相关联的第二光源以及控制电路。控制电路可以被配置为控制第一光源和第二光源以防止第一光源与第二光源之间的干扰影响由第一图像传感器和第二图像传感器捕获的图像。

Description

用于DMS和OMS的940NM LED闪光同步

技术领域

本发明总体上涉及车辆监视系统，并且更具体地，涉及一种用于为驾驶员监视系统(DMS)和乘员监视系统(OMS)实施940nm LED闪光同步的方法和/或装置。

背景技术

舱室内安全系统通常利用驾驶员监视系统(DMS)和乘员监视系统(OMS)。驾驶员监视系统通常包括指向驾驶员面部的摄像机，该摄像机提供对驾驶员的存在和状态的实时评估。乘员监视系统通常包括一个或多个指向乘客的摄像机，以提供对乘客状况的理解，并且甚至提供特定于所识别的乘员的定制环境。

DMS使用带有发光二极管(LED)闪光的单色全局快门传感器。LED闪光需要与DMS摄像机的快门时间同步，以维持低平均功率，这对于人类视觉健康和热考虑事项而言都是有益的。OMS使用带有LED光源的卷帘快门RGBIR传感器。优选使用940纳米(nm)LED光源，因为人类可以看到850nm的光。当DMS和OMS都使用940nm LED光源时，LED单元可能相互干扰，这可能导致视觉算法失败。由于干扰，DMS和OMS单元需要仔细地布置在车辆舱室内，以确保LED单元指向不同的方向，这是不方便的，或者有时是不可能的。

对于驾驶员监视系统(DMS)和乘员监视系统(OMS)，希望实施940nmLED闪光同步。

发明内容

本发明包含涉及一种装置的一个方面，该装置包括第一图像传感器、第二图像传感器、与第一图像传感器相关联的第一光源、与第二图像传感器相关联的第二光源、以及控制电路。控制电路可以被配置为控制第一光源和第二光源以防止第一光源和第二光源之间的干扰影响由第一图像传感器和第二图像传感器捕获的图像。

在上述装置方面的一些实施例中，第一图像传感器包括单色全局快门互补金属氧化物半导体(CMOS)传感器，并且第二图像传感器包括RGBIR卷帘快门CMOS传感器。

在上述装置方面的一些实施例中，第一和第二光源包括一个或多个发光二极管。在第一和第二光源包括一个或多个发光二极管的一些实施例中，第一和第二光源包括一个或多个940nm近红外发光二极管。

在上述装置方面的一些实施例中，该装置还包括图像信号处理电路，该图像信号处理电路被配置为分析由第一图像传感器和第二图像传感器捕获的图像。在包括图像信号处理电路的一些实施例中，图像信号处理电路还被配置为响应于分析由第一图像传感器和第二图像传感器捕获的图像来产生一个或多个控制信号，并且响应于一个或多个控制信号来控制车辆的一个或多个系统。

在上述装置方面的一些实施例中，该装置还包括：第一图像信号处理电路，其被配置为分析由第一图像传感器捕获的图像；以及第二图像信号处理电路，其被配置为分析由第二图像传感器捕获的图像。在包括第一和第二图像信号处理电路的一些实施例中，第一图像信号处理电路还被配置为响应于分析由第一图像传感器捕获的图像而产生一个或多个第一控制信号，第二图像信号处理电路还被配置为响应于分析由第二图像传感器捕获的图像而产生一个或多个第二控制信号，响应于一个或多个第一控制信号来控制车辆的一个或多个乘员相关系统，并且响应于一个或多个第二控制信号来控制车辆的一个或多个驾驶员相关系统。

在上述装置方面的一些实施例中，控制电路被配置为控制第一光源和第二光源的各自的闪光。在一些实施例中，在第一模式中，第一光源被配置为响应于第一触发信号而产生闪光，并且第二光源被配置为响应于第二触发信号而产生闪光，并且在第二模式中，第一光源连续点亮，并且第二光源配置为响应于第二触发信号而产生闪光。

本发明还包含涉及一种监视车辆的乘客室的方法的一个方面，该方法包括以下步骤：使用第一图像传感器和相关联的第一光源来监视车辆的驾驶员；使用第二图像传感器和相关联的第二光源来监视车辆的乘员；以及控制第一光源和第二光源以防止第一光源和第二光源之间的干涉影响由第一图像传感器和第二图像传感器捕获的图像。

在上述方法方面的一些实施例中，第一图像传感器包括单色全局快门互补金属氧化物半导体(CMOS)传感器，并且第二图像传感器包括RGBIR卷帘快门CMOS传感器。

在上述方法方面的一些实施例中，第一和第二光源包括一个或多个发光二极管。在包括发光二极管的一些实施例中，第一和第二光源包括一个或多个940nm近红外发光二极管。

在上述方法方面的一些实施例中，该方法还包括使用多通道图像信号处理电路来分析由第一图像传感器和第二图像传感器捕获的图像。在包括分析由第一图像传感器和第二图像传感器捕获的图像的一些实施例中，该方法还包括响应于分析由第一图像传感器和第二图像传感器捕获的图像来产生一个或多个控制信号并响应于一个或多个控制信号来控制车辆的一个或多个系统。

在上述方法方面的一些实施例中，该方法还包括使用第一图像信号处理电路分析由第一图像传感器捕获的图像，以及使用第二图像信号处理电路分析由第二图像传感器捕获的图像。在使用第一和第二图像信号处理电路的一些实施例中，该方法还包括响应于分析由第一图像传感器捕获的图像而产生一个或多个第一控制信号，响应于分析由第二图像传感器捕获的图像而产生一个或多个第二控制信号，响应于一个或多个第一控制信号来控制车辆的一个或多个驾驶员相关系统，并且响应于一个或多个第二控制信号来控制车辆的一个或多个乘员相关系统。

在上述方法方面的一些实施例中，该方法还包括：在第一模式中，响应于第一触发信号，使用第一光源产生第一闪光，并且响应于第二触发信号，使用第二光源产生第二闪光，其中第一闪光和第二闪光同步；以及在第二模式中，响应于第一触发信号，使用第二光源连续产生近红外照明，并使用第一光源产生闪光。在实施第一模式和第二模式的一些实施例中，在第一模式中，在第二图像传感器的所有行的积分时段期间产生第一闪光和第二闪光，并且在第二模式中，当第二图像传感器中没有行处于积分时段时，产生闪光。

附图说明

通过下面的具体实施方式以及所附的权利要求和附图，本发明的实施例将变得显而易见，在附图中：

图1是示出根据本发明的示例性实施例的驾驶员和乘员监视系统的图。

图2是示出根据本发明的另一示例性实施例的驾驶员和乘员监视系统的图。

图3是从驾驶员的角度示出车辆的示例性内部的图。

图4是示出使用视频帧来跟踪驾驶员的凝视的示例的图。

图5是示出使用处理器来分析视频帧以获取车辆舱室中乘客的特性的示例的图。

图6是示出根据本发明的示例性实施例的摄像机电路的图。

图7是示出图6的摄像机的示例性实施方式的图。

图8是示出根据本发明的示例性实施例的DMS和OMS摄像机的第一示例性操作模式的图。

图9是示出在图8的操作模式期间使用图1和图2的装置执行的示例性过程的流程图。

图10是示出根据本发明的示例性实施例的DMS和OMS摄像机的第二示例性操作模式的图。

图11是示出在图10的操作模式期间使用图1和图2的装置执行的示例性过程的流程图。

图12是示出根据本发明的示例性实施例的DMS和OMS摄像机的第三示例性操作模式的图。

图13是示出在图12的操作模式期间使用图1和图2的装置执行的示例性过程的流程图。

图14是示出图像传感器接口的示例性实施方式的图。

图15是示出红外(IR)LED接口的示例性实施方式的图。

图16是示出根据本发明的另一示例性实施例的装置的图。

具体实施方式

本发明的实施例包括为驾驶员监视系统(DMS)和乘员监视系统(OMS)提供940nmLED闪光同步，其可以(i)实现多个940nm DMS和OMS摄像机的闪光同步，(ii)消除摄像机之间的940nm近红外(NIR)干扰，(iii)将多个摄像机连接到单个图像信号处理(ISP)电路，(iv)同步多个ISP电路，(v)在指定的时序段中放置近红外(NIR)脉冲以避免干扰，(vi)为OMC摄像机的940nm LED提供低功耗，和/或(vii)被实施为一个或多个集成电路。

在各个实施例中，可以实施中央控制机制以实现多个940nm DMS+OMS摄像机的同步。中央控制机制可以消除940nm近红外(NIR)干扰。在示例中，DMS摄像机可以处于从属模式，而一个或多个OMS摄像机可以处于从属或主模式。在示例中，所有摄像机可以连接到单个图像信号处理器(ISP)前端的通道。在另一个示例中，每个摄像机可以连接到相应的ISP前端，并且ISP前端可以通过中央控制机制进行同步。在示例中，可以将NIR闪光脉冲放置在指定的时序段中以避免干扰。

参考图1，示出了装置的块图，其示出了根据本发明的示例性实施例的驾驶员和乘员监视系统的示例性实施方式。在示例中，驾驶员和乘员监视系统100可以实施可以在汽车应用中使用的多通道驾驶员监视系统、乘员监视系统和数字视频录像机(DMS+OMS+DVR)解决方案。在示例中，驾驶员和乘员监视系统100可以提供舱室内解决方案。在示例中，驾驶员和乘员监视系统100可以包括块(或电路)102、块(或电路)104、块(或电路)106和/或块(或电路)108。电路102可以被实施为控制电路(例如，专用电路、嵌入式控制器、处理器、微处理器等)。电路104可以实施驾驶员监视传感器(DMS)或摄像机模块。电路106可以实施乘员监视传感器(OMS)或摄像机模块。电路108可以实施图像信号处理(ISP)电路(或处理器或前端)。在示例中，电路108通常能够执行多通道ISP。在示例中，电路102可以包括块(或电路)110。块110可以实施闪存控制电路(或功能)。在另一个示例中，电路102和110可以被实施为可以在单个集成电路基板(或管芯)上或在多芯片模块(MCM)中实例化的分开的电路管芯。在示例中，电路102和108(当与电路102分开时，以及电路110)可以在单个集成电路或片上系统(SOC)112中实施。

在各种实施例中，电路102连接到DMS模块104、OMS模块106和ISP电路108。DMS模块104和OMS模块106连接到ISP电路108。在示例中，电路102通常提供中央控制机制以使DMS模块104和OMS模块106的时序同步。在示例中，电路102可以被配置为计算并维持预定义的时序模型，以控制DMS模块104和OMS模块106的传感器和发光二极管(LED)光源。在示例中，电路102可以进一步被配置为控制ISP电路108以与DMS模块104和OMS模块106的输出同步。在一些实施例中，电路106可以被配置为呈现以虚线表示的信号(例如，最后一行开始曝光触发)。来自电路106的信号可以用于控制电路104。在示例中，最后一行开始曝光触发信号可以减少系统100的时序控制工作量。

在示例中，电路102可以具有可以呈现信号(例如，DMS_TRIG)的第一输出、可以呈现信号(例如，OMS_TRIG)的第二输出以及可以与电路108的第一输入/输出通信(例如，经由信号ISP_SYNC)的输入/输出。在示例中，电路104可以具有可以接收信号DMS_TRIG的输入和可以与电路108的第二输入/输出通信的输入/输出。在示例中，电路104可以向电路108呈现信号(例如，DMS_VID)。在示例中，信号DMS_VID可以将视频信息从电路104传送到电路108。在示例中，电路104和108还可以经由携带信号DMS_VID的连接来交换控制和/或状态信号。

在示例中，电路106可以具有可以接收信号OMS_TRIG的输入和可以与电路108的第三输入/输出通信的输入/输出。在示例中，电路106可以向电路108呈现信号(例如，OMS_VID)。在示例中，信号OMS_VID可以将视频信息传送到电路108。在示例中，电路106和108还可以经由携带信号OMS_VID的连接来交换控制和/或状态信号。在示例中，电路104和106可以连接到电路108的分开的通道。

在示例中，电路110可以被配置为产生信号DMS_TRIG和OMS_TRIG。电路110可以实施根据本发明的实施例的闪光控制时序协议(下面结合图8-15描述)。在示例中，电路110可以实施成硬件、软件(或固件、微代码等)或硬件和软件的组合。

在示例中，电路104可以包括块(或电路)120和块(或电路)122。在示例中，电路120可以被实施为单色全局快门图像传感器。在示例中，电路120可以被实施为单色全局快门互补金属氧化物半导体(CMOS)图像传感器。电路122可以实施近红外(NIR)光源。在示例中，电路122可以用一个或多个发光二极管(LED)来实施。在各种实施例中，电路122的一个或多个LED可以被配置为发射具有大约940纳米(nm)的波长的光。在示例中，电路122可以被配置为响应于信号DMS_TRIG而发射光的闪光。在示例中，由电路122发射的闪光的宽度和/或强度可以由电路102控制。在示例中，电路102可以在断言信号DMS_TRIG之前配置电路122。在示例中，电路120可以被配置为产生信号DMS_VID。

在示例中，电路106可以包括块(或电路)130和块(或电路)132。在示例中，电路130可以被实施为卷帘快门图像传感器。在示例中，电路130可以被实施为RGBIR卷帘快门CMOS图像传感器。电路132可以实施近红外(NIR)光源。在示例中，电路132可以用一个或多个发光二极管(LED)来实施。在各种实施例中，电路132的一个或多个LED可以被配置为发射具有大约940nm的波长的光。在示例中，电路132可以被配置为响应于信号OMS_TRIG而发射光。在示例中，电路102可以将电路132配置为响应于信号OMS_TRIG被断言而发射光的闪光。在示例中，由电路132发射的闪光的宽度和/或强度可以由电路102控制。在示例中，电路102可以在断言信号OMS_TRIG之前配置电路132。在另一个示例中，电路132可以被配置为连续发射光(例如，通过连续地断言信号OMS_TRIG)。在示例中，电路120可以被配置为产生信号OMS_VID。

参考图2，示出了装置的块图，其示出了根据本发明的示例性实施例的驾驶员和乘员监视系统的另一示例性实施方式。在示例中，驾驶员和乘员监视系统100’可以实施可以在汽车应用中使用的多通道DMS+OMS+DVR解决方案。在示例中，驾驶员和乘员监视系统100’可以提供舱室内解决方案。在示例中，除了可以实施多个ISP电路(例如108a-108n)之外，驾驶员和乘员监视系统100’可以被实施为类似于系统100。在示例中，电路102和108a-108n可以在单个集成电路或片上系统(SOC)112’中实施。

在各种实施例中，电路102可以连接到DMS模块104、OMS模块106和ISP电路108a-108n。在示例中，DMS模块104可以连接至电路108a，并且OMS模块106可以连接至ISP电路108n。在示例中，电路102通常提供中央控制机制以使DMS模块104和OMS模块106的时序同步。在示例中，电路102可以被配置为计算并维持预定义的时序模型以控制DMS模块104和OMS模块106的传感器和发光二极管(LED)光源。在示例中，电路102可以进一步被配置为控制ISP电路108a-108n以与DMS模块104和OMS模块106的输出同步。在一些实施例中，电路106可以被配置为呈现由虚线表示的信号(例如，最后一行开始曝光触发)，以控制电路104。在示例中，最后一行开始曝光触发信号可以减少时序控制工作量。

在示例中，电路102可以具有可以呈现信号DMS_TRIG的第一输出、可以呈现信号OMS_TRIG的第二输出、以及可以与电路108a-108n中的每一个的第一输入/输出通信(例如，经由一个或多个信号ISP_SYNC)的输入/输出。在示例中，电路104可以具有可以接收信号DMS_TRIG的输入和可以与电路108a的第二输入/输出通信的输入/输出。在示例中，电路104可以向电路108a呈现信号DMS_VID。在示例中，信号DMS_VID可以将视频信息从电路104传送到电路108a。在示例中，电路106可以具有可以接收信号OMS_TRIG的输入和可以与电路108n的第二输入/输出通信的输入/输出。在示例中，电路106可以向电路108n呈现信号OMS_VID。在示例中，信号OMS_VID可以将视频信息传送到电路108n。在示例中，电路104和106还可以经由分别携带信号DMS_VID和OMS_VID的连接分别与电路108a和108n交换控制和/或状态信号。

参考图3，示出了从驾驶员的角度示出车辆的示例性内部的图。透视图200通常表示从车辆202的驾驶员的位置和视场看到的车辆202的内部的视图。在示例中，车辆202的内部可以包括挡风玻璃212、仪表板214和/或方向盘216。多个显示器218a-218n也可以围绕车辆202的内部分布。在所示的示例中，示出了九个显示器218a-218i。通常，车辆202中可用的显示器218a-218n的特定数量可以根据特定实施方式的设计标准而变化。在示例中，DSM104可以位于方向盘216左侧的仪表板214上，而OMS 106可以位于车辆202右侧的仪表板上。但是，DMS 104和OMS 106的位置可以根据特定实施方式的设计标准而变化。通常，DMS 104可以被定位成捕获车辆202的驾驶员的无遮挡视图。在示例中，OMS 106的多个实例可以被安装在车辆202的乘客室中。OMS 106的实例的数量和/或位置可以根据特定实施方式的设计标准而变化。

在示例中，显示器218a-218i中的一个或多个可以被配置为显示车辆信息(例如，警告图标、速度、距离、温度、里程表等)。在另一个示例中，显示器218a-218i中的一个或多个可以被配置作为信息娱乐触摸屏显示器(例如，提供用于音频、导航、免提电话通信等的用户界面)。

在各种实施例中，舱室内安全系统通常利用DMS 104和OMS 106。DMS 104通常包括指向驾驶员面部的摄像机，以便提供对驾驶员的存在和状态的实时评估。OMS 106的实例通常包括一个或多个指向乘客的摄像机，以提供对乘客状况的理解，并且甚至提供特定于所识别乘员的定制环境。DMS 104通常使用具有940nm发光二极管(LED)闪光的单色全局快门传感器。LED闪光通常与DMS摄像机的快门时间同步，以维持低平均功率，这对于人类视觉健康和热考虑事项都是有益的。在各种实施例中，OMS 106使用卷帘快门RGBIR传感器。通常也利用940nm近红外(NIR)LED光源。

根据本发明的示例性实施例，DMS 104的940nm LED光源和OMS 106的实例通常是同步的，以防止彼此干扰，这可能导致视觉算法失败。因为DMS 104和OMS 106的实例的LED光源通常是同步的，所以不需要将DMS104和OMS 106的实例布置在车辆202的舱室中以确保LED单元指向不同的方向。因此，根据本发明实施的DMS 104和OMS 106的实例提供了与常规单元相比得到改进的安装便利性。

参考图4，示出了示出跟踪车辆202的驾驶员的凝视的图。在示例中，视频帧300a-300c可以用于表示由DMS 104捕获的驾驶员302的视频帧。在示例中，DMS 104的单色全局快门CMOS传感器120可以产生视频帧300a-300c，以用于由车辆202的驾驶员状态监视系统(DSMS)进行分析。在示例中，视频帧300a-300c可以是视频帧的序列(例如，可以首先捕获视频帧300a，然后捕获视频帧300b，以及然后捕获视频帧300c)。在另一个示例中，视频帧300a-300c可以是同时捕获驾驶员302的多个视频帧(例如，视频帧300a-300c可以具有相同的时间戳)。在示例中，三个捕获设备可以均同时捕获驾驶员302的不同角度，并且所得的视频帧300a-300c可以被呈现给车辆202的驾驶员状态监视系统以进行分析。

在示例中，在视频帧300a-300c中的每一个中示出了驾驶员302的头部和面部的视图。在驾驶员的眼睛周围示出了虚线304a-304b。车辆202的驾驶员状态监视系统可以被配置为检测驾驶员302的眼睛的位置。虚线304a-304b可以表示已经由车辆202的驾驶员状态监视系统检测到的驾驶员302的眼睛。

示出了线306ra-306rc和线306la-306lc。在视频帧300a-300c中的每一个中，线306ra-306rc被示出为从驾驶员302的右眼304a延伸。在视频帧300a-300c中的每一个中，线306la-306lc被示出为从驾驶员302的左眼304b延伸。线306ra-306rc可以表示右眼304a指向的方向。线306la-306lc可以表示左眼指向的方向。

在视频帧300a-300c中的每一个中示出了轴308。轴308可以是参考(例如，在捕获的图像中实际上不可见)。轴308可以被示出为指示驾驶员302面对的方向。轴线308可以由车辆202的驾驶员状态监视系统用作参考位置，以在三个维度上确定眼睛304a和304b的位置和/或凝视的方向。

参考图5，示出了示出车辆舱室的视频帧中的乘客的图。在示例中，视频帧400示出了由车辆202的舱室内的乘员402a-402c的OMS 106捕获的示例性图像。在示例中，OMS 106的RGBIR卷帘快门CMOS传感器130可以产生视频帧400以用于由车辆202的乘员状态监视系统(OSMS)进行分析。在示例性视频帧400中，示出了三个乘员。然而，任何数量的乘员(例如，402a-402n，未示出)可以在车辆202的内部内。

视频帧400可以是由车辆202内部的OMS 106的一个或多个实例捕获的视频帧。在一个示例中，传感器130可以用被配置为捕获车辆202内部的广角视场的广角镜头来实施。例如，ISP 108(或108b)可以被配置为在执行计算机视觉操作之前，对由广角镜头引起的潜在失真执行视频去扭曲操作。在另一个示例中，可以通过将由OMS 106的多于一个实例同时捕获的视频帧拼接在一起来创建视频帧400。捕获广角视图和/或产生车辆202内部的拼接视图可以使ISP 108或108a能够分析示出车辆202的乘员402a-402n中的多于一个乘员的视图。捕获广角视频帧400的方法可以根据特定实施方式的设计标准而变化。

在示例性视频帧400中，示出了多个乘员402a-402c、多个座椅404a-404b、长凳座椅405a和/或方向盘406。例如，驾驶员402a被示出在驾驶员座椅404a中，乘客402b被示出在乘客座椅404b中，并且乘员402c被示出在车辆202的后排中的长凳座椅405a中。在示例中，卷积神经网络(CNN)模块可以被配置为检测视频帧400中的各种对象。在示例中，计算机视觉操作可以检测方向盘406(或车辆202内部的其他特征)。在另一个示例中，计算机视觉操作可以检测驾驶员座椅404a、乘客座椅404b和/或后排长凳座椅405a。在一些实施例中，ISP108、108b可以响应于方向盘406(例如，左侧方向盘或右侧方向盘)的检测到的位置来确定乘员402a或402b是否是驾驶员。

位置参考408a-408n被示出在车辆202的内部。位置参考408a-408n可以是CNN模块检测到的对象，其可以用作确定车辆202内的位置的参考点。位置参考408a-408n通常可以是静态对象(例如，不移动的对象、仅具有几个位置的对象、在预定义范围内移动的对象等)。位置参考408a可以是驾驶员侧窗(或门)。位置参考408b可以是乘客侧门(或窗户)。位置参考408c可以是车辆202的支柱(例如，车架的一部分)。其他对象可以用作位置参考408a-408n。在示例中，方向盘406可以是位置参考408a-408n之一。在另一示例中，座椅404a-404n中的一个或多个可以是位置参考408a-408n之一。可以用作位置参考408a-408n的对象的类型可以根据特定实施方式的设计标准而变化。

示出了虚线框410a-410c。虚线框410a-410c可以表示检测到的对象和/或对象组(例如，由CNN模块检测到)。可以通过由用于检测视频帧400中的对象的ISP 108、108b执行的视频操作来检测对象410a-410c。在示例中，可以从视频帧400和用于将提取的特征与已知特征(例如，从训练数据集中提取的特征)比较的CNN模块中提取特征描述符。

由ISP 108、108b检测到的对象410a-410c可以是包括乘员402a-402c的面部、身体部位和/或头部的对象。在所示的示例中，对象410a-410c可以是乘员402a-402c的面部。然而，由ISP 108、108b执行的计算机视觉操作可以分析和/或表征乘员402a-402c的身体部位(例如，肩膀、胸部、腿等)的任何组合。在示例中，ISP 108、108b可以被配置为限制视频帧400的搜索区域以检测作为另一个对象的子集的对象。在一个示例中，ISP 108、108b可以被配置为首先检测视频帧400中的面部410a-410c，并且然后搜索与面部410a-410c对应的视频帧400的区域，以检测识别特征(例如，不会位于视频帧400的不是面部410a-410c之一的区域中的眼睛、嘴巴、鼻子等)。限制作为另一个对象的子集的对象的搜索区域可以减少检测特定对象所需的处理资源量。

ISP 108、108b可以使用检测到的对象410a-410c来定位车辆202内的乘员402a-402c。例如，面部410a可以对应于乘员402a，面部410b可以对应于乘员402b，并且面部410c可以对应于乘员402c。可以检测其他身体部位以定位乘员402a-402c(例如，胸部、躯干、手臂等)。

在一些实施例中，ISP 108、108b可以通过将检测到的面部410a-410c与位置参考408a-408n进行比较来确定乘员402a-402c在车辆202的舱室内的位置。例如，ISP 108、108b可以被配置为将车辆202内部的先验知识存储在数据库中(例如，窗口408a相对于捕获视频帧400的捕获设备130的位置坐标、门408b相对于捕获视频帧400的捕获设备130的位置坐标等)。基于检测到的面部410a-410c相对于位置参考408a-408n的先前已知位置的位置，ISP108、108b可以确定车辆202内的乘员402a-402n中的每一个的位置。

在示例中，ISP 108、108b可以被配置为检测座椅404a-404b和/或长凳座椅405a和/或车辆202内部的其他对象。ISP108、108b可以被配置为将乘员402a-404c的位置与座椅404a-404b和/或后排长凳座椅405a相关联。在示例中，ISP 108、108b可以检测到乘员402b的存在以及乘员402b的位置在前排乘客座椅404b中。在一个示例中，前排乘客座椅404b可以是参考位置408a-408n之一。在另一个示例中，乘客座椅404b的位置可以与参考位置408b(例如，由于与座椅404b的接近而导致乘客侧门)相关联。

在一些实施例中，ISP 108、108b可以被配置为通过对检测到的面部410a-410n执行基于视频的测量来确定乘员402a-402n的距离。在一个示例中，可以确定检测到的面部410a-410c的3D坐标(例如，通过确定每个乘员402a-402n相对于捕获设备130的水平坐标、垂直坐标和/或深度坐标)。在另一个示例中，传感器融合模块可以被配置为分析来自车辆传感器的输入以执行传感器融合操作(例如，交叉参考基于计算机视觉操作所确定的位置与位于座椅404a-404b和/或长凳座椅405a中的重量传感器，执行基于LIDAR的比较，执行基于雷达检测的比较等)。在又一个示例中，可以基于使用摄像机的立体声对的3D定位来确定各种对象的位置(例如，视频帧400可以是由实施为立体声对的捕获设备130的两个实例捕获的视频帧的立体声对之一)。

可以基于单眼视图进一步确定位置(例如，单眼视图可能无法提供准确的结果，但可能不需要高精度的位置来调整麦克风的定向能力，这可能是相对较大的空间区域)。在一些实施例中，由ISP 108、108b执行的分析可以是多功能的。在示出的示例中，ISP 108、108b可以检测面部410a-410c，以便确定乘员402a-402n的位置。在一些实施例中，ISP 108、108b可以进一步使用检测面部410a-410n的结果，以便检测面部特征(例如，执行面部识别)和/或确定乘员402a-402c的年龄。在一些实施例中，ISP 108、108b可以被配置为检测所检测的面部410a-410c和/或乘员402a-402c的其他身体部位的其他特性(例如，身体尺寸、身体比例、身体朝向等)。例如，乘员402a-402c的位置可以用于策略性地部署安全气囊，提供通知/警告，调整门锁等。对由ISP 108、108b执行的计算机视觉操作的结果的使用可以根据特定实施方式的设计标准而变化。

参考图6，示出了设备500的块图，其示出了根据本发明的示例性实施例的视频摄像机/录像机系统。在示例中，设备(或装置)500可以用于实施DMS 104和OMS 106中的一个或多个。在示例中，设备500可以包括块(或电路)502、块(或电路)504、块(或电路)506、块(或电路)508、块(或电路)510、块(或电路)512、块(或电路)514和块(或电路)516。块506、508、512、514和516可以以硬件、软件、固件或其任何组合的形式来实施，并且可以在一个或多个装置(或设备)中实施。

在各种实施例中，设备500可以被实施为高分辨率(或高清晰度)视频摄像机/录像机。设备500可以操作用于捕获一个或多个视频和/或音频流(或剪辑)并收集各种类型的传感器信息(数据)。在一些实施例中，设备500可以操作用于捕获一个或多个高比特率(例如，高分辨率等)视频流(或剪辑)，对应的较低比特率(例如，较低分辨率、较低帧速率、较高预测帧与参考帧之比、改变的量化参数等)视频流(或剪辑)、音频流(或剪辑)和/或收集运动和位置信息。可以使用块502(例如，镜头和相关联的致动器)、块504(例如，卷帘/全局快门互补金属氧化物半导体(CMOS)电光传感器)以及块510(例如940nm红外光产生电路)来捕获低光/夜视视频流。在各种实施例中，可以使用多个940nm红外(IR)发光二极管(LED)来实施块510。块506(例如，编码器)可以产生(例如，处理、编码、压缩等)高比特率视频流(例如，RES_1)和/或一个或多个低比特率视频流(例如，RES_2)。方块506可以操作用于使用一个或多个专有和/或标准静止和/或视频编解码器(例如，JPEG、MJPEG、MPEG-2、MPEG-4、H.264、HEVC等)来产生、处理和编码视频流RES_1和RES_2。

低比特率视频剪辑可以包含与对应的高比特率视频剪辑从相同的视角同时捕获的相同内容。在一些实施例中，低比特率视频剪辑可以是高比特率视频剪辑的缩小比例的副本。在其他实施例中，可以并行地捕获低比特率视频剪辑和高比特率视频剪辑。例如，由块506捕获的每个帧可以被处理为高比特率视频并且可以被处理为缩小比例的低比特率视频。在一些实施例中，可以通过代码转换从高比特率视频流产生低比特率视频流。在一些实施例中，较高比特率流可以被解码，并且然后被重新编码为较低比特率流。

块508(例如，控制电路)可以被配置为管理块504、块506、块510和块512(例如，存储器接口)以将视频流RES_1和RES_2存储在块514中(例如，存储器)。可以使用各种易失性(例如，SRAM、DRAM等)和/或非易失性(例如，闪存、SD卡、xD图片卡、用户识别模块(SIM)卡等)存储器技术来实施块514。块508可以进一步被配置为将块514中存储的高分辨率视频数据、低比特率视频数据和/或音频数据的至少一部分(例如，视频流、一个或多个短视频剪辑、一个或多个静止图片、音频流、一个或多个音频剪辑等)经由块516(例如，无线通信接口)传送(例如，传输)到外部设备(例如，用户设备)。例如，在各种实施例中，块516可以被配置为支持IEEE 802.11、IEEE 802.15、IEEE 802.15.1、IEEE 802.15.2、IEEE802.15.3、IEEE802.15.4、IEEE 802.15.5、IEEE 802.20、

和/或

中的一个或多个。在一些实施例中，块516还可以实施与蜂窝通信网络相关联的一个或多个协议(例如，GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等)。

在各种实施例中，块508可以包括用于控制/指导块508的操作和/或块508的子电路的操作的编程代码518(例如，微代码、固件、软件等)。编程代码518可以配置块508，以实施根据本发明的实施例的方法。例如，编程代码518可以指导块508捕获并处理来自块504的视频数据信号(例如，VIDEO)，产生信号(例如，ROLLING/GLOBAL SHUTTER)和信号(例如，PULSE)，并与块512、514和516交互。信号ROLLING/GLOBAL SHUTTER可以实施一个或多个控制信号来控制图像传感器504。在各种实施例中，信号ROLLING/GLOBAL SHUTTER可以包括用于控制块504的曝光窗口的一个或多个全局快门控制信号。信号ROLLING/GLOBAL SHUTTER还可以包括用于控制图像传感器504的与视频相关的操作的各种信号(例如，垂直同步、水平同步等)。信号PULSE可以实施用于控制红外光发射窗口内的红外光脉冲的控制信号。在各种实施例中，信号PULSE可以控制红外发射窗口的宽度和/或红外照明的幅度(例如，改变用于产生红外照明的红外(IR)发光二极管(LED)的数量)。在一些实施例中，块506、508和512可以一起被实施为单个集成电路520(例如，处理器/摄像机芯片或片上系统(SoC))。

在一些实施例中，设备500被实施为包括无线(例如，WiFi、

等)连接的低光/夜视摄像机。将WiFi、

和/或蜂窝无线连接添加到设备500中允许设备500将视频图像、静态图像、音频剪辑和/或其他收集的数据无线地发送到远程位置(例如，用户设备、互联网、安全服务器、云计算机、安全服务、警察局、应急响应器和/或其他预定接收方)。在一个示例中，可以通过上传处理后的数据而不是整个视频序列(或剪辑)来减少带宽。在一个示例中，设备500可以实施与蜂窝电话网络相关联的一个或多个协议(例如，GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等)。通过将视频剪辑、静止图像、音频剪辑和/或收集的(或处理后的)数据上传到互联网/云，可以保留数据。

参考图7，示出了示出根据本发明的实施例的夜视摄像机600的示例性实施方式的图。在各种实施例中，摄像机600可以包括第一印刷电路板602和第二印刷电路板604。印刷电路板602和604可以安装在一起。印刷电路板602可以包括存储器电路(或芯片)606、处理器电路以及单色全局快门CMOS传感器或RGBIR卷帘快门CMOS传感器(被印刷电路板604遮挡)。印刷电路板604可以包括镜头608、多个950nm LED 610和无线接口电路(或模块)612。在一个示例中，无线接口612可以包括预认证的无线/蜂窝协议模块。

参考图8，示出了示出根据本发明的示例性实施例的DMS和OMS摄像机的示例性操作模式的图。在第一模式中，OMS摄像机106的闪光电路132用作主闪光电路，而DMS摄像机104的闪光电路122用作从闪光单元。在第一模式中，LED闪光132具有短接通时间(例如，小于垂直消隐(VB)时段的时间)，并且RGBIR卷帘快门CMOS传感器130具有长曝光时间(例如，大于有效帧时间(T_ACTIVE))。LED光源的短接通时间通常导致LED闪光132的低平均功耗。

在示例中，可以基于用于实施电路120和130的传感器的参数和/或特性来配置块(或电路)110。在示例中，传感器130的参数可以包括但不限于帧开始(SOF)、帧时间(T_frame)、有效帧时间(T_active)、垂直消隐时段持续时间(T_vb)、OMS 106的曝光时间(T_expo_oms)、LED闪光132的闪光时段(T_flash_oms)和复位/读出时段(a)。在示例中，块(或电路)110可以被配置为根据以下方程来控制信号OMS_TRIG和DMS_TRIG。

T_frame＝T_active+T_vb等式1

a＝T_frame-T_expo_oms等式2

T_flash_oms＝T_frame-T_active-a

＝T_vb-a＝T_expo_oms-T_active等式3

如果(a＝0)，

T_flash_oms(max)＝T_frame-T_expo_oms＝T_vb等式4

T_expo_oms(max)＝T_vb+T_active＝T_frame等式5

T_expo_dms＝T_flash_dms＝T_flash_oms等式6

其中

0<T_flash_oms<T_vb；

T_active<T_expo_oms<T_frame；并且

0<(T_expo_dms＝T_flash_dms)<T_vb。

在示例中，可以使用以下表达式来计算触发时序：(SOF+a+T_active)OR(SOF+T_frame-T_expo_oms+T_active)。

在示例中，可以产生信号DMS_TRIG和OMS_TRIG，使得闪光时段T_flash_oms和闪光时段T_flash_dms被同步并且落入传感器120和130的相应的垂直消隐时段内。当传感器130的所有行都在积分时，闪光时段T_flash_oms通常与曝光(积分)时间T_expo_oms的一部分重叠。闪光时段T_flash_dms通常与传感器120的曝光时间(T_expo_dms)重叠(或共同延伸)。

参考图9，示出了示出在图8所示的第一操作模式期间使用图1和图2的装置执行的示例性过程的流程图。在第一模式中，可以实施过程(或方法)700以产生信号DMS_TRIG和OMS_TRIG。在示例中，过程700可以包括步骤(或状态)702、决策步骤(或状态)704、步骤(或状态)706和步骤(或状态)708。在步骤702中，过程700可以利用传感器120和130的参数(例如，A、T_ACTIVE、T_FRAME、T_EXPO_DMS、T_EXPO_OMS、T_VB等)来初始化闪光控制电路110。在决策步骤704中，过程700可以检查ISP 108(或ISP 108a-108n)的ISP通道是否已经传送了(例如，经由信号ISP_SYNC)传感器130的帧开始(SOF)。如果尚未接收到SOF，则过程700在步骤704中循环。如果已经接收到SOF，则过程700可以移至步骤706，其中过程700使电路110等待基于参数A和T_ACTIVE确定的延迟时段。在示例中，可以将延迟设置为参数A和T_ACTIVE的和。当延迟时段到期时，过程700可以移至步骤708，其中电路110在预定的时间量(例如分别为T_FLASH_DMS和T_FLASH_OMS)内断言信号DMS_TRIG和OMS_TRIG。然后，过程700可以返回到决策步骤704。

参考图10，示出了示出根据本发明的示例性实施例的DMS和OMS摄像机的示例性操作模式的图。在第二模式中，OMS摄像机106的闪光电路132用作主闪光电路，而DMS摄像机104的闪光电路122用作从闪光单元。在第二模式中，LED闪光132连续接通，因此覆盖了RGBIR卷帘快门CMOS传感器130的整个曝光时间T_expo_oms。由于OMS 106的LED光源连续接通，因此可以简化时序(例如，不需要控制LED闪光132)。块(或电路)110可以被配置为根据以下等式来控制信号OMS_TRIG和DMS_TRIG。

T_frame＝T_active+T_vb 等式1

a＝T_frame-T_expo_oms 等式2

T_expo_dms+T_active≤T_expo_oms 等式7

其中

T_active<T_expo_oms<T_frame；并且

0<(T_expo_dms＝T_flash_dms)<T_vb。

在示例中，可以产生信号DMS_TRIG，使得闪光时段T_flash_dms落在传感器120和130的相应的垂直消隐时段内，并且当传感器130的所有行都在积分时，闪光时段T_flash_dms与曝光(或积分)时间T_expo_oms的一部分重叠。闪光时段T_flash_dms通常与传感器120的曝光时间(T_expo_dms)重叠(或共同延伸)。

参考图11，示出了示出在图10的操作模式期间由图1和图2的装置执行的示例性过程的流程图。在第二模式中，可以实施过程(或方法)720以产生信号DMS_TRIG和OMS_TRIG。在示例中，过程720可以包括步骤(或状态)722、决策步骤(或状态)724、步骤(或状态)726和步骤(或状态)728。在步骤722中，过程700可以利用传感器120和130的参数(例如，A、T_ACTIVE、T_FRAME、T_EXPO_DMS、T_EXPO_OMS、T_VB等)初始化闪光控制电路110，并且断言信号OMS_TRIG以连续地接通LED光源132。在决策步骤724中，过程720可以检查ISP 108(或ISP108a-108n)的ISP通道是否已经传送了(例如，经由信号ISP_SYNC)传感器130的帧开始(SOF)。如果尚未接收到SOF，过程720在步骤724中循环。如果已经接收到SOF，则过程720可以移至步骤726，其中过程720可以使电路110等待由参数A和T_ACTIVE确定的延迟时间。在示例中，可以将延迟设置为参数A和T_ACTIVE的和。当延迟时段到期时，过程720可以移至步骤728，在步骤728中，电路110在预定的时间量(例如，T_flash_dms)内断言信号DMS_TRIG。然后，过程720可以返回到决策步骤724。

参考图12，示出了示出根据本发明的示例性实施例的DMS和OMS摄像机的示例性操作模式的图。在第三模式中，OMS摄像机106的闪光电路132用作主闪光电路，而DMS摄像机104的闪光电路122用作从闪光单元。在第三模式中，RGBIR卷帘快门CMOS传感器130的曝光时间T_expo_oms比垂直消隐时段短，并且比复位/读出时间(a)短得多。在第三模式中，LED闪光132连续接通，因此覆盖了RGBIR卷帘快门CMOS传感器130的整个曝光时间T_expo_oms。由于OMS 106的LED光源连续接通，因此简化了时序(例如，不需要控制LED闪光132)。块(或电路)110可以被配置为控制LED闪光122和单色全局快门CMOS传感器120，使得闪光时段T_flash_dms和曝光时间T_expo_dms在RGBIR卷帘快门CMOS传感器130的时段(a)和垂直消隐时段期间发生。因为在RGBIR卷帘快门CMOS传感器130的曝光(或积分)时段之外断言LED闪光122，所以LED闪光122不会干扰RGBIR卷帘快门CMOS传感器130的曝光时间T_expo_oms。在第三模式中，块(或电路)110可以被配置为根据以下等式来控制信号OMS_TRIG和DMS_TRIG。

T_frame＝T_active+T_vb 等式1

a＝T_frame-T_expo_oms 等式2

T_expo_dms＝a-T_active

＝T_frame-T_expo_oms-T_active

＝T_vb-T_expo_oms 等式8

其中

0<T_expo_oms<T_vb；并且

0<(T_expo_dms＝T_flash_dms)<T_vb-T_expo_oms。

参考图13，示出了示出在图12的操作模式期间由图1和图2的装置执行的示例性过程的流程图。在第三模式中，可以实施过程(或方法)740以产生信号DMS_TRIG和OMS_TRIG。在示例中，过程740可以包括步骤(或状态)742、决策步骤(或状态)744、步骤(或状态)746和步骤(或状态)748。在步骤742中，过程700可以利用传感器120和130的参数(例如，A、T_ACTIVE、T_FRAME、T_EXPO_DMS、T_EXPO_OMS、T_VB等)初始化闪光控制电路110，并且断言信号OMS_TRIG以连续地接通LED光源132。在决策步骤744中，过程740可以检查ISP 108(或ISP108a-108n)的ISP通道是否已经传送了(例如，经由信号ISP_SYNC)传感器130的帧开始(SOF)。如果尚未接收到SOF，过程740在步骤744中循环。如果已经接收到SOF，则过程740可以移至步骤746，其中，过程700使电路100等待由参数T_ACTIVE确定的延迟时段。当延迟时段到期时，过程740可以移至步骤748，其中，电路110在预定的时间量内断言信号DMS_TRIG。然后，过程740可以返回到决策步骤744。

参考图14，示出了示出各种图像传感器接口的示例性实施方式的图。图14中的示例性接口是说明性的，并且不应被解释为旨在限制处理器和图像传感器可以耦合或通信的方式。在一些实施例中，可以在处理器和CMOS图像传感器之间实施接口760。接口760可以包括垂直同步信号(例如，VERT SYNC)、水平同步信号(例如，HORZ SYNC)和视频数据路径。信号VERT SYNC可以用于触发图像数据从像素元件到图像传感器的相关联的存储器元件的传输。信号HORZ SYNC可以用于将图像数据时钟输出为信号VIDEO DATA。信号VERT SYNC的断言与信号VIDEO DATA的开始之间的延迟通常由传感器的设计确定。在实施接口760的实施例中，曝光开始由视频模式、消隐时段和相关延迟确定。可以根据特定传感器的时序图以及在曝光开始时间之后并在曝光窗口内发生的IR照明的时间来计算曝光窗口的时序。

在一些实施例中，可以在处理器和CMOS图像传感器之间实施接口765。接口765可以包括曝光触发信号(例如TRIG)、水平同步信号(例如HORZSYNC)和视频数据路径(未示出)。信号TRIG可以用于控制CMOS传感器的曝光窗口的长度，并触发图像数据从像素元件到图像传感器的相关联的存储器元件的传输。当信号TRIG被断言(例如，切换到LOW状态)时，曝光窗口开始，并且CMOS图像传感器开始对入射光的积分。当信号TRIG被解除断言(例如，切换到HIGH状态)时，曝光窗口结束，并且CMOS图像传感器将图像数据从像素元件传输到存储元件。类似于接口760，信号HORZ SYNC可以用于将图像数据时钟输出为信号VIDEO DATA。通常，通过传感器的设计来确定信号TRIG被解除断言与信号VIDEO DATA的开始之间的延迟。在实施接口765的实施例中，曝光开始和曝光窗口由信号TRIG确定。在一些实施例中，可以通过存储在寄存器和/或配置位中的配置值来设置曝光窗口和IR照明窗口。处理器可以实施控制逻辑(例如，软件、固件、电路)以计算将与信号TRIG同步的IR脉冲的时序。例如，处理器可以使用第一GPIO来控制积分的开/关，并使用第二GPIO来控制IR照明的开/关。在实施接口765的实施例中，处理器可以为每一帧实施实时控制。

在一些实施例中，可以在处理器和CMOS图像传感器之间实施接口770。接口770可以包括曝光设置数据路径、曝光触发信号(例如，TRIG)、水平同步信号(例如，HORZ SYNC)和视频数据路径(未示出)。可以通过经由曝光设置数据路径传送到图像传感器的数据(例如，EXPOSURE SETTINGS)来编程曝光窗口持续时间。信号TRIG可以用于控制CMOS传感器的曝光窗口的开始。基于EXPOSURE SETTINGS数据，图像传感器控制图像数据从像素元件到图像传感器的相关联的存储器元件的传输。当信号TRIG被断言(例如，切换到LOW状态)时，曝光窗口开始，并且CMOS图像传感器开始对入射光的积分。当预定的曝光/积分时间结束时，CMOS图像传感器将图像数据从像素元件传输到存储元件。类似于接口760，信号HORZSYNC可以用于从存储元件中时钟输出图像数据作为信号VIDEO DATA。可以基于EXPOSURE SETTINGS数据和传感器的时序图来计算信号TRIG被断言与信号VIDEO DATA的开始之间的延迟。在实施接口770的实施例中，曝光开始和曝光窗口由信号TRIG和EXPOSURE SETTINGS确定。处理器通常包括控制逻辑(例如，软件、固件、电路)，以计算将与信号TRIG同步的IR脉冲的时序。例如，处理器可以使用第一GPIO或SIO来编程积分持续时间，使用第二GPIO来控制信号TRIG的断言，并且使用第三GPIO来控制IR照明的开/关。

参考图15，示出了示出各种IR LED接口的示例性实施方式的图。图15中的示例性接口是说明性的，并且不应解释为旨在限制处理器和IR LED模块可以耦合或通信的方式。

在一些实施例中，可以在处理器和IR LED模块之间实施接口780。接口780可以包括IR闪光设置数据路径和IR闪光触发信号(例如，IR TRIG)。对应于时间T_flash_dms和T_flash_oms之一或两者的红外照明窗口的持续时间(例如，IR ON至IR OFF)以及闪光强度可以通过经由IR闪光设置数据路径传送到IR LED模块的数据(例如IR PULSE)来编程。信号IRTRIG可以用于控制IR光闪光的开始。当信号IR TRIG被断言(例如，切换到LOW状态)时，IR照明开始，并且预定数量的IR LED可以被打开以发射红外光。当预定的IR闪光时间结束时，预定数量的IR LED可以被关闭。处理器102通常包括控制逻辑(例如，软件、固件、电路)，以计算要与CMOS图像传感器的曝光窗口同步的IR闪光的时序。例如，处理器102可以使用第一GPIO(通用输入/输出)或SIO(串行输入/输出)来编程IR闪光持续时间和强度，并且使用第二GPIO来控制信号IR TRIG的断言。

在一些实施例中，可以在处理器和IR LED模块之间实施接口785。接口785可以包括IR脉冲设置数据路径和IR闪光触发信号(例如，IR TRIG)。IR光脉冲的强度(例如，接通的IR LED的数量)可以通过经由IR闪光设置数据路径传送到IR LED模块的数据(例如，IRINTENSITY)来编程。信号IR TRIG可以用于控制IR光闪光的开始和持续时间。当信号IRTRIG被断言(例如，切换到LOW状态)时，IR闪光窗口开始并且预定数量的IR LED被打开以发射红外光。当信号IR TRIG被解除断言(例如，切换到HIGH状态)时，IR闪光窗口结束，并且预定数量的IR LED被关闭。处理器通常包括控制逻辑(例如，软件、固件、电路)，以计算要与CMOS图像传感器的曝光窗口(例如，T_expo_oms或T_expo_dms)同步的IR闪光的时序。例如，处理器可以使用第一GPIO或SIO来编程IR闪光强度，并使用第二GPIO来控制信号IR TRIG的断言以控制IR照明的开/关。

参考图16，示出了示出根据本发明的另一个示例性实施例的驾驶员和乘员监视系统的装置900的图。装置900通常包括块(或电路)902a-902n、块(或电路)904、块(或电路)906a-906n、块(或电路)908、块(或电路)910、块(或电路)912a-912n、块(或电路)914a-914n、块(或电路)916、块(或电路)918、块(或电路)920a-920n、块(或电路)电路922和/或块(或电路)924，和/或与它们通信。电路902a-902n可以各自实施捕获设备。电路904可以实施接口电路。电路906a-906n可以各自实施处理器(或协处理器)。在示例性实施方式中，电路906a-906n可以各自被实施为视频处理器和/或计算机视觉处理器。电路908可以实施存储器。电路910可以实施一个或多个通信设备。块912a-912n可以实施镜头。块914a-914n可以实施LED闪光单元。电路916可以实施一个或多个车辆传感器。电路918可以实施一个或多个车辆致动器。电路920a-920n可以各自实施显示器。电路922可以实施驾驶员状态监视系统(DSMS)。电路924可以实施乘员状态监视系统(OSMS)。装置900可以包括其他部件(未示出)。装置900的部件的数量、类型和/或布置可以根据特定实施方式的设计标准而变化。

在装置900的各种实施例中，部件902a-922可以被实施为分布式摄像机系统。在装置900的分布式摄像机系统实施例中，每个部件可以单独地实施在整个安装位置(例如，诸如车辆)。在一些实施例中，某些部件902a-924可以在单个模块上实施，并且某些部件902a-924可以分布在整个安装位置。例如，装置900可以被实施为嵌入式解决方案(例如，安装为一个部件)。在一些实施例中，装置900可以是可以被安装为车辆的售后产品(例如，车辆的改装)的设备。

在一些实施例中，装置900可以实施处理器906a-906n之一。在一些实施例中，装置900可以实施多个处理器906a-906n。例如，处理器906a可以具有多个协处理器906b-906n。类似地，接口904可以被实施为各自支持不同通信协议的多个接口。在另一个示例中，通信设备910可以被实施为许多模块，每个模块实施不同的通信标准(例如，蓝牙、Wi-Fi、LTE等)。在一些实施例中，部件902a-924中的一个或多个可以是其他部件902a-922中的一个或多个其他部件。例如，存储器908可以被实施为处理器906a-906n的部件。在另一个示例中，镜头912a-912n、闪光单元914a-914n和捕获设备902a-902n可以各自被实施为相应的单个组件。通常，装置900的一部分可以被实施为片上系统(SoC)。

镜头912a-912n(例如，光学镜头)可以被配置为捕获目标视图。镜头912a-912n中的一些可以被实施为提供对象外部(例如，汽车的外部)的区域的目标视图。镜头912a-912n中的一些可以被实施为提供对象(例如，车辆的舱室)内部的目标视图。镜头912a-912n可以各自捕获和/或聚焦光作为输入数据(例如，IM_A-IM_N)，并将相应的光输入数据IM_A-IM_N呈现给捕获设备902a-902n中的相应一个。

在实施许多镜头912a-912n的实施例中，每个镜头912a-912n可以指向不同的方向。通过使每个镜头912a-912n捕获不同的方向，装置900可以捕获环境和/或车辆内部的全景图。镜头912a-912n可以布置成捕获车辆水平上方和/或下方的视场。在一些实施例中，镜头912a-912n可以被实施为具有广角(或鱼眼)镜头。全景视频可以包括由一个或多个镜头/摄像机传感器产生的大视场。全景视频的一个示例可以是360等角矩形视频。等角矩形视频也可以称为球形全景。全景视频可以是提供大于可以在用于播放视频的设备(例如，显示器920a-920n之一)上显示的视场的视场的视频。

捕获设备902a-902n中的每一个可以包括块(或电路)940a-940n之一、块(或电路)942a-942n之一和/或块(或电路)944a-944n之一。块940a-940n可以实施图像传感器(例如，摄像机传感器)。块942a-942n可以实施逻辑。块944a-944n可以实施缓冲器。为了清楚起见，在所示的示例中，仅示出了捕获设备902a的图像传感器940a、逻辑942a和缓冲器944a。捕获设备902a-902n可以各自被配置为接收信号IM_A-IM_N中的相应一个、相应信号(例如，CONTROL_A-CONTROL_N)和/或呈现相应信号(例如，FRAMES_A-FRAMES_N)。

捕获设备902a-902n可以各自被配置为响应于信号IM_A-IM_N来产生图像和/或视频帧(例如，执行模数转换)。捕获设备902a-902n可以捕获通过镜头912a-912n接收的数据，以产生视频图像数据(例如，产生视频帧)。闪光单元914a-914n可以提供红外光的闪光以照亮从其捕获图像的环境。信号FRAMES_A-FRAMES_N可以包括由捕获设备902a-902n产生的视频帧和/或图像(例如，视频数据)。在一些实施例中，捕获设备902a-902n可以被配置为执行深度感测(例如，信号FRAMES_A-FRAMES_N除了视频帧之外还可以包括深度信息和/或矢量光数据)。在一个示例中，捕获设备902a-902n可以使用立体声摄像机(例如，被配置为立体声对以捕获深度图的摄像机)执行深度感测。在另一个示例中，捕获设备902a-902n可以使用飞行时间来执行深度感测。在又一个示例中，捕获设备902a-902n可以使用结构化光来执行深度感测。视频帧FRAMES_A-FRAMES_N可以被呈现给处理器906a-906n中的一个或多个。信号CONTROL_A-CONTROL_N可以包括用于捕获设备902a-902n和/或镜头912a-912n的指令信号(例如，缩放、平移、聚焦、调整设置等)。信号CONTROL_A-CONTROL_N可以由处理器906a-906n产生。

接口电路904可以被配置为发射和/或接收多个信号。接口电路904可以被配置为向/从各种协议传送信息和/或向/从各种协议转换信息。在一些实施例中，接口904可以被实施为处理器906a-906n的部件之一。在一些实施例中，接口904可以被实施为车辆总线(例如，CAN总线)。例如，对于低速通信，可以实施车辆CAN总线。在一些实施例中，接口904可以实施高速数据传输协议(例如，用于视频传输)。例如，接口904可以实施以太网、PCI-e、MIPI等中的一个或多个。在一些实施例中，接口904可以包括许多不同的部件，每个部件被配置为使用特定协议进行通信。接口904的实施方式可以根据特定实施方式的设计标准而变化。

在所示的示例中，接口904可以发送和/或接收信号(例如，DATA)、信号(例如，CV)、信号(例如，VCTRL)、信号(例如，COM)、信号(例如，例如SEN)、信号(例如VCTRL’)、信号(例如USER)、信号(例如OM)和/或信号(例如DM)。信号USER可以表示用户输入(例如，转向信号、按下加速器、按下制动器、与信息娱乐系统交互等)。信号SEN可以表示与车辆传感器916有关的信息，例如来自处理器906a-906n的校准数据和/或基于传感器读数的车辆状态信息(例如，速度、加速度、温度、位置、陀螺仪取向等)。信号COM可以表示向/从通信设备910传送的信息。信号VCTRL和VCTRL’可以表示由处理器906a-906n为各种车辆致动器918产生的控制指令。信号CV可以表示计算机视觉数据。信号DATA可以表示其他数据。信号DM可以表示与驾驶员状态(例如，驾驶员的凝视的方向、驾驶员的视线、驾驶员所注视的方向等)相对应的数据。信号OM可以表示与乘员状态(例如，乘员的数量、乘员的位置、乘员的尺寸、乘员的年龄等)相对应的数据。使用接口904传送的信号的数量和/或传送的数据的类型可以根据特定实施方式的设计标准而变化。

处理器906a-906n可以各自包括块(或电路)950、块(或电路)952，块(或电路)954、块(或电路)956、块(或电路)958和/或块(或电路)960。块950可以实施卷积神经网络(CNN)模块。块952可以实施传感器融合模块。块954可以实施驾驶策略模块。块956可以实施视频处理管线模块。块958可以实施决策做出模块。块960可以实施开放操作数堆栈模块。处理器906a-906n可以包括其他部件(未示出)。在一些实施例中，处理器906a-906n中的一个或多个可以不包括块950-960中的每一个。处理器906a-906n的部件的数量、类型和/或布置可以根据特定实施方式的设计标准而变化。

处理器906a-906n可以被配置为执行计算机可读代码和/或过程信息。处理器906a-906n可以各自被配置为接收信号FRAMES_A-FRAMES_N，发射信号VCTRL、信号(例如VOUT_A-VOUT_N)和/或发送/接收信号DATA、信号CV和/或信号(例如，RW)。信号VOUT_A-VOUT_N可以各自向显示器920a-920n中的相应一个提供视频数据输出。例如，处理器906a-906n可以被配置为响应于视频帧(例如，FRAMES_A-FRAMES_N)而产生用于显示器920a-920n的视频数据(例如，VOUT_A-VOUT_N)。信号RW可以向/从存储器908传送数据。可以基于由处理器906a-906n做出的一个或多个决策来产生信号VOUT_A-VOUT_N、信号CONTROL_A-CONTROL_N、信号DATA、信号CV、信号RW和/或信号VCTRL。可以基于处理器906a-906n接收的数据和/或基于对信号FRAMES_A-FRAMES_N的分析来确定由处理器906a-906n做出的决策。处理器906a-906n可以实施其他信号(未示出)。由处理器906a-906n传送的信号的数量和/或类型可以根据特定实施方式的设计标准而变化。

存储器908可以包括块(或电路)970、块(或电路)972和/或块(或电路)974。块970可以实施查找表。块972可以实施数据存储。块974可以实施数据库。存储器908可以被配置为存储计算机可读/可执行指令(或固件或代码)。指令在由处理器906a-906n执行时，可以执行多个步骤。在一些实施例中，处理器906a-906n可以被实施为片上系统(SoC)，并且存储器908可以是处理器906a-906n的部件。存储器908所存储的数据的布置和/或类型和/或所实施的存储器技术(例如，NAND、RAM、忆阻器等)可以根据特定实施方式的设计标准而变化。

通信设备910可以向装置900发送数据和/或从装置900接收数据。在一些实施例中，通信设备910可以被实施为无线通信模块。在一些实施例中，通信设备910可以被实施为到专有系统的卫星连接(例如，以提供高级驾驶员辅助系统(ADAS)数据和/或遥测数据)。在一些实施例中，通信设备910可以实施GPS和/或GNSS功能。在一个示例中，通信设备910可以是硬连线的数据端口(例如，USB端口、迷你USB端口、USB-C连接器、HDMI端口、以太网端口、DisplayPort接口、Lightning端口、Thunderbolt端口、PCI-e接口、MIPI接口等)。在另一个示例中，通信设备910可以是无线数据接口(例如，Wi-Fi、蓝牙、ZigBee、蜂窝(3G/4G/5G/LTE)等)。在另一个示例中，通信设备910可以实施射频(RF)发射器。

通信设备910可以包括通过一种或多种无线和/或蜂窝协议对无线通信的支持，所述协议例如是

IEEE 802.11、IEEE 802.15、IEEE 802.15.1、IEEE802.15.2、IEEE 802.15.3、IEEE 802.15.4、IEEE 802.15.5、IEEE 802.20、GSM、CDMA、GPRS、UMTS、CDMA2000、3GPP LTE、4G/HSPA/WiMAX、SMS等。通信设备910还可以包括对使用通用串行总线协议(例如USB 9.0、2.0、3.0等)中的一个或多个进行通信的支持。

传感器916可以用于确定主对象(例如，车辆)的状态信息。传感器916可以实施传感器阵列。传感器阵列916可以用于确定对象在相对于装置900的接近范围内的位置。例如，传感器916可以实施雷达设备、雷达阵列、声纳设备、声纳阵列、LIDAR设备、LIDAR设备的阵列、超声设备、超声设备的阵列等。传感器916可以使用信号SEN来提供传感器读数。在一些实施例中，可以使用信号SEN来校准传感器916。用于检测与其他对象的接近度的车辆传感器916的类型可以根据特定实施方式的设计标准而变化。

致动器918可以用于引起动作。致动器918可以被实施为部件的阵列。致动器918可以被配置为将包括信息和/或指令的电信号(例如，信号VCTRL’)转换成物理动作。在示例中，致动器918可以被配置为转动车轮，增加加速度，减小加速度，激活和/或调整前灯，激活转向信号，激活安全气囊等。致动器918可以控制主车辆的各种部件。在示例中，致动器918可以包括驾驶员相关系统中的致动器和乘员相关系统中的致动器。致动器918可以允许由DSMS 922和/或OSMS 924产生的控制信号来控制驾驶员相关系统和乘员相关系统。致动器918的数量、类型和/或功能可以根据特定实施方式的设计标准而变化。

显示器920a-920n可以各自实施屏幕和/或输出设备。在一个示例中，显示器920a-920n中的一个或多个可以实施电子镜(例如，e镜)。在另一个示例中，显示器920a-920n中的一个或多个可以实施用于信息娱乐系统的触摸屏。在又一个示例中，显示器920a-920n中的一个或多个可以实施备用摄像机和/或鸟瞰摄像机。显示器920a-920n可以显示由镜头912a-912n和/或捕获设备902a-902n中的一个或多个捕获的视频帧的版本。由捕获设备902a-902n捕获的视频帧可以由处理器906a-906n裁剪、调整和/或编码以适合显示器920a-920n。例如，处理器906a-906n可以经由信号VOUT_A-VOUT_N向显示器920a-920n提供实时视频流。

捕获设备902a的传感器940a(例如，诸如CMOS传感器的摄像机成像传感器)可以从镜头912a接收光(例如，信号IM_A)。摄像机传感器940a可以对来自镜头912a的光执行光电转换。逻辑942a可以将比特流转换成对人而言清晰可读的内容(例如，视频数据和/或视频帧)。例如，逻辑942a可以从摄像机传感器940a接收纯(例如，原始)数据，并且基于原始数据(例如，比特流)产生视频数据。逻辑942a可以响应于信号CONTROL_A进一步控制镜头912a。存储器缓冲器944a可以存储原始数据和/或处理后的比特流。例如，帧存储器和/或缓冲器944a可以存储(例如，提供临时存储和/或高速缓存)一个或多个视频帧(例如，视频信号)。在一些实施例中，每个捕获设备902a-902n可以包括其他部件(例如，电池、发动机、麦克风等)。

CNN模块950可以被配置为实施卷积神经网络功能。CNN模块950可以被配置为使用深度学习技术来实施计算机视觉。CNN模块950可以被配置为使用训练过程通过多层特征检测来实施图案和/或图像识别。

传感器融合模块952可以被配置为分析来自多个传感器914、捕获设备902a-902n、驾驶员状态监视系统922和/或乘员状态监视系统924的信息以用于冗余。通过分析来自不同源的各种数据，传感器融合模块952可能能够做出关于数据的推断，这仅凭数据源之一是不可能的。例如，传感器融合模块952可以分析视频数据以及雷达、LIDAR、惯性、运动、V2X、位置数据(例如，GPS、GNSS、ADAS等)、凝视方向、驾驶员状态和/或其他源，以开发场景模型来支持决策做出。传感器融合模块952还可以在从不同传感器916接收的数据之间提供时间相关性、空间相关性和/或可靠性。

在示例中，传感器融合模块952可以在空间上覆盖由摄像机捕获的对象与由LIDAR捕获的相同对象，以更好地对该对象进行识别和/或测距(距离和相对速度)。在时间相关示例中，两个传感器可能会在略微不同的时间看到对象(例如，前保险杠和后保险杠附近的侧面传感器)。传感器融合模块952可以对来自前导传感器的数据进行时移，以与来自尾随传感器的数据对准。可以将来自运动传感器的信息集成到时间相关性中，以确定哪个传感器在前方，哪个传感器在后方，和/或检测到的对象在移动的速度。

在可靠性示例中，传感器融合模块952可以确定每个传感器检测到的对象的可靠性。传感器融合模块952可以调整用于覆盖数据的权重，以将更多的权重赋予可靠的数据，和/或将更少的权重赋予不可靠的数据(例如，捕获设备902a-902n之一在有雾的条件下可能具有低可靠性，但是雷达在有雾的条件下可能具有良好的可靠性)。还可以在传感器融合模块952中计算出对象确实存在并且被正确识别的置信度。置信度数据可以通过片上总线而不是依靠芯片间总线被呈现给驾驶策略块954。

驾驶策略模块954可以被配置为实现类似于人类的直觉。驾驶策略模块954可以允许车辆与人类驾驶员共享道路。例如，感测、地图绘制和强大的计算机视觉可以提供比人类驾驶员更好的车辆环境和/或反应时间的模型。可以利用将机器学习应用于开发和发展驾驶策略来提供分析多变量情况和/或与人类驾驶员协商所需的类似于人类的直觉和/或行为。在示例中，驾驶策略模块954可以在做出决策时为伦理提供规则集。

视频管线956可以被配置为对由每个捕获设备902a-902n捕获的视频帧进行编码。在一些实施例中，视频管线956可以被配置为执行视频拼接操作，以拼接由镜头912a-912n中的每一个捕获的视频帧，以产生全景视场(例如，全景视频帧)。视频管线956可以被配置为执行去扭曲、裁剪、增强、卷帘快门校正、稳定化、缩小比例、打包、压缩、转换、混合、同步和/或其他视频操作。视频管线956的体系结构可以使得能够实时和/或近实时地对高分辨率视频和/或高比特率视频数据执行视频操作。视频管线模块956可以使得能够对4K分辨率视频数据进行计算机视觉处理、立体视觉处理、对象检测和/或高动态范围处理。由视频管线956操作的视频操作的类型和/或视频数据的类型可以根据特定实施方式的设计标准而变化。

视频管线模块956可以实施数字信号处理(DSP)模块，其被配置为从输入信号FRAMES_A-FRAMES_N接收信息(例如，传感器940a-940n捕获的像素数据值)。视频管线模块956可以被配置为确定像素值(例如，RGB、YUV、亮度、色度等)。视频管线模块956可以进一步被配置为支持或向YUV原始图像管线提供传感器RGB，以改善图像质量，执行不良像素检测和校正、去马赛克、白平衡、颜色和色调校正、伽玛校正、色相调整、饱和度、亮度和对比度调整、色度和亮度噪声过滤。

视频管线模块956可以将原始图像数据同时(并行)编码为多个编码的视频流。多个视频流可以具有各种分辨率(例如，VGA、WVGA、QVGA、SD、HD、Ultra HD、4K、8K等)。视频管线模块956可以从音频接口接收编码的和/或未编码的(例如，原始的)音频数据。视频管线模块956也可以从通信接口(例如，USB和/或SDIO)接收编码的音频数据。视频管线模块956可以将编码的视频数据提供给通信设备910(例如，使用USB主机接口)和/或显示器920a-920n(例如，信号VOUT_A-VOUT_N)。

决策做出模块958可以被配置为产生信号VCTRL。决策做出模块958可以被配置为使用来自计算机视觉操作和/或传感器融合模块952的信息来确定可以采取哪些动作。例如，在自动驾驶车辆实施方式中，决策做出模块958可以确定转向哪个方向。决策做出模块958可以利用来自CNN模块950的数据和/或使用面向直方图的梯度(HOG)的计算机视觉数据。决策做出模块958为做出决策所使用的数据源可以根据特定实施方式的设计标准而变化。

决策做出模块958可以进一步被配置为确定视频数据以传送给显示器920a-920n。信号VOUT_A-VOUT_N可以响应于决策做出模块958的决策而被裁剪和/或调整。例如，决策模块958可以选择一个视场(例如，广角视场)而不是另一个视场(例如，窄角视场)作为信号VOUT_A发送到显示器920a。在另一个示例中，决策做出模块958可以确定使用显示器920a-920n中的哪一个来显示通知。在又一个示例中，决策做出模块958可以调整显示器920a-920n的输出特性(例如，亮度)。

操作数堆栈模块960通常包含在所有自动驾驶车辆中使用的基本任务(例如，对象检测、相关性、可靠性等)。操作数堆栈模块960的开放性可以使汽车制造商能够添加可以区别市场上特定车辆的新的和/或专有的功能。开放操作数堆栈模块960可以实现可编程性。

查找表970可以包括参考信息。在一个示例中，查找表970可以允许将捕获的视频数据与一些已知的数据集进行比较和/或交叉参考。在另一个示例中，查找表970可以允许传感器融合模块952将来自传感器914的数据与一些已知的传感器值(例如，温度、湿度等)进行比较和/或交叉参考。通常，查找表970可以被实施为索引预先计算的值以节省计算时间。

数据储存器972可以包括由存储器908存储的各种数据类型。在示例中，数据储存器972可以对应于检测到的对象、参考对象、视频文件、状态信息(例如，来自传感器914的读数)和/或元数据信息。存储在存储器908中的数据的类型和/或数据的布置可以根据特定实施方式的设计标准而变化。

在一些实施例中，由处理器906a-906n产生的视频数据可以是全景视频。视频数据可以经由通信设备910通过网络进行通信。例如，网络可以是带宽受限的网络(例如，无线网络)。处理器906a-906n可以结合硬件去扭曲、智能视频分析和/或数字缩放。当传送视频数据时，处理器906a-906n可以减少无线带宽消耗。处理器906a-906n可以在可用带宽内增加图像分辨率。

在一些实施例中，全景视频的部分可以被处理器906a-906n裁剪为显示器920a-920n中的特定显示器的尺寸(例如，裁剪部分之外的全景视频的部分可以被丢弃和/或不显示)。在一些实施例中，可以在一个或多个方向上平移全景视频，以在显示器920a-920n的视场之外看到全景视频的额外部分。例如，全景视频可以包括球形视频、半球形视频、360度视频、广角视频、具有小于360度视场的视频等。在一些实施例中，全景视频可以为完整的360度视场提供覆盖。在一些实施例中，全景视频可以捕获小于360度视图(例如，270度视场、980度视场等)。在一些实施例中，镜头912a-912n中的每一个可以用于捕获视频帧，该视频帧提供可以被拼接在一起的视场的一部分，以提供比镜头912a-912n中的每个个体镜头所捕获的视场更宽的视场。处理器906a-906n可以被配置为执行视频拼接操作以将视频帧拼接在一起(例如，根据位置和/或时间布置视频帧，减少视差效果，减少失真等)。

在一些实施例中，捕获设备902a-902n可以实施卷帘快门传感器。使用卷帘快门传感器，每个视频帧的某些部分之间可能存在少量的时间差。处理器906a-906n可以被配置为对每个视频帧去扭曲和/或校正卷帘快门效果。

在一些实施例中，装置900还可以包括音频捕获设备(例如，麦克风)。音频捕获设备可以捕获环境的音频。处理器906a-906n可以被配置为将捕获的音频与捕获设备902a-902n捕获的图像同步。

处理器906a-906n可以产生输出视频数据和/或可以在处理器906a-906n内被内部使用的视频数据。信号VOUT_A-VOUT_N可以是信号FRAMES_A-FRAMES_N中的一个或多个的编码、裁剪、拼接和/或增强版本。信号VOUT_A-VOUT_N可以是信号FRAMES_A-FRAMES_N的高分辨率、数字、编码、去扭曲、稳定、裁剪、混合、拼接和/或卷帘快门效应校正的版本。

驾驶员状态监视系统(DSMS)922可以被配置为监视车辆的驾驶员。在一个示例中，DSMS 920可以被配置为确定驾驶员的凝视方向。信号DM可以被配置为传送驾驶员状态。在一个示例中，信号DM可以包括驾驶员的凝视方向的矢量坐标和/或球坐标。

在所示的示例中，DSMS 922可以是装置900的部件。在一些实施例中，DSMS 922可以是一个或多个协处理器906a-906n的模块。在一些实施例中，DSMS 922可以是与装置900分开的部件。通常，DSMS 922可以包括镜头和捕获装置。在一些实施例中，DSMS 922可以被配置为从捕获设备902a-902n接收输入(例如，信号FRAMES_A-FRAMES_N)。DSMS 922的实施方式可以根据特定实施方式的设计标准而变化。

DSMS 922可以被配置为使用计算机视觉来在视频帧300a-300c中的每一个中定位眼睛304a-304b。在示例中，DSMS 922可以被配置为确定眼睛304a-304b相对于轴308的位置的3D坐标。例如，坐标可以包括相对于水平轴、垂直轴和深度轴的位置(例如3D空间中的位置)。在一些实施例中，捕获设备902a-902n可以实施深度感测技术(例如，飞行时间)以确定深度。在一些实施例中，捕获设备902a-902n可以被配置为立体声对以确定深度信息。可以相对于捕获设备902a-902n的位置的定位来确定坐标。

基于眼睛304a-304b的位置的坐标，DSM 902可以被配置为确定在视频帧300a-300c中的每一个中右眼306ra-306rc的方向和左眼306la-306lc的方向。可以基于驾驶员302的面部的朝向来确定右眼306ra-306rc的方向和左眼306la-306lc的方向。在一些实施例中，DSMS 922可以被配置为检测其他面部特征(例如鼻子、嘴巴、耳朵等)以确定驾驶员302面向哪个方向。在一些实施例中，DSMS 922可以被配置为基于眼睛304a-304b的位置之间的关系来确定眼睛304a-304b正面向的方向。在一些实施例中，DSMS922可以检测眼睛304a-304b的瞳孔的位置，以确定右眼306ra-306rc的方向和左眼306la-306lc的方向。

DSMS 922可以被配置为比较从视频帧300a-300c中的每一个确定的右眼306ra-306rc的方向。DSMS 922可以被配置为比较从视频帧300a-300c中的每一个确定的左眼306la-306lc的方向。比较可以提供多个数据点，以准确地确定驾驶员302的凝视方向。在所示的示例中，使用了三个不同的视频帧300a-300c。在另一个示例中，可以使用一个视频帧。在又一个示例中，可以使用多于三个的视频帧。通常，用于分析的更多视频帧可以提供更多数据点，这可以提供更准确的结果。然而，由于安装了更多的捕获设备902a-902n，更多的数据可能导致成本增加。用于比较以确定驾驶员302的凝视方向的视频帧的数量可以根据特定实施方式的设计标准而变化。

一旦由DSMS 922确定了驾驶员302的凝视，DSM 922就可以呈现信号DM。信号DM可以由处理器906a-906n分析。处理器906a-906n和/或存储器908可以存储关于车辆202的内部的信息。例如，关于车辆202的内部的信息可以提供显示器920a-920n的位置的坐标。传感器916可以进一步提供信号SEN，其可以包括座椅距仪表板214的距离。传感器融合模块952可以组合多个数据源以推断驾驶员302所在的位置。处理器906a-906n可以确定驾驶员在车辆202的内部的位置。

处理器906a-906n可以被配置为将由DSMS 922确定的凝视映射到一个位置。例如，可以交叉参考关于车辆202的内部的信息与驾驶员302的凝视。基于驾驶员302的位置、驾驶员302的凝视方向和车辆202的内部的构造(例如，车辆202的内部的布局的先验知识)，处理器906a-906n可以确定驾驶员302正在看什么和/或看哪里。在一个示例中，处理器906a-906n可以确定驾驶员302正在从挡风玻璃212向外看。在另一个示例中，处理器906a-906n可以确定驾驶员302正在看显示器218a-218n之一。处理器906a-906n可以被配置为将驾驶员302的凝视方向从驾驶员302的位置投射到车辆202内和/或外部的目标位置。使用车辆202的内部的先验知识，处理器906a-906n可以推断驾驶员302在凝视的目标位置处正在观看什么。

乘员状态监视系统(OSMS)924可以被配置为监视车辆202的乘员。在一个示例中，OSMS 924可以被配置为确定乘员的位置和/或身体特征。信号OM可以被配置为传送乘员状态。

在所示的示例中，OSMS 924可以是装置900的部件。在一些实施例中，OSMS 924可以是一个或多个协处理器906a-906n的模块。在一些实施例中，OSM 924可以是与装置900分开的部件。通常，OSMS 924可以包括镜头、捕获设备和光源。在一些实施例中，OSMS 924可以被配置为接收来自捕获设备902a-902n的输入(例如，信号FRAMES_A-FRAMES_N)。OSMS924的实施方式可以根据特定实施方式的设计标准而变化。

在各种实施例中，示出了低光视觉功能。在DMS 104中，低光视觉功能在包括单色全局快门CMOS(互补金属氧化物半导体)传感器120的摄像机中实施，并且能够提供周期性的940nm近红外(NIR)照明。在OMS 106中，低光视觉功能在包括RGBIR卷帘快门CMOS(互补金属氧化物半导体)传感器130的摄像机中实施，并且能够提供周期性的940nm NIR照明或连续的940nm NIR照明。如本文所用，术语红外(IR)通常包含NIR(例如，约700nm至约1000nm)和更长(例如，中红外和远红外)波长的光。当触发信号被断言时，DMS 104的全局快门CMOS传感器120可以被激活(例如，以开始曝光/积分周期)，并且通过在与在卷帘快门CMOS传感器130的曝光/积分窗口内使红外光源132脉冲化同步的确定的时间段内使红外光源122脉冲化来提供照明。通过使LED闪光122和132同步，消除了LED闪光之间的干扰。红外照明窗口通常与卷帘快门CMOS传感器132的曝光/积分窗口同步，以为特定应用提供正确的照亮。在各种实施例中，红外照明窗口的脉冲宽度可以基于环境光水平而变化。在第一模式中，对红外(IR)发光二极管(LED)进行脉冲化以提供红外照明，而不是连续打开红外照明，这可以提高IR LED效率，使用较少的功率并减少过热的情况。短脉冲宽度可以用于冻结运动，从而减少每帧中的运动模糊。在第二模式中，OMS 106的LED可以连续打开以简化DMS 104的时序控制。

由图1-16的图示出的功能可以利用常规通用处理器、数字计算机、微处理器、微控制器、RISC(精简指令集计算机)处理器、CISC(复杂指令集计算机)处理器、SIMD(单指令多数据)处理器、信号处理器、中央处理单元(CPU)、算术逻辑单元(ALU)、视频数字信号处理器(VDSP)和/或根据说明书的教导进行编程的类似的计算机器中的一个或多个来实施，如相关领域的技术人员将显而易见的。熟练的程序员可以基于本公开的教导容易地准备适当的软件、固件、编码、例程、指令、操作码、微代码和/或程序模块，同样如相关领域的技术人员将显而易见的。该软件通常由机器实施方式的一个或多个处理器从一种或多种介质执行。

本发明还可以通过以下方式来实施：准备ASIC(专用集成电路)、平台ASIC、FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、CPLD(复杂可编程逻辑器件)、门海、RFIC(射频集成电路)、ASSP(专用标准产品)、一个或多个单片集成电路、被布置为倒装芯片模块和/或多芯片模块的一个或多个芯片或管芯，或者通过互连适当的常规部件电路的网络，如本文中所描述的，其修改对于本领域技术人员而言将是显而易见的。

因此，本发明还可以包括一种计算机产品，该计算机产品可以是一种或多种存储介质和/或一种或多种传输介质，包括可以用来对机器进行编程以执行根据本发明的一个或多个过程或方法的指令。机器执行包含在计算机产品中的指令以及周围电路的操作可以将输入数据转换为存储介质上的一个或多个文件和/或代表物理对象或物质的一个或多个输出信号，例如音频和/或视觉描绘。存储介质可以包括但不限于任何类型的磁盘、包括软盘、硬盘驱动器、磁盘、光盘、CD-ROM、DVD和磁光盘以及诸如ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、UVPROM(紫外可擦除可编程ROM)之类的电路、闪存、磁卡、光卡和/或适合于存储电子指令的任何类型的介质。

本发明的元件可以形成一个或多个设备、单元、部件、系统、机器和/或装置的一部分或全部。设备可以包括但不限于服务器、工作站、存储阵列控制器、存储系统、个人计算机、膝上型计算机、笔记本计算机、掌上计算机、云服务器、个人数字助理、便携式电子设备、电池供电的设备、机顶盒、编码器、解码器、代码转换器、压缩器、解压缩器、预处理器、后处理器、发射器、接收器、收发器、密码电路、蜂窝电话、数码摄像机、定位和/或导航系统、医疗设备、平视显示器、无线设备、音频记录、音频存储和/或音频播放设备、视频记录、视频存储和/或视频播放设备、游戏平台、外围设备和/或多芯片模块。相关领域的技术人员将理解，可以在其他类型的设备中实施本发明的元件，以满足特定应用的标准。

当与“是”和动词结合使用时，术语“可以”和“通常”意在传达如下意图，即，该描述是示例性的，并且被认为足够广泛以涵盖本公开中提出的具体示例以及可以基于本公开得出的替代示例。如本文所使用的术语“可以”和“通常”不应被解释为必然暗示省略相应元件的可取性或可能性。

尽管已经参考本发明的实施例具体地示出和描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以对形式和细节进行各种改变。

Claims (20)

1.一种装置，包括：

第一图像传感器；

第二图像传感器；

与所述第一图像传感器相关联的第一光源；

与所述第二图像传感器相关联的第二光源；以及

控制电路，其被配置为控制所述第一光源和所述第二光源，以防止所述第一光源与所述第二光源之间的干扰影响由所述第一图像传感器和所述第二图像传感器捕获的图像。

2.根据权利要求1所述的装置，其中：

所述第一图像传感器包括单色全局快门互补金属氧化物半导体(CMOS)传感器；并且

所述第二图像传感器包括RGBIR卷帘快门CMOS传感器。

3.根据权利要求1所述的装置，其中：

所述第一光源和所述第二光源包括一个或多个发光二极管。

4.根据权利要求3所述的装置，其中：

所述第一光源和所述第二光源包括一个或多个940nm近红外发光二极管。

5.根据权利要求1所述的装置，还包括：图像信号处理电路，所述图像信号处理电路被配置为分析由所述第一图像传感器和所述第二图像传感器捕获的图像。

6.根据权利要求5所述的装置，其中：

所述图像信号处理电路还被配置为响应于分析由所述第一图像传感器和所述第二图像传感器捕获的所述图像而产生一个或多个控制信号；并且

响应于所述一个或多个控制信号来控制车辆的一个或多个系统。

7.根据权利要求1所述的装置，还包括：

第一图像信号处理电路，其被配置为分析由所述第一图像传感器捕获的图像；和

第二图像信号处理电路，其被配置为分析由所述第二图像传感器捕获的图像。

8.根据权利要求7所述的装置，其中：

所述第一图像信号处理电路还被配置为响应于分析由所述第一图像传感器捕获的图像而产生一个或多个第一控制信号；

所述第二图像信号处理电路还被配置为响应于分析由所述第二图像传感器捕获的图像而产生一个或多个第二控制信号；

响应于所述一个或多个第一控制信号来控制车辆的一个或多个乘员相关系统；并且

响应于所述一个或多个第二控制信号来控制所述车辆的一个或多个驾驶员相关系统。

9.根据权利要求1所述的装置，其中，所述控制电路被配置为控制所述第一光源和所述第二光源的各自的闪光。

10.根据权利要求9所述的装置，其中：

在第一模式中，所述第一光源被配置为响应于第一触发信号而产生闪光，并且所述第二光源被配置为响应于第二触发信号而产生闪光；并且

在第二模式中，所述第一光源连续地打开，并且所述第二光源被配置为响应于所述第二触发信号而产生闪光。

11.一种监视车辆的乘客室的方法，包括：

使用第一图像传感器和相关联的第一光源监视所述车辆的驾驶员；

使用第二图像传感器和相关联的第二光源监视所述车辆的乘员；以及

控制所述第一光源和所述第二光源以防止所述第一光源与所述第二光源之间的干扰影响由所述第一图像传感器和所述第二图像传感器捕获的图像。

12.根据权利要求11所述的方法，其中：

所述第一图像传感器包括单色全局快门互补金属氧化物半导体(CMOS)传感器；并且

所述第二图像传感器包括RGBIR卷帘快门CMOS传感器。

13.根据权利要求11所述的方法，其中：

所述第一光源和所述第二光源包括一个或多个发光二极管。

14.根据权利要求13所述的方法，其中：

所述第一光源和所述第二光源包括一个或多个940nm近红外发光二极管。

15.根据权利要求11所述的方法，还包括：使用多通道图像信号处理电路来分析由所述第一图像传感器和所述第二图像传感器捕获的图像。

16.根据权利要求15所述的方法，还包括：

响应于分析由所述第一图像传感器和所述第二图像传感器捕获的所述图像而产生一个或多个控制信号；以及

响应于所述一个或多个控制信号来控制车辆的一个或多个系统。

17.根据权利要求11所述的方法，还包括：

使用第一图像信号处理电路分析由所述第一图像传感器捕获的图像；以及

使用第二图像信号处理电路分析由所述第二图像传感器捕获的图像。

18.根据权利要求17所述的方法，其中：

响应于分析由所述第一图像传感器捕获的图像而产生一个或多个第一控制信号；

响应于分析由所述第二图像传感器捕获的图像而产生一个或多个第二控制信号；

响应于所述一个或多个第一控制信号来控制车辆的一个或多个驾驶员相关系统；并且

响应于所述一个或多个第二控制信号来控制所述车辆的一个或多个乘员相关系统。

19.根据权利要求11所述的方法，其中：

在第一模式中，响应于第一触发信号，使用所述第一光源产生第一闪光；并且响应于第二触发信号，使用所述第二光源产生第二闪光，其中，所述第一闪光和所述第二闪光是同步的；并且

在第二模式中，响应于所述第一触发信号，使用所述第二光源连续产生近红外照明，并使用所述第一光源产生闪光。

20.根据权利要求19所述的方法，其中：

在所述第一模式中，在所述第二图像传感器的所有行的积分时段期间产生所述第一闪光和所述第二闪光；并且

在所述第二模式中，在所述第二图像传感器的所有行都不在所述积分时段中时，产生闪光。

Images