CN112954231A - 视频采集设备、车辆、车舱检测及同步曝光方法 - Google Patents

Abstract

本公开提供了一种视频采集设备、车辆、车舱检测及同步曝光方法，其中，所述视频采集设备包括：用于采集视频流的至少两个相机；与所述至少两个相机连接的至少两个芯片，其中，至少两个所述芯片分别连接不同的相机，各所述芯片之间通过硬线连接及传输同步曝光信号，各所述芯片用于向各自连接的相机发送同步曝光指令，以使各所述相机根据所述同步曝光指令进行同步曝光。

Description

视频采集设备、车辆、车舱检测及同步曝光方法

技术领域

本公开涉及数据处理领域，尤其涉及一种视频采集设备、车辆、车舱检测及同步曝光方法。

背景技术

目前，智能车辆的应用越来越广泛。在智能车辆上，以驾驶员监控系统(DriverMonitor System，DMS)功能为例，其可以进行的功能包括但不限于疲劳检测，分心驾驶，危险动作等。在车辆上的不同位置可以部署多个相机，从而进行视频流采集，基于采集到的视频流进行DMS功能的分析。

发明内容

本公开提供了一种视频采集设备、车辆、车舱检测及同步曝光方法。

根据本公开实施例的第一方面，提供一种视频采集设备，包括：用于采集视频流的至少两个相机；与所述至少两个相机连接的至少两个芯片，其中，至少两个所述芯片分别连接不同的相机，各所述芯片之间通过硬线连接及传输同步曝光信号，各所述芯片用于向各自连接的相机发送同步曝光指令，以使各所述相机根据所述同步曝光指令进行同步曝光。

在一些可选实施例中，至少两个所述芯片包括第一芯片和至少一个第二芯片；所述第一芯片用于接收所述同步曝光指令，并通过硬线发送所述同步曝光指令给各所述第二芯片以及与所述第一芯片连接的相机；各所述第二芯片用于通过硬线接收所述第一芯片发送的所述同步曝光指令，并发送所述同步曝光指令给与各所述第二芯片连接的相机。

在一些可选实施例中，所述芯片上设置有解串器，所述相机设置有与所述解串器匹配的串化器；所述串化器与所述解串器之间通过同轴线进行连接；所述串化器用于将相机采集到的视频流通过同轴线发送到所述解串器；和/或所述解串器用于通过同轴线将所述同步曝光信号传输至所述串化器。

在一些可选实施例中，还包括：控制器，用于生成同步曝光指令；与所述控制器和各所述芯片连接的交换机，用于向至少两个所述芯片中的第一芯片发送所述控制器生成的所述同步曝光指令。

在一些可选实施例中，所述交换机与各所述芯片之间通过网线进行连接，所述交换机与控制器之间通过网线进行连接。

在一些可选实施例中，所述控制器还用于生成关联控制指令，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作；所述交换机还用于通过网线将所述关联控制指令广播给各所述芯片；各所述芯片还用于通过网线接收所述交换机广播的所述关联控制指令，并控制与各所述芯片连接的相机执行所述关联控制指令对应的操作。

在一些可选实施例中，所述关联控制指令包括以下至少一项：视频数据同步上传指令、补光灯开关控制指令、组合相机的工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

在一些可选实施例中，所述设备为车载视频采集设备。

根据本公开实施例的第二方面，提供一种车辆，包括如第一方面任一所述的视频采集设备。

在一些可选实施例中，所述相机安装于以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响；和/或所述至少两个相机包括普通彩色模式RGB相机、红外IR相机、深度TOF相机中的至少两个，或者所述至少两个相机包括由RGB、IR和TOF中的至少两个组成的组合相机。

在一些可选实施例中，所述相机包括由RGB、IR和TOF中的至少两个组成的组合相机，以及所述相机用于接收连接的芯片发送的工作模式控制指令，并将工作模式切换到所述工作模式控制指令所指示的工作模式，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

根据本公开实施例的第三方面，提供一种车舱检测方法，所述车舱包括如第一方面任一所述的视频采集设备；所述方法包括：获取由至少两个所述相机采集的至少两路视频数据；根据至少两路所述视频数据，对所述车舱内的人员的状态进行状态检测。

在一些可选实施例中，所述人员包括驾驶员；所述根据至少两路所述视频数据，对所述车舱内的人员的状态进行状态检测，包括：基于所述至少两路视频数据，估计所述驾驶员的头部姿态和/或视线注视区域。

在一些可选实施例中，所述基于所述至少两路视频数据，估计所述驾驶员的头部姿态和/或视线注视区域，包括：基于至少两路所述视频数据确定所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系；根据所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系，确定所述驾驶员的头部姿态和/或视线注视区域。

在一些可选实施例中，所述至少两个所述相机分别与所述驾驶员头部、眼睛的偏转角度之间的对应关系通过预先训练的神经网络确定；所述方法还包括：获取所述驾驶员偏转头部和眼睛中的至少一个部位的状态下，所述车舱内的至少两个相机中的任意至少一个相机拍摄的样本图像；以所述样本图像上标注的所述驾驶员的头部偏转角度和眼睛偏转角度中的至少一项为监督，对预设神经网络进行训练。

根据本公开实施例的第四方面，提供一种同步曝光方法，包括：接收由控制器生成并通过交换机发送的同步曝光指令；将所述同步曝光指令通过硬线发送给至少一个第二芯片，和通过同轴线发送给与自身连接的相机，以使与各所述第二芯片连接的相机和与自身连接的相机根据所述同步曝光指令进行同步曝光。

在一些可选实施例中，所述方法还包括：接收由所述控制器生成并通过所述交换机广播的关联控制指令，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作；；根据所述关联控制指令，控制连接的相机执行对应的操作。

在一些可选实施例中，所述关联控制指令包括以下至少一项：视频数据同步上传指令、补光灯开关控制指令、相机工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

根据本公开实施例的第五方面，提供一种同步曝光方法，包括：接收由第一芯片通过硬线发送的同步曝光指令；将所述同步曝光指令通过同轴线发送给目标相机，以控制所述目标相机和与所述第一芯片通过同轴线连接的相机同步曝光。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第三方面任一所述的方法。

根据本公开实施例的第七方面，提供一种相机模组，包括：摄像头，用于进行视频流采集；与所述摄像头连接的相机传感器，用于通过同轴线接收芯片发送的同步曝光指令，并根据所述同步曝光指令进行曝光。

在一些可选实施例中，还包括：与所述摄像头和所述相机传感器连接的串化器，用于将所述视频流包括的视频数据通过所述同轴线发送给所述芯片。

在一些可选实施例中，所述相机传感器还用于通过所述同轴线接收所述芯片发送的关联控制指令，并基于所述关联控制指令控制执行对应的操作，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作。

根据本公开实施例的第八方面，提供一种车辆的控制器，包括：人机交互模块，用于获取触发所述车辆的车载监控系统功能的触发指令；指令生成模块，用于基于所述触发指令，生成同步曝光指令；指令发送模块，用于将所述同步曝光指令发送给交换机，以使所述交换机发送所述同步曝光指令给至少两个芯片中的第一芯片，所述第一芯片通过硬线将所述同步曝光指令发送给至少两个所述芯片中的至少一个第二芯片。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，可以通过各芯片向各自连接的相机发送同步曝光指令，使得各相机根据同步曝光指令进行同步曝光，降低了多个相机同步曝光的误差，可用性高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种视频采集设备结构示意图；

图2是本公开根据一示例性实施例示出的另一种视频采集设备结构示意图；

图3是本公开根据一示例性实施例示出的另一种视频采集设备结构示意图；

图4是本公开根据一示例性实施例示出的一种相机安装在车辆内的场景示意图；

图5是本公开根据一示例性实施例示出的一种车舱检测方法流程图；

图6是本公开根据一示例性实施例示出的另一种车舱检测方法流程图；

图7是本公开根据一示例性实施例示出的一种同步曝光方法流程图；

图8是本公开根据一示例性实施例示出的另一种同步曝光方法流程图；

图9是本公开根据一示例性实施例示出的另一种同步曝光方法流程图；

图10是本公开根据一示例性实施例示出的一种相机模组结构示意图；

图11是本公开根据一示例性实施例示出的另一种相机模组结构示意图；

图12是本公开根据一示例性实施例示出的一种车辆的控制器的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供了一种数据同步采集设备，例如图1所示，包括：

用于采集视频流的至少两个相机101；

与所述至少两个相机连接的至少两个芯片102，其中，至少两个所述芯片102分别连接不同的相机101，各所述芯片102之间通过硬线连接及传输同步曝光信号，各所述芯片102用于向各自连接的相机101发送同步曝光指令，以使各所述相机101根据所述同步曝光指令进行同步曝光。

在本公开实施例中，各芯片102可以采用但不限于系统基本芯片(System BasicChip，SBC)。各芯片102可以分别连接不同的相机101，相机101包括但不限于普通的色彩模式(Red Green Blue，RGB)相机，或红外(InfraRed，IR)相机，或RGB-IR相机。或者可以通过单独的RGB相机和IR相机组合后得到的组合相机，共同实现RGB-IR相机的功能。在本公开实施例中的相机101需要支持外部触发功能，即可以由所连接的芯片102发送的控制指令进行触发，该控制指令包括但不限于同步曝光指令。

上述实施例中，可以通过各芯片向各自连接的相机发送同步曝光指令，使得各相机同步进行同步曝光，降低了同步曝光的误差，其同步曝光的误差可达到微秒级，可用性高。

在一些可选实施例中，在图1所示的设备中，至少两个芯片102可以包括第一芯片102-1和至少一个第二芯片102-2，例如图2所示。第一芯片102-1可以是各芯片中预先设置的主控(master)芯片。

第一芯片102-1可用于接收同步曝光指令，并通过硬线将该同步曝光指令发送给各第二芯片102-2以及与第一芯片102-1连接的相机101。

各第二芯片102-2用于通过硬线接收第一芯片102-1发送的同步曝光指令，并发送该同步曝光指令给与各第二芯片102-2连接的相机101。

在本公开实施例中，为了减小各相机同步曝光的误差，可以将至少两个芯片两两之间通过硬线进行连接。

这样第一芯片102-1通过硬线发送同步曝光指令给各第二芯片102-2，相较于芯片之间通过网线发送指令的发送速度更快，从而可以让各芯片分别连接的不同相机之间同步曝光的误差缩小到微秒级。

上述实施例中，第一芯片通过硬线发送同步曝光指令给各第二芯片，各芯片将同步曝光指令发送给各芯片分别连接的相机，从而降低了各相机同步曝光的误差，可用性高。

在一些可选实施例中，各芯片102上设置有解串器，与各芯片102分别连接的相机101设置有与解串器匹配的串化器，串化器与解串器之间通过同轴线进行连接。其中，串化器可以用于将相机采集到的视频流通过同轴线发送到所述解串器，解串器用于通过同轴线将所述同步曝光信号传输至所述串化器。

在本公开实施例中，可以在相机101的串化器上设置第一接口，第一接口可以采用但不限于通用输入输出(General-Purpose Input/Output，GPIO)接口。芯片102的解串器上可以设置与第一接口对应的一个第二接口，第二接口也可以采用但不限于GPIO接口。第一接口与所述第二接口之间通过同轴线进行连接，使得指令或数据的传输速度更快。上述实施例中，可以在芯片上设置解串器，从而可以将同步曝光信号传输至相机上设置的串化器，串化器可以用于将相机采集的视频流发送到芯片的解串器，串化器和解串器之间通过同轴线连接，提高了数据和同步曝光指令的传输速度，同样可以降低各相机同步曝光的误差。

在一些可选实施例中，例如图3所示，该设备还可以包括：

控制器103，用于生成同步曝光指令；

与所述控制器103和各芯片102连接的交换机104，用于向至少两个所述芯片102中的第一芯片102-1发送所述控制器103生成的所述同步曝光指令。

可选地，交换机104与各芯片102之间可以通过网线进行连接，交换机104与控制器103之间可以通过网线进行连接，降低视频采集设备的成本。在一些可选实施例中，控制器103还可以用于生成关联控制指令。其中，关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作，相应地，交换机104还可以用于通过网线将关联控制指令广播给各芯片102。

各芯片102通过网线接收交换机104广播的关联控制指令，并控制与各芯片102连接的相机101执行关联控制指令对应的操作。

在本公开实施例中，关联控制指令包括但不限于以下至少一项：

视频数据同步上传指令、补光灯开关控制指令、组合相机的工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。上述实施例中，可以通过控制器生成控制指令，控制指令包括上述的同步曝光指令和/或关联控制指令，关联控制指令可以通过交换机广播给各芯片，从而控制与各所述芯片连接的相机执行所述关联控制指令对应的操作，实现了控制多个相机同步执行关联控制指令对应的操作，可用性高。

在一些可选实施例中，上述的视频采集设备可以为车载视频采集设备。即通过部署在车辆各个位置的相机采集车内和/车外的视频流，通过至少两个芯片，可以控制各芯片连接的各相机进行同步曝光，减少各相机的同步曝光误差，减少各相机曝光干扰。在一些可选实施例中，本公开中涉及到的相机的传感器需要支持视频数据同步上传的功能，帧率需要支持外部触发，即允许芯片通过下发指令触发相机进行视频流采集，另外，还需要允许芯片对补光灯、相机工作模式等进行控制。

在一个示例中，提供了一种由RGB相机和IR相机组合得到的相机的参数，例如表1所示。

表1

在一个示例中，至少两个芯片中的任意一个芯片对应的参数，可以例如表2所示。

表2

类型	SBC芯片的参数
		处理器	S32V234
电源	6W，DC12V
		摄像头连接器	2*MIPICSI2 1VIU
连通性	千兆以太网(GigabitEthernet)
		解串器	9286
串化器	96705
		内存	2GBDDR，SDcard，16GBEMMC

在一个示例中，RGB相机的串化器MAX96705的接口与对应的参数例如表3所示：

表3

IR相机的串化器MAX96705的接口与对应的参数中，用于实现图像数字传输并行接口功能的管脚名称可以是DVP DIN11～DIN0，另外，电源参数可以是12V/100mA，其他参数可以与表3中的参数一致，在此不再赘述。

在一个示例中，SBC内部解串器MAX9286与处理器S32V的接口之间的对应关系可以例如表4所示：

表4

其中，管脚PIN4位于解串器上，管脚PC10位于SBC芯片的处理器S32v上，用于触发管脚PIN4。

上述实施例中，仅是对至少两个芯片、至少两个相机以及涉及到的接口参数进行举例说明，实际应用中，如果采用本公开提供的视频采集设备，其采用的硬件设备仅是参数上的替换，都应属于本公开的保护范围。

本公开还提供了一种车辆，该车辆包括上述视频采集设备。

可选地，相机可以安装于以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响，例如图4所示。

至少两个相机包括普通彩色模式RGB相机、红外IR相机、深度TOF相机中的至少两个，或者所述至少两个相机包括由RGB、IR和TOF中的至少两个组成的组合相机。

在一些可选实施例中，车辆上的相机用于接收连接的芯片发送的工作模式控制指令，并将工作模式切换到所述工作模式控制指令所指示的工作模式，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

上述实施例中，可以在车辆上，触发各相机进行同步曝光，或进行工作模式切换，便于驾驶人员根据需要对相机进行工作模式设置。

本公开还提供了一种车舱检测方法，车舱包括上述任一实施例提供的视频采集设备，例如图5所示，该方法可以包括以下步骤：

在步骤201中，获取由至少两个所述相机采集的至少两路视频数据。

在本公开实施例中，至少两个相机可以安装在以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响。

在步骤202中，根据至少两路所述视频数据，对所述车舱内的人员的状态进行状态检测。

在本公开实施例中，通过对车舱内人员的状态进行状态检测，可以实现车载监控功能，车载监控功能包括但不限于DMS功能和/或乘客监控系统(Occupant MonitorSystem，OMS)功能。

上述实施例中，可以通过车舱内的至少两个相机采集至少两路视频数据，从而对车舱内人员状态进行状态检测，实现车载监控功能的同时，提高车载监控的准确性、时效性，可用性高。

在一些可选实施例中，车舱内的人员可以包括驾驶员，基于至少两路视频数据，可以估计驾驶员的头部姿态和/或视线注视区域。

在本公开实施例中，例如图6所示，基于至少两路视频数据，估计驾驶员的头部姿态和/或视线注视区域的过程可以包括：

在步骤301中，基于至少两路所述视频数据确定所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系。

在步骤302中，根据所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系，确定所述驾驶员的头部姿态和/或视线注视区域。

在本公开实施例中，在驾驶员进入车舱后，可以根据至少两个相机采集到的视频流，基于上述对应关系，确定驾驶员的头部姿态(headpose)和/或视线(Gaze)注视区域，进而可以进行DMS功能分析。可以看出，多个相机采集的视频流同步误差越小，最终得到的DMS功能的分析结果越准确。

在一些可选实施例中，至少两个所述相机分别与所述驾驶员头部、眼睛的偏转角度之间的对应关系可以通过预先训练的神经网络确定。

在本公开实施例中，驾驶员坐在主驾位置上，偏转头部和眼睛中的至少一个部位的状态下，注视车舱内至少两个相机中的任意一个相机，该相机拍摄到的图像可以作为样本图像。样本图像上标注的驾驶员头部偏转角度(HeadPose)和眼睛偏转角度(Gaze)中的至少一项作为监督，其他相机采集的视频流作为训练数据，对预设神经网络进行训练，从而可以建立任意一个相机与驾驶员头部和/或眼睛的偏转角度之间的对应关系。

上述实施例中，可以预先确定车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系，后续可以基于该对应关系，快速确定驾驶员的头部姿态和/或视线注视区域，提高了车载监控系统的准确性。

本公开实施例还提供了一种同步曝光方法，例如图7所示，图7是根据一示例性实施例示出的一种同步曝光方法，该方法可以用于至少两个芯片中的第一芯片，包括以下步骤：

在步骤401中，接收由控制器生成并通过交换机发送的同步曝光指令。

在本公开实施例中，可以由控制器生成同步曝光指令，然后通过交换机发送给第一芯片，第一芯片接收该同步曝光指令。

在步骤402中，将所述同步曝光指令通过硬线发送给至少一个第二芯片，和通过同轴线发送给与自身连接的相机，以使与各所述第二芯片连接的相机和与自身连接的相机根据所述同步曝光指令进行同步曝光。

在本公开实施例中，第一芯片可以将该同步曝光指令通过硬线发送给至少两个芯片中的至少一个第二芯片，使得同步曝光指令的传输速度更快。至少一个第二芯片接收后，可以通过同轴线将同步曝光指令发送给与各第二芯片连接的相机。另外，第一芯片还可以通过同轴线将同步曝光指令发送给与第一芯片连接的相机。从而可以让各所述第二芯片连接的相机和与自身连接的相机根据所述同步曝光指令进行同步曝光。

上述实施例中，实现了让至少两个相机在视频流采集过程中间同步曝光的目的，减少了同步曝光的误差。

在一些可选实施例中，例如图8所示，上述方法还可以包括：

在步骤403中，接收由所述控制器生成并通过所述交换机广播的关联控制指令。

在本公开实施例中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作，可以包括以下至少一项：视频数据同步上传指令、补光灯开关控制指令、相机工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

在步骤404中，根据所述关联控制指令，控制连接的相机执行对应的操作。

在本公开实施例中，在关联控制指令包括视频数据同步上传指令的情况下，第一芯片可以控制与自身连接的相机进行视频数据上传。

在关联控制指令包括补光灯开关控制指令的情况下，第一芯片可以控制与自身连接的相机打开或关闭补光灯。在一个可能地实现方式中，可以触发至少两个相机中的一个打开补光灯，以及控制其他相机关闭补光灯。其中，打开补光灯的相机包括但不限于IR相机。在本公开实施例中，如果多个IR相机同时打开补光灯，会造成曝光干扰，因此，可以只打开一个IR相机的补光灯，关闭其他IR相机的补光灯，从而避免多个相机曝光干扰。

在关联控制指令包括相机工作模式控制指令的情况下，第一芯片可以控制与自身连接的相机切换工作模式。在一个可能地实现方式中，第一芯片与一个RGB相机和一个IR相机连接，目标相机模式为IR模式，那么该芯片可以关闭RGB相机，初始化IR相机，让IR相机处于工作模式。

上述实施例中，可以在接收到关联控制指令的情况下，控制连接的相机执行对应的操作。实现了对相机可以通过外部触发进行控制的目的，可用性高。

本公开实施例还提供了一种同步曝光方法，例如图9所示，图9是根据一示例性实施例示出的一种同步曝光方法，该方法可以用于至少两个芯片中的第二芯片，包括以下步骤：

在步骤501中，接收由第一芯片通过硬线发送的同步曝光指令。

在步骤502中，将所述同步曝光指令通过同轴线发送给目标相机，以控制所述目标相机和与所述第一芯片通过同轴线连接的相机同步曝光。

上述实施例中，可以让第一芯片连接的相机和与各第二芯片连接的相机根据所述同步曝光指令进行同步曝光，降低了同步曝光的误差。

在一些可选实施例中，第二芯片还可以接收由控制器生成并通过交换机广播的关联控制指令，其中所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作。第二芯片可以根据该关联控制指令，控制与自身连接的相机执行对应的操作。

上述实施例中，实现了对相机可以通过外部触发进行控制的目的，可用性高。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的车舱检测方法或同步曝光方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的车舱检测方法或同步曝光方法的指令。

在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的车舱检测方法或同步曝光方法的操作。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

在本公开实施例中还提供了一种相机模组，例如图10所示，包括：

摄像头601，用于进行视频流采集；

与摄像头601连接的相机传感器602，用于通过同轴线接收芯片发送的同步曝光指令，并根据所述同步曝光指令进行曝光。

上述实施例中，相机模组可以基于外部同步曝光指令，进行曝光，实现了相机模组根据外部触发指令执行相应操作的目的，可用性高。

在一些可选实施例中，例如图11所示，该相机模组还包括：

与所述摄像头和所述相机传感器连接的串化器603，用于将所述视频流包括的视频数据通过所述同轴线发送给所述芯片。

在上述实施例中，相机传感器602还用于通过所述同轴线接收所述芯片发送的关联控制指令，并基于所述关联控制指令控制执行对应的操作，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作。

在本公开实施例中还提供了一种车辆的控制器，例如图12所示，包括：

人机交互模块701，用于获取触发所述车辆的车载监控系统功能的触发指令；

指令生成模块702，用于基于所述触发指令，生成同步曝光指令；

指令发送模块703，用于将所述同步曝光指令发送给交换机，以使所述交换机发送所述同步曝光指令给至少两个芯片中的第一芯片，所述第一芯片通过硬线将所述同步曝光指令发送给至少两个所述芯片中的至少一个第二芯片。

上述实施例中，车内人员可以通过触发车载监控系统功能，车辆控制器获取到该触发指令后，生成同步曝光指令，将该同步曝光指令发送给交换机，交互机再发送给第一芯片，所述第一芯片通过硬线将所述同步曝光指令发送给至少两个所述芯片中的至少一个第二芯片。从而可以控制至少两个相机在进行视频流采集时同步曝光，提高车载监控功能的准确性、时效性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (24)

1.一种视频采集设备，其特征在于，包括：

用于采集视频流的至少两个相机；

与所述至少两个相机连接的至少两个芯片，其中，至少两个所述芯片分别连接不同的相机，各所述芯片之间通过硬线连接及传输同步曝光信号，各所述芯片用于向各自连接的相机发送同步曝光指令，以使各所述相机根据所述同步曝光指令进行同步曝光。

2.根据权利要求1所述的设备，其特征在于，至少两个所述芯片包括第一芯片和至少一个第二芯片；

所述第一芯片用于接收所述同步曝光指令，并通过硬线发送所述同步曝光指令给各所述第二芯片以及与所述第一芯片连接的相机；

各所述第二芯片用于通过硬线接收所述第一芯片发送的所述同步曝光指令，并发送所述同步曝光指令给与各所述第二芯片连接的相机。

3.根据权利要求1或2所述的设备，其特征在于，所述芯片上设置有解串器，所述相机设置有与所述解串器匹配的串化器；所述串化器与所述解串器之间通过同轴线进行连接；

所述串化器用于将相机采集到的视频流通过同轴线发送到所述解串器；和/或

所述解串器用于通过同轴线将所述同步曝光信号传输至所述串化器。

4.根据权利要求1-3所述的设备，其特征在于，还包括：

控制器，用于生成同步曝光指令；

与所述控制器和各所述芯片连接的交换机，用于向至少两个所述芯片中的第一芯片发送所述控制器生成的所述同步曝光指令。

5.根据权利要求4所述的设备，其特征在于，所述交换机与各所述芯片之间通过网线进行连接，所述交换机与控制器之间通过网线进行连接。

6.根据权利要求5所述的设备，其特征在于，所述控制器还用于生成关联控制指令，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作；所述交换机还用于通过网线将所述关联控制指令广播给各所述芯片；

各所述芯片还用于通过网线接收所述交换机广播的所述关联控制指令，并控制与各所述芯片连接的相机执行所述关联控制指令对应的操作。

7.根据权利要求6所述的设备，其特征在于，所述关联控制指令包括以下至少一项：视频数据同步上传指令、补光灯开关控制指令、组合相机的工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

8.根据权利要求1-7所述的设备，其特征在于，所述设备为车载视频采集设备。

9.一种车辆，其特征在于，包括如权利要求1-8任一所述的视频采集设备。

10.根据权利要求9所述的车辆，其特征在于，

所述相机安装于以下至少一个位置：车内后视镜、车外后视镜、中控屏、转向柱、方向盘、档把、车载空调、车载音响；和/或

所述至少两个相机包括普通彩色模式RGB相机、红外IR相机、深度TOF相机中的至少两个，或者所述至少两个相机包括由RGB、IR和TOF中的至少两个组成的组合相机。

11.根据权利要求9或10所述的车辆，其特征在于，所述相机包括由RGB、IR和TOF中的至少两个组成的组合相机，以及

所述相机用于接收连接的芯片发送的工作模式控制指令，并将工作模式切换到所述工作模式控制指令所指示的工作模式，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

12.一种车舱检测方法，其特征在于，所述车舱包括如权利要求1-8任一所述的视频采集设备；所述方法包括：

获取由至少两个所述相机采集的至少两路视频数据；

根据至少两路所述视频数据，对所述车舱内的人员的状态进行状态检测。

13.根据权利要求12所述的方法，其特征在于，所述人员包括驾驶员；

所述根据至少两路所述视频数据，对所述车舱内的人员的状态进行状态检测，包括：

基于所述至少两路视频数据，估计所述驾驶员的头部姿态和/或视线注视区域。

14.根据权利要求13所述的方法，其特征在于，所述基于所述至少两路视频数据，估计所述驾驶员的头部姿态和/或视线注视区域，包括：

基于至少两路所述视频数据确定所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系；

根据所述车舱内的至少两个所述相机与所述驾驶员头部和/或眼睛的偏转角度之间的对应关系，确定所述驾驶员的头部姿态和/或视线注视区域。

15.根据权利要求13所述的方法，其特征在于，所述至少两个所述相机分别与所述驾驶员头部、眼睛的偏转角度之间的对应关系通过预先训练的神经网络确定；

所述方法还包括：

获取所述驾驶员偏转头部和眼睛中的至少一个部位的状态下，所述车舱内的至少两个相机中的任意至少一个相机拍摄的样本图像；

以所述样本图像上标注的所述驾驶员的头部偏转角度和眼睛偏转角度中的至少一项为监督，对预设神经网络进行训练。

16.一种同步曝光方法，其特征在于，包括：

接收由控制器生成并通过交换机发送的同步曝光指令；

将所述同步曝光指令通过硬线发送给至少一个第二芯片，和通过同轴线发送给与自身连接的相机，以使与各所述第二芯片连接的相机和与自身连接的相机根据所述同步曝光指令进行同步曝光。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

接收由所述控制器生成并通过所述交换机广播的关联控制指令，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作；

根据所述关联控制指令，控制连接的相机执行对应的操作。

18.根据权利要求17所述的方法，其特征在于，所述关联控制指令包括以下至少一项：视频数据同步上传指令、补光灯开关控制指令、相机工作模式控制指令，其中，所述工作模式控制指令用于指示所述组合相机中的各相机的开启或关闭。

19.一种同步曝光方法，其特征在于，包括：

接收由第一芯片通过硬线发送的同步曝光指令；

将所述同步曝光指令通过同轴线发送给目标相机，以控制所述目标相机和与所述第一芯片通过同轴线连接的相机同步曝光。

20.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求12-19任一所述的方法。

21.一种相机模组，其特征在于，包括：

摄像头，用于进行视频流采集；

与所述摄像头连接的相机传感器，用于通过同轴线接收芯片发送的同步曝光指令，并根据所述同步曝光指令进行曝光。

22.根据权利要求21所述的相机模组，其特征在于，还包括：

与所述摄像头和所述相机传感器连接的串化器，用于将所述视频流包括的视频数据通过所述同轴线发送给所述芯片。

23.根据权利要求21或22所述的相机模组，其特征在于，所述相机传感器还用于通过所述同轴线接收所述芯片发送的关联控制指令，并基于所述关联控制指令控制执行对应的操作，其中，所述关联控制指令用于指示所述相机执行除了同步曝光操作之外的预定控制操作。

24.一种车辆的控制器，其特征在于，包括：

人机交互模块，用于获取触发所述车辆的车载监控系统功能的触发指令；

指令生成模块，用于基于所述触发指令，生成同步曝光指令；

指令发送模块，用于将所述同步曝光指令发送给交换机，以使所述交换机发送所述同步曝光指令给至少两个芯片中的第一芯片，所述第一芯片通过硬线将所述同步曝光指令发送给至少两个所述芯片中的至少一个第二芯片。

Images