CN112165577A - 多光源摄像头设备的光源控制方法及装置、介质、终端 - Google Patents

Abstract

一种多光源摄像头设备的光源控制方法及装置、介质及终端，所述多光源摄像头设备的光源控制方法包括：获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；根据所述预览缓存数据，切换光源。上述方案，能够提高多光源摄像头设备的光源切换的准确度和灵活性。

Description

多光源摄像头设备的光源控制方法及装置、介质、终端

技术领域

本发明实施例涉及摄像头领域，尤其涉及一种多光源摄像头设备的光源控制方法及装置、介质及终端。

背景技术

随着结构光应用领域的不断扩展,不仅可以用于人脸识别，还可以用于安全验证、金融支付等场景。在这些不同的应用场景中，结构光算法扮演着举足轻重的作用，结构光算法是决定结构光系统是否安全、精度是否准确，是否能够支持不同应用场景的关键因素之一。三维(3D)结构光系统主要由结构光投影设备和摄像机等组成，其中，结构光投影设备可以采用点阵投影器(projector)，摄像机可以包括红外相机(IR camera)以及可见光相机(如RGB相机)。点阵投影器通过投射数万个肉眼不可见的光信号到物体表面，再由红外相机采集，得到点阵图像。点阵图像是结构光算法的重要输入来源，点阵图像的精准采集是图像深度信息计算的核心之一。根据红外相机采集的点阵图像计算物体的位置和深度等信息，辅助可见光相机可以复原整个三维空间。

面对日益增长的应用场景需求，结构光算法对图像质量和图像采集多样性也提出了不同的要求。为了提高在夜景等一些特定场景下的图像采集质量，3D结构光系统中的光源除了结构光投影设备的projector光源，还可以包括光照明元件(flood)，光照明元件可以作为补光灯，在环境较暗的情况下为IR相机采集泛红外图像时进行补光。光照明元件可以采用泛红外光源，也即3D结构光系统可包括flood光源以及projector光源。

目前，对于多光源摄像头设备，在图像采集过程中，通过手动的方式控制不同光源之间的切换。具体而言，当需要补光灯光源条件下的图像时，需要手动打开flood光源，同时手动关闭projector光源；当需要projector光源条件下的图像时，需要手动打开projector光源，同时手动关闭flood光源；当需要flood光源和projector光源同时工作时的图像时，需要手动同时打开projector光源和flood光源。然而，上述手动切换光源方式，切换准确度以及灵活性较低。

发明内容

本发明实施例解决的技术问题是多光源摄像头设备的光源切换的准确度和灵活性较低。

为解决上述技术问题，本发明实施例提供一种多光源摄像头设备的光源控制方法包括：获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；根据所述预览缓存数据，切换光源。

可选的，所述根据所述预览缓存数据，切换光源，包括：当接收到帧开始中断信息后，根据下一帧的帧开始的时间点以及所述预览缓存数据，切换光源。

可选的，所述预览缓存数据包括传感器漂移值，所述根据下一帧的帧开始的时间点以及所述预览缓存数据，切换光源，包括：在距离下一帧的帧开始为所述传感器漂移值的时间点，切换光源。

可选的，所述在距离下一帧的帧开始为所述传感器漂移值的时间点，切换光源，包括：当所述传感器漂移值为正数时，在距离下一帧的帧开始之后为所述传感器漂移值的时间点，切换光源；或者，当所述传感器漂移值为负数时，在距离下一帧的帧开始之前为所述传感器漂移值的绝对值的时间点，切换光源。

可选的，所述切换光源包括：控制所有光源开启；或者，控制第一光源开启，并控制第二光源关闭。

可选的，所述光源包括：点阵光源和泛红外光源。

可选的，所述根据所述预览缓存数据，切换光源，包括：

可选的，将所述预览缓存数据下发至底层设备驱动，以使得所述底层设备驱动从所述预览缓存数据中解析得到所述光源控制信息，并根据所述光源控制信息切换光源。

可选的，所述预览缓存数据包括亮度信息，所述切换光源包括：控制所有光源分别按照各自的所述亮度信息对应的亮度开启；或者，控制第一光源按照所述亮度信息对应的亮度开启，并控制第二光源关闭。

本发明实施例提供一种多光源摄像头设备的光源控制装置，包括：获取单元，用于获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；切换单元，用于根据所述预览缓存数据，切换光源。

本发明实施例提供一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一多光源摄像头设备的光源控制方法的步骤。

本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一多光源摄像头设备的光源控制方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

获取的预览请求包括预览缓存数据，其中预览缓存数据中可以包括光源控制信息，通过在预览请求的预览缓存数据中携带光源控制信息，可以精确地针对每帧图像进行光源控制，不会存在丢帧的情况，从而可以实现根据预览缓存数据自动控制光源切换的同时，可以提高光源切换的准确性。此外，可以根据实际光源切换需求来配置预览缓存数据中的光源控制信息，从而提高光源切换的灵活性是可以预期的。

进一步，预览缓存数据包括传感器漂移值，在接收到帧开始中断信息后，在距离下一帧的帧开始为传感器漂移值的时间点，切换光源，由于在确定切换光源的时间点时，考虑传感器漂移的情况，可以使得光源切换时机与实际图像帧采集时间相对应，可以进一步提高光源切换的精度。

附图说明

图1是本发明实施例中的一种多光源摄像头设备的光源控制方法的流程图；

图2是本发明实施例中的一种3D摄像头的结构示意图；

图3是本发明实施例中的一种多光源摄像头设备的光源控制装置的结构示意图。

具体实施方式

如上所述，现有技术中，对于多光源摄像头设备，在图像采集过程中，通过手动的方式控制不同光源之间的切换，然而，上述手动切换光源方式，切换准确度及灵活性较低。

为解决上述问题，在本发明实施例中，获取的预览请求包括预览缓存数据，其中预览缓存数据中可以包括光源控制信息，通过在预览请求的预览缓存数据中携带光源控制信息，可以精确地针对每帧图像进行光源控制，不会存在丢帧的情况，进而可以实现根据预览缓存数据自动控制光源的切换的同时，可以提高光源切换的准确性。此外，可以根据实际光源切换需求来通过配置预览缓存数据中的光源控制信息调整光源切换方式，从而提高光源切换的灵活性是可以预期的。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中的一种多光源摄像头设备的光源控制方法的流程图，具体可以包括如下步骤：

步骤S11，获取预览请求，预览请求包括预览缓存数据。

在具体实施中，预览请求中可以包括预览缓存数据，预览缓存数据可以包括光源控制信息。

在本发明实施例中，多光源摄像头设备中可以包括多个相机，例如，包括IR相机以及RGB相机等。每个相机均具有对应的预览缓存数据，预览缓存数据用于指示相机的工作状态。

在本发明实施例中，可以将光源控制信息携带于任一个相机的预览缓存数据中。如将光源控制信息携带于其中一个IR相机对应的预览缓存数据。

在具体实施中，多光源摄像头设备中可以为具有多个光源的设备。例如，多光源摄像头设备为具有3D结构光系统的设备，其中，3D结构光系统中包括点阵光源(projector光源)及泛红外光源(flood光源)。光源控制信息可以用于指示多个光源的开启或者关闭。例如，光源控制信息指示所有光源开启。又如，光源控制信息指示部分光源开启，指示部分光源关闭。

在本发明实施例中，光源控制信息可以为配置的设定字段，根据设定字段的取值不同，来表征不同光源切换模式下的光源的控制情况。

例如，以两个光源为例，采用字段light标识光源的切换情况，light取1，表示打开第一光源，同时关闭第二光源。又如，light取2，表示打开第二光源，同时关闭第一光源。再如，light取3，同时打开第一光源和第二光源。可以理解的是，光源的数目为3个或其他取值时，根据实际场景的需求进行配置即可，此处不再赘述。

在具体实施中，光源控制信息可以配置，其中，配置可以为静态配置，也可以为实时动态配置。光源控制信息中可以包括每帧图像对应的光源切换情况。多光源摄像头设备可以包括一种光源切换模式，也可以具有多种光源切换模式。

在具体实施中，可以隔帧控制光源切换，例如，在奇数帧开启第一光源同时关闭第二光源，在偶数帧关闭第一光源并开启第二光源。也可以动态的间隔多帧控制光源切换，其间隔帧的数目可以根据需求实时进行配置。

当多光源摄像头设备具有一种光源切换模式时，在多光源摄像头设备(如3D摄像头)上电启动后，当检测到用户触发预览操作时，则将光源控制信息携带于预览请求中。

当多光源摄像头设备具有多种光源切换模式时，每种光源切换模式可以分别具有对应的光源控制信息，可以根据用户触发预览请求时所选择的光源切换模式，将所选择的光源切换模式对应的光源控制信息携带于预览请求中。其中，光源切换模式对应的光源控制信息可以根据实际设定场景的需求配置，例如，根据实际设定场景的需求实时配置光源切换模式对应的光源控制信息。又如，根据实际设定场景的需求预配置光源切换模式对应的光源控制信息。

步骤S12，根据预览缓存数据控制光源切换。

在本发明实施例中，可以由多光源摄像头设备的上层将预览缓存数据配置至底层设备驱动，其中，底层设备驱动可以从预览缓存数据中解析得到光源控制信息，并根据光源控制信息控制光源切换。底层设备驱动用于驱动光源、传感器等硬件设备的工作情况。

可以在接收到帧开始(Start Of Frame，SOF)中断信息后，根据下一帧的帧开始的时间点以及预览缓存数据，切换光源。

具体而言，底层驱动设备可以检测图像传感器的工作，并接收图像传感器的SOF中断信息，SOF中断信息用于提示接收到图像传感器上报的数据。图像传感器上报一次图像数据之后，则发送一个SOF中断信息。底层设备驱动实时监测图像传感器的SOF中断信息，同时上层应用(也可以称为上层软件)通过ioctl的方式把预览缓存数据设置到底层驱动，其中，ioctl(input/output control)是一个专用于设备输入输出操作的系统调用，该调用传入一个跟设备有关的请求。

具体而言，底层驱动设备接收到预览缓存数据之后，可以将预览缓存数据保存到缓存队列中，然后依次从缓存队列中获取预览缓存数据，并对预览缓存数据进行解析，根据解析到光源控制信息，在下一帧图像传感器SOF中断信息过来之后控制光源切换。

例如，光源控制信息中指示light＝1，则打开第一光源，同时关闭第二光源。又如，光源控制信息中指示light＝2，则打开第二光源，同时关闭第一光源。再如，光源控制信息中指示light＝3，则同时打开第一光源及第二光源。

进一步地，光源控制信息还可以包括亮度信息，亮度信息用于指示光源的亮度。在切换光源时，当控制所有的光源开启时，每个光源均配置有对应的亮度信息，从而可以控制所有光源分别按照各自的亮度信息对应的亮度开启。也可以控制第一光源按照亮度信息对应的亮度开启，并控制第二光源关闭，其中第一光源可以包括一个光源，也可以包括多个光源，第二光源可以包括一个光源，也可以包括多个光源。

在具体实施中，亮度信息指示的亮度可以根据实际场景需求实时的静态配置。例如，在界面上设置有不同的亮度选项，可以根据需求选择对应亮度选项来调整光源的亮度；又如，在界面上设置有亮度条，可以根据需求拖动亮度条至对应的位置来调整光源的亮度。

在具体实施中，亮度信息指示的亮度也可以根据实时监测到的多光源摄像头设备所处的外界环境的亮度，根据环境亮度自动的进行实时的动态配置。

由上可知，获取的预览请求包括预览缓存数据，其中预览缓存数据中可以包括光源控制信息，通过在预览请求的预览缓存数据中携带光源控制信息，可以精确地针对每帧图像进行光源控制，不会存在丢帧的情况，从而可以实现根据预览缓存数据自动控制光源切换的同时，可以提高光源切换的准确性。此外，可以根据实际光源切换需求来配置预览缓存数据中的光源控制信息，实现主动地按需控制不同光源切换的比例，因此可以达到动态自动控制不同光源的目的，从而提高光源切换的灵活性是可以预期的。

此外，本发明实施例提供的多光源摄像头设备的光源控制方法可以从软件角度实现，从而可以精准地自动控制点阵光源和泛红外光源之间的切换，既满足了结构光算法对不同图像效果的要求，又增加了3D结构光系统开发的多样性。与此同时，还可以实现泛光源下的泛红外图像和点阵光源下的点阵图像的精准切换，因此结构光算法可以获得误差最小的图像数据，进一步提升了结构光系统的安全性和可靠性。

在实际应用中，不同光学器件的光学特性存在不同，譬如，泛光源光学器件和点阵光源光学器件的响应曲线存在差异(如，电流的爬坡时间存在差异)，这一差异值即可以定义为传感器漂移值。

为了提高光源切换的准确度，在本发明实施例中，预览缓存数据包括可以包括传感器漂移值，可以结合传感器漂移值确定光源切换时机，根据传感器漂移值控制在下一帧图像传感器(sensor)的SOF中断处，需要间隔多长时间开启相应的光源。

具体而言，可以在距离下一帧的帧开始为传感器漂移值的时间点，切换光源。其中，传感器漂移值可以根据元器件的特性，通过标定的方式得到。

在具体实施中，传感器漂移值可以为正数，也可以为负数，通常传感器漂移值的绝对值不超过一帧时间。

当传感器漂移值为正数时，在距离下一帧的帧开始之后为传感器漂移值的时间点，切换光源。

当传感器漂移值为负数时，在距离下一帧的帧开始之前为所述传感器漂移值的绝对值的时间点，切换光源。

在确定光源切换时机时，考虑传感器漂移值，以及将传感器漂移值作为微调参数，从而可以使得光源切换时机与实际图像采集时间相对应，进一步提高光源切换控制的精度，使得上层得到的图像都是准确的，从而可以从根本上达到自动精准控制光源切换的目的。

为了便于本领域技术人员更好的理解和实现本发明实施例，以下以多光源摄像头设备包括3D摄像头为例，对上述光源切换方法进行说明。

参照图2给出的本发明实施例中的一种3D摄像头的结构示意图，3D摄像头可以包括支架21、两个IR相机23、一个RGB相机22、点阵投射器(projector)24、泛红外光源(flood)25，点阵投射器作为projector光源，也即3D摄像头中存在两个光源，projector光源以及flood光源，其中，点阵投射器24、泛红外光源25、IR相机23组成了3D摄像头的核心部件，泛红外光源25可以作为补光灯，在环境较暗时为IR相机23采集泛红外图像时进行补光；RGB相机22用于方便用户预览场景的图像，在一些实施例中，也可以没有RGB相机22。

当需要采集图像时，给3D摄像头中的所有元器件上电，启动3D摄像头，打开3D摄像头中的图像传感器(sensor)，所有相机都可以正常输出图像。由于上层软件没有发出预览请求，作为底层硬件的相机没有收到预览缓存数据(buffer)，此时处于等待预览请求的过程，没有图像往上层软件送。上层软件根据用户的预览操作下发的预览请求中包括各个相机分别对应的预览buffer，在其中一个IR相机的预览buffer中增加一些标识字段作为光源控制信息，用于控制flood光源与projector光源的自动切换；也可以增加一些标识字段作为传感器漂移值，用于控制光源切换的时机；还可以增加一些字段作为亮度信息，用于标识光源的亮度。

具体而言，在预览buffer中增加字段light、字段sof_offset以及字段brightness。

其中，字段light作为光源控制信息，当light为1时，表示上层需要打开flood光源，同时关闭projector光源；当light为2的时候表示上层需要打开projector光源，同时关闭flood光源。

字段sof_offset作为传感器漂移值，字段brightness作为亮度信息。

预览buffer中的字段可以随着IR camera的预览buffer流转一直设置到底层设备驱动处。底层设备驱动启动后，可以接收图像传感器的SOF中断信息。上层软件可以通过ioctl的方式把IR相机的预览buffer设置到底层设备驱动，底层设备驱动在接收到预览buffer后就把该预览buffer保存到缓存队列中。底层设备驱动通过解析上层软件设置下来的缓存buffer中的字段，决定在下一帧sensor的SOF中断处何时打开光源以及打开哪个光源。当底层设备驱动解析到上层传递下来的buffer中light＝1，sof_offset＝a，brightness＝b时，就在距离sensor的下一帧SOF中断处，且时间间隔为a的地方打开flood光源，并设置flood光源的亮度为b，同时关闭projector光源；当底层设备驱动解析到上层传递下来的buffer中light＝2，sof_offset＝a，brightness＝b时，就在距离下一帧的sensor的SOF中断处，且在时间间隔为a的地方打开projector光源，并设置projector光源的亮度为b，同时关闭flood光源。当间隔控制时，light＝1和light＝2的比例为1:1。当间隔多帧控制时，light＝1和light＝2的比例为m:n，其中m不等于n。

底层设备驱动在处理当前帧结束后，就把当前帧的数据返回给上层软件空间，最终再送到结构光算法中进一步处理。

本发明实施例还提供一种多光源摄像头设备的光源控制装置，参照图3，给出了本发明实施例中的一种多光源摄像头设备的光源控制装置的结构示意图，多光源摄像头设备的光源控制装置30可以包括：

获取单元31，用于获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；

切换单元32，用于根据所述预览缓存数据控制光源切换。

在具体实施中，多光源摄像头设备的光源控制装置30的具体工作原理及工作流程可以参考本发明上述任一实施例提供的多光源摄像头设备的光源控制方法中的描述，此处不再赘述。

本发明实施例还提供一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行本发明上述任一实施例提供的多光源摄像头设备的光源控制方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本发明上述任一实施例提供的多光源摄像头设备的光源控制方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种多光源摄像头设备的光源控制方法，其特征在于，包括：

获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；

根据所述预览缓存数据，切换光源。

2.如权利要求1所述的多光源摄像头设备的光源控制方法，其特征在于，所述根据所述预览缓存数据，切换光源，包括：

当接收到帧开始中断信息后，根据下一帧的帧开始的时间点以及所述预览缓存数据，切换光源。

3.如权利要求2所述的多光源摄像头设备的光源控制方法，其特征在于，所述预览缓存数据包括传感器漂移值，所述根据下一帧的帧开始的时间点以及所述预览缓存数据，切换光源，包括：

在距离下一帧的帧开始为所述传感器漂移值的时间点，切换光源。

4.如权利要求3所述的多光源摄像头设备的光源控制方法，其特征在于，所述在距离下一帧的帧开始为所述传感器漂移值的时间点，切换光源，包括：

当所述传感器漂移值为正数时，在距离下一帧的帧开始之后为所述传感器漂移值的时间点，切换光源；或者，

当所述传感器漂移值为负数时，在距离下一帧的帧开始之前为所述传感器漂移值的绝对值的时间点，切换光源。

5.如权利要求1所述的多光源摄像头设备的光源控制方法，其特征在于，所述切换光源包括：

控制所有光源开启；或者，

控制第一光源开启，并控制第二光源关闭。

6.如权利要求1所述的多光源摄像头设备的光源控制方法，其特征在于，所述光源包括：点阵光源和泛红外光源。

7.如权利要求1所述的多光源摄像头设备的光源控制方法，其特征在于，所述根据所述预览缓存数据，切换光源，包括：

将所述预览缓存数据下发至底层设备驱动，以使得所述底层设备驱动从所述预览缓存数据中解析得到所述光源控制信息，并根据所述光源控制信息切换光源。

8.如权利要求1至7任一项所述的多光源摄像头设备的光源控制方法，其特征在于，所述预览缓存数据包括亮度信息，所述切换光源包括：

控制所有光源分别按照各自的所述亮度信息对应的亮度开启；或者，

控制第一光源按照所述亮度信息对应的亮度开启，并控制第二光源关闭。

9.一种多光源摄像头设备的光源控制装置，其特征在于，包括：

获取单元，用于获取预览请求，所述预览请求包括预览缓存数据，所述预览缓存数据包括所述光源控制信息；

切换单元，用于根据所述预览缓存数据，切换光源。

10.一种存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8任一项所述的多光源摄像头设备的光源控制方法的步骤。

11.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述的多光源摄像头设备的光源控制方法的步骤。

Images