CN113014782A - 图像数据处理方法及装置、摄像设备、终端及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像数据处理方法及装置、摄像设备、终端及存储介质，该图像数据处理方法包括：在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作；获取图像传感器提供的第一图像数据，所述第一图像数据为所述外部设备根据所述光源切换控制信号执行光源切换操作后，所述图像传感器获取的图像数据；对所述第一图像数据进行图像处理，并将经过图像处理的所述第一图像数据发送给上层软件。通过上述技术方案可以精准地控制不同光源之间的切换，从而能够提高多光源设备的光源切换的精度，进一步地为结构光等算法提供高质量、多样性的图像数据。

Description

图像数据处理方法及装置、摄像设备、终端及存储介质

技术领域

本申请涉及摄像头技术领域，尤其涉及一种图像数据处理方法及装置、摄像设备、终端及存储介质。

背景技术

结构光的应用领域不仅在3D人脸识别，还可以用于安全验证、金融支付等场景中。在上述这些不同的应用场景中，结构光算法扮演着举足轻重的作用，成为了决定结构光系统是否安全、精度是否准确，是否能够支持不同应用场景的关键因素之一。同时，结构光算法中图像数据的输入也是决定结构光算法的精度和准确性的关键指标。目前主流采用的3D结构光系统主要包括红外相机、泛光源、点阵光源等多个器件，这些器件通过实时协作的方式完成精细深度图等信息的计算。其中，点阵光源器件通过投射数万个肉眼不可见的红外光点到物体表面，绘制独一无二的图案；泛光源器件也称之为补光灯，它是一种用于在较黑暗等环境下实现补光；红外相机用于捕捉物体反射回来的红外图像；最后，统一将图像数据送至结构光算法，进行深度图等信息的计算。

结构光系统需要交替地使用点阵光源和泛光源图像，现有处理方式并不能精准地控制光源之间的切换，进而导致出现一帧图像上的亮度不一致等情况。

发明内容

本申请实施例提供一种图像数据处理方法及装置、摄像设备、终端及存储介质，通过该图像数据处理方法可以精准地控制不同光源之间的切换，从而能够为结构光等算法提供高质量、多样性的图像数据。

第一方面，本申请实施例提供一种图像数据处理方法，所述方法包括：在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作；获取图像传感器提供的第一图像数据，所述第一图像数据为所述外部设备根据所述光源切换控制信号执行光源切换操作后，所述图像传感器获取的图像数据；对所述第一图像数据进行图像处理，并将经过图像处理的所述第一图像数据发送给上层软件；其中，所述光源切换时机包括确定所述图像传感器发送的图像数据帧的帧起始中断的时机、确定所述图像传感器发送的图像数据帧的帧结束中断的时机，或者对所述图像传感器提供的图像数据完成图像处理后，触发向所述上层软件发送图像数据处理完成信息的时机。

进一步地，所述在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作包括：在所述光源切换时机发送脉冲波控制信号、通用输入输出控制信号或者读写寄存器控制信号给所述外部设备，使所述外部设备根据接收到的脉冲波控制信号、通用输入输出控制信号或者读写寄存器控制信号控制光源设备的工作开关的通断。

进一步地，若发送的光源切换控制信号为所述脉冲波控制信号，则，通过调整所述脉冲波控制信号的脉宽的占空比，使所述外部设备根据所述脉冲波控制信号的脉宽的占空比调节光源发光强度。

在一种实施方式，可以在发送所述脉冲波控制信号前或者发送所述脉冲波控制信号的同时调整所述脉冲波控制信号的脉宽的占空比。

进一步地，在所述发送光源切换控制信号给外部设备前，还包括：根据图像传感器的偏移量修正所述光源切换控制信号的发送时刻。

其中，偏移量是指：不同的光学特性存在差异，它们工作的响应曲线也存在差异，这一差异值定义为传感器偏移量。

进一步地，所述根据图像传感器的偏移量修正所述光源切换控制信号的发送时刻包括：将所述光源切换控制信号的发送时刻修正为距离所述光源切换时机第一时间的时间点；其中，所述第一时间为所述图像传感器的偏移量对应的时间长度。

进一步地，所述在光源切换时机发送光源切换控制信号给外部设备包括：在光源切换时机，通过3D结构光底层硬件的可配置输出接口将所述光源切换控制信号发送给点阵光源器件和泛光源器件的工作开关控制器。其中，该外部设备可以为用于控制投射器以及泛光源器件工作开关的控制器

一种实施方式中，所述3D结构光底层硬件的可配置输出接口可以为3D结构光底层硬件的引脚，该引脚与用于控制投射器以及泛光源器件工作开关的控制器连接，并且可以在光源切换时机通过引脚将光源切换控制信号发送给用于控制投射器以及泛光源器件工作开关的控制器。

第二方面，本申请实施例还提供一种图像数据处理装置，所述装置包括：

处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现第一方面提供的图像数据处理方法。

一种实施方式中，第二方面提供的所述图像数据处理装置可以为一种芯片。

再一种实施方式中，第二方面提供的所述图像数据处理装置还可以为一种芯片中的硬件电路。

第三方面，本申请实施例还提供一种摄像设备，所述摄像设备包括第二方面提供的图像数据处理装置；红外相机、投射器以及泛光源器件，其中，所述红外相机包括图像传感器，所述投射器包括点阵光源器件。

进一步地，所述摄像设备还可以包括RGB相机。

第四方面，本申请实施例还提供一种终端，所述终端包括终端本体以及第三方面提供的摄像设备。

第五方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提供的图像数据处理方法。

通过上述技术方案，在确定所述图像传感器发送的图像数据帧的帧起始中断的时机、确定所述图像传感器发送的图像数据帧的帧结束中断的时机，或者对所述图像传感器提供的图像数据完成图像处理后，触发向所述上层软件发送图像数据处理完成信息的时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作，能够自动精准地控制不同光源之间的切换。并获取图像传感器提供的光源切换后的第一图像数据，进而将经过处理的第一图像数据发送给上层软件，进而可以实现提供高质量、多样性的图像数据。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为3D结构光硬件模组示意图；

图2为本申请一个实施例提供的图像数据处理方法流程图；

图3为本申请再一个实施例提供的图像数据处理装置结构示意图；

图4为本申请再一个实施例提供的DCAM的模块示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

术语解释：

DCAM：英文全称：Digital Camera，数字相机，一种芯片中的硬件电路，用于处理图像sensor传递过来的数据，主要是online处理；

Projector：投射器，可投射肉眼不可见的红外光线到物体表面，形成特殊的图案；

Flood illuminator：泛光源，可在夜景等环境下实现补光；

Infra-red camera(IR camera)：红外相机，是一种专门接收红外光线的器件，主要用于读取点阵图案或泛光图案的红外图像；

sensor-offset：不同的光学特性存在差异，它们工作的响应曲线也存在差异，这一差异值定义为传感器偏移量。

“3D传感技术”在现实生活中已有诸多应用，其中3D结构光技术作为相对比较成熟的技术，应用更为广泛。但是，在面对日益增长的不同应用场景需求背景下，3D结构光算法对图像质量和图像多样性方面也提出了不同的要求。通常，3D结构光算法需要projector(投射器)图像(如：点阵图像、散斑图像、编码图像等，以下均以点阵图像为例)和flood(泛光源)图像作为两种重要的输入来源。图1为3D结构光硬件模组示意图，该3D结构光硬件模组主要包括以下几种器件：支架101、点阵投射器(projector)、泛光源(flood)、IR相机、RGB相机。其中点阵投射器、泛光源、IR相机是3D结构光系统的核心部件。点阵投射器可投射数万个肉眼不可见的红外光点到物体表面，用于绘制物体的3D视图。泛光源和点阵投射器类似，也是投射肉眼不可见的红外光到物体表面，它主要充当补光灯的作用，应用于黑暗环境等场景。IR相机用于捕捉物体反射回来的红外图像，计算并获取物体的深度等信息，建立物体的3D模型。点阵图像是图像深度信息计算的核心，泛光源图像作为在夜景等较黑暗环境中，采用补光的形式采集的图像，可以提高结构光算法的计算精度，扩大结构光系统的应用范围。

在一些应用场景中，结构光算法需要交替使用点阵光源和泛光源下的图像数据作为算法的输入。因此，当前需要一种方案能够精准地控制点阵光源和泛光源之间的切换，从而可以满足上述结构光算法的需求。但是，目前市面上可以见到的点阵图像和泛光源图像之间的切换大都通过手动控制光源之间切换，抑或是通过上层软件和底层设备驱动相结合控制光源之间切换的方式，普遍具有缺乏准确性和灵活性等缺点。

为克服上述现有技术中存在的缺陷，本申请实施例提供一种图像数据处理方法。

图2为本申请一个实施例提供的图像数据处理方法的流程图，如图2所示，所述图像数据处理方法包括以下步骤：

步骤200：确定光源切换时机。

其中，光源切换时机包括确定所述图像传感器发送的图像数据帧的帧起始SoF(start-of-frame)中断的时机、确定所述图像传感器发送的图像数据帧的帧结束EoF(end-of-frame)中断的时机，或者所述图像传感器提供的图像数据完成图像处理后，触发向所述上层软件发送图像数据处理完成信息(Tx done)的时机。

举例来说，若以图像传感器发送的图像数据帧的帧起始SoF(start-of-frame)中断的时机作为该官员切换时机，在获取到图像数据帧的帧起始SoF中断信息时，则可以触发光源切换。

步骤201：在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作。

具体地，在上述光源切换时机发送的光源切换控制信号我们定义为“类STROBE”信号，具体可以包括脉冲波控制信号(PWM脉冲信号)、通用输入输出控制信号(GPIO，General-purpose input/output控制信号)或者通过读写寄存器控制信号给所述外部设备，进而使外部设备根据接收到的脉冲波控制信号、通用输入输出控制信号或者读写寄存器控制信号控制光源设备的工作开关的通断。其中，该外部设备可以为用于控制投射器以及泛光源器件工作开关的控制器。根据上述光源切换操作每一图像帧都会得到控制，所以不会存在丢帧的现象，可以实现精准控制不同光源之间的切换，从而避免出现一帧图像上的亮度不一致等情况。

一种实施方式中，若发送的所述光源切换控制信号为脉冲波控制信号(PWM脉冲信号)，由于PWM脉冲本身所具备的脉宽可调特性，则通过调整所述脉冲波控制信号的脉宽的占空比，使所述外部设备根据所述脉冲波控制信号的脉宽的占空比调节光源的发光强度。其中，可以在发送所述脉冲波控制信号前或者发送所述脉冲波控制信号的同时调整所述脉冲波控制信号的脉宽的占空比。

在本实施方式中，还可以通过配置输出pwm脉冲的频率的方式实现隔帧控制，或者实现其他按帧控制的方式，从而实现自动按需控制的目的。

再一种实施方式中，为了实现精准控制不同光源之间的切换，进一步地，还需克服图像传感器的偏移量(sensor-offset)，其中，可以根据sensor-offset对应的时间长度对发送光源切换控制信号的发送时刻进行修正，具体地，可以为在距离sensor-SoF为第一时间(sensor-offset对应的时间长度)的时刻发送光源切换控制信号给外部设备，以使外部设备能够精准控制光源切换(如，将点阵光源切换至泛光源，或者将泛光源切换至点阵光源)。

再一种实施方式中，在光源切换时机，通过3D结构光底层硬件的可配置输出接口将所述光源切换控制信号发送给点阵光源器件和泛光源器件的工作开关控制器。通过底层硬件的可配置输出接口直接控制外部设备，由于在最靠近数据源的地方添加控制，可以做到基本零误差，达到精准控制的目的。

一种实施方式中，所述3D结构光底层硬件的可配置输出接口可以为3D结构光底层硬件的引脚，该引脚与用于控制投射器以及泛光源器件工作开关的控制器连接，并且可以在光源切换时机通过引脚将光源切换控制信号发送给用于控制投射器以及泛光源器件工作开关的控制器。其中，该可配置输出接口的配置方式包括配置发送脉冲波控制信号(PWM脉冲信号)、通用输入输出控制信号(GPIO，General-purpose input/output控制信号)或者通过读写寄存器控制信号，并在发送脉冲波控制信号(PWM脉冲信号)时可以调整所述脉冲波控制信号的脉宽的占空比。

步骤202：获取图像传感器提供的第一图像数据。

其中，外部设备在根据所述光源切换控制信号执行光源切换操作后，当前光源为投射器或者泛光源器件，图像传感器在当前光源下获取相应的图像数据，即，第一图像数据，并将获取到的第一图像数据发送给数字相机(Digital Camera，DCAM)。

步骤203：对所述第一图像数据进行图像处理，并将经过图像处理的所述第一图像数据发送给上层软件。

图3为本申请再一个实施例提供的图像数据处理装置结构示意图，如图3所示，该装置可以包括处理器301和存储器302，所述存储器302用于存储至少一条指令，所述指令有所述处理器301加载并执行时实现图2所示实施例提供的图像数据处理方法。

一种实施方式中，图3所示实施例提供的图像数据处理装置可以为一种芯片。

再一种实施方式中，图3所示实施例提供的图像数据处理装置可以为一种芯片中的硬件电路，具体地可以为一种数字相机(DCAM，Digital Camera)，且该DCAM与图像传感器通信连接，用于处理图像传感器传递过来的图像数据，可以为在线(online)处理方式。图4为本申请实施例提供的DCAM的模块示意图，如图4所示，该DCAM在原结构的基础上新增了类strobe模块401以及可配置输出接口403，即，本申请实施例提供的DCAM可以包括类strobe模块401以及DCAM原结构所包含的其他模块402，其中，该类strobe模块401用于采用图2所示实施例提供的图像数据处理方法控制外部器件，具体可以为，在光源切换时机通过模块中的可配置输出接口403向外部设备发送光源切换控制信号，以控制光源的开关以及发光强度。需要进一步说明的是，可配置输出接口不仅可以设计成输出pwm脉冲的形式，也可以设计成其他形式的输出方式；譬如说，输出高低电平或者使能外部器件读写“类strobe”模块寄存器等方式。

本申请再一个实施例还提供一种摄像设备，该摄像设备可以包括图3所示实施例提供的图像数据处理装置、红外相机、投射器以及泛光源器件。在本实施例中该红外相机包括图像传感器(红外光图像传感器)，该投射器包括点阵光源器件。在另一种实施方式中，该摄像设备还可以包括RGB相机。

本申请再一个实施例还提供一种终端，该终端包括终端本体以及上述摄像设备。

本申请再一个实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图2所示实施例提供的图像数据处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种图像数据处理方法，其特征在于，所述方法包括：

在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作；

获取图像传感器提供的第一图像数据，所述第一图像数据为所述外部设备根据所述光源切换控制信号执行光源切换操作后，所述图像传感器获取的图像数据；

对所述第一图像数据进行图像处理，并将经过图像处理的所述第一图像数据发送给上层软件；

其中，所述光源切换时机包括确定所述图像传感器发送的图像数据帧的帧起始中断的时机、确定所述图像传感器发送的图像数据帧的帧结束中断的时机，或者对所述图像传感器提供的图像数据完成图像处理后，触发向所述上层软件发送图像数据处理完成信息的时机。

2.根据权利要求1所述的方法，其特征在于，所述在光源切换时机发送光源切换控制信号给外部设备，使所述外部设备根据所述光源切换控制信号执行光源切换操作包括：

在所述光源切换时机发送脉冲波控制信号、通用输入输出控制信号或者读写寄存器控制信号给所述外部设备，使所述外部设备根据接收到的脉冲波控制信号、通用输入输出控制信号或者读写寄存器控制信号控制光源设备的工作开关的通断。

3.根据权利要求2所述的方法，其特征在于，若发送的光源切换控制信号为所述脉冲波控制信号，则通过调整所述脉冲波控制信号的脉宽的占空比，使所述外部设备根据所述脉冲波控制信号的脉宽的占空比调节光源发光强度。

4.根据权利要求1所述的方法，其特征在于，在所述发送光源切换控制信号给外部设备前，还包括：

根据图像传感器的偏移量修正所述光源切换控制信号的发送时刻。

5.根据权利要求4所述的方法，其特征在于，所述根据图像传感器的偏移量修正所述光源切换控制信号的发送时刻包括：

将所述光源切换控制信号的发送时刻修正为距离所述光源切换时机第一时间的时间点；

其中，所述第一时间为所述图像传感器的偏移量对应的时间长度。

6.根据权利要求1所述的方法，其特征在于，所述在光源切换时机发送光源切换控制信号给外部设备包括：

在光源切换时机，通过3D结构光底层硬件的可配置输出接口将所述光源切换控制信号发送给点阵光源器件和泛光源器件的工作开关控制器。

7.一种图像数据处理装置，其特征在于，所述装置包括：

处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1-6中任意一项所述的图像数据处理方法。

8.一种摄像设备，其特征在于，所述摄像设备包括：

权利要求7所述的图像数据处理装置；

红外相机、投射器以及泛光源器件；

其中，所述红外相机包括图像传感器，所述投射器包括点阵光源器件。

9.根据权利要求9所述的摄像设备，其特征在于，所述摄像设备还包括RGB相机。

10.一种终端，其特征在于，所述终端包括终端本体以及权利要求8所述的摄像设备。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的图像数据处理方法。

Images