CN108696682B - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。上述方法，包括：当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个；通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像；通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元。上述数据处理方法、装置、电子设备及计算机可读存储介质，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

Description

数据处理方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

3D(3 Dimensions，三维)人脸在人脸识别、美颜、3D模型建立等不同应用场景中均起到重要的作用。电子设备可通过镭射灯等激光器发射激光，并通过摄像头采集被激光照射的人脸图像，通过结构光构建3D人脸。在传统的方式中，电子设备控制激光器发射激光的方式较为复杂，且成本高。

发明内容

本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

一种数据处理方法，包括：

当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个；

通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像；

通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元。

一种数据处理装置，包括：

指令发送模块，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个；

脉冲发送模块，用于通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像；

处理模块，用于通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元。

一种电子设备，包括摄像头模组、第一处理单元、第二处理单元和控制器，所述第一处理单元分别与所述第二处理单元和摄像头模组相连，所述第一处理单元通过I2C总线与所述控制器连接；所述摄像头模组包括激光摄像头、泛光灯和镭射灯，所述泛光灯和镭射灯分别与所述控制器连接；所述第一处理单元包括PWM模块，所述第一处理单元通过所述PWM模块与所述控制器连接；

所述第一处理单元，用于当收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个，通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像，对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。

上述数据处理方法、装置、电子设备及计算机可读存储介质，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制开启泛光灯和镭射灯中的至少一个，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，采集目标图像后再对目标图像进行处理，通过一个控制器即可实现对泛光灯和镭射灯的控制，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

附图说明

图1为一个实施例中数据处理方法的应用场景图；

图2为另一个实施例中数据处理方法的应用场景图；

图3为一个实施例中电子设备的框图；

图4为一个实施例中数据处理方法的流程示意图；

图5为一个实施例中第一处理单元、激光摄像头和控制器连接在同一个I2C总线的示意图；

图6为一个实施例中第一处理单元根据图像采集指令向控制器发送控制指令的流程示意图；

图7为一个实施例中通过第一处理单元对目标图像进行处理的流程示意图；

图8为一个实施例中数据处理装置的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中数据处理方法的应用场景图。如图4所示，电子设备包括激光摄像头102、泛光灯104、镭射灯106、第一处理单元110、第二处理单元120和控制器130。第一处理单元110可为MCU(Microcontroller Unit，微控制单元)模块等，第二处理单元120可为CPU(Central Processing Unit，中央处理器)模块等。第一处理单元110可与激光摄像头102、第二处理单元120连接，第一处理单元110可通过I2C总线与控制器130连接。第一处理单元110中可包PWM(Pulse Width Modulation，脉冲宽度调制)模块112，并通过PWM模块112与控制器130连接，控制器130可分别与泛光灯104、镭射灯106连接。

当第一处理单元110接收到第二处理单元120发送的图像采集指令时，通过I2C总线向控制器130发送控制指令，该控制指令可用于控制开启泛光灯104和镭射灯106中的至少一个。第一处理单元110可通过PWM模块112向控制器130发送脉冲，点亮开启的泛光灯104和镭射灯106中的至少一个，并通过激光摄像头102采集目标图像。第一处理单元110可对目标图像进行处理，并将处理后的目标图像发送给第二处理单元120。

图2为另一个实施例中数据处理方法的应用场景图。如图2所示，电子设备200可包括摄像头模组210、第二处理单元220，第一处理单元230。上述第二处理单元220可为CPU模块。上述第一处理单元230可为MCU模块等。其中，第一处理单元230连接在第二处理单元220和摄像头模组210之间，上述第一处理单元230可控制摄像头模组210中激光摄像头212、泛光灯214和镭射灯218，上述第二处理单元220可控制摄像头模组210中RGB摄像头216。

摄像头模组210中包括激光摄像头212、泛光灯214、RGB摄像头216和镭射灯218。上述激光摄像头212可为红外摄像头，用于获取红外图像。上述泛光灯214为可发射红外光的面光源；上述镭射灯218为可发射激光的点光源且为带有图案的点光源。其中，当泛光灯214发射面光源时，激光摄像头212可根据反射回的光线获取红外图像。当镭射灯218发射点光源时，激光摄像头212可根据反射回的光线获取散斑图像。上述散斑图像是镭射灯218发射的带有图案的点光源被反射后图案发生形变的图像。

第二处理单元220可包括在TEE(Trusted execution environment，可信运行环境)环境下运行的CPU内核和在REE(Rich Execution Environment，自然运行环境)环境下运行的CPU内核。其中，TEE环境和REE环境均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。其中，TEE环境的安全级别较高，第二处理单元220中有且仅有一个CPU内核可同时运行在TEE环境下。通常情况下，电子设备200中安全级别较高的操作行为需要在TEE环境下的CPU内核中执行，安全级别较低的操作行为可在REE环境下的CPU内核中执行。

第一处理单元230包括PWM模块232、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)接口234、RAM(Random Access Memory，随机存取存储器)模块236和深度引擎238。第一处理单元230可通过PWM模块232与泛光灯214和镭射灯218的控制器连接，该控制器可分别与泛光灯214和镭射灯218连接，对泛光灯214和镭射灯218进行控制。第一处理单元230还可通过I2C总线与控制器连接，可通过连接的I2C总线控制开启泛光灯214或镭射灯218，上述PWM模块232可向摄像头模组发射脉冲，点亮开启的泛光灯214或镭射灯218。第一处理单元230可通过激光摄像头212采集红外图像或散斑图像。上述SPI/I2C接口234用于接收第二处理单元220发送的图像采集指令。上述深度引擎238可对散斑图像进行处理得到深度视差图。

当第二处理单元220接收到应用程序的数据获取请求时，例如，当应用程序需要进行人脸解锁、人脸支付时，可通过运行在TEE环境下的CPU内核向第一处理单元230发送图像采集指令。当第一处理单元230接收到图像采集指令后，可通过I2C总线向控制器发送控制指令，控制开启控制摄像头模组210中的泛光灯214，再通过PWM模块232向控制器发射脉冲波点亮泛光灯214，并通过I2C总线控制激光摄像头212采集红外图像，可通过I2C总线向控制器发送控制指令，控制开启摄像头模组210中的镭射灯218，再通过PWM模块232向控制器发射脉冲波点亮镭射灯218，并通过I2C总线控制激光摄像头212采集散斑图像。摄像头模组210可将采集到的红外图像和散斑图像发送给第一处理单元230。第一处理单元230可对接收到的红外图像进行处理得到红外视差图；对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中，第一处理单元230对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正，去除摄像头模组210中内外参数对图像的影响。其中，第一处理单元230可设置成不同的模式，不同模式输出的图像不同。当第一处理单元230设置为散斑图模式时，第一处理单元230对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像；当第一处理单元230设置为深度图模式时，第一处理单元230对散斑图像处理得到深度视差图，根据上述深度视差图可得到深度图像，上述深度图像是指带有深度信息的图像。第一处理单元230可将上述红外视差图和散斑视差图发送给第二处理单元220，第一处理单元230也可将上述红外视差图和深度视差图发送给第二处理单元220。第二处理单元220可根据上述红外视差图获取目标红外图像、根据上述深度视差图获取深度图像。进一步的，第二处理单元220可根据目标红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。

第一处理单元230与第二处理单元220之间通信是通过固定的安全接口，用以确保传输数据的安全性。如图1所示，第二处理单元220发送给第一处理单元230的数据是通过SECURE SPI/I2C 240，第一处理单元230发送给第二处理单元220的数据是通过SECUREMIPI(Mobile Industry Processor Interface，移动产业处理器接口)250。

在一个实施例中，第一处理单元230也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像，再将上述目标红外图像、深度图像发送给第二处理单元220。

图3为一个实施例中电子设备的框图。如图3所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种数据处理方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图4所示，在一个实施例中，提供一种数据处理方法，包括以下步骤：

步骤410，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，控制指令用于控制开启泛光灯和镭射灯中的至少一个。

当电子设备中应用程序需要获取人脸数据时，应用程序可向第二处理单元发送数据获取请求，其中，人脸数据可包括但不限于人脸解锁、人脸支付等场景下需要进行人脸验证的数据，和人脸深度信息等。第二处理单元接收数据获取请求后，可向第一处理单元发送图像采集指令，其中，第一处理单元可以是MCU模块，第二处理单元可以是CPU模块。

电子设备中可包括控制器，该控制器可分别与泛光灯和镭射灯连接，泛光灯和镭射灯可通过同一个控制器进行控制。控制器对泛光灯和镭射灯进行控制，可包括控制开启泛光灯或镭射灯，控制泛光灯和镭射灯之间的切换，控制泛光灯和镭射灯的发射功率等。第一处理单元可通过I2C总线与控制器连接，I2C总线可通过一根数据线和一根时钟线实现连接于I2C总线上的各个器件之间的数据传输。当第一处理单元接收到第二处理单元发送的图像采集指令时，可通过I2C总线向控制器发送控制指令，控制器接收控制指令后，可根据控制指令开启泛光灯和镭射灯中的至少一个。

步骤420，通过脉冲宽度调制PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像。

第一处理单元可通过PWM模块与控制器连接，当控制开启泛光灯和镭射灯中的至少一个，可通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个。可选地，PWM模块可按照一定电压幅度、一定时间间隔向控制器连续发出的脉冲信号，控制开启泛光灯和镭射灯中的至少一个。

第一处理单元可通过激光摄像头采集目标图像，目标图像可包括红外图像、散斑图像等。若开启的为泛光灯，PWM模块可向控制器发送脉冲，点亮泛光灯，泛光灯可为一种向四面八方均匀照射的点光源，当泛光灯被点亮时，可发射红外光，激光摄像头可采集人脸得到红外图像。若开启的为镭射灯，PWM模块可向控制器发送脉冲，点亮镭射灯。镭射灯被点亮时，发出的激光可由透镜和DOE(diffractive optical elements，光学衍射元件)进行衍射产生带散斑颗粒的图案，通过带散斑颗粒的图案投射到目标物体，受目标物体各点与电子设备的距离不同产生散斑图案的偏移，激光摄像头对目标物体进行采集得到散斑图像。

步骤430，通过第一处理单元对目标图像进行处理，并将处理后的目标图像发送给第二处理单元。

激光摄像头可将采集的目标图像发送给第一处理单元，第一处理单元可对目标图像进行处理，其中，目标图像可包括红外图像、散斑图像等。第一处理单元根据图像采集指令确定图像类型后，可根据确定的图像类型采集与图像类型对应的目标图像，并对目标图像进行相应的处理。当图像类型为红外图像时，第一处理单元可通过第一PWM模块向第一控制器发送脉冲，点亮泛光灯，并通过激光摄像头采集红外图像，可对红外图像进行处理得到红外视差图。当图像类型为散斑图像时，第一处理单元可通过第二PWM模块向第二控制器发送脉冲，点亮镭射灯，并通过激光摄像头采集散斑图像，可对散斑图像进行处理得到散斑视差图。当图像类型为深度图像时，第一处理单元可采集散斑图像，并对采集的散斑图像进行处理得到深度视差图。

在一个实施例中，第一处理单元可对目标图像进行校正处理，进行校正处理是指校正目标图像由于激光摄像头及RGB摄像头的内外参数等造成的图像内容偏移，例如由于激光摄像头偏转角度、激光摄像头和RGB摄像头之间的摆放位置等引起的图像内容偏移等。对目标图像进行校正处理后，可得到目标图像的视差图，例如，对红外图像进行校正处理得到红外视差图，对散斑图像进行校正可得到散斑视差图或深度视差图等。对目标图像进行校正处理，可以防止最终在电子设备的屏幕上呈现的图像出现重影的情况。

第一处理单元对目标图像进行处理，可将处理后的目标图像发送给第二处理单元。第二处理单元可根据处理后的目标图像得到所需的图像，比如红外图像、散斑图像及深度图像等。第二处理单元可根据应用程序的需求对所需的图像进行处理。

例如，应用程序需要进行人脸验证时，则第二处理单元则可对得到的所需的图像等进行人脸检测，其中，人脸检测可包括人脸识别、人脸匹配和活体检测。人脸识别是指识别所需的图像中是否存在人脸，人脸匹配是指将所需的图像中人脸与预存的人脸进行匹配，活体检测是指检测所需的图像中人脸是否具有生物活性等。若应用程序需要获取人脸的深度信息，则可将生成的深度图像上传至应用程序，应用程序可根据接收到的深度图像进行美颜处理、三维建模等。

在本实施例中，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制开启泛光灯和镭射灯中的至少一个，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，采集目标图像后再对目标图像进行处理，通过一个控制器即可实现对泛光灯和镭射灯的控制，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

在一个实施例中，步骤通过激光摄像头采集目标图像，包括：通过I2C总线控制激光摄像头采集目标图像。

第一处理单元可通过I2C总线与激光摄像头连接，并通过该连接的I2C总线控制激光摄像头采集目标图像。在一个实施例中，第一处理单元、激光摄像头和控制器可连接同一个I2C总线。当第一处理单元接收到第二处理单元发送的图像采集指令后，可通过该I2C总线控制开启泛光灯或镭射灯，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯或镭射灯，再通过该连接的I2C总线控制激光摄像头采集红外图像或散斑图像等目标图像。

在一个实施例中，第一处理单元可通过该连接的I2C总线对控制器进行寻址，并向控制器发送控制指令，控制开启泛光灯或镭射灯，再通过该连接的I2C总线对激光摄像头进行寻址，控制激光摄像头采集目标图像，在不同的时刻对连接的同一个I2C总线进行复用，节省资源。

图5为一个实施例中第一处理单元、激光摄像头和控制器连接在同一个I2C总线的示意图。如图5所示，电子设备包括激光摄像头102、泛光灯104、镭射灯106、第一处理单元110、第二处理单元120和控制器130。第一处理单元110可与第二处理单元120连接。第一处理单元110中可包PWM模块112，并通过PWM模块112与控制器130连接，控制器130可分别与泛光灯104、镭射灯106连接。激光摄像头102、第一处理单元110和控制器130可连接在同一个I2C总线。

当第一处理单元110接收到第二处理单120元发送的图像采集指令后，可通过该I2C总线向控制器130发送控制指令，控制开启泛光灯104或镭射灯106，并通过PWM模块112向控制器130发送脉冲，点亮开启的泛光灯104或镭射灯106，再通过该连接的I2C总线控制激光摄像头102采集红外图像或散斑图像等目标图像。

在本实施例中，通过同一个I2C总线控制泛光灯、镭射灯和激光摄像头，对I2C总线进行复用，可以降低控制电路的复杂度，并减少成本。

如图6所示，在一个实施例中，步骤通过I2C总线向控制器发送控制指令，包括以下步骤：

步骤602，根据图像采集指令确定采集的图像类型。

步骤604，若图像类型为第一类型，则第一处理单元通过I2C总线向控制器发送第一控制指令，第一控制指令用于指示控制器开启所述泛光灯。

第一处理单元接收第二处理单元发送的图像采集指令，可根据图像采集指令确定采集的图像类型，其中，图像类型可以是红外图像、散斑图像及深度图像等中的一种或多种。图像类型可根据应用程序所需的人脸数据进行确定，第二处理单元接收数据获取请求后，可根据数据获取请求确定图像类型，并向第一处理单元发送包含该图像类型的图像采集指令。例如，需要进行人脸解锁的数据，则可确定图像类型为红外图像及散斑图像，需要人脸深度信息，则可确定图像类型为深度图像等，但不限于此。

若图像类型为第一类型，在本实施例中，第一类型可以是红外图像，则第一处理单元可通过连接的I2C向控制器发送第一控制指令，控制器可根据第一控制指令切换至泛光灯，并开启泛光灯。第一处理单元可通过PWM模块向控制器发射脉冲，点亮泛光灯。可选地，第一处理单元可通过I2C对控制器进行寻址，并向控制器发送第一控制指令。

步骤606，若图像类型为第二类型，则第一处理单元通过I2C总线向控制器发送第二控制指令，第二控制指令用于指示控制器开启所述镭射灯。

若图像类型为第二类型，在本实施例中，第二类型可以是散斑图像或深度图像等，则第一处理单元可通过连接的I2C向控制器发送第二控制指令，控制器可根据第二控制指令切换至镭射灯，并开启镭射灯。第一处理单元可通过PWM模块向控制器发射脉冲，点亮镭射灯。

第一处理单元根据图像采集指令确定图像类型，图像类型可包含有至少两种，比如，图像类型可同时包含第一类型和第二类型。当图像类型包含红外图像和散斑图像，或是包含红外图像和深度图像时，需要同时采集红外图像和散斑图像。第一处理单元可先采集红外图像，也可先采集散斑图像，并不限定先后采集顺序。第一处理单元可先通过I2C总线向控制器发送第一控制指令，开启泛光灯，并通过PWM模块向控制器发射脉冲，点亮泛光灯，再通过I2C总线控制激光摄像头采集红外图像。在第一处理单元控制激光摄像头采集与第一类型对应的目标图像后，可通过I2C总线向控制器发送第二控制指令，开启镭射灯，并通过PWM模块向控制器发射脉冲，点亮镭射灯，再通过I2C总线控制激光摄像头采集散斑图像。

在一个实施例中，当图像类型可同时包含第一类型和第二类型，第一处理单元也可先通过I2C总线向控制器发送第二控制指令，开启镭射灯，并通过PWM模块向控制器发射脉冲，点亮镭射灯，再通过I2C总线控制激光摄像头采集散斑图像。在第一处理单元控制激光摄像头采集与第二类型对应的目标图像后，可通过I2C总线向控制器发送第一控制指令，开启泛光灯，并通过PWM模块向控制器发射脉冲，点亮泛光灯，再通过I2C总线控制激光摄像头采集红外图像。

可选地，第一处理单元可在不同时刻分别向控制器发送第一控制指令和第二控制指令，发送第一控制指令的时刻和发送第二控制指令的时刻之间的时间间隔可小于时间阈值，激光摄像头在采集完红外图像后可在小于时间阈值的时间间隔中采集到散斑图像，使得采集的红外图像与散斑图像的图像内容较为一致，方便后续进行人脸检测等处理。时间阈值可根据实际需求进行设定，例如20毫秒、30毫秒等。保证采集的红外图像与散斑图像的图像内容较为一致，可以提高后续人脸检测的准确性。

在本实施例中，可通过一个控制器实现泛光灯和镭射灯的切换和控制，可以降低控制电路的复杂度，并减少成本。

如图7所示，在一个实施例中，步骤430通过第一处理单元对目标图像进行处理，并将处理后的目标图像发送给第二处理单元，包括以下步骤：

步骤702，获取存储的参考散斑图像，参考散斑图像带有参考深度信息。

在摄像机坐标系中，以垂直成像平面并穿过镜面中心的直线为Z轴，若物体在摄像机坐标系的坐标为(X,Y,Z)，那么其中的Z值即为物体在该摄像机成像平面的深度信息。若应用程序需要获取人脸的深度信息，则需要采集包含人脸深度信息的深度图像。第一处理单元可通过I2C总线控制开启镭射灯，并通过I2C总线控制激光摄像头采集散斑图像。第一处理单元中可预先存储有参考散斑图，参考散斑图可带有参考深度信息，可根据采集的散斑图像及参考散斑图像获取散斑图像中包含的各个像素点的深度信息。

步骤704，将参考散斑图像与散斑图像进行匹配，得到匹配结果。

第一处理单元可依次以采集的散斑图像中包含的各个像素点为中心，选择一个预设大小像素块，例如31pixel(像素)*31pixel大小，在参考散斑图像上搜索与选择的像素块相匹配的块。第一处理单元可从采集的散斑图像中选择的像素块和参考散斑图像相匹配的块中，找到散斑图像及参考散斑图像中分别在同一条激光光路上的两个点，同一激光光路上的两个点的散斑信息一致，在同一条激光光路上的两个点可认定为对应的像素点。参考散斑图像中，每一条激光光路上的点的深度信息都是已知的。第一处理单元可计算目标散斑图像与参考散斑图像在同一条激光光路上的两个对应的像素点之间的偏移量，并根据偏移量计算得到采集的散斑图中包含的各个像素点的深度信息。

在一个实施例中，第一处理单元将采集的散斑图像与参考散斑图进行偏移量的计算，根据偏移量计算得到散斑图像中包含的各个像素点的深度信息，其计算公式可如式(1)所示：

其中，Z_D表示像素点的深度信息，也即像素点的深度值；L为激光摄像头与激光器之间的距离；f为激光摄像头中透镜的焦距，Z₀为参考散斑图像采集时参考平面距离电子设备的激光摄像头的深度值，P为采集的散斑图像与参考散斑图像中对应像素点之间的偏移量。P可由目标散斑图与参考散斑图中像素点偏移的像素量乘以一个像素点的实际距离得到。当目标物体与激光摄像头之间的距离大于参考平面与激光摄像头之间的距离时，P为负值，当目标物体与激光摄像头之间的距离小于参考平面与激光摄像头之间的距离时，P为正值。

步骤706，根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。

第一处理单元得到采集的散斑图像中包含的各个像素点的深度信息，可对采集的散斑图像进行校正处理，校正采集的散斑图像由于激光摄像头及RGB摄像头的内外参数等造成的图像内容偏移。第一处理单元可根据校正后的散斑图像，以及散斑图像中各个像素点的深度值，生成深度视差图，并将深度视差图发送给第二处理单元。第二处理单元可根据深度视差图得到深度图，深度图中可包含各个像素点的深度信息。第二处理单元可将深度图上传至应用程序，应用程序可根据深度图中人脸的深度信息进行美颜、三维建模等。第二处理单元也可根据深度图中人脸的深度信息进行活体检测，可防止采集的人脸是二维的平面人脸等。

可选地，电子设备中第二处理单元可包括两种运行模式，其中，第一运行模式可以为TEE，TEE为可信运行环境，安全级别高；第二运行模式可以为REE，REE为自然运行环境，REE的安全级较低。当第二处理单元接收到应用程序发送的数据获取请求后，可通过第一运行模式向第一处理单元发送图像采集指令。当第二处理单元为单核的CPU时，可直接将上述单核由第二运行模式切换到第一运行模式；当第二处理单元为多核时，可将一个内核由第二运行模式切换到第一运行模式，其他内核仍运行在第二运行模式中，并通过运行在第一运行模式下的内核向第一处理单元发送图像采集指令。

第一处理单元对采集的目标图像进行处理后，可将处理后的目标图像发送给该运行在第一运行模式下的内核，可保证第一处理单元一直在可信运行环境下运行，提高安全性。第二处理单元可在该运行在第一运行模式下的内核中，根据处理后的目标图像得到所需的图像，并根据应用程序的需求对所需的图像进行处理。比如，第二处理单元可在运行在第一运行模式下的内核中对所需的图像进行人脸检测。通过第二处理单元安全性高的内核向第一处理单元发送图像采集指令，可保证第一处理单元处于安全性高的环境中，提高数据的安全。

在一个实施例中，由于运行在第一运行模式的内核是唯一的，第二处理单元在TEE环境下对目标图像进行人脸检测，可采集串行的方式逐一对目标图像进行人脸识别、人脸匹配和活体检测等。第二处理单元可先对所需的图像进行人脸识别，当识别到人脸时，再将所需的图像中包含的人脸与预先存储的人脸进行匹配，判断是否为同一人脸。若为同一人脸再根据所需的图像对人脸进行活体检测，防止采集的人脸是二维的平面人脸等。当没有识别到人脸时，可不进行人脸匹配和活体检测，可减轻第二处理单元的处理压力。

在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。

在一个实施例中，提供一种数据处理方法，包括以下步骤：

步骤(1)，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，控制指令用于控制开启泛光灯和镭射灯中的至少一个。

在一个实施例中，步骤(1)，包括：根据图像采集指令确定采集的图像类型；若图像类型为第一类型，则第一处理单元通过I2C总线向控制器发送第一控制指令，第一控制指令用于指示控制器开启泛光灯；若图像类型为第二类型，则第一处理单元通过I2C总线向控制器发送第二控制指令，第二控制指令用于指示控制器开启镭射灯。

在一个实施例中，在步骤根据图像采集指令确定采集的图像类型之后，还包括：当图像类型包括第一类型和第二类型时，第一处理单元通过I2C总线向控制器发送第一控制指令，开启泛光灯；在通过激光摄像头采集与第一类型对应的目标图像之后，通过I2C总线向控制器发送第二控制指令，开启镭射灯。

在一个实施例中，在步骤根据图像采集指令确定采集的图像类型之后，还包括：当图像类型包括第一类型和第二类型时，第一处理单元通过I2C总线向控制器发送第二控制指令，开启镭射灯；在通过激光摄像头采集与第二类型的目标图像之后，通过I2C总线向控制器发送第一控制指令，开启泛光灯。

在一个实施例中，第一处理单元发送第一控制指令的时刻与发送第二控制指令的时刻之间的时间间隔小于时间阈值。

步骤(2)，通过脉冲宽度调制PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像。

在一个实施例中，第一处理单元、控制器和激光摄像头连接在同一个I2C总线上；步骤通过激光摄像头采集目标图像，包括：通过I2C总线控制激光摄像头采集目标图像。

步骤(3)，通过第一处理单元对目标图像进行处理，并将处理后的目标图像发送给第二处理单元。

在一个实施例中，目标图像包括散斑图像；步骤(3)，包括：获取存储的参考散斑图像，参考散斑图像带有参考深度信息；将参考散斑图像与散斑图像进行匹配，得到匹配结果；根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。

在本实施例中，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制开启泛光灯和镭射灯中的至少一个，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，采集目标图像后再对目标图像进行处理，通过一个控制器即可实现对泛光灯和镭射灯的控制，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

应该理解的是，虽然上述各个流程示意图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各个流程示意图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供一种电子设备，包括摄像头模组、第一处理单元、第二处理单元和控制器，第一处理单元分别与第二处理单元和摄像头模组相连。第一处理单元通过I2C总线与控制器连接。摄像头模组包括激光摄像头、泛光灯和镭射灯，泛光灯和镭射灯分别与控制器连接。第一处理单元包括PWM模块，第一处理单元通过PWM模块与所述控制器连接。

第一处理单元，用于当收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制指令用于控制开启泛光灯和镭射灯中的至少一个，通过脉冲宽度调制PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像，对目标图像进行处理，并将处理后的目标图像发送给第二处理单元。

在本实施例中，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制开启泛光灯和镭射灯中的至少一个，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，采集目标图像后再对目标图像进行处理，通过一个控制器即可实现对泛光灯和镭射灯的控制，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

在一个实施例中，第一处理单元、控制器和激光摄像头连接在同一个I2C总线上。

第一处理单元，还用于通过I2C总线控制激光摄像头采集目标图像。

在本实施例中，通过同一个I2C总线控制泛光灯、镭射灯和激光摄像头，对I2C总线进行复用，可以降低控制电路的复杂度，并减少成本。

在一个实施例中，第一处理单元，还用于根据图像采集指令确定采集的图像类型，若图像类型为第一类型，则第一处理单元通过I2C总线向控制器发送第一控制指令，第一控制指令用于指示控制器开启泛光灯，若图像类型为第二类型，则第一处理单元通过I2C总线向控制器发送第二控制指令，第二控制指令用于指示控制器开启镭射灯。

在一个实施例中，第一处理单元，还用于当图像类型包括第一类型和第二类型时，第一处理单元通过I2C总线向控制器发送第一控制指令，开启泛光灯，在通过激光摄像头采集与第一类型对应的目标图像之后，通过I2C总线向控制器发送第二控制指令，开启镭射灯。

在一个实施例中，第一处理单元，还用于当图像类型包括第一类型和第二类型时，第一处理单元通过I2C总线向控制器发送第二控制指令，开启镭射灯，在通过激光摄像头采集与第二类型的目标图像之后，通过I2C总线向控制器发送第一控制指令，开启泛光灯。

在一个实施例中，第一处理单元发送第一控制指令的时刻与发送第二控制指令的时刻之间的时间间隔小于时间阈值。

在本实施例中，可通过一个控制器实现泛光灯和镭射灯的切换和控制，可以降低控制电路的复杂度，并减少成本。

在一个实施例中，目标图像包括散斑图像。

第一处理单元，还用于获取存储的参考散斑图像，将参考散斑图像与散斑图像进行匹配，得到匹配结果，根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，参考散斑图像带有参考深度信息；

第二处理单元，还用于对深度视差图进行处理得到深度图。

在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。

在一个实施例中，提供一种数据处理装置800，包括指令发送模块810、脉冲发送模块820及处理模块830。

指令发送模块810，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，控制指令用于控制开启泛光灯和镭射灯中的至少一个。

脉冲发送模块820，用于通过脉冲宽度调制PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像。

处理模块830，用于通过第一处理单元对目标图像进行处理，并将处理后的目标图像发送给第二处理单元。

在本实施例中，当第一处理单元接收到第二处理单元发送的图像采集指令时，通过I2C总线向控制器发送控制指令，控制开启泛光灯和镭射灯中的至少一个，并通过PWM模块向控制器发送脉冲，点亮开启的泛光灯和镭射灯中的至少一个，采集目标图像后再对目标图像进行处理，通过一个控制器即可实现对泛光灯和镭射灯的控制，可以降低控制泛光灯和镭射灯等的复杂度，且节约成本。

在一个实施例中，第一处理单元、控制器和激光摄像头连接在同一个I2C总线上。

脉冲发送模块820，还用于通过I2C总线控制激光摄像头采集目标图像。

在本实施例中，通过同一个I2C总线控制泛光灯、镭射灯和激光摄像头，对I2C总线进行复用，可以降低控制电路的复杂度，并减少成本。

在一个实施例中，指令发送模块810，包括类型确定单元、第一发送单元及第二发送单元。

类型确定单元，用于根据图像采集指令确定采集的图像类型。

第一发送单元，用于若图像类型为第一类型，则通过I2C总线向控制器发送第一控制指令，第一控制指令用于指示控制器开启泛光灯。

第二发送单元，若图像类型为第二类型，则第一处理单元通过I2C总线向控制器发送第二控制指令，第二控制指令用于指示控制器开启所述镭射灯。

在一个实施例中，第一发送单元，还用于当图像类型包括第一类型和第二类型时，通过I2C总线向控制器发送第一控制指令，开启泛光灯。

第二发送单元，还用于在通过激光摄像头采集与第一类型对应的目标图像之后，通过I2C总线向所述控制器发送第二控制指令，开启镭射灯。

在一个实施例中，第二发送单元，还用于当图像类型包括第一类型和第二类型时，第一处理单元通过I2C总线向控制器发送第二控制指令，开启镭射灯。

第一发送单元，还用于在通过激光摄像头采集与第二类型的目标图像之后，通过I2C总线向控制器发送第一控制指令，开启泛光灯。

在一个实施例中，第一处理单元发送第一控制指令的时刻与发送第二控制指令的时刻之间的时间间隔小于时间阈值。

在本实施例中，可通过一个控制器实现泛光灯和镭射灯的切换和控制，可以降低控制电路的复杂度，并减少成本。

在一个实施例中，处理模块830，包括图像获取单元、匹配单元及生成单元。

图像获取单元，用于获取存储的参考散斑图像，参考散斑图像带有参考深度信息。

匹配单元，用于将参考散斑图像与散斑图像进行匹配，得到匹配结果。

生成单元，用于根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。

在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法。

在一个实施例中，提供一种包含计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行时实现上述的数据处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个；

通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像；

通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元；

所述通过双向二线制同步串行I2C总线向控制器发送控制指令，包括：

根据所述图像采集指令确定采集的图像类型；

若所述图像类型为第一类型，则所述第一处理单元通过所述I2C总线向所述控制器发送第一控制指令，所述第一控制指令用于指示所述控制器开启所述泛光灯；

若所述图像类型为第二类型，则所述第一处理单元通过所述I2C总线向所述控制器发送第二控制指令，所述第二控制指令用于指示所述控制器开启所述镭射灯。

2.根据权利要求1所述的方法，其特征在于，所述第一处理单元、控制器和激光摄像头连接在同一个I2C总线上；

所述通过激光摄像头采集目标图像，包括：

通过所述I2C总线控制所述激光摄像头采集目标图像。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述图像采集指令确定采集的图像类型之后，所述方法还包括：

当所述图像类型包括第一类型和第二类型时，所述第一处理单元通过所述I2C总线向所述控制器发送第一控制指令，开启所述泛光灯；

在通过激光摄像头采集与第一类型对应的目标图像之后，通过所述I2C总线向所述控制器发送第二控制指令，开启所述镭射灯。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述图像采集指令确定采集的图像类型之后，所述方法还包括：

当所述图像类型包括第一类型和第二类型时，所述第一处理单元通过所述I2C总线向所述控制器发送第二控制指令，开启所述镭射灯；

在通过激光摄像头采集与第二类型的目标图像之后，通过所述I2C总线向所述控制器发送第一控制指令，开启所述泛光灯。

5.根据权利要求3或4所述的方法，其特征在于，所述第一处理单元发送第一控制指令的时刻与发送第二控制指令的时刻之间的时间间隔小于时间阈值。

6.根据权利要求1所述的方法，其特征在于，所述目标图像包括散斑图像；

所述通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元，包括：

获取存储的参考散斑图像，所述参考散斑图像带有参考深度信息；

将所述参考散斑图像与所述散斑图像进行匹配，得到匹配结果；

根据所述参考深度信息和匹配结果生成深度视差图，并将所述深度视差图发送给所述第二处理单元，通过所述第二处理单元对所述深度视差图进行处理得到深度图。

7.一种数据处理装置，其特征在于，包括：

指令发送模块，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个；

脉冲发送模块，用于通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像；

处理模块，用于通过所述第一处理单元对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元；

类型确定单元，用于根据所述图像采集指令确定采集的图像类型；

第一发送单元，用于若图像类型为第一类型，则通过所述I2C总线向所述控制器发送第一控制指令，所述第一控制指令用于指示所述控制器开启所述泛光灯；

第二发送单元，若图像类型为第二类型，则所述第一处理单元通过所述I2C总线向所述控制器发送第二控制指令，所述第二控制指令用于指示所述控制器开启所述镭射灯。

8.一种电子设备，其特征在于，包括摄像头模组、第一处理单元、第二处理单元和控制器，所述第一处理单元分别与所述第二处理单元和摄像头模组相连，所述第一处理单元通过I2C总线与所述控制器连接；所述摄像头模组包括激光摄像头、泛光灯和镭射灯，所述泛光灯和镭射灯分别与所述控制器连接；所述第一处理单元包括PWM模块，所述第一处理单元通过所述PWM模块与所述控制器连接；

所述第一处理单元，用于当收到第二处理单元发送的图像采集指令时，通过双向二线制同步串行I2C总线向控制器发送控制指令，所述控制指令用于控制开启泛光灯和镭射灯中的至少一个，通过脉冲宽度调制PWM模块向所述控制器发送脉冲，点亮开启的所述泛光灯和镭射灯中的至少一个，并通过激光摄像头采集目标图像，对所述目标图像进行处理，并将处理后的目标图像发送给所述第二处理单元；

所述第一处理单元，还用于根据所述图像采集指令确定采集的图像类型，若所述图像类型为第一类型，则所述第一处理单元通过所述I2C总线向所述控制器发送第一控制指令，所述第一控制指令用于指示所述控制器开启所述泛光灯，若所述图像类型为第二类型，则所述第一处理单元通过所述I2C总线向所述控制器发送第二控制指令，所述第二控制指令用于指示所述控制器开启所述镭射灯。

9.根据权利要求8所述的电子设备，其特征在于，所述第一处理单元、控制器和激光摄像头连接在同一个I2C总线上；

所述第一处理单元，还用于通过所述I2C总线控制所述激光摄像头采集目标图像。

10.根据权利要求8所述的电子设备，其特征在于，所述第一处理单元，还用于当所述图像类型包括第一类型和第二类型时，所述第一处理单元通过所述I2C总线向所述控制器发送第一控制指令，开启所述泛光灯，在通过激光摄像头采集与第一类型对应的目标图像之后，通过所述I2C总线向所述控制器发送第二控制指令，开启所述镭射灯。

11.根据权利要求8所述的电子设备，其特征在于，所述第一处理单元，还用于当所述图像类型包括第一类型和第二类型时，所述第一处理单元通过所述I2C总线向所述控制器发送第二控制指令，开启所述镭射灯，在通过激光摄像头采集与第二类型的目标图像之后，通过所述I2C总线向所述控制器发送第一控制指令，开启所述泛光灯。

12.根据权利要求10或11所述的电子设备，其特征在于，所述第一处理单元发送第一控制指令的时刻与发送第二控制指令的时刻之间的时间间隔小于时间阈值。

13.根据权利要求8所述的电子设备，其特征在于，所述目标图像包括散斑图像；

所述第一处理单元，还用于获取存储的参考散斑图像，将所述参考散斑图像与所述散斑图像进行匹配，得到匹配结果，根据所述参考深度信息和匹配结果生成深度视差图，并将所述深度视差图发送给所述第二处理单元，所述参考散斑图像带有参考深度信息；

第二处理单元，还用于对所述深度视差图进行处理得到深度图。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的方法。