CN111126146A - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括：若第一处理单元接收到图像采集指令，则所述第一处理单元根据所述图像采集指令控制摄像头模组采集目标图像；所述摄像头模组将采集的所述目标图像发送到第二处理单元；所述第二处理单元根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息；所述第一处理单元根据所述目标图像和深度图像进行人脸识别处理。上述图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的效率。

Description

图像处理方法、装置、计算机可读存储介质和电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

由于人脸具有唯一性特征，因此人脸识别技术在智能终端中的应用越来越广泛。智能终端的很多应用程序都会通过人脸进行认证，例如通过人脸进行智能终端的解锁、通过人脸进行支付认证。同时，智能终端还可以对包含人脸的图像进行处理。例如，对人脸特征进行识别，根据人脸表情制作表情包，或者通过人脸特征进行美颜处理等。

发明内容

本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的安全性。

一种图像处理方法，所述方法包括：

若第一处理单元接收到图像采集指令，则所述第一处理单元根据所述图像采集指令控制摄像头模组采集目标图像；

所述摄像头模组将采集的所述目标图像发送到第二处理单元；

所述第二处理单元根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息；

所述第一处理单元根据所述目标图像和深度图像进行人脸识别处理。

一种图像处理装置，所述装置包括：

图像获取模块，用于若第一处理单元接收到图像采集指令，则所述第一处理单元根据所述图像采集指令控制摄像头模组采集目标图像；

图像传输模块，用于所述摄像头模组将采集的所述目标图像发送到第二处理单元；

图像计算模块，用于所述第二处理单元根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息；

人脸识别模块，用于所述第一处理单元根据所述目标图像和深度图像进行人脸识别处理。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

若第一处理单元接收到图像采集指令，则所述第一处理单元根据所述图像采集指令控制摄像头模组采集目标图像；

所述摄像头模组将采集的所述目标图像发送到第二处理单元；

所述第二处理单元根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息；

所述第一处理单元根据所述目标图像和深度图像进行人脸识别处理。

一种电子设备，包括：第一处理单元、摄像头模组和第二处理单元，所述第一处理单元分别与所述摄像头模组和第二处理单元相连，所述摄像头模组与第二处理单元相连；

其中，所述第一处理单元用于若接收到图像采集指令，则根据所述图像采集指令控制摄像头模组采集目标图像；接收所述第二处理单元发送的目标图像和深度图像，并根据所述目标图像和深度图像进行人脸识别处理；

所述摄像头模组用于将采集的所述目标图像发送到所述第二处理单元；

所述第二处理单元用于根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息。

上述图像处理方法、装置、计算机可读存储介质和电子设备，在第一处理单元接收到图像采集指令时，第一处理单元会控制摄像头模组采集目标图像，并将目标图像发送到处于第二处理单元。第二处理单元根据散斑图像计算得到深度图像，然后将目标图像和深度图像发送给第一处理单元。第一处理单元会根据深度图像和红外图像进行人脸识别处理。这样可以通过第一处理单元和第二处理单元共同对目标图像进行处理，提高了数据处理速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用场景图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为一个实施例中计算深度信息的原理图；

图5为又一个实施例中图像处理方法的流程图；

图6为又一个实施例中图像处理方法的流程图；

图7为一个实施例中实现图像处理方法的硬件结构图；

图8为一个实施例中实现图像处理方法的软件架构示意图；

图9为一个实施例中图像处理装置的结构示意图；

图10为另一个实施例中图像处理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括用户102和电子设备104。电子设备104中可安装摄像头模组，还可以包含第一处理单元和第二处理单元，以及安装若干个应用程序。当第一处理单元接收到应用程序发起的图像采集指令时，第一处理单元可以根据图像采集指令控制摄像头模组采集包含用户102的人脸的目标图像；摄像头模组将采集的目标图像发送到第二处理单元；第二处理单元根据目标图像计算得到深度图像，并将目标图像和深度图像发送到第一处理单元中，深度图像用于表示目标图像对应的深度信息；第一处理单元根据目标图像和深度图像进行人脸识别处理。其中，电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。通过第一处理单元和第二处理单元对数据进行处理，从而提高数据的处理速度。

图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：

步骤202，若第一处理单元接收到图像采集指令，则第一处理单元根据图像采集指令控制摄像头模组采集目标图像。

在一个实施例中，电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。

处理单元可以对摄像头采集的图像进行处理。处理单元连接于摄像头，摄像头获取的图像就可以传输给处理单元，并通过处理单元进行裁剪、亮度调节、人脸检测、人脸识别等处理。在本实施例中，电子设备中包含第一处理单元和第二处理单元，第一处理单元和第二处理单元处于不同的安全环境下，在安全环境下对图像进行处理，从而保证图像的安全性。

图像采集指令是指用于触发图像采集操作的指令，具体是用于获取包含人脸的图像。例如，当用户对智能手机进行解锁的时候，可以通过获取人脸图像进行验证解锁；当用户通过智能手机进行支付的时候，可以人脸图像进行认证。第一处理单元可以接收来自上层应用程序的指令，当第一处理单元接收到图像采集指令时，第一处理单元就可以控制摄像头模组进行工作，通过摄像头采集红外图像和散斑图像。具体地，摄像头模组中可以但不限于包括激光摄像头、镭射灯和泛光灯，采集的目标图像中可以但不限于包含红外图像和散斑图像。当第一处理单元接收到图像采集指令时，第一处理单元会控制镭射灯和泛光灯进行分时工作，当镭射灯开启时，通过激光摄像头采集散斑图像；当泛光灯开启时，通过激光摄像头采集红外图像。

具体的，当激光照射在平均起伏大于波长数量级的光学粗糙表面上时，这些表面上无规分布的面元散射的子波相互叠加使反射光场具有随机的空间光强分布，呈现出颗粒状的结构，这就是激光散斑。形成的激光散斑具有高度随机性，因此不同的激光发射器发射出来的激光所生成的激光散斑不同。当形成的激光散斑照射到不同深度和形状的物体上时，生成的散斑图是不一样的。通过不同的激光发射器形成的激光散斑具有唯一性，从而得到的散斑图也具有唯一性。镭射灯形成的激光散斑可以照射到物体上，然后通过激光摄像头来采集的激光散斑照射到物体上所形成的散斑图像。

步骤204，摄像头模组将采集的目标图像发送到第二处理单元。

第一处理单元和第二处理单元为分布在不同的处理器上的处理单元，且处于不同的安全环境下。具体地，电子设备中CPU(Central Processing Unit，中央处理器)有2种运行模式：TEE(Trust Execution Environment，可信执行环境)和REE(Rich ExecutionEnvironment，自然执行环境)。通常情况下，CPU运行在REE下，但当电子设备需要获取安全级别较高的数据时，例如电子设备需要获取人脸数据进行识别验证时，CPU可由REE切换到TEE进行运行。当电子设备中CPU为单核时，可直接将上述单核由REE切换到TEE；当电子设备中CPU为多核时，电子设备将一个内核由REE切换到TEE，其他内核仍运行在REE中。其中，第一运行环境是指TEE环境。

在一个实施例中，第一处理单元可以是CPU中的处理单元，例如可以是CPU中的一核或多核，第一安全环境可以为TEE。处于第二安全环境的第二处理单元可以是DSP(Digital Signal Processing，数字信号处理器)中的安全处理模块。当应用程序向CPU发送图像采集指令后，电子设备将CPU中一个内核由REE切换到TEE，并由该切换到TEE下的CPU内核根据图像采集指令控制摄像头模组采集图像，确保了采集图像的安全性。摄像头模组采集到红外图像和散斑图像之后，可以直接将红外图像和散斑图像发送给DSP中的安全处理模块进行处理。

步骤206，第二处理单元根据目标图像计算得到深度图像，并将目标图像和深度图像发送到第一处理单元中，深度图像用于表示目标图像对应的深度信息。

镭射灯可以发射出若干个激光散斑点，激光散斑点照射到不同距离的物体上时，在图像上所呈现的斑点位置不同。电子设备可以预先采集一个标准的参考图像，参考图像是激光散斑照射到平面上所形成的图像。所以参考图像上的散斑点一般是均匀分布的，然后建立该参考图像中每一个散斑点与参考深度的对应关系。当需要采集散斑图像时，控制镭射灯发出激光散斑，激光散斑照射到物体上之后，通过激光摄像头采集得到散斑图像。然后将散斑图像中的每一个散斑点与参考图像中的散斑点进行比较，获取散斑图像中的散斑点相对于参考图像中对应的散斑点的位置偏移量，并散斑点的位置偏移量与参考深度来获取散斑点对应的实际深度信息。

摄像头采集的红外图像与散斑图像是对应的，散斑图像可以用于计算红外图像中每一个像素点对应的深度信息。这样可以通过红外图像对人脸进行检测和识别，根据散斑图像可以计算得到人脸对应的深度信息。具体地，根据散斑图像计算深度信息的过程中，首先要根据散斑图像相对与参考图像的散斑点的位置偏移量计算相对深度，相对深度可以表示实际拍摄物体到参考平面的深度信息。然后再根据获取的相对深度和参考深度计算物体的实际深度信息。深度图像用于表示红外图像对应的深度信息，可以是表示的物体到参考平面的相对深度，也可以是物体到摄像头的绝对深度。

步骤208，第一处理单元根据目标图像和深度图像进行人脸识别处理。

在本申请提供的实施例中，人脸识别处理是指对图像所包含的人脸进行识别的处理。具体地，可以首先根据红外图像进行人脸检测处理，提取红外图像中人脸所在的区域，并对提取的人脸进行识别处理，分辨该人脸的身份。深度图像与红外图像是对应的，根据深度图像可以得到人脸对应的深度信息，从而识别人脸是否为活体。根据人脸识别处理，可以对当前采集的人脸的身份进行认证。

上述实施例提供的图像处理方法，在第一处理单元接收到图像采集指令时，第一处理单元会控制摄像头模组采集目标图像，并将目标图像发送到处于第二处理单元。第二处理单元根据散斑图像计算得到深度图像，然后将目标图像和深度图像发送给第一处理单元。第一处理单元会根据深度图像和红外图像进行人脸识别处理。这样可以通过第一处理单元和第二处理单元共同对目标图像进行处理，提高了数据处理速度。

图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤320。其中：

步骤302，若第一处理单元接收到图像采集指令，则第一处理单元根据图像采集指令控制第一摄像头模组采集红外图像，并控制第二摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

在一个实施例中，第一摄像头模组是由泛光灯和激光摄像头构成的，第二摄像头模组是由镭射灯和激光摄像头构成的，第一摄像头模组的激光摄像头和第二摄像头模组的激光摄像头可以是同一个激光摄像头，也可以是不同的激光摄像头，在此不做限定。当第一处理单元接收到图像采集指令的时候，第一处理单元会控制第一摄像头模组和第二摄像头模组进行工作。第一摄像头模组和第二摄像头模组可以并行处理，也可以分时处理，工作的先后顺序不做限定。例如，可以先控制第一摄像头模组采集红外图像，也可以先控制第二摄像头模组采集散斑图像。

可以理解的是，红外图像和散斑图像是对应的，也就必须保证红外图像和散斑图像的一致性。假设第一摄像头模组和第二摄像头模组为分时工作的话，就必须保证采集红外图像和散斑图像的时间间隔非常短。采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。第一阈值一般是一个比较小的值，可以根据被拍摄物体的变化规律进行调整。被拍摄物体的变化越快，对应获取的第一阈值越小。假设被拍摄物体长时间处于静止状态的话，该第一阈值就可以设置为一个较大的值。具体的，获取被拍摄物体的变化速度，根据该变化速度获取对应的第一阈值。

举例来说，当手机需要通过人脸进行认证解锁时，用户可以点击解锁键发起解锁指令，并将前置摄像头对准脸部进行拍摄。手机会将解锁指令发送到第一处理单元，第一处理单元再控制摄像头进行工作。首先通过第一摄像头模组采集红外图像，间隔1毫秒时间后，再控制第二摄像头模组采集散斑图像，并通过采集的红外图像和散斑图像进行认证解锁。

步骤304，摄像头模组将采集的红外图像和散斑图像发送到第二处理单元。

步骤306，第二处理单元获取参考图像，参考图像为标定得到的带有参考深度信息的图像。

电子设备会预先对激光散斑进行标定得到一张参考图像，并将参考图像存储在电子设备中。一般地，参考图像是将激光散斑照射到一个参考平面而形成的，参考图像也是一张带有若干个散斑点的图像，每个散斑点都有对应的参考深度信息。当需要获取被拍摄物体的深度信息时，就可以将实际采集的散斑图像与参考图像进行比较，并根据实际采集的散斑图像中散斑点的偏移量来计算实际的深度信息。

图4为一个实施例中计算深度信息的原理图。如图4所示，镭射灯402可以生成激光散斑，激光散斑经过物体进行反射后，通过激光摄像头404获取形成的图像。在摄像头的标定过程中，镭射灯402发射的激光散斑会经过参考平面408进行反射，然后通过激光摄像头404采集反射光线，通过成像平面410成像得到参考图像。参考平面408到镭射灯402的参考深度为L，该参考深度为已知的。在实际计算深度信息的过程中，镭射灯402发射的激光散斑会经过物体406进行反射，再由激光摄像头404采集反射光线，通过成像平面410成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为：

其中，L是镭射灯402到与参考平面408之间的距离，f为激光摄像头404中透镜的焦距，CD为镭射灯402到激光摄像头404之间的距离，AB为物体406的成像与参考平面408的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体406到镭射灯402之间的距离Dis大于参考平面408到镭射灯402之间的距离L时，AB为负值；当物体406到镭射灯402之间的距离Dis小于参考平面408到镭射灯402之间的距离L时，AB为正值。

步骤308，将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量。

具体地，遍历散斑图像中每一个像素点(x,y)，以该像素点为中心，选择一个预设大小像素块。例如，可以是选取31pixel*31pixel大小的像素块。然后在参考图像上搜索相匹配的像素块，计算在参考图像上匹配的像素点的坐标与像素点(x,y)坐标的水平偏移量，向右偏移即为正，向左偏移记为负。再把计算出的水平偏移量带入公式(1)可以得到像素点(x,y)的深度信息。这样依次计算散斑图像中每个像素点的深度信息，就可以得到带有散斑图像中各个像素点所对应的深度信息。

步骤310，根据偏移信息和参考深度信息计算得到深度图像。

深度图像可以用于表示红外图像对应的深度信息，深度图像中包含的每一个像素点表示一个深度信息。具体地，参考图像中的每一个散斑点都对应一个参考深度信息，当获取到参考图像中散斑点与散斑图像中散斑点的水平偏移量后，可以根据该水平偏移量计算得到散斑图像中的物体到参考平面的相对深度信息，然后再根据相对深度信息和参考深度信息，就可以计算得到物体到摄像头的实际深度信息，即得到最后的深度图像。

步骤312，将红外图像和深度图像发送到第一处理单元中。

第一处理单元和第二处理单元可以通过一个安全缓冲区(secure buffer)进行连接，这样第二处理单元计算得到的红外图像和深度图像就可以通过安全缓冲区发送给第一处理单元，保证图像处理的安全性。

步骤314，第一处理单元根据红外图像检测人脸图像，并对人脸图像进行识别处理。

第一处理单元在接收到上述红外图像和深度图像后，根据红外图像和深度图像进行人脸识别处理。人脸识别的过程包括人脸认证阶段和活体检测阶段，人脸认证阶段是指识别人脸身份的过程，活体检测阶段是指识别被拍摄人脸是否为活体的过程。在人脸认证阶段，第一处理单元可以对红外图像进行人脸检测，检测红外图像中是否存在人脸；若红外图像中存在人脸，则提取红外图像中包含的人脸图像；再将提取的人脸图像与电子设备中存储的人脸图像进行匹配，若匹配成功，则人脸认证成功。

在对人脸图像进行匹配的时候，可以提取人脸图像的人脸属性特征，在将提取的人脸属性特征与电子设备中存储的人脸图像的人脸属性特征进行匹配，若匹配值超过匹配阈值，则认为人脸认证成功。例如，可以提取人脸图像中人脸的偏转角度、亮度信息、五官特征等特征作为人脸属性特征，若提取的人脸属性特征与存储的人脸属性特征匹配度超过90％，则认为人脸认证成功。

步骤316，根据深度图像和红外图像进行活体检测处理。

一般地，在对人脸进行认证的过程中，可以根据采集的红外图像认证人脸图像是否与预设的人脸图像匹配。假设拍摄的为照片、雕塑等人脸时，也可能认证成功。因此，可以需要根据采集的深度图像和红外图像进行活体检测处理，这样必须保证采集的是活体的人脸才能认证成功。可以理解的是，采集的红外图像可以表示人脸的细节信息，采集深度图像可以表示红外图像对应的深度信息，根据深度图像和红外图像可以进行活体检测处理。例如，被拍摄的人脸为照片中的人脸的话，根据深度图像就可以判断采集的人脸不是立体的，则可以认为采集的人脸为非活体的人脸。

具体地，根据上述深度图像进行活体检测包括：在深度图像中查找与上述人脸图像对应的人脸深度信息，若上述深度图像中存在与上述人脸图像对应的人脸深度信息，且上述人脸深度信息符合人脸立体规则，则上述人脸图像为活体人脸图像。上述人脸立体规则是带有人脸三维深度信息的规则。可选地，第一处理单元还可采用人工智能模型对上述红外图像和深度图像进行人工智能识别，获取上述人脸图像对应的活体属性特征，并根据获取的活体属性特征判断上述人脸图像是否为活体人脸图像。活体属性特征可以包括人脸图像对应的肤质特征、纹理的方向、纹理的密度、纹理的宽度等，若上述活体属性特征符合人脸活体规则，则认为上述人脸图像具有生物活性，即为活体人脸图像。可以理解的是，第一处理单元进行人脸检测、人脸认证、活体检测等处理时，处理顺序可以根据需要进行调换。例如，可以先对人脸进行认证，再检测人脸是否为活体。也可以先检测人脸是否为活体，再对人脸进行认证。

第一处理单元根据红外图像和深度图像进行活体检测的方法具体可以包括：获取连续多帧红外图像和深度图像，根据上述红外图像和深度图像检测人脸是否有对应的深度信息，若人脸有对应的深度信息，再通过连续多帧红外图像和深度图像检测人脸是否有变化，例如人脸是否眨眼、摆动、张嘴等。若检测到人脸存在对应的深度信息且人脸有变化，则判断该人脸为活体人脸。上述第一处理单元在进行人脸识别处理时，若人脸认证未通过则不再进行活体检测，或活体检测未通过则不再进行人脸认证。

步骤318，获取发起图像采集指令的应用程序的应用等级，根据应用等级获取对应的精度等级。

在本申请提供的实施例中，电子设备中可以安装应用程序，应用程序是指电子设备中针对某种应用目的所撰写的软体，电子设备可以通过应用程序实现对用户的需求服务。例如，用户可以通过游戏类应用程序玩游戏，也可以通过支付类应用程序进行交易支付，还可以通过音乐类应用程序播放音乐等。第一处理单元对人脸进行识别后，可以将识别结果发送给应用程序，同时还可以将采集的红外图像和/或深度图像发送给应用程序。在发送红外图像和/或深度图像的时候，可以对不同的应用程序发送不同精度的红外图像和/或深度图像。

具体地，可以获取发起图像采集指令的应用程序的应用等级，根据应用等级获取对应的精度等级。应用等级可以表示应用程序对应的重要等级。一般应用程序的应用等级越高，发送的图像的精度越高。电子设备可以预先设置应用程序的应用等级，并建立应用等级与精度等级的对应关系，根据应用等级可以获取对应的精度等级。例如，可以将应用程序分为系统安全类应用程序、系统非安全类应用程序、第三方安全类应用程序、第三方非安全类应用程序等四个应用等级，对应的精度等级逐渐降低。

步骤320，根据精度等级调整红外图像和/或深度图像的精度，将调整后的红外图像和/或深度图像发送给应用程序。

红外图像和/或深度图像精度可以表现为图像的分辨率，或者散斑图像中包含的散斑点的个数，这样根据散斑图像得到的深度图像的精度也会不同。具体地，调整图像精度可以包括：根据精度等级调整红外图像和/或深度图像的分辨率；或，根据精度等级调整采集的散斑图像中包含的散斑点的个数，并根据散斑图获取深度图像。其中，散斑图像中包含的散斑点的个数可以通过软件的方式进行调整，也可以通过硬件的方式进行调整。软件方式调整时，可直接检测采集的散斑图中的散斑点，并将部分散斑点进行合并或消除处理，这样调整后的散斑图中包含的散斑点的数量就减少了。硬件方式调整时，可以调整镭射灯衍射生成的激光散斑点的个数。例如，精度高时，生成的激光散斑点的个数为30000个；精度较低时，生成的激光散斑点的个数为20000个。这样对应计算得到的深度图像的精度就会相应地降低。

具体的，可在镭射灯中预置不同的衍射光学元件(Diffractive OpticalElements，DOE)，其中不同DOE衍射形成的散斑点的个数不同。根据精度等级切换不同的DOE进行衍射生成散斑图像，并根据得到的散斑图像得到不同精度的深度图。当应用程序的应用等级较高时，对应的精度等级也比较高，镭射灯可控制散斑点个数较多的DOE来发射激光散斑，从而获取散斑点个数较多的散斑图像；当应用程序的应用等级较低时，对应的精度等级也比较低，镭射灯可控制散斑点个数较少的DOE来发射激光散斑，从而获取散斑点个数较少的散斑图像。

在一个实施例中，应用程序采集的图像可能会用于不同的应用操作，例如，可以通过采集的深度图像来完成对RGB图像中的人像进行美颜处理，也可以通过采集的深度图像来将2D图像转换为3D图像，还可以通过采集的图像进行支付、解锁等认证处理。则接收到图像采集指令之后，可以获取图像采集指令的安全等级，不同安全等级的应用操作，发送图像的通道不同。

具体地，获取图像采集指令的安全等级，并将人脸识别结果通过安全等级对应的数据传输通道发送给应用程序。人脸识别结果中可包括红外图像、深度图像、人脸认证结果和活体检测结果等，数据传输通道包括安全传输通道和非安全传输通道，安全传输通道的安全级别较高，非安全传输通道的安全级别较低。图像通过安全传输通道传输时，可对图像进行加密后再传输。安全等级较高的图像采集指令对应安全传输通道，安全等级较低的图像采集指令对应非安全传输通道。例如，在支付过程中发起的图像采集指令可通过安全传输通道传输图像，在拍摄过程中发起的图像采集指令可通过非安全传输通道传输图像。

通过安全传输通道传输图像具体可以包括：将人脸识别结果进行加密处理，并将加密后的人脸识别结果发送给应用程序。可以理解的是，散斑图是指通过激光摄像头采集的激光散斑照射到物体上所形成的图像，不同的镭射灯所形成激光散斑是具有唯一性的。因此可以将获取的散斑图像或参考图像作为加密的密钥，对人脸识别结果进行加密处理。例如，可以将散斑图像直接与红外图像进行叠加，得到加密后的深度图像。也可以将散斑图像对应的像素矩阵与红外图像对应的像素矩阵进行乘积运算，得到加密后的深度图像。也可以取参考图像或散斑图像中某一个或多个像素点对应的像素值作为加密密钥，对深度图像或红外图像进行加密处理，具体加密算法在本实施例不做限定。

在本申请提供的实施例中，获取红外图像和散斑图像的步骤具体还可以包括：

步骤502，第一处理单元获取图像采集指令中包含的时间戳。

具体地，应用程序在发送图像采集指令时，图像采集指令中可包含一个时间戳，该时间戳用于记录应用程序生成该图像采集指令的时刻。当第一处理单元接收到图像采集指令时，第一处理单元可从图像采集指令中获取时间戳，根据该时间戳判断生成该图像采集指令的时刻。

步骤504，在第一时刻控制摄像头模组采集红外图像，第一时刻与时间戳之间的时间间隔小于第二阈值。

第一处理单元在获取到图像采集指令中包含的时间戳之后，可获取当前时刻。若当前时刻与时间戳之间的时间间隔小于第二阈值，则控制摄像头模组采集红外图像；若当前时刻与时间戳之间的时间间隔大于第二阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。

步骤506，在第二时刻控制摄像头模组采集散斑图像，第二时刻与时间戳之间的时间间隔小于第三阈值。

摄像头模组采集红外图像之后，第一处理单元可控制摄像头模组采集散斑图像，采集散斑图像的第二时刻与第一时刻之间的时间间隔小于第一阈值，同时第二时刻与时间戳之间的时间间隔小于第三阈值。若第二时刻与第一时刻之间的时间间隔大于第一阈值，或第二时刻与时间戳之间的时间间隔大于第三阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。可以理解的是，采集散斑图像的第二时刻可以大于采集红外图像的第一时刻，也可以小于采集红外图像的第一时刻，在此不做限定。

具体地，电子设备可分别设置泛光灯控制器和镭射灯控制器，第一处理单元通过两路PWM分别连接泛光灯控制器和镭射灯控制器，当第一处理单元需要控制泛光灯开启或镭射灯开启时，可通过PWM向泛光灯控制器发射脉冲波控制泛光灯开启或向镭射灯控制器发射脉冲波控制镭射灯开启，通过PWM分别向两个控制器发射脉冲波来控制采集红外图像和散斑图像之间的时间间隔。采集到的红外图像和散斑图像之间的时间间隔低于第一阈值，可保证采集到的红外图像和散斑图像的一致性，避免红外图像和散斑图像之间存在较大的误差，提高了对图像处理的准确性。

在本申请提供的实施例中，摄像头模组可能会产生角度偏移，使得获取的红外图像和散斑图像产生偏移，这样可以在计算深度图像之前将摄像头模组采集的红外图像和散斑图像进行校正。校正的步骤具体可以包括：

步骤602，第二处理单元分别将红外图像和散斑图像进行校正，得到校正红外图像和校正散斑图像。

其中，第二处理单元对上述红外图像和散斑图像分别进行校正，是指校正上述红外图像和散斑图像中内外参数。例如，激光摄像头产生偏转，那么获取的红外图像和散斑图像就需要对该偏转产生的误差进行校正，得到标准的红外图像和散斑图像。在对上述红外图像校正后可得到校正红外图像，对上述散斑图像进行校正可得到校正散斑图像。具体地，可以根据红外图像计算得到红外视差图像，再根据红外视差图像对红外图像进行内外参数校正，得到校正红外图像。根据散斑图像计算得到散斑视差图像，再根据散斑视差图像对散斑图像进行内外参数校正，得到校正散斑图像。

步骤604，根据校正散斑图像计算得到深度图像，并将校正红外图像和深度图像发送到第一处理单元中。

校正后得到的红外图像和散斑图像，为消除误差后的红外图像和散斑图像。第二处理单元可根据校正散斑图像计算得到深度图像，然后将校正红外图像和深度图像发送到第一处理单元中。第一处理单元再根据校正红外图像和深度图像进行人脸识别处理。

步骤606，第一处理单元根据校正红外图像和深度图像进行人脸识别处理。

上述实施例提供的图像处理方法，在第一处理单元接收到图像采集指令时，第一处理单元会控制摄像头模组采集红外图像和散斑图像，并将红外图像和散斑图像发送到第二处理单元。第二处理单元根据散斑图像计算得到深度图像，然后将红外图像和深度图像发送给第一处理单元。第一处理单元会根据深度图像和红外图像进行人脸识别处理。这样通过第一处理单元和第二处理单元共同完成对图像的处理，提高了图像的处理速度。

应该理解的是，虽然图2、图3、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例中实现图像处理方法的硬件结构图。如图7所示，该硬件结构中包括第一处理单元70、摄像头模组72和第二处理单元74。摄像头模组72中包括激光摄像头720、泛光灯722、可见光摄像头724和镭射灯726。其中，CPU中可包括处于TEE下的处理器内核与处于REE下的处理器内核，TEE和REE均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式，第一处理单元70即为处于TEE下的CPU内核。通常情况下，CPU在处理安全性较高的操作行为时，需要将处理器内核切换到TEE下执行，安全性较低的操作行为则可在REE下执行。第二处理单元74则是在CPU空间中开辟的DSP安全处理模块。本申请实施例中，当第一处理单元70接收到应用程序的图像采集指令，例如当应用程序需要人脸信息进行解锁、应用程序需要人脸信息进行支付时，第一处理单元70可通过PWM模块发射脉冲波控制摄像头模组72中泛光灯722开启来采集红外图像，然后控制摄像头模组72中镭射灯726开启来采集散斑图像。摄像头模组72可将采集到的散斑图像传送给第二处理单元74中，第二处理单元74可根据散斑图像计算得到深度图像，并将计算得到的深度图像发送给第一处理单元70。第一处理单元70会根据红外图像进行人脸认证，检测上述红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述红外图像和深度图像来进行活体检测，判断上述人脸是否为活体人脸。在一个实施例中，第二处理单元74在获取到红外图像和深度图像后，可先进行活体检测再进行人脸认证，也可以先进行活体检测再进行人脸认证。在第一处理单元72进行人脸认证和活体检测处理后，会将处理结果发送给应用程序，应用程序再根据检测结果进行解锁、支付等应用操作。

图8为一个实施例中实现图像处理方法的软件架构示意图。如图8所示，该软件架构包括应用层810、操作系统820和安全运行环境830。其中，处于安全运行环境830中的模块包括第一处理单元831、摄像头模组832、第二处理单元833、安全服务模块834和加密模块835等；操作系统830中包含安全管理模块821、人脸管理模块822、摄像头驱动823和摄像头框架824；应用层810中包含应用程序811。应用程序811可以发起图像采集指令，并将图像采集指令发送给第一处理单元831进行处理。例如，在通过采集人脸进行支付、解锁、美颜、增强现实技术(Augmented Reality，AR)等操作时，应用程序会发起采集人脸图像的图像采集指令。第一处理单元831接收到图像采集指令之后，会根据图像采集指令控制摄像头模组832采集红外图像和散斑图像，摄像头模组832采集的红外图像和散斑图像传输给第二处理单元833。第二处理单元833根据散斑图像计算得到包含深度信息的深度图像，然后将红外图像和深度图像发送给第一处理单元831。第一处理单元831会根据红外图像进行人脸认证，检测上述红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述红外图像和深度图像来进行活体检测，判断上述人脸是否为活体人脸。第一处理单元831会判断图像采集指令对应的安全等级。若采集的图像是用于支付、解锁等安全应用操作时，会通过安全传输通道将采集的红外图像、深度图像以及检测结果发送到应用程序811。具体地，第一处理单元831可以将红外图像、深度图像以及检测结果发送给安全服务模块834，再有由安全服务模块834将红外图像、深度图像以及检测结果发送到加密模块835。加密模块835可以对上述红外图像、深度图像以及检测结果进行加密处理，然后再将加密处理后的红外图像、深度图像以及检测结果发送给安全管理模块821。一般地，不同的应用程序811都有对应的安全管理模块821，安全管理模块821会将加密后的红外图像、深度图像以及检测结果进行解密处理，并将解密处理后得到的红外图像、深度图像以及检测结果发送给相应的人脸管理模块822。人脸管理模块822会将红外图像、深度图像以及检测结果发送给上层的应用程序811，应用程序811再根据红外图像、深度图像以及检测结果进行相应的操作。当获取的深度图像是用于美颜、AR等非安全应用操作时，第一处理单元831可以将红外图像和深度图像可以直接通过非安全传输通道发送给摄像头驱动823，摄像头驱动823再将红外图像和深度图像发送给摄像头框架824，再由摄像头框架824发送给人脸管理模块822或应用程序811。其中，安全传输通道和非安全传输通道的切换是由第一处理单元833来完成的。

图9为一个实施例中图像处理装置的结构示意图。如图9所示，该图像处理装置900包括图像获取模块902、图像传输模块904、图像计算模块906和人脸识别模块908。其中：

图像获取模块902，用于若第一处理单元接收到图像采集指令，则通过所述第一处理单元根据所述图像采集指令控制摄像头模组采集目标图像。

图像传输模块904，用于通过所述摄像头模组将采集的所述目标图像发送到处于第二处理单元。

图像计算模块906，用于通过所述第二处理单元根据所述目标图像计算得到深度图像，并将所述目标图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述目标图像对应的深度信息。

人脸识别模块908，用于通过所述第一处理单元根据所述目标图像和深度图像进行人脸识别处理。

上述实施例提供的图像处理装置，在第一处理单元接收到图像采集指令时，第一处理单元会控制摄像头模组采集目标图像，并将目标图像发送到第二处理单元。第二处理单元根据目标图像计算得到深度图像，然后将目标图像和深度图像发送给第一处理单元。第一处理单元会根据目标图像和红外图像进行人脸识别处理。这样第一处理单元和第二处理单元共同对目标图像进行处理，提高了数据处理速度。

图10为另一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括图像获取模块1002、图像传输模块1004、图像计算模块1006、人脸识别模块1008和结果发送模块1010。其中：

图像获取模块1002，用于若第一处理单元接收到图像采集指令，则通过所述第一处理单元根据所述图像采集指令控制摄像头模组采集红外图像和散斑图像。

图像传输模块1004，用于通过所述摄像头模组将采集的所述红外图像和散斑图像发送到第二处理单元。

图像计算模块1006，用于通过所述第二处理单元根据所述散斑图像计算得到深度图像，并将所述红外图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述红外图像对应的深度信息。

人脸识别模块1008，用于通过所述第一处理单元根据所述红外图像和深度图像进行人脸识别处理。

结果发送模块1010，用于获取所述图像采集指令的安全等级，并将人脸识别结果通过所述安全等级对应的数据传输通道发送给所述应用程序。

上述实施例提供的图像处理装置，在第一处理单元接收到图像采集指令时，第一处理单元会控制摄像头模组采集红外图像和散斑图像，并将红外图像和散斑图像发送到第二处理单元。第二处理单元根据散斑图像计算得到深度图像，然后将红外图像和深度图像发送给第一处理单元。第一处理单元会根据深度图像和红外图像进行人脸识别处理。这样第一处理单元和第二处理单元共同对图像进行处理，提高了数据处理速度。。

在一个实施例中，图像获取模块1002还用于通过所述第一处理单元根据所述图像采集指令控制第一摄像头模组采集红外图像，并控制第二摄像头模组采集散斑图像；其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。

在一个实施例中，图像获取模块1002还用于通过所述第一处理单元获取所述图像采集指令中包含的时间戳；在第一时刻控制摄像头模组采集红外图像，所述第一时刻与所述时间戳之间的时间间隔小于第二阈值；在第二时刻控制摄像头模组采集散斑图像，所述第二时刻与所述时间戳之间的时间间隔小于第三阈值。

在一个实施例中，图像计算模块1006还用于通过所述第二处理单元获取参考图像，所述参考图像为标定得到的带有参考深度信息的图像；将所述参考图像与散斑图像进行比较得到偏移信息，所述偏移信息用于表示所述散斑图像中散斑点相对于所述参考图像中对应散斑点的水平偏移量；根据所述偏移信息和参考深度信息计算得到深度图像，。

在一个实施例中，图像计算模块1006还用于通过所述第二处理单元分别将所述红外图像和散斑图像进行校正，得到校正红外图像和校正散斑图像；根据校正散斑图像计算得到深度图像，并将所述校正红外图像和深度图像发送到所述第一处理单元中。

在一个实施例中，人脸识别模块1008还用于通过所述第一处理单元根据所述校正红外图像和深度图像进行人脸识别处理。

在一个实施例中，人脸识别模块1008还用于通过所述第一处理单元根据所述红外图像检测人脸图像，并对所述人脸图像进行识别处理；根据所述深度图像和红外图像进行活体检测处理。

在一个实施例中，结果发送模块1010还用于获取发起所述图像采集指令的应用程序的应用等级，根据所述应用等级获取对应的精度等级；根据所述精度等级调整所述红外图像和/或深度图像的精度，将调整后的红外图像和/或深度图像发送给所述应用程序。

在一个实施例中，结果发送模块1010还用于根据所述精度等级调整所述红外图像和/或深度图像的分辨率；或，根据所述精度等级调整采集的散斑图像中包含的散斑点的个数，并根据所述散斑图获取深度图像。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。

本申请实施例还提供了一种电子设备。该电子设备的内部结构如图7所示。该电子设备第一处理单元70、摄像头模组72和第二处理单元74，第一处理单元70分别与摄像头模组72和第二处理单元74相连，摄像头模组72与第二处理单元74相连；

其中，第一处理单元70用于若接收到图像采集指令，则根据图像采集指令控制摄像头模组72采集目标图像；接收第二处理单元74发送的目标图像和深度图像，并根据目标图像和深度图像进行人脸识别处理；

摄像头模组72用于将采集的目标图像和散斑图像发送到第二处理单元74；

第二处理单元74用于根据目标图像计算得到深度图像，并将目标图像和深度图像发送到第一处理单元70中，深度图像用于表示目标图像对应的深度信息。

在一个实施例中，第一处理单元70还用于根据图像采集指令控制第一摄像头模组采集红外图像，并控制第二摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

在一个实施例中，第一处理单元70还用于获取图像采集指令中包含的时间戳；在第一时刻控制摄像头模组72采集红外图像，第一时刻与时间戳之间的时间间隔小于第二阈值；在第二时刻控制摄像头模组72采集散斑图像，第二时刻与时间戳之间的时间间隔小于第三阈值。

在一个实施例中，第二处理单元74还用于获取参考图像，参考图像为标定得到的带有参考深度信息的图像；将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量；根据偏移信息和参考深度信息计算得到深度图像。

在一个实施例中，第二处理单元74还用于分别将红外图像和散斑图像进行校正，得到校正红外图像和校正散斑图像；根据校正散斑图像计算得到深度图像，并将校正红外图像和深度图像发送到第一处理单元70中；第一处理单元70还用于根据校正红外图像和深度图像进行人脸识别处理。

在一个实施例中，第一处理单元70还用于根据红外图像检测人脸图像，并对人脸图像进行识别处理；根据深度图像和红外图像进行活体检测处理。

在一个实施例中，第一处理单元70还用于获取发起图像采集指令的应用程序的应用等级，根据应用等级获取对应的精度等级；根据精度等级调整红外图像和/或深度图像的精度，将调整后的红外图像和/或深度图像发送给应用程序。

在一个实施例中，第一处理单元70还用于根据精度等级调整红外图像和/或深度图像的分辨率；或，根据精度等级调整采集的散斑图像中包含的散斑点的个数，并根据散斑图获取深度图像。

在一个实施例中，第一处理单元70还用于获取图像采集指令的安全等级，并将人脸识别结果通过安全等级对应的数据传输通道发送给应用程序。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (30)

1.一种图像处理方法，其特征在于，包括：

若第一处理单元接收到图像采集指令，则所述第一处理单元根据所述图像采集指令控制摄像头模组采集红外图像及散斑图像；

所述摄像头模组将采集的所述红外图像及所述散斑图像发送到第二处理单元；

所述第二处理单元根据所述散斑图像计算得到深度图像，并将所述红外图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述红外图像对应的深度信息；和

所述第一处理单元根据所述红外图像和所述深度图像进行人脸识别处理；

其中，在需要获取安全级别满足预定要求的数据时，所述第一处理单元处于第一安全环境，所述第二处理单元处于第二安全环境，所述第一安全环境与所述第二安全环境不同。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一安全环境为可信执行环境，所述第一处理单元为可信执行环境下的中央处理器的内核，所述第二安全环境是指所述第二处理单元为数字信号处理器中的安全处理模块；在需要获取安全级别满足预定要求的数据时，所述第一处理单元由自然执行环境切换到所述可信执行环境。

3.根据权利要求2所述的图像处理方法，其特征在于，当所述中央处理器为多核时，在需要获取安全级别满足预定要求的数据时，所述第一处理单元由所述自然执行环境切换到所述可信执行环境，其他内核仍运行在所述自然执行环境中。

4.根据权利要求1所述的图像处理方法，其特征在于，所述第一处理单元和所述第二处理单元通过安全缓冲区连接，所述第二处理单元将所述深度图像及所述红外图像通过所述安全缓冲区发送给所述第一处理单元。

5.根据权利要求1-4任意一项所述的图像处理方法，其特征在于，所述摄像头模组包括第一摄像头模组和第二摄像头模组；所述第一处理单元根据所述图像采集指令控制摄像头模组采集红外图像及散斑图像，包括：

所述第一处理单元根据所述图像采集指令控制所述第一摄像头模组采集红外图像，及控制所述第二摄像头模组采集散斑图像；其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。

6.根据权利要求5所述的图像处理方法，其特征在于，所述图像采集指令来自应用程序并包含时间戳，所述时间戳用于记录所述应用程序生成所述图像采集指令的时刻；所述第一时刻与所述时间戳之间的时间间隔小于第二阈值，所述第二时刻与所述时间戳之间的时间间隔小于第三阈值。

7.根据权利要求5所述的图像处理方法，其特征在于，所述图像采集指令来自应用程序并包含时间戳，所述时间戳用于记录所述应用程序生成所述图像采集指令的时刻；所述图像处理方法，还包括：

若所述第二时刻与第一时刻之间的时间间隔大于所述第一阈值，或所述第二时刻与所述时间戳之间的时间间隔大于第三阈值，则向所述应用程序返回响应超时的提示信息。

8.根据权利要求1所述的图像处理方法，其特征在于，所述第二处理单元根据所述散斑图像计算得到深度图像，并将所述红外图像和深度图像发送到所述第一处理单元中，包括：

所述第二处理单元分别将所述红外图像和散斑图像进行校正，得到校正红外图像和校正散斑图像；和

根据所述校正散斑图像计算得到深度图像，并将所述校正红外图像和所述深度图像发送到所述第一处理单元中；

所述第一处理单元根据所述红外图像和所述深度图像进行人脸识别处理，包括：

所述第一处理单元根据所述校正红外图像和所述深度图像进行人脸识别处理。

9.根据权利要求1所述的图像处理方法，其特征在于，所述第一处理单元根据所述红外图像和所述深度图像进行人脸识别处理，包括：

所述第一处理单元根据所述红外图像检测人脸图像，并根据所述人脸图像进行人脸认证处理；

获取连续多帧红外图像和深度图像；

根据所述红外图像和所述深度图像检测人脸是否有对应的深度信息；

若人脸有对应的深度信息，通过连续多帧所述红外图像和所述深度图像检测人脸是否有变化；和

若检测到人脸有变化，则确定该人脸为活体人脸。

10.根据权利要求1所述的图像处理方法，其特征在于，所述第一处理单元根据所述红外图像和所述深度图像进行人脸识别处理，包括：

所述第一处理单元根据所述红外图像检测人脸图像，并根据所述人脸图像进行人脸认证处理；

采用人工智能模型对所述红外图像和所述深度图像进行人工智能识别，以获取所述人脸图像对应的活体属性特征；和

若获取的所述活体属性特征符合人脸活体规则，则确定所述人脸图像为活体人脸图像，所述活体属性特征包括人脸图像对应的肤质特征、纹理的方向、纹理的密度、及纹理的宽度中的一种。

11.根据权利要求1所述的图像处理方法，其特征在于，所述图像采集指令来自应用程序，所述图像处理方法还包括：

所述第一处理单元将人脸识别结果发送给所述应用程序，所述人脸识别结果包括红外图像、深度图像、人脸认证结果和活体检测结果。

12.根据权利要求11所述的图像处理方法，其特征在于，还包括：

获取所述应用程序的应用等级，根据所述应用等级获取对应的精度等级；

所述第一处理单元将人脸识别结果发送给所述应用程序，包括：

根据所述精度等级调整所述红外图像和/或所述深度图像的精度，将调整后的所述红外图像和/或所述深度图像发送给所述应用程序。

13.根据权利要求12所述的图像处理方法，其特征在于，所述根据所述精度等级调整所述红外图像和/或所述深度图像的精度，包括：

根据所述精度等级调整所述红外图像和/或所述深度图像的分辨率；或，

根据所述精度等级调整采集的散斑图像中包含的散斑点的个数，并根据所述散斑图获取所述深度图像。

14.根据权利要求11所述的图像处理方法，其特征在于，还包括：

获取所述图像采集指令的安全等级；

当安全等级高于预定要求时，所述第一处理单元将所述人脸识别结果通过安全传输通道发送给所述应用程序；和

当安全等级低于预定要求时，所述第一处理单元将人脸识别结果通过非安全传输通道发送给所述应用程序。

15.根据权利要求14所述的图像处理方法，其特征在于，所述第一处理单元将人脸识别结果通过安全传输通道发送给所述应用程序，包括：

将所述散斑图像或参考图像作为加密的密钥，对人脸识别结果进行加密处理后发送给所述应用程序。

16.一种电子设备，其特征在于，包括：第一处理单元、摄像头模组和第二处理单元，所述第一处理单元分别与所述摄像头模组和第二处理单元相连，所述摄像头模组与第二处理单元相连；

若第一处理单元接收到图像采集指令，则根据所述图像采集指令控制摄像头模组采集红外图像及散斑图像；

所述摄像头模组用于将采集的所述红外图像及所述散斑图像发送到第二处理单元；

所述第二处理单元用于根据所述散斑图像计算得到深度图像，并将所述红外图像和深度图像发送到所述第一处理单元中，所述深度图像用于表示所述红外图像对应的深度信息；和

所述第一处理单元用于根据所述红外图像和所述深度图像进行人脸识别处理；

其中，在需要获取安全级别满足预定要求的数据时，所述第一处理单元处于第一安全环境，所述第二处理单元处于第二安全环境，所述第一安全环境与所述第二安全环境不同。

17.根据权利要求16所述的电子设备，其特征在于，所述第一安全环境为可信执行环境，所述第一处理单元为可信执行环境下的中央处理器的内核，所述第二安全环境是指所述第二处理单元为数字信号处理器中的安全处理模块。；在需要获取安全级别满足预定要求的数据时，所述第一处理单元由自然执行环境切换到所述可信执行环境。

18.根据权利要求17所述的电子设备，其特征在于，当所述中央处理器为多核时，在需要获取安全级别满足预定要求的数据时，所述第一处理单元由所述自然执行环境切换到所述可信执行环境，其他内核仍运行在所述自然执行环境中。

19.根据权利要求16所述的电子设备，其特征在于，所述第一处理单元和所述第二处理单元通过安全缓冲区连接，所述第二处理单元将所述深度图像及所述红外图像通过所述安全缓冲区发送给所述第一处理单元。

20.根据权利要求16-19任意一项所述的电子设备，其特征在于，所述摄像头模组包括第一摄像头模组和第二摄像头模组；所述第一处理单元根据所述图像采集指令控制所述第一摄像头模组采集红外图像，及控制所述第二摄像头模组采集散斑图像；其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。

21.根据权利要求20所述的电子设备，其特征在于，所述图像采集指令来自应用程序并包含时间戳，所述时间戳用于记录所述应用程序生成所述图像采集指令的时刻；所述第一时刻与所述时间戳之间的时间间隔小于第二阈值，所述第二时刻与所述时间戳之间的时间间隔小于第三阈值。

22.根据权利要求20所述的电子设备，其特征在于，所述图像采集指令来自应用程序并包含时间戳，所述时间戳用于记录所述应用程序生成所述图像采集指令的时刻；若所述第二时刻与第一时刻之间的时间间隔大于所述第一阈值，或所述第二时刻与所述时间戳之间的时间间隔大于第三阈值，则第一处理模块向所述应用程序返回响应超时的提示信息。

23.根据权利要求16所述的电子设备，其特征在于，所述第二处理单元分别将所述红外图像和散斑图像进行校正，得到校正红外图像和校正散斑图像；及根据所述校正散斑图像计算得到深度图像，并将所述校正红外图像和所述深度图像发送到所述第一处理单元中；

所述第一处理单元根据所述校正红外图像和所述深度图像进行人脸识别处理。

24.根据权利要求16所述的电子设备，其特征在于，所述第一处理单元还用于：

根据所述红外图像检测人脸图像，并根据所述人脸图像进行人脸认证处理；

获取连续多帧红外图像和深度图像；

根据所述红外图像和所述深度图像检测人脸是否有对应的深度信息；

若人脸有对应的深度信息，通过连续多帧所述红外图像和所述深度图像检测人脸是否有变化；和

若检测到人脸有变化，则确定该人脸为活体人脸。

25.根据权利要求16所述的电子设备，其特征在于，所述第一处理单元还用于：

根据所述红外图像检测人脸图像，并根据所述人脸图像进行人脸认证处理；

采用人工智能模型对所述红外图像和所述深度图像进行人工智能识别，以获取所述人脸图像对应的活体属性特征；和

若获取的所述活体属性特征符合人脸活体规则，则确定所述人脸图像为活体人脸图像，所述活体属性特征包括人脸图像对应的肤质特征、纹理的方向、纹理的密度、及纹理的宽度中的一种。

26.根据权利要求16所述的电子设备，其特征在于，所述图像采集指令来自应用程序，所述第一处理单元将人脸识别结果发送给所述应用程序，所述人脸识别结果包括红外图像、深度图像、人脸认证结果和活体检测结果。

27.根据权利要求26所述的电子设备，其特征在于，所述第一处理单元还用于：

获取所述应用程序的应用等级，根据所述应用等级获取对应的精度等级；和

根据所述精度等级调整所述红外图像和/或所述深度图像的精度，将调整后的所述红外图像和/或所述深度图像发送给所述应用程序。

28.根据权利要求26所述的电子设备，其特征在于，所述第一处理单元还用于获取所述图像采集指令的安全等级；当安全等级高于预定要求时，所述第一处理单元将所述人脸识别结果通过安全传输通道发送给所述应用程序；当安全等级低于预定要求时，所述第一处理单元将人脸识别结果通过非安全传输通道发送给所述应用程序。

29.根据权利要求28所述的电子设备，其特征在于，所述第一处理单元用于将所述散斑图像或参考图像作为加密的密钥，对人脸识别结果进行加密处理后发送给所述应用程序。

30.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的图像处理方法。

Images