CN111161205A

CN111161205A - 一种图像处理和人脸图像识别方法、装置及设备

Info

Publication number: CN111161205A
Application number: CN201811222689.7A
Authority: CN
Inventors: 郎平; 姚迪狄
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2018-10-19
Filing date: 2018-10-19
Publication date: 2020-05-15
Anticipated expiration: 2038-10-19
Also published as: WO2020078243A1; CN111161205B

Abstract

本申请公开了一种图像处理和人脸图像识别方法、装置及设备。方法包括：获取不同光照条件下目标对象的第一图像和第二图像，并对其中的一个进行质量评价处理，若存在质量评价值小于预设质量评价阈值的第一区域，则确定另一个中与所述第一区域对应的第二区域，并基于所述第二区域的图像数据，补偿所述第一区域。

Description

一种图像处理和人脸图像识别方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理和人脸图像识别方法、装置及设备。

背景技术

图像质量评价是图像处理中的基本技术之一，主要通过对图像进行特性分析研究，然后评估出图像优劣。

目前，当某对象的图像的质量评价值不达标时，一般是将该图像与该对象的其他种类的图像进行融合，以提高其质量评价值。

因此，需要更加可靠的方案。

发明内容

本说明书实施例提供一种图像处理方法，用于优化图像质量。

本说明书实施例还提供一种图像处理方法，包括：

获取目标对象的第一图像和第二图像，所述第一图像和所述第二图像为不同光照条件下采集的图像；

对所述第一图像进行质量评价处理；

若所述第一图像中存在质量评价值小于预设质量评价阈值的第一区域时，确定所述第二图像中与所述第一区域对应的第二区域；

基于所述第二区域的图像数据，补偿所述第一区域。

本说明书实施例还提供一种人脸图像识别方法，包括：

获取目标对象的第一人脸图像和第二人脸图像，所述第一人脸图像和所述第二人脸图像为不同光照条件下采集的图像；

对所述第一人脸图像进行质量评价处理；

若所述第一人脸图像中存在质量评价值小于预设质量评价阈值的第一区域，则确定所述第二人脸图像中与所述第一区域对应的第二区域；

基于所述第二区域的图像数据，补偿所述第一区域，并识别补偿后的所述第一人脸图像。

本说明书实施例还提供一种图像处理装置，包括：

获取模块，用于获取目标对象的第一图像和第二图像，所述第一图像和所述第二图像为不同光照条件下采集的图像；

评价模块，用于对所述第一图像进行质量评价处理；

确定模块，用于若所述第一图像中存在质量评价值小于预设质量评价阈值的第一区域时，确定所述第二图像中与所述第一区域对应的第二区域；

补偿模块，用于基于所述第二区域的图像数据，补偿所述第一区域。

本说明书实施例还提供一种人脸图像识别装置，包括：

获取模块，用于获取目标对象的第一人脸图像和第二人脸图像，所述第一人脸图像和所述第二人脸图像为不同光照条件下采集的图像；

评价模块，用于对所述第一人脸图像进行质量评价处理；

确定模块，用于若所述第一人脸图像中存在质量评价值小于预设质量评价阈值的第一区域，则确定所述第二人脸图像中与所述第一区域对应的第二区域；

补偿模块，用于基于所述第二区域的图像数据，补偿所述第一区域，并识别补偿后的所述第一人脸图像。

本说明书实施例还提供一种人脸图像识别装置，包括：RGB摄像头、黑白摄像头、红外补光灯以及处理芯片；其中：

所述RGB摄像头，用于采集目标对象的RGB人脸图像；

所述红外补光灯，用于对所述目标对象的人脸发射红外光；

所述黑白摄像头，用于采集红外光照条件下的所述目标对象的红外人脸图像；

所述处理芯片，用于将所述RGB人脸图像和所述红外人脸图像中的一个作为第一人脸图像，另一个作为第二人脸图像，并执行如权利要求15至17中任一项所述的方法的步骤。

本说明书实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述图像处理方法或人脸图像识别方法的步骤。

本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像处理方法或人脸图像识别方法的步骤。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过获取同一目标对象的不同光照条件下采集的第一图像和第二图像，并对其进行区域性地质量评价，以在检测到第一图像和第二图像中的任一一个存在质量评价值小于质量评价阈值的第一区域时，使用另一个中与第一区域相对应的第二区域的图像数据补偿该第一区域，以提高图像整体质量。与现有技术中融合图像的以提高图像质量的方案相比，本方案能定位需要进行质量补偿的区域，并区域性的进行图像质量补偿，从而实现简化图像质量补偿的目的。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本说明书提供的一种应用场景的示意图；

图1b为本说明书提供的另一种应用场景的示意图；

图2为本说明书一实施例提供的一种图像处理方法的流程示意图；

图3为本说明书提供的质量评价步骤的流程示意图；

图4为本说明书提供的图像的亮度分布数据的示意图；

图5为本说明书一实施例提供的一种人脸图像识别方法的流程示意图；

图6为本说明书另一实施例提供的一种人脸图像识别方法的流程示意图；

图7为本说明书一实施例提供的硬件及系统的结构示意图；

图8为本说明书一实施例提供的黑白摄像头不同工作模式的示意图；

图9a为本说明书一实施例提供的2D红外输出每帧的数据格式的示意图；

图9b为本说明书一实施例提供的3D深度输出每帧的数据格式的示意图；

图10为本说明书一实施例提供的RGB和红外输出的每帧的数据格式的示意图；

图11为本说明书一实施例提供的一种图像处理装置的结构示意图；

图12为本说明书一实施例提供的一种人脸图像识别装置的结构示意图；

图13为本说明书一实施例提供的一种电子设备的结构示意图；

图14为本说明书另一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

正如背景技术部分陈述的，现有技术一般是通过预处理-配准-图像融合等步骤，结合不同光照条件下的图像采集优点，防止暗光、遮挡等情况下，对图像质量的影响，进而为高安全性要求的业务场景提供图像处理支持。但由于其中的预处理、配准、图像融合等步骤都是基于后期算法进行的，因此，导致算法复杂度非常大。

基于此，本发明提供一种图像处理方法，通过采集同一目标对象的不同光照条件下的第一图像和第二图像，并对其进行区域性地质量评价值，以在检测到第一图像和第二图像中的一个存在质量评价值小于质量评价阈值的第一区域时，使用另一个中与第一区域相对应的第二区域的图像数据补偿该第一区域，以提高图像整体质量。与现有技术相比，本方案能定位需要进行质量补偿的区域，进而有针对性的进行质量补偿，从而实现简化图像质量补偿的目的。

其中，图像质量评价是图像处理中的基本技术之一，主要通过对图像进行特性分析研究，然后评估出图像优劣(图像失真程度)。

为便于描述，下面将第一图像具体为RGB图像，第二图像具体为红外图像，或则，将第一图像具体为红外图像，第二图像具体为RGB图像对本发明的应用场景进行示例性说明。

参见图1a，其一种应用场景可以为：

图像采集装置采集对象的RGB图像和红外图像，并输入至图像处理终端；

图像处理终端对RGB图像和红外图像进行图像质量评价，以确定RGB图像和红外图像中的一个是否存在质量评价值小于质量评价阈值的区域，若是，则使用另一幅图像的对应区域的图像数据进行补偿，得到补偿后的、质量评价值大于等于质量评价阈值的RGB图像和红外图像。

参见图1b，其另一种应用场景可以为：

图像采集装置采集用户的RGB人脸图像和红外人脸图像，并输入至图像处理终端；

图像处理终端对RGB人脸图像和红外人脸图像进行图像质量评价，以确定RGB人脸图像和红外人脸图像是否存在质量评价值小于质量评价阈值的区域，若是，则使用另一幅图像的对应区域的图像数据进行补偿，得到补偿后的、质量评价值大于等于质量评价阈值的RGB人脸图像和红外人脸图像，并输入至业务处理终端，否则直接将RGB人脸图像和红外人脸图像输入至业务处理终端；

业务处理终端基于补偿后的RGB人脸图像和/或红外人脸图像验证用户的身份信息及其授权信息；在验证通过后进行该用户请求的业务，并输出业务处理结果。

其中，图像采集装置可以为与图像处理终端的一体机；图像处理终端和业务处理终端可以为一体机，其可以示例为应用于图像质量优化软件、银行业务柜台、线下门店、酒店房间门禁等等，图像处理终端和业务处理终端可以为PC端，也可以为移动终端，或者叫移动通信终端是指可以在移动中使用的计算机设备，广义的讲包括手机、笔记本、平板电脑、POS机甚至包括车载电脑。但是大部分情况下是指手机或者具有多种应用功能的智能手机以及平板电脑。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2为本说明书一实施例提供的一种图像处理方法的流程示意图，该方法可由图1a中的图像处理终端执行，参见图2，具体可以包括如下步骤：

步骤220、获取目标对象的第一图像和第二图像，所述第一图像和所述第二图像为不同光照条件下采集的图像；

其中，第一图像和第二图像优选为同步采集的图像。

为便于描述，下面将本实施例中第一图像和第二图像中的一个示例为RGB图像，另一个示例为红外图像。

相应地，步骤220的一种实现方式可以为：

使用多目摄像头，同步采集目标对象的RGB图像和红外图像。

其中，多目摄像头可以为双目摄像头，也可以为三目摄像头，包括彩色摄像部分和黑白摄像部分。RGB图像是指在可见光光照条件下彩色摄像部分采集的图像，其是用RGB色彩模式来显示的图像，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色；红外图象是指红外光照条件下黑白摄像部分采集的图像，其是获取物体红外光的强度而成的图象。

步骤240、对所述第一图像进行质量评价处理；参见图3，其一种实现方式可以为：

步骤320、确定所述第一图像的质量相关参数分布数据；

其中，所述质量相关参数包括：清晰度、分辨率、亮度中的一个或多个；清晰度是指影像上各细部影纹及其边界的清晰程度；分辨率是指屏幕图像的精密度；亮度是指画面的明亮程度。

参见图4，其以RGB图像为例示出的第一图像中质量相关参数分布数据中的亮度分布数据，在该RGB图像中，由于光源部署问题，导致图像的亮度由左向右(401-406所对应的列)逐渐降低，亮度均匀值较低。

其中，区域401可以为像素级别区域，亮度取值为像素的亮度；也可以为预划分的区域大小，亮度取值为该区域的亮度均匀值。

同理，可构建清晰度、分辨率的分布数据。

步骤340、基于所述质量相关参数分布数据，确定所述第一图像的质量评价值分布数据；结合图4，具体可以示例为：

基于步骤320构建的各质量相关参数分布数据，可得到任一区域对应的亮度、清晰度、分辨率等等，然后将其与各质量相关参数对应的预设阈值进行对比，得到差值，进而基于各质量相关参数对应的差值及其预设权重，计算出该区域的质量评价值，以此类推得到其他区域的质量评价值，进而得到图像的质量评价值分布数据。

另外，由于红外图像能够保证光线均匀，因此，在第一图像为红外图像，计算质量评价值分布数据时，可忽略亮度参数；在第一图像为RGB图像，计算质量评价值分布数据时，可将红外图像的亮度均匀值作为RGB图像的亮度的预设阈值。

步骤360、基于所述质量评价值分布数据，确定所述第一图像中质量评价值小于预设质量评价阈值的区域。结合图4，具体可以示例为：

将图像中各区域的质量评价值与预设质量评价阈值进行对比，以确定其中质量评价值小于预设质量评价阈值的区域，并将该区域作为第一区域。

步骤260、若所述第一图像中存在质量评价值小于预设质量评价阈值的第一区域时，确定所述第二图像中与所述第一区域对应的第二区域；其一种实现方式可以为：

S1、对红外图像和RGB图像进行图像配准处理；具体可以示例为：

首先，对两幅图像进行特征提取处理，得到特征点，并通过进行相似性度量处理，找到匹配的特征点对；然后，通过匹配的特征点对得到图像空间坐标变换参数；最后，由坐标变换参数进行图像配准。

S2、基于配准得到的RGB图像和红外图像之间的空间坐标变换关系，确定与第一区域的坐标对应坐标的第二区域。

即，若红外图像中存在第一区域时，则确定RGB图像中的第二区域；若RGB图像中存在第一区域时，则确定红外图像中的第二区域。

在步骤260的另一种实现方式中，图像配准处理的步骤可以由多目摄像头完成，具体可以示例为：

获取多目摄像头同步采集的RGB图像和红外图像；基于多目摄像头中RGB摄像部分和红外摄像部分的之间视差，对RGB图像和红外图像进行内部标定，保证RGB图像和红外图像的画面内容完全一致，以完成配准。

步骤280、基于所述第二区域的图像数据，补偿所述第一区域。

若所述第一图像为RGB图像，所述第二图像为红外图像，其一种实现方式可以为：

若所述RGB图像的第一区域的亮度小于预设亮度阈值，则基于所述红外图像的第二区域的图像数据，补偿所述RGB图像的第一区域的亮度；或者，

若所述RGB图像的第一区域的清晰度小于预设清晰度阈值，则基于所述红外图像的第二区域的图像数据，补偿所述RGB图像的第一区域的清晰度。

若所述第一图像为红外图像，所述第二图像为RGB图像，其另一种实现方式可以为：

若所述红外图像的第一区域为被遮挡区域，则基于所述RGB图像的第二区域的图像数据，补偿所述红外图像的第一区域的所述目标对象的图像数据；或者，

若所述红外图像的第一区域的分辨率小于预设分辨率阈值，则基于所述RGB图像的第二区域的图像数据，补偿所述红外图像的第一区域分辨率。

步骤280的又一种实现方式可以为：

融合所述第一区域和所述第二区域的图像数据，并将融合后的图像数据作为补偿后的所述第一区域的图像数据。

可见，本实施例通过获取同一目标对象的不同光照条件下采集的第一图像和第二图像，并对其进行区域性地质量评价值，以在检测到第一图像和第二图像中的一个存在质量评价值小于质量评价阈值的第一区域时，使用另一个中与第一区域相对应的第二区域的图像数据补偿该第一区域，以提高图像整体质量。与现有技术中融合图像以提高图像质量的方案相比，能准确定位需要质量补偿的区域，并有针对性地进行图像数据的补偿，从而实现简化图像质量补偿的目的。

图5为本说明书一实施例提供的一种人脸图像识别方法的流程示意图，该方法可由图1b中的图像处理终端和业务处理终端共同执行，参见图5，具体可以包括如下步骤：

步骤502、获取目标对象的第一人脸图像和第二人脸图像，所述第一人脸图像和所述第二人脸图像为不同光照条件下采集的图像；

其中，第一人脸图像和第二人脸图像优选为同步采集的图像。

为便于描述，下面将本实施例中第一人脸图像和第二人脸图像中的一个示例为RGB图像，另一个示例为红外图像。相应地，需要说明的是，步骤502的一种实现方式可以为：

通过多目摄像头同步采集目标对象的RGB人脸图像和红外人脸图像；

其中，双目摄像头的彩色摄像头和黑白摄像头均处于常开状态。

步骤502的另一种实现方式可以为：

通过双目摄像头采集目标对象的RGB图像，并在确定所述RGB图像中存在人脸时，同步采集所述目标对象的RGB人脸图像和红外人脸图像；

其中，彩色摄像头处于常开状态，黑白摄像头处于常闭状态；。

步骤504、对所述第一人脸图像进行质量评价处理；

步骤506、若所述第一人脸图像中存在质量评价值小于预设质量评价阈值的第一区域时，确定所述第二人脸图像中与所述第一区域对应的第二区域；

其中，预设质量评价阈值可以为目标用户所要办理的业务要求的图像质量评价阈值。

步骤508、基于所述第二区域的图像数据，补偿所述第一区域；

对于步骤504至步骤508，其分别与图2对于的实施例中的步骤240至步骤280相对应，其实现方式也对应相似，故，此处不再对其进行赘述。

进一步地，在执行步骤510之前，还包括：检测补偿后的第一人脸图像能否满足人脸识别的要求的步骤，其一种实现方式可以为：

对补偿后的所述第一人脸图像进行质量评价处理；

若补偿后的所述第一人脸图像的质量评价值达到人脸识别质量评价要求，则允许识别补偿后的所述第一人脸图像；否则，返回步骤502，直至得到质量评价值达标的补偿后的第一图像或补偿后的第二图像。

步骤510、识别补偿后的所述第一人脸图像。其一种实现方式可以为：

对补偿后的所述第一人脸图像进行人脸特征提取处理；

基于提取出的人脸特征，进行人脸识别处理，以确定所述目标对象的身份信息。

不难理解的是，确定所述目标对象(目标用户)的身份信息后，可基于目标对象的身份信息办理相关业务。

进一步地，当确定所述目标对象的业务需求的安全度达到预设安全度阈值时，还可在办理相关业务之前，对所述目标对象进行活体检测。例如：目标对象请求办理的业务为支付，由于支付业务要求的安全度比较高，因此，还需要进一步判断目标对象是否为活体。其一种实现方式可以为：

确定所述目标对象的深度人脸图像，并基于深度人脸图像对所述目标对象进行活体检测。具体可以示例为：

首先，选择最具有区分度的特征来训练分类器；然后，将深度人脸图像对应的3D人脸数据作为训练分类器的输入，得到训练分类器输出的目标对象是活体或非活体的结果。

另外，为进一步地提供活体检测降低，还可将补偿后的第一人脸图像与深度图人脸像进行融合，并基于融合后的图像对所述目标对象进行活体检测。

活体检测步骤的另一种实现方式可以为：

确定所述目标对象的活体动作，并基于所述活体动作确定所述目标对象是否为活体。

其中，活体动作包括眨眼、摇头、张嘴等等。

可见，本实施例通过获取对象的不同光照条件下的第一人脸图像和第二人脸图像，并确定其质量评价分布数据，以在检测到第一人脸图像和第二人脸图像中的任一一个存在质量评价值小于质量评价阈值的第一区域时，使用另一个中与第一区域相对应的第二区域的图像数据补偿该第一区域，以提高人脸图像的整体质量，进而提高人脸识别精度；而且，本实施例还基于深度人脸图像对用户进行活体检测，以提高业务办理安全性。

图6为本说明书另一实施例提供的一种人脸图像识别方法的流程示意图，参见图6，该方法具体可以包括如下步骤：

步骤602、初始化硬件及系统配置；

结合图7，硬件及系统设计部分包括：RGB部分、黑白部分、IR结构光投射器、专用的ISP和SOC处理芯片、以及红外补光灯，其中：

RGB部分，即彩色摄像头Color Camera，包括：专用镜头+RGB图像传感器，用于采集正常的色彩图像，考虑到实际业务需求，使用对应规格的分辨率，例如：对于新零售场景的业务需求，使用1080P规格的分辨率(1920*1080)，专用镜头的视场角FOV较大(比如对角线110°)，按照安防规格进行定制，保证无畸变(人脸识别需要)。

黑白部分，即红外摄像头Infrared Camera，包括：专用镜头+黑白图像传感器，用于采集灰度图像，考虑新零售场景的业务需求以及保证和RGB像素点对齐，同样使用了1080P规格的分辨率(1920*1080)，专用镜头的视场角FOV较大(比如对角线110°)，按照安防规格进行定制，保证无畸变(人脸识别需要)。

结合图8，需要说明的是，红外摄像头采集的是红外灰度图像，2D纯红外的图像采集(通过窄带红外补光灯进行补光)、3D深度Depth的图像采集(通过经特殊编码的结构光)都是用Infrared Camera进行图像采集，所以这两部分需要分时处理，即两个过程是独立的，不可以同时采集2D纯红外的图像和3D深度Depth图像。

其中，2D纯红外的图像采集条件触发，确认关闭IR结构光投射器(IR LaserProjector)，打开定制波段(850nm/940nm)的红外补光灯，开始采集2D红外人脸图像；3D深度信息的图像采集条件触发，确认关闭定制波段(850nm/940nm)的红外补光灯，打开IR结构光投射器(IR Laser Projector)，开始采集3D深度信息的人脸图像。

而且，鉴于不可以同时采集2D纯红外的图像和3D深度Depth图像，所以在最后输出输出是也要相应进行处理，即在采集2D纯红外的图像流程时输出每帧的灰度是2D红外数据，具体输出格式参见图9a；在采集3D深度信息的图像流程时输出每帧的度是3D深度数据，具体输出格式参见图9b。图9a和图9b中“Y”表示明亮度，“U”表示色度，“V”表示浓度，h示例为1080P。

IR结构光投射器是有特殊结构的光源，比如离散光斑、条纹光、编码结构光等，用于投射到待检测物体或平面上，当经过编码后的结构光投到不同深度的平面上时，光的纹路会发生变化，因此可以通过采集这些纹理变化，计算出不同的深度。

专用的图像信号处理(Image Signal Processing，ISP)和SOC处理芯片(System-on-a-Chip)，除了用于计算深度信息，还会对RGB和灰度图像进行数字图像处理，比如：镜头畸变调整LSC、自动白平衡AWB、自动曝光AE、宽动态WDR、颜色矩阵调整CCM、2D降噪等，将RGB和灰度进行优化和格式处理(RAW格式转为最终的YUV格式)。

红外补光灯，主要对IR红外人脸进行特殊红外波段(比如：850nm、940nm)的补光处理，以保证人脸在不同光源场景下的亮度均匀。

初始化的配置参数包括：默认开启RGB Sensor，关闭MONO Sensor、红外补光灯以及IR结构光发射器，以在每帧仅采集RGB图像数据。

步骤604、检测每帧RGB图像中是否存在人脸；

若是，则执行步骤606；若否，则继续采集RGB图像数据。

其中，人脸识别技术为较为成熟的技术，故，此处不再赘述基于RGB图像的人脸识别。

步骤606、开启红外补光灯和黑白图像传感器MONO Sensor，以在每帧采集RGB图像数据的同时采集红外图像数据；

优选的，为保证场景和调整触发后的图像灵活性，本实施例进一步地对RGB图像数据和红外图像数据的输出格式进行了融合，即每帧数据同时包括RGB图像数据和红外图像数据。以h为1080P为例，其具体单帧个数见图10。

步骤608、对红外图像和RGB图像进行人脸特征提取以判断人脸质量是否达到识别特征提取要求；

若是，则执行步骤610；若否，则对人脸图像进行补偿处理，并再次执行步骤608，若多次补偿处理后仍然未达到识别特征提取要求，则返回步骤606，以重新采集红外图像和RGB图像；

其中，不同的业务对应有不同的识别特征提取要求。

步骤610、对人脸图像进行人脸识别处理，以确定用户身份，进而进行相关业务办理；关闭红外补光灯，以在下一轮返回步骤604；

步骤612、基于用户请求的业务所需安全度，判断是否需要进行活体检测；

若是，则执行步骤614,；若否，则流程结束。

其中，对于支付、酒店门禁等安全要求较高的业务，可配置其需要进行活体检测；对于手机套餐办理、银行业务开通等安全要求交底的业务，可配置其不需要进行活体检测。

步骤614、开启IR结构光编码发射器，由MONO Sensor采集深度图像，并进行3D计算；

步骤616、循环采集RGB+Depth每帧的灰度部分图像输出实时深度图；

步骤618、基于深度图判断是否通过活体检测；

若是，则执行步骤620；若否，则返回步骤616；

步骤618、办理相关业务；同步，关闭IR结构光编码发射器，以在下一轮返回步骤604；

可见，本实施例通过用红外图像补偿RGB图像，以保证图像的亮度均匀，解决RGB受到各类复杂光照射时的人脸曝光不均，比如阴阳脸的问题；通过用RGB图像补偿红外图像，以解决有眼镜等反光物体导致的面部遮挡问题，保证了RGB+IR的冗余策略；在支付类高安全性要求的业务场景进行活体检测时，还通过MONO Sensor采集由IR编码结构光发射器投射返回的深度信息(点云图)，从而保证安全性。

另外，对于上述方法实施方式，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施方式并不受所描述的动作顺序的限制，因为依据本发明实施方式，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施方式均属于优选实施方式，所涉及的动作并不一定是本发明实施方式所必须的。

图11为本说明书一实施例提供的一种图像处理装置的结构示意图，参见图11，具体可以包括：获取模块111、评价模块112、确定模块113和补偿模块114，其中：

获取模块111，用于获取目标对象的第一图像和第二图像，所述第一图像和所述第二图像为不同光照条件下采集的图像；

评价模块112，用于对所述第一图像进行质量评价处理；

确定模块113，用于若所述第一图像中存在质量评价值小于预设质量评价阈值的第一区域时，确定所述第二图像中与所述第一区域对应的第二区域；

补偿模块114，用于基于所述第二区域的图像数据，补偿所述第一区域。

可选的，评价模块112，具体用于：

确定所述第一图像的质量相关参数分布数据；基于所述质量相关参数分布数据，确定所述第一图像的质量评价值分布数据；基于所述质量评价值分布数据，确定所述第一图像中质量评价值小于预设质量评价阈值的区域。

其中，所述质量相关参数包括：清晰度、分辨率、亮度中的一个或多个。

可选的，所述第一图像为RGB图像，所述第二图像为红外图像；补偿模块114，具体用于：

可选的，所述第一图像为红外图像，所述第二图像为RGB图像；补偿模块114，具体用于：

可选的，补偿模块114，具体用于：

可选的，所述第一图像和所述第二图像由双目摄像头采集并配准。

可选的，所述目标对象包括人脸，所述第一图像为第一人脸图像，所述第二图像为第二人脸图像。

可选的，获取模块111，具体用于：

采集目标对象的第一图像；确定所述第一图像中存在人脸时，同步采集所述目标对象的第一人脸图像和第二人脸图像。

可选的，装置还包括：

人脸识别模块，用于识别补偿后的所述第一人脸图像，确定所述目标对象的身份信息。

可选的，装置还包括：

活体检测模块，用于确定所述目标对象的业务需求的安全度达到预设安全度阈值时，对所述目标对象进行活体检测。

可选的，所述活体检测模块，具体用于：

确定所述目标对象的深度人脸图像，并基于深度人脸图像对所述目标对象进行活体检测。

可选的，所述活体检测模块，具体用于：

融合所述深度人脸图像和补偿后的所述第一人脸图像，并基于融合后的图像对所述目标对象进行活体检测。

可选的，所述活体检测模块，具体用于：

图12为本说明书一实施例提供的一种人脸图像识别装置的结构示意图，参见图12，该装置具体可以包括：获取模块121、评价模块122、确定模块123、补偿模块124以及识别模块125，其中：

获取模块121，用于获取目标对象的第一人脸图像和第二人脸图像，所述第一人脸图像和所述第二人脸图像为不同光照条件下采集的图像；

评价模块122，用于对所述第一人脸图像进行质量评价处理；

确定模块123，用于若所述第一人脸图像中存在质量评价值小于预设质量评价阈值的第一区域，则确定所述第二人脸图像中与所述第一区域对应的第二区域；

补偿模块124，用于基于所述第二区域的图像数据，补偿所述第一区域；

识别模块125，用于识别补偿后的所述第一人脸图像。

可选的，评价模块122，还用于：

对补偿后的所述第一人脸图像进行质量评价处理；若补偿后的所述第一人脸图像的质量评价值达到人脸识别质量评价要求，则允许识别补偿后的所述第一人脸图像。

可选的，识别模块125，具体用于：

对补偿后的所述第一人脸图像进行人脸特征提取处理；基于提取出的人脸特征，进行人脸识别处理，以确定所述目标对象的身份信息。

另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。而且，应当注意的是，在本发明的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合。

图7为本说明书一实施例提供的硬件及系统的结构示意图，下面结合图7，对本实施例提供的人脸图像识别装置进行详细说明，该装置具体可以包括：GB摄像头、黑白摄像头、红外补光灯以及处理芯片；其中：

所述RGB摄像头(Color Camera)，用于采集目标对象的RGB人脸图像；

所述红外补光灯，用于对所述目标对象的人脸发射红外光；

所述黑白摄像头(Inrared Camera)，用于采集红外光照条件下的所述目标对象的红外人脸图像；

所述处理芯片(例如：图像信号处理单元ISP+集成电路SOC)，用于将所述RGB人脸图像和所述红外人脸图像中的一个作为第一人脸图像，另一个作为第二人脸图像，并执行如上述图2、图5、图6对应实施例7中任一项所述的方法的步骤。

可选的，所述RGB摄像头和黑白摄像头属于同一双目摄像头。

可选的，所述RGB摄像头处于常开状态，所述红外摄像头和所述红外补光灯处理常闭状态；

所述处理芯片，还用于确定所述RGB摄像头采集的RGB人脸图像中存在人脸时，唤醒所述红外摄像头和所述红外补光灯，以使所述红外摄像头与所述RGB摄像头同步采集所述目标对象的人脸图像。

可选的，所述处理芯片，还用于识别出所述目标对象的身份信息时，关闭所述红外补光灯。

可选的，装置还包括：处于常闭状态的结构光发射器；

所述处理芯片，还用于确定需要对所述目标对象进行活体检测时，唤醒所述结构光发射器；

所述结构光发射器，用于向所述目标对象的人脸发射结构光，以供所述黑白摄像头采集结构光光照条件下的所述目标对象的深度人脸图像；

所述处理芯片，还用于基于所述深度人脸图像确定所述目标对象通过活体检测时，关闭所述结构光发射器。

可见，本实施例通过定制硬件，在人脸检测、质量判断及特征提取、对比识别等流程对硬件的各器件的启动/关闭时机进行重构，以确保各类环境的最优人脸识别策略。

图13为本说明书一实施例提供的一种电子设备的结构示意图，参见图13，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像处理装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器。

处理器，用于执行所述存储器存放的程序，并具体执行：

对所述第一图像进行质量评价处理；

基于所述第二区域的图像数据，补偿所述第一区域。

上述如本申请图11所示实施例揭示的图像处理装置或管理者(Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

图像处理装置还可执行图2-3,6的方法，并实现管理者节点执行的方法。

基于相同的发明创造，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图2-3,6对应的实施例提供的图像处理方法。

图14为本说明书一实施例提供的一种电子设备的结构示意图，参见图14，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成人脸图像识别装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器，用于执行所述存储器存放的程序，并具体执行：

对所述第一人脸图像进行质量评价处理；

上述如本申请图12所示实施例揭示的人脸图像识别装置或管理者(Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

人脸图像识别装置还可执行图5-6的方法，并实现管理者节点执行的方法。

基于相同的发明创造，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图5-6对应的实施例提供的人脸图像识别方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种图像处理方法，其特征在于，包括：

对所述第一图像进行质量评价处理；

基于所述第二区域的图像数据，补偿所述第一区域。

2.根据权利要求1所述的方法，其特征在于，对所述第一图像进行质量评价处理包括：

确定所述第一图像的质量相关参数分布数据；

基于所述质量相关参数分布数据，确定所述第一图像的质量评价值分布数据；

基于所述质量评价值分布数据，确定所述第一图像中质量评价值小于预设质量评价阈值的区域。

3.根据权利要求2所述的方法，其特征在于，所述质量相关参数包括：清晰度、分辨率、亮度中的一个或多个。

4.根据权利要求1所述的方法，其特征在于，所述第一图像为RGB图像，所述第二图像为红外图像；

其中，基于所述第二区域的图像数据，补偿所述第一区域的图像数据包括：

5.根据权利要求1所述的方法，其特征在于，所述第一图像为红外图像，所述第二图像为RGB图像；

6.根据权利要求1所述的方法，其特征在于，基于所述第二区域的图像数据，补偿所述第一区域包括：

7.根据权利要求1所述的方法，其特征在于，所述第一图像和所述第二图像由双目摄像头采集并配准。

8.根据权利要求1所述的方法，其特征在于，所述目标对象包括人脸，所述第一图像为第一人脸图像，所述第二图像为第二人脸图像。

9.根据权利要求8所述的方法，其特征在于，获取目标对象的第一图像和第二图像包括：

采集目标对象的第一图像；

确定所述第一图像中存在人脸时，同步采集所述目标对象的第一人脸图像和第二人脸图像。

10.根据权利要求8所述的方法，其特征在于，还包括：

识别补偿后的所述第一人脸图像，确定所述目标对象的身份信息。

11.根据权利要求10所述的方法，其特征在于，还包括：

确定所述目标对象的业务需求的安全度达到预设安全度阈值时，对所述目标对象进行活体检测。

12.根据权利要求11所述的方法，其特征在于，对所述目标对象进行活体检测包括：

13.根据权利要求12所述的方法，其特征在于，基于深度图像对所述目标对象进行活体检测包括：

14.根据权利要求11所述的方法，其特征在于，对所述目标对象进行活体检测包括：

15.一种人脸图像识别方法，其特征在于，包括：

对所述第一人脸图像进行质量评价处理；

16.根据权利要求15所述的方法，其特征在于，在识别补偿后的所述第一人脸图像之前，还包括：

对补偿后的所述第一人脸图像进行质量评价处理；

若补偿后的所述第一人脸图像的质量评价值达到人脸识别质量评价要求，则允许识别补偿后的所述第一人脸图像。

17.根据权利要求15所述的方法，其特征在于，识别补偿后的所述第一人脸图像包括：

对补偿后的所述第一人脸图像进行人脸特征提取处理；

18.一种图像处理装置，其特征在于，包括：

评价模块，用于对所述第一图像进行质量评价处理；

19.一种人脸图像识别装置，其特征在于，包括：

评价模块，用于对所述第一人脸图像进行质量评价处理；

补偿模块，用于基于所述第二区域的图像数据，补偿所述第一区域；

识别模块，用于识别补偿后的所述第一人脸图像。

20.一种人脸图像识别装置，其特征在于，包括：RGB摄像头、黑白摄像头、红外补光灯以及处理芯片；其中：

所述RGB摄像头，用于采集目标对象的RGB人脸图像；

所述红外补光灯，用于对所述目标对象的人脸发射红外光；

21.根据权利要求20所述的装置，其特征在于，所述RGB摄像头和黑白摄像头属于同一双目摄像头。

22.根据权利要求20所述的装置，其特征在于，所述RGB摄像头处于常开状态，所述红外摄像头和所述红外补光灯处理常闭状态；

23.根据权利要求21所述的装置，其特征在于，

所述处理芯片，还用于识别出所述目标对象的身份信息时，关闭所述红外补光灯。

24.根据权利要求21所述的装置，其特征在于，还包括：处于常闭状态的结构光发射器；

25.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至17中任一项所述方法的步骤。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17中任一项所述方法的步骤。