CN112036284A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及存储介质，其中方法可包括：获取包括目标用户人脸的彩色人脸图像和深度人脸图像，彩色人脸图像和深度人脸图像之间具备关联关系，关联关系是指彩色人脸图像和深度人脸图像用于反映同一场景下目标用户的相同人脸形态；对彩色人脸图像进行特征提取得到第一特征；对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；对法向人脸图像进行特征提取得到第二特征；将第一特征和第二特征进行特征融合处理得到融合特征；基于融合特征确定目标用户对应的目标身份信息。采用本发明实施例，可以提高人脸识别的准确度。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及人工智能的计算机视觉中的人脸识别技术，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展，人脸识别逐渐成为一种方便快捷的身份认证方式，这是由于人的面部结构特征比较明显，五官呈对称性分布，而且受先天基因和后天环境的影响，不同个体的人脸具有较大的区分度。人脸识别在日常生活中应用范围广泛，常见于火车站和机场的安全监控系统、办公楼的门禁系统以及手机软件中。

现有的大多数人脸识别算法都是基于彩色人脸图像进行识别的，但是随着应用场景的复杂化以及识别安全性的要求，现有方案出现了识别准确性低等不足。因此，在人脸识别领域中，如何准确地进行人脸识别成为研究的热点问题。

发明内容

本发明实施例提供了一种图像处理方法、装置、设备以及存储介质，基于目标用户的彩色图像特征和深度图像特征进行联合识别，提高了人脸识别的准确度。

一方面，本发明实施例提供了一种图像处理方法，包括：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

对所述彩色人脸图像进行特征提取得到第一特征；

对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

对所述法向人脸图像进行特征提取得到第二特征；

将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

基于所述融合特征确定所述目标用户对应的目标身份信息。

一方面，本发明实施例提供了一种图像处理装置，其特征在于，包括：

获取单元，用于获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

处理单元，用于对所述彩色人脸图像进行特征提取得到第一特征；

所述处理单元，还用于对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

所述处理单元，用于对所述法向人脸图像进行特征提取得到第二特征；

融合单元，用于将所述第一特征和所述第二特征进行融合处理得到融合特征；

确定单元，用于基于所述融合特征确定所述目标用户对应的目标身份信息。

一方面，本发明实施例提供了一种图像处理设备，其特征在于，包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

对所述彩色人脸图像进行特征提取得到第一特征；

对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

对所述法向人脸图像进行特征提取得到第二特征；

将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

基于所述融合特征确定所述目标用户对应的目标身份信息。

一方面，本发明实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

对所述彩色人脸图像进行特征提取得到第一特征；

对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

对所述法向人脸图像进行特征提取得到第二特征；

将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

基于所述融合特征确定所述目标用户对应的目标身份信息。

一方面，本发明实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中；图像处理设备的处理器从所述计算机存储介质中读取所述计算机指令，所述处理器执行所述计算机指令执行：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

对所述彩色人脸图像进行特征提取得到第一特征；

对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

对所述法向人脸图像进行特征提取得到第二特征；

将所述第一特征和所述第二特征进行特征融合处理得到融合特征；基于所述融合特征确定所述目标用户对应的目标身份信息。

本发明实施例中，获取包括目标用户人脸的彩色人脸图像，以及与彩色人脸图像具有关联关系的深度人脸图像，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；进一步的，对彩色人脸图像进行特征提取处理得到第一特征，然后对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，更进一步的对法向人脸图像进行特征提取得到第二特征。最后将第一特征和第二特征进行融合得到融合特征，以及基于融合特征确定目标用户对应的目标身份信息。

在上述图像处理过程中，第二特征是对法向人脸图像进行特征提取得到的，由于法向人脸图像是通过对深度人脸图像进行处理得到的，法向人脸图像中包含了深度人脸图像中反映的人脸信息，且这些信息在法向人脸图像中表现的更为具体，因此第二特征也能够反映更为具体的人脸信息。另外，彩色人脸图像中可能包括了法向人脸图像不同的人脸信息，将对彩色人脸图像进行特征提取得到的第一特征和第二特征进行融合，得到的融合特征包括了更多的目标人脸的信息，在基于融合特征确定目标用户的目标身份信息时，可以提高准确度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理设备的结构框架图；

图2是本发明实施例提供的一种图像处理方法的流程示意图；

图3a是本发明实施例提供的一种彩色图像和深度图像的示意图；

图3b是本发明实施例提供的一种不同光线下采集的彩色图像和深度图像；

图3c是本发明实施例提供的一种不同人脸形态下的彩色图像和深度图像；

图4是本发明实施例提供的另一种图像处理方法的流程示意图；

图5是本发明实施例提供的一种预处理的流程图；

图6a是本发明实施例提供的一种图像分割处理的三维效果图；

图6b是本发明实施例提供的一种初始掩模图像的示意图；

图6c是本发明实施例提供的一种目标掩模图像的示意图；

图6d是本发明实施例提供的一种法向人脸图像的示意图；

图7是本发明实施例提供的一种执行人脸支付业务的流程示意图；

图8是本发明实施例提供的一种图像处理装置的结构示意图；

图9是本发明实施例提供的一种图像处理设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使计算机处理称为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解，视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

近几年，随着计算机视觉技术的发展，人脸识别逐渐成为一种方便快捷的身份认证方式。这是由于人的面部结构特征比较明显，五官呈对称性分布，而且受先天基因和后天环境的影响，不同个体的人脸具有较大的区分度。人脸识别在日常生活中应用范围广泛，常见于火车站和机场的安全监控系统、办公楼的门禁系统以及手机软件中。

为了提高人脸识别的准确度，本发明实施例了提出了一种图像处理方案，本发明实施例提供的图像处理方案涉及人工智能的计算机视觉技术，具体地：当需要对目标用户的身份进行验证时，首先获取包括目标用户人脸的彩色人脸图像和与所述彩色人脸图像具有关联关系的深度人脸图像，由于彩色人脸图像和深度人脸图像包含了不同的目标用户人脸的信息，因此分别对彩色人脸图像和深度人脸图像进行特征提取，再将提取到的两个特征进行融合以获取更多的目标人脸特征。进一步的，基于融合的特征确定目标用户的目标身份信息，与现有技术中只采用彩色图像进行识别相比，本发明实施例所述的图像处理方案中，使用更多的特征进行识别，可以提高识别的准确性。并且，在对深度人脸图像进行特征提取之前，还对深度人脸图像进行了去噪声处理以及计算法向信息处理，以使得深度人脸图像中反映的人脸信息更为细致，从而可以提高第二特征中反映的人脸信息的丰富度。

上述图像处理方案可以由图像处理设备执行，所述图像处理设备可以为终端或者服务器，所述终端可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等设备中的任意一种或多种；所述服务器可以为独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

为了实现上述图像处理方案，本发明实施例所述的图像处理设备的结构如图1所示，图1为本发明实施例提供的一种图像处理设备的结构框架图。

在一个实施例中，图1所示的图像处理设备可包括图像采集模块101，所述图像采集模块用于采集目标用户的彩色图像和/或深度图像，比如图像采集模块101可以包括RGB-D深度摄像头；在其他实施例中，所述彩色图像采集模块101还用于接收其他设备发送的彩色图像以及深度图像。

在一个实施例中，所述图像处理设备还包括预处理模块102，图像采集模块101采集到彩色图像和深度图像之后，可以将彩色图像和深度图像传输至预处理模块102，预处理模块102对彩色图像和深度图像分别对彩色图像和深度图像进行人脸检测和裁剪，得到彩色人脸图像和深度人脸图像。进一步的，所述预处理模块102还用于对深度人脸图像进行去噪声处理，以及对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像。

在一个实施例中，所述图像处理设备还可以包括特征提取模块103，所述特征提取模块102用于对彩色人脸图像和法向人脸图像分别进行特征提取处理，得到第一特征和第二特征。

在一个实施例中，所述图像处理设备还可以包括特征融合模块104，所述特征融合模块104用于将特征提取设备提取到的第一特征和第二特征进行融合得到融合特征。

在一个实施例中，图1所述的图像处理设备还可以包括身份查询模块105，所述身份查询模块105可用于基于所述融合特征确定所述目标用户对应的目标身份信息。可选的，上述各个模块在执行相应操作时所包括的实施方式将在后面的实施例中详细介绍，此处不再赘述。

基于上述图像处理设备，本发明实施例提供了一种图像处理方法。参见图2，为本发明实施例提供的一种图像处理方法的流程示意图。图2所示的图像处理方法可由图像处理设备执行，具体可由图像处理设备的处理器执行。所述图像处理设备可以指前述的终端和服务器中的任意一种，图2所示的图像处理方法可包括如下步骤：

步骤S201、获取包括目标用户人脸的彩色人脸图像和深度人脸图像。

其中，所述彩色人脸图像和深度人脸图像之间具备关联关系，所述具备关联关系的是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态。简单来说，所述具备关联关系的彩色人脸图像和深度人脸图像中包括的内容完全相同比如包括的人脸形态完全相同，包括的背景完全相同；不同的是彩色人脸图像以RGB形式将内容进行展示，而深度人脸图像以深度形式将内容进行展示。例如，参考图3a，为本发明实施例提供的一种彩色人脸图像和深度人脸图像的示意图，图3a中301表示彩色人脸图像，302表示深度人脸图像。

在一个实施例中，所述彩色人脸图像可以是通过对包含目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像可以是通过对包含目标用户人脸的深度图像进行人脸检测和裁剪处理得到的。可选的，对彩色图像进行人脸检测和裁剪处理，以及对深度图像进行人脸检测和裁剪处理均可由图像处理设备包括的预处理模块102执行的。

在一个实施例中，所述彩色图像和所述深度图像可以是通过双图像采集设备对目标场景下目标用户的目标人脸形态进行采集得到的。其中，所述双图像采集设备是指对一个拍摄对象进行拍摄能够同时输出彩色图像和深度图像，所述双图像采集设备可以是深度摄像设备RDB-D。

在其他实施例中，所述彩色图像可以是通过彩色图像采集设备对目标场景下目标用户的目标人脸形态进行采集得到的，深度图像是通过深度图像采集设备对目标场景下目标用户的目标人脸形态采集得到的。也就是说，彩色图像和深度图像是采用不同的图像采集设备对处于同一拍摄场景中的拍摄对象进行拍摄得到的。

在其他实施例中，所述彩色图像可以是通过彩色图像采集设备对目标场景下目标用户的目标人脸形态进行采集得到的，所述深度图像可以是通过对彩色图像进行深度化处理得到的。或者，所述深度图像是采用深度图像处理设备采集得到的，所述彩色图像是对所述深度图像进行彩色化处理得到的。

应当理解的，上述只是列举了几种得到包括目标人脸的彩色图像和深度图像的可行的实施方式，对于具体获取彩色图像和深度图像的方式不做限定。在具体应用中可以依据具体情况选择合适的方式获取彩色图像和深度图像。

步骤S202、对彩色人脸图像进行特征提取得到第一特征。

在一个实施例中，所述对彩色人脸图像进行特征提取是调用彩色图像识别模型执行的。其中，所述彩色图像识别模型是利用大量带有身份标签的彩色图像样本，通过神经网络监督训练方法得到的，训练的算法可以是基于开源的Arcface算法。由于带有身份标注的彩色图像样本的采集可以利用大量的开源数据，并不依赖于RGB-D传感器的采集，因此可以利用大数据训练得到识别性能较高的彩色图像识别模型。

换句话说，所述彩色图像识别模型可以是基于彩色图像样本集合以及彩色图像样本集合中每个彩色图像样本对应的身份标签训练得到的。其中，为了提高彩色图像识别模型的准确度，上述彩色图像样本集合中可以包括大量的彩色图像正样本和大量的彩色图像负样本，彩色图像正样本是指包括人脸的图像，彩色图像负样本是指不包括人脸的图像。彩色图像正样本的身份标签可以是彩色图像正样本中包括的人脸对应的用户的身份信息，彩色图像负样本的身份标签用于指示所述彩色图像负样本中不包括用户人脸。

在一个实施例中，上述彩色图像样本中除了包括人脸外，还可以包括其他信息比如背景，为了提高彩色图像识别模型的准确度，需要对彩色图像样本进行人脸检测和裁剪处理，以从所述彩色图像样本中获取一张标准化的彩色人脸图像样本，然后采用彩色人脸图像样本进行彩色图像识别模型的训练。所述人脸检测是指识别出彩色图像样本中包括的多个人脸。裁剪是指从彩色图像中裁剪出只包括人脸的彩色人脸图像。可选的，所述人脸检测可以使用MTCNN算法或者RetinaFace算法，所述人脸检测和裁剪处理可以由图1实施例中预处理模块102执行。

简单来说，在使用彩色图像样本集合进行彩色图像识别模型进行训练之前，需要基于彩色图像样本集合确定彩色人脸图像样本集合，进而基于彩色人脸图像样本集合对彩色图像识别模型进行训练。其中，所述基于彩色图像样本集合确定彩色人脸图像样本集合，包括：对彩色图像样本集合中各个彩色图像样本进行人脸检测和裁剪处理，得到彩色人脸图像样本集合。

综上所述，训练彩色图像识别模型，可以包括如下步骤：获取彩色图像样本集合，所述彩色图像样本集合包括多个彩色图像样本以及各个彩色图像样本对应的身份标签；对每个彩色图像样本进行人脸检测和裁剪处理，得到对应的彩色人脸图像样本，并将该彩色图像样本对应的身份标签，确定为该彩色人脸图像样本的身份标签；按照上述方法确定出各个彩色图像样本对应的彩色人脸图像样本，以及各个彩色人脸图像样本对应的身份标签；将各个彩色人脸图像样本输入到彩色图像识别模型中进行识别，得到识别结果；根据多个识别结果和相应彩色人脸图像样本对应的身份标签确定彩色图像识别模型的损失函数，按照减小损失函数的值的方向调整彩色图像识别模型的参数。

在对彩色图像识别模型的训练完成后，图像处理设备通过步骤S202对所述彩色图像进行特征提取得到第一特征，包括：对所述彩色图像进行人脸检测和裁剪处理；调用图像识别模型对人脸检测和裁剪处理后的彩色图像进行识别得到第一特征。比如输入一张身份标签为ID_1的彩色图像P_RGB_1，彩色图像识别模型对该彩色图像进行特征提取处理，输出彩色人脸特征向量F_RGB_1，该彩色人脸特征向量可以看做是第一特征。

步骤S203、对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像。

在一个实施例中，深度人脸图像中除了包括目标用户人脸外，还可能包括其他背景，比如任意用户的手、任意用户的肩膀等信息，在对深度图像进行特征提取时，这些信息对特征提取造成影响，可能导致提取到的特征不够准确。另外，目标用户距离摄像头的远近会导致深度图像中各个像素点的深度变化，不同的深度变化也可能导致对深度图像特征提取的准确性。

基于此，在对深度人脸图像进行特征提取之前，需要执行一些预处理操作以提高深度人脸图像的数据质量。常用的对深度人脸图像进行预处理的方法可以包括：第一、依据采集深度图像的深度传感器的内参，把深度人脸图像转为三维人脸点云，然后再将三维人脸进行投影重新得到深度人脸图像；第二、使用人脸的面部关键点直接对深度人脸图像进行裁剪和对齐处理。但是这两种对深度人脸图像进行预处理的方法都存在缺点。

具体地，在第一种方法中，三维点云的转换和处理计算开销大，一般来说，基于三维点云的预处理方法是采用深度传感器的内参，把原始深度图像整图转为场景点云，然后对点云中的人脸进行球面裁剪处理，如此一来，会带来较高的处理时延，严重影响识速率，从而导致用户体验不高。例如深度图像为480*640的图像，采用第一种方法对深度图像进行处理需要100毫秒以上的时间才能裁剪得到一份三维人脸图像。

在第二种方法中，仅仅通过裁剪和对齐得到的深度人脸图像会包含较多的背景噪声，在基于这样的深度图像进行特征提取时会给深度图像识别模型带来干扰。

为了克服上述两种预处理方法存在的问题，本发明实施例采用一种新的预处理方法对深度图像进行预处理。具体实现中，通过步骤S203对深度人脸图像进行去噪声处理，然后对去噪声处理后的深度人脸图像进行法向信息计算。如此一来，可以去除深度人脸图像中深度噪声和背景噪声的影响，仅仅保留人脸深度信息，提高了深度图像的数据质量，并且处理速度较快，单帧处理速度在10毫秒以内；并且，通过计算去噪声处理后的深度人脸图像的法向信息得到法向人脸图像，实现了使用相对人脸形状数据替换绝对深度距离数据，以消除人脸距离摄像头远近带俩的深度变化。

在一个实施例中，所述对深度人脸图像进行去噪声处理可以包括：绘制所述深度人脸图像对应的目标掩膜图像；将所述目标掩膜图像与所述深度人脸图像进行预设运算。其中，所述预设运算可以指：使用目标掩膜图像与深度人脸图像进行对象点相乘，这样做的目的是为了去除深度人脸图像中深度噪声，以及提取深度人脸图像中人脸区域的深度。

在一个实施例中，所述对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，包括：采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴方向微分以及竖轴方向微分；将所述横轴方向微分、所述纵轴方向微分以及所述竖轴方向微分分别进行归一化处理，并将归一化处理后的横轴方向微分、归一化后的纵轴方向微分以及归一化后的竖轴方向微分进行合成处理，得到法向人脸图像。

其中，采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴上微分以及竖轴上微分，包括：对去噪声处理后的深度人脸图像使用一阶微分函数，分别计算横轴x方向上微分以及纵轴y方向上的微分；然后根据x*x+y*y+z*z＝1，求取竖轴z方向上微分。然后对x方向上微分，y方向上微分以及z方向上微分进行归一化处理，使其均归一化至[0，255]范围内；件归一化处理后的各个方向上的微分合成一个三通道的法向人脸图像。

步骤S204、对法向人脸图像进行特征提取得到第二特征。

在一个实施例中，所述对法向人脸图像进行特征提取得到第二特征是调用深度图像识别模型执行的。其中，深度图像识别模型可以是基于融合图像样本集合训练的到的，所述融合图像样本集合中包括多个融合图像样本以及各个融合图像样本对应的身份标签。可选的，一个融合图像样本是对具有关联关系的彩色图像样本和深度图像样本进行融合得到的，所述具有关联关系的彩色图像样本和深度图像样本是指所述彩色图像样本和深度图像样本用于反映同一场景下同一用户的相同人脸形态。可选的，此时所述的彩色图像样本可以与训练彩色图像识别模型时所使用的彩色图像样本相同，也可以不相同。

应当理解的，具有关联关系的彩色图像和深度图像各自存在优缺点，比如深度图像的缺点是质量普遍偏低，人脸表面凹凸不平，并存在深度缺失的现象，这一缺点刚好是彩色图像能够弥补的；再如，在光线较暗或者人脸形态变化的时候得到的彩色图像中图像信息变化较大，而此种情况下得到的深度图像中图像信息变化较小，因此深度图像弥补了彩色图像在这方面的不足。

比如，参考图3b，为本发明实施例提供的一种不同光线下采集的彩色图像和深度图像，303和304表示在两种不同光线下得到的彩色图像，305和306分别表示在两种不同光线下得到的深度图像，其中，303和305是在相同光线下得到的，304和306是在相同光线下得到的。由图3b可见，光线的变化，对深度图像中图像信息的影响较小，但是对彩色图像中图像信息的影响较大。

再如，参考图3c所示，为本发明实施例提供的另一种不同人脸形态下的彩色图像和深度图像，31和32分别表示在不同人脸形态下采集到的两个彩色图像，33和34分别表示在不同人脸形态下采集到的两个深度图像，其中，31和33是在相同人脸形态下采集到的彩色图像和深度图像，32和34是在相同人脸形态下采集到的彩色图像和深度图像。

基于上述描述，本发明实施例联合彩色图像样本进行深度图像识别模型的训练，可以实现数据资源上的信息互补，提高深度图像识别模型的准确性。

由前述可知，一个彩色图像样本和与其具有关联关系的深度图像样本中除了包括人脸外，还可以包括其他信息，为了进一步提高深度图像识别模型的准确性，在对彩色图像样本和深度图像样本进行融合之前，需要分别对两个图像进行预处理。可选的，由于彩色图像样本和深度图像样本的不同，对两个图像进行的预处理操作也不相同，所述对彩色图像样本进行预处理包括上述的人脸检测和裁剪处理得到彩色人脸图像样本，所述对所述深度图像样本进行的预处理不仅包括上述的人脸检测和裁剪处理，得到深度人脸图像样本；以及对深度人脸图像样本进行去噪声处理，并且对去噪声处理后的深度人脸图像样本进行法向信息计算，得到对应的法向人脸图像样本。

具体实现中，对彩色图像样本和与其具有关联关系的深度图像样本进行融合得到一个融合图像样本，包括：针对任意一个彩色图像样本，对任意一个彩色图像样本进行预处理，得到彩色人脸图像样本；并对与任意一个彩色图像样本具有关联关系的深度图像样本进行预处理，得到法向人脸图像样本；将彩色人脸图像样本和法向人脸图像样本进行融合，得到融合图像样本。一个融合图像样本对应的身份标签是其对应的彩色图像样本或者深度图像样本的身份标签，比如一个包含张三的彩色图像和深度图像进行融合得到融合图像样本，那么融合图像样本的身份标签是张三。

在一个实施例中，所述对深度图像识别模型进行训练，包括：将各个融合图像样本输入到深度图像识别模型中进行识别，得到多个识别结果；根据多个识别结果和相应融合图像样本对应的身份标签得到深度图像识别模型的损失函数；按照减小该损失函数的方向调整深度图像识别模型的参数。

在对深度图像识别模型的训练完成后，图像处理设备通过步骤S203对所述法向人脸图像进行特征提取得到第二特征。比如输入一张身份标签为ID_2的深度图像P_RGBD_2，图像处理设备对深度图像进行上述预处理，得到法向人脸图像，调用深度图像识别模型对该法向人脸图像进行特征提取处理，输出深度人脸特征向量F_RGBD_2，深度人脸特征向量可以即为第二特征。

步骤S204、将第一特征和第二特征进行特征融合处理得到融合特征。

由前述可知，第一特征可以是通过彩色图像识别模型识别得到的，彩色图像识别模型是使用大规模数据训练得到的，在常规场景下比如关照良好、姿态良好场景下，其识别性能比较稳定，而第二特征是通过深度图像识别模型得到的，深度图像识别模型是使用小规模数据训练得到的，在困难场景下比如关照过暗、姿态较差场景下，其识别性能优于彩色图像识别模型，所以通过融合两者的方式联合两者的优势，以提升整体人脸识别的准确度。

在一个实施例中，所述将第一特征和第二特征进行特征融合处理可以是图像处理设备通过图1实施例中特征融合模块104执行的。具体实现中，包括：通过特征融合模块104对第一特征和第二特征进行预设运算，将运算结果作为融合特征。其中，所述预设运算可以包括拼接运算、取平均运算以及取最大值运算等等。

步骤S205、基于融合特征确定目标用户对应的目标身份信息。

在一个实施例中，所述基于融合特征确定目标用户对应的目标身份信息，可包括：查询身份数据库中是否存在与所述融合特征匹配的用户特征数据，所述身份数据库中存储多个用户的身份信息和用户特征数据的对应关系；若存在，则将匹配的用户特征数据对应的身份信息确定为目标用户对应的目标身份信息；若不存在，则确定未在身份数据库中识别到目标用户的身份信息。

简单来说，身份数据库中预先存储了多个用户的身份信息以及与身份信息对应的用户特征数据，在得到融合特征之后，将融合特征与身份数据库中的多个用户特征数据进行匹配，若存在相匹配的用户特征数据，则将相匹配的用户特征数据对应的身份信息作为目标用户的目标身份信息。

在一个实施例中，身份数据库中任一用户的用户特征数据是指以下任意一种或多种：所述任一用户人脸的参考图像，以及所述任一用户对应的参考融合特征，所述任一用户对应的参考融合特征是基于包括任一用户人脸的参考图像确定的。假设多个用户中包括第一用户，下面以第一用户为例，具体介绍图像处理设备如何将融合特征与任一用户的用户特征数据进行匹配。

作为一种可选的实施例，如果第一用户的用户特征数据是指包括第一用户人脸的参考图像，参考图像包括参考彩色图像和参考深度图像，则将第一用户的用户特征数据与融合特征进行匹配，包括：调用彩色图像识别模型对参考彩色图像进行特征提取得到第一参考特征，以及调用深度图像识别模型对参考深度图像进行特征提取得到第二参考特征；将第一参考特征和第二参考特征进行融合，得到参考融合特征；将融合特征与参考融合特征进行比较，如果两者之间的相似度大于相似度阈值，则可确定融合特征与参考融合特征是相匹配的；反之，如果两者之间的相似度小于相似度阈值，则可确定融合特征与参考融合特征是不匹配的。

作为另一种可选的实施例，如果第一用户的用户特征数据是指第一用户对应的参考融合特征，则将第一用户的用户特征数据与融合特征进行匹配，包括：直接执行上述将融合特征与参考融合特征进行比较的步骤。

本发明实施例中，获取包括目标用户人脸的彩色人脸图像，以及与彩色人脸图像具有关联关系的深度人脸图像，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；进一步的，对彩色人脸图像进行特征提取处理得到第一特征，然后对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，更进一步的对法向人脸图像进行特征提取得到第二特征。最后将第一特征和第二特征进行融合得到融合特征，以及基于融合特征确定目标用户对应的目标身份信息。

在上述图像处理过程中，第二特征是对法向人脸图像进行特征提取得到的，由于法向人脸图像是通过对深度人脸图像进行处理得到的，法向人脸图像中包含了深度人脸图像中反映的人脸信息，且这些信息在法向人脸图像中表现的更为具体，因此第二特征也能够反映更为具体的人脸信息。另外，彩色人脸图像中可能包括了法向人脸图像不同的人脸信息，将对彩色人脸图像进行特征提取得到的第一特征和第二特征进行融合，得到的融合特征包括了更多的目标人脸的信息，在基于融合特征确定目标用户的目标身份信息时，可以提高准确度。

基于上述的方法实施例，本发明实施例提供了另一种图像处理方法。参见图4，为本发明实施例提供的另一种图像处理方法的流程示意图，图4所示的图像处理方法可由图像处理设备执行，具体可由图像处理设备的处理器执行。所述图像处理设备可以为终端或者服务器，图4所示的图像处理方法可包括如下步骤：

步骤S401、获取包括目标用户人脸的彩色图像和深度图像。

步骤S402、对彩色图像进行人脸检测和裁剪处理得到彩色人脸图像，并调用彩色图像识别模型对彩色人脸图像进行特征提取得到第一特征。

步骤S403、对深度图像进行人脸检测和裁剪处理得到深度人脸图像。

在一个实施例中，步骤S401和步骤S403中包括的一些可行的实施方式可参见图2实施例中相关步骤的描述，在此不再赘述。

步骤S404、对深度人脸图像进行去噪声处理，并对噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像。

由前述可知，所述对所述深度人脸图像进行去噪声处理，包括：并调用深度图像识别模型对预处理后的深度图像进行特征提取得到第二特征。下面结合图5对去噪声处理流程进行详细说明。

在一个实施例中，在得到深度人脸图像之后，对所述深度人脸图像进行去噪声之前，为了提高去噪声处理的准确性，可以先对深度人脸图像进行平滑处理，假设采用图5所示的双边滤波算法对深度人脸图像进行处理，以平滑人脸曲面形状，缓解图像采集设备采集得到的深度粗糙现象。下面描述中提到的深度人脸图像均是指进行了平滑处理后的深度人脸图像。

在一个实施例中，在去噪声处理过程中，所述绘制所述深度人脸图像对应的目标掩膜图像，包括：S1、获取深度人脸图像中人脸上的目标部位的目标深度值；S2、基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理，得到初始掩膜图像；S3、确定所述初始掩膜图像中包括的至少一个闭合轮廓，以及所述至少一个闭合轮廓中每个闭合轮廓的区域面积；S4、根据最大的区域面积对应的闭合轮廓和所述初始掩膜图像绘制目标掩膜图像。

其中，在步骤S1中，目标部位可以指鼻尖。深度人脸图像中鼻尖对应一个固定位置假设在深度人脸图像中鼻尖的位置表示为nose(x,y)，考虑到深度人脸图像中可能存在深度缺失的情况，本发明实施例中不是直接将nose(x,y)位置处理的深度值作为鼻尖的目标深度值，而是采用下述方法得到鼻尖的目标深度值：获取深度人脸图像中所述目标部位的位置信息；基于所述位置信息在所述深度人脸图像上截取预设区域，所述预设区域包括以所述位置信息所指示的位置为中心且以目标数量个像素点为边长的矩形区域；对所述预设区域内包括的目标像素点的深度值进行平均运算，并将运算结果作为目标部位的目标深度值。

在一个实施例中，预设区域内的目标像素点可以指深度值大于零的像素点。简单来说，确定鼻尖的目标深度值的方法为：以深度人脸图像中鼻尖的位置nose(x,y)为中心，以目标数量个像素点为边长，在深度人脸图像上截取一个正方形区域，表示为nose_ROL，计算nose_ROL内所有非零深度值的平均值，得到的结果作为鼻尖的目标深度值，可以表示为D_nose。

通过S1确定了目标部位的目标深度值后，可以通过S2基于目标深度值对深度人脸图像进行图像分割处理和二值化处理。具体地，所述基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理得到初始掩膜图像，包括：获取深度变化值，并根据所述深度变化值和所述目标深度值确定目标深度值范围；将所述深度人脸图像中深度值在所述有效深度范围外的像素点的深度值更新为第一深度值，得到分割后深度人脸图像；将所述分割后深度人脸图像中深度值大于二值化阈值的像素点的深度值更新为1，得到初始掩膜图像。

其中，深度变化值可以用L表示，目标深度值可以用D_nose表示，根据深度变化值和目标深度值确定的目标深度范围可以表示为[D_nose-L，D_nose+L]。第一深度值可以为0，简单来说，所述图像分割处理可以指：以鼻尖的目标深度值D_nose为基准值，以L作为深度值的最大变化范围，将深度人脸图像中所有深度值中，不在[D_nose-L，D_nose+L]范围内的深度值置为0，在[D_nose-L，D_nose+L]范围内的深度值保持不变。其中，深度变化值的选取依赖于深度图像采集设备的参数，通常情况下深度变化值取50公分或者70公分。

例如，参考图6a，为本发明实施例提供的一种图像分割处理的三维效果图，应当理解的，图6a只是一种三维展示效果，但是对图像分割处理的实际操作是在深度人脸图像上进行的。

在一个实施例中，对深度人脸图像进行图像分割处理后，进一步地将分割后的深度人脸图像中深度值大于二值化阈值的像素点的深度值更新为1，所述二值化阈值可以为0。因此，通过二值化处理后，深度人脸图像上人脸区域的像素点的深度值均为1，如图6b中601所示，图6b为本发明实施例提供的一种初始掩膜图像的示意图。

在一个实施例中，通过步骤S2得到初始掩膜图像后在S3中确定初始掩膜图像中包括的至少一个闭合轮廓，具体地，计算初始掩膜图像中深度值为1的像素点组成的连通域，每个连通域确定为一个闭合轮廓。例如，在图6b中601上包括两个闭合轮廓，一个为人脸边缘轮廓如白色虚线所示的轮廓602，一个为非人脸边缘轮廓，如白色实线所示的轮廓603。

进一步的，通过S4根据最大的区域面积的闭合轮廓和初始掩膜图像绘制目标掩膜图像。例如，由图6b中可见闭合轮廓602的区域面积大于闭合轮廓603的区域面积，因此选出闭合轮廓602和初始掩膜图像601进行处理，得到目标掩膜图像如图6c中604所示。

可选的，得到目标掩膜图像后，将目标掩膜图像和深度人脸图像进行预设运算，所述预设运算可以指相乘运算，也即将目标掩膜图像和深度人脸图像进行对应点相乘，以实现对背景深度噪声的去除和对人脸区域的深度提取。

在一个实施例中，通过上述步骤对深度人脸图像进行去噪声处理后，对去噪声处理后的深度人脸图像进行法向信息计算之前，还可以对去噪声处理后的深度人脸图像进行深度归一化处理。其中，深度归一化处理的步骤可以包括：计算去噪声处理后的深度人脸图像中所有非零深度值中的最小值D_min和最大值D_max；将深度人脸图像中所有非零深度值，先减去D_min，再除以(D_max-D_min)，最后乘以255。如此归一化后，深度人脸图像中的深度值大小均在[0，255]范围内。

在一个实施例中，对去噪声处理后的深度人脸图像进行法向信息计算的步骤可包括：采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴方向微分以及竖轴方向微分；将所述横轴方向微分、所述纵轴方向微分以及所述竖轴方向微分分别进行归一化处理，并将归一化处理后的横轴方向微分、归一化后的纵轴方向微分以及归一化后的竖轴方向微分进行合成处理，得到法向人脸图像。具体地，对经过归一化处理的深度人脸图像使用一阶微分函数，分别计算x方向、y方向上的微分，然后根据公式x*x+y*y+z*z＝1，求取z方向上的微分，对x，y，z的微分分别归一化至[0，255]范围，合成一个三通道的法向人脸图像。

参考图6d，为本发明实施例提供的一种法向人脸图像的示意图，605表示法向人脸图像的示意图，606表示未经过去噪声处理和图像优化处理的深度人脸图像，将605和606对比可见，法向人脸图像中人脸面部细节形状描述的更加细节。

步骤S405、调用深度图像识别模型对法向人脸图像进行特征提取得到第二特征。

步骤S406、将第一特征和第二特征进行融合得到融合特征。

在一个实施例中，所述将第一特征和第二特征进行融合得到融合特征的实施方式，可包括：采用预先训练的MLP网络进行融合；或者，基于先验知识的贝叶斯融合方式进行融合；或者，首先对第二特征进行部分特征选择，然后再与第一特征融合。

步骤S407、查询身份数据库中是否存在与融合特征匹配的用户特征数据。

步骤S408、若存在，则将相匹配的用户特征数据对应的身份信息确定为目标用户的目标身份信息。

在一个实施例中，步骤S405-步骤S408中包括的一些可行的实施方式可参见图2实施例中相关步骤的描述，此处不再赘述。

本发明实施例中，当获取到包括目标用户人脸的彩色图像和深度图像后，对彩色图像进行人脸检测和裁剪处理得到彩色人脸图像，并调用彩色图像识别模型对彩色人脸图像进行特征提取得到第一特征，以及对深度图像进行人脸检测和裁剪处理得到深度人脸图像；进一步的，对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；然后调用深度图像识别模型对法向人脸图像进行特征提取得到第二特征。深度图像识别模型是基于融合图像样本训练得到的，融合图像样本是由具有关联关系的彩色图像样本和深度图像样本融合得到的，也就是说融合图像样本中即包括了彩色图像样本中的图像信息，也包括深度图像样本中的图像信息，因此基于融合图像样本训练得到的深度图像识别模型使用了更多的图像信息，在很大程度了提高了模型的准确度。

更进一步的，得到第一特征和第二特征后，将第一特征和第二特征融合得到融合特征，将身份数据库中与融合特征匹配的身份信息确定为目标用户的身份信息。第一特征和第二特征可能包括了不同的目标用户人脸的信息，将两个特征进行融合，可以得到人脸信息更为丰富的融合特征，进而基于融合特征进行身份信息查询能够提高查询的准确性，从而提高了人脸识别的准确性。

上述图2和图4实施例中所述的图像处理方法可以应用在任意需要通过人脸识别进行身份验证的场景中比如人脸支付业务，下面以上述图像处理方法应用在人脸支付业务为例，介绍一种图像处理方法的应用场景。参见图7，为本发明实施例提供的一种执行人脸支付业务的流程示意图。图7所述的人脸支付业务可包括如下步骤：

步骤S701：由RGB-D摄像头抓拍包括目标用户人脸的彩色图像和深度图像，并对彩色图像和深度图像进行人脸检测。

步骤S702：分别对彩色图像和深度图像进行人脸对齐处理，得到标准图像大小的用于人脸特征提取的彩色人脸图像以及深度人脸图像；进一步的，对深度人脸图像进行预处理，以去除深度人脸图像中包括的噪声，并计算人脸法向信息到法向人脸图像，以计算深度人脸图像的面部形状信息，消除人脸拍照时绝对距离变化带来的影响；然后使用彩色图像识别模型对彩色人脸图像进行特征提取，以及使用深度图像识别模型对法向人脸图像进行特征提取；

步骤S703：融合上述两个识别模型提取到的特征，得到用于人脸识别的融合特征；

步骤S704：使用融合特征到人脸支付业务对应的注册底库中查询目标用户的目标身份信息。具体实现中，对所有注册人脸支付业务的用户人脸图像，采用上述步骤S701-步骤S703提取对应的融合特征作为查询用特征；将各个用户对应的查询用特征与步骤S703得到的抓拍人脸的融合特征进行匹配，取最高相似度对应的身份作为查询结果；并将最高相似度与给定的识别阈值进行比较，若最高相似度大于给定的识别阈值，则将最高相似度对应的身份作为目标用户的身份，并输出识别身份信息，以及执行人脸支付业务；否则，则不输出识别信息。

基于上述的图像处理方法的实施例，本发明实施例还提供了一种图像处理装置。参见图8，为本发明实施例提供的一种图像处理装置的结构示意图，图8所示的图像处理装置的结构示意图可运行如下单元：

获取单元801，用于获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

处理单元802，用于对所述彩色人脸图像进行特征提取得到第一特征；

所述处理单元802，还用于对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

所述处理单元802，还用于对所述法向人脸图像进行特征提取得到第二特征；

融合单元803，用于将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

确定单元804，用于基于所述融合特征确定所述目标用户对应的目标身份信息。

在一个实施例中，所述处理单元802在对所述法向人脸图像进行特征提取得到第二特征是调用深度图像识别模型执行的，所述深度图像识别模型是基于融合图像样本集合训练得到的，所述融合图像样本集合中包含多个融合图像样本及各个融合图像样本对应的身份标签；一个所述融合图像样本是对具有关联关系的彩色图像样本和深度图像样本进行融合处理得到的，所述具有关联关系的彩色图像样本和深度图像样本是指所述彩色图像样本和所述深度图像样本用于反映同一场景下同一用户的相同人脸形态。

在一个实施例中，所述处理单元802在对所述深度人脸图像进行去噪声处理时，执行如下步骤：绘制所述深度人脸图像对应的目标掩膜图像；将所述目标掩膜图像与所述深度人脸图像进行预设运算。

在一个实施例中，所述处理单元802在绘制所述深度人脸图像对应的目标掩膜图像时，执行如下步骤：获取所述深度人脸图像中人脸上的目标部位的目标深度值；基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理，得到初始掩膜图像；确定所述初始掩膜图像中包括的至少一个闭合轮廓，以及所述至少一个闭合轮廓中每个闭合轮廓的区域面积；根据最大的区域面积对应的闭合轮廓和所述初始掩膜图像绘制目标掩膜图像。

在一个实施例中，所述处理单元802在确定所述初始掩膜图像中包括的至少一个闭合轮廓时，执行如下步骤：将所述初始掩膜图像中具有相同深度值的多个像素点组成一个连通域，每个连通域确定为一个闭合轮廓。

在一个实施例中，所述处理单元802在获取所述深度人脸图像中所述人脸上的目标部位的目标深度值时，执行如下步骤：获取所述深度人脸图像中所述目标部位的位置信息；基于所述位置信息在所述深度人脸图像上截取预设区域，所述预设区域包括以所述位置信息所指示的位置为中心且以目标数量个像素点为边长的矩形区域；对所述预设区域内包括的目标像素点的深度值进行预设运算，并将运算结果作为所述目标部位的目标深度值，所述目标像素点是指所述预设区域内深度值大于零的像素点。

在一个实施例中，所述处理单元802在基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理得到初始掩膜图像时，执行如下步骤：获取深度变化值，并根据所述深度变化值和所述目标深度值确定目标深度值范围；将所述深度人脸图像中深度值在所述目标深度范围外的像素点的深度值更新为第一深度值，得到分割后的深度人脸图像；将分割后的深度人脸图像中深度值大于二值化阈值的像素点的深度值更新为1，得到初始掩膜图像。

在一个实施例中，所述处理单元802在对去噪声处理后的深度人脸图像进行法向信息计算，得到法向人脸图像时，执行如下步骤：采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴方向微分以及竖轴方向微分；将所述横轴方向微分、所述纵轴方向微分以及所述竖轴方向微分分别进行归一化处理，并将归一化处理后的横轴方向微分、归一化后的纵轴方向微分以及归一化后的竖轴方向微分进行合成处理，得到法向人脸图像。

在一个实施例中，所述确定单元804在基于所述融合特征确定所述目标用户对应的目标身份信时，执行如下步骤：查询身份数据库中是否存在与所述融合特征匹配的用户特征数据；若存在，则将匹配的用户特征数据对应的身份信息确定为目标用户对应的目标身份信息；

其中，所述身份数据库中存储多个用户中每个用户的身份信息和用户特征数据的对应关系，任一用户的用户特征数据是指以下任意一种或多种：所述任一用户人脸的参考图像，以及所述任一用户对应的参考融合特征；其中，所述任一用户人脸的参考图像包括具备关联关系的彩色参考图像和深度参考图像，所述参考融合特征是基于对所述彩色参考图像进行特征提取得到的特征和对所述深度参考图像进行特征提取的特征进行融合处理得到的。

在一个实施例中，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；所述彩色图像和所述深度图像是通过图像采集界面采集到的，所述图像采集界面是存在与目标业务相关的触发事件时显示的，所述身份数据库中多个用户为注册所述目标业务的用户；所述目标业务包括人脸支付业务，所述触发事件包括接收到执行人脸支付业务的业务执行请求，所述处理单元802还用于执行：若所述身份数据中存在与所述融合特征匹配的身份信息，则执行所述人脸支付业务。

在一个实施例中，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；

所述彩色图像和所述深度图像是通过双图像采集设备对目标场景下目标用户的目标人脸人脸形态进行采集得到的；或者，所述彩色图像是通过彩色图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；

所述深度图像是通过深度图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；或者，所述深度图像是对所述彩色图像进行深度化处理得到的。

根据本发明的一个实施例，图2和图4所示的图像处理方法所涉及各个步骤可以是由图8所示的图像处理装置中的各个单元来执行的。例如，图2所述的步骤S201可由图8所示的图像处理装置中的获取单元801来执行，步骤S202-步骤S204可由图8所示的图像处理装置中的处理单元802来执行，步骤S205可由图8所示的图像处理装置中的融合单元803来执行，步骤S206可由图8所示的图像处理装置中的确定单元804来执行；再如，图4所示的图像处理方法中步骤S401可由图8所示的图像处理装置中的获取单元801来执行，步骤S402-步骤S405以及步骤S407可由图8所示的图像处理装置中的处理单元802来执行，步骤S406可由图8所示的图像处理装置中的融合单元803来执行，步骤S408可由图8所示的图像处理装置中的确定单元804来执行。

根据本发明的另一个实施例，图8所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图4所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的图像处理装置，以及来实现本发明实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。

本发明实施例中，获取包括目标用户人脸的彩色人脸图像，以及与彩色人脸图像具有关联关系的深度人脸图像，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；进一步的，对彩色人脸图像进行特征提取处理得到第一特征，然后对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，更进一步的对法向人脸图像进行特征提取得到第二特征。最后将第一特征和第二特征进行融合得到融合特征，以及基于融合特征确定目标用户对应的目标身份信息。

在上述图像处理过程中，第二特征是对法向人脸图像进行特征提取得到的，由于法向人脸图像是通过对深度人脸图像进行处理得到的，法向人脸图像中包含了深度人脸图像中反映的人脸信息，且这些信息在法向人脸图像中表现的更为具体，因此第二特征也能够反映更为具体的人脸信息。另外，彩色人脸图像中可能包括了法向人脸图像不同的人脸信息，将对彩色人脸图像进行特征提取得到的第一特征和第二特征进行融合，得到的融合特征包括了更多的目标人脸的信息，在基于融合特征确定目标用户的目标身份信息时，可以提高准确度。

基于上述方法以及装置实施例，本发明实施例还提供了一种图像处理设备。参见图9，为本发明实施例提供的一种图像处理设备的结构示意图。图9所示的图像处理设备可至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904。其中，处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。

计算机存储介质904可以存储在文本处理设备的存储器中，所述计算机存储介质901用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1201用于执行所述计算机存储介质904存储的程序指令。处理器1201(或称CPU(Central Processing Unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；对所述彩色人脸图像进行特征提取得到第一特征；对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；对所述法向人脸图像进行特征提取得到第二特征；将所述第一特征和所述第二特征进行特征融合处理得到融合特征；基于所述融合特征确定所述目标用户对应的目标身份信息。

本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是图像处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括图像处理设备中的内置存储介质，当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了图像处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器901加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，所述计算机存储介质可由处理器901加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2和图4所示的图像处理方法的相应步骤。具体实现中，计算机存储介质中的一条或多条指令由处理器901加载并执行如下步骤：获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；对所述彩色人脸图像进行特征提取得到第一特征；对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；对所述法向人脸图像进行特征提取得到第二特征；将所述第一特征和所述第二特征进行特征融合处理得到融合特征；基于所述融合特征确定所述目标用户对应的目标身份信息。

在一个实施例中，所述处理器901在对所述法向人脸图像进行特征提取得到第二特征是调用深度图像识别模型执行的，其中，所述深度图像识别模型是基于融合图像样本集合训练得到的，所述融合图像样本集合中包含多个融合图像样本及各个融合图像样本对应的身份标签；一个所述融合图像样本是对具有关联关系的彩色图像样本和深度图像样本进行融合处理得到的，所述具有关联关系的彩色图像样本和深度图像样本是指所述彩色图像样本和所述深度图像样本用于反映同一场景下同一用户的相同人脸形态。

在一个实施例中，所述处理器901在对所述深度图像进行去噪声处理时，执行如下步骤：绘制所述深度人脸图像对应的目标掩膜图像；将所述目标掩膜图像与所述深度人脸图像进行预设运算。

在一个实施例中，所述处理器901在绘制所述深度人脸图像对应的目标掩膜图像时，执行如下步骤：获取所述深度人脸图像中人脸上的目标部位的目标深度值；基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理，得到初始掩膜图像；确定所述初始掩膜图像中包括的至少一个闭合轮廓，以及所述至少一个闭合轮廓中每个闭合轮廓的区域面积；根据最大的区域面积对应的闭合轮廓和所述初始掩膜图像绘制目标掩膜图像。

在一个实施例中，所述处理器901在确定所述初始掩膜图像中包括的至少一个闭合轮廓，时，执行如下步骤：将所述初始掩膜图像中具有相同深度值的多个像素点组成一个连通域，每个连通域确定为一个闭合轮廓。

在一个实施例中，所述处理器901在获取所述深度人脸图像中所述人脸上的目标部位的目标深度值时，执行如下步骤：

获取所述深度人脸图像中所述目标部位的位置信息；基于所述位置信息在所述深度人脸图像上截取预设区域，所述预设区域包括以所述位置信息所指示的位置为中心且以目标数量个像素点为边长的矩形区域；对所述预设区域内包括的目标像素点的深度值进行预设运算，并将运算结果作为所述目标部位的目标深度值，所述目标像素点是指所述预设区域内深度值大于零的像素点。

在一个实施例中，所述处理器901在基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理得到初始掩膜图像时，执行如下步骤：获取深度变化值，并根据所述深度变化值和所述目标深度值确定目标深度值范围；将所述深度人脸图像中深度值在所述目标深度范围外的像素点的深度值更新为第一深度值，得到分割后的深度人脸图像；将分割后的深度人脸图像中深度值大于二值化阈值的像素点的深度值更新为1，得到初始掩膜图像。

在一个实施例中，所述处理器901在对去噪声处理后的深度人脸图像进行法向信息计算，得到法向人脸图像时，执行如下步骤：采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴方向微分以及竖轴方向微分；将所述横轴方向微分、所述纵轴方向微分以及所述竖轴方向微分分别进行归一化处理，并将归一化处理后的横轴方向微分、归一化后的纵轴方向微分以及归一化后的竖轴方向微分进行合成处理，得到法向人脸图像。

在一个实施例中，所述处理器901在基于所述融合特征确定所述目标用户对应的目标身份信息时，执行如下步骤：

查询身份数据库中是否存在与所述融合特征匹配的用户特征数据；若存在，则将匹配的用户特征数据对应的身份信息确定为目标用户对应的目标身份信息；其中，所述身份数据库中存储多个用户中每个用户的身份信息和用户特征数据的对应关系，任一用户的用户特征数据是指以下任意一种或多种：所述任一用户人脸的参考图像，以及所述任一用户对应的参考融合特征；其中，所述任一用户人脸的参考图像包括具备关联关系的彩色参考图像和深度参考图像，所述参考融合特征是基于对所述彩色参考图像进行特征提取得到的特征和对所述深度参考图像进行特征提取的特征进行融合处理得到的。

在一个实施例中，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；所述彩色图像和所述深度图像是通过图像采集界面采集到的，所述图像采集界面是存在与目标业务相关的触发事件时显示的，所述身份数据库中多个用户为注册所述目标业务的用户；所述触发事件包括接收到执行人脸支付业务的业务执行请求，所述目标业务包括人脸支付业务，所述处理器901还用于：若所述身份数据中存在与所述融合特征匹配的身份信息，则执行所述人脸支付业务。

在一个实施例中，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；所述彩色图像和所述深度图像是通过双图像采集设备对目标场景下目标用户的目标人脸人脸形态进行采集得到的；或者，所述彩色图像是通过彩色图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；所述深度图像是通过深度图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；或者，所述深度图像是对所述彩色图像进行深度化处理得到的。

本发明实施例中，获取包括目标用户人脸的彩色人脸图像，以及与彩色人脸图像具有关联关系的深度人脸图像，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；进一步的，对彩色人脸图像进行特征提取处理得到第一特征，然后对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，更进一步的对法向人脸图像进行特征提取得到第二特征。最后将第一特征和第二特征进行融合得到融合特征，以及基于融合特征确定目标用户对应的目标身份信息。

在上述图像处理过程中，第二特征是对法向人脸图像进行特征提取得到的，由于法向人脸图像是通过对深度人脸图像进行处理得到的，法向人脸图像中包含了深度人脸图像中反映的人脸信息，且这些信息在法向人脸图像中表现的更为具体，因此第二特征也能够反映更为具体的人脸信息。另外，彩色人脸图像中可能包括了法向人脸图像不同的人脸信息，将对彩色人脸图像进行特征提取得到的第一特征和第二特征进行融合，得到的融合特征包括了更多的目标人脸的信息，在基于融合特征确定目标用户的目标身份信息时，可以提高准确度。

根据本申请的一个方面，本发明实施例还提供了一种计算机产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。处理器901从计算机可读存储介质中读取该计算机指令，处理器901执行该计算机指令，使得图像处理设备执行图2和图4所示的图像处理方法，具体地：获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；对所述彩色人脸图像进行特征提取得到第一特征；对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法人脸图像；对所述法向人脸图像进行特征提取得到第二特征；将所述第一特征和所述第二特征进行特征融合处理得到融合特征；基于所述融合特征确定所述目标用户对应的目标身份信息。

本发明实施例中，获取包括目标用户人脸彩色人脸图像，以及与彩色人脸图像具有关联关系的深度人脸图像，所述关联关系是指所述彩色人脸图像和所述人脸深度图像用于反映同一场景下目标用户的相同人脸形态；进一步的，对彩色人脸图像进行特征提取得到第一特征，然后对深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像，更进一步的，对法向人脸图像进行特征提取得到第二特征。最后将第一特征和第二特征进行融合得到融合特征，以及基于融合特征确定目标用户对应的目标身份信息。

在上述图像处理过程中，第二特征是对法向人脸图像进行特征提取得到的，由于法向人脸图像是通过对深度人脸图像进行处理得到的，法向人脸图像中包含了深度人脸图像中反映的人脸信息，且这些信息在法向人脸图像中表现的更为具体，因此第二特征也能够反映更为具体的人脸信息。另外，彩色人脸图像中可能包括了法向人脸图像不同的人脸信息，将对彩色人脸图像进行特征提取得到的第一特征和第二特征进行融合，得到的融合特征包括了更多的目标人脸的信息，在基于融合特征确定目标用户的目标身份信息时，可以提高准确度。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

对所述彩色人脸图像进行特征提取得到第一特征；

对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

对所述法向人脸图像进行特征提取得到第二特征；

将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

基于所述融合特征确定所述目标用户对应的目标身份信息。

2.如权利要求1所述的方法，其特征在于，所述对所述法向人脸图像进行特征提取得到第二特征是调用深度图像识别模型执行的，所述深度图像识别模型是基于融合图像样本集合训练得到的，所述融合图像样本集合中包含多个融合图像样本及各个融合图像样本对应的身份标签；一个所述融合图像样本是对具有关联关系的彩色图像样本和深度图像样本进行融合处理得到的，所述具有关联关系的彩色图像样本和深度图像样本是指所述彩色图像样本和所述深度图像样本用于反映同一场景下同一用户的相同人脸形态。

3.如权利要求1所述的方法，其特征在于，所述对所述深度人脸图像进行去噪声处理，包括：

绘制所述深度人脸图像对应的目标掩膜图像；

将所述目标掩膜图像与所述深度人脸图像进行预设运算。

4.如权利要求3所述的方法，其特征在于，所述绘制所述深度人脸图像对应的目标掩膜图像，包括：

获取所述深度人脸图像中人脸上的目标部位的目标深度值；

基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理，得到初始掩膜图像；

确定所述初始掩膜图像中包括的至少一个闭合轮廓，以及所述至少一个闭合轮廓中每个闭合轮廓的区域面积；

根据最大的区域面积对应的闭合轮廓和所述初始掩膜图像绘制目标掩膜图像。

5.如权利要求4所述的方法，所述确定所述初始掩膜图像中包括的至少一个闭合轮廓，包括：

将所述初始掩膜图像中具有相同深度值的多个像素点组成一个连通域，每个连通域确定为一个闭合轮廓。

6.如权利要求4所述的方法，其特征在于，所述获取所述深度人脸图像中所述人脸上的目标部位的目标深度值，包括：

获取所述深度人脸图像中所述目标部位的位置信息；

基于所述位置信息在所述深度人脸图像上截取预设区域，所述预设区域包括以所述位置信息所指示的位置为中心且以目标数量个像素点为边长的矩形区域；

对所述预设区域内包括的目标像素点的深度值进行预设运算，并将运算结果作为所述目标部位的目标深度值，所述目标像素点是指所述预设区域内深度值大于零的像素点。

7.如权利要求4所述的方法，其特征在于，所述基于所述目标深度值对所述深度人脸图像进行图像分割处理和二值化处理得到初始掩膜图像，包括：

获取深度变化值，并根据所述深度变化值和所述目标深度值确定目标深度值范围；

将所述深度人脸图像中深度值在所述目标深度范围外的像素点的深度值更新为第一深度值，得到分割后的深度人脸图像；

将分割后的深度人脸图像中深度值大于二值化阈值的像素点的深度值更新为1，得到初始掩膜图像。

8.如权利要求1所述的方法，其特征在于，所述对去噪声处理后的深度人脸图像进行法向信息计算，得到法向人脸图像，包括：

采用微分函数对去噪声处理后的深度人脸图像进行运算，得到横轴上微分、纵轴方向微分以及竖轴方向微分；

将所述横轴方向微分、所述纵轴方向微分以及所述竖轴方向微分分别进行归一化处理，并将归一化处理后的横轴方向微分、归一化后的纵轴方向微分以及归一化后的竖轴方向微分进行合成处理，得到法向人脸图像。

9.如权利要求1所述的方法，其特征在于，所述基于所述融合特征确定所述目标用户对应的目标身份信息，包括：

查询身份数据库中是否存在与所述融合特征匹配的用户特征数据；

若存在，则将匹配的用户特征数据对应的身份信息确定为目标用户对应的目标身份信息；

其中，所述身份数据库中存储多个用户中每个用户的身份信息和用户特征数据的对应关系，任一用户的用户特征数据是指以下任意一种或多种：所述任一用户人脸的参考图像，以及所述任一用户对应的参考融合特征；其中，所述任一用户人脸的参考图像包括具备关联关系的彩色参考图像和深度参考图像，所述参考融合特征是基于对所述彩色参考图像进行特征提取得到的特征和对所述深度参考图像进行特征提取的特征进行融合处理得到的。

10.如权利要求9所述的方法，其特征在于，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；所述彩色图像和所述深度图像是通过图像采集界面采集到的，所述图像采集界面是存在与目标业务相关的触发事件时显示的，所述身份数据库中多个用户为注册所述目标业务的用户；所述目标业务包括人脸支付业务，所述触发事件包括接收到执行人脸支付业务的业务执行请求，所述方法还包括：

若所述身份数据库中存在与所述融合特征匹配的用户特征数据，则执行所述人脸支付业务。

11.如权利要求1所述的方法，所述彩色人脸图像是对包括所述目标用户人脸的彩色图像进行人脸检测和裁剪处理得到的，所述深度人脸图像是对包括所述目标用户人脸的深度图像进行人脸检测和裁剪处理得到的；

所述彩色图像和所述深度图像是通过双图像采集设备对目标场景下目标用户的目标人脸人脸形态进行采集得到的；或者，所述彩色图像是通过彩色图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；

所述深度图像是通过深度图像采集设备对所述目标场景下所述目标用户的所述目标人脸形态进行采集得到的；或者，所述深度图像是对所述彩色图像进行深度化处理得到的。

12.一种图像处理装置，其特征在于，包括：

获取单元，用于获取包括目标用户人脸的彩色人脸图像和深度人脸图像，所述彩色人脸图像和所述深度人脸图像之间具备关联关系，所述关联关系是指所述彩色人脸图像和所述深度人脸图像用于反映同一场景下所述目标用户的相同人脸形态；

处理单元，用于对所述彩色人脸图像进行特征提取得到第一特征；

所述处理单元，还用于对所述深度人脸图像进行去噪声处理，并对去噪声处理后的深度人脸图像进行法向信息计算得到法向人脸图像；

所述处理单元，还用于对所述法向人脸图像进行特征提取得到第二特征；

融合单元，用于将所述第一特征和所述第二特征进行特征融合处理得到融合特征；

确定单元，用于基于所述融合特征确定所述目标用户对应的目标身份信息。

13.一种图像处理设备，其特征在于，包括：

处理器，适于实现一条或多条指令；以及

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-11任一项所述的图像处理方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-11任一项所述的图像处理方法。

Images