CN113538315B - 图像处理方法及装置 - Google Patents

Abstract

本说明书实施例提供图像处理方法及装置，其中所述图像处理方法包括：确定目标人脸的二维目标图片以及三维目标图片；将所述二维目标图片输入深度估计模型，获得初始深度估计图；将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图，便于后续基于增强后的三维人脸图实现人脸识别应用，不仅能够保护用户的隐私安全，且利用二维图片的深度估计图作为参考，调整低质量的三维人脸图，从而能够提升三维人脸识别系统的稳定性。

Description

图像处理方法及装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种图像处理方法。

背景技术

随着人脸识别技术的不断发展，当前业界主流的人脸识别系统主要基于二维人脸识别算法，此算法依赖系统采集并留存大量二维人脸图，但由于二维人脸图是用户较为敏感的隐私信息，因此该二维人脸识别系统在隐私保护安全问题上一直存在挑战。后来随着三维深度摄像头的普及，三维人脸识别技术也开始慢慢被应用于人脸识别系统的建设，但三维人脸采集设备容易受到环境限制，且设备摄像头深度探测距离有限，进而使得三维人脸识别的应用场景和应用性能受限。

发明内容

有鉴于此，本说明书施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置，一种计算设备，一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种图像处理方法，包括：

确定目标人脸的二维目标图片以及三维目标图片；

将所述二维目标图片输入深度估计模型，获得初始深度估计图；

将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图。

根据本说明书实施例的第二方面，提供了一种图像处理装置，包括：

图片确定模块，被配置为确定目标人脸的二维目标图片以及三维目标图片；

第一获得模块，被配置为将所述二维目标图片输入深度估计模型，获得初始深度估计图；

第二获得模块，被配置为将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述图像处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述图像处理方法的步骤。

本说明书一个实施例通过确定目标人脸的二维目标图片以及三维目标图片；将所述二维目标图片输入深度估计模型，获得初始深度估计图；将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图。

具体的，通过用户人脸的二维人脸图确定相应的三维深度估计图，再基于三维深度估计图与用户人脸的低质量的三维人脸图进行图像融合，实现了对采集到的低质量的三维人脸图进行融合增强，进而获得高质量的三维人脸图，便于后续基于增强后的三维人脸图实现人脸识别应用，不仅能够比二维人脸图的识别系统保护用户的隐私安全，且利用二维人脸图的深度估计图作为参考，调整低质量的三维人脸图，获得高质量的三维人脸图，从而能够提升三维人脸识别系统的稳定性，也进一步扩大了三维人脸识别系统的适用范围和应用场景。

附图说明

图1是本说明书一个实施例提供的一种图像处理方法的系统结构示意图；

图2是本说明书一个实施例提供的一种图像处理方法的流程图；

图3是本说明书一个实施例提供的一种图像处理方法的目标人脸示意图；

图4是本说明书一个实施例提供的一种图像处理方法的二维人脸图生成三维人脸深度图的示意图；

图5是本说明书一个实施例提供的一种图像处理方法生成3D人脸深度图的流程示意图；

图6是本说明书一个实施例提供的一种图像处理方法的处理过程流程图；

图7是本说明书一个实施例提供的一种图像处理装置的结构示意图；

图8是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

深度估计：利用一张或者唯一/多个视角下的RGB图像，估计图像中每个像素相对拍摄源的距离。

深度学习：一种利用人工神经网络进行学习推理的机器学习方法。

人脸识别：进行人脸1:N比对，确定人脸身份，如给定一张人脸图像，在大小为N的人脸库中检出此人。

2D人脸：二维人脸。

3D人脸：三维人脸。

三维人脸识别：利用人脸深度图或人脸的立体点云信息进行人脸身份识别的算法。

结构光3D摄像头：利用结构光和三角测量的原理进行深度测量的3D摄像头。

三维人脸增强：对3D摄像头采集到的低质量三维人脸数据进行数据增强的方法。

全卷积神经网络：一种全部采用卷积层实现的神经网络，实现了从图像像素到像素类别的变换，常用于图像分割、深度估计、关键点检测等计算机视觉任务。

当前业界主流的人脸识别系统主要基于2D人脸识别算法，此算法依赖系统采集并留存大量2D人脸照片。由于2D人脸图是用户极为敏感的隐私信息，因此2D人脸识别系统在隐私保护和安全性一直存在严重的挑战。随着人脸识别技术的不断发展，3D深度摄像头的普及，三维人脸识别开始被逐渐应用在各类人脸识别系统中。相对二维人脸图像，三维人脸图像肉眼可辨认性较低，因此三维人脸识别相对二维人脸识别在隐私保护性上有着明显的优势。当前大部分刷脸及搭载的3D摄像头是成本相对较低的结构光3D摄像头，此类摄像头在一些特殊条件下三维成像的效果较差，如摄像头处在强光环境、所拍摄物体距离较远、所拍摄物体表面反光性强等等，因此3D摄像头成像效果差会影响到三维人脸对比的性能和稳定性，进一步限制三维人脸比对设备的应用场景。综上，在目前市场上主流的人脸识别系统中，基于二维人脸识别的人脸识别系统存在隐私安全、监管合规的问题；基于三维人脸识别的人脸识别系统受摄像头性能限制，应用场景和应用性能受限，基于此，本说明书实施例提出了一种利用人脸深度估计算法对结构光3D摄像头的三维人脸成像结果进行增强的方法，用于提升三维人脸识别系统的应用性能，扩大其应用范围，

在本说明书中，提供了一种图像处理方法，本说明书同时涉及一种图像处理装置，一种计算设备，一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本说明书一个实施例提供的一种图像处理方法的系统结构示意图。

需要说明的是，本说明书实施例提供的图像处理方法可应用于人脸识别系统，为了加强人脸识别的准确度，且提高对用户人脸的隐私保护，可基于3D人脸深度图实现对用户人脸的识别。

图1中包括三部分，分别为图像采集部分、3D人脸增强部分以及3D人脸识别部分，其中，图像采集部分是基于数据采集设备采集人脸的2D图片以及3D图片，并对2D人脸图片以及3D人脸图片进行预处理；3D人脸增强部分是对采集的到的2D人脸图片以及3D人脸图片进行融合处理，获得3D人脸深度图；3D人脸识别部分将3D人脸深度图与3D人脸数据留底库进行比对，进而实现人脸识别身份验证的过程。

具体实施时，在人脸识别场景中，图像采集设备上的RGB-Depth摄像头采集用户人脸，即该摄像头可采集该用户人脸的2D人脸图片以及3D人脸图片，且对该用户人脸的2D人脸图片以及3D人脸图片分别进行预处理，将处理后的2D人脸图片进行深度估计，获得深度估计后的3D人脸深度图，将处理后的低质量的3D人脸图片与深度估计后的3D人脸深度图进行数据融合，最终获得该用户人脸的高质量的3D人脸深度图；再将该3D人脸深度图输入3D人脸识别部分，对该3D人脸深度图提取对应的人脸特征，再基于该人脸特征从该用户预先存储的3D人脸数据留底库中查找相应的人脸特征，实现该用户人脸的识别，从而确定该用户的身份信息。

本说明书实施例提供的图像处理方法，通过利用用户人脸的2D人脸图片的深度估计，实现从2D人脸图中对人脸的3D深度信息进行粗略估计，深度估计的结果可以对真实采集到的低质量3D人脸数据进行融合增强，进而利用增强后的3D人脸图进行3D人脸识别，间接实现了对3D人脸识别效果的增强，从而提升了3D人脸识别系统的稳定性，也进一步扩大了3D人脸识别系统的适用范围和应用场景。

参见图2，图2示出了本说明书实施例提供的图像处理方法的流程图，具体包括以下步骤。

步骤202：确定目标人脸的二维目标图片以及三维目标图片。

其中，目标人脸可以理解为在人脸识别场景中采集用户图像的用户人脸；二维目标图片可以理解为采集目标人脸的清晰的2D平面图片；三维目标图片可以理解为低质量的3D人脸深度估计图。

具体参考图3，图3示出了本说明书实施例提供的图像处理方法的目标人脸示意图。

图3中的a为目标人脸二维目标图片，图3中的b中为目标人脸的三维目标图片，图3中的c为低质量三维人脸图的示意图。

具体实施时，大部分的人脸识别系统主要基于二维人脸识别算法，该算法会依赖系统采集并留存大量的二维人脸照片，由于二维人脸图涉及用户的隐私信息，因此二维人脸识别系统在隐私保护和安全性一直存在着挑战。随着3D深度摄像头的普及，三维人脸图肉眼几乎无法辨认身份，因此三维人脸识别的隐私保护性更好。由于当前大部分刷脸机具搭载的3D摄像头是成本相对较低的结构光3D摄像头，参见图3中的c的示意图，此类摄像头在一些特殊条件下3D成像的效果较差，如摄像头处在强光环境、所拍摄物体距离较远、所拍摄物体表面反光性强等等。因此3D摄像头成像效果差会影响到3D人脸比对的性能和稳定性，进一步限制3D人脸比对设备的应用场景。

实际应用中，针对上述3D人脸识别系统稳定性较差、适用范围受限的问题，本实施例提供的图像处理方法可参考二维目标图片确定的深度估计图，以增强三维目标图片的展示效果，进而获得质量较高的三维目标图片，以提高3D人脸识别系统的识别效果。

进一步地，所述确定目标人脸的二维目标图片以及三维目标图片，包括：

基于同一个图像采集设备采集所述目标人脸的二维初始图片以及三维初始图片；

对所述目标人脸的二维初始图片进行预处理，获得所述目标人脸的二维目标图片，以及对所述目标人脸的三维目标图片进行预处理，获得所述目标人脸的三维目标图片。

其中，图像采集设备可以理解为人脸识别系统中的采集人脸图像的设备，比如，RGB-Depth摄像头具有采集刷脸人的RGB二维图片，也具有采集三维人脸深度图片的能力。但此类摄像头成本较低，相对其他成本较高的高精度三维扫描设备，其三维成像效果和稳定性较差，因此基于此类设备的三维人脸识别系统的鲁棒性较差、适用范围受限。

实际应用中，采集目标人脸的二维初始图片以及三维初始图片都是基于同一个图像采集设备采集的，由于采集的目标人脸的二维初始图片的背景可能也存在其他人脸、或者是该二维初始图片具有图片大小不规则等问题，并且采集的目标人脸的三维初始图片也可能存在图片模糊、图片扭曲等问题，因此，即可对目标人脸的二维初始图片以及三维初始图片分别进行预处理，进而获得目标人脸的二维目标图片以及三维目标图片。

本说明书实施例提供的图像处理方法，通过图像采集设备采集的目标人脸的二维人脸图片以及三维人脸图片，对该二维人脸图片以及三维人脸图片进行预处理，便于后续对处理后的二维人脸图片以及三维人脸图片进行人脸深度图估计，进而获得高质量的三维人脸深度估计图，以提高人脸识别系统的识别效果。

更进一步地，为了便于后续基于目标人脸的二维初始图片获得深度估计图，还需将目标人脸的二维初始图片进行预处理；具体的所述对所述目标人脸的二维初始图片进行预处理，获得所述目标人脸的二维目标图片，包括：

对所述目标人脸的二维初始图片进行人脸检测、人脸选择、人脸裁剪处理，获得所述目标人脸的二维目标图片。

实际应用中，在图像采集设备采集到目标人脸的二维初始图片之后，该二维初始图片的背景中可能会存在其他人脸，这样会导致后续基于该二维初始图片获得的深度估计图的质量较差，进而会影响后续对3D人脸估计图的处理，因此，在获取到二维初始图片之后，可对该二维初始图片进行人脸检测，若在检测到该二维初始图片中具有三张人脸图时，可根据人脸图的大小、角度等信息进行人脸选择，确定二维初始图片中的目标人脸，并对该目标人脸进行人脸采集，最终获得该目标人脸的二维目标图片。

本说明书实施例提供的图像处理方法，通过对图像采集设备采集的二维初始图片进行处理，进而获得目标人脸的二维目标图片，便于后续基于该二维目标图片预估出对应的人脸深度图，从而实现利用人脸深度图获得高质量的三维人脸深度估计图。

在图像采集设备采集到目标人脸的三维初始图片之后，该目标人脸可能会出现歪曲等问题，为了后续能够获得高质量的三维人脸深度估计图，需要先对三维初始图片进行预处理；具体的，所述对所述目标人脸的三维目标图片进行预处理，获得所述目标人脸的三维目标图片，包括：

对所述目标人脸的三维初始图片进行人脸裁剪、旋转校正、距离量化处理，获得所述目标人脸的三维目标图片。

实际应用中，在图像采集设备采集到目标人脸的三维初始图片之后，为了获得低质量的三维人脸深度估计图，便于后续基于该低质量的三维人脸深度估计图获得高质量的三维人脸深度估计图，需要对三维初始图片先进行人脸剪裁、旋转校正、距离量化等预处理操作，进而获得该目标人脸的三维目标图片。

本说明书实施例提供的图像处理方法，通过对图像采集设备采集的三维初始图片进行预处理，进而获得目标人脸的三维目标图片，便于后续将该三维目标图片进行处理，获得高质量的目标人脸的三维人脸深度估计图，增强人脸识别系统的人脸识别效果。

步骤204：将所述二维目标图片输入深度估计模型，获得初始深度估计图。

为了获得目标人脸的二维目标图片的深度估计图，实际应用中，可利用深度估计算法对二维目标图片进行3D人脸深度估计，进而获得目标人脸在三维人脸图片中的估计图。

具体实施时，所述将所述二维目标图片输入深度估计模型，获得初始深度估计图，包括：

将所述二维目标图片输入深度估计模型，确定所述目标人脸的各个部位的深度，并基于所述各个部位的深度确定所述目标人脸的初始深度估计图。

需要说明的是，深度估计算法是一种利用一张或者多个视角下的RGB图像，估计图像中每个像素相对拍摄源距离的算法，通过此算法可以实现从2D人脸图中对人脸的3D深度信息进行粗略估计，而本实施例中的深度估计模型也可以理解为全卷积神经网络模型，且该深度估计模型为预先训练的，具体的模型训练过程，本实施例对此不做过多限定，该深度估计模型的输入为二维图片，输出为三维的深度估计图。

实际应用中，利用全卷积神经网络从输入的二维人脸图中预测人脸图像各个部位的深度，从而实现从二维人脸图中大致恢复出三维人脸深度信息的目的，则该过程中获得的三维人脸深度图作为目标人脸的初始深度估计图，便于后续基于该初始深度估计图对真实采集到的低质量的3D人脸数据进行融合增强，进而实现了对3D人脸识别效果的增强。

此外，需要强调的是，在深度估计模型训练过程中，还可使用真实人脸深度图对该模型进行像素级监督与特征级监督，进而能够反向传播使深度估计模型能够更好地从2D人脸图中估计出3D人脸深度信息，具体可参见图4，图4示出了本说明书实施例提供的图像处理方法的二维人脸图生成三维人脸深度图的示意图。

图4中将一张RGB 2D人脸图输入深度估计模型，其中，该深度估计模型可以为全卷积网络模型，之后，该深度估计模型可以输出一张经过深度估计后的3D人脸深度图，为了训练更好的深度估计模型，还可基于预设真实的高质量的3D人脸深度图对输出的3D人脸深度图进行像素级监督与特征级监督，进而调整深度估计模型中的模型参数，以实现能够准确获得3D人脸深度图。

本说明书实施例提供的图像处理方法，通过从2D人脸图中估计出人脸深度信息，便于后续将该人脸深度信息作为参数，以增强低质量的3D人脸深度图，提高人脸识别系统的识别效果。

步骤206：将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图。

需要说明的是，图像融合模型也可以理解为全卷积神经网络模型，且对该图像融合模型的训练过程本实施例对此也不做过多限定；实际应用中，为了获得高质量的3D人脸深度图，利用2D人脸图生成的3D人脸深度图可以明确地确定出人脸中各个部位的估计深度，将该估计深度信息作为参数输入至图像融合模型中，实现对低质量的3D人脸深度估计图进行融合，获得目标人脸的目标深度估计图。

进一步地，所述将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图，包括：

将所述初始深度估计图与所述三维目标图片输入图像融合模型进行像素级图片融合处理，获得所述目标人脸的目标深度估计图。

实际应用中，图像采集设备采集到2D人脸图与3D人脸图后，先利用人脸深度估计算法从2D人脸图中得到深度估计的3D人脸深度图，此后，将该估计结果与图像采集设备采集到的低质量3D人脸深度图作为输入，同时送入轻量级全卷积神经网络用于数据融合，经过全卷积神经网络的处理，将两个输入的深度图像进行像素级融合，得到增强后的3D人脸深度图，此时融合后的3D人脸深度图相比与图像采集装置采集的原始3D人脸图，质量上已经有了大幅度的提升。

此外，在对图像融合模型预先训练的过程中，获得目标人脸的目标深度估计图之后，还可基于真实高质量的3D人脸深度图对目标深度估计图进行像素级监督与特征级监督，以实现对图像融合模型中参数的调整，进而获得能够准确输出3D人脸深度图的图像融合模型，具体参见图5，图5示出了本说明书实施例提供的图像处理方法生成3D人脸深度图的流程示意图。

图5中在图像采集设备采集到一张RGB 2D人脸图以及一张低质量3D人脸深度图之后，将RGB 2D人脸图输入深度估计模型，获得深度估计的3D人脸深度图，其中，该3D人脸深度图能够表示出2D人脸图中各个部分的深度信息，然后，再将深度估计的3D人脸深度图与低质量3D人脸深度图同时输入轻量融合模型中，获得融合3D人脸深度图，针对预先采集的真实高质量3D人脸深度图对轻量融合模型输出的融合3D人脸深度图进行像素级监督与特征级监督，进而实现调整轻量融合模型的参数，使得调整后的轻量融合模型能够输出较为准确的高质量的3D人脸深度图。

本说明书实施例提供的图像处理方法，通过将初始深度估计图与三维目标图片进行像素级融合，不仅能够保留图像采集设备采集出的真实3D人脸信息，同时也利用深度估计算法的结果修正了因图像采集设备不稳定而带来的成像质量问题。

为了提高人脸识别系统的隐私安全，本说明书实施例提供的图像处理方法中对于较为敏感的二维人脸图，还会进行删除操作，进而保证目标人脸的二维人脸图不会泄露，保证了人脸识别的安全性；具体的，所述获得所述目标人脸的目标深度估计图之后，还包括：

删除所述目标人脸的二维目标图片。

实际应用中，在将图像采集设备采集到的二维人脸图输入到深度估计模型之后，对该二维人脸图后续便不再使用，因此，为了保证人脸识别系统的隐私安全、监管合规的问题，可将目标人脸的二维目标图片进行删除处理，并不保存目标人脸的二维目标图片，以提升人脸识别系统的安全问题。

本说明书实施例提供的图像处理方法，通过对目标人脸的二维目标图片进行删除，以避免使用人脸识别系统的用户因二维图片泄露导致的隐私安全问题，进而提升了人脸识别的安全性，进一步发挥了3D人脸识别在隐私保护方面的优势。

在人脸识别系统在识别出目标人脸之后，可能还会对该目标人脸的身份进行验证；具体的，所述获得所述目标人脸的目标深度估计图之后，还包括：

提取所述目标人脸的目标深度估计图的目标人脸特征，基于所述目标人脸特征在预设三维人脸特征库中确定与所述目标人脸特征匹配的三维目标人脸。

其中，预设三维人脸特征库可以理解为3D人脸数据留底库，用于存储用户3D人脸留底信息的数据库，3D人脸数据具有肉眼辨认性低、隐私安全性高的特征；需要说明的是，在实际应用场景中，可预先采集用户高质量的3D人脸数据存储于数据库中，但采集高质量的3D人脸数据需要耗费较长的时间，而后续在其他登录场景、认证场景、支付场景等其他场景中应用本说明书实施例提供的图像处理方法能够快速地完成人脸识别操作。

为了便于理解，本实施例以人脸认证场景为例进行说明，在认证平台中，首先基于图像采集设备采集用户A的高质量的3D人脸图，并将该高质量的3D人脸图存储于人脸数据留底库中，便于后续通过高质量的3D人脸图进行人脸认证；在用户A下一次进行人脸认证的情况下，人脸识别系统会基于图像采集设备快速地采集用户A的一张2D人脸图片以及一张低质量的3D人脸图片，将用户A的2D人脸图片输入深度估计模型中，获得深度估计后的3D人脸深度图，并将3D人脸深度图与低质量的3D人脸图片同时输入轻量融合模型中，获得融合后的3D人脸深度图，并提取融合后的3D人脸深度图的目标人脸特征，基于该目标人脸特征在人脸数据留底库中查找，确定与用户A的目标人脸特征相匹配的3D人脸图，进而表明用户A在该认证平台已经进行了身份认证，因此，可向用户A展示人脸认证成功的信息。

本说明书实施例提供的图像处理方法，通过对增强后的3D人脸图提取3D人脸特征，与3D留底特征库进行检索对比，确定上传人脸图的身份，从而实现不留存用户的2D人脸图做留底的前提下确定上传人脸图的身份信息，极大地提高了人脸深度估计算法增强后的3D人脸深度图相比3D摄像头采集出的原始3D数据，质量更高、对比稳定性更强，实现了在增强了3D人脸识别系统的稳定性的同时，也扩大了3D人脸识别系统的适用范围。

综上，本说明书实施例提供的图像处理方法，提出了一种利用深度估计算法从2D人脸图中估计人脸深度信息，并对3D摄像头提取出的3D人脸信息进行增强的方法，该方法有助于提高3D人脸识别的鲁棒性和环境适应能力，能够在提高3D人脸识别稳定性的同时，也有助于3D人脸比对系统在复杂场景下的部署。

下述结合附图6，以本说明书提供的图像处理方法在人脸识别的应用为例，对所述图像处理方法进行进一步说明。其中，图6示出了本说明书一个实施例提供的一种图像处理方法的处理过程流程图，具体包括以下步骤。

步骤602：人脸识别系统将图像采集设备采集的RGB 2D人脸图进行预处理，并将处理后的2D人脸图发送至深度估计模型。

需要说明的是，步骤602执行结束后，可继续执行步骤606。

步骤604：人脸识别系统将图像采集设备采集的低质量3D人脸深度图输入至轻量融合模型中。

步骤606：深度估计模型输出RGB 2D人脸图对应的深度估计3D人脸深度图。

步骤608：人脸识别系统将深度估计3D人脸深度图输入至轻量融合模型。

步骤610：人脸识别系统将深度估计3D人脸深度图与低质量3D人脸深度图通过轻量融合模型进行数据融合，获得融合3D人脸深度图。

步骤612：人脸识别系统对融合3D人脸深度图进行检索对比。

步骤614：人脸识别系统从3D人脸留底库中查找与融合3D人脸深度图匹配的人脸深度图。

本说明书实施例提供的图像处理方法，通过用户人脸的二维人脸图确定相应的三维深度估计图，再基于三维深度估计图与用户人脸的低质量的三维人脸图进行图像融合，实现了对采集到的低质量的三维人脸图进行融合增强，进而获得高质量的三维人脸图，便于后续基于增强后的三维人脸图实现人脸识别应用，不仅能够比二维人脸图的识别系统保护用户的隐私安全，且利用二维人脸图的深度估计图作为参考，调整低质量的三维人脸图，获得高质量的三维人脸图，从而能够提升三维人脸识别系统的稳定性，也进一步扩大了三维人脸识别系统的适用范围和应用场景。

与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图7示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图7所示，该装置包括：

图片确定模块702，被配置为确定目标人脸的二维目标图片以及三维目标图片；

第一获得模块704，被配置为将所述二维目标图片输入深度估计模型，获得初始深度估计图；

第二获得模块706，被配置为将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图。

可选地，所述装置，还包括：

提取模块，被配置为提取所述目标人脸的目标深度估计图的目标人脸特征，基于所述目标人脸特征在预设三维人脸特征库中确定与所述目标人脸特征匹配的三维目标人脸。

可选地，所述装置，还包括：

删除模块，被配置为删除所述目标人脸的二维目标图片。

可选地，所述图片确定模块702，进一步被配置为：

采集模块，被配置为基于同一个图像采集设备采集所述目标人脸的二维初始图片以及三维初始图片；

预处理模块，被配置为对所述目标人脸的二维初始图片进行预处理，获得所述目标人脸的二维目标图片，以及对所述目标人脸的三维目标图片进行预处理，获得所述目标人脸的三维目标图片。

可选地，所述预处理模块，进一步被配置为：

对所述目标人脸的二维初始图片进行人脸检测、人脸选择、人脸裁剪处理，获得所述目标人脸的二维目标图片。

可选地，所述预处理模块，进一步被配置为：

对所述目标人脸的三维初始图片进行人脸裁剪、旋转校正、距离量化处理，获得所述目标人脸的三维目标图片。

可选地，所述第一获得模块704，进一步被配置为：

将所述二维目标图片输入深度估计模型，确定所述目标人脸的各个部位的深度，并基于所述各个部位的深度确定所述目标人脸的初始深度估计图。

可选地，所述第二获得模块706，进一步被配置为：

将所述初始深度估计图与所述三维目标图片输入图像融合模型进行像素级图片融合处理，获得所述目标人脸的目标深度估计图。

本说明书实施例提供的图像处理装置，通过用户人脸的二维图片确定相应的三维深度估计图，再基于三维深度估计图与用户人脸的三维图片进行图像融合，实现了对采集到的低质量的三维人脸图进行融合增强，进而获得高质量的三维人脸图，便于后续基于增强后的三维人脸图实现人脸识别应用，不仅能够保护用户的隐私安全，且利用二维图片的深度估计图作为参考，调整低质量的三维人脸图，从而能够提升三维人脸识别系统的稳定性，也进一步扩大了三维人脸识别系统的适用范围和应用场景。

上述为本实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。

图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。

计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。

其中，处理器820用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种图像处理方法，包括：

确定目标人脸的二维目标图片以及三维目标图片；

将所述二维目标图片输入深度估计模型，获得初始深度估计图；

将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图；

提取所述目标人脸的目标深度估计图的目标人脸特征，基于所述目标人脸特征在预设三维人脸特征库中确定与所述目标人脸特征匹配的三维目标人脸。

2.根据权利要求1所述的图像处理方法，所述获得所述目标人脸的目标深度估计图之后，还包括：

删除所述目标人脸的二维目标图片。

3.根据权利要求2所述的图像处理方法，所述确定目标人脸的二维目标图片以及三维目标图片，包括：

基于同一个图像采集设备采集所述目标人脸的二维初始图片以及三维初始图片；

对所述目标人脸的二维初始图片进行预处理，获得所述目标人脸的二维目标图片，以及对所述目标人脸的三维目标图片进行预处理，获得所述目标人脸的三维目标图片。

4.根据权利要求3所述的图像处理方法，所述对所述目标人脸的二维初始图片进行预处理，获得所述目标人脸的二维目标图片，包括：

对所述目标人脸的二维初始图片进行人脸检测、人脸选择、人脸裁剪处理，获得所述目标人脸的二维目标图片。

5.根据权利要求3所述的图像处理方法，所述对所述目标人脸的三维目标图片进行预处理，获得所述目标人脸的三维目标图片，包括：

对所述目标人脸的三维初始图片进行人脸裁剪、旋转校正、距离量化处理，获得所述目标人脸的三维目标图片。

6.根据权利要求1所述的图像处理方法，所述将所述二维目标图片输入深度估计模型，获得初始深度估计图，包括：

将所述二维目标图片输入深度估计模型，确定所述目标人脸的各个部位的深度，并基于所述各个部位的深度确定所述目标人脸的初始深度估计图。

7.根据权利要求1所述的图像处理方法，所述将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图，包括：

将所述初始深度估计图与所述三维目标图片输入图像融合模型进行像素级图片融合处理，获得所述目标人脸的目标深度估计图。

8.一种图像处理装置，包括：

图片确定模块，被配置为确定目标人脸的二维目标图片以及三维目标图片；

第一获得模块，被配置为将所述二维目标图片输入深度估计模型，获得初始深度估计图；

第二获得模块，被配置为将所述初始深度估计图与所述三维目标图片输入图像融合模型，获得所述目标人脸的目标深度估计图；

提取模块，被配置为提取所述目标人脸的目标深度估计图的目标人脸特征，基于所述目标人脸特征在预设三维人脸特征库中确定与所述目标人脸特征匹配的三维目标人脸。

9.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-7任意一项所述图像处理方法的步骤。

10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-7任意一项所述图像处理方法的步骤。