CN109829930A

CN109829930A - 人脸图像处理方法、装置、计算机设备及可读存储介质

Info

Publication number: CN109829930A
Application number: CN201910036713.6A
Authority: CN
Inventors: 刘欣眉
Original assignee: Yun Zhimeng Science And Technology Ltd Of Shenzhen
Current assignee: Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority date: 2019-01-15
Filing date: 2019-01-15
Publication date: 2019-05-31
Anticipated expiration: 2039-01-15
Also published as: CN109829930B

Abstract

本申请涉及一种人脸图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取用户图像和人脸立体素材图像；确定所述用户图像的融合区域和所述人脸立体素材图像的融合区域；对所述人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像；根据所述用户图像中的人脸关键点信息对所述第一素材图像进行形变，得到第二素材图像；将所述用户图像和第二素材图像进行融合处理，得到目标图像。采用本方法能够通过用户图像和人脸立体素材图像的融合，解决了用户图像个人特征信息损失较大的技术问题，使得输出图像呈现较好的面部立体视觉效果。

Description

人脸图像处理方法、装置、计算机设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种人脸图像处理方法、装置、计算机设备及可读存储介质。

背景技术

随着图像处理技术的发展，出现了人脸图像处理技术。传统的数码图像拍摄场景中，往往很难得到高质量的用户图像。摄像头品质一般、拍摄环境光线较差、没有拍摄技术基础等因素，导致普通用户拍摄出来的图像较灰、平、暗，且包含的有效面部信息较少，从而视觉效果较差。而目前的人脸图像处理技术能够对输入的用户源图像进行简单的技术处理，使得输出图像的视觉效果得以改善。

然而，传统的人脸图像处理技术，对用户图像的个人脸部特征信息(脸型、五官等)损失较大，处理后的图像改变了用户的个人特征。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决传统的图像处理技术对用户图像的个人脸部特征损失较大的技术问题的人脸图像处理方法、装置、计算机设备和存储介质。

一种人脸图像处理方法，所述方法包括以下步骤：

获取用户图像和人脸立体素材图像；

确定所述用户图像的融合区域和所述人脸立体素材图像的融合区域；

对所述人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像；

根据所述用户图像中的人脸关键点信息对所述第一素材图像进行形变，得到第二素材图像；

将所述用户图像和第二素材图像进行融合处理，得到目标图像。

在其中一个实施例中，所述确定所述用户图像的融合区域和所述人脸立体素材图像的融合区域，包括：

根据所述用户图像数据，进行掩码操作，得到第一掩码信息，以及根据所述人脸立体素材图像数据，进行掩码操作，得到第二掩码信息；

根据所述第一掩码信息对所述用户图像进行边缘检测得到所述用户图像的融合区域和非融合区域；

根据所述第二掩码信息对所述人脸立体素材图像进行边缘检测得到所述人脸立体素材图像的融合区域。

在其中一个实施例中，所述对所述人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像，包括：

识别所述用户图像的融合区域的第一肤色区域，以及所述人脸立体素材图像的第二肤色区域；

获取所述第一肤色区域的第一像素均值和所述第二肤色区域的第二像素均值；

根据所述第一像素均值和第二像素均值，结合所述人脸立体素材图像的融合区域的第二肤色区域的当前像素值计算得到调整后的所述人脸立体素材图像的融合区域的第二肤色区域的像素值，并根据所述调整后的所述人脸立体素材图像的融合区域的第二肤色区域的像素值得到第一素材图像。

在其中一个实施例中，所述根据所述用户图像中的人脸关键点信息对所述第一素材图像进行形变，得到第二素材图像，包括：

获取所述第一素材图像的人脸关键点信息和所述用户图像的人脸关键点信息；

根据所述第一素材图像的人脸关键点信息得到所述第一素材图像的人脸关键点区域，以及根据所述用户图像的人脸关键点信息得到所述用户图像的人脸关键点区域；

确定所述第一素材图像的人脸关键点区域中像素点与所述用户图像的人脸关键点区域中像素点的像素点映射关系；

根据所述像素点映射关系，采用所述用户图像的人脸关键点区域的像素点的像素值，更新所述第一素材图像中相应位置的像素点的像素值；

根据更新后的第一素材图像中的像素的像素点，得到第二素材图像。

在其中一个实施例中，所述确定所述第一素材图像的人脸关键点区域中像素点与所述用户图像的人脸关键点区域中像素点的像素点映射关系，包括：

采用三角变换算法，对所述第一素材图像的人脸关键点区域和所述用户图像的人脸关键点区域分别进行三角形划分；

将所述第一素材图像的人脸关键点区域的三角形映射到所述用户图像的人脸关键点区域的三角形，通过线性插值，计算出所述第一素材图像的人脸关键点区域的三角形中各像素点和所述用户图像的人脸关键点区域的三角形中各像素点的像素点映射关系。

在其中一个实施例中，所述将所述用户图像和第二素材图像进行融合处理，得到目标图像步骤，包括：

根据所述用户图像的融合区域的像素值计算所述用户图像的融合区域的第一梯度场，根据所述第二素材图像的融合区域的像素值计算所述第二素材图像的融合区域的第二梯度场；

基于泊松融合算法，对所述第一梯度场和第二梯度场进行梯度融合，计算出目标图像的梯度场；

根据所述目标图像的梯度场进行泊松重建，通过求解泊松方程组，得到重建后所述目标图像的像素值。

在其中一个实施例中，所述人脸图像处理方法，在融合过程中，所述第二素材图像中的梯度场保持不变。

一种人脸图像处理装置，包括：

图像获取模块，用于获取用户图像和人脸立体素材图像；

区域确定模块，用于确定所述用户图像的融合区域和所述人脸立体素材图像的融合区域；

调整模块，用于对所述人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像；

形变模块，用于根据所述用户图像中的人脸关键点信息对所述第一素材图像进行形变，得到第二素材图像；

融合模块，用于将所述用户图像和第二素材图像进行融合处理，得到目标图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取用户图像和人脸立体素材图像；

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取用户图像和人脸立体素材图像；

上述人脸图像处理方法、装置、计算机设备和存储介质，通过对人脸立体素材图像肤色调整，得到第一素材图，使得素材图的肤色贴近用户图像；对第一素材图进行形变处理，得到第二素材图，使得素材图的个人脸部特征与用户图像个人脸部特征能够对齐，这样用户图像中的个人脸部特征在图像处理后能够保留；最后将第二素材图像与用户图像融合，得到目标图像，由于第二素材图像由呈现立体光影的人脸立体素材图像变化得到，因此处理后的目标图像中人脸呈现自然立体的效果。本申请实施例通过用户图像和人脸立体素材图像的融合，采用用户图像对人体素材图像进行处理使得人体素材图像更符合用户图像中个人脸部特征，降低了用户图像个人特征信息损失，且使得输出图像呈现较好的面部立体视觉效果。

附图说明

图1为一个实施例中人脸图像处理方法的应用环境图；

图2为一个实施例中人脸图像处理方法的流程示意图；

图3为一个实施例中的区域确定步骤的流程示意图；

图4为一个实施例中的肤色调整步骤的流程示意图；

图5为一个实施例中的形变步骤的流程示意图；

图6为一个实施例中的融合步骤的流程示意图；

图7为另一实施例中人脸图像处理方法的流程示意图；

图8为一个实施例中计算机装置的模块示意图；

图9为一个实施例中计算机设备内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一种人脸图像处理方法的应用环境图。参照图1，该人脸图像处理方法应用于计算机设备100，计算机设备100具体可以是台式终端或移动终端，或服务器，或服务器集群等。移动终端具体可以是手机、平板电脑、笔记本电脑、穿戴式设备、个人数字助理等。

如图2所示，在一个实施例中，提供了一种人脸图像处理方法。本实施例主要以该方法应用于上述图1中的计算机设备100来举例说明。参照图2，该人脸图像处理方法包括如下步骤：

S202,获取用户图像和人脸立体素材图像。

其中，用户图像可为存储在计算机设备本地相册中的图像或摄像头拍摄的存储在缓存空间中的包含人脸的图像。人脸立体素材图像是素材图像的一种，包含人脸立体光影信息(眉躬、鼻子、颧骨、嘴唇等部位)。人脸立体素材图像可为预先收集大量的人脸立体图像，然后提取大量的人脸立体图像的关键特征点生成的模板类的立体素材图像。人脸立体素材图像通过卷积算子计算得到梯度图，梯度图中包含中频信息。本实施例中，人脸立体素材图像可用于和用户图像融合生成目标图像，使得目标图像比用户图像的人脸特征更加明显，从而达到美化图像的效果。

具体地，计算机设备100的图像处理平台从本地存储空间中获取用户图像和人脸立体素材图像，并将用户图像存储在图像处理平台的目标文件中，人脸立体素材图像存储在图像处理平台的源文件中。目标文件是用于存储待处理的用户图像。源文件用于存储人脸立体素材图像。本实施例中的图像处理平台可以为opencv、halcon、adept等。

S204,确定该用户图像的融合区域和该人脸立体素材图像的融合区域。

其中，用户图像的融合区域可为用户图像的五官及脸部轮廓等个人特征所在区域，人脸立体素材图像的融合区域可为人脸立体图像的五官及脸部轮廓等个人特征所在的区域。

本实施例中，由于需要对用户图像和人脸立体素材图像进行融合处理操作，因此需要先确定用户图像的融合区域和人脸立体素材图像的融合区域。具体地，计算机设备100获取用户图像和人脸立体素材图像后，根据用户图像，进行图像数据分析与计算，得到用户图像的融合区域和非融合区域像素点的像素值，同理根据人脸立体素材图像，得到人脸立体素材图的融合区域像素点的像素值。

在一个实施例中，图像数据的分析与计算步骤可以是获取图像的掩码信息，然后对图像的像素点进行遍历操作和邻域操作，最后得到融合区域和非融合区域的像素值。邻域操作可为根据中心像素值以及其邻域像素值得到目标像素值。遍历操作是指扫描图像中的各个像素点，可采用逐行扫描或逐列扫描方式进行遍历。

其中，本实施例基于语义分割模型训练神经网络，当神经网络获取用户图像和/或人脸立体素材图像，进行神经网络计算，输出用户图像和/或人脸立体素材图像的掩码信息。计算机设备100获取用户图像和/或人脸立体素材图像的掩码信息，进行遍历操作和邻域操作，得到融合区域。其中，语义分割模型用于对用户图像和人脸立体素材图像进行语义分割，划分为眉躬、鼻子、颧骨、嘴唇等语义分割区域，根据语义分割区域将用户图像和人脸立体素材图像输入到神经网络进行训练。

S206,对人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像。

其中，第一素材图像可为肤色区域像素值与用户图像的像素值的差值小于预设值的立体素材图像。肤色调整可以是对人脸立体素材图像中的肤色区域像素值进行调整。

由于获取的用户图像与人脸立体素材图像的肤色有时存在较大差异，因此需要根据用户图像对人脸立体素材图像进行肤色调整。

具体地，计算机设备100根据确定的用户图像融合区域的像素值和人脸立体素材图像融合区域的像素值，进行肤色区域识别，得到用户图像融合区域的肤色区域像素值和人脸立体素材图像融合区域的肤色区域像素值；再通过色值调整算法，计算更新后的人脸立体素材图像融合区域的肤色区域像素值，从而得到第一素材图像。

在一个实施例中，色值调整算法可通过肤色区域像素点的BGR均值计算完成。具体地，根据用户图像融合区域的肤色区域像素值计算得到用户图像融合区域的肤色区域像素点的BGR均值，同样根据人脸立体素材图像融合区域的肤色区域像素值计算得到肤色区域像素点的BGR均值；结合人脸立体素材图像融合区域的肤色区域的当前像素值，得到更新后的人脸立体素材图像融合区域的肤色区域像素值，生成第一素材图像。BGR均值即为根据多个像素点的像素值求得的平均值。其中，BGR为像素值的一种表示方式，“R”代表红色red；，“G”代表绿色green；“B”代表蓝色blue，BGR值通过红绿蓝三个色值通道表示像素的像素值。像素值还可表示为YUV格式，其中“Y”表示明亮度，“U”和“V”表示色度和浓度。

S208,根据用户图像中的人脸关键点信息对第一素材图像进行形变，得到第二素材图像。由于第一素材图像的人脸特征与用户图像存在一定差别，比如第一素材图像为大圆眼而用户图像为窄长眼，融合时特征点所在区域对应不上，因此需要将第一素材图像对齐用户图像的特征点进行形变。其中，人脸关键点信息是通过人脸检测算法，对获取的用户图像和人脸立体素材图像，进行人脸关键点检测得到的数据。人脸关键点信息可包括眼睛、鼻子、嘴巴、眉毛、以及人脸外轮廓等100个人脸关键点的坐标信息。将第一素材图像人脸关键点与用户图像相应位置人脸关键点对齐，然后进行形变处理。

具体地，计算机设备100重新获取用户图像，识别用户图像中的脸部区域，从识别出的脸部区域中提取用户图像的人脸关键点。然后计算机设备100获取第一素材图像，提取第一素材图像的人脸关键点。根据用户图像的人脸关键点和第一素材图像的人脸关键点确定两图人脸关键点区域中像素点的映射关系，从像素点的映射关系确定第一素材图像的形变需要更新的像素点，完成像素点的像素值的更新后，生成新的素材图像为第二素材图像。其中，识别用户图像中的脸部区域时，可识别出用户图像的一个或多个人脸，当识别出多个人脸，将按照多个人脸被识别出的顺序，再依次与第二素材图像进行融合。

S210,将用户图像和第二素材图像进行融合处理，得到目标图像。

其中，目标图像即为融合后输出的图像，可包括用户图像的高频信息以及人脸立体素材图像的低中频信息。

具体地，计算机设备100获取用户图像的融合区域的像素值和用户图像非融合区域的像素值，以及第二素材图像的融合区域的像素值，采用融合算法，在预设的择取条件下进行像素值计算，得到目标图像的像素值。其中，融合算法可采用泊松融合算法。预设的择取条件可为保留用户图像的高频信息和人脸立体图像的低中频信息。

本实施例中，通过对人脸立体素材图像肤色调整，使得素材图的肤色贴近用户图像，得到第一素材图；对第一素材图进行形变处理，使得素材图的个人脸部特征与用户图像个人脸部特征能够对齐，这样用户图像中的个人脸部特征在图像处理后得能够保留，得到第二素材图；最后将第二素材图像与用户图像融合，得到目标图像，由于第二素材图像由呈现立体光影的人脸立体素材图像变化得到，因此处理后的目标图像中人脸呈现自然立体的效果。本实施例通过变化后的人脸立体素材图像与用户图像融合的方法，提取跟保留了个人脸型、五官特征，对图像进行了美化，使得输出图像呈现面部自然立体的效果。

在一个实施例中，如图3所示，上述步骤204包括:

步骤302，根据用户图像数据，进行掩码操作，得到第一掩码信息，以及根据人脸立体素材图像数据，进行掩码操作，得到第二掩码信息。

其中，掩码操作是指通过掩码核算子重新计算人脸立体素材图像中各个像素点的像素值,掩码核算子用于刻画领域像素点对新像素的影响程度,掩码操作可用于图像的边缘检测。具体地，以图像当前像素点为计算中心目标点，逐像素移动掩码核算子模板，对图像数据所有像素点进行遍历，进而更新图像的像素点的像素值，通过掩码计算分析，得到图像的掩码信息。其中，掩码信息包括图像的色块区域与色块区域之间的边缘像素点的位置坐标和像素值。

步骤304，根据第一掩码信息对用户图像进行边缘检测得到用户图像的融合区域和非融合区域。

其中，第一掩码信息可包括用户图像的色块区域与色块区域边缘的像素点的位置坐标和像素值，第一掩码信息可用于筛选出用户图像的融合区域的边缘的像素点。

具体地，计算机设备100获取第一掩码信息，对用户图像的所有边缘像素点进行遍历操作和邻域操作，从而完成边缘检测，确定用户图像的融合区域和非融合区域的边缘像素点。其中，遍历操作即为扫描图像的所有色块区域与色块区域的边缘像素点，邻域操作即为根据中心像素值以及其邻域像素值得到目标像素值。

步骤306，根据第二掩码信息对人脸立体素材图像进行边缘检测得到人脸立体素材图像的融合区域。

其中，第二掩码信息可包括人脸立体素材图像的色块区域与色块区域边缘的像素点的位置坐标和像素值，第二掩码信息可用于筛选出人脸立体素材图像的融合区域的边缘的像素点。

具体地，获取第一掩码信息，对人脸立体素材图像的所有边缘像素点进行遍历操作和邻域操作。

本实施例中，采用掩码操作获取掩码信息，再根据掩码信息对用户图像和人脸立体素材图像进行边缘检测，从而精准地确定了用户图像的融合区域和非融合区域以及人脸立体素材图像的融合区域。

在一个实施例中，如图4所示，上述步骤206包括:

步骤402，识别用户图像的融合区域的第一肤色区域，以及人脸立体素材图像的第二肤色区域。

其中，第一肤色区域为用户图像的融合区域的一部分，可根据掩码信息确定其范围。同样，第二肤色区域为人脸立体素材图像的一部分，可根据掩码信息确定其范围。

步骤404，获取第一肤色区域的第一像素均值和第二肤色区域的第二像素均值。

其中，像素均值可由肤色区域的所有像素点的像素值求平均值得到。

步骤406，根据第一像素均值和第二像素均值，结合人脸立体素材图像的融合区域的第二肤色区域的当前像素值计算得到调整后的人脸立体素材图像的融合区域的第二肤色区域的像素值，并根据调整后的人脸立体素材图像的融合区域的第二肤色区域的像素值得到第一素材图像。

具体地，识别用户图像的融合区域的第一肤色区域，以及人脸立体素材图像的第二肤色区域；获取用户图像的肤色区域(即为第一肤色区域)BGR均值BGRUserMean，以及人脸立体素材图像的肤色区域(即为第二肤色区域)BGR均值BGRModelMean；获取人脸立体素材图像当前肤色区域的BGR值BGRCurrent；根据肤色调整公式BGRNew＝BGRCurrent/BGRUserMean*BGRModelMean，将人脸立体素材图像的肤色区域的BGR值BGRCurrent更新为BGRNew；输出肤色区域BGR值为BGRNew的第一素材图像。本实施例中，根据肤色调整计算公式，将人脸立体素材图像的肤色区域像素点的BGR值更新，实现了人脸立体素材图像的肤色靠近用户图像肤色的效果。

在一个实施例中，如图5所示，上述步骤208包括:

步骤502，获取第一素材图像的人脸关键点信息和用户图像的人脸关键点信息。

其中，人脸关键点信息可为根据人脸检测得到的人脸关键点的像素点的坐标信息，可包括眼睛、鼻子、嘴巴、眉毛、以及人脸外轮廓等100个人脸关键点的坐标信息。

步骤504，根据第一素材图像的人脸关键点信息得到第一素材图像的人脸关键点区域，以及根据用户图像的人脸关键点信息得到用户图像的人脸关键点区域。

其中，人脸关键点区域可为根据人脸关键点进行划分的图形区域，划分区域可为三角形、圆形、矩形等图形区域。

步骤506，确定第一素材图像的人脸关键点区域中像素点与用户图像的人脸关键点区域中像素点的像素点映射关系。

其中，像素点映射关系可为线性映射。

步骤508，根据像素点映射关系，采用用户图像的人脸关键点区域的像素点的像素值，更新第一素材图像中相应位置的像素点的像素值。步骤510，根据更新后的第一素材图像中的像素点的像素点，得到第二素材图像。

本实施例中，通过人脸关键点检测，得到第一素材图像和用户图像的人脸关键点所在像素的映射关系，由此定位第一素材图像的人脸特征对齐到用户图像的人脸特征，根据用户图像的关键点特征对第一素材图像进行对齐和形变。

在一个实施例中，如图6所示，上述步骤210包括:

步骤602，根据用户图像的融合区域的像素值计算用户图像的融合区域的第一梯度场，根据第二素材图像的融合区域的像素值计算第二素材图像的融合区域的第二梯度场。

其中，梯度场可为根据图像像素值计算得到的用于反映图像的灰度变化的数据。第一梯度场可包括用户图像的融合区域的灰度变化信息，第二梯度场可包括第二素材图像的的融合区域的灰度变化信息。

步骤604，基于泊松融合算法，对第一梯度场和第二梯度场进行梯度融合，计算出目标图像的梯度场。

具体地，泊松融合算法中的梯度融合方法为：

获取第二素材图像的一像素点的梯度值，以及用户图像的与第二素材图像的一像素点具备映射关系的一像素点的梯度值，取两梯度值中较大者，作为目标图像的像素点的梯度值。

比如，若第二素材图像一像素的梯度值为M1,M2,M3(对应BGR三通道像素的梯度值)

用户图像对应像素的梯度值为S1,S2,S3(对应BGR三通道像素的梯度值)

混合梯度值O1,O2,O3为：

O1＝max(M1,S1)

O2＝max(M2,S2)

O3＝max(M3,S3)

以此原理对所有融合区域内像素进行计算，求得目标图像的梯度场。

步骤606，根据目标图像的梯度场进行泊松重建，通过求解泊松方程组，得到重建后目标图像的像素值。

其中，泊松重建指的是根据求解泊松方程组得到目标图像像素值，进而生成新的图像为目标图像。泊松融合算法的具体计算方式为：计算用户图像和第二素材图像的梯度场；基于梯度混合算法计算目标图像的梯度场；已知目标图像的梯度场，求导得到目标图像的散度；最后，进行泊松重建，求解泊松方程组：Ax＝b，其中A是构建的系数矩阵，b是目标图像融合区域的散度值，x是目标图像的像素值，求解得到x之后得到重建后的目标图像。

本实施例中，通过计算用户图像融合区域的梯度场和第二素材图像融合区域梯度场，得到目标图像的梯度场，使用泊松融合算法，在二阶梯度导上的唯一解去求解融合后的像素，得到融合后目标图像各区域的像素值，从而实现了目标图像的生成。本实施例对用户图像质量要求较低，在用户图像灰、平、暗，包含有效面部信息较少的情况下，通过采用变化后的素材图像融合的方法，保留了个人脸部特征信息。

在一个实施例中，如图7所示，一种人脸图像处理方法的整体流程示意图，参照图7，包括以下步骤；

步骤702，输入拍摄的用户原图A和预存的人脸立体素材图B。

其中，用户原图A即为用户图像。

步骤704，通过对用户原图A和人脸立体素材图进行人脸关键点检测，确定用户原图A的融合区域和非融合区域，以及人脸立体素材图B的融合区域。

步骤706，根据用户原图A的肤色区域的像素值均值以及人脸立体素材图B的肤色区域的像素值均值，更新人脸立体素材图的肤色区域的像素值，得到新的素材图为B1图。

其中，B1图即为第一素材图像。

步骤708，通过人脸关键点检测，定位B1图对齐到用户原图A，根据用户原图A的关键点特征将B1图进行形变，得到新的素材图为B2图。

其中，B2图即为第二素材图像。

步骤710，将用户原图A进行卷积算子计算得到用户原图A的图像频段信息，提取A图的人脸特征信息。

其中，人脸特征信息包括眉毛、眼睛、鼻子、嘴唇、纹理边缘等高频图像信息。

步骤712，将用户原图A与变化得到的B2图进行融合处理，融合过程中满足择取条件，得到合成图像C。

其中，择取条件可为根据泊松融合算法选取用户原图A的高频信息和B2图的中低频信息。

本实施例中，通过对人脸立体素材图像肤色调整，得到B1图，使得B1图更加贴合用户原图A的肤色；对B1图进行形变处理，得到B2图，使得B1图的个人脸部特征与用户原图A的个人脸部特征能够对齐；最后将B2图与用户原图A融合，得到合成图像C。

其中，合成图像C即为目标图像。

本实施例通过图像融合的方法，在立体美化的过程中保留了较多个人脸部特征信息。对原始输入图像质量要求较低，解决了输入图像源较差的问题，保留了个人脸部特征。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种人脸融合处理装置，包括：图像获取模块、区域确定模块、调整模块、形变模块和融合模块，其中：

图像获取模块802，用于获取用户图像和人脸立体素材图像；

区域确定模块804，用于确定用户图像的融合区域和人脸立体素材图像的融合区域；

调整模块806，用于对人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像；

形变模块808，用于根据用户图像中的人脸关键点信息对第一素材图像进行形变，得到第二素材图像；

融合模块810，用于将用户图像和第二素材图像进行融合处理，得到目标图像。

其中，区域确定模块804包括掩码获取模块和边缘检测模块。

掩码获取模块用于根据用户图像数据，进行掩码操作，得到第一掩码信息，以及根据人脸立体素材图像数据，进行掩码操作，得到第二掩码信息。

边缘检测模块用于根据第一掩码信息对用户图像进行边缘检测得到所述用户图像的融合区域和非融合区域，以及根据第二掩码信息对所述人脸立体素材图像进行边缘检测得到所述人脸立体素材图像的融合区域。

其中，调整模块806包括肤色区域识别模块和色值计算模块。

肤色区域识别模块用于识别用户图像的融合区域的第一肤色区域，以及人脸立体素材图像的第二肤色区域以及获取第一肤色区域的第一像素均值和所述第二肤色区域的第二像素均值。

色值计算模块用于计算调整后的人脸立体素材图像的融合区域的第二肤色区域的像素值，并根据调整后的所述人脸立体素材图像的融合区域的第二肤色区域的像素值得到第一素材图像。

其中，形变模块808包括关键点区域确定模块、映射关系确定模块和像素更新模块。

关键点区域确定模块用于根据第一素材图像的人脸关键点信息得到第一素材图像的人脸关键点区域，以及根据用户图像的人脸关键点信息得到所述用户图像的人脸关键点区域。

映射关系确定模块用于确定第一素材图像的人脸关键点区域中像素点与所述用户图像的人脸关键点区域中像素点的像素点映射关系。其中，映射关系确定模块可包括区域划分单元和线性计算单元。区域划分单元用于基于三角变换算法对第一素材图像的人脸关键点区域和用户图像的人脸关键点区域分别进行三角形划分。线性计算单元用于将第一素材图像的人脸关键点区域的三角形映射到用户图像的人脸关键点区域的三角形，通过线性插值，计算出第一素材图像的人脸关键点区域的三角形中各像素点和用户图像的人脸关键点区域的三角形中各像素点的像素点映射关系。

像素更新模块用于更新第一素材图像中相应位置的像素点的像素值，得到第二素材图像。

其中，融合模块810包括预备模块、梯度融合模块和泊松计算模块。

预备模块用于根据用户图像的融合区域的像素值计算用户图像的融合区域的第一梯度场，以及根据第二素材图像的融合区域的像素值计算第二素材图像的融合区域的第二梯度场。

梯度融合模块用于将第一梯度场和第二梯度场进行梯度融合，计算出目标图像的梯度场；

泊松计算模块用于根据目标图像的梯度场通过求解泊松方程组，得到重建后目标图像的像素值。

关于一种人脸融合处理装置的具体限定可以参见上文中对于一种人脸融合处理方法的限定，在此不再赘述。上述一种人脸融合处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备为终端100(可以是台式终端或移动终端，移动终端可以是手机、平板电脑、笔记本电脑等)，如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸融合处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例方法的所有步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸图像处理方法，所述方法包括以下步骤：

获取用户图像和人脸立体素材图像；

2.根据权利要求1所述的方法，其特征在于，所述确定所述用户图像的融合区域和所述人脸立体素材图像的融合区域，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述人脸立体素材图像的融合区域进行肤色调整，得到第一素材图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述用户图像中的人脸关键点信息对所述第一素材图像进行形变，得到第二素材图像，包括：

根据更新后的第一素材图像中的像素点的像素点，得到第二素材图像。

5.根据权利要求1所述的方法，其特征在于，所述确定所述第一素材图像的人脸关键点区域中像素点与所述用户图像的人脸关键点区域中像素点的像素点映射关系，包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述用户图像和第二素材图像进行融合处理，得到目标图像步骤，包括：

7.根据权利要求6所述的方法，其特征在于，在融合过程中，所述第二素材图像中的梯度场保持不变。

8.一种人脸图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取用户图像和人脸立体素材图像；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述图像处理方法的步骤。