CN110689500A - 一种人脸图像的处理方法、装置、电子设备及存储介质 - Google Patents

一种人脸图像的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110689500A
CN110689500A CN201910936241.XA CN201910936241A CN110689500A CN 110689500 A CN110689500 A CN 110689500A CN 201910936241 A CN201910936241 A CN 201910936241A CN 110689500 A CN110689500 A CN 110689500A
Authority
CN
China
Prior art keywords
face image
image
network
training
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910936241.XA
Other languages
English (en)
Other versions
CN110689500B (zh
Inventor
秦文煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910936241.XA priority Critical patent/CN110689500B/zh
Publication of CN110689500A publication Critical patent/CN110689500A/zh
Application granted granted Critical
Publication of CN110689500B publication Critical patent/CN110689500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种人脸图像的处理方法、装置、电子设备及存储介质，本公开方法包括：获取包含待修复区域的原始人脸图像，根据原始人脸图像中的皮肤区域和非皮肤区域生成原始人脸图像对应的二值化图像；以及根据原始人脸图像的梯度值生成权重图像；将原始人脸图像、二值化图像以及权重图像输入训练后的生成对抗网络，并获取训练后的生成对抗网络输出的对待修复区域进行修复后的目标人脸图像。本公开实施例在生成对抗网络中引入了二值化图像和权重图像，使得在对人脸图像中待修复区域进行处理时更加注重皮肤纹理细节，使得修复后的图像真实自然；同时避免了对人脸图像中待修复区域修复时将非皮肤区域填充到瑕疵区域导致修复后的人脸图像失真的问题。

Description

一种人脸图像的处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，特别涉及一种人脸图像的处理方法、装置、电子设备及存储介质。
背景技术
随着移动终端的不断普及，各种摄影、录像等应用迅速发展起来，在用户进行拍照或是录制视频时，可以通过应用中提供的美颜功能对拍摄到的人脸图像进行处理，祛除人脸皮肤中比较明显的瑕疵区域，例如痘、痣、斑等瑕疵，处理后的图像可以增加皮肤的质感，提高了图像的质量。
在目前的技术中，对人脸图像进行修复的方法主要是选择直接去除瑕疵区域的图像像素，根据缺失区域周围的像素以及纹理结构，使用图像补全算法对其进行填充，但是由于在获取到的图像中，面部皮肤纹理细节非常丰富，例如毛孔、皱纹等，而且五官周围具有较强的边界性，现有技术不能很好的对这些边界信息进行特别的处理，另外，人脸图像上还有可能会有发丝、帽子、口罩、眼镜等遮挡物，这时使用图像补全算法对图像进行修复，有很大概率会引入这些非皮肤的纹理，将非皮肤区域填充到瑕疵区域，从而使修复后的图像缺失真实性、自然性，不能满足用户的需求，降低了用户的使用体验。
综上所述，现有技术中对人脸图像中瑕疵进行修复的方法会导致修复后的图像失真。
发明内容
本公开提供一种人脸图像的处理方法、装置、电子设备及存储介质，用以解决现有技术中对人脸图像中瑕疵进行修复的方法会导致修复后的图像失真的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种人脸图像的处理方法，包括：
获取包含待修复区域的原始人脸图像；
根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；
将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。
在一种可能的实现方式中，所述根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像，包括：
获取所述原始人脸图像的像素点对应的梯度值；
根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；
根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。
在一种可能的实现方式中，在所述对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者
在所述对应关系中梯度值与权重系数之间呈正比关系。
在一种可能的实现方式中，所述生成对抗网络包括生成网络和判别网络；
根据下列方式对所述生成对抗网络进行训练：
根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；
将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；
将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；
根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整。
在一种可能的实现方式中，所述根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整，包括：
若所述相似度小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；
根据所述第一损失值对所述生成网络的参数进行调整。
在一种可能的实现方式中，所述第一损失函数为：
LG＝argMinG(Ez-p[log(1-D(G(β*z)))]+αE[||x-G(β*z)||])
其中，argMinG表示所述训练人脸图像和所述目标人脸图像差异最小时的点集，Ez-p表示所述输出人脸图像的概率分布函数的期望值，z表示为包含待修复区域的所述训练人脸图像，β表示所述训练人脸图像对应的二值化图像，G(β*z)表示所述生成网络输出的所述输出人脸图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，α表示所述训练人脸图像中每个像素点对应的权重系数。
在一种可能的实现方式中，所述根据确定的所述相似度对所述判别网络的参数进行调整，包括：
若所述相似度小于第二阈值，则确定表示所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；
根据所述第二损失值对所述判别网络的参数进行调整。
在一种可能的实现方式中，所述第二损失函数为：
LD＝argMaxD(Ex-p[log D(x)]+Ez-p[log(1-D(G(β*z)))])
其中，argMaxD表示所述训练人脸图像和所述目标人脸图像差异最大时的点集；Ex-p表示所述目标样本图像的概率分布函数的期望值；z表示包含待修复区域的所述训练人脸图像，G(β*z)表示所述输出人脸图像，β表示所述训练人脸图像对应的二值化图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，x-p表示所述目标样本图像的概率分布；Ez-p表示所述输出人脸图像的概率分布函数的期望值。
在一种可能的实现方式中，该方法还包括：
若所述相似度不小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像相似，并确定所述生成对抗网络训练完成。
根据本公开实施例的第二方面，提供一种人脸图像的处理装置，包括：
获取单元，被配置为执行获取包含待修复区域的原始人脸图像；
生成单元，被配置为执行根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；
处理单元，被配置为执行将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。
在一种可能的实现方式中，所述生成单元被配置为执行：
获取所述原始人脸图像的像素点对应的梯度值；
根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；
根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。
在一种可能的实现方式中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者
在所述对应关系中梯度值与权重系数之间呈正比关系。
在一种可能的实现方式中，所述生成对抗网络包括生成网络和判别网络；
所述装置还包括训练单元，所述训练单元被配置为执行根据下列方式对所述生成对抗网络进行训练：
根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；
将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；
将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；
根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整。
在一种可能的实现方式中，所述训练单元被配置为执行若所述相似度小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；根据所述第一损失值对所述生成网络的参数进行调整。
在一种可能的实现方式中，所述第一损失函数为：
LG＝argMinG(Ez-p[log(1-D(G(β*z)))]+αE[||x-G(β*z)||])
其中，argMinG表示所述训练人脸图像和所述目标人脸图像差异最小时的点集，Ez-p表示所述输出人脸图像的概率分布函数的期望值，z表示为包含待修复区域的所述训练人脸图像，β表示所述训练人脸图像对应的二值化图像，G(β*z)表示所述生成网络输出的所述输出人脸图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，α表示所述训练人脸图像中每个像素点对应的权重系数。
在一种可能的实现方式中，所述训练单元被配置为执行若所述相似度小于第二阈值，则确定表示所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；
根据所述第二损失值对所述判别网络的参数进行调整。
在一种可能的实现方式中，所述第二损失函数为：
LD＝argMaxD(Ex-p[log D(x)]+Ez-p[log(1-D(G(β*z)))])
其中，argMaxD表示所述训练人脸图像和所述目标人脸图像差异最大时的点集；Ex-p表示所述目标样本图像的概率分布函数的期望值；z表示包含待修复区域的所述训练人脸图像，G(β*z)表示所述输出人脸图像，β表示所述训练人脸图像对应的二值化图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，x-p表示所述目标样本图像的概率分布；Ez-p表示所述输出人脸图像的概率分布函数的期望值。
在一种可能的实现方式中，所述训练单元还配置为执行若所述相似度不小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像相似，并确定所述生成对抗网络训练完成。
根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储可执行指令；
处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如本公开实施例第一方面中任一项所述的人脸图像的处理方法。
根据本公开实施例的第四方面，提供一种非易失性存储介质，当所述存储介质中的指令由人脸图像处理装置的处理器执行时，使得人脸图像处理装置能够执行本公开实施例第一方面中所述的人脸图像的处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例提供的人脸图像的处理方法，将获取到的包含待修复区域的原始人脸图像、根据原始人脸图像中皮肤区域和非皮肤区域生成的二值化图像、以及根据原始人脸图像的梯度值生成的权重图像输入训练好的生成对抗网络进行处理，输出对待修复区域进行修复后的目标人脸图像。本公开实施例采用生成对抗网络对包含待修复区域的人脸图像进行修复处理，由于生成对抗网络处理速度很快，通过生成对抗网络将包含待修复区域的人脸图像转换为修复后的人脸图像的方式能够实现快速转换，提高对人脸图像修复的效率。并且在生成对抗网络中引入了人脸图像对应的二值化图像以及人脸图像中像素点对应的权重系数的权重图像，从而使得在对原始人脸图像中待修复区域进行处理时，能更加注重对人脸皮肤中纹理细节的处理，同时在处理时也会完全避免将一些发丝、口罩等遮挡物引入待修复区域的问题，处理后图像更加自然、真实，满足了用户的需求，提高了用户的使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种人脸图像处理方法的流程图。
图2是根据一示例性实施例示出的原始人脸图像的二值化图像示意图。
图3是根据一示例性实施例示出的一种生成权重图像方法的流程图。
图4是根据一示例性实施例示出的梯度值和权重系数之间对应函数关系的示意图。
图5是根据一示例性实施例示出的原始图像对应的权重图像示意图。
图6是根据一示例性实施例示出的一种对生成对抗网络进行训练的方法的流程图。
图7是根据一示例性实施例示出的生成对抗网络的示意图。
图8是根据一示例性实施例示出的一种对生成对抗网络进行训练的完整方法流程图。
图9是根据一示例性实施例示出的一种人脸图像处理装置框图。
图10是根据一示例性实施例示出的另一种人脸图像处理装置框图。
图11是根据一示例性实施例示出的一种电子设备的框图。
图12是根据一示例性实施例示出的另一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
以下，对本公开实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(2)本公开实施例中术语“二值化图像”，指图像中各像素点的灰度值为0或255的图像，二值化图像呈现出明显的黑白效果。
(3)本公开实施例中术语“梯度”，把图像看成二维离散函数，图像梯度可以由该二维离散函数求导之后得到，也可以使用中值查分的方式得到图像梯度。
(4)本公开实施例中术语“生成对抗网络(Generative Adversarial Networks，GAN)”，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成网络(Generative Model)和判别网络(DiscriminativeModel)的互相博弈学习产生相当好的输出。
(5)本公开实施例中术语“权重系数”，在数学上，为了显示若干量数在总量中所具有的重要程度，分别给予不同的比例系数，这些比例系数就是权重系数。
本公开实施例公开一种使用生成对抗网络对包含待修复区域的人脸图像进行修复处理的方法，将获取到的包含待修复区域的原始人脸图像、根据原始人脸图像中皮肤区域和非皮肤区域生成的二值化图像、以及根据原始人脸图像的梯度值生成的权重图像输入训练好的生成对抗网络中进行处理，输出对待修复区域进行修复后的目标人脸图像。由于深度神经网络处理速度很快，通过深度神经网络将包含待修复区域的人脸图像转换为修复后的人脸图像的方式能够实现快速转换，提高对人脸图像修复的效率。并且在生成对抗网络中引入了人脸图像对应的二值化图像以及人脸图像中像素点对应的权重系数的权重图像，从而使得在对原始人脸图像中待修复区域进行处理时，能更加注重对人脸皮肤中纹理细节的处理，同时在处理时也会完全避免将一些发丝、口罩等遮挡物引入待修复区域的问题，处理后的图像更加自然、真实，提高了用户的使用体验。
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
下面对本公开实施例作进一步详细描述。
图1是根据一示例性实施例示出的一种人脸图像处理方法的流程图，如图1所示，包括以下步骤：
在步骤S11中，获取包含待修复区域的原始人脸图像；
在步骤S12中，根据原始人脸图像中的皮肤区域和非皮肤区域，生成原始人脸图像对应的用于标记原始人脸图像中非皮肤区域的二值化图像；
在步骤S13中，根据原始人脸图像的梯度值，生成用于表示原始人脸图像中像素点对应的权重系数的权重图像；
在步骤S14中，将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取训练后的生成对抗网络的对所述待修复区域进行修复后的目标人脸图像。
本公开实施例中，待修复区域为获取到的原始人脸图像中具有瑕疵的皮肤区域，例如，人脸图像中的毛孔、痣、皱纹等等。
在步骤S12中，在生成原始人脸图像对应的二值化图像时，需要确定出原始人脸图像中的皮肤区域和非皮肤区域；从而根据原始人脸图像中的皮肤区域和非皮肤区域生成二值化图像。
其中，非皮肤区域包括原始人脸图像中的五官区域。
实施中，对于原始人脸图像中的皮肤区域和非皮肤区域的确定方式，本公开实施例提供了一种可选的实施方式为，根据强边缘算法或肤色检测算法确定原始人脸图像中的皮肤区域和非皮肤区域。
这里需要说明的是，本发明实施例中对于确定人脸图像中皮肤区域和非皮肤区域的方法不做限定，任何可以实现对皮肤区域和非皮肤区域的确定方法都适用于本发明实施例。
在确定原始人脸图像中的皮肤区域和非皮肤区域之后，还需要生成原始人脸图像对应的二值化图像。具体的，在二值化图像中，将皮肤区域的像素点的像素值设置为0，非皮肤区域的像素点的像素值设置为255；或者将皮肤区域的像素点的像素值设置为255，非皮肤区域的像素点的像素值设置为0。
例如，如图2所示的二值化图像，从原始人脸图像中确定出皮肤区域和非皮肤区域之后，在生成二值化图像时，将原始人脸图像中的皮肤区域的像素点在二值化图像中像素值设置为255，非皮肤区域的像素点在二值化图像中像素值设置为0。
在通过生成对抗网络对原始人脸图像进行处理时，引入根据确定出的原始人脸图像中的皮肤区域和非皮肤区域，生成的原始人脸图像对应二值化图像，在对原始人脸图像中待修复区域进行修复时，根据二值化图像可以避免引入非皮肤区域对待修复区域进行填充，保证在对原始人脸图像进行修复时，只使用皮肤区域，从而使修复后的目标人脸图像更加真实、自然。
在对原始人脸图像通过生成对抗网络进行处理之前，还需要根据原始人脸图像的梯度值，生成用于表示原始人脸图像中像素点对应的权重系数的权重图像；
图3是根据一示例性实施例示出的一种生成权重图像方法的流程图，如图3所示，包括以下步骤：
在步骤S31中，获取原始人脸图像的像素点对应的梯度值；
在步骤S32中，根据梯度值与权重系数之间的对应关系，确定原始图像中每个像素点在梯度图像中的梯度值对应的权重系数；
在步骤S33中，根据确定的权重系数，以及每个像素点在原始图像中的位置，生成原始图像对应的权重图像。
其中在步骤S31中首先需要根据原始人脸图像，生成对应的梯度图像。
对于获取人脸图像的像素点对应的方法，一种可选的实施方式为，将原始图像看做二维离散函数，对该二维离散函数求导之后得到每个像素点对应的梯度值，具体的计算过程可以表示为：
G(x，y)＝dx(i，j)+dy(i，j)；
dx(i，j)＝I(i+1，j)-I(i，j)；
dy(i，j)＝I(i，j+1)-I(i，j)。
其中，G(x，y)为图像的梯度，I是图像像素的值，(i，j)为像素点的坐标。
这里需要说明的是，本发明实施例中对于每个像素梯度值的计算方法不做限定，任何可以计算每个像素梯度值的方法都适用于本发明实施例。
在获取原始人脸图像的像素点对应的梯度值之后，再根据梯度值与权重系数之间的对应关系，确定原始图像中每个像素点在梯度图像中的梯度值对应的权重系数。
其中，本公开实施例提供的两种梯度值与权重系数之间的对应关系可以为：
1、在梯度值与权重系数之间的对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数。
其中，第一阈值、第一权重系数、第二权重系数都是由本领域技术人员根据自身经验或者根据大量样本实验后预先设置。
例如，预先设置第一阈值为0.5，将不大于第一阈值的梯度值对应的第一权重系数设置为0.1，将大于第一阈值的梯度值对应的第二权重系数设置为1.0；当原始图像中像素点的梯度值为0.4不大于预先设置的第一阈值时，该像素点对应的权重系数确定为0.1，当原始图像中像素点在梯度图像的梯度值为0.7大于预先设置的第一阈值时，该像素点对应的权重系数确定为1.0。
2、在梯度值与权重系数之间的对应关系中，具体的，权重系数随着梯度值的增大而增大，其中，每一个梯度值对应一个权重系数。
可选的，梯度值与权重系数之间呈正比关系。
例如，梯度值与权重系数之间的对应关系可以如图4所示的连续函数图像，每一个像素点的梯度值对应一个权重系数，当像素点的梯度值增大时，对应像素点的权重系数也随之增大。
根据确定出的权重系数，以及每个像素点在所述原始图像中的位置，就可以生成原始图像对应的权重图像。例如，假设根据如图5所示的原始图像对应的权重图像，按照从上到下、从左到右的顺序，第一个像素点的权重系数为0.01，第二个像素点的权重系数为0.02、第三个像素点的权重系数为0.03、第四个像素点的权重系数为0.04，以此类推，第二十五个像素点的权重系数为0.25。
在通过生成对抗网络对原始人脸图像进行处理时，引入原始图像对应的权重图像，可以在权重系数较大的像素点区域进行强度较大的修复处理，在权重系数较小的像素点区域进行强度较小的修复处理。由于本公开实施例原始人脸图像的像素点在梯度图像中梯度值越大，说明在原始图像中该像素点所在区域纹理越丰富，并且为该像素点赋予较大权重值，在图像修复时进行强度较大的修复处理，可以更加丰富该像素点区域的纹理。例如在原始人脸图像中五官、饰品等区域纹理较为丰富，在梯度图像中该部分区域为梯度值较大的区域，在对图像进行修复时，针对该区域进行强度较大的处理，从而使得修复后的目标人脸图像中五官、饰品等区域纹理也较为丰富。因此使得生成对抗网络在对原始人脸图像进行处理时能更加注重纹理细节的处理，增加处理后图像的真实感、自然感，提升了用户的使用体验，满足用户的需求。
这里需要说明的是，本公开实施例中原始人脸图像、原始人脸图像对应的权重图像、以及生成对抗网络输出的目标人脸图像的分辨率均相同。例如原始人脸图像的分辨率为1920×1200，生成的对应梯度图像分辨率也为1920×1200，生成的对应权重图像的分辨率也为1920×1200。
将获取到的包含待修复区域的原始人脸图像，以及根据本公开实施例上述方法生成的原始人脸图像对应的二值化图像以及对应的权重图像输入训练好的生成对抗网络后，就可以由该训练好的生成对抗网络根据二值化图像、权重图像对原始人脸图像进行修复处理，从而输出对待修复区域进行修复后的目标人脸图像。
本公开实施例还提供一种对生成对抗网络进行训练的方法，在生成对抗网络训练完成之后，可以通过训练后的生成对抗网络执行图1中的人脸图像处理方法。
图6是根据一示例性实施例示出的一种对生成对抗网络进行训练的方法的流程图，如图6所示，包括以下步骤：
在步骤S61中，根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成训练人脸图像对应的二值化图像；
在步骤S62中，根据训练人脸图像的梯度值，生成用于表示训练人脸图像中像素点对应的权重系数的权重图像；
在步骤S63中，将训练人脸图像、训练人脸图像对应的二值化图像、训练人脸图像对应的权重图像作为生成网络的输入特征，将对待修复区域进行修复后的输出人脸图像作为生成网络的输出特征，对生成网络进行训练；
在步骤S64中，将输出人脸图像与训练人脸图像对应的目标样本图像输入判别网络，确定判别网络输出的输出人脸图像与训练人脸图像对应的目标样本图像之间的相似度；
在步骤S65中，根据确定的相似度对生成网络的参数和判别网络的参数进行调整。
这里需要说明的是，训练人脸图像对应的二值化图像以及对应的权重图像的生成方法与原始人脸图像中对应的二值化图像以及对应的权重图像的生成方法相同，在此不再详细赘述。
本公开实施例中，训练人脸图像对应的目标样本图像为，对包含待修复区域的训练人脸图像采用一些图像处理软件手动修复瑕疵后得到的无瑕疵的目标图片，其中，本公开实施例中对于图像处理软件的选择可以选择使用photoshop对训练人脸图像进行处理，也可以选择一些其他的图像处理软件，在此不做限定。
如图7所示，本公开实施例中生成对抗网络具体包括生成网络和判别网络；
其中，生成网络用于生成修复后的目标人脸图像，判别网络用于判断修复后的目标人脸图像与原始人脸图像是否相似；
生成网络的目的是通过生成网络对训练人脸图像处理后，可以生成与目标样本图像尽可能相似的图像，而判别网络的目的是确定通过生成网络生成的目标人脸图像与训练人脸图像对应的目标样本图像之间的相似度，尽量区别目标人脸图像和目标样本图像，生成网络和判别网络构成一种互相博弈的过程。
在对生成对抗网络的训练过程中，将训练人脸图像、训练人脸图像对应的二值化图像、训练人脸图像对应的权重图像作为生成网络的输入特征，对生成网络进行训练，输出对待修复区域进行修复后的输出人脸图像；
判别网络判断输出人脸图像和训练人脸图像对应的目标样本图像之间是否相似，根据确定出的相似度对生成网络的参数和判别网络的参数进行调整。
实施中，通过判别网络判断出输出人脸图像与训练人脸图像对应的目标样本图像之间是否相似后，判别网络输出人脸图像与训练人脸图像对应的目标样本图像之间的相似度；
其中，在判别网络判断出的相似度小于第二阈值时，表示输出人脸图像与训练人脸图像对应的目标样本图像不相似；在判别网络判断出的相似度不小于第二阈值时，表示输出人脸图像与训练人脸图像对应的目标样本图像相似；
在判别网络判断出的相似度不小于第二阈值时确定生成对抗网络训练完成。
例如，相似度可以为0～1中任意一个数值，数值0表示输出人脸图像与训练人脸图像对应的目标样本图像之间完全不相似，数值1表示输出人脸图像与目标样本图像之间完全相似，当输出值在0～1之间时，数值越大，相似度越高。
若判别网络的输出值为1，表明对生成网络和判别网络的训练已经完成，得到训练好的生成对抗网络，此时将包含待修复区域的原始人脸图像、原始人脸图像对应的二值化图像和对应的权重图像输入该生成对抗网络，可以达到预期的处理效果，生成自然、真实的修复后的目标人脸图像。
若判别网络的输出值不为1，说明通过此时的生成网络对训练人脸图像中待修复区域进行修复后的输出人脸图像与目标样本图像之间还存在差异，也就是说，输出的修复后的人脸图像不能达到预期的效果，需要对生成网络和判别网络的参数进行调整。
具体地，根据判别网络确定出的相似度对生成网络和判别网络的参数进行调整。
本公开实施例提供一种可选的对生成网络参数进行调整的方式为，根据生成网络对应的第一损失函数的第一损失值对生成网络的参数进行调整。
第一损失函数可以用LG表示为：
LG＝argMinG(Ez-p[log(1-D(G(β*z)))]+αE[||x-G(β*z)||])
其中，argMinG表示训练人脸图像和目标人脸图像差异最小时的点集，Ez-p表示输出人脸图像的概率分布函数的期望值，z表示为包含待修复区域的训练人脸图像，β表示训练人脸图像对应的二值化图像，G(β*z)表示生成网络输出的输出人脸图像，z-p表示输出人脸图像的概率分布，x表示训练人脸图像对应的目标样本图像，α表示训练人脸图像中每个像素点对应的权重系数。
根据输出人脸图像与训练人脸图像对应的目标样本图像，结合上述第一损失函数就可以得到第一损失函数对应的第一损失值，进而根据该第一损失值对生成网络的参数进行调整。
本公开实施例提供一种可选的对判别网络参数进行调整的方式为，根据判别网络对应的第二损失函数的第二损失值对判别网络的参数进行调整。
第二损失函数可以用LD表示为：
LD＝argMaxD(Ex-p[log D(x)]+Ez-p[log(1-D(G(β*z)))])
其中，argMaxD表示训练人脸图像和目标人脸图像差异最大时的点集；Ex-p表示目标样本图像的概率分布函数的期望值；z表示包含待修复区域的训练人脸图像，G(β*z)表示输出人脸图像，β表示训练人脸图像对应的二值化图像，z-p表示输出人脸图像的概率分布，x表示训练人脸图像对应的目标样本图像，x-p表示目标样本图像的概率分布；Ez-p表示输出人脸图像的概率分布函数的期望值。
根据输出人脸图像与训练人脸图像对应的目标样本图像，结合上述第二损失函数就可以得到第二损失函数对应的第二损失值，进而根据该第二损失值对判别网络的参数进行调整。
在对生成网络和判别网络的参数进行调整之后，获得新的生成网络和判别网络，再进一步对该生成网络和判别网络进行训练，直到判别网络确定出输出人脸图像与训练人脸图像对应的目标样本图像之间相似后，结束训练，得到训练好的生成对抗网络。
图8是根据一示例性实施例示出的一种对生成对抗网络进行训练的完整方法流程图，具体包括以下步骤：
在步骤S81中，获取包含待修复区域的训练人脸图像；
在步骤S82中，获取训练人脸图像对应的目标样本图像；
在步骤S83中，确定训练人脸图像中的皮肤区域和非皮肤区域，根据确定出的不同区域生成训练人脸图像对应的二值化图像；
在步骤S84中，根据训练人脸图像的梯度值生成用于表示训练人脸图像中像素点对应的权重系数的权重图像；
这里需要说明的是，步骤S81和步骤S82执行的先后顺序不作限定，可以先执行步骤S81后执行S82，或者先执行步骤S82后执行S81还可以同时执行步骤S81和S82，步骤S83和步骤S84同理。
在步骤S85中，将训练人脸图像、训练人脸图像对应的二值化图像、训练人脸图像对应的权重图像作为生成网络的输入特征，对生成网络进行训练，得到对待修复区域进行修复后的输出人脸图像，将输出人脸图像作为生成网络的输出特征；
在步骤S86中，将生成网络训练后得到的对待修复区域进行修复后的输出人脸图像与目标样本图像输入判别网络，获取判别网络输出的人脸图像与训练人脸图像对应的目标样本图像之间的相似度；
在步骤S87中，判断判别网络输出的相似度是否小于第二阈值；若是，则执行步骤S88，若否，执行步骤S811；
在步骤S88中，根据输出人脸图像与训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；
在步骤S889中，根据输出人脸图像与训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；
在步骤S810中，根据确定出的第一损失值和第二损失值分别对生成网络和判别网络的参数进行调整；并返回步骤S85。
在步骤S811中，结束训练，得到训练好的生成对抗网络；
本公开实施例中还提供了一种人脸图像处理的装置，由于该装置对应的是本公开实施例人脸图像处理方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图9是根据一示例性实施例示出的一种人脸图像处理装置框图。参照图9，该装置包括获取单元900，生成单元901和处理单元902。
获取单元900，被配置为执行获取包含待修复区域的原始人脸图像；
生成单元901，被配置为执行根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域。
处理单元902，被配置为执行将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。
在一种可能的实现方式中，所述生成单元901被配置为执行：获取所述原始人脸图像的像素点对应的梯度值；
根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；
根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。
在一种可能的实现方式中，在所述对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者
在所述对应关系中梯度值与权重系数之间呈正比关系。
如图10所示，所述装置还包括训练单元903，所述训练单元903被配置为执行根据下列方式对所述生成对抗网络进行训练：
根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；
将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；
将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；
根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整。
在一种可能的实现方式中，所述训练单元903被配置为执行若所述相似度小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；根据所述第一损失值对所述生成网络的参数进行调整。
在一种可能的实现方式中，所述第一损失函数为：
LG＝argMinG(Ez-p[log(1-D(G(β*z)))]+αE[||x-G(β*z)||])
其中，argMinG表示所述训练人脸图像和所述目标人脸图像差异最小时的点集，Ez-p表示所述输出人脸图像的概率分布函数的期望值，z表示为包含待修复区域的所述训练人脸图像，β表示所述训练人脸图像对应的二值化图像，G(β*z)表示所述生成网络输出的所述输出人脸图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，α表示所述训练人脸图像中每个像素点对应的权重系数。
在一种可能的实现方式中，所述训练单元903被配置为执行若所述相似度小于第二阈值，则确定表示所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；
根据所述第二损失值对所述判别网络的参数进行调整。
在一种可能的实现方式中，所述第二损失函数为：
LD＝argMaxD(Ex-p[log D(x)]+Ez-p[log(1-D(G(β*z)))])
其中，argMaxD表示所述训练人脸图像和所述目标人脸图像差异最大时的点集；Ex-p表示所述目标样本图像的概率分布函数的期望值；z表示包含待修复区域的所述训练人脸图像，G(β*z)表示所述输出人脸图像，β表示所述训练人脸图像对应的二值化图像，z-p表示所述输出人脸图像的概率分布，x表示所述训练人脸图像对应的所述目标样本图像，x-p表示所述目标样本图像的概率分布；Ez-p表示所述输出人脸图像的概率分布函数的期望值。
在一种可能的实现方式中，所述训练单元903还配置为执行若所述相似度不小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像相似，并确定所述生成对抗网络训练完成。
关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种电子设备1100的框图，该电子设备包括：
处理器1110；
用于存储所述处理器1110可执行指令的存储器1120；
其中，所述处理器1110被配置为执行所述指令，以实现本公开实施例中的人脸图像的处理方法。
在示例性实施例中，还提供了一种包括指令的非易失性存储介质，例如包括指令的存储器1120，上述指令可由电子设备1100的处理器1110执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图12是根据一示例性实施例示出的另一种电子设备1200的框图，该电子设备包括：射频(Radio Frequency，RF)电路1210、电源1220、处理器1230、存储器1240、输入单元1250、显示单元1260、摄像头1270、通信接口1280、以及无线保真(Wireless Fidelity，WiFi)模块1290等部件。本领域技术人员可以理解，图12中示出的电子设备的结构并不构成对电子设备的限定，本公开实施例提供的电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图12对所述电子设备1200的各个构成部件进行具体的介绍：
RF电路1210可用于通信或通话过程中，数据的接收和发送。特别地，RF电路1210在接收到基站的下行数据后，发送给处理器1230处理；另外，将待发送的上行数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。
此外，RF电路1210还可以通过无线通信与网络和其他终端通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
WiFi技术属于短距离无线传输技术，电子设备1200通过WiFi模块1290可以连接的接入点(Access Point，AP)，从而实现数据网络的访问。WiFi模块1290可用于通信过程中数据的接收和发送。
电子设备1200可以通过通信接口1280与其他终端实现物理连接。可选的，通信接口1280与其他终端的通信接口通过电缆连接，实现电子设备1200和其他终端之间的数据传输。
由于在本公开实施例中，电子设备1200能够实现通信业务，向其他联系人发送信息，因此电子设备1200需要具有数据传输功能，即电子设备1200内部需要包含通信模块。虽然图12示出了RF电路1210、WiFi模块1290、和通信接口1280等通信模块，但是可以理解的是，电子设备1200中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。
例如，当电子设备1200为手机时，电子设备1200可以包含RF电路1210，还可以包含WiFi模块1290；当电子设备1200为计算机时，电子设备1200可以包含通信接口1280，还可以包含WiFi模块1290；当电子设备1200为平板电脑时，电子设备1200可以包含WiFi模块1290。
存储器1240可用于存储软件程序以及模块。处理器1230通过运行存储在存储器1240的软件程序以及模块，从而执行电子设备1200的各种功能应用以及数据处理，并且当处理器1230执行存储器1240中的程序代码后，可以实现本发明实施例图1、图3、图6、图8和图9中的部分或全部过程。
可选的，存储器1240可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及进行WLAN连接的各个模块等；存储数据区可存储根据所述电子设备的使用所创建的数据等。
此外，存储器1240可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1250可用于接收用户输入的数字或字符信息，以及产生与电子设备1200的用户设置以及功能控制有关的键信号输入。
可选的，输入单元1250可包括触控面板1251以及其他输入终端1252。
其中，触控面板1251，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板1251上或在所述触控面板1251附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1251可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1230，并能接收处理器1230发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板1251。
可选的，其他输入终端1252可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1260可用于显示由用户输入的信息或提供给用户的信息以及电子设备1200的各种菜单。显示单元1260即为所述电子设备1200的显示系统，用于呈现界面，实现人机交互。
显示单元1260可以包括显示面板1261。可选的，显示面板1261可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。
进一步的，触控面板1251可覆盖显示面板1261，当触控面板1251检测到在其上或附近的触摸操作后，传送给处理器1230以确定触摸事件的类型，随后处理器1230根据触摸事件的类型在显示面板1261上提供相应的视觉输出。
虽然在图12中，触控面板1251与显示面板1261是作为两个独立的部件来实现电子设备1200的输入和输入功能，但是在某些实施例中，可以将触控面板1251与显示面板1261集成而实现电子设备1200的输入和输出功能。
处理器1230是所述电子设备1200的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1240内的软件程序和/或模块，以及调用存储在存储器1240内的数据，执行电子设备1200的各种功能和处理数据，从而实现基于电子设备的多种业务。
可选的，处理器1230可包括一个或多个处理单元。可选的，处理器1230可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器1230中。
摄像头1270，用于实现电子设备1200的拍摄功能，拍摄图片或视频。
电子设备1200还包括用于给各个部件供电的电源1220(比如电池)。可选的，电源1220可以通过电源管理系统与处理器1230逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出，电子设备1200还可以包括至少一种传感器、音频电路等，在此不再赘述。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项人脸图像的处理方法或任意一项人脸图像处理方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人脸图像的处理方法，其特征在于，该方法包括：
获取包含待修复区域的原始人脸图像；
根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的用于标记所述原始人脸图像中非皮肤区域的二值化图像；以及根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；
将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述原始人脸图像的像素点对应的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像，包括：
获取所述原始人脸图像的像素点对应的梯度值；
根据梯度值与权重系数之间的对应关系，确定所述原始图像中每个像素点在所述梯度图像中的梯度值对应的权重系数；
根据确定的所述权重系数，以及每个像素点在所述原始图像中的位置，生成所述原始图像对应的权重图像。
3.如权利要求2所述的方法，其特征在于，在所述对应关系中，不大于第一阈值的梯度值对应第一权重系数，大于第一阈值的梯度值对应第二权重系数；其中，所述第一权重系数小于所述第二权重系数；或者
在所述对应关系中梯度值与权重系数之间呈正比关系。
4.如权利要求1～3任一项所述的方法，其特征在于，所述生成对抗网络包括生成网络和判别网络；
根据下列方式对所述生成对抗网络进行训练：
根据包含待修复区域的训练人脸图像中的皮肤区域和非皮肤区域，生成所述训练人脸图像对应的二值化图像；以及根据所述训练人脸图像的梯度值，生成用于表示所述训练人脸图像中像素点对应的权重系数的权重图像；
将所述训练人脸图像、所述训练人脸图像对应的二值化图像、所述训练人脸图像对应的权重图像作为所述生成网络的输入特征，将对所述待修复区域进行修复后的输出人脸图像作为所述生成网络的输出特征，对所述生成网络进行训练；
将所述输出人脸图像与所述训练人脸图像对应的目标样本图像输入所述判别网络，确定所述判别网络输出的所述输出人脸图像与所述训练人脸图像对应的目标样本图像之间的相似度；
根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整。
5.如权利要求4所述的方法，其特征在于，所述根据确定的所述相似度对所述生成网络的参数和所述判别网络的参数进行调整，包括：
若所述相似度小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述生成网络对应的第一损失函数的第一损失值；
根据所述第一损失值对所述生成网络的参数进行调整。
6.如权利要求4所述的方法，其特征在于，所述根据确定的所述相似度对所述判别网络的参数进行调整，包括：
若所述相似度小于第二阈值，则确定表示所述输出人脸图像与所述训练人脸图像对应的目标样本图像不相似，则根据所述输出人脸图像与所述训练人脸图像对应的目标样本图像，确定所述判别网络对应的第二损失函数的第二损失值；
根据所述第二损失值对所述判别网络的参数进行调整。
7.如权利要求4所述的方法，其特征在于，该方法还包括：
若所述相似度不小于第二阈值，则确定所述输出人脸图像与所述训练人脸图像对应的目标样本图像相似，并确定所述生成对抗网络训练完成。
8.一种人脸图像处理的装置，其特征在于，包括：
获取单元，被配置为执行获取包含待修复区域的原始人脸图像；
生成单元，被配置为执行根据所述原始人脸图像中的皮肤区域和非皮肤区域，生成所述原始人脸图像对应的二值化图像；以及根据所述原始人脸图像的梯度值，生成用于表示所述原始人脸图像中像素点对应的权重系数的权重图像；其中，所述非皮肤区域包括所述原始人脸图像中的五官区域；
处理单元，被配置为执行将所述原始人脸图像、所述二值化图像以及所述权重图像输入训练后的生成对抗网络，并获取所述训练后的生成对抗网络输出的对所述待修复区域进行修复后的目标人脸图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1至权利要求7中任一项所述的人脸图像的处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由人脸图像处理电子设备的处理器执行时，使得所述人脸图像处理电子设备能够执行根据权利要求1至权利要求7中任一项所述的人脸图像处理方法。
CN201910936241.XA 2019-09-29 2019-09-29 一种人脸图像的处理方法、装置、电子设备及存储介质 Active CN110689500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910936241.XA CN110689500B (zh) 2019-09-29 2019-09-29 一种人脸图像的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910936241.XA CN110689500B (zh) 2019-09-29 2019-09-29 一种人脸图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110689500A true CN110689500A (zh) 2020-01-14
CN110689500B CN110689500B (zh) 2022-05-24

Family

ID=69111152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910936241.XA Active CN110689500B (zh) 2019-09-29 2019-09-29 一种人脸图像的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110689500B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553854A (zh) * 2020-04-21 2020-08-18 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111583154A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、肤质美化模型训练方法及相关装置
CN112184584A (zh) * 2020-09-29 2021-01-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112381845A (zh) * 2020-12-02 2021-02-19 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
CN112766235A (zh) * 2021-02-24 2021-05-07 北京嘀嘀无限科技发展有限公司 人脸识别方法、装置、设备、存储介质和计算机程序产品
CN113177891A (zh) * 2021-04-28 2021-07-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113298721A (zh) * 2020-02-21 2021-08-24 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN113688832A (zh) * 2021-08-27 2021-11-23 北京三快在线科技有限公司 一种模型训练及图像处理方法、装置
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN113808027A (zh) * 2020-06-16 2021-12-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN114399426A (zh) * 2021-12-31 2022-04-26 深圳数联天下智能科技有限公司 脸部皮肤状态图像的生成、模型训练方法、设备和介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181250A (ja) * 2007-03-27 2007-07-12 Sony Corp 画像処理方法および画像処理装置
CN105894506A (zh) * 2016-03-30 2016-08-24 深圳云天励飞技术有限公司 一种人脸图像模糊度计算方法及装置
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN110084002A (zh) * 2019-04-23 2019-08-02 清华大学 深度神经网络攻击方法、装置、介质和计算设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181250A (ja) * 2007-03-27 2007-07-12 Sony Corp 画像処理方法および画像処理装置
CN105894506A (zh) * 2016-03-30 2016-08-24 深圳云天励飞技术有限公司 一种人脸图像模糊度计算方法及装置
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN110084002A (zh) * 2019-04-23 2019-08-02 清华大学 深度神经网络攻击方法、装置、介质和计算设备

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298721A (zh) * 2020-02-21 2021-08-24 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN113298721B (zh) * 2020-02-21 2024-04-16 北京达佳互联信息技术有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN111553854A (zh) * 2020-04-21 2020-08-18 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111583154A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、肤质美化模型训练方法及相关装置
CN111583154B (zh) * 2020-05-12 2023-09-26 Oppo广东移动通信有限公司 图像处理方法、肤质美化模型训练方法及相关装置
CN113808027B (zh) * 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN113808027A (zh) * 2020-06-16 2021-12-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN112184584A (zh) * 2020-09-29 2021-01-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112184584B (zh) * 2020-09-29 2024-05-21 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112381845B (zh) * 2020-12-02 2023-04-18 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
CN112381845A (zh) * 2020-12-02 2021-02-19 中国石油大学(华东) 岩心图像生成方法、模型训练方法及装置
CN112766235A (zh) * 2021-02-24 2021-05-07 北京嘀嘀无限科技发展有限公司 人脸识别方法、装置、设备、存储介质和计算机程序产品
CN113177891B (zh) * 2021-04-28 2023-09-26 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113177891A (zh) * 2021-04-28 2021-07-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113688832A (zh) * 2021-08-27 2021-11-23 北京三快在线科技有限公司 一种模型训练及图像处理方法、装置
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114399426A (zh) * 2021-12-31 2022-04-26 深圳数联天下智能科技有限公司 脸部皮肤状态图像的生成、模型训练方法、设备和介质
CN114399426B (zh) * 2021-12-31 2024-04-30 深圳数联天下智能科技有限公司 脸部皮肤状态图像的生成、模型训练方法、设备和介质
CN115239943A (zh) * 2022-09-23 2022-10-25 杭州医策科技有限公司 图像矫正模型的训练方法及切片图像的色彩矫正方法

Also Published As

Publication number Publication date
CN110689500B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110689500B (zh) 一种人脸图像的处理方法、装置、电子设备及存储介质
CN106558025B (zh) 一种图片的处理方法和装置
CN109427083B (zh) 三维虚拟形象的显示方法、装置、终端及存储介质
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
US11705160B2 (en) Method and device for processing video
CN110276344B (zh) 一种图像分割的方法、图像识别的方法以及相关装置
CN107256555B (zh) 一种图像处理方法、装置及存储介质
CN110689479B (zh) 一种人脸上妆方法、装置、设备及介质
CN110706179A (zh) 一种图像处理方法及电子设备
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
WO2019011098A1 (zh) 解锁控制方法及相关产品
CN112837251B (zh) 图像处理方法及装置
CN103299342A (zh) 提供用于姿势识别的机制的方法和装置
CN115375835A (zh) 基于二维关键点的三维模型建立方法、计算机及存储介质
CN112581395A (zh) 图像处理方法、装置、电子设备及存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN110991325A (zh) 一种模型训练的方法、图像识别的方法以及相关装置
CN111556337A (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN113554741B (zh) 一种对象三维重建的方法、装置、电子设备及存储介质
CN117455753A (zh) 特效模板生成方法、特效生成方法、装置及存储介质
CN115482157A (zh) 图像处理方法、装置及计算机设备
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
CN116681613A (zh) 人脸关键点检测的仿光照增强方法、装置、介质及设备
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
CN110796096A (zh) 一种手势识别模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant