CN114972096A - 人脸图像优化方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种人脸图像优化方法及装置、计算机可读存储介质及电子设备，该方法包括：获取待美颜人脸图像，利用预训练的图像优化模型对待美颜人脸图像进行处理，得到基准融合程度图像；获取待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，参考人脸图像为待美颜人脸图像对应的磨皮程度最大的图像；根据基准融合程度图像计算目标磨皮程度对应的目标融合度矩阵；根据目标融合度矩阵、待美颜人脸图像以及参考人脸图像确定目标人脸图像。本公开实施例的技术方案改善图像优化效果。

Description

人脸图像优化方法及装置、存储介质及电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种人脸图像优化方法及装置、计算机可读存储介质及电子设备。

背景技术

美颜是指利用图像处理技术对图像或视频中的人像进行美化处理，以更好地满足用户的审美需求。

相关技术中，图像优化通常包括去瑕疵和磨皮两个步骤等。然而，相关技术在磨皮过程精度较差，导致对图像的优化效果较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种人脸图像优化方法、人脸图像优化装置、计算机可读介质和电子设备，进而至少在一定程度上改善图像优化效果。

根据本公开的第一方面，提供一种人脸图像优化方法，包括：获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像；获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像；根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵；根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

根据本公开的第二方面，提供一种人脸图像优化装置，包括：第一获取模块，用于获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像；第二获取模块，用于获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像；矩阵计算模块，用于根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵；图像优化模块，用于根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的人脸图像优化方法，通过图像优化模型计算待美颜人脸图像对应的基准融合程度图像，并根据基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵，通过深度神经网络的处理实现目标融合度矩阵的计算，一方面，增加了对图像优化的灵活性，另一方面，能够对不用的区域采用不同的融合系数，增强了磨皮精度，进而提升了人脸图像的优化效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种人脸图像优化方法的流程图；

图3示意性示出本公开示例性实施例中一种获取待美颜人脸图像的流程图；

图4示意性示出本公开示例性实施例中一种图像优化模型的结构示意图；

图5示意性示出本公开示例性实施例中一种利用图像优化模型处理图像的流程图；

图6示意性示出本公开示例性实施例中一种获取目标去瑕疵人脸图像的流程图；

图7示意性示出本公开示例性实施例中一种计算目标融合度矩阵的流程图；

图8示意性示出本公开示例性实施例中一种调整高频图像像素值的流程图；

图9示意性示出本公开示例性实施例中一种边界区域渐变处理的示意图；

图10示出本示例性实施方式中一种美颜处理方法的示意性流程图；

图11示意性示出本公开示例性实施例中人脸图像优化装置的组成示意图；

图12示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中常用的磨皮方式，通常须计算皮肤概率图像、再基于皮肤概率图像的融合计算获得100％光滑图像，即磨皮程度最大的图像、基于用户设定磨皮程度的融合计算得到磨皮图像。用户设定磨皮程度，在原图像的所有皮肤区域一致的，即原图像的粗糙皮肤区域和光滑皮肤区域的融合程度是相同，则容易导致粗糙区域磨皮不足而依然粗糙、光滑区域磨皮过度而模糊等效果问题。无法同时适配不同肤质的用户。且由于皮肤概率图像对类肤色的头发、衣物容易误识别，导致头发、衣物模糊的效果问题。

鉴于上述问题，本公开的示例性实施方式首先提供一种图像优化方法，其应用场景包括但不限于：终端设备安装有图像优化App(Application，应用程序)，用户在App中选择本地相册中的图像进行优化处理，或者对当前拍摄的图像进行优化处理；终端设备执行本示例性实施方式的图像优化处理方法，或者终端设备将图像发送至服务器，由服务器执行本示例性实施方式的图像优化处理方法，对图像进行优化处理。或者，也可以对用户选择的视频或者当前拍摄的视频进行优化处理，具体为对视频中包含人像的帧进行优化处理，例如在直播场景中，对实时的视频流进行优化处理。具体的系统架构可以参照图1所示。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像优化相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行上述人脸图像优化方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取待美颜人脸图像后，由终端110对该图像进行图像优化处理，输出目标人脸图像。

在一种实施方式中，可以由服务器120可以执行上述人脸图像优化方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取待美颜人脸图像后，终端110将该图像上传至服务器120，由服务器120对该图像进行图像优化处理，向终端110返回目标人脸图像。

由上可知，本示例性实施方式中的人脸图像优化方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

下面结合图2对本示例性实施方式中的人脸图像优化方法进行说明，图2示出了该人脸图像优化方法的示例性流程，可以包括：

步骤S210，获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像；

步骤S220，获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像；

步骤S230，根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵；

步骤S240，根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

基于上述方法，通过图像优化模型计算待美颜人脸图像对应的基准融合程度图像，并根据基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵，通过深度神经网络的处理实现目标融合度矩阵的计算，一方面，增加了对图像优化的灵活性，另一方面，能够对不用的区域采用不同的融合系数，增强了磨皮精度，进而提升了人脸图像的优化效果。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像。

在本示例实施方式中，上述基准融合程度图像用于表征基准磨皮程度对应的待美颜人脸图像中各个像素点与参考人脸图像的融合程度，其中基准磨皮程度图像可以是单通道图像，其中基准融合程度图像中的各个像素的像素值均表征待美颜人脸图像与参考人脸图像的像素点的融合度。

其中，上述参考人脸图像表示上述对上述待美颜人脸图像进行最大磨皮程度的磨皮后的图像，最大磨皮程度可以是100％、也可以是90％，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在一示例性实施例中，获取待美颜人脸图像可以包括步骤S310和步骤S320。

在步骤S310中，获取待处理图像，并按照预设规则在所述待处理图像中提取至少一个待优化人脸图像。

在本示例实施方式中，其中，待处理图像可以是用户选择的图像，如用户在相册中选择的图像，也可以是系统自动指定的图像，如当前拍摄的图像等。

待优化人脸图像是在待处理图像中截取人脸部分所得到的子图像。本示例性实施方式主要对待处理图像中的人脸进行优化处理，对于待处理图像中的人脸数量不做限定，例如待处理图像中包括多张人脸时，可以提取多张待优化人脸图像。

在一种实施方式中，按照预设规则在所述待处理图像中提取至少一个待优化人脸图像可以包括：

根据在待处理图像中识别到的人脸关键点，在待处理图像中生成一个或多个人脸框；

保留面积大于或等于人脸面积阈值的人脸框，并截取人脸框内的图像，得到一张或多张待优化人脸图像。其中，人脸关键点可以包括人脸关键部位以及人脸边缘的点，每张人脸的人脸关键点均处于人脸框内。人脸框可以是矩形框，也可以是如圆形框、六边形框等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在一种实施方式中，人脸框可以是包括人脸关键点的最小矩形框。

一般的，通过人脸检测算法可以在待处理图像中检测出所有的人脸，其中可能包括不需要美颜的人脸(例如远处路人的人脸)，考虑到在图像美颜的场景中，通常需要对较大的人脸进行美颜(较小的人脸美颜后效果不明显)，因此可以通过人脸面积阈值对人脸框进行过滤。具体地，可以根据经验或者待处理图像的大小，设置人脸面积阈值，示例性的，人脸面积阈值可以是待处理图像的尺寸*0.05；如果人脸框的面积大于或等于人脸面积阈值，则为需要美颜的人脸，保留该人脸框；如果人脸框的面积小于人脸面积阈值，则为不需要美颜的人脸，删除该人脸框。

在对人脸框完成过滤后，所保留的人脸框为有效人脸的人脸框。截取每个人脸框内的图像，得到与人脸框数量相同的待优化人脸图像。

在一种实施方式中，为便于后续对待优化人脸图像进行组合，可以设置待优化人脸图像的数量上限，即设置人脸框的数量上限。如可以设置为4，如果经过上述人脸面积阈值的过滤后，所保留的人脸框数量大于4，则可以从中选取4个人脸框，如可以是面积最大的4个人脸框，也可以是距离待处理图像的中心最近的4个人脸框，对应截取4张待优化人脸图像，对于其他人脸框内的人脸不进行优化；或者可以进行多次优化处理，本次处理中选取4个人脸框并截取待优化人脸图像进行优化，下次处理中选取其他的人脸框并截取待优化人脸图像进行优化，从而完成对待处理图像中所有面积大于人脸面积阈值的人脸框内的人脸进行优化。

在一种实施方式中，在截取人脸框内的图像前，还可以对人脸框进行扩大处理，使人脸框包括少量的人脸以外的区域，以便于后续进行图像融合时进行渐变处理。在进行扩大处理时，可以按照预设比例将人脸框向一个或多个方向扩大。例如，预设比例为1.1，将人脸框按照向四周均匀扩大，使扩大后的人脸框尺寸为原尺寸的1.1倍。需要说明的是，在对人脸框进行扩大处理时，如果人脸框的一个或多个边界到达待处理图像的边界，则使人脸框的该边界停留在待处理图像的边界处。

在步骤S320中，对所述待优化人脸图像进行预处理得到初始人脸图像。

在本示例实施方式中，可以设定一模型的输出尺寸，可以确定上述得到的各个待优化人脸图像的尺寸，可以根据上述输出尺寸对初始人脸图像进行预处理以得到待美颜人脸图像。其中预处理可以包括如下一种或多种。

当待优化人脸图像的宽度与高度的大小关系与模型的输出尺寸的宽度与高度的大小关系不同时，将待优化人脸图像旋转90度。具体来说，在待优化人脸图像与模型的输入尺寸中，均为宽度大于高度或者均为宽度小于高度，则待优化人脸图像与模型的输入尺寸的宽度与高度的大小关系相同，无需旋转待优化人脸图像；否则，待优化人脸图像与模型的输入尺寸的宽度与高度的大小关系不同，需要将待优化人脸图像旋转90度(顺时针或逆时针旋转皆可)。例如，模型的输入尺寸为宽320*高448时，即宽度小于高度，如果待优化人脸图像为宽度大于高度的情况，则将待优化人脸图像旋转90度。

在一种实施方式中，为了保持待优化人脸图像中人脸的角度，可以不对待优化人脸图像进行旋转。

当待优化人脸图像的尺寸大于模型的输入尺寸时，根据模型的输入尺寸将待优化人脸图像进行下采样。其中，待优化人脸图像的尺寸大于模型的输入尺寸，是指待优化人脸图像的宽度大于模型的输入尺寸的宽度，或者待优化人脸图像的高度大于模型的输入尺寸的高度。在图像美颜场景中，待处理图像一般是终端设备拍摄的清晰图像，其尺寸较大，因此待优化人脸图像的尺寸大于模型的输入尺寸是比较常见的情况，即通常情况下需要对待优化人脸图像进行下采样。

下采样可以采用双线性插值、最近邻插值等方法实现，本公开对此不做限定。

在进行下采样后，待优化人脸图像的宽度与高度中的至少一个与模型的输入尺寸对齐，具体包括以下几种情况：

待优化人脸图像的宽度、高度均与模型的输入尺寸相同；

待优化人脸图像的宽度与模型的输入尺寸的宽度相同，高度小于模型的输入尺寸的高度；

待优化人脸图像的高度与模型的输入尺寸的高度相同，宽度小于模型的输入尺寸的宽度。

需要说明的是，如果已经对待优化人脸图像进行了上述旋转，得到经过旋转的待优化人脸图像，则当该待优化人脸图像的尺寸大于模型的输入尺寸时，根据模型的输入尺寸对其进行下采样，具体的实现方式与上述待优化人脸图像的下采样方式相同，因而不再赘述。

反之，当待优化人脸图像(或经过旋转的待优化人脸图像)的尺寸小于或等于模型的输入尺寸时，可以不进行下采样的处理步骤。

当待优化人脸图像的尺寸小于模型的输入尺寸时，根据待优化人脸图像与模型的输入尺寸的差值将待优化人脸图像进行填充，使填充后的待优化人脸图像的尺寸等于模型的输入尺寸。其中，待优化人脸图像的尺寸小于模型的输入尺寸，是指待优化人脸图像的宽度与高度中的至少一个小于模型的输入尺寸，另一个不大于模型的输入尺寸，具体包括以下几种情况：

待优化人脸图像的宽度小于模型的输入尺寸的宽度，高度也小于模型的输入尺寸的高度；

待优化人脸图像的宽度小于模型的输入尺寸的宽度，高度等于模型的输入尺寸的高度；

待优化人脸图像的高度小于模型的输入尺寸的高度，宽度等于模型的输入尺寸的高度。

填充时可以采用预设像素值，通常是与人脸颜色差别较大的像素值，如(R0，G0，B0)、(R255，G255，B255)等。

一般可以填充在待优化人脸图像的四周，例如将待优化人脸图像的中心与模型的输入尺寸的中心重合，对待优化人脸图像四周的差值部分进行填充，使填充后待优化人脸图像的尺寸与模型的输入尺寸一致。当然也可以将待优化人脸图像与模型的输入尺寸的一侧边缘对齐，对另一侧进行填充。本公开对此不做限定。

需要说明的是，如果已经对待优化人脸图像进行了上述旋转与下采样中至少一种处理，得到经过旋转与下采样中至少一种处理的待优化人脸图像，则当该待优化人脸图像的尺寸小于模型的输入尺寸时，根据其与模型的输入尺寸的差值进行填充，具体的实现方式与上述待优化人脸图像的填充方式相同，因而不再赘述。

在本公开的一种示例实施方式中，可以保存相应的变换信息，包括但不限于：对每张待优化人脸图像旋转的方向与角度，下采样的比例，填充的像素的坐标。这样便于后续根据该变换信息进行逆变换。

待优化人脸图像在经过上述预处理之后可以得到上述待美颜人脸图像。

在本公开的一种示例实施方式中，上述利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像可以包括利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像和目标去瑕疵人脸图像；

在本示例实施方式中，在一种实施方式中，上述图像优化模型可以采用轻量化的深度神经网络，以降低计算量，并实现对于图像深度特征的学习与处理。示例性的，深度神经网络可以采用端到端(End-to-End)的结构，以实现对待美颜人脸图像的像素级处理。

图4示出了深度神经网络的示例性结构。如图4所示，上述图像优化模型可以是全卷积网络，包括：第一像素重排层、至少一个卷积层、至少一个转置卷积层、第二像素重排层。

基于图4所示的深度神经网络，参考图5所示，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像可以通过图5中的步骤S510至S540实现：

步骤S510，利用第一像素重排层对待美颜人脸图像进行由单通道到多通道的像素重排处理，得到第一特征图像。

需要说明的是，待美颜人脸图像可以是单通道图像(如灰度图像)，也可以是多通道图像(如RGB图像)。第一像素重排层可以将待美颜人脸图像的每个通道重排为多个通道。

在一种可选的实施方式中，步骤S510包括：

将通道数为a的待美颜人脸图像输入第一像素重排层；

将待美颜人脸图像的每个通道中每n*n邻域的像素点分别重排至n*n个通道中的相同位置，输出通道数为a*n*n的第一特征图像。

其中，a表示待美颜人脸图像的通道数，为正整数，n表示像素重排的参数，为不小于2的正整数。以n＝2为例，遍历待美颜人脸图像的第一通道，通常从左上角开始，将每2*2格子的像素点提取出来，分别重排到4个通道中的相同位置，由此将一个通道变为四个通道，同时图像的宽和高降低到一半，将重排后的图像记为第一特征图像；采用同样的方式处理其他通道。如果待美颜人脸图像为单通道图像，则像素重排后得到四通道的第一特征图像；如果待美颜人脸图像为三通道图像，则像素重排后得到十二通道的第一特征图像。

第一像素重排层可以采用TensorFlow(一种机器学习的实现框架)中的space_to_depth函数实现，将待美颜人脸图像中的空间特征转换为深度特征，也可用采用步长为n的卷积操作实现，此时第一像素重排层可视为特殊的卷积层。

步骤S520，利用卷积层对第一特征图像进行卷积处理，得到第二特征图像。

本公开对于卷积层的数量、卷积核尺寸、卷积层的具体结构等不做限定。卷积层用于从不同尺度上提取图像特征并学习深度信息。卷积层可以包括配套的池化层，用于对卷积后的图像进行下采样，以实现信息抽象，增大感受野，同时降低参数复杂度。

当设置多个卷积层时，可以采用逐步卷积与下采样的方式，例如可以使图像按照2倍率下降，直到最后一个卷积层输出第二特征图像，第二特征图像可以是深度神经网络处理过程中尺寸最小的特征图像。

步骤S530，利用转置卷积层对第二特征图像进行转置卷积处理，得到第三特征图像。

本公开对于转置卷积层的数量、转置卷积核尺寸、转置卷积层的具体结构等不做限定。转置卷积层用于对第二特征图像进行上采样，可视为卷积的相反过程，由此恢复图像的尺寸。

当设置多个转置卷积层时，可以采用逐步上采样的方式，例如可以使图像按照2倍率上升，直到最后一个转置卷积层输出第三特征图像。

在一种可选的实施方式中，卷积层与转置卷积层为完全对称的结构，则第三特征图像与第一特征图像的尺寸、通道数相同。

在一种可选的实施方式中，可以在卷积层与转置卷积层之间建立直连，如图5所示，在对应于相同尺寸的特征图像的卷积层与转置卷积层之间建立直连，由此实现卷积环节的特征图像信息直接连接到转置卷积环节中的特征图像，有利于得到信息更为全面的第三特征图像。

步骤S540，利用第二像素重排层对第三特征图像进行由多通道到单通道的像素重排处理，得到基准融合程度图像。

需要说明的是，待美颜人脸图像可以是单通道图像(如灰度图像)，也可以是多通道图像(如RGB图像)。第二像素重排层可以将待美颜人脸图像的每个通道重排为多个通道。在一种可选的实施方式中，步骤S640包括：

将通道数为b*n*n的第三特征图像输入第二像素重排层；

将第三特征图像的每n*n个通道中相同位置的像素点重排至单通道中的n*n邻域内，输出通道数为b的基准融合程度图像；

其中，b为正整数。

第二像素重排层可以采用TensorFlow中的depth_to_space函数实现，将第三特征图像中的深度特征转换为空间特征，也可用采用步长为n的转置卷积操作实现，此时第二像素重排层可视为特殊的转置卷积层。

如果卷积层与转置卷积层为完全对称的结构，即第三特征图像与第一特征图像的尺寸、通道数相同，则有a＝b。进而，基准融合程度图像与待美颜人脸图像的通道数也相同，即深度神经网络的处理过程不改变图像尺寸与通道数。

在本示例实施方式中，上述图像优化模型还可以进行去瑕疵处理，即上述图像优化模型的输出还可以用于计算所述待美颜人脸图像对应的目标去瑕疵人脸图像。去瑕疵效果依赖于数据集的质量与训练效果，而不依赖于人为设计的图像特征计算。

在本示例实施方式汇总，当采用全面的数据集进行充分训练后，深度神经网络可以应对实际应用中的几乎所有情况，包括不同的光照条件、不同的皮肤状况等，实现准确、充分地检测与去除人像瑕疵，解决相关技术中瑕疵去除不干净的问题，同时得到的基准融合程度图像也能够表征的每个像素的磨皮程度时可包括了不同的光照条件、不同的皮肤状况等，能够实现准确的进行磨皮处理。

在本公开的一种示例实施方式中，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像和目标去瑕疵人脸图像可以包括步骤S610和步骤S620。

在步骤S610中，将所述待美颜人脸图像输入至所述图像优化模型得到所述基准融合程度图像和初始去瑕疵人脸图像。

上述图像优化模型具体执行过程上述已经进行了详细介绍因此，此处不再赘述，即将待美颜人脸图像输入至上述图像优化模型之后，图像优化模型在执行上述步骤S510至步骤S540之后，输出了基准融合程度图像和初始去瑕疵人脸图像。

在步骤S620中，根据用户设定的去瑕疵程度将所述初始去瑕疵人脸图像和所述待美颜人脸图像进行融合得到所述目标去瑕疵人脸图像。

本示例性实施方式中，去瑕疵程度可以是用于当前设定的参数，系统默认的参数，或者上一次美颜所使用的参数等。在确定去瑕疵程度后，可以以去瑕疵程度作为比重，将初始去瑕疵人脸图像与待美颜人脸图像进行融合。举例来说，假设去瑕疵程度的范围为0～1，当前设定的值为a，参考如下公式：

img＝ori_img*(1.0-a)+deblemsih_img*a

其中，img表示目标去瑕疵人脸图像，ori img_表示待美颜人脸图像，deblemish_img表示初始去瑕疵人脸图像。当a为0时，表示不进行去瑕疵处理，则完全使用待美颜人脸图像；当a为100时，表示完全去瑕疵处理，则完全使用初始去瑕疵人脸图像。因此，公式(1)表示通过融合，得到介于待美颜人脸图像与初始去瑕疵人脸图像中间的图像，a越大，所得到的图像越接近于初始去瑕疵人脸图像，即美颜程度越高，美颜效果越明显。

在本示例实施方式中，上述基准融合程度图像用于基准磨皮对应的待美颜人脸图像中各个像素点与参考人脸图像的融合程度，其中，基准融合程度可以是60％，也可以是30％、40％等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，上述基准融合程度图像中的像素点的值可以是-255至255，也可以是归一化之后的直接用于表示磨皮程度的值，在本示例实施方式中不做具体限定。

具体而言，可以将磨皮融合程度图像的值范围设定为[-1.0,1.0]。像素值<0.0代表非皮肤区域；像素值＝0.0代表最小程度磨皮，即不透明度为0％，则输出像素＝原图像像素；通常原图像皮肤区域的五官边缘区域像素将保持为0.0、原图像皮肤区域的极其光滑区域将保持为0.0；原图像值＝1.0代表最大程度磨皮。

同理，也可以将上述磨皮融合程度图像的值范围设定为[-255,255]。像素值<0代表非皮肤区域；像素值＝0代表最小程度磨皮，即不透明度为0％，则输出像素＝原图像像素；通常原图像皮肤区域的五官边缘区域像素将保持为0.0、原图像皮肤区域的极其光滑区域将保持为0.0；原图像值＝255代表最大程度磨皮。

在本示例实施方式中，上述图像优化模型是经过训练得到的，训练数据可以包括多张初始人脸图像以及上述初始人脸图像对应的基准磨皮程度图像，基准磨皮程度图像可以通过如下方式获得。

下面以上述基准磨皮程度为60％为例，即基准融合程度图像为60％融合程度图像，磨皮融合程度图像的值范围设定为[-1.0,1.0]，对获取上述基准融合程度图像的过程做详细介绍。

具体而言，可以首先初始化得到磨皮0％融合程度图像，即将皮肤像素赋值为0.0，非皮肤区域像素赋值为-1.0；由0％融合程度图像，获得磨皮30％融合程度图像。具体而言，对皮肤区域像素的不透明度进行增加。对初始人脸图像的粗糙皮肤区域像素的不透明度进行较多的增加，即融合程度增加，更趋近于光滑100％图像，达到光滑的目的。而原图像光滑皮肤区域像素则进行较少的增加，原图像足够磨皮30％光滑程度的皮肤区域保持为0.0，五官及其边缘区域保持为0.0，非皮肤区域像素保持为-1.0。可以将上述30％作为程序默认的磨皮程度。

再由磨皮30％融合程度图像，获得磨皮60％融合程度图像。磨皮30％融合程度图像的值非0.0区域，统一加上0.3，得到初步磨皮60％融合程度图像，此时非0.0区域可认为是标准一致的磨皮60％程度。然后对初步磨皮60％融合程度图像的值为0.0区域再进行不透明度调整。若值为0.0区域中的某子区域的粗糙程度强于当前非0.0区域的磨皮60％程度的像素，则增加该子区域像素的值，使其达到一致的光滑程度，增加的值不大于0.3。而值为0.0区域中的其他子区域，依然保持为0.0。从而获得磨皮60％融合程度图像。

然后基于初始人脸图像以及初始人脸图像对应的60％融合程度图像训练上述图像优化模型。

在步骤S220，获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像。

在本示例实施方式中，可以获取上述待美颜人脸图像对应的磨皮程度最大的参考人脸图像，其中，上述参考人脸图像的磨皮程度可以是100％磨皮程度的图像，也可以是90％磨平程度的图像，还可以根据用户需求进行自定义，在本示例实施方式不做具体限定。

在本示例实施方式中，上述目标磨皮程度可以是用于当前设定的参数，系统默认的参数，或者上一次磨皮所使用的参数等，在本示例实施方式中不做具体限定。

在步骤S230，根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵。

在本公开的一种示例实施方式中，上述步骤具体可以包括步骤S710至步骤S730。

在步骤S710中，确定所述基准融合图像对应的基准融合度矩阵。

在本示例实施方式中，若上述基准融合图像的像素值的取值范围为[-1.0,1.0]，则可以直接将上述基准融合图像作为基准融合度矩阵，否则，可以对上述基准融合程度图像中的像素点进行归一化处理得到上述基准融合度矩阵，本示例实施方式中不对上述归一化处理的过程做具体限定。

在步骤S720中，根据所述基准融合度矩阵和所述目标磨皮程度计算目标融合度矩阵。

在本示例实施方式中，可以首先根据所述基准融合度矩阵和目标磨皮程度确定映射关系；然后根据所述基准融合度矩阵、所述映射关系以及所述目标磨皮程度计算所述目标融合度矩阵。

具体而言，可以首先获取上述目标磨皮程度和基准磨皮程度的差值的绝对值，在上述基准磨皮程度大于上述目标磨皮程度时，将上述基准融合度矩阵中的像素值均减去上述绝对值得到上述目标融合度矩阵。锐欧上述基准磨皮程度下迫于上述目标磨皮程度，则将上述基准融合度矩阵中的像素值均减去上述绝对值得到上述目标融合度矩阵。

在步骤S730中，对所述目标融合度矩阵中的元素进行截断处理，以使得所述目标融合度矩阵中的元素的值均处于第一预设范围。

在本示例实施方式中，可以对上述目标融合度矩阵中的元素进行截断处理，以使得上述目标融合度矩阵中的元素的值均处于第一预设范围，其中，上述第一预设范围可以是大于等于0小于等于1，此处，上述截断处理可以为将小于等于0的元素，均替换为0，将大于等于1的元素均替换为1。

在本示例实施方式中，上述第一预设范围还可以是大于等于0小于等于0.9，也可以根据用户需求进行自定义。在本示例实施方式中不做具体限定。

步骤S240，根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

在本公开的一种示例实施方式中，所述根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像可以包括步骤S710和步骤S720。

在步骤S710中，对所述目标去瑕疵人脸图像进行逆处理得到待融合人脸图像，其中所述逆处理为所述预处理的反向操作。

在本示例实施方式中，待美颜人脸图像是由上述待优化人脸图像进行优化后得到的，在进行融合之前，可以对上述目标去瑕疵人脸图像进行逆处理得到待融合人脸图像，其中逆处理为上述预处理的反向操作。预处理过程已经进行了详细说明，因此，此处不再赘述。

在步骤S720中，根据所述目标融合度矩阵将所述待融合人脸图像与所述参考人脸图像进行融合得到所述目标人脸图像。

在本公开的一种示例实施方式中，可以根据上述目标去瑕疵人脸图像和上述参考人脸图像来计算上述目标人脸图像，可以对上述目标去瑕疵人脸图像进行上述逆处理得到待融合去瑕疵人脸图像，然后利用上述待融合目标去瑕疵人脸图像与上述参考人脸图像进行融合得到上述目标人脸图像，加入去瑕疵过程能够使得得到的目标人脸图像的美颜效果更好。

在本示例实施方式中，可以获取上述预处理和逆处理过程中的误差误差信息，然后利用上述误差信息来更新上述待融合人脸图像。

具体而言，可以首先获取根据上述误差信息确定上述待优化人脸图像的高频图像，具体而言，可以对上述待美颜人脸图像进行上述逆处理操作得到中间人脸图像，可以将上述待优化人脸图像与中间人脸图像的差值作为所述高频图像，可以根据上述高频图像更新上述目标人脸图像。

其中，由于上述预处理过程中包括了对尺寸调整以及下采样过程，一般在下采样的过程中，不可避免地会损失图像的高频信息。对下采样图像进行上采样，使得到的中间人脸图像与待优化人人脸的分辨率相同。需要说明的是，如果对待优化人脸图像进行下采样前，还进行了旋转，上采样后，还可以进行反向旋转，使得到的中间人脸图像与待优化人脸图像的方向也相同。

上采样可以采用双线性插值、最近邻插值等方法。通过上采样虽然能够恢复分辨率，但是难以恢复出所损失的高频信息，即中间人脸图像可以为上述待优化人脸图像的低频图像。由此，确定待优化人脸图像与中间人脸图像的差别，例如可待优化人脸图像与中间人脸图像的差值作为所述高频图像。

在将上述高频图像更新上述目标人脸图像时，可以之间将上述该频图像与未更新的目标人脸图像相加，以得到更新后的目标人脸图像，使得目标人脸图像中增加细节纹理等高频信息，更具有真实感。

在本公开的一种示例实施方式中，若待融合人脸图像为deblemish_img,用户设定磨皮程度为alpha_cus，基准融合程度图像为alpha_60_img,参考人脸图像为100_soften_img，用户设定磨皮程度的磨皮图像为cus_soften_img，则像素级的磨皮融合处理下所示：。

alpha_100_img＝clip(alpha_60_img+0.4,-1.0,1.0)*(alpha_60_img≠0.0)

alpha_cus_img＝clip(alpha_100_img-1.0+alpha_cus,0.0,1.0)cus_soften_img

＝100_soften_img*alpha_cus_img+deblemish_img*(1.0-alpha_cus_img)

其中clip为值截断处理，下限为0.0，上限为1.0，基准融合程度图像中小于等于0.0区域，包括非皮肤区域、五官及边缘区域、极其光滑皮肤区域等区域，在aplpha_cus_img将保持为0.0，即无须再融合磨皮。通过上述公式计算即可得到上述目标人脸图像。

由于待优化人脸图像与中间人脸图像通常是非常相近的，基于其差值得到的高频图像中，像素值一般较小，如RGB各通道值不超过4。然而，对于待优化人脸图像中的突变位置，比如脸上的小黑痣等，其具有强烈的高频信息，因此在高频图像中对应位置的像素值可能比较大。在将高频图像融合至待优化人脸图像时，这些位置的像素值可能产生不良影响，例如产生“痣印”等锐利边缘，导致视觉感受不自然。

针对于上述问题，在一种实施方式中，参考图8所示，图像优化方法还可以包括以下步骤S810与S820：

步骤S810，在高频图像中确定瑕疵点。

其中，瑕疵点是具有强烈高频信息的像素点，可以将高频图像中像素值较大的点确定为瑕疵点。

或者，在一种实施方式中，可以通过以下方式确定瑕疵点：

将待优化人脸图像与对应的目标去瑕疵人脸图像相减，得到每个像素点的差值；

当判断某个像素点的差值满足预设瑕疵条件时，将该像素点在高频图像中对应的像素点确定为瑕疵点。

其中，预设瑕疵条件用于衡量待优化人脸图像与目标去瑕疵人脸图像的差别，以判断每个像素点是否为被去除的瑕疵点。在去瑕疵处理中，通常会将人脸中的小黑痣、痘等去除，并填充人脸肤色，在该位置处，待优化人脸图像与目标去瑕疵人脸图像的差别很大，因此可以通过设定预设瑕疵条件来甄别瑕疵点。

示例性的，预设瑕疵条件可以包括：各个颜色通道的差值均大于第一颜色差阈值，且各个颜色通道的差值中的至少一个大于第二颜色差阈值。第一颜色差阈值与第二颜色差阈值可以是经验阈值。例如，当颜色通道包括RGB时，第一颜色差阈值可以是20，第二颜色差阈值可以是40。由此，得到每个像素点在待优化人脸图像与目标去瑕疵人脸图像的差值后，对差值中RGB三个颜色通道的具体差值进行判断，判断每个颜色通道的差值是否均大于20，以及其中是否由至少一个颜色通道的差值大于40，当满足这两个条件时，表示满足预设瑕疵条件，则将高频图像中对应位置的像素点确定为瑕疵点。

步骤S820，将高频图像中上述瑕疵点周围预设区域内的像素值调整到第二预设范围内。

确定瑕疵点后，可以在高频图像中进一步确定瑕疵点周围的预设区域，例如可以是以瑕疵点为中心的5*5像素区域，具体的尺寸可以根据高频图像的尺寸来确定，本公开不做限定。将预设区域内的像素值调整到第二预设范围内，第二预设范围一般是较小的数值范围，可以根据经验与实际需求确定，在调整时通常需要减小像素值。示例性的，第二预设范围可以是-2～2，而瑕疵点周围的像素值可能超出-5～5，将其调整到-2～2内，实际上进行了限值处理。由此能够弱化“痣印”等锐利边缘，增加视觉上的自然感受。

在本示例实施方式中，在得到上述目标人脸图像之后，可以用上述目标人脸图像替换待处理图像中的待优化人脸图像，将上述对待处理图像中的未替换区域与目标人脸图像之间的边界区域进行渐变处理，使边界区域形成平滑过渡。

其中，待处理图像中的未替换区域即待处理图像中除待优化人脸图像以外的区域。上述未替换区域与目标人脸图像之间的边界区域实际包括两部分：未替换区域中与目标人脸图像相邻的边界区域，以及目标人脸图像中与未替换区域相邻的边界区域。本示例性实施方式可以对其中任一部分进行渐变处理，也可以同时对两部分进行渐变处理。

参考图9所示，可以在目标人脸图像中确定一定比例(如10％)的边界区域，其从目标人脸图像的边缘向内延伸。需要注意的是，边界区域通常需要避开人脸部分，以避免渐变处理中改变人脸部分的颜色。例如，上述对人脸框进行扩大处理后，使得待优化人脸图像中的人脸与边界具有一定的距离，则目标人脸图像中的人脸与边界也具有一定的距离，这样在进行渐变处理时，可以较好地避开人脸部分。确定边界区域后，获取边界区域的内边缘颜色，记为第一颜色；获取未替换区域的内边缘颜色，记为第二颜色；再对边界区域进行第一颜色与第二颜色的渐变处理。由此，未替换区域与目标人脸图像的边界处为渐变色区域(图9中的斜线区域)，这样形成平滑过渡，防止产生颜色突变，导致视觉不和谐。

需要说明的是，当有多张目标人脸图像时，可以分别将每张目标人脸图像替换掉待处理图像中对应的待优化人脸图像，并进行边界区域的渐变处理，使其具有自然、和谐的视觉感受。

图10示出了图像优化方法的示意性流程，包括：

步骤S1001，按照预设规则在所述待处理图像中提取至少一个待优化人脸图像。

步骤S1002，对所述待优化人脸图像进行预处理得到待美颜人脸图像。

步骤S1003，将待美颜人脸图像输入至图像优化模型得到初始去瑕疵人脸图像和基准融合程度图像。

步骤S1004，根据用户设定的去瑕疵程度将所述初始去瑕疵人脸图像和所述待美颜人脸图像进行融合得到所述目标去瑕疵人脸图像。

步骤S1005，对所述待美颜人脸图像进行逆处理得到中间人脸图像。

步骤S1006，利用待优化图人脸图像减去中间人脸图像得到高频图像。

步骤S1007，对目标去瑕疵人脸图像逆处理得到待融合人脸图像。

步骤S1008，利用高频图像更新待融合人脸图像。

步骤S1009，确定所述基准融合图像对应的基准融合度矩阵。

步骤S1010，根据所述基准融合度矩阵和所述目标磨皮程度计算目标融合度矩阵。

步骤S1011，根据所述目标融合度矩阵将所述待融合人脸图像与所述参考人脸图像进行融合得到所述目标人脸图像。

综上所述，本示例性实施方式中，通过图像优化模型计算待美颜人脸图像对应的基准融合程度图像，并根据基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵，通过深度神经网络的处理实现目标融合度矩阵的计算，一方面，增加了对图像优化的灵活性，另一方面，能够对不用的区域采用不同的融合系数，适用于多样的光照条件或皮肤状况，增强了磨皮精度，进而提升了人脸图像的优化效果。又一方面，通过深度神经网络的处理实现去瑕疵功能，以替代相关技术中固定的多个算法流程，降低了耗时与内存占用。再一方面，当待处理图像中包括多张人脸时，可以在组合多张人脸后通过一次处理实现对多张人脸的优化，无需进行多次优化，提高了处理效率。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图11所示，本示例的实施方式中还提供一种人脸图像优化装置1100，包括第一获取模块1110、第二获取模块1120、矩阵计算模块1130、和图像优化模块1140。其中：

第一获取模块1110可以用于获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像。

在一种示例实施方式中，第一获取模块1110被配置为：

获取待处理图像，并按照预设规则在所述待处理图像中提取至少一个待优化人脸图像；

对所述待优化人脸图像进行预处理得到待美颜人脸图像。

在本示例实施方式中，图像优化模块1140被配置为：

对所述待美颜人脸图像进行逆处理得到中间人脸图像，其中所述逆处理为所述预处理的反向操作；

根据所述目标融合度矩阵将所述中间人脸图像与所述参考人脸图像进行融合得到所述目标人脸图像。

在本示例实施方式中，图像优化装置还包括更新模块，上述更新模块可以用于获取所述预处理以及逆处理过程中的误差信息；

基于所述误差信息更新所述目标人脸图像。

在另一种示例实施方式中，第一获取模块1110被配置为：利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像和目标去瑕疵人脸图像。

具体的：将所述待美颜人脸图像输入至所述图像优化模型得到所述基准融合程度图像和初始去瑕疵人脸图像；根据用户设定的去瑕疵程度将所述初始去瑕疵人脸图像和所述待美颜人脸图像进行融合得到所述目标去瑕疵人脸图像。

在本示例实施方式中，图像优化模块1140被配置为：

根据所述目标融合度矩阵、所述目标去瑕疵人脸图像以及所述参考人脸图像确定所述目标人脸图像。

第二获取模块1120可以用于获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像。

矩阵计算模块1130可以用于根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵。

在一种示例实施方式中，矩阵计算模块1130被配置为：

确定所述基准融合图像对应的基准融合度矩阵，具体的，对所述基准融合度图像的各像素点的像素值进行归一化处理得到所述基准融合度矩阵。

根据所述基准融合度矩阵和所述目标磨皮程度计算目标融合度矩阵；

对所述目标融合度矩阵中的元素进行截断处理，以使得所述目标融合度矩阵中的元素的值均处于第一预设范围。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供一种用于执行上述人脸图像优化方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像人脸图像优化方法。

下面以图12中的移动终端1200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图12中的构造也能够应用于固定类型的设备。

如图12所示，移动终端1200具体可以包括：处理器1201、存储器1202、总线1203、移动通信模块1204、天线1、无线通信模块1205、天线2、显示屏1206、摄像模块1207、音频模块1208、电源模块1209与传感器模块1210。

处理器1201可以包括一个或多个处理单元，例如：处理器1201可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像优化方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。

编码器可以对图像或视频进行编码(即压缩)，例如可以将目标人脸图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标人脸图像的编码数据，通过解码器进行解码，以还原出目标人脸图像的数据，进而对该数据进行图像优化的相关处理。移动终端1200可以支持一种或多种编码器和解码器。这样，移动终端1200可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。

处理器1201可以通过总线1203与存储器1202或其他部件形成连接。

存储器1202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器1201通过运行存储在存储器1202的指令，执行移动终端1200的各种功能应用以及数据处理。存储器1202还可以存储应用数据，例如存储图像，视频等文件。

移动终端1200的通信功能可以通过移动通信模块1204、天线1、无线通信模块1205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1204可以提供应用在移动终端1200上2G、3G、4G、5G等移动通信解决方案。无线通信模块1205可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1207用于实现拍摄功能，如拍摄图像、视频等。音频模块1208用于实现音频功能，如播放音频，采集语音等。电源模块1209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1210可以包括深度传感器12101、压力传感器12102、陀螺仪传感器12103、气压传感器12104等，以实现相应的感应检测功能。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种人脸图像优化方法，其特征在于，包括：

获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像；

获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像；

根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵；

根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像包括：

利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像和目标去瑕疵人脸图像；

根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像包括：

根据所述目标融合度矩阵、所述目标去瑕疵人脸图像以及所述参考人脸图像确定所述目标人脸图像。

3.据权利要求2所述的方法，其特征在于，所述利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像和目标去瑕疵人脸图像包括：

将所述待美颜人脸图像输入至所述图像优化模型得到所述基准融合程度图像和初始去瑕疵人脸图像；

根据用户设定的去瑕疵程度将所述初始去瑕疵人脸图像和所述待美颜人脸图像进行融合得到所述目标去瑕疵人脸图像。

4.根据权利要求2所述的方法，其特征在于，获取初始人脸图像包括：

获取待处理图像，并按照预设规则在所述待处理图像中提取至少一个待优化人脸图像；

对所述待优化人脸图像进行预处理得到待美颜人脸图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像包括：

对所述目标去瑕疵人脸图像进行逆处理得到待融合人脸图像，其中所述逆处理为所述预处理的反向操作；

根据所述目标融合度矩阵将所述待融合人脸图像与所述参考人脸图像进行融合得到所述目标人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述预处理以及逆处理过程中的误差信息；

基于所述误差信息更新所述待融合人脸图像。

7.根据权利要求1所述的方法，其特征在于，所述根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵包括：

确定所述基准融合图像对应的基准融合度矩阵；

根据所述基准融合度矩阵和所述目标磨皮程度计算目标融合度矩阵；

对所述目标融合度矩阵中的元素进行截断处理，以使得所述目标融合度矩阵中的元素的值均处于第一预设范围。

8.根据权利要求7所述的方法，其特征在于，所述确定所述基准融合图像对应的基准融合度矩阵包括：

对所述基准融合度图像的各像素点的像素值进行归一化处理得到所述基准融合度矩阵。

9.根据权利要求7所述的方法，其特征在于，所述根据所述基准融合度矩阵和所述目标磨皮程度计算目标融合度矩阵包括：

根据所述基准融合度矩阵和目标磨皮程度确定映射关系；

根据所述基准融合度矩阵、所述映射关系以及所述目标磨皮程度计算所述目标融合度矩阵。

10.一种人脸图像优化装置，其特征在于，包括：

第一获取模块，用于获取待美颜人脸图像，利用预训练的图像优化模型对所述待美颜人脸图像进行处理，得到基准融合程度图像；

第二获取模块，用于获取所述待美颜人脸图像对应的参考人脸图像以及目标磨皮程度；其中，所述参考人脸图像为所述待美颜人脸图像对应的磨皮程度最大的图像；

矩阵计算模块，用于根据所述基准融合程度图像计算所述目标磨皮程度对应的目标融合度矩阵；

图像优化模块，用于根据所述目标融合度矩阵、所述待美颜人脸图像以及所述参考人脸图像确定目标人脸图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至9中任一项所述的人脸图像优化方法。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的人脸图像优化方法。

Images