CN110706179A - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，该方法包括：获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。这样，在基于美颜模型对图像美颜处理后，可以极大程度地保留原图像中人脸的纹理，进而改善美颜效果，提升用户体验。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

目前，图像美颜已经越来越多地应用于图像处理中，以此获得视觉效果更佳的图像。例如，在用户拍摄的过程中，可以使用美颜的功能对人脸进行拍摄，从而得到美颜后的图像，再例如，用户可以对已有的包含人脸的图像进行美颜处理，从而得到美颜后的图像，等。

通常，美颜功能中包括修复功能，用于对人脸中的斑痘、疤痕、痣等待修复区域进行修复，在对这些进行修复时，可以祛除这些区域中的斑痘、疤痕、痣等，从而实现对待修复区域的修复。然而，在实际应用中，在祛除待修复区域中的斑痘、疤痕、痣之后，图像中人脸的其他面部细节也会丢失，导致修复后的图像失真。

发明内容

本发明实施例提供一种图像处理方法及电子设备，以解决现有的对图像进行美颜的方法会造成图像中人脸面部细节的丢失，导致图像失真的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，提供了一种图像处理方法，该方法包括：

获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；

基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；

其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊区域，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

第二方面，提供了一种电子设备，该电子设备包括：

获取模块，获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；

美颜模块，基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；

其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

第三方面，提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

在本发明实施例中，可以预先基于卷积神经网络，对包括特殊区域不包括待修复区域的第二样本图像以及与第二样本图像对应的且包括待修复区域的第一样本图像进行学习训练，得到美颜模型，这样，在对包含人脸的图像的待修复区域进行图像处理时，可以基于预先训练得到的美颜模型进行图像处理。由于美颜模型是基于上述第一样本图像和第二样本图像训练得到的，在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，在基于美颜模型对图像中的待修复区域进行处理后，可以极大程度地保留原图像中人脸的纹理，有效地避免在修复待修复区域时发生纹理误伤的问题，进而改善美颜效果，增强图像的真实性。

附图说明

图1是本发明的一个实施例图像处理方法的流程示意图；

图2是本发明的一个实施例图像处理方法的流程示意图；

图3是本发明的一个实施例电子设备的结构示意图；

图4为实现本发明各个实施例的一种移动终端的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，为了获得视觉效果更佳的图像，越来越多的移动终端可以提供美颜功能。通常，美颜功能可以包括美白，瘦脸，对斑痘、疤痕以及痣等所在待修复区域进行修复等功能，不同的功能对应不同的美颜效果，其中，对待修复区域进行修复后的美颜效果是祛除人脸面部的斑痘、疤痕以及痣等。

通常，在对图像中的待修复区域进行修复时，可以对待修复区域进行图像融合处理，从而实现对待修复区域的修复，具体地，可以根据待修复区域周围区域的纹理特征对待修复区域进行修复。

然而，在实际应用中，在对待修复区域进行修复时，很有可能将图像的人脸中毛发纹理、肌肉纹理以及卧蚕纹理等特殊纹理所在的区域误判为待修复区域，这样，在祛除待修复区域的中斑痘、疤痕以及痣时，也会将特殊纹理祛除，造成图像中人脸的面部细节丢失，图像失真。

为了解决上述技术问题，本发明实施例提出一种图像处理方法及电子设备，该方法包括：获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

由于美颜模型是基于上述第一样本图像和第二样本图像训练得到的，在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，在基于美颜模型对图像中的待修复区域进行处理后，可以极大程度地保留原图像中人脸的纹理，有效地避免在修复待修复区域时发生纹理误伤的问题，进而改善美颜效果，增强图像的真实性。

以下结合附图，详细说明本发明各实施例提供的技术方案。

图1是本发明的一个实施例图像处理方法的流程示意图。所述方法如下所述。

步骤102：获取第一图像中待修复区域的掩码，所述第一图像中包括人脸。

在步骤102中，当用户想要对待美颜的图像进行美颜时，可以对待美颜的图像进行美颜操作，其中，待美颜的图像中包括人脸，以下为了便于区分，可以由第一图像表示待美颜的图像。

本发明实施例中，第一图像可以是用户在拍摄过程中拍摄界面中显示的图像，也可以是用户已经拍摄好的图像，这里不做具体限定。

例如，用户在使用移动终端中的相机拍摄照片时，移动终端的界面中显示的图像即第一图像，在用户点击相机提供的“美颜”选项时，可以视为移动终端接收到用户对第一图像的美颜操作。

再例如，用户可以打开移动终端中的相册，选择相册中的任一图像，此时用户选择的图像即为第一图像，用户想要对第一图像进行美颜时，可以进入编辑模式对第一图像进行编辑，编辑模式中可以包括：旋转，裁剪，美颜等选项，在用户点击“美颜”选项时，可以视为移动终端接收到用户对第一图像的美颜操作。

在接收到对第一图像的美颜操作之后，可以基于美颜操作提取第一图像中的待修复区域的掩码，其中，待修复区域可以包括斑痘区域、疤痕区域以及痣区域中的至少一种，掩码可以理解为像素值为0和非0的位置图，位置图中像素值为非0的区域是可运算区域，像素值为0的区域是不可运算区域。

本发明实施例中，待修复区域可以通过对第一图像进行检测得到。

具体地，首先，将第一图像与预先确定的模板对齐，模板中包括但不限于五官的比例以及位置，将模板中五官的比例以及位置与第一图像中的人脸区域进行对齐，从而可以确定人脸区域在第一图像中的位置；其次，基于第一图像中的人脸区域，对人脸区域进行边缘检测，根据检测结果便可以确定图像中的待修复区域。

在检测得到待修复区域后，可以基于待修复区域，提取得到待修复区域的掩码。

步骤104：基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

在步骤104中，在获取到待修复区域的掩码之后，可以基于待修复区域的掩码、第一图像和预设的美颜模型对待修复区域的图像进行图像处理，得到美颜后的第二图像。

本发明实施例中，在对图像中的待修复区域进行图像处理之前，可以基于卷积神经网络对第一样本图像以及第二样本图像进行训练，得到美颜模型。其中，第二样本图像中可以包括特殊纹理，不包括待修复区域，第一样本图像是与第二样本图像对应的且包含待修复区域的图像，特殊纹理可以包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种。

在基于卷积神经网络对第一样本图像以及第二样本图像进行训练时，具体训练过程如下：

第一，获取第二样本图像。

其中，第二样本图像的个数可以是多个。

第二，在第二样本图像中选取至少一个区域作为待修复区域，得到第一样本图像。

这里可以随机选取第二样本图像中的至少一个区域作为待修复区域，从而得到第一样本图像。其中，第一样本图像的个数可以是多个，一个第一样本图像可以对应一个第二样本图像。

第三，提取待修复区域对应的待修复掩码、在第一样本图像中添加噪声后对应的噪声掩码和第一样本图像的特殊纹理区域对应的纹理掩码。

具体地，可以基于第一样本图像中的待修复区域，提取得到待修复掩码。

可以在第一样本图像中随机选取至少一个区域，并在选取的至少一个区域中加入噪声，例如高斯噪声等，得到噪声区域，基于噪声区域提取得到对应的噪声掩码。

基于第一样本图像中的特殊纹理区域，可以提取得到特殊纹理区域对应的纹理掩码，其中，纹理掩码包括第一样本图像中待修复区域对应的第一纹理掩码以及非待修复区域对应的第二纹理掩码。

第四，对第一样本图像、待修复掩码、噪声掩码和纹理掩码进行归一化处理，得到样本数据。

具体地，可以将第一样本图像、待修复掩码、噪声掩码和纹理掩码组合成n*w*h*6的数据，其中，n为样本数据的个数，具体可以是第二样本图像的个数，w为第二样本图像的宽度，h为第二样本图像的高度，6为样本数据的维度，其中，6个维度包括第二样本图像的3个颜色通道RGB对应的3个维度，待修复掩码对应的1个维度、噪声掩码对应的1个维度以及纹理掩码对应的1个维度。

第五，基于卷积神经网络，对样本数据进行学习训练，得到美颜模型。具体实现方式如下：

首先，构建卷积神经网络模型。

本发明实施例中构建的卷积神经网络模型中可以包括可控卷积层、可控反卷积层以及反馈层。其中：

可控卷积层用于对样本数据进行下采样，以对样本数据进行特征提取，可控反卷积层用于对样本数据进行上采样，以对提取到的样本数据的特征进行还原，通过对样本数据进行特征提取和特征还原，可以实现对第一样本图像中待修复区域的修复以及对第一样本图像中特殊纹理的学习，得到修复后的特征图像。

反馈层可以作为后续是否结束对模型的训练的判别标准，具体地，反馈层可以将可控反卷积层输出的特征图像与第二样本图像进行比较，判断特征图像与第二样本图像的相似度是否大于或等于预设阈值，若判断结果为是，则可以说明对第一样本图像中的待修复区域进行修复后的特征图像接近第二样本图像，由于第二样本图像中包括特殊纹理，因此，特征图像较好地保留了第一样本图像的特殊纹理，即对第一样本图像中待修复区域的修复效果较好，可以确定结束训练过程，若判断结果为否，则可以说明特征图像没有较好地保留第一样本图像中的特殊纹理，修复效果不佳，需要继续进行对样本数据进行训练，直至特征图像与第二样本图像的相似度大于或等于预设阈值时，结束训练。

为了便于实现反馈层的上述功能，在本发明实施例中，反馈层的反馈机制可以包括像素损失反馈以及认知损失反馈中的至少一种，其中，像素损失反馈用于判断特征图像的分辨率相较于第二样本图像的分辨率是否有损失，认知损失反馈用于在认知的角度判断特征图像与第二样本图像是否相同，通过对特征图像进行像素损失反馈以及认知损失反馈中的至少一种，可以判断特征图像和第二样本图像的相似度是否大于或等于预设阈值。

其次，将样本数据输入至卷积神经网络模型。

将获得的样本数据输入到上述构建的卷积神经网络模型中后，基于卷积神经网络模型可以对样本数据进行学习训练。

在对样本数据进行学习训练的过程中，基于上述记载的卷积神经网络模型中包括的可控卷积层以及可控反卷积层，可以得到特征图像，实现对第一样本图像中待修复区域的修复以及对第一样本图像中特殊纹理的学习。

本发明实施例中，在对第一图像中的特殊纹理进行学习时，重点是对样本数据中的纹理掩码进行学习训练，基于上述记载的内容可知，纹理掩码包括待修复区域对应的第一纹理掩码以及非待修复区域对应的第二纹理掩码，在对两种纹理掩码进行学习训练时，为了便于学习得到特殊纹理，可以对两种纹理掩码采用不同的学习权重。

针对待修复区域对应的第一纹理掩码而言，在对第一纹理掩码进行学习训练时，可以设置学习权重为变量，并可以根据训练过程中对待修复区域的修复程度对学习权重进行调整。具体地，在对样本数据进行学习训练的过程中，可以确定对待修复区域的修复程度，在修复程度大于或等于预设程度的情况下，可以增加对第一纹理掩码的学习权重，并基于增加后的学习权重对第一纹理掩码进行学习训练。

本发明实施例中，对第一纹理掩码的学习权重可以表示为以下公式：

w_t1＝w_t-1+σ_k1*e-||I(i，j)-I′(i，j)||，(i，j)∈invalid area

其中，w_t1为对第一纹理掩码的学习权重，t为训练过程中对样本数据的迭代次数，在开始训练时，w_t1的初始值w₀＝0，σ_k1为对待修复区域中包含的纹理进行学习时的程度因子，对于不同的纹理，学习的程度不同，程度因子也不同，I(i，j)-I′(i，j)用于判断在训练过程中对待修复区域的修复程度，若该数值较小，则说明修复程度较大，需要增加学习权重，(i，j)表示第一样本图像中待修复区域的像素的位置，invalid area为待修复区域。

针对待修复区域对应的第二纹理掩码而言，在对第二纹理掩码进行学习训练时，可以设置学习权重为常量，具体可以表示为以下公式：

w_t2＝l_k2(i，j)，(i，j)∈valid area

其中，w_t2为对第二纹理掩码的学习权重，l_k2为常量，具体可以根据实际情况确定，(i，j)表示第一样本图像中非待修复区域的像素的位置，valid area为非待修复区域。

基于上述记载的第一纹理掩码的学习权重和第二纹理掩码的学习权重，在模型训练的过程中，可以基于这些权重对纹理掩码进行卷积处理，从而使得特征图像中包含多级纹理权重的特征。其实现过程如下式所示：

x1＝mul{relu(lrn(conv(x2)))}*relu(conv(M_t)

其中，x1为对纹理掩码进行卷积处理后得到的数据，x2为样本数据，M_t为纹理掩码。

在得到特征图像后，基于上述记载的卷积神经网络模型中包括的反馈层，可以判断是否结束训练。

最后，当特征图像与第二样本图像的相似度大于或等于预设阈值时，训练得到所述美颜模型。

在基于反馈层判断是否结束训练时，若特征图像与第二样本图像的相似度大于或等于预设阈值，则可以说明特征图像接近第二样本图像，且较好地保留了第一样本图像中的特殊纹理，此时，可以确定对样本数据的训练效果较好，可以结束训练，在结束训练后，可以得到美颜模型。

若特征图像与第二样本图像的相似度小于预设阈值，则可以说明特征图像没有较好地保留第一样本图像中的特殊纹理，此时，可以确定对样本数据的训练效果不佳，可以继续训练，直到特征图像与第二样本图像的相似度大于或等于预设阈值时，得到美颜模型。

本发明实施例中，特征图像与第二样本图像的相似度可以表示为以下公式：

L＝α*L_pixel+β*L_percept

其中，L为特征图像与第二样本图像的相似度，α为特征图像中像素的权重，L_pixel为特征图像与第二样本图像像素差异相似度，β为特征图像中认知的权重，L_percept为特征图像与第二样本图像认知差异相似度。

至此，基于上述记载的方法可以训练得到美颜模型。

在训练得到美颜模型之后，在对第一图像进行美颜时，可以将第一图像以及待修复区域的掩码输入美颜模型中，就可以得到美颜后的图像。

需要说明的是，在训练美颜模型时，由于将噪声掩码作为样本数据是为了将第一样本图像的图像质量降低，以便于训练得到的美颜模型可以应用于图像质量不同的第一图像，将纹理掩码作为样本数据是为了便于训练得到美颜模型，因此，在基于美颜模型对第一图像进行美颜时，可以不将噪声掩码和纹理掩码作为输入数据，只需要将第一图像以及待修复区域的掩码作为输入数据，就可以得到第二图像。

本发明实施例中，在将第一图像以及待修复区域的掩码输入美颜模型时，可以将第一图像以及待修复区域的掩码进行归一化处理，具体地，可以将第一图像以及待修复区域的掩码组合成1*w*h*4的输入数据，其中，w为第一图像的宽度，h为第一图像的高度，4为输入数据的维度，其中，4个维度包括第一图像的3个颜色通道RGB对应的3个维度，待修复区域的掩码对应的1个维度。

在得到归一化的输入数据后，可以将归一化后的输入数据输入到美颜模型中，美颜模型可以输出与第一图像对应的特征图像。由于美颜模型是基于上述记载的第一样本图像和第二样本图像训练得到的，且在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，特征图像中可以保留第一图像中的特殊纹理。

需要说明的是，由于第一图像以及待修复区域的掩码在输入美颜模型之前进行了归一化处理，因此，输出的特征图像的尺寸可能跟第一图像不一致，这样，为了得到第二图像，可以在得到第一图像对应的特征图像后，判断该特征图像的尺寸与第一图像的尺寸是否一致，若不一致，则可以将特征图像的尺寸还原为第一图像的尺寸，进而得到第二图像，若一致，则可以将特征图像作为第二图像。

为了便于理解本发明实施例提供的技术方案，可以参见图2。图2为本发明的一个实施例图像处理方法的流程示意图，具体可以包括以下步骤：

步骤201：接收对待美颜的第一图像的美颜操作。

当用户想要对包含人脸的第一图像进行美颜时，可以对待美颜的第一图像进行美颜操作，此时，可以接收到美颜操作。具体实现方式可以参见图1所示实施例中步骤102记载的相关内容，这里不再重复描述。

步骤202：根据美颜操作提取第一图像中待修复区域的掩码。

在接收到对第一图像的美颜操作后，可以对第一图像进行检测，根据检测结果确定第一图像中的待修复区域。在检测得到待修复区域后，可以基于待修复区域，提取得到待修复区域的掩码。

步骤203：将待修复区域的掩码和第一图像进行归一化处理，得到输入数据。

具体地，可以将第一图像以及待修复区域的掩码组合成1*w*h*4的输入数据，其中，w为第一图像的宽度，h为第一图像的高度，4为输入数据维度，其中，4个维度包括第一图像的3个颜色通道RGB对应的3个维度，待修复区域的掩码对应的1个维度。

步骤204：将输入数据输入预设的美颜模型，对待修复区域的图像进行图像处理，输出美颜后的特征图像。

其中，美颜模型是基于卷积神经网络对第一样本图像以及第二样本图像进行学习训练得到，第二样本图像中包括特殊纹理，不包括待修复区域，第一样本图像是与第二样本图像对应的且包含待修复区域的图像，具体训练方法可以参见图1所示实施例中相应步骤的具体实现，这里不再重复描述。

在将输入数据输入预先确定的美颜模型后，美颜模型可以输出美颜后的特征图像。

步骤205：判断美颜后的特征图像的尺寸与第一图像的尺寸是否一致。

由于第一图像以及待修复区域的掩码在输入美颜模型之前进行了归一化处理，因此，输出的美颜后的特征图像的尺寸可能跟第一图像的尺寸不一致，这样，在得到特征图像后，可以判断输出的特征图像的尺寸与第一图像的尺寸是否一致。

若美颜后的特征图像的尺寸与第一图像的尺寸不一致，则执行步骤206。

若美颜后的特征图像的尺寸与第一图像的尺寸一致，则执行步骤207。

步骤206：将美颜后的特征图像的尺寸还原为第一图像的尺寸，得到第二图像。

其中，第二图像可以是对第一图像进行美颜后的图像，且第二图像中保留了第一图像中的特殊纹理。

步骤207：将美颜后的特征图像确定为第二图像。

在本发明实施例中，可以预先基于卷积神经网络，对包括特殊区域不包括待修复区域的第二样本图像以及与第二样本图像对应的且包括待修复区域的第一样本图像进行学习训练，得到美颜模型，这样，在对包含人脸的图像的待修复区域进行图像处理时，可以基于预先训练得到的美颜模型进行图像处理。由于美颜模型是基于上述第一样本图像和第二样本图像训练得到的，在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，在基于美颜模型对图像中的待修复区域进行处理后，可以极大程度地保留原图像中人脸的纹理，有效地避免在修复待修复区域时发生纹理误伤的问题，进而改善美颜效果，增强图像的真实性。

图3是本发明的一个实施例电子设备的结构示意图。所述电子设备包括：获取模块31、美颜模块32，其中：

获取模块31，获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；

美颜模块32，基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；

其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

可选地，所述美颜模块32在基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像之前，还包括：

获取所述第二样本图像；

从所述第二样本图像中，选取至少一个区域作为待修复区域，得到所述第一样本图像；

提取所述待修复区域对应的待修复掩码、在所述第一样本图像中添加噪声后对应的噪声掩码和所述第一样本图像的特殊纹理区域对应的纹理掩码；

对所述第一样本图像、所述待修复掩码、所述噪声掩码和所述纹理掩码进行归一化处理，得到样本数据；

基于卷积神经网络，所述样本数据进行学习训练，得到所述美颜模型。

可选地，所述美颜模块32，基于卷积神经网络对所述样本数据进行学习训练，得到所述美颜模型，包括：

构建卷积神经网络模型，所述神经网络模型包括可控卷积层、可控反卷积层以及反馈层，所述可控卷积层用于对所述样本数据进行特征提取，所述可控反卷积层用于对提取到的所述样本数据的特征进行还原，得到修复后的特征图像，所述反馈层用于判断所述特征图像与所述第二样本图像的相似度是否大于或等于预设阈值；

将所述样本数据输入至所述卷积神经网络模型；

在所述特征图像与所述第二样本图像的相似度大于或等于所述预设阈值的情况下，训练得到所述美颜模型。

可选地，所述纹理掩码包括所述待修复区域对应的第一纹理掩码和所述第一样本图像中的非待修复区域对应的第二纹理掩码，所述第一纹理掩码的学习权重为变量，所述第二纹理掩码的学习权重为常量；

其中，所述美颜模块32，在基于卷积神经网络对所述样本数据进行学习训练过程中，还包括：

确定所述待修复区域的修复程度；

在所述修复程度大于或等于预设程度的情况下，增加对所述第一纹理掩码的学习权重；

基于增加后的所述学习权重，对所述第一纹理掩码进行学习训练。

可选地，所述美颜模块32，基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像，包括：

将所述掩码、所述第一图像输入所述美颜模型，得到与所述第一图像对应的特征图像；

在所述特征图像的尺寸与所述第一图像的尺寸不一致的情况下，将所述特征图像的尺寸还原为所述第一图像的尺寸，输出所述第二图像；

在所述特征图像的尺寸与所述第一图像的尺寸一致的情况下，将所述特征图像确定为所述第二图像。

可选地，所述待修复区域包括斑痘区域、疤痕区域以及痣区域中的至少一种。

可选地，所述掩码为像素值为0和非0的位置图，所述位置图中像素值为非0的区域是可运算区域，像素值为0的区域是不可运算区域。

本发明实施例提供的电子设备能够实现图1至图2的方法实施例中的各个过程，为避免重复，这里不再赘述。本发明实施例中，可以预先基于卷积神经网络，对包括特殊区域不包括待修复区域的第二样本图像以及与第二样本图像对应的且包括待修复区域的第一样本图像进行学习训练，得到美颜模型，这样，在对包含人脸的图像的待修复区域进行图像处理时，可以基于预先训练得到的美颜模型进行图像处理。由于美颜模型是基于上述第一样本图像和第二样本图像训练得到的，在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，在基于美颜模型对图像中的待修复区域进行处理后，可以极大程度地保留原图像中人脸的纹理，有效地避免在修复待修复区域时发生纹理误伤的问题，进而改善美颜效果，增强图像的真实性。

图4为实现本发明各个实施例的一种移动终端的硬件结构示意图，

该移动终端400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解，图4中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器410，获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

这样，由于美颜模型是基于上述第一样本图像和第二样本图像训练得到的，在训练过程中对第二样本图像中人脸的特殊纹理进行了学习，因此，在基于美颜模型对图像中的待修复区域进行处理后，可以极大程度地保留原图像中人脸的纹理，有效地避免在修复待修复区域时发生纹理误伤的问题，进而改善美颜效果，增强图像的真实性。

应理解的是，本发明实施例中，射频单元401可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器410处理；另外，将上行的数据发送给基站。通常，射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元401还可以通过无线通信系统与网络和其他设备通信。

移动终端通过网络模块402为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元403还可以提供与移动终端400执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。

输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元406上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。

移动终端400还包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板4061的亮度，接近传感器可在移动终端400移动到耳边时，关闭显示面板4061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元406可包括显示面板4061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板4061。

用户输入单元407可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器410，接收处理器410发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071，用户输入单元407还可以包括其他输入设备4072。具体地，其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板4071可覆盖在显示面板4061上，当触控面板4071检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图4中，触控面板4071与显示面板4061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板4071与显示面板4061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元408为外部装置与移动终端400连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端400内的一个或多个元件或者可以用于在移动终端400和外部装置之间传输数据。

存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器409可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器410是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器409内的软件程序和/或模块，以及调用存储在存储器409内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器410可包括一个或多个处理单元；优选的，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。

移动终端400还可以包括给各个部件供电的电源411(比如电池)，优选的，电源411可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，移动终端400包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种移动终端，包括处理器410，存储器409，存储在存储器409上并可在所述处理器410上运行的计算机程序，该计算机程序被处理器410执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；

基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；

其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

2.根据权利要求1所述的方法，其特征在于，在基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像之前，所述方法还包括：

获取所述第二样本图像；

从所述第二样本图像中，选取至少一个区域作为待修复区域，得到所述第一样本图像；

提取所述待修复区域对应的待修复掩码、在所述第一样本图像中添加噪声后对应的噪声掩码和所述第一样本图像的特殊纹理区域对应的纹理掩码；

对所述第一样本图像、所述待修复掩码、所述噪声掩码和所述纹理掩码进行归一化处理，得到样本数据；

基于卷积神经网络，对所述样本数据进行学习训练，得到所述美颜模型。

3.根据权利要求2所述的方法，其特征在于，所述基于卷积神经网络，对所述样本数据进行学习训练，得到所述美颜模型，包括：

构建卷积神经网络模型，所述神经网络模型包括可控卷积层、可控反卷积层以及反馈层，所述可控卷积层用于对所述样本数据进行特征提取，所述可控反卷积层用于对提取到的所述样本数据的特征进行还原，得到修复后的特征图像，所述反馈层用于判断所述特征图像与所述第二样本图像的相似度是否大于或等于预设阈值；

将所述样本数据输入至所述卷积神经网络模型；

在所述特征图像与所述第二样本图像的相似度大于或等于所述预设阈值的情况下，训练得到所述美颜模型。

4.根据权利要求2所述的方法，其特征在于，所述纹理掩码包括所述待修复区域对应的第一纹理掩码和所述第一样本图像中的非待修复区域对应的第二纹理掩码，所述第一纹理掩码的学习权重为变量，所述第二纹理掩码的学习权重为常量；

其中，在基于卷积神经网络对所述样本数据进行学习训练过程中，所述方法还包括：

确定所述待修复区域的修复程度；

在所述修复程度大于或等于预设程度的情况下，增加对所述第一纹理掩码的学习权重；

基于增加后的所述学习权重，对所述第一纹理掩码进行学习训练。

5.根据权利要求1所述的方法，其特征在于，所述基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像，包括：

将所述掩码、所述第一图像输入所述美颜模型，得到与所述第一图像对应的特征图像；

在所述特征图像的尺寸与所述第一图像的尺寸不一致的情况下，将所述特征图像的尺寸还原为所述第一图像的尺寸，输出所述第二图像；

在所述特征图像的尺寸与所述第一图像的尺寸一致的情况下，将所述特征图像确定为所述第二图像。

6.根据权利要求1所述的方法，其特征在于，

所述待修复区域包括斑痘区域、疤痕区域以及痣区域中的至少一种。

7.根据权利要求1所述的方法，其特征在于，

所述掩码为像素值为0和非0的位置图，所述位置图中像素值为非0的区域是可运算区域，像素值为0的区域是不可运算区域。

8.一种电子设备，其特征在于，包括：

获取模块，获取第一图像中待修复区域的掩码，所述第一图像中包括人脸；

美颜模块，基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像；

其中，所述美颜模型基于卷积神经网络对第一样本图像以及第二样本图像进行训练得到，所述第二样本图像中包括特殊纹理，不包括待修复区域，所述特殊纹理包括肌肉纹理、毛发纹理以及卧蚕纹理中的至少一种，所述第一样本图像是与所述第二样本图像对应的且包含待修复区域的图像。

9.根据权利要求8所述的电子设备，其特征在于，所述美颜模块，在基于所述掩码、所述第一图像和预设的美颜模型，对所述待修复区域的图像进行图像处理，输出第二图像之前，还包括：

获取所述第二样本图像；

从所述第二样本图像中，选取至少一个区域作为待修复区域，得到所述第一样本图像；

提取所述待修复区域对应的待修复掩码、在所述第一样本图像中添加噪声后对应的噪声掩码和所述第一样本图像的特殊纹理区域对应的纹理掩码；

对将所述第一样本图像、所述待修复掩码、所述噪声掩码和所述纹理掩码进行归一化处理，得到样本数据；

基于卷积神经网络，对所述样本数据进行学习训练，得到所述美颜模型。

10.根据权利要求9所述的电子设备，其特征在于，所述美颜模块，基于卷积神经网络对所述样本数据进行学习训练，得到所述美颜模型，包括：

构建卷积神经网络模型，所述神经网络模型包括可控卷积层、可控反卷积层以及反馈层，所述可控卷积层用于对所述样本数据进行特征提取，所述可控反卷积层用于对提取到的所述样本数据的特征进行还原，得到修复后的特征图像，所述反馈层用于判断所述特征图像与所述第二样本图像的相似度是否大于或等于预设阈值；

将所述样本数据输入至所述卷积神经网络模型；

在所述特征图像与所述第二样本图像的相似度大于或等于所述预设阈值的情况下，训练得到所述美颜模型。

Images