CN112837228A - 图像处理方法、装置和终端设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和终端设备，其中，该方法包括：首先获取待修复的第一图像，其中，第一图像中包括人脸；对该第一图像进行人脸部件解析，获得第一解析结果，该第一解析结果用于指示第一图像中的人脸部件；将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。本发明中的人脸修复模型根据第一图像中的人脸部件对第一图像进行修复，可使人脸修复模型有针对性地修复第一图像中的人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

Description

图像处理方法、装置和终端设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和终端设备。

背景技术

人脸修复的主要任务是对模糊的人脸图像中的人脸进行相应的增强和生成。相关技术中，人脸图像的修复方法通常是对图像的人脸进行全局修复，也即是对人脸中的所有区域进行同一程度的增强，但是由于人脸中不同区域的细节特征不同，将导致该全局修复方式的修复精度较低，影响图像的视觉效果。

发明内容

本发明的目的在于提供一种图像处理方法、装置和终端设备，以提高人脸的修复精度，同时提升图像的视觉效果。

第一方面，本发明实施例提供一种图像处理方法，该方法包括：获取待修复的第一图像，其中，该第一图像中包括人脸；对第一图像进行人脸部件解析，获得第一解析结果，其中，该第一解析结果用于指示第一图像中的人脸部件；将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，其中，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。

在本发明可选的实施例中，上述对第一图像进行人脸部件解析，获得第一解析结果的步骤，包括：将第一图像输入至预先训练完成的人脸分割模型，输出第一图像对应的第一解析结果，其中，该人脸分割模型用于对图像中的人脸的人脸部件进行识别。

在本发明可选的实施例中，上述第一解析结果包括第一图像中人脸的人脸解析图；其中，该人脸解析图包括至少一个人脸部件对应的二值图，该人脸部件对应的二值图中，人脸部件对应的图像区域的像素值与除该人脸部件对应的图像区域以外区域的像素值不同。

在本发明可选的实施例中，上述人脸分割模型通过下述方式训练完成：获取训练图像；其中，该训练图像中包含人脸部件；将训练图像输入至初始分割模型，得到分割结果；根据训练图像中人脸部件和预设的第一损失函数，确定分割结果的第一损失值；根据该第一损失值训练初始分割模型，继续执行上述获取训练图像的步骤，直到第一损失值收敛或者到达预设的训练迭代次数，得到人脸分割模型。

在本发明可选的实施例中，上述获取待修复的第一图像的步骤之前，该方法还包括：获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果；其中，该样本图像对应有标准图像，该标准图像的清晰度高于样本图像；将样本图像和第二解析结果输入至初始网络模型，得到输出结果；根据标准图像和预设的第二损失函数，确定输出结果的第二损失值；根据第二损失值训练初始网络模型，继续执行获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果的步骤，直到第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。

在本发明可选的实施例中，上述第二损失值由感知损失值、图像损失值和判别损失值组成；上述根据标准图像和预设的第二损失函数，确定输出结果的第二损失值的步骤，包括：将输出结果和标准图像分别输入至预设的VGG网络，得到输出结果的VGG特征图和标准图像的VGG特征图；将上述输出结果的VGG特征图和标准图像的VGG特征图的差值作为输出结果的感知损失值；将上述输出结果和标准图像的差值作为输出结果的图像损失值；计算上述输出结果和标准图像的相似程度，将计算结果作为输出结果的判别损失值。

在本发明可选的实施例中，上述初始网络模型包括生成式对抗网络的生成器和判别器，该人脸修复模型包括训练完成的生成式对抗网络的生成器，该人脸修复模型中未包括判别器；上述计算输出结果和标准图像的相似程度的步骤，包括：将输出结果和标准图像输入至生成式对抗网络的判别器，输出判别结果；将该判别结果确定为判别损失值。

第二方面，本发明实施例提供一种图像处理装置，该装置包括：图像获取模块，用于获取待修复的第一图像，其中，该第一图像中包括人脸；人脸解析模块，用于对第一图像进行人脸部件解析，获得第一解析结果，其中，第一解析结果用于指示第一图像中的人脸部件；人脸修复模块，用于将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，其中，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。

第三方面，本发明实施例提供一种终端设备，该终端设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像处理方法。

第四方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像处理方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种图像处理方法、装置和终端设备，首先获取待修复的第一图像，该第一图像中包括人脸；进而对该第一图像进行人脸部件解析，获得第一解析结果，第一解析结果用于指示第一图像中的人脸部件；然后将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。本发明中的人脸修复模型根据第一图像中的人脸部件对第一图像进行修复，可使人脸修复模型有针对性地修复第一图像中的人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的另一种图像处理方法的流程图；

图3为本发明实施例提供的一种人脸修复模型的训练方法的流程图；

图4为本发明实施例提供的一种人脸修复模型的训练方法的流程图；

图5为本发明实施例提供的一种生成式对抗网络的结构示意图；

图6为本发明实施例提供的一种图像处理装置的结构示意图；

图7为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中的人脸修复方法的修复精度较低，影响图像的视觉效果，本发明实施例提供了一种图像处理方法、装置和终端设备，该技术可以应用于图像修复、图像增强等场景中，尤其是人脸图像的修复场景中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍，如图1所示，该方法包括如下步骤：

步骤S102，获取待修复的第一图像，其中，该第一图像中包括人脸。

上述待修复的第一图像可以是人脸图像，该人脸图像不仅包含有人脸，还可以包含有建筑物、风景或者动植物等。

步骤S104，对上述第一图像进行人脸部件解析，获得第一解析结果，其中，该第一解析结果用于指示第一图像中的人脸部件。

上述人脸部件可以是人的左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇、脸、头发、左眉毛、右眉毛中的至少一种。上述第一解析结果可以表征该人脸部件在该第一图像中的位置用，通常在图像中可以将人脸部件对应的图像区域与其他区域的像素的数值设置为不同的，例如，图像中的左眼用黑色像素，图像中的其余部分用白色像素；也可以将不同的人脸部件设置为不同的标注信息，该标注信息可以是不同形状的文本框、特殊的字符等。例如，将左眼标注为1，将右眼标注为2等。

在具体实现时，可以采用神经网络模型、深度学习模型或者人脸解析算法等，对第一图像进行人脸部件解析，得到第一解析结果。

步骤S106，将上述第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，其中，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。

上述第二图像为待修复的第一图像对应的修复后的图像，该第二图像的清晰度高于第二图像，人脸修复模型可根据人脸部件对第一图像的人脸进行针对性修复，提高了人脸修复的精度。

本发明实施例提供的一种图像处理方法，首先获取待修复的第一图像，该第一图像中包括人脸；进而对该第一图像进行人脸部件解析，获得第一解析结果，第一解析结果用于指示第一图像中的人脸部件；然后将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。本发明中的人脸修复模型根据第一图像中的人脸部件对第一图像进行修复，可使人脸修复模型有针对性地修复第一图像中的人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

本发明实施例还提供了另一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述对所述第一图像进行人脸部件解析，获得第一解析结果的具体过程(具体通过下述步骤S204实现)；如图2所示，该方法包括如下步骤：

步骤S202，获取待修复的第一图像，其中，该第一图像中包括人脸。

步骤S204，将上述第一图像输入至预先训练完成的人脸分割模型，输出第一图像对应的第一解析结果，其中，该第一解析结果用于指示第一图像中的人脸部件；该人脸分割模型用于对图像中的人脸的人脸部件进行识别。

在具体实现是，上述第一解析结果包括第一图像中人脸的人脸解析图；其中，该人脸解析图包括至少一个人脸部件对应的二值图，该人脸部件对应的二值图中，人脸部件对应的图像区域的像素值与除人脸部件对应的图像区域以外区域的像素值不同。

该二值图通常是指将图像上的每一个像素只有两种可能的取值或灰度等级状态，可以用黑白图像或者单色图像等表示二值图。例如，将图像中人脸部件对应的图像区域的像素值为0，该人脸部件以外的图像区域的像素值为255，得到该人脸部件对应的二值图。当人脸解析图中包含多个人脸部件时，将对应有多个二值图，也即是人脸解析图像中包含多个二值图。

上述人脸分割模型可以通过下述步骤10-13训练完成：

步骤10，获取训练图像；其中，该训练图像中包含人脸部件。

在具体实现时，上述训练图像可以从Helen数据集等人像分割数据集中获取，例如该Helen数据集通常有2330张图像，每张图像有11个分类(相当于11个上述人脸部件)，该11个分类分别是左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇、脸、头发、左眉毛、右眉毛和背景。可以理解的是，本发明并不限于上述举例的训练图像的获得方式。

步骤11，将上述训练图像输入至初始分割模型，得到分割结果。

上述初始分割模型可以是深度学习模型，也可以是神经网络模型，例如，Deeplabv3+网络模型、Deeplab v网络模型、Deeplab v2网络模型、Unet网络模型等。上述分割结果可以是训练图像的人脸部件，也即是训练图像对应的人脸解析图，该人脸解析图中包括至少一个人脸部件对应的二值图，如果上述训练不同为Helen数据集中的图像，该分割结果可以为11个人脸部件对应的二值图。

步骤12，根据上述训练图像中人脸部件和预设的第一损失函数，确定分割结果的第一损失值。

将上述分割结果和训练图像中人脸部件输入至预设的第一损失函数，可以得到该分割结果对应的第一损失值，该第一损失值表征了分割结果与标准人脸部件之间差距，也即是初始分割模型输出的人脸部件与标准人脸部件之间的差距越大，通常第一损失值越大。该预设的第一损失函数可以是均方误差损失函数、交叉熵损失函数等。

步骤13，根据上述第一损失值训练初始分割模型，继续执行所述获取训练图像的步骤，直到第一损失值收敛或者到达预设的训练迭代次数，得到人脸分割模型。

基于该第一损失值可以调整上述初始分割模型的模型参数，以达到训练的目的。在训练的过程中，不断地获取训练图像，并将该训练图像输入初始分割模型中，以得到第一损失值，直到初始网络模型中的模型参数收敛，也即是第一损失值收敛时，或者达到预设的训练迭代次数(例如，400次)时，训练结束，得到人脸分割模型。可以理解的是，对于预设的训练迭代次数本发明并不作出限定。

步骤S206，将上述第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，其中，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。

上述图像处理方法，首先获取待修复的第一图像，进而将第一图像输入至预先训练完成的人脸分割模型，输出第一图像对应的第一解析结果，该第一解析结果用于指示第一图像中的人脸部件；然后将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像。该方式通过人脸分割模型，得到准确的人脸部件，有利于人脸修复模型有针对性地修复第一图像中的人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

本发明实施例还提供了一种人脸修复模型的训练方法，该方法上述获取待修复的第一图像之前实现；如图3所示，该方法包括如下步骤：

步骤S302，获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果；其中，该样本图像对应的标准图像，该标准图像的清晰度高于样本图像。

为了提高人脸修复模型的应用广泛性，获取的样本图像可以包含各种肤色(例如，黄种人、白种人或黑种人)的人脸图像，可以包括各种场景(例如，室内或者户外等)下的人脸图像，也可以包括各种表情的人脸图像，该表情可以是大笑、微笑、哭泣或者沮丧等。上述样本图像通常是模糊的人脸图像，标准图像通常是该样本图像对应的清晰的图像。上述第二解析结果用于指示该样本图像对应的人脸部件。

步骤S304，将上述样本图像和上述第二解析结果输入至初始网络模型，得到输出结果。

上述初始网络模型可以是神经网络模型、深度学习模型等。将样本图像和该样本图像对应的第二解析结果输入至初始网络模型，可以得到基于该初始网络模型修复的样本图像，也即是上述输出结果，该输出结果通常与标准图像有一定的差距。

步骤S306，根据上述标准图像和预设的第二损失函数，确定输出结果的第二损失值。

将上述输出结果和样本图像对应的标准图像输入至预设的第二损失函数，可以得到该输出结果对应的第二损失值，该第一损失值可以表征输出结果与标准图像之间的差距，通常第二损失值越大，输出结果与标准图像之间的差距越大。该预设的第二损失函数可以为均方误差损失函数、交叉熵损失函数或者差值损失函数等。

在具体实现时，上述第二损失值由感知损失值、图像损失值和判别损失值组成；上述步骤S306可以通过下述步骤20-22实现：

步骤20，将上述输出结果和标准图像分别输入至预设的VGG网络，得到输出结果的VGG特征图和标准图像的VGG特征图；将输出结果的VGG特征图和标准图像的VGG特征图的差值作为输出结果的感知损失值。

上述VGG全称是Visual Geometry Group，可以应用在人脸识别、图像分类等方面，包括VGG16～VGG19，该VGG网络通常包括卷积层、最大池化层和全连接层。将标准图像输入至VGG网络，可以提取出标准图像的图像特征，得到标准图像对应的VGG特征图，同样地，将输出结果输入至VGG网络也可以得到输出结果对应的VGG特征图。通常是上述两个VGG特征差距越大，感知损失值越大。

步骤21，将上述输出结果和标准图像的差值作为输出结果的图像损失值。将上述输出结果和上述标准图像作差，可以得到图像损失值，该图像损失值可以表征输出结果与标准图像之间的差异，通常输出结果和标准图像差异越大，图像损失值越大。

步骤22，计算上述输出结果和标准图像的相似程度，将计算结果作为输出结果的判别损失值。

该判别损失值可以表征输出结果对应的图像的真假，通常设置输出结果为假图像，标准图像为真图像，该判别损失值可以保证初始模型的输出结果越来越接近真图像，也即是输出结果与标准图像越来越相似。通常输出结果和标准图像的相似程度越高，判别损失值越低。

在具体实现时，上述第一损失值由感知损失值、图像损失值和判别损失值组成，从而可以保证初始网络模型的训练精度。在初始模型的训练过程中，通常需要上述三个损失值都收敛，初始网络模型的训练结束。

步骤S308，根据上述第二损失值训练初始网络模型，继续执行上述获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果的步骤，直到该第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。

基于该第二损失值可以调整上述初始网络模型的模型参数，以达到训练的目的。在训练的过程中，不断地获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果，并将该样本图像和第二解析结果输入至初始网络模型中，以得到第二损失值，直到初始网络模型中模型参数收敛，也即是第二损失值收敛时，或者达到预设的训练迭代次数(例如，500次)时，训练结束，得到人脸修复模型。在上述模型训练的过程中加入了人脸的细节信息(也是人脸部件)，以使模型可以不断的学习人脸各个部位的细节特征，从而模型可以对图像中人脸的不同部位进行不同程度的修复，提高了人脸修复的准确度。

本发明实施例提供的人脸修复模型的训练方法，首先获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果；然后将该样本图像和第二解析结果输入至初始网络模型，得到输出结果；进而根据标准图像和预设的第一损失函数，确定该输出结果的第二损失值；再根据损失值训练初始网络模型，继续执行获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果的步骤，直到第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。该方式中，根据样本图像和该样本图像中人脸部件训练人脸修复模型，可使人脸修复模型有针对性地修复人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

本发明实施例还提供了另一种人脸修复模型的训练方法，该方法在上述实施例方法的基础上实现；该方法重点描述当初始网络模型为生成式对抗网络的生成器和判别器时，训练人脸修复模型的具体过程；如图4所示，该训练方法包括如下步骤：

步骤S402，获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果；其中，该样本图像对应的标准图像，该标准图像的清晰度高于样本图像。

步骤S404，将上述样本图像和上述第二解析结果输入至生成式对抗网络的生成器，得到输出结果。

上述生成式对抗网络包含了两个模型，一个是生成器，另一个是判别器；生成器通常不断学习训练集(相当于上述第一训练集合)中真实数据的概率分布，以将输入的随机噪声转化为可以以假乱真的图片。判别器通常判断图片是否是真实的图片，以将生成器产生的“假”图片与训练集中的“真”图片分辨开。生成式对抗网络的实现方法通常是让生成器和判别器进行博弈，以通过相互竞争使两个模型同时得到增强。上述生成式对抗网络也可以采用增强型超分辨率生成式对抗网络(ESRGAN)。

上述生成式对抗网络的结构示意图如图5所示，通常包含两个间隔1/2的卷积单元、9个残差模块和2个反卷积单元；其中残差模块可以由卷积层(相当于上述卷积单元)、归一化层和激活函数构成。

步骤S406，将上述输出结果和标准图像分别输入至预设的VGG网络，得到该输出结果的VGG特征图和标准图像的VGG特征图；将输出结果的VGG特征图和标准图像的VGG特征图的差值作为输出结果的感知损失值。

步骤S408，将上述输出结果和标准图像的差值作为输出结果的图像损失值。

步骤S410，将上述输出结果和标准图像输入至生成式对抗网络的判别器，输出判别结果；将该判别结果确定为判别损失值。

上述判别结果通常为，将生成器的输出结果和标准图像输入至判别器后输出的数值，该数值的取值通常为0至1之间的任意值。在具体实现时，假设0代表模糊图像，1代表标准图像，对于生成器来说，它希望修复后的图像(也即是上述输出结果)被判别为1，而标准图像被判别为0，就是希望它生成的图像更清晰；对于判别器来说，它希望修复后的图像被判别为0，而标准图像被判别为1，就是不管生成器生成的图像多清晰，判别器仍能分辨真假，以使生成器和判别器都不断增强，生成器修复图像的能力越来越强，判别器区分修复后的图像和标准图像的能力也越来越强。

步骤S412，将上述感知损失值、图像损失值和判别损失值组合为第二损失值。

步骤S414，根据上述第二损失值训练上述生成式对抗网络的生成器，继续执行上述获取样本图像和用于指示该样本图像中的人脸部件的第二解析结果的步骤，直到该第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。该人脸修复模型包括训练完成的生成式对抗网络的生成器，该人脸修复模型中未包括判别器。

上述人脸修复模型的训练方法，将图像中人脸部件引入生成式对抗网络中，以使该生成式对抗网络可以更加精细的学习人脸的细节特征，从而提高了人脸修复的精度。

对应于上述图像处理方法实施例，本发明实施例还提供了一种图像处理装置，如图6所示，该装置包括：

图像获取模块60，用于获取待修复的第一图像，其中，该第一图像中包括人脸。

人脸解析模块61，用于对第一图像进行人脸部件解析，获得第一解析结果，其中，该第一解析结果用于指示第一图像中的人脸部件。

人脸修复模块62，用于将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，其中，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。

上述图像处理装置，首先获取待修复的第一图像，该第一图像中包括人脸；进而对该第一图像进行人脸部件解析，获得第一解析结果，第一解析结果用于指示第一图像中的人脸部件；然后将第一图像和第一解析结果输入至人脸修复模型，获得人脸修复模型输出的第二图像，该人脸修复模型用于根据第一解析结果指示的第一图像中的人脸部件对第一图像进行修复。本发明中的人脸修复模型根据第一图像中的人脸部件对第一图像进行修复，可使人脸修复模型有针对性地修复第一图像中的人脸部件，从而提高了人脸修复的精度，同时也增强了图像的视觉效果。

进一步地，上述人脸解析模块61，用于：将第一图像输入至预先训练完成的人脸分割模型，输出第一图像对应的第一解析结果，其中，人脸分割模型用于对图像中的人脸的人脸部件进行识别。

具体地，上述第一解析结果包括第一图像中人脸的人脸解析图；其中，该人脸解析图包括至少一个人脸部件对应的二值图，该人脸部件对应的二值图中，该人脸部件对应的图像区域的像素值与除人脸部件对应的图像区域以外区域的像素值不同。

进一步地，上述装置还包括，第一模型训练模块，用于：获取训练图像；其中，训练图像中包含人脸部件；将训练图像输入至初始分割模型，得到分割结果；根据训练图像中人脸部件和预设的第一损失函数，确定分割结果的第一损失值；根据第一损失值训练初始分割模型，继续执行获取训练图像的步骤，直到第一损失值收敛或者到达预设的训练迭代次数，得到人脸分割模型。

进一步地，上述装置还包括，第二模型训练模块，用于：图像确定模块，用于获取样本图像和用于指示样本图像中的人脸部件的第二解析结果；其中，样本图像对应标准图像，该标准图像的清晰度高于样本图像；第一输入模块，用于将样本图像和第二解析结果输入至初始网络模型，得到输出结果；第一计算模块，用于根据标准图像和预设的第二损失函数，确定输出结果的第二损失值；根据第二损失值训练初始网络模型，继续执行图像确定模块，直到第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。

进一步地，上述第二损失值由感知损失值、图像损失值和判别损失值组成；上述第一计算模块，还用于：将输出结果和标准图像分别输入至预设的VGG网络，得到输出结果的VGG特征图和标准图像的VGG特征图；将输出结果的VGG特征图和标准图像的VGG特征图的差值作为输出结果的感知损失值；将输出结果和标准图像的差值作为输出结果的图像损失值；计算输出结果和标准图像的相似程度，将计算结果作为输出结果的判别损失值。

进一步地，上述初始网络模型包括生成式对抗网络的生成器和判别器，人脸修复模型包括训练完成的生成式对抗网络的生成器，该人脸修复模型中未包括判别器；上述第一计算模块，还用于：将输出结果和标准图像输入至生成式对抗网络的判别器，输出判别结果；将判别结果确定为判别损失值。

本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种终端设备，参见图7所示，该终端设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述图像处理方法。

进一步地，图7所示的终端设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像处理方法、装置和终端设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待修复的第一图像，其中，所述第一图像中包括人脸；

对所述第一图像进行人脸部件解析，获得第一解析结果，其中，所述第一解析结果用于指示所述第一图像中的人脸部件；

将所述第一图像和所述第一解析结果输入至人脸修复模型，获得所述人脸修复模型输出的第二图像，其中，所述人脸修复模型用于根据所述第一解析结果指示的所述第一图像中的人脸部件对所述第一图像进行修复。

2.根据权利要求1所述的方法，其特征在于，对所述第一图像进行人脸部件解析，获得第一解析结果的步骤，包括：

将所述第一图像输入至预先训练完成的人脸分割模型，输出所述第一图像对应的所述第一解析结果，其中，所述人脸分割模型用于对图像中的人脸的人脸部件进行识别。

3.根据权利要求2所述的方法，其特征在于，所述第一解析结果包括所述第一图像中人脸的人脸解析图；其中，所述人脸解析图包括至少一个人脸部件对应的二值图，所述人脸部件对应的二值图中，所述人脸部件对应的图像区域的像素值与除所述人脸部件对应的图像区域以外区域的像素值不同。

4.根据权利要求3所述的方法，其特征在于，所述人脸分割模型通过下述方式训练完成：

获取训练图像；其中，所述训练图像中包含人脸部件；

将所述训练图像输入至初始分割模型，得到分割结果；

根据所述训练图像中人脸部件和预设的第一损失函数，确定所述分割结果的第一损失值；

根据所述第一损失值训练所述初始分割模型，继续执行所述获取训练图像的步骤，直到所述第一损失值收敛或者到达预设的训练迭代次数，得到人脸分割模型。

5.根据权利要求1所述的方法，其特征在于，获取待修复的第一图像的步骤之前，所述方法还包括：

获取样本图像和用于指示所述样本图像中的人脸部件的第二解析结果；其中，所述样本图像对应有标准图像，所述标准图像的清晰度高于所述样本图像；

将所述样本图像和所述第二解析结果输入至初始网络模型，得到输出结果；

根据所述标准图像和预设的第二损失函数，确定所述输出结果的第二损失值；

根据所述第二损失值训练所述初始网络模型，继续执行获取样本图像和用于指示所述样本图像中的人脸部件的第二解析结果的步骤，直到所述第二损失值收敛或者到达预设的训练迭代次数，得到人脸修复模型。

6.根据权利要求5所述的方法，其特征在于，所述第二损失值由感知损失值、图像损失值和判别损失值组成；

根据所述标准图像和预设的第二损失函数，确定所述输出结果的第二损失值的步骤，包括：

将所述输出结果和所述标准图像分别输入至预设的VGG网络，得到所述输出结果的VGG特征图和所述标准图像的VGG特征图；将所述输出结果的VGG特征图和所述标准图像的VGG特征图的差值作为所述输出结果的感知损失值；

将所述输出结果和所述标准图像的差值作为所述输出结果的图像损失值；

计算所述输出结果和所述标准图像的相似程度，将计算结果作为所述输出结果的判别损失值。

7.根据权利要求6所述的方法，其特征在于，所述初始网络模型包括生成式对抗网络的生成器和判别器，所述人脸修复模型包括训练完成的生成式对抗网络的生成器，所述人脸修复模型中未包括判别器；

所述计算所述输出结果和所述标准图像的相似程度的步骤，包括：

将所述输出结果和所述标准图像输入至所述生成式对抗网络的判别器，输出判别结果；将所述判别结果确定为判别损失值。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待修复的第一图像，其中，所述第一图像中包括人脸；

人脸解析模块，用于对所述第一图像进行人脸部件解析，获得第一解析结果，其中，所述第一解析结果用于指示所述第一图像中的人脸部件；

人脸修复模块，用于将所述第一图像和所述第一解析结果输入至人脸修复模型，获得所述人脸修复模型输出的第二图像，其中，所述人脸修复模型用于根据所述第一解析结果指示的所述第一图像中的人脸部件对所述第一图像进行修复。

9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至7任一项所述的图像处理方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至7任一项所述的图像处理方法。

Images