CN110288513B - 用于改变人脸属性的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开涉及用于改变人脸属性的方法、装置、设备和存储介质。在一种方法中，从人脸的多个属性中选择将被改变的属性。基于人脸转换过程将原始人脸图像转换至目标人脸图像，目标人脸图像的属性和原始人脸图像的属性具有不同的值。基于一致性判断过程确定目标人脸图像的评分，评分指示目标人脸图像与人脸转换过程的目的相一致的程度。基于真实度判断过程确定目标人脸图像的真实度等级，真实度等级描述目标人脸图像为真实图像的可能性。基于评分和真实度等级，更新人脸转换过程、一致性判断过程和真实度判断过程。采用上述实现方式，可以以更为有效的方式确定用于改变人脸属性的转换过程，并使得转换后的图像更为逼真。

Description

用于改变人脸属性的方法、装置、设备和存储介质

技术领域

本公开内容的实现方式概括地涉及图像领域，并且更具体地，涉及用于改变人脸图像中的人脸属性的方法、装置、设备和计算机存储介质。

背景技术

目前已经提出了虚拟人物的概念，例如可以采用虚拟主播、虚拟演员、虚拟教师等虚拟人物来生成图像/视频。在已经获得了一个图像/视频的情况下，可以通过修改图像/视频中的人物的人脸属性，来获得另一虚拟人物的图像/视频。因而，期望生成的图像/视频中的人物的人脸更为逼真并且自然。

发明内容

根据本公开内容的示例实现方式，提供了一种用于改变人脸属性的方案。

在本公开内容的第一方面中，提供了一种用于改变人脸的属性的方法。在该方法中，从人脸的多个属性中选择将被改变的属性。基于人脸转换过程将原始人脸图像转换至目标人脸图像，目标人脸图像的属性和原始人脸图像的属性具有不同的值。基于一致性判断过程确定目标人脸图像的评分，评分指示目标人脸图像与人脸转换过程的目的相一致的程度。基于真实度判断过程确定目标人脸图像的真实度等级，真实度等级描述目标人脸图像为真实图像的可能性。基于评分和真实度等级，更新人脸转换过程、一致性判断过程和真实度判断过程。

在本公开内容的第二方面中，提供了一种用于改变人脸的属性的装置，包括：属性选择模块，配置用于从人脸的多个属性中选择将被改变的属性；转换模块，配置用于基于人脸转换过程将原始人脸图像转换至目标人脸图像，目标人脸图像的属性和原始人脸图像的属性具有不同的值；一致性判断模块，配置用于基于一致性判断过程确定目标人脸图像的评分，评分指示目标人脸图像与人脸转换过程的目的相一致的程度；真实度判断模块，配置用于基于真实度判断过程确定目标人脸图像的真实度等级，真实度等级描述目标人脸图像为真实图像的可能性；以及更新模块，配置用于基于评分和真实度等级，更新人脸转换过程、一致性判断过程和真实度判断过程。

在本公开内容的第三方面中，提供了一种用于改变人脸的属性的设备。该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。

在本公开内容的第四方面中，提供了一种其上存储有计算机程序的计算机可读介质，该程序在被处理器执行时实现根据本公开内容的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实现方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开内容的各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示意性示出了用于改变人脸属性的示例性过程的框图；

图2示意性示出了根据本公开内容的示例性实现方式的用于改变人脸属性的技术方案的框图；

图3示意性示出了根据本公开内容的示例性实现方式的用于改变人脸属性的方法的流程图；

图4示意性示出了根据本公开内容的示例性实现方式的基于卷积神经网络实现的人脸转换过程的框图；

图5示意性示出了根据本公开内容的示例性实现方式的选择单元的结构的框图；

图6示意性示出了根据本公开内容的示例性实现方式的用于基于人脸转换过程来处理视频的过程的框图；

图7示意性示出了根据本公开内容的示例性实现方式的用于改变人脸属性的装置的框图；以及

图8示出了能够实施本公开内容的多个实现方式的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开内容的实现方式。虽然附图中显示了本公开内容的某些实现方式，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反提供这些实现方式是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实现方式仅用于示例性作用，并非用于限制本公开内容的保护范围。

在本公开内容的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

随着虚拟人物的出现，在例如动画制作、影视制作等领域，越来越多地采用虚拟人物。期望可以为虚拟人物提供更加丰富的造型，以便满足不同观众的需求。因而，期望可以改变虚拟人物的人脸的各方面属性。例如，期望将图像中的女士的人脸改变为男士，可以改变头发颜色，为虚拟人物增加眼镜、帽子或者其他饰物等。

目前已经提出了基于贴图技术来修改人脸属性的技术方案。例如，可以通过贴图方式来修改头发颜色、发型、胡子、眼睛颜色等属性。然而，现有的方法仅适合于针对人脸中的部分区域进行修改，并不适合改变涉及人脸全部区域的属性。例如，当改变人物的性别、年龄等属性时，简单的贴图技术则无法提供逼真的效果。

具体地，图1示意性示出了用于改变人脸属性的示例性过程的框图100。图1中的原始人脸图像110是包括女士人脸的人脸图像，期望可以基于图像处理技术来将图像110中的人物的“性别”属性从“女”改变为“男”，进而获得包括男士人脸的目标人脸图像120。性别的改变将涉及人脸的全部区域，并不能使用贴图等简单处理方式实现。目前已经提出了基于神经网络技术来将人脸的某个属性改变至指定数值。然而，该技术需要使用大量样本来训练神经网络，并且在实际情况下该技术的效果并不理想。

为了至少部分地解决上述技术方案中的不足，根据本公开的示例性实现，提供了一种基于属性生成式对抗神经网络来改变人脸属性的技术方案。在该技术方案中，可以从人脸的多个属性中选择将被改变的属性，并基于人脸转换过程(以符号G表示)，将原始人脸图像(以符号X表示)转换至目标人脸图像(以符号G(X)表示)。此时，转换得到的目标人脸图像的属性和原始人脸图像的属性具有不同的值。继而，可以使用一致性判断过程(以符号D1表示)和真实度判过程(以符号D2表示)。

利用本公开的示例性实现方式，可以针对多个原始人脸图像进行处理，并使用一致性判断过程D1和真实度判断过程D2来确定目标人脸图像G(X)的评分和真实度等级。可以基于该评分和真实度等级来更新人脸转换模型G中的参数，随着更新次数的增加，可以使得更新后的人脸转换过程生成更为逼真的人脸图像。

在下文中，将参见图2概要描述本公开的技术方案。图2示意性示出了根据本公开内容的示例性实现方式的用于改变人脸属性的技术方案的框图200。在下文中，将仅以性别作为人脸属性的示例来描述本公开的各个实现方式。根据本公开的示例性实现方式，人脸的属性可以包括以下中的至少任一项：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜等。

如图2所示，可以获取原始人脸图像110。将会理解，尽管附图中以包括女士人脸的图像为示例而示意性示出了原始人脸图像110，该原始人脸图像110还可以是包括男士人脸的图像。可以建立人脸转换过程210、一致性判断过程220和真实度判断过程230。

在此，人脸转换过程210可以将原始人脸图像110转换至与该图像具有不同属性的目标人脸图像120。例如，在原始人脸图像110包括女士人脸的情况下，人脸转换过程210可以将女士人脸图像转换至男士人脸图像。又例如，在原始人脸图像110包括男士人脸的情况下，人脸转换过程210可以将男士人脸图像转换至女士人脸图像。

一致性判断过程232可以确定目标人脸图像120的评分，评分指示目标人脸图像与人脸转换过程的目的相一致的程度。真实度判断过程230可以确定目标人脸图像120是否为真实图像，即，该图像是否是由相机拍摄的未经图像处理技术处理的原始图像。

如图2所示，可以分别基于一致性判断过程220和真实度判断过程230来确定目标人脸图像120的评分和真实度。继而，如箭头222和232所示，可以分别基于确定的评分和真实度以及相对应的真值，构造损失函数并且更新人脸转换过程210、一致性判断过程232、真实度判断过程234。利用本公开的示例性实现方式，可以在不需要成对出现的样本图像的情况下，优化人脸转换过程210。优化后的人脸转换过程210生成的图像可以更为符合转换目的并且更为逼真。

在下文中，将参见图3描述根据本公开的实现方式的更多细节。图3示意性示出了根据本公开内容的示例性实现方式的用于改变人脸属性的方法300的流程图。在框310处，从人脸的多个属性中选择将被改变的属性。根据本公开的示例性实现方式，将被改变的属性可以涉及以下中的一个或多个属性：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜。为了使得虚拟人物的形象更为丰富，通常会存在改变某个人脸特征的需求。

在此实现方式中，用户可以指定期望改变的属性，并且可以指定将属性改变至现有属性的相反的值。对于性别属性而言，可以将性别转换至相反的性别。利用本公开的示例性实现方式，用户仅需要指定期望改变哪个或者哪些属性，即可获得具有改变属性的人脸图像。在使用过程中，用户最初可能无法想到期望将属性改变至什么数值，而是用户可能仅希望能够获取更为丰富造型的虚拟人物。因而，直接指定期望改变的属性可以便于用户操作，并使得可以快速地获取具有不同人脸属性的图像。继而，用户可以从获取的各个图像中选择符合自己审美要求的图像，来用于后续的其他操作。直接指定期望改变的属性，可以有助于基于机器学习建立更为明确的学习任务，进而有助于提高转换模型的准确性。

在框320处，基于人脸转换过程210将原始人脸图像110转换至目标人脸图像120。在此的人脸转换过程210可以按照用户指定的属性，来将原始人脸图像110转换至具有不同人脸属性的目标人脸图像。将会理解，在此的人脸转换过程210可以利用基于机器学习技术建立的转换模型来执行转换。可以采用目前已经开发的或者将在未来开发的各种机器学习技术来实现人脸转换过程210。根据本公开的示例性实现方式，人脸转换过程210使用的转换模型可以是已经初步训练的转换模型。备选地和/或附加地，该转换模型可以是待训练的转换模型，并且可以使用根据本公开的示例性实现方式的方法来更新该转换模型的各项参数。

根据本公开的示例性实现方式，人脸转换过程210是基于卷积神经网络实现的，在此的卷积神经网络包括多个编码层和多个解码层。在下文中，将参见图4描述有关卷积神经网络的更多细节。图4示意性示出了根据本公开内容的示例性实现方式的基于卷积神经网络实现的人脸转换过程210的框图400。如图4所示，可以基于卷积神经网络410来实现人脸转换过程210。在此的卷积神经网络410可以包括多个编码层420、422、424等，并且还可以包括多个解码层444、442、440等。将会理解，在此的编码层420、422、424和解码层444、442、440可以具有一一对应的关系，例如编码层420对应于解码层440，编码层422对应于解码层440，以及编码层424对应于解码层444。

在图4中，通过将编码层420中的数据进行编码，可以获得编码层422的数据；通过将编码层422中的数据进行编码，可以获得编码层424的数据；进一步通过将编码层424中的数据进行编码，可以获得层430的数据。在解码阶段，多个解码层中的解码层不但接收来自多个编码层中的与解码层相对应的编码层的输入，还要接收来自编码层之下的编码层的输入。

根据本公开的示例性实现方式，可以在各个层次设置选择单元。例如，选择单元454可以接收来自编码层424的数据，还可以接收来自编码层424之下的层430的数据。选择单元452可以接收来自编码层422的数据，还可以接收来自编码层422之下的层的数据，即来自选择单元454的数据。选择单元450可以接收来自编码层420的数据，还可以接收来自编码层420之下的层的数据，即来自选择单元452的数据。根据本公开的示例性实现方式，来自编码层之下的编码层的输入用于指示多个属性中的将被改变的属性的信息。

在下文中，将参见图5描述有关选择单元的更多信息。图5示意性示出了根据本公开内容的示例性实现方式的选择单元的结构的框图500。如图5所示，选择单元450包括输入510和输入520，并且包括输出530。输入510用于接收来自编码层420的数据，而输入520用于接收来自编码层420下层的选择单元452的数据。在此，选择单元450可以根据输入而调整输出530，并且可以适配性地生成属性改变后的图像。

在图5中，输入510表示来自于编码过程中对输入的原始人脸图像110在卷积神经网络中执行处理所获得的编码数据层。输入520表示来自于更高语义(也即进行了更多次卷积处理之后)的有关被改变的人脸属性的引导信息。输出530表示经过解码后获得的数据层。图5所示的选择单元的结构类似于递归门单元(Gated Recurrent Unit，缩写GRU)的结构。该结构可以根据输入520来选择性地改变来自输入510的信息，并且用于输出530。换言之，采用如图5所示的选择单元，可以根据更高语义下的引导信息，选择性地将编码的数据改变为属性转换后的数据。采用图5所示的选择单元，可以提高人脸转换过程的准确性，并且以更为有效的方式改变原始人脸图像中的指定属性。

返回图3，在框330处，可以基于一致性判断过程220确定目标人脸图像120的评分，在此的评分指示目标人脸图像120与人脸转换过程210的目的相一致的程度。根据本公开的示例性实现方式，可以采用不同方式来描述评分。例如，可以以0(失败)和1(成功)来描述目标人脸图像是否符合改变性别属性的目的。备选地和/或附加地，还可以以0至1范围内的实数，来描述评分。

根据本公开的示例性实现方式，可以使用机器学习技术来实现一致性判断过程220。例如，可以基于一组样本图像训练一致性模型以供一致性判断过程220使用。在此的一致性模型可以指示目标人脸图像与人脸转换过程的目的相一致的程度。在此的一致性模型可以是初步训练的模型，具体地，可以使用一组样本图像来训练一致性模型。备选地，该一致性模型还可以是待训练的模型，并且可以使用根据本公开的示例性实现方式的方法来进行训练。一致性判断过程220可以包括一致性模型，并使得当一致性判断过程220在接收到某个图像时，可以基于一致性模型来输出该图像与人脸转换过程的目的相一致的程度。

在框340处，基于真实度判断过程确定目标人脸图像的真实度等级，真实度等级描述目标人脸图像为真实图像的可能性。在此实现方式中，可以根据具体需求来定义真实度的具体度量。例如，可以分别使用0(假)和1(真)来表示经过图像处理的非原始图像和未经图像处理的原始图像。备选地，还可以使用其他的离散值或者连续值来描述图像真实度。根据本公开的示例性实现方式，可以使用0至1之间的数值来表示真实度，此时，0.8可以表示图像是原始图像的概率为80％。

根据本公开的示例性实现方式，可以使用机器学习技术来实现真实度判断过程230。例如，可以基于一组样本图像训练真实度模型以供真实度判断过程230使用。在此的真实度模型可以描述一组样本图像中的样本图像与样本图像的图像真实度之间的关联关系。在此的真实度模型可以是初步训练的模型，具体地，可以使用一组样本图像来训练真实度模型。备选地，该真实度模型还可以是待训练的模型，并且可以使用根据本公开的示例性实现方式的方法来进行训练。真实度判断过程230可以包括真实度模型，并使得当真实度判断模型在接收到某个图像时，可以基于该真实度模型而输出该图像的是否是未经处理的真实原始的等级。

在框350处，基于评分和真实度等级，更新人脸转换过程210、一致性判断过程220和真实度判断过程230。在此实现方式中，可以基于获取的评分和真实度等级与相应的真值，来更新人脸转换过程210、一致性判断过程220和真实度判断过程230。具体地，可以基于获取的目标人脸图像120的评分和真实度等级与相应的真值之间的比较来生成描述人脸转换过程210、一致性判断过程220和真实度判断过程230的性能的损失函数。继而，可以基于损失函数，利用梯度下降算法更新人脸转换过程、一致性判断过程和真实度判断过程。

根据本公开的示例性实现方式，可以采用现有技术已经开发的或者将在未来开发的各种训练方法，来生成损失函数以及基于损失函数来更新人脸转换过程210、一致性判断过程220和真实度判断过程230中所涉及的人脸转换模型、一致性模型、真实度模型中的相应参数。采用上文描述的过程，可以在不需要成对的训练样本的情况下，提高转换模型的准确性。

将会理解，尽管在上文中以改变性别属性作为示例来描述人脸转换过程。根据本公开的示例性实现方式，还可以改变人脸的其他属性。例如，在期望改变人物的年龄的情况下，如果原始人脸图像包括年轻人的人脸，则可以将年轻人的人脸转换为老年人的人脸。又例如，还可以改变是否佩戴眼镜的属性。如果原始人脸图像包括佩戴眼镜的人脸，则可以从图像中去除眼镜。类似地，还可以改变人脸的其他属性，例如，可以改变头发颜色、眼睛颜色、肤色、胡子、脸型等。

将会理解，尽管上文中示出了改变一个人脸属性的示例。根据本公开的示例性实现方式，还可以改变上述一个或者多个人脸属性。例如，可以以矢量方式来指定期望改变那个(哪些)属性。例如，可以按顺序排列属性如下：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜。此时，可以以包括8个维度的向量来指定期望改变的属性。例如，向量(1，0，0，0，0，0，0，1)可以表示希望改变性别和是否佩戴眼镜，向量(1，1，0，0，0，0，0，0)可以表示希望改变性别和年龄。

根据本公开的示例性实现方式，目标人脸图像的属性和原始人脸图像的属性具有相反的值。此时，可以预先定义“相反”的含义，例如，性别相反可以指将男性改变为女性，并且将女性改变为男性。又例如，年龄相反可以指将年轻人改变为老年人，将老年人改变为年轻人。可以指定各个头发颜色的相反颜色，例如可以将黑色的相反颜色设置为白色，并且将白色头发的相反颜色设置为黑色。或者，还可以将咖啡色的相反颜色指定为浅黄色。

在上文中，已经参见图2至图5描述了如何基于一致性判断过程220和真实度判断过程230来更新人脸转换过程210的具体示例。在已经获得了经过更新和优化的人脸转换过程210的情况下，还可以使用该人脸转换过程210来处理输入图像，以便获得包括改变属性的人脸的输出图像。

根据本公开的示例性实现方式，可以获取包括目标人物的人脸的输入图像。继而，可以基于按照上文描述的方法更新的人脸转换过程，来将输入图像转换为输出图像。此时，输出图像的属性和输入图像的属性具有不同的值。将会理解，由于此时的人脸转换过程210中使用的转换模型是已经基于大量样本图像训练好的转换模型，无论输入图像包括的男士或者女士人脸的图像，该转换模型都能将输入图像转换为包括相反属性的图像。

根据本公开的示例性实现方式，还可以针对视频中包括的人脸图像进行处理。可以从视频中获取输入图像。具体地，可以获取包括目标人物的视频，并且在视频的一组图像帧中搜索与目标人物的人脸相匹配的人脸。接着，可以将包括人脸的图像帧作为输入图像，并输入上文描述的人脸转换过程，以便将整个视频中的人脸属性执行改变。

在下文中，将参见图6描述有关处理视频的更多细节。图6示意性示出了根据本公开内容的示例性实现方式的用于基于人脸转换过程210来处理视频的过程的框图600。如图6所示，可以获取包括目标人物的视频610。在此目标人物可以是女士，并且此时执行转换的目的在于将包括女士的视频中的女士人脸改变至男性人脸。

将会理解，视频610可以包括多个图像帧，并且可以分别针对各个图像帧中的内容执行人脸识别过程620。多个图像帧中的某些图像帧中可能并不存在人脸，而是仅存在例如风景等其他内容。此时，需要从多个图像帧中识别出包括人脸的图像帧，而过滤掉其他图像帧(例如，仅包括风景的图像帧630)。进一步，视频中可能会包括目标人物以外的其他人物，因而人脸识别过程620还需要对于人脸的特征进行识别，以便选择出包括目标人物的人脸的图像帧632、……、以及634等。

对于包括目标人物的人脸的图像帧632、……、以及634等，可以基于上文描述的人脸转换过程210来执行处理，以便将包括女士人脸的图像帧转换至包括男性人脸的图像帧642、……、以及644。继而，可以按照各个图像帧的原始顺序，来排列不包括目标人物的人脸的图像帧630等以及转换后的图像帧642、……、以及644。进一步，可以基于排序后的图像帧来生成包括具有不同人脸属性的视频650。

利用本公开的示例性实现方式，可以针对视频中的目标人物的人脸执行处理，以便改变目标人物的人脸属性。将会理解，尽管图6仅以将包括女士人脸的视频610转换至包括男士人脸的视频650的过程，根据本公开的示例性实现方式，还可以指定改变其他的人脸属性，并且可以针对包括其他目标人物的视频进行处理。

例如，可以指定改变目标人物的年龄，并且改变目标人物佩戴眼镜的状态。当输入的视频610为包括有时佩戴眼镜、有时不佩戴眼镜的年轻人的视频时，则生成的视频包括老年人，并且佩戴眼镜的状态与视频610中的状态相反。

在上文中已经详细描述了处理图像的多个实现方式。根据本公开的示例性实现方式，还提供了用于处理的装置。在下文中，将参见图7详细描述。图7示意性示出了根据本公开内容的示例性实现方式的一种用于改变人脸的属性的装置700的框图。如图7所示，该装置700包括：属性选择模块710，配置用于从人脸的多个属性中选择将被改变的属性；转换模块720，配置用于基于人脸转换过程将原始人脸图像转换至目标人脸图像，目标人脸图像的属性和原始人脸图像的属性具有不同的值；一致性判断模块730，配置用于基于一致性判断过程确定目标人脸图像的评分，评分指示目标人脸图像与人脸转换过程的目的相一致的程度；真实度判断模块740，配置用于基于真实度判断过程确定目标人脸图像的真实度等级，真实度等级描述目标人脸图像为真实图像的可能性；以及更新模块750，配置用于基于评分和真实度等级，更新人脸转换过程、一致性判断过程和真实度判断过程。

根据本公开的示例性实现方式，更新模块750包括：生成模块，配置用于基于评分和真实度等级，生成描述人脸转换过程、一致性判断过程和真实度判断过程的性能的损失函数；以及梯度模块，配置用于基于损失函数，利用梯度下降算法更新人脸转换过程、一致性判断过程和真实度判断过程。

根据本公开的示例性实现方式，该装置700进一步包括：一致性训练模块，配置用于基于一组样本图像训练一致性判断过程，使得一致性判断过程描述一组样本图像中的样本图像与样本图像的评分之间的关联关系。

根据本公开的示例性实现方式，该装置700进一步包括：真实度训练模块，配置用于基于一组样本图像训练真实度判断过程，使得真实度判断过程描述一组样本图像中的样本图像与样本图像的真实度之间的关联关系。

根据本公开的示例性实现方式，人脸转换过程是基于卷积神经网络实现的，卷积神经网络包括多个编码层和多个解码层，多个解码层中的解码层接收来自与解码层相对应的多个编码层中的编码层的输入、以及来自编码层之下的编码层的输入。

根据本公开的示例性实现方式，来自编码层之下的编码层的输入用于指示多个属性中的将被改变的属性的信息。

根据本公开的示例性实现方式，该装置700进一步包括：图像获取模块，配置用于获取包括目标人物的人脸的输入图像；人脸转换模块，配置用于基于更新的人脸转换过程，将输入图像转换为输出图像，输出图像的属性和输入图像的属性具有不同的值。

根据本公开的示例性实现方式，图像获取模块包括：视频获取模块，配置用于获取包括目标人物的视频；搜索模块，配置用于在视频的一组图像帧中搜索与目标人物的人脸相匹配的人脸；以及标识模块，配置用于将包括人脸的图像帧标识为输入图像。

根据本公开的示例性实现方式，目标人脸图像的属性和原始人脸图像的属性具有相反的值。

根据本公开的示例性实现方式，属性包括以下中的至少任一项：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜。

图8示出了能够实施本公开内容的多个实现方式的计算设备800的框图。设备800可以用于实现图4描述的方法。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元801执行上文所描述的各个方法和处理，例如方法300。例如，在一些实现方式中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实现方式中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法300的一个或多个步骤。备选地，在其他实现方式中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法300。

根据本公开内容的示例性实现方式，提供了一种其上存储有计算机程序的计算机可读存储介质。程序被处理器执行时实现本公开所描述的方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实现方式的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种用于改变人脸的属性的方法，包括：

从人脸的多个属性中选择将被改变的属性；

基于人脸转换过程将原始人脸图像转换至目标人脸图像，所述目标人脸图像的所述属性和所述原始人脸图像的所述属性具有不同的值；

基于一致性判断过程确定所述目标人脸图像的评分，所述评分指示所述目标人脸图像与所述人脸转换过程的目的相一致的程度；

基于真实度判断过程确定所述目标人脸图像的真实度等级，所述真实度等级描述所述目标人脸图像为真实图像的可能性；

基于所述评分和所述真实度等级，生成描述所述人脸转换过程、所述一致性判断过程和所述真实度判断过程的性能的损失函数；以及

基于所述损失函数，利用梯度下降算法更新所述人脸转换过程、所述一致性判断过程和所述真实度判断过程。

2.根据权利要求1所述的方法，进一步包括：

基于一组样本图像训练所述一致性判断过程，使得所述一致性判断过程描述所述一组样本图像中的样本图像与所述样本图像的评分之间的关联关系。

3.根据权利要求1所述的方法，进一步包括：

基于一组样本图像训练所述真实度判断过程，使得所述真实度判断过程描述所述一组样本图像中的样本图像与所述样本图像的真实度之间的关联关系。

4.根据权利要求1所述的方法，其中所述人脸转换过程是基于卷积神经网络实现的，所述卷积神经网络包括多个编码层和多个解码层，所述多个解码层中的解码层接收来自与所述解码层相对应的所述多个编码层中的编码层的输入、以及来自所述编码层之下的编码层的输入。

5.根据权利要求4所述的方法，其中来自所述编码层之下的编码层的输入用于指示多个属性中的将被改变的所述属性的信息。

6.根据权利要求1所述的方法，进一步包括：

获取包括目标人物的人脸的输入图像；

基于更新的所述人脸转换过程，将所述输入图像转换为输出图像，所述输出图像的所述属性和所述输入图像的所述属性具有不同的值。

7.根据权利要求6所述的方法，其中获取所述输入图像包括：

获取包括所述目标人物的视频；

在所述视频的一组图像帧中搜索与所述目标人物的所述人脸相匹配的人脸；以及

将包括所述人脸的图像帧标识为所述输入图像。

8.根据权利要求1所述的方法，其中所述目标人脸图像的所述属性和所述原始人脸图像的所述属性具有相反的值。

9.根据权利要求1所述的方法，其中所述属性包括以下中的至少任一项：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜。

10.一种用于改变人脸的属性的装置，包括：

属性选择模块，配置用于从人脸的多个属性中选择将被改变的属性；

转换模块，配置用于基于人脸转换过程将原始人脸图像转换至目标人脸图像，所述目标人脸图像的所述属性和所述原始人脸图像的所述属性具有不同的值；

一致性判断模块，配置用于基于一致性判断过程确定所述目标人脸图像的评分，所述评分指示所述目标人脸图像与所述人脸转换过程的目的相一致的程度；

真实度判断模块，配置用于基于真实度判断过程确定所述目标人脸图像的真实度等级，所述真实度等级描述所述目标人脸图像为真实图像的可能性；

生成模块，配置用于基于所述评分和所述真实度等级，生成描述所述人脸转换过程、所述一致性判断过程和所述真实度判断过程的性能的损失函数；以及

梯度模块，配置用于基于所述损失函数，利用梯度下降算法更新所述人脸转换过程、所述一致性判断过程和所述真实度判断过程。

11.根据权利要求10所述的装置，进一步包括：

一致性训练模块，配置用于基于一组样本图像训练所述一致性判断过程，使得所述一致性判断过程描述所述一组样本图像中的样本图像与所述样本图像的评分之间的关联关系。

12.根据权利要求10所述的装置，进一步包括：

真实度训练模块，配置用于基于一组样本图像训练所述真实度判断过程，使得所述真实度判断过程描述所述一组样本图像中的样本图像与所述样本图像的真实度之间的关联关系。

13.根据权利要求10所述的装置，其中所述人脸转换过程是基于卷积神经网络实现的，所述卷积神经网络包括多个编码层和多个解码层，所述多个解码层中的解码层接收来自与所述解码层相对应的所述多个编码层中的编码层的输入、以及来自所述编码层之下的编码层的输入。

14.根据权利要求13所述的装置，其中来自所述编码层之下的编码层的输入用于指示多个属性中的将被改变的所述属性的信息。

15.根据权利要求10所述的装置，进一步包括：

图像获取模块，配置用于获取包括目标人物的人脸的输入图像；

人脸转换模块，配置用于基于更新的所述人脸转换过程，将所述输入图像转换为输出图像，所述输出图像的所述属性和所述输入图像的所述属性具有不同的值。

16.根据权利要求15所述的装置，其中所述图像获取模块包括：

视频获取模块，配置用于获取包括所述目标人物的视频；

搜索模块，配置用于在所述视频的一组图像帧中搜索与所述目标人物的所述人脸相匹配的人脸；以及

标识模块，配置用于将包括所述人脸的图像帧标识为所述输入图像。

17.根据权利要求10所述的装置，其中所述目标人脸图像的所述属性和所述原始人脸图像的所述属性具有相反的值。

18.根据权利要求10所述的装置，其中所述属性包括以下中的至少任一项：性别、年龄、头发颜色、眼睛颜色、肤色、胡子、脸型、眼镜。

19.一种用于改变人脸的属性的设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-9中任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-9中任一项所述的方法。

Images