CN108229508A - 用于训练图像处理装置的训练装置和训练方法 - Google Patents

Abstract

本公开涉及用于训练图像处理装置的训练装置和训练方法以及图像处理装置。该训练装置用于训练第一和第二图像处理单元，其包括：训练单元，将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理生成具有特定特征的第一生成图像，将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理生成不具有特定特征的第二生成图像；分类单元，能够执行分类处理以区分真实图像和生成图像，训练单元进一步执行基于真实图像和生成图像对分类单元进行训练的第一训练处理；以及执行基于第一训练处理的训练结果对第一和第二图像处理单元进行训练的第二训练处理以降低分类单元的分类准确度。

Description

用于训练图像处理装置的训练装置和训练方法

技术领域

本公开涉及用于训练图像处理装置的训练装置和训练方法以及相应的图像处理装置。

背景技术

常常需要通过对人脸图像的适度修改来使人脸图像具有特定特征或者从人脸图像消除特定特征，即人脸特征操纵。例如，从被拍摄人戴眼镜的人脸图像中消除眼镜或者给人脸图像中的被拍摄人加上眼镜。对人脸图像进行的修改应尽可能避免对人脸图像的不涉及特定特征的其他区域造成影响以保持人脸图像的视觉保真度。

发明内容

在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本公开的目的在于提供用于训练图像处理装置的训练装置和训练方法，通过根据本公开的训练装置和训练方法训练的图像处理装置能够在保持高的视觉保真度的同时实现图像中的特定特征的操纵。通过本公开的训练装置和训练方法训练的图像处理装置特别适用于人脸图像处理以实现对人脸图像中的特定特征的操纵。

为了实现本公开的目的，根据本公开的一个方面，提供了一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，训练装置包括：训练单元，被配置成将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理单元的第一图像处理生成具有特定特征的第一生成图像，并且将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理单元的第二图像处理生成不具有特定特征的第二生成图像；以及分类单元，被配置成能够执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像，其中训练单元被进一步配置成：执行基于真实图像和生成图像对分类单元进行训练的第一训练处理；以及执行基于第一训练处理的训练结果对第一图像处理单元和第二图像处理单元进行训练的第二训练处理以降低分类单元的分类准确度。

根据本公开的另一方面，提供了一种用于训练图像处理装置的训练方法，用于训练第一图像单元和第二图像处理单元，训练方法包括：将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理单元的第一图像处理生成具有特定特征的第一生成图像；将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理单元的第二图像处理生成不具有特定特征的第二生成图像；执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像；以及执行基于真实图像和生成图像对分类处理进行训练的第一训练处理，并且执行基于第一训练处理的训练结果对第一图像处理单元和第二图像处理单元进行训练的第二训练处理以降低分类处理的准确度。

根据本公开的又一方面，还提供了一种通过根据本公开的训练装置和训练方法进行训练而获得的图像处理装置。

根据本公开的再一方面，还提供了能够实现上述训练方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述训练方法的计算机程序代码。

通过根据本公开的训练技术训练的图像处理装置，可以向图像添加特定特征或者可以从图像消除特定特征。能够在保持图像的其他特征基本不变，即保持高的视觉保真度的同时实现针对图像的特定特征的操纵。通过根据本公开的训练技术训练的图像处理装置获得的图像可以用作增加的图像数据或者经预处理的图像数据以用于其他特定应用。

特别地，通过根据本公开的训练技术训练的图像处理装置，可以在保持图像的高的视觉保真度的同时实现人脸图像中的特定特征的操纵。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：

图1是示出根据现有技术的对抗训练装置的示意性结构框图；

图2是示出根据本公开的实施例的训练装置的示意性结构框图；

图3是示出根据本公开的实施例的训练装置执行的训练处理的示意图；

图4是示出根据本公开的实施例的对偶学习的示意图；

图5是示出根据本公开的实施例的训练方法的流程图；以及

图6是示出可用来实现根据本公开的实施例的训练方法的通用机器的结构简图。

具体实施方式

在下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。

根据本公开的训练技术的思想基于机器学习领域中的对抗训练(又称对抗学习)技术。图1是示出根据现有技术的对抗训练装置100的示意性结构框图。

如图1中所示，对抗训练装置100包括一个生成模型(generative model)G 101和一个分类模型(discriminative model)D 102。生成模型G 101获取作为真实数据的训练样本并且产生生成样本。分类模型D 102可被视为二分类器，能够对训练样本和生成样本进行区分。

在对抗训练装置100的训练过程中，首先使用训练样本和生成模型G101基于训练样本产生的生成样本对分类模型D 102进行训练。随后，基于对分类模型D 102的训练结果对生成模型G101进行训练。使用新的训练样本继续按照以上步骤交替地对生成模型G101和分类模型D 102进行训练。换言之，G 101需要尽可能的让自己的输出像训练样本，而D 102则尽可能的将不是训练样本的情况分辨出来。通常，当分类模型D 102的分类准确度达到稳定状态时，结束训练过程。

本公开提出了一种用于对图像处理装置进行训练的训练技术，通过该训练技术训练的图像处理装置能够在保持图像的高的视觉保真度的同时实现对图像的特定特征的操纵。

图2是示出根据本公开的实施例的训练装置200的示意性结构框图。图3是示出根据本公开的实施例的训练装置200执行的训练处理的示意图。

训练装置200用于对第一图像处理单元10和第二图像处理单元20进行训练。训练装置200包括分类单元201和训练单元202。下面针对第一图像处理单元10、第二图像处理单元20、分类单元201和训练单元202分别进行详细描述。

[第一图像处理单元10和第二图像处理单元20]

第一图像处理单元10可以通过执行第一图像处理基于不具有特定特征的第一真实图像生成具有特定特征的第一生成图像。第二图像处理单元20可以通过执行第二图像处理基于具有特定特征的第二真实图像生成不具有特定特征的第二生成图像。

根据本公开的一个实施例，第一真实图像和第二真实图像可以是例如人脸图像，并且特定特征可以是例如胡子、眼镜、笑容等。

作为一个具体示例，如图3所示，输入到第一图像处理单元10的第一真实图像是没有佩戴眼镜的人脸图像，第一图像处理单元10通过执行第一图像处理，在第一真实图像中添加眼镜以产生作为第一生成图像的佩戴有眼镜的人脸图像。

与此相对，如图3所示，输入到第二图像处理单元20的第二真实图像是佩戴有眼镜的人脸图像，第二图像处理单元20通过执行第二图像处理，在第二真实图像中去除眼镜以产生作为第二生成图像的没有佩戴眼镜的人脸图像。

第一真实图像和第二真实图像在被输入第一图像处理单元10和第二图像处理单元20之前已被分类成具有特定特征的真实图像和不具有特定特征的真实图像。训练装置200对第一图像处理单元10和第二图像处理单元20进行训练的目的在于使得第一图像处理单元10和第二图像处理单元20所产生的生成图像在具有高的视觉保真度的同时实现对真实图像中的特定特征的操纵，例如在真实图像中添加特定特征或者去除特定特征。

注意，根据本公开，对作为第一真实图像和第二真实图像的人脸图像没有特别的限制。换言之，这些人脸图像可以是任意的，仅在被输入第一图像处理单元10和第二图像处理单元20之前确定是否具有例如眼镜的特定特征。而且，不一定要求不具有特定特征的真实图像和具有特定特征的真实图像是成对存在的。例如，佩戴有眼镜的人脸图像中的人可以是与没有佩戴眼镜的人脸图像中的人不同的人。

根据本公开的实施例，第一图像处理单元10所执行的第一图像处理可以是生成第一残差图像的处理，并且第一生成图像是第一真实图像与第一残差图像的和。根据本公开的实施例，第一残差图像可以仅与特定特征相关，例如仅与人脸图像中的眼镜相关。第一残差图像是不具有特定特征的第一真实图像与具有特定特征的第一生成图像之间的差。

相对应地，第二图像处理单元20所执行的第二图像处理可以是生成第二残差图像的处理，并且第二生成图像是第二真实图像与第二残差图像的和。第二残差图像可以仅与特定特征相关，例如仅与人脸图像中的眼镜相关。第二残差图像是具有特定特征的第二真实图像与不具有特定特征的第二生成图像之间的差。

第一残差图像可以被理解为与第二残差图像互补，一个用于添加特定特征，而另一个用于去除特定特征。

例如，如图3中所示，第一残差图像可以是用于在人脸图像中添加眼镜的图像。因此，如图3中所示，作为第一真实图像的没有佩戴眼镜的人脸图像与关于眼镜的第一残差图像相加可以获得作为第一生成图像的佩戴有眼镜的人脸图像。与此相反，第二残差图像可以是用于在人脸图像中去除眼镜的图像。因此，如图3中所示，作为第二真实图像的佩戴有眼镜的人脸图像与关于眼镜的第二残差图像相加可以获得作为第二生成图像的没有佩戴眼镜的人脸图像。

在第一图像处理单元10和第二图像处理单元20中使用的第一残差图像和第二残差图像的优点在于可以将对第一真实图像和第二真实图像的处理仅限于与特定特征相关的区域。例如，如图3中所示，第一残差图像和第二残差图像仅与眼镜相关，就是说，仅与人脸图像中的眼睛周围的区域相关，因此第一图像处理和第二图像处理仅牵涉人脸图像中的眼睛周围的局部区域。这样，采用第一残差图像和第二残差图像可以在保持人脸图像的其他特征基本不变，即保持高的视觉保真度的同时实现针对特定特征的人脸图像操作，从而节约了计算资源。

根据本公开的实施例，可以基于卷积神经网络(Convolutional Neural Network，CNN)来实现第一图像处理单元10的第一图像处理和第二图像处理单元20的第二图像处理。具体地，可以通过卷积神经网络生成第一图像处理单元10中的第一残差图像和第二图像处理单元20中的第二残差图像。

下面简要地对卷积神经网络进行说明，卷积神经网络是一种前馈神经网络，被广泛地应用于图像和语音处理领域。卷积神经网络基于三个重要特征，即感受野，权值共享和池化。

卷积神经网络假设每个神经元仅与邻近区域中的神经元存在连接关系并且彼此产生影响。感受野表示该邻近区域的大小。此外，卷积神经网络假设某个区域的神经元之间的连接权值也可以应用于所有其他区域，即权值共享。卷积神经网络的池化指的是在将卷积神经网络用于解决分类问题时基于聚合统计进行的降维操作。

在使用卷积神经网络实现第一图像处理和第二图像处理的情况下，对第一图像处理单元10和第二图像处理单元20的训练即是对实现第一图像处理和第二图像处理的卷积神经网络的训练。

如图3所示，例如，可以使用具有卷积--反卷积的结构的卷积神经网络来实现第一图像处理单元10执行的第一图像处理和第二图像处理单元20执行的第二图像处理，即生成第一残差图像和第二残差图像。

根据本公开的实施例，在使用卷积神经网络实现第一图像处理单元10和第二图像处理单元20的第一图像处理和第二图像处理的情况下，在对第一图像处理单元10和第二图像处理单元20进行训练时可以对实现第一图像处理和第二图像处理的卷积神经网络的感受野、连接权值和池化函数中的至少之一进行调节。

这里需要注意，在使用卷积神经网络实现第一图像处理和第二图像处理的情况下，对第一图像处理单元10和第二图像处理单元20的训练过程可以被视为对第一残差图像和第二残差图像进行调节的过程，该训练过程的目的在于产生具有高的视觉保真度的第一生成图像和第二生成图像。

[分类单元201]

分类单元201能够执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像。

换言之，对于图3中所示的示例，分类单元201可以区分作为第一真实图像和第二真实图像的真实的人脸图像与作为第一生成图像和第二生成图像的通过第一图像处理单元10和第二图像处理单元20生成的人脸图像。

根据本公开的实施例，分类单元201执行的分类处理也可以基于卷积神经网络来实现。用于实现分类处理的卷积神经网络可以具有如图3中所示的卷积的结构。在该情况下，用于实现分类单元201的分类处理的卷积神经网络可以被视为分类器。

例如，可以设定包括第一真实图像和第二真实图像的真实图像具有标签0，并且包括第一生成图像和第二生成图像的通过第一图像处理单元10和第二图像处理单元20产生的生成图像具有标签1。在将包括第一真实图像、第二真实图像、第一生成图像和第二生成图像的图像输入到分类单元201中时，分类单元201能够输出0或1以表示对所输入的图像是真实图像还是通过第一图像处理单元10和第二图像处理单元20产生的生成图像的区分结果。

根据本公开的实施例，训练装置200交替地执行对第一图像处理单元10和第二图像处理单元20的训练和对分类单元201的训练。

对分类单元201进行训练的目的在于使分类单元201尽可能准确地区分包括第一真实图像和第二真实图像的真实图像与包括第一生成图像和第二生成图像的通过第一图像处理单元10和第二图像处理单元20产生的生成图像。

根据本公开的实施例，在使用卷积神经网络实现分类单元201的分类处理的情况下，在对分类单元201进行训练时可以对实现分类处理的卷积神经网络的感受野、连接权值和池化函数中的至少之一进行调节。

根据本公开的另一实施例，分类单元201可以进一步能够区分第一真实图像和第二真实图像。

例如，在该情况下，可以设定不具有特定特征的第一真实图像具有标签0，具有特定特征的第二真实图像具有标签1，并且通过第一图像处理单元10和第二图像处理单元20生成的第一生成图像和第二生成图像具有标签2。

在该情况下，如图3中所述，分类单元201能够输出0、1或2以分别指示输入的图像是不具有特定特征的第一真实图像、是具有特定特征的第二真实图像还是第一图像处理单元10或第二图像处理单元20生成的第一生成图像或第二生成图像。

[训练单元202]

训练单元202可以执行基于第一真实图像和第二真实图像以及由第一图像处理单元10和第二图像处理单元20产生的第一生成图像和第二生成图像对分类单元201进行训练的第一训练处理，并且可以执行基于第一训练处理的训练结果对第一图像处理单元10和第二图像处理单元20进行训练的第二训练处理以降低分类单元201的分类准确度

训练单元202所执行的训练过程的思想基于对抗训练技术。具体地，第一图像处理单元10和第二图像处理单元20作为一方，分类单元201作为另一方，双方进行对抗式的训练。一方面，基于真实图像和生成图像对分类单元201进行训练的第一训练处理的目的在于使分类单元201能够准确地区分真实图像与生成图像。

相反，基于分类单元201的第一训练处理的训练结果对第一图像处理单元10的第一图像处理和第二图像处理单元20的第二图像处理执行第二训练处理的目的在于尽可能使分类单元201不能区分真实图像与生成图像。

根据本公开的实施例，训练单元202可以交替地执行第一训练处理和第二训练处理，直至分类单元201的分类准确度稳定。

具体地，在训练过程中，首先将第一真实图像和第二真实图像分别输入第一图像处理单元10和第二图像处理单元20以生成第一生成图像和第二生成图像，随后使用第一真实图像和第二真实图像以及第一生成图像和第二生成图像对分类单元201进行第一训练处理。

在使用卷积神经网络实现分类单元201的情况下，对分类单元201进行训练是通过调节实现分类单元201的分类处理的卷积神经网络的感受野、连接权值和池化函数中的至少之一进行的，训练的目的是尽可能提高分类单元201的分类准确度，即使实现分类单元201的卷积神经网络的损失函数最小化。

随后，根据分类单元201的第一训练处理的训练结果对第一图像处理单元10和第二图像处理单元20进行第二训练处理。

在用卷积神经网络实现第一图像处理单元10、第二图像处理单元20和分类单元201的情况下，基于第一训练处理的训练结果对第一图像处理单元10和第二图像处理单元20进行第二训练处理的原理在于，第一图像处理单元10和第二图像处理单元20不具有损失函数，而分类单元201具有损失函数，分类单元201的损失函数反映了分类单元201的分类准确度。在理想情况下，损失函数为零，相应地分类准确度最高。

因此，可以基于梯度下降法来基于分类单元201的训练结果对第一图像处理单元10和第二图像处理单元20进行训练。具体地，由于分类单元201的损失函数包含由作为分类单元201的输入的生成图像提供的贡献。因此，可以计算分类单元201的损失函数对生成图像的梯度，根据该梯度对第一图像处理单元10和第二图像处理单元20进行训练。

在使用卷积神经网络实现第一图像处理单元10的第一图像处理和第二图像处理单元20的第二图像处理的情况下，对第一图像处理单元10和第二图像处理单元20进行训练是通过调节实现第一图像处理和第二图像处理的卷积神经网络的感受野、连接权值和池化函数中的至少之一进行的，训练的目的是尽可能降低分类单元201的分类准确度，即使实现分类处理的卷积神经网络的损失函数变大。

在这一点上，在使用卷积神经网络实现第一图像处理单元10、第二图像处理单元20和分类单元201的情况下，对实现第一图像处理、第二图像处理和分类处理的卷积神经网络的训练都是基于实现分类处理的卷积神经网络的损失函数来进行的。

上述训练过程可以被视为一个训练步骤，随后使用新的第一真实图像和第二真实图像重复上述训练步骤。

注意，包括第一真实图像和第二真实图像的真实图像可以被循环使用以对第一图像处理单元10、第二图像处理单元20和分类单元201进行训练。例如，可以将作为训练样本的真实图像分为若干组，从第一组真实图像开始，在每执行一次训练步骤时使用新的一组真实图像，直至真实图像用尽为止。此后，可以再次从第一组真实图像开始重复上述训练过程，直至达到预期的训练效果为止。

作为判断训练是否完成的条件是根据具体应用确定的。例如，在训练开始时，由于第一图像处理单元10和第二图像处理单元20未经训练，因此获得的生成图像与真实图像之间的差异较大，因此对分类单元201的第一训练处理可以取得较好的训练效果，即分类准确度较高。随着第一图像处理单元10和第二图像处理单元20的第二训练处理的进行，能够获得较好的生成图像，因此分类单元201的分类准确度会随之下降。通常，在经过上述训练步骤的多次迭代之后，分类单元201的分类准确度会达到稳定的状态，此时可以认为训练结束。例如，可以在每个训练步骤结束之后，将当前的分类准确度与先前若干次训练步骤结束之后的分类准确度进行比较，如果彼此之间的差异在预定范围内，则可以结束训练。

此外，还可以人为设定具体的训练次数。

根据本公开的另一实施例，第一图像处理单元10可以进一步通过执行第一图像处理基于第二生成图像生成第三生成图像，并且第二图像处理单元20可以进一步通过执行第二图像处理基于所述第一生成图像生成第四生成图像。训练单元202还可以执行利用第一真实图像、第二真实图像、第三生成图像和第四生成图像对第一图像处理单元10和第二图像处理单元20进行训练第三训练处理。第三训练处理还可以被称为对偶学习。

图4是示出根据本公开的实施例的对偶学习的示意图。

第二生成图像是不具有特定特征的图像，因此通过第一图像处理单元的第一图像处理又被重新加上了特定特征，从而得到具有特定特征的第三生成图像。相似地，第一生成图像是具有特定特征的图像，因此通过第二图像处理单元的第二图像处理又被重新消除了特定特征，从而得到不具有特定特征的第四生成图像。

例如，如图4中所示，第一图像处理单元10生成的佩戴有眼镜的人脸图像被输入到第二图像处理单元20以生成没有佩戴眼镜的人脸图像，而第二图像处理单元20生成的没有佩戴眼镜的人脸图像被输入到第一图像处理单元10以生成佩戴有眼镜的人脸图像。

在理想情况下，第三生成图像应当与第二真实图像相同，而第四生成图像应当与第一真实图像相同。因此，根据本公开的一个实施例，第三训练处理利用第一真实图像与第四生成图像之间的差异以及第二真实图像与第三生成图像之间的差异对第一图像处理单元10和第二图像处理单元20进行训练。

根据本公开的一个实施例，训练单元202可以依次重复执行第一训练处理、第二训练处理和第三训练处理。然而，本公开不限于此。训练单元202也可以在执行若干次第一训练处理和第二训练处理之后再执行一次第三训练处理。或者，第一和第二训练处理与第三训练处理可以以任何次数和顺序进行组合。

通过使用第一真实图像、第二真实图像、第三生成图像和第四生成图像对第一图像处理单元10和第二图像处理单元20进行训练，可以加速第一图像处理单元10和第二图像处理单元10的训练速度并且改进第一图像处理和第二图像处理的处理效果。

通过训练装置200的上述训练过程，第一图像处理单元10和第二图像处理单元20能够实现针对特定特征的图像操纵，同时还能够保持高的视觉保真度。根据本公开的实施例，经过训练的第一图像处理单元10或者第二图像处理单元20可以构成用于对图像中的特定特征进行操纵的图像处理装置。

下面根据图5描述根据本公开的用于训练图像处理装置的训练方法。图5是示出根据本公开的实施例的训练方法500的流程图。

图5中所示的训练方法500开始于步骤S501。随后在步骤S502中，将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理单元的第一图像处理生成具有特定特征的第一生成图像。例如，可以通过执行例如参照图2描述的第一图像处理单元10的处理来实现步骤S502，在此省略其描述。

步骤S503与步骤S503并行地执行。在步骤503中，将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理单元的第二图像处理生成不具有特定特征的第二生成图像。例如，可以通过执行例如参照图2描述的第二图像处理单元20的处理来实现步骤S503，在此省略其描述。

随后，方法500前往步骤S504。在步骤504中，执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像。例如，可以通过执行例如参照图2描述的分类单元201的处理来实现步骤S504，在此省略其描述。

随后，方法500前往步骤S505。在步骤S505中，执行基于真实图像和生成图像对分类处理进行训练的第一训练处理并且执行基于第一训练处理的训练结果对第一图像处理单元和第二图像处理单元进行训练的第二训练处理。例如，可以通过执行例如参照图2描述的训练单元202的处理来实现步骤S505，在此省略其描述。

此外，根据本公开的一个实施例，在步骤S505中，还可以交替地执行第一训练处理和第二训练处理被交替地执行，直至分类处理的分类准确度稳定。

此外，根据本公开的一个实施例，在步骤S505中，还可以执行上文参照图4描述的利用第一真实图像、第二真实图像、第三生成图像和第四生成图像对第一图像处理单元和第二图像处理单元进行训练的第三训练处理。

图像处理方法500结束于步骤S506。

根据本公开的实施例的图像处理方法500不限于按照上述时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的图像处理方法的执行顺序不对本公开的技术范围构成限制。

例如，步骤S502可以在步骤S503之前执行，也可以在步骤S503之后执行。

图6是示出了可用来实现图5的根据本公开的实施例的训练方法500的通用机器600的结构简图。通用机器600可以是例如计算机系统。应注意，通用机器600只是一个示例，并非暗示对本公开的方法和装置的使用范围或者功能的局限。也不应将通用机器600解释为对上述训练装置或图像处理方法中示出的任一组件或其组合具有依赖或需求。

在图6中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，还根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM 602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件也连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡例如LAN卡、调制解调器等)。通信部分609经由网络例如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可拆卸介质611例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上，使得从中读出的计算机程序可根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开的图像处理方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本公开的范围内。

在上面对本公开的具体实施例的描述中，基于人脸图像处理的特定应用描述了本公开的图像处理技术。然而，根据本公开的图像处理技术不限于人脸图像处理。显而易见，本领域技术人员基于本公开内容，能够设想将本公开的图像处理技术应用于其他图像处理领域的实施方案。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1.一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，所述训练装置包括：

训练单元，被配置成将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像，并且将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；以及

分类单元，被配置成能够执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像，

其中训练单元被进一步配置成：

执行基于所述真实图像和所述生成图像对所述分类单元进行训练的第一训练处理；以及

执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类单元的分类准确度。

方案2.根据方案1所述的训练装置，其中

所述训练单元被进一步配置成交替地执行所述第一训练处理和所述第二训练处理，直至所述分类单元的分类准确度稳定。

方案3.根据方案1所述的训练装置，其中

所述第一图像处理是生成第一残差图像的处理，所述第一生成图像是所述第一真实图像与所述第一残差图像的和，以及

所述第二图像处理是生成第二残差图像的处理，所述第二生成图像是所述第二真实图像与所述第二残差图像的和。

方案4.根据方案3所述的训练装置，其中

所述第一残差图像和所述第二残差图像仅与所述特定特征相关。

方案5.根据方案1所述的训练装置，其中

所述分类单元被进一步配置成能够区分所述第一真实图像和所述第二真实图像。

方案6.根据方案1所述的训练装置，其中

所述第一图像处理单元被进一步配置成通过执行第一图像处理基于所述第二生成图像生成第三生成图像，

所述第二图像处理单元被进一步配置成通过执行第二图像处理基于所述第一生成图像生成第四生成图像，

所述训练单元被进一步配置成执行利用所述第一真实图像、所述第二真实图像、所述第三生成图像和所述第四生成图像对所述第一图像处理单元和所述第二图像处理单元进行训练的第三训练处理。

方案7.根据方案6所述的训练装置，其中

所述训练单元被进一步配置成交替地执行所述第一训练处理、所述第二训练处理和所述第三训练处理，直至所述分类单元的分类准确度稳定。

方案8.根据方案6所述的训练装置，其中

所述第三训练处理利用所述第一真实图像与所述第四生成图像之间的差异以及所述第二真实图像与所述第三生成图像之间的差异对所述第一图像处理单元和所述第二图像处理单元进行训练。

方案9.根据方案1所述的训练装置，其中

所述第一图像处理和所述第二图像处理是通过卷积神经网络实现的，并且对所述第一图像处理单元和所述第二图像处理单元的训练是通过对卷积神经网络的感受野、连接权值和池化函数中的至少之一进行调节来实现的。

方案10.根据方案1所述的训练装置，其中

其中所述分类处理是通过卷积神经网络实现的，并且对所述分类单元的训练是通过对卷积神经网络的感受野、连接权值和池化函数中的至少之一进行调节来实现的。

方案11.根据方案1所述的训练装置，其中

所述第一真实图像和所述第二真实图像是人脸图像，所述特定特征是胡子、眼镜、笑容中的至少之一。

方案12.一种用于训练图像处理装置的训练方法，用于训练第一图像单元和第二图像处理单元，所述训练方法包括：

将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像；

将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；

执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像；以及

执行基于所述真实图像和所述生成图像对所述分类处理进行训练的第一训练处理，并且执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类处理的准确度。

方案13.根据方案12所述的训练方法，其中

所述第一训练处理和所述第二训练处理被交替地执行，直至所述分类处理的分类准确度稳定。

方案14.根据方案12所述的训练方法，其中

所述第一图像处理是生成第一残差图像的处理，所述第一生成图像是所述第一真实图像与所述第一残差图像的和，以及

所述第二图像处理是生成第二残差图像的处理，所述第二生成图像是所述第二真实图像与所述第二残差图像的和。

方案15.根据方案14所述的训练方法，其中

所述第一残差图像和所述第二残差图像仅与所述特定特征相关。

方案16.根据方案12所述的训练方法，其中

所述分类处理进一步能够区分所述第一真实图像和所述第二真实图像。

方案17.根据方案12所述的训练方法，其中

所述第一图像处理单元被进一步配置成通过执行第一图像处理基于所述第二生成图像生成第三生成图像，

所述第二图像处理单元被进一步配置成通过执行第二图像处理基于所述第一生成图像生成第四生成图像，

所述训练方法进一步包括执行利用所述第一真实图像、所述第二真实图像、所述第三生成图像和所述第四生成图像对所述第一图像处理单元和所述第二图像处理单元进行训练的第三训练处理。

方案18.根据方案17所述的训练方法，其中

所述第一训练处理、所述第二训练处理和所述第三训练处理被交替地执行，直至所述分类处理的分类准确度稳定。

方案19.根据方案17所述的训练方法，其中

所述第三训练处理利用所述第一真实图像与所述第四生成图像之间的差异以及所述第二真实图像与所述第三生成图像之间的差异对所述第一图像处理单元和所述第二图像处理单元进行训练。

方案20.一种图像处理装置，所述图像处理装置由根据方案1至11中任一项所述的第一图像处理单元或第二图像处理单元构成。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (10)

1.一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，所述训练装置包括：

训练单元，被配置成将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像，并且将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；以及

分类单元，被配置成能够执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像，

其中训练单元被进一步配置成：

执行基于所述真实图像和所述生成图像对所述分类单元进行训练的第一训练处理；以及

执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类单元的分类准确度。

2.根据权利要求1所述的训练装置，其中

所述训练单元被进一步配置成交替地执行所述第一训练处理和所述第二训练处理，直至所述分类单元的分类准确度稳定。

3.根据权利要求1所述的训练装置，其中

所述第一图像处理是生成第一残差图像的处理，所述第一生成图像是所述第一真实图像与所述第一残差图像的和，以及

所述第二图像处理是生成第二残差图像的处理，所述第二生成图像是所述第二真实图像与所述第二残差图像的和。

4.根据权利要求3所述的训练装置，其中

所述第一残差图像和所述第二残差图像仅与所述特定特征相关。

5.根据权利要求1所述的训练装置，其中

所述分类单元被进一步配置成能够区分所述第一真实图像和所述第二真实图像。

6.根据权利要求1所述的训练装置，其中

所述第一图像处理单元被进一步配置成通过执行第一图像处理基于所述第二生成图像生成第三生成图像，

所述第二图像处理单元被进一步配置成通过执行第二图像处理基于所述第一生成图像生成第四生成图像，

所述训练单元被进一步配置成执行利用所述第一真实图像、所述第二真实图像、所述第三生成图像和所述第四生成图像对所述第一图像处理单元和所述第二图像处理单元进行训练的第三训练处理。

7.根据权利要求6所述的训练装置，其中

所述训练单元被进一步配置成交替地执行所述第一训练处理、所述第二训练处理和所述第三训练处理，直至所述分类单元的分类准确度稳定。

8.根据权利要求6所述的训练装置，其中

所述第三训练处理利用所述第一真实图像与所述第四生成图像之间的差异以及所述第二真实图像与所述第三生成图像之间的差异对所述第一图像处理单元和所述第二图像处理单元进行训练。

9.一种用于训练图像处理装置的训练方法，用于训练第一图像单元和第二图像处理单元，所述训练方法包括：

将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像；

将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；

执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像；以及

执行基于所述真实图像和所述生成图像对所述分类处理进行训练的第一训练处理，并且执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类处理的准确度。

10.一种图像处理装置，所述图像处理装置由根据权利要求1至9中任一项所述的第一图像处理单元或第二图像处理单元构成。