CN113139893A - 图像翻译模型的构建方法和装置、图像翻译方法和装置 - Google Patents

Abstract

本申请涉及一种图像翻译模型的构建方法、装置、电子设备和存储介质。所述方法包括：获取多个样本图像以及对应的样本翻译图像；将样本图像输入至预先构建的图像翻译模型；通过图像翻译模型，预测样本图像与样本翻译图像间的预测差异图像以及预测合成权重参数；通过图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像；计算样本翻译图像以及预测翻译图像间的差值，得到图像翻译模型的损失值；根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。采用本方法使得图像翻译模型只需要学习样本图像与样本翻译图像之间的差异信息，有效压缩模型的计算量。

Description

图像翻译模型的构建方法和装置、图像翻译方法和装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像翻译模型的构建方法和装置、图像翻译方法和装置。

背景技术

随着计算机技术的不断发展，图像翻译技术越来越普及。图像翻译是指将一种图像翻译成另一种图像，比如将人脸图像翻译成带胡子的人脸图像，又比如将人脸图像翻译成素描的人脸画像。传统的图像翻译技术主要是通过计算量巨大的深度学习的方法来实现，难以部署在手机端等计算力有限的用户终端上，即使通过现有的模型压缩方法，例如对图像翻译模型进行剪枝、蒸馏等操作，压缩图像翻译模型，降低图像翻译模型的计算量，但会导致图像翻译效果大打折扣。

发明内容

本公开提供一种图像翻译模型的构建方法和装置、图像翻译方法和装置，以至少解决相关技术中图像翻译模型计算量大，难以部署在算力有限的用户终端上。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像翻译模型的构建方法，包括：

获取训练样本图像集，其中，所述训练样本图像集包括多个样本图像以及与所述样本图像对应的样本翻译图像；

将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数；

通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像；

计算所述样本翻译图像以及所述预测翻译图像间的差值，得到所述图像翻译模型的损失值；

根据所述损失值反向训练所述预先构建的图像翻译模型，直至所述图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

在一个实施例中，所述图像翻译模型包括图像差异预测网络，其中，所述图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；

所述将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数的步骤，包括：

将所述样本图像输入至图像差异网络中，通过所述图像差异图像网络，根据所述样本图像的图像数据获取所述预测差异图像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述权重参数通道的预测合成权重参数；

根据所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述预测差异图像。

在一个实施例中，所述图像翻译模型包括图像合成网络；

所述通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像的步骤，包括：

根据所述预测合成权重参数，确定所述样本图像的第一合成权重值以及所述预测差异图像的第二合成权重值；

通过所述图像合成网络计算所述第一合成权重值与所述样本图像的图像数据的第一乘积，得到预测翻译图像基础数据；

通过所述图像合成网络计算所述第二合成权重值与所述预测差异图像的图像数据的第二乘积，得到预测翻译图像特征数据；

通过所述图像合成网络将所述预测翻译图像基础数据以及所述预测翻译图像特征数据进行叠加，得到预测翻译图像。

在一个实施例中，所述通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像的步骤，包括：

根据out＝alpha*in+(1–alpha)*rgb获取预测翻译图像；

其中，out表示所述预测翻译图像，in表示所述样本图像，rgb表示所述预测差异图像，alpha表示所述预测合成权重参数。

根据本公开实施例的第二方面，提供一种图像翻译方法，包括：

获取待处理的原始图像；

将所述原始图像输入至图像翻译模型中，得到所述原始图像的差异图像以及合成权重参数；其中，所述图像翻译模型为根据上述图像翻译模型的构建方法得到的；

通过所述图像翻译模型，根据所述合成权重参数叠加所述原始图像以及所述差异图像，获取所述原始图像的目标翻译图像。

根据本公开实施例的第三方面，提供一种图像翻译模型的构建装置，包括：

样本获取单元，被配置为执行获取训练样本图像集，其中，所述训练样本图像集包括多个样本图像以及与所述样本图像对应的样本翻译图像；

差异学习单元，被配置为执行将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数；

图像合成单元，被配置为执行通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像；

损失值计算单元，被配置为执行计算所述样本翻译图像以及所述预测翻译图像间的差值，得到所述图像翻译模型的损失值；

模型训练单元，被配置为执行根据所述损失值反向训练所述预先构建的图像翻译模型，直至所述图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

在一个实施例中，所述图像翻译模型包括图像差异预测网络，其中，所述图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；

所述差异学习单元，被配置为执行将所述样本图像输入至图像差异网络中，通过所述图像差异图像网络，根据所述样本图像的图像数据获取所述预测差异图像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述权重参数通道的预测合成权重参数；根据所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述预测差异图像。

在一个实施例中，所述图像翻译模型包括图像合成网络；

所述图像合成单元，被配置为执行根据所述预测合成权重参数，确定所述样本图像的第一合成权重值以及所述预测差异图像的第二合成权重值；通过所述图像合成网络计算所述第一合成权重值与所述样本图像的图像数据的第一乘积，得到预测翻译图像基础数据；通过所述图像合成网络计算所述第二合成权重值与所述预测差异图像的图像数据的第二乘积，得到预测翻译图像特征数据；通过所述图像合成网络将所述预测翻译图像基础数据以及所述预测翻译图像特征数据进行叠加，得到预测翻译图像。

在一个实施例中，所述图像合成单元，被配置为执行根据out＝alpha*in+(1–alpha)*rgb获取预测翻译图像；

其中，out表示所述预测翻译图像，in表示所述样本图像，rgb表示所述预测差异图像，alpha表示所述预测合成权重参数。

根据本公开实施例的第四方面，提供一种图像翻译装置，包括：

图像获取单元，被配置为执行获取待处理的原始图像；

差异图像预测单元，被配置为执行将所述原始图像输入至图像翻译模型中，得到所述原始图像的差异图像以及合成权重参数；其中，所述图像翻译模型为利用上述的图像翻译模型的构建方法得到的。

翻译图像获取单元，被配置为执行通过所述图像翻译模型，根据所述合成权重参数叠加所述原始图像以及所述差异图像，获取所述原始图像的目标翻译图像。

根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述的方法。

根据本公开实施例的第六方面，提供一种存储介质，包括：当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：获取多个样本图像以及对应的样本翻译图像，将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像以及预测合成权重参数，然后通过图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像，在计算样本翻译图像以及预测翻译图像间的差值得到图像翻译模型的损失值后，根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。采用本方法构建图像翻译模型，使得图像翻译模型只需要学习样本图像与样本翻译图像之间的差异信息，有效减小图像翻译模型的所需学习的特征信息，在保持图像翻译效果的同时，减少图像翻译模型的计算量，有效压缩图像翻译模型的规模。

后续对待处理的原始图像，通过将原始图像输入至图像翻译模型中，以获取差异图像以及合成权重参数，然后根据合成权重参数叠加原始图像以及差异图像，获取目标翻译图像，图像翻译模型只需预测原始图像与想要获取的翻译图像间的差异图像，图像翻译图像的运算量小，可部署在手机端等计算力有限的用户终端上，且在原始图像的图像信息的基础上叠加差异图像，在一定程度上保留原始图像中的信息，有效提高了图像翻译的图像清晰度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像翻译模型的构建方法的应用环境图。

图2是根据一示例性实施例示出的一种图像翻译模型的构建方法的流程图。

图3是根据一示例性实施例示出的一种图像翻译方法的流程图。

图4是根据一示例性实施例示出的据所述原始图像以及所述合成权重参数调整所述差异图像，得到目标翻译图像的步骤的流程图。

图5a是根据另一示例性实施例示出的图像翻译方法的流程图。

图5b是根据一示例性实施例示出的原始图像的示意图。

图5c是根据一示例性实施例示出的差异图像的示意图。

图5d是根据一示例性实施例示出的翻译图像特征数据的示意图。

图5e是根据一示例性实施例示出的目标翻译图像的示意图。

图6是根据一示例性实施例示出的一种图像翻译模型的构建装置的框图。

图7是根据一示例性实施例示出的一种图像翻译装置的框图。

图8是根据一示例性实施例示出的一种电子设备的框图。

图9是根据另一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1为一个实施例中图像翻译方法的应用环境图，该图像翻译方法应用于一种电子设备。该电子设备可以是包括终端或服务器。如图1所示，以该电子设备是终端102为例，终端102获取训练样本图像集，其中，训练样本图像集包括多个样本图像以及与样本图像对应的样本翻译图像；将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像，以及样本图像与预测差异图像的预测合成权重参数；通过预先构建的图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像；计算样本翻译图像以及预测翻译图像间的差值，得到图像翻译模型的损失值；根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型；其中，图像翻译模型只需要学习样本图像与样本翻译图像之间的差异信息，有效减小图像翻译模型的所需学习的特征信息，在保持图像翻译效果的同时，减少图像翻译模型的计算量，有效压缩图像翻译模型的规模。后续在终端102获取到待处理的原始图像时，将原始图像输入至图像翻译模型中，得到原始图像的差异图像以及合成权重参数，根据合成权重参数叠加原始图像以及差异图像，得到原始图像的目标翻译图像。终端102在获取与原始图像对应目标翻译图像后，可通过显示装置显示该目标翻译图像。比如，在一个示例性的应用场景中，图像翻译是将白天的风景图像转换翻译为傍晚时分的风景图像。又比如，在一个示例性的应用场景中，图像翻译可以是将人像数据变换为带有胡子的人像数据。

图2是根据一示例性实施例示出的一种图像翻译模型的构建方法流程图，如图2所示，图像翻译方法用于终端中，包括以下步骤：

步骤S210，获取训练样本图像集，其中，训练样本图像集包括多个样本图像以及与样本图像对应的样本翻译图像。

其中，训练样本图像集中的样本图像以及样本图像对应的样本翻译图像，是根据图像翻译模型的具体应用场景进行选取的。例如，图像翻译模型的应用场景为将白天的风景图像转换为傍晚时分的风景图像时，样本图像为某地的白天的风景图像，样本图像对应的样本翻译图像为该地对应的傍晚风景图像；图像翻译模型的应用场景为将人脸图像变换为带有胡子的人脸数据时，则样本图像为用户的人脸图像，样本图像对应的样本翻译图像为该用户带有胡子的人脸图像。

步骤S220，将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像，以及样本图像与预测差异图像的预测合成权重参数。

其中，图像翻译模型是根据原始图像预测差异图像以及合成权重参数的网络模型；这里的图像翻译模型是未进行训练的网络模型。进一步地，图像翻译模型可以是卷积神经网络模型。

其中，预测差异图像是图像翻译模型根据样本图像的图像数据预测获取到的图像，可用于修饰样本图像，例如，在为人脸图像添加上胡子的应用场景中，样本图像为人脸图像，预测差异图像是指通过图像翻译模型预测获得的、待添加到人脸图像的胡子图像数据。

其中，预测合成权重参数是指在样本图像以及预测差异图像进行叠加合成时权重值。预测合成权重参数的取值范围一般为0到1。例如，当预测合成权重参数的取值为0时，即样本图像在叠加合成过程中占比为0，预测差异图像在合成过程中占比为1，最终获得的图像为预测差异图像，当合成权重参数的取值为1时，即样本图像在叠加合成过程中占比为1，预测差异图像在叠加合成过程中占比为0，最终获得的图像与样本图像一致。

具体地，在获取到训练样本集后，将训练样本图像集中的样本图像输入至图像翻译模型中，得到图像翻译模型输出的预测差异图像以及预测合成权重参数，后续根据样本图像、预测差异图像以及预测合成权重参数，计算预测翻译图像。

步骤S230，通过预先构建的图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像。

其中，在得到图像翻译模型输出的预测差异图像以及预测合成权重参数以后，可根据合成权重系数，对样本图像以及预测差异图像的进行叠加，并利将叠加后获得的图像确定为预测翻译图像。

具体地，根据预测合成权重系数叠加样本图像以及差异图像，具体可以是，根据预测合成权重参数确定样本图像以及预测差异图像在叠加过程中的各自对应的权重值，然后通过各自的权重值对应将样本图像以及预测差异图像进行叠加融合，实现在样本图像的基础上，叠加预测差异图像，以获取与样本图像对应的预测翻译图像。

步骤S240，计算样本翻译图像以及预测翻译图像间的差值，得到图像翻译模型的损失值。

其中，在获取到预测翻译图像以后，根据样本翻译图像以及预测翻译图像计算图像翻译模型的损失值，具体可以是，将样本翻译图像以及预测翻译图像加载为数组，并计算两个数组间元素间的差异；也可以是获取样本翻译图像以及预测翻译图像的特征向量，例如直方图，通过计算两个图像对应的特征向量间的差值确定为样本翻译图像以及预测翻译图像间的差值。

步骤S250，根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

其中，在获取到图像翻译模型的损失值后，根据图像翻译模型的损失值，对图像翻译模型的模型参数进行调整或设置，直到满足图像翻译模型的收敛条件，得到训练完成的图像翻译模型，其中，模型的收敛条件可根据实际需求进设置或调整，例如当图像翻译模型的损失值达到最小时，则可认为达到图像翻译模型的训练收敛条件，或者当训练达到一定次数，则可认为达到图像翻译模型的训练收敛条件。

可以理解的是，将样本图像作为输入项输入至图像翻译模型中，将样本翻译图像作为输出项，在图像翻译模型获取到预测差异图像，并将预测差异图像与样本图像进行叠加后，计算叠加所得的图像与样本翻译图像间的差值作为图像翻译模型的损失值，进而根据损失值对图像翻译模型进行训练，这一过程即为图像翻译模型对样本图像与样本翻译图像之间的差异信息进行特征学习，使得图像翻译模型可以准确预测目标图像与想要获取的理想的翻译图像间的差异图像，提高图像翻译模型的图像翻译效果。

上述图像翻译模型的构建方法，获取多个样本图像以及对应的样本翻译图像，将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像以及预测合成权重参数，然后通过图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像，在计算样本翻译图像以及预测翻译图像间的差值得到图像翻译模型的损失值后，根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。采用本方法构建图像翻译模型，使得图像翻译模型只需要学习样本图像与样本翻译图像之间的差异信息，有效减小图像翻译模型的所需学习的特征信息，在保持图像翻译效果的同时，减少图像翻译模型的计算量，有效压缩图像翻译模型的规模。

在一个实施例中，图像翻译模型包括图像差异预测网络，其中，图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像，以及样本图像与预测差异图像的预测合成权重参数的步骤，包括：将样本图像输入至图像差异网络中，通过图像差异图像网络，根据样本图像的图像数据获取预测差异图像在R通道上的分量值、在G通道上的分量值、在B通道上的分量值，以及权重参数通道的预测合成权重参数；根据R通道的分量值、G通道的分量值以及B通道的分量值合成预测差异图像。

其中，图像翻译模型中图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道，其中，R通道输出的是样本图像与样本翻译图像间的预测差异图像在R通道上的分量值，G通道输出的是样本图像与样本翻译图像间的预测差异图像在G通道上的分量值，B通道输出的是样本图像与样本翻译图像间的预测差异图像在B通道上的分量值。可以理解的是，预测差异图像可以是RGB格式的图像，通过将R通道上的分量值、G通道上的分量值、B通道上的分量值进行叠加，以获取最终的预测差异图像。

在一个实施例中，图像翻译模型包括图像合成网络；通过预先构建的图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像的步骤，包括：根据预测合成权重参数，确定样本图像的第一合成权重值以及预测差异图像的第二合成权重值；通过图像合成网络计算第一合成权重值与样本图像的图像数据的第一乘积，得到预测翻译图像基础数据；通过图像合成网络计算第二合成权重值与预测差异图像的图像数据的第二乘积，得到预测翻译图像特征数据；通过图像合成网络将预测翻译图像基础数据以及预测翻译图像特征数据进行叠加，得到预测翻译图像。

其中，第一合成权重值与第二合成权重值的和值等于1。通过预测合成权重参数，确定样本图像以及预测差异图像的权重值，即分别设置原始图像以及差异图像叠加权重；例如，假设预测合成权重参数为0.4，则将样本图像的第一合成权重值确定为0.4，而预测差异图像的第二合成权重值为0.6。

在获得样本图像的第一合成权重值以及预测差异图像的第二合成权重值后，计算第一合成权重值与样本图像上各个像素点的乘积，以获取翻译图像基础数据，并计算第二合成权重值与预测差异图像上各个像素点的乘积，以获取预测翻译图像特征数据。其中，翻预测翻译图像特征数据是指样本图像与样本翻译图像之间的差值，用于表征预测翻译图像与原始图像间的差异，例如在为人脸图像贴上胡子的应用场景中，翻译图像特征数据可以是表征需要贴上的胡子对应的图像数据。然后，通过将翻译图像基础数据与翻译图像特征数据进行叠加，以获取目标翻译图像，实现在原始图像的基础上，叠加差异图像，使得目标翻译图像保留原始图像中的信息，提高目标翻译图像的清晰度，减少噪声，有效提高图像翻译模型的翻译精准性。

进一步的，在一个实施例中，通过预先构建的图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像的步骤，包括：根据out＝alpha*in+(1–alpha)*rgb获取预测翻译图像；其中，out表示预测翻译图像，in表示样本图像，rgb表示预测差异图像，alpha表示预测合成权重参数。

图3是根据一示例性实施例示出的一种图像翻译方法的流程图，如图3所示，图像翻译方法用于终端中，包括以下步骤：

步骤S310，获取待处理的原始图像。

其中，原始图像包括但不限于图片、照片等。具体可以是通过摄像设备例如照相机拍摄获取的图像，也可以是从视频数据中截取的图像，或者是通过应用程序上传的图像等等。

在一个实施例中，原始图像可以是包括有人脸的图像；目标翻译图像是为该人脸贴上胡子的特效图像。例如，用户可拍摄一张包括有人脸的原始图像，并将该包括有人脸的原始图像通过应用程序进行上传，在终端将原始图像输入至图像翻译模型进行运算处理后，获得人脸上贴有胡子的目标翻译图像。

步骤S320，将原始图像输入至图像翻译模型中，得到原始图像的差异图像以及合成权重参数。

其中，图像翻译模型是用于根据原始图像预测差异图像以及合成权重参数的网络模型；这里的图像翻译模型是已训练好的网络模型，可直接用于获取与原始图像对应的差异图像以及合成权重参数。进一步地，图像翻译模型可以是卷积神经网络模型。

其中，差异图像是图像翻译模型对原始图像进行数据处理后获得的图像，是用于修饰原始图像的图像。例如，在为人脸图像添加上胡子的应用场景中，差异图像是指待添加到人脸图像的胡子图像数据。

其中，合成权重参数是指在原始图像以及差异图像进行叠加合成时各自的权重。合成权重参数的取值范围一般为0到1，应该理解的是，当合成权重参数的取值为0时，即原始图像在叠加合成过程中占比为0，最终获得的图像为差异图像，当合成权重参数的取值为1时，即各个原始图像在叠加合成过程中占比为1，即最终获得的图像与原始图像一致。

步骤S330，通过图像翻译模型，根据合成权重参数叠加原始图像以及差异图像，获取原始图像的目标翻译图像。

其中，在得到图像翻译模型输出的差异图像以及合成权重参数以后，可根据合成权重系数，对原始图像以及差异图像的进行叠加，并利将叠加后获得的图像确定为目标翻译图像。

进一步地，根据合成权重系数叠加原始图像以及差异图像，具体可以是，根据合成权重参数确定原始图像以及差异图像在叠加过程中的权重值，通过各自的权重值对应将原始图像以及差异图像进行叠加融合，实现在原始图像的基础上，叠加差异图像，使得目标翻译图像保留原始图像中的信息，有效提高了图像翻译的图像清晰度。即使在使用运算量小或网络模型层级低的图像翻译模型进行图像翻译，也能够使得最终获得的目标翻译图像保持较好的清晰度，提高图像翻译的性能。

上述图像翻译方法中，在获取待处理的原始图像后，通过将原始图像输入至图像翻译模型中，以获得差异图像以及合成权重参数，然后根据合成权重参数叠加原始图像以及差异图像，得到目标翻译图像，实现在在原始图像的图像信息的基础上叠加差异图像，在一定程度上保留原始图像中的信息，有效提高了图像翻译的图像清晰度。即使在使用运算量小或网络模型层级低的图像翻译模型进行图像翻译，也能够使得最终获得的目标翻译图像保持较好的清晰度，提高图像翻译的性能。

在一个实施例中，图像翻译模型包括图像合成网络；如图4所示，通过图像翻译模型，根据合成权重参数叠加原始图像以及差异图像，获取原始图像的目标翻译图像的步骤，包括：

步骤S331，根据合成权重参数，确定原始图像的第一合成权重值以及差异图像的第二合成权重值。

其中，第一合成权重值是指原始图像上各个像素点的叠加所占的权重，第二权重至是指差异图像上各个像素点的叠加过程中所占权重。

其中，第一合成权重值与第二合成权重值的和值等于1。例如，假设合成权重参数为0.4，原始图像的第一合成权重值确定为0.4，而差异图像的第二合成权重值为0.6。通过合成权重参数，确定原始图像以及差异图像的权重值，即分别设置原始图像以及差异图像叠加权重，后续通过将原始图像以及差异图像以各自设置的透明度进行叠加，以获得目标翻译图像。

步骤S332，通过图像合成网络，计算第一合成权重值与原始图像的图像数据的第一乘积，得到翻译图像基础数据。

步骤S333，通过图像合成网络，计算第二合成权重值与差异图像的图像数据的第二乘积，得到翻译图像特征数据。

步骤S334，通过图像合成网络将翻译图像基础数据以及翻译图像特征数据进行叠加，由叠加得到的图像数据得到目标翻译图像。

其中，在获得原始图像的第一合成权重值以及差异图像的第二合成权重值后，计算第一合成权重值与原始图像上各个像素点的乘积，以获取翻译图像基础数据，并计算第二合成权重值与差异图像的第二乘积，以获取翻译图像基础数据。其中，翻译图像特征数据是指原始图像与翻译图像之间的差值，用于表征翻译图像与原始图像间的差异，例如在为人脸图像贴上胡子的应用场景中，翻译图像特征数据可以是表征需要贴上的胡子对应的图像数据。然后，通过将翻译图像基础数据与翻译图像特征数据进行叠加，以获取目标翻译图像，实现在原始图像的基础上，叠加差异图像，使得目标翻译图像保留原始图像中的信息，提高目标翻译图像的清晰度，减少噪声，有效提高图像翻译模型的翻译精准性。

进一步的，在一个实施例中，根据合成权重参数叠加原始图像以及差异图像，得到原始图像的目标翻译图像的步骤，包括：根据out＝alpha*in+(1–alpha)*rgb获取目标翻译图像；其中，out表示目标翻译图像，in表示原始图像，rgb表示差异图像，alpha表示合成权重参数。

在一个实施中，如图5a所示，图像翻译方法包括：

步骤S510，获取待处理的人脸图像。

其中，人脸图像是指包括有人脸正面或侧面的图像，具体可以是通过摄像设备例如照相机拍摄获取的图像，也可以是从视频数据中截取的图像，或者是通过应用程序上传的图像等等。

步骤S520，将人脸图像输入至图像翻译模型中，通过图像翻译模型得到人脸图像的特效差异图像以及合成权重参数。

具体地，终端在获取到人脸图像后，将人脸图像输入至图像翻译模型中，经过图像翻译模型中的网络结构对人脸图像进行运算处理后，图像翻译模型输出与人脸图像数对应的特效差异图像以及合成权重参数。

其中，图像翻译模型是用于根据人脸图像计算获取特效差异图像以及合成权重参数的网络模型；这里的图像翻译模型是已训练好的网络模型，可直接用于获取与人脸图像对应的特效差异图像以及合成权重参数。进一步地，图像翻译模型可以是卷积神经网络模型。

其中，特效差异图像是图像翻译模型对人脸图像进行计算处理获得的图像，是用于修饰原始图像的图像。例如，在为人脸图像添加上胡子的应用场景中，特效为人脸贴胡子，如图5b所示，人脸图像为一张脸上没有胡子的人脸图像，在经过图像翻译模型运算处理后，图像翻译模型输出一张特效差异图像，特效差异图像如图5c所示，特效差异图像是一张胡子图像，该胡子图像是与人脸图像对应的。应该理解的是，输入至图像翻译模型的人脸图像不同，图像翻译模型输出的初始特性图像不同。

其中，合成权重参数是指在人脸图像以及特效差异图像进行叠加合成时各自的权重，合成权重参数的取值范围一般为0到1。

步骤S530，通过图像翻译模型，根据合成权重参数叠加人脸图像以及特效差异图像，得到人脸图像的目标特效人脸图像。

其中，在得到图像翻译模型输出的特效差异图像以及合成权重参数以后，可根据合成权重参数叠加人脸图像以及特效差异图像，并将叠加后获得的图像确定为目标特效人脸图像。

进一步地，根据合成权重参数叠加人脸图像以及特效差异图像，具体可以是，根据合成权重参数确定人脸图像的第一合成权重值以及特效差异图像的第二合成权重值。在融合过程中，计算第一合成权重值与人脸图像的图像数据的第一乘积，得到翻译图像基础数据，并计算第二合成权重值与特效差异图像的图像数据的第二乘积，得到翻译图像特效数据。然后将翻译图像基础数据与翻译图像特效数据进行叠加，获得目标特效人脸图像。

同样的，在为人脸图像添加上胡子的应用场景中，第二合成权重值与特效差异图像的图像数据获取翻译图像特效数据，该翻译图像特效数据如图5d所示，翻译图像基础数据与翻译图像特效数据进行叠加后获得的目标特效人脸图像如图5e所示。上述方法实现在人脸图像的基础上叠加特效差异图像，使得目标特效人脸图像保留人脸图像中的信息的同时，实现特效的添加，有效提高了图像翻译的图像清晰度。即使在使用运算量小或网络模型层级低的图像翻译模型进行图像翻译，也能够使得最终获得的目标翻译图像保持较好的清晰度，提高图像翻译的性能。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图6是根据一示例性实施例示出的一种图像翻译模型的构建装置框图。参照图6，该装置包括样本获取单元610，差异学习单元620，图像合成单元630，损失值计算单元640，以及模型训练单元650。

样本获取单元610，被配置为执行获取训练样本图像集，其中，训练样本图像集包括多个样本图像以及与样本图像对应的样本翻译图像；

差异学习单元620，被配置为执行将样本图像输入至预先构建的图像翻译模型，得到样本图像与样本翻译图像间的预测差异图像，以及样本图像与预测差异图像的预测合成权重参数；

图像合成单元630，被配置为执行通过预先构建的图像翻译模型，根据预测合成权重参数叠加样本图像以及预测差异图像，得到样本图像的预测翻译图像；

损失值计算单元640，被配置为执行计算样本翻译图像以及预测翻译图像间的差值，得到图像翻译模型的损失值；

模型训练单元650，被配置为执行根据损失值反向训练预先构建的图像翻译模型，直至图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

在一个实施例中，图像翻译模型包括图像差异预测网络，其中，图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；差异学习单元620，具体用于将样本图像输入至图像差异网络中，通过图像差异图像网络，根据样本图像的图像数据获取预测差异图像在R通道上的分量值、在G通道上的分量值、在B通道上的分量值，以及权重参数通道的预测合成权重参数；根据R通道的分量值、G通道的分量值以及B通道的分量值合成预测差异图像。

在一个实施例中，图像翻译模型包括图像合成网络；图像合成单元630，被配置为执行根据预测合成权重参数，确定样本图像的第一合成权重值以及预测差异图像的第二合成权重值；通过图像合成网络计算第一合成权重值与样本图像的图像数据的第一乘积，得到预测翻译图像基础数据；通过图像合成网络计算第二合成权重值与预测差异图像的图像数据的第二乘积，得到预测翻译图像特征数据；通过图像合成网络将预测翻译图像基础数据以及预测翻译图像特征数据进行叠加，得到预测翻译图像。

进一步地在一个实施例中，图像合成单元630，具体被配置为执行根据下述公式获取预测翻译图像，该公式具体为；

out＝alpha*in+(1–alpha)*rgb

其中，out表示预测翻译图像，in表示样本图像，rgb表示预测差异图像，alpha表示预测合成权重参数。

图7是根据一示例性实施例示出的一种图像翻译装置框图。参照图7，该装置包括图像获取单元710，图像预测单元720和图像调整单元730。

图像获取单元710，被配置为执行获取待处理的原始图像；

差异图像预测单元720，被配置为执行将原始图像输入至图像翻译模型中，得到原始图像的差异图像以及合成权重参数；

翻译图像获取单元730，被配置为执行通过图像翻译模型，根据合成权重参数叠加原始图像以及差异图像，获取原始图像的目标翻译图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图8所示，图8是根据一示例性实施例示出的一种电子设备的框图。该电子设备为一种计算机设备，包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据交互方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图9所示，图9是根据一示例性实施例示出的一种电子设备的框图。该电子设备为一种计算机设备，包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像翻译方法。

本领域技术人员可以理解，图8和图9中示出的结构，仅仅是与本公开的方案相关的部分结构的框图，并不构成对本公开的方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种电子设备，包括处理器，用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如上任一项实施例的图像翻译方法。

本领域普通技术人员可以理解实现如上任一项实施例所述的图像翻译方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

据此，在一个实施例中还提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上任一项实施例的图像翻译方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像翻译模型的构建方法，其特征在于，包括：

获取训练样本图像集，其中，所述训练样本图像集包括多个样本图像以及与所述样本图像对应的样本翻译图像；

将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数；

通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像；

计算所述样本翻译图像以及所述预测翻译图像间的差值，得到所述图像翻译模型的损失值；

根据所述损失值反向训练所述预先构建的图像翻译模型，直至所述图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

2.根据权利要求1所述的图像翻译模型的构建方法，其特征在于，所述图像翻译模型包括图像差异预测网络，其中，所述图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；

所述将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数的步骤，包括：

将所述样本图像输入至图像差异网络中，通过所述图像差异图像网络，根据所述样本图像的图像数据获取所述预测差异图像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述权重参数通道的预测合成权重参数；

根据所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述预测差异图像。

3.根据权利要求1所述的图像翻译模型的构建方法，其特征在于，所述图像翻译模型包括图像合成网络；

所述通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像的步骤，包括：

根据所述预测合成权重参数，确定所述样本图像的第一合成权重值以及所述预测差异图像的第二合成权重值；

通过所述图像合成网络计算所述第一合成权重值与所述样本图像的图像数据的第一乘积，得到预测翻译图像基础数据；

通过所述图像合成网络计算所述第二合成权重值与所述预测差异图像的图像数据的第二乘积，得到预测翻译图像特征数据；

通过所述图像合成网络将所述预测翻译图像基础数据以及所述预测翻译图像特征数据进行叠加，得到预测翻译图像。

4.根据权利要求3所述的图像翻译模型的构建方法，其特征在于，所述通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像的步骤，包括：

根据out＝alpha*in+(1–alpha)*rgb获取预测翻译图像；

其中，out表示所述预测翻译图像，in表示所述样本图像，rgb表示所述预测差异图像，alpha表示所述预测合成权重参数。

5.一种图像翻译方法，其特征在于，包括

获取待处理的原始图像；

将所述原始图像输入至图像翻译模型中，得到所述原始图像的差异图像以及合成权重参数；其中，所述图像翻译模型为根据权利要求1至4中任一项所述的图像翻译模型的构建方法得到的；

通过所述图像翻译模型，根据所述合成权重参数叠加所述原始图像以及所述差异图像，获取所述原始图像的目标翻译图像。

6.一种图像翻译模型的构建装置，其特征在于，包括：

样本获取单元，被配置为执行获取训练样本图像集，其中，所述训练样本图像集包括多个样本图像以及与所述样本图像对应的样本翻译图像；

差异学习单元，被配置为执行将所述样本图像输入至预先构建的图像翻译模型，得到所述样本图像与所述样本翻译图像间的预测差异图像，以及所述样本图像与所述预测差异图像的预测合成权重参数；

图像合成单元，被配置为执行通过所述预先构建的图像翻译模型，根据所述预测合成权重参数叠加所述样本图像以及所述预测差异图像，得到所述样本图像的预测翻译图像；

损失值计算单元，被配置为执行计算所述样本翻译图像以及所述预测翻译图像间的差值，得到所述图像翻译模型的损失值；

模型训练单元，被配置为执行根据所述损失值反向训练所述预先构建的图像翻译模型，直至所述图像翻译模型达到收敛条件，得到训练完成的图像翻译模型。

7.根据权利要求6所述的图像翻译模型的构建装置，其特征在于，所述图像翻译模型包括图像差异预测网络，其中，所述图像差异预测网络的输出通道包括R通道、G通道、B通道以及权重参数通道；

所述差异学习单元，被配置为执行将所述样本图像输入至图像差异网络中，通过所述图像差异图像网络，根据所述样本图像的图像数据获取所述预测差异图像在所述R通道上的分量值、在所述G通道上的分量值、在所述B通道上的分量值，以及所述权重参数通道的预测合成权重参数；根据所述R通道的分量值、所述G通道的分量值以及所述B通道的分量值合成所述预测差异图像。

8.一种图像翻译装置，其特征在于，包括：

图像获取单元，被配置为执行获取待处理的原始图像；

差异图像预测单元，被配置为执行将所述原始图像输入至图像翻译模型中，得到所述原始图像的差异图像以及合成权重参数；其中，所述图像翻译模型为根据权利要求1至4中任一项所述的图像翻译模型的构建方法得到的；

翻译图像获取单元，被配置为执行通过所述图像翻译模型，根据所述合成权重参数叠加所述原始图像以及所述差异图像，获取所述原始图像的目标翻译图像。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述方法。

Images