CN112734627B - 图像风格迁移模型的训练方法、图像风格迁移方法及装置 - Google Patents

Abstract

本公开关于一种图像风格迁移模型的训练方法、图像风格迁移方法及装置，该方法包括：根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。采用本方法，有利于拟合出细节相似且仅仅风格不同的风格图像。

Description

图像风格迁移模型的训练方法、图像风格迁移方法及装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像风格迁移模型的训练方法、图像风格迁移方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

图像风格迁移是将一张图像在保持内容不变的同时换成另一种风格，使普通的人或景物图片转换为各种艺术风格效果，比如手绘风格、动画(二次元)风格等，此技术可广泛应用于图像处理、计算机图片合成和计算机视觉等方面。

相关技术中，目前的图像风格的迁移方法，一般是通过搭载在移动终端的包括编码网络和解码网络的模型中的编码网络提取原始图像中的图像特征，再通过解码网络对提取出的图像特征进行融合，得到原始图像的风格图像；但是，通过编码网络提取的图像特征可能有信息损失，导致得到的风格图像在细节上可能缺失较多，难以拟合出来细节相似且仅仅风格不同的结果，从而导致得到的风格图像的细节缺失较多。

发明内容

本公开提供一种图像风格迁移模型的训练方法、图像风格迁移方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中得到的风格图像的细节缺失较多的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像风格迁移模型的训练方法，包括：

获取样本图像以及所述样本图像对应的目标风格图像；

根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；

在所述初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；所述特征系数用于调整输入到跳连接的张量的大小；

分别将各个所述跳连接的特征系数进行第一预定次数的增加，并根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

在一示例性实施例中，所述根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格模型进行训练，包括：

将所述样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到所述样本图像的预测风格图像；

根据所述目标风格图像和所述预测风格图像之间的差值，得到损失值；

根据所述损失值，对所述包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括所述特征系数增加后的跳连接的第一图像风格迁移模型。

在一示例性实施例中，所述将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：

将各个所述跳连接的特征系数均保持为1，并根据所述样本图像和所述目标风格图像，对所述图像风格迁移模型进行第二预定次数的训练，得到所述目标图像风格迁移模型。

在一示例性实施例中，所述分别将各个所述跳连接的特征系数进行第一预定次数的增加，包括：

按照不同的特征系数增加速度，依次将所述初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

在一示例性实施例中，所述分别将各个所述跳连接的特征系数进行第一预定次数的增加，还包括：

按照所述各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

在一示例性实施例中，在获取样本图像以及所述样本图像对应的目标风格图像之后，还包括：

对所述样本图像和所述目标风格图像均进行相同的数据增强处理，得到所述样本图像对应的增强样本图像和所述目标风格图像对应的增强目标风格图像；

所述根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型，包括：

根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对所述待训练的不包括跳连接的图像风格迁移模型进行训练，得到所述初始图像风格迁移模型；

所述根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：

根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到所述目标图像风格迁移模型。

根据本公开实施例的第二方面，提供一种图像风格迁移方法，包括：

获取待处理图像；

将所述待处理图像输入训练完成的目标图像风格迁移模型，得到所述待处理图像对应的风格图像；所述训练完成的目标图像风格迁移模型根据第一方面的任一项实施例中所述的图像风格迁移模型的训练方法训练得到。

根据本公开实施例的第三方面，提供一种图像风格迁移模型的训练装置，包括：

图像获取单元，被配置为执行获取样本图像以及所述样本图像对应的目标风格图像；

第一训练单元，被配置为执行根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；

跳连接添加单元，被配置为执行在所述初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；所述特征系数用于调整输入到跳连接的张量的大小；

第二训练单元，被配置为执行分别将各个所述跳连接的特征系数进行第一预定次数的增加，并根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

在一示例性实施例中，所述第二训练单元，还被配置为执行将所述样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到所述样本图像的预测风格图像；根据所述目标风格图像和所述预测风格图像之间的差值，得到损失值；根据所述损失值，对所述包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括所述特征系数增加后的跳连接的第一图像风格迁移模型。

在一示例性实施例中，所述第二训练单元，还被配置为执行将各个所述跳连接的特征系数均保持为1，并根据所述样本图像和所述目标风格图像，对所述图像风格迁移模型进行第二预定次数的训练，得到所述目标图像风格迁移模型。

在一示例性实施例中，所述第二训练单元，还被配置为执行按照不同的特征系数增加速度，依次将所述初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

在一示例性实施例中，所述第二训练单元，还被配置为执行按照所述各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

在一示例性实施例中，所述装置还包括数据增强单元，被配置为执行对所述样本图像和所述目标风格图像均进行相同的数据增强处理，得到所述样本图像对应的增强样本图像和所述目标风格图像对应的增强目标风格图像；

所述第一训练单元，还被配置为执行根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对所述待训练的不包括跳连接的图像风格迁移模型进行训练，得到所述初始图像风格迁移模型；

所述第二训练单元，还被配置为执行根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到所述目标图像风格迁移模型。

根据本公开实施例的第四方面，提供一种图像风格迁移装置，包括：

获取单元，被配置为执行获取待处理图像；

处理单元，被配置为执行将所述待处理图像输入训练完成的目标图像风格迁移模型，得到所述待处理图像对应的风格图像；所述训练完成的目标图像风格迁移模型根据第一方面的任一项实施例中所述的图像风格迁移模型的训练方法训练得到。

根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所述的图像风格迁移模型的训练方法或者第二方面的任一项实施例中所述的图像风格迁移方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，包括：当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面的任一项实施例中所述的图像风格迁移模型的训练方法或者第二方面的任一项实施例中所述的图像风格迁移方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得设备执行第一方面任一项实施例中所述的图像风格迁移模型的训练方法或者第二方面的任一项实施例中所述的图像风格迁移方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取样本图像以及样本图像对应的目标风格图像；然后根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；并在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；特征系数用于调整输入到跳连接的张量的大小；最后分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型；这样，先训练得到不包括跳连接的初始图像风格迁移模型，再在初始图像风格迁移模型的基础上，分别将初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间的跳连接的特征系数进行第一预定次数的增加，并训练得到包括完成增加后的跳连接的目标图像风格迁移模型，使得训练得到的目标图像风格迁移模型在完成风格迁移的同时保持图像细节与原始图像相同，从而拟合出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的应用环境图。

图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图。

图3是根据一示例性实施例示出的一种图像风格迁移模型的模型结构图。

图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。

图5是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。

图6是根据一示例性实施例示出的一种图像风格迁移装置的框图。

图7是根据一示例性实施例示出的一种电子设备的内部结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所提供的图像风格迁移模型的训练方法，可以应用于如图1所示的应用环境中。参照图1，该应用环境图包括终端110，终端110是具有图像风格迁移功能的电子设备，该电子设备可以是智能手机、平板电脑、笔记本电脑或个人计算机等等。图1中以终端110是智能手机为例进行说明，参考图1，终端110获取样本图像以及样本图像对应的目标风格图像；根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；特征系数用于调整输入到跳连接的张量的大小；分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。这样，通过训练完成的目标图像风格迁移模型可以在完成风格迁移的同时保持图像细节与原始图像相同，从而拟合出图像细节相似且仅仅风格不同的风格图像。

需要说明的是，本公开提供的图像风格迁移模型的训练方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。为了方便说明，下面示例性实施例主要以该方法应用于终端进行说明。

图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图，如图2所示，图像风格迁移模型的训练方法用于如图1所示的终端中，包括以下步骤：

在步骤S210中，获取样本图像以及样本图像对应的目标风格图像。

其中，样本图像是指需要迁移风格效果的原始图像，可以是指从网络上或者本地数据库中获取得到的图像，也可以是指通过手机、相机等设备拍摄的图片，比如原始人像照片；目标风格图像是指风格效果与样本图像不同，但图像细节与样本图像相似的图像，可以通过人工或者其他方法得到，比如卡通风格人像。

具体地，终端从本地数据库中，获取样本图像以及样本图像对应的目标风格图像；或者，终端采集样本图像，通过人工标注的方法对样本图像进行处理，得到样本图像对应的目标风格图像。

举例说明，终端采集人像风格的图像A，对图像A进行风格效果迁移，得到卡通风格的图像B；其中，图像B中的人和图像A的人的五官、身材等轮廓相似，但具体风格不同。

在步骤S220中，根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型。

其中，待训练的不包括跳连接的图像风格迁移模型是指由编码网络和解码网络构成的神经网络模型，具体是指编码网络和解码网络的各对应神经网络层之间的跳连接(shortcut)的特征系数为0的U-Net网络。

需要说明的是，在模型训练过程中，待训练的不包括跳连接的图像风格迁移模型中的各个跳连接的特征系数为0，且保持不变；因此，训练完成的不包括跳连接的初始图像风格迁移模型中的各个跳连接的特征系数也等于0。

其中，编码网络是指对图像进行下采样的多层神经网络，具体包括多个神经网络层；解码网络是指对图像进行上采样的多层神经网络，具体包括多个神经网络层；例如，输入一个原始图像A，经过编码网络转化为一个包含图像语义信息的张量(Tensor)，之后再经过一个解码网络转化为目标风格的图像B；其中，张量是一种CNN(Convolutional neuralnetworks，卷积神经网络)中运算的四维数据结构。

具体地，终端将样本图像输入待训练的不包括跳连接的图像风格迁移模型，得到样本图像的预测风格图像；根据样本图像的预测风格图像和目标风格图像之间的差值，结合损失函数，比如L1 loss，MSEloss，GAN loss，计算得到第一损失值；根据第一损失值对待训练的不包括跳连接的图像风格迁移模型中的编码网络、解码网络的网络参数进行更新，得到模型参数更新后的图像风格迁移模型；对模型参数更新后的图像风格迁移模型进行再次训练，直到通过训练后的图像风格迁移模型得到的第一损失值小于第一预设阈值，则将该训练后的图像风格迁移模型，作为训练完成的不包括跳连接的初始图像风格迁移模型。这样，只对待训练的不包括跳连接的图像风格迁移模型中的编码网络和解码网络的网络参数进行调整，有利于重点学习图像的风格变化，从而使得训练得到的不包括跳连接的初始图像风格迁移模型输出的风格图像的风格感较强。

举例说明，参考图3，跳连接总共有4个，分别是跳连接3、跳连接2、跳连接1、跳连接0，总迭代次数为12000，则0-2000迭代时，跳连接3的特征系数a3、跳连接2的特征系数a2、跳连接1的特征系数a1、跳连接0的特征系数a0均设置为0，故得到的不包括跳连接的初始图像风格迁移模型中的跳连接3的特征系数a3、跳连接2的特征系数a2、跳连接1的特征系数a1、跳连接0的特征系数a0也均为0。

进一步地，在根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型，还可以包括：从样本图像中，滤除出对应的目标风格图像不符合要求的样本图像，比如标注错误的样本图像，得到目标样本图像；根据目标样本图像和目标样本图像对应的目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的包括跳连接的初始图像风格迁移模型。这样，有利于提高训练得到的初始图像风格迁移模型输出的风格图像的准确度。

在步骤S230中，在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接。

其中，特征系数用于调整输入到跳连接的张量的大小，特征系数在0-1之间。

其中，跳连接用于将编码网络中的神经网络层输出的张量输入至解码网络中的对应神经网络层，以将编码网络中的神经网络层输出的张量与输入到解码网络的对应神经网络层的其他张量拼接在一起，具体是指将编码网络中的神经网络层输出的张量剩以相应的系数(比如ai)，再输入至解码网络中的对应神经网络层中；说明在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加的跳连接为可变跳连接。例如，参考图3，编码网络和解码网络的各对应神经网络层之间均包括一个跳连接，使得编码网络处理过程中的中间结果同时沿着两条路径向后传递，一条路径按照网络结构一层层向后传递，同时另一条路径直接传递到解码网络中的对应神经网络层；这样做的目的是弥补数据在编码过程中造成的信息损失，使得风格效果迁移后的风格图像为高质量的图像。

需要说明的是，传统的U-Net网络中的跳连接是直接将编码网络中的神经网络层输出的张量输入至解码网络中的对应神经网络层，并不是将编码网络中的神经网络层输出的张量剩以相应的系数，再输入至解码网络中的对应神经网络层。例如，传统的U-Net网络中的跳连接可以视为函数S(x)＝x，本公开的可变跳连接可以视为函数Si(x，ai)＝x×ai；其中，x为输入到可变跳连接的张量，ai为人为设定的参数，可以根据实际情况进行调整，具体数值在0-1之间。

需要说明的是，搭载在移动终端中的传统U-Net网络的网络规模较小，比如计算量和参数量均较小，网络拟合能力也较弱；为了迅速降低损失函数的损失值，传统U-Net网络输出的风格图像的风格感会较弱，甚至与输入的原始图像非常相似；这是由于传统U-Net网络中采用大量的跳连接，因此传统U-Net网络倾向于直接将编码网络中的更接近原始图像的图像信息的张量作为输出；另外，对于缺乏跳连接的U-Net网络，比如FCN网络(FullyConvolutional Networks for Semantic Segmentation，用于语义分割的全卷积网络)，其输出需要完全依靠FCN网络中的解码网络复原出来，但因为通过FCN网络中的编码网络压缩后的张量可能有信息损失，故通过解码网络复原出来的风格图像在细节上可能缺失较多，难以拟合出来细节相似且仅仅风格不同的结果，从而导致得到的风格图像的细节缺失较多。因此，采用包含跳连接和不包含跳连接的网络模型均有各自的缺陷，本公开采用了逐渐增加跳连的方式，融合包含跳连接和不包含跳连接的网络模型的优点，并避免二者各自的缺陷，在完成风格转化的同时保持图像细节与原始图像相似。

在步骤S240中，分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

其中，将跳连接的特征系数进行第一预定次数的增加，是指将跳连接的特征系数从0增加至1，并在达到第一预定次数时，该跳连接的特征系数为1；这样，初始图像风格迁移模型中各个跳连接的特征系数从0逐渐增加到1，通过编码网络向后传递给解码网络的图像细节信息也从无增加到正常水平。

其中，分别将各个跳连接的特征系数进行第一预定次数的增加，是指按照不同的特征系数增加速度，依次将初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1；或者，按照初始图像风格迁移模型中各对应神经网络层从低到高的顺序，依序将每个跳连接的特征系数经过第一预定次数的增加后达到1，比如参考图3，先将跳连接3的特征系数从0增加至1，再将跳连接2的特征系数从0增加至1，接着将跳连接1的特征系数从0增加至1，最后将跳连接0的特征系数从0增加至1。

其中，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，是指每次跳连接的特征系数增加后，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接的初始图像风格迁移模型进行训练。

具体地，终端分别将各个跳连接的特征系数进行第一预定次数的增加，以将各个跳连接的特征系数从0增加至1；并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，根据样本图像和目标风格图像，对各个跳连接的特征系数均为1的初始图像风格迁移模型进行训练，得到包括完成增加后的跳连接的目标图像风格迁移模型。这样，依序将各个跳连接的特征系数从0增加至1，使得通过编码网络向后传递给解码网络的图像细节信息从无增加到正常水平，有利于通过训练完成的目标图像风格迁移模型输出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

进一步地，通过训练完成的目标图像风格迁移模型，可以直接输出图像细节与原始图像相似，但图像风格与原始图像不同的风格图像。

上述图像风格迁移模型的训练方法中，通过获取样本图像以及样本图像对应的目标风格图像；然后根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；并在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；特征系数用于调整输入到跳连接的张量的大小；最后分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型；这样，先训练得到不包括跳连接的初始图像风格迁移模型，再在初始图像风格迁移模型的基础上，分别将初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间的跳连接的特征系数进行第一预定次数的增加，并训练得到包括完成增加后的跳连接的目标图像风格迁移模型，使得训练得到的目标图像风格迁移模型在完成风格迁移的同时保持图像细节与原始图像相同，从而拟合出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

在一示例性实施例中，在步骤S240中，分别将各个跳连接的特征系数进行第一预定次数的增加，包括：按照各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

其中，按照各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1，是指在初始图像风格迁移模型中，先将编码网络的最低位置的神经网络层对应的跳连接的特征系数从0增加至1，再将编码网络的倒数第二低位置的神经网络层对应的跳连接的特征系数从0增加至1，以此类推，最后将编码网络的最高位置的神经网络层对应的跳连接的特征系数从0增加至1。

举例说明，参考图3，总迭代次数为12000，则0-2000次迭代时，跳连接3的特征系数a3、跳连接2的特征系数a2、跳连接1的特征系数a1、跳连接0的特征系数a0均设置为0，最终训练得到不包括跳连接的初始图像风格迁移模型；在2000-4000次迭代时，跳连接3的特征系数a3从0线性增加到1，之后a3保持不变；在这个过程中，跳连接3的特征系数a3每增加一次，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接3的初始图像风格迁移模型进行训练；在4000-6000次迭代时，跳连接2的特征系数a2从0线性增加到1，之后a2保持不变；在这个过程中，跳连接2的特征系数a2每增加一次，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接2的初始图像风格迁移模型进行训练；在6000-8000次迭代时，跳连接1的特征系数a1从0线性增加到1，之后a1保持不变；在这个过程中，跳连接1的特征系数a1每增加一次，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接1的初始图像风格迁移模型进行训练；在8000-10000次迭代时，跳连接0的特征系数a0从0线性增加到1，之后a0保持不变；在这个过程中，跳连接0的特征系数a0每增加一次，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接0的初始图像风格迁移模型进行训练；当将跳连接3的特征系数a3、跳连接2的特征系数a2、跳连接1的特征系数a1、跳连接0的特征系数a0均增加到1时，训练得到包括完成增加后的跳连接3、跳连接2、跳连接1和跳连接0的目标图像风格迁移模型。

需要说明的是，依序将各个跳连接的特征系数从0逐渐增加至1，是为了防止ai从0～1时跳变造成等效的网络结构突然变化，会直接破坏网络优化过程；另外，按照a3-a0的顺序变化为1，是因为a3更接近抽象语义信息，a0更接近底层纹理信息；最后恢复纹理信息可以使得解码网络的风格化训练时间更长更充分，而纹理信息的生成是要依赖之前的高层语义信息，因此需要先恢复语义信息，后恢复纹理信息。

需要说明的是，最初将所有ai均设置为0，此时网络模型等效于不包含跳连接的网络模型，此时解码网络不包含编码网络传递过来的信息，会重点学习图像的风格化变化，但由于跳连接的权重系数ai＝0，因此不包含编码网络直接传递来的信息，细节恢复会比较差；最终状态时全部跳连接的权重系数ai＝1，此时网络模型等效于包含跳连接的网络模型，解码网络会利用编码网络传递过来的数据恢复细节；且同包含跳连接的网络模型相比，本公开会有ai＝0的阶段来使得解码网络得到充分训练。

本公开实施例提供的技术方案，采用逐渐增加跳连的方式，将初始图像风格迁移模型中各个跳连接的特征系数从0逐渐增加到1，通过编码网络向后传递给解码网络的图像细节信息也从无增加到正常水平，使得在完成风格转化的同时保持图像细节与原始图像相似，从而使得训练完成的目标图像风格迁移模型能够输出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

在一示例性实施例中，在步骤S240中，根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，包括：将样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到样本图像的预测风格图像；根据目标风格图像和预测风格图像之间的差值，得到损失值；根据损失值，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括特征系数增加后的跳连接的第一图像风格迁移模型。

具体地，终端将样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到样本图像的预测风格图像；根据样本图像的目标风格图像和预测风格图像之间的差值，结合损失函数，计算得到损失值；根据损失值，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括特征系数增加后的跳连接的第一图像风格迁移模型。

接着，在训练完成的包括特征系数增加后的跳连接的第一图像风格迁移模型的基础上，对跳连接的特征系数进行再次增加，比如参考图3，将跳连接3的特征系数a3从0.11增加至0.12，得到包括特征系数增加后的跳连接的第二图像风格迁移模型；终端将样本图像输入包括特征系数增加后的跳连接的第二图像风格迁移模型，得到样本图像的预测风格图像；根据样本图像的目标风格图像和预测风格图像之间的差值，结合损失函数，计算得到第三损失值；根据第三损失值，对包括特征系数增加后的跳连接的第二图像风格迁移模型的模型参数进行调整，得到训练完成的包括特征系数增加后的跳连接的第二图像风格迁移模型。

本公开实施例提供的技术方案，根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，实现了对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练的目的，使得每次训练得到的图像风格迁移模型输出的风格图像的图像细节更接近原始图像的图像细节，从而使得最终训练得到的目标图像风格迁移模型在完成风格迁移的同时保持图像细节与原始图像相同，从而拟合出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

在一示例性实施例中，在步骤S240中，将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：当将各个跳连接的特征系数都增加到1时，将各个跳连接的特征系数均保持为1，并根据样本图像和目标风格图像，对图像风格迁移模型进行第二预定次数的训练，得到目标图像风格迁移模型。

具体地，当将各个跳连接的特征系数都增加到1时，将各个跳连接的特征系数均保持为1，终端将样本图像输入各个跳连接的特征系数均为1的初始图像风格迁移模型，得到样本图像的预测风格图像；根据样本图像的预测风格图像和目标风格图像之间的差值，结合损失函数，计算得到第二损失值；根据第二损失值对该初始图像风格迁移模型中的编码网络、解码网络的网络参数进行更新，得到模型参数更新后的图像风格迁移模型；对模型参数更新后的图像风格迁移模型进行再次训练，直到训练次数达到第二预定次数，则将训练后的图像风格迁移模型，作为目标图像风格迁移模型。

举例说明，参考图3，在对各个跳连接的特征系数均为1的初始图像风格迁移模型进行训练时，即在10000-12000次迭代时，跳连接3的特征系数a3、跳连接2的特征系数a2、跳连接1的特征系数a1、跳连接0的特征系数a0均设置为1，且保持不变。

本公开实施例提供的技术方案，当将各个跳连接的特征系数都增加到1时，将各个跳连接的特征系数均保持为1，并根据样本图像和目标风格图像，对图像风格迁移模型进行第二预定次数的训练，使得训练得到的目标图像风格迁移模型输出的风格图像的图像细节与原始图像的图像细节更加相似，避免了得到的风格图像的细节缺失较多的缺陷，进一步提高了输出的风格图像的准确度。

在一示例性实施例中，在步骤S240中，分别将各个跳连接的特征系数进行第一预定次数的增加，还包括：按照不同的特征系数增加速度，依次将初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

其中，特征系数增加速度是指跳连接的特征系数的增加速度，比如每次增加0.01。

举例说明，参考图3，终端按照不同的特征系数增加速度，将跳连接3、跳连接2、跳连接1、跳连接0的特征系数从0增加至1；若跳连接3的特征系数增加速度>跳连接2特征系数增加速度>跳连接1的特征系数增加速度>跳连接0的特征系数增加速度，那么跳连接3的特征系数先达到1，接着跳连接2的特征系数达到1，紧接着跳连接1的特征系数达到1，最后跳连接0的特征系数达到1；在这个过程中，跳连接3、跳连接2、跳连接1和跳连接0的特征系数每增加一次，都需要根据样本图像和目标风格图像，对包括特征系数增加后的跳连接3、跳连接2、跳连接1和跳连接0的初始图像风格迁移模型进行训练；当跳连接3、跳连接2、跳连接1和跳连接0的特征系数都增加到1时，训练得到目标图像风格迁移模型。

本公开实施例提供的技术方案，按照不同的特征系数增加速度，依次将初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1，使得通过编码网络向后传递给解码网络的图像细节信息也从无增加到正常水平，从而使得在完成风格转化的同时保持图像细节与原始图像相似，进而使得训练完成的目标图像风格迁移模型能够输出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

在一示例性实施例中，在步骤S210中，在获取样本图像以及样本图像对应的目标风格图像之后，还包括：对样本图像和目标风格图像均进行相同的数据增强处理，得到样本图像对应的增强样本图像和目标风格图像对应的增强目标风格图像。

其中，数据增强处理是指旋转、平移、缩放等变换方式，目的是增加样本图像和目标风格图像的丰富性。

举例说明，终端对样本图像和目标风格图像均进行相同的旋转处理，且旋转角度一样，得到旋转处理后的样本图像以及旋转处理后的目标风格图像。

那么，上述步骤S220，根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型，包括：根据样本图像、增强样本图像、目标风格图像和增强目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到初始图像风格迁移模型。

那么，上述步骤S240，根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：根据样本图像、增强样本图像、目标风格图像和增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到目标图像风格迁移模型。

需要说明的是，对待训练的不包括跳连接的图像风格迁移模型进行训练的过程、对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练的过程可以参考上述实施例，在此不再具体赘述。

本公开实施例提供的技术方案，根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型，以及根据样本图像、增强样本图像、目标风格图像和增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，有利于进一步提高后续训练得到的目标图像风格迁移模型输出的风格图像的准确度。

图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图，如图4所示，图像风格迁移方法用于如图1所示的终端中，包括以下步骤：

在步骤S410中，获取待处理图像。

其中，待处理图像可以是网络上或者本地数据库存储的图像，也可以是通过手机、相机等拍摄得到的图像。

在步骤S420中，将待处理图像输入训练完成的目标图像风格迁移模型，得到待处理图像对应的风格图像；训练完成的目标图像风格迁移模型根据图像风格迁移模型的训练方法训练得到。

举例说明，终端对待处理图像进行图像增强处理，比如增强对比度、增强分辨率等，得到图像增强处理后的待处理图像；将图像增强处理后的待处理图像输入训练完成的目标图像风格迁移模型，得到待处理图像对应的风格图像，该风格图像的图像细节与待处理图像的图像细节相似，但其图像风格与待处理图像的图像风格不一样。

上述图像风格迁移方法中，将待处理图像输入训练完成的目标图像风格迁移模型，通过训练完成的目标图像风格迁移模型在完成风格迁移的同时保持图像细节与待处理图像相同，从而拟合出图像细节相似且仅仅风格不同的风格图像，避免了得到的风格图像的细节缺失较多的缺陷。

应该理解的是，虽然图2、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图5是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。参照图5，该装置包括图像获取单元510，第一训练单元520，跳连接添加单元530和第二训练单元540。

图像获取单元510，被配置为执行获取样本图像以及样本图像对应的目标风格图像。

第一训练单元520，被配置为执行根据样本图像和目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型。

跳连接添加单元530，被配置为执行在初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；特征系数用于调整输入到跳连接的张量的大小。

第二训练单元540，被配置为执行分别将各个跳连接的特征系数进行第一预定次数的增加，并根据样本图像和目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

在一示例性实施例中，第二训练单元540，还被配置为执行将样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到样本图像的预测风格图像；根据目标风格图像和预测风格图像之间的差值，得到损失值；根据损失值，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括特征系数增加后的跳连接的第一图像风格迁移模型。

在一示例性实施例中，第二训练单元540，还被配置为执行将各个跳连接的特征系数均保持为1，并根据样本图像和目标风格图像，对图像风格迁移模型进行第二预定次数的训练，得到目标图像风格迁移模型。

在一示例性实施例中，第二训练单元540，还被配置为执行按照不同的特征系数增加速度，依次将初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

在一示例性实施例中，第二训练单元540，还被配置为执行按照各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

在一示例性实施例中，本公开提供的图像风格迁移模型的训练装置还包括数据增强单元，被配置为执行对样本图像和目标风格图像均进行相同的数据增强处理，得到样本图像对应的增强样本图像和目标风格图像对应的增强目标风格图像；

第一训练单元520，还被配置为执行根据样本图像、增强样本图像、目标风格图像和增强目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到初始图像风格迁移模型；

第二训练单元540，还被配置为执行根据样本图像、增强样本图像、目标风格图像和增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个跳连接的特征系数都增加到1时，训练得到目标图像风格迁移模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种图像风格迁移装置的框图。参照图6，该装置包括获取单元610和处理单元620。

获取单元610，被配置为执行获取待处理图像。

处理单元620，被配置为执行将待处理图像输入训练完成的目标图像风格迁移模型，得到待处理图像对应的风格图像；训练完成的目标图像风格迁移模型根据上述图像风格迁移模型的训练方法训练得到。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示例性实施例示出的一种用于执行上述的图像风格迁移模型的训练方法或者图像风格迁移方法的电子设备700的框图。例如，电子设备700可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件1002、存储器1004、电源组件706、多媒体组件708、音频组件710、输入/输出(I/O)的接口712、传感器组件714以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像风格迁移模型的训练方法或者图像风格迁移方法。

在一示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述图像风格迁移模型的训练方法或者图像风格迁移方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，该程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，电子设备的至少一个处理器从该计算机可读存储介质读取并执行该计算机程序，使得电子设备执行本公开的任一项实施例中所述的图像风格迁移模型的训练方法或者图像风格迁移方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像风格迁移模型的训练方法，其特征在于，包括：

获取样本图像以及所述样本图像对应的目标风格图像；

根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；

在所述初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；所述特征系数用于调整输入到跳连接的张量的大小；

分别将各个所述跳连接的特征系数进行第一预定次数的增加，并根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

2.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，包括：

将所述样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到所述样本图像的预测风格图像；

根据所述目标风格图像和所述预测风格图像之间的差值，得到损失值；

根据所述损失值，对所述包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括所述特征系数增加后的跳连接的第一图像风格迁移模型。

3.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：

将各个所述跳连接的特征系数均保持为1，并根据所述样本图像和所述目标风格图像，对所述图像风格迁移模型进行第二预定次数的训练，得到所述目标图像风格迁移模型。

4.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述分别将各个所述跳连接的特征系数进行第一预定次数的增加，包括：

按照不同的特征系数增加速度，依次将所述初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

5.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述分别将各个所述跳连接的特征系数进行第一预定次数的增加，还包括：

按照所述各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

6.根据权利要求1至5任一项所述的图像风格迁移模型的训练方法，其特征在于，在获取样本图像以及所述样本图像对应的目标风格图像之后，还包括：

对所述样本图像和所述目标风格图像均进行相同的数据增强处理，得到所述样本图像对应的增强样本图像和所述目标风格图像对应的增强目标风格图像；

所述根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型，包括：

根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对所述待训练的不包括跳连接的图像风格迁移模型进行训练，得到所述初始图像风格迁移模型；

所述根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型，包括：

根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到所述目标图像风格迁移模型。

7.一种图像风格迁移方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像输入训练完成的目标图像风格迁移模型，得到所述待处理图像对应的风格图像；所述训练完成的目标图像风格迁移模型根据权利要求1至6任一项所述的图像风格迁移模型的训练方法训练得到。

8.一种图像风格迁移模型的训练装置，其特征在于，包括：

图像获取单元，被配置为执行获取样本图像以及所述样本图像对应的目标风格图像；

第一训练单元，被配置为执行根据所述样本图像和所述目标风格图像，对待训练的不包括跳连接的图像风格迁移模型进行训练，得到训练完成的不包括跳连接的初始图像风格迁移模型；

跳连接添加单元，被配置为执行在所述初始图像风格迁移模型的编码网络和解码网络的各对应神经网络层之间增加特征系数大于0的跳连接；所述特征系数用于调整输入到跳连接的张量的大小；

第二训练单元，被配置为执行分别将各个所述跳连接的特征系数进行第一预定次数的增加，并根据所述样本图像和所述目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到包括完成增加后的跳连接的目标图像风格迁移模型。

9.根据权利要求8所述的图像风格迁移模型的训练装置，其特征在于，所述第二训练单元，还被配置为执行将所述样本图像输入包括每次特征系数增加后的跳连接的初始图像风格迁移模型，得到所述样本图像的预测风格图像；根据所述目标风格图像和所述预测风格图像之间的差值，得到损失值；根据所述损失值，对所述包括每次特征系数增加后的跳连接的初始图像风格迁移模型的模型参数进行调整，得到训练完成的包括所述特征系数增加后的跳连接的第一图像风格迁移模型。

10.根据权利要求8所述的图像风格迁移模型的训练装置，其特征在于，所述第二训练单元，还被配置为执行将各个所述跳连接的特征系数均保持为1，并根据所述样本图像和所述目标风格图像，对所述图像风格迁移模型进行第二预定次数的训练，得到所述目标图像风格迁移模型。

11.根据权利要求8所述的图像风格迁移模型的训练装置，其特征在于，所述第二训练单元，还被配置为执行按照不同的特征系数增加速度，依次将所述初始图像风格迁移模型中包括的各个跳连接的特征系数从0增加至1。

12.根据权利要求8所述的图像风格迁移模型的训练装置，其特征在于，所述第二训练单元，还被配置为执行按照所述各对应神经网络层从低到高的顺序，依序将各对应神经网络层之间的跳连接的特征系数经过第一预定次数的增加后达到1。

13.根据权利要求8至12任一项所述的图像风格迁移模型的训练装置，其特征在于，所述装置还包括数据增强单元，被配置为执行对所述样本图像和所述目标风格图像均进行相同的数据增强处理，得到所述样本图像对应的增强样本图像和所述目标风格图像对应的增强目标风格图像；

所述第一训练单元，还被配置为执行根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对所述待训练的不包括跳连接的图像风格迁移模型进行训练，得到所述初始图像风格迁移模型；

所述第二训练单元，还被配置为执行根据所述样本图像、所述增强样本图像、所述目标风格图像和所述增强目标风格图像，对包括每次特征系数增加后的跳连接的初始图像风格迁移模型进行训练，直到将各个所述跳连接的特征系数都增加到1时，训练得到所述目标图像风格迁移模型。

14.一种图像风格迁移装置，其特征在于，包括：

获取单元，被配置为执行获取待处理图像；

处理单元，被配置为执行将所述待处理图像输入训练完成的目标图像风格迁移模型，得到所述待处理图像对应的风格图像；所述训练完成的目标图像风格迁移模型根据权利要求1至6任一项所述的图像风格迁移模型的训练方法训练得到。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。

Images