CN112581361B - 图像风格迁移模型的训练方法、图像风格迁移方法及装置 - Google Patents

图像风格迁移模型的训练方法、图像风格迁移方法及装置 Download PDF

Info

Publication number
CN112581361B
CN112581361B CN202011612079.5A CN202011612079A CN112581361B CN 112581361 B CN112581361 B CN 112581361B CN 202011612079 A CN202011612079 A CN 202011612079A CN 112581361 B CN112581361 B CN 112581361B
Authority
CN
China
Prior art keywords
image
style
migration model
style migration
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011612079.5A
Other languages
English (en)
Other versions
CN112581361A (zh
Inventor
方慕园
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011612079.5A priority Critical patent/CN112581361B/zh
Publication of CN112581361A publication Critical patent/CN112581361A/zh
Application granted granted Critical
Publication of CN112581361B publication Critical patent/CN112581361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种图像风格迁移模型的训练方法、图像风格迁移方法及装置，涉及图像处理技术领域。其中，所述训练方法包括：获取样本图像以及样本图像对应的目标风格图像；将样本图像输入图像风格迁移模型，并得到输出的风格化图像；根据风格化图像及目标风格图像计算图像风格迁移模型的损失值；根据损失值和反向传播梯度调整图像风格迁移模型的参数，得到训练后的图像风格迁移模型；其中，跳连接的反向传播梯度基于跳连接的初始反向传播梯度与衰减系数的乘积获得，衰减系数在图像风格化迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。本公开能够在风格转化任务中，在保持图像细节轮廓与原图相近的同时，提升图像的风格感。

Description

图像风格迁移模型的训练方法、图像风格迁移方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像风格迁移模型的训练方法、图像风格迁移方法及装置。
背景技术
随着互联网技术的发展，图像处理手段也越来越丰富。图像风格转换能够在保留图像主要内容的情况下，将图像细节和风格进行变化，如人像年龄变化、人像转换为手绘风格、照片转换为动画风格等。现有的图像风格转换中，通过大量的输入图像和输出图像对神经网络模型进行训练，以获得较好的图像拟合运算能力，但是对于计算量较小的电子设备(如手机等)，网路拟合能力弱，造成转换后输出的图像风格效果较差。
发明内容
本公开提供一种图像风格迁移模型的训练方法、图像风格迁移方法及装置，以至少解决相关技术中图像风格转换生成的图像风格效果较差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像风格迁移模型的训练方法，包括：
获取样本图像以及所述样本图像对应的目标风格图像；
将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接；
根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值；
根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型；
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
可选地，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格化迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
可选地，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。
可选地，所述获取样本图像和与所述样本图像对应的目标风格图像的步骤之前，所述方法还包括：
获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
根据本公开实施例的第二方面，提供一种图像风格迁移方法，包括：
获取输入图像；
将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型为根据第一方面中任一项所述的图像风格迁移模型的训练方法进行训练得到。
根据本公开实施例的第三方面，提供一种图像风格迁移模型的训练装置，包括：
第一获取模块，被配置为获取样本图像以及所述样本图像对应的目标风格图像；
第二获取模块，被配置为将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接；
计算模块，被配置为根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值；
训练模块，被配置为根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型；
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
可选地，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格化迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
可选地，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。
可选地，所述装置还包括：
第三获取模块，被配置为获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
数据处理模块，被配置为基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
确定模块，被配置为将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
根据本公开实施例的第四方面，提供一种图像风格迁移装置，包括：
输入图像获取模块，被配置为获取输入图像；
风格化图像获取模块，被配置为将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型为根据第一方面中任一项所述的图像风格迁移模型的训练方法进行训练得到。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像风格迁移模型的训练方法，或者实现如第二方面所述的图像风格迁移方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像风格迁移模型的训练方法，或者实现如第二方面所述的图像风格迁移方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像风格迁移模型的训练方法，或者实现如第二方面所述的图像风格迁移方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例中，图形风格迁移模型的反向传播梯度包括跳连接的反向传播梯度，跳连接的反向传播梯度基于跳连接的初始传播梯度和衰减系数的乘积获得，而所述衰减系数在图像风格迁移模型的迭代训练过程中随着迭代次数的增加而逐渐增大，这样也就能够动态调节图像风格迁移模型的反向传播训练中跳连接传播方向上的比例，同时保留沿着图像风格迁移模型主干方向传播的梯度为原有的正常值，以优化图像风格迁移模型，能够避免因为跳连接造成图像细节信息的损失，确保图像风格迁移模型能够在保持图像细节轮廓与原图相近的同时，提升图像的风格感，提升图像风格迁移模型输出的风格化图像的图像风格效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图。
图2是一示例性示出的图像风格迁移模型的训练方法可适用的一种网络模型的结构图。
图3是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图4是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。
图5是根据一示例性实施例示出的另一种图像风格迁移模型的训练装置的框图。
图6是根据一示例性实施例示出的一种图像风格迁移装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图，所述图像风格迁移模型的训练方法可以是应用于服务器、终端等电子设备中。如图1所示，所述图像风格迁移模型的训练方法包括以下步骤。
在步骤S11中，获取样本图像以及所述样本图像对应的目标风格图像。
需要说明的是，本公开实施例所述的图像风格迁移模型应用于图像处理中，比如所述图像风格迁移模型的输入为样本图像，所述图像风格迁移模型的输出为对所述样本图像进行风格转换后的目标风格图像。例如，所述样本图像为用户自拍的人脸图像，将所述人脸图像输入所述图像风格迁移模型，所述图像风格迁移模型输出对该人脸图像进行风格转换后的动画人物图像。
本公开实施例中，所述样本图像与所述目标风格图像一一对应。也就是说，有一张样本图像，也就有一张与该样本图像对应的目标风格图像。可选地，所述样本图像可以是用户通过手机、相机等设备拍摄的图片，所述目标风格图像可以是用户通过对样本图像进行手绘或者基于特定的应用程序转换得到的图像。
在步骤S12中，将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像。
其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接shortcut。需要说明的是，本公开实施例中所述的图像风格迁移模型可以是用户重新设计得到，或者也可以是对已有的图像风格迁移模型进行训练优化。例如图2所示，所述图像风格迁移模型可以是基于Unet网络模型得到，Unet网络模型基于编码器-解码器(Encoder-Decoder)结构构成；当输入一个图像A，经过Encoder(一个多层神经网络)转换成一个包含图像语义信息的张量(Tensor)，之后再经过一个Decoder(也是一个多层神经网络)转化为目标风格的图像B’，比如图像A为手机拍摄的人像，图像B’为风格转化后对应的卡通风格人像。其中，Encoder和Decoder中有多个跳连接；例如图2所示，在Encoder和Decoder的第一层神经网络之间设有跳连接shortcut0，在Encoder和Decoder的第二层神经网络之间设有跳连接shortcut1，在Encoder和Decoder的第三层神经网络之间设有跳连接shortcut2，在Encoder和Decoder的第四层神经网络之间设有跳连接shortcut3，这样也就使得Encoder处理过程中的中间图像信息能够同时沿着两条路径传递，一条路径为沿着沿着encoder和decoder的路径传递(图2中的向下)传递，同时另一条路径通过跳连接shortcut(如图2中所示的shortcut0、shortcut1等)直接传递到Decoder的对应层，以得到高质量的图像。
本公开实施例中，在获取到样本图像后，则将所述样本图像输入图像风格迁移模型，并获取所述图像风格迁移模型输出的风格化图像，所述风格化图像也就是所述图像风格迁移模型基于相应算法对所述原始输入图像进行分析计算后获得的图像。
可选地，在所述步骤S11之前，所述方法还可以包括：
获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
其中，所述数据增强处理可以是指对第一样本图像和对应的第一目标风格图像进行如旋转、缩放、色彩调节、对比度调节等处理，以获得更为丰富的图像数据。例如，在获取到第一样本图像A和对应的第一目标风格图像B的情况下，可以是对第一样本图像A和第一目标风格图像B进行复制，得到多组第一样本图像和第一目标风格图像，并对复制后的多组第一样本图像A分别进行不同角度的旋转处理，同样也对复制后的多组第一目标风格图像B进行相同的旋转处理，也就是说若第一样本图像A向左旋转90度，则对应的第一目标风格图像B也向左旋转90度，以得到经过同样旋转处理后的样本处理图像和目标风格处理图像，并将所述样本处理图像作为样本图像，将目标风格处理图像作为目标风格图像。这样，针对第一样本图像和第一目标风格图像，在经过数据增强处理后也就能够获得更为丰富的图像数据，这样也就更有利于通过丰富的图像数据对图像风格迁移模型进行训练，更有利于对图像风格迁移模型的优化。
需要说明地，在这种情况下，输入图像风格迁移模型的样本图像可以是经过数据增强处理后的图像。
在步骤S13中，根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值。
可以理解地，在将样本图像输入图像风格迁移模型，获得图像风格迁移模型输出的风格化图像后，则可以是将所述风格化图像与所述目标风格图像进行相似度计算，获取所述风格化图像与所述目标风格图像之间的差值，以计算图像风格迁移模型的损失值。其中，所述相似度计算可以包括均方误差、平均绝对值误差、生成器-判别器误差等计算方式，具体计算原理可参照相关技术，本实施例不做赘述。
在步骤S14中，根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型。
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
本公开实施例中，所述目标风格图像为样本图像经过风格转换后用户期望得到的图像，所述风格化图像为图像风格迁移模型基于样本图像输出的图像，若所述风格化图像与所述目标风格图像之间的差值越小，说明图像风格迁移模型的图像拟合效果较好，若差值越大，则说明图像风格迁移模型的图像拟合效果较差，也就需要对所述图像风格迁移模型进行训练优化，以使得图像风格迁移模型输出的风格化图像与目标风格图像之间的差值尽可能小。可以理解地，在获得图像风格迁移模型输出的风格化图像与目标风格图像之间的差值后，基于所述差值获取图像风格迁移模型的损失值，进而可以基于所述损失值以及反向传播梯度对图像风格迁移模型的参数进行调整，以对图像风格迁移模型进行训练。
本公开实施例中，所述图像风格迁移模型的反向传播中，可以是将所述差值传回所述图像风格迁移模型的输入端，进而也就能够基于所述差值来分析所述图像风格迁移模型对于样本图像的拟合计算需要调整的地方，以使得图像风格迁移模型实现自学习。
可选地，可以是基于所述风格化图像与所述目标风格图像进行一致性损失函数约束，例如可以是相似度计算，包括均方误差(Mean Square Error，MSE)，平均绝对值误差，生成器-判别器误差等计算方式。本公开实施例中，图像风格迁移模型的方向传播梯度包括跳连接的反向传播梯度，跳连接的反向传播梯度基于跳连接的初始反向传播梯度与衰减系数的乘积获得。例如，所述跳连接的反向传播梯度为B(g)＝g*s，其中g为反向传播时跳连接的初始反向传播梯度，或者也可以称之为反向传播时跳连接输出端的梯度，B(g)也就是g沿着跳连接反向传播到输入端的梯度，s为所述衰减系数。其中，所述衰减系数的取值为0～1，进而，所述跳连接的反向传播梯度也就要小于初始反向反向传播梯度；并且，所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，进而在图像风格迁移模型的迭代训练过程中，跳连接的反向传播的梯度也就是随着迭代训练的次数逐渐增大的。
本公开实施例中，在图像风格迁移模型的训练中，基于衰减系数对跳连接的反向传播梯度进行了调整，所述衰减系数的取值可以是0～1，这样也就削弱了跳连接反向传播的梯度值，但同时保留沿着网络主干方向的梯度为原有的正常值，使得主干传播方向部分可以得到充分训练，而由于同时保留了跳连接的传播，也就能够避免因为跳连接的缺失而造成的细节信息损失，这样也就能够使得图像风格迁移模型在风格化转化任务中，在保持图像细节轮廓与原图相近的同时，提升图像的风格感。
本公开实施例中，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格化迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
需要说明的是，所述第一阶段、第二阶段及第三阶段可以是基于用户的设置来确定。例如，图像风格迁移模型的迭代训练过程包括10000次迭代训练，可以是将前2000次迭代训练划分为第一阶段，第2000～8000次迭代训练划分为第二阶段，第8000～10000次迭代训练划分为第三阶段。当然，上述第一阶级、第二阶段及第三阶段的划分还可以是其他方式，本实施例不做具体限定。
可选地，本公开实施例中的图像风格迁移模型为如图2中所述的Unet网络模型，所述图像风格迁移模型为Encoder-Decoder结构，该图像风格迁移模型包括两条传播路径，分别为沿着网络Encoder-Decoder方向传播的网络主干传播路径和跳连接shortcut传播路径，在本公开实施例中，通过对跳连接反向传播的衰减系数进行随机梯度下降处理，使得在图像风格迁移模型的迭代训练过程中，网络主干传播路径和跳连接传播路径的传播比例不同。
其中，在图像风格迁移模型迭代训练的第一阶段，该第一阶段内所有跳连接的衰减系数均为0，那么也即图像风格迁移模型的反向传播全部沿着网络主干传播路径进行传播，没有跳连接传播路径的传播，这样也就使得网络主干部分能够得到充分训练，以使得图像风格迁移模型能够输出更接近目标风格图像的测试图像，以确保图像风格迁移模型输出图像的质量。
在图像风格迁移模型迭代训练的第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同。也就是说，在该第二阶段内，图像风格迁移模型的迭代训练过程中，沿着跳连接反向传播的梯度从无逐渐增加到正常水平，这样也就能够对跳连接传播路径进行训练优化，同时保持网络主干传播路径的梯度值为原有的正常值，使得主干传播路径同样进行训练优化。
而在图像风格迁移模型迭代训练的第三阶段，该第三阶段内所有跳连接的衰减系数均为1，也就是跳连接传播路径的方向传播梯度值没有被削弱。为更好地理解上述三个阶段的实现方式，以下通过一个具体实施例进行说明。
例如，若图像风格迁移模型的迭代训练次数总共包括10000次，则可以是0～2000迭代训练划分为第一阶段，该第一阶段内所有跳连接的衰减系数均为0，第2000～8000次迭代训练划分为第二阶段，该第二阶段内，跳连接的衰减系数从0开始线性增加到1，并且第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同，第8000～10000次迭代训练划分为第三阶段，该第三阶段内所有跳连接的衰减系数均为1。这样，也就能够基于衰减系数的变化来调整图像风格迁移模型的跳连接的反向传播梯度。
需要说明的是，在所述第二阶段内，可以是通过对所述衰减系数进行随机梯度下降处理，以使得处理后的衰减系数在第二阶段的N次迭代训练中成线性关系。其中，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。第二阶段内，所述衰减系数从0开始线性增加到1，进而第二阶段对应的迭代训练次数越多，使得对跳连接的梯度值变化的训练也就更加精细，也就能够更好地对图像风格迁移模型进行训练优化，以使得图像风格迁移模型能够在风格转化任务中，在保持图像细节轮廓与原图相近的同时，提升图像的风格感。
需要说明的是，本公开中训练后的图像风格迁移模型可以是应用在手机、服务器等图像处理场景中，提升手机、服务器对图像的处理能力。
本公开实施例还提供了一种图像风格迁移方法，所述图像风格迁移方法可以是应用于手机、服务器等电子设备。如图3所示，所述图像风格迁移方法包括以下步骤。
步骤S31、获取输入图像。
可选地，所述输入图像可以是电子设备中存储的图像，或者是拍摄获得的图像，或者是网络下载得到的图像等，本申请实施例对此不做具体限定。
步骤S32、将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像。
其中，所述图像风格迁移模型为经过上述图像风格迁移模型的训练方法进行训练得到。例如，在将图像风格迁移模型经上述实施例所提供的训练方法进行训练优化后，则将训练优化后的图像风格迁移模型应用或者安装到电子设备中。
本公开实施例中，将电子设备获取到的输入图像输入到训练优化后的图像风格迁移模型中，进而以得到该图像风格迁移模型输出的风格化图像。可以理解地，由于该图像风格迁移模型已经经过了上述实施例所提供的训练方法的训练优化，进而该图像风格迁移模型输出的风格化图像能够在保持图像细节轮廓与原图相近的同时，也具备较好的图像风格感，这样也就使得电子设备能够得到风格感较强的图像，为用户提供更好的风格感图像，提升电子设备的用户使用体验。
图4是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。参照图4，该装置包括第一获取模块401、第二获取模块402、计算模块403和训练模块404。其中：
第一获取模块401，被配置为获取样本图像以及所述样本图像对应的目标风格图像；
第二获取模块402，被配置为将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接；
计算模块403，被配置为根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值；
训练模块404，被配置为根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型；
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
可选地，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
可选地，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。
可选地，请参照图5，该装置还包括：
第三获取模405，被配置为获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
数据处理模块406，被配置为基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
确定模块407，被配置为将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在上述图像风格迁移模型的训练方法实施例中进行了详细描述，并能够达到相同的技术效果，为避免重复，此处将不做详细阐述说明。
需要说明地，本公开提供的图像风格迁移模型的训练装置，能够在风格转化任务中，在保持图像细节轮廓与原图相近的同时，提升图像的风格感。
图6是根据一示例性实施例示出的一种图像风格迁移装置的框图。参照图6，该装置包括输入图像获取模块601和风格化图像获取模块602。其中：
输入图像获取模块601，被配置为获取输入图像；
风格化图像获取模块602，被配置为将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型为经过上述图像风格迁移模型的训练方法进行训练得到。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在上述图像风格迁移方法实施例中进行了详细描述，并能够达到相同的技术效果，为避免重复，此处将不做详细阐述说明。需要说明地，本公开提供的图像风格迁移装置能够在图像的风格转化任务中，在保持图像细节轮廓与原图相近的同时，提升图像的风格感。
图7是根据一示例性实施例示出的一种电子设备700的框图。如图7所示，所述电子设备700包括处理器701和用于存储所述处理器701可执行指令的存储器702。其中，所述处理器701被配置为执行所述指令，以实现上述图像风格迁移模型的训练方法的步骤，或者以实现上述图像风格迁移方法的步骤，并能达到相同的技术效果，为避免重复，此处不再赘述。
本公开实施例还提供了一种包括指令的计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备700的处理器执行时，使得电子设备700能够执行上述图像风格迁移模型的训练方法的步骤，或者以实现上述图像风格迁移方法的步骤，并能达到相同的技术效果，为避免重复，此处不再赘述。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供了提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述图像风格迁移模型的训练方法的步骤，或者实现上述图像风格迁移方法的步骤，并能达到相同的技术效果，为避免重复，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像风格迁移模型的训练方法，其特征在于，包括：
获取样本图像以及所述样本图像对应的目标风格图像；
将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接；
根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值；
根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型；
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
2.根据权利要求1所述的方法，其特征在于，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
3.根据权利要求2所述的方法，其特征在于，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。
4.根据权利要求1所述的方法，其特征在于，所述获取样本图像和与所述样本图像对应的目标风格图像的步骤之前，所述方法还包括：
获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
5.一种图像风格迁移方法，其特征在于，包括：
获取输入图像；
将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型为根据权利要求1-4中任一项所述的图像风格迁移模型的训练方法进行训练得到。
6.一种图像风格迁移模型的训练装置，其特征在于，包括：
第一获取模块，被配置为获取样本图像以及所述样本图像对应的目标风格图像；
第二获取模块，被配置为将所述样本图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型的编码器和解码器之间包括多个跳连接；
计算模块，被配置为根据所述风格化图像及所述目标风格图像之间的差值，计算所述图像风格迁移模型的损失值；
训练模块，被配置为根据所述损失值和反向传播梯度调整所述图像风格迁移模型的参数，得到训练后的图像风格迁移模型；
其中，所述反向传播梯度包括所述跳连接的反向传播梯度，所述跳连接的反向传播梯度基于所述跳连接的初始反向传播梯度与衰减系数的乘积获得，所述衰减系数为所述初始反向传播梯度沿着跳连接衰减的系数，且所述衰减系数在所述图像风格迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大。
7.根据权利要求6所述的装置，其特征在于，所述图像风格迁移模型的迭代训练根据迭代训练次数依次划分为第一阶段、第二阶段及第三阶段，所述衰减系数在所述图像风格化迁移模型的迭代训练过程中随着迭代训练次数的增加而逐渐增大，包括：
在所述第一阶段，所有跳连接的所述衰减系数均为0；
在所述第二阶段，所述衰减系数从0开始线性增加到1，且所述第二阶段内在同一次迭代训练中，所有跳连接的所述衰减系数相同；
在所述第三阶段，所有跳连接的所述衰减系数均为1。
8.根据权利要求7所述的装置，其特征在于，所述第二阶段对应的迭代训练次数大于所述第一阶段对应的迭代训练次数及所述第三阶段对应的迭代训练次数。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三获取模块，被配置为获取第一样本图像和与所述第一样本图像对应的第一目标风格图像；
数据处理模块，被配置为基于相同的处理方式对所述第一样本图像及所述第一目标风格图像进行数据增强处理，得到所述第一样本图像经数据增强处理后的样本处理图像，以及得到所述第一目标风格图像经数据增强处理后的目标风格处理图像；
确定模块，被配置为将所述样本处理图像作为所述样本图像，将所述目标风格处理图像作为所述目标风格图像。
10.一种图像风格迁移装置，其特征在于，包括：
输入图像获取模块，被配置为获取输入图像；
风格化图像获取模块，被配置为将所述输入图像输入图像风格迁移模型，得到所述图像风格迁移模型输出的风格化图像；其中，所述图像风格迁移模型为根据权利要求1-4中任一项所述的图像风格迁移模型的训练方法进行训练得到。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像风格迁移模型的训练方法，或者实现如权利要求5所述的图像风格迁移方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像风格迁移模型的训练方法，或者实现如权利要求5所述的图像风格迁移方法。
CN202011612079.5A 2020-12-30 2020-12-30 图像风格迁移模型的训练方法、图像风格迁移方法及装置 Active CN112581361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612079.5A CN112581361B (zh) 2020-12-30 2020-12-30 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612079.5A CN112581361B (zh) 2020-12-30 2020-12-30 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Publications (2)

Publication Number Publication Date
CN112581361A CN112581361A (zh) 2021-03-30
CN112581361B true CN112581361B (zh) 2023-07-11

Family

ID=75145077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612079.5A Active CN112581361B (zh) 2020-12-30 2020-12-30 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Country Status (1)

Country Link
CN (1) CN112581361B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689865A (zh) * 2021-07-28 2023-02-03 北京字跳网络技术有限公司 图像风格迁移模型的训练方法、图像风格迁移方法及装置
CN113610989B (zh) * 2021-08-04 2022-12-27 北京百度网讯科技有限公司 风格迁移模型训练方法和装置、风格迁移方法和装置
CN113724132B (zh) * 2021-11-03 2022-02-18 浙江宇视科技有限公司 图像风格迁移处理方法、装置、电子设备及存储介质
CN115937020B (zh) * 2022-11-08 2023-10-31 北京字跳网络技术有限公司 图像处理方法、装置、设备、介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN111476708A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 模型生成方法、模型获取方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467820B2 (en) * 2018-01-24 2019-11-05 Google Llc Image style transfer for three-dimensional models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN111476708A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 模型生成方法、模型获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112581361A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112581361B (zh) 图像风格迁移模型的训练方法、图像风格迁移方法及装置
US10755173B2 (en) Video deblurring using neural networks
US10192327B1 (en) Image compression with recurrent neural networks
CN109544662B (zh) 一种基于SRUnet的动漫风格线稿上色方法及系统
US11948281B2 (en) Guided up-sampling for image inpainting
CN111243045A (zh) 一种基于高斯混合模型先验变分自编码器的图像生成方法
US11605156B2 (en) Iterative image inpainting with confidence feedback
CN113034648A (zh) 图像处理方法、装置、设备和存储介质
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN113689372A (zh) 图像处理方法、设备、存储介质及程序产品
CN110689478A (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN116403142A (zh) 视频处理方法、装置、电子设备及介质
CN111062883A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN113194270B (zh) 视频处理方法、装置、电子设备及存储介质
US20230336739A1 (en) Rate control machine learning models with feedback control for video encoding
CN113823312A (zh) 语音增强模型生成方法和装置、语音增强方法和装置
CN113192491B (zh) 声学模型生成方法、装置、计算机设备及存储介质
CN114140363B (zh) 视频去模糊方法及装置、视频去模糊模型训练方法及装置
CN115937020B (zh) 图像处理方法、装置、设备、介质和程序产品
CN116664731B (zh) 人脸动画生成方法及装置、计算机可读存储介质、终端
CN112465717B (zh) 脸部图像处理模型训练方法、装置、电子设备和介质
CN114092772A (zh) 神经网络的优化方法、装置、电子设备及存储介质
CN118042233A (zh) 视频处理方法、装置、电子设备及存储介质
CN117835001A (zh) 视频编辑方法、装置、设备和介质
CN115564655A (zh) 基于深度学习的视频超分辨率重建方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant