CN113989104A - 图像风格迁移模型的训练方法、图像风格迁移方法及装置 - Google Patents

图像风格迁移模型的训练方法、图像风格迁移方法及装置 Download PDF

Info

Publication number
CN113989104A
CN113989104A CN202111243493.8A CN202111243493A CN113989104A CN 113989104 A CN113989104 A CN 113989104A CN 202111243493 A CN202111243493 A CN 202111243493A CN 113989104 A CN113989104 A CN 113989104A
Authority
CN
China
Prior art keywords
image
style
target
sample
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111243493.8A
Other languages
English (en)
Inventor
方慕园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111243493.8A priority Critical patent/CN113989104A/zh
Publication of CN113989104A publication Critical patent/CN113989104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种图像风格迁移模型的训练方法、图像风格迁移方法、装置、电子设备及存储介质，该图像风格迁移模型的训练方法包括：获取样本图像；样本图像至少包括第一样本图像和第二样本图像，第一样本图像由第二样本图像经过下采样处理得到；获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像；根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。采用本方法，有利于提高得到的高分辨率风格图像的真实感。

Description

图像风格迁移模型的训练方法、图像风格迁移方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像风格迁移模型的训练方法、图像风格迁移方法、装置、电子设备及存储介质。
背景技术
图像风格迁移是指在保留图像主要内容的情况下，将图像细节和风格进行变化，如人像发色变化、肤色变化等，此技术可广泛应用于图像处理、计算机图片合成和计算机视觉等方面。
相关技术中，目前的高分辨率图像风格迁移方法，在高分辨率风格图难以获取的情况下，一般是采用低分辨率原图及其对应的风格图，来计算图像风格的函数转换关系，并将该函数转换关系应用到高分辨率原图，从而得到高分辨率的风格图；但是，低分辨率的风格转换关系和高分辨率的风格转换关系不同，在处理图片细节时瑕疵很多，导致得到的高分辨率的风格图的图像细节缺失较多，真实感较弱。
发明内容
本公开提供一种图像风格迁移模型的训练方法、图像风格迁移方法、装置、电子设备及存储介质，以至少解决相关技术中得到的高分辨率风格图的真实感较弱的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像风格迁移模型的训练方法，包括：
获取样本图像；所述样本图像至少包括第一样本图像和第二样本图像，所述第一样本图像由所述第二样本图像经过下采样处理得到；
获取所述第一样本图像对应的第一目标风格图像，根据所述第一样本图像和所述第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；
根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像；
根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
在一示例性实施例中，所述根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像，包括：
将所述第二样本图像输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像；
所述根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，包括：
将所述第二样本图像输入第二神经网络模型进行图像风格迁移处理，得到所述第二样本图像对应的第二预测风格图像；
根据所述第二目标风格图像和所述第二预测风格图像之间的差值，得到损失值；
根据所述损失值，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
在一示例性实施例中，所述样本图像还包括N张第三样本图像，所述N张第三样本图像由所述第二样本图像经过下采样处理得到，或者，所述N张第三样本图像由所述第一样本图像经过上采样处理得到；所述第一样本图像、所述N张第三样本图像和所述第二样本图像的图像分辨率依次增大；所述N为正整数；
所述根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像，还包括：
按照图像分辨率从低到高的顺序，将所述N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；
根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型；
将所述N张第三样本图像中的所述当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入所述当前第三图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；
重新根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对所述N个第三神经网络模型中的对应当前第三神经网络模型进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型；
将所述第二样本图像输入所述第N个第三图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像。
在一示例性实施例中，所述当前第三图像风格迁移模型通过下述方式训练得到：
从所述当前第三样本图像对应的第三目标风格图像中，筛选出与所述当前第三样本图像的图像内容之间的相似度大于第一预设相似度，且与所述当前第三图像风格迁移模型的上一个第三图像风格迁移模型的目标转换风格相同的第三目标风格图像，作为待参考的第三目标风格图像；
从所述当前第三样本图像中，筛选出与所述待参考的第三目标风格图像对应的第三样本图像，作为第三目标样本图像；
根据所述第三目标样本图像和所述第三目标样本图像对应的第三目标风格图像，对所述N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到所述当前第三图像风格迁移模型。
在一示例性实施例中，在将所述第二样本图像输入所述第N个第三图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像之后，还包括：
从所述第二目标风格图像中，筛选出与所述第二样本图像的图像内容之间的相似度大于第二预设相似度，且与所述第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，作为待参考的第二目标风格图像；
所述根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，还包括：
从所述第二样本图像中，筛选出与所述待参考的第二目标风格图像对应的第二样本图像，作为第二目标样本图像；
根据所述第二目标样本图像和所述第二目标样本图像对应的第二目标风格图像，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
根据本公开实施例的第二方面，提供一种图像风格迁移方法，包括：
获取待处理图像；
将所述待处理图像输入目标图像风格迁移模型，得到所述待处理图像对应的目标风格图像；所述目标图像风格迁移模型根据第一方面的任一项实施例中所述的图像风格迁移模型的训练方法得到。
根据本公开实施例的第三方面，提供一种图像风格迁移模型的训练装置，包括：
第一获取单元，被配置为执行获取样本图像；所述样本图像至少包括第一样本图像和第二样本图像，所述第一样本图像由所述第二样本图像经过下采样处理得到；
第一训练单元，被配置为执行获取所述第一样本图像对应的第一目标风格图像，根据所述第一样本图像和所述第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；
第二获取单元，被配置为执行根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像；
第二训练单元，被配置为执行根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
在一示例性实施例中，第二获取单元，还被配置为执行将所述第二样本图像输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像；
所述第二训练单元，还被配置为执行将所述第二样本图像输入第二神经网络模型进行图像风格迁移处理，得到所述第二样本图像对应的第二预测风格图像；根据所述第二目标风格图像和所述第二预测风格图像之间的差值，得到损失值；根据所述损失值，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
在一示例性实施例中，所述样本图像还包括N张第三样本图像，所述N张第三样本图像由所述第二样本图像经过下采样处理得到，或者，所述N张第三样本图像由所述第一样本图像经过上采样处理得到；所述第一样本图像、所述N张第三样本图像和所述第二样本图像的图像分辨率依次增大；所述N为正整数；
所述第二获取单元，还被配置为执行按照图像分辨率从低到高的顺序，将所述N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型；将所述N张第三样本图像中的所述当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入所述当前第三图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；重新根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对所述N个第三神经网络模型中的对应当前第三神经网络模型进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型；将所述第二样本图像输入所述第N个第三图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像。
在一示例性实施例中，所述第二获取单元，还被配置为执行从所述当前第三样本图像对应的第三目标风格图像中，筛选出与所述当前第三样本图像的图像内容之间的相似度大于第一预设相似度，且与所述当前第三图像风格迁移模型的上一个第三图像风格迁移模型的目标转换风格相同的第三目标风格图像，作为待参考的第三目标风格图像；从所述当前第三样本图像中，筛选出与所述待参考的第三目标风格图像对应的第三样本图像，作为第三目标样本图像；根据所述第三目标样本图像和所述第三目标样本图像对应的第三目标风格图像，对所述N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到所述当前第三图像风格迁移模型。
在一示例性实施例中，所述装置还包括图像筛选单元，被配置为执行从所述第二目标风格图像中，筛选出与所述第二样本图像的图像内容之间的相似度大于第二预设相似度，且与所述第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，作为待参考的第二目标风格图像；
所述第二训练单元，还被配置为执行从所述第二样本图像中，筛选出与所述待参考的第二目标风格图像对应的第二样本图像，作为第二目标样本图像；根据所述第二目标样本图像和所述第二目标样本图像对应的第二目标风格图像，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
根据本公开实施例的第四方面，提供一种图像风格迁移装置，包括：
获取单元，被配置为执行获取待处理图像；
处理单元，被配置为执行将所述待处理图像输入目标图像风格迁移模型，得到所述待处理图像对应的目标风格图像；所述目标图像风格迁移模型根据第一方面的任一项实施例中所述的图像风格迁移模型的训练方法得到。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所述的图像风格迁移模型的训练方法，以及第二方面的任一项实施例中所述的图像风格迁移方法。
根据本公开实施例的第六方面，提供一种存储介质，包括：当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面的任一项实施例中所述的图像风格迁移模型的训练方法，以及第二方面的任一项实施例中所述的图像风格迁移方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行第一方面任一项实施例中所述的图像风格迁移模型的训练方法，以及第二方面的任一项实施例中所述的图像风格迁移方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取样本图像；样本图像至少包括第一样本图像和第二样本图像，第一样本图像由第二样本图像经过下采样处理得到；接着获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；然后根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像；最后根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。这样，在逐步增加样本图像的图像分辨率的过程中，图像风格迁移模型通过逐级学习，能够很好的拟合图像细节，从而得到真实感更强的细节处理结果，使得最终训练得到的目标图像风格迁移模型输出的风格图像的真实感更强，从而提高了得到的高分辨率风格图像的真实感，避免了低分辨率的风格转换关系很难适应高分辨率，导致得到的高分辨率风格图像的真实感较弱的缺陷。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的应用环境图。
图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图。
图3是根据一示例性实施例示出的对第二神经网络模型进行训练的步骤的流程图。
图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图。
图5是根据一示例性实施例示出的一种基于模型自学习的高分辨率纹理风格转换方法的流程图。
图6是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。
图7是根据一示例性实施例示出的一种图像风格迁移装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本公开所提供的图像风格迁移模型的训练方法，可以应用于如图1所示的应用环境中。参照图1，该应用环境图包括终端110，终端110是具有图像风格迁移功能的电子设备，该电子设备可以是智能手机、平板电脑、笔记本电脑或个人计算机等等。图1中以终端110是智能手机为例进行说明，参考图1，终端110获取样本图像；样本图像至少包括第一样本图像和第二样本图像，第一样本图像由第二样本图像经过下采样处理得到；获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像；根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
图2是根据一示例性实施例示出的一种图像风格迁移模型的训练方法的流程图，如图2所示，图像风格迁移模型的训练方法用于如图1所示的终端中，包括以下步骤：
在步骤S210中，获取样本图像；所述样本图像至少包括第一样本图像和第二样本图像，所述第一样本图像由所述第二样本图像经过下采样处理得到。
其中，样本图像是指未进行图像风格迁移的用于进行模型训练的原始图像，比如原始人像图片(包含头发)，可以通过手机、相机、摄像机等拍摄设备拍摄得到，也可以通过终端从网络上或者本地图像库中获取得到。
其中，第一样本图像的图像分辨率小于第二样本图像的图像分辨率，第一样本图像的图像内容与第二样本图像的图像内容相同。具体来说，第一样本图像是指低图像分辨率的图像，比如1K分辨率的人像图片(包含头发)，可以通过对第二样本图像进行下采样得到；第二样本图像是指高图像分辨率的图像，比如4K分辨率的人像图片(包含头发)，可以通过终端直接采集得到。
需要说明的是，本公开涉及的第一样本图像和第二样本图像的数量均为多个。
具体地，终端可以从网络上或者本地图像库中，获取未进行图像风格迁移的高图像分辨率的图像，作为第二样本图像；通过对第二样本图像进行下采样处理，得到下采样处理后的图像，作为第一样本图像。
举例说明，终端预先采集未进行染发的高分辨率人像图片，作为第二样本图像；通过对第二样本图像进行下采样处理，得到未进行染发的低分辨率人像图片，作为第一样本图像。
在步骤S220中，获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型。
其中，目标风格图像是指风格效果与样本图像不同，但图像主要内容与样本图像相同的图像，比如发色变化后的人脸图像、肤色变化后的人脸图像等；第一目标风格图像是指与第一样本图像对应的低分辨率目标风格图像，比如低分辨率黄色头发人脸图片、低分辨率黑色皮肤人脸图片等，可以通过设计人员手动修图或者专门的图像风格迁移模型处理得到。需要说明的是，本公开所涉及的风格不是指抽象主义、表现主义这类绘画流派的风格，而是指狭义上一张图片的纹理、色彩、视觉模式等。
其中，第一神经网络模型是指深度神经网络模型；第一图像风格迁移模型，是指用于进行图像风格迁移的低分辨率图像风格迁移模型，具体是指用于对人脸图像中的头发区域进行颜色转换的低分辨率图像风格迁移模型。
具体地，终端对第一样本图像进行图像风格迁移处理，得到第一样本图像对应的目标风格图像，并将其作为第一目标风格图像；将第一样本图像输入第一神经网络模型，通过第一神经网络模型对第一样本图像进行图像风格迁移处理，得到第一样本图像对应的第一预测风格图像；根据第一目标风格图像和第一预测风格图像之间的差值，得到第一神经网络模型的第一损失值；根据该第一损失值，对第一神经网络模型的模型参数进行调整，得到训练完成的第一神经网络模型，作为第一图像风格迁移模型。
举例说明，终端将第一目标风格图像和第一预测风格图像进行作差处理，得到第一目标风格图像和第一预测风格图像之间的差值，并结合损失函数，得到第一神经网络模型的第一损失值；若该第一损失值大于或者等于第一预设阈值，则根据该第一损失值，对第一神经网络模型的模型参数进行调整，得到模型参数调整后的第一神经网络模型；并重复执行上述过程，以对模型参数调整后的第一神经网络模型进行反复训练，直到根据训练后的第一神经网络模型得到的第一损失值小于第一预设阈值，则将该训练后的第一神经网络模型，作为第一图像风格迁移模型
在实际场景中，通过设计人员对低分辨率人脸图像中的染发区域进行颜色调整，得到真实染发后的低分辨率人脸图像，或者通过专门的图像风格迁移模型对低分辨率人脸图像中的染发区域进行颜色转换，得到真实染发后的低分辨率人脸图像；接着，终端将低分辨率人脸图像输入第一神经网络模型，得到预测染发后的低分辨率人脸图像；根据真实染发后的低分辨率人脸图像和预测染发后的低分辨率人脸图像，基于随机梯度下降的方式，优化第一神经网络模型中的模型参数，以缩小预测染发后的低分辨率人脸图像与真实染发后的低分辨率人脸图像之间的误差；重复执行上述过程，在迭代预设次数之后，终止迭代，并将最终得到的第一神经网络模型，作为第一图像风格迁移模型。
在步骤S230中，根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像。
其中，第二目标风格图像是指与第二样本图像对应的高分辨率目标风格图像，比如高分辨率黄色头发人像图片、高分辨率黑色皮肤人像图片等，可以通过第一图像风格迁移模型对第二样本图像进行图像风格迁移处理得到，也可以通过基于第一图像风格迁移模型得到的中分辨率图像风格迁移模型，对第二样本图像进行图像风格迁移处理得到。
具体地，终端将第二样本图像输入第一图像风格迁移模型，通过第一图像风格迁移模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的目标风格图像，并将其作为第二样本图像对应的第二目标风格图像。
举例说明，在实际场景中，终端通过用于对人脸图像中的头发区域进行颜色转换的低分辨率图像风格迁移模型，对高分辨率人脸图像中的染发区域进行颜色转换，得到真实染发后的高分辨率人脸图像。也就是说，通过这种方式，可以快速造出大量真实染发后的高分辨率人脸图像。
进一步地，终端还可以获取第三样本图像；第三样本图像由第二样本图像经过下采样处理得到，或者，第三样本图像由第一样本图像经过上采样处理得到，是指中图像分辨率的图像，比如2K分辨率的人像图片(包含头发)；第一样本图像、第三样本图像和第二样本图像的图像分辨率依次增大；接着，终端将第三样本图像输入第一图像风格迁移模型，通过第一图像风格迁移模型对第三样本图像进行图像风格迁移处理，得到第三样本图像对应的目标风格图像，并将其作为第三样本图像对应的第三目标风格图像；其中，第三目标风格图像是指与第三样本图像对应的中分辨率目标风格图像，比如中分辨率黄色头发人像图片、中分辨率黑色皮肤人像图片等；然后，终端根据第三样本图像和第三目标风格图像，对第三神经网络模型(比如深度神经网络模型)进行训练，得到第三图像风格迁移模型；其中，第三图像风格迁移模型是指用于进行图像风格迁移的中分辨率图像风格迁移模型，具体是指用于对人脸图像中的头发区域进行颜色转换的中分辨率图像风格迁移模型；最后，终端将第二样本图像输入第三图像风格迁移模型，通过第三图像风格迁移模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的目标风格图像，并将其作为第二样本图像对应的第二目标风格图像。
在步骤S240中，根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
其中，第二神经网络模型也是指深度神经网络模型；目标图像风格迁移模型，是指用于进行图像风格迁移的高分辨率图像风格迁移模型，具体是指用于对人脸图像中的头发区域进行颜色转换的高分辨率图像风格迁移模型。
具体地，终端将第二样本图像输入第二神经网络模型，通过第二神经网络模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的预测风格图像；根据第二目标风格图像和第二预测风格图像之间的差值，得到第二神经网络模型的第二损失值；根据该第二损失值，对第二神经网络模型的模型参数进行调整，得到训练完成的第二神经网络模型，作为目标图像风格迁移模型。
上述图像风格迁移模型的训练方法中，获取样本图像；样本图像至少包括第一样本图像和第二样本图像，第一样本图像由第二样本图像经过下采样处理得到；接着获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；然后根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像；最后根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。这样，在逐步增加样本图像的图像分辨率的过程中，图像风格迁移模型通过逐级学习，能够很好的拟合图像细节，从而得到真实感更强的细节处理结果，使得最终训练得到的目标图像风格迁移模型输出的风格图像的真实感更强，从而提高了得到的高分辨率风格图像的真实感，避免了低分辨率的风格转换关系很难适应高分辨率，导致得到的高分辨率风格图像的真实感较弱的缺陷。
在一示例性实施例中，在步骤S230中，根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像，具体包括：将第二样本图像输入第一图像风格迁移模型进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像。
具体地，终端将第二样本图像输入第一图像风格迁移模型，通过第一图像风格迁移模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像。
进一步地，如图3所示，在步骤S240中，根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，具体可以通过以下步骤实现：
在步骤S310中，将第二样本图像输入第二神经网络模型进行图像风格迁移处理，得到第二样本图像对应的第二预测风格图像。
在步骤S320中，根据第二目标风格图像和第二预测风格图像之间的差值，得到损失值。
在步骤S330中，根据损失值，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
其中，第二预测风格图像是指与第二样本图像对应的高分辨率预测风格图像，比如预测染发后的高分辨率人脸图像。
具体地，终端将第二样本图像输入第二神经网络模型，通过第二神经网络模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的第二预测风格图像；将第二目标风格图像和第二预测风格图像进行作差处理，得到第二目标风格图像和第二预测风格图像之间的差值，并结合损失函数，得到第二神经网络模型的损失值；若该损失值大于或者等于预设阈值，则根据该损失值，对第二神经网络模型的模型参数进行调整，得到模型参数调整后的第二神经网络模型；并重复执行步骤S310至步骤S330，以对模型参数调整后的第二神经网络模型进行反复训练，直到根据训练后的第二神经网络模型得到的损失值小于预设阈值，则将该训练后的第二神经网络模型，作为目标图像风格迁移模型。
在实际场景中，终端通过训练完成的用于对人脸图像中的头发区域进行颜色转换的低分辨率图像风格迁移模型，对高分辨率人脸图像中的染发区域进行颜色转换，得到真实染发后的高分辨率人脸图像，也就是说，通过这种方式，可以快速造出大量真实染发后的高分辨率人脸图像，解决了真实染发后的高分辨率人脸图像难以获得的问题；接着，终端将高分辨率人脸图像输入第二神经网络模型，比如深度神经网络模型，得到预测染发后的高分辨率人脸图像；根据真实染发后的高分辨率人脸图像和预测染发后的高分辨率人脸图像，基于随机梯度下降的方式，优化第二神经网络模型中的模型参数，以缩小预测染发后的高分辨率人脸图像与真实染发后的高分辨率人脸图像之间的误差；重复执行上述过程，在迭代预设次数之后，终止迭代，并将最终得到的第二神经网络模型，作为目标图像风格迁移模型。
本公开实施例提供的技术方案，通过基于第二目标风格图像和第二预测风格图像之间的差值得到的损失值，对第二神经网络模型进行训练，使得训练完成的目标图像风格迁移模型能够很好的拟合高分辨率图像的图像细节，从而得到真实感更强的细节处理结果，进一步提高了由目标图像风格迁移模型输出的高分辨率风格图像的准确性。
在一示例性实施例中，样本图像还包括N张第三样本图像，N张第三样本图像由第二样本图像经过下采样处理得到，或者，N张第三样本图像由第一样本图像经过上采样处理得到；第一样本图像、N张第三样本图像和第二样本图像的图像分辨率依次增大；N为正整数。
其中，第三样本图像可以是一个，也可以是多个。下采样处理是指降低图像的图像分辨率，从而缩小图像，比如双线性差值。上采样处理是指提高图像的图像分辨率，从而扩大图像。
具体地，终端获取高图像分辨率的样本图像，并将其作为第二样本图像；根据预设下采样指令，对第二样本图像进行下采样处理，得到下采样处理后的第二样本图像，并将其作为第三样本图像。或者，终端根据预设上采样指令，对第一样本图像进行上采样处理，得到上采样处理后的第一样本图像，并将其作为第三样本图像。
进一步地，终端还可以获取高图像分辨率的样本图像，并将其作为第二样本图像；根据预设下采样指令，对第二样本图像进行下采样处理，得到下采样处理后的第二样本图像，并将其作为第三样本图像；根据相同的预设下采样指令，对第三样本图像进行相同的下采样处理，得到下采样处理后的第三样本图像，并将其作为第一样本图像。
举例说明，终端获取高图像分辨率的包含头发的人脸图像，比如4k分辨率，作为第二样本图像A；通过双线性差值的方法，对第二样本图像A进行下采样处理，以降低第二样本图像A的图像分辨率，得到对应的中分辨率的包含头发的人脸图像，比如2k分辨率，作为第三样本图像B；通过双线性差值的方法，对第三样本图像B进行相同的下采样处理，以降低第三样本图像B的图像分辨率，得到对应的低分辨率的包含头发的人脸图像，比如1k分辨率，作为第一样本图像C。
本公开实施例提供的技术方案，通过对第二样本图像进行下采样处理，得到第三样本图像；对第三样本图像进行相同的下采样处理，得到第一样本图像，保证了在后续训练各种图像分辨率对应的图像风格迁移模型的过程中，各种样本图像的图像内容均相同，只是图像分辨率不同，使得后续训练得到的目标图像风格迁移模型输出的高分辨率风格图像更加准确，进一步提高了得到的高分辨率风格图像的真实感。
在一示例性实施例中，上述步骤S230，根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像，还包括：按照图像分辨率从低到高的顺序，将N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入第一图像风格迁移模型进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像；根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型；将N张第三样本图像中的当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入当前第三图像风格迁移模型进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像；重新根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型；将第二样本图像输入第N个第三图像风格迁移模型进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像。
具体地，终端按照图像分辨率从低到高的顺序，将N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入到第一图像风格迁移模型中，通过第一图像风格迁移模型对当前第三样本图像进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像；根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型(比如第一个第三神经网络模型)进行训练，得到训练完成的第三神经网络模型，并将其作为当前第三图像风格迁移模型。接着，终端将N张第三样本图像中的当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入当前第三图像风格迁移模型中，通过当前第三图像风格迁移模型对当前第三样本图像进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像，并重新执行根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型(比如第二个第三神经网络模型)进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型，则结束训练；将第二样本图像输入第N个第三图像风格迁移模型，通过第N个第三图像风格迁移模型对第二样本图像进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像。
举例说明，当N为1时，终端获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型(比如低分辨率图像风格迁移模型)；将第三样本图像输入第一图像风格迁移模型中进行图像风格迁移处理，得到第三样本图像对应的第三目标风格图像；根据第三样本图像和第三目标风格图像，对第三神经网络模型进行训练，得到第三图像风格迁移模型(比如中分辨率图像风格迁移模型)；将第二样本图像输入第三图像风格迁移模型中进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像；根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型(比如高分辨率图像风格迁移模型)。
进一步地，根据第三样本图像和第三目标风格图像，对第三神经网络模型进行训练，得到第三图像风格迁移模型，具体包括：将第三样本图像输入第三神经网络模型，通过第三神经网络模型对第三样本图像进行图像风格迁移处理，得到第三样本图像对应的第三预测风格图像，根据第三目标风格图像和第三预测风格图像之间的差值，得到第三神经网络模型的第二损失值；根据该第二损失值，对第三神经网络模型的模型参数进行调整，得到第三图像风格迁移模型。
举例说明，终端将第三目标风格图像和第三预测风格图像进行作差处理，得到第三目标风格图像和第三预测风格图像之间的差值，并结合损失函数，得到第三神经网络模型的第二损失值；若该第二损失值大于或者等于第二预设阈值，则根据该第二损失值，对第三图像神经网络模型的模型参数进行调整，得到模型参数调整后的第三神经网络模型；并重复执行上述过程，以对模型参数调整后的第三神经网络模型进行反复训练，直到根据训练后的第三神经网络模型得到的第二损失值小于第二预设阈值，则将该训练后的第三神经网络模型，作为第三图像风格迁移模型。
在实际场景中，终端通过训练完成的用于对人脸图像中的头发区域进行颜色转换的低分辨率图像风格迁移模型，对中分辨率人脸图像中的染发区域进行颜色转换，得到真实染发后的中分辨率人脸图像，也就是说，通过这种方式，可以快速造出大量真实染发后的中分辨率人脸图像；接着，终端将中分辨率人脸图像输入第三神经网络模型，得到预测染发后的中分辨率人脸图像；根据真实染发后的中分辨率人脸图像和预测染发后的中分辨率人脸图像，基于随机梯度下降的方式，优化第三神经网络模型中的模型参数，以缩小预测染发后的中分辨率人脸图像与真实染发后的中分辨率人脸图像之间的误差；重复执行上述过程，在迭代预设次数之后，终止迭代，并将最终得到的第三神经网络模型，作为第三图像风格迁移模型。
本公开实施例提供的技术方案，在逐步增加样本图像的图像分辨率的过程中，图像风格迁移模型通过逐级学习，能够很好的拟合图像细节，从而得到真实感更强的细节处理结果，使得最终训练得到的目标图像风格迁移模型输出的风格图像的真实感更强，从而提高了得到的高分辨率风格图像的真实感，避免了低分辨率的风格转换关系很难适应高分辨率，导致得到的高分辨率风格图像的真实感较弱的缺陷。
在一示例性实施例中，当前第三图像风格迁移模型通过下述方式训练得到：从当前第三样本图像对应的第三目标风格图像中，筛选出与当前第三样本图像的图像内容之间的相似度大于第一预设相似度，且与当前第三图像风格迁移模型的上一个第三图像风格迁移模型的目标转换风格相同的第三目标风格图像，作为待参考的第三目标风格图像；从当前第三样本图像中，筛选出与待参考的第三目标风格图像对应的第三样本图像，作为第三目标样本图像；根据第三目标样本图像和第三目标样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型。
其中，待参考的第三目标风格图像，是指图像风格迁移成功的第三目标风格图像，比如发色变化成功的中分辨率人脸图像、肤色变化成功的中分辨率人脸图像等，可以通过人工筛选得到，也可以通过机器筛选得到。
具体地，考虑到第三目标风格图像是通过训练完成的适用于低分辨率图像风格迁移的第一图像风格迁移模型，或者是通过当前第三图像风格迁移模型的上一个图像分辨率的第三图像风格迁移模，对中图像分辨率的第三样本图像进行图像风格迁移得到，难免存在图像风格转换失败的图像，故通过终端从当前第三样本图像对应的第三目标风格图像中，筛选出与当前第三样本图像的图像内容之间的相似度大于第一预设相似度，且与当前第三图像风格迁移模型的上一个第三图像风格迁移模型的目标转换风格相同的第三目标风格图像，并将其作为待参考的第三目标风格图像；接着，终端从当前第三样本图像中，筛选出对应的第三目标风格图像为待参考的第三目标风格图像的第三样本图像，并将其作为第三目标样本图像；最后，终端根据第三目标样本图像和第三目标样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行多次训练，直到训练次数达到预设次数，则停止训练，并将最终训练得到的第三神经网络模型，作为当前第三图像风格迁移模型。
本公开实施例提供的技术方案，从当前第三样本图像中，筛选出对应的第三目标风格图像为待参考的第三目标风格图像的第三目标样本图像，并根据第三目标样本图像和第三目标样本图像对应的第三目标风格图像，对当前第三神经网络模型进行多次训练，有利于提高通过训练得到的第三图像风格迁移模型输出的第二样本图像对应的第二目标风格图像的准确性，进一步提高了造出的高分辨率的风格迁移后的参考图像的准确性。
在一示例性实施例中，在将第二样本图像输入第N个第三图像风格迁移模型进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像之后，还包括：从第二目标风格图像中，筛选出与第二样本图像的图像内容之间的相似度大于第二预设相似度，且与第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，作为待参考的第二目标风格图像。那么，上述步骤S240，根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，还包括：从第二样本图像中，筛选出与待参考的第二目标风格图像对应的第二样本图像，作为第二目标样本图像；根据第二目标样本图像和第二目标样本图像对应的第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
其中，待参考的第二目标风格图像，是指图像风格迁移成功的第二目标风格图像，比如发色变化成功的高分辨率人脸图像、肤色变化成功的高分辨率人脸图像等，可以通过人工筛选得到，也可以通过机器筛选得到。
具体地，考虑到第二目标风格图像是通过训练完成的适用于中分辨率图像风格迁移的第三图像风格迁移模型(比如第N个第三图像风格迁移模型)，对高图像分辨率的第二样本图像进行图像风格迁移得到，难免存在图像风格转换失败的图像，故通过终端从第二目标风格图像中，筛选出与第二样本图像的图像内容之间的相似度大于第二预设相似度，且与第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，并将其作为待参考的第二目标风格图像；接着，终端从第二样本图像中，筛选出对应的第二目标风格图像为待参考的第二目标风格图像的第二样本图像，并将其作为第二目标样本图像；最后，终端根据第二目标样本图像和第二目标样本图像对应的第二目标风格图像，对第二神经网络模型进行多次训练，直到训练次数达到预设次数，则停止训练，并将最终训练得到的第二神经网络模型，作为目标图像风格迁移模型。
本公开实施例提供的技术方案，从第二样本图像中，筛选出对应的第二目标风格图像为待参考的第二目标风格图像的第二目标样本图像，并根据第二目标样本图像和第二目标样本图像对应的第二目标风格图像，对第二神经网络模型进行多次训练，有利于提高通过训练得到的目标图像风格迁移模型输出的高图像分辨率的目标风格图像的准确性，进一步提高了得到的高分辨率风格图像的准确性，同时实现了在缺乏高分辨率配对图片的情况下训练高分辨率风格转化模型的目的。
图4是根据一示例性实施例示出的一种图像风格迁移方法的流程图，如图2所示，图像风格迁移方法用于如图1所示的终端中，包括以下步骤：
在步骤S410中，获取待处理图像。
其中，待处理图像是指高分辨率的图像，比如高分辨率的人脸图像。
在步骤S420中，将待处理图像输入目标图像风格迁移模型，得到待处理图像对应的目标风格图像。
其中，目标图像风格迁移模型根据如上任一项实施例所述的图像风格迁移模型的训练方法得到。
举例说明，终端获取高分辨率的人脸图像(包含头发)，并将高分辨率的人脸图像输入训练完成的用于对人脸图像中的头发区域进行颜色转换的高分辨率图像风格迁移模型，通过高分辨率图像风格迁移模型，对高分辨率人脸图像中的染发区域进行颜色转换，得到染发后的高分辨率人脸图像，比如高分辨率黄色头发图片。
上述图像风格迁移方法中，通过训练完成的目标图像风格迁移模型，得到待处理图像对应的目标风格图像，有利于提高得到的高分辨率风格图像的真实感，避免了低分辨率的风格转换关系很难适应高分辨率，导致得到的高分辨率风格图像的真实感较弱的缺陷。
在一示例性实施例中，还提供了一种基于模型自学习的高分辨率纹理风格转换方法，该方法可以应用于人像头发颜色转换场景中，头发区域需要进行色彩转换，而其他区域则需要保持原状不变；其原理如图5所示，该方法通过采用低分辨率配对数据训练低分辨率神经网络，之后用神经网络造出高分辨率配对图；经过人工筛选后，用造出的高分辨率配对图训练高分辨率神经网络。具体流程如下：
数据集准备：
1)准备大量高分辨率人像图片(包含头发)，例如4k分辨率，组成数据集Ahi；这些图片来自于手机、摄像机采集，互联网公开图片的下载等渠道。
2)将高分辨率图片Ahi通过下采样方法(如双线性差值)将图片分辨率降低，得到对应的中等分辨率数据集Ami。
3)将中分辨率图片Ami通过下采样方法(如双线性差值)将图片分辨率降低，得到对应的低分辨率数据集Ali。
4)采用人工或者AI的方式，将低分辨率中的每个图片Ali转化为对应的黄色头发的图片Bli；例如，可以让设计师根据Ali手动修图，得到对应颜色转化后的头发图片。
5)整理上述数据，得到了每个高分辨率图Ahi对应的不同分辨率的降分辨率的图片Ami和Ali，以及对应的低分辨率黄色头发图片Bli。
训练低分辨率AI模型：
1)按照上述流程准备数据集D，数据集包含若干图片对Ali和Bli(i＝1,2,3,4…)，图片Ali为手机、相机等设备拍摄的图片(如原始人像照片)，对应的风格化图片Bli(如人像风格化图片)。以图5为例，Ai为原始人像，Bi为染发后的图片。
2)准备三个深度神经网络Gl、Gm、Gh，分别用来完成低中高三个不同分辨率的风格转换。
3)从数据集中，任选一个低分辨率图片Ali与配对的风格转化后的图片Bli。
4)将Ali送入Gl得到Bli’，采用随机梯度下降的方式，优化Gl中的参数，缩小Bli’与Bli的误差。
5)重复3)～4)，迭代Nl次之后，终止迭代。
6)将所有Ami送入Gl得到对应的输出Bmi,作为中等分辨率的染发后参考图片。
训练中分辨率AI模型：
7)从数据集中，任选一个中分辨率图片Ami与配对的风格转化后的图片Bmi。
8)将Ami送入Gm得到Bmi’，采用随机梯度下降的方式，优化Gm中的参数，缩小Bmi’与Bmi的误差。
9)重复7)～8)，迭代Nl次之后，终止迭代。
10)将所有Ahi送入Gm得到对应的输出Bhi,作为高分辨率的染发后参考图片。
训练高分辨率AI模型：
11)从数据集中，任选一个高分辨率图片Ahi与配对的风格转化后的图片Bhi。
12)将Ahi送入Gh得到Bhi’，采用随机梯度下降的方式，优化Gh中的参数，缩小Bhi’与Bhi的误差。
13)重复11)～12)，迭代Nl次之后，终止迭代。
模型部署：
14)之后将Gh网络嵌入图像处理流程。
15)在使用场景中，将从手机、云端等终端采集的图片作为神经网络的输入送入Gh，并将网络输出的图片代替原图作为输出。
上述基于模型自学习的高分辨率纹理风格转换方法，可以达到以下技术效果：(1)提升了转化细节：神经网络具有细节生成能力，在逐步增加分辨率的过程中，神经网络通过逐级学习，很好的拟合图片细节，可以得到真实感更强的细节处理结果；(2)大倍率提升分辨率：通过逐渐提升分辨率，多次迭代的方法逐渐提升分辨率；每次将分辨率提升到与原来分辨率相近的程度；多层提升分辨率之后，通过多次的迭代，总体分辨率提升巨大，可以在缺乏高分辨率配对图片的情况下训练高分辨率转化模型。
应该理解的是，虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
图6是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。参照图6，该装置包括第一获取单元610，第一训练单元620，第二获取单元630和第二训练单元640。
第一获取单元610，被配置为执行获取样本图像；样本图像至少包括第一样本图像和第二样本图像，第一样本图像由第二样本图像经过下采样处理得到。
第一训练单元620，被配置为执行获取第一样本图像对应的第一目标风格图像，根据第一样本图像和第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型。
第二获取单元630，被配置为执行根据第一图像风格迁移模型，得到第二样本图像对应的第二目标风格图像。
第二训练单元640，被配置为执行根据第二样本图像和第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
在一示例性实施例中，第二获取单元630，还被配置为执行将第二样本图像输入第一图像风格迁移模型进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像；
第二训练单元640，还被配置为执行将第二样本图像输入第二神经网络模型进行图像风格迁移处理，得到第二样本图像对应的第二预测风格图像；根据第二目标风格图像和第二预测风格图像之间的差值，得到损失值；根据损失值，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
在一示例性实施例中，样本图像还包括N张第三样本图像，N张第三样本图像由第二样本图像经过下采样处理得到，或者，N张第三样本图像由第一样本图像经过上采样处理得到；第一样本图像、N张第三样本图像和第二样本图像的图像分辨率依次增大；N为正整数；
第二获取单元630，还被配置为执行按照图像分辨率从低到高的顺序，将N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入第一图像风格迁移模型进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像；根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型；将N张第三样本图像中的当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入当前第三图像风格迁移模型进行图像风格迁移处理，得到当前第三样本图像对应的第三目标风格图像；重新根据当前第三样本图像和当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型；将第二样本图像输入第N个第三图像风格迁移模型进行图像风格迁移处理，得到第二样本图像对应的第二目标风格图像。
在一示例性实施例中，第二获取单元630，还被配置为执行从当前第三样本图像对应的第三目标风格图像中，筛选出与当前第三样本图像的图像内容之间的相似度大于第一预设相似度，且与当前第三图像风格迁移模型的上一个第三图像风格迁移模型的目标转换风格相同的第三目标风格图像，作为待参考的第三目标风格图像；从当前第三样本图像中，筛选出与待参考的第三目标风格图像对应的第三样本图像，作为第三目标样本图像；根据第三目标样本图像和第三目标样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型。
在一示例性实施例中，图像风格迁移模型的训练装置还包括图像筛选单元，被配置为执行从第二目标风格图像中，筛选出与第二样本图像的图像内容之间的相似度大于第二预设相似度，且与第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，作为待参考的第二目标风格图像；
第二训练单元640，还被配置为执行从第二样本图像中，筛选出与待参考的第二目标风格图像对应的第二样本图像，作为第二目标样本图像；根据第二目标样本图像和第二目标样本图像对应的第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
图7是根据一示例性实施例示出的一种图像风格迁移装置的框图。参照图7，该装置包括获取单元710和处理单元720。
获取单元710，被配置为执行获取待处理图像。
处理单元720，被配置为执行将待处理图像输入目标图像风格迁移模型，得到待处理图像对应的目标风格图像；目标图像风格迁移模型根据图像风格迁移模型的训练方法得到。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于执行图像风格迁移模型的训练方法或者图像风格迁移方法的电子设备800的框图。例如，电子设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图8，电子设备800可以包括以下一个或多个组件：处理组件802、存储器804、电源组件806、多媒体组件808、音频组件810、输入/输出(I/O)的接口812、传感器组件814以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件816发送。在一些实施例中，音频组件810还包括扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800组件的位置改变，用户与电子设备800接触的存在或不存在，设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，该计算机程序产品中包括指令，上述指令可由电子设备800的处理器820执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像风格迁移模型的训练方法，其特征在于，包括：
获取样本图像；所述样本图像至少包括第一样本图像和第二样本图像，所述第一样本图像由所述第二样本图像经过下采样处理得到；
获取所述第一样本图像对应的第一目标风格图像，根据所述第一样本图像和所述第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；
根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像；
根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
2.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像，包括：
将所述第二样本图像输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像；
所述根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，包括：
将所述第二样本图像输入第二神经网络模型进行图像风格迁移处理，得到所述第二样本图像对应的第二预测风格图像；
根据所述第二目标风格图像和所述第二预测风格图像之间的差值，得到损失值；
根据所述损失值，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
3.根据权利要求1所述的图像风格迁移模型的训练方法，其特征在于，所述样本图像还包括N张第三样本图像，所述N张第三样本图像由所述第二样本图像经过下采样处理得到，或者，所述N张第三样本图像由所述第一样本图像经过上采样处理得到；所述第一样本图像、所述N张第三样本图像和所述第二样本图像的图像分辨率依次增大；所述N为正整数；
所述根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像，还包括：
按照图像分辨率从低到高的顺序，将所述N张第三样本图像中的第一张第三样本图像作为当前第三样本图像，输入所述第一图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；
根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对N个第三神经网络模型中的对应当前第三神经网络模型进行训练，得到当前第三图像风格迁移模型；
将所述N张第三样本图像中的所述当前第三样本图像的下一张第三样本图像，重新作为当前第三样本图像，输入所述当前第三图像风格迁移模型进行图像风格迁移处理，得到所述当前第三样本图像对应的第三目标风格图像；
重新根据所述当前第三样本图像和所述当前第三样本图像对应的第三目标风格图像，对所述N个第三神经网络模型中的对应当前第三神经网络模型进行训练，直到得到的当前第三图像风格迁移模型为第N个第三图像风格迁移模型；
将所述第二样本图像输入所述第N个第三图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像。
4.根据权利要求3所述的图像风格迁移模型的训练方法，其特征在于，在将所述第二样本图像输入所述第N个第三图像风格迁移模型进行图像风格迁移处理，得到所述第二样本图像对应的第二目标风格图像之后，还包括：
从所述第二目标风格图像中，筛选出与所述第二样本图像的图像内容之间的相似度大于第二预设相似度，且与所述第N个第三图像风格迁移模型的目标转换风格相同的第二目标风格图像，作为待参考的第二目标风格图像；
所述根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型，还包括：
从所述第二样本图像中，筛选出与所述待参考的第二目标风格图像对应的第二样本图像，作为第二目标样本图像；
根据所述第二目标样本图像和所述第二目标样本图像对应的第二目标风格图像，对所述第二神经网络模型进行训练，得到所述目标图像风格迁移模型。
5.一种图像风格迁移方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入目标图像风格迁移模型，得到所述待处理图像对应的目标风格图像；所述目标图像风格迁移模型根据权利要求1至4任一项所述的图像风格迁移模型的训练方法得到。
6.一种图像风格迁移模型的训练装置，其特征在于，包括：
第一获取单元，被配置为执行获取样本图像；所述样本图像至少包括第一样本图像和第二样本图像，所述第一样本图像由所述第二样本图像经过下采样处理得到；
第一训练单元，被配置为执行获取所述第一样本图像对应的第一目标风格图像，根据所述第一样本图像和所述第一目标风格图像，对第一神经网络模型进行训练，得到第一图像风格迁移模型；
第二获取单元，被配置为执行根据所述第一图像风格迁移模型，得到所述第二样本图像对应的第二目标风格图像；
第二训练单元，被配置为执行根据所述第二样本图像和所述第二目标风格图像，对第二神经网络模型进行训练，得到目标图像风格迁移模型。
7.一种图像风格迁移装置，其特征在于，包括：
获取单元，被配置为执行获取待处理图像；
处理单元，被配置为执行将所述待处理图像输入目标图像风格迁移模型，得到所述待处理图像对应的目标风格图像；所述目标图像风格迁移模型根据权利要求1至4任一项所述的图像风格迁移模型的训练方法得到。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的方法。
10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5任一项所述的方法。
CN202111243493.8A 2021-10-25 2021-10-25 图像风格迁移模型的训练方法、图像风格迁移方法及装置 Pending CN113989104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111243493.8A CN113989104A (zh) 2021-10-25 2021-10-25 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111243493.8A CN113989104A (zh) 2021-10-25 2021-10-25 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Publications (1)

Publication Number Publication Date
CN113989104A true CN113989104A (zh) 2022-01-28

Family

ID=79741204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111243493.8A Pending CN113989104A (zh) 2021-10-25 2021-10-25 图像风格迁移模型的训练方法、图像风格迁移方法及装置

Country Status (1)

Country Link
CN (1) CN113989104A (zh)

Similar Documents

Publication Publication Date Title
US20210097297A1 (en) Image processing method, electronic device and storage medium
WO2020093837A1 (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN110517185B (zh) 图像处理方法、装置、电子设备及存储介质
US20170287188A1 (en) Method and apparatus for intelligently capturing image
CN109360261B (zh) 图像处理方法、装置、电子设备及存储介质
CN107944447B (zh) 图像分类方法及装置
CN107992848B (zh) 获取深度图像的方法、装置及计算机可读存储介质
CN105138962A (zh) 图像显示方法及装置
CN107967459B (zh) 卷积处理方法、装置及存储介质
CN111340731A (zh) 图像处理方法及装置、电子设备和存储介质
CN114025105B (zh) 视频处理方法、装置、电子设备、存储介质
US20220188982A1 (en) Image reconstruction method and device, electronic device, and storage medium
CN113099297A (zh) 卡点视频的生成方法、装置、电子设备及存储介质
CN110619325A (zh) 一种文本识别方法及装置
CN112347911A (zh) 指甲特效的添加方法、装置、电子设备及存储介质
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
CN112734627B (zh) 图像风格迁移模型的训练方法、图像风格迁移方法及装置
CN113160039B (zh) 图像风格迁移方法、装置、电子设备及存储介质
CN112750081A (zh) 图像处理方法、装置及存储介质
CN112116528A (zh) 图像处理方法、装置、电子设备及存储介质
CN110148424B (zh) 语音处理方法、装置、电子设备及存储介质
CN113989104A (zh) 图像风格迁移模型的训练方法、图像风格迁移方法及装置
US20220335250A1 (en) Methods and apparatuses for fine-grained style-based generative neural networks
CN114943657A (zh) 图像处理方法、装置、电子设备、存储介质
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination