CN113763230A - 图像风格迁移模型训练方法、风格迁移方法及装置 - Google Patents

图像风格迁移模型训练方法、风格迁移方法及装置 Download PDF

Info

Publication number
CN113763230A
CN113763230A CN202010501213.8A CN202010501213A CN113763230A CN 113763230 A CN113763230 A CN 113763230A CN 202010501213 A CN202010501213 A CN 202010501213A CN 113763230 A CN113763230 A CN 113763230A
Authority
CN
China
Prior art keywords
image
training
style migration
style
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010501213.8A
Other languages
English (en)
Other versions
CN113763230B (zh
Inventor
许鸿民
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010501213.8A priority Critical patent/CN113763230B/zh
Publication of CN113763230A publication Critical patent/CN113763230A/zh
Application granted granted Critical
Publication of CN113763230B publication Critical patent/CN113763230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种图像风格迁移模型训练方法、风格迁移方法及装置，以至少解决传统风格迁移技术中所存在计算量大的问题。其中，上述模型训练方法包括：获取第一风格的样本图像和第二风格的第一图像；对第一图像进行分辨率降低处理，得到第二图像；根据样本图像和第二图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。本公开应用于图像风格迁移场景中。

Description

图像风格迁移模型训练方法、风格迁移方法及装置
技术领域
本公开涉及互联网技术领域，尤其涉及图像风格迁移模型训练方法、风格迁移方法及装置。
背景技术
风格迁移(Style Transfer)的目的是将一张风格图像(Style Image)的视觉元素迁移到另一张图像(Content Image)，从而生成风格化的图像(Stylized Image)。使用风格迁移技术，人们可以轻易地将自己的照片转变为一张带有特定画作风格的图像。
在传统风格迁移技术中，通常可以使用训练模型模型来对输入图像进行风格迁移训练，从而得到一张风格化的输出图像。然而，在实际使用过程中，若想要得到高分辨率的输出图像，通常需要输入同分辨率的输入图像，从而导致整个过程计算量较大。
发明内容
本公开提供一种图像风格迁移模型训练方法、风格迁移方法及装置，以至少解决传统风格迁移技术中所存在计算量大的问题。
本公开的技术方案如下：
根据本公开的实施例的第一方面，提供一种图像风格迁移模型训练方法，包括：获取第一风格的样本图像和第二风格的第一图像；对上述第一图像进行分辨率降低处理，得到第二图像；根据样本图像和第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
结合第一方面，在一种可能的实现方式中，上述根据上述样本图像和上述第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型，包括：根据上述样本图像和上述第二图像，对预设神经网络模型进行M次训练，直至满足预设收敛条件，得到图像风格迁移模型；
其中，上述M次训练包括超分辨率训练和风格迁移训练；
上述M次训练中的第i次训练的步骤包括：将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像，基于上述第三图像与上述第一图像间的图像内容损失，对上述第i-1次训练得到的神经网络模型进行超分辨率训练，以调整上述第i-1次训练得到的神经网络模型的参数；
上述M次训练中的第j次训练的步骤包括：将上述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理，得到第三风格的第四图像，基于上述第四图像与上述样本图像间的图像风格损失，对上述第j-1次训练得到的神经网络模型进行风格迁移训练，以调整上述第j-1次训练得到的神经网络模型的参数；
其中，上述预设收敛条件包括：当前图像内容损失小于或等于第一阈值、且当前图像风格损失小于或等于第二阈值；1≤i≤M，1≤j≤M，且i≠j。
结合第一方面，在一种可能的实现方式中，上述超分辨率训练包括X次超分辨率训练，上述风格迁移训练包括Y次风格迁移训练；其中，上述M次训练的前X次训练为上述超分辨率训练，且上述M次训练的后Y次训练为上述风格迁移训练；或者，上述M次训练的前Y次训练为上述风格迁移训练，且上述M次训练的后X次训练为上述超分辨率训练，X和Y为正整数，且X+Y＝M。
结合第一方面，在一种可能的实现方式中，上述M次训练包括执行N次的训练组，上述训练组包括至少一次超分辨率训练和至少一次风格迁移训练；其中，N为大于1的整数。
结合第一方面，在一种可能的实现方式中，上述训练组的前k次训练为上述超分辨率训练，且上述训练组的后t次训练为上述风格迁移训练；或者，上述训练组的前t次训练为上述风格迁移训练，且上述训练组的后k次训练为上述超分辨率训练。
结合第一方面，在一种可能的实现方式中，上述对上述第一图像进行分辨率降低处理，得到第二风格的第二图像的步骤，包括：按照第一比例，对上述第一图像进行分辨率降低处理，得到第二风格的第二图像；上述将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像的步骤，包括：将上述第二图像输入第i-1次训练得到的神经网络模型按照第二比例进行超分辨率处理，得到第二风格的第三图像；其中，上述第一比例与上述第二比例的乘积为1。
根据本公开的实施例的第二方面，提供一种图像风格迁移方法，包括：获取待处理图像；将上述待处理图像进行分辨率降低处理，得到处理后的图像；将上述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；其中，上述目标图像的分辨率大于上述处理后的图像的分辨率、且上述目标图像的图像风格与上述待处理图像的图像风格不同；上述图像风格迁移模型为第一方面任一上述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
根据本公开的实施例的第三方面，提供一种图像处理装置，包括：获取模块，被配置为获取第一风格的样本图像和第二风格的第一图像；处理模块，被配置为对上述获取模块获取的上述第一图像进行分辨率降低处理，得到第二图像；训练模块，被配置为根据获取模块获取的样本图像和处理模块得到的第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
结合第三方面，在一种可能的实现方式中，上述获取模块，具体被配置为获取第一风格的样本图像和第二风格的第一图像；上述训练模块，具体被配置为根据获取模块获取的样本图像和处理模块得到的第二图像，对预设神经网络模型进行M次训练，直至满足预设收敛条件，得到图像风格迁移模型；其中，上述M次训练包括超分辨率训练和风格迁移训练；
上述M次训练中的第i次训练包括：将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像，基于上述第三图像与上述第一图像间的图像内容损失，对上述第i-1次训练得到的神经网络模型进行超分辨率训练，以调整上述第i-1次训练得到的神经网络模型的参数；
上述M次训练中的第j次训练包括：将上述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理，得到第三风格的第四图像，基于上述第四图像与上述样本图像间的图像风格损失，对上述第j-1次训练得到的神经网络模型进行风格迁移训练，以调整上述第j-1次训练得到的神经网络模型的参数；
其中，上述预设收敛条件包括：计算出的图像内容损失小于或等于第一阈值、且计算出的图像风格损失小于或等于第二阈值；1≤i≤M，1≤j≤M，且i≠j。
结合第三方面，在一种可能的实现方式中，上述超分辨率训练包括X次超分辨率训练，上述风格迁移训练包括Y次风格迁移训练；其中，上述M次训练的前X次训练为上述超分辨率训练，且上述M次训练的后Y次训练为上述风格迁移训练；或者，上述M次训练的前Y次训练为上述风格迁移训练，且上述M次训练的后X次训练为上述超分辨率训练，X和Y为正整数，且X+Y＝M。
结合第三方面，在一种可能的实现方式中，上述M次训练包括执行N次的训练组，上述训练组包括至少一次超分辨率训练和至少一次风格迁移训练；其中，N为大于1的整数。
结合第三方面，在一种可能的实现方式中，上述训练组的前k次训练为上述超分辨率训练，且上述训练组的后t次训练为上述风格迁移训练；或者，上述训练组的前t次训练为上述风格迁移训练，且上述训练组的后k次训练为上述超分辨率训练。
结合第三方面，在一种可能的实现方式中，上述处理模块在对上述第一图像进行分辨率降低处理得到第二风格的第二图像时，具体被配置为：按照第一比例，对上述第一图像进行分辨率降低处理，得到第二风格的第二图像；上述处理模块在将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像时，具体被配置为：将上述第二图像输入第i-1次训练得到的神经网络模型按照第二比例进行超分辨率处理，得到第二风格的第三图像；其中，上述第一比例与上述第二比例的乘积为1。
根据本公开的实施例的第四方面，提供一种图像风格迁移装置，包括：获取模块，被配置为获取待处理图像；处理模块，被配置为将上述待处理图像进行分辨率降低处理，得到处理后的图像；上述处理模块，还被配置为将上述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；其中，上述目标图像的分辨率大于上述处理后的图像的分辨率、且上述目标图像的图像风格与上述待处理图像的图像风格不同；上述图像风格迁移模型为第一方面任一上述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
根据本公开的实施例的第五方面，提供一种电子设备，包括：处理器，用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行所述指令，以实现如第一方面所示的图像风格迁移模型训练方法或第二方面所示的图像风格迁移方法。
根据本公开的实施例的第六方面，提供一种存储介质，当该存储介质中的指令由图像处理装置的处理器执行时，使得图像处理装置能够执行如第一方面所示的图像风格迁移模型训练方法或第二方面所示的图像风格迁移方法。
根据本公开的实施例的第七方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，该算机程序经由计算机载入并执行后能够实现第一方面所示的图像风格迁移模型训练方法或第二方面所示的图像风格迁移方法。
本公开的实施例提供的技术方案至少带来以下有益效果：图像风格迁移模型训练装置在获取到第一图像和样本图像后，通过对第一图像进行分辨率降低处理，得到第二图像，然后根据第一图像和样本图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。相比于传统训练过程中的训练模型只学习风格迁移任务，本公开实施例中的训练模型将轮流学习风格迁移任务和超分辨率任务，即本公开使用的是低分辨输入、高分辨输出的神经网络结构，不仅减少整个图像风格迁移过程中的计算量，还使得训练出的训练模型输出的图像能够保留原始图像中的图像细节，以使输出图像具有与原始图像的同等图像质量的风格迁移效果，提高了图像处理效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像风格迁移模型训练方法的方法流程图；
图2是根据一示例性实施例示出的一种图像风格迁移方法的方法流程图；
图3是根据一示例性实施例示出的一种图像风格迁移模型的训练框架示意图；
图4是根据一示例性实施例示出的一种图像风格迁移模型训练装置的结构框图；
图5是根据一示例性实施例示出的一种图像风格迁移装置的结构框图；
图6是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开的实施例中的技术方案进行清楚、完整地描述。
需要说明的是，在本公开的实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
目前，风格迁移应用中通常要求在移动终端可以输出高清(如，720p,1080p或更大)的风格化图像。而在传统风格迁移技术中，通常使用等分辨率的输入输出自动编码器来进行风格迁移(例如，输入图像分辨率是1280*720时，自动编码器的输出图像的分辨率也是1280*720)，即，使用训练模型模型来对输入图像进行风格迁移训练，得到一张风格化的输出图像。然而，整个风格迁移过程中的计算量将非常巨大，以至于无法在计算资源有限的移动终端中使用。因此，如何合理的减小训练模型训练的计算量的同时，保持与输入图像的图像质量相同的风格迁移的输出图像是一个挑战。
为了解决这一问题，本公开的实施例提供的技术方案至少带来以下有益效果：
发明人发现，在传统风格迁移训练中，训练模型本身只学习风格迁移任务。传统风格迁移在结果上更关心最终的输出图像中的纹理质量，对于输入图像中的图像细节在最终风格化的输出图像中表现关心相对较少。即，在保持最终风格化图像中展示合理内容图像细节的前提下，输入的原始图像其分辨率可能不需要与输出图像保持一致，一个比较直观的想法是降低输入图像的分辨率。具体的，传统图像风格迁移模型训练过程的步骤可以分解为：当网络没有收敛时：1)输入一张分辨率为h×w的内容图像I1；2)将图像I1通过神经网络得到一张风格化的图像I2；3)使用图像I2计算图像风格损失；4)基于图像风格损失重新调节网络权值，直到网络收敛。当网络收敛后，输入一张内容图像，通过已经训练好的神经网络，便可得到一张同分辨率的风格化后的图像。
在本公开的实施例中，图像风格迁移模型训练装置在获取到样本图像和第一图像后，通过对第一图像进行分辨率降低处理，得到第二图像，然后根据样本图像和第一图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。相比于传统训练过程中的训练模型只学习风格迁移任务，本公开实施例中的训练模型将轮流学习风格迁移任务和超分辨率任务，即本公开使用的是低分辨输入、高分辨输出的神经网络结构，不仅减少整个图像风格迁移过程中的计算量，还使得训练出的训练模型输出的图像能够保留原始图像中的图像细节，以使输出图像具有与原始图像的同等图像质量的风格迁移效果，提高了图像处理效率。
此外，在对本公开的实施例提供的图像风格迁移模型训练方法和图像风格迁移方法进行详细介绍之前，这里先对本公开的实施例涉及的应用场景进行简单介绍。
本公开的实施例提供的图像风格迁移模型训练方法和图像风格迁移方法可以应用于各种图像处理场景(如，拍照场景，修图场景等)中，也可以应用于其他场景中，本公开对此不做限定。示例性的，在上述图像处理场景中，图像风格迁移装置将任一图像进行图像风格迁移处理，从而得到风格迁移后的图像。其中，图像风格迁移是指：利用深度学习算法学习著名画作的风格，并将该风格应用于另一幅图像上，使得该图像具备该著名画面的风格。
本发明实施例提供的图像风格迁移模型训练方法的执行主体可以为图像风格迁移模型训练装置，也可以为该图像风格迁移模型训练装置中能够实现图像风格迁移模型训练方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。同时，本发明实施例提供的图像风格迁移方法的执行主体可以为图像风格迁移方法装置，也可以为该图像风格迁移装置中能够实现图像风格迁移方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。
本发明实施例中的图像风格迁移模型训练装置和图像风格迁移装置可以为电子设备，该电子设备可以为移动终端设备，也可以为非移动终端设备。示例性的，移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动终端设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。
下面结合附图对本申请提供的技术方案进行介绍。
图1是根据一示例性实施例示出的一种图像风格迁移模型训练方法的流程图，应用于图像风格迁移模型训练装置，如图1所示，该图像风格迁移模型训练方法包括以下步骤。
在步骤S101中，获取第一风格的样本图像和第二风格的第一图像。
在步骤S102中，对第一图像进行分辨率降低处理，得到第二图像。
在步骤S103中，根据样本图像和第二图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
其中，上述第一图像的图像分辨率高于上述第二图像的图像分辨率。上述第一风格与上述第二风格不同。
可以理解的，上述的训练过程包含两种任务训练，分别为：超分辨率任务和风格迁移任务。其中，上述超分辨率任务是指：将输入的训练样本的图像分辨率降低，经过训练模型后，输出高分辨率的输出图像的过程；上述风格迁移任务是指：将输入的训练样本，经过训练模型后，输出风格化的输出图像的过程。如此，本公开的实施例通过进行超分辨率任务和风格迁移任务的合并训练，从而能够保证训练出的图像风格迁移模型的输出图像具备与原始输入图像一致的高质量的风格迁移效果的同时，极大减少了计算量。
可选的，在本公开实施例中，上述预设神经网络模型可以在深度学习算法的学习框架上搭建，而上述深度学习算法的选择可以按照实际需求确定，本公开实施例对此不做限定。
可选的，在本公开实施例中，上述步骤S103可以包括如下步骤S103a：
在步骤S103a中，根据样本图像和第二图像对预设神经网络模型进行M次训练，直至满足预设收敛条件，得到图像风格迁移模型。
其中，上述M次训练包括超分辨率训练和风格迁移训练。
应注意的是，上述M次训练中的超分辨率训练的训练次数与风格迁移训练的训练次数可以相同，也可以不相同，本公开实施例对此不做限定。同时，上述M次训练中的超分辨率训练和风格迁移训练的训练先后顺序，本公开实施例也不做限定。
进一步可选的，在本公开实施例中，图像风格迁移模型训练装置在基于图像样本对预设神经网络模型进行训练时，可以采用多组图像样本进行多次训练，使得训练出的风格迁移模型更精准。即图像风格迁移模型训练装置可以获取多组图像样本，每组图像样本包括一个样本图像和该样本图像对应的第一图像。在一种示例中，图像风格迁移模型训练装置可以从图像样本库中获取上述多组图像样本。其中，上述图像样本库中包含多组图像样本。
进一步可选的，在本公开实施例中，上述M次训练中的第i次训练的步骤包括步骤S103a1：
在步骤S103a1中，将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像，基于上述第三图像与上述第一图像间的图像内容损失，对上述第i-1次训练得到的神经网络模型进行超分辨率训练，以调整上述第i-1次训练得到的神经网络模型的参数。
示例性的，上述图像风格迁移模型训练装置可以基于图像内容损失函数，计算上述第三图像与上述第一图像间的图像内容损失值。其中，上述的图像内容损失函数用于表示神经网络模型输出图像的图像特征信息与原始图像的图像特征信息之间的损失。
进一步可选的，在本公开实施例中，上述M次训练中的第j次训练的步骤包括步骤S103a2：
在步骤S103a2中，将上述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理，得到第三风格的第四图像，基于上述第四图像与上述样本图像间的图像风格损失，对上述第j-1次训练得到的神经网络模型进行风格迁移训练，以调整上述第j-1次训练得到的神经网络模型的参数。
示例性的，上述图像风格迁移模型训练装置可以基于图像风格损失函数，计算第三风格的第四图像与第一风格的样本图像间的图像风格损失值。其中，上述的图像风格损失函数用于表示神经网络模型输出图像的图像风格与原始图像的图像风格之间的损失。
其中，1≤i≤M，1≤j≤M，且i≠j。可以理解，上述的M次训练中的第i次训练可以为上述M次训练中与第j次训练不同的一次训练，上述的M次训练中的第j次训练可以为上述M次训练中与第i次训练不同的一次训练，本申请对于两者的执行顺序并不做限定。
示例性的，上述预设收敛条件包括：当前图像内容损失小于或等于第一阈值、且当前图像风格损失小于或等于第二阈值；或者，总训练次数达到预定次数。其中，上述第一阈值为预设图像内容损阈值，上述第二阈值为预设图像风格损失阈值。
可以理解，在本公开实施例中，当图像风格迁移模型训练装置将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理得到第三图像之后，会计算第三图像与第一图像间的图像内容损失。如果，该图像内容损失小于或等于第一阈值，那么图像风格迁移模型训练装置可以确定当前训练得到的神经网络模型符合高分辨率任务的收敛条件。如果，该图像内容损失大于第一阈值，那么图像风格迁移模型训练装置可以基于该图像内容损失调整神经网络模型的参数，并重新将第二图像输入调整参数后的神经网络模型，直至神经网络模型生成的图像相对于第一图像的图像内容损失小于或等于第一阈值。
同时，当图像风格迁移模型训练装置将上述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理得到第三风格的第四图像之后，会计算第四图像与样本图像间的图像风格损失。如果，该图像风格损失小于或等于第二阈值，那么图像风格迁移模型训练装置可以确定当前训练得到的神经网络模型符合图像风格任务的收敛条件。如果，该图像风格损失大于第二阈值，那么图像风格迁移模型训练装置可以基于该图像风格损失调整神经网络模型的参数，并重新将第二图像输入调整参数后的神经网络模型，直至神经网络模型生成的图像相对于样本图像的图像风格损失小于或等于第二阈值。
综上所述，当当前训练得到的神经网络模型同时符合图像风格任务的收敛条件和高分辨率任务的收敛条件时，图像风格迁移模型训练装置会确定当前训练得到的神经网络模型为最终的图像风格迁移模型。
此外，当图像风格迁移模型训练装置对神经网络模型进行训练的总训练次数达到预定次数，则认为当前训练得到的神经网络模型符合图像风格迁移模型的收敛条件，图像风格迁移模型训练装置会确定当前训练得到的神经网络模型为最终的图像风格迁移模型。
进一步可选的，在本公开实施例中，上述超分辨率训练包括X次超分辨率训练，上述风格迁移训练包括Y次风格迁移训练；其中，上述M次训练的前X次训练为上述超分辨率训练，且上述M次训练的后Y次训练为上述风格迁移训练；或者，上述M次训练的前Y次训练为上述风格迁移训练，且上述M次训练的后X次训练为上述超分辨率训练，X和Y为正整数，且X+Y＝M。
在本公开实施例中，图像风格迁移模型训练装置在对预设神经网络模型进行训练时，可以对该预设神经网络模型进行多次重复训练，以得到更佳精准的图像风格迁移模型。需要说明的是，每次重复训练过程的训练次数可以相同，也可以不同。例如，图像风格迁移模型训练装置可以重复采用处理后的图像样本对预设神经网络模型进行多次N次训练。
进一步可选的，在本公开实施例中，上述M次训练包括执行N次的训练组，上述训练组包括至少一次超分辨率训练和至少一次风格迁移训练；其中，N为大于1的整数。需要说明的是，上述执行N次的训练组中每次执行的训练组中包含的训练次数可以相同，也可以不相同，本公开实施例对此不作限定。
示例性的，上述训练组的前k次训练为上述超分辨率训练，且上述训练组的后t次训练为上述风格迁移训练；或者，上述训练组的前t次训练为上述风格迁移训练，且上述训练组的后k次训练为上述超分辨率训练，其中，k、t为正整数。应注意的是，k和t可以相同，也可以不同。
应注意的是，在图像风格迁移模型的训练过程中采用轮流训练超分辨率任务和风格迁移任务的出发点是：本公开的实施例中的图像风格迁移模型的本质目的是输出高于输入图像分辨率的风格化图像。例如，每进行至少一个次风格迁移任务的训练后，则需要进行至少一次超分辨率任务的训练，从而使得最终得到的风格迁移模型能够达到这两种任务的一个平衡点，进而可以在保持较小训练模型计算量的情况下，仍然可以获得高质量的风格化输出图像。
示例性的，以图像风格迁移模型的训练过程中的超分辨率任务训练的轮数(Turn)为Tsr、风格迁移任务训练的轮数为Tst(完成一次图像风格迁移模型训练过程的训练总次数y＝Tst+Tsr)为例，对上述图像风格迁移模型的训练过程进行说明。
具体的，当预设神经网络模型没有收敛时，从图像样本集中选择一个分辨率为h×w的图像样本I1，对该图像I1使用任意预处理方式，得到降低分辨率的输入图像I2，如果y＝0，使用y＝Tst+Tsr，更新y的值。
当y≠0时，前Tsr次训练，每一次训练时：将输入图像I2输入预设神经网络模型得到一张输出图像Isr，使用输出图像Isr计算超分辨率任务损失，最后，基于该超分辨率任务损失调整预设神经网络模型的权重参数，并更新y的值，此时y＝yi-1，其中，yi为当前剩余训练次数。
对于第Tsr次至第Tsr+Tst次训练，每一次训练时：将输入图像I2输入调整后的预设神经网络模型得到一张输出图像Isr，使用输出图像Ist计算风格迁移任务损失，最后，基于该风格迁移任务损失调整预设神经网络模型的权重参数，并更新y的值，此时y＝yi-1。直到网络收敛。
需要说明的是，由于Tsr，Tst在实际训练时，通常小于训练完成所需要的总训练轮数y。因此，训练超分辨率任务和风格迁移任务的训练次序可以任意切换，本公开的实施例对此不作限定。
可选的，在本公开实施例中，上述步骤102可以包括如下步骤：
在步骤S102a中，按照第一比例，对第一图像进行分辨率降低处理，得到第二风格的第二图像。
进一步的，上述步骤103中将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像的步骤，可以包括如下步骤103b：
在步骤103b中，将上述第二图像输入第i-1次训练得到的神经网络模型按照第二比例进行超分辨率处理，得到第二风格的第三图像。
在一种示例中，上述第一比例与上述第二比例的乘积为1。如此，能够保证最后训练出的图像风格迁移模型能够输出与原始图像的同等图像质量的图像，保证了图像质量。
应注意的是，上述第一比例与上述第二比例的乘积为1仅仅是一种示例，在实际应用场景中，上述第一比例与上述第二比例可以基于实际需求进行设定，本公开实施例对此不作限定。
在本公开的实施例中，图像风格迁移模型训练装置在获取到样本图像和第一图像后，通过对第一图像进行分辨率降低处理，得到第二图像，然后根据该样本图像和第二图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。相比于传统训练过程中的训练模型只学习风格迁移任务，本公开实施例中的训练模型将轮流学习风格迁移任务和超分辨率任务，即本公开使用的是低分辨输入、高分辨输出的神经网络结构，不仅减少整个图像风格迁移过程中的计算量，还使得训练出的训练模型输出的图像能够保留原始图像中的图像细节，以使输出图像具有与原始图像的同等图像质量的风格迁移效果，提高了图像处理效率。
此外，本公开的实施例提出的改良的风格迁移模型，能够在得到高质量的风格化输出图像的情况下，节省训练模型的计算量，且节省的训练模型计算量约为传统风格迁移过程中的训练模型计算量的
Figure BDA0002524873790000111
(n为风格迁移任务训练的轮数)。需要说明的是，当n≥2时，由于训练模型需要额外的计算量保证一定程度的超分辨率任务的效果，因此，训练模型节省的实际计算量应当小于
Figure BDA0002524873790000112
图2是根据一示例性实施例示出的一种图像风格迁移方法的流程图，应用于图像风格迁移装置，如图2所示，该图像风格迁移方法包括以下步骤。
在步骤S201中，获取待处理图像。
在步骤S202中，将上述待处理图像进行分辨率降低处理，得到处理后的图像。
在步骤S203中，将上述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像。
其中，上述目标图像的分辨率大于上述处理后的图像的分辨率、且上述目标图像的图像风格与上述待处理图像的图像风格不同；上述图像风格迁移模型为上述实施例描述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
在一种示例中，上述目标图像的分辨率与上述待处理图像的分辨率相同。
应注意的是，上述图像风格迁移模型输出的目标图像的分辨率是由该图像风格迁移模型中的超分辨率处理算法中的分辨率提高比例决定的。
如此，通过对图像风格迁移模型中的超分辨率处理算法中的分辨率提高比例进行设定，从而保证该图像风格迁移模型能够输出与原始图像(即上述待处理图像)同等图像质量的图像，保证了图像质量。
可选的，在本公开的实施例中，上述步骤S203之后，该图像处理方法还包括以下步骤：
在步骤S301中，将上述目标图像和待处理图像作为一组图像样本，存储至图像样本库中。
示例性的，图像处理装置通过将上述目标图像作为训练样本，增加了训练样本的数量，使得后续进一步训练的图像风格迁移模型更加精确，进而使得通过该图像风格迁移模型进行风格迁移之后得到的图像的风格迁移效果更佳。
本公开的实施例提供的图像风格迁移方法至少带来以下有益效果：图像风格迁移装置通过对原始图像进行分辨率降低处理，得到低分辨率的处理后的图像，然后，将低分辨率的处理后的图像输入本公开实施例提供的高分辨率风格迁移模型进行图像风格迁移，得到高分辨率的风格迁移后的图像。如此，不仅减少了整个图像风格迁移过程中的计算量，还使得输出图像保留了原始图像中的图像细节，进而使得输出图像具有与原始图像的同等图像质量的风格迁移效果，同时，使得风格迁移任务在电子设备的可行性上升。
综上所述，在公开实施例所提供的图像风格迁移模型训练方案包含两点：第一，将原始图像样本输入训练模型之前，需要进行分辨率降低处理；第二，图像风格迁移模型输入的原始输入样本的图像分辨率为
Figure BDA0002524873790000121
输出的风格化图像的图像分辨率为h×w(h为图像高度，w为图像宽度)；第三，在训练过程中，超分辨率任务和风格化任务将轮流训练。
参照图3所示的风格迁移模型的训练框架图，如图3所示，将图像分辨率为h×w的原始输入图像预处理为图像分辨率为
Figure BDA0002524873790000131
的图像，然后，将该处理后的图像输入训练模型模型进行超分辨率任务训练和风格迁移任务训练，且训练后输出的输出图像的图像分辨率均为h×w。
结合上述内容可知，本公开的实施例提供的风格迁移模型的训练过程相比于传统的风格迁移模型的训练过程，所存在的区别至少包括以下几点：1、训练模型结构的不同，传统训练过程使用的是输入和输出同分辨率的网络结构，本公开的实施例使用的是低分辨输入，高分辨输出的网络结构；2、训练流程的不同，传统训练过程中的训练模型只学习风格迁移任务，本公开的实施例中，训练模型将轮流学习风格迁移任务和超分辨率任务。
图4是根据一示例性实施例示出的一种图像风格迁移模型训练装置框图。参照图4，该图像风格迁移模型训练装置400包括获取模块401、处理模块402以及训练模块403，其中：
获取模块401，被配置为获取获取第一风格的样本图像和第二风格的第一图像；处理模块402，被配置为对获取模块401获取的第一图像进行分辨率降低处理，得到第二图像；训练模块403，被配置为根据获取模块401获取的样本图像和处理模块402得到的第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
可选的，上述训练模块403，具体被配置为根据获取模块401获取的样本图像和处理模块402得到的第二图像，对预设神经网络模型进行M次训练，直至满足预设收敛条件，得到图像风格迁移模型；
其中，上述M次训练包括超分辨率训练和风格迁移训练；
上述M次训练中的第i次训练包括：将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像，基于上述第三图像与上述第一图像间的图像内容损失，对上述第i-1次训练得到的神经网络模型进行超分辨率训练，以调整上述第i-1次训练得到的神经网络模型的参数；
上述M次训练中的第j次训练包括：将上述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理，得到第三风格的第四图像，基于上述第四图像与上述样本图像间的图像风格损失，对上述第j-1次训练得到的神经网络模型进行风格迁移训练，以调整上述第j-1次训练得到的神经网络模型的参数；
其中，上述预设收敛条件包括：当前图像内容损失小于或等于第一阈值、且当前图像风格损失小于或等于第二阈值；1≤i≤M，1≤j≤M，且i≠j。
可选的，上述超分辨率训练包括X次超分辨率训练，上述风格迁移训练包括Y次风格迁移训练；其中，上述M次训练的前X次训练为上述超分辨率训练，且上述M次训练的后Y次训练为上述风格迁移训练；或者，上述M次训练的前Y次训练为上述风格迁移训练，且上述M次训练的后X次训练为上述超分辨率训练，X和Y为正整数，且X+Y＝M。
可选的，上述M次训练包括执行N次的训练组，上述训练组包括至少一次超分辨率训练和至少一次风格迁移训练；其中，N为大于1的整数。
可选的，上述训练组的前k次训练为上述超分辨率训练，且上述训练组的后t次训练为上述风格迁移训练；或者，上述训练组的前t次训练为上述风格迁移训练，且上述训练组的后k次训练为上述超分辨率训练。
可选的，上述处理模块402在对上述第一图像进行分辨率降低处理得到第二风格的第二图像时，具体被配置为：按照第一比例，对上述第一图像进行分辨率降低处理，得到第二风格的第二图像；上述处理模块402在将上述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像时，具体被配置为：将上述第二图像输入第i-1次训练得到的神经网络模型按照第二比例进行超分辨率处理，得到第二风格的第三图像；其中，上述第一比例与上述第二比例的乘积为1。
本公开的实施例提供的图像风格迁移模型训练装置至少带来以下有益效果：该图像风格迁移模型训练装置在获取到第一图像和样本图像后，通过对第一图像进行分辨率降低处理，得到第二图像，然后根据该样本图像和第二图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。相比于传统训练过程中的训练模型只学习风格迁移任务，本公开实施例中的训练模型将轮流学习风格迁移任务和超分辨率任务，即本公开使用的是低分辨输入、高分辨输出的神经网络结构，不仅减少整个图像风格迁移过程中的计算量，还使得训练出的训练模型输出的图像能够保留原始图像中的图像细节，以使输出图像具有与原始图像的同等图像质量的风格迁移效果，提高了图像处理效率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种图像风格迁移装置框图。参照图5，该图像风格迁移装置500包括获取模块501以及处理模块502，其中：
获取模块501，被配置为获取待处理图像；处理模块502，被配置为将获取模块501获取的上述待处理图像进行分辨率降低处理，得到处理后的图像；上述处理模块502，还被配置为将上述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；其中，上述目标图像的分辨率大于上述处理后的图像的分辨率、且上述目标图像的图像风格与上述待处理图像的图像风格不同；上述图像风格迁移模型为本公开实施例提供的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
本公开的实施例提供的图像风格迁移装置至少带来以下有益效果：图像风格迁移装置通过对原始图像进行分辨率降低处理，得到低分辨率的处理后的图像，然后，将低分辨率的处理后的图像输入本公开实施例提供的高分辨率风格迁移模型进行图像风格迁移，得到高分辨率的风格迁移后的图像。如此，不仅减少了整个图像风格迁移过程中的计算量，还使得输出图像保留了原始图像中的图像细节，进而使得输出图像具有与原始图像的同等图像质量的风格迁移效果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于图像处理的电子设备600的框图。电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备以及计步器等。如图6所示，电子设备600包括但不限于：处理器601、存储器602、显示器603、输入单元604、输出单元605、网络单元606、接口单元607、射频单元608、电源609以及传感器610等。
其中，上述的处理器601，用于存储上述处理器可执行指令的存储器；其中，上述处理器601被配置为执行上述指令，以实现上述方法。
可以理解，上述处理器601被配置为执行以下过程：获取第一风格的样本图像和第二风格的第一图像，对第一图像进行分辨率降低处理，得到第二图像，根据样本图像和第一图像对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
上述处理器601还被配置为执行以下过程：获取待处理图像，将待处理图像进行分辨率降低处理，得到处理后的图像，为将上述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；其中，上述目标图像的分辨率大于上述处理后的图像的分辨率、且上述目标图像的图像风格与上述待处理图像的图像风格不同；上述图像风格迁移模型为上述处理器601基于上文所述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
本公开的实施例提供的电子设备置至少带来以下有益效果：通过对原始图像进行分辨率降低处理，得到低分辨率的处理后的图像，然后，将低分辨率的处理后的图像输入本公开实施例提供的高分辨率风格迁移模型进行图像风格迁移，得到高分辨率的风格迁移后的图像。如此，不仅减少了整个图像风格迁移过程中的计算量，还使得输出图像保留了原始图像中的图像细节，进而使得输出图像具有与原始图像的同等图像质量的风格迁移效果。
需要说明的是，上述电子设备600能够实现上述方法实施例中描述的各个过程，为避免重复，详细描述这里不再赘述。
需要说明的是，本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图6所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器601是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器601可包括一个或多个处理单元；可选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及各种数据。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
显示器603用于显示由用户输入的信息或提供给用户的信息。显示器603可包括显示面板，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置显示面板。
输入单元604可以用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)和麦克风，图形处理器对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示器605上。经图形处理器处理后的图像帧可以存储在存储器602(或其它存储介质)中或者经由射频单元608或网络单元606进行发送。麦克风可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元608发送到移动通信基站的格式输出。
输入单元604可以为用户输入单元，可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元包括触控面板以及其他输入设备。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)。触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器601，接收处理器601发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，用户输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板可覆盖在显示面板上，当触控面板检测到在其上或附近的触摸操作后，传送给处理器601以确定触摸事件的类型，随后处理器601根据触摸事件的类型在显示面板上提供相应的视觉输出。触控面板与显示面板6061可以作为两个独立的部件来实现电子设备的输入和输出功能，也可以将触控面板与显示面板集成而实现电子设备的输入和输出功能，具体此处不做限定。
输出单元605可以为音频输出单元，可以将射频单元608或网络单元606接收的或者在存储器602中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元还可以提供与电子设备600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元包括扬声器、蜂鸣器以及受话器等。
电子设备通过网络单元606为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
接口单元607为外部装置与电子设备600连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元607可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部装置之间传输数据。
射频单元608可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器601处理；另外，将上行的数据发送给基站。通常，射频单元608包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元608还可以通过无线通信系统与网络和其他设备通信。
电源609(比如电池)可以用于为各个部件供电，可选的，电源609可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
传感器610可以包括光传感器、运动传感器以及其他传感器中的至少一个。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器610还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
另外，电子设备600包括一些未示出的功能模块(例如摄像头)，在此不再赘述。
在示例性实施例中，本公开的实施例还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由电子设备600的处理器601执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，上述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本公开的实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由电子设备600的处理器601执行以完成上述方法。
需要说明的是，上述存储介质中的指令或计算机程序产品中的一条或多条指令被处理器601执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像风格迁移模型训练方法，其特征在于，包括：
获取第一风格的样本图像和第二风格的第一图像；
对所述第一图像进行分辨率降低处理，得到第二图像；
根据所述样本图像和所述第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
2.根据权利要求1所述的图像风格迁移模型训练方法，其特征在于，所述根据所述样本图像和所述第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型，包括：
根据所述样本图像和所述第二图像，对预设神经网络模型进行M次训练，直至满足预设收敛条件，得到图像风格迁移模型；
其中，所述M次训练包括超分辨率训练和风格迁移训练；
所述M次训练中的第i次训练的步骤包括：
将所述第二图像输入第i-1次训练得到的神经网络模型进行超分辨率处理，得到第二风格的第三图像，基于所述第三图像与所述第一图像间的图像内容损失，对所述第i-1次训练得到的神经网络模型进行超分辨率训练，以调整所述第i-1次训练得到的神经网络模型的参数；
所述M次训练中的第j次训练的步骤包括：
将所述第二图像输入第j-1次训练得到的神经网络模型进行风格迁移处理，得到第三风格的第四图像，基于所述第四图像与所述样本图像间的图像风格损失，对所述第j-1次训练得到的神经网络模型进行风格迁移训练，以调整所述第j-1次训练得到的神经网络模型的参数；
其中，所述预设收敛条件包括：当前图像内容损失小于或等于第一阈值、且当前图像风格损失小于或等于第二阈值；1≤i≤M，1≤j≤M，且i≠j。
3.根据权利要求2所述的图像风格迁移模型训练方法，其特征在于，所述超分辨率训练包括X次超分辨率训练，所述风格迁移训练包括Y次风格迁移训练；
其中，所述M次训练的前X次训练为所述超分辨率训练，且所述M次训练的后Y次训练为所述风格迁移训练；或者，所述M次训练的前Y次训练为所述风格迁移训练，且所述M次训练的后X次训练为所述超分辨率训练，X和Y为正整数，且X+Y＝M。
4.根据权利要求2所述的图像风格迁移模型训练方法，其特征在于，所述M次训练包括执行N次的训练组，所述训练组包括至少一次超分辨率训练和至少一次风格迁移训练；
其中，N为大于1的整数。
5.根据权利要求4所述的图像风格迁移模型训练方法，其特征在于，所述训练组的前k次训练为所述超分辨率训练，且所述训练组的后t次训练为所述风格迁移训练；或者，所述训练组的前t次训练为所述风格迁移训练，且所述训练组的后k次训练为所述超分辨率训练。
6.一种图像风格迁移方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像进行分辨率降低处理，得到处理后的图像；
将所述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；
其中，所述目标图像的分辨率大于所述处理后的图像的分辨率、且所述目标图像的图像风格与所述待处理图像的图像风格不同；所述图像风格迁移模型为权利要求1至5任一项所述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
7.一种图像风格迁移模型训练装置，其特征在于，包括：
获取模块，被配置为获取第一风格的样本图像和第二风格的第一图像；
处理模块，被配置为对所述获取模块获取的所述第一图像进行分辨率降低处理，得到第二图像；
训练模块，被配置为根据所述获取模块获取的所述样本图像和所述处理模块得到的所述第二图像，对预设神经网络模型轮流进行超分辨率训练和风格迁移训练，得到图像风格迁移模型。
8.一种图像风格迁移装置，其特征在于，包括：
获取模块，被配置为获取待处理图像；
处理模块，被配置为将所述待处理图像进行分辨率降低处理，得到处理后的图像；
所述处理模块，还被配置为将所述处理后的图像输入图像风格迁移模型进行超分辨率处理和风格迁移处理，得到目标图像；
其中，所述目标图像的分辨率大于所述处理后的图像的分辨率、且所述目标图像的图像风格与所述待处理图像的图像风格不同；所述图像风格迁移模型为权利要求1至5任一项所述的图像风格迁移模型训练方法训练得到的图像风格迁移模型。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求权利要求1至5任一项所述的图像风格迁移模型训练方法，或，权利要求6所述的图像风格迁移方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述图像处理装置能够执行如权利要求1至5任一项所述的图像风格迁移模型训练方法，或，权利要求6所述的图像风格迁移方法。
CN202010501213.8A 2020-06-04 2020-06-04 图像风格迁移模型训练方法、风格迁移方法及装置 Active CN113763230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501213.8A CN113763230B (zh) 2020-06-04 2020-06-04 图像风格迁移模型训练方法、风格迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501213.8A CN113763230B (zh) 2020-06-04 2020-06-04 图像风格迁移模型训练方法、风格迁移方法及装置

Publications (2)

Publication Number Publication Date
CN113763230A true CN113763230A (zh) 2021-12-07
CN113763230B CN113763230B (zh) 2024-05-17

Family

ID=78783822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501213.8A Active CN113763230B (zh) 2020-06-04 2020-06-04 图像风格迁移模型训练方法、风格迁移方法及装置

Country Status (1)

Country Link
CN (1) CN113763230B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN109525859A (zh) * 2018-10-10 2019-03-26 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法

Also Published As

Publication number Publication date
CN113763230B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN108513070B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN107730261B (zh) 一种资源转移方法及相关设备
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN111031234B (zh) 一种图像处理方法及电子设备
CN111401463B (zh) 检测结果输出的方法、电子设备及介质
CN109474784B (zh) 一种预览图像处理方法及终端设备
CN109246351B (zh) 一种构图方法及终端设备
CN108668024B (zh) 一种语音处理方法及终端
CN108174110B (zh) 一种拍照方法及柔性屏终端
CN111008929B (zh) 图像矫正方法及电子设备
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN108833791B (zh) 一种拍摄方法和装置
CN108366171B (zh) 一种温升控制方法和移动终端
CN113888447A (zh) 一种图像处理方法、终端及存储介质
CN111182206B (zh) 图像处理方法和装置
CN108965701B (zh) 一种抖动矫正方法及终端设备
WO2021016932A1 (zh) 数据处理方法、装置及计算机可读存储介质
CN108536272B (zh) 一种调整应用程序帧率的方法及移动终端
CN111563838B (zh) 图像处理方法及电子设备
CN113763230B (zh) 图像风格迁移模型训练方法、风格迁移方法及装置
CN110830724B (zh) 一种拍摄方法及电子设备
CN110784648B (zh) 一种图像处理方法和电子设备
CN110933305B (zh) 电子设备及对焦方法
CN109729265B (zh) 一种屏幕角度调整方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant