CN111784565B - 图像处理方法、迁移模型训练方法、装置、介质及设备 - Google Patents

图像处理方法、迁移模型训练方法、装置、介质及设备 Download PDF

Info

Publication number
CN111784565B
CN111784565B CN202010628687.9A CN202010628687A CN111784565B CN 111784565 B CN111784565 B CN 111784565B CN 202010628687 A CN202010628687 A CN 202010628687A CN 111784565 B CN111784565 B CN 111784565B
Authority
CN
China
Prior art keywords
image
layer
normalization
feature map
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010628687.9A
Other languages
English (en)
Other versions
CN111784565A (zh
Inventor
朱渊略
王一同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010628687.9A priority Critical patent/CN111784565B/zh
Publication of CN111784565A publication Critical patent/CN111784565A/zh
Application granted granted Critical
Publication of CN111784565B publication Critical patent/CN111784565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法、迁移模型训练方法、装置、介质及设备。方法包括：获取待处理图像和具有目标图像风格目标图像；将二者输入至图像风格迁移模型中，以通过该模型按照目标图像风格对待处理图像进行风格迁移；模型为包括生成器和判别器的生成式对抗网络模型，判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，在模型训练阶段，生成器对样本图像进行风格迁移得到合成图像，第一网络层提取参考图像的第一特征信息、合成图像的第三特征信息，并输入至相应目标第二网络层，目标第二网络层从第一特征信息、第三特征信息中提取相应特征信息。由此，可提升模型生成的图像质量，使得生成的图像更加逼真，且节省人力、效率高。

Description

图像处理方法、迁移模型训练方法、装置、介质及设备
技术领域
本公开涉及图像处理领域，具体地，涉及一种图像处理方法、迁移模型训练方法、装置、介质及设备。
背景技术
图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各行各业以及人们日常生活中。图像处理中最常见的一个需求是改变图像风格(即风格迁移)，其目标是保持待处理图像的内容信息(例如，人脸、动物等)同时将一张图像的图像风格迁移至该待处理图像中。例如，将真人头像变成具有动漫风格的头像(即动漫头像)。其中，如何使得风格迁移后的图像更加逼真是图像风格迁移的研究重点。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种图像处理方法，包括：获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；将所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
第二方面，提供一种图像风格迁移模型的训练方法，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；所述方法包括：获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；将所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；利用所述第四特征信息，对所述生成器进行模型参数更新；以及利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
第三方面，提供一种图像处理装置，包括：第一获取模块，用于获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；风格迁移模块，用于将所述第一获取模块获取到的所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
第四方面，提供一种图像风格迁移模型的训练装置，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；所述装置包括：第二获取模块，用于获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；输入模块，用于将所述第二获取模块获取到的所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；第一特征提取模块，用于通过所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述输入模块，还用于将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；第二特征提取模块，用于通过所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述第二特征提取模块，还用于通过所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；第一更新模块，用于利用所述第四特征信息，对所述生成器进行模型参数更新；以及第二更新模块，用于利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
第五方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面提供的所述方法的步骤。
第六方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第二方面提供的所述方法的步骤。
第七方面，提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面提供的所述方法的步骤。
第八方面，提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第二方面提供的所述方法的步骤。
在上述技术方案中，图像风格迁移模型的判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层。其中，针对具有不同图像风格的图像，采用与之图像风格对应的第二网络层对其进行特征提取，从而能够提取到相应图像(第一参考图像或合成图像)在对应图像风格下独特的特征信息。这样，基于相应图像在其图像风格下独特的特征信息进行模型参数更新，可以提升模型生成的图像质量，使得生成的图像更加逼真。另外，根据待处理图像和目标图像，通过图像风格迁移模型即可实现图像风格的全自动迁移，而无需人工标注关键点或者添加风格标签，节省了人力，提升了风格迁移的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2A是根据一示例性实施例示出的一种图像风格迁移的结果示意图。
图2B是根据另一示例性实施例示出的一种图像风格迁移的结果示意图。
图3是根据一示例性实施例示出的一种图像风格迁移模型的框图。
图4A是根据一示例性实施例示出的一种第一融合模块的框图。
图4B是根据另一示例性实施例示出的一种第一融合模块的框图。
图5A是根据一示例性实施例示出的一种第二融合模块的框图。
图5B是根据另一示例性实施例示出的一种第二融合模块的框图。
图6是根据一示例性实施例示出的一种图像风格迁移模型的训练方法。
图7是根据一示例性实施例示出的一种图像处理装置的框图。
图8是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。如图1所示，该方法包括S101和S102。
在S101中，获取待处理图像和目标图像。
在本公开中，目标图像具有目标图像风格，其中，该目标图像风格可以例如是动漫风格、油画风格、素描风格等。
示例地，目标图像为动漫头像，其具有动漫风格，即目标图像风格为动漫风格。
在S102中，将待处理图像和目标图像输入至图像风格迁移模型中，以通过该图像风格迁移模型按照目标图像风格对待处理图像进行风格迁移处理。
在本公开中，风格迁移处理得到的图像具有待处理图像的内容信息(例如，人脸、动物、风景等)和目标图像的目标图像风格。
示例地，待处理图像为真人头像，目标图像为动漫头像，目标图像风格为动漫风格。将真人头像和动漫头像输入至图像风格迁移模型中，以通过该图像风格迁移模型按照动漫风格对真人头像进行风格迁移处理，即将真人头像进行动漫化。
图2A示出了针对同一目标图像O、不同的待处理图像(即，真人头像A、真人头像B、真人头像C、真人头像D以及真人头像E)，通过图像风格迁移模型生成的不同动漫图像(即动漫头像AO、动漫头像BO、动漫头像CO、动漫头像DO以及动漫头像EO)。
示例地，目标图像为动漫图像O，待处理图像为真人头像A，将二者输入到图像风格迁移模型，生成动漫头像AO，其中，动漫头像AO具有真人头像A的内容信息(例如，面部姿态、长短发型等)和目标图像O的动漫风格(例如，头发纹理，颜色，五官特征等)。
图2B示出了针对同一待处理图像(即真人头像F)、不同的目标图像(动漫头像a、动漫头像b、动漫头像c以及动漫头像d)，通过图像风格迁移模型生成的不同动漫图像(即动漫头像Fa、动漫头像Fb、动漫头像Fc以及动漫头像Fd)。
另外，如图3所示，图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型。
其中，判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层(图3中以三个第二网络层为例)，即，判别器为多分支判别器。具体来说，在模型训练阶段，生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，即每次针对一组训练样本(一参考图像和一样本图像)进行模型训练；第一网络层用于提取参考图像的第一特征信息，并将第一特征信息输入至与参考图像的图像风格对应的目标第二网络层，目标第二网络层用于从第一特征信息中提取参考图像在目标第二网络层对应的图像风格下的第二特征信息；第一网络层还用于提取合成图像的第三特征信息，并将第三特征信息输入至目标第二网络层(其中，合成图像的图像风格与参考图像的图像风格一致，因此第一特征信息和第三特征信息输入至同一第二网络层(即目标第二网络层))，目标第二网络层还用于从第三特征信息中提取合成图像在目标第二网络层对应的图像风格下的第四特征信息；其中，第二特征信息和第四特征信息用于对判别器进行模型参数更新，第四特征信息用于对生成器进行模型参数更新。
在上述技术方案中，图像风格迁移模型的判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层。其中，针对具有不同图像风格的图像，采用与之图像风格对应的第二网络层对其进行特征提取，从而能够提取到相应图像(第一参考图像或合成图像)在对应图像风格下独特的特征信息。这样，基于相应图像在其图像风格下独特的特征信息进行模型参数更新，可以提升模型生成的图像质量，使得生成的图像更加逼真。另外，根据待处理图像和目标图像，通过图像风格迁移模型即可实现图像风格的全自动迁移，而无需人工标注关键点或者添加风格标签，节省了人力，提升了风格迁移的效率。
下面针对上述利用第四特征信息对生成器进行模型参数更新以及利用第二特征信息和第四特征信息对判别器进行模型参数更新的具体实施方式进行详细说明。
在模型训练阶段，利用第四特征信息对合成图像进行真假判定，即判定合成图像是否为真实图像，并根据合成图像的真假判定结果和生成器损失函数，对生成器进行模型参数更新；利用第二特征信息对参考图像进行真假判定，并根据参考图像的真假判定结果、合成图像的真假判定结果和判别器损失函数，对判别器进行模型参数更新。
在一种实施方式中，生成器损失函数包括对抗损失、第一特征匹配损失、以及重构损失。
在本公开中，为了保持待处理图像的内容信息，我们使用了重构损失来约束生成器的训练。并且，为了对生成器的图像生成进行多尺度的约束，可以采用特征匹配损失来优化模型训练。具体来说，可以采用第一特征匹配损失来优化模型训练，其中，第一特征匹配损失是根据第一网络层的各池化层提取的特征信息确定的。
示例地，第一网络层包括依次连接的卷积层、残差层、残差层、第一池化层、残差层、残差层以及第二池化层，则第一特征匹配损失是根据第一池化层提取的特征信息和第二池化层提取的特征信息确定的。
示例地，第一特征匹配损失Lfm为：
Figure BDA0002565701800000061
其中，
Figure BDA0002565701800000062
为输入至第一网络层的参考图像h经过判别器的第一网络层的池化层k1提取的特征信息；K1包括第一网络层的各池化层；
Figure BDA0002565701800000063
为输入至第一网络层的合成图像G(h,h)经过判别器的第一网络层的池化层k1提取的特征信息；Eh为期望。
示例地，可以通过以下等式(2)来确定生成器损失函数LG：
LG＝Ladv+λrec·Lrec+λfm·Lfm (2)
其中，Ladv为对抗损失；Lrec为重构损失；λrec、λfm为超参数，示例地，λrec＝1.2，λfm＝1。
在另一种实施方式中，生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失。
在本公开中，第二特征匹配损失是根据目标第二网络层的池化层提取的特征信息确定的。由于判别器包括第一网络层、与多种图像风格一一对应的多个第二网络层，即判别器为多分支判别器。这样，针对具有不同图像风格的图像，可以采用与之图像更对应的第二网络层对其进行特征提取，从而能够提取到相应图像(第一参考图像或合成图像)在对应图像风格下独特的特征信息。由此，可以利用相应在其图像风格下的独特特征信息(即第二特征匹配损失)进行特征匹配，从而进一步提供更强的相应图像风格独有的特性信息用于约束生成器的训练，以进一步提升模型生成的图像质量，使得生成的图像更加逼真。
示例地，第二网络层包括残差层、残差层、第三池化层、卷积层、卷积层，则第二特征匹配损失是根据第三池化层提取的特征信息确定的。
示例地，判别器包括第一网络层、与图像风格X对应第二网络层、与图像风格Y对应的第二网络层，第二特征匹配损失Ldfm为：
Figure BDA0002565701800000071
其中，
Figure BDA0002565701800000072
为输入至判别器的、具有图像风格X的参考图像h经过判别器中与图像风格X对应的第二网络层的池化层k2提取的特征信息；
Figure BDA0002565701800000073
为输入至判别器的、具有图像风格Y的参考图像h经过判别器中与图像风格Y对应的第二网络层的池化层k2提取的特征信息；
Figure BDA0002565701800000074
为输入至判别器的、具有图像风格X的合成图像G(h,h)经过判别器中与图像风格X对应的第二网络层的池化层k2提取的特征信息；
Figure BDA0002565701800000075
为输入至判别器的、具有图像风格Y的合成图像G(h,h)经过判别器中与图像风格Y对应的第二网络层的池化层k2提取的特征信息；K2包括第二网络层的各池化层。
示例地，可以通过以下等式(4)来确定生成器损失函LG：
LG＝Ladv+λrec·Lrec+λfm·(Lfm+Ldfm) (4)
示例地，可以通过以下等式(5)来确定判别器损失函数LD：
LD＝-Ladv (5)
如图3所示，生成器包括第一编码网络、第二编码网络以及解码网络。其中，第一编码网络用于对样本图像进行编码，得到第一特征图；第二编码网络用于对参考图像进行编码，得到风格特征信息，其中，该风格特征信息可以包括用于表征参考图像的图像风格的两个可学习参数γs、βs；解码网络用于根据第一特征图和风格特征信息，生成合成图像。
具体来说，如图3所示，解码网络包括第一融合模块、处理模块以及连接在第一融合模块与处理模块之间的至少一个第二融合模块(图3中以两个第二融合模型示例)，当第二融合模块的数量为多个时，多个第二融合模块为串联。
其中，第一融合模块用于将风格特征信息与第一特征图进行融合，得到第二特征图，并将第二特征图输入至与第一融合模块连接的第二融合模块。
每一第二融合模块分别用于对来自前一模块的特征图进行上采样，并将风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图。
示例地，如图3所示，与第一融合模块连接的第二融合模块用于对来自第一融合模块的第二特征图进行上采样，并将风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向与处理模块连接的第二融合模块输入第三特征图；与处理模块连接的第二融合模块用于对来自与第一融合模块连接的第二融合模块的第三特征图进行上采样，并将风格特征信息与上采样后得到的特征图进行融合，得到(新的)第三特征图，并向处理模块输入该第三特征图。
处理模块用于将从与处理模块连接的第二融合模块输入的第三特征图的图像尺寸调整为目标尺寸，得到合成图像，其中，目标尺寸为样本图像的尺寸。示例地，处理模块包括上采样层和两个卷积层。
在本公开中，第一融合模块的结构可以有多种。在一种实施方式中，第一融合模块可以为残差结构，如图4A所示，该残差结构包括至少一个融合子模块(图4A中以四个融合子模块为例)和残差层，每一融合子模块包括串联的第一卷积层和第一归一化层，当融合子模块数量为多个时，多个融合子模块为串联，残差层设置在至少一个融合子模块与第二融合模块之间。
其中，第一编码网络还用于将第一特征图输入至与第一编码网络连接的第一卷积层。
每一第一卷积层分别用于对输入第一卷积层的特征图进行特征提取，并将提取到的特征图输入至第一卷积层所属的融合子模块中的第一归一化层。
每一第一归一化层分别用于对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，第二特征图为与第二融合模块连接的第一归一化层输出的融合得到的特征图。
第一编码网络还用于将第一特征图输入至残差层；残差层用于对与该残差层连接的第一归一化层输出的融合得到的特征图进行残差预测，并将残差预测结果与第一特征图相加输入至第二融合模块。
由于残差结构的存在，使得解码网络能够通过残差操作而越过风格特征信息控制，即丢失部分风格特征信息，进而使得生成的合成图像的质量下降，例如，针对真人头像动漫化时，生成的动漫头像可能存在眼睛大小不一致等视觉效果不佳的问题。
为此，可以删除上述残差层，以避免解码网络通过残差操作而越过风格特征信息控制，从而提升生成的合成图像的质量。具体来说，在另一种实施方式中，第一融合模块可以为自适应串联卷积模块(Adaptive Stack Convolutional block，ASC)。如图4B所示，该ASC可以包括至少一个融合子模块，每一融合子模块包括串联的第一卷积层和第一归一化层，当融合子模块数量为多个时，多个融合子模块为串联。
其中，第一编码网络还用于将第一特征图输入至与第一编码网络连接的第一卷积层；每一第一卷积层分别用于对输入第一卷积层的特征图进行特征提取，并将提取到的特征图输入至第一卷积层所属的融合子模块中的第一归一化层；每一第一归一化层分别用于对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，第二特征图为与第二融合模块连接的第一归一化层输出的融合得到的特征图。
另外，上述第二融合模块的结构也可以为多种。在一种实施方式中，如图5A中所示，第二融合模块包括上采样层和第二卷积层。
其中，上采样层用于对来自前一模块的特征图进行上采样；第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图，并向下一模块输入第七特征图。
在另一种实施方式中，如图5B中所示，第二融合模块可以为精细风格迁移模块(Fine-grained Style Transfer block，FST)，该FST包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层。
其中，上采样层用于对来自前一模块的特征图进行上采样；第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图；第二归一化层用于对第七特征图进行归一化，得到第八特征图；第三卷积层用于对第八特征图进行特征提取，得到第九特征图；第三归一化层用于对第九特征图进行归一化，并将风格特征信息和归一化所得的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图。
通过两次归一化操作能够更好地控制每一个风格细节的生成，使得生成的合成图像能够更好地表达目标图像的风格细节。
此外，由于样本图像和参考图像的风格特征有着非常大的差异(例如，真人头像动漫化时，真人头像与动漫头像中人脸的脸型五官等特征都有着非常大的差异)，这将严重影响生成的合成图像的质量。为此，上述第一归一化层、第二归一化层以及第三归一化层均可以通过实例归一化(Instance Normalization，IN)和层归一化(Layer Normalization，LN)的结合使用，来优化这种大形变任务的图像生成效果。
具体来说，在一种实施方式中，上述第一归一化层和第三归一化层可以通过自适应实例归一化(Adaptive Instance Normalization，AdaIN)、第二归一化层可以通过实例归一化(Instance Normalization，IN)来控制合成图像的风格表达。
在另一种实施方式中，上述第一归一化层和第三归一化层可以通过自适应层-实例归一化(Adaptive Layer Instance Normalization，AdaLIN)、第二归一化层可以通过层-实例归一化(Layer Instance Normalization，LIN)来控制合成图像的风格表达。
在又一种实施方式中，上述第一归一化层和第三归一化层可以通过自适应层-实例逐点融合归一化(Adaptive Point-wise Layer Instance Normalization，AdaPLIN)、第二归一化层可以通过层-实例逐点融合归一化(Point-wise Layer InstanceNormalization，PLIN)来更好地控制合成图像的风格表达，以促进合成图像的形态变化以及细节生成，进而提升生成的合成图像的质量。
具体来说，上述第一归一化层为1*1的卷积层，其中，解码网络能够通过该1*1的卷积层学习到不同通道之间的信息处理，从而实现更为灵活的IN和LN的信息融合，进而进一步提升生成的合成图像的质量。
其中，每一第一归一化层分别用于：根据来自第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据层归一化的均值和方差，对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对第四特征图和第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将风格特征信息和第六特征图进行融合，并输出融合得到的特征图。
示例地，可以通过以下等式(6)来实现AdaPLIN：
Figure BDA0002565701800000101
其中，AdaPLIN(z1,γs,βs)为将风格特征信息和第六特征图进行融合得到的特征图；Conv(·)为1*1的卷积操作，其偏执为可学习参数(例如，该偏执恒定为0)；[·，·]为通道拼接操作；z1为来自第一归一化层所属的融合子模块中的第一卷积层的特征图；μI(z1)为对z1进行实例归一化的均值；σI(z1)为对z1进行实例归一化的方差；μL(z1)为对z1进行层归一化的均值；σL(z1)为对z1进行层归一化的方差；风格特征信息包括用于表征所述参考图像的图像风格的两个可学习参数γs、βs。
第二归一化层为1*1的卷积层；第二归一化层用于：根据第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对第七特征图进行实例归一化，得到第十特征图；根据层归一化的均值和方差，对第七特征图进行层归一化，得到第十一特征图；对第十特征图和第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到第八特征图。
示例地，可以通过以下等式(7)来实现PLIN：
Figure BDA0002565701800000111
其中，PLIN(z2)为第八特征图；z2为第七特征图；μI(z2)为对z2进行实例归一化的均值；σI(z2)为对z2进行实例归一化的方差；μL(z2)为对z2进行层归一化的均值；σL(z2)为对z2进行层归一化的方差。
第三归一化层为1*1的卷积层；第三归一化层用于：根据第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对第九特征图进行实例归一化，得到第十二特征图；根据层归一化的均值和方差，对第九特征图进行层归一化，得到第十三特征图；对第十二特征图和第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将风格特征信息和第十四特征图进行融合，得到第三特征图，并向下一模块输入第三特征图。
示例地，可以通过以下等式(8)来实现AdaPLIN：
Figure BDA0002565701800000112
其中，AdaPLIN(z3,γs,βs)为第三特征图；z3为第九特征图；μI(z3)为对z3进行实例归一化的均值；σI(z3)为对z3进行实例归一化的方差；μL(z3)为对z3进行层归一化的均值；σL(z3)为对z3进行层归一化的方差。
图6是根据一示例性实施例示出的一种图像风格迁移模型的训练方法。其中，图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，方法包括以下S601～S608。
在S601中，获取样本图像和参考图像。
其中，参考图像的图像风格为多种图像风格中的一种。
在S602中，将参考图像输入至第一网络层，以由第一网络层提取参考图像的第一特征信息，并将第一特征信息输入至与参考图像的图像风格对应的目标第二网络层。
在S603中，目标第二网络层从第一特征信息中提取参考图像在目标第二网络层对应的图像风格下的第二特征信息。
在S604中，将样本图像和参考图像输入至生成器，以由生成器按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，并将合成图像输入至第一网络层。
在S605中，第一网络层提取合成图像的第三特征信息，并将第三特征信息输入至目标第二网络层。
在S606中，目标第二网络层从第三特征信息中提取合成图像在目标第二网络层对应的图像风格下的第四特征信息。
在S607中，利用第四特征信息，对生成器进行模型参数更新。
在S608中，利用第二特征信息和第四特征信息，对判别器进行模型参数更新。
可选地，利用第四特征信息，对生成器进行模型参数更新，包括：利用第四特征信息对合成图像进行真假判定，并根据合成图像的真假判定结果、生成器损失函数，对生成器进行模型参数更新；利用第二特征信息和第四特征信息，对判别器进行模型参数更新，包括：利用第二特征信息对参考图像进行真假判定，并根据参考图像的真假判定结果、合成图像的真假判定结果、判别器损失函数，对判别器进行模型参数更新。可选地，生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；其中，第一特征匹配损失是根据第一网络层的各池化层提取的特征信息确定的；第二特征匹配损失是根据目标第二网络层的池化层提取的特征信息确定的。
在上述技术方案中，图像风格迁移模型的判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层。其中，针对具有不同图像风格的图像，采用与之图像风格对应的第二网络层对其进行特征提取，从而能够提取到相应图像(第一参考图像或合成图像)在对应图像风格下独特的特征信息。这样，基于相应图像在其图像风格下独特的特征信息进行模型参数更新，可以提升模型生成的图像质量，使得生成的图像更加逼真。另外，根据待处理图像和目标图像，通过图像风格迁移模型即可实现图像风格的全自动迁移，而无需人工标注关键点或者添加风格标签，节省了人力，提升了风格迁移的效率。
可选地，生成器包括第一编码网络、第二编码网络以及解码网络；生成器按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，包括：第一编码网络对样本图像进行编码，得到第一特征图；第二编码网络对参考图像进行编码，得到风格特征信息；解码网络根据第一特征图和风格特征信息，生成合成图像。
可选地，解码网络包括第一融合模块、处理模块以及连接在第一融合模块与处理模块之间的至少一个第二融合模块，当第二融合模块的数量为多个时，多个第二融合模块为串联；解码网络根据第一特征图和风格特征信息，生成合成图像，包括：第一融合模块将风格特征信息与第一特征图进行融合，得到第二特征图，并将第二特征图输入至与第一融合模块连接的第二融合模块；每一第二融合模块分别对来自前一模块的特征图进行上采样，并将风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图；处理模块将从与处理模块连接的第二融合模块输入的第三特征图的图像尺寸调整为目标尺寸，得到合成图像，其中，目标尺寸为样本图像的尺寸。
可选地，第一融合模块包括至少一个融合子模块，每一融合子模块包括串联的第一卷积层和第一归一化层，当融合子模块数量为多个时，多个融合子模块为串联；方法还包括：第一编码网络将第一特征图输入至与第一编码网络连接的第一卷积层；第一融合模块将风格特征信息与第一特征图进行融合，得到第二特征图，包括：每一第一卷积层分别对输入第一卷积层的特征图进行特征提取，并将提取到的特征图输入至第一卷积层所属的融合子模块中的第一归一化层；每一第一归一化层分别对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，第二特征图为与第二融合模块连接的第一归一化层输出的融合得到的特征图。
可选地，第一归一化层为1*1的卷积层；每一第一归一化层分别对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，包括：每一第一归一化层分别根据来自第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据层归一化的均值和方差，对来自第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对第四特征图和第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将风格特征信息和第六特征图进行融合，并输出融合得到的特征图。
可选地，第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；每一第二融合模块分别对来自前一模块的特征图进行上采样，并将风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图，包括：上采样层对来自前一模块的特征图进行上采样；第二卷积层对上采样后得到的特征图进行特征提取，得到第七特征图；第二归一化层对第七特征图进行归一化，得到第八特征图；第三卷积层对第八特征图进行特征提取，得到第九特征图；第三归一化层对九特征图进行归一化，并将风格特征信息和归一化所得的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图。
可选地，第二归一化层为1*1的卷积层；第二归一化层对第七特征图进行归一化，得到第八特征图，包括：根据第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对第七特征图进行实例归一化，得到第十特征图；根据层归一化的均值和方差，对第七特征图进行层归一化，得到第十一特征图；对第十特征图和第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到第八特征图。
可选地，第三归一化层为1*1的卷积层；第三归一化层对九特征图进行归一化，并将风格特征信息和归一化所得的特征图进行融合，得到第三特征图，并向下一模块输入第三特征图，包括：根据第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据实例归一化的均值和方差，对第九特征图进行实例归一化，得到第十二特征图；根据层归一化的均值和方差，对第九特征图进行层归一化，得到第十三特征图；对第十二特征图和第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将风格特征信息和第十四特征图进行融合，得到第三特征图，并向下一模块输入第三特征图。
图7是根据一示例性实施例示出的一种图像处理装置的框图。参照图7，该装置700包括：第一获取模块701，用于获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；风格迁移模块702，用于将所述第一获取模块701获取到的所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
可选地，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。
可选地，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
可选地，所述生成器包括第一编码网络、第二编码网络以及解码网络；所述第一编码网络用于对所述样本图像进行编码，得到第一特征图；所述第二编码网络用于对所述参考图像进行编码，得到风格特征信息；所述解码网络用于根据所述第一特征图和所述风格特征信息，生成所述合成图像。
可选地，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；所述第一融合模块用于将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；每一所述第二融合模块分别用于对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；所述处理模块用于将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
可选地，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；所述第一编码网络还用于将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；每一所述第一卷积层分别用于对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；每一所述第一归一化层分别用于对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
可选地，所述第一归一化层为1*1的卷积层；每一所述第一归一化层分别用于：根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
可选地，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；所述上采样层用于对所述来自所述前一模块的特征图进行上采样；所述第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图；所述第二归一化层用于对所述第七特征图进行归一化，得到第八特征图；所述第三卷积层用于对所述第八特征图进行特征提取，得到第九特征图；所述第三归一化层用于对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
可选地，所述第二归一化层为1*1的卷积层；所述第二归一化层用于：根据所述第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第七特征图进行实例归一化，得到第十特征图；根据所述层归一化的均值和方差，对所述第七特征图进行层归一化，得到第十一特征图；对所述第十特征图和所述第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到所述第八特征图。
可选地，所述第三归一化层为1*1的卷积层；所述第三归一化层用于：根据所述第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第九特征图进行实例归一化，得到第十二特征图；根据所述层归一化的均值和方差，对所述第九特征图进行层归一化，得到第十三特征图；对所述第十二特征图和所述第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将所述风格特征信息和所述第十四特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
图8是根据一示例性实施例示出的一种图像风格迁移模型的训练装置的框图，其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层。如图8所示，装置800包括：第二获取模块801，用于获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；输入模块802，用于将所述第二获取模块801获取到的所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；第一特征提取模块803，用于通过所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述输入模块802，还用于将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；第二特征提取模块804，用于通过所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述第一特征提取模块803，还用于通过所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；第一更新模块805，用于利用所述第四特征信息，对所述生成器进行模型参数更新；以及第二更新模块806，用于利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
可选地，所述第一更新模块805用于利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果、生成器损失函数，对所述生成器进行模型参数更新；所述第二更新模块806用于利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果、判别器损失函数，对所述判别器进行模型参数更新。
可选地，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
可选地，所述生成器包括第一编码网络、第二编码网络以及解码网络；所述生成器按照所述参考图像的图像风格，通过以下方式对所述样本像进行风格迁移处理，得到合成图像：所述第一编码网络对所述样本图像进行编码，得到第一特征图，所述第二编码网络对所述参考图像进行编码，得到风格特征信息，所述解码网络根据所述第一特征图和所述风格特征信息，生成所述合成图像。
可选地，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；所述解码网络根据所述第一特征图和所述风格特征信息，通过以下方式生成所述合成图像：所述第一融合模块将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；每一所述第二融合模块分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；所述处理模块将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
可选地，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；所述输入模块802，还用于通过所述第一编码网络将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；所述第一融合模块通过以下方式将所述风格特征信息与所述第一特征图进行融合，得到第二特征图：每一所述第一卷积层分别对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；每一所述第一归一化层分别对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
可选地，所述第一归一化层为1*1的卷积层；所述每一所述第一归一化层分别通过以下方式对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图：每一所述第一归一化层分别根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
可选地，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；所述每一所述第二融合模块通过以下方式分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图：所述上采样层对所述来自所述前一模块的特征图进行上采样；所述第二卷积层对上采样后得到的特征图进行特征提取，得到第七特征图；所述第二归一化层对所述第七特征图进行归一化，得到第八特征图；所述第三卷积层对所述第八特征图进行特征提取，得到第九特征图；所述第三归一化层对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
可选地，所述第二归一化层为1*1的卷积层；所述第二归一化层通过以下方式对所述第七特征图进行归一化，得到第八特征图：根据所述第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第七特征图进行实例归一化，得到第十特征图；根据所述层归一化的均值和方差，对所述第七特征图进行层归一化，得到第十一特征图；对所述第十特征图和所述第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到所述第八特征图。
可选地，所述第三归一化层为1*1的卷积层；所述第三归一化层用于通过以下方式对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图：根据所述第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第九特征图进行实例归一化，得到第十二特征图；根据所述层归一化的均值和方差，对所述第九特征图进行层归一化，得到第十三特征图；对所述第十二特征图和所述第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将所述风格特征信息和所述第十四特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
需要说明的是，上述图像风格迁移模型的训练装置800可以独立于图像处理装置设置700，也可以集成在图像处理装置700中，在本公开中不作具体限定。另外，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
下面参考图9，其示出了适于用来实现本公开实施例的电子设备(例如，终端设备或服务器)900的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；将所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种，其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；将所述参考图像输入至图像风格迁移模型的第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括所述第一网络层和与多种图像风格一一对应的多个第二网络层；所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；利用所述第四特征信息，对所述生成器进行模型参数更新；以及利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取待处理图像和目标图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种图像处理方法，包括：获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；将所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；
利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
根据本公开的一个或多个实施例，示例4提供了示例1-3中任一项所述的方法，所述生成器包括第一编码网络、第二编码网络以及解码网络；所述第一编码网络用于对所述样本图像进行编码，得到第一特征图；所述第二编码网络用于对所述参考图像进行编码，得到风格特征信息；所述解码网络用于根据所述第一特征图和所述风格特征信息，生成所述合成图像。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；所述第一融合模块用于将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；每一所述第二融合模块分别用于对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；所述处理模块用于将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；所述第一编码网络还用于将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；每一所述第一卷积层分别用于对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；每一所述第一归一化层分别用于对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述第一归一化层为1*1的卷积层；每一所述第一归一化层分别用于：根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
根据本公开的一个或多个实施例，示例8提供了示例5的方法，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；所述上采样层用于对所述来自所述前一模块的特征图进行上采样；所述第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图；所述第二归一化层用于对所述第七特征图进行归一化，得到第八特征图；所述第三卷积层用于对所述第八特征图进行特征提取，得到第九特征图；所述第三归一化层用于对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
根据本公开的一个或多个实施例，示例9提供了示例8的方法，所述第二归一化层为1*1的卷积层；所述第二归一化层用于：根据所述第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第七特征图进行实例归一化，得到第十特征图；根据所述层归一化的均值和方差，对所述第七特征图进行层归一化，得到第十一特征图；对所述第十特征图和所述第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到所述第八特征图。
根据本公开的一个或多个实施例，示例10提供了示例8的方法，所述第三归一化层为1*1的卷积层；所述第三归一化层用于：根据所述第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第九特征图进行实例归一化，得到第十二特征图；根据所述层归一化的均值和方差，对所述第九特征图进行层归一化，得到第十三特征图；对所述第十二特征图和所述第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将所述风格特征信息和所述第十四特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
根据本公开的一个或多个实施例，示例11提供了一种图像风格迁移模型的训练方法，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；所述方法包括：获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；将所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；利用所述第四特征信息，对所述生成器进行模型参数更新；以及利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
根据本公开的一个或多个实施例，示例12提供了示例11的方法，所述利用所述第四特征信息，对所述生成器进行模型参数更新，包括：利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果、生成器损失函数，对所述生成器进行模型参数更新；所述利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新，包括：利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果、判别器损失函数，对所述判别器进行模型参数更新。
根据本公开的一个或多个实施例，示例13提供了示例12的方法，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
根据本公开的一个或多个实施例，示例14提供了示例11-13中任一项所述的方法，所述生成器包括第一编码网络、第二编码网络以及解码网络；所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，包括：所述第一编码网络对所述样本图像进行编码，得到第一特征图；所述第二编码网络对所述参考图像进行编码，得到风格特征信息；所述解码网络根据所述第一特征图和所述风格特征信息，生成所述合成图像。
根据本公开的一个或多个实施例，示例15提供了示例14的方法，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；所述解码网络根据所述第一特征图和所述风格特征信息，生成所述合成图像，包括：所述第一融合模块将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；每一所述第二融合模块分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；所述处理模块将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
根据本公开的一个或多个实施例，示例16提供了示例15的方法，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；所述方法还包括：所述第一编码网络将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；所述第一融合模块将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，包括：每一所述第一卷积层分别对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；每一所述第一归一化层分别对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
根据本公开的一个或多个实施例，示例17提供了示例16的方法，所述第一归一化层为1*1的卷积层；所述每一所述第一归一化层分别对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，包括：每一所述第一归一化层分别根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
根据本公开的一个或多个实施例，示例18提供了示例15的方法，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；所述每一所述第二融合模块分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图，包括：所述上采样层对所述来自所述前一模块的特征图进行上采样；所述第二卷积层对上采样后得到的特征图进行特征提取，得到第七特征图；所述第二归一化层对所述第七特征图进行归一化，得到第八特征图；所述第三卷积层对所述第八特征图进行特征提取，得到第九特征图；所述第三归一化层对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
根据本公开的一个或多个实施例，示例19提供了示例18的方法，所述第二归一化层为1*1的卷积层；所述第二归一化层对所述第七特征图进行归一化，得到第八特征图，包括：根据所述第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第七特征图进行实例归一化，得到第十特征图；根据所述层归一化的均值和方差，对所述第七特征图进行层归一化，得到第十一特征图；对所述第十特征图和所述第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到所述第八特征图。
根据本公开的一个或多个实施例，示例20提供了示例18的方法，所述第三归一化层为1*1的卷积层；所述第三归一化层对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图，包括：根据所述第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；根据所述实例归一化的均值和方差，对所述第九特征图进行实例归一化，得到第十二特征图；根据所述层归一化的均值和方差，对所述第九特征图进行层归一化，得到第十三特征图；对所述第十二特征图和所述第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；将所述风格特征信息和所述第十四特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
根据本公开的一个或多个实施例，示例21提供了一种图像处理装置，包括：第一获取模块，用于获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；风格迁移模块，用于将所述第一获取模块获取到的所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；其中，所述第二特征信息和所述第四特征信息用于对所述判别器进行模型参数更新，所述第四特征信息用于对所述生成器进行模型参数更新。
根据本公开的一个或多个实施例，示例22提供了一种图像风格迁移模型的训练装置，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；所述装置包括：第二获取模块，用于获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；输入模块，用于将所述第二获取模块获取到的所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；第一特征提取模块，用于通过所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述输入模块，还用于将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；第二特征提取模块，用于通过所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；所述第一特征提取模块，还用于通过所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；第一更新模块，用于利用所述第四特征信息，对所述生成器进行模型参数更新；以及第二更新模块，用于利用所述第二特征信息和所述第四特征信息，对所述判别器进行模型参数更新。
根据本公开的一个或多个实施例，示例23提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1-10中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例24提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例11-20中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例25提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-10中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例26提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例11-20中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；
将所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；
其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；
其中，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；
利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。
2.根据权利要求1所述的方法，其特征在于，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；
其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
3.根据权利要求1或2所述的方法，其特征在于，所述生成器包括第一编码网络、第二编码网络以及解码网络；
所述第一编码网络用于对所述样本图像进行编码，得到第一特征图；
所述第二编码网络用于对所述参考图像进行编码，得到风格特征信息；
所述解码网络用于根据所述第一特征图和所述风格特征信息，生成所述合成图像。
4.根据权利要求3所述的方法，其特征在于，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；
所述第一融合模块用于将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；
每一所述第二融合模块分别用于对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；
所述处理模块用于将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
5.根据权利要求4所述的方法，其特征在于，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；
所述第一编码网络还用于将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；
每一所述第一卷积层分别用于对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；
每一所述第一归一化层分别用于对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
6.根据权利要求5所述的方法，其特征在于，所述第一归一化层为1*1的卷积层；
每一所述第一归一化层分别用于：
根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；
根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；
根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；
对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；
将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
7.根据权利要求4所述的方法，其特征在于，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；
所述上采样层用于对所述来自前一模块的特征图进行上采样；
所述第二卷积层用于对上采样后得到的特征图进行特征提取，得到第七特征图；
所述第二归一化层用于对所述第七特征图进行归一化，得到第八特征图；
所述第三卷积层用于对所述第八特征图进行特征提取，得到第九特征图；
所述第三归一化层用于对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
8.根据权利要求7所述的方法，其特征在于，所述第二归一化层为1*1的卷积层；
所述第二归一化层用于：
根据所述第七特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；
根据所述实例归一化的均值和方差，对所述第七特征图进行实例归一化，得到第十特征图；
根据所述层归一化的均值和方差，对所述第七特征图进行层归一化，得到第十一特征图；
对所述第十特征图和所述第十一特征图依次进行通道拼接操作和1*1的卷积操作，得到所述第八特征图。
9.根据权利要求7所述的方法，其特征在于，所述第三归一化层为1*1的卷积层；
所述第三归一化层用于：
根据所述第九特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；
根据所述实例归一化的均值和方差，对所述第九特征图进行实例归一化，得到第十二特征图；
根据所述层归一化的均值和方差，对所述第九特征图进行层归一化，得到第十三特征图；
对所述第十二特征图和所述第十三特征图依次进行通道拼接操作和1*1的卷积操作，得到第十四特征图；
将所述风格特征信息和所述第十四特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
10.一种图像风格迁移模型的训练方法，其特征在于，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层；所述方法包括：
获取样本图像和参考图像，其中，所述参考图像的图像风格为所述多种图像风格中的一种；
将所述参考图像输入至所述第一网络层，以由所述第一网络层提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层；
所述目标第二网络层从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；
将所述样本图像和所述参考图像输入至所述生成器，以由所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，并将所述合成图像输入至所述第一网络层；
所述第一网络层提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层；
所述目标第二网络层从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；
利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果、生成器损失函数，对所述生成器进行模型参数更新；以及
利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果、判别器损失函数，对所述判别器进行模型参数更新。
11.根据权利要求10所述的方法，其特征在于，所述生成器损失函数包括对抗损失、第一特征匹配损失、第二特征匹配损失以及重构损失；
其中，所述第一特征匹配损失是根据所述第一网络层的各池化层提取的特征信息确定的；所述第二特征匹配损失是根据所述目标第二网络层的池化层提取的特征信息确定的。
12.根据权利要求10或11所述的方法，其特征在于，所述生成器包括第一编码网络、第二编码网络以及解码网络；
所述生成器按照所述参考图像的图像风格对所述样本图像进行风格迁移处理，得到合成图像，包括：
所述第一编码网络对所述样本图像进行编码，得到第一特征图；
所述第二编码网络对所述参考图像进行编码，得到风格特征信息；
所述解码网络根据所述第一特征图和所述风格特征信息，生成所述合成图像。
13.根据权利要求12所述的方法，其特征在于，所述解码网络包括第一融合模块、处理模块以及连接在所述第一融合模块与所述处理模块之间的至少一个第二融合模块，当所述第二融合模块的数量为多个时，多个所述第二融合模块为串联；
所述解码网络根据所述第一特征图和所述风格特征信息，生成所述合成图像，包括：
所述第一融合模块将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，并将所述第二特征图输入至与所述第一融合模块连接的所述第二融合模块；
每一所述第二融合模块分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图；
所述处理模块将从与所述处理模块连接的所述第二融合模块输入的所述第三特征图的图像尺寸调整为目标尺寸，得到所述合成图像，其中，所述目标尺寸为所述样本图像的尺寸。
14.根据权利要求13所述的方法，其特征在于，所述第一融合模块包括至少一个融合子模块，每一所述融合子模块包括串联的第一卷积层和第一归一化层，当所述融合子模块数量为多个时，多个所述融合子模块为串联；
所述方法还包括：
所述第一编码网络将所述第一特征图输入至与所述第一编码网络连接的第一卷积层；
所述第一融合模块将所述风格特征信息与所述第一特征图进行融合，得到第二特征图，包括：
每一所述第一卷积层分别对输入所述第一卷积层的特征图进行特征提取，并将提取到的特征图输入至所述第一卷积层所属的融合子模块中的所述第一归一化层；
每一所述第一归一化层分别对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，其中，所述第二特征图为与所述第二融合模块连接的所述第一归一化层输出的融合得到的特征图。
15.根据权利要求14所述的方法，其特征在于，所述第一归一化层为1*1的卷积层；
所述每一所述第一归一化层分别对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行归一化，将所述风格特征信息和归一化所得的特征图进行融合，并输出融合得到的特征图，包括：
每一所述第一归一化层分别根据来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图中的各像素值，分别确定实例归一化的均值和方差，以及层归一化的均值和方差；
根据所述实例归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行实例归一化，得到第四特征图；
根据所述层归一化的均值和方差，对来自所述第一归一化层所属的融合子模块中的第一卷积层的特征图进行层归一化，得到第五特征图；
对所述第四特征图和所述第五特征图依次进行通道拼接操作和1*1的卷积操作，得到第六特征图；
将所述风格特征信息和所述第六特征图进行融合，并输出融合得到的特征图。
16.根据权利要求13所述的方法，其特征在于，所述第二融合模块包括依次连接的上采样层、第二卷积层、第二归一化层、第三卷积层以及第三归一化层；
所述每一所述第二融合模块分别对来自前一模块的特征图进行上采样，并将所述风格特征信息与上采样后得到的特征图进行融合，得到第三特征图，并向下一模块输入所述第三特征图，包括：
所述上采样层对所述来自前一模块的特征图进行上采样；
所述第二卷积层对上采样后得到的特征图进行特征提取，得到第七特征图；
所述第二归一化层对所述第七特征图进行归一化，得到第八特征图；
所述第三卷积层对所述第八特征图进行特征提取，得到第九特征图；
所述第三归一化层对所述第九特征图进行归一化，并将所述风格特征信息和归一化所得的特征图进行融合，得到所述第三特征图，并向所述下一模块输入所述第三特征图。
17.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理图像和目标图像，其中，所述目标图像具有目标图像风格；
风格迁移模块，用于将所述第一获取模块获取到的所述待处理图像和所述目标图像输入至图像风格迁移模型中，以通过所述图像风格迁移模型按照所述目标图像风格对所述待处理图像进行风格迁移处理；
其中，所述图像风格迁移模型为包括生成器和判别器的生成式对抗网络模型，所述判别器包括第一网络层和与多种图像风格一一对应的多个第二网络层，其中，在模型训练阶段，所述生成器用于按照参考图像的图像风格对样本图像进行风格迁移处理，得到合成图像，所述第一网络层用于提取所述参考图像的第一特征信息，并将所述第一特征信息输入至与所述参考图像的图像风格对应的目标第二网络层，所述目标第二网络层用于从所述第一特征信息中提取所述参考图像在所述目标第二网络层对应的图像风格下的第二特征信息；所述第一网络层还用于提取所述合成图像的第三特征信息，并将所述第三特征信息输入至所述目标第二网络层，所述目标第二网络层还用于从所述第三特征信息中提取所述合成图像在所述目标第二网络层对应的图像风格下的第四特征信息；
其中，在模型训练阶段，利用所述第四特征信息对所述合成图像进行真假判定，并根据所述合成图像的真假判定结果和生成器损失函数，对所述生成器进行模型参数更新；
利用所述第二特征信息对所述参考图像进行真假判定，并根据所述参考图像的真假判定结果、所述合成图像的真假判定结果和判别器损失函数，对所述判别器进行模型参数更新。
18.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-9中任一项所述方法的步骤。
CN202010628687.9A 2020-07-01 2020-07-01 图像处理方法、迁移模型训练方法、装置、介质及设备 Active CN111784565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010628687.9A CN111784565B (zh) 2020-07-01 2020-07-01 图像处理方法、迁移模型训练方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010628687.9A CN111784565B (zh) 2020-07-01 2020-07-01 图像处理方法、迁移模型训练方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN111784565A CN111784565A (zh) 2020-10-16
CN111784565B true CN111784565B (zh) 2021-10-29

Family

ID=72758234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010628687.9A Active CN111784565B (zh) 2020-07-01 2020-07-01 图像处理方法、迁移模型训练方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN111784565B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241941B (zh) * 2020-10-20 2024-03-22 北京字跳网络技术有限公司 获取图像的方法、装置、设备和计算机可读介质
CN112381707B (zh) * 2020-11-02 2023-06-20 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112418310B (zh) * 2020-11-20 2024-06-28 第四范式（北京）技术有限公司 文本风格迁移模型训练方法和系统及图像生成方法和系统
CN112581358B (zh) * 2020-12-17 2023-09-26 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法及装置
CN112734627B (zh) * 2020-12-24 2023-07-11 北京达佳互联信息技术有限公司 图像风格迁移模型的训练方法、图像风格迁移方法及装置
CN112669308B (zh) * 2021-01-06 2024-05-24 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN112767287A (zh) * 2021-03-10 2021-05-07 百果园技术(新加坡)有限公司 一种模型训练、图像处理方法、装置、设备及介质
CN113111791B (zh) * 2021-04-16 2024-04-09 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113191404B (zh) * 2021-04-16 2023-12-12 深圳数联天下智能科技有限公司 发型迁移模型训练方法、发型迁移方法及相关装置
CN113409342A (zh) * 2021-05-12 2021-09-17 北京达佳互联信息技术有限公司 图像风格迁移模型的训练方法、装置及电子设备
CN113762148B (zh) * 2021-09-07 2023-12-08 京东科技信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN115965840A (zh) * 2021-10-11 2023-04-14 北京字节跳动网络技术有限公司 图像风格迁移和模型训练方法、装置、设备和介质
CN114202456A (zh) * 2021-11-18 2022-03-18 北京达佳互联信息技术有限公司 图像生成方法、装置、电子设备及存储介质
CN113837934B (zh) * 2021-11-26 2022-02-22 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN114140319A (zh) * 2021-12-09 2022-03-04 北京百度网讯科技有限公司 图像迁移方法和图像迁移模型的训练方法、装置
CN114926568A (zh) * 2022-05-30 2022-08-19 京东科技信息技术有限公司 模型训练方法、图像生成方法和装置
CN115423887B (zh) * 2022-08-04 2023-05-23 北京乐信圣文科技有限责任公司 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质
CN116137060B (zh) * 2023-04-20 2023-07-18 城云科技（中国）有限公司 一种同场景多风格图像匹配方法、装置及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107948529A (zh) * 2017-12-28 2018-04-20 北京麒麟合盛网络技术有限公司 图像处理方法及装置
CN109308725A (zh) * 2018-08-29 2019-02-05 华南理工大学 一种移动端表情趣图生成的系统
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN110197459A (zh) * 2019-05-15 2019-09-03 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107948529A (zh) * 2017-12-28 2018-04-20 北京麒麟合盛网络技术有限公司 图像处理方法及装置
CN109308725A (zh) * 2018-08-29 2019-02-05 华南理工大学 一种移动端表情趣图生成的系统
CN109685749A (zh) * 2018-09-25 2019-04-26 平安科技（深圳）有限公司 图像风格转换方法、装置、设备和计算机存储介质
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN110197459A (zh) * 2019-05-15 2019-09-03 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110490960A (zh) * 2019-07-11 2019-11-22 阿里巴巴集团控股有限公司 一种合成图像生成方法及装置
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gated-GAN: Adversarial Gated Networks for Multi-Collection Style Transfer;Xinyuan Chen ET AL.;《IEEE Transactions on Image Processing》;20190404;第1-14页 *

Also Published As

Publication number Publication date
CN111784565A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784565B (zh) 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111784566B (zh) 图像处理方法、迁移模型训练方法、装置、介质及设备
CN109902186B (zh) 用于生成神经网络的方法和装置
CN111369427A (zh) 图像处理方法、装置、可读介质和电子设备
CN110298851B (zh) 人体分割神经网络的训练方法及设备
CN113689372B (zh) 图像处理方法、设备、存储介质及程序产品
CN115965840A (zh) 图像风格迁移和模型训练方法、装置、设备和介质
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
CN114863214A (zh) 图像生成模型训练、图像生成方法、装置、介质及设备
CN112418249A (zh) 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN113902838A (zh) 动画生成方法、装置、存储介质及电子设备
CN114004905A (zh) 人物风格形象图的生成方法、装置、设备及存储介质
CN111311609B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN111898338A (zh) 文本生成方法、装置和电子设备
CN110619602A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN111784726A (zh) 人像抠图方法和装置
CN114418835A (zh) 图像处理方法、装置、设备及介质
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN114399590A (zh) 一种基于人脸解析图的人脸遮挡移除和三维模型生成方法
CN112241744A (zh) 图像颜色迁移方法、装置、设备和计算机可读介质
CN112418233A (zh) 图像处理方法、装置、可读介质及电子设备
CN113240599A (zh) 图像调色方法及装置、计算机可读存储介质、电子设备
CN112488947A (zh) 模型训练和图像处理方法、装置、设备和计算机可读介质
CN112488204A (zh) 训练样本生成方法、图像分割方法、装置、设备和介质
CN111626044A (zh) 文本生成方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant