CN111612861B - 一种图像合成方法及装置 - Google Patents

一种图像合成方法及装置 Download PDF

Info

Publication number
CN111612861B
CN111612861B CN201910133411.0A CN201910133411A CN111612861B CN 111612861 B CN111612861 B CN 111612861B CN 201910133411 A CN201910133411 A CN 201910133411A CN 111612861 B CN111612861 B CN 111612861B
Authority
CN
China
Prior art keywords
image
sample
sample image
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910133411.0A
Other languages
English (en)
Other versions
CN111612861A (zh
Inventor
胡事民
汪淼
杨国烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910133411.0A priority Critical patent/CN111612861B/zh
Publication of CN111612861A publication Critical patent/CN111612861A/zh
Application granted granted Critical
Publication of CN111612861B publication Critical patent/CN111612861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图像合成方法及装置，包括：获取标签域目标图像和目标风格图像；基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。本发明实施例通过将标签域图像和样例风格图像进行图像处理，合成得到图像域图像，提高了图像合成的真实度，提高了合成图像和样例风格图像之间的风格一致性。

Description

一种图像合成方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像合成方法及装置。
背景技术
近几年来，在图像到图像转换问题中，主要是学习两个视觉域之间的映射，使用图像到图像转换框架，处理各种计算机视觉和图形的问题，包括超分辨率、着色、修复、风格转换和真实感图像合成。
在现有技术中，通过用于图像生成的生成对抗网络(Generative AdversarialNetworks，简称GAN)进行图像合成。在对抗损失的驱动下，生成器和鉴别器相互竞争，鉴别器旨在将生成的伪图像从目标域中分离出来；生成器试图生成可以骗过鉴别器的图像。
然而，现有基于生成对抗网络的图像合成方法，得到的合成图像和真实图像进行对比，体现出真实度不高，与风格样例的风格偏差较大的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种图像合成方法及装置。
第一方面，本发明实施例提供了一种图像合成方法，包括：
获取标签域目标图像和目标风格图像；
基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
第二方面，本发明实施例提供了一种图像合成装置，包括：
获取模块，用于获取标签域目标图像和目标风格图像；
图像合成模块，用于基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种图像合成方法及装置，通过将标签域图像和样例风格图像进行图像处理，合成得到图像域图像，提高了图像合成的真实度，提高了合成图像和样例风格图像之间的风格一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像合成方法的流程示意图；
图2为本发明实施例提供的图像合成深度卷积神经网络的示意图；
图3为本发明实施例提供的图像合成装置的结构示意图；
图4为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的图像合成方法的流程示意图，如图1所示，本发明实施例提供了一种图像合成方法，包括：
步骤101，获取标签域目标图像和目标风格图像；
步骤102，基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
在本发明实施例中，首先通过步骤101，获取标签域目标图像和目标风格图像。以标签域目标图像为待进行合成处理的图像，将目标风格图像作为合成处理时的参照样例图像，以使得后续合成图像与标签域目标图像的图像语义一致(如人体姿势一致)，同时，合成图像和目标风格图像的风格类型一致，其中，目标风格图像包括标签域目标风格图像和图像域目标风格图像。需要说明的是，在本发明实施例中，标签域目标图像包括逐像素语义分割图、人脸特征点连线图或人体姿态图等，标签域目标图像的类型在本发明实施例中不作具体限定。
然后，通过步骤102，基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。在本发明实施例中，将标签域目标图像和目标风格图像输入到训练好的图像合成深度卷积神经网络，通过图像合成深度卷积神经网络的生成器网络，生成一张与标签域目标图像的图像语义以及目标风格图像的风格类型一致的合成图像。在对抗损失的驱动下，图像合成深度卷积神经网络的真实度鉴别器网络和风格鉴别器网络，与生成器网络相互竞争，其中，真实度鉴别器网络和风格鉴别器网络旨在将生成器网络生成的合成图像从目标域中分离出来，生成器网络试图生成可以欺骗真实度鉴别器网络和风格鉴别器网络的合成图像，最终得到目标合成图像。需要说明的是，目标合成图像为生成器网络生成，且能通过真实度鉴别器网络和风格鉴别器网络鉴别的图像域合成图像。
本发明实施例提供的一种图像合成方法，通过将标签域图像和样例风格图像进行图像处理，合成得到图像域图像，提高了图像合成的真实度，提高了合成图像和样例风格图像之间的风格一致性。
在上述实施例的基础上，所述训练好的图像合成深度卷积神经网络通过以下步骤训练得到：
获取训练样本集，所述训练样本集中的样本图像包括标签域样本图像及其对应的图像域样本图像；
根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像；
根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络。
在本发明实施例中，首先将样本图像进行分组，每一组中包括4对样本图像，依次为第一样本图像、第二样本图像、第三样本图像和第四样本图像，每对样本图像由一张标签域样本图像以及这张标签域样本图像对应的图像域样本图像组成，定义这4对样本图像的标签域样本图像分别为A、B、C和D，其对应的图像域样本图像分别为A’、B’、C’和D’。其中，第一样本图像作为待进行图像合成的样本图像，第二样本图像作为训练时的风格参照样例图像。并且，第二样本图像和第三样本图像的图像风格类型一致，和第四样本图像的图像风格类型不一致。
在获取到训练样本集之后，首先对生成器网络进行训练，将标签域样本图像A和第二样本图像输入到生成器网络中，图2为本发明实施例提供的图像合成深度卷积神经网络的示意图，如图2所示，将标签域样本图像A以及第二样本图像(B和B’)输入生成器网络，通过生成器网络获取与输入标签域样本图像A对应的，与第二样本图像的样例风格一致的图像域样本合成图像A”＝G(A,B,B’)，其中G表示生成器网络返回的图像。
然后，对真实度鉴别器网络和风格鉴别器网络进行训练，在本发明实施例中，将图像域样本合成图像A”和第一样本图像输入到真实度鉴别器网络；将图像域样本合成图像A”、图像域样本图像B’图像域样本图像C’和图像域样本图像D’输入到风格鉴别器网络，从而对真实度鉴别器网络和风格鉴别器网络进行训练。若图像域样本合成图像A”的鉴别结果未能同时欺骗上述两个鉴别器，则将计算得到的真实度损失项和风格损失项反向传播到生成器网络，以供生成器网络进行训练；生成器网络将训练结果返回到真实度鉴别器网络和风格鉴别器网络，以供真实度鉴别器网络和风格鉴别器网络进行训练，以使得生成器网络和上述两个鉴别器网络交替对抗训练，提高训练效果，最终得到训练好的图像合成深度卷积神经网络。需要说明的是，上述两个鉴别器网络返回的不是单一的1或0，而是将输入的样本图像经过鉴定，得到一个0～1的浮点数，以用于计算损失。
在上述任一实施例的基础上，所述获取训练样本集，包括：
获取第一样本图像，将所述第一样本图像的标签域样本图像作为待进行图像合成的第一标签域样本图像；
获取第二样本图像、第三样本图像和第四样本图像，其中，所述第二样本图像和所述第三样本图像的风格相同，所述第四样本图像和所述第二样本图像及第三样本图像的风格不相同；
将所述第一样本图像、所述第二样本图像、所述第三样本图像和所述第四样本图像划分为一组，获取到所述训练样本集。
在本发明实施例中，首先获取样本图像，构成训练样本集，将样本图像进行分组，每一组中包括4对样本图像，依次为第一样本图像、第二样本图像、第三样本图像和第四样本图像，每对样本图像由一张标签域样本图像以及这张标签域样本图像对应的图像域样本图像组成，定义这4对样本图像的标签域样本图像分别为A、B、C和D，其对应的图像域样本图像分别为A’、B’、C’和D’。需要说明的是，在本发明实施例中，可以通过现有的图像转换，将标签域样本图像通过转换，得到其对应的图像域样本图像，即A＝F(A’)，具体转换方式为现有技术，此次不在赘述。其中，第一样本图像作为待进行图像合成的样本图像，第二样本图像作为训练时的风格参照样例图像。并且，第二样本图像和第三样本图像的图像风格类型一致，和第四样本的图像风格类型不一致。并且，在本发明实施例中，图像域样本图像A’和图像域样本图像B’的风格数据有70％不一致，一致的风格数据为30％。需要说明的是，第四样本图像的图像风格类型也可以采取随机类型，而在本发明实施例中，通过将第四样本图像设置与第二样本图像的风格类型不一致，提高了训练的效率。
在上述任一实施例的基础上，所述根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像，包括：
将所述第一标签域样本图像和第二样本图像输入到生成器网络进行训练，获得预训练的生成器网络；
基于预训练的生成器网络，对所述第一标签域样本图像和第二样本图像进行图像合成，得到所述第一标签域样本图像对应的第一样本合成图像；
将所述第一样本合成图像、所述第二样本图像、所述第三样本图像和所述第四样本图像输入到真实度鉴别器网络和风格鉴别器网络进行鉴别训练，若鉴别训练结果满足预设条件，获得训练好的图像合成深度卷积神经网络。
在上述任一实施例的基础上，所述生成器网络根据风格对抗项、真实度对抗项和语义一致性项计算生成损失。
在上述任一实施例的基础上，所述生成器网络基于VGG神经网络构建而成。
在本发明实施例中，生成器网络基于VGG神经网络构建而成，通过ImageNet数据集对VGG神经网络的参数进行设置，并根据风格对抗项、真实度对抗项和语义一致性项计算生成损失。
其中，风格对抗项LGCAdv＝log(1-DGC(B’,A”))，真实度对抗项LStdAdv＝log(1-DR(A,A”))。语义一致性项具体为：将图像域样本图像A’和图像域样本图像B’的风格数据设置为70％不一致，则图像域样本图像A’和生成的图像域样本合成图像A”之间不会完全相同，但是在标签域的语义上是一致的。因此，语义一致性项是在图像域样本合成图像A”和图像域样本图像A’输入到VGG神经网络之后，将语义层响应做差作为损失(语义层权重较大)；在另外30％的风格数据中，图像域样本图像A’和第二样本图像(B，B’)的风格是相同的，此时生成的图像域样本合成图像A”几乎与图像域样本图像A’一致，在此种情况下，语义一致性项是在图像域样本合成图像A”和图像域样本图像A’输入到VGG神经网络之后，将所有层响应做差作为损失(所有权重一样)。
具体地，在本发明实施例中，语义一致性项为：
Figure BDA0001976173570000061
其中，L(i)表示VGG神经网络第i层的响应，wi表示第i层的权重。当图像域样本图像A’和图像域样本图像B’的风格类型一致时，wi＝1，否则，wi＝1/Mi,Mi表示VGG神经网络第i层的元素个数，根据风格对抗项、真实度对抗项和语义一致性项，得到总的训练损失：
L(G,DR,DGC)＝LStdAdv(G,DR)+λ1LGCAdv(G,DGC)+λ2LSC(G)；
其中，DR表示真实度鉴别器网络返回的结果，DGC表示风格鉴别器网络返回的结果，λ1＝10，λ2＝10。
在上述任一实施例的基础上，所述根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络，包括：
将所述第一样本合成图像、所述第一标签域样本图像和第一图像域样本图像输入到真实度鉴别器网络进行训练，得到训练好的真实度鉴别器网络；
将所述第一样本合成图像、所述第二样本图像、所述第三样本图像和所述第四样本图像输入到风格鉴别器网络进行训练，得到训练好的风格鉴别器网络；
基于训练好的生成器网络、真实度鉴别器网络和风格鉴别器网络，构建得到训练好的图像合成深度卷积神经网络。
在本发明实施例中，图像合成深度卷积神经网络，由生成器网络、风格鉴别器网络和真实度鉴别器网络构成。对于网络损失部分，风格鉴别器网络的损失由风格对抗项构成；真实度鉴别器网络的损失由真实度对抗项构成；生成器网络的损失由风格对抗项、真实度对抗项和语义一致性项构成。其中风格鉴别器网络的任务是鉴别两张图像域图像的风格是否一致，真实度鉴别器网络的任务是鉴别一张图像域图像是否真实且符合标签域的语义，生成器网络的任务是生成能通过上述两个鉴别器鉴别的真实图像。
进一步地，在本发明实施例中，将图像域样本合成图像A”和第一样本图像输入到真实度鉴别器网络中，输入A和A’时，期望回归结果为真实；输入A和A”时，期望回归结果为不真实。真实度鉴别器网络的损失表示为：
LR＝log(1-DR(A,A’))+log(DR(A,A”))；
其中，DR表示真实度鉴别器网络返回的结果。
将图像域样本合成图像A”、图像域样本图像B’图像域样本图像C’和图像域样本图像D’输入到风格鉴别器网络，输入B’和A”时，期望回归结果为风格不一致，输入B’和C’时，期望回归结果为风格一致，输入B’和D’时，期望回归结果为风格不一致。风格鉴别器网络的损失表示为：
LGC＝log(DGC(B’,A”))+log(1-DGC(B’,C’))+log(DGC(B’,D’))；
其中，DGC表示风格鉴别器返回的结果。
在本发明实施例中，将图像域样本合成图像A”输入到上述两个鉴别器网络中进行鉴别，若图像域样本合成图像A”的鉴别结果未能同时欺骗上述两个鉴别器，则将计算得到的真实度损失项和风格损失项反向传播到生成器网络，以供生成器网络进行训练；生成器网络将训练结果返回到真实度鉴别器网络和风格鉴别器网络，以供真实度鉴别器网络和风格鉴别器网络进行训练，以使得生成器网络和上述两个鉴别器网络交替对抗训练，最终得到通过生成器网络生成，且能通过真实度鉴别器网络和风格鉴别器网络鉴别的图像域样本合成图像。
图3为本发明实施例提供的图像合成装置的结构示意图，如图3所示，本发明实施例提供了一种图像合成装置，包括：获取模块301和图像合成模块，其中，获取模块301用于获取标签域目标图像和目标风格图像；图像合成模块302用于基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
本发明实施例提供的一种图像合成装置，该装置通过将标签域图像和样例风格图像进行图像处理，合成得到图像域图像，提高了图像合成的真实度，提高了合成图像和样例风格图像之间的风格一致性。
在上述实施例的基础上，所述装置还包括：样本集获取模块、第一训练模块和第二训练模块，其中，样本集获取模块用于获取训练样本集，所述训练样本集中的样本图像包括标签域样本图像及其对应的图像域样本图像；第一训练模块用于根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像；第二训练模块用于根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络。
本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图4为本发明实施例提供的电子设备结构示意图，如图4所示，该电子设备可以包括：处理器(Processor)401、通信接口(Communications Interface)402、存储器(Memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：获取标签域目标图像和目标风格图像；基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取标签域目标图像和目标风格图像；基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述实施例所提供的图像合成方法，例如包括：获取标签域目标图像和目标风格图像；基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种图像合成方法，其特征在于，包括：
获取标签域目标图像和目标风格图像；
基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的；
所述训练好的图像合成深度卷积神经网络通过以下步骤训练得到：
获取训练样本集，所述训练样本集中的样本图像包括标签域样本图像及其对应的图像域样本图像；
根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像；
根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络；
所述获取训练样本集，包括：
获取第一样本图像，将所述第一样本图像的标签域样本图像作为待进行图像合成的第一标签域样本图像；
获取第二样本图像、第三样本图像和第四样本图像，其中，所述第二样本图像和所述第三样本图像的风格相同，所述第四样本图像和所述第二样本图像及第三样本图像的风格不相同，所述第一样本图像的图像域样本图像与所述第二样本图像的图像域图像的风格有70％不一致；
将所述第一样本图像、所述第二样本图像、所述第三样本图像和所述第四样本图像划分为一组，获取到所述训练样本集；
所述生成器网络基于VGG神经网络构建而成，根据风格对抗项、真实度对抗项和语义一致性项计算生成损失，其中，所述风格对抗项LGCAdv＝log(1-DGC(B’,A”))，所述真实度对抗项LStdAdv＝log(1-DR(A,A”))，所述语义一致性项为：
Figure FDA0003904552740000011
其中，L(i)表示VGG神经网络第i层的响应，wi表示第i层的权重；当图像域样本图像A’和图像域样本图像B’的风格类型一致时，wi＝1，否则，wi＝1/Mi；Mi表示VGG神经网络第i层的元素个数；A”为将标签域样本图像A以及标签域样本图像B和图像域样本图像B’输入所述生成器网络，通过所述生成器网络获取与输入标签域样本图像A对应的，与标签域样本图像B和图像域样本图像B’的样例风格一致的图像域样本合成图像；
所述生成器网络的生成损失为：
L(G,DR,DGC)＝LStdAdv(G,DR)+λ1LGCAdv(G,DGC)+λ2LSC(G)；
其中，G表示生成器网络返回的图像，DR表示真实度鉴别器网络返回的结果，DGC表示风格鉴别器网络返回的结果，λ1＝10，λ2＝10；
所述真实度鉴别器网络的损失表示为：
LR＝log(1-DR(A,A’))+log(DR(A,A”))；
所述风格鉴别器网络的损失表示为：
LGC＝log(DGC(B’,A”))+log(1-DGC(B’,C’))+log(DGC(B’,D’))；
其中，A为所述第一样本图像的标签域样本图像，A’为标签域样本图像A对应的图像域样本图像；B为所述第二样本图像的标签域样本图像，B’为标签域样本图像B对应的图像域样本图像；C’为所述第三样本图像的图像域样本图像，D’为所述第三样本图像的图像域样本图像；
所述根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像，包括：
将所述第一标签域样本图像和第二样本图像输入到生成器网络进行训练，获得预训练的生成器网络；
基于预训练的生成器网络，对所述第一标签域样本图像和第二样本图像进行图像合成，得到所述第一标签域样本图像对应的第一样本合成图像；
将所述第一样本合成图像、所述第二样本图像、所述第三样本图像和所述第四样本图像输入到真实度鉴别器网络和风格鉴别器网络进行鉴别训练，若鉴别训练结果满足预设条件，获得训练好的图像合成深度卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络，包括：
将所述第一样本合成图像、所述第一标签域样本图像和第一图像域样本图像输入到真实度鉴别器网络进行训练，得到训练好的真实度鉴别器网络；
将所述第一样本合成图像、所述第二样本图像、所述第三样本图像和所述第四样本图像输入到风格鉴别器网络进行训练，得到训练好的风格鉴别器网络；
基于训练好的生成器网络、真实度鉴别器网络和风格鉴别器网络，构建得到训练好的图像合成深度卷积神经网络。
3.一种图像合成装置，其特征在于，包括：
获取模块，用于获取标签域目标图像和目标风格图像；
图像合成模块，用于基于训练好的图像合成深度卷积神经网络，对所述标签域目标图像和所述目标风格图像进行图像合成处理，获取到目标合成图像，所述训练好的图像合成深度卷积神经网络是由标签域样本图像和所述标签域样本图像对应的图像域样本图像训练得到的；
所述装置还包括：
样本集获取模块，用于获取训练样本集，所述训练样本集中的样本图像包括标签域样本图像及其对应的图像域样本图像；
第一训练模块用于根据所述训练样本集，对生成器网络进行训练，得到待进行图像合成的标签域样本图像对应的样本合成图像；
第二训练模块用于根据所述训练样本集和所述样本合成图像，对真实度鉴别器网络和风格鉴别器网络进行训练，得到训练好的图像合成深度卷积神经网络；
样本集获取模块具体用于：
获取第一样本图像，将所述第一样本图像的标签域样本图像作为待进行图像合成的第一标签域样本图像；
获取第二样本图像、第三样本图像和第四样本图像，其中，所述第二样本图像和所述第三样本图像的风格相同，所述第四样本图像和所述第二样本图像及第三样本图像的风格不相同，所述第一样本图像的图像域样本图像与所述第二样本图像的图像域图像的风格有70％不一致；
将所述第一样本图像、所述第二样本图像、所述第三样本图像和所述第四样本图像划分为一组，获取到所述训练样本集；
所述生成器网络基于VGG神经网络构建而成，根据风格对抗项、真实度对抗项和语义一致性项计算生成损失，其中，所述风格对抗项LGCAdv＝log(1-DGC(B’,A”))，所述真实度对抗项LStdAdv＝log(1-DR(A,A”))，所述语义一致性项为：
Figure FDA0003904552740000041
其中，L(i)表示VGG神经网络第i层的响应，wi表示第i层的权重；当图像域样本图像A’和图像域样本图像B’的风格类型一致时，wi＝1，否则，wi＝1/Mi；Mi表示VGG神经网络第i层的元素个数；A”为将标签域样本图像A以及标签域样本图像B和图像域样本图像B’输入所述生成器网络，通过所述生成器网络获取与输入标签域样本图像A对应的，与标签域样本图像B和图像域样本图像B’的样例风格一致的图像域样本合成图像；
所述生成器网络的生成损失为：
L(G,DR,DGC)＝LStdAdv(G,DR)+λ1LGCAdv(G,DGC)+λ2LSC(G)；
其中，G表示生成器网络返回的图像，DR表示真实度鉴别器网络返回的结果，DGC表示风格鉴别器网络返回的结果，λ1＝10，λ2＝10；
所述真实度鉴别器网络的损失表示为：
LR＝log(1-DR(A,A’))+log(DR(A,A”))；
所述风格鉴别器网络的损失表示为：
LGC＝log(DGC(B’,A”))+log(1-DGC(B’,C’))+log(DGC(B’,D’))；
其中，A为所述第一样本图像的标签域样本图像，A’为标签域样本图像A对应的图像域样本图像；B为所述第二样本图像的标签域样本图像，B’为标签域样本图像B对应的图像域样本图像；C’为所述第三样本图像的图像域样本图像，D’为所述第三样本图像的图像域样本图像；
所述第一训练模块具体用于：
将所述第一标签域样本图像和第二样本图像输入到生成器网络进行训练，获得预训练的生成器网络；
基于预训练的生成器网络，对所述第一标签域样本图像和第二样本图像进行图像合成，得到所述第一标签域样本图像对应的第一样本合成图像；
将所述第一样本合成图像、所述第二样本图像、所述第三样本图像和所述第四样本图像输入到真实度鉴别器网络和风格鉴别器网络进行鉴别训练，若鉴别训练结果满足预设条件，获得训练好的图像合成深度卷积神经网络。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2任一项所述方法的步骤。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至2任一项所述方法的步骤。
CN201910133411.0A 2019-02-22 2019-02-22 一种图像合成方法及装置 Active CN111612861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910133411.0A CN111612861B (zh) 2019-02-22 2019-02-22 一种图像合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910133411.0A CN111612861B (zh) 2019-02-22 2019-02-22 一种图像合成方法及装置

Publications (2)

Publication Number Publication Date
CN111612861A CN111612861A (zh) 2020-09-01
CN111612861B true CN111612861B (zh) 2023-04-07

Family

ID=72197834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910133411.0A Active CN111612861B (zh) 2019-02-22 2019-02-22 一种图像合成方法及装置

Country Status (1)

Country Link
CN (1) CN111612861B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210A (zh) * 2017-07-06 2017-12-12 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN108961198A (zh) * 2018-07-09 2018-12-07 中国海洋大学 一种多风格生成对抗网络的水下图像合成方法及其应用

Also Published As

Publication number Publication date
CN111612861A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
Gokaslan et al. Improving shape deformation in unsupervised image-to-image translation
EP2804111B1 (en) Apparatus for recognizing objects, apparatus for learning classification trees, and method for operating same
CN110427799B (zh) 基于生成对抗网络的人手深度图像数据增强方法
CN110084193B (zh) 用于面部图像生成的数据处理方法、设备和介质
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN111476771B (zh) 一种基于距离对抗生成网络的领域自适应方法及系统
CN111226258A (zh) 信号转换系统和信号转换方法
CN114359526A (zh) 基于语义gan的跨域图像风格迁移方法
KR20200070094A (ko) 캐릭터의 3차원 이미지를 생성하는 방법 및 시스템
CN113361646A (zh) 基于语义信息保留的广义零样本图像识别方法及模型
CN116188912A (zh) 主题图像的图像合成模型的训练方法、装置、介质及设备
CN112241741A (zh) 基于分类对抗网的自适应图像属性编辑模型和编辑方法
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN114694074A (zh) 一种使用图像生成视频的方法、装置以及存储介质
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
US11138785B2 (en) Method and system for generating 3D image of character
KR102316678B1 (ko) 설명 가능한 소수샷 영상 분류 방법 및 장치
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN111612861B (zh) 一种图像合成方法及装置
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN112990123B (zh) 图像处理方法、装置、计算机设备和介质
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN114612618A (zh) 图像生成方法、装置、设备、存储介质及计算机程序产品
CN111126617B (zh) 一种选择融合模型权重参数的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant