CN108038821A - 一种基于生成式对抗网络的图像风格迁移方法 - Google Patents

一种基于生成式对抗网络的图像风格迁移方法 Download PDF

Info

Publication number
CN108038821A
CN108038821A CN201711155557.2A CN201711155557A CN108038821A CN 108038821 A CN108038821 A CN 108038821A CN 201711155557 A CN201711155557 A CN 201711155557A CN 108038821 A CN108038821 A CN 108038821A
Authority
CN
China
Prior art keywords
msub
mrow
network
image
countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711155557.2A
Other languages
English (en)
Inventor
孙靖文
王敏
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201711155557.2A priority Critical patent/CN108038821A/zh
Publication of CN108038821A publication Critical patent/CN108038821A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的图像风格迁移方法，把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，包括以下步骤：a)收集要风格转换的两类图片；b)图像预处理，如果图片像素过大，就分割成较小的部分；c)基于深度卷积网络构造生成式对抗网络；d)对生成式判别网络进行训练；e)生成风格迁移的图像；f)如果预处理把图片分割成较小的部分，还需要将它们拼接起来。本发明的图像风格迁移方法，能够非人工地生成图片的颜色特征，把绘图不完整的部分自动补全，可以省去人工设计的繁琐步骤。

Description

一种基于生成式对抗网络的图像风格迁移方法
技术领域
本发明涉及一种基于生成式对抗网络的图像风格迁移方法，属于计算机视觉和模式识别技术领域。
背景技术
在设计某种产品的时候，需要设计师手动地绘制完整的图像，并且尝试填充不同的颜色，需要耗费极大的精力进行各种尝试，得到比较好的设计方案。但是如果运用深度学习，就可以只绘制出该物体，就能够自动的给物体设计填充的颜色，并且对于绘制不完整或者不合理的部分进行自动修复，可以在极大的提高设计方面的效率。
因此，需要一种图像风格迁移方法，给颜色不完整或形状不完整图片上色或自动构造其残缺的形态部分，给设计工作者减轻构想、设计方面极大的工作量。
发明内容
本发明所要解决的技术问题是：提供一种基于生成式对抗网络的图像风格迁移方法，把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，减轻工作量。
本发明为解决上述技术问题采用以下技术方案：
一种基于生成式对抗网络的图像风格迁移方法，包括如下步骤：
步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；
步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；
步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；
步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；
步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。
作为本发明的一种优选方案，该图像风格迁移方法还包括步骤6，若迁移后的图像为分割后的图像，则需要将分割后的图像进行拼接，得到最终迁移后的图像。
作为本发明的一种优选方案，所述步骤4的具体过程如下：采用两个生成式对抗网络产生的损失函数进行训练；
(1)将预处理后的参考图像XA，经过生成式网络GAB变成另一种风格的图像XAB，通过对抗网络DB来衡量生成式网络GAB的效果，计算生成XAB的损失函数，公式如下：
其中，PA为XA的分布，LGANB为生成XAB的损失函数，E表示期望；
(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：
(3)将预处理后的需要迁移的图像XB，通过生成式网络GBA变成另一种风格的图像XBA，通过对抗网络DA来衡量生成式网络GBA的效果，计算生成XBA的损失函数，公式如下：
其中，PB为XB的分布，LGANA为生成XBA的损失函数；
(4)让XBA通过生成式网络GAB，还原成与XB相似的图片XBAB，计算XB与XBAB的相似度LCONSTB，公式如下：
(5)根据(1)-(4)计算生成式网络总的损失函数LG，公式如下：
其中，为生成式网络GAB的损失函数，为生成式网络GBA的损失函数；
(6)将预处理后的需要迁移的图像XB作为真样本输入对抗网络DB，生成的图像XAB作为假样本输入对抗网络DB，将预处理后的参考图像XA作为真样本输入对抗网络DA，生成的图像XBA作为假样本输入对抗网络DA，分别计算对抗网络DB、DA的损失函数从而得到对抗网络总的损失函数LD，公式如下：
其中，为对抗网络DB的损失函数，为对抗网络DA的损失函数；
(7)采用梯度下降法使损失函数LD最小化，与此同时采用梯度下降法使损失函数LG最小化，对生成式网络和对抗网络的损失函数同时进行优化，并对生成式网络和对抗网络的网络参数进行调整，反复迭代(1)-(7)，当对抗网络判定正确的概率等于0.5或者达到预设迭代次数时，训练完成。
作为本发明的一种优选方案，所述对抗网络DB的损失函数公式如下：
其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DB为对抗网络，GAB为生成式网络。
作为本发明的一种优选方案，所述对抗网络DA的损失函数公式如下：
其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DA为对抗网络，GBA为生成式网络。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明一种基于生成式对抗网络的图像风格迁移方法，能够很好的给图片着色，修复轻微残缺的部分。相比传统方法，人为的学习当时的风俗环境，设计其全貌，减轻了繁琐的工作量，能够自动化的完成这些工作，并且更为精准。
2、本发明一种基于生成式对抗网络的图像风格迁移方法，能够非人工地生成图片的颜色特征，把绘图不完整的部分自动补全。可以省去人工设计的繁琐步骤。
附图说明
图1是本发明一种基于生成式对抗网络的图像风格迁移方法的流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，为基于生成式对抗网络的图像风格迁移方法的流程图，该方法是把缺少颜色或轻微残缺的图片的风格迁移成色彩和形状都较为完整的图像，具体步骤如下：
第一步，收集要风格转换的两类图像；
第二步，预处理两类图像，对两类图像进行归一化或者分割处理，当图像像素接近256*256像素时，直接进行归一化处理为256*256像素；当图像像素过大时，把较大像素的图片分割或者提取重要的部分，将其处理若干个为256*256像素的图片，当风格迁移完成后再组合成整张图片；
第三步，基于深度卷积网络构造生成式对抗网络，能够生成迁移风格的图片，如果图片比较精细复杂，不完整，用该生成式对抗网络能够减小实验的复杂性，产生更逼真的图片，具体步骤如下：
构造生成式网络和对抗网络：
(1)生成式网络中设置卷积神经网络模型的网络层为4层，每一层的卷积核为4*4，使用lrelu激活函数，步长为2；
(2)生成式网络中设置反卷积网络为4层，反卷积核为4*4，步长为2，前三层使用lrelu激活函数，第四层不使用激活函数，反卷积的输出即为生成器的输出，它是256*256像素的一张图片；
(3)对抗网络中设置对抗层网络模型的网络层为5层，卷积核是4*4，前4层使用lrelu激活函数，步长为2，第五层不使用激活函数，步长为4，它的输出即为对抗网络的输出，是256*256的一张图片。
第四步，以往的图像迁移研究方向经常为配对式的研究方向，物体转换跨度不大，比如不能把单色图像变成不同风格的彩色图像，本发明采用了如下步骤实现了跨度较大的风格迁移，但是这个跨度又在可控的范围之内。对该生成式对抗网络进行训练，原理为：
(1)将原始图片输入到生成式网络中，得到第一类不同风格的图片，把得到的这张图片继续放入相同的生成式网络中，得到第二类生成的图片；
(2)为了经过一个序列的两个生成式网络后，图片的变化量尽量小，使类似于加入噪声的图像输入变化范围在一定的区域内，让输入和输出共享一些特征，所以需要计算原始图像与(1)中第二类图片的相似度，通过调整这个相似度控制生成式网络生成图片的变化范围；
(3)使用另一类原始图片，重复步骤(1)和(2)，得到另一组两个生成式网络组成的序列结构生成的图片；
(4)把(1)-(3)得到的生成式网络的损失函数相加得到总的损失函数；
(5)生成式网络的损失函数为原图与经过两次生成式网络后产生的图片的相似度的非结构化函数和生成式网络第一次产生图片的损失函数之和，最后把两个序列上的相加；
(6)把第一组序列的初始图片当做真样本输入第一个对抗网络，把第二组序列中通过第一个生成式网络产生的图片作为假样本输入第一个对抗网络，数量比为1：1；
(7)与(6)类似，把第二组序列的初始图片当做真样本输入第二个对抗网络，把第一组序列中通过第一个生成式网络产生的图片作为假样本输入第二个对抗网络，数量比为1：1；
(8)同时优化两个序列上的生成式网络和对抗网络的损失函数之和，使得生成图片比较稳定。
具体步骤如下：
(1)将第一类图片XA，经过生成式网络GAB变成另一种风格的图片XAB，通过对抗网络DB来衡量生成式网络的效果，计算生成XAB的损失函数，PA为XA的分布，公式如下：
(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：
(3)将第二类图片XB，通过生成式网络GBA变成另一种风格的图片XBA，通过对抗网络DA来衡量生成式网络的效果，计算生成XBA的损失函数，PB为XB的分布，公式如下：
(4)让XBA通过生成式网络GAB，还原成与XB相似的图片XBAB，计算XB与XBAB的相似度LCONSTB，公式如下：
(5)分别计算两个序列的生成式网络的损失函数，每个生成式网络的损失函数都是生成器的损失函数与非结构化的损失函数之和，总的生成式网络的损失函数LG，是两个序列生成式网络之和，公式如下：
(6)将原始图像XB作为真样本输入对抗网络DB，生成的图像XAB作为假样本输入对抗网络DB，将原始图像XA作为真样本输入对抗网络DA，生成的图像XBA作为假样本输入对抗网络DA，计算对抗网络总的损失函数LD，公式如下：
(7)采用梯度下降法使损失函数LD取最小，与此同时使生成式网络的损失函数LG最小化，对抗网络与生成式网络同时进行训练，之后再进行一次两个序列生成式网络的训练，反复迭代以上过程，当对抗网络判定正确的概率趋近于0.5时，训练完成。
第五步，生成图像，输入2组m张图像，通过生成式网络与对抗网络的损失函数同时优化，最后可以得到2*m张风格迁移的图片；
第六步，处理像素过大的问题，把生成的分割成小块的图片拼接起来，如果有比较明显的分界线，可以重新分割成新的区域，将拼接有瑕疵的地方用新生成的图片再次补充。
本发明运用深度学习迁移图像风格，颜色或形状不完整的图片上色或自动构造其残缺的形态部分，能够给设计工作者减轻构想、设计方面极大的工作量。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于生成式对抗网络的图像风格迁移方法，其特征在于，包括如下步骤：
步骤1，获取要风格迁移的两类图像：第一类为需要迁移的图像，第二类为参考图像；
步骤2，对步骤1的两类图像进行归一化或分割预处理，将其处理为256*256像素的图像；
步骤3，采用自编码器构造生成式网络，并采用多层卷积构造对抗网络，连接生成式网络和对抗网络，得到生成式对抗网络；其中，设置生成式网络的前4层为卷积网络层，卷积网络层每一层的卷积核为4*4，每一层均使用lrelu激活函数，步长为2；设置生成式网络的后4层为反卷积网络层，反卷积网络层每一层的反卷积核为4*4，步长为2，反卷积网络层的前三层均使用lrelu激活函数，反卷积网络层的第四层无激活函数，反卷积网络层最后一层的输出即为生成式网络的输出，生成式网络的输出作为对抗网络的其中一个输入；设置对抗网络中的对抗网络层为5层，对抗网络层每一层的卷积核为4*4，对抗网络层的前四层均使用lrelu激活函数，步长为2，对抗网络层的第五层无激活函数，步长为4；
步骤4，采用步骤2预处理后的两类图像对生成式对抗网络进行训练；
步骤5，根据步骤4训练好的生成式对抗网络对需要迁移的图像进行迁移，得到迁移后的图像。
2.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，该图像风格迁移方法还包括步骤6，若迁移后的图像为分割后的图像，则需要将分割后的图像进行拼接，得到最终迁移后的图像。
3.根据权利要求1所述基于生成式对抗网络的图像风格迁移方法，其特征在于，所述步骤4的具体过程如下：采用两个生成式对抗网络产生的损失函数进行训练；
(1)将预处理后的参考图像XA，经过生成式网络GAB变成另一种风格的图像XAB，通过对抗网络DB来衡量生成式网络GAB的效果，计算生成XAB的损失函数，公式如下：
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>B</mi> </msub> </mrow> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>A</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>(</mo> <msub> <mi>D</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>G</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，PA为XA的分布，为生成XAB的损失函数，E表示期望；
(2)让XAB通过生成式网络GBA，还原成与XA相似的图片XABA，计算XA与XABA的相似度LCONSTA，公式如下：
(3)将预处理后的需要迁移的图像XB，通过生成式网络GBA变成另一种风格的图像XBA，通过对抗网络DA来衡量生成式网络GBA的效果，计算生成XBA的损失函数，公式如下：
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>A</mi> </msub> </mrow> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>B</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>(</mo> <msub> <mi>D</mi> <mi>A</mi> </msub> <mrow> <mo>(</mo> <mrow> <msub> <mi>G</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，PB为XB的分布，为生成XBA的损失函数；
(4)让XBA通过生成式网络GAB，还原成与XB相似的图片XBAB，计算XB与XBAB的相似度LCONSTB，公式如下：
(5)根据(1)-(4)计算生成式网络总的损失函数LG，公式如下：
<mrow> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> </msub> <mo>=</mo> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>B</mi> </msub> </mrow> </msub> <mo>+</mo> <msub> <mi>L</mi> <mrow> <mi>C</mi> <mi>O</mi> <mi>N</mi> <mi>S</mi> <mi>T</mi> <mi>A</mi> </mrow> </msub> </mrow>
<mrow> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> </msub> <mo>=</mo> <msub> <mi>L</mi> <mrow> <msub> <mi>GAN</mi> <mi>A</mi> </msub> </mrow> </msub> <mo>+</mo> <msub> <mi>L</mi> <mrow> <mi>C</mi> <mi>O</mi> <mi>N</mi> <mi>S</mi> <mi>T</mi> <mi>B</mi> </mrow> </msub> </mrow>
<mrow> <msub> <mi>L</mi> <mi>G</mi> </msub> <mo>=</mo> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> </msub> </mrow>
其中，为生成式网络GAB的损失函数，为生成式网络GBA的损失函数；
(6)将预处理后的需要迁移的图像XB作为真样本输入对抗网络DB，生成的图像XAB作为假样本输入对抗网络DB，将预处理后的参考图像XA作为真样本输入对抗网络DA，生成的图像XBA作为假样本输入对抗网络DA，分别计算对抗网络DB、DA的损失函数从而得到对抗网络总的损失函数LD，公式如下：
<mrow> <msub> <mi>L</mi> <mi>D</mi> </msub> <mo>=</mo> <msub> <mi>L</mi> <msub> <mi>D</mi> <mi>A</mi> </msub> </msub> <mo>+</mo> <msub> <mi>L</mi> <msub> <mi>D</mi> <mi>B</mi> </msub> </msub> </mrow>
其中，为对抗网络DB的损失函数，为对抗网络DA的损失函数；
(7)采用梯度下降法使损失函数LD最小化，与此同时采用梯度下降法使损失函数LG最小化，对生成式网络和对抗网络的损失函数同时进行优化，并对生成式网络和对抗网络的网络参数进行调整，反复迭代(1)-(7)，当对抗网络判定正确的概率等于0.5或者达到预设迭代次数时，训练完成。
4.根据权利要求3所述基于生成式对抗网络的图像风格迁移方法，其特征在于，所述对抗网络DB的损失函数公式如下：
<mrow> <msub> <mi>L</mi> <msub> <mi>D</mi> <mi>B</mi> </msub> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>B</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <msub> <mi>D</mi> <mi>B</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>A</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>D</mi> <mi>B</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>G</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DB为对抗网络，GAB为生成式网络。
5.根据权利要求3所述基于生成式对抗网络的图像风格迁移方法，其特征在于，所述对抗网络DA的损失函数公式如下：
<mrow> <msub> <mi>L</mi> <msub> <mi>D</mi> <mi>A</mi> </msub> </msub> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>A</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <msub> <mi>D</mi> <mi>A</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>A</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>~</mo> <msub> <mi>P</mi> <mi>B</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>D</mi> <mi>A</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>G</mi> <mrow> <mi>B</mi> <mi>A</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>B</mi> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，E表示期望，PA为预处理后的参考图像XA的分布，PB为预处理后的需要迁移的图像XB的分布，DA为对抗网络，GBA为生成式网络。
CN201711155557.2A 2017-11-20 2017-11-20 一种基于生成式对抗网络的图像风格迁移方法 Pending CN108038821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711155557.2A CN108038821A (zh) 2017-11-20 2017-11-20 一种基于生成式对抗网络的图像风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711155557.2A CN108038821A (zh) 2017-11-20 2017-11-20 一种基于生成式对抗网络的图像风格迁移方法

Publications (1)

Publication Number Publication Date
CN108038821A true CN108038821A (zh) 2018-05-15

Family

ID=62092517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711155557.2A Pending CN108038821A (zh) 2017-11-20 2017-11-20 一种基于生成式对抗网络的图像风格迁移方法

Country Status (1)

Country Link
CN (1) CN108038821A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242775A (zh) * 2018-09-03 2019-01-18 科大讯飞股份有限公司 一种属性信息迁移方法、装置、设备以及可读存储介质
CN109300170A (zh) * 2018-10-18 2019-02-01 云南大学 肖像照片光影传递方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
CN109657149A (zh) * 2018-12-25 2019-04-19 合肥学院 一种基于生成对抗网络和双聚类的推荐方法及系统
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN109977194A (zh) * 2019-03-20 2019-07-05 华南理工大学 基于无监督学习的文本相似度计算方法、系统、设备及介质
CN110147535A (zh) * 2019-04-18 2019-08-20 平安科技（深圳）有限公司 相似文本生成方法、装置、设备及存储介质
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN110895828A (zh) * 2019-12-03 2020-03-20 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN111415299A (zh) * 2020-03-26 2020-07-14 浙江科技学院 一种高分辨率图像风格迁移方法
CN111445387A (zh) * 2020-06-16 2020-07-24 浙江科技学院 一种基于图像块随机重排的高分辨率图像风格迁移方法
CN111667401A (zh) * 2020-06-08 2020-09-15 武汉理工大学 多层次渐变图像风格迁移方法及系统
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法
CN113112399A (zh) * 2021-05-06 2021-07-13 上海大学 一种服装换色方法
CN113780483A (zh) * 2021-11-12 2021-12-10 首都医科大学附属北京潞河医院 结节超声分类数据处理方法及数据处理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699451A (zh) * 2015-03-30 2015-06-10 河海大学 真随机数生成方法
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699451A (zh) * 2015-03-30 2015-06-10 河海大学 真随机数生成方法
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
CN106847294A (zh) * 2017-01-17 2017-06-13 百度在线网络技术（北京）有限公司 基于人工智能的音频处理方法和装置
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MUTHURAMAN CHIDAMBARAM 等: "Style Transfer Generative Adversarial Networks: Learning to Play Chess Differently", 《HTTPS://ARXIV.ORG/ABS/1702.06762》 *
TAEKSOO KIM 等: "Learning to Discover Cross-Domain Relations with Generative Adversarial Networks", 《《HTTPS://ARXIV.ORG/ABS/1703.05192》 *
徐一峰: "生成对抗网络理论模型和应用综述", 《金华职业技术学院学报》 *
王坤峰 等: "生成式对抗网络 GAN 的研究进展与展望", 《自动化学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242775B (zh) * 2018-09-03 2023-05-30 科大讯飞股份有限公司 一种属性信息迁移方法、装置、设备以及可读存储介质
CN109242775A (zh) * 2018-09-03 2019-01-18 科大讯飞股份有限公司 一种属性信息迁移方法、装置、设备以及可读存储介质
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN109300170A (zh) * 2018-10-18 2019-02-01 云南大学 肖像照片光影传递方法
CN109410148A (zh) * 2018-11-06 2019-03-01 电子科技大学 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法
CN109657149A (zh) * 2018-12-25 2019-04-19 合肥学院 一种基于生成对抗网络和双聚类的推荐方法及系统
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN109977194A (zh) * 2019-03-20 2019-07-05 华南理工大学 基于无监督学习的文本相似度计算方法、系统、设备及介质
CN110147535A (zh) * 2019-04-18 2019-08-20 平安科技（深圳）有限公司 相似文本生成方法、装置、设备及存储介质
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110458216B (zh) * 2019-07-31 2022-04-12 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110781976A (zh) * 2019-10-31 2020-02-11 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN110781976B (zh) * 2019-10-31 2021-01-05 重庆紫光华山智安科技有限公司 训练图像的扩充方法、训练方法及相关装置
CN110895828A (zh) * 2019-12-03 2020-03-20 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN110895828B (zh) * 2019-12-03 2023-04-18 武汉纺织大学 生成模拟非均质柔性生物组织mr影像的模型及方法
CN111415299A (zh) * 2020-03-26 2020-07-14 浙江科技学院 一种高分辨率图像风格迁移方法
CN111415299B (zh) * 2020-03-26 2023-03-28 浙江科技学院 一种高分辨率图像风格迁移方法
CN111667401A (zh) * 2020-06-08 2020-09-15 武汉理工大学 多层次渐变图像风格迁移方法及系统
CN111667401B (zh) * 2020-06-08 2022-11-29 武汉理工大学 多层次渐变图像风格迁移方法及系统
CN111445387A (zh) * 2020-06-16 2020-07-24 浙江科技学院 一种基于图像块随机重排的高分辨率图像风格迁移方法
CN111445387B (zh) * 2020-06-16 2020-10-16 浙江科技学院 一种基于图像块随机重排的高分辨率图像风格迁移方法
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法
CN113112399A (zh) * 2021-05-06 2021-07-13 上海大学 一种服装换色方法
CN113780483A (zh) * 2021-11-12 2021-12-10 首都医科大学附属北京潞河医院 结节超声分类数据处理方法及数据处理系统

Similar Documents

Publication Publication Date Title
CN108038821A (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
US11195044B2 (en) Fully automatic natural image matting method
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN108010034A (zh) 商品图像分割方法及装置
CN105354581B (zh) 融合颜色特征与卷积神经网络的彩色图像特征提取方法
CN109543502A (zh) 一种基于深度多尺度神经网络的语义分割方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN103914863B (zh) 一种彩色图像抽象化绘制方法
CN104239855B (zh) 一种基于笔画合成的图像风格迁移合成方法
CN104299263B (zh) 一种基于单幅图像建模云场景的方法
CN106022221A (zh) 一种图像处理方法及处理系统
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN107103613A (zh) 一种三维手势姿态估计方法
CN110349247A (zh) 一种基于语义理解的室内场景cad三维重建方法
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN109255791A (zh) 一种基于图卷积神经网络的形状协同分割方法
CN109409240A (zh) 一种结合随机游走的SegNet遥感图像语义分割方法
CN107609638A (zh) 一种基于线性解码器和插值采样优化卷积神经网络的方法
CN106067161A (zh) 一种对图像进行超分辨的方法
CN105930877A (zh) 一种基于多模态深度学习的遥感影像分类方法
CN106096542A (zh) 基于距离预测信息的图像视频场景识别方法
CN109829507B (zh) 航拍高压输电线路环境检测方法
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180515