CN112561791A - 一种基于优化AnimeGAN的图像风格迁移 - Google Patents

一种基于优化AnimeGAN的图像风格迁移 Download PDF

Info

Publication number
CN112561791A
CN112561791A CN202011551122.1A CN202011551122A CN112561791A CN 112561791 A CN112561791 A CN 112561791A CN 202011551122 A CN202011551122 A CN 202011551122A CN 112561791 A CN112561791 A CN 112561791A
Authority
CN
China
Prior art keywords
image
type
network
images
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011551122.1A
Other languages
English (en)
Other versions
CN112561791B (zh
Inventor
林光涵
于威威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202011551122.1A priority Critical patent/CN112561791B/zh
Publication of CN112561791A publication Critical patent/CN112561791A/zh
Application granted granted Critical
Publication of CN112561791B publication Critical patent/CN112561791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于优化AnimeGAN的图像风格迁移，具体包含以下过程：建立风格迁移的训练集，包含原风格图像集和目标风格图像集；构建生成网络：所述生成网络为编码器‑解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；构建判别网络：所述判别网络中的卷积层为标准卷积；进行生成网络与判别网络的对抗训练，得到训练成熟的生成网络；采用训练成熟的生成网络对图像进行目标风格迁移，生成目标风格迁移图像。本发明基于优化后的AnimeGAN进行图像风格迁移，著降低了图像训练时间；将优化后的AnimeGAN应用于非成对图像之间的风格迁移，使得生成的图像具有明显的目标风格纹理、内容迁移的效果更好，且图像边缘清晰。

Description

一种基于优化AnimeGAN的图像风格迁移
技术领域
本发明属于图像处理技术领域，具体涉及一种基于优化AnimeGAN的图像风格迁移。
背景技术
图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各行各业以及人们的日常生活中。图像处理中常见的一个技术就是图像的风格迁移，图像风格迁移的目的是对图像的纹理、色彩、内容等进行定向的改变，使得图像从一种风格变化为另一种风格，例如，将照片进行风格迁移，得到宫崎骏动漫风格的图像，将光线较昏暗的条件下拍摄得到的风景照片进行风格迁移，得到光线较为明亮条件下的图像等。
现有的风格迁移技术通常存在着一些问题，比如生成的图像没有明显的目标风格纹理、生成的图像丢失了原有图像的边缘和内容、网络参数的存储容量要求太大等。生成对抗网络(Generative Adversarial Networks，GAN)被认为能够有效解决上述问题。
生成对抗网络是由Ian J.Goodfellow等人在2014年提出的，是一种非监督式的学习方法，通过两个神经网络相互博弈的方式进行学习。生成对抗网络由一个生成网络和一个判别网络组成的，其中生成网络从潜在空间中随机取样作为输入，输出的结果需要尽量模仿训练集中的样本，判别网络的输入为真实样本或者生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来，而生成网络则尽可能欺骗判别网络。两个网络通过互相对抗、不断调整参数，最终的目的是使判别网络无法判断生成网络的输出结果是否真实。
AnimeGAN(图像卡通风格迁移算法)是生成对抗网络的一个变体，AnimeGAN使用未配对的训练数据进行端到端训练，实现图片的风格迁移。
发明内容
为了解决风格迁移时生成的图像目标风格纹理不明显、内容迁移效果不佳、图像边缘不清晰等问题，本发明提出了一种基于优化AnimeGAN的图像风格迁移，将优化后的AnimeGAN(图像卡通风格迁移算法)应用于非成对图像之间的风格迁移。
本发明提出的一种基于优化AnimeGAN的图像风格迁移，包含以下步骤：
S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集；
S2、构建生成网络G：所述生成网络G为编码器-解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；
S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积；
S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G；
S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像。
优选地，原风格图像集包含若干第一类图像，第一类图像为原风格图像，用来进行目标风格迁移；
对第一类图像进行转化，生成第一类图像的YUV格式三通道图像。
优选地，目标风格图像集包含若干第二类图像和若干第三类图像，第二类图像为第一类图像对应的目标风格图像，第三类图像为第二类图像平滑处理后的图像；
对第三类图像进行转化，生成第三类图像的灰度图和第三类图像的YUV格式三通道图像。
优选地，所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块与一层标准卷积块、一个下采样卷积块、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；
所述生成网络G的解码器通过一个卷积层输出，依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器。
优选地，所述生成网络G通过所述标准卷积块提取图像的特征，通过所述下采样块避免池化带来的图像特征信息的丢失，通过所述倒置残差块降低训练时所需参数、提升训练速度，通过所述上采样块提高特征图的分辨率，通过所述深度可分离卷积减少计算量、加快图像的生成速度。
优选地，所述判别网络D包含七个卷积层：第一卷积层～第七卷积层；七个卷积层均为标准卷积层，第一卷积层至第七卷积层依次连接形成所述判别网络D。
优选地，所述判别网络D通过第一卷积层输入，并对第一卷积层、第二卷积层和第四卷积层分别进行LRelu激活函数操作，对第三卷积层、第五卷积层和第六卷积层分别进行实例正则化函数和LRelu激活函数操作，所述判别网络D通过第七卷积层输出。
优选地，所述生成网络G与判别网络D的对抗训练包含以下过程：
S41、所述生成网络D的预训练：
将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D；
采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法计算图像内容损失函数Lcon(G,D)和灰度损失函数Lgra(G,D),计算公式如下：
Figure BDA0002857756170000031
Figure BDA0002857756170000032
其中，公式(1)中G表示所述生成网络，D表示所述判别网络，pi表示第i张第一类图像，G(pi)表示第一类图像pi输入所述生成网络G生成的图像，
Figure BDA0002857756170000033
表示第一类图像pi的YUV格式三通道图像的数学期望,VGGl(pi)表示输入第一类图像pi的VGG19网络模型、第l层的特征映射，VGGl(G(pi))表示输入G(pi)的VGG19网络模型、第l层的特征映射；
公式(2)中
Figure BDA0002857756170000034
表示输入所述生成网络G的、第三类图像的灰度图像xi的数学期望，Gram表示特征图的Gram矩阵；
S42、训练所述判别网络D：
将与第一类图像pi对应的第二类图像、所述生成网络G生成的图像G(pi)输入所述判别网络D，对该第二类图像进行区分识别；识别过程中采用的损失函数计算公式如下：
Figure BDA0002857756170000041
其中，公式(3)中ωadv表示权重；
Figure BDA0002857756170000042
表示第三类图像的YUV格式三通道图像ai的数学期望，该第三类图像与第一类图像pi对应；
Figure BDA0002857756170000043
表示第一类图像pi的YUV格式三通道图像的数学期望；
Figure BDA0002857756170000044
表示第三类图像的灰度图xi的数学期望，该第三类图像与第一类图像pi对应；
Figure BDA0002857756170000045
表示图像G(pi)的灰度图像yi的数学期望；D(ai)、D(xi)、D(yi)分别表示判别网络判别输入的第三类图像的YUV格式三通道图像、第三类图像的灰度图、第一类图像的YUV格式三通道图像是否是真实；
S43、训练生成网络G：
将第一类图像的YUV格式三通道图像输入生成网络G，生成目标风格的图像并输出；
所述生成网络G将RGB格式的图像颜色转换为YUV格式来构建颜色重构损失Lcol(G,D)，计算公式如下：
Figure BDA0002857756170000046
其中，Y(G(pi))、U(G(pi))、V(G(pi))分别表示所述生成网络G生成的图像G(pi)在YUV格式下的三个通道，H表示Huber损失，pi表示第i张第一类图像；
S44、重复步骤S41～S43，对第i+1张第一类图像进行生成网络G与判别网络D的对抗训练；
以原风格图像集中每张第一类图像完成生成网络G与判别网络D的对抗训练，作为一个epoch。
优选地，epoch为超参数，epoch值为原风格图像集中第一类图像的个数。
与现有技术相比，本发明基于优化后的AnimeGAN进行图像风格迁移，著降低了图像训练时间；将优化后的AnimeGAN应用于非成对图像之间的风格迁移，使得生成的图像具有明显的目标风格纹理、内容迁移的效果更好，且图像边缘清晰。
附图说明
图1为本发明所述基于优化AnimeGAN的图像风格迁移流程图；
图2为本发明中优化后的AnimeGAN的生成网络结构示意图；
图3为本发明中优化后的AnimeGAN的判别网络结构示意图；
图4为风格迁移前后的图像对比图。
具体实施方式
以下结合附图，通过详细说明较佳的具体实施例，对本发明进行详细介绍。
图1为本发明所述基于优化AnimeGAN的图像风格迁移流程图。如图1所示，本发明提出的一种基于优化AnimeGAN的图像风格迁移，包含以下步骤：
S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集。
所述原风格图像集包含若干第一类图像，第一类图像为原风格图像，用来进行目标风格迁移。所述目标风格图像集包含若干第二类图像和若干第三类图像，第二类图像为第一类图像对应的目标风格图像，第三类图像为第二类图像平滑处理后的图像。第一类图像的数量与第二类图像或第三类图像的数量相等。本发明实施例中以现实生活风格图像为原风格图像，即第一类图像；以宫崎骏动漫风格图像为目标风格图像，即第二类图像；第三类图像即为宫崎骏动漫风格图像平滑处理后的图像。
对第一类图像进行转化，生成第一类图像的YUV格式三通道图像；对第三类图像进行转化，生成第三类图像的灰度图和第三类图像的YUV格式三通道图像。
S2、构建生成网络G：所述生成网络G为编码器-解码器结构，包含标准卷积块(Conv-Block)、下采样卷积块(Down-Conv)、倒置残差块(Inverted Residual Blocks，IRBs)、上采样卷积块(Up-Conv)和深度可分离卷积(DSC-Conv)。
图2为本发明中优化后的AnimeGAN的生成网络结构示意图。如图2所示，所述生成网络G结构具体结构如下：
所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块还与一层标准卷积块、一个下采样卷积块(步长为2)、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块(步长为2)、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；所述生成网络G的解码器与上述编码器连接；所述生成网络G的解码器通过一个卷积层输出，通过依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块(卷积核为3×3)、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器。
所述卷积层(卷积核为1×1))没有使用归一化层，激化函数采用的是tanh，公式为：
Figure BDA0002857756170000061
其中，x是自变量，y为因变量，e为常数。
所述生成网络G中，所述标准卷积块用于提取图像的特征，所述下采样块用来避免池化带来的图像特征信息的丢失，所述倒置残差块用来降低训练时所需参数、提升训练速度，所述上采样块用来提高特征图的分辨率，所述深度可分离卷积用来减少计算量、加快图像的生成速度。
S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积。
图3为本发明中优化后的AnimeGAN的判别网络结构示意图。如图3所示，所述判别网络D包含七个卷积层：第一卷积层～第七卷积层；七个卷积层均为标准卷积层(Conv)；每个卷积层的权值采用谱归一化使网络训练更加稳定；第一卷积层至第七卷积层依次连接形成所述判别网络D，具体结构如下：
所述判别网络D通过第一卷积层输入，并对第一卷积层进行LRelu激活函数操作，对第二卷积层进行LRelu激活函数操作，对第三卷积层进行实例正则化函数(Instance_Norma)和LRelu激活函数操作，对第四卷积层进行LRelu激活函数操作，对第五卷积层进行实例正则化函数和LRelu激活函数操作，对第六卷积层进行实例正则化函数和LRelu激活函数操作，最后，所述判别网络D通过第七卷积层输出。LRelu激活函数公式为：
Figure BDA0002857756170000071
其中，x是自变量，y为因变量。实例正则化是一个批次中单个图片进行归一化处理。
S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G，具体过程如下：
S41、所述生成网络D的预训练：
将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D。
采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法计算图像内容损失函数Lcon(G,D)和灰度损失函数Lgra(G,D),计算公式如下：
Figure BDA0002857756170000072
Figure BDA0002857756170000073
其中，公式(1)中G表示所述生成网络，D表示所述判别网络，pi表示第i张第一类图像，G(pi)表示第一类图像pi输入所述生成网络G生成的图像，
Figure BDA0002857756170000074
表示第一类图像pi的YUV格式三通道图像的数学期望,VGGl(pi)表示输入第一类图像pi的VGG19网络模型、第l层的特征映射，VGGl(G(pi))表示输入G(pi)的VGG19网络模型、第l层的特征映射；
公式(2)中
Figure BDA0002857756170000075
表示输入所述生成网络G的、第三类图像的灰度图像xi的数学期望，Gram表示特征图的Gram矩阵；
S42、训练所述判别网络D：
将与第一类图像pi对应的第二类图像、所述生成网络G生成的图像G(pi)输入所述判别网络D，对该第二类图像进行区分识别；识别过程中采用的损失函数计算公式如下：
Figure BDA0002857756170000076
其中，公式(3)中ωadv表示权重；
Figure BDA0002857756170000077
表示第三类图像的YUV格式三通道图像ai的数学期望，该第三类图像与第一类图像pi对应；
Figure BDA0002857756170000078
表示第一类图像pi的YUV格式三通道图像的数学期望；
Figure BDA0002857756170000079
表示第三类图像的灰度图xi的数学期望，该第三类图像与第一类图像pi对应；
Figure BDA0002857756170000081
表示图像G(pi)的灰度图像yi的数学期望；D(ai)、D(xi)、D(yi)分别表示判别网络判别输入的第三类图像的YUV格式三通道图像、第三类图像的灰度图、第一类图像的YUV格式三通道图像是否是真实。
S43、训练生成网络G：
将第一类图像的YUV格式三通道图像输入生成网络G，生成目标风格的图像并输出；
所述生成网络G将RGB格式的图像颜色转换为YUV格式来构建颜色重构损失Lcol(G,D)，计算公式如下：
Figure BDA0002857756170000082
其中，Y(G(pi))、U(G(pi))、V(G(pi))分别表示所述生成网络G生成的图像G(pi)在YUV格式下的三个通道，H表示Huber损失，pi表示第i张第一类图像；
S44、重复步骤S41～S43，对第i+1张第一类图像进行生成网络G与判别网络D的对抗训练；
以原风格图像集中每张第一类图像完成生成网络G与判别网络D的对抗训练，作为一个epoch。epoch为超参数，epoch值为原风格图像集中第一类图像的个数。
S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像。图4为风格迁移前后的图像对比图。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (9)

1.一种基于优化AnimeGAN的图像风格迁移，其特征在于，包含以下步骤：
S1、建立风格迁移的训练集，包含原风格图像集和目标风格图像集；
S2、构建生成网络G：所述生成网络G为编码器-解码器结构，包含标准卷积块、下采样卷积块、倒置残差块、上采样卷积块和深度可分离卷积；
S3、构建判别网络D：所述判别网络D中的卷积层为标准卷积；
S4、进行生成网络G与判别网络D的对抗训练，得到训练成熟的生成网络G；
S5、采用训练成熟的生成网络G对图像进行目标风格迁移，生成目标风格迁移图像。
2.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，原风格图像集包含若干第一类图像，第一类图像为原风格图像，用来进行目标风格迁移；
对第一类图像进行转化，生成第一类图像的YUV格式三通道图像。
3.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，目标风格图像集包含若干第二类图像和若干第三类图像，第二类图像为第一类图像对应的目标风格图像，第三类图像为第二类图像平滑处理后的图像；
对第三类图像进行转化，生成第三类图像的灰度图和第三类图像的YUV格式三通道图像。
4.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，
所述生成网络G的编码器通过一层标准卷积块输入，将该标准卷积块与一层标准卷积块、一个下采样卷积块、一个标准卷积块、一个深度可分离卷积、一个下采样卷积块、一个标准卷积块以及8块倒置残差块依次连接，形成所述编码器；
所述生成网络G的解码器通过一个卷积层输出，依次连接一层标准卷积块、一个上采样卷积块、一个深度可分离卷积、一个标准卷积块、一个上采样卷积块、两个标准卷积块和该卷积层，形成所述解码器。
5.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述生成网络G通过所述标准卷积块提取图像的特征，通过所述下采样块避免池化带来的图像特征信息的丢失，通过所述倒置残差块降低训练时所需参数、提升训练速度，通过所述上采样块提高特征图的分辨率，通过所述深度可分离卷积减少计算量、加快图像的生成速度。
6.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述判别网络D包含七个卷积层：第一卷积层～第七卷积层；七个卷积层均为标准卷积层，第一卷积层至第七卷积层依次连接形成所述判别网络D。
7.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述判别网络D通过第一卷积层输入，并对第一卷积层、第二卷积层和第四卷积层分别进行LRelu激活函数操作，对第三卷积层、第五卷积层和第六卷积层分别进行实例正则化函数和LRelu激活函数操作，所述判别网络D通过第七卷积层输出。
8.如权利要求1所述基于优化AnimeGAN的图像风格迁移，其特征在于，所述生成网络G与判别网络D的对抗训练包含以下过程：
S41、所述生成网络D的预训练：
将第一类图像和第一类图像的YUV格式三通道图像，以及第三类图像和第三类图像的YUV格式三通道图像，输入所述生成网络D；
采用VGG19网络模型对所述生成网络D进行预训练，预训练过程采用L1稀疏正则化方法计算图像内容损失函数Lcon(G,D)和灰度损失函数Lgra(G,D),计算公式如下：
Figure FDA0002857756160000021
Figure FDA0002857756160000022
其中，公式(1)中G表示所述生成网络，D表示所述判别网络，pi表示第i张第一类图像，G(pi)表示第一类图像pi输入所述生成网络G生成的图像，
Figure FDA0002857756160000031
表示第一类图像pi的YUV格式三通道图像的数学期望,VGGl(pi)表示输入第一类图像pi的VGG19网络模型、第l层的特征映射，VGGl(G(pi))表示输入G(pi)的VGG19网络模型、第l层的特征映射；
公式(2)中
Figure FDA0002857756160000032
表示输入所述生成网络G的、第三类图像的灰度图像xi的数学期望，Gram表示特征图的Gram矩阵；
S42、训练所述判别网络D：
将与第一类图像pi对应的第二类图像、所述生成网络G生成的图像G(pi)输入所述判别网络D，对该第二类图像进行区分识别；识别过程中采用的损失函数计算公式如下：
Figure FDA0002857756160000033
其中，公式(3)中ωadv表示权重；
Figure FDA0002857756160000034
表示第三类图像的YUV格式三通道图像ai的数学期望，该第三类图像与第一类图像pi对应；
Figure FDA0002857756160000035
表示第一类图像pi的YUV格式三通道图像的数学期望；
Figure FDA0002857756160000036
表示第三类图像的灰度图xi的数学期望，该第三类图像与第一类图像pi对应；
Figure FDA0002857756160000037
表示图像G(pi)的灰度图像yi的数学期望；D(ai)、D(xi)、D(yi)分别表示判别网络判别输入的第三类图像的YUV格式三通道图像、第三类图像的灰度图、第一类图像的YUV格式三通道图像是否是真实；
S43、训练生成网络G：
将第一类图像的YUV格式三通道图像输入生成网络G，生成目标风格的图像并输出；
所述生成网络G将RGB格式的图像颜色转换为YUV格式来构建颜色重构损失Lcol(G,D)，计算公式如下：
Figure FDA0002857756160000038
其中，Y(G(pi))、U(G(pi))、V(G(pi))分别表示所述生成网络G生成的图像G(pi)在YUV格式下的三个通道，H表示Huber损失，pi表示第i张第一类图像；
S44、重复步骤S41～S43，对第i+1张第一类图像进行生成网络G与判别网络D的对抗训练；
以原风格图像集中每张第一类图像完成生成网络G与判别网络D的对抗训练，作为一个epoch。
9.如权利要求8所述基于优化AnimeGAN的图像风格迁移，其特征在于，epoch为超参数，epoch值为原风格图像集中第一类图像的个数。
CN202011551122.1A 2020-12-24 2020-12-24 一种基于优化AnimeGAN的图像风格迁移 Active CN112561791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551122.1A CN112561791B (zh) 2020-12-24 2020-12-24 一种基于优化AnimeGAN的图像风格迁移

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551122.1A CN112561791B (zh) 2020-12-24 2020-12-24 一种基于优化AnimeGAN的图像风格迁移

Publications (2)

Publication Number Publication Date
CN112561791A true CN112561791A (zh) 2021-03-26
CN112561791B CN112561791B (zh) 2024-04-09

Family

ID=75033453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551122.1A Active CN112561791B (zh) 2020-12-24 2020-12-24 一种基于优化AnimeGAN的图像风格迁移

Country Status (1)

Country Link
CN (1) CN112561791B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284042A (zh) * 2021-05-31 2021-08-20 大连民族大学 一种多路并行图像内容特征优化风格迁移方法及系统
CN113870102A (zh) * 2021-12-06 2021-12-31 深圳市大头兄弟科技有限公司 图像的动漫化方法、装置、设备及存储介质
CN115100312A (zh) * 2022-07-14 2022-09-23 猫小兜动漫影视(深圳)有限公司 一种图像动漫化的方法和装置
CN115115905A (zh) * 2022-06-13 2022-09-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴岳;宋建国;: "基于改进AdaIN的图像风格迁移", 软件导刊, no. 09 *
李君艺;尧雪娟;李海林;: "基于感知对抗网络的图像风格迁移方法研究", 合肥工业大学学报(自然科学版), no. 05 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284042A (zh) * 2021-05-31 2021-08-20 大连民族大学 一种多路并行图像内容特征优化风格迁移方法及系统
CN113284042B (zh) * 2021-05-31 2023-11-07 大连民族大学 一种多路并行图像内容特征优化风格迁移方法及系统
CN113870102A (zh) * 2021-12-06 2021-12-31 深圳市大头兄弟科技有限公司 图像的动漫化方法、装置、设备及存储介质
CN113870102B (zh) * 2021-12-06 2022-03-08 深圳市大头兄弟科技有限公司 图像的动漫化方法、装置、设备及存储介质
CN115115905A (zh) * 2022-06-13 2022-09-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN115115905B (zh) * 2022-06-13 2023-06-27 苏州大学 基于生成模型的高可迁移性图像对抗样本生成方法
CN115100312A (zh) * 2022-07-14 2022-09-23 猫小兜动漫影视(深圳)有限公司 一种图像动漫化的方法和装置
CN115100312B (zh) * 2022-07-14 2023-08-22 猫小兜动漫影视(深圳)有限公司 一种图像动漫化的方法和装置

Also Published As

Publication number Publication date
CN112561791B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112561791A (zh) 一种基于优化AnimeGAN的图像风格迁移
EP3678059B1 (en) Image processing method, image processing apparatus, and a neural network training method
CN109509152B (zh) 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN111369563B (zh) 一种基于金字塔空洞卷积网络的语义分割方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN110020989B (zh) 一种基于深度学习的深度图像超分辨率重建方法
CN112287940A (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
CN109948692B (zh) 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN109685716A (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN113239954A (zh) 基于注意力机制的图像语义分割特征融合方法
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN113256494B (zh) 一种文本图像超分辨率方法
CN112534443A (zh) 图像处理设备及其操作方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN112215859A (zh) 一种基于深度学习和邻接约束的纹理边界检测方法
CN114626984A (zh) 中文文本图像的超分辨率重建方法
CN110956575B (zh) 转变图像风格的方法和装置、卷积神经网络处理器
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN115511722A (zh) 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN110188706B (zh) 基于生成对抗网络的视频中人物表情的神经网络训练方法及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant