CN110570346A - 一种基于循环生成对抗网络对书法进行风格迁移的方法 - Google Patents

一种基于循环生成对抗网络对书法进行风格迁移的方法 Download PDF

Info

Publication number
CN110570346A
CN110570346A CN201910764034.0A CN201910764034A CN110570346A CN 110570346 A CN110570346 A CN 110570346A CN 201910764034 A CN201910764034 A CN 201910764034A CN 110570346 A CN110570346 A CN 110570346A
Authority
CN
China
Prior art keywords
picture
style
generator
discriminator
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910764034.0A
Other languages
English (en)
Other versions
CN110570346B (zh
Inventor
刘晶
向朋霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910764034.0A priority Critical patent/CN110570346B/zh
Publication of CN110570346A publication Critical patent/CN110570346A/zh
Application granted granted Critical
Publication of CN110570346B publication Critical patent/CN110570346B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于循环生成对抗网络对书法进行风格迁移的方法，首先在word中制作要迁移的风格A和风格B两种风格的两种字体作为训练样本；然后根据样本制作两种风格数据集，依次更新生成器权重和判别器权重，得到生成器训练生成的图片和判别器判别真伪的结果；最后将训练样本输入判别器和生成器中进行训练更新，经过二者的博弈以后，生成器的伪造技术越来越厉害，判别器的鉴别技术也越来越厉害，直到判别器再也分不出数据是真实的数据还是生成器生成的数据，即对抗的过程达到动态的平衡，得到最后的训练效果，输出风格迁移后的图片。本发明解决了现有技术中存在的无配对的文字图片找不到对应目标的问题。

Description

一种基于循环生成对抗网络对书法进行风格迁移的方法
技术领域
本发明属于图片处理方法技术领域，具体涉及一种基于循环生成对抗网络对书法进行风格迁移的方法。
背景技术
中国古代有很多书法大家，他们遗留下来的真迹往往价值千金，成为后人争先恐后临摹的对象。但在历史的长河中，由于众多原因，这些大家们的一部分作品已经损毁，而且古代有些汉字是当时没有的，所以可能有大量的汉字是没有某种书法风格存在的，使得传杨优秀文化过程中存在一定的缺陷。
作为中国传统优秀文化的书法，我们应该大力传承和发扬，为文化强国做出贡献。而大量书法作品在流传的过程中被人为或非人为损坏，留存较少，对于风格迁移的方法大多要求输入的图片是成对出现的，而两种不同的书法风格很难有配对的文字图片，会出现找不到训练目标的问题。为了让人们见到更多的优秀书法作品，基于此如何来扩充这些书法大家风格数据成为我们待解决的问题。
发明内容
本发明的目的是提供一种基于循环生成对抗网络对书法进行风格迁移的方法，解决了现有技术中存在的无配对的文字图片找不到对应目标的问题。
本发明所采用的技术方案是，一种基于循环生成对抗网络对书法进行风格迁移的方法，具体按照以下步骤实施：
步骤1、在word中制作要迁移的风格A和风格B两种风格的两种字体各n页，输出为图片jpg格式，得到2n张图片，作为训练样本；
步骤2、根据步骤1中的样本，制作两种风格数据集，依次更新生成器权重和判别器权重，得到生成器训练生成的图片和判别器判别真伪的结果；
步骤3、将步骤1中制作的训练样本输入步骤2中的判别器和生成器中进行训练更新，经过二者的博弈以后，生成器的伪造技术越来越厉害，判别器的鉴别技术也越来越厉害，直到判别器再也分不出数据是真实的数据还是生成器生成的数据，即对抗的过程达到动态的平衡，得到最后的训练效果，输出风格迁移后的图片。
本发明的特点还在于，
步骤2具体按照以下步骤实施：
步骤2.1、将所述步骤1中有2n张图片的训练样本中的每张图片随机裁出m张i×i大小的图片，得到风格A和风格B的图片各n×m张，图片大小均为i×i，即为所需要的数据集，其中n为裁剪前图片的张数，m为裁剪后图片张数，i为裁剪出的图片的边长；
步骤2.2、设置循环生成对抗网络，由两个对称的生成对抗网络GAN构成一个环形网络，两个生成对抗网络GAN共享两个生成器，并各自带一个判别器，即共有两个生成器，记为生成器G和生成器F，和两个判别器，记为判别器DX和判别器DY，每个生成对抗网络GAN有两个损失函数，分别为生成器的重建损失和判别器的判别损失；
步骤2.3、生成器G负责把步骤2.1中裁剪后的风格A的图片训练成风格B的样子，然后更新重建损失，得到生成图片，判别器DY将步骤2.1中裁剪后的风格B的图片和步骤2.3中生成器G生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片；
步骤2.4、生成器F负责把步骤2.1中裁剪后的风格B的图片训练成风格A的样子，然后更新重建损失，得到生成图片，判别器DX将步骤2.1中裁剪后的风格A的图片和步骤2.4中生成器F生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片。
步骤3具体按照以下步骤实施：
步骤3.1、选取步骤2.1中裁剪后的任意一张风格A的图片x作为样本输入生成器G中，所输入的图片x经过生成器训练，生成一张风格B的图片y'，即G(x)＝y'；
步骤3.2、选取步骤2.1中裁剪后的任意一张风格B的图片y作为样本输入生成器F中，所输入的图片y经过生成器训练，生成一张风格A的图片x'，即F(y)＝x'；
步骤3.3、创建两个判别器DX和判别器DY：
判别器DX：输入步骤3.2生成的图片x'或步骤2.1中裁剪后的任意一张风格A的图片x，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；
判别器DY：输入步骤3.1生成的图片y'或步骤2.1中裁剪后的任意一张风格B的图片y，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；
损失函数值越小，说明该网络训练生成的图片越接近目标图片，即风格迁移越成功。
步骤3.3中损失函数具体计算如下：
步骤3.3.1、判别器DY损失函数：将步骤3.2中风格B的图片y输入到判别器DY中，输出概率值DY(y)；将步骤3.1中生成图片y'即图片G(x)输入到判别器DY中，输出概率值DY(G(x))，其对抗损失函数表示为：
LGAN(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
LGAN(G,DY,X,Y)表示整个判别器DY的损失函数，其中，Ey～pdata(y)表示风格B的图片y服从真实数据概率分布的期望；Ex～pdata(x)表示生成图片y'即图片G(x)服从生成数据概率分布的期望；DY(y)表示图片y输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DY(G(x))表示生成图片y'即图片G(x)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DY(y)≈DY(G(x))，则y≈G(x)，经过生成器G训练后的图片y'即图片G(x)为风格转移后的图片，则生成器G训练完成；
步骤3.3.2，判别器DX损失函数：将步骤3.1中风格A的图片x输入到判别器DX中，输出概率值DX(x)；将步骤3.2中生成图片x'即图片F(x)输入到判别器DX中，输出概率值DX(F(y))，其对抗损失函数如下所示：
LGAN(F,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]
LGAN(F,DX,Y,X)表示整个判别器DX的损失函数，其中，Ex～pdata(x)表示图片x服从真实数据概率分布的期望；Ey～pdata(y)表示生成图片x'即图片F(y)服从生成数据概率分布的期望；DX(x)表示图片x输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DX(F(y))表示图片x'即图片G(y)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DX(x)≈DX(F(y))，则x≈F(y)，经过生成器F训练后的图片x'即图片F(y)为风格转移后的图片，则生成器F训练完成；
步骤3.3.3、循环一致性损失：把步骤3.1中生成的图片y'即图片G(x)再经过生成器F训练，得到图片F(G(x))；把步骤3.2中生成的图片x'即图片F(y)再经过生成器G训练，得到图片G(F(y))；循环一致性损失定义如下所示：
Lcyc(F，G，X，Y)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，F(G(x))是步骤3.1中的图片x通过生成器G生成的图片y'再通过生成器F训练出来的图片，G(F(y))是步骤3.2中的图片y通过生成器F生成的图片x'再通过生成器G训练出来的图片；||F(G(x))-x||1表示通过两次生成器训练生成的图片F(G(x))与原风格A的图片x做均方误差，||G(F(y))-y||1是通过两次生成器训练生成的图片G(F(y))与原风格B的图片y做均方误差，值越小说明训练生成的图片效果越好；
步骤3.3.4、最终的损失函数为步骤3.3.1中判别器损失、步骤3.3.2中判别器损失和步骤3.3.3中循环一致性损失的总和，表示如下：
Ltotal＝LGAN(F,DY,X,Y)+LGAN(G,DX,X,Y)+λLcyc(F,G,X,F)
其中λ为常数，Ltotal表示图片风格迁移效果的总体损失，损失值越小表明训练越成功，也就是训练生成的图片风格越接近目标图片风格。
λ＝10。
本发明的有益效果是，一种基于循环生成对抗网络对书法进行风格迁移的方法，主要基于循环生成对抗网络进行训练，从而得到书法的风格迁移，能够为各种大家风格的书法扩充数据。基于循环生成对抗网络进行的书法风格迁移，可以类似于数字博物馆一样实现人机交互，可以把自己的字体训练成自己喜欢的字体。基于循环生成对抗网络进行的书法风格迁移,可以创造新的字体，比如可以把日文的字体用来做训练，训练出新的字体。
附图说明
图1是本发明基于循环生成对抗网络对书法进行风格迁移的方法中的流程图；
图2(a)是本发明基于循环生成对抗网络对书法进行风格迁移的方法中的循环生成对抗网络结构图；
图2(b)是图2(a)的展开图，为前向循环一致性损失图；
图2(c)是图2(a)的展开图，向后循环一致性损失图；
图3是本发明基于循环生成对抗网络对书法进行风格迁移的方法中的生成器结构；
图4是本发明基于循环生成对抗网络对书法进行风格迁移的方法中判别器结构。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于循环生成对抗网络对书法进行风格迁移的方法，流程图如图1所示，具体按照以下步骤实施：
步骤1、在word中制作要迁移的风格A和风格B两种风格的两种字体各n页，输出为图片jpg格式，得到2n张图片，作为训练样本；
步骤2、根据步骤1中的样本，制作两种风格数据集，依次更新生成器权重和判别器权重，得到生成器训练生成的图片和判别器判别真伪的结果，具体按照以下步骤实施：
步骤2.1、将所述步骤1中有2n张图片的训练样本中的每张图片随机裁出m张i×i大小的图片，得到风格A和风格B的图片各n×m张，图片大小均为i×i，即为所需要的数据集，其中n为裁剪前图片的张数，m为裁剪后图片张数，i为裁剪出的图片的边长；
步骤2.2、设置循环生成对抗网络，由两个对称的生成对抗网络GAN构成一个环形网络，两个生成对抗网络GAN共享两个生成器，并各自带一个判别器，即共有两个生成器，记为生成器G和生成器F，和两个判别器，记为判别器DX和判别器DY，每个生成对抗网络GAN有两个损失函数，分别为生成器的重建损失和判别器的判别损失；
步骤2.3、生成器G负责把步骤2.1中裁剪后的风格A的图片训练成风格B的样子，然后更新重建损失，得到生成图片，判别器DY将步骤2.1中裁剪后的风格B的图片和步骤2.3中生成器G生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片；
步骤2.4、生成器F负责把步骤2.1中裁剪后的风格B的图片训练成风格A的样子，然后更新重建损失，得到生成图片，判别器DX将步骤2.1中裁剪后的风格A的图片和步骤2.4中生成器F生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片。
步骤3、将步骤1中制作的训练样本输入步骤2中的判别器和生成器中进行训练更新，经过二者的博弈以后，生成器的伪造技术越来越厉害，判别器的鉴别技术也越来越厉害，直到判别器再也分不出数据是真实的数据还是生成器生成的数据，即对抗的过程达到动态的平衡，得到最后的训练效果，输出风格迁移后的图片，具体按照以下步骤实施：
步骤3.1、选取步骤2.1中裁剪后的任意一张风格A的图片x作为样本输入生成器G中，所输入的图片x经过生成器训练，生成一张风格B的图片y'，即G(x)＝y'；
步骤3.2、选取步骤2.1中裁剪后的任意一张风格B的图片y作为样本输入生成器F中，所输入的图片y经过生成器训练，生成一张风格A的图片x'，即F(y)＝x'；
步骤3.3、创建两个判别器DX和判别器DY：
判别器DX：输入步骤3.2生成的图片x'或步骤2.1中裁剪后的任意一张风格A的图片x，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；
判别器DY：输入步骤3.1生成的图片y'或步骤2.1中裁剪后的任意一张风格B的图片y，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；～
损失函数值越小，说明该网络训练生成的图片越接近目标图片，即风格迁移越成功。
步骤3.3中损失函数具体计算如下：
步骤3.3.1、判别器DY损失函数：将步骤3.2中风格B的图片y输入到判别器DY中，输出概率值DY(y)；将步骤3.1中生成图片y'即图片G(x)输入到判别器DY中，输出概率值DY(G(x))，其对抗损失函数表示为：
LGAN(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]
LGAN(G,DY,X,Y)表示整个判别器DY的损失函数，其中，Ey～pdata(y)表示风格B的图片y服从真实数据概率分布的期望；Ex～pdata(x)表示生成图片y'即图片G(x)服从生成数据概率分布的期望；DY(y)表示图片y输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DY(G(x))表示生成图片y'即图片G(x)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DY(y)≈DY(G(x))，则y≈G(x)，经过生成器G训练后的图片y'即图片G(x)为风格转移后的图片，则生成器G训练完成；
步骤3.3.2，判别器DX损失函数：将步骤3.1中风格A的图片x输入到判别器DX中，输出概率值DX(x)；将步骤3.2中生成图片x'即图片F(x)输入到判别器DX中，输出概率值DX(F(y))，其对抗损失函数如下所示：
LGAN(F,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]LGAN(F,DX,Y,X)表示整个判别器DX的损失函数，其中，Ex～pdata(x)表示图片x服从真实数据概率分布的期望；Ey～pdata(y)表示生成图片x'即图片F(y)服从生成数据概率分布的期望；DX(x)表示图片x输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DX(F(y))表示图片x'即图片G(y)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DX(x)≈DX(F(y))，则x≈F(y)，经过生成器F训练后的图片x'即图片F(y)为风格转移后的图片，则生成器F训练完成；
步骤3.3.3、循环一致性损失：把步骤3.1中生成的图片y'即图片G(x)再经过生成器F训练，得到图片F(G(x))；把步骤3.2中生成的图片x'即图片F(y)再经过生成器G训练，得到图片G(F(y))；循环一致性损失定义如下所示：
Lcyc(F，G，X，Y)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，F(G(x))是步骤3.1中的图片x通过生成器G生成的图片y'再通过生成器F训练出来的图片，G(F(y))是步骤3.2中的图片y通过生成器F生成的图片x'再通过生成器G训练出来的图片；||F(G(x))-x||1表示通过两次生成器训练生成的图片F(G(x))与原风格A的图片x做均方误差，||G(F(y))-y||1是通过两次生成器训练生成的图片G(F(y))与原风格B的图片y做均方误差，值越小说明训练生成的图片效果越好；
步骤3.3.4、最终的损失函数为步骤3.3.1中判别器损失、步骤3.3.2中判别器损失和步骤3.3.3中循环一致性损失的总和，表示如下：
Ltotal＝LGAN(F,DY,X,Y)+LGAN(G,DX,X,Y)+λLcyc(F,G,X,F)
其中λ为常数，λ＝10，用来调节比重，Ltotal表示图片风格迁移效果的总体损失，损失值越小表明训练越成功，也就是训练生成的图片风格越接近目标图片风格。
本发明一种基于循环生成对抗网络对书法进行风格迁移的方法中，所输入的图片经过生成器网络计算，具体为：先经过三个卷积模块，然后经过6个残差块，最后经过两个反卷积模块和一个卷积模块，最终输出。如图3所示在生成器网络结构图中：(1)编码：第一步利用卷积神经网络，即Conv Layer从输入图象中提取特征，将图片压缩成256个64*64的特征向量；(2)转换：通过组合图片的不相近特征，将两种风格图片的特征向量进行转换，本发明中使用了6层残差块即Resnet模块，每个残差块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图片特征的目标；(3)解码：利用反卷积层，即DeConvLayer完成从特征向量中还原出低级特征的工作，最后得到生成图片。在判别器中具体为：先通过四个卷积层，即Conv Layer从图片中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。最后输出概率值。如图4所示，将一张图片作为输入，先通过四个卷积层，即Conv Layer从图片中提取特征，再通过添加产生一维输出的卷积层(Conv Layer)来确定提取的特征是否属于特定类别。最后通过输出概率值，预测其为原始图片还是生成器的生成图片。
图2(a)为循环生成对抗网络结构图，其中X，Y为两个样本，G和F为两个生成网络，DX和DY为两个判别器，图2(b)和图2(c)为图2(a)的展开图。图2(b)为前向循环一致性损失图，即为图片X通过生成器G生成图片Y'，然后再通过生成器F训练出图片X'，其中Cycle-consistency loss为循环一致性损失。图2(b)为向后循环一致性损失图，即为Y样本通过生成器F生成图片X'，然后再通过生成器G训练出图片Y'，其中Cycle-consistency loss为循环一致性损失。

Claims (5)

1.一种基于循环生成对抗网络对书法进行风格迁移的方法，其特征在于，具体按照以下步骤实施：
步骤1、在word中制作要迁移的风格A和风格B两种风格的两种字体各n页，输出为图片jpg格式，得到2n张图片，作为训练样本；
步骤2、根据步骤1中的样本，制作两种风格数据集，依次更新生成器权重和判别器权重，得到生成器训练生成的图片和判别器判别真伪的结果；
步骤3、将步骤1中制作的训练样本输入步骤2中的判别器和生成器中进行训练更新，经过二者的博弈以后，生成器的伪造技术越来越厉害，判别器的鉴别技术也越来越厉害，直到判别器再也分不出数据是真实的数据还是生成器生成的数据，即对抗的过程达到动态的平衡，得到最后的训练效果，输出风格迁移后的图片。
2.根据权利要求1所述的一种基于循环生成对抗网络对书法进行风格迁移的方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、将所述步骤1中有2n张图片的训练样本中的每张图片随机裁出m张i×i大小的图片，得到风格A和风格B的图片各n×m张，图片大小均为i×i，即为所需要的数据集，其中n为裁剪前图片的张数，m为裁剪后图片张数，i为裁剪出的图片的边长；
步骤2.2、设置循环生成对抗网络，由两个对称的生成对抗网络GAN构成一个环形网络，两个生成对抗网络GAN共享两个生成器，并各自带一个判别器，即共有两个生成器，记为生成器G和生成器F，和两个判别器，记为判别器DX和判别器DY，每个生成对抗网络GAN有两个损失函数，分别为生成器的重建损失和判别器的判别损失；
步骤2.3、生成器G负责把步骤2.1中裁剪后的风格A的图片训练成风格B的样子，然后更新重建损失，得到生成图片，判别器DY将步骤2.1中裁剪后的风格B的图片和步骤2.3中生成器G生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片；
步骤2.4、生成器F负责把步骤2.1中裁剪后的风格B的图片训练成风格A的样子，然后更新重建损失，得到生成图片，判别器DX将步骤2.1中裁剪后的风格A的图片和步骤2.4中生成器F生成图片作为输入，更新判别损失，尝试预测其为原始图片还是生成器的生成图片。
3.根据权利要求1所述的一种基于循环生成对抗网络对书法进行风格迁移的方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、选取步骤2.1中裁剪后的任意一张风格A的图片x作为样本输入生成器G中，所输入的图片x经过生成器训练，生成一张风格B的图片y'，即G(x)＝y'；
步骤3.2、选取步骤2.1中裁剪后的任意一张风格B的图片y作为样本输入生成器F中，所输入的图片y经过生成器训练，生成一张风格A的图片x'，即F(y)＝x'；
步骤3.3、创建两个判别器DX和判别器DY：
判别器DX：输入步骤3.2生成的图片x'或步骤2.1中裁剪后的任意一张风格A的图片x，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；
判别器DY：输入步骤3.1生成的图片y'或步骤2.1中裁剪后的任意一张风格B的图片y，输出16x16矩阵，各个元素越接近0.9，损失函数值越小；
损失函数值越小，说明该网络训练生成的图片越接近目标图片，即风格迁移越成功。
4.根据权利要求3所述的一种基于循环生成对抗网络对书法进行风格迁移的方法，其特征在于，所述步骤3.3中损失函数具体计算如下：
步骤3.3.1、判别器DY损失函数：将步骤3.2中风格B的图片y输入到判别器DY中，输出概率值DY(y)；将步骤3.1中生成图片y'即图片G(x)输入到判别器DY中，输出概率值DY(G(x))，其对抗损失函数表示为：
LGAN(G,DY,X,Y)＝Ey～pdata(y)[logDY(y)]+Ex～pdata(x)[log(1-DY(G(x)))]，
LGAN(G,DY,X,Y)表示整个判别器DY的损失函数，其中，Ey～pdata(y)表示风格B的图片y服从真实数据概率分布的期望；Ex～pdata(x)表示生成图片y'即图片G(x)服从生成数据概率分布的期望；DY(y)表示图片y输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DY(G(x))表示生成图片y'即图片G(x)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DY(y)≈DY(G(x))，则y≈G(x)，经过生成器G训练后的图片y'即图片G(x)为风格转移后的图片，则生成器G训练完成；
步骤3.3.2，判别器DX损失函数：将步骤3.1中风格A的图片x输入到判别器DX中，输出概率值DX(x)；将步骤3.2中生成图片x'即图片F(x)输入到判别器DX中，输出概率值DX(F(y))，其对抗损失函数如下所示：
LGAN(F,DX,Y,X)＝Ex～pdata(x)[logDX(x)]+Ey～pdata(y)[log(1-DX(F(y)))]
LGAN(F,DX,Y,X)表示整个判别器DX的损失函数，其中，Ex～pdata(x)表示图片x服从真实数据概率分布的期望；Ey～pdata(y)表示生成图片x'即图片F(y)服从生成数据概率分布的期望；DX(x)表示图片x输入判别器后的输出值，该输出值表示该图片为真实图片的概率；DX(F(y))表示图片x'即图片G(y)输入判别器后的输出值，该输出值表示该图片为真实图片的概率；
当DX(x)≈DX(F(y))，则x≈F(y)，经过生成器F训练后的图片x'即图片F(y)为风格转移后的图片，则生成器F训练完成；
步骤3.3.3、循环一致性损失：把步骤3.1中生成的图片y'即图片G(x)再经过生成器F训练，得到图片F(G(x))；把步骤3.2中生成的图片x'即图片F(y)再经过生成器G训练，得到图片G(F(y))；循环一致性损失定义如下所示：
Lcyc(F，G，X，Y)＝Ex～pdata(x)[||F(G(x))-x||1]+Ey～pdata(y)[||G(F(y))-y||1]
其中，F(G(x))是步骤3.1中的图片x通过生成器G生成的图片y'再通过生成器F训练出来的图片，G(F(y))是步骤3.2中的图片y通过生成器F生成的图片x'再通过生成器G训练出来的图片；||F(G(x))-x||1表示通过两次生成器训练生成的图片F(G(x))与原风格A的图片x做均方误差，||G(F(y))-y||1是通过两次生成器训练生成的图片G(F(y))与原风格B的图片y做均方误差，值越小说明训练生成的图片效果越好；
步骤3.3.4、最终的损失函数为步骤3.3.1中判别器损失、步骤3.3.2中判别器损失和步骤3.3.3中循环一致性损失的总和，表示如下：
Ltotal＝LGAN(F,DY,X,Y)+LGAN(G,DX,X,Y)+λLcyc(F,G,X,F)
其中λ为常数，Ltotal表示图片风格迁移效果的总体损失，损失值越小表明训练越成功，也就是训练生成的图片风格越接近目标图片风格。
5.根据权利要求4所述的一种基于循环生成对抗网络对书法进行风格迁移的方法，其特征在于，λ＝10。
CN201910764034.0A 2019-08-19 2019-08-19 一种基于循环生成对抗网络对书法进行风格迁移的方法 Expired - Fee Related CN110570346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910764034.0A CN110570346B (zh) 2019-08-19 2019-08-19 一种基于循环生成对抗网络对书法进行风格迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910764034.0A CN110570346B (zh) 2019-08-19 2019-08-19 一种基于循环生成对抗网络对书法进行风格迁移的方法

Publications (2)

Publication Number Publication Date
CN110570346A true CN110570346A (zh) 2019-12-13
CN110570346B CN110570346B (zh) 2022-11-04

Family

ID=68773950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764034.0A Expired - Fee Related CN110570346B (zh) 2019-08-19 2019-08-19 一种基于循环生成对抗网络对书法进行风格迁移的方法

Country Status (1)

Country Link
CN (1) CN110570346B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325661A (zh) * 2020-02-21 2020-06-23 京工数演(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111739115A (zh) * 2020-06-23 2020-10-02 中国科学院自动化研究所 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN111767945A (zh) * 2020-06-08 2020-10-13 上海交通大学 基于CycleGAN网络模型的车牌样本生成方法及系统
CN112330535A (zh) * 2020-11-27 2021-02-05 江南大学 一种图片风格迁移方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN112950749A (zh) * 2021-03-17 2021-06-11 西北大学 基于生成对抗网络的书法图片生成方法
CN113344772A (zh) * 2021-05-21 2021-09-03 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113393370A (zh) * 2021-06-02 2021-09-14 西北大学 中国书法文字图像风格迁移的方法、系统、智能终端
CN113553932A (zh) * 2021-07-14 2021-10-26 同济大学 一种基于风格迁移的书法文字侵蚀修复方法
CN114399427A (zh) * 2022-01-07 2022-04-26 福州大学 一种基于循环生成对抗网络的字效迁移方法
CN114821602A (zh) * 2022-06-28 2022-07-29 北京汉仪创新科技股份有限公司 训练对抗神经网络生成字库的方法、系统、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190722A (zh) * 2018-08-06 2019-01-11 大连民族大学 基于满文字符图片的字体风格迁移变换方法
WO2019113888A1 (zh) * 2017-12-14 2019-06-20 华侨大学 一种基于交互式的中国水墨画风格笔画生成方法以及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019113888A1 (zh) * 2017-12-14 2019-06-20 华侨大学 一种基于交互式的中国水墨画风格笔画生成方法以及装置
CN109190722A (zh) * 2018-08-06 2019-01-11 大连民族大学 基于满文字符图片的字体风格迁移变换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许哲豪等: "基于生成对抗网络的图片风格迁移", 《软件导刊》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325661A (zh) * 2020-02-21 2020-06-23 京工数演(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111325661B (zh) * 2020-02-21 2024-04-09 京工慧创(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111767945A (zh) * 2020-06-08 2020-10-13 上海交通大学 基于CycleGAN网络模型的车牌样本生成方法及系统
CN111739115A (zh) * 2020-06-23 2020-10-02 中国科学院自动化研究所 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN111739115B (zh) * 2020-06-23 2021-03-16 中国科学院自动化研究所 基于循环一致性的无监督人体姿态迁移方法、系统及装置
CN112330535A (zh) * 2020-11-27 2021-02-05 江南大学 一种图片风格迁移方法
CN112818634A (zh) * 2021-01-29 2021-05-18 上海海事大学 书法作品风格迁移系统、方法及终端
CN112818634B (zh) * 2021-01-29 2024-04-05 上海海事大学 书法作品风格迁移系统、方法及终端
CN112950749B (zh) * 2021-03-17 2023-10-27 西北大学 基于生成对抗网络的书法图片生成方法
CN112950749A (zh) * 2021-03-17 2021-06-11 西北大学 基于生成对抗网络的书法图片生成方法
CN113344772A (zh) * 2021-05-21 2021-09-03 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113393370A (zh) * 2021-06-02 2021-09-14 西北大学 中国书法文字图像风格迁移的方法、系统、智能终端
CN113553932B (zh) * 2021-07-14 2022-05-13 同济大学 一种基于风格迁移的书法文字侵蚀修复方法
CN113553932A (zh) * 2021-07-14 2021-10-26 同济大学 一种基于风格迁移的书法文字侵蚀修复方法
CN114399427A (zh) * 2022-01-07 2022-04-26 福州大学 一种基于循环生成对抗网络的字效迁移方法
CN114821602A (zh) * 2022-06-28 2022-07-29 北京汉仪创新科技股份有限公司 训练对抗神经网络生成字库的方法、系统、设备和介质

Also Published As

Publication number Publication date
CN110570346B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110570346B (zh) 一种基于循环生成对抗网络对书法进行风格迁移的方法
Zhong et al. An end-to-end dense-inceptionnet for image copy-move forgery detection
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN111160452A (zh) 一种基于预训练语言模型的多模态网络谣言检测方法
Yin et al. Yes," Attention Is All You Need", for Exemplar based Colorization
CN108664993B (zh) 一种密集权重连接的卷积神经网络图像分类方法
CN111160163B (zh) 一种基于区域关系建模和信息融合建模的表情识别方法
CN114757864B (zh) 一种基于多尺度特征解耦的多层级细粒度图像生成方法
CN112037228A (zh) 一种基于双倍注意力的激光雷达点云目标分割方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN113378160A (zh) 一种基于生成式对抗网络的图神经网络模型防御方法及装置
CN109766918A (zh) 基于多层次上下文信息融合的显著性物体检测方法
Wei et al. Generative steganographic flow
CN108446605A (zh) 复杂背景下双人交互行为识别方法
CN114882884A (zh) 一种基于深度学习模型的多任务实现方法、装置
CN113420179A (zh) 基于时序高斯混合空洞卷积的语义重构视频描述方法
CN112784831A (zh) 融合多层特征增强注意力机制的文字识别方法
CN114332745B (zh) 一种基于深度神经网络的近重复视频大数据清洗方法
CN113378722B (zh) 基于3d卷积和多级语义信息融合的行为识别方法及系统
CN114332491A (zh) 一种基于特征重构的显著性目标检测算法
CN115587297A (zh) 构建图像识别模型和图像识别的方法、装置、设备及介质
Khudeyer et al. Fake Image Detection Using Deep Learning
CN111401141B (zh) 一种基于骨架的3d手势估计方法
CN110909814B (zh) 一种基于特征分离的分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221104