CN110503598B - 基于条件循环一致性生成对抗网络的字体风格迁移方法 - Google Patents
基于条件循环一致性生成对抗网络的字体风格迁移方法 Download PDFInfo
- Publication number
- CN110503598B CN110503598B CN201910696105.8A CN201910696105A CN110503598B CN 110503598 B CN110503598 B CN 110503598B CN 201910696105 A CN201910696105 A CN 201910696105A CN 110503598 B CN110503598 B CN 110503598B
- Authority
- CN
- China
- Prior art keywords
- font
- picture
- domain
- network
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 51
- 230000005012 migration Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000010606 normalization Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 76
- 230000004913 activation Effects 0.000 claims description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001643392 Cyclea Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Document Processing Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了基于条件循环一致性生成对抗网络的字体风格迁移方法，具体为：创建源字体和目标字体数据集，随数据集进行归一化处理；搭建字体风格迁移网络结构，网络由基于条件生成对抗网络和残差网络的生成器和基于PatchGAN的判别网络组成，将源字体和标签图片输入到生成器中，生成目标风格字体字体；判别器网络对生成目标字体和与之对应的真实目标字体进行真伪判别，借助对抗网络训练的思想，对汉字迁移网络进行优化，实现两种字体风格的互相映射迁移，字体生成过程减少人工干涉，提高生成字体的自动化程度。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于条件循环一致性生成对抗网络的字体风格迁移方法。
背景技术
目前在英文和阿拉伯字符的字体生成方面有很多的研究，然而在汉字字体生成领域探究很少，这是因为汉字结构复杂、数量庞大、种类多样、笔画繁多的特点，为汉字字体生成研究带来了挑战。汉字字库显示我国有出处汉字九万多个，我国汉字代码标准GB2312包含 6763个常用汉字码。随着互联网媒体的快速兴起，人们在社交、办公中会接触到各种各样的字体，人们对多风格个性化的汉字字体应用需求增加，然而目前的汉字字体制作周期长、效率低下，汉字字库制作依赖人工经验和设计，制作技术自动化程度低。
对于字形迁移的早期研究主要将字体的骨架内容和风格样式进行分离，进而对两种字体的骨架进行变形和匹配，将风格样式的特征提取出来映射到变形后的骨架，生成风格字体，然而骨架变形算法较为复杂，生成字体的效率较低。后来提出对汉字字符笔画进行分解，将两种字体的笔画进行映射配对，用匹配的笔画重组风格字体，然而这种方法笔画分解重组过程较为繁琐，受先验知识的影响很大。
近年来，深度学习在图像迁移、目标检测、自然语言处理等领域得到广泛应用，利用神经网络进行图像风格转换取得了很好的效果，通过使用大量的图像来训练可生成风格化图像的生成模型，很大程度上解决了图像风格迁移的计算效率低下的问题。受此启发，将图像风格迁移方法应用到字体风格迁移中，将每个汉字字符处理为一个汉字图片，通过卷积神经网络提取图片特征，生成风格字体，字体制作过程减少人工干涉，提高生成字体的自动化程度和字体生成效率。
发明内容
本发明的目的是提供一种基于条件循环一致性生成对抗网络的字体风格迁移方法，通过迁移网络和循环一致地对抗训练，提升了生成字体图像的质量和训练学习的速率。
本发明所采用的技术方案是，基于条件循环一致性生成对抗网络的字体风格迁移方法，具体按照以下步骤实施：
步骤1，创建字体样本数据集，确定出相关的源字体样本和目标字体样本，对样本数据集进行预处理，选择出相应的训练集和测试集；
步骤2，搭建生成网络模型，生成网络模型由编码器、残差块、解码器组成，生成网络模型的输入层包括源字体图片和标签字体图片，将目标字体图片作为标签字体图片；生成网络模型的输出层为目标字体图片；
步骤3，搭建判别网络模型，判别器的输入为步骤2中生成的风格字体图片以及源目标字体图片，判别器对生成的字体图片和与之对应的目标字体图片做真假判别；
步骤4，搭建整体网络模型，将源字体域作为X域，目标字体域作为Y域，整体网络模型由两个生成器GX2Y和GY2X与两个判别器DX和DY组成，构成了一种双向环状结构，实现了两种不同风格字体之间的相互转换；
步骤5，构造损失函数，条件循环一致性损失函数同时学习两个生成器GX2Y和GY2X的映射，实现GY2X(GX2Y(x|Ly))≈x和 GX2Y(GY2X(y|Lx))≈y；条件对抗损失函数使生成域图像的分布和源域图像点的数据分布相匹配；
步骤6，利用3000对源-目标字体图片数据集对条件循环一致性生成对抗网络进行训练，得到训练后的字体风格迁移模型；通过剩余的字体图片对模型进行测试，检验模型的生成效果；
步骤7，进行字体风格转换，将源字体图片输入到字体风格迁移网络中，输出相应风格模型下的目标风格字体图片。
本发明的特点还在于，
步骤1中，具体步骤如下：
步骤1.1，对TrueType字库进行处理来构建样本数据集，将其处理为GB2312所对应的样本字体图片；
步骤1.2，对样本字体图片做归一化处理和降噪处理，每种样本字体图片都预处理为64*64大小的png格式的灰度图像；
步骤1.3，选择标准的印刷体宋体作为源字体图片，其余的字体作为目标字体图片；
步骤1.4，选择每种字体中的3000个字符图片作为训练集，其余字符图片作为测试集。
步骤2中，生成网络模型的搭建步骤如下：
第一层卷积模块，输入为源字体图片和标签字体图片，输出尺度为1*256*256*64，卷积核大小为7*7，步长为1，BatchNorm批量标准化，Relu激活函数；
第二层卷积模块，输入第一层的输出特征，输出尺度为 1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第三层卷积模块，输入第二层的输出特征，输出尺度为 1*64*64*256，卷积核大小为3*3，步长为2，BatchNorm批量标准化， Relu激活函数；
第三层的输出特征依次输入到9个残差块中，输出尺度为 1*64*64*256，卷积核大小为3*3，步长为2；
第一层反卷积模块输入残差块的输出特征，输出尺度为 1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第二层反卷积模块输入第一层反卷积模块的输出特征，输出尺度为1*256*256*64，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
最后一层为卷积模块，输入第二层反卷积模块的输出特征，输出尺度为1*256*256*3，卷积和大小为7*7，步长为1，通过Tanh激活函数得到目标字体图片的输出。
步骤3中，判别网络模型的搭建步骤包括：
第一层卷积模块，输入为目标风格字体图片和源目标字体图片，输出尺度为1*128*128*64，卷积核大小为4*4，步长为2；
第二层卷积模块输入第一层的输出特征，输出尺度为 1*64*64*128，卷积核大小为4*4，步长为2，BatchNorm批量标准化， Lrelu激活函数；
第三层卷积模块输入第二层的输出特征，输出尺度为 1*32*32*256，卷积核大小为4*4，步长为2，BatchNorm批量标准化， Lrelu激活函数；
第四层卷积模块输入第三层的输出特征，输出尺度为 1*32*32*512，卷积核大小为4*4，步长为1，BatchNorm批量标准化， Lrelu激活函数；
最后一层卷积模块输入第四层的输出特征，输出尺度为 1*32*32*1，卷积核大小为4*4，步长为1，通过Sigmoid激活函数输出判别结果。
步骤4中，整体网络模型的搭建步骤包括：
整体网络模型为两个环状的的图像循环生成结构，首先将源域样本映射到目标域，然后再映射回源域得到二次生成图像，分别为X域 -Y域-X域和Y域-X域-Y域两个环状结构，实现两种风格的字体互相生成；
X域-Y域-X域：将源字体图片X和标签字体图片Y输入到生成器GX2Y中，通过迁移网络生成Y字体图片，即GX2Y(x|Ly)；再将生成字体图片和标签字体图片X输入到生成器GY2X中，通过迁移网络再次生成字体图片X，即GY2X(GX2Y(x|Ly))；判别器DY对真实字体图片Y 和生成字体图片GX2Y(x|Ly)进行真伪判别，判别器DX对真实字体图片 X和生成字体图片GY2X(GX2Y(x|Ly))进行真伪判别；
Y域-X域-Y域：将目标字体图片Y和标签字体图片X输入到生成器GY2X中，通过迁移网络生成字体图片X，即GY2X(y|Lx)；再将生成字体图片和标签字体图片Y输入到生成器GX2Y中，通过迁移网络再次生成字体图片Y，即GX2Y(GY2X(y|Lx))；判别器DY对真实字体图片X和生成字体图片GY2X(y|Lx)进行真伪判别，判别器DY对真实字体图片Y和生成字体图片GX2Y(GY2X(y|Lx))进行真伪判别。
步骤5中，损失函数具体包括：
用均方误差损失函数计算对抗损失，稳定模型的训练的过程；对抗损失的目标函数在原始GAN基础进行改进，X域-Y域映射损失函数为生成器GX2Y和判别器DY所对应的目标函数，如式(1)所示；
式(1)中，Ex～Pdata(x)表示真实数据x的数学期望；Ey～Pdata(y)表示生成数据y的数学期望；
Y域-X域映射损失函数为生成器GY2X和判别器DX所对应的目标函数，如式(2)所示；
LGAN(GY2X,DX,X,Y)＝Ex～Pdata(x)[(DX(x)-1)2]+Ey～Pdata(y)[(1-DX(GY2X(y|Lx)))2] (2)；
条件循环一致性损失函数使用L1范数进行计算，保持两个生成式模型GX2Y和GY2X之间的一致性，如式(3)所示；
条件循环一致性生成对抗网络的总损失函数对上面的目标函数进行加和处理，如式(4)所示；
L(GX2Y,GY2X,DX,DY)＝LGAN(GX2Y,DY,X,Y)+LGAN(GY2X,DY,X,Y)+λLcyc(GX2Y,GY2X)
(4)；
其中，λ表示条件对抗损失和条件循环一致性损失之间的权重参数；
对总的目标函数进行最大最小优化，如式(5)所示；
其中，GX2Y*和GY2X*表示对两个生成网络求出近似最优解。
步骤6中，训练测试数据为由源字体图片和目标字体图片组成，
模型输入图片的尺寸为256*256，迭代次数为200；将损失函数的权重设置为λ＝10；训练过程中使用Adma优化算法进行网络参数的优化，找到能够使网络性能最优的参数，并且在参数不断调整的过程中，以 1:1的比例交替优化生成器和判别器，且两个网络模型的学习率均设置为0.0002。
本发明的有益效果是：
本发明将条件生成对抗网络和循环一致性生成对抗网络相结合，将每个汉字字符视为一张图片，对网络的输入层加入条件，通过迁移网络和循环一致地对抗训练，提升生成字体图像的质量和训练学习的速率，增强生成字体轮廓的清晰度和字体风格样式的准确性。实现使用较少的样本训练，无需人工干涉，直接将一种汉字字体转化为其他风格的字体，简化字体生成过程，增强字体的生成效果。
附图说明
图1是本发明基于条件循环一致性生成对抗网络的字体风格迁移方法的流程图；
图2是本发明基于条件循环一致性生成对抗网络的字体风格迁移方法中的生成网络模型图；
图3是本发明基于条件循环一致性生成对抗网络的字体风格迁移方法中的判别网络模型图；
图4是本发明基于条件循环一致性生成对抗网络的字体风格迁移方法中的整体网络模型结构图；
图5是本发明基于条件循环一致性生成对抗网络的字体风格迁移方法中的模型生成效果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提出了一种基于条件循环一致性生成对抗网络的字体风格迁移方法。将字体文件处理为字体图片，将源字体和标签图片输入到生成网络中，生成网络对字体内容特征和风格特征进行提取和结合，生成目标字体；判别器网络对生成目标字体和与之对应的真实目标字体进行真伪判别，借助对抗网络训练的思想，对汉字迁移网络中的参数进行优化。从而通过训练少量的汉字字符，实现端到端的两种字体风格的互相映射迁移。
本发明一种基于条件循环一致性生成对抗网络的字体风格迁移方法，如图1所示，具体按照以下步骤实施：
步骤1，创建字体样本数据集，确定出相关的源字体样本和目标字体样本，对样本数据集进行预处理，选择出相应的训练集和测试集；具体步骤如下：
步骤1.1，对TrueType字库(ttf字体文件)进行处理来构建样本数据集，将其处理为GB2312所对应的样本字体图片；
步骤1.2，对样本字体图片做归一化处理和降噪处理，每种样本字体图片都预处理为64*64大小的png格式的灰度图像；
步骤1.3，选择标准的印刷体宋体作为源字体图片，其余的字体作为目标字体图片；
步骤1.4，选择每种字体中的3000个字符图片作为训练集，其余字符图片作为测试集；
步骤2，搭建生成网络模型，将条件生成对抗网络的思想应用到生成器模型中，生成网络模型由编码器、残差块、解码器组成，生成网络模型的输入层包括源字体图片和标签字体图片，将预期的目标图片作为标签字体图片；生成网络模型的输出层为目标风格字体图片；
生成网络结构借鉴了CGAN的思想，在网络的输入层将目标字体作为标签信息和源字体一同送入编码器，编码器由3个卷积层、 BatchNorm批量标准化和Relu激活函数组成，池化层采用最大池化，编码器提取字体图像的内容和风格特征；转换模块由9个残差块构成，残差块加强了特征在各个层之间的的传递，更有效地利用特征，因此选择残差块作为转换模块，每个残差块包含两个卷积层，两个批处理标准化和Relu激活函数构成，转换网络通过组合图像的不相近特征，将图像在X域中的特征向量转换为Y域中的特征向量；解码器包括两个反卷积层BatchNorm批量标准化和Relu激活函数，最后一个卷积层使用Tanh激活函数输出生成的风格字体图像。残差块作为转换网络，将目标图像的特征送到反卷积网络，反卷积网络将特征向量还原为图像，生成目标字体；
如图2所示，生成网络模型的搭建步骤如下，
第一层卷积模块，输入为源字体图片和标签字体图片，输出尺度为1*256*256*64，卷积核大小为7*7，步长为1，BatchNorm批量标准化，Relu激活函数；
第二层卷积模块，输入第一层的输出特征，输出尺度为 1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第三层卷积模块，输入第二层的输出特征，输出尺度为 1*64*64*256，卷积核大小为3*3，步长为2，BatchNorm批量标准化， Relu激活函数；
第三层的输出特征依次输入到9个残差块中，输出尺度为1*64*64*256，卷积核大小为3*3，步长为2；
第一层反卷积模块输入残差块的输出特征，输出尺度为 1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第二层反卷积模块输入第一层反卷积模块的输出特征，输出尺度为1*256*256*64，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
最后一层为卷积模块，输入第二层反卷积模块的输出特征，输出尺度为1*256*256*3，卷积和大小为7*7，步长为1，通过Tanh激活函数得到目标风格字体图片的输出；
步骤3，搭建判别网络模型，将马尔科夫判别器思想应用到判别器网络中，判别器的输入为步骤2中生成的风格字体图片以及源目标字体图片，判别器对生成的字体图片和与之对应的目标字体图片做真假判别，借助对抗网络训练的思想，对汉字迁移网络进行优化；
判别网络模型结合了卷积网络的层级特性，由5个卷积层、 BatchNorm批量标准化、Lrelu激活函数组成，判别器借鉴了PatchGAN 的思想，不是以整个图像作为输入，对一张图片切割成不同的N x N 大小的patch，判别器对每一个patch做真假判别，将一张图片所有 patch的结果取平均作为最终的判别器输出。当N＝1的时候，相当于逐像素进行，当N＝256(图像大小为256)，就是一幅图像的操作，当N＝70的时候，效果最好，选择分割尺寸N为70。通过逐次叠加的卷积层最终输出判别结果。
如图3所示，判别网络模型的搭建步骤包括：
第一层卷积模块，输入为目标风格字体图片和源目标字体图片，输出尺度为1*128*128*64，卷积核大小为4*4，步长为2；
第二层卷积模块输入第一层的输出特征，输出尺度为 1*64*64*128，卷积核大小为4*4，步长为2，BatchNorm批量标准化，Lrelu激活函数；
第三层卷积模块输入第二层的输出特征，输出尺度为 1*32*32*256，卷积核大小为4*4，步长为2，BatchNorm批量标准化， Lrelu激活函数；
第四层卷积模块输入第三层的输出特征，输出尺度为1*32*32*512，卷积核大小为4*4，步长为1，BatchNorm批量标准化， Lrelu激活函数；
最后一层卷积模块输入第四层的输出特征，输出尺度为 1*32*32*1，卷积核大小为4*4，步长为1，通过Sigmoid激活函数输出判别结果；
步骤4，搭建整体网络模型，将循环一致性生成对抗网络思想应用到整体网络模型中，将源字体域作为X域，目标字体域作为Y域，整体网络模型由两个生成器GX2Y和GY2X与两个判别器DX和DY组成，构成了一种双向环状结构，实现了两种不同风格字体之间的相互转换；
如图4所示，整体网络模型的搭建步骤包括：
整体网络模型为两个环状的的图像循环生成结构，首先将源域样本映射到目标域，然后再映射回源域得到二次生成图像，分别为X域 -Y域-X域和Y域-X域-Y域两个环状结构，实现两种风格的字体互相生成；
X域-Y域-X域：将源字体X和标签字体Y输入到生成器GX2Y中，通过迁移网络生成Y字体，即GX2Y(x|Ly)；再将生成字体和标签字体X输入到生成器GY2X中，通过迁移网络再次生成字体X，即GY2X(GX2Y(x|Ly))。判别器DY对真实字体Y和生成字体GX2Y(x|Ly)进行真伪判别，判别器DX对真实字体X和生成字体GY2X(GX2Y(x|Ly))进行真伪判别。
Y域-X域-Y域：将目标字体Y和标签字体X输入到生成器GY2X中，通过迁移网络生成字体X，即GY2X(y|Lx)；再将生成字体和标签字体Y输入到生成器GX2Y中，通过迁移网络再次生成字体Y，即 GX2Y(GY2X(y|Lx))。判别器DY对真实字体X和生成字体GY2X(y|Lx)进行真伪判别，判别器DY对真实字体Y和生成字体GX2Y(GY2X(y|Lx))进行真伪判别。
步骤5，构造损失函数，网络模型同时学习两个生成器GX2Y和 GY2X的映射，实现GY2X(GX2Y(x|Ly))≈x和GX2Y(GY2X(y|Lx))≈y，从而定义条件循环一致性损失函数；判别器需要准确判断哪个是生成数据哪个是真实数据，生成器则尽可能模仿真实数据去欺骗判别器，从而定义条件对抗损失函数，使生成域图像的分布和源域图像点的数据分布相匹配，从而不断优化字体迁移模块，使之能输出更逼真的目标字体；
损失函数具体包括：
用均方误差损失函数计算对抗损失，稳定模型的训练的过程。对抗损失的目标函数在原始GAN基础进行改进，X域-Y域映射损失函数为生成器GX2Y和判别器DY所对应的目标函数，如式(1)所示；
式(1)中，Ex～Pdata(x)表示真实数据x的数学期望；Ey～Pdata(y)表示生成数据y的数学期望；
Y域-X域映射损失函数为生成器GY2X和判别器DX所对应的目标函数，如式(2)所示；
LGAN(GY2X,DX,X,Y)＝Ex～Pdata(x)[(DX(x)-1)2]+Ey～Pdata(y)[(1-DX(GY2X(y|Lx)))2] (2)；
条件循环一致性损失函数使用L1范数进行计算，能更好地生成字体地细节，保持两个生成式模型GX2Y和GY2X之间的一致性，如式(3) 所示；
条件循环一致性生成对抗网络的总损失函数对以上目标函数进行加和处理，如式(4)所示；
L(GX2Y,GY2X,DX,DY)＝LGAN(GX2Y,DY,X,Y)+LGAN(GY2X,DY,X,Y)+λLcyc(GX2Y,GY2X)
(4)；
其中，λ表示条件对抗损失和条件循环一致性损失之间的权重参数。
对总的目标函数进行最大最小优化，如式(5)所示；
其中，GX2Y*和GY2X*表示对两个生成网络求出近似最优解。当输入真实数据时判别器使得目标函数尽量大，判断其为真实数据；生成网络是要让生成样本越接近真实样本越好，生成网络尽量地欺骗判别器，使其误认为此时输入为真实数据，判别器努力鉴别其为假数据，两者相互博弈，最终达到一个纳什均衡；
步骤6，利用3000对源-目标字体图片数据集对条件循环一致性生成对抗网络进行训练，得到训练后的字体风格迁移模型；通过剩余的 3000多字体对整体网络模型进行测试，检验整体网络模型的生成效果；
训练测试数据为由源字体图片和目标字体图片组成，模型输入图片的尺寸为256*256，迭代次数为200。在训练期间，通过不断地参数调节，将损失函数的权重设置为λ＝10；训练过程中使用Adma优化算法(β1＝0.5)进行网络参数的优化，找到能够使网络性能最优的参数，并且在参数不断调整的过程中，以1:1的比例交替优化生成器 G和判别器D，最终两个网络模型的学习率均设置为0.0002；
步骤7，进行字体风格转换，将源字体输入到字体风格迁移网络中，输出相应风格模型下的目标风格字体。
采用本发明的方法对模型训练效果，如图5所示，其证明了方法的可行性，模型可生成高质量的风格字体图片且训练稳定，生成字体轮廓清晰，风格样式准确。
Claims (7)
1.基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，具体按照以下步骤实施：
步骤1，创建字体样本数据集，确定出相关的源字体样本和目标字体样本，对样本数据集进行预处理，选择出相应的训练集和测试集；
步骤2，搭建生成网络模型，生成网络模型由编码器、残差块、解码器组成，生成网络模型的输入层包括源字体图片和标签字体图片，将目标字体图片作为标签字体图片；生成网络模型的输出层为目标字体图片；
步骤3，搭建判别网络模型，判别器的输入为步骤2中生成的目标风格字体图片以及源目标字体图片，判别器对生成目标字体图片和与之对应的目标字体图片做真假判别；
步骤4，搭建整体网络模型，将源字体域作为X域，目标字体域作为Y域，整体网络模型由两个生成器GX2Y和GY2X与两个判别器DX和DY组成，构成了一种双向环状结构，实现了两种不同风格字体之间的相互转换；
步骤5，构造损失函数，条件循环一致性损失函数同时学习两个生成器GX2Y和GY2X的映射，实现GY2X(GX2Y(x|Ly))≈x和GX2Y(GY2X(y|Lx))≈y；条件对抗损失函数使生成域图像的分布和源域图像点的数据分布相匹配；
步骤6，利用3000对源-目标字体图片数据集对条件循环一致性生成对抗网络进行训练，得到训练后的字体风格迁移模型；通过剩余的字体图片对模型进行测试，检验模型的生成效果；
步骤7，进行字体风格转换，将源字体图片输入到字体风格迁移网络中，输出相应风格模型下的目标风格字体图片。
2.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤1中，具体步骤如下：
步骤1.1，对TrueType字库进行处理来构建样本数据集，将其处理为GB2312所对应的样本字体图片；
步骤1.2，对样本字体图片做归一化处理和降噪处理，每种样本字体图片都预处理为64*64大小的png格式的灰度图像；
步骤1.3，选择标准的印刷体宋体作为源字体图片，其余的字体作为目标字体图片；
步骤1.4，选择每种字体中的3000个字符图片作为训练集，其余字符图片作为测试集。
3.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤2中，生成网络模型的搭建步骤如下：
第一层卷积模块，输入为源字体图片和标签字体图片，输出尺度为1*256*256*64，卷积核大小为7*7，步长为1，批量标准化，Relu激活函数；
第二层卷积模块，输入第一层的输出特征，输出尺度为1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第三层卷积模块，输入第二层的输出特征，输出尺度为1*64*64*256，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第三层的输出特征依次输入到9个残差块中，输出尺度为1*64*64*256，卷积核大小为3*3，步长为2；
第一层反卷积模块输入残差块的输出特征，输出尺度为1*128*128*128，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
第二层反卷积模块输入第一层反卷积模块的输出特征，输出尺度为1*256*256*64，卷积核大小为3*3，步长为2，BatchNorm批量标准化，Relu激活函数；
最后一层为卷积模块，输入第二层反卷积模块的输出特征，输出尺度为1*256*256*3，卷积和大小为7*7，步长为1，通过Tanh激活函数得到目标字体图片的输出。
4.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤3中，判别网络模型的搭建步骤包括：
第一层卷积模块，输入为目标风格字体图片和源目标字体图片，输出尺度为1*128*128*64，卷积核大小为4*4，步长为2；
第二层卷积模块输入第一层的输出特征，输出尺度为1*64*64*128，卷积核大小为4*4，步长为2，BatchNorm批量标准化，Lrelu激活函数；
第三层卷积模块输入第二层的输出特征，输出尺度为1*32*32*256，卷积核大小为4*4，步长为2，BatchNorm批量标准化，Lrelu激活函数；
第四层卷积模块输入第三层的输出特征，输出尺度为1*32*32*512，卷积核大小为4*4，步长为1，BatchNorm批量标准化，Lrelu激活函数；
最后一层卷积模块输入第四层的输出特征，输出尺度为1*32*32*1，卷积核大小为4*4，步长为1，通过Sigmoid激活函数输出判别结果。
5.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤4中，整体网络模型的搭建步骤包括：
整体网络模型为两个环状的的图像循环生成结构，首先将源域样本映射到目标域，然后再映射回源域得到二次生成图像，分别为X域-Y域-X域和Y域-X域-Y域两个环状结构，实现两种风格的字体互相生成；
X域-Y域-X域：将源字体图片X和标签字体图片Y输入到生成器GX2Y中，通过迁移网络生成Y字体图片，即GX2Y(x|Ly)；再将生成字体图片和标签字体图片X输入到生成器GY2X中，通过迁移网络再次生成字体图片X，即GY2X(GX2Y(x|Ly))；判别器DY对真实字体图片Y和生成字体图片GX2Y(x|Ly)进行真伪判别，判别器DX对真实字体图片X和生成字体图片GY2X(GX2Y(x|Ly))进行真伪判别；
Y域-X域-Y域：将目标字体图片Y和标签字体图片X输入到生成器GY2X中，通过迁移网络生成字体图片X，即GY2X(y|Lx)；再将生成字体图片和标签字体图片Y输入到生成器GX2Y中，通过迁移网络再次生成字体图片Y，即GX2Y(GY2X(y|Lx))；判别器DY对真实字体图片X和生成字体图片GY2X(y|Lx)进行真伪判别，判别器DY对真实字体图片Y和生成字体图片GX2Y(GY2X(y|Lx))进行真伪判别。
6.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤5中，损失函数具体包括：
用均方误差损失函数计算对抗损失，稳定模型的训练的过程；对抗损失的目标函数在原始GAN基础进行改进，X域-Y域映射损失函数为生成器GX2Y和判别器DY所对应的目标函数，如式(1)所示；
式(1)中，Ex～Pdata(x)表示真实数据x的数学期望；Ey～Pdata(y)表示生成数据y的数学期望；
Y域-X域映射损失函数为生成器GY2X和判别器DX所对应的目标函数，如式(2)所示；
LGAN(GY2X,DX,X,Y)＝Ex～Pdata(x)[(DX(x)-1)2]+Ey～Pdata(y)[(1-DX(GY2X(y|Lx)))2] (2)；
条件循环一致性损失函数使用L1范数进行计算，保持两个生成式模型GX2Y和GY2X之间的一致性，如式(3)所示；
条件循环一致性生成对抗网络的总损失函数对上面的目标函数进行加和处理，如式(4)所示；
L(GX2Y,GY2X,DX,DY)＝LGAN(GX2Y,DY,X,Y)+LGAN(GY2X,DY,X,Y)+λLcyc(GX2Y,GY2X) (4)；
其中，λ表示条件对抗损失和条件循环一致性损失之间的权重参数；
对总的目标函数进行最大最小优化，如式(5)所示；
其中，GX2Y*和GY2X*表示对两个生成网络求出近似最优解。
7.根据权利要求1所述的基于条件循环一致性生成对抗网络的字体风格迁移方法，其特征在于，所述步骤6中，训练测试数据为由源字体图片和目标字体图片组成，模型输入图片的尺寸为256*256，迭代次数为200；将损失函数的权重设置为λ＝10；训练过程中使用Adma优化算法进行网络参数的优化，找到能够使网络性能最优的参数，并且在参数不断调整的过程中，以1:1的比例交替优化生成器和判别器，且两个网络模型的学习率均设置为0.0002。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910696105.8A CN110503598B (zh) | 2019-07-30 | 2019-07-30 | 基于条件循环一致性生成对抗网络的字体风格迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910696105.8A CN110503598B (zh) | 2019-07-30 | 2019-07-30 | 基于条件循环一致性生成对抗网络的字体风格迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110503598A CN110503598A (zh) | 2019-11-26 |
| CN110503598B true CN110503598B (zh) | 2022-09-16 |
Family
ID=68587764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910696105.8A Active CN110503598B (zh) | 2019-07-30 | 2019-07-30 | 基于条件循环一致性生成对抗网络的字体风格迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503598B (zh) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079562A (zh) * | 2019-11-27 | 2020-04-28 | 浙江大学 | 多阶段数据生成自循环财务发票文本智能识别系统及方法 |
| CN111008940B (zh) * | 2019-11-27 | 2023-06-27 | 北京科技大学 | 一种图像增强方法及装置 |
| CN111144066B (zh) * | 2019-12-27 | 2022-02-18 | 北大方正集团有限公司 | 字库字面的调整方法、装置、设备和存储介质 |
| CN111161137B (zh) * | 2019-12-31 | 2023-04-11 | 四川大学 | 一种基于神经网络的多风格国画花生成方法 |
| CN111553246B (zh) * | 2020-04-15 | 2022-04-01 | 山东大学 | 基于多任务对抗学习网络的汉字风格迁移方法及系统 |
| CN111696027B (zh) * | 2020-05-20 | 2023-04-07 | 电子科技大学 | 一种基于适应性注意力机制的多模态的图像风格迁移方法 |
| CN111724299B (zh) * | 2020-05-21 | 2023-08-08 | 同济大学 | 一种基于深度学习的超现实主义绘画图像风格迁移方法 |
| CN111652864A (zh) * | 2020-05-29 | 2020-09-11 | 沈阳铸造研究所有限公司 | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 |
| CN111667006A (zh) * | 2020-06-06 | 2020-09-15 | 大连民族大学 | 一种基于AttGan模型生成家族字体的方法 |
| CN111932438A (zh) * | 2020-06-18 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像风格迁移方法、设备及存储装置 |
| CN111739115B (zh) * | 2020-06-23 | 2021-03-16 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN111753908A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 图像分类方法和装置及风格迁移模型训练方法和装置 |
| CN112070658B (zh) * | 2020-08-25 | 2024-04-16 | 西安理工大学 | 一种基于深度学习的汉字字体风格迁移方法 |
| CN112070145B (zh) * | 2020-09-04 | 2024-05-28 | 世纪易联(北京)科技有限公司 | 基于对抗网络的水果图像的新鲜度属性迁移方法 |
| CN112164130B (zh) * | 2020-09-07 | 2024-04-23 | 北京电影学院 | 基于深度对抗网络的视频-动画风格迁移方法 |
| CN112163401B (zh) * | 2020-10-22 | 2023-05-30 | 大连民族大学 | 基于压缩与激励的gan网络的汉字字体生成方法 |
| CN112288622B (zh) * | 2020-10-29 | 2022-11-08 | 中山大学 | 一种基于多尺度生成对抗网络的伪装图像生成方法 |
| CN112307714B (zh) * | 2020-11-03 | 2024-03-08 | 武汉理工大学 | 一种基于双阶段深度网络的文字风格迁移方法 |
| CN112541856B (zh) * | 2020-12-07 | 2022-05-03 | 重庆邮电大学 | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 |
| CN113033595A (zh) * | 2020-12-24 | 2021-06-25 | 重庆大学 | 基于生成对抗网络的多标签汽车造型生成方法 |
| CN112598764B (zh) * | 2020-12-26 | 2023-02-21 | 福州大学 | 一种迁移场景风格的字符图像生成方法 |
| CN112446822B (zh) * | 2021-01-29 | 2021-07-30 | 聚时科技(江苏)有限公司 | 一种污损集装箱号图片的生成方法 |
| CN112861806B (zh) * | 2021-03-17 | 2023-08-22 | 网易（杭州）网络有限公司 | 基于生成对抗网络的字体数据处理方法及装置 |
| CN113140018B (zh) * | 2021-04-30 | 2023-06-20 | 北京百度网讯科技有限公司 | 训练对抗网络模型的方法、建立字库的方法、装置和设备 |
| CN113140017B (zh) * | 2021-04-30 | 2023-09-15 | 北京百度网讯科技有限公司 | 训练对抗网络模型的方法、建立字库的方法、装置和设备 |
| CN113096020B (zh) * | 2021-05-08 | 2023-01-17 | 苏州大学 | 基于平均模式生成对抗网络的书法字体创作方法 |
| CN113095038B (zh) * | 2021-05-08 | 2024-04-16 | 杭州王道控股有限公司 | 基于多任务辨别器生成对抗网络的字体生成方法及装置 |
| CN113421318B (zh) * | 2021-06-30 | 2022-10-28 | 合肥高维数据技术有限公司 | 一种基于多任务生成对抗网络的字体风格迁移方法和系统 |
| CN113553932B (zh) * | 2021-07-14 | 2022-05-13 | 同济大学 | 一种基于风格迁移的书法文字侵蚀修复方法 |
| CN113553797A (zh) * | 2021-08-04 | 2021-10-26 | 哈尔滨工业大学 | 一种端到端的风格一致的文字图像生成方法 |
| CN113792853B (zh) * | 2021-09-09 | 2023-09-05 | 北京百度网讯科技有限公司 | 字符生成模型的训练方法、字符生成方法、装置和设备 |
| CN113792850B (zh) | 2021-09-09 | 2023-09-01 | 北京百度网讯科技有限公司 | 字体生成模型训练方法、字库建立方法、装置及设备 |
| CN113792526B (zh) * | 2021-09-09 | 2024-02-09 | 北京百度网讯科技有限公司 | 字符生成模型的训练方法、字符生成方法、装置和设备和介质 |
| CN113792849B (zh) * | 2021-09-09 | 2023-09-01 | 北京百度网讯科技有限公司 | 字符生成模型的训练方法、字符生成方法、装置和设备 |
| CN113870157A (zh) * | 2021-09-26 | 2021-12-31 | 电子科技大学 | 一种基于CycleGAN的SAR图像合成方法 |
| CN114385883B (zh) * | 2021-12-07 | 2024-03-15 | 西北大学 | 一种在风格转换中近似模拟皴法的轮廓增强方法 |
| CN114781556B (zh) * | 2022-06-22 | 2022-09-02 | 北京汉仪创新科技股份有限公司 | 基于字符部件信息的字体生成方法、系统、设备和介质 |
| CN115310405A (zh) * | 2022-07-21 | 2022-11-08 | 北京汉仪创新科技股份有限公司 | 基于对抗生成网络的字体替换方法、系统、设备和介质 |
| CN115221842B (zh) * | 2022-08-31 | 2022-12-20 | 内江师范学院 | 一种基于小样本数据集的字体风格迁移方法、系统及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101777521B1 (ko) * | 2016-08-11 | 2017-09-11 | 숭실대학교산학협력단 | 스타일 변경이 가능한 폰트 생성 방법 및 장치 |
| US10621760B2 (en) * | 2018-06-15 | 2020-04-14 | Adobe Inc. | Synthesizing new font glyphs from partial observations |
| CN109190722B (zh) * | 2018-08-06 | 2021-05-04 | 大连民族大学 | 基于满文字符图片的字体风格迁移变换方法 |
| CN109753992B (zh) * | 2018-12-10 | 2020-09-01 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
-
2019
- 2019-07-30 CN CN201910696105.8A patent/CN110503598B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110503598A (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503598B (zh) | 基于条件循环一致性生成对抗网络的字体风格迁移方法 | |
| Wang et al. | Deepfont: Identify your font from an image | |
| CN109190722B (zh) | 基于满文字符图片的字体风格迁移变换方法 | |
| CN111242841B (zh) | 一种基于语义分割和深度学习的图片背景风格迁移方法 | |
| CN110533737A (zh) | 基于结构引导汉字字体生成的方法 | |
| CN110427989B (zh) | 汉字骨架自动合成方法及大规模中文字库自动生成方法 | |
| CN111859978A (zh) | 一种基于深度学习的情感文本生成方法 | |
| CN113343705B (zh) | 一种基于文本语义的细节保持图像生成方法及系统 | |
| CN110728219A (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| JP7282932B2 (ja) | フォント生成モデルトレーニング方法、字庫作成方法、装置及び機器 | |
| CN110852935A (zh) | 一种人脸图像随年龄变化的图像处理方法 | |
| CN108960301A (zh) | 一种基于卷积神经网络的古彝文识别方法 | |
| CN112036137A (zh) | 一种基于深度学习的多风格书法数字墨水仿真方法和系统 | |
| CN113538608B (zh) | 基于生成对抗网络的可控人物图像生成方法 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| He et al. | Diff-font: Diffusion model for robust one-shot font generation | |
| CN117058266B (zh) | 一种基于骨架和轮廓的书法字生成方法 | |
| CN112668543B (zh) | 一种手模型感知的孤立词手语识别方法 | |
| CN113065417A (zh) | 基于生成对抗式风格迁移的场景文本识别方法 | |
| CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和系统 | |
| CN111667006A (zh) | 一种基于AttGan模型生成家族字体的方法 | |
| CN115731453A (zh) | 汉字点选式验证码识别方法及系统 | |
| CN113112464B (zh) | 基于跨模态交流编码器的rgbd显著性物体检测方法及系统 | |
| CN114898464A (zh) | 一种基于机器视觉的轻量化精准手指语智能算法识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |