CN109064522A - 基于条件生成对抗网络的汉字字体生成方法 - Google Patents

Abstract

基于条件生成对抗网络的汉字字体生成方法，涉及汉字字体生成。使用中心骨架提取及相干点漂移方法提取汉字位图的笔画信息；用条件对抗生成网络生成新风格的笔画。扩宽了连宙辉提取笔画方法，将笔画提取从无粗细信息的手写字体扩展到有笔画粗细信息的汉字位图；在字体生成上，提出的方法具有生成结果多样、训练过程简单、无需特殊先验知识、耗费人力时间少的优点。

Description

基于条件生成对抗网络的汉字字体生成方法

技术领域

本发明涉及汉字字体生成，尤其是涉及基于条件生成对抗网络的汉字字体生成方法。

背景技术

对于中文来说，由于汉字字符数量多、笔画复杂，一套完整的字库通常需要包含GBK编码的两万多个汉字，这需要至少5到6人年的数量，因此设计一套新字库是一项艰巨的工程，由此也导致汉字的字库数量较少。

字体生成方面目前主要还是使用一些传统的方法。这些方法需要预先由专家建立模型，将汉字分成诸如部首、笔画等多个层级，依靠重新组合层级内部件，或者是用复杂的控制参数控制形状的特征，生成新的字体。字体生成一直是一个比较活跃的研究方向，汉字由于复杂的结构和众多的数量，汉字字体的生成相较于英文字体生成难度和复杂度都更高。

汉字生成模型可以分为基于笔迹的和基于图像的。基于笔迹模型方面的工作[1]主要是将汉字表示为一系列状态值，每个状态值包含了是起笔还是落笔，相对上一笔的坐标等信息，使用RNN来训练。这种方式可以生成较好的生成无宽度信息的字体，对于轮廓描述不够理想，不好表示字体风格，训练时间漫长。

基于图像的方法大多是将汉字拆分成笔画或者更多的层次，对笔画重新组合来生成新字体。连宙辉[2]提出通过拆分笔画，用两个只有一个隐含层的全连接人工神经网络来拟合参考字体到目标字体笔画相对位置及笔画形状的映射，达到用少量手写汉字来生成大量相同风格手写字体的效果。这种方法只适用于无宽度信息的手写字体，并且需要人为设定的地方较多。Alfred Zong提出的StrokeBank模型[3]将标准字体和目标字体分解成若干组件，采用方向线素特征和傅里叶谱作为描述子来生成StrokeBank.。生成时将对应字分解成组件，在StrokeBank中找最佳的映射集合得到对应组件，将组件重新组合起来得到对应的字体。这种方法并不生成新的笔画，而是使用之前分解出来的笔画。Songhua Xu[4]提出使用一个形状语法的衡量某个字Y来自字体X的似然概率。对要新生成的字，用现成的能生成字体的方法先生成它，加上一些能控制视觉效果的参数，利用梯度下降改变这些参数来提高来自目标字体的似然概率。这种方法需要字体方面的专业知识，对视觉效果参数的选取也不轻松。马小虎[5]提出的将曲线轮廓看作为一粒子以恒定速度做周期运动的路径，抽取出的笔画轮廓可以表示为时间t的周期函数，将周期函数表示成傅立叶级数的形式，通过对傅立叶级数加入随机噪声或者计算两个字体的傅立叶级数表示的插值得到新字体。使用无限多项级数来表示并不现实，通常只取前20至25项傅立叶级数作为字体的表示，这在某些时候会导致拟合结果不佳，特别是那些棱角比较分明的字体。

目前，对笔画的提取主要有三类方法：一类是直接从原本的汉字位图中提取，另一类是通过汉字轮廓提取，最后一类是对位图做细化后从细化得到的骨架上提取。

Ruini Cao[6]提出的方法可以作为直接从汉字位图上提取笔画的典型。这种方法需要对汉字上所有像素点，在多个方向上计算点到边界的距离PBOD(point-to-boundaryorientation distance)和边界到边界的距离BBOD(boundary-to-boundary orientationDistance)，筛选出峰值，投影到三维空间里。寻找三维空间里的联通域，再投影回二维空间，每个联通域即为一个笔画。这种方法利用笔画宽度、方向等信息，但操作复杂，运算时间长，峰值等筛选的阈值对结果影响很大。另外，这种方法对类似“口”这样的结构无法正确划分。

程立[7]提出的基于轮廓的笔画抽取办法定义了五种的笔画交叉的情形，在找出轮廓上特殊的点(凹点)后，根据五种不同情形将凹点进行重新连接，达到分离笔画的目的。这种方法对比较工整的字效果很好，但对艺术化程度较高的字效果不佳。

细化后的骨架保留了笔画长度、方向等基本特征，冗余信息较少，得到比较多的研究。大部分方法是通过处理骨架上的端点和交叉点来分离笔画，如章夏芬[8]提出的爬虫法提取笔画，使用爬虫在细化骨架上根据书写规则探测路径，在路径交叉处根据一些预先定义的规则分裂路径，最后分出笔画。由于骨架常常不够规整，分叉处的情况往往比较复杂，这种方法并不能很好覆盖所有情况。连宙辉提出用相干点漂移(Coherent Point Drift)的方法，在已有笔画数据标注的情况下，对骨架采样点，做点集的映射，得到骨架上点对应的笔画信息。这种方法不用什么先验知识，能取得较好的结果。

生成对抗网络(Generative Adversarial Nets)[9]是一种无需预先对数据分布建模，利用网络自动拟合分布的深度网络模型。条件对抗生成网络[10]在在生成对抗网络的基础上，多添加一个输入作为条件，约束网络学习特定条件下的目标分布。为解决生成对抗网络训练过程中梯度消失等问题，Xudong Mao[11]提出最小平方生成式对抗网络来提高对抗网络收敛的稳定性与速度。

参考文献：

[1]Zhang X Y,Yin F,Zhang Y M,et al.Drawing and Recognizing ChineseCharacters with Recurrent Neural Network[J].2016.

[2]Lian Z,Zhao B,Xiao J.Automatic generation of large-scalehandwriting fonts via style learning[C]//SIGGRAPH ASIA 2016 TechnicalBriefs.ACM,2016:12.

[3]Zong A,Zhu Y.StrokeBank:automating personalized chinesehandwriting generation[C]//Twenty-Eighth AAAI Conference on ArtificialIntelligence.AAAI Press,2014:3024-3029.

[4]Xu S,Jin T,Jiang H,et al.Automatic Generation of Personal ChineseHandwriting by Capturing the Characteristics of Personal Handwriting[C]//Conference on Innovative Applications of Artificial Intelligence,July 14-16,2009,Pasadena,California,Usa.DBLP,2009.

[5]马小虎,刘玉龙,潘志庚,等.曲线轮廓汉字自动生成及其变形方法[J].中文信息学报,1999,13(2):46-50.

[6]Tan C L,Cao R.A model of stroke extraction from Chinese characterimages[C]//International Conference on Pattern Recognition,2000.Proceedings.IEEE Xplore,2000:368-371vol.4.

[7]程立,王江晴,李波,等.基于轮廓的汉字笔画分离算法[J].计算机科学,2013,40(7):307-311.

[8]章夏芬,刘佳岩.用爬虫法提取书法笔画[J].计算机辅助设计与图形学学报,2016,28(2):301-309.

[9]Goodfellow I J,Pougetabadie J,Mirza M,et al.Generative AdversarialNets[J].Advances in Neural Information Processing Systems,2014,3:2672-2680.

[10]Mirza M,Osindero S.Conditional Generative Adversarial Nets[J].Computer Science,2014:2672-2680.

[11]Mao X,Li Q,Xie H,et al.Least Squares Generative AdversarialNetworks[J].2017.

发明内容

本发明的目的是针对传统的预先由专家建模的方法耗费人力和时间的缺点，考虑自动化操作，提供基于条件生成对抗网络的汉字字体生成方法。

本发明包括以下步骤：

1)使用中心骨架提取及相干点漂移方法提取汉字位图的笔画信息；

2)用条件对抗生成网络生成新风格的笔画。

在步骤1)中，所述使用中心骨架提取及相干点漂移方法提取汉字位图的笔画信息的具体方法可为：

(1)自动提取汉字骨架轮廓；

(2)通过骨架上采样点集映射的方式抽取出汉字笔画信息；

(3)将抽取的笔画信息自动聚类；

(4)对多种风格笔画及其聚类信息送入最小平方条件生成对抗网络训练。

在步骤2)中，所述用条件对抗生成网络生成新风格的笔画的具体方法可为：

(1)输入随意风格字体汉字，提取相应笔画信息；

(2)用最小平方条件生成对抗网络生成指定风格特定笔画；

(3)重新组合生成汉字。

本发明的优点如下：

本发明扩宽了连宙辉提取笔画方法，将笔画提取从无粗细信息的手写字体扩展到有笔画粗细信息的汉字位图；在字体生成上，本发明提出的方法具有生成结果多样、训练过程简单、无需特殊先验知识、耗费人力时间少的优点。

附图说明

图1为笔画抽取中对应点匹配的迭代过程；

图2为最小平方条件生成对抗网络的结构；

图3为字体生成结果。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明的字体生成系统总体流程框架主要分成网络训练和字体生成两大部分。

网络训练部分首先是将两种字体分别抽取笔画，将笔画聚类，用one-hot编码表示的笔画类别信息和字体类别信息作为条件，笔画位图作为训练样本，送入最小平方对抗网络中训练。

给定两个点集合X和Y，并且集合Y可以看作是高斯混合模型的中心，使用EM算法来计算拟合点集X的最大似然估计。相干点漂移算法广泛用于图像配准，而本发明中笔画提取的关键问题是两个点集的匹配。因此，本发明的笔画提取中引入了相干点漂移算法。同时，采用一种策略来控制笔画宽度。对于汉字位图中的每个像素，应该计算出骨架与它之间的距离，然后确定它属于哪个笔画。例如，给定像素p₁，汉字骨架的笔划集{s₁，s₂，...，s_m}和阈值r，如果p₁与s_i之间的距离小于r，则可以知道p₁一定概率下属于s_i。同时，一个像素可能属于多个笔划。最佳像素分配解决方案将通过循环迭代找到。

在笔画抽取过程中，从笔画库中随机抽取的一些点组成点集Y，同时将每个点的位置和笔画类型也保留下来。从汉字中提取骨架，并随机从骨架中采样生成点集X.相干点漂移算法将用于在每次迭代中更新点集Y.附图1显示了从两个不同“永”字上采集到的点做匹配对的迭代更新过程。从附图1中可以看出，相干点漂移算法可以较好的得到点集Y到点集X的映射关系。对于点集X的每个点，在点集Y中找到最近邻点，并根据最近邻点的笔画信息来判断点集X中点所属笔画，从而对骨架分割出不同笔画。

对于完整的汉字位图上的每一个像素点，若其到骨架上某点的距离小于某个阈值，则认为其和骨架上该点属于同一笔画。位图上的像素点可能归属于多个笔画。在循环遍历处理完所有像素点后，就可以得到抽取出来的笔画。

采用上述方法对常用字进行笔画的抽取，将笔画中心移到图像的中心来去除笔画的相对位置信息，得到仅包含单个笔画的位图。

构成汉字的基本笔画包括点、横、竖、撇、捺、折等，并且每个基本笔画都可以进一步细分。例如，基本笔画“横”可以按长度分为“长横”和“短横”。手动分类笔画费时费力。本发明采用k-means聚类算法自动构建笔画库，将笔画分成200个类别。在聚类过程中，两个笔画之间的距离由下面公式度量。

S和T分别表示两个需要度量对笔画图像，S_i,j和T_i,j表示图像上横坐标为i，j上的点的像素值，D统计的是两张笔画图像对应位置上像素差的平均值。汉字笔画抽取算法如表1所示。

表1

在原始的对抗生成网络中，无法对生成图像进行控制。同时，原始GAN采用sigmoid交叉熵损失函数，当更新生成网络而生成的样本位于决策边界附近时，可能导致消失梯度问题，这将导致不收敛。为提高生成对抗网络生成新汉字的可控性和稳定性，本发明提出了两点改进。

首先，本发明对网络模型加了字体笔画信息和风格信息的条件约束，这可以帮助生成指定目标的笔画图像。其次，本发明使用最小平方损失函数来代替原本的sigmoid交叉熵损失函数，这已经被验证过会提高对抗生成网络训练的稳定性及加快收敛速度。

字体生成与笔画和字体类型相关联，因此附加到对抗生成网络的条件信息由笔画类型和字体类型组成，将笔画的类别变成一个one-hot向量，将字体的类别作为另一个one-hot向量，连接两个向量得到一个202维向量作为网络的条件。

生成器包含四层结构。第一层是一个将条件信息与随机噪声结合成50维向量的全连接层。第二层也为全连接层，将输入扩展成8×8×128维。最后两层都为反卷积层，卷积核大小分别为5×5×128及5×5×1,步长都为2，最终输出32×32×1的图像。

判别器包含五层结构。与生成器类似，第一层将条件信息映射成50维向量。第二层与第三层都是卷积层，卷积核大小分别为5×5×51及5×5×114，步长都为2。最后两层为全连接层，输出分别为1024维和1维。

网络结构如附图2所示，左边部分为生成器，右边部分为判别器。y₁,y₂对应着笔画类别条件和字体风格条件，z为从随机高斯分布中采样得到的随机噪声。fc、conv、deconv分别表示全连接层、卷积层和反卷积层，具体参数如图中所示。

所述判别器及生成器损失函数如下：

其中，y₁,y₂分别表示笔画类别条件和字体风格类型条件，Φ(y₁,y₂)是y₁,y₂条件的非线性融合。D函数代表判别器，表示在给定条件对情况下，输入为真实样本的概率。G函数代表生成器，在给定条件情况下，将随机噪声映射为一个笔画图片。D(x|Φ(y₁，y₂))表示真实样本在判别器的输出，该输出应该尽可能接近1。而D(G(z)|Φ(y₁，y₂))表示生成样本在判别器的输出。对于判别器而言，该值应该尽可能接近0；对于生成器而言，该值应该尽可能接近1。实际训练过程中，将根据两个损失函数，迭代交替地训练生成器和判别器，达到对抗训练的目的。

在需要生成新字体时，输入一张汉字的位图，用上述方法提取出笔画，使用kNN分类算法找出各个笔画对应的类别，将类别信息和需要的字体信息作为条件用上文训练好的生成网络来生成目标字体的笔画。将笔画重新拼接组合成目标字体。附图3显示了字体生成的结果，每行对应一个汉字，最左边一列和最右边一列为两种现有风格字体，中间部分为算法插值生成的结果。从附图3中可以看出，本发明确实能有效生成融合两种目标风格的新字体。

Claims (3)

1.基于条件生成对抗网络的汉字字体生成方法，其特征在于包括以下步骤：

1)使用中心骨架提取及相干点漂移方法提取汉字位图的笔画信息；

2)用条件对抗生成网络生成新风格的笔画。

2.如权利要求1所述基于条件生成对抗网络的汉字字体生成方法，其特征在于在步骤1)中，所述使用中心骨架提取及相干点漂移方法提取汉字位图的笔画信息的具体方法为：

(1)自动提取汉字骨架轮廓；

(2)通过骨架上采样点集映射的方式抽取出汉字笔画信息；

(3)将抽取的笔画信息自动聚类；

(4)对多种风格笔画及其聚类信息送入最小平方条件生成对抗网络训练。

3.如权利要求1所述基于条件生成对抗网络的汉字字体生成方法，其特征在于在步骤2)中，所述用条件对抗生成网络生成新风格的笔画的具体方法为：

(1)输入随意风格字体汉字，提取相应笔画信息；

(2)用最小平方条件生成对抗网络生成指定风格特定笔画；

(3)重新组合生成汉字。