CN110533737A - 基于结构引导汉字字体生成的方法 - Google Patents

Abstract

本发明公开了一种基于结构引导汉字字体生成的方法，包括如下步骤：第一步，准备字体图像数据准备；第二步，提取字体图像的轮廓与骨架；第三步，采用编码器和解码器结构作为生成器，卷积神经网络作为判别器，构建生成对抗网络；第四步，利用标准字体图片、轮廓、骨架和目标字体图片数据集对构建的神经网络进行训练；第四步，将完整的标准字体输入到训练后的对抗生成网络的生成器中；本申请通过少量的目标字体训练生成对抗网络，即可得到完整的目标字体字库文件。通过这种方式，不仅使神经网络训练问题更容易处理，而且还使字形的轮廓和结构更加自然。

Description

基于结构引导汉字字体生成的方法

技术领域

本发明涉及一种生成汉字字体的方法，具体说是基于结构引导汉字字体生成的方法。

背景技术

随着互联网的兴起，现在越来越多的人喜欢在不同情况下使用个性化字体。一方面，不同得字体风格可以灵活地表达个性，赋予文本以作家独特的特征和标志。另一方面，个性化字体风格中的字形带来动态视觉感知，能够在各种社交网络媒体中吸引更多注意力。然而，创建手写中文字库仍然是一项耗时且费力的工作，具有较长的生产周期。现在电子设备上可用的手写字体主要由商业公司的专业字体设计者制作，字库的设计是一个非常耗时的工作，与只包含26个字母的英文字体库不同，常用字符集GB2312由6763个汉字组成，此外由于汉字的结构复杂，形状多样，也增加中文字库的制作难度。而目前，中文字库的制作大多依赖于人工经验和设计，即使由专业的字体设计人员来设计一套完整的字库也需要花费2-3年的时间，自动化程度很低，制作周期长，效率底下。

中国的汉字数量繁多，设计字库的过程繁琐复杂需要耗费大量的人力、物力和时间，随着人力成本上涨和市场需求及政策的推动下，人工智能的方式取得了快速发展，使得研究者对人工智能的关注度和社会大众对人工智能的憧憬空前提升。利用基于深度学习的方法使得能够以端到端的方式解决字体生成问题；首先，字体生成可以被视为图像风格迁移问题，其中参考样式中的字符被转换为特定样式，同时保持内容的一致性。另一方面，随着生成对抗网络(GAN)的发展，可以合成更真实和更高质量的字形。然而，整个生成过程是无法控制和不可预测的。在生成的字体中通常包含模糊和重影得伪图像。此外，对于具有复杂结构和或草书手写风格的字符，这些端到端方法通常产生具有不合理笔画或和不正确结构的结果。

发明内容

为解决现有技术存在的上述缺点，本申请提供一种基于结构引导汉字字体生成的方法，通过少量的目标字体训练生成对抗网络，将完整的标准字体生成其他剩余目标字体图片，从而得到完整的目标字体字库文件。

为实现上述目的，本申请的技术方案为：基于结构引导汉字字体生成的方法，包括如下步骤：

第一步，进行字体数据准备：将标准字体以及目标字体分别进行处理，生成标准字体图片、目标字体图片，并归一化到256*256的尺寸；

第二步，提取标准字体图像的轮廓与骨架，考虑到卷积核难以有效地提取这种单像素骨架图像的特征，将单像素宽度骨架广播到四个像素的宽度；

第三步，采用编码器和解码器结构作为生成器，卷积神经网络作为判别器，构建生成对抗网络；

第四步，利用标准字体图片、轮廓、骨架和目标字体图片数据集对构建的神经网络进行训练，得到训练后的对抗生成网络，并保存训练完成的参数；该网络为一种端到端的神经网络，不需要人工干预，即可对目标字体进行生成；

第五步，依次将完整的标准字体输入到训练后的对抗生成网络的生成器中，由训练后的对抗生成网络的生成器输入相对应的完整的目标字体；

第六步，构建模型评级体系，评级模型的字体生成质量。

进一步的，为了让本申请中的汉字字体生成网络的生成效果更好，根据汉字使用频率，以及汉字的笔画结构，选取最常用的670个汉字，构成目标字体数据集。将标准字库，以及设计师提供的包含670个目标字体汉字的字库转化为图片、轮廓和骨架，并且调整到大小为 256*256。字体的生成采用基于条件生成对抗网络的思想。输入的是参考字体图片、轮廓和骨架，输出的是目标字体的图像，将生成的目标字体图像和设计师提供的目标字体图像输入到判别器中，判断字体的类别。在第四步中，将完整的标准字体图片输入到训练好的神经网络中，即可得到完整的GB2312的6763个字体。

进一步的，在第三步中，采用编码器和解码器架构作为生成器，编码器输入的是字体图片、轮廓和骨架，大小为256*256，所述编码器包含5个向下采样层，每层采用一个卷积核为5×5步长为2的卷积层，批量规范化以及LReLu构成，编码得到向量；将编码得到的向量与字体类别嵌入向量进行连接，字体类别嵌入向量是一个64维的随机向量，使得网络在训练时能够更好的区分每种字体；送到解码器，解码器包含5个向上采样层，每层采用一个卷积核为5×5步长为2 的反卷积层，批量规范化以及ReLu，最终得到输出字体图像。为了减少编码过程中的字体特征损失，编码器与解码器的对应层进行跳跃连接。跳跃连接编码器和解码器的对应层。其中n为生成器网络层数， i为编码器层号，跳跃连接i层和n-i层。

进一步的，在第三步中，判别器采用卷积神经网络结构，判别器输入的是真实的字体图像以及由生成器生成的字体图像；判别器的作用是需要分辨他们。判别器采用3个级联的Conv-BN-LReLu网络结构，最后采用两层全连接神经网络。

进一步的，在第五步中，依据中文汉字的结构特征，笔画数量将汉字分为3种类别：简单、中等、困难3个类别，在3个类别中分别随机选择20个生成的字体进行图像质量定量评价：峰值信噪比、结构相似性、笔画完整性，进行模型的评价。

更进一步的，在生成对抗网络的训练中，结合使用对抗损失、字体类别损失、像素匹配损失来衡量生成对抗网络生成的字体与设计师提供的字体y之间的差异，并更新网络参数；其中，如公式1所示，假设参考字体服从Pdata分布，通过与判别器D的博弈，生成器将噪声Pz生成Pdata,在模型的训练阶段，生成器尝试生成真实的结果去欺骗判别器，而判别器的目标是分辨生成结果与真实结果间的区别；L_adv代表判别器对于生成图像与真实图像之间的判别损失；

其中，D(x)是判别器的结果，G(z)是生成器输出的结果；p_data表示真实样本分布；p_input表示噪声分布；E表示期望值

更进一步的，为了准确描述生成图像与真实图像的像素空间的相似程度，引入像素匹配损失函数，如公式2所示，其中：采用L₁距离来度量生成图像与真实图像在像素空间的匹配程度；

其中，p_data表示真实样本分布，p_input表示噪声分布，G_z代表生成器生成结果，x表示真实结果。

更进一步的，为了生成更高质量汉字字体图像，模型不仅要关心设计师提供的一种类型的字体风格，同时也要考虑其他字体的风格。所以在生成网络的解码器与编码器之间加入随机高斯噪声的类别嵌入，使模型能够同时学习多种字体样式。为了防止模型将样式混合之后生成与提供的标准字体不一样的结果，引入字体类别损失函数，本申请字体类别损失采用sigmoid交叉熵损失函数L_cate；

将3种损失函数组合起来，不同的损失函数具有不同的权重，采用加权求和的方式，字体生成对抗网络的损失函数L如公式(3)所示

L＝w_advL_adv+w₁L₁+w_cateL_cate (3)

其中，w_adv，w₁，w_cate为权重系数。

本发明由于采用以上技术方案，能够取得如下的技术效果：设计师只需要提供670个左右的字体，就能够生成全部的汉字字体。本申请将极大提高汉字字库的制作效率，减轻了字体设计对于人工的依赖，极大的缩短了字库制作的周期，使得字库的生成变得简单方便。而且为多个行业的应用和推广提供了可靠依据。能够丰富电影、电视、广告等数字媒体和文化行业的字体材料，为其多元化设计提供素材。

附图说明

图1为本申请的流程图；

图2为本申请的网络结构图；

图3为本申请字体生成效果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施中的技术方案进行清楚、完整的描述，可以理解的是，所描述的实例仅仅是本发明的一部分实例，而不是全部的实施例。基于本发明的实施例，本领域的技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明提供了一种根据少量的设计师提供的汉字字体，通过条件生成对抗网络，自动生成字体的方法。将标准汉字字库，以及设计师提供的包含少数汉字的字库转换为图片、轮廓和骨架。再训练对抗生成网络，获得训练好的神经网络。通过训练完成的神经网络，将设计师提供的少量字体生成全部具有设计师风格的图字体。

本发明流程图如图1所示，以及网络结构图如图2所示，具体实施步骤如下：

将设计师提供的目标字体，以及标准字体，本实施例选择标准字体为黑体，转化为图片格式，并调整大小，统一缩放到256*256尺寸。

构建对抗生成网络，结构如图2所示。在训练神经网络过程中。将标准字体图像输入到生成器中，生成具有目标字体风格的图像同时将目标字体图像与生成字体图像输入到判别器中，判别真伪，并计算损失函数。如公式(1)所示。对于判别器而言，希望网络生成的字体图像被判别出假的可能性越大越好。而生成网络希望生成的字体图像被判别为真的可能性越大越好。所以生成网络最小化损失函数，而判别网络最大化损失函数，调整网络参数。

计算像素匹配损失函数，计算与目标字体L₁距离。

计算字体类别损失函数，通过sigmoid交叉熵损失函数。

最后将3种误差进行加权求和，

L＝w_advL_adv+w₁L₁+w_cateL_cate (3)

其中，w_adv＝1，w_1＝100，w_cate＝1为权重系数。

网络训练完成之后，将标准字体图像输入到网络的生成器中，即可生成完整的具有目标字体风格的字体。

如图2所示，字体生成模型包含两个部分：解码和编码。输入骨架图像首先缩小为以笔画类别信息为条件的高级语义特征。然后，编码部分以粗到细的方式估计骨架得流动值。编码部分包含一系列步长为2的卷积层，使得总下采样因子为64.网络的编码部分逐渐地非线性地对编码结果进行上采样，同时考虑来自收缩部分的特征。为了解开不同的字体样式并学习不同笔画类别的特征，还将编码部分的编码结果与类别嵌入和字体轮廓嵌入相结合，表示出现在目标字符中的字体类别和字体轮廓。

采用分层预测架构，并从低分辨率(5×5)的卷积核开始，每次将反卷积结果与来自相应对比层的特征图和上采样粗流估计相连接。以这种方式，网络能够保留更多细节并逐步地重新估计结果。此外，在每个连接操作后添加一个额外的卷积层，其中步长为1，以使估计的流动尽可能平滑。

损失函数。以端到端的方式训练整个堆叠网络，并同时监督两个阶段。累积多尺度损失，总损失定义为所有尺寸的加权损失之和。其中每个损耗层的重量随尺寸增加，和损表示阶段i中的端点误差，预测流动矢量与所有像素上的地面实况之间的平均欧几里德距离。

图像轮廓中每个像素的笔划类别可以被视为汉字中的一种语义信息。在编码部分中的每个卷积层之后使用空间特征变换(SFT)层。SFT层尝试基于类别先验学习变换的参数，然后将其应用于中间特征映射。此处，类别优先级定义为

S＝(S₁，S₂，S₃，S_k，...，S_k)

其中表示像素(i∈I_r)是否属于笔划类别k，k是笔划类别的总数。SFT层的输入是特征映射和来自笔划类别映射S的编码结果的条件。该层通过各个卷积层学习参数α^j和β^j以产生具有相同维度的输出。然后有

其中表示SFT层的输出，表示逐元素乘法。

将本申请的方法与最近提出的一些方法进行比较，以证明方法的有效性。此外，还对结果进行了定量分析。然后，进行用户研究以定性地测量现实主义和风格相似性。最后，通过本方法生成的样式呈现的文本被说明，以指示其在实际应用中的可行性。

如图3所示，本方法可以产生逼真的高质量结果，在视觉外观上显示出优于其他方面的优势。虽然基于深度学习的方法(“pix2pix”，“DCFont”和“zi2zi”)能够传输整体字体样式，但生成的结果仍然是低质量的。当放大细节时，合成字形中经常存在模糊和严重的伪像，特别是对于那些结构复杂的字形(见图3(a),(c),(e))。对于充分利用汉字领域知识的基于CG的方法，它们在某种程度上可以保证结构的正确性。然而，它无法精确捕捉整体特征以及局部细节，因此缺乏风格相似性(见图3(b))。当目标字体样式中的字形看起来与那些中的字形显着不同时参考样式，上面提到的两种方法都会产生质量差的合成结果(见图3(c))。相反，本申请提出的方法不仅保证了结构的正确性，而且保留了轮廓上的时尚细节.除了视觉外观，本申请的方法在定量测量方面也优于其他方法。

Claims (8)

1.基于结构引导汉字字体生成的方法，其特征在于，包括如下步骤：

第一步，进行字体数据准备：将标准字体以及目标字体分别进行处理，生成标准字体图片、目标字体图片；

第二步，提取标准字体图像的轮廓与骨架，将单像素宽度骨架广播到四个像素的宽度；

第三步，采用编码器和解码器结构作为生成器，卷积神经网络作为判别器，构建生成对抗网络；

第四步，利用标准字体图片、轮廓、骨架和目标字体图片数据集对构建的神经网络进行训练，得到训练后的对抗生成网络，并保存训练完成的参数；

第五步，依次将完整的标准字体输入到训练后的对抗生成网络的生成器中，由训练后的对抗生成网络的生成器输入相对应的完整的目标字体；

第六步，构建模型评级体系，评级模型的字体生成质量。

2.根据权利要求1所述基于结构引导汉字字体生成的方法，其特征在于，在第三步中，采用编码器和解码器架构作为生成器，编码器输入的是字体图片、轮廓和骨架，所述编码器包含5个向下采样层，每层采用一个卷积核为5×5步长为2的卷积层，批量规范化以及LReLu构成，编码得到向量；将编码得到的向量与字体类别嵌入向量进行连接，字体类别嵌入向量是一个64维的随机向量；然后送到解码器，所述解码器包含5个向上采样层，每层采用一个卷积核为5×5步长为2的反卷积层，批量规范化以及ReLu，最终得到输出字体图像。

3.根据权利要求2所述基于结构引导汉字字体生成的方法，其特征在于，编码器与解码器的对应层进行跳跃连接，其中n为生成器网络层数，i为编码器层号，跳跃连接i层和n-i层。

4.根据权利要求1所述基于结构引导汉字字体生成的方法，其特征在于，在第三步中，判别器采用卷积神经网络结构，判别器输入的是真实的字体图像以及由生成器生成的字体图像；判别器采用3个级联的Conv-BN-LReLu网络结构，最后两层采用全连接神经网络。

5.根据权利要求1所述基于结构引导汉字字体生成的方法，其特征在于，在第六步中，依据中文汉字的结构特征，笔画数量将汉字分为3种类别：简单、中等、困难，在3个类别中分别随机选择20个生成的字体进行图像质量定量评价：峰值信噪比、结构相似性、笔画完整性。

6.根据权利要求1所述基于结构引导汉字字体生成的方法，其特征在于，在生成对抗网络的训练中，结合使用对抗损失、字体类别损失、像素匹配损失来衡量生成对抗网络生成的字体与设计师提供的字体y之间的差异，并更新网络参数；其中，如公式1所示，假设参考字体服从Pdata分布，通过与判别器D的博弈，生成器将噪声Pz生成Pdata,在模型的训练阶段，生成器尝试生成真实的结果去欺骗判别器，而判别器的目标是分辨生成结果与真实结果间的区别；L_adv代表判别器对于生成图像与真实图像之间的判别损失；

其中，D(x)是判别器的结果，G(z)是生成器输出的结果；p_data表示真实样本分布；p_input表示噪声分布；E表示期望值。

7.根据权利要求6所述基于结构引导汉字字体生成的方法，其特征在于，为了准确描述生成图像与真实图像的像素空间的相似程度，引入像素匹配损失函数，如公式2所示，其中：采用L₁距离来度量生成图像与真实图像在像素空间的匹配程度；

其中，p_data表示真实样本分布，p_input表示噪声分布，G_z代表生成器生成结果，x表示真实结果。

8.根据权利要求7所述基于结构引导汉字字体生成的方法，其特征在于，在生成网络的解码器与编码器之间加入随机高斯噪声的类别嵌入，使模型能够同时学习多种字体样式；引入字体类别损失函数，字体类别损失采用sigmoid交叉熵损失函数L_cate；

将3种损失函数组合起来，不同的损失函数具有不同的权重，采用加权求和的方式，字体生成对抗网络的损失函数L如公式(3)所示

L＝w_advL_adv+w₁L₁+w_cateL_cate(3)

其中，w_adv，w₁，w_cate为权重系数。