CN113095158A - 一种基于对抗生成网络的笔迹生成方法及装置 - Google Patents

Abstract

本发明提供的一种基于对抗生成网络的笔迹生成方法及装置，通过根据相同文字规则，获取笔迹图像对；对笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；迭代将输入样本集中的样本输入至学习网络中，以使学习网络中的生成网络生成待判别笔迹图像，学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数，调整学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。因此本发明可以提高生成笔迹字符的实时性、鲁棒性，达到司法笔迹鉴定要求。

Description

一种基于对抗生成网络的笔迹生成方法及装置

技术领域

本发明属于图像识别处理领域，具体涉及一种基于对抗生成网络的笔迹生成方法及装置。

背景技术

笔迹生成是通过对待测文本和样本笔迹的相似度进行比较，来模仿样本笔迹风格生成笔迹图像的一种生成技术，其主要应用于笔迹鉴定，在司法鉴定、法庭科学以及金融领域合同确认等多个领域都有重要作用。笔迹生成可以解决笔迹鉴定中长时间存在的难以获取数据的困扰，数据要求的苛刻条件让很多笔迹鉴定算法表现不佳。

早期的研究者通过构造有效的手工特征方法对笔画质量、字符的倾斜程度、单词连笔程度，以及字母整体结构等信息进行建模，以提取相关笔迹的纹理特征，生成笔迹效率低，准确度差。近年来，随着深度神经网络技术的不断发展，利用其自主学习的优势提取相关特征，可以大大提高笔迹生成的效果。

2015年Gatys首次提出了利用卷积神经网络对图像风格特征进行提取，其结果表明卷积神经网络确实可以有效的提取图像风格，与其他内容图像结合可以实现风格迁移。李飞飞等人于2016年提出一种“单步骤”风格迁移的，将神经网络不同层级的损失项作为最终的优化目标函数，使得笔迹生成的效果与速度都达到新的水平。上述方法虽然取得了一定的效果，且存在实时性较差、鲁棒性不强等缺点，其生成效果不能达到司法笔迹鉴定的要求。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于对抗生成网络的笔迹生成方法及装置。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明提供的一种基于对抗生成网络的笔迹生成方法包括：

根据相同文字规则，获取笔迹图像对；

对所述笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

迭代将所述输入样本集中的样本输入至学习网络中，以使所述学习网络中的生成网络生成待判别笔迹图像，所述学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数，调整所述学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

优选的，所述根据相同文字规则，获取笔迹图像对的步骤包括：

读取源文件以及目标文件中的共同字符；

将所述共同字符转化为笔迹图像对；

将所述笔迹图像对进行缩放，以使所述笔迹图像对的大小相同。

优选的，所述对所述笔迹图像对进行扩充，以达到预设的样本数包括：

对所述笔迹图像对在方向、噪声、大小、偏移量、旋转角度上进行预处理，以扩充所述笔迹图像对的数量至预设的样本数。

优选的，所述生成网络包括：编码器以及解码器，所述生成网络用于通过编码器以及解码器将所述样本中3维、64维、128维、256维、512维特征融合为一体，生成待判别笔迹图像。

优选的，所述基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数包括：

对所生成网络的损失函数以及判别网络的损失函数加权求和，确定所述学习网络的损失函数。

优选的，所述生成网络的损失函数为：

所述判别网络的损失函数为：

所述学习网络的损失函数为：

其中，G表示生成网络，D表示判别网络，x表示输入源字体，y表示真实字迹，z表示添加噪声向量，λ表示调节因子，用于平衡生成网络的损失函数以及判别网络的损失函数。

优选的，所述将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符包括：

将需求字符图像输入至所述训练完成的学习网络，当所述需求字符图像中包含多个字符时，将所述训练完成的学习网络生成的笔迹字符进行纵向拼接，获得与目标笔迹更相近的笔迹字符。

优选的，所述判别网络为PatchGAN网络，所述PatchGAN网络将所述待判别笔迹图像分为多个块，并判别每个块的真伪，投票确定所述待判别笔迹图像的真伪。

第二方面，本发明提供的一种基于对抗生成网络的笔迹生成装置包括：

获取模块，用于根据相同文字规则，获取笔迹图像对；

扩充模块，用于对所述笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

训练模块，用于迭代将所述输入样本集中的样本输入至学习网络中，以使所述学习网络中的生成网络生成待判别笔迹图像，所述学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数，调整所述学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

生成模块，用于将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

优选的，所述获取模块，具体用于：

读取源文件以及目标文件中的共同字符；

将所述共同字符转化为笔迹图像对；

将所述笔迹图像对进行缩放，以使所述笔迹图像对的大小相同。

本发明提供的一种基于对抗生成网络的笔迹生成方法及装置，通过根据相同文字规则，获取笔迹图像对；对笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；迭代将输入样本集中的样本输入至学习网络中，以使学习网络中的生成网络生成待判别笔迹图像，学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数，调整学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。因此本发明可以提高生成笔迹字符的实时性、鲁棒性，达到司法笔迹鉴定要求。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于对抗生成网络的笔迹生成方法的流程示意图；

图2是笔迹图像对的示意图；

图3是学习网络训练过程示意图；

图4是伪造签名生成示例图；

图5是处理输入字符样本的过程示意图；

图6是笔迹特征提取及生成过程示意图；

图7是生成网络的结构示意图；

图8是生成网络的测试输出结果图；

图9是学习网络输出的结果与输入对比图；

图10是本发明实施例提供的一种基于对抗生成网络的笔迹生成装置的结构图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

如图1所示，本发明提供的一种基于对抗生成网络的笔迹生成方法，包括：

S1，根据相同文字规则，获取笔迹图像对；

其中，笔迹图像对包括源字体以及目标字体，源字体是指可以参考的字体，目标字体是指目标人物撰写的字迹。

如图2所示，图2为笔迹图像对的示意图。在数据准备方面，本发明可以准备两个字体数据样本。分别为源字体图像集和目标字体的图像集。在实际运行时仅需甄选出100个共同字符，通过调整图像大小将每对字符生成相应的字符对图像。

S2，对笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

S3，迭代将输入样本集中的样本输入至学习网络中，以使学习网络中的生成网络生成待判别笔迹图像，学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数，调整学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

其中，迭代截止条件包括训练次数以及损失函数最小。

本发明通过对比源字体与目标字体的笔迹风格差异，利用生成网络输出与目标字体更为相近的字符，通过梯度下降的方式不断缩小目标字体与源字体的差别，从而使得学习网络学习如何生成具有目标字体笔迹风格的字迹。

S4，将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

其中，目标笔迹是指目标人物撰写的真实笔迹。

参考图3，为了尽可能利用到笔迹特征的各层级的特征，本发明利用UNet网络的结构特点，对输入图像进行多尺度的融合，使得生成的笔迹既有了深层的语义特征，也同时具备浅层的细节特征。

参考图4，图4为本发明最终生成的伪造签名字迹的示例图，通过此种方式生成与目标笔迹更接近的笔迹字迹，可以提供给鉴定人员作为参考。

本发明提供的一种基于对抗生成网络的笔迹生成方法，通过根据相同文字规则，获取笔迹图像对；对笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；迭代将输入样本集中的样本输入至学习网络中，以使学习网络中的生成网络生成待判别笔迹图像，学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数，调整学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。因此本发明可以提高生成笔迹字符的实时性、鲁棒性，达到司法笔迹鉴定要求。

实施例二

作为本发明一种可选的实施例，参考图5，根据相同文字规则，获取笔迹图像对的步骤包括：

步骤一：读取源文件以及目标文件中的共同字符；

步骤二：将共同字符转化为笔迹图像对；

步骤三：将笔迹图像对进行缩放，以使笔迹图像对的大小相同。

实施例三

作为本发明一种可选的实施例，对笔迹图像对进行扩充，以达到预设的样本数包括：

对笔迹图像对在方向、噪声、大小、偏移量、旋转角度上进行预处理，以扩充笔迹图像对的数量至预设的样本数。

在实际扩充时，可以对笔迹图像对在方向、噪声、大小、偏移量、旋转角度等多个方面对图像对进行数据增强，使得原本的少量样本扩充为原先的10倍，满足训练数据要求。本发明为深度训练提供大量训练样本，节省大量搜集数据的成本与时间。同时也可以为笔迹鉴定样本提供参考数据，使得训练数据正负样本平衡。

实施例四

作为本发明一种可选的实施例，生成网络包括：编码器以及解码器，生成网络用于通过编码器以及解码器将样本中3维、64维、128维、256维、512维特征融合为一体，生成待判别笔迹图像。

参考图5以及图6，在图5中样本输入生成网络后，将输入的笔迹图像缩放至256×256的大小，经过多次的卷积、池化、归一化得到笔迹的特征向量。将得到的笔迹特征向量不断上采样，结合编码层的特征进行多尺度特征融合，完成最终的笔迹生成。

参考图6，该生成网络具有多尺度特征融合的特点，可以将笔迹3维、64维、128维、256维、512维特征有机的融合为一个整体，能够充分的提取源笔迹与目标笔迹浅层与深层次之间的差异，从而得到更准确的生成结果。

实施例五

作为本发明，基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数包括：

对所生成网络的损失函数以及判别网络的损失函数加权求和，确定学习网络的损失函数。

其中，生成网络的损失函数为：

判别网络的损失函数为：

学习网络的损失函数为：

其中，G表示生成网络，D表示判别网络，x表示输入源字体，y表示真实字迹，z表示添加噪声向量，λ表示调节因子，用于平衡生成网络的损失函数以及判别网络的损失函数。

可以理解，在度量生成网络的效果方面，本发明使用鼓励更少模糊的范数损失L1，在度量判别网络的效果方面，本发明取判别结果的对数的欧式距离作为损失函数，最终由于生成网络G需要最小化函数值，D需要最大化函数值，分别对生成器损失函数与判别器损失函数进行加权求和，得到最终的损失函数。

作为本发明一种可选的实施例，将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符包括：

将需求字符图像输入至训练完成的学习网络，当需求字符图像中包含多个字符时，将训练完成的学习网络生成的笔迹字符进行纵向拼接，获得与目标笔迹更相近的笔迹字符。

如图7所示，经过多次迭代的训练，生成网络生成的字符已经通过了判别网络的测试，每一个生成的字符样本基本符合预期输出。依次输入需求字符图像到生成网络，对于输出的每个字符，进行图像的拼接得到与目标笔迹更相近的笔迹字符。参考图8，最终将每行字符进行纵向的拼接便可得到文本的笔迹风格转换。图8中左图为输入的原始字符集合，右图为经过训练学习网络输出的字符集合。

为了使得最终生成的字迹结果更加复合人工手写特点，本专利在最终的拼接环节前对每个输出字符进行进一步的数据调整，整合网络学习到的人工手写特性，拼接中使得每个字符空间搭配符合人类手写习惯。

实施例六

作为本发明一种可选的实施例，判别网络为PatchGAN网络，PatchGAN网络将待判别笔迹图像分为多个块，并判别每个块的真伪，投票确定待判别笔迹图像的真伪。

本发明采用PatchGAN网络作为判别网络，该网络将图像分为多个pacth，判断每个patch的真伪，最后投票确定整张图片的真伪。该判别网络可以突出图像的高频细节，且参数量小，速度快。

实施例七

如图9所示，本发明提供的一种基于对抗生成网络的笔迹生成装置包括：

获取模块91，用于根据相同文字规则，获取笔迹图像对；

扩充模块92，用于对笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

训练模块93，用于迭代将输入样本集中的样本输入至学习网络中，以使学习网络中的生成网络生成待判别笔迹图像，学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数，调整学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

生成模块94，用于将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

实施例八

作为本发明一种可选的实施例，获取模块，具体用于：

读取源文件以及目标文件中的共同字符；

将共同字符转化为笔迹图像对；

将笔迹图像对进行缩放，以使笔迹图像对的大小相同。

作为本发明一种可选的实施例，扩充模块，具体用于：

对笔迹图像对在方向、噪声、大小、偏移量、旋转角度上进行预处理，以扩充笔迹图像对的数量至预设的样本数。

作为本发明一种可选的实施例，生成网络包括：编码器以及解码器，生成网络用于通过编码器以及解码器将样本中3维、64维、128维、256维、512维特征融合为一体，生成待判别笔迹图像。

作为本发明一种可选的实施例，基于生成网络的损失函数以及判别网络的损失函数，确定学习网络的损失函数包括：

对所生成网络的损失函数以及判别网络的损失函数加权求和，确定学习网络的损失函数。

作为本发明一种可选的实施例，生成网络的损失函数为：

判别网络的损失函数为：

学习网络的损失函数为：

其中，G表示生成网络，D表示判别网络，x表示输入源字体，y表示真实字迹，z表示添加噪声向量，λ表示调节因子，用于平衡生成网络的损失函数以及判别网络的损失函数。

作为本发明一种可选的实施例，将需求字符图像输入至训练完成的学习网络，生成与目标笔迹更相近的笔迹字符包括：

将需求字符图像输入至训练完成的学习网络，当需求字符图像中包含多个字符时，将训练完成的学习网络生成的笔迹字符进行纵向拼接，获得与目标笔迹更相近的笔迹字符。

作为本发明一种可选的实施例，判别网络为PatchGAN网络，PatchGAN网络将待判别笔迹图像分为多个块，并判别每个块的真伪，投票确定待判别笔迹图像的真伪。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于对抗生成网络的笔迹生成方法，其特征在于，所述笔迹生成方法包括：

根据相同文字规则，获取笔迹图像对；

对所述笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

迭代将所述输入样本集中的样本输入至学习网络中，以使所述学习网络中的生成网络生成待判别笔迹图像，所述学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数，调整所述学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

2.根据权利要求1所述的笔迹生成方法，其特征在于，所述根据相同文字规则，获取笔迹图像对的步骤包括：

读取源文件以及目标文件中的共同字符；

将所述共同字符转化为笔迹图像对；

将所述笔迹图像对进行缩放，以使所述笔迹图像对的大小相同。

3.根据权利要求1所述的笔迹生成方法，其特征在于，所述对所述笔迹图像对进行扩充，以达到预设的样本数包括：

对所述笔迹图像对在方向、噪声、大小、偏移量、旋转角度上进行预处理，以扩充所述笔迹图像对的数量至预设的样本数。

4.根据权利要求1所述的笔迹生成方法，其特征在于，所述生成网络包括：编码器以及解码器，所述生成网络用于通过编码器以及解码器将所述样本中3维、64维、128维、256维、512维特征融合为一体，生成待判别笔迹图像。

5.根据权利要求1所述的笔迹生成方法，其特征在于，所述基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数包括：

对所生成网络的损失函数以及判别网络的损失函数加权求和，确定所述学习网络的损失函数。

6.根据权利要求5所述的笔迹生成方法，其特征在于，

所述生成网络的损失函数为：

所述判别网络的损失函数为：

所述学习网络的损失函数为：

其中，G表示生成网络，D表示判别网络，x表示输入源字体，y表示真实字迹，z表示添加噪声向量，λ表示调节因子，用于平衡生成网络的损失函数以及判别网络的损失函数。

7.根据权利要求1所述的笔迹生成方法，其特征在于，所述将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符包括：

将需求字符图像输入至所述训练完成的学习网络，当所述需求字符图像中包含多个字符时，将所述训练完成的学习网络生成的笔迹字符进行纵向拼接，获得与目标笔迹更相近的笔迹字符。

8.根据权利要求1所述的笔迹生成方法，其特征在于，所述判别网络为PatchGAN网络，所述PatchGAN网络将所述待判别笔迹图像分为多个块，并判别每个块的真伪，投票确定所述待判别笔迹图像的真伪。

9.一种基于对抗生成网络的笔迹生成装置，其特征在于，所述笔迹生成装置包括：

获取模块，用于根据相同文字规则，获取笔迹图像对；

扩充模块，用于对所述笔迹图像对进行扩充，以达到预设的样本数，得到输入样本集；

训练模块，用于迭代将所述输入样本集中的样本输入至学习网络中，以使所述学习网络中的生成网络生成待判别笔迹图像，所述学习网络中的判别网络判别每个待判别笔迹图像中的每个块的真伪，并基于所述生成网络的损失函数以及所述判别网络的损失函数，确定所述学习网络的损失函数，调整所述学习网络的权重直至达到迭代截止条件，获得训练完成的学习网络；

生成模块，用于将需求字符图像输入至所述训练完成的学习网络，生成与目标笔迹更相近的笔迹字符。

10.根据权利要求9所述的笔迹生成装置，其特征在于，所述获取模块，具体用于：

读取源文件以及目标文件中的共同字符；

将所述共同字符转化为笔迹图像对；

将所述笔迹图像对进行缩放，以使所述笔迹图像对的大小相同。

Images