CN113673415A - 一种手写汉字身份鉴别方法及系统 - Google Patents

Abstract

本发明提出了一种手写汉字身份鉴别方法及系统，包括：获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

Description

一种手写汉字身份鉴别方法及系统

技术领域

本发明属于手写汉字鉴别技术领域，尤其涉及一种手写汉字身份鉴别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

司法鉴定领域中笔迹鉴定是根据人的书写技能习惯特征、在书写的字迹与绘画中的反映，来鉴别书写人的专门技术。主要任务是通过笔迹的同一认定检验，证明文件物证上的笔迹是否为同一人的笔迹，证明文件物证上的笔迹是否为某嫌疑人的笔迹。

现有技术中，采用人工提取或者汉字分割自动化实现，具体为：

人工提取样本文书的笔迹特征，需要非常专业的笔迹鉴定专家。

自动化的方法，汉字分割，提取笔迹专家手工设计的特征，如笔画流畅程度，某种笔画(如横笔画)的倾斜方向和角度、笔画间结构关系，带有连笔的笔画间的笔顺关系等。

存在的问题是：

1、人工提取样本文书的笔迹特征，耗时费力，培养专业的笔迹鉴定专家一般需要多年的学习及实务训练。

2、汉字分割，即从书写的材料转化成的电子图像文件中，先把汉字识别出来，由于汉字本身的结构复杂性，不同的人书写习惯等，手写汉字大小、结构、偏旁部首间的位置关系等均比较复杂，汉字分割本身是自动处理过程中的难题，非常容易出错，计算速度慢，给后续处理工作带来障碍。

另外，现有自动化方法直接处理整幅样本图像，计算量大，运行速度慢。样本大都来自A4大小纸张扫描得到，扫描分辨率在500DPI到1200DPI左右。也就意味着图像大小为4135*5875像素(500DPI)甚至9924*14100像素大小。

还有，存在自动化方法把样本图像裁剪成不重叠的小块图像，虽然避免了上述直接处理整幅样本图像中描述的问题，但是图像块之间的关系被忽略，相当于整幅样本图像的宏观特征被忽略，导致鉴别效果受到限制。

发明内容

为克服上述现有技术的不足，本发明提供了一种手写汉字身份鉴别方法，用于完成笔迹身份鉴别。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种手写汉字身份鉴别方法，包括：

获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；

将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；

训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；

对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

进一步的技术方案，比对图像中划分多组，每组比对样本为手写笔迹扫描图，处理时包括图像去噪、多尺度分块、多尺度块预处理、大块图像处理、中块图像处理及小块图像笔画分割。

进一步的技术方案，针对比对图像裁剪出像素、分辨率与原图相同的ROI区域，裁剪后的图像为第一图像；

优选的，裁剪过程包含尽量多的有效文字区域。

进一步的技术方案，针对裁剪后的第一图像再次裁剪，确保再次裁剪后的图像无大块的空白区域；

再次裁剪后的图像进行前景与背景的分割；

分割后的图像进行形态画操作，填补汉字内部的空间，使得图像压缩后依然保留宏观书写习惯的信息；

最后进行尺寸压缩，获得第一子图。

进一步的技术方案，针对裁剪后的第一图像进行无重叠分割，得到多幅图像，针对每一幅图像进行前景与背景的分割；

对笔画域进行形态学操作，保留笔画同时保留笔画周边的小的邻域；

通过阈值判断将不满足字数要求的图像过滤掉；

将二值图作为掩模，与第一图像进行无重叠分割后的图像对每个对应像素进行点乘操作，获得一个灰度图，为第二子图。

进一步的技术方案，针对裁剪后的第一图像进行有重叠的裁剪，对于每一行的块，每次裁剪后向右平移设定值像素后继续裁剪，裁剪完一行后，向下平移设定值像素后继续裁剪；

继续裁剪获得图像进行前背景的分割、形态学腐蚀、是否无笔画块的阈值判断以及将掩模用于灰度图像的笔画分割，获得第三子图。

进一步的技术方案，训练过程将若干手写字不同尺度的图片信息输入模型，同时将对应的手写身份标签输入，对模型进行迭代训练。

第二方面，公开了一种手写汉字身份鉴别系统，包括：

比对图像处理模块，被配置为：获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；

模型训练模块，被配置为：将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；

训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；

手写字图像预测模块，被配置为：对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

以上一个或多个技术方案存在以下有益效果：

本发明主要针对笔迹鉴定业务中正常笔迹的辅助身份识别。即检材为书写人某种笔(签字笔、钢笔、圆珠笔)的书写笔迹，与源自多人的笔迹比对样本进行相似性比较。该方法的基本思路是，把笔迹作为一种纹理线条，从图像处理的角度，用机器学习方法分析样本之间的相似度，进而给出类别估计的概率。

本发明结合图像处理技术+前沿深度学习技术，把笔迹看作笔画的纹理图像，分析这种特殊图像的行笔书写特点与书写人的对应关系，独立于汉字，无须进行汉字的识别分割，不需要了解掌握太多笔迹身份识别的领域知识。

本发明对大幅图像进行分块处理，然后使用轻量级神经网络结构，提高处理速度。轻量级卷积神经网络，适合移动式设备、机器人等进行本地计算。虽然本发明提出的模型看起来结构略微复杂，但是一方面，卷积神经网络模型实际处理的大部分数据都是小尺寸图像；另一方面，卷积神经网络的参数规模都非常小远小于经典网络结构如VGG等网络，并且，当硬件设备支持的情况下，本模型可以通过一定程度并行计算来完成，进一步优化计算。

本发明多尺度综合特征，充分考虑书写时篇幅、行距、等特征，当然也包含笔画汉字结构特征，处理框架上模仿人类视觉特点，先粗略浏览宏观的全局的图像特点，再逐行逐句观察局部图像，易于移植到其他分类判定任务上。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例方法的总体结构示意图；

图2为本发明实施例比对样本图像处理过程示意图；

图3为本发明实施例ROI提取4K图示意图；

图4为本发明实施例4K图像处理为包含宏观信息的图像示意图；

图5为本发明实施例4K图像处理为包含宏观信息和中等尺度信息图像示意图；

图6为本发明实施例1K图像处理为包含局部信息图示意图

图7为本发明实施例网络训练结构示意图；

图8为本发明实施例神经网络输入In1，In2，In3，In4示例子图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种手写汉字身份鉴别方法，其总体流程如图1所示，主要包括：

比对图像处理过程；

手写汉字身份鉴别的神经网络判定模型训练过程；

检材样本处理过程，与比对样本中获取局部图像过程类似；

手写汉字身份鉴别的神经网络判定模型识别过程。

用图像处理技术对样本图像进行预处理。

其中，比对样本图像处理过程如图2所示。每组比对样本为手写笔迹扫描图，其中钢笔、签字笔、圆珠笔各一幅。主要包括图像去噪、多尺度分块、多尺度块预处理、大块图像处理、中块图像处理、小块图像笔画分割等过程。

在比对样本图像处理过程中，又包含4个图像处理的子过程。

ROI提取4K图的过程，如图3所示。扫描的比对样本经过简单的图像去噪、RGB图像灰度化后，手工裁剪出4000x4000像素、分辨率与原图相同的ROI区域，裁剪过程包含尽量多的有效文字区域。一般地，比对样本首行是比对样本笔迹书写人的姓名，该部分内容应裁剪掉，避免内容不同导致的训练错误。

在一实施例子中，上述4K图像处理为包含宏观信息的图像，如图4所示，将上述子过程处理得到的图像进一步进行处理。主要获取书写人的宏观书写习惯如行距等信息。根据笔迹专家手工分析的经验值，对4K图像进一步裁剪为3000x3000像素大小的图像，确保图像无大块的空白区域。然后通过OTSU方法进行前景(汉字笔画)与背景(纸张纹理)的分割。分割后的图像进行形态画操作，主要通过开运算和闭运算的组合进行，目的是填补汉字内部的空间，使得图像压缩后依然保留明确的行间距等宏观书写习惯的信息。最后进行尺寸压缩，在保留宏观书写习惯信息的同时，减小图片大小，以减小后续处理的计算量，这里，根据经验值，压缩为150x150像素大小。

同时，4K图像处理为包含宏观和中等尺度信息的图像，如图5所示。将上述子过程处理得到的图像进一步进行处理。主要获取书写人的宏观书写习惯如行距等信息。根据笔迹专家手工分析的经验值，对4K图像进一步进行无重叠分割，得到16幅为1000x1000像素大小的图像。对这16幅图像，每一幅都通过OTSU方法进行前景(汉字笔画)与背景(纸张纹理)的分割。然后对笔画域进行形态学操作(腐蚀)，目的是不仅保留笔画，还保留笔画周边的小的邻域，笔画本身的宽度约为6-8像素，扩展邻域2像素，保留更多笔画邻域信息。然后通过简单的阈值判断将字数过少的块过滤掉，在二值图像上判断每幅图像里亮度值为1的像素数量，然后根据手工选定的阈值，判断该1000x1000像素大小的块上汉字及笔画的多少。以上述二值图作为掩模，与原1000x1000大小的块对每个对应像素进行点乘操作，结果就是获得一个灰度图，笔画及2像素邻域保留原灰度值，背景域灰度值置零。

还有，4K图像处理为包含局部信息的图像，如图6所示。将上述子过程a.a)处理得到的图像裁剪成1000x1000像素大小图像后，由本过程进一步进行处理，主要获取书写人的局部书写习惯信息。对于每一幅1000x1000像素大小图像，进行有重叠的裁剪，从左上角开始，每次裁剪出300x300大小的图像，直到向右或者向下无法裁剪出该尺寸的图像为止。对于每一行的块，每次裁剪后向右平移100像素后继续裁剪(会产生200像素宽，300像素高的重叠区域)，裁剪完一行后，向下平移100像素后继续裁剪(第i行的300x300大小的块，与下一行300x300大小的块会产生300像素宽，200像素高的重叠区域)。每个1000x1000大小的块将裁剪得64个300x300大小的块。这些小块的每一块，也都进行前背景的OTSU分割、形态学腐蚀、是否无笔画块的阈值判断、然后将掩模用于灰度图像的笔画分割。本过程与前述4K图像处理为包含宏观和中等尺度信息的图像中相关过程相同，仅个别地方参数不同。之所以从新计算，而不是对前述4K图像处理为包含宏观和中等尺度信息的图像中进行笔画分割后的灰度图直接进行有重叠裁剪，是为了OTSU等分割过程获得的笔画更精确。

对于检材样本的处理，过程与图6所示的1K图像处理为包含局部信息图像过程相似，具体涉及的模块根据检材图像扫描后的大小决定。因为检材包含的汉字并不确定，有的包含字数多，有的包含字数少。将检材图像相同扫描仪的相同参数进行扫描，根据实际有效ROI区域来进行类似的预处理。如果ROI足够大，就裁剪4k图、3k图、1k图和有重叠的300x300大小图像，然后用训练好的神经网络进行判断。如果ROI比较小，根据情况选取3k图、3k图、1k图和有重叠的300x300大小图像，但一般会包含若干幅300x300大小的小块图像。然后用训练好的神经网络进行判断。最后将多幅子图预测得到类别结果进行融合，如投票方法，最多子图所属类别认定为该检材所属类别，得到检材类别，及书写人身份类别。

神经网络处理流程：本发明包含神经网络模型主要分为训练和预测两个过程，训练完毕后，可以长期用于预测，当数据积累到一定规模后，也可以重新训练模型，而后将训练结果(模型描述参数)更新即可。故可以应用到在线及离线两种掌纹身份识别系统中。虽然训练过程需要大量的计算，但是模型本身不需要大规模存储，所以移动式设备和嵌入式设备也同样适用。

训练过程如图7所示，是一种组合残差网络且带有双协同机制的类别判定网络。本结构设计时，发明人模拟人类阅读过程中的多种活动：(1)一目十行的宏观阅读(In1处理过程)、(2)粗略阅读时以段落为单位的浏览(In2处理过程)、(3)认真地逐字逐句阅读时视线焦点一行行左右移动(此处的行以小块图像为单位、不再以一行字为单位)，并且逐字逐句阅读过程会思考上下文的关联关系(In3-In6处理过程)。

训练时，每幅手写字图像经过上述操作，得到一批多尺度描述图像。压缩为150x150像素大小的4k图像作为In1，和压缩为200x200大小的1k图像作为In2，分别经过若干层卷积和池化后，得到各自的特征图，再分别映射成为一个向量。300x300大小的图像根据左右上下邻接关系作为输入图像的In3～In6，如图8所示。其中，In3与In4左右相邻，且有200像素宽、300像素高的重叠区域；In5与In6左右相邻，且有200像素宽、300像素高的重叠区域；In3与In5上下相邻，且有300像素宽、200像素高的重叠区域；In4与In6左右相邻，且有300像素宽、200像素高的重叠区域。这些具有上下左右邻接关系的块，各自经过一系列的卷积池化操作，得到相应特征图谱，并且使用残差网络结构将初始特征图谱与深层特征图融合，然后分别经过一个ASPP处理后，将邻接块做一个CosNet操作，现有技术中是对视频中有前后关系的帧进行CosNet操作，是一维的，本发明中将静态的图像进行有重叠的小块划分，并模拟人类的阅读习惯，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，最后将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签。对于那些不完全具备上下左右邻接小块的300x300小块的图像，系统在训练时进行舍弃。

本申请中的“监督学习”，就是利用一组已知的类别标签和样本对应关系，来调整优化分类器的参数，使其达到所要求性能的过程。

需要说明的是，对于一些常规的处理技巧，如Relu、dropout本网络也纳入其中，因为技术都已非常成熟，此处不再展开说明。

总之，训练过程将训练集里若干手写字不同尺度的图片信息输入模型，同时将对应的手写身份标签输入，对模型进行迭代训练，当模型性能收敛时，停止训练。针对训练集上的分类判定精度，可以对模型参数进行调整优化。

预测手写字身份识别模型的训练和预测甄别过程基本相似。一个差别是，训练过程不仅输入手写字图像和描述信息，还要输入手写字图像对应的身份标签。而手写字身份预测过程只输入手写字图像和描述信息，输出是预测的手写字图像对应的身份标签。另外一个差别是，如前所述，检材样本处理后，一般会包含一定量的In3～In6图像块，不一定包含In1和In2图像块，对于包含的图像块则按照神经网络模型进行处理，对于缺失的块，则将对应的第一个全连接层处填充固定值。最后将多幅子图预测得到类别结果进行融合(如投票方法，最多子图所属类别认定为该检材所属类别。)，得到检材类别，及书写人身份类别。

在具体实现时，笔迹鉴定的输入，即给定的鉴定材料包括以下部分：一份检材和若干份比对样本。其中，1份检材是待检验鉴定的样本。若干份(一般3-5份)比对样本。其中每份样本为同一个人的笔迹完成的手写汉字稿，样本一般为书写人使用钢笔、签字笔、圆珠笔各书写一份的指定文本，一般书写在无框线的A4大小白纸表面，字数为xx字左右。

笔迹鉴定的输出即鉴定目标为：通过笔迹鉴定方法，确认检材与各个样本间的相似性关系，结果以概率值量化表示，最后得到检材与某样本为同一人书写或者检材书写人非上述样本书写人的结论。

基于上述鉴定的基本材料和基本流程，将相关样本进行数值化处理(如500dpi以上分辨率扫描)然后，设计相应的方法及计算机软件，完成自动化的笔迹识别，以辅助司法鉴定专家进行判断和鉴定。

实施例二

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例三

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

实施例四

本实施例的目的是公开了一种手写汉字身份鉴别系统，包括：

比对图像处理模块，被配置为：获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；

模型训练模块，被配置为：将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；

训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；

手写字图像预测模块，被配置为：对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种手写汉字身份鉴别方法，其特征是，包括：

获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；

将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；

训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；

对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

2.如权利要求1所述的一种手写汉字身份鉴别方法，其特征是，比对图像中划分多组，每组比对样本为手写笔迹扫描图，处理时包括图像去噪、多尺度分块、多尺度块预处理、大块图像处理、中块图像处理及小块图像笔画分割。

3.如权利要求1所述的一种手写汉字身份鉴别方法，其特征是，针对比对图像裁剪出像素、分辨率与原图相同的ROI区域，裁剪后的图像为第一图像；

优选的，裁剪过程包含尽量多的有效文字区域。

4.如权利要求3所述的一种手写汉字身份鉴别方法，其特征是，针对裁剪后的第一图像再次裁剪，确保再次裁剪后的图像无大块的空白区域；

再次裁剪后的图像进行前景与背景的分割；

分割后的图像进行形态画操作，填补汉字内部的空间，使得图像压缩后依然保留宏观书写习惯的信息；

最后进行尺寸压缩，获得第一子图。

5.如权利要求3所述的一种手写汉字身份鉴别方法，其特征是，针对裁剪后的第一图像进行无重叠分割，得到多幅图像，针对每一幅图像进行前景与背景的分割；

对笔画域进行形态学操作，保留笔画同时保留笔画周边的小的邻域；

通过阈值判断将不满足字数要求的图像过滤掉；

将二值图作为掩模，与第一图像进行无重叠分割后的图像对每个对应像素进行点乘操作，获得一个灰度图，为第二子图。

6.如权利要求3所述的一种手写汉字身份鉴别方法，其特征是，针对裁剪后的第一图像进行有重叠的裁剪，对于每一行的块，每次裁剪后向右平移设定值像素后继续裁剪，裁剪完一行后，向下平移设定值像素后继续裁剪；

继续裁剪获得图像进行前背景的分割、形态学腐蚀、是否无笔画块的阈值判断以及将掩模用于灰度图像的笔画分割，获得第三子图。

7.如权利要求1所述的一种手写汉字身份鉴别方法，其特征是，训练过程将若干手写字不同尺度的图片信息输入模型，同时将对应的手写身份标签输入，对模型进行迭代训练。

8.一种手写汉字身份鉴别系统，其特征是，包括：

比对图像处理模块，被配置为：获取用于手写汉字身份鉴别的比对图像，对比对图像进行处理，获得一批多尺度描述图像；

模型训练模块，被配置为：将处理后的比对图像用于神经网络判定模型训练，获得训练后的神经网络判定模型；

训练的过程中，将静态的多尺度描述图像进行有重叠的小块划分，构建出二维空间里横向和纵向两个方向上小块图像间的关联关系，将上述多个子结果分别拉成一维向量后进行融合，融合的结果通过多个全连接层操作，最后映射为类别标签；

手写字图像预测模块，被配置为：对待检材样本进行图像处理并将处理后的图像利用训练后的神经网络判定模型类别标签进行识别，预测的手写字图像对应的身份标签。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述方法的步骤。

Images