CN109871851B - 一种基于卷积神经网络算法的汉字书写规范性判定方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络算法的汉字书写规范性判定方法，属于图像处理领域，包括如下步骤：1、书写原贴数据集的建立；2、图像预处理；2、卷积神经网络训练；3、评分验证；4、自学习调整。本发明的基于卷积神经网络算法的汉字书写规范性判定方法，首先建立书写规范性判定的数据集，然后通过深度学习方法结合对汉字形态特征的提取来对汉字书写规范性进行判别，对书写汉字进行评分，从而实现通过计算机辅助评估的书法教学来节省书法教师在作业批改上的工作量，而将工作重点放在纠正与指导错误的书写方式上，这有助于提高我国青少年的汉字书写规范性。

Description

一种基于卷积神经网络算法的汉字书写规范性判定方法

技术领域

本发明属于图像处理领域，涉及一种汉字书写规范性判定方法，具体涉及一种基于卷积神经网络算法的汉字书写规范性判定方法。

背景技术

在我国，汉字书写是一项至关重要的技能，是教育、交流、就业和日常生活中最基本的技能之一。而目前，在小学阶段，通常只侧重汉字“怎么写”的教育，而相对忽略汉字“怎么写好”的教育，这主要是因为我国学生数量多而书法教师数量少造成的。同时由人来评价，这种方法一方面带有很大的主观性，同样的书写汉字，不同的人可能给出差别较大的评判；另一方面，这一枯燥重复性的工作容易使人疲劳，同样的汉字由同样的人在不同的时间段进行评判，都有可能给出不同的评判结果。

因此汉字书写教学软件已经成为必要的工具，汉字书写及规范性评价是其中一项重要功能。

1、汉字书写评价方法的研究现状

通常来说，中国传统书法中要求汉字的线条美和空间美。线条美描述的是汉字笔画的线质与节奏，即“横平竖直、笔划平行”；空间美则关注汉字的结字造型，即“结构匀称、分布均匀、中心平衡”。早期的自动汉字评价方法即基于这样的规则。单独研究使用计算机进行汉字书写评价的研究较少，Chin-Chuan Han曾经对几种要素的模糊隶属度进行估计，再取平均值来获得评分信息。更多的研究则体现在手写体汉字自动生成中对生成结果的约束，在这方面，2006年-2007年，浙江大学的徐颂华博士发表了一系列有关于书法艺术性与计算机结合的论文。其中，汉字书法的表现形式被分解成六层来进行表示，最底层是以汉字骨架上的每个点为中心的若干个椭圆形：拟合这些椭圆形的过程就是生产汉字书法艺术作品的过程。作者将生成结果的整体美观性定义为“笔划的美观性、字体结构的美观性、笔画风格的统一性”三个指标的加权平均值，并通过评价结果对生成的作品进行筛选。可以看出，这一设计符合汉字线条美和空间美的规范。2018年初，英属哥伦比亚大学的Bo Zhang等人使用CycleGAN进行汉字字体生成的探索。使用Dense5-CycleGAN作为生成器，使用了内容准确性和风格差异作为评价指标来生成的控制字符的质量。文章中，作者指出预训练后的HCCR-GoogLeNet在评价指标内容和样式差异方面十分有效。

2、与手写汉字有关的其它研究的现状

关于手写汉字的研究，更多的集中在笔迹鉴别、字体识别和文字识别上。

早期的计算机笔迹鉴别使用提取局部结构特征或纹理特征的方式进行比较。如用于提取笔画形态的笔记轮廓法线方向和网格局部微结构，提取纹理的灰度共生矩阵、Gabor滤波器、小波变换法等。后来产生了基于卷积神经网络的图像比较方法，使用两个卷积神经网络自动提取特征，并在包含特征信息的低维度空间进行比较。

识别文档中的字体类型可以用于帮助捕获文档布局和提升OCR系统的性能。在提取汉字字体书写风格方面，Gabor滤波器和GIST特征描述都对书法字识别方面有很大帮助。在国外这方面的研究相对较少，Alican等人使用复小波变换分类法对奥斯曼语手稿进行风格分类取得了很好的效果，并同时验证了这样的方法在英语、阿拉伯语、汉语、波斯语等多种语言上的有效性。

而文字识别的研究由来已久，但由于汉字在字符种类上的数量极其庞大，汉语字符识别十分困难。早期的手写中文单字识别系统对汉字的特征提取过程主要是统计特征和结构特征，如Gabor特征、Gradient特征和用于联机汉字识别的方向特征。分类过程使用改进的二次判决函数、支持向量机、隐马尔科夫模型等。在卷积神经网络CNN出现之后，比较具有代表性的方法是2012年瑞士的IDSIA实验室提出的多列CNN模型(MCDNN)。但这种方法的一个不足之处在于无法利用手写文字的一些先验知识。而这些先验知识常常是十分有用的，因此产生了一些传统先验知识和CNN结合的汉字识别方法，如Graham提出的路径积分特征和Du等人将传统方法的原型距离、DNN和Bottleneck特征结合的分类器。这些分类器在提高大类别手写汉字识别率的同时，做到有效地控制了模型大小和测试时间。

3、深度学习与其它相关的图像处理算法的研究现状

20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。1980年K.Fukushima提出的新识别机被认为是第一个实现的现代卷积神经网络。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于它避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

卷积神经网络通常包含着以卷积和池化层等构成的特征提取层和激活函数等构成的特征映射层。不同的组合方式导向了各种经典的卷积神经网络模型的产生。如Lenet，Alexnet，GoogLenet，VGG，残差神经网络等。而不同的功能也产生了卷积神经网络研究上的各个分支，如用于语义理解的循环神经网络、用于生成作品的生成式对抗网络，和用于图像比较的Siamese-Network等。

1993年，Jane Bromley等人使用了一种SiameseNetwork来对手写签名的真实性进行鉴别，这种网络使用两个卷积神经网络分别对图片进行特征提取，然后在对特征提取后的结果比较差异性来表示两幅图片的相似度。后来，随着应用目标的不同，Siamese-Network的各种变形相继出现，其中比较具有代表性的是pesudo-siamese Network和2-channel Network。二者分别在处理遥感图像和风景数据的相似性方面相比较于SiameseNetwork有准确度方面的提升。而与手写字体相关的传统图像处理方法主要分成两类，一类是结构特征提取方法，如笔迹轮廓线方向、网格局部微结构、骨架提取等。这些方法从笔记文字的笔画形态触发，对笔迹的局部特征或几何特征进行描述。另一类是基于纹理的特征提取方法，即将图像中的文字看做图像上的纹理来进行处理，提取图像中的全局特征，如灰度共生矩阵法、Gabor滤波法、Gradient特征等。

发明内容

本发明的目的是提供一种基于卷积神经网络算法的汉字书写规范性判定方法，由计算机自动进行书写规范性判别的算法，通过计算机辅助评估的书法教学来节省书法教师在作业批改上的工作量，而将工作重点放在纠正与指导错误的书写方式上，这有助于提高我国青少年的汉字书写规范性。

为达到上述目的，本发明提供了一种基于卷积神经网络算法的汉字书写规范性判定方法，其特征在于，包括如下步骤：

步骤一、书写原贴数据集的建立，①不同类别字体书写原贴的创立，其中书写原贴创立人数量大于三人，书法字体类别数量大于三种，②根据文字在书写网格中的位置标注信息将文字按书写网格拆分，③根据拆分结果书写原贴获得评分，扫描机扫描书写原贴，书写原贴存储器存储获得的书写原贴图像，并保存成文件标签数据对；

步骤二、图像预处理，①将步骤一中书写原贴图像中的文字部分灰度化，设为通道Ⅰ，②将步骤一中书写原贴图像中的网格部分二值化，设为通道Ⅱ，③将步骤一中书写原贴图像经过Gabor特征化，获得的特征化书写原贴图像设为通道Ⅲ；④将步骤一中书写原贴图像经过方向梯度直方图HOG特征化，将获得的特征化书写原贴图像设为通道Ⅳ；④将步骤一中书写原贴图像的红、绿、蓝三个通道分别设为通道Ⅴ、通道Ⅵ、通道Ⅶ，⑤将上述7个通道叠加作为待处理图像传入卷积神经网络CNN；

步骤三、①采用Xavier初始化卷积神经网络参数；②启动卷积神经网络训练，加载第一个批次的书写原贴图像基础数据进入卷积神经网络，卷积神经网络得出预测结果与实际结果之间的差异数据，根据差异数据卷积神经网络参数更新，③加载第二个批次的书写原贴图像基础数据进入卷积神经网络，重复操作，其中每一个批次的书写原贴图像数量大于16，直至卷积神经网络的准确度达到初始设定值，停止训练，保存此时的训练结果；

步骤四、卷积神经网络CNN经过步骤三训练后，将步骤二传入的7个通道叠加待处理图像进行运算，得到评分处理结果信息；

步骤五、比对步骤一③中书写原贴获得的评分与步骤四中评分处理结果，选择是否接受卷积神经网络CNN算法给出的评分，如果选择是，评分结束，如果否，重复步骤二至步骤四的操作。

所述书写原贴采用书法专用纸。

通过上述设计方案，本发明可以带来如下有益效果：本发明提供一种基于卷积神经网络算法的汉字书写规范性判定方法，首先建立书写规范性判定的数据集，然后通过深度学习方法结合对汉字形态特征的提取来对汉字书写规范性进行判别，对书写汉字进行评分，从而实现通过计算机辅助评估的书法教学来节省书法教师在作业批改上的工作量，而将工作重点放在纠正与指导错误的书写方式上，这有助于提高我国青少年的汉字书写规范性。

具体实施方式

为了更清楚地说明本发明，下面结合具体实施例，进一步阐述本发明，本领域技术人员应当理解。下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围，且本发明中未述及之处适用于现有技术。除非另行定义，本发明所使用的所有专业与科学用语与本领域熟练人员所熟悉的意义相同。

本发明提出了一种基于卷积神经网络算法的汉字书写规范性判定方法，不局限于硬笔书法，毛笔书法亦可以使用此方法，具体所述汉字书写规范性判定方法包括如下步骤：

步骤一、书写原贴数据集的建立，具体建立过程如下：多人在专用的书法用纸上进行书写，书写的内容包括多种，每种都由多人进行书写，得到书写原帖，根据文字在书写网格中的位置标注信息将文字按书写网格拆分，拆分后，由书法教师为每个字给予评分，扫描书写原贴，书写原贴存储器存储获得的书写原贴图像，并保存成文件标签数据对；本发明的描述中，“多人”的含义是大于三人，“多种”的含义是大于三种；

步骤二、为了达到更加良好的处理效果，步骤一中书写原贴图像在传入卷积神经网络CNN之前先进行图像预处理操作，具体图像预处理操作包括如下步骤：①将步骤一中书写原贴图像中的文字部分灰度化，设为通道Ⅰ，②将步骤一中书写原贴图像中的网格部分二值化，设为通道Ⅱ，③将步骤一中书写原贴图像经过Gabor特征化，获得的特征化书写原贴图像设为通道Ⅲ；④将步骤一中书写原贴图像经过方向梯度直方图HOG特征化，将获得的特征化书写原贴图像设为通道Ⅳ；④将步骤一中书写原贴图像的红、绿、蓝三个通道分别设为通道Ⅴ、通道Ⅵ、通道Ⅶ，⑤将上述7个通道叠加作为待处理图像传入卷积神经网络CNN，进行训练和卷积神经网络参数的更新；

步骤三、①采用Xavier初始化卷积神经网络参数；②启动卷积神经网络训练，加载第一个批次的书写原贴图像基础数据进入卷积神经网络，卷积神经网络得出预测结果与实际结果之间的差异数据，根据差异数据卷积神经网络参数更新，使卷积神经网络的loss损失值降低，准确度增加；③加载第二个批次的书写原贴图像基础数据进入卷积神经网络，重复操作，其中每一个批次的书写原贴图像数量大于16，直至卷积神经网络的准确度达到初始设定值，停止训练，保存此时的训练结果；

步骤四、卷积神经网络CNN经过步骤三训练后，将步骤二传入的7个通道叠加待处理图像进行运算，得到评分处理结果信息；

步骤五、比对步骤一③中书写原贴获得的评分与步骤四中评分处理结果，选择是否接受卷积神经网络CNN算法给出的评分，如果选择是，评分结束，并保存此时的文件标签数据对，如果否，重复步骤二至步骤四的操作。

Claims (2)

1.一种基于卷积神经网络算法的汉字书写规范性判定方法，其特征在于，包括如下步骤：

步骤一、书写原贴数据集的建立，①不同类别字体书写原贴的创立，其中书写原贴创立人数量大于三人，书法字体类别数量大于三种，②根据文字在书写网格中的位置标注信息将文字按书写网格拆分，③根据拆分结果书写原贴获得评分，扫描机扫描书写原贴，书写原贴存储器存储获得的书写原贴图像，并保存成文件标签数据对；

步骤二、图像预处理，①将步骤一中书写原贴图像中的文字部分灰度化，设为通道Ⅰ，②将步骤一中书写原贴图像中的网格部分二值化，设为通道Ⅱ，③将步骤一中书写原贴图像经过Gabor特征化，获得的特征化书写原贴图像设为通道Ⅲ；④将步骤一中书写原贴图像经过方向梯度直方图HOG特征化，将获得的特征化书写原贴图像设为通道Ⅳ；④将步骤一中书写原贴图像的红、绿、蓝三个通道分别设为通道Ⅴ、通道Ⅵ、通道Ⅶ，⑤将上述7个通道叠加作为待处理图像传入卷积神经网络CNN；

步骤三、①采用Xavier初始化卷积神经网络参数；②启动卷积神经网络训练，加载第一个批次的书写原贴图像基础数据进入卷积神经网络，卷积神经网络得出预测结果与实际结果之间的差异数据，根据差异数据卷积神经网络参数更新，③加载第二个批次的书写原贴图像基础数据进入卷积神经网络，重复操作，其中每一个批次的书写原贴图像数量大于16，直至卷积神经网络的准确度达到初始设定值，停止训练，保存此时的训练结果；

步骤四、卷积神经网络CNN经过步骤三训练后，将步骤二传入的7个通道叠加待处理图像进行运算，得到评分处理结果信息；

步骤五、比对步骤一③中书写原贴获得的评分与步骤四中评分处理结果，选择是否接受卷积神经网络CNN算法给出的评分，如果选择是，评分结束，如果否，重复步骤二至步骤四的操作。

2.根据权利要求1所述的一种基于卷积神经网络算法的汉字书写规范性判定方法，其特征在于：所述书写原贴采用书法专用纸。