CN109543777A - 手写汉字书写质量评价方法及系统 - Google Patents

Abstract

本发明涉及一种手写汉字书写质量评价方法及系统，所述评价方法包括：获取待评价手写汉字图像；去除所述待评价手写汉字图像中的田字格，得到字体图像；对所述字体图像进行灰度化处理，得到灰度图像；对所述灰度图像进行透视化处理得到变换图像；将变换图像分割成多个单个的汉字；通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。本发明通过待评价手写汉字图像依次进行去除田字格处理、灰度处理、透视化处理、分割处理，通过卷积神经网络对单个汉字进行评价，从而确定待评价手写汉字图像的书写质量，整个过程减少人为的参与，全程机器化、全自动处理，从而可提高书写质量评价的准确性。

Description

手写汉字书写质量评价方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种手写汉字书写质量评价方法及系统。

背景技术

汉字和以汉字为载体的中国书法是中华民族的文化瑰宝，是人类文明的宝贵财富。书法教育对培养学生的书写能力、审美能力和文化品质具有重要作用。为推进书法教育，传承中华民族优秀文化，在中小学中进行书法考试或竞赛是一个可行的方式。

然而，如果使用传统的方式由每个老师人工为学生的书法打分，则会不可避免的受到老师个人的打分习惯、书法风格偏好所影响，继而缺乏公正性。尤其是如果要将这种考试加入到中考即“初中毕业和高中阶段招生考试”这类大范围的考试中时，这种影响就会更大，由于无法公正、准确地评价手写汉字书写质量，从而会导致无法有效的选拔人才，造成人才资源丢失。

发明内容

为了解决现有技术中的上述问题，即为了解决人为因素影响，提高书法评价的准确性，本发明提供了一种手写汉字书写质量评价方法及系统。

为实现上述目的，本发明提供了如下方案：

一种手写汉字书写质量评价方法，所述评价方法包括：

获取待评价手写汉字图像，所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像；

去除所述待评价手写汉字图像中的田字格，得到字体图像；

对所述字体图像进行灰度化处理，得到灰度图像；

对所述灰度图像进行透视化处理得到变换图像；

将变换图像分割成多个单个的汉字；

通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。

可选的，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，具体包括：

将所述待评价手写汉字图像进行红色R通道变换，得到红色R通道图像；

将所述红色R通道图像中像素大于设定的像素阈值的像素设置为白色，得到变换像素图像；

将所述变换像素图像进行红色R通道逆变换，得到字体图像。

可选的，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，还包括：

去除得到变换像素图像的过程中产生的噪声。

可选的，所述去除得到变换像素图像的过程中产生的噪声，具体包括：

对于所述变换像素图像中的每一个联通部件，统计所述联通部件中包含像素个数n，并确定外接该联通部件的矩形的左上角坐标及右下角坐标，其中，左上角坐标为(left,up)，右下角坐标为(right,down)；

如果n<20或者n/max(right-left+1,down-up+1)<4，则该联通部件为噪声，将该联通部件中的每个像素均置为白色，否则保存不变。

可选的，所述对所述灰度图像进行透视化处理得到变换图像，具体包括：

设所述灰度图像的高为H，宽度为W，图像左上顶点为O，O点坐标为(0，0)，竖直向下为X轴方向，水平向右方向为Y轴方向，确定坐标图像；

对所述坐标图像进行噪声点搜索，确定文本框的左上角P1；

以左上角P1为参考确定右上角P2，以所述右上角P2为参考确定右下角P3，以所述左上角P1为参考或者以所述右下角P3为参考确定左下角P4；

构建一副高为H/2，宽为W的新图像；

通过字体图像中由P1，P2，P3，P4截得的四边形对所述新图像进行图像变换，确定变换图像；其中，P1、P2、P3、P4分别对应变换图像中的(0,0)、(0,W-1)、(H/2-1,W-1)、(H/2-1,0)四点。

可选的，所述对所述坐标图像进行噪声点搜索，确定文本框的左上角P1，具体包括：

步骤一：设置初始值：start_x＝3H/4，start_y＝0；

步骤二：在所述坐标图像中，由(start_x,start_y)处自左向右搜索，搜索到的第一个前景点的坐标记为(x,y)：

如果y>W/2，则start_x＝start_x-12，start_y＝0，继续执行步骤二；否则执行步骤三，检测是否为噪声点；

步骤三：以(x,y)为中心，在一个11*11的正方形搜索前景点，如果前景点的个数大于等于6，则(x,y)不是噪声点，执行步骤四；否则(x,y)是噪声点，继续执行步骤二；

步骤四：如果以(x-1,y-1)为前景点，则将(x,y)更新为(x-1,y-1)；否则如果以(x-1，y)为前景点，则将(x,y)更新为(x-1,y)；否则如果以(x-1,y+1)为前景点，则将(x，y)更新为(x-1,y+1)；否则确定寻找到文本框的左上角P1。

可选的，所述将变换图像分割成单个汉字，具体包括：

对于所述变换图像中的每一个联通部件，其中，x₀为联通部件中每一个像素的X值平均值，y₀为Y值平均值；

搜索中心位置与(x₀，y₀)最接近的格子，更新该格子的上下左右边界，使其包含该联通部件；其中，格子用来分割汉字的矩形，初始大小为0*0；

用每一个大小非0*0的格子截取图像，得到各个汉字图像；

将汉字图像的长边缩放到40像素，放在48*48黑色图像的中心位置，得到各个规格统一的汉字。

可选的，所述卷积神经网络包括打分模块以及与打分模块连接的评价模块；

所述打分模块的构建方法具体包括：

利用不含书写质量标签的离线手写汉字数据库预训练一个的神经网络；

将预训练得到的神经网络的损失函数Softmax层去掉，同时将所述神经网络中的最后一个全连接层替换为输出为一通道的全连接层，得到打分模块；

所述评价模块的构建方法包括：

利用有书写质量标签的数据继续训练，确定评价模块。

可选的，所述通过卷积神经网络对各个汉字进行评价，具体包括：

设N为评价一个人书写质量所需的字数，X_i为数据集中属于第i个人的汉字的集合，其大小为M；

当N大于M时，将该人的每幅图像均读入；然后使N`＝N-M，且将N的值更新为N`，当当前N仍然大于M时，重复上述步骤，直至N小于M时，从M个汉字中随机挑选N个，然后结束循环；此时从集合X_i中挑选了N张字(X_i1，X_i2...X_iN)作为打分模块的输入；

对所述打分模块输出单个字的分数进行排序，然后再输入所述评价模块；

由所述评价模块确定所述待评价手写汉字图像的书写质量。

为实现上述目的，本发明还提供了如下方案：

一种手写汉字书写质量评价系统，所述评价系统包括：

获取单元，用于获取待评价手写汉字图像，所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像；

去除单元，用于去除所述待评价手写汉字图像中的田字格，得到字体图像；

灰度处理单元，用于对所述字体图像进行灰度化处理，得到灰度图像；

透视化处理单元，用于对所述灰度图像进行透视化处理得到变换图像；

分割单元，用于将变换图像分割成多个单个的汉字；

评价单元，用于通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。

根据本发明的实施例，本发明公开了以下技术效果：

本发明通过待评价手写汉字图像依次进行去除田字格处理、灰度处理、透视化处理、分割处理，通过卷积神经网络对单个汉字进行评价，从而确定待评价手写汉字图像的书写质量，整个过程减少人为的参与，全程机器化、全自动处理，从而提可高书写质量评价的准确性。

附图说明

图1是本发明手写汉字书写质量评价方法的流程图；

图2是原始的待评价手写汉字图的实施例图；

图3是去除田字格后的字体图像；

图4是分割后的汉字图像；

图5是本发明手写汉字书写质量评价系统的模块结构示意图。

符号说明：

获取单元—1，去除单元—2，灰度处理单元—3，透视化处理单元—4，分割单元—5，评价单元—6。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的目的是提供一种手写汉字书写质量评价方法，通过待评价手写汉字图像依次进行去除田字格处理、灰度处理、透视化处理、分割处理，通过卷积神经网络对单个汉字进行评价，从而确定待评价手写汉字图像的书写质量，整个过程减少人为的参与，全程机器化、全自动处理，从而可提高书写质量评价的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明手写汉字书写质量评价方法包括：

步骤100：获取待评价手写汉字图像。

所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像(如图2所示)。

步骤200：去除所述待评价手写汉字图像中的田字格，得到字体图像。

步骤300：对所述字体图像进行灰度化处理，得到灰度图像。

步骤400：对所述灰度图像进行透视化处理得到变换图像。

步骤500：将变换图像分割成多个单个的汉字。

步骤600：通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。

其中，在步骤200中，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，具体包括：

在步骤201：将所述待评价手写汉字图像进行红色R通道变换，得到红色R通道图像。

在步骤202：将所述红色R通道图像中像素大于设定的像素阈值的像素设置为白色，得到变换像素图像。其中，所述像素阈值可为175，但并不以此为限，可根据实际需要进行数值的调整。

在步骤203：将所述变换像素图像进行红色R通道逆变换，得到字体图像。

在步骤202中得到变换像素图像中会产生较多的噪声，主要包括噪声点以及一些线条噪声。

为提高图像处理的精准度，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，还包括：

步骤202a：去除得到变换像素图像的过程中产生的噪声。

可选的，所述去除得到变换像素图像的过程中产生的噪声，具体包括：

(1)对于所述变换像素图像中的每一个联通部件，统计所述联通部件中包含像素个数n，并确定外接该联通部件的矩形的左上角坐标及右下角坐标，其中，左上角坐标为(left,up)，右下角坐标为(right,down)；

(2)如果n<20或者n/max(right-left+1,down-up+1)<4，则该联通部件为噪声，将该联通部件中的每个像素均置为白色，否则保存不变，从而可准确去除田字格(如图3所示)，得到字体图像。

在步骤300中，所述对所述灰度图像进行透视化处理得到变换图像，具体包括：

步骤301：设所述灰度图像的高为H，宽度为W，图像左上顶点为O，O点坐标为(0，0)，竖直向下为X轴方向，水平向右方向为Y轴方向，确定坐标图像。

步骤302：对所述坐标图像进行噪声点搜索，确定文本框的左上角P1。

步骤303：以左上角P1为参考确定右上角P2，以所述右上角P2为参考确定右下角P3，以所述左上角P1为参考或者以所述右下角P3为参考确定左下角P4。

步骤304：构建一副高为H/2，宽为W的新图像。

步骤305：通过字体图像中由P1，P2，P3，P4截得的四边形对所述新图像进行图像变换，确定变换图像；其中，P1、P2、P3、P4分别对应变换图像中的(0,0)、(0,W-1)、(H/2-1,W-1)、(H/2-1,0)四点。

进一步地，在步骤302中，所述对所述坐标图像进行噪声点搜索，确定文本框的左上角P1，具体包括：

步骤302a：设置初始值：start_x＝3H/4，start_y＝0；

步骤302b：在所述坐标图像中，由(start_x,start_y)处自左向右搜索，搜索到的第一个前景点的坐标记为(x,y)：

如果y>W/2，则start_x＝start_x-12，start_y＝0，继续执行步骤302b；否则执行步骤302c，检测是否为噪声点；

步骤302c：以(x,y)为中心，在一个11*11的正方形搜索前景点，如果前景点的个数大于等于6，则(x,y)不是噪声点，执行步骤四；否则(x,y)是噪声点，继续执行步骤302b；

步骤302d：如果以(x-1,y-1)为前景点，则将(x,y)更新为(x-1,y-1)；否则如果以(x-1，y)为前景点，则将(x,y)更新为(x-1,y)；否则如果以(x-1,y+1)为前景点，则将(x，y)更新为(x-1,y+1)；否则确定寻找到文本框的左上角P1。

其中，以左上角P1为参考确定右上角P2，具体包括：从P1点向右寻找右上角P2，即顺序尝试向(y+1,x-1)、(y+1,x)、(y+1,x-1)拓展，当三个点均非前景点时把当前位置记为P2。

同理再向下找右下角P3，再向左找左下角P4。

优选地，在步骤500中，所述将变换图像分割成多个单个的汉字可选的，所述将变换图像分割成单个汉字，具体包括：

步骤501：对于所述变换图像中的每一个联通部件，其中，x₀为联通部件中每一个像素的X值平均值，y₀为Y值平均值。

步骤502：搜索中心位置与(x₀，y₀)最接近的格子，更新该格子的上下左右边界，使其包含该联通部件；其中，格子用来分割汉字的矩形，初始大小为0*0。

在确定田字格的大小后，很容易确定每一个格子的中心位置，例如田字格为6行10列，在此不再详细赘述。

步骤503：用每一个大小非0*0的格子截取图像，得到各个汉字图像。

步骤504：将汉字图像的长边缩放到40像素，放在48*48黑色图像的中心位置，得到各个规格统一的汉字(如图4所示)。

在本发明中，所述卷积神经网络包括打分模块以及与打分模块连接的评价模块。两个模块是联合训练的，第一个模块的输出要经过排序然后再输入第二个模块。

其中，所述打分模块的构建方法具体包括：

利用不含书写质量标签的离线手写汉字数据库预训练一个的神经网络；

将预训练得到的神经网络的损失函数Softmax层去掉，同时将所述神经网络中的最后一个全连接层替换为输出为一通道的全连接层，得到打分模块。

所述评价模块的构建方法包括：

利用有书写质量标签的数据继续训练，确定评价模块。

本发明采用针对该任务有效的损失函数来训练卷积神经网络。

假如同一副字给老师打分两次，得分往往也会有差异，这体现了书写质量打分的随机性。因此，本发明采取的损失函数为：

其中，m为样本个数；y_i表示第i个样本的书写质量得分，范围为[0,100]；表示模型对第i个样本的打分；Tolerance是根据训练集中老师打分的随机性大小设置的超参数。采用该损失函数，便可以保证当真值y_i与预测值足够接近，即时，就没有误差的梯度信息进行反向传播。这样是合理的，如上分析，书写质量评分本身就具有幅度为Tolerance的随机性。该损失函数对于神经网络的输出的偏导数为：

可根据上述公式运行误差反向传播算法训练神经网络。

优选地，在步骤600中，所述通过卷积神经网络对各个汉字进行评价，具体包括：

步骤601：设N为评价一个人书写质量所需的字数，X_i为数据集中属于第i个人的汉字的集合，其大小为M；

步骤602：当N大于M时，将该人的每幅图像均读入；然后使N`＝N-M，且将N的值更新为N`，当当前N仍然大于M时，重复上述步骤，直至N小于M时，从M个汉字中随机挑选N个，然后结束循环；此时从集合X_i中挑选了N张字(X_i1，X_i2...X_iN)作为打分模块的输入；

步骤603：对所述打分模块输出单个字的分数进行排序，然后再输入所述评价模块；

步骤604：由所述评价模块确定所述待评价手写汉字图像的书写质量。

优选地，本发明手写汉字书写质量评价方法还包括，将当前待评价手写汉字图作为历史信息，更新离线手写汉字数据库，以训练打分模块。

此外，本发明还提供一种手写汉字书写质量评价系统，可降低人为因素影响，提高书法评价的准确性。

如图5所示，本发明手写汉字书写质量评价系统包括获取单元1、去除单元2、灰度处理单元3、透视化处理单元4、分割单元5及评价单元6。

其中，所述获取单元1用于获取待评价手写汉字图像，所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像。

所述去除单元2用于去除所述待评价手写汉字图像中的田字格，得到字体图像。

所述灰度处理单元3用于对所述字体图像进行灰度化处理，得到灰度图像。

所述透视化处理单元4用于对所述灰度图像进行透视化处理得到变换图像。

所述分割单元5用于将变换图像分割成多个单个的汉字。

所述评价单元6用于通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。

相对于现有技术，本发明手写汉字书写质量评价系统与上述手写汉字书写质量评价方法的有益效果相同，在此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种手写汉字书写质量评价方法，其特征在于，所述评价方法包括：

获取待评价手写汉字图像，所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像；

去除所述待评价手写汉字图像中的田字格，得到字体图像；

对所述字体图像进行灰度化处理，得到灰度图像；

对所述灰度图像进行透视化处理得到变换图像；

将变换图像分割成多个单个的汉字；

通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。

2.根据权利要求1所述的手写汉字书写质量评价方法，其特征在于，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，具体包括：

将所述待评价手写汉字图像进行红色R通道变换，得到红色R通道图像；

将所述红色R通道图像中像素大于设定的像素阈值的像素设置为白色，得到变换像素图像；

将所述变换像素图像进行红色R通道逆变换，得到字体图像。

3.根据权利要求2所述的手写汉字书写质量评价方法，其特征在于，所述去除所述待评价手写汉字图像中的田字格，得到字体图像，还包括：

去除得到变换像素图像的过程中产生的噪声。

4.根据权利要求3所述的手写汉字书写质量评价方法，其特征在于，所述去除得到变换像素图像的过程中产生的噪声，具体包括：

对于所述变换像素图像中的每一个联通部件，统计所述联通部件中包含像素个数n，并确定外接该联通部件的矩形的左上角坐标及右下角坐标，其中，左上角坐标为(left,up)，右下角坐标为(right,down)；

如果n<20或者n/max(right-left+1,down-up+1)<4，则该联通部件为噪声，将该联通部件中的每个像素均置为白色，否则保存不变。

5.根据权利要求1所述的手写汉字书写质量评价方法，其特征在于，所述对所述灰度图像进行透视化处理得到变换图像，具体包括：

设所述灰度图像的高为H，宽度为W，图像左上顶点为O，O点坐标为(0，0)，竖直向下为X轴方向，水平向右方向为Y轴方向，确定坐标图像；

对所述坐标图像进行噪声点搜索，确定文本框的左上角P1；

以左上角P1为参考确定右上角P2，以所述右上角P2为参考确定右下角P3，以所述左上角P1为参考或者以所述右下角P3为参考确定左下角P4；

构建一副高为H/2，宽为W的新图像；

通过字体图像中由P1，P2，P3，P4截得的四边形对所述新图像进行图像变换，确定变换图像；其中，P1、P2、P3、P4分别对应变换图像中的(0,0)、(0,W-1)、(H/2-1,W-1)、(H/2-1,0)四点。

6.根据权利要求5所述的手写汉字书写质量评价方法，其特征在于，所述对所述坐标图像进行噪声点搜索，确定文本框的左上角P1，具体包括：

步骤一：设置初始值：start_x＝3H/4，start_y＝0；

步骤二：在所述坐标图像中，由(start_x,start_y)处自左向右搜索，搜索到的第一个前景点的坐标记为(x,y)：

如果y>W/2，则start_x＝start_x-12，start_y＝0，继续执行步骤二；否则执行步骤三，检测是否为噪声点；

步骤三：以(x,y)为中心，在一个11*11的正方形搜索前景点，如果前景点的个数大于等于6，则(x,y)不是噪声点，执行步骤四；否则(x,y)是噪声点，继续执行步骤二；

步骤四：如果以(x-1,y-1)为前景点，则将(x,y)更新为(x-1,y-1)；否则如果以(x-1，y)为前景点，则将(x,y)更新为(x-1,y)；否则如果以(x-1,y+1)为前景点，则将(x，y)更新为(x-1,y+1)；否则确定寻找到文本框的左上角P1。

7.根据权利要求1所述的手写汉字书写质量评价方法，其特征在于，所述将变换图像分割成单个汉字，具体包括：

对于所述变换图像中的每一个联通部件，其中，x₀为联通部件中每一个像素的X值平均值，y₀为Y值平均值；

搜索中心位置与(x₀，y₀)最接近的格子，更新该格子的上下左右边界，使其包含该联通部件；其中，格子用来分割汉字的矩形，初始大小为0*0；

用每一个大小非0*0的格子截取图像，得到各个汉字图像；

将汉字图像的长边缩放到40像素，放在48*48黑色图像的中心位置，得到各个规格统一的汉字。

8.根据权利要求1所述的手写汉字书写质量评价方法，其特征在于，所述卷积神经网络包括打分模块以及与打分模块连接的评价模块；

所述打分模块的构建方法具体包括：

利用不含书写质量标签的离线手写汉字数据库预训练一个的神经网络；

将预训练得到的神经网络的损失函数Softmax层去掉，同时将所述神经网络中的最后一个全连接层替换为输出为一通道的全连接层，得到打分模块；

所述评价模块的构建方法包括：

利用有书写质量标签的数据继续训练，确定评价模块。

9.根据权利要求8所述的手写汉字书写质量评价方法，其特征在于，所述通过卷积神经网络对各个汉字进行评价，具体包括：

设N为评价一个人书写质量所需的字数，X_i为数据集中属于第i个人的汉字的集合，其大小为M；

当N大于M时，将该人的每幅图像均读入；然后使N`＝N-M，且将N的值更新为N`，当当前N仍然大于M时，重复上述步骤，直至N小于M时，从M个汉字中随机挑选N个，然后结束循环；此时从集合X_i中挑选了N张字(X_i1，X_i2...X_iN)作为打分模块的输入；

对所述打分模块输出单个字的分数进行排序，然后再输入所述评价模块；

由所述评价模块确定所述待评价手写汉字图像的书写质量。

10.一种手写汉字书写质量评价系统，其特征在于，所述评价系统包括：

获取单元，用于获取待评价手写汉字图像，所述待评价手写汉字图像为由红色田字格及田字格中的手写汉字形成的彩色图像；

去除单元，用于去除所述待评价手写汉字图像中的田字格，得到字体图像；

灰度处理单元，用于对所述字体图像进行灰度化处理，得到灰度图像；

透视化处理单元，用于对所述灰度图像进行透视化处理得到变换图像；

分割单元，用于将变换图像分割成多个单个的汉字；

评价单元，用于通过卷积神经网络对各个汉字进行评价，确定待评价手写汉字图像的书写质量。