CN113191309A - 一种手写汉字的识别、评分、纠错方法及系统 - Google Patents
一种手写汉字的识别、评分、纠错方法及系统 Download PDFInfo
- Publication number
- CN113191309A CN113191309A CN202110545810.5A CN202110545810A CN113191309A CN 113191309 A CN113191309 A CN 113191309A CN 202110545810 A CN202110545810 A CN 202110545810A CN 113191309 A CN113191309 A CN 113191309A
- Authority
- CN
- China
- Prior art keywords
- handwritten chinese
- chinese characters
- character
- chinese character
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012015 optical character recognition Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
- G06V40/33—Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种手写汉字的识别、评分、纠错方法及系统,方法包括:获取手写汉字的原始图片,进行预处理,得到只保留手写汉字的图片;采用psenet模型对只保留手写汉字的图片进行角度矫正,提取单个手写汉字的外接矩形框;采用mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;根据各外接矩形框的大小和排列关系,分析书写整体上的整齐程度;采用基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;采用纠错模型对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。本发明能够实现对手写汉字的识别、评分和纠错,具有计算复杂度低、准确性高的特点。
Description
技术领域
本发明涉及图像处理和深度学习技术领域,更具体的说是涉及一种手写汉字的识别、评分、纠错方法及系统。
背景技术
汉字书法是中华文化的瑰宝,每一个中华文化圈的人都以写一手漂亮的汉字而骄傲。特别是在青少年时期,练习书法能够培养情操,磨练意志,提高审美意识。
传统的用来给手写汉字评分的图像分析方法,主要是提取笔划、拆分单个字,分析布局章法,与字帖汉字进行比对。这样的方法不但计算复杂度高,而且泛化能力较差,只能对比手写汉字与现成字帖的匹配程度,相对死板。
随着近年来基于神经网络的图像识别技术发展飞速,可以将深度学习应用于实时书法评分中,以实现对手写汉字的识别、评分和纠错。
因此,如何提供一种基于深度学习,计算复杂度低,且能准确对手写汉字进行识别、评分及纠错的方法及系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种手写汉字的识别、评分、纠错方法及系统,能够实现对手写汉字的识别、评分和纠错,具有计算复杂度低、准确性高的特点。
为了实现上述目的,本发明采用如下技术方案:
一种手写汉字的识别、评分、纠错方法,包括以下步骤:
获取手写汉字的原始图片,将所述原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片;
采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正,并提取单个手写汉字所在区域的外接矩形框;
采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;
根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度;
采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;
在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述采用OCR方法对手写汉字的文本内容进行识别,并定位和标记存在书写错误的文字及出错部位,包括:
逐个提取单个手写汉字,将其与预先构建的汉字字模数据库中的字模进行比对;
对当前提取的单个手写汉字和字模进行连通域分析,并比对二者的连通域个数、连通域外接矩形框的大小、以及连通域相互之间的位置是否一致;若判定为不一致,则当前提取的手写汉字存在书写错误;
若判定为一致,则进行笔划分析;将当前提取的手写汉字与字模的对应连通域进行Haar-like特征提取,构成5个特征矩阵;计算特征矩阵在多个平移间隔下的互相关性值,进行相关性匹配;若有至少一个互相关值达到给定相关性阈值,则判定该部分连通域的笔画正确;若均达不到,则判定为存在笔划书写错误,并定位和标注当前提取的手写汉字中错误笔划的位置;
若当前提取的手写汉字存在多个字模,当当前提取的手写汉字与其中一个字模对照分析为正确,则判定当前提取的手写汉字书写正确;当当前提取的手写汉字与所有字模的对照分析均为错误时,则判定当前提取的手写汉字书写错误。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述笔划分析的过程为:
将当前提取的手写汉字和字模对应连通域按其外接矩形框依次进行提取,并缩放到相同的大小尺寸,得到多个对应矩形区域;
分别对当前提取的手写汉字和字模所提取的对应矩形区域进行5个Haar-like特征矩阵计算;若提取的部分为N*M,将提取部分的上下左右四个方向分别添加两行或两列,得到填充图像;将填充图像依次与5个Haar-like特征矩阵进行二维卷积计算,每次向水平或垂直方向位移一位,最终获得5个N*M的特征矩阵;
利用下式计算当前提取的手写汉字和字模所提取的对应矩形区域的36个二维位移量下的互相关值:
上式中,Φ表示5个Haar-like特征矩阵的集合{A,B,C,D,E},p,q∈{0,1,2,3,4,5},·表示Haar-like特征矩阵内各元素的均方根计算公式,Xi表示当前提取的手写汉字中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,Yi表示字模中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,i=A,B,C,D,E;
若36个特征矩阵互相关值中,存在至少一个达到给定阈值,则判定该提取的对应矩形区域的笔划正确;否则,判定为存在笔划书写错误;
逐个分析所有连通域提取出的对应矩形区域,全都正确,则判定为当前提取的手写汉字书写正确。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述汉字字模数据库的构建过程为:
采集150*150分辨率的不同字体的标准汉字二值图;
采用图形形态学对标准汉字二值图进行骨骼提取和膨胀操作,将笔划统一为4个像素粗细的标准汉字模型;
将各个标准汉字模型进行存储,得到所述汉字字模数据库。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,在将提取的单个手写汉字与字模进行比对之前还包括:将提取的单个手写汉字缩放到和字模相同的大小,并采用相同的二值化处理、骨骼提取和膨胀操作,使笔划粗细和字模一致。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述将所述原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片,包括:
将所述原始图片转化成单通道图片,并进行二值化处理,得到二值化图片;
提取二值化图片中像素点数超过给定阈值的连通域,将手写汉字进行提取,并对提取的手写汉字进行膨胀处理;
在二值化图片中减除提取出的所有连通域部分,将剩下的部分作为噪声区域;所述噪声区域至少包括污渍、纸张纹理、田字格或米字格的虚线;
对噪声区域进行膨胀处理,构成噪声蒙版;
在原始图片中删除噪声蒙板选中区域,得到只保留手写汉字的图片。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述对只保留手写汉字的图片进行角度矫正,包括:
采用预先构建的psenet模型对只保留手写汉字的图片进行文字定位和角度识别;
根据所识别的角度,将只保留手写汉字的图片进行整体的角度旋转,放正各手写汉字。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度,包括:
利用预先构建的psenet模型计算每个所述外接矩形框的宽度方差,根据宽度方差计算变量A的值,当宽度方差高于给定阈值时,A=0,否则A=1;
根据手写汉字的走向,计算同一行或同一列上每个外接矩形框中心的水平坐标方差或垂直坐标方差,根据水平坐标方差或垂直坐标方差计算变量B值,当水平坐标方差或垂直坐标方差高于给定阈值时,B=0,否则B=1;
计算A*B的值,若为0,则判定书写的整齐程度为“错落不齐”,若为1,则判定书写的整齐程度为“整洁优美”。
优选的,在上述一种手写汉字的识别、评分、纠错方法中,所述识别评分模型所识别的书写方式为硬笔和软笔两类;所述识别评分模型所识别的字体为楷书、隶书和行书三类;所述识别评分模型按照不同等级分别对单个手写汉字进行评分,并将各个手写汉字的评分进行加和求平均,将平均值作为整体书写评分。
本发明还公开一种手写汉字的识别、评分、纠错系统,其适用于所述的手写汉字的识别、评分和纠错方法,包括:
获取模块,用于获取手写汉字的原始图片,将原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片;
角度矫正模块,用于采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正;
手写汉字走向判断模块,用于采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;
整齐程度分析模块,用于根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度;
评分模块,用于采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;
纠错模块,用于在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种手写汉字的识别、评分、纠错方法,首先对手写汉字的原始图片中的小污渍、纸张纹理、田字格或米字格虚线等噪声删除,使图片中只保留手写汉字,为对手写汉字的准确识别提供基础;然后对手写汉字图片进行角度矫正、判断文字走向,并分析整体书写的整齐程度;再利用深度学习的方法对手写汉字的书写方式、字体、单个汉字及整体进行评分;最后再采用预先构建的基于神经网络的纠错模型对识别字体为楷体的情况下,对手写汉字和出错部位进行定位和标记,实现及时全面的端到端的智能评价和反馈,为练习书法的人员提供引导和乐趣。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的手写汉字的识别、评分、纠错方法的流程图;
图2附图为本发明提供的基于神经网络的识别评分模型的结构示意图;
图3附图为本发明提供的5个Haar-like矩阵的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例公开了一种手写汉字的识别、评分、纠错方法,包括以下步骤:
S1、获取手写汉字的原始图片,将原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片。
S101、将原始图片转化成单通道图片,并进行二值化处理,得到二值化图片。
S102、提取二值化图片中像素点数超过给定阈值的连通域,将手写汉字进行提取,并对提取的手写汉字进行膨胀处理;经过一次膨胀操作使得汉字笔划能够覆盖原图中的笔划。
S103、在二值化图片中减除提取出的所有连通域部分,将剩下的部分作为噪声区域;所述噪声区域至少包括污渍、纸张纹理、田字格或米字格的虚线。
S104、对噪声区域进行膨胀处理,构成噪声蒙版。
S105、在原始图片中删除噪声蒙板选中区域,得到只保留手写汉字的图片。
S2、采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正,并提取单个手写汉字所在区域的外接矩形框。
S201、采用预先构建的psenet模型对只保留手写汉字的图片进行文字定位和角度识别。
S202、根据所识别的角度,将只保留手写汉字的图片进行整体的角度旋转,放正各手写汉字。
S3、采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向。
S4、根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度。
S401、利用预先构建的psenet模型计算每个所述外接矩形框的宽度方差,根据宽度方差计算变量A的值,当宽度方差高于给定阈值时,A=0,否则A=1。
S402、根据手写汉字的走向,计算同一行或同一列上每个外接矩形框中心的水平坐标方差或垂直坐标方差,根据水平坐标方差或垂直坐标方差计算变量B值,当水平坐标方差或垂直坐标方差高于给定阈值时,B=0,否则B=1。
S403、计算A*B的值,若为0,则判定书写的整齐程度为“错落不齐”,若为1,则判定书写的整齐程度为“整洁优美”。
S5、采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分。
将每一个提取出的单个手写汉字,通过识别评分模型得到多个输出。如图2所示,该识别评分模型具有三个输出,其中输出一为:进行书写方式的识别,硬笔和毛笔两类;
输出二为:进行书写字体的识别,包括楷书,隶书,行书三类;
输出三为:对每一个手写汉字进行评分,得分为1至5分,5个等级;对所有单个汉字的评分相加求平均,即为该图片手写汉字书法上的整体评分。
S6、在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
对上述提取的手写汉字通过CRNN网络,进行OCR文字内容识别,获取文本内容;如果识别字体为楷体,可以启用书写错误探测功能,即通过对比手写内容和比对文本,实现文本校对,并可定位出错的手写文字。具体步骤如下:
S601、依次提取单个手写汉字,进行骨骼提取的预处理操作,将其与预先构建的汉字字模数据库中的字模进行比对。汉字字模数据库的构建过程为:
采集150*150分辨率的不同字体的标准汉字二值图;
采用图形形态学对标准汉字二值图进行骨骼提取和膨胀操作,将笔划统一为4个像素粗细的标准汉字模型;
将各个标准汉字模型进行存储,得到所述汉字字模数据库。
在将提取的单个手写汉字与字模进行比对之前还包括:将提取的单个手写汉字缩放到和字模相同的大小150*150分辨率,并采用相同的二值化处理、骨骼提取和膨胀操作,使笔划粗细和字模一致。
S602、对提取的单个手写汉字和字模进行连通域分析,并比对二者的连通域个数、连通域外接矩形框的大小、以及连通域相互之间的位置是否一致;若判定为不一致,则当前手写汉字存在书写错误。
S603、若判定为一致,则进行笔划分析;将手写汉字与字模的对应连通域进行Haar-like特征提取,构成5个特征矩阵;计算特征矩阵在多个平移间隔下的互相关性值,进行相关性匹配;若有至少一个互相关值达到给定相关性阈值,则判定该部分连通域的笔画正确;若均达不到,则判定为存在笔划书写错误,并定位和标注该手写汉字中错误笔划的位置。其中,笔划分析的具体过程为:
S6031、依次将手写汉字和字模对应连通域按其外接矩形框进行提取,并缩放到相同的大小尺寸,得到多个对应矩形区域。
S6032、分别对手写汉字和字模所提取的对应矩形区域进行5个Haar-like特征矩阵计算;若提取的部分为N*M,padding到(N+4)*(M+4),将提取部分的上下左右四个方向分别添加两行或两列,得到填充图像;将填充图像依次与5个Haar-like特征矩阵进行二维卷积计算,每次向水平或垂直方向位移一位,最终获得5个N*M的特征矩阵。
S6033、利用下式计算手写汉字和字模所提取的对应矩形区域的36个二维位移量下的互相关值:
上式中,Φ表示5个Haar-like特征矩阵的集合{A,B,C,D,E},p,q∈{0,1,2,3,4,5},·表示Haar-like特征矩阵内各元素的均方根计算公式;Xi表示手写汉字中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,Yi表示字模中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,i=A,B,C,D,E;
S6034、若36个特征矩阵互相关值中,存在至少一个达到给定阈值,则判定该提取的对应矩形区域的笔划正确;否则,判定为存在笔划书写错误。
S6035、逐个分析所有连通域提取出的对应矩形区域,全都正确,则判定为当前提取的手写汉字书写正确。
S6036、若同一手写汉字存在多个字模,当手写汉字与其中一个字模对照分析为正确,则判定该手写汉字书写正确;当手写汉字与所有字模的对照分析均为错误时,则判定该手写汉字书写错误。
S6037、重复执行S6031-S6036,直至分析完所有手写汉字。
本发明实施例还公开一种手写汉字的识别、评分、纠错系统,包括:
获取模块,用于获取手写汉字的原始图片,将原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片;
角度矫正模块,用于采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正;
手写汉字走向判断模块,用于采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;
整齐程度分析模块,用于根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度;
评分模块,用于采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;
纠错模块,用于在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
本发明实施例能够实现对手写汉字进行实时端到端的智能评分和纠错,能够给于书法练习人员指导,并提高兴趣。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种手写汉字的识别、评分、纠错方法,其特征在于,包括以下步骤:
获取手写汉字的原始图片,将原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片;
采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正,并提取单个手写汉字所在区域的外接矩形框;
采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;
根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度;
采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;
在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
2.根据权利要求1所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述采用OCR方法对手写汉字的文本内容进行识别,并定位和标记存在书写错误的文字及出错部位,包括:
逐一提取单个手写汉字,将其与预先构建的汉字字模数据库中的字模进行比对;
对当前提取的单个手写汉字和字模进行连通域分析,并比对二者的连通域个数、连通域外接矩形框的大小、以及连通域相互之间的位置是否一致;若判定为不一致,则当前提取的手写汉字存在书写错误;
若判定为一致,则进行笔划分析;将当前提取的手写汉字与字模的对应连通域进行Haar-like特征提取,构成5个特征矩阵;计算特征矩阵在多个平移间隔下的互相关性值,进行相关性匹配;若有至少一个互相关值达到给定相关性阈值,则判定该部分连通域的笔画正确;若均达不到,则判定为存在笔划书写错误,并定位和标注该手写汉字中错误笔划的位置;
若当前提取的手写汉字存在多个字模,当当前提取的手写汉字与其中一个字模对照分析为正确,则判定当前提取的手写汉字书写正确;当当前提取的手写汉字与所有字模的对照分析均为错误时,则判定当前提取的手写汉字书写错误。
3.根据权利要求2所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述笔划分析的过程为:
将当前提取的手写汉字和字模对应连通域按其外接矩形框依次进行提取,并缩放到相同的大小尺寸,得到多个对应矩形区域;
分别对当前提取的手写汉字和字模所提取的对应矩形区域进行5个Haar-like特征矩阵计算;若提取的部分为N*M,将提取部分的上下左右四个方向分别添加两行或两列,得到填充图像;将填充图像依次与5个Haar-like特征矩阵进行二维卷积计算,每次向水平或垂直方向位移一位,最终获得5个N*M的特征矩阵;
利用下式计算当前提取的手写汉字和字模所提取的对应矩形区域的36个二维位移量下的互相关值:
上式中,Φ表示5个Haar-like特征矩阵的集合{A,B,C,D,E},p,q∈{0,1,2,3,4,5},||·||表示Haar-like特征矩阵内各元素的均方根计算公式;Xi表示当前提取的手写汉字中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,Yi表示字模中所提取的对应矩形区域计算得到的5个N*M的特征矩阵,i=A,B,C,D,E;
若36个特征矩阵互相关值中,存在至少一个达到给定阈值,则判定该提取的对应矩形区域的笔划正确;否则,判定为存在笔划书写错误;
逐个分析所有连通域提取出的对应矩形区域,全都正确,则判定为当前提取的手写汉字书写正确。
4.根据权利要求2所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述汉字字模数据库的构建过程为:
采集150*150分辨率的不同字体的标准汉字二值图;
采用图形形态学对标准汉字二值图进行骨骼提取和膨胀操作,将笔划统一为4个像素粗细的标准汉字模型;
将各个标准汉字模型进行存储,得到所述汉字字模数据库。
5.根据权利要求2所述的一种手写汉字的识别、评分、纠错方法,其特征在于,在将提取的单个手写汉字与字模进行比对之前还包括:将提取的单个手写汉字缩放到和字模相同的大小,并采用相同的二值化处理、骨骼提取和膨胀操作,使笔划粗细和字模一致。
6.根据权利要求1所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述将所述原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片,包括:
将原始图片转化成单通道图片,并进行二值化处理,得到二值化图片;
提取二值化图片中像素点数超过给定阈值的连通域,将手写汉字进行提取,并对提取的手写汉字进行膨胀处理;
在二值化图片中减除提取出的所有连通域部分,将剩下的部分作为噪声区域;所述噪声区域至少包括污渍、纸张纹理、田字格或米字格的虚线;
对噪声区域进行膨胀处理,构成噪声蒙版;
在原始图片中删除噪声蒙板选中区域,得到只保留手写汉字的图片。
7.根据权利要求1所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述对只保留手写汉字的图片进行角度矫正,包括:
采用预先构建的psenet模型对只保留手写汉字的图片进行文字定位和角度识别;
根据所识别的角度,将只保留手写汉字的图片进行整体的角度旋转,放正各手写汉字。
8.根据权利要求1所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度,包括:
利用预先构建的psenet模型计算每个所述外接矩形框的宽度方差,根据宽度方差计算变量A的值,当宽度方差高于给定阈值时,A=0,否则A=1;
根据手写汉字的走向,计算同一行或同一列上每个外接矩形框中心的水平坐标方差或垂直坐标方差,根据水平坐标方差或垂直坐标方差计算变量B值,当水平坐标方差或垂直坐标方差高于给定阈值时,B=0,否则B=1;
计算A*B的值,若为0,则判定书写的整齐程度为“错落不齐”,若为1,则判定书写的整齐程度为“整洁优美”。
9.根据权利要求1所述的一种手写汉字的识别、评分、纠错方法,其特征在于,所述识别评分模型所识别的书写方式为硬笔和软笔两类;所述识别评分模型所识别的字体为楷书、隶书和行书三类;所述识别评分模型按照不同等级分别对单个手写汉字进行评分,并将各个手写汉字的评分进行加和求平均,将平均值作为整体书写评分。
10.一种手写汉字的识别、评分、纠错系统,其适用于如权利要求1-9任一项所述的手写汉字的识别、评分和纠错方法,其特征在于,包括:
获取模块,用于获取手写汉字的原始图片,将原始图片中汉字之外的部分作为噪声并删除,得到只保留手写汉字的图片;
角度矫正模块,用于采用预先构建的psenet模型对只保留手写汉字的图片进行角度矫正;
手写汉字走向判断模块,用于采用预先构建的mobilev3网络模型确定手写汉字的走向为水平方向或竖直方向;
整齐程度分析模块,用于根据各所述外接矩形框的大小和排列关系,分析书写整体上的整齐程度;
评分模块,用于采用预先构建的基于神经网络的识别评分模型识别每个手写汉字的书写方式和字体,并对单个手写汉字的书写情况和整体书写情况进行评分;
纠错模块,用于在手写汉字的字体为楷体时,采用预先构建的基于神经网络的纠错模型,对手写汉字的文本内容进行OCR识别,并定位和标记存在书写错误的汉字及出错部位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545810.5A CN113191309A (zh) | 2021-05-19 | 2021-05-19 | 一种手写汉字的识别、评分、纠错方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110545810.5A CN113191309A (zh) | 2021-05-19 | 2021-05-19 | 一种手写汉字的识别、评分、纠错方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113191309A true CN113191309A (zh) | 2021-07-30 |
Family
ID=76982434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110545810.5A Pending CN113191309A (zh) | 2021-05-19 | 2021-05-19 | 一种手写汉字的识别、评分、纠错方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191309A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554033A (zh) * | 2021-09-18 | 2021-10-26 | 深圳市一号互联科技有限公司 | 智能文本机器人的文本识别方法、装置及系统 |
CN113642561A (zh) * | 2021-08-25 | 2021-11-12 | 广东知乐技术有限公司 | 一种书法作品智能评分方法和装置 |
CN113673380A (zh) * | 2021-08-05 | 2021-11-19 | 广州市再华信息科技有限公司 | 一种无屏手写识别装置及其识别系统 |
CN114550179A (zh) * | 2022-01-11 | 2022-05-27 | 陕西师范大学 | 对手写汉字黑板板书进行指导的方法、系统及设备 |
CN115294588A (zh) * | 2022-08-17 | 2022-11-04 | 湖北鑫英泰系统技术股份有限公司 | 一种基于rpa流程机器人的数据处理方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529380A (zh) * | 2015-09-15 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 图像的识别方法及装置 |
CN109145922A (zh) * | 2018-09-10 | 2019-01-04 | 成都品果科技有限公司 | 一种自动抠图系统 |
CN109214471A (zh) * | 2018-10-10 | 2019-01-15 | 北京米蓝科技有限公司 | 评价练字字帖中的书写字的方法及系统 |
US10296817B1 (en) * | 2018-03-30 | 2019-05-21 | Gyrfalcon Technology Inc. | Apparatus for recognition of handwritten Chinese characters |
CN110298250A (zh) * | 2019-05-30 | 2019-10-01 | 广东爱贝佳科技有限公司 | 一种书写评分及纠错方法和交互式系统 |
CN110705610A (zh) * | 2019-09-17 | 2020-01-17 | 孔佑强 | 一种基于检测书法临写能力的评估系统和方法 |
CN111626297A (zh) * | 2020-04-13 | 2020-09-04 | 小船出海教育科技(北京)有限公司 | 文字书写质量评价方法、装置、电子设备和记录介质 |
CN111738141A (zh) * | 2020-06-19 | 2020-10-02 | 首都师范大学 | 一种硬笔书法作品评判方法 |
CN111881310A (zh) * | 2019-12-07 | 2020-11-03 | 杭州华冬人工智能有限公司 | 一种汉字硬笔书写智能指导和评分方法及指导评分系统 |
US20200401834A1 (en) * | 2018-02-26 | 2020-12-24 | Videonetics Technology Private Limited | A system for real-time automated segmentation and recognition of vehicle's license plates characters from vehicle's image and a method thereof. |
CN112434699A (zh) * | 2020-11-25 | 2021-03-02 | 杭州六品文化创意有限公司 | 手写汉字或偏旁、笔划的自动提取及智能评分系统 |
-
2021
- 2021-05-19 CN CN202110545810.5A patent/CN113191309A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529380A (zh) * | 2015-09-15 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 图像的识别方法及装置 |
US20200401834A1 (en) * | 2018-02-26 | 2020-12-24 | Videonetics Technology Private Limited | A system for real-time automated segmentation and recognition of vehicle's license plates characters from vehicle's image and a method thereof. |
US10296817B1 (en) * | 2018-03-30 | 2019-05-21 | Gyrfalcon Technology Inc. | Apparatus for recognition of handwritten Chinese characters |
CN109145922A (zh) * | 2018-09-10 | 2019-01-04 | 成都品果科技有限公司 | 一种自动抠图系统 |
CN109214471A (zh) * | 2018-10-10 | 2019-01-15 | 北京米蓝科技有限公司 | 评价练字字帖中的书写字的方法及系统 |
CN110298250A (zh) * | 2019-05-30 | 2019-10-01 | 广东爱贝佳科技有限公司 | 一种书写评分及纠错方法和交互式系统 |
CN110705610A (zh) * | 2019-09-17 | 2020-01-17 | 孔佑强 | 一种基于检测书法临写能力的评估系统和方法 |
CN111881310A (zh) * | 2019-12-07 | 2020-11-03 | 杭州华冬人工智能有限公司 | 一种汉字硬笔书写智能指导和评分方法及指导评分系统 |
CN111626297A (zh) * | 2020-04-13 | 2020-09-04 | 小船出海教育科技(北京)有限公司 | 文字书写质量评价方法、装置、电子设备和记录介质 |
CN111738141A (zh) * | 2020-06-19 | 2020-10-02 | 首都师范大学 | 一种硬笔书法作品评判方法 |
CN112434699A (zh) * | 2020-11-25 | 2021-03-02 | 杭州六品文化创意有限公司 | 手写汉字或偏旁、笔划的自动提取及智能评分系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673380A (zh) * | 2021-08-05 | 2021-11-19 | 广州市再华信息科技有限公司 | 一种无屏手写识别装置及其识别系统 |
CN113642561A (zh) * | 2021-08-25 | 2021-11-12 | 广东知乐技术有限公司 | 一种书法作品智能评分方法和装置 |
CN113554033A (zh) * | 2021-09-18 | 2021-10-26 | 深圳市一号互联科技有限公司 | 智能文本机器人的文本识别方法、装置及系统 |
CN113554033B (zh) * | 2021-09-18 | 2021-12-10 | 深圳市一号互联科技有限公司 | 智能文本机器人的文本识别方法、装置及系统 |
CN114550179A (zh) * | 2022-01-11 | 2022-05-27 | 陕西师范大学 | 对手写汉字黑板板书进行指导的方法、系统及设备 |
CN115294588A (zh) * | 2022-08-17 | 2022-11-04 | 湖北鑫英泰系统技术股份有限公司 | 一种基于rpa流程机器人的数据处理方法及系统 |
CN115294588B (zh) * | 2022-08-17 | 2024-04-19 | 湖北鑫英泰系统技术股份有限公司 | 一种基于rpa流程机器人的数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113191309A (zh) | 一种手写汉字的识别、评分、纠错方法及系统 | |
CN106384094B (zh) | 一种基于书写风格建模的中文字库自动生成方法 | |
CN102542264A (zh) | 基于数字手写设备的汉字书写正误自动评测方法和装置 | |
CN110414563A (zh) | 考试成绩统计方法、系统及计算机可读存储介质 | |
CN113537227B (zh) | 一种结构化文本识别方法及系统 | |
CN111626297A (zh) | 文字书写质量评价方法、装置、电子设备和记录介质 | |
CN105787522A (zh) | 基于手写笔迹的书写态度评价方法及系统 | |
CN111814598A (zh) | 一种基于深度学习框架的财务报表自动识别方法 | |
CN112560850A (zh) | 基于自定义模板的身份证信息自动提取和真伪校验方法 | |
CN105117741A (zh) | 一种书法字风格的识别方法 | |
CN113011412B (zh) | 基于笔顺及ocr文字识别方法、装置、设备及存储介质 | |
CN109635687A (zh) | 基于时序点集计算的汉字文本行书写质量自动评价方法和系统 | |
US20230008529A1 (en) | Gesture stroke recognition in touch-based user interface input | |
CN108052936B (zh) | 一种盲文图像自动倾斜校正方法及系统 | |
CN116704523A (zh) | 一种用于出版印刷设备的文字排版图像识别系统 | |
CN107958261B (zh) | 一种盲文点检测方法及系统 | |
CN210038810U (zh) | 智能评测设备及系统 | |
CN111612045A (zh) | 一种获取目标检测数据集的通用方法 | |
CN117095414A (zh) | 一种基于点阵纸笔的手写识别系统及识别方法 | |
CN108062548B (zh) | 一种盲文方自适应定位方法及系统 | |
CN117152768A (zh) | 用于扫读笔的离线识别方法及系统 | |
CN116311281A (zh) | 一种基于生成对抗网络的手写字体纠正系统 | |
CN114241486A (zh) | 一种提高识别试卷学生信息准确率的方法 | |
CN114998262A (zh) | 一种基于八分教学法的课堂脱机书法教学与评价系统 | |
CN115311674A (zh) | 手写处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |