CN116434243A - 一种笔迹练习系统的练习笔迹自动评测方法 - Google Patents
一种笔迹练习系统的练习笔迹自动评测方法 Download PDFInfo
- Publication number
- CN116434243A CN116434243A CN202310165833.2A CN202310165833A CN116434243A CN 116434243 A CN116434243 A CN 116434243A CN 202310165833 A CN202310165833 A CN 202310165833A CN 116434243 A CN116434243 A CN 116434243A
- Authority
- CN
- China
- Prior art keywords
- handwriting
- image
- font
- database
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 9
- 238000013515 script Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 241001178520 Stomatepia mongo Species 0.000 claims 1
- 238000012854 evaluation process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1437—Sensor details, e.g. position, configuration or special lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Character Discrimination (AREA)
Abstract
一种笔迹练习系统的练习笔迹自动评测方法，包括字迹图像输入模块、数据库检索模块、字迹识别模块、匹配度差异分析模块和字体评测模块，将手写笔迹转化为数字图像，基于计算机视觉算法进行二值化处理和边缘检测，实现手写字体的识别与标准字体进行匹配度分析，基于匹配度差异实现练习笔迹的自动测评方法。其应用层面广，经济成本低，可以推广至广泛的社会应用，带来良好的社会办公和教育效益。
Description
技术领域
本发明涉及文体教育领域，具体地说，涉及一种笔迹练习系统的练习笔迹自动评测方法。
背景技术
对笔迹极为重视的思想自古已有，“字如其人”的说法一直流传至今，笔迹一直被认为是一个人性格的体现，在一部分心理测验中甚至直接通过书写人的笔迹特征来推断其人所处的状态。科学技术的发展使人们的书写方式发生了翻天覆地的变化，人们对于练字的需求越来越高，但是业余者仍需一个完善的字迹评价方法，本发明对字体的练习本发明包括字迹图像输入模块、数据库检索模块、字迹识别模块、字体匹配度差异分析模块和字体评测模块。将手写笔迹转化为数字图像，基于计算机视觉算法进行二值化处理和边缘检测，实现手写字体的识别与标准字体进行匹配度分析，基于匹配度差异实现练习笔迹的自动测评方法。其应用场景广泛，应用限制较低，具有教育价值和社会意义。
发明内容
本发明的目的在于提供一种笔迹练习系统的练习笔迹自动评测方法，以解决上述背景技术中提出的问题。
为实现上述目的，一种笔迹练习系统的练习笔迹自动评测方法，包括字迹图像输入模块、数据库检索模块、字迹识别模块、匹配度差异分析模块和字体评测模块；采集手写笔迹并转化为以像素为单位的数据图像，基于实时的计算机视觉中的Canny算法模型对笔迹数据图像进行边缘检测，利用字体匹配算法引入改进的高斯函数处理约束度量Pmn计算手写字体与标准字体的匹配度差异性，基于差异性分析的结果对差异性进行评估打分，依据打分结果对用户的手写字体进行自动测评，为用户提供更为客观的习字测评方法。
进一步的，所述字迹图像输入模块，本发明利用移动摄像机设备采集手写字体后，为了提高手写字体的识别精度，使用神经网络和传统的机器学习方法对图像进行检测和识别，为了缓解图像识别中过拟合的现象，采用去除均值的方法，采用灰度化、二值化和归一化处理，对原始手写字体图像RGB三个色彩通道分量加权平均得到灰度图像，然后采用全局阈值处理算法自动选取最佳阈值T，最终达到二值化处理的目标。为了提高手写字体中不同笔画特征识别的准确性，将图像语义分割的像素点统一大小归一化成64×64像素。
进一步的，所述字迹图像输入模块，本发明在数据输入之前进行PCA降维操作确保特征信息不丢失，除此以外，在采集手写字体数据集中，由于通过摄像头采集，过程中存在一定的倾斜，因此在预处理的过程中采用Hough变换检测图像的边缘直线并调整其倾斜程度。同时，本发明还利用滤波器去除手写字体图像框线。
进一步的，所述数据库检索模块，本发明使用的MongoDB是基于分布式文件系统的NoSQL开源数据库项目，它是一个高性能且可扩展的数据库。它使用C++编程语言开发，使用类BSON(BinaryJSON)松散式格式，可存储比较复杂的数据类型，可作为Web应用程序优秀的数据源。MongoDB提供了索引、聚合、分片和负载均衡等功能，支持大规模数据批处理，是一种介于关系型数据库和非关系型数据之间的数据库，其读写效率高字迹数据信息存储在JSON中，查询数据时用很少的时间就可查询到磁头，相比于关系模型的二维表，在IO性能上有明显优势。同时可扩展能力强。由于多节点数据关联存在性能问题，因此关系型数据库很难做分布式。而字迹数据不考虑关联，数据容易分库，水平扩展比较容易。关系模型中二维表表示数据相对固定；数据结构灵活，且字迹数据与对象模型十分类似，无需经过对象关系映射双向转换，可直接用于内存和存储之间相互操作。
进一步的，所述数据库检索模块，本发明采用基于模式图的方法进行数据库MongoDB检索，在数据库中，包括字体完成的时间，书写人，字的行列号等信息，数据库的模式数据图G(V，E)为V＝{v1，v2，v3，…，vn}；E＝{e1，e2，e3，…，en}。
其中，e1＝(v1，v2)，e2＝(v2，v3)，…，ei＝(vi，vj)，vi，vj∈V；
数据图G包含节点集合V和边集合E，关系中R的任意元组记录表示为节点，元组与元组间的主外键关联表示为边。若属于不同关系R的两个元组Ti，Tj有主外键关联，则在数据库的模式数据图G中有相应的一条边e(vi，vj)表示。
进一步的，所述字迹识别模块，所述字迹识别模块，假设两个笔划间的距离为l，利用改进的高斯函数处理约束度量Pmn就可表示为：
其中，l0表示初始时两笔划间的距离，σ表示高斯函数标准差，m与n表示笔划起末点。改进的高斯函数处理约束度量Pmn相比于传统的高斯函数处理约束度量，增加了数据量级，更符合本发明数据要求，提高了计算精度。采用等时间距离采样方法采集笔划轨迹，定义初始轨迹点，计算初始轨迹点与采样轨迹的最近距离，计算公式如下：
其中，ac表示定义的初始轨迹点，G表示轨迹，
与/>
表示初始轨迹点的坐标值，
与/>
分别表示轨迹点序列坐标值：将上述计算得到的距离值作为训练样本，采用K-mean聚类算法处理该训练样本，随机选取n个聚类初始中心点η1，η2，…，ηn，γj表示ηn的聚类属性值，计笔划轨迹中起点与终点间的距离d，计算公式为：
d＝argminj||xi-ηj||2+argminj||yi-γj||2
其中，xi表示待聚类点坐标的变量值，yi表示待聚类点坐标变量对应的属性值，上式计算的目的在于考虑聚类属性的权重，计算并更新该类中心点，计算公式为：
其中，参数含义保持不变，参照上述计算公式聚类处理所有的笔划轨迹，直至中心点不发生变化：将数值不变的中心点作为识别的类中心，再分配到对应类的类中心中，即可完成对笔划运动轨迹的自动识别。
进一步的，所述字迹识别模块，采用Canny算法进行图像降噪处理，采用一种基于小波变换与双边滤波的方法代替改进高斯滤波器，一个原始字迹图像信号通过小波分解后变为高频和低频部分，高频部分经过分离后，可以选择合适的小波系数进行阈值去噪处理；之后将它与低频部分进行重构，得到高频去噪图，再利用双边滤波对高频去噪图中的低频信号进行去噪处理，最后通过小波逆变换得到去噪后的图像；采用长度有限具有衰减特性的小波基来表示信号，并能实现信号分割，可将一个字迹图像信号转换成高低频两部分信号，小波变换基于它的二维特性可以同时定位时域和频域，频率分辨率和时间分辨率可以在处理低频和高频信号时分别达到最好效果，改进后的小波变换WT(α，γ，τ)公式为：
其中，R表示实数域；涉及小波变换中的三个变量参数为尺度因子α，γ和位移参数τ，分别对应于控制小波函数的伸缩与位移；ψ(t)表示小波函数；
采用小波变换去噪图像的改进模型为：
X(i)＝f(i)+[σe(i)]2
其中，x(i)为噪声图；f(i)为纯净图；σ为标准差；e(i)为噪声，i表示图像中的像素，i＝0，1，…，n-1，使用的去噪改进模型增加了噪声的数据量级，相比于传统模型可以达到更好的去噪效果，随后，用双边滤波对含有空域分量kd和值域分量k两部分图像滤波处理：
其中，hd(x)，hr(x)和kr(x)分别表示滤波后在空域，频域和值域中的图像信息分布，积分号前的部分是归一化因子，式中包括空域分量kd和值域分量kr，c和s指closeness和similarity函数，研究只考虑对像素点进行加权计算，x是检测点，f(ξ)和f(x)代表滤波完成前空域和值域的图像信息。
进一步的，所述字体匹配度差异分析模块，本发明中假设任意变形字体图像对应N个提取的特征信息FI，其中FI(i)＝(xi，yi)。从而可得该字体图像A与数据库中的字体图像的欧式距离：
其中，FI为提取的特征信息，FIA(i)为字体图像A的特征信息；FID(i)为数据库中图像的特征信息。
本发明中得到的度量信息可以获得比较满意的字体识别结果，获得变形字体与数据库中字体图像间的相似性度量公式，使用改进的相似性距离公式ETPS：
其中，
i＝1：k为度量目标；/>
和/>
为第i对匹配点。ETPS(f)的值越小代表/>
和/>
越相近。
进一步的，所述字体评测模块，第一步输入数据库模板、待匹配模板、与阈值S。第二步将提取的书法字骨架图像输入至笔迹自动评测流程，分别与源字体库中楷书、仿宋、隶书、行书、黑体以及宋体等标准字体中同一个字做骨架九宫格相似度判别，第三步计算书法字骨架图像与标准字体两帧之间的欧氏距离，与阈值进行比较，如果小于阈值，则判定为合格笔迹，以评分制确定水平，包括0～60分，60～70分，70～80分，80～100分，分别代表不合格，达标，良好，优秀；如果大于阈值，则判定为不合格笔迹。
本发明有益效果：本发明开发了一种笔迹练习系统的练习笔迹自动评测方法，包括字迹图像输入模块、数据库检索模块、字迹识别模块、字体匹配度差异分析模块和字体评测模块。本发明利用移动摄像机设备采集手写字体后，将采集的手写笔迹并转化为以像素为单位的数据图像，为了提高手写字体的识别精度，使用神经网络和传统的机器学习方法对图像进行检测和识别，采用去除均值的方法，采用灰度化、二值化和归一化处理，对原始手写字体图像RGB三个色彩通道分量加权平均得到灰度图像，然后采用全局阈值处理算法自动选取最佳阈值T，最终达到二值化处理的目标，将图像语义分割的像素点统一大小归一化成64×64像素，并基于实时的计算机视觉中的Candy算法模型对笔迹数据图像进行边缘检测，进行图像降噪处理，采用一种基于小波变换与双边滤波的方法代替传统高斯滤波器，改进的高斯函数处理约束度量Pmm相比于传统的高斯函数处理约束度量，增加了数据量级，更符合笔迹数据要求，提高了计算精度，可以得到高频去噪图，使用一种改进的书法字骨架化算法，首先输入手写字图像后，进行图像预处理，使用图像细化算法遍历手写字骨架，文使用斜线冗余像素消除模板对骨架细节进行冗余去除，遍历完毕后输出处理完毕的手写字骨架。利用计算得出的相似度作为手写字与标准字之间的相似度评分。并引入皮尔逊相关系数在协方差结果的基础上除以两个变量的标准差以得到最终相关性结果，在目标手写字骨架提取之后，标准字体中同一个字做骨架九宫格相似度判别，根据相似度反馈纠正书写的信息指示。
附图说明
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1，本发明旨在提供一种笔迹练习系统的练习笔迹自动评测方法，以解决上述背景技术中提出的问题。
为实现上述目的，提供了一种笔迹练习系统的练习笔迹自动评测方法，包括字迹图像输入模块、数据库检索模块、字迹识别模块、匹配度差异分析模块和字体评测模块；采集手写笔迹并转化为以像素为单位的数据图像，基于实时的计算机视觉中的Canny算法模型对笔迹数据图像进行边缘检测，利用字体匹配算法引入改进的高斯函数处理约束度量Pmn计算手写字体与标准字体的匹配度差异性，基于差异性分析的结果对差异性进行评估打分，依据打分结果对用户的手写字体进行自动测评，为用户提供更为客观的习字测评方法。
字迹图像输入模块，利用移动摄像机设备采集手写字体后，为了提高手写字体的识别精度，使用神经网络和传统的机器学习方法对图像进行检测和识别，为了缓解图像识别中过拟合的现象，采用去除均值的方法，采用灰度化、二值化和归一化处理，对原始手写字体图像RGB三个色彩通道分量加权平均得到灰度图像，然后采用全局阈值处理算法自动选取最佳阈值T，最终达到二值化处理的目标。为了提高手写字体中不同笔画特征识别的准确性，将图像语义分割的像素点统一大小归一化成64×64像素；在数据输入之前进行PCA降维操作确保特征信息不丢失，除此以外，在采集手写字体数据集中，由于通过摄像头采集，过程中存在一定的倾斜，因此在预处理的过程中采用Hough变换检测图像的边缘直线并调整其倾斜程度。同时，本发明还利用滤波器去除手写字体图像框线。
数据库检索模块，使用的MongoDB是基于分布式文件系统的NoSQL开源数据库项目，它是一个高性能且可扩展的数据库，MongoDB提供了索引、聚合、分片和负载均衡等功能，支持大规模数据批处理，是一种介于关系型数据库和非关系型数据之间的数据库，其读写效率高。字迹数据信息存储在JSON中，查询数据时用很少的时间就可查询到磁头，相比于关系模型的二维表，在IO性能上有明显优势，同时可扩展能力强；由于多节点数据关联存在性能问题，因此关系型数据库很难做分布式。而字迹数据不考虑关联，数据容易分库，水平扩展比较容易。关系模型中二维表表示数据相对固定；数据结构灵活，且字迹数据与对象模型十分类似，无需经过对象关系映射向转换，可直接用于内存和存储之间相互操作；采用基于模式图的方法进行数据库MongoDB检索，在数据库中，包括字体完成的时间，书写人，字的行列号等信息，数据库的模式数据图G(V，E)为V＝{v1，v2，v3，…，vn}；E＝{e1，e2，e3，…，en}。
其中，e1＝(v1，v2)，e2＝(v2，v3)，…，ei＝(vi，vj)，vi，vj∈V；
数据图G包含节点集合V和边集合E，关系中R的任意元组记录表示为节点，元组与元组间的主外键关联表示为边。若属于不同关系R的两个元组Ti，Tj有主外键关联，则在数据库的模式数据图G中有相应的一条边e(vi，vj)表示。
字迹识别模块，假设两个笔划间的距离为l，利用高斯函数处理约束度量Pmn就可表示为：
其中，l0表示初始时两笔划间的距离，σ表示高斯函数标准差，m与n表示笔划起末点。采用等时间距离采样方法采集笔划轨迹，定义初始轨迹点，计算初始轨迹点与采样轨迹的最近距离，计算公式如下。
其中，ac表示定义的初始轨迹点，G表示轨迹，
与/>
表示初始轨迹点的坐标值，
与/>
分别表示轨迹点序列坐标值：将上述计算得到的距离值作为训练样本，采用K-mean聚类算法处理该训练样本，随机选取n个聚类初始中心点η1，η2，…，ηn，γj表示ηn的聚类属性值，计笔划轨迹中起点与终点间的距离d，计算公式为：
d＝argminj||xi-ηj||2+argminj||yi-γj||2
其中，xi表示待聚类点坐标的变量值，yi表示待聚类点坐标变量对应的属性值，计算并更新该类中心点，计算公式为：
上述计算公式中，参数含义保持不变：参照上述计算公式聚类处理所有的笔划轨迹，直至中心点不发生变化：将数值不变的中心点作为识别的类中心，再分配到对应类的类中心中，即可完成对笔划运动轨迹的自动识别；采用Canny算法进行图像降噪处理，采用一种基于小波变换与双边滤波的方法代替传统高斯滤波器。一个原始字迹图像信号通过小波分解后变为高频和低频部分，高频部分经过分离后，可以选择合适的小波系数进行阈值去噪处理；之后将它与低频部分进行重构，得到高频去噪图，再利用双边滤波对高频去噪图中的低频信号进行去噪处理，最后通过小波逆变换得到去噪后的图像。此方法不仅提升了对图像中高频和低频噪声信号的滤波效果，还解决了高斯滤波导致图像边缘模糊的问题；其中，小波变换不同于傅立叶变换，它采用长度有限具有衰减特性的小波基来表示信号，并能实现信号分割，可将一个字迹图像信号转换成高低频两部分信号。小波变换基于它的二维特性可以同时定位时域和频域。频率分辨率和时间分辨率可以在处理低频和高频信号时分别达到最好效果，改进后的小波变换WT(α，γ，τ)公式为：
其中，R表示实数域；涉及小波变换中的两个变量参数为尺度因子α和位移参数τ，分别对应于控制小波函数的伸缩与位移；ψ(t)表示小波函数，当取α＝1，τ＝0为标准波时，则当0＜α＜1时，波形瘦且高，震荡时间短；当α＞1时，波形胖且矮，震荡时间长；
小波变换去噪图像的一般模型为：
X(i)＝f(i)+σe(i)
其中，x(i)为噪声图；f(i)为纯净图；σ为标准差；e(i)为噪声，i表示图像中的像素，i＝0，1，…，n-1，随后采用双边滤波中对含有空域分量kd和值域分量k两部分图像滤波：
其中，积分号前的部分是归一化因子，式中包括空域分量kd和值域分量kr，c和s指closeness和similarity函数，研究只考虑对像素点进行加权计算，x是检测点，f(x)和h(x)代表滤波完成前后的图像，所以推导出双边滤波函数公式为：
它可以实现对图像的进一步滤波，并保留细节边缘信息。
字体匹配度差异分析模块，本发明中假设任意变形字体图像对应N个提取的特征信息FI，其中FI(i)＝(xi，yi)。从而可得该字体图像A与数据库中的字体图像的欧式距离：
其中，FI为提取的特征信息，FIA(i)为字体图像A的特征信息；FID(i)为数据库中图像的特征信息。
本发明中得到的度量信息可以获得比较满意的字体识别结果，获得变形字体与数据库中字体图像间的相似性度量公式，相似性距离公式ETPS：
其中，
i＝1：k为度量目标；/>
和/>
为第i对匹配点。ETPS(f)的值越小代表/>
和/>
越相近。
字体评测模块，第一步输入数据库模板、待匹配模板、与阈值S。第二步将提取的书法字骨架图像输入至笔迹自动评测流程，分别与源字体库中楷书、仿宋、隶书、行书、黑体以及宋体等标准字体中同一个字做骨架九宫格相似度判别，第三步计算书法字骨架图像与标准字体两帧之间的欧氏距离，与阈值进行比较，如果小于阈值，则判定为合格笔迹，以评分制确定水平，包括0～60分，60～70分，70～80分，80～100分，分别代表不合格，达标，良好，优秀。如果大于阈值，则判定为不合格笔迹。
本发明有益效果：本发明开发了一种笔迹练习系统的练习笔迹自动评测方法，包括字迹图像输入模块、数据库检索模块、字迹识别模块、字体匹配度差异分析模块和字体评测模块。本发明利用移动摄像机设备采集手写字体后，将采集的手写笔迹并转化为以像素为单位的数据图像，为了提高手写字体的识别精度，使用神经网络和传统的机器学习方法对图像进行检测和识别，采用去除均值的方法，采用灰度化、二值化和归一化处理，对原始手写字体图像RGB三个色彩通道分量加权平均得到灰度图像，然后采用全局阈值处理算法自动选取最佳阈值T，最终达到二值化处理的目标，将图像语义分割的像素点统一大小归一化成64×64像素，并基于实时的计算机视觉中的Candy算法模型对笔迹数据图像进行边缘检测，进行图像降噪处理，采用一种基于小波变换与双边滤波的方法代替传统高斯滤波器，改进的高斯函数处理约束度量Pmn相比于传统的高斯函数处理约束度量，增加了数据量级，更符合笔迹数据要求，提高了计算精度，可以得到高频去噪图，使用一种改进的书法字骨架化算法，首先输入手写字图像后，进行图像预处理，使用图像细化算法遍历手写字骨架，文使用斜线冗余像素消除模板对骨架细节进行冗余去除，遍历完毕后输出处理完毕的手写字骨架。利用计算得出的相似度作为手写字与标准字之间的相似度评分。并引入皮尔逊相关系数在协方差结果的基础上除以两个变量的标准差以得到最终相关性结果，在目标手写字骨架提取之后，标准字体中同一个字做骨架九宫格相似度判别，根据相似度反馈纠正书写的信息指示。
本发明还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该指令由处理器加载并执行，以实现上述方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
本发明实施方式是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种笔迹练习系统的练习笔迹自动评测系统，包括字迹图像输入模块、数据库检索模块、字迹识别模块、匹配度差异分析模块和字体评测模块；采集手写笔迹并转化为以像素为单位的数据图像，基于实时的计算机视觉中的Canny算法模型对笔迹数据图像进行边缘检测，利用字体匹配算法引入改进的高斯函数处理约束度量Pmn计算手写字体与标准字体的匹配度差异性，基于差异性分析的结果对差异性进行评估打分，依据打分结果对用户的手写字体进行自动测评，为用户提供更为客观的习字测评方法。
2.根据权利要求1所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述字迹图像输入模块，利用移动摄像机设备采集手写字体后，为了提高手写字体的识别精度，使用神经网络和传统的机器学习方法对图像进行检测和识别，为了缓解图像识别中过拟合的现象，采用去除均值的方法，采用灰度化、二值化和归一化处理，对原始手写字体图像RGB三个色彩通道分量加权平均得到灰度图像，然后采用全局阈值处理算法自动选取最佳阈值T，最终达到二值化处理的目标；为了提高手写字体中不同笔画特征识别的准确性，将图像语义分割的像素点统一大小归一化成64×64像素。
3.根据权利要求2所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述字迹图像输入模块，在数据输入之前进行PCA降维操作确保特征信息不丢失，除此以外，在采集手写字体数据集中，由于通过摄像头采集，过程中存在一定的倾斜，因此在预处理的过程中采用Hough变换检测图像的边缘直线并调整其倾斜程度，同时利用滤波器去除手写字体图像框线。
4.根据权利要求1所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述数据库检索模块，使用MongoDB数据库基于分布式文件系统的NoSQL开源数据库项目，基于C++编程语言开发，使用类BSON松散式格式。
5.根据权利要求4所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述数据库检索模块，采用基于模式图的改进方法进行数据库MongoDB检索，在数据库中包括字体完成的时间、用户名和字的行列号信息，数据库的模式数据图G(V，E)为V＝{v1，v2，v3，…，vn}；E＝{e1，e2，e3，…，en}，
其中，e1＝(v1，v2)，e2＝(v2，v3)，…，ei＝(vi，vj)，vi，vj∈V；
数据图G包含节点集合V和边集合E，关系中R的任意元组记录表示为节点，元组与元组间的主外键关联表示为边；若属于不同关系R的两个元组Ti，Tj有主外键关联，则在数据库的模式数据图G中有相应的一条边e(vi，vj)表示。
6.根据权利要求1所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述字迹识别模块，假设两个笔划间的距离为l，利用改进的高斯函数处理约束度量Pmn表示为:
其中，l0表示初始时两笔划间的距离，σ表示高斯函数标准差，m与n表示笔划起末点，采用等时间距离采样方法采集笔划轨迹，定义初始轨迹点，计算初始轨迹点与采样轨迹的最近距离，计算公式如下：
其中，ac表示定义的初始轨迹点，G表示轨迹，
与/>
表示初始轨迹点的坐标值，/>
与
分别表示轨迹点序列坐标值，将上述计算得到的距离值作为训练样本，采用K-mean聚类算法处理该训练样本，随机选取n个聚类初始中心点η1，η2，…，ηn，γj表示ηn的聚类属性值，计笔划轨迹中起点与终点间的距离d，计算公式为:
d＝argminj‖xi-ηj‖2+argminj‖yi-γj‖2
其中，xi表示待聚类点坐标的变量值，yi表示待聚类点坐标变量对应的属性值，计算并更新该类中心点，计算公式为：
其中，参数含义保持不变，参照上述计算公式聚类处理所有的笔划轨迹，直至中心点不发生变化:将数值不变的中心点作为识别的类中心，再分配到对应类的类中心中，即完成对笔划运动轨迹的自动识别。
7.根据权利要求6所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述字迹识别模块，采用Canny算法进行图像降噪处理，采用一种基于小波变换与双边滤波的方法代替改进高斯滤波器，一个原始字迹图像信号通过小波分解后变为高频和低频部分，高频部分经过分离后，可以选择合适的小波系数进行阈值去噪处理；之后将它与低频部分进行重构，得到高频去噪图，再利用双边滤波对高频去噪图中的低频信号进行去噪处理，最后通过小波逆变换得到去噪后的图像；采用长度有限具有衰减特性的小波基来表示信号，并能实现信号分割，可将一个字迹图像信号转换成高低频两部分信号，小波变换基于它的二维特性可以同时定位时域和频域，频率分辨率和时间分辨率在处理低频和高频信号时分别达到最好效果，改进后的小波变换WT(α，γ，τ)公式为：
其中，R表示实数域；涉及小波变换中的三个变量参数为尺度因子α，γ和位移参数τ，分别对应于控制小波函数的伸缩与位移；ψ(t)表示小波函数；
采用小波变换去噪图像的改进模型为：
X(i)＝f(i)+[σe(i)]2
其中，X(i)为噪声图；f(i)为纯净图；σ为标准差；e(i)为噪声，i表示图像中的像素，i＝0，1，…，n-1，使用的去噪改进模型增加了噪声的数据量级，随后，用双边滤波对含有空域分量kd和值域分量k两部分图像滤波处理：
其中，hd(x)，hr(x)和kr(x)分别表示滤波后在空域，频域和值域中的图像信息分布，积分号前的部分是归一化因子，式中包括空域分量kd和值域分量kr，c和s指closeness和similarity函数，研究只考虑对像素点进行加权计算，x是检测点，f(ξ)和f(x)代表滤波完成前空域和值域的图像信息。
8.根据权利要求1所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述匹配度差异分析模块，假设任意变形字体图像对应N个提取的特征信息为FI，其中FI(i)＝(xi,yi)，该字体图像A与数据库中的字体图像的欧式距离：
其中，FI为提取的特征信息，FIA(i)为字体图像A的特征信息；FID(i)为数据库中图像的特征信息；得到的度量信息可得比较满意的字体识别结果，获得变形字体与数据库中字体图像间的相似性度量公式，使用改进的相似性距离公式ETPS：
其中，
为度量目标；/>
和/>
为第i对匹配点，ETPS(f)的值越小代表/>
和/>
越相近。
9.根据权利要求1所述一种笔迹练习系统的练习笔迹自动评测系统，其特征在于，所述字体评测模块步骤如下：第一步输入数据库模板、待匹配模板、与阈值S，第二步将提取的书法字骨架图像输入至笔迹自动评测流程，分别与源字体库中楷书、仿宋、隶书、行书、黑体以及宋体等标准字体中同一个字做骨架相似度判别，第三步计算书法字骨架图像与标准字体两帧之间的欧氏距离，与阈值进行比较，如果小于阈值，则判定为合格笔迹，以评分制确定水平，包括0～60分，60～70分，70～80分，80～100分，分别代表不合格，达标，良好，优秀，如果超过阈值，则判定为不合格笔迹。
10.使用权利要求1-9任一项评测系统进行练习笔迹自动评测的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310165833.2A CN116434243B (zh) | 2023-02-25 | 2023-02-25 | 一种笔迹练习系统的练习笔迹自动评测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310165833.2A CN116434243B (zh) | 2023-02-25 | 2023-02-25 | 一种笔迹练习系统的练习笔迹自动评测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116434243A true CN116434243A (zh) | 2023-07-14 |
| CN116434243B CN116434243B (zh) | 2023-10-24 |
Family
ID=87083811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310165833.2A Active CN116434243B (zh) | 2023-02-25 | 2023-02-25 | 一种笔迹练习系统的练习笔迹自动评测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434243B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008107563A (ja) * | 2006-10-25 | 2008-05-08 | U-Can Inc | 書法習字システム |
| CN102426649A (zh) * | 2011-10-13 | 2012-04-25 | 石家庄开发区冀科双实科技有限公司 | 一种简单的高准确率的钢印数字自动识别方法 |
| CN104166499A (zh) * | 2014-07-10 | 2014-11-26 | 武汉汉德瑞庭科技有限公司 | 笔迹练习系统及练习笔迹自动评测方法 |
| JP2017215444A (ja) * | 2016-05-31 | 2017-12-07 | 京セラドキュメントソリューションズ株式会社 | 印刷システム、および印刷装置 |
| CN110188671A (zh) * | 2019-05-29 | 2019-08-30 | 济南浪潮高新科技投资发展有限公司 | 一种利用机器学习算法分析笔迹特征的方法 |
| CN113297929A (zh) * | 2021-05-10 | 2021-08-24 | 大连理工大学 | 基于全过程可视化的卷积神经网络微震监测波形识别方法 |
| CN114998262A (zh) * | 2022-06-02 | 2022-09-02 | 内蒙古民族大学 | 一种基于八分教学法的课堂脱机书法教学与评价系统 |
| CN115240210A (zh) * | 2022-07-22 | 2022-10-25 | 河海大学 | 一种用于手写汉字辅助练习的系统及方法 |
-
2023
- 2023-02-25 CN CN202310165833.2A patent/CN116434243B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008107563A (ja) * | 2006-10-25 | 2008-05-08 | U-Can Inc | 書法習字システム |
| CN102426649A (zh) * | 2011-10-13 | 2012-04-25 | 石家庄开发区冀科双实科技有限公司 | 一种简单的高准确率的钢印数字自动识别方法 |
| CN104166499A (zh) * | 2014-07-10 | 2014-11-26 | 武汉汉德瑞庭科技有限公司 | 笔迹练习系统及练习笔迹自动评测方法 |
| JP2017215444A (ja) * | 2016-05-31 | 2017-12-07 | 京セラドキュメントソリューションズ株式会社 | 印刷システム、および印刷装置 |
| CN110188671A (zh) * | 2019-05-29 | 2019-08-30 | 济南浪潮高新科技投资发展有限公司 | 一种利用机器学习算法分析笔迹特征的方法 |
| CN113297929A (zh) * | 2021-05-10 | 2021-08-24 | 大连理工大学 | 基于全过程可视化的卷积神经网络微震监测波形识别方法 |
| CN114998262A (zh) * | 2022-06-02 | 2022-09-02 | 内蒙古民族大学 | 一种基于八分教学法的课堂脱机书法教学与评价系统 |
| CN115240210A (zh) * | 2022-07-22 | 2022-10-25 | 河海大学 | 一种用于手写汉字辅助练习的系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116434243B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354017B (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
| CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
| US10929649B2 (en) | Multi-pose face feature point detection method based on cascade regression | |
| CN108734151B (zh) | 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法 | |
| CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
| CN106056628B (zh) | 基于深度卷积神经网络特征融合的目标跟踪方法及系统 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN110399821B (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| CN110675437A (zh) | 一种基于改进gms-orb特征的图像匹配方法及存储介质 | |
| CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
| CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
| CN111639558A (zh) | 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法 | |
| CN102663454B (zh) | 一种字符书写规范度评测的方法和装置 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
| CN114863189B (zh) | 一种基于大数据的图像智能识别方法 | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
| CN115690803A (zh) | 数字图像的识别方法、装置、电子设备及可读存储介质 | |
| CN113963193A (zh) | 车身颜色分类模型生成的方法、装置以及存储介质 | |
| CN111127400A (zh) | 一种乳腺病变检测方法和装置 | |
| CN113379788B (zh) | 一种基于三元组网络的目标跟踪稳定性方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN116434243B (zh) | 一种笔迹练习系统的练习笔迹自动评测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |