CN115641308A - 一种书法字临摹评价系统 - Google Patents
一种书法字临摹评价系统 Download PDFInfo
- Publication number
- CN115641308A CN115641308A CN202211265451.9A CN202211265451A CN115641308A CN 115641308 A CN115641308 A CN 115641308A CN 202211265451 A CN202211265451 A CN 202211265451A CN 115641308 A CN115641308 A CN 115641308A
- Authority
- CN
- China
- Prior art keywords
- stroke
- digital image
- calligraphy
- module
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000000877 morphologic effect Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 14
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000013209 evaluation strategy Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种书法字临摹评价系统，旨在解决现有的书法字临摹评价方法采集的学生练习作品图像存在色彩、尺寸失真，以及在评测时划分粒度不够精细，导致评测精度较低的问题。本系统包括：图像获取模块，配置为获取临摹字图像、参照字图像；预处理模块，配置为对图像预处理；笔画提取模块，配置为提取笔画；书写一致性评测模块，配置为进行笔画一致性评测；笔画测评模块，配置为从设定的笔画形态特征进行一一比对；结构部件评测模块，配置为从设定的结构部件形态特征进行一一比对，获取结构部件评测结果；整字定性测评模块，配置为获取学生练习作品的评测结果。本发明提升了评测精度以及评价系统的实际使用效率。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种书法字临摹评价系统。
背景技术
书法是文化的瑰宝，书法教育是弘扬传统文化的重要组成部分。现今为响应号召，越来越多的学校开设书法课程，然而书法老师数量存在严重不足的问题，使得书法教育的推广受到巨大阻力。书法字临摹评测技术可以辅助书法教学，智能评测学生书法书写质量并指导学生书写，有效缓解书法老师数量不足问题。
现存书法临摹测评技术通常通过软件系统，将学生作品和范字进行简单的形态对比，并做出简单评价。但这些评测方法只能得出大致的结果，更多只是为了引起学生兴趣，提升课堂活跃度，测评结果中并没有对学生的临摹作品提出具体的问题所在，学生也无法直观了解需要改进的地方。现存书法临摹测评技术存在以下问题：
（1）测评策略单一，没有充分结合书法教学实际测评的经验，无法构建实质的指导改进意见；
（2）笔画形状测评是书法临摹测评重要部分，现存方法大部分从整体结构上出发，最多指出笔画间隔问题，缺少对笔画形状的细粒度分析；
（3）书法教学环境复杂，直接采集的学生习作图像很容易出现色彩、尺寸和角度上的失真，现存方法一般缺乏足够的预处理手段，或者通过严格限定采集流程的方法来防止失真情况发生，前者会影响后续评测精度，后者增加了学生习作采集难度，降低了评测方法实际使用效率；
为了解决以上问题，提升书法字临摹评价技术的专业度和实质性的指导价值，本发明提出一种新的书法字评价方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的书法字临摹评价方法采集的学生练习作品图像存在色彩、尺寸失真，以及在评测时划分粒度不够精细，导致评测精度较低的问题。本发明第一方面，提出了一种书法字临摹评价系统，该系统包括：图像获取模块、预处理模块、笔画提取模块、书写一致性评测模块、笔画测评模块、结构部件测评模块、整字定性测评模块；
所述图像获取模块，配置为获取临摹字图像、参照字图像；所述参照字图像为已知笔画、部首及书写顺序的标准书法作品中的各书法字图像；所述临摹字图像为临摹标准书法作品的学生练习作品中的各书法字图像；
所述预处理模块，配置为将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像；所述图像预处理网络基于深度学习神经网络构建；
所述笔画提取模块，配置为获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画；
所述书写一致性评测模块，配置为提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为书写内容和参照字不具有一致性，即认为学生的临摹字和参照字不是一个字；
所述笔画测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题；所述设定的形态特征包括笔画长度、曲直度、粗细度、倾斜度、起笔收笔轮廓以及笔画多写漏写；
所述结构部件测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题；所述设定的结构部件形态特征包括关键笔画布局、部件松紧度、整体松紧度、部件相对位置；
所述整字定性测评模块，配置为根据所述书写一致性评测模块 、所述笔画测评模块、所述结构部件测评模块评测出的书写问题按照设定的优先级进行排序，并定位到学生练习作品相应的区域；根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果。
在一些优选的实施方式中，所述图像预处理网络基于ResBlock、ASPP模块、上卷积模块、STN Block构建；所述上卷积模块基于多个卷积层和上采样层构建；所述上卷积模块中卷积层与上采样层间隔排列，间隔排列时，卷积层在上采样层前边；
所述ResBlock分别与所述ASPP模块、所述STN Block连接；所述ResBlock，其输入为所述临摹字图像；
所述ASPP模块与所述上卷积模块连接；所述ResBlock与上卷积模块跳跃连接，在
跳跃连接时，所述ResBlock中输出为
的卷积层与上卷积模块输出为N
的卷积层
的连接，即同尺寸的卷积层进行跳跃连接；所述上卷积模块与所述STN Block连接；所述STN
Block，其输出为预处理临摹字图像。
在一些优选的实施方式中，将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像，其方法为：
将所述临摹字图像输入所述图像预处理网络的ResBlock进行残差处理，将残差处理后的特征作为第一特征；
将所述第一特征分别输入所述图像预处理网络的ASPP进行处理，处理后进行上卷积，结合ResBlock跳跃连接输入的特征，进而得到所述临摹字图像对应的二值化处理结果；
将所述第一特征输入所述图像预处理网络STN Block的CNN中获取对应的射影变换参数；
将所述二值化处理结果、所述射影变换参数，输入所述STN Block的空间转换模块进行空间转换，进而得到预处理临摹字图像。
在一些优选的实施方式中，获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画，其方法为：
通过CPD点集配准方法将所述参照字图像与所述预处理临摹字图像中书法字的笔画轮廓点集进行配准，得到所述参照字图像中各书法字笔画变换后的笔画轮廓点集，作为第一点集；
针对所述第一点集中每一个笔画轮廓点集，按顺序抽取一个笔画轮廓点集作为第二点集；遍历所述第二点集，剔除所述预处理临摹字图像中书法字的笔画轮廓点集中与其欧氏距离大于设定第一距离阈值的轮廓点，将剔除后的所述预处理临摹字图像中书法字的笔画轮廓点集，作为第三点集；
通过CPD点集配准方法将所述第三点集与所述第二点集进行配准，得到变换后的第二点集，并将所述变换后的第二点集作为所述预处理临摹字图像中书法字的笔画；
按顺序继续抽取第一点集下一个笔画轮廓点集，并进行剔除、配准处理，直至处理完所述第一点集中所有的笔画轮廓点集。
在一些优选的实施方式中，提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为书写内容和参照字不具有一致性，即认为学生的临摹字和参照字不是一个字，其方法为：
将所述参照字图像、所述预处理临摹字图像输入预构建的文字识别算法模型，获取所述文字识别算法模型最后一层输出的所述参照字图像、所述预处理临摹字图像对应的特征，作为第一特征、第二特征，并进行L2归一化处理；计算归一化处理后的第一特征与第二特征之间的欧氏距离，并判断是否超过设定的第二距离阈值，若超过，则认为书写内容和参照字不具有一致性。
在一些优选的实施方式中，将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题，其方法为：
单笔画倾斜度：计算笔画骨架图像的最小外接矩形，取长边方向与横轴的夹角作为笔画倾斜角度；计算所有笔画的倾斜角度的平均值作为整体倾斜度，每个笔画的倾斜度减去整体倾斜度作为单个笔画的最终倾斜度；计算单个笔画与对应参考字笔画的最终倾斜度的误差，误差超过阈值，则存在问题；所述笔画骨架图像为所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画对应的骨架图像；
单笔画粗细：计算所述笔画骨架图像中各笔画的平均粗细和整字尺寸的比值，作为单笔画粗细的量化粗细值，计算该量化粗细值和参照字对应笔画的量化粗细值的误差，超过阈值，则存在问题；
单笔画长度：计算所述笔画骨架图像中各笔画的长度和整字尺寸的比值，作为长度值，计算该长度值和参照字对应笔画的长度值的误差，超过阈值，则存在问题；
单笔画曲直度：在所述笔画骨架图像中各笔画上堆积均匀采样设定数量的像素点，计算这些像素点的平均角度变换率作为曲直度，计算该曲直度和参照字对应笔画的曲直度的误差，超过阈值，则存在问题；
单笔画起笔和收笔：以所述笔画骨架图像中各笔画两个端点为中心，截取出起笔和收笔图像，通过预训练的轮廓识别模型获取起笔、收笔的类别，当类别和参照字对应笔画的类别不同时，则存在问题；所述起笔和收笔的类别包括方形、圆形、尖形、其他；所述轮廓识别模型基于依次连接的卷积层、全连接层构建；
漏写和多写：在通过CPD点集配准方法将所述第二点集与所述第三点集进行配准的过程中，将所述第二点集在配准前后各点的迁移距离求平均，得到平均迁移距离，若所述平均迁移距离大于设定的阈值，则存在漏写；所述迁移距离为所述第二点集中各点配准前后的位置之间的欧式距离；
获取检测到的所有笔画，和临摹字整字进行对比，整字中多出来的部分即时多写的笔画区域。
在一些优选的实施方式中，将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题，其方法为：
关键笔画布局：提取出所述参照字图像中标注为关键笔画的笔画，计算所述预处理临摹字图像各书法字中属于关键笔画的笔画和周围笔画的欧氏距离与整字尺寸的比值，计算该比值和参照字对应比值的偏差，若该偏差大于设定第一偏差阈值，则存在关键笔画布局偏差问题；
部件松紧度：提取出所述参照字图像中各书法字对应的部件的质心，并计算所述参照字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第一质心距离；所述部件包括部首以及设定多个笔画构成的部分；
提取所述预处理临摹字图像中各书法字对应部件的质心，并计算所述预处理临摹字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第二质心距离；计算所述第一质心距离与所述第二质心距离之间的偏差，若该偏差大于设定的第二偏差阈值，则存在部件松紧度偏差问题；
整体松紧度：提取所述预处理临摹字图像中各书法字对应部件的质心，计算质心两两相对距离的平均值和整字尺寸的比值，作为松紧度，计算该松紧度和所述参照字图像中各书法字部件对应的松紧度的偏差，超过设定的第三偏差阈值时，则存在整体松紧度问题；
部件相对位置：将距离所述参照字图像中心最近的部件作为基准部件，计算所述预处理临摹字图像中其他部件和基准部件质心距离与整字尺寸的比值作为其他部件到基准部件的相对位置；计算该相对位置和所述参照字图像中各书法字部件对应的相对位置的偏差，当超过设定的第四偏差阈值，则存在部件相对位置问题。
在一些优选的实施方式中，根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果，其方法为：
获取所述一种书法字临摹评价系统设定的学生练习作品的总分数，作为第一分数；基于书写问题扣分规则表，对学生练习作品书写问题的优先级以及问题的区域定位信息进行匹配，获取书写问题扣除的分数，并求和，作为第二分数；
将所述第一分数减去所述第二分数，作为学生练习作品的最后得分，即学生练习作品的评测结果；
其中，所述书写问题扣分规则表，为预设的书写问题优先级及书写问题的区域定位信息与对应书写问题扣除分数的映射关系。
在一些优选的实施方式中，所所述书法字临摹评价系统还包括输出模块；
所述输出模块，配置为将书写一致性评测模块、笔画测评模块、结构部件测评模块、学生练习作品的评测结果进行整合，形成JSON格式的标准化输出。
本发明的有益效果：
本发明提升了评测精度以及评价系统的实际使用效率。
1）基于深度学习的图像矫正和图像二值化模型，通过结合二值语义分割模型和空间变换模型，实现对学生习作二值化和尺寸、角度矫正的预处理。实际应用中，此模型可以稳定高效的完成学生习作的预处理工作，提高后续评测准确度和辅助教学中的使用效率。
2）基于CPD两阶段点集配准的笔画提取技术，通过CPD点击配准技术从整体到局部精准提取学生习作的每一个笔画轮廓。实际应用中，此模型可以准确快速的实现对学生习作的笔画提取。
3）基于书法教学经验的书法测评策略。通过结合书法教学经验，构建出具备专业性和实质教学指导意义的测评规则。一方面，从单个笔画形状、结构部件、整体形状多个角度，检测书法习作相对于临摹字的书写问题，实现对书法字从单个笔画细节到整体结构的多粒度高精度评价。另一方面，通过整字定性测评模快中现书写问题严重性排序、书写问题精准定位和定性评估指导意见，给出精准高效具有实质指导意义的测评结果。本发明作为辅助书法教学和帮助书法自学的工具，能够为中小学教师和学生提供智能书法评价与书法指导，促进书法教学，提高中小学生书写能力和艺术素养。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的书法字临摹评价系统的框架示意图；
图2是本发明一种实施例的图像预处理网络进行预处理的流程示意图；
图3是本发明一种实施例的书法字临摹评价过程的示意图；
图4是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的书法字临摹评价系统，如图1所示，该系统包括：图像获取模块、预处理模块、笔画提取模块、书写一致性评测模块、笔画测评模块、结构部件测评模块、整字定性测评模块；
所述图像获取模块，配置为获取临摹字图像、参照字图像；所述参照字图像为已知笔画、部首及书写顺序的标准书法作品中的各书法字图像；所述临摹字图像为临摹标准书法作品的学生练习作品中的各书法字图像；
所述预处理模块，配置为将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像；所述图像预处理网络基于深度学习神经网络构建；
所述笔画提取模块，配置为获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画；
所述书写一致性评测模块，配置为提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为笔画不一致；
所述笔画测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题；所述设定的形态特征包括笔画长度、曲直度、粗细度、倾斜度、起笔收笔轮廓以及笔画多写漏写；
所述结构部件测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题；所述设定的结构部件形态特征包括关键笔画布局、部件松紧度、整体松紧度、部件相对位置；
所述整字定性测评模块，配置为根据所述书写一致性评测模块、所述笔画测评模块、所述结构部件测评模块评测出的书写问题按照设定的优先级进行排序，并定位到学生练习作品相应的区域；根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果。
为了更清晰地对本发明书法字临摹评价系统进行说明，下面结合附图3对本发明系统一种实施例中各模块进行展开详述。
本发明提出一种新的书法字临摹评价系统，通过结合书法领域基本知识构建的测评规则和笔画提取算法，进一步提升书法字评测的准确度和细粒度。书法临摹评价系统围绕评价算法搭建外围服务模块，分别构建出图像获取模块、预处理模块、笔画提取模块、书写一致性评测模块、笔画测评模块、结构部件测评模块、整字定性测评模块，实现一个完善的书法字临摹评价系统。具体如下：
所述图像获取模块，配置为获取临摹字图像、参照字图像；所述参照字图像为已知笔画、部首及书写顺序的标准书法作品中的各书法字图像；所述临摹字图像为临摹标准书法作品的学生练习作品中的各书法字图像；
在本实施例中，参照字，即标准示范字、碑帖、名家作品等，即获取的参照字图像为已知笔画、部首及书写顺序的标准书法作品中的各书法字图像。临摹字是学生临摹参照字所书写的书法学生练习作品，即临摹字图像为临摹标准书法作品的学生练习作品中的各书法字图像。
另外，本发明中构建了参照字标注数据库对参照字进行标注，具体为：通过Labelme等开源图像标注工具，用户可以标注参照字的笔画轮廓，每个笔画轮廓由一组坐标数值表示，并附加文字标签。另外，参照字的各个部首、参照字的关键笔画也进行标注。标注数据保存在mysql等关系型数据库中。参照字综合信息由参照字图像和参照字标注信息组成。
所述预处理模块，配置为将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像；所述图像预处理网络基于深度学习神经网络构建；
学生的书法学生练习作品是在教学过程的采集到书法字笔迹图像，在复杂教学环境下这种采集方法的得到的图片存在角度、尺寸和颜色上的失真，影响后续评测过程。
在本实施例中，为了解决这个问题构建一个基于深度学习的图像矫正和图像二值
化模型，用来将这些输入标准化到统一格式。预处理模型结构，如图2所示，主体架构是一个
与Deeplabv3相似的图像预处理网络，判断学生的书法学生练习作品（即临摹字图像）中的
每个像素是否是书写笔迹。在向下卷积过程中，取ResBlock最后一层的结果输入到STN
Block（空间变换模块）。STN Block会预测一个射影变换矩阵，再通过Spatial
Transformation（空间变换）将提取到二值化书写笔迹结果做射影变换，进行尺寸和角度的
矫正。本发明中的预处理单元，具备很好的泛化能力，可以适应复杂教学环境采集到的各种
学生习作。能很好纠正学生习作在采集过程产生的尺寸、角度和色彩失真，有助于提高后续
书法字评测的准确度。其中，图像预处理网络基于ResBlock、ASPP模块、上卷积模块、STN
Block构建；所述上卷积模块基于多个卷积层和上采样层（本发明中，上采样层的采样倍数
全部为2）构建；所述上卷积模块中卷积层与上采样层间隔排列，间隔排列时，卷积层在上采
样层前边；所述ResBlock分别与所述ASPP模块、所述STN Block连接；所述ResBlock，其输入
为所述临摹字图像；所述ASPP模块与所述上卷积模块连接；为了加强对底层特征利用所述
ResBlock与上卷积模块跳跃连接，在跳跃连接时，所述ResBlock中输出为
的卷积层
与上卷积模块输出为N
的卷积层的连接，即同尺寸的卷积层进行跳跃连接；所述上卷积
模块与所述STN Block连接；所述STN Block，其输出为预处理临摹字图像。
其中，所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像，其方法为：
将所述临摹字图像输入所述图像预处理网络的ResBlock进行残差处理，将残差处理后的特征作为第一特征；
将所述第一特征分别输入所述图像预处理网络的ASPP进行处理，处理后进行上卷积，结合ResBlock跳跃连接输入的特征，进而得到所述临摹字图像对应的二值化处理结果；
将所述第一特征输入所述图像预处理网络STN Block的CNN中获取对应的射影变换参数；
将所述二值化处理结果、所述射影变换参数，输入所述STN Block的空间转换模块进行空间转换，进而得到预处理临摹字图像。
所述笔画提取模块，配置为获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画；
在本实施例中，提出一种基于两阶段CPD点集配准的笔画提取技术。在第一阶段，利用CPD技术建立临摹字和目标书法习作的整体配准关系，实现单个临摹字笔画初步变换。在第二阶段，利用局部的CPD点集配准技术实现单个临摹字笔画和书法习作对应笔画的精确配准，并获得书法习作的笔画。具体为：
第一阶段，获取数据库存储的所述参照字图像中书法字的笔画轮廓点集（包含整体轮廓点集和单个笔画点集）以及提取预处理临摹字图像中书法字的笔画整体轮廓点集，使用CPD点集配准方法，建立学生的书法学生练习作品轮廓点和参照字轮廓点的形态配准关系，得到所述参照字图像中各书法字变换后的笔画轮廓点集，作为第一点集（单个笔画轮廓点集和整体轮廓点集信息是基本一致的，区别是每个笔画的点集轮廓单独记录并多包含一些交叉区域的轮廓点集），此时这些变换的单个临摹字笔画轮廓点集和参照字对应的笔画轮廓点集已经具备相似的位置和形状。
第二阶段，针对所述第一点集中每一个笔画轮廓点集，按顺序抽取一个笔画轮廓点集作为第二点集；遍历第二点集，剔除所述预处理临摹字图像中书法字的笔画轮廓点集中与其欧氏距离大于设定第一距离阈值的轮廓点（本发明中，第一距离阈值设定为学生的书法学生练习作品尺寸的0.3，即删除第一点集中与参照字对应轮廓点欧氏距离大于0.3的轮廓点），获取局部书法习作轮廓点集，将剔除后的所述预处理临摹字图像中书法字的笔画轮廓点集，作为第三点集；
通过CPD点集配准方法将所述第三点集与所述第二点集进行配准，得到变换后的第二点集，并将所述变换后的第二点集作为所述预处理临摹字图像中书法字的笔画；
最后，按顺序继续抽取第一点集下一个笔画轮廓点集，并进行剔除、配准处理，直至处理完所述第一点集中所有的笔画轮廓点集。
实现变换后单个临摹参照字笔画轮廓点到局部书法习作轮廓点集的精确配准，以最终变换后的单个参照字笔画轮廓点作为学生的书法学生练习作品对应笔画的轮廓点。按照相同方法，依次提取出每一个书法学生练习作品中笔画的轮廓点集，围绕每个笔画轮廓点填充笔画，获取学生的书法学生练习作品的每个笔画。
所述书写一致性评测模块，配置为提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为书写内容和参照字不具有一致性，即认为学生的临摹字和参照字不是一个字；
在本实施例中，通过文字识别算法模型，以文字特征的归一化距离作为一致性评测的指标。书写一致性评测模块用于初步判断输入学生的书法学生练习作品和参照字是否是同一个字。具体的，通过基于TPN的汉字识别算法，将预处理后的学生的书法学生练习作品（即预处理临摹字图像）和参照字（即参照字图像）输入到文字识别算法模型，获取最后一层特征数据，将所述参照字图像对应的特征数据，作为第一特征，将预处理临摹字图像对应的特征数据，作为第二特征；对第一特征、第二特征做L2归一化，计算归一化后的第一特征与第二特征之间的欧氏距离作为学生的书法学生练习作品和参照字一致性差异，当差异数值超过设定的第二距离阈值（本发明中优选设置为0.9），认为书写内容和参照字不具有一致性。
在笔画测评前，先进行测评策略的构建；
所述书法字测评策略模块，配置为构建书法字评测的规则；根据书法教学中书法字评估的一般方法，细化分解成全面性、多角度、细粒度和可量化的测评需求，定义成多种策略规则。每种策略包含不同笔画测评和参照字综合信息的组合方式。
测评策略用于构建评测的一般方法。通过分析多年书法教学中书法评测的一般经验思路，结合书法知识和计算机知识，将抽象的书法评测思路归纳总结为可进行计算的量化评测规则。规则主要包含单笔画评测策略和整体结构部件评测策略两个部分。策略的格式是：（评测指标: 差异性阈值），差异性阈值是指学生的书法学生练习作品与参照字之间的差异性，如（笔画长度: 0.8）。单笔画评测策略包括“笔画长度”、“曲直度”、“粗细度”、“倾斜度”、“起笔收笔轮廓”以及“笔画多写漏写”等评测指标；整体结构部件评测策略包括“整体尺寸”、“位置”、“部件结构”、“字形”等评测策略指标。
所述笔画测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题；所述设定的形态特征包括笔画长度、曲直度、粗细度、倾斜度、起笔收笔轮廓以及笔画多写漏写；
在本实施例中，基于书法评测策略笔画评测部分策略，计算笔画多个方面的形态特征，基于这些形态特征一一计算作品笔画和参考字笔画的差异，并给出量化的评测结果。具体的，结合临摹参照字笔画信息和书法评测策略中笔画评测部分，分别从笔画长度、曲直度、粗细度、倾斜度、起笔收笔轮廓以及笔画多写漏写多个评测策略指标，针对每个笔画，分别计算在这些形态特征上与对应参考字笔画的归一化差异。根据标注出的书法字关键笔画，针对每个关键笔画，计算关键笔画和其他笔画的位置关系特征和临摹参照字特征的归一化差异。具体如下：
单笔画倾斜度：计算笔画骨架图像的最小外接矩形，取长边方向与横轴的夹角作为笔画倾斜角度；计算所有笔画的倾斜角度的平均值作为整体倾斜度，每个笔画的倾斜度减去整体倾斜度作为单个笔画的最终倾斜度；计算单个笔画与对应参考字笔画的最终倾斜度的误差，误差超过阈值，则存在问题；所述笔画骨架图像为所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画对应的骨架图像；
单笔画粗细：计算所述笔画骨架图像中各笔画的平均粗细和整字尺寸的比值，作为单笔画粗细的量化粗细值，计算该量化粗细值和参照字对应笔画的量化粗细值的误差，超过阈值，则存在问题；
单笔画长度：计算所述笔画骨架图像中各笔画的长度和整字尺寸的比值，作为长度值，计算该长度值和参照字对应笔画的长度值的误差，超过阈值，则存在问题；
单笔画曲直度：在所述笔画骨架图像中各笔画上堆积均匀采样设定数量的像素点，计算这些像素点的平均角度变换率作为曲直度，计算该曲直度和参照字对应笔画的曲直度的误差，超过阈值，则存在问题；
单笔画起笔和收笔：以所述笔画骨架图像中各笔画两个端点为中心，截取出起笔和收笔图像，通过预训练的轮廓识别模型获取起笔、收笔的类别，当类别和参照字对应笔画的类别不同时，则存在问题；所述起笔和收笔的类别包括方形、圆形、尖形、其他；所述轮廓识别模型基于依次连接的卷积层、全连接层构建；
漏写和多写：在通过CPD点集配准方法将所述第二点集与所述第三点集进行配准的过程中，将所述第二点集在配准前后各点的迁移距离求平均，得到平均迁移距离，若所述平均迁移距离大于设定的阈值，则存在漏写；所述迁移距离为所述第二点集中各点配准前后的位置之间的欧式距离；
获取检测到的所有笔画，和临摹字整字进行对比，整字中多出来的部分即时多写的笔画区域。
所述结构部件测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题；所述设定的结构部件形态特征包括关键笔画布局、部件松紧度、整体松紧度、部件相对位置；
在本实施例中，基于书法评测策略结构部件部分规则，计算部件结构的多个方面的形态特征，对比在这些形态特征上和参考字的差异，并给出量化评测结果。整体尺寸、位置和形状偏差，通过获取整体外接矩形，计算学生的书法学生练习作品和参照字的外界矩形在这几个方面的量化偏差结果。
书法字结构测评是书法字测评的重点，根据书法教学经验，结合标注的关键笔画和书法字部件信息，分别从关键笔画布局偏差、部件内部松紧度偏差、整体松紧度偏差和部件相对位置偏差四个方面进行计算和测评。
关键笔画布局：提取出所述参照字图像中标注为关键笔画的笔画，计算所述预处理临摹字图像各书法字中属于关键笔画的笔画和周围笔画的欧氏距离与整字尺寸的比值，计算该比值和参照字对应比值（即参照字中对应关键笔画与周围笔画（根据实际需求进行设置）和整字尺寸（参照字图像中个书法字的整字尺寸）的比值）的偏差，若该偏差大于设定第一偏差阈值，则存在关键笔画布局偏差问题；
部件松紧度：提取出所述参照字图像中各书法字对应的部件的质心，并计算所述参照字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第一质心距离；所述部件包括部首以及设定多个笔画构成的部分（即部件由多个笔画构成，可以通过标注参考字预先标记，这个没有限制，可以由任意多个笔画构成。一般结合书法教学经验，那些笔画需要进行部件上的检测，就会进行相应标注）；
提取所述预处理临摹字图像中各书法字对应部件的质心，并计算所述预处理临摹字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第二质心距离；计算所述第一质心距离与所述第二质心距离之间的偏差，若该偏差大于设定的第二偏差阈值，则存在部件松紧度偏差问题；
整体松紧度：提取所述预处理临摹字图像中各书法字对应部件的质心，计算质心两两相对距离的平均值和整字尺寸的比值，作为松紧度，计算该松紧度和所述参照字图像中各书法字部件对应的松紧度的偏差，超过设定的第三偏差阈值时，则存在整体松紧度问题；
部件相对位置：将距离所述参照字图像中心最近的部件作为基准部件，计算所述预处理临摹字图像中其他部件和基准部件质心距离与整字尺寸的比值作为其他部件到基准部件的相对位置；计算该相对位置和所述参照字图像中各书法字部件对应的相对位置的偏差，当超过设定的第四偏差阈值，则存在部件相对位置问题。
所述整字定性测评模块，配置为根据所述书写一致性评测模块、所述笔画测评模块、所述结构部件测评模块评测出的书写问题按照设定的优先级进行排序，并定位到学生练习作品相应的区域；根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果。
在本实施例中，所述整字定性测评模块，书法问题排序、问题定位和定性评估三个单元。用来将算法评测结果装换为适用于教学的评测信息。
书写问题排序单元：将书写问题按照规则进行排序，突出严重问题。具体的，书法问题排序，是对检测出的书法问题的严重程度进行排序，部件结构问题在前，以问题严重程度降序排列；笔画问题规则如下：（1）多写/漏写笔画的问题优先级最高；（2）长度/曲直度/粗细度/倾斜度的指标权重相同，以笔画问题严重程度降序排列（即问题越严重，排名越靠前），当指标的量化分值相同时，按照笔画的书写顺序排序；
问题定位单元：结合笔画测评，确定整字书写问题的位置，也就是问题笔画。具体的，问题定位用于可视化有评测问题的部件结构和笔画区域。针对排序后选择出的评测问题，评测问题按照评测策略中形态特征可以溯源到学生的书法学生练习作品的大致区域，采集大致区域的轮廓点作为对书法评测问题的定位；
定性评估单元：结合上述问题严重性排序和问题定位信息，构建定性评估。具体的，定性评估单元，结合书法问题排序结果和书法问题定位信息，选择较为严重的评测问题，将繁杂的书法评测结果总结为有序书法评测结果序列，每个书法评测结果包含评测问题名称、评测结果、评测量化数值、问题定位区域以及得分。其中，得分的就具体计算过程如下：
获取所述一种书法字临摹评价系统设定的学生练习作品的总分数，作为第一分数；基于书写问题扣分规则表，对学生练习作品书写问题的优先级以及问题的区域定位信息进行匹配，获取书写问题扣除的分数，并求和，作为第二分数；
将所述第一分数减去所述第二分数，作为学生练习作品的最后得分，即学生练习作品的评测结果；
其中，所述书写问题扣分规则表，为预设的书写问题优先级及书写问题的区域定位信息与对应书写问题扣除分数的映射关系。
另外，本发明一种书法字临摹评价系统还包括输出模块；
所述输出模块，配置为将书写一致性评测模块、笔画测评模块、结构部件测评模块、学生练习作品的评测结果进行整合，形成JSON格式的标准化输出。
需要说明的是，上述实施例提供的书法字临摹评价系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
下面参考图4，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)401，其可以根据存储在只读存储器(ROM，Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM，Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O，Input/Output)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种书法字临摹评价系统，其特征在于，该系统包括：图像获取模块、预处理模块、笔画提取模块、书写一致性评测模块、笔画测评模块、结构部件测评模块、整字定性测评模块；
所述图像获取模块，配置为获取临摹字图像、参照字图像；所述参照字图像为已知笔画、部首及书写顺序的标准书法作品中的各书法字图像；所述临摹字图像为临摹标准书法作品的学生练习作品中的各书法字图像；
所述预处理模块，配置为将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像；所述图像预处理网络基于深度学习神经网络构建；
所述笔画提取模块，配置为获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画；
所述书写一致性评测模块，配置为提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为书写内容和参照字不具有一致性，即认为学生的临摹字和参照字不是一个字；
所述笔画测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题；所述设定的形态特征包括笔画长度、曲直度、粗细度、倾斜度、起笔收笔轮廓以及笔画多写漏写；
所述结构部件测评模块，配置为将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题；所述设定的结构部件形态特征包括关键笔画布局、部件松紧度、整体松紧度、部件相对位置；
所述整字定性测评模块，配置为根据所述书写一致性评测模块、所述笔画测评模块、所述结构部件测评模块评测出的书写问题按照设定的优先级进行排序，并定位到学生练习作品相应的区域；根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果。
2.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，所述图像预处理网络基于ResBlock、ASPP模块、上卷积模块、STN Block构建；所述上卷积模块基于多个卷积层和上采样层构建；所述上卷积模块中卷积层与上采样层间隔排列，间隔排列时，卷积层在上采样层前边；
所述ResBlock分别与所述ASPP模块、所述STN Block连接；所述ResBlock，其输入为所述临摹字图像；
所述ASPP模块与所述上卷积模块连接；所述ResBlock与上卷积模块跳跃连接，在跳跃
连接时，所述ResBlock中输出为
的卷积层与上卷积模块输出为N
的卷积层的连
接，即同尺寸的卷积层进行跳跃连接；所述上卷积模块与所述STN Block连接；所述STN
Block，其输出为预处理临摹字图像。
3.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，将所述临摹字图像输入预构建的图像预处理网络，对所述临摹字图像进行二值化、图像尺寸和角度矫正处理，得到预处理临摹字图像，其方法为：
将所述临摹字图像输入所述图像预处理网络的ResBlock进行残差处理，将残差处理后的特征作为第一特征；
将所述第一特征分别输入所述图像预处理网络的ASPP进行处理，处理后进行上卷积，结合ResBlock跳跃连接输入的特征，进而得到所述临摹字图像对应的二值化处理结果；
将所述第一特征输入所述图像预处理网络STN Block的CNN中获取对应的射影变换参数；
将所述二值化处理结果、所述射影变换参数，输入所述STN Block的空间转换模块进行空间转换，进而得到预处理临摹字图像。
4.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，获取所述预处理临摹字图像、所述参照字图像中书法字的笔画轮廓点集，并通过基于两阶段CPD点集配准的笔画提取方法，得到所述预处理临摹字图像中各书法字的笔画，其方法为：
通过CPD点集配准方法将所述参照字图像与所述预处理临摹字图像中书法字的笔画轮廓点集进行配准，得到所述参照字图像中各书法字笔画变换后的笔画轮廓点集，作为第一点集；
针对所述第一点集中每一个笔画轮廓点集，按顺序抽取一个笔画轮廓点集作为第二点集；遍历所述第二点集，剔除所述预处理临摹字图像中书法字的笔画轮廓点集中与其欧氏距离大于设定第一距离阈值的轮廓点，将剔除后的所述预处理临摹字图像中书法字的笔画轮廓点集，作为第三点集；
通过CPD点集配准方法将所述第三点集与所述第二点集进行配准，得到变换后的第二点集，并将所述变换后的第二点集作为所述预处理临摹字图像中书法字的笔画；
按顺序继续抽取第一点集下一个笔画轮廓点集，并进行剔除、配准处理，直至处理完所述第一点集中所有的笔画轮廓点集。
5.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，提取所述参照字图像、所述预处理临摹字图像的特征，并计算特征间的距离，若该距离大于设定第二距离阈值，则认为书写内容和参照字不具有一致性，即认为学生的临摹字和参照字不是一个字，其方法为：
将所述参照字图像、所述预处理临摹字图像输入预构建的文字识别算法模型，获取所述文字识别算法模型最后一层输出的所述参照字图像、所述预处理临摹字图像对应的特征，作为第一特征、第二特征，并进行L2归一化处理；计算归一化处理后的第一特征与第二特征之间的欧氏距离，并判断是否超过设定的第二距离阈值，若超过，则认为书写内容和参照字不具有一致性。
6.根据权利要求4所述的一种书法字临摹评价系统，其特征在于，将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的笔画形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的笔画形态书写问题，其方法为：
单笔画倾斜度：计算笔画骨架图像的最小外接矩形，取长边方向与横轴的夹角作为笔画倾斜角度；计算所有笔画的倾斜角度的平均值作为整体倾斜度，每个笔画的倾斜度减去整体倾斜度作为单个笔画的最终倾斜度；计算单个笔画与对应参考字笔画的最终倾斜度的误差，误差超过阈值，则存在问题；所述笔画骨架图像为所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画对应的骨架图像；
单笔画粗细：计算所述笔画骨架图像中各笔画的平均粗细和整字尺寸的比值，作为单笔画粗细的量化粗细值，计算该量化粗细值和参照字对应笔画的量化粗细值的误差，超过阈值，则存在问题；
单笔画长度：计算所述笔画骨架图像中各笔画的长度和整字尺寸的比值，作为长度值，计算该长度值和参照字对应笔画的长度值的误差，超过阈值，则存在问题；
单笔画曲直度：在所述笔画骨架图像中各笔画上堆积均匀采样设定数量的像素点，计算这些像素点的平均角度变换率作为曲直度，计算该曲直度和参照字对应笔画的曲直度的误差，超过阈值，则存在问题；
单笔画起笔和收笔：以所述笔画骨架图像中各笔画两个端点为中心，截取出起笔和收笔图像，通过预训练的轮廓识别模型获取起笔、收笔的类别，当类别和参照字对应笔画的类别不同时，则存在问题；所述起笔和收笔的类别包括方形、圆形、尖形、其他；所述轮廓识别模型基于依次连接的卷积层、全连接层构建；
漏写和多写：在通过CPD点集配准方法将所述第二点集与所述第三点集进行配准的过程中，将所述第二点集在配准前后各点的迁移距离求平均，得到平均迁移距离，若所述平均迁移距离大于设定的阈值，则存在漏写；所述迁移距离为所述第二点集中各点配准前后的位置之间的欧式距离；获取检测到的所有笔画，和临摹字整字进行对比，整字中多出来的部分即时多写的笔画区域。
7.根据权利要求6所述的一种书法字临摹评价系统，其特征在于，将所述笔画提取模块提取的所述预处理临摹字图像中各书法字的笔画与所述参照字图像中各书法字的笔画从设定的结构部件形态特征进行一一比对，若特征间的距离大于设定阈值，则存在相应的部件形态书写问题，其方法为：
关键笔画布局：提取出所述参照字图像中标注为关键笔画的笔画，计算所述预处理临摹字图像各书法字中属于关键笔画的笔画和周围笔画的欧氏距离与整字尺寸的比值，计算该比值和参照字对应比值的偏差，若该偏差大于设定第一偏差阈值，则存在关键笔画布局偏差问题；
部件松紧度：提取出所述参照字图像中各书法字对应的部件的质心，并计算所述参照字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第一质心距离；所述部件包括部首以及设定多个笔画构成的部分；
提取所述预处理临摹字图像中各书法字对应部件的质心，并计算所述预处理临摹字图像中各书法字的笔画到对应部件的质心的距离和部件尺寸的比值，作为第二质心距离；计算所述第一质心距离与所述第二质心距离之间的偏差，若该偏差大于设定的第二偏差阈值，则存在部件松紧度偏差问题；
整体松紧度：提取所述预处理临摹字图像中各书法字对应部件的质心，计算质心两两相对距离的平均值和整字尺寸的比值，作为松紧度，计算该松紧度和所述参照字图像中各书法字部件对应的松紧度的偏差，超过设定的第三偏差阈值时，则存在整体松紧度问题；
部件相对位置：将距离所述参照字图像中心最近的部件作为基准部件，计算所述预处理临摹字图像中其他部件和基准部件质心距离与整字尺寸的比值作为其他部件到基准部件的相对位置；计算该相对位置和所述参照字图像中各书法字部件对应的相对位置的偏差，当超过设定的第四偏差阈值，则存在部件相对位置问题。
8.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，根据优先级以及问题的区域定位信息，进行定性评估，进而得到学生练习作品的评测结果，其方法为：
获取所述一种书法字临摹评价系统设定的学生练习作品的总分数，作为第一分数；基于书写问题扣分规则表，对学生练习作品书写问题的优先级以及问题的区域定位信息进行匹配，获取书写问题扣除的分数，并求和，作为第二分数；
将所述第一分数减去所述第二分数，作为学生练习作品的最后得分，即学生练习作品的评测结果；
其中，所述书写问题扣分规则表，为预设的书写问题优先级及书写问题的区域定位信息与对应书写问题扣除分数的映射关系。
9.根据权利要求1所述的一种书法字临摹评价系统，其特征在于，所述书法字临摹评价系统还包括输出模块；
所述输出模块，配置为将书写一致性评测模块、笔画测评模块、结构部件测评模块、学生练习作品的评测结果进行整合，形成JSON格式的标准化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211265451.9A CN115641308A (zh) | 2022-10-17 | 2022-10-17 | 一种书法字临摹评价系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211265451.9A CN115641308A (zh) | 2022-10-17 | 2022-10-17 | 一种书法字临摹评价系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115641308A true CN115641308A (zh) | 2023-01-24 |
Family
ID=84944395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211265451.9A Pending CN115641308A (zh) | 2022-10-17 | 2022-10-17 | 一种书法字临摹评价系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115641308A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237954A (zh) * | 2023-11-14 | 2023-12-15 | 暗物智能科技(广州)有限公司 | 一种基于排序学习的文字智能评分方法及系统 |
| CN117671703A (zh) * | 2023-12-04 | 2024-03-08 | 广东广视通智慧教育科技有限公司 | 一种基于触控屏的可交互书法临摹评价方法及系统 |
-
2022
- 2022-10-17 CN CN202211265451.9A patent/CN115641308A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237954A (zh) * | 2023-11-14 | 2023-12-15 | 暗物智能科技(广州)有限公司 | 一种基于排序学习的文字智能评分方法及系统 |
| CN117237954B (zh) * | 2023-11-14 | 2024-03-19 | 暗物智能科技(广州)有限公司 | 一种基于排序学习的文字智能评分方法及系统 |
| CN117671703A (zh) * | 2023-12-04 | 2024-03-08 | 广东广视通智慧教育科技有限公司 | 一种基于触控屏的可交互书法临摹评价方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115641308A (zh) | 一种书法字临摹评价系统 | |
| RU2661750C1 (ru) | Распознавание символов с использованием искусственного интеллекта | |
| CN108399386A (zh) | 饼图中的信息提取方法及装置 | |
| RU2760471C1 (ru) | Способы и системы идентификации полей в документе | |
| WO2020155757A1 (zh) | 柱状图数据转换控制方法、装置、计算机设备及存储介质 | |
| CN113705554A (zh) | 图像识别模型的训练方法、装置、设备及存储介质 | |
| CN110414563A (zh) | 考试成绩统计方法、系统及计算机可读存储介质 | |
| CN113673432A (zh) | 手写识别方法、触摸显示设备、计算机设备及存储介质 | |
| CN112069329B (zh) | 文本语料的处理方法、装置、设备及存储介质 | |
| US20230084845A1 (en) | Entry detection and recognition for custom forms | |
| CN113744872A (zh) | 一种智能交互的阿尔兹海默症辅助筛查系统 | |
| CN116861014A (zh) | 一种基于预训练语言模型的图像信息抽取方法及装置 | |
| CN113888757A (zh) | 基于对标评价的考卷智能分析方法、系统及存储介质 | |
| CN115546553A (zh) | 一种基于动态特征抽取和属性修正的零样本分类方法 | |
| CN112116840B (zh) | 一种基于图像识别的作业批改方法、系统和智能终端 | |
| CN111104503A (zh) | 一种建筑工程质量验收规范问答系统及其构建方法 | |
| CN113505786A (zh) | 试题拍照评判方法、装置及电子设备 | |
| Shao et al. | InMAS: Deep learning for designing intelligent making system | |
| CN115984875B (zh) | 一种硬笔楷书临摹作品的笔画相似性评价方法及系统 | |
| CN112232088A (zh) | 合同条款风险智能识别方法、装置、电子设备及存储介质 | |
| CN116704508A (zh) | 信息处理方法及装置 | |
| CN115995092A (zh) | 图纸文字信息提取方法、装置、设备 | |
| CN111914822A (zh) | 文本图像标注方法、装置、计算机可读存储介质及设备 | |
| CN116959008A (zh) | 文字测评模型构建方法、装置、电子设备及存储介质 | |
| CN115408532A (zh) | 一种面向开源情报的武器装备知识图谱构建方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |