CN117496537B - 一种基于改进的形状特征匹配的书法书写质量评价方法 - Google Patents
一种基于改进的形状特征匹配的书法书写质量评价方法 Download PDFInfo
- Publication number
- CN117496537B CN117496537B CN202311480424.8A CN202311480424A CN117496537B CN 117496537 B CN117496537 B CN 117496537B CN 202311480424 A CN202311480424 A CN 202311480424A CN 117496537 B CN117496537 B CN 117496537B
- Authority
- CN
- China
- Prior art keywords
- stroke
- handwriting
- evaluation
- strokes
- fonts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000006872 improvement Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 230000003796 beauty Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及图像智能评分技术领域，公开一种基于改进的形状特征匹配的书法书写质量评价方法，包括以下步骤：采用改进的YoloV8对文字进行位置定位、分割和骨架提取，对母案和待评价作品做文字分割、定位和骨架提取，分割出每个文字后需要对母案的文字做对齐和配准工作，让待评价作品的文字跟母案进行对齐，与评价工作进行对应；利用文本骨架和关键控制点对字体整体书写相似度评价，采用针对书法改进的形状上下文算法进行字体书法总体似度评价；对主维度字体评分，对书法的笔法、笔画、结构和流畅度进行分开维度评价：根据条件评价和相似性对比融合，获取整体分数。该评价方法能够高效且准确地对书法进行评分，保证公平性和准确性。
Description
技术领域
本发明涉及图像智能评分技术领域，尤其涉及一种基于改进的形状特征匹配的书法书写质量评价方法。
背景技术
书法艺术具有较高的主观性，不同的评审人员可能对同一幅作品有不同的看法。人工测评容易受到个体审美、文化背景等因素的影响，难以保持一致性和客观性。书法临摹不仅涉及到字形的准确度，还包括线条流畅度、墨水的使用、意境表达等多个方面。
不同的评审人员可能对标准的理解存在差异，导致评分的不一致性。传统的人工评分存在无法全面准确稳定地进行测评，对大规模考试中的公平性和准确性产生影响的问题，同时由于大规模考试评测的需求导致人工评分工作量巨大，耗时费力。
发明内容
为解决现有技术中传统的人工评分存在无法全面准确稳定地进行测评，对大规模考试中的公平性和准确性产生影响的问题，本发明提供了一种基于改进的形状特征匹配的书法书写质量评价方法。
本发明的目的可以通过以下技术方案实现：
一种基于改进的形状特征匹配的书法书写质量评价方法，包括以下步骤：
S1：采用改进的YoloV8对隶书、楷书以及硬笔书法的文字进行位置定位、分割和骨架提取，对不同的书法字体进行注意力改进；
S2：对母案和待评价作品做文字分割、定位和骨架提取，分割出每个文字后需要对母案的文字做对齐和配准工作，让待评价作品的文字在空间上跟母案进行对齐，与评价工作进行对应；
S3：利用S1提取的文本骨架和关键控制点对字体的整体书写相似度进行评价，采用针对书法改进的形状上下文算法进行字体书法总体似度评价；
S4：对主维度字体评分之后，对书法的笔法、笔画、结构和流畅度进行分开维度评价；
S5：根据条件评价和相似性对比融合以及结合S3中字体书写相似度M、S4中书法的笔法I、笔画J、流畅度K和结构L的评价输出，获取整体分数S。
优选的，所述对母案的文字做对齐和配准工作中对齐的方法采用改进的迭代最近点方法，对待评测图像和母案图像的文字二维点云进行二维配准对齐。
优选的，所述针对书法改进的形状上下文算法进行字体书法总体似度评价，包括以下流程：
采用S1提取的文本骨架和关键控制点作为形状上下文的控制点集，每个点集包含一组二维坐标点作为特征点；
对于每个特征点，计算其与其他特征点之间的极坐标距离和角度，将所述距离和角度分别以直方图的形式表示，所述直方图即为该特征点的形状上下文；
计算两个文字形状之间的形状上下文距离，将所有特征点之间的形状上下文距离累加，得到两个形状之间的总体形状上下文距离。
优选的，所述对书法的笔法进行评价，包括以下步骤：
数据预处理，对书法图像进行预处理，提取笔画顺序信息，表示为序列数据；
LSTM网络构建，搭建LSTM网络，输入顺序笔画特征，输出笔画以及当前笔画与前后笔画关系的表示向量；
注意力机制，在LSTM上加入注意力层，使其自动聚焦重点笔画；
笔法识别，基于LSTM输出添加分类分支，识别当前笔画的笔法类别，笔法评分，连接一个回归分支，根据LSTM特征给出笔法运用的评分；结构化打分，根据笔画在整体结构中的位置，给予不同权重；
输出结果，对新作品根据模型给出笔画顺序评价、笔法运用评分及改进建议；
通过LSTM及注意力机制，显示建模笔法顺序与结构信息，评判笔法是否合理恰当，输出更可靠的书法笔法质量评价结果。
优选的，所述对书法的笔画评测采用ResNet-50模型，包括以下步骤：
收集带有笔画的书法图像数据集，每个图像标注有相应的笔画信息；
使用预训练的ResNet-50模型，在Image Net数据集上预训练的权重；
根据需求调整网络的输出层，以适应笔画评估的具体需求；
定义适当的损失函数，以均方误差，用于比较模型输出和笔画标签之间的差异；
选择适当Adam作为优化器，在预备的数据集上训练模型，训练过程中，监控所述模型在验证集上的性能，以便在合适的时候停止训练，避免过拟合。
优选的，所述笔画结构的准确性评价，具体包括：
将书法作品的笔画以节点形式进行表达，笔画之间的联系表示为边；
使用GCN图卷积网络，学习笔画图的表示，所述卷积网络通过消息传递学习笔画结构信息；
所述卷积网络输出每个笔画的向量表示，反映其在结构中的位置信息，基于所述笔画的向量表示，评分每个笔画的上笔、下笔和转折结构的准确性；
使用图注意力机制，识别结构美的重点部分；
全连接层综合所有笔画的结构评分，给出全局结构美的评分。
优选的，所述流畅度的测评的算法如下：
使用ORB特征提取算法从书法图像中提取特征点和描述子；
将两幅书法图像的特征点进行匹配，得到特征点间的对应关系；
测量特征点的对应关系，所述特征点的对应关系包括：匹配密度、一致性和稳定性；
按照制定的流畅度评估指标对书法图像中的字体进行流畅度评估。
本发明的有益效果为：
(1)通过根据条件评价和相似性对比融合以及结合S3中字体书写相似度M、S4中书法的笔法I、笔画J、流畅度K和结构L的评价输出，获取整体分数S，使用整体分数作为书法的综合性评分，也提高了评分的准确性和公正性，同时对不同的书法进行个性化的指导和建议，分析技巧和风格，能够针对性提高学生的书法能力。
(2)通过智能系统对书法作品进行评价，大大减轻了人工评分工作量巨大，耗死费力的负担，提高评价的工作效率；结合注意力机制能够更好地实现多级注意力，模块化学习，改善特征表达从而提升文本检测性能。
(3)通过使用各类算法对文本轮廓和笔画顺序等细节的调整，能够准确进行匹配，保证一致性，给出对应的修改建议，不仅起到了高效准确的智能评分而且能够给出改善意见，完善评分的流程。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明在一实施例中提供的一种基于改进的形状特征匹配的书法书写质量评价方法的具体步骤；
图2为本发明在一实施例中提供的针对书法改进的形状上下文算法进行字体书法总体似度评价流程；
图3为本发明在一实施例中提供的对所采用的笔法技巧进行评价的步骤；
图4为本发明在一实施例中提供的采用ResNet-50对书法的笔画进行评测的步骤；
图5为本发明在一实施例中提供的对笔画结构的评测方法的步骤；
图6为本发明在一实施例中提供的建模笔迹的生成过程中判断流畅度的算法步骤。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
一种基于改进的形状特征匹配的书法书写质量评价方法，如图1所示，包括以下步骤：
S1：采用改进的YoloV8对隶书、楷书以及硬笔书法的文字进行位置定位、分割、骨架提取，对不同的书法字体进行注意力改进；
所述YoloV8是物体检测算法YOLO系列的第八个版本，在改进前，YoloV8使用可分离卷积来提高感受野，改进后的YoloV8使用了大量的空洞卷积以及残差连接等技术，可以将感受野进一步扩大，提高检测的精度。并且，改进前YoloV8的模型很大，需要大量的计算资源才能运行，而在改进后，使用了轻量化的网络结构，模型大小缩小一半，可以在更加轻便的设备上运行。改进前的YoloV8监测精度还有待提升，而在改进后，使用了更加高级的直接回归方法，检测精度得到了明显提高。同时，在改进前YoloV8的检测速度不够快，改进后，通过对骨干网络的优化，以及使用多级预测技术，检测速度得到了明显提高。
向主干网络中引入全息注意力机制即通道注意力和空间注意力的串联结构，再节约参数和算力的同时起到了对各种不同书法字体的分割和定位以及骨架提取功能。GAM模块首先进行特征收集，使用全局平均池化和最大池化等方式收集不同位置的局部信息，然后是激发(Excite)过程，使用堆叠的全连接网络进行非线性转换，学习权重参数。再通过点积，将权重向量与原始特征进行注意力融合，得到增强的特征表示。在损失函数中加入GAM模块注意力权重的损失，增强注意力学习。可以在多尺度特征图上部署GAM模块，实现多级注意力。GAM模块可以有效学习到文本边界等关键区域，改善特征表达。
在推理时直接使用注意力融合的特征，无需额外计算开销。相比CBAM等早期注意力机制，GAM可以学习更抽象的注意力表示，全局融合信息，并保持高效。这可以增强YOLOv8对关键文本特征的学习与表达，从而提升文本检测性能。
S2：对母案和待评价作品做文字分割、定位、骨架提取，分割出每个文字后需要对母案的文字做对齐和配准工作，让待评价作品的文字在空间上跟母案进行对齐，与评价工作进行对应；
S3：利用S1提取的文本骨架和关键控制点对字体的整体书写相似度进行评价，采用针对书法改进的形状上下文算法进行字体书法总体似度评价；
S4：对主维度字体评分之后，对书法的笔法、笔画、结构和流畅度进行分开维度评价；
S5：根据条件评价和相似性对比融合以及结合S3中字体书写相似度M、S4中书法的笔法I、笔画J、流畅度K和结构L的评价输出，获取整体分数S。
书法临摹AI自动化评价的重要性在于可以通过计算机视觉技术和人工智能算法来自动评价书法临摹作品的质量。这种方法可以大大减轻人工阅卷的负担，并且可以提高评分的准确性和公正性。同时，评价系统能够根据学生的临摹作品，提供个性化的指导和建议。它可以分析学生的临摹风格和技巧，为学生量身定制提升计划，指出不足并提供针对性的改进方案，帮助学生更有针对性地提高书法临摹水平。AI评价系统能够积累大量的评价数据，进行深度分析和挖掘。这些数据不仅可以用于学生的个体评估，还可以用于教学质量的分析和改进，为教育决策提供科学依据。
进一步的，在本申请的一种优选实施例中，所述对母案的文字做对齐和配准工作中对齐的方法采用改进的迭代最近点方法，对待评测图像和母案图像的文字二维点云进行二维配准对齐。
由于隶书、楷书、硬笔字等书写字体的风格不同，粗细程度不同，传统的ICP配准工作对于边缘细节无法把握，且由于待匹配图像经常由于学生书写潦草整洁度不高，导致配准失败。
本发明针对以上问题做如下改进：
①替换距离计算方法：使用基于哈希的距离计算方法，比传统欧式距离更适合计算笔画形状的相似度。
②加入笔画方向约束：在匹配点对时，添加笔画方向差异作为约束条件，使匹配更符合笔画运笔方向。
③局部特征匹配：在ICP迭代匹配之前，先使用SIFT等算法匹配文本局部特征，获取初始匹配对。
④使用Ramer–Douglas–Peucker算法将文本轮廓近似为多边形，减少轮廓噪声的影响。
⑤加入结构损失：在优化目标中，加入轮廓点顺序结构的损失，保持轮廓结构一致性。
⑥迭代优化策略：采用模拟退火等优化策略，避免陷入局部最优解。
⑦使用LSTM序列模型提取笔画顺序特征，与ICP配合使用。通过这些改进，可以大幅提升ICP算法在书法文本形状匹配上的效果，使其更准确地计算不同书法作品之间的形状相似度。在经过以上配准后，得到待配准图像针对母案的空间转换关系(xt,yt,θt)，其中xt是x方向的平移量，yt是y方向的平移量，θt是旋转量。平移后，再针对母案的图片大小，对待评价图片进行图片ROI截取，使得其两个图像大小一致。
进一步的，在本申请的一种优选实施例中，所述针对书法改进的形状上下文算法进行字体书法总体似度评价，如图2所示，包括以下流程：
S11：采用S1提取的文本骨架和关键控制点作为形状上下文的控制点集，每个点集包含一组二维坐标点作为特征点；
S12：对于每个特征点，计算其与其他特征点之间的极坐标距离和角度，将所述距离和角度分别以直方图的形式表示，所述直方图即为该特征点的形状上下文；
S13：计算两个文字形状之间的形状上下文距离，将所有特征点之间的形状上下文距离累加，得到两个形状之间的总体形状上下文距离。对于每个特征点的形状上下文直方图，可以使用直方图距离度量方法计算两个特征点之间的形状上下文距离。
本方法针对隶书、楷书以及钢笔字的特性对形状上下文算法做了以下改进：①替换距离计算方法：使用包含笔画方向约束的距离度量，如方向直方图的EMD距离。②增加多尺度shape context：在多个尺度下提取shape context特征，综合多尺度信息。③加入结构化打分：针对不同书写顺序phase给予不同权重，保持结构一致性。④使用深度特征提取：使用卷积神经网络等提取深层形状特征，而不仅仅是轮廓点分布。⑤端到端打分回归：将shape context特征输入全连接网络，进行端到端的打分回归预测。⑥增加作品风格特征：配合使用风格特征，进行风格一致性约束的评测。
通过这些改进，可以充分发挥shape context算法建模笔画形状分布的优势，使其更适用于书法艺术品的自动评测，输出更可靠的质量打分。
进一步的，在本申请的一种优选实施例中，所述对书法的笔法进行评价，如图3所示，包括以下步骤：
S21：数据预处理，对书法图像进行预处理，提取笔画顺序信息，表示为序列数据；
S22：LSTM网络构建，搭建LSTM网络，输入顺序笔画特征，输出笔画以及当前笔画与前后笔画关系的表示向量；
S23：注意力机制，在LSTM上加入注意力层，使其自动聚焦重点笔画；
S24：笔法识别，基于LSTM输出添加分类分支，识别当前笔画的笔法类别，笔法评分，连接一个回归分支，根据LSTM特征给出笔法运用的评分；结构化打分，根据笔画在整体结构中的位置，给予不同权重；
S25：输出结果，对新作品根据模型给出笔画顺序评价、笔法运用评分及改进建议；
S26：通过LSTM及注意力机制，显示建模笔法顺序与结构信息，评判笔法是否合理恰当，输出更可靠的书法笔法质量评价结果。
进一步的，在本申请的一种优选实施例中，所述对书法的笔画评测采用ResNet-50模型，如图4所示，包括以下步骤：
S31：收集带有笔画的书法图像数据集，每个图像标注有相应的笔画信息；
S32：使用预训练的ResNet-50模型，在ImageNet数据集上预训练的权重；
S33：根据需求调整网络的输出层，以适应笔画评估的具体需求；
S34：定义适当的损失函数，以均方误差，用于比较模型输出和笔画标签之间的差异；
S35：选择适当Adam作为优化器，在预备的数据集上训练模型，训练过程中，监控所述模型在验证集上的性能，以便在合适的时候停止训练，避免过拟合。
进一步的，在本申请的一种优选实施例中，所述笔画结构的准确性评价，如图5所示，具体包括：
S41：将书法作品的笔画以节点形式进行表达，笔画之间的联系表示为边；
S42：使用GCN图卷积网络，学习笔画图的表示，所述卷积网络通过消息传递学习笔画结构信息；
S43：所述卷积网络输出每个笔画的向量表示，反映其在结构中的位置信息，基于所述笔画的向量表示，评分每个笔画的上笔、下笔、转折结构的准确性；
S44：使用图注意力机制，识别结构美的重点部分；
S45：全连接层综合所有笔画的结构评分，给出全局结构美的评分。
进一步的，在本申请的一种优选实施例中，所述流畅度的测评的算法如图6所示，过程如下：
S51：使用ORB特征提取算法从书法图像中提取特征点和描述子；
S52：将两幅书法图像的特征点进行匹配，得到特征点间的对应关系；
S53：测量特征点的对应关系，所述特征点的对应关系包括：匹配密度、一致性和稳定性；
S54：按照制定的流畅度评估指标对书法图像中的字体进行流畅度评估。
所述描述子是图像处理和计算机视觉领域中的一种数学工具，用于表示像中的局部特征。描述子通常从图像中提取并表征局部图像结构、边缘、纹理等信息。通过对图像局部特征的描述，可用于图像匹配、目标跟踪和目标识别等应用。描述子通常具有尺度不变性和旋转不变性等性质，使得它们能够在不同尺度和旋转角度下有效地匹配和比较图像特征，从而提高图像处理和计算机视觉任务的准确性和效率。常见的描述子包括SIFT、SURF、ORB和FAST等。
所述流畅度评估指标中，通过匹配密度，计算特征点的匹配数量或密度。匹配数量较多的区域通常代表书法字迹比较连贯；通过计算匹配点的一致性，即匹配点的分布是否符合书法字迹的方向和形状；通过测量匹配点在不同图像之间的稳定性用以对书法流畅度进行测评，稳定性较高的匹配点表示书法字迹在不同图像中保持一致。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (1)
1.一种基于改进的形状特征匹配的书法书写质量评价方法，其特征在于，包括以下步骤：
S1：采用改进的YoloV8对隶书、楷书以及硬笔书法的文字进行位置定位、分割和骨架提取，对不同的书法字体进行注意力改进；
S2：对母案和待评价作品做文字分割、定位和骨架提取，分割出每个文字后对母案的文字进行对齐和配准，使得待评价作品的文字在空间上与母案的文字对齐，并与评价工作对应；
S3：利用步骤S1提取的文本骨架和关键控制点对字体的整体书写相似度进行评价，采用针对书法改进的形状上下文算法进行字体书法总体相似度评价；
S4：对主维度字体评分之后，对书法的笔法、笔画、结构和流畅度进行分开维度评价；
S5：根据条件评价和相似度对比融合以及结合步骤S3中字体书法相似度M、步骤S4中书法的笔法I、笔画J、流畅度K和结构L的评价输出，获取整体分数S；
其中，
所述对母案的文字做对齐和配准工作中对齐的方法采用改进的迭代最近点方法，对待评测图像和母案图像的文字二维点云进行二维配准对齐；
所述针对书法改进的形状上下文算法进行字体书法总体相似度评价，包括以下流程：
采用步骤S1提取的文本骨架和关键控制点作为形状上下文的控制点集，每个点集包含一组二维坐标点作为特征点；
对于每个特征点，计算其与其他特征点之间的极坐标距离和角度，将所述距离和角度分别以直方图的形式表示，所述直方图即为该特征点的形状上下文；
计算两个文字形状之间的形状上下文距离，将所有特征点之间的形状上下文距离累加，得到两个形状之间的总体形状上下文距离；
所述对书法的笔法进行评价，包括以下步骤：
数据预处理，对书法图像进行预处理,提取笔画顺序信息,表示为序列数据；
LSTM网络构建，搭建LSTM网络，输入顺序笔画特征，输出笔画以及当前笔画与前后笔画关系的表示向量；
注意力机制，在LSTM上加入注意力层，使其自动聚焦重点笔画；
笔法识别，基于LSTM输出添加分类分支，识别当前笔画的笔法类别，笔法评分，连接一个回归分支，根据LSTM特征给出笔法运用的评分；结构化打分，根据笔画在整体结构中的位置，给予不同权重；
输出结果，对新作品根据模型给出笔画顺序评价、笔法运用评分及改进建议；
通过LSTM及注意力机制，显示建模笔法顺序与结构信息，评判笔法是否合理恰当，输出更可靠的书法笔法质量评价结果；
所述对书法的笔画评测采用ResNet-50模型，包括以下步骤：
收集带有笔画的书法图像数据集，每个图像标注有相应的笔画信息；
使用预训练的ResNet-50模型，在Image Net数据集上预训练的权重；
根据需求调整网络的输出层，以适应笔画评估的具体需求；
定义损失函数，以均方误差，用于比较模型输出和笔画标签之间的差异；
选择Adam作为优化器，在预备的数据集上训练模型，训练过程中，监控所述模型在验证集上的性能，以便在停止训练，避免过拟合；
所述笔画结构的准确性评价，具体包括：
将书法作品的笔画以节点形式进行表达，笔画之间的联系表示为边；
使用GCN图卷积网络，学习笔画图的表示，所述卷积网络通过消息传递学习笔画结构信息；
所述卷积网络输出每个笔画的向量表示，反映其在结构中的位置信息，基于所述笔画的向量表示，评分每个笔画的上笔、下笔和转折结构的准确性；
使用图注意力机制，识别结构美的重点部分；
全连接层综合所有笔画的结构评分，给出全局结构美的评分；
所述流畅度的测评的算法如下：
使用ORB特征提取算法从书法图像中提取特征点和描述子；
将两幅书法图像的特征点进行匹配，得到特征点间的对应关系；
测量特征点的对应关系，所述特征点的对应关系包括：匹配密度、一致性和稳定性；
按照制定的流畅度评估指标对书法图像中的字体进行流畅度评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311480424.8A CN117496537B (zh) | 2023-11-08 | 2023-11-08 | 一种基于改进的形状特征匹配的书法书写质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311480424.8A CN117496537B (zh) | 2023-11-08 | 2023-11-08 | 一种基于改进的形状特征匹配的书法书写质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117496537A CN117496537A (zh) | 2024-02-02 |
| CN117496537B true CN117496537B (zh) | 2024-04-23 |
Family
ID=89677751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311480424.8A Active CN117496537B (zh) | 2023-11-08 | 2023-11-08 | 一种基于改进的形状特征匹配的书法书写质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496537B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597876A (zh) * | 2020-12-20 | 2021-04-02 | 湖北工业大学 | 基于特征融合的书法汉字评判方法 |
| CN112633432A (zh) * | 2020-12-31 | 2021-04-09 | 浙江优学智能科技有限公司 | 一种基于深度学习的汉字书写质量评价方法 |
| WO2021068364A1 (zh) * | 2019-10-09 | 2021-04-15 | 北京方正手迹数字技术有限公司 | 笔画骨架信息提取方法、装置、电子设备及存储介质 |
| CN112800936A (zh) * | 2021-01-25 | 2021-05-14 | 中南大学 | 基于计算机视觉的书法临帖智能评价与指导方法 |
| CN113128442A (zh) * | 2021-04-28 | 2021-07-16 | 华南师范大学 | 基于卷积神经网络的汉字书法风格识别方法和评分方法 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN115346223A (zh) * | 2021-05-12 | 2022-11-15 | 天津洪恩完美未来教育科技有限公司 | 书写信息的评测方法和装置、电子设备和存储介质 |
-
2023
- 2023-11-08 CN CN202311480424.8A patent/CN117496537B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021068364A1 (zh) * | 2019-10-09 | 2021-04-15 | 北京方正手迹数字技术有限公司 | 笔画骨架信息提取方法、装置、电子设备及存储介质 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN112597876A (zh) * | 2020-12-20 | 2021-04-02 | 湖北工业大学 | 基于特征融合的书法汉字评判方法 |
| CN112633432A (zh) * | 2020-12-31 | 2021-04-09 | 浙江优学智能科技有限公司 | 一种基于深度学习的汉字书写质量评价方法 |
| CN112800936A (zh) * | 2021-01-25 | 2021-05-14 | 中南大学 | 基于计算机视觉的书法临帖智能评价与指导方法 |
| CN113128442A (zh) * | 2021-04-28 | 2021-07-16 | 华南师范大学 | 基于卷积神经网络的汉字书法风格识别方法和评分方法 |
| CN115346223A (zh) * | 2021-05-12 | 2022-11-15 | 天津洪恩完美未来教育科技有限公司 | 书写信息的评测方法和装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 从视觉到文本:图像描述生成的研究进展综述;魏忠钰;范智昊;王瑞泽;承怡菁;赵王榕;黄萱菁;;中文信息学报;20200715(第07期);全文 * |
| 毛笔书法临帖的计算机评价;邓学雄;李京陶;李牧;;图学学报;20141215(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117496537A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871851B (zh) | 一种基于卷积神经网络算法的汉字书写规范性判定方法 | |
| CN107169485B (zh) | 一种数学公式识别方法和装置 | |
| CN105893968B (zh) | 基于深度学习的文本无关的端到端的笔迹识别方法 | |
| CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
| CN111738141B (zh) | 一种硬笔书法作品评判方法 | |
| CN106096557A (zh) | 一种基于模糊训练样本的半监督学习人脸表情识别方法 | |
| CN109697469A (zh) | 一种基于一致性约束的自学习小样本遥感图像分类方法 | |
| CN103093240A (zh) | 书法字识别方法 | |
| CN105701502A (zh) | 一种基于蒙特卡罗数据均衡的图像自动标注方法 | |
| CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
| CN112597876A (zh) | 基于特征融合的书法汉字评判方法 | |
| CN110490081A (zh) | 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法 | |
| CN110909736A (zh) | 一种基于长短期记忆模型与目标检测算法的图像描述方法 | |
| CN108596274A (zh) | 基于卷积神经网络的图像分类方法 | |
| CN110674777A (zh) | 一种专利文本场景下的光学字符识别方法 | |
| CN109344713A (zh) | 一种姿态鲁棒的人脸识别方法 | |
| CN112069900A (zh) | 基于卷积神经网络的票据文字识别方法及系统 | |
| CN112329767A (zh) | 基于联合预训练的合同文本图像关键信息提取系统和方法 | |
| Alrehali et al. | Historical Arabic manuscripts text recognition using convolutional neural network | |
| CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
| CN109766752B (zh) | 一种基于深度学习的目标匹配和定位方法及系统、计算机 | |
| EP4040404A3 (en) | Method and apparatus of generating font database, and method and apparatus of training neural network model | |
| Ju et al. | Research on OMR recognition based on convolutional neural network tensorflow platform | |
| Saraf et al. | Devnagari script character recognition using genetic algorithm for get better efficiency | |
| Aulia et al. | Personality identification based on handwritten signature using convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |