CN112800936A - 基于计算机视觉的书法临帖智能评价与指导方法 - Google Patents

基于计算机视觉的书法临帖智能评价与指导方法 Download PDF

Info

Publication number
CN112800936A
CN112800936A CN202110100196.1A CN202110100196A CN112800936A CN 112800936 A CN112800936 A CN 112800936A CN 202110100196 A CN202110100196 A CN 202110100196A CN 112800936 A CN112800936 A CN 112800936A
Authority
CN
China
Prior art keywords
font
copybook
copy
original
calligraphy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110100196.1A
Other languages
English (en)
Other versions
CN112800936B (zh
Inventor
孙铭蔚
谢斌
徐勇
聂海涛
彭哲
万思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110100196.1A priority Critical patent/CN112800936B/zh
Publication of CN112800936A publication Critical patent/CN112800936A/zh
Application granted granted Critical
Publication of CN112800936B publication Critical patent/CN112800936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Abstract

本发明公开了一种基于计算机视觉的书法临帖智能评价与指导方法，包括以下步骤：图像预处理、字形匹配重合度评分、结构匹配重合度评分、投影相似度评分、书法字体关键点相似度评分、通过机器学习回归算法进行综合评分等步骤，通过对书法图像的处理，可以得到书法字体对比字帖的临摹效果的合理评价，对书法学习者临帖评分以及我国书法教育具有较强的指导意义。

Description

基于计算机视觉的书法临帖智能评价与指导方法
技术领域
本发明涉及书法图像处理及其临帖评价指导技术领域，具体涉及一种基于计算机视觉的书法临帖智能评价与指导方法。
背景技术
在书法教育中，最基础的环节，就是学生临摹历代书法大家的作品。针对不同年级的学生，书法教育课程会循序渐进设计不同的范字给学生练习。对于学生的临摹作品，书法教师会比较与范字的差别后进行打分，并给予学生相应的指导。在此同时，学生综合教师的建议，自己去比较差距，反复练习缩小差距，从而打好书法基础，提高书法水平。
对学生而言，在书法学习过程中，对于书法教师的反馈，学生往往不能得到直观的可视化指导，造成了理解的困难，限制了他们书法能力的进步，也对他们的学习效率和学习热情造成了不利影响。
本研究针对以上问题，基于计算机视觉技术设计书法临摹评测与指导的相关算法，并致力于可视化辅助教学的研究，以减轻书法老师教学负担，解决目前存在的教育资源欠缺的问题。目前虽存在临帖书法图像的评价的相关算法，却在评测上缺乏智能性与指导性，且选取的特征缺乏与书法审美的关联，可解释性不强，最终得到的评分也缺少与人类专家的对比验证。
发明内容
为此，本发明提供一种基于计算机视觉的书法临帖评价与指导方法，以实现目前还未有的，基于书法美学设计的特征与专家评分的有监督学习的书法临帖智能评价与指导方法。
为了实现上述目的，本发明提供如下技术方案：
一种基于计算机视觉的书法临帖智能评价与指导方法，包括以下步骤：
步骤一，对上传的临帖字体和原帖字体进行图像预处理；
步骤二，对上传的临帖字体和原帖字体进行字体配准；
步骤三，对经过预处理后的书法图像进行字形匹配重合度评分；
步骤四，对经过预处理后的书法图像进行结构匹配重合度评分；
步骤五，对经过预处理后的书法图像进行字体投影相似度评分；
步骤六，对经过预处理后的书法图像进行关键点相似度评分；
步骤七，通过字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分对临帖字体进行综合评分，完成对于临帖字体的评价；
步骤八、根据字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分、关键点相似度评分和综合评分，从预设的指导语句库中生成相应的语句指导进行临帖字体的点评和指导。
进一步的改进，所述的步骤一中，图像预处理包括以下步骤：
步骤1.1，固定临帖字体和原帖字体的原有长宽比例，将临帖字体和原帖字体图像均放缩到预设的固定宽度，转换成灰度图像，并且进行二值化处理得到二值化图像；
步骤1.2，计算二值化图像各个连通域的像素点的个数，然后设定阈值进行滤波，从而去除字体图像上的噪声，保留字体部分。
进一步的改进，图像预处理部分的参数设置如下：
(1)将两个字体图像放缩到相同且固定的宽度为400；
(2)设定的去除字体图像上墨点污渍等其他噪声的最小连通域的像素点个数为400，即将低于400个像素点的连通域去除。
进一步的改进，所述的步骤二中，字体配准包括以下步骤：
步骤2.1，将包含字体的最小拟合矩形作为感兴趣区域，具体为对于经过预处理后的图像，按照行列顺序遍历图像像素，记录布尔值为0的像素点横坐标的最小值xmin、横坐标的最大值xmax,纵坐标的最小值ymin和纵坐标的最大值ymax，从而确定感兴趣区域的左上角坐标为(xmin，ymin),右下角坐标为(xmax，ymax)；
步骤2.2，将预处理后的临帖字体和原帖字体的感兴趣区域裁剪，计算感兴趣区域内字体的像素个数，其中临帖字体感兴趣区域内字体的像素个数为Sa、原帖字体感兴趣区域内字体的像素个数为Sb,将临帖字体的感兴趣区域长和宽均乘以
Figure RE-GDA0002980712850000031
使得临帖字体和原帖字体有相同的字体面积，得到处理后的临帖字体和原帖字体
步骤2.3，计算处理后的临帖字体和原帖字体的字体重心；
步骤2.4，新建两个固定且相等边长的正方形空白图像，将处理后的临帖字体和原帖字体平移至空白图像中，使得字体的重心与空白图像的中心坐标重合，得到配准后临帖字体图像和配准后原帖字体图像。
由于在系统中，采集的书法临帖图像的位置和大小都是不可控的，因此为了更精准的评测和更优质的可视化指导，针对书法临摹图像设计了相应的配准算法。
进一步的改进，所述的步骤三中，进行字形匹配重合度评分包括以下步骤：
步骤3.1，提取配准后的原帖字体的边缘轮廓；
步骤3.2，计算f1作为字形匹配重合度评分:
Figure RE-GDA0002980712850000041
其中,S1为配准后临帖字体的形体，S2为配准后原帖字体的形体；
步骤3.3，将配准后临帖字体图像和配准后原帖字体图像的正方形边框对齐，得到字形匹配的可视化指导图像。
不同于其他方法，本发明基于上述步骤的配准后书法图像，保证了临帖字体与原帖字体的最大重合面积，设计交并比作为特征量化书法字体的临摹差距；将模板字体保留边缘轮廓，可以清晰的比较出临摹的差距，从而为学生提供临帖可视化指导。
进一步的改进，所述的步骤四中，进行结构匹配重合度评分包括以下步骤：
步骤4.1，分别提取配准后临帖字体图像和配准后原帖字体图像的边缘轮廓，生成连通域的凸包；
步骤4.2，将凸包区域内的像素赋值为1填充凸包，用二值化的 0赋值凸包外的像素；
步骤4.3，计算f2作为结构匹配重合度评分:
Figure RE-GDA0002980712850000042
其中,S3为临帖字体的凸包图像，S4为原帖字体的凸包图像； S3∩S4表示临帖字体的凸包图像与原帖字体的凸包图像的图像重合区域面积；S3∪S4表示临帖字体的凸包图像与原帖字体的凸包图像的图像合并后区域面积；
步骤4.4，将处理后原帖字体和原帖字体凸包图像的轮廓凸以及临帖字体凸图像的轮廓叠加到临帖字体的图像上，得到结构匹配的可视化指导图像。
为了更好的衡量书法临帖图像的外形结构的优劣，本发明设计包围书法字体的最小凸包代表外观结构，可以清晰展示书法结构的宽窄长短；通过设计字体最小凸包的交并比作为结构特征，衡量临帖字体的结构上的差距。
进一步的改进，所述的步骤五中，进行字体投影相似度评分包括以下步骤：
步骤5.1，按照书法练习米字格的标准，计算与绘制原帖字体和临帖字体分别在0、-45°、45°和90°方向上的投影直方图；每个方向上，记原帖字体的投影为HT，临帖字体的投影为HC；
步骤5.2，计算f3作为每个方向上原帖字体投影和临帖字体投影的匹配重合度评分：
Figure RE-GDA0002980712850000051
步骤5.3，计算f4作为每个方向上原帖字体投影和临帖字体投影的相关度评分：
Figure RE-GDA0002980712850000061
其中，
Figure RE-GDA0002980712850000062
Figure RE-GDA0002980712850000063
和
Figure RE-GDA0002980712850000064
分别代表投影直方图HC和HT中分箱平均高度；HC(I)表示投影直方图HC中第I个分箱的高度，HT(I)表示投影直方图HT中第I个分箱的高度，N表示直方图的分箱的个数，HK(J)表示投影直方图HK中第J个分箱的高度。
通过将处理后原帖字体和凸包的红色轮廓以及临帖字体凸包的蓝色轮廓叠加到临帖字体的图像上，可以清晰的比较临帖字体在外观结构上的差距，如结构上的宽窄、胖瘦，得到结构匹配的可视化指导图像，从而提供结构上的指导。
横、竖、撇、捺作为书法汉字的基本笔画，其基本方向为0、-45°、 45°和90°，而米字格的设计则是通过四个方向的虚线来对临摹字体进行辅助与匡正。所以，本发明从横、竖、撇、捺四个基本笔画的方向出发，沿着这四个方向作图像投影，通过投影直方图的交并比和相关度来量化临摹字体在四个方向上的内部笔画结构差距
进一步的改进，所述的步骤六中，对于字体进行关键点相似度评分包括以下步骤：
步骤6.1，基于学生的书法临摹字库，结合书法笔画的提按顿挫、圆转方折，对每一个书法字体的关键点进行标注，构建书法关键点数据集；所述书法字体的关键点包括笔画的起笔、落笔、拐笔和笔画交点；
步骤6.2，基于深度学习目标检测算法，采用FasterR-CNN，通过计算目标框的中心点，完成关键点检测模型的训练与验证，得到训练好的书法字体关键点检测模型；
步骤6.3，采用得到训练好的书法字体关键点检测模型，完成临帖字体和原帖字体的关键点提取，通过一致性点漂移算法完成临帖字体和原帖字体的关键点匹配；
步骤6.4，计算f5作为原帖字体和临帖字体的关键点相似度评分：
Figure RE-GDA0002980712850000071
其中，k表示字体的关键点的个数，
Figure RE-GDA0002980712850000072
表示配准后原帖字体第i 个关键点的横坐标，
Figure RE-GDA0002980712850000073
表示配准后临帖字体第i个关键点的横坐标，
Figure RE-GDA0002980712850000074
表示配准后原帖字体第i个关键点的纵坐标，
Figure RE-GDA0002980712850000075
表示配准后临帖字体第i个关键点的纵坐标。
书法笔画的起笔、落笔、拐笔和笔画交点都具有较好的规律性，所以将其定义为书法笔画的关键点。而笔画关键点的位置，可以衡量每个笔画的长短，高低以及角度。所以，本方法设计了书法关键点检测算法，实现了对于笔画的关键点的检测，通过关键点集的配准，与模板比较可以得知每个笔画的差距，根据差距从语句库中选择相应的指导语句，从而提供笔画的指导。
进一步的改进，所述的步骤七中，通过机器学习的方法得到字体的综合评分，完成对于临帖字体的评价：
步骤7.1，对原帖字体和对应的专家评分后的临帖字体作为书法临摹数据集，然后按照步骤步骤一到步骤七分别得到书法临摹数据集中临帖字体的字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分，得到评分数据集；专家评分和评分数据集合并得到临摹评分数据集；
步骤7.2，将临摹评分数据集通过机器学习回归算法进行训练，得到训练好的临摹评分模型，得到待评价临帖字体的字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分后输入训练好的临摹评分模型，得到综合评分。
为了让书法临帖图像的美学评分更接近于专家的评分，本方法基于机器学习的回归方法，对上述的特征进行回归，得到与专家相符的评分。
本发明的有益效果是：1、本发明通过图像预处理、对书法图像进行字体配准、对书法图像进行字形匹配重合度评分、对书法图像进行结构匹配重合度评分、提取字体骨架并且计算临帖字体和原帖字体的骨架相似度、机器学习训练所提取的特征以得到综合评分对临帖字体进行自动评价与可视化指导，这是现有技术还未涉及的方向，为以后的书法智能教学提供了客观的评价与指导。2、作为书法临帖评价技术，在之后还能为中国书法等级考试提供技术支持，对于书法临帖标准化评测具有较强的实际意义。
附图说明
图1为本发明的书法临帖评价的系统流程图；
图2a为原帖字体的原图；
图2b为临帖字体的原图；
图3a为原帖字体配准后的结果图；
图3b为临帖字体配准后的结果图；
图4为本发明的字形匹配重合度的可视化结果图；
图5为本发明的结构匹配重合度的可视化结果图；
图6a为本发明的字体投影相似度评分的可视化展示图一；
图6b为本发明的字体投影相似度评分的可视化展示图二；
图6c为本发明的字体投影相似度评分的可视化展示图三；
图6d为本发明的字体投影相似度评分的可视化展示图四；
图7a为临帖字体关键点提取的结果图；
图7b为原帖字体关键点提取的结果图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的有点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确得到界定。
如图1所示，本发明提供了一种基于图像处理的书法临帖评价方法，包括以下步骤：
步骤1：固定原有长宽比例，将两个字体图像均放缩到400的宽度，转换成灰度图像，并且进行二值化处理；
步骤2：通过计算各个连通域的像素点的个数，设定的去除字体图像上墨点污渍等其他噪声的最小连通域的像素点个数为400，即将低于400个像素点的连通域去除从而去除字体图像上墨点污渍等其他噪声，保留字体部分；
步骤3：确定包含字体的最小拟合矩形作为感兴趣区域，具体为对于经过预处理后的图像，按照行列顺序遍历图像像素，记录布尔值为0的像素点(属于字体的像素点)横坐标的最小值xmin、横坐标的最大值xmax,纵坐标的最小值ymin和纵坐标的最大值ymax，从而确定感兴趣区域的左上角坐标为(xmin，ymin),右下角坐标为(xmax，ymax)；
步骤4：将预处理后的临帖字体和原帖字体的感兴趣区域裁剪，计算感兴趣区域内字体的像素个数，其中临帖字体感兴趣区域内字体的像素个数为Sa、原帖字体感兴趣区域内字体的像素个数为Sb,将临帖字体的感兴趣区域长和宽均乘以
Figure RE-GDA0002980712850000101
使得临帖字体和原帖字体有相同的字体面积；
步骤5：计算上述步骤处理后的临帖字体和原帖字体的重心；
步骤6：新建两个尺寸为500*500的正方形空白图像，将上述步骤处理后的临帖字体和原帖字体平移至空白图像中，使得字体的重心与空白图像的中心坐标重合，得到配准后临帖字体图像和原帖字体图像。
步骤7：提取上述步骤6配准后的原帖字体的边缘轮廓；
步骤8：计算f1作为字形匹配重合度评分:
Figure RE-GDA0002980712850000102
其中，S1为上述步骤处理后临帖字体的形体，S2为上述步骤处理后原帖字体的形体；
步骤9：将处理后原帖字体的红色轮廓叠加到临帖字体的图像上，得到字形匹配的可视化指导图像；
步骤10：提取步骤6配准后字体的边缘轮廓，生成各个字体部分连通域的凸包；
步骤11：用二值化的1将凸包区域内的像素赋值填充凸包，用二值化的0赋值凸包外的像素；
步骤12：计算f2作为结构匹配重合度评分:
Figure RE-GDA0002980712850000111
其中,S3为临帖字体的凸包图像，S4为原帖字体的凸包图像；
步骤13：将处理后原帖字体和凸包的红色轮廓以及临帖字体凸包的蓝色轮廓叠加到步骤6配准后的临帖字体的图像上，得到结构匹配的可视化指导图像；
步骤14，按照书法练习米字格的标准，计算与绘制经过步骤6 配准后的原帖字体和临帖字体分别在0、-45°、45°和90°方向上的投影直方图。记在某方向上原帖字体的投影为HT，临帖字体的投影为HC；
步骤15，计算f3、f4、f5、f6作为分别在0、-45°、45°和90°方向上原帖字体投影和临帖字体投影的匹配重合度评分：
Figure RE-GDA0002980712850000112
步骤16，计算f7、f8、f9、f10作为0、-45°、45°和90°方向上原帖字体投影和临帖字体投影的相关度评分：
Figure RE-GDA0002980712850000113
其中，中，
Figure RE-GDA0002980712850000121
Figure RE-GDA0002980712850000122
和
Figure RE-GDA0002980712850000123
分别代表投影直方图HC和HT中分箱平均高度；HC(I)表示投影直方图HC中第I 个分箱的高度，HT(I)表示投影直方图HT中第I个分箱的高度，N表示直方图的分箱的个数，HK(J)表示投影直方图HK中第J个分箱的高度。
步骤17，基于学生的书法临摹字库，结合书法笔画的提按顿挫、圆转方折，对每一个书法字体的关键点进行标注，构建书法关键点数据集；
步骤18，基于深度学习目标检测算法，采用改进后的Faster R-CNN，完成关键点检测模型的训练与验证；
步骤19，基于深度学习的毛笔字关键点检测算法，完成临帖字体和原帖字体的关键点提取，通过一致性点漂移算法完成临帖字体和原帖字体的关键点匹配；
步骤20，计算f11作为原帖字体和临帖字体的关键点相似度评分：
Figure RE-GDA0002980712850000124
其中，k表示字体的关键点的个数，
Figure RE-GDA0002980712850000125
表示配准后原帖字体第i 个关键点的横坐标，
Figure RE-GDA0002980712850000126
表示配准后临帖字体第i个关键点的横坐标，
Figure RE-GDA0002980712850000127
表示配准后原帖字体第i个关键点的纵坐标，
Figure RE-GDA0002980712850000128
表示配准后临帖字体第i个关键点的纵坐标；
步骤21：对于专家评分后的书法临摹数据集，按照上述步骤评分后构建结构化特征；
步骤22：将结构化特征进行特征工程的处理后，采用机器学习回归算法对专家评价学习与预测，并且选取最优的机器学习回归算法，完成书法临帖评价。

Claims (8)

1.一种基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，包括以下步骤：
步骤一，对上传的临帖字体和原帖字体进行图像预处理；
步骤二，对上传的临帖字体和原帖字体进行字体配准；
步骤三，对经过预处理后的书法图像进行字形匹配重合度评分；
步骤四，对经过预处理后的书法图像进行结构匹配重合度评分；
步骤五，对经过预处理后的书法图像进行字体投影相似度评分；
步骤六，对经过预处理后的书法图像进行关键点相似度评分；
步骤七，通过字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分对临帖字体进行综合评分，完成对于临帖字体的评价；
步骤八、根据字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分、关键点相似度评分综合评分，从预设的指导语句库中生成相应的语句指导进行临帖字体的点评和指导。
2.根据权利要求1所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤一中，图像预处理包括以下步骤：
步骤1.1，固定临帖字体和原帖字体的原有长宽比例，将临帖字体和原帖字体图像均放缩到预设的固定宽度，转换成灰度图像，并且进行二值化处理得到二值化图像；
步骤1.2，计算二值化图像各个连通域的像素点的个数，然后设定阈值进行滤波，从而去除字体图像上的噪声，保留字体部分。
3.根据权利要求1所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤二中，字体配准包括以下步骤：
步骤2.1，将包含字体的最小拟合矩形作为感兴趣区域，具体为对于经过预处理后的图像，按照行列顺序遍历图像像素，记录布尔值为0的像素点横坐标的最小值xmin、横坐标的最大值xmax，纵坐标的最小值ymin和纵坐标的最大值ymax，从而确定感兴趣区域的左上角坐标为(xmin，ymin)，右下角坐标为(xmax，ymax)；
步骤2.2，将预处理后的临帖字体和原帖字体的感兴趣区域裁剪，计算感兴趣区域内字体的像素个数，其中临帖字体感兴趣区域内字体的像素个数为Sa、原帖字体感兴趣区域内字体的像素个数为Sb，将临帖字体的感兴趣区域长和宽均乘以
Figure FDA0002914291480000021
使得临帖字体和原帖字体有相同的字体面积，得到处理后的临帖字体和原帖字体
步骤2.3，计算处理后的临帖字体和原帖字体的字体重心；
步骤2.4，新建两个固定且相等边长的正方形空白图像，将处理后的临帖字体和原帖字体平移至空白图像中，使得字体的重心与空白图像的中心坐标重合，得到配准后临帖字体图像和配准后原帖字体图像。
4.根据权利要求3所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤三中，进行字形匹配重合度评分包括以下步骤：
步骤3.1，提取配准后的原帖字体的边缘轮廓；
步骤3.2，计算f1作为字形匹配重合度评分：
Figure FDA0002914291480000031
其中，S1为配准后临帖字体的形体，S2为配准后原帖字体的形体；
步骤3.3，将配准后临帖字体图像和配准后原帖字体图像的正方形边框对齐，得到字形匹配的可视化指导图像。
5.根据权利要求4所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤四中，进行结构匹配重合度评分包括以下步骤：
步骤4.1，分别提取配准后临帖字体图像和配准后原帖字体图像的边缘轮廓，生成连通域的凸包；
步骤4.2，将凸包区域内的像素赋值为1填充凸包，用二值化的0赋值凸包外的像素；
步骤4.3，计算f2作为结构匹配重合度评分：
Figure FDA0002914291480000032
其中，S3为临帖字体的凸包图像，S4为原帖字体的凸包图像；S3∩S4表示临帖字体的凸包图像与原帖字体的凸包图像的图像重合区域面积；S3∪S4表示临帖字体的凸包图像与原帖字体的凸包图像的图像合并后区域面积；
步骤4.4，将处理后原帖字体和原帖字体凸包图像的轮廓凸以及临帖字体凸图像的轮廓叠加到临帖字体的图像上，得到结构匹配的可视化指导图像。
6.根据权利要求1所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤五中，进行字体投影相似度评分包括以下步骤：
步骤5.1，按照书法练习米字格的标准，计算与绘制原帖字体和临帖字体分别在0、-45°、45°和90°方向上的投影直方图；每个方向上，记原帖字体的投影直方图为HT，临帖字体的投影直方图为HC；
步骤5.2，计算f3作为每个方向上原帖字体投影和临帖字体投影的匹配重合度评分：
Figure FDA0002914291480000041
步骤5.3，计算f4作为每个方向上原帖字体投影和临帖字体投影的相关度评分：
Figure FDA0002914291480000042
Figure FDA0002914291480000043
其中，
Figure FDA0002914291480000044
Figure FDA0002914291480000045
和
Figure FDA0002914291480000046
分别代表投影直方图HC和HT中分箱平均高度；HC(I)表示投影直方图HC中第I个分箱的高度，HT(I)表示投影直方图HT中第I个分箱的高度，N表示直方图的分箱的个数，HK(J)表示投影直方图HK中第J个分箱的高度。
7.根据权利要求3所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤六中，对于字体进行关键点相似度评分包括以下步骤：
步骤6.1，基于学生的书法临摹字库，结合书法笔画的提按顿挫、圆转方折，对每一个书法字体的关键点进行标注，构建书法关键点数据集；所述书法字体的关键点包括笔画的起笔、落笔、拐笔和笔画交点；
步骤6.2，基于深度学习目标检测算法，采用Faster R-CNN，通过计算目标框的中心点，完成关键点检测模型的训练与验证，得到训练好的书法字体关键点检测模型；
步骤6.3，采用得到训练好的书法字体关键点检测模型，完成临帖字体和原帖字体的关键点提取，通过一致性点漂移算法完成临帖字体和原帖字体的关键点匹配；
步骤6.4，计算f5作为原帖字体和临帖字体的关键点相似度评分：
Figure FDA0002914291480000051
其中，k表示字体的关键点的个数，
Figure FDA0002914291480000052
表示配准后原帖字体第i个关键点的横坐标，
Figure FDA0002914291480000053
表示配准后临帖字体第i个关键点的横坐标，
Figure FDA0002914291480000054
表示配准后原帖字体第i个关键点的纵坐标，
Figure FDA0002914291480000055
表示配准后临帖字体第i个关键点的纵坐标。
8.根据权利要求1所述的基于计算机视觉的书法临帖智能评价与指导方法，其特征在于，所述的步骤七中，通过机器学习的方法得到字体的综合评分，完成对于临帖字体的评价：
步骤7.1，对原帖字体和对应的专家评分后的临帖字体作为书法临摹数据集，然后按照步骤步骤一到步骤七分别得到书法临摹数据集中临帖字体的字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分，得到评分数据集；专家评分和评分数据集合并得到临摹评分数据集；
步骤7.2，将临摹评分数据集通过机器学习回归算法进行训练，得到训练好的临摹评分模型，得到待评价临帖字体的字形匹配重合度评分、结构匹配重合度评分、字体投影相似度评分和关键点相似度评分后输入训练好的临摹评分模型，得到综合评分。
CN202110100196.1A 2021-01-25 2021-01-25 基于计算机视觉的书法临帖智能评价与指导方法 Active CN112800936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110100196.1A CN112800936B (zh) 2021-01-25 2021-01-25 基于计算机视觉的书法临帖智能评价与指导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110100196.1A CN112800936B (zh) 2021-01-25 2021-01-25 基于计算机视觉的书法临帖智能评价与指导方法

Publications (2)

Publication Number Publication Date
CN112800936A true CN112800936A (zh) 2021-05-14
CN112800936B CN112800936B (zh) 2022-03-08

Family

ID=75811675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110100196.1A Active CN112800936B (zh) 2021-01-25 2021-01-25 基于计算机视觉的书法临帖智能评价与指导方法

Country Status (1)

Country Link
CN (1) CN112800936B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332514A (zh) * 2022-03-17 2022-04-12 北京许先网科技发展有限公司 一种字体测评方法及系统
CN115984875A (zh) * 2023-03-21 2023-04-18 南京信息工程大学 一种硬笔楷书临摹作品的笔画相似性评价方法及系统
CN117541999A (zh) * 2024-01-10 2024-02-09 江苏汉丹云教育科技有限公司 一种书写教学与评价系统及方法
CN117496537B (zh) * 2023-11-08 2024-04-23 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069742A (zh) * 2015-07-24 2015-11-18 北京航空航天大学 一种基于书写特征编辑的软笔汉字变换方法
CN106096524A (zh) * 2016-06-01 2016-11-09 广东小天才科技有限公司 一种汉字美观度的获取方法及装置
CN107578039A (zh) * 2017-10-08 2018-01-12 王奕博 基于数字图像处理技术的字迹轮廓比对方法
CN110009065A (zh) * 2019-01-14 2019-07-12 岭南师范学院 一种基于图像二值化的书法比对方法
CN110532864A (zh) * 2019-07-19 2019-12-03 中科君胜(深圳)智能数据科技发展有限公司 软笔书法临摹相似性评价方法
CN111160147A (zh) * 2019-12-16 2020-05-15 华南理工大学 一种书法作品图像的裁剪和识别方法
CN111738141A (zh) * 2020-06-19 2020-10-02 首都师范大学 一种硬笔书法作品评判方法
CN112036522A (zh) * 2020-07-20 2020-12-04 上海卓希智能科技有限公司 基于机器学习的书法单字评价方法、系统及终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069742A (zh) * 2015-07-24 2015-11-18 北京航空航天大学 一种基于书写特征编辑的软笔汉字变换方法
CN106096524A (zh) * 2016-06-01 2016-11-09 广东小天才科技有限公司 一种汉字美观度的获取方法及装置
CN107578039A (zh) * 2017-10-08 2018-01-12 王奕博 基于数字图像处理技术的字迹轮廓比对方法
CN110009065A (zh) * 2019-01-14 2019-07-12 岭南师范学院 一种基于图像二值化的书法比对方法
CN110532864A (zh) * 2019-07-19 2019-12-03 中科君胜(深圳)智能数据科技发展有限公司 软笔书法临摹相似性评价方法
CN111160147A (zh) * 2019-12-16 2020-05-15 华南理工大学 一种书法作品图像的裁剪和识别方法
CN111738141A (zh) * 2020-06-19 2020-10-02 首都师范大学 一种硬笔书法作品评判方法
CN112036522A (zh) * 2020-07-20 2020-12-04 上海卓希智能科技有限公司 基于机器学习的书法单字评价方法、系统及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱银领: "《手写体汉字临摹质量评价算法研究》", 《中国优秀博硕士学位论文全文数据库(硕士) 哲学与人文科学辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332514A (zh) * 2022-03-17 2022-04-12 北京许先网科技发展有限公司 一种字体测评方法及系统
CN114332514B (zh) * 2022-03-17 2022-06-07 北京许先网科技发展有限公司 一种字体测评方法及系统
CN115984875A (zh) * 2023-03-21 2023-04-18 南京信息工程大学 一种硬笔楷书临摹作品的笔画相似性评价方法及系统
CN117496537B (zh) * 2023-11-08 2024-04-23 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法
CN117541999A (zh) * 2024-01-10 2024-02-09 江苏汉丹云教育科技有限公司 一种书写教学与评价系统及方法
CN117541999B (zh) * 2024-01-10 2024-03-22 江苏汉丹云教育科技有限公司 一种书写教学与评价系统及方法

Also Published As

Publication number Publication date
CN112800936B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN112800936B (zh) 基于计算机视觉的书法临帖智能评价与指导方法
CN112597876B (zh) 基于特征融合的书法汉字评判方法
CN100583135C (zh) 一种汉字书写形态美观度的计算机评估方法
CN111881310B (zh) 一种汉字硬笔书写智能指导和评分方法及指导评分系统
CN103810506B (zh) 一种手写汉字笔画识别方法
CN111723585A (zh) 一种风格可控的图像文本实时翻译与转换方法
CN111626297A (zh) 文字书写质量评价方法、装置、电子设备和记录介质
US20210397266A1 (en) Systems and methods for language driven gesture understanding
CN112712273B (zh) 一种基于骨架相似度的手写体汉字美观度评判方法
CN101393693B (zh) 一种汉字书写计算机教学方法
CN106355973A (zh) 一种绘画辅导方法及装置
CN101393645A (zh) 一种手写体汉字的计算机生成与美化方法
Cummmings et al. I don't believe my eyes! geometric sketch recognition for a computer art tutorial
Wang et al. Evaluation of Chinese calligraphy by using DBSC vectorization and ICP algorithm
Xu et al. Evaluating Brush Movements for Chinese Calligraphy: A Computer Vision Based Approach.
CN111985184A (zh) 基于ai视觉下的书写字体临摹辅助方法、系统、装置
Hamida et al. New database of French computer science words handwritten vocabulary
Han et al. An interactive grading and learning system for chinese calligraphy
CN109284702B (zh) 一种基于图像模式的答题卷给分及阅卷系统
CN108009537B (zh) 一种识别问卷批改得分的方法
CN113191309A (zh) 一种手写汉字的识别、评分、纠错方法及系统
CN210038810U (zh) 智能评测设备及系统
CN116306625A (zh) 一种基于智能算法的在线作业自动批改方法
CN114550179A (zh) 对手写汉字黑板板书进行指导的方法、系统及设备
CN114638988A (zh) 一种基于不同呈现方式的教学视频自动化分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xie Bin

Inventor after: Sun Mingwei

Inventor after: Xu Yong

Inventor after: Nie Haitao

Inventor after: Peng Zhe

Inventor after: Wan Siyuan

Inventor before: Sun Mingwei

Inventor before: Xie Bin

Inventor before: Xu Yong

Inventor before: Nie Haitao

Inventor before: Peng Zhe

Inventor before: Wan Siyuan