CN113128442A - 基于卷积神经网络的汉字书法风格识别方法和评分方法 - Google Patents

基于卷积神经网络的汉字书法风格识别方法和评分方法 Download PDF

Info

Publication number
CN113128442A
CN113128442A CN202110467961.3A CN202110467961A CN113128442A CN 113128442 A CN113128442 A CN 113128442A CN 202110467961 A CN202110467961 A CN 202110467961A CN 113128442 A CN113128442 A CN 113128442A
Authority
CN
China
Prior art keywords
calligraphy
image
similarity
chinese character
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110467961.3A
Other languages
English (en)
Other versions
CN113128442B (zh
Inventor
梁艳
麦艮廷
黄嘉琳
佘依聪
陈禧琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110467961.3A priority Critical patent/CN113128442B/zh
Publication of CN113128442A publication Critical patent/CN113128442A/zh
Application granted granted Critical
Publication of CN113128442B publication Critical patent/CN113128442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G06V30/2264—Character recognition characterised by the type of writing of cursive writing using word shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于卷积神经网络的书法字体风格识别方法。本发明所述的基于卷积神经网络的书法字体风格识别方法包括：获取书法作品图像；对所述书法作品图像进行预处理，识别出每个单字图像；将所述单字图像输入书法字体风格识别模型，得到每个单字的书法字体风格识别结果；其中，所述书法字体风格识别模型为ResNet神经网络，包括第一卷积层、第一池化层、4个基于Bottleneck残差块实现的卷积层、全局平均池化层、2个全连接层和softmax层。本发明所述的基于卷积神经网络的书法字体风格识别方法具有识别准确率高、计算量少的优点。本发明还提供一种基于卷积神经网络的汉字书法评分方法，将字体风格识别、书法内容识别以及书法汉字美感评分集于一体，功能更全面。

Description

基于卷积神经网络的汉字书法风格识别方法和评分方法
技术领域
本发明涉及人工智能、深度学习、图像处理领域，特别是涉及一种基于卷积神经网络的汉字书法风格识别方法和评分方法。
背景技术
中国书法是中华传统文化的重要组成部分，不仅历史悠久，沉淀浓厚，而且还传播广泛，对民族文化影响巨大，因此对中国书法的研究有着极其重要的实际意义。但随着社会的发展，书法这一“东方艺术的灵魂”正逐渐被人们淡忘。机器输入逐渐地替代了纸笔输入，越来越多的现代人荒废了传统书法这门“课”，致使当前社会很多人不仅写不出漂亮的汉字书法，甚至挂在嘴边的字，也经常提笔就忘。同时，由于中国汉字表现形式多样化，每种书体风格的同一个字均有不同的形态，并且中国汉字数量繁多，古代书法作品多采用繁体汉字，使得书法学习门槛较高。
目前，在书法欣赏中，若遇到看不懂的书法汉字，需翻阅相关书法字典或书法资料查询。该方式查询效率低，查询过程枯燥乏味，且如果不知该汉字的书法风格，查询难度将大大提高，使得书法爱好者容易失去兴趣。在书法练习中，一般采用临摹书法作品的方式，通过不断临摹来逐渐提高书写水平。但该练习方式缺乏准确的、可靠的评判，且缺乏一定的互动性。
现有已公开的涉及汉字书法识别与评分系统方面的专利，如申请号为201510626566.X的《一种书法字风格的识别方法》、申请号为201310020510.0的《书法字识别方法》、申请号为201911292817.X的《一种书法作品图像的裁剪和识别方法》、申请号为201910427401.8的《一种字帖练习书法的人工智能评分系统及方法》、申请号为201710719720.7的《书法评价方法、书法评价装置和电子设备》等，普遍存在如下缺点：
功能较为单一，未能同时实现书法字风格识别、书法字内容识别与书法智能评分功能。
对于书法字识别功能，所能识别的字体风格种类较少，无法满足书法学习者的需要；且书法字体识别准确率较低，无法真正运用于实际。
对于书体美感评分功能，忽略笔画粗细大小和结构，亦或评判过程繁琐，可靠性较低。
因此，我们希望设计一套实用性强、可靠性高的汉字书法识别及评分系统，解决普通书法爱好者欣赏书法作品的困难，帮助用户对书法字评分，为用户练习书法、提升书法水平另辟蹊径。
发明内容
基于此，本发明的目的在于，提供一种基于卷积神经网络的汉字书法风格识别方法和评分方法，其具有识别准确率高、计算量少的优点。
第一方面，本发明提供了一种基于卷积神经网络的汉字书法风格识别方法，包括：
获取书法作品图像；
对所述书法作品图像进行预处理，识别出每个单字图像；
将所述单字图像输入书法字体风格识别模型，得到每个单字的书法字体风格识别结果，其中，所述书法字体风格识别模型为ResNet神经网络，包括第一卷积层、第一池化层、4个基于Bottleneck残差块实现的卷积层、全局平均池化层、2个全连接层和softmax层。
本发明所述的一种基于卷积神经网络的汉字书法风格识别方法，可对用户所提供的待识别书法字图像进行预处理，无图像规格要求；所训练的模型分类器参数量比较少，计算用时少，收敛速度快，识别准确率高；且具有较好的扩展性，可增加风格类别进行训练。
进一步地，建立书法汉字单字字库，并将所述字库按照字体风格进行分类合并，得到楷书、行书、隶书、篆书四个类别的数据集；
将所述数据集划分为训练集和测试集；对于训练集，对字体图片进行数据增强，并转换成张量形式，作为所述ResNet神经网络的输入；
将tfrecord格式的数据集输入参数初始化的所述ResNet神经网络，通过深度特征权重训练所述ResNet神经网络，得到所述书法字体风格模型。
进一步地，所述对所述书法作品图像进行预处理，包括：
调整图像参数，至少包括以下一项：调整图像显示、图像编辑和图像增强；
其中，所述调整图像显示操作至少包括图像放大与缩小、显示网格线中的一项；所述图像编辑操作至少包括旋转与裁剪，所述图像增强操作至少包括锐化、调整亮度、调整对比度与调整饱和度中的一项；
针对多字图像，对所述图像进行分割，得到多张单字图像；
针对单字图像，识别其汉字区域，包括：去噪声、二值化处理、提取连通域。
进一步地，所述针对多字图像，对所述图像进行分割，得到多张单字图像，包括：
检测所述书法作品图像中的文本范围，计算文本被旋转的角度，根据所述文本被旋转的角度将图像旋转对应的特定角度；
针对所述旋转特定角度后的书法作品图像，使用矩形结构化元素分别得到图像水平边框线和垂直边框线，使用背景像素进行填充；
针对所述背景像素进行填充后的书法作品图像，使用投影法进行列分割和行分割，得到多个单字书法汉字图像；
针对所述每个单字书法汉字图像，对图像进行扩大画布操作。
第二方面，本发明提供了一种基于卷积神经网络的汉字书法评分方法，包括如下步骤：
将待评分的书法汉字图像输入如本发明第一方面所述的任一书法字体风格识别模型，得到每个单字的书法字体风格识别结果；
识别所述书法汉字图像中的每个单字的文字内容；
针对识别出文字内容的每个所述单字，获取单字字库中的对应的标准图像，其中，该标准图像上记载有通过所述识别结果对应的书法字体风格所书写的所述单字；
将所述单字对应的书法汉字图像与所述标准图像对比计算图像相似度，根据所述相似度得到所述单字的书法评分结果。
本发明所述的一种基于卷积神经网络的汉字书法评分方法，基于相似度检索策略，并融合手写汉字传统特征优化计算手写汉字相似度方法，从而提高手写汉字美感评分效果；将字体风格识别、书法汉字内容识别以及书法汉字美感评分集于一体，功能更全面。
进一步地，所述识别所述书法汉字图像的文字内容，包括：
将待评分的书法汉字图像输入书法汉字内容识别模型，得到每个单字的书法汉字内容识别结果；
其中，所述书法汉字内容识别模型为DenseNet神经网络，包括第一Convolutionallayer、第一Dense Block、第一Transition layer、第二Dense Block、第二Transitionlayer、第三Dense Block、第三Transition layer、第四Dense Block、Fully-connectedlayer、softmax layer；
其中，每个Transition layer连接两个相邻的Dense Block，每个Transitionlayer包含卷积层和池化层。
进一步地，所述书法汉字内容识别模型的训练步骤包括：
将楷书、行书、隶书、篆书四个类别的数据集根据汉字内容进行融合，得到风格内容数据集；
将所述风格内容数据集输入所述DenseNet神经网络，使用带动量的随机梯度下降算法对所述DenseNet神经网络进行迭代训练；
直至目标函数学习率小于预设第一阈值时终止训练，得到训练好的用于文字内容识别的书法汉字内容识别模型。
进一步地，所述将待评分的书法汉字图像与所述单字字库中的标准图像对比计算图像相似度的具体步骤包括：
通过ORB算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第一相似度；
通过局部感知哈希算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第二相似度；
通过直方图计算相似度算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第三相似度；
根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度；
将最终相似度的值化为百分制，得到最终的评分分数。
进一步地，所述根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度，具体为：
当第一、第二、第三相似度中的最大值大于预设第二阈值时，最终相似度为第一、第二、第三相似度中的最大值；
当第一、第二、第三相似度中的最大值小于等于预设第二阈值时，最终相似度为第一、第二、第三相似度中的最小值。
进一步地，所述使用ORB算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
使用OpenCV计算机视觉库，通过ORB检测器分别检测两张图像中的特征点并计算特征点的描述子，使用BFMatcher对象对两张图像进行关键点匹配，距离测试类型为汉明距离，每个关键点返回两个最佳匹配的点，即与该点汉明距离最小的两个点，最终得到匹配点列表；
对上述匹配点列表进行匹配点数目的计算，设置第三阈值，对于关键点A和上述与点A汉明距离最小的两个点B和C，其中A与B的距离lAB小于A与C的距离lAC，当lAB与lAC的比值小于第三阈值时，则认定关键点A与点B为最佳匹配；
最佳匹配点数量与上述匹配点列表长度的比值即为两张图像的相似度；
所述使用局部感知哈希算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
将图像尺寸缩小为m×m，并转化为灰度图像；
计算该图像m×m个像素的灰度平均值，并将每个像素的灰度值与平均值进行比较，若大于或等于平均值则记为1，否则记为0；
将每个像素比较得到的结果进行组合，得到一个m×m位的二进制整数作为图像的信息指纹；
计算所述两张图像信息指纹的汉明距离，具体为计算两个信息指纹的异或值中1的数目c，信息指纹的二进制数位数为d，则1-c/d即为所述两张图像的相似度；
所述使用直方图计算相似度算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
统一所述两张图像的尺寸为xy×xy，将图像平均切割成x×x个部分，每一部分的分辨率为y×y；
对于两张图像中相同位置的每一部分a和b，计算其相似度，最后根据每一部分的相似度计算平均相似度，得到相似度的最终值；
对上述a与b使用直方图计算相似度，包括：分别获取a和b的直方图，记作ha和hb，直方图颜色空间的样点数为n，相似度为S，则相似度计算公式如下：
Figure BDA0003044838410000051
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明所提供的一种基于卷积神经网络的书法字体风格识别方法的步骤图；
图2为本发明所提供的一种基于卷积神经网络的书法字体风格识别方法对含有多个汉字文本的书法作品图像进行分割的步骤图；
图3为本发明所提供的一种基于卷积神经网络的书法字体风格识别方法对书法汉字图像进行预处理的流程图；
图4为本发明提供的一种基于卷积神经网络的书法字体风格识别方法使用的ResNet神经网络结构图；
图5为本发明提供的一种基于卷积神经网络的书法字体风格识别方法使用的书法字体风格识别模型的训练简化流程图；
图6为本发明提供的一种基于卷积神经网络的汉字书法评分方法所使用的DenseNet网络结构图；
图7为本发明所提供的一种基于卷积神经网络的书法评分方法的一个实施例的流程图；
图8为本发明所提供的一种基于卷积神经网络的书法评分方法的一个实施例的识别结果示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
如图1所示，图1为本发明所提供的一种基于卷积神经网络的书法字体风格识别方法的步骤图，包括以下步骤：
S1：获取书法作品图像；
S2：对所述书法作品图像进行预处理，识别出每个单字图像；
S3：将所述单字图像输入书法字体风格识别模型，得到每个单字的书法字体风格识别结果，其中，所述书法字体风格识别模型为ResNet神经网络，包括第一卷积层、第一池化层、4个基于Bottleneck残差块实现的卷积层、全局平均池化层、2个全连接层和softmax层。
优选的，所述书法字体风格识别模型的训练步骤包括：
建立书法汉字单字字库，并将所述字库按照字体风格进行分类合并，得到楷书、行书、隶书、篆书四个类别的数据集；
将所述数据集划分为训练集和测试集；对于训练集，对字体图片进行数据增强，并转换成张量形式，作为所述ResNet神经网络的输入；
将tfrecord格式的数据集输入参数初始化的所述ResNet神经网络，通过深度特征权重训练所述ResNet神经网络，得到所述书法字体风格模型。
优选的，对书法作品图像进行预处理的步骤包括：
调整图像参数，至少包括以下一项：调整图像显示、图像编辑和图像增强；
其中，所述调整图像显示操作至少包括图像放大与缩小、显示网格线中的一项；所述图像编辑操作至少包括旋转与裁剪，所述图像增强操作至少包括锐化、调整亮度、调整对比度与调整饱和度中的一项；
针对多字图像，对所述图像进行分割，得到多张单字图像；
针对单字图像，识别其汉字区域，包括：去噪声、二值化处理、提取连通域。
优选的，所述针对多字图像，对所述图像进行分割，得到多张单字图像，包括：
检测所述书法作品图像中的文本范围，计算文本被旋转的角度，根据所述文本被旋转的角度将图像旋转对应的特定角度；
针对所述旋转特定角度后的书法作品图像，使用矩形结构化元素分别得到图像水平边框线和垂直边框线，使用背景像素进行填充；
针对所述背景像素进行填充后的书法作品图像，使用投影法进行列分割和行分割，得到多个单字书法汉字图像；
针对所述每个单字书法汉字图像，对图像进行扩大画布操作。
在一个具体的实施例中，使用本发明所提供的一种基于卷积神经网络的书法字体风格识别方法来识别书法字体风格的流程如下：
1、建立四类字体的初级汉字单字字库。
采用爬虫技术从互联网分别搜集大量楷书、行书、隶书和篆书四类字体的常用汉字(3500字)单字图像，对于每一类字体的图像集合，按照单字汉字内容进行分类，最后得到上述四类字体的初级汉字单字字库。
2、对书法作品图像进行分割。
书法汉字的分割是书法汉字识别的关键步骤，如图2所示，一共分为五个步骤：依次为倾斜矫正、去除边框、列分割、行分割、扩大画布。
1)倾斜校正。
首先根据字体颜色检测出书法图像中的文本范围，再计算文本被旋转的角度，最后根据文本被旋转的角度，将图像旋转与之对应的特定的角度。
2)去除边框。
对校正角度后的图像，使用矩形结构化元素分别得到图像水平边框线和垂直边框线后，使用背景像素进行填充，以达到去除边框的效果。
3)列分割。
由于汉字书法作品大多数采用从上到下的顺序进行书写，一般来说，每一列之间存在一定的空隙，因此可采用垂直投影的方式进行分割。若分割得到的某一列文字图像的宽度大于平均宽度的1.5倍，则说明该图像包含两列书法汉字，这两列汉字之间存在黏连，需再次对其进行分割。若分割得到的某一列文字图像的宽度小于平均宽度1/2，如果其相邻列分割图像的宽度同样小于平均宽度的1/2，则说明存在某些单字被切割为一半的情况，则需将这两张列分割的图像进行合并。
4)行分割。
与列分割相同，行分割采用投影法，对切割好的列图像进行水平投影。若切割后的某一行文字图像的高度小于平均高度的1/2，如果其相邻行分割图像的高度同样小于平均高度的1/2，则说明存在某个单字被切割为一半的情况，则需将这两张行分割的图像进行合并。
5)扩大画布。
对分割得到的每个单字图像，将图像上、下、左、右4个方向上分别进行15％的背景像素填充，使得识别目标处于图片正中心。
3、对单个书法汉字进行图像预处理。
如图3所示，图3为本发明所提供的一种基于卷积神经网络的书法字体风格识别方法对单字书法汉字图像进行预处理的流程图，包括：图像尺寸归一化、去噪声、二值化处理、提取连通域。
去噪声时采用高斯滤波对图像进行平滑去噪，二值化处理首先采用加权平均法对图像进行灰度化处理，再采用自适应阈值法对图像进行全局二值化处理，最后采用提取连通域的方法，保留连通域内的部分，即图像中的汉字部分。所述去噪声处理包括：对图像采用高斯滤波进行平滑去噪，指定高斯核的大小为3×3，类似卷积计算的方法，对于图像的每一个像素，该像素点的值与其邻域的像素值进行加权平均得到的值作为该点的值。
所述二值化处理包括：将上述去噪声处理后的图像转化为灰度图像，采用加权平均法对其灰度化，设灰度图像中(x,y)处的灰度值为Gray(x,y)，则有：
Gray(x,y)＝0.3×R(x,y)+0.59×G(x,y)+0.11×B(x,y)
其中R(x,y)，G(x,y)，B(x,y)分别为三个通道的像素值，其前面的系数表示三个通道的权值。图像的二值化将像素值分为黑白两种元素的集合，黑色作为前景，白色作为背景，采用自适应阈值法中的最大类间方差法(OTSU)对图像进行全局二值化处理，OTSU算法对图像的前景和背景像素值最小化后加权，最后计算得到最优的图像二值化门限。
所述提取连通域包括：保留连通域内的部分，即图片中的汉字部分。使用OpenCV计算机视觉库中的连通域处理函数，得到图片中各连通域对应的标记的统计信息，再计算所有连通域的并集，最终得到一个矩形区域信息，该矩形区域即为需要保留的区域。根据所述矩形区域的顶点坐标值对图片进行裁剪，最终得到目标汉字区域。
上述处理后的图像构成最终的书法汉字单字字库。
4、搭建并训练基于ResNet神经网络的书法字体风格识别模型。
在一个具体的实施例中，本发明提供的一种基于卷积神经网络的书法字体风格识别方法在ResNet-101的预训练模型的基础上使用迁移学习，对原网络进行调整，并进行训练。
本方法所采用的数据集基于为经过步骤1-3处理后得到的书法汉字单字字库。
将书法汉字单字字库按照字体风格进行合并，最终得到楷书、行书、隶书、篆书四个类别的数据集。按照8:2的比例将该数据集划分为训练集和测试集，并采用对同一张字体图片进行15％内随机水平、垂直平移和随机放大的方案进行数据增强，并转换成张量形式，作为ResNet神经网络的的输入，大小为224×224。
所搭建的ResNet神经网络首先对输入进行卷积和池化操作，卷积层的输入通道数目为3，输出通道数为64，卷积核大小为7×7，步长为2，因此输出的特征大小为112×112。接着通过BN层以及relu激活函数。最后通过最大池化层，窗口大小为3，移动步长为2，输出的特征图大小为56×56。
接下来将进行一系列卷积操作。卷积操作分为四个部分，每个部分均基于Bottleneck残差块实现。
所述Bottleneck残差块包括残差支路和短路支路：设输入为x。残差支路的一般操作为：第一步通过1×1卷积层，输出通道数减小为原来的1/2，设置步长为2，执行下采样操作。接着通过BN层和relu层。第二步通过3×3卷积层，保持通道数不变，并通过BN层和relu层。最后通过1×1卷积层，输出通道数恢复为输入通道数的4倍，得到输出F(x)。短路支路的操作为：将x通过1×1卷积层，将其通道数减少为原来的一半，得到输出identity，最终将F(x)与identity相加，并通过relu层，得到最终的输出。
所述卷积操作的四个部分，包含的Bottleneck残差块数量分别为3、4、23、3。需要特别说明的是，第一部分中残差块的第一个1×1卷积层不执行下采样操作，并且不执行短路支路操作，直接将F(x)与x相加。因此除了第一部分，其余三个部分输出的特征图大小均为原来的1/2，最后输出的特征图大小为7×7，通道数为2048。
经过上述卷积操作后，通过池化层进行全局平均池化，最后加入全连接层和softmax层。
由于上述预训练模型输入的分类数为1000，而本发明所述方法的分类数为4，因此需进行模型调整。具体地，除去预训练模型中上述最后加入的全局平均池化层、全连接层和softmax层，并重新添加全局平均池化层和两个全连接层，全连接层输出的维度分别为1024和4，最后添加softmax层。
如图4所示，上述调整后的网络即为所搭建的最终网络，包括第一卷积层、第一池化层、4个基于Bottleneck残差块实现的卷积操作部分、全局平均池化层、2个全连接层和softmax层。
在训练网络前，冻结基网络，只对所述添加的网络进行训练，得到模型参数。所述基网络即为预训练模型中未被除去的网络部分。
上述所搭建的神经网络使用的目标损失函数为分类交叉熵损失函数，优化器为Adam优化器，评价标准为loss和accuracy。
上述模型训练过程设置的batch size大小为128，共训练了40轮。
如图5所示，图5为本发明提供的一种基于卷积神经网络的书法字体风格识别方法使用的书法字体风格识别模型的训练简化流程图，经过训练，最终得到训练好的书法字体风格识别模型。
5、书法字体风格识别。
1)获取待识别的书法作品图像；
2)对于所述书法作品图像，通过调整图像参数模块对图像进行调整；
3)对于步骤2)调整后的书法作品图片，若该图像为单字图像，则进行去噪声、二值化、提取连通域处理；若该图像为多字图像，则对图像进行分割，得到多张单字图像，分别对所述多张单字图像进行去噪声、二值化、提取连通域处理；
4)将步骤3)处理后的图像输入所述书法风格识别模型，返回书法风格识别结果。
第二方面，本发明还提供一种基于卷积神经网络的汉字书法评分方法，包括如下步骤：
将待评分的书法汉字图像输入上述实施例任一项所述的书法字体风格识别模型，得到每个单字的书法字体风格识别结果；
识别所述书法汉字图像中的每个单字的文字内容；
针对识别出文字内容的每个所述单字，获取单字字库中的对应的标准图像，其中，该标准图像上记载有通过所述识别结果对应的书法字体风格所书写的所述单字；
将所述单字对应的书法汉字图像与所述标准图像对比计算图像相似度，根据所述相似度得到所述单字的书法评分结果。
优选的，识别书法汉字图像的文字内容的步骤包括：
将待评分的书法汉字图像输入书法汉字内容识别模型，得到每个单字的书法汉字内容识别结果；
其中，所述书法汉字内容识别模型为DenseNet神经网络，包括第一Convolutionallayer、第一Dense Block、第一Transition layer、第二Dense Block、第二Transitionlayer、第三Dense Block、第三Transition layer、第四Dense Block、Fully-connectedlayer、softmax layer；
其中，每个Transition layer连接两个相邻的Dense Block，每个Transitionlayer包含卷积层和池化层。
优选的，书法汉字内容识别模型的训练步骤包括：
将楷书、行书、隶书、篆书四个类别的数据集根据汉字内容进行融合，得到风格内容数据集；
将所述风格内容数据集输入所述DenseNet神经网络，使用带动量的随机梯度下降算法对所述DenseNet神经网络进行迭代训练；
直至目标函数学习率小于预设第一阈值时终止训练，得到训练好的用于文字内容识别的书法汉字内容识别模型。
在一个具体的实施例中，搭建和训练书法汉字内容识别模型的流程包括：
以DenseNet-201神经网络为基础，DenseNet-201网络结构由多个Dense Block与transition layer交替构成，并且每一层都将前面所有层的输出作为输入。假设输入图像为x0。该算法网络的L层都实现了一个非线性变换Hi(.)，其中i表示第i层，将第i层的输出记作xi，则
xi＝Hi([x0,x1,...,xi-1])
所述Dense Block包含5层，各层特征图大小一致，层与层之间通过BN-ReLU-Conv(3x3)的结构连接。Transition layer连接两个相邻的Dense Block，包含卷积层和池化层。
在上述模型的基础上，对模型进行优化。包括：
在所述模型中，设计区域权值比例池化规则进行特征提取，将池化窗口区域数据设为a1,a2,...an，每个数据的权值比例设为w1,w2,...wn，池化结果为设为rk，则
amin＝min(a1,a2,...an,0)
Figure BDA0003044838410000111
Figure BDA0003044838410000112
在所述模型中，采用Nadam对所述模型进行进一步优化，使模型能够进行自适应学习率调整。所述Nadam为Nesterov和Adam的结合。假设待优化参数为ω，目标函数为f(ω)，学习率为α，用t表示每个epoch，则计算目标函数关于当前参数的梯度：
Figure BDA0003044838410000121
根据历史梯度计算一阶动量和二阶动量：
mt＝β1·mt-1+(1-β1)·gt
Figure BDA0003044838410000122
其中，β1和β2表示两个超参数，前者控制一阶动量，后者控制二阶动量。计算当前时刻的下降梯度：
Figure BDA0003044838410000123
最后根据下降梯度进行更新：
ωt+1＝ωt-ηt
基于自适应裁剪策略，对所述模型进行裁剪。将上述网络中的BN层的γ参数作为网络瘦身的缩放因子。利用L1正则化使得上述网络中的一些缩放因子的大小趋向于0。对上述所有缩放因子的绝对值进行升序排序，将阈值设为位于30％位置所对应的缩放因子的值，剪掉绝对值低于阈值的缩放因子对应的通道。
最终改进的网络结构图如图6所示，图6为本发明提供的一种基于卷积神经网络的汉字书法评分方法所使用的DenseNet网络结构图，包括第一Convolutional layer、第一Dense Block、第一Transition layer、第二Dense Block、第二Transition layer、第三Dense Block、第三Transition layer、第四Dense Block、Fully-connected layer、softmax layer；其中，每个Transition layer连接两个相邻的Dense Block，每个Transition layer包含卷积层和池化层。
基于所述优化后的模型，将四种风格字体数据集根据汉字内容进行融合，对于融合后的数据集，进行训练后最终得到书法内容识别模型。
所述模型的网络参数设置如下：学习率＝0.001，epoch＝25，batch＝64。
直至目标函数学习率小于0.001时终止训练，得到训练好的用于文字内容识别的书法汉字内容识别模型。
在一个具体的实施例中，将待评分的书法汉字图像与所述单字字库中的标准图像对比计算图像相似度的具体步骤包括：
通过ORB算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第一相似度；
通过局部感知哈希算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第二相似度；
通过直方图计算相似度算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第三相似度；
根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度；
将最终相似度的值化为百分制，得到最终的评分分数。
其中，根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度，可以为选取第一、第二、第三相似度的最大值为最终相似度，也可以为选取第一、第二、第三相似度的平均值为最终相似度，还可以为选取第一、第二、第三相似度的加权平均值为最终相似度。
在一个优选的实施例中，若所得3个相似度值中的最大值大于0.8，则最终的相似度取该最大值，否则取3个相似度值中的最小值。最后将该值化为百分制，即可得到最终的评分分数。
优选的，ORB算法包括：使用OpenCV计算机视觉库，通过ORB检测器分别检测两张图像中的特征点并计算特征点的描述子，使用BFMatcher对象对两张图像进行关键点匹配，距离测试类型为汉明距离，每个关键点返回两个最佳匹配的点，即与该点汉明距离最小的两个点，最终得到匹配点列表。
对上述匹配点列表进行匹配点数目的计算。设置阈值为0.75，对于关键点A和上述与点A汉明距离最小的两个点B和C，其中A与B的距离lAB小于A与C的距离lAC，当lAB与lAC的比值小于阈值时，则认定关键点A与点B为最佳匹配。最佳匹配点数量与上述匹配点列表长度的比值即为两张图像的相似度。
优选的，局部感知哈希算法包括：将图像尺寸缩小为8×8，并转化为灰度图像。计算该图像64个像素的灰度平均值，并将每个像素的灰度值与平均值进行比较，若大于或等于平均值则记为1，否则记为0。将每个像素比较得到的结果进行组合，得到一个64位的二进制整数作为图像的信息指纹。
计算所述两张图像信息指纹的汉明距离，具体为计算两个信息指纹的异或值中1的数目c，信息指纹的二进制数位数为d，则1-c/d即为所述两张图像的相似度。
优选的，直方图计算相似度算法包括：统一所述两张图像的尺寸为256×256，将图像平均切割成4×4个部分，每一部分的分辨率为64×64。对于两张图像中相同位置的每一部分a和b，计算其相似度，最后根据每一部分的相似度计算平均相似度，得到相似度的最终值。
对上述a与b使用直方图计算相似度，包括：分别获取a和b的直方图，记作ha和hb，直方图颜色空间的样点数为n，相似度为S，则相似度计算公式如下：
Figure BDA0003044838410000141
以以上实施例为基础，如图7所示，本发明所提供的一种基于卷积神经网络的书法评分方法的一个优选实施例流程为：
1)获取待评分的汉字单字图像；
2)对待评分的汉字单字图像进行预处理，识别出每个单字图像；
3)将经过预处理的汉字单字图像输入书法字体风格识别模型，得到单字的书法字体风格识别结果；
4)将经过预处理的汉字单字图像输入书法汉字内容识别模型，得到单字的书法汉字内容识别结果；
5)根据书法字体风格识别结果和书法汉字内容识别结果，从汉字单字字库找到相应的标准图像；
6)将预处理过的汉字单字图像与对应的汉字单字字库中的标准图像进行相似度计算；
7)根据相似度计算结果，输出图像中汉字单字的评分结果。
如图8所示，对于待识别书法汉字单字图像，本发明所提供的一种基于卷积神经网络的书法评分方法可准确识别其字体风格为“行书”，文字内容为“场”，并根据相似度计算出其美感评分为95.3分。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于卷积神经网络的书法字体风格识别方法，其特征在于，所述方法包括：
获取书法作品图像；
对所述书法作品图像进行预处理，识别出每个单字图像；
将所述单字图像输入书法字体风格识别模型，得到每个单字的书法字体风格识别结果，其中，所述书法字体风格识别模型为ResNet神经网络，包括第一卷积层、第一池化层、4个基于Bottleneck残差块实现的卷积层、全局平均池化层、2个全连接层和softmax层。
2.根据权利要求1所述的基于卷积神经网络的书法字体风格识别方法，其特征在于，所述书法字体风格识别模型的训练步骤包括：
建立书法汉字单字字库，并将所述字库按照字体风格进行分类合并，得到楷书、行书、隶书、篆书四个类别的数据集；
将所述数据集划分为训练集和测试集；对于训练集，对字体图片进行数据增强，并转换成张量形式，作为所述ResNet神经网络的输入；
将tfrecord格式的数据集输入参数初始化的所述ResNet神经网络，通过深度特征权重训练所述ResNet神经网络，得到所述书法字体风格模型。
3.根据权利要求1所述的基于卷积神经网络的书法字体风格识别方法，其特征在于，所述对所述书法作品图像进行预处理，包括：
调整图像参数，至少包括以下一项：调整图像显示、图像编辑和图像增强；
其中，所述调整图像显示操作至少包括图像放大与缩小、显示网格线中的一项；所述图像编辑操作至少包括旋转与裁剪，所述图像增强操作至少包括锐化、调整亮度、调整对比度与调整饱和度中的一项；
针对多字图像，对所述图像进行分割，得到多张单字图像；
针对单字图像，识别其汉字区域，包括：去噪声、二值化处理、提取连通域。
4.根据权利要求3所述的基于卷积神经网络的书法字体风格识别方法，其特征在于，所述针对多字图像，对所述图像进行分割，得到多张单字图像，包括：
检测所述书法作品图像中的文本范围，计算文本被旋转的角度，根据所述文本被旋转的角度将图像旋转对应的特定角度；
针对所述旋转特定角度后的书法作品图像，使用矩形结构化元素分别得到图像水平边框线和垂直边框线，使用背景像素进行填充；
针对所述背景像素进行填充后的书法作品图像，使用投影法进行列分割和行分割，得到多个单字书法汉字图像；
针对所述每个单字书法汉字图像，对图像进行扩大画布操作。
5.一种基于卷积神经网络的汉字书法评分方法，其特征在于，包括如下步骤：
将待评分的书法汉字图像输入如权利要求1至4任一项所述的书法字体风格识别模型，得到每个单字的书法字体风格识别结果；
识别所述书法汉字图像中的每个单字的文字内容；
针对识别出文字内容的每个所述单字，获取单字字库中的对应的标准图像，其中，该标准图像上记载有通过所述识别结果对应的书法字体风格所书写的所述单字；
将所述单字对应的书法汉字图像与所述标准图像对比计算图像相似度，根据所述相似度得到所述单字的书法评分结果。
6.根据权利要求5所述的基于卷积神经网络的书法评分方法，其特征在于，所述识别所述书法汉字图像的文字内容，包括：
将待评分的书法汉字图像输入书法汉字内容识别模型，得到每个单字的书法汉字内容识别结果；
其中，所述书法汉字内容识别模型为DenseNet神经网络，包括第一Convolutionallayer、第一Dense Block、第一Transition layer、第二Dense Block、第二Transitionlayer、第三Dense Block、第三Transition layer、第四Dense Block、Fully-connectedlayer、softmax layer；
其中，每个Transition layer连接两个相邻的Dense Block，每个Transition layer包含卷积层和池化层。
7.根据权利要求6所述的基于卷积神经网络的书法评分方法，其特征在于，所述书法汉字内容识别模型的训练步骤包括：
将楷书、行书、隶书、篆书四个类别的数据集根据汉字内容进行融合，得到风格内容数据集；
将所述风格内容数据集输入所述DenseNet神经网络，使用带动量的随机梯度下降算法对所述DenseNet神经网络进行迭代训练；
直至目标函数学习率小于预设第一阈值时终止训练，得到训练好的用于文字内容识别的书法汉字内容识别模型。
8.根据权利要求5所述的基于卷积神经网络的书法评分方法，其特征在于，所述将待评分的书法汉字图像与所述单字字库中的标准图像对比计算图像相似度的具体步骤包括：
通过ORB算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第一相似度；
通过局部感知哈希算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第二相似度；
通过直方图计算相似度算法，获得待评分的书法汉字图像与所述单字字库中的标准图像的第三相似度；
根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度；
将最终相似度的值化为百分制，得到最终的评分分数。
9.根据权利要求8所述的基于卷积神经网络的书法评分方法，其特征在于，所述根据第一、第二、第三相似度，获取待评分的书法汉字图像与所述单字字库中的标准图像的最终相似度，具体为：
当第一、第二、第三相似度中的最大值大于预设第二阈值时，最终相似度为第一、第二、第三相似度中的最大值；
当第一、第二、第三相似度中的最大值小于等于预设第二阈值时，最终相似度为第一、第二、第三相似度中的最小值。
10.根据权利要求8所述的基于卷积神经网络的书法评分方法，其特征在于：
所述使用ORB算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
使用OpenCV计算机视觉库，通过ORB检测器分别检测两张图像中的特征点并计算特征点的描述子，使用BFMatcher对象对两张图像进行关键点匹配，距离测试类型为汉明距离，每个关键点返回两个最佳匹配的点，即与该点汉明距离最小的两个点，最终得到匹配点列表；
对上述匹配点列表进行匹配点数目的计算，设置第三阈值，对于关键点A和上述与点A汉明距离最小的两个点B和C，其中A与B的距离lAB小于A与C的距离lAC，当lAB与lAC的比值小于第三阈值时，则认定关键点A与点B为最佳匹配；
最佳匹配点数量与上述匹配点列表长度的比值即为两张图像的相似度；
所述使用局部感知哈希算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
将图像尺寸缩小为m×m，并转化为灰度图像；
计算该图像m×m个像素的灰度平均值，并将每个像素的灰度值与平均值进行比较，若大于或等于平均值则记为1，否则记为0；
将每个像素比较得到的结果进行组合，得到一个m×m位的二进制整数作为图像的信息指纹；
计算所述两张图像信息指纹的汉明距离，具体为计算两个信息指纹的异或值中1的数目c，信息指纹的二进制数位数为d，则1-c/d即为所述两张图像的相似度；
所述使用直方图计算相似度算法计算待评分的书法汉字图像与所述单字字库中的标准图像的相似度的步骤包括：
统一所述两张图像的尺寸为xy×xy，将图像平均切割成x×x个部分，每一部分的分辨率为y×y；
对于两张图像中相同位置的每一部分a和b，计算其相似度，最后根据每一部分的相似度计算平均相似度，得到相似度的最终值；
对上述a与b使用直方图计算相似度，包括：分别获取a和b的直方图，记作ha和hb，直方图颜色空间的样点数为n，相似度为S，则相似度计算公式如下：
Figure FDA0003044838400000041
CN202110467961.3A 2021-04-28 2021-04-28 基于卷积神经网络的汉字书法风格识别方法和评分方法 Active CN113128442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467961.3A CN113128442B (zh) 2021-04-28 2021-04-28 基于卷积神经网络的汉字书法风格识别方法和评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467961.3A CN113128442B (zh) 2021-04-28 2021-04-28 基于卷积神经网络的汉字书法风格识别方法和评分方法

Publications (2)

Publication Number Publication Date
CN113128442A true CN113128442A (zh) 2021-07-16
CN113128442B CN113128442B (zh) 2023-09-26

Family

ID=76781025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467961.3A Active CN113128442B (zh) 2021-04-28 2021-04-28 基于卷积神经网络的汉字书法风格识别方法和评分方法

Country Status (1)

Country Link
CN (1) CN113128442B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918991A (zh) * 2019-01-09 2019-06-21 天津科技大学 基于深度学习的软笔书法临摹评价方法
CN113642561A (zh) * 2021-08-25 2021-11-12 广东知乐技术有限公司 一种书法作品智能评分方法和装置
CN113689525A (zh) * 2021-07-19 2021-11-23 维沃移动通信有限公司 文字美化方法、装置、可读存储介质和电子设备
CN113920516A (zh) * 2021-12-08 2022-01-11 南京信息工程大学 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN114627730A (zh) * 2022-03-31 2022-06-14 北京科技大学 一种盲文电子书
CN114926845A (zh) * 2022-06-07 2022-08-19 哈尔滨理工大学 一种基于深度学习的汉字书法风格识别方法
CN115063808A (zh) * 2022-08-18 2022-09-16 京华信息科技股份有限公司 一种基于聚类特征提取的ocr字体识别方法及系统
WO2023130925A1 (zh) * 2022-01-10 2023-07-13 北京有竹居网络技术有限公司 字体识别方法、装置、可读介质及电子设备
CN117496537A (zh) * 2023-11-08 2024-02-02 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162162A (zh) * 2016-08-01 2016-11-23 宁波大学 一种基于稀疏表示的重定位图像质量客观评价方法
CN108985348A (zh) * 2018-06-25 2018-12-11 西安理工大学 基于卷积神经网络的书法风格识别方法
CN109871851A (zh) * 2019-03-06 2019-06-11 长春理工大学 一种基于卷积神经网络算法的汉字书写规范性判定方法
CN110334782A (zh) * 2019-06-28 2019-10-15 西安理工大学 多卷积层驱动的深度信念网络书法风格识别方法
CN111104912A (zh) * 2019-12-23 2020-05-05 西安电子科技大学 一种书法字体类型与文字内容同步识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162162A (zh) * 2016-08-01 2016-11-23 宁波大学 一种基于稀疏表示的重定位图像质量客观评价方法
CN108985348A (zh) * 2018-06-25 2018-12-11 西安理工大学 基于卷积神经网络的书法风格识别方法
CN109871851A (zh) * 2019-03-06 2019-06-11 长春理工大学 一种基于卷积神经网络算法的汉字书写规范性判定方法
CN110334782A (zh) * 2019-06-28 2019-10-15 西安理工大学 多卷积层驱动的深度信念网络书法风格识别方法
CN111104912A (zh) * 2019-12-23 2020-05-05 西安电子科技大学 一种书法字体类型与文字内容同步识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜丽清;黄华军;谢黎黎;: "基于汉字部件直方图的文本复制检测算法", 网络安全技术与应用, no. 03, pages 1 - 4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918991A (zh) * 2019-01-09 2019-06-21 天津科技大学 基于深度学习的软笔书法临摹评价方法
CN113689525A (zh) * 2021-07-19 2021-11-23 维沃移动通信有限公司 文字美化方法、装置、可读存储介质和电子设备
CN113642561A (zh) * 2021-08-25 2021-11-12 广东知乐技术有限公司 一种书法作品智能评分方法和装置
CN113920516A (zh) * 2021-12-08 2022-01-11 南京信息工程大学 一种基于孪生神经网络的书法字骨架匹配方法及系统
WO2023130925A1 (zh) * 2022-01-10 2023-07-13 北京有竹居网络技术有限公司 字体识别方法、装置、可读介质及电子设备
CN114627730A (zh) * 2022-03-31 2022-06-14 北京科技大学 一种盲文电子书
CN114926845A (zh) * 2022-06-07 2022-08-19 哈尔滨理工大学 一种基于深度学习的汉字书法风格识别方法
CN115063808A (zh) * 2022-08-18 2022-09-16 京华信息科技股份有限公司 一种基于聚类特征提取的ocr字体识别方法及系统
CN115063808B (zh) * 2022-08-18 2022-11-15 京华信息科技股份有限公司 一种基于聚类特征提取的ocr字体识别方法及系统
CN117496537A (zh) * 2023-11-08 2024-02-02 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法
CN117496537B (zh) * 2023-11-08 2024-04-23 广东新裕信息科技有限公司 一种基于改进的形状特征匹配的书法书写质量评价方法

Also Published As

Publication number Publication date
CN113128442B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN113128442B (zh) 基于卷积神经网络的汉字书法风格识别方法和评分方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN109800754B (zh) 一种基于卷积神经网络的古字体分类方法
Karthick et al. Steps involved in text recognition and recent research in OCR; a study
CN111723585B (zh) 一种风格可控的图像文本实时翻译与转换方法
CN110399845A (zh) 一种图像中连续成段文本检测与识别方法
CN104408449B (zh) 智能移动终端场景文字处理方法
CN111738055B (zh) 多类别文本检测系统和基于该系统的票据表单检测方法
CN111523622B (zh) 基于特征图像自学习的机械臂模拟手写笔迹方法
CN108898138A (zh) 基于深度学习的场景文本识别方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN111401099A (zh) 文本识别方法、装置以及存储介质
CN111626292B (zh) 一种基于深度学习技术的楼宇指示标识的文字识别方法
CN113901952A (zh) 一种基于深度学习的印刷体与手写体分开文字识别方法
CN105117741A (zh) 一种书法字风格的识别方法
CN111340032A (zh) 一种基于金融领域应用场景的字符识别方法
CN112686265A (zh) 一种基于层级轮廓提取的象形文字分割方法
CN115311666A (zh) 图文识别方法、装置、计算机设备及存储介质
Raj et al. Grantha script recognition from ancient palm leaves using histogram of orientation shape context
Wibowo et al. Javanese character feature extraction based on shape energy
Singh et al. A comprehensive survey on Bangla handwritten numeral recognition
Magrina Convolution Neural Network based Ancient Tamil Character Recognition from Epigraphical Inscriptions
Nath et al. Improving various offline techniques used for handwritten character recognition: a review
Rajithkumar et al. Template matching method for recognition of stone inscripted Kannada characters of different time frames based on correlation analysis
Xiang et al. The study of Chinese calligraphy font style based on edge-guided filter and convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant