CN113642542B - 基于位置约束的手写汉字同名笔画提取方法 - Google Patents

基于位置约束的手写汉字同名笔画提取方法 Download PDF

Info

Publication number
CN113642542B
CN113642542B CN202111195544.4A CN202111195544A CN113642542B CN 113642542 B CN113642542 B CN 113642542B CN 202111195544 A CN202111195544 A CN 202111195544A CN 113642542 B CN113642542 B CN 113642542B
Authority
CN
China
Prior art keywords
point
stroke
image
branch
framework
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111195544.4A
Other languages
English (en)
Other versions
CN113642542A (zh
Inventor
陈艳红
崔晓光
张吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aishidai Technology Development Co ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Beijing Aishidai Technology Development Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aishidai Technology Development Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Beijing Aishidai Technology Development Co ltd
Priority to CN202111195544.4A priority Critical patent/CN113642542B/zh
Publication of CN113642542A publication Critical patent/CN113642542A/zh
Application granted granted Critical
Publication of CN113642542B publication Critical patent/CN113642542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Character Discrimination (AREA)

Abstract

本发明属于图像处理技术领域,具体涉及一种基于位置约束的手写汉字同名笔画提取方法,旨在解决对手写汉字同名笔画的提取未考虑笔画排布,导致提取的适用性和正确率较低的问题。本发明方法包括:获取手写汉字图像、基准汉字图像;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一、第二图像;获取第一图像的分割连通区;遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整;获取第一图像中的同名笔画连通区域;将同名笔画连通区域及其外轮廓对应的点集进行输出。本发明解决手写汉字同名笔画提取既要关注整体字形又要考虑笔画排布的问题,提高手写汉字同名笔画提取的适用性和正确率。

Description

基于位置约束的手写汉字同名笔画提取方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于位置约束的手写汉字同名笔画提取方法。
背景技术
练习硬笔书法,规范美观地书写汉字对一个人的学习、工作都有帮助。目前,对于学生书法练习作业的反馈指导主要依赖授人工,当需要对大量练习作业给予指导时,效率低下任务繁重的问题凸显,因此需要智能化手段及时有效地对学生的书法作业给出针对性的指导意见,提升学生书法练习的效果。
对手写汉字每一笔画、笔画间架结构等的规整性给出指导意见,需要准确的辨别出手写汉字的每一个笔画,我们称在手写汉字图像中匹配的连通区为基准汉字笔画的同名笔画。汉字是拓扑结构复杂的连通区组合,人们书写汉字的习惯也不尽相同,因此对手写汉字进行同名笔画提取难度很大,不仅要关注整体字形,更要考虑手写汉字的笔画排布可能与基准汉字的笔画排布存在较大差别。基于此,本发明提出了一种基于位置约束的手写汉字同名笔画提取方法。
发明内容
为了解决现有技术中的上述问题,即为了解决目前对手写汉字同名笔画的提取未考虑笔画排布,导致手写汉字同名笔画提取的适用性和正确率较低,无法精确到笔画层级指导学生规范书写汉字的问题,本发明提出了一种基于位置约束的手写汉字同名笔画提取方法,该方法包括:
S10,获取手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
S20,提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
S30,提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述 骨架分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与 距离其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 131305DEST_PATH_IMAGE001
Figure 790957DEST_PATH_IMAGE001
为骨架分枝中的 像素点;
步骤S40,遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整,包括:
步骤S41,初始化基准笔画最优位移集合Tmax、当前位移集合Tcurr、当前所有基准 笔画与各自原始位置的相对位移量之和
Figure 484106DEST_PATH_IMAGE002
,所有基准笔画与各自原始位置的相对位 移量之和的最优值trans_all、当前位移状态下全部基准笔画构成的基准汉字对全部分割 连通区的最优覆盖数目cover_max、当前覆盖数目cover_curr;
步骤S42,遍历第一图像的分割联通区,若分割联通区
Figure 407587DEST_PATH_IMAGE003
被预构建的基准笔画集合 CStroke中的基准笔画覆盖,则跳转步骤S46;否则,跳转步骤S43;所述基准笔画集合为包括 第二图像中所有基准笔画的集合;
步骤S43,在CStroke中选取与分割连通区
Figure 426359DEST_PATH_IMAGE003
满足设定分枝方向约束、且与分割联通 区
Figure 432361DEST_PATH_IMAGE003
邻域矩形区有交集的基准笔画子集CStroke_temp;遍历CStroke_temp,选取CStroke_ temp中与分割联通区
Figure 929201DEST_PATH_IMAGE003
最优覆盖面积大于设定面积阈值、且从当前位置A移动到最优覆盖 时的位置B时路径区域与障碍区域无交集的基准笔画,其余的基准笔画从CStroke_temp中 剔除,计算位置A到位置B的相对位移
Figure 845205DEST_PATH_IMAGE004
,并统计该基准笔画移动到位置B时,其对应的 基准汉字对分割联通区的覆盖数目
Figure 893932DEST_PATH_IMAGE005
步骤S44,判断CStroke_temp是否为空,若为空,则跳转步骤S46,否则跳转步骤S45;
步骤S45,选取覆盖分割联通区数目
Figure 528176DEST_PATH_IMAGE006
最多、或分割区数目
Figure 563128DEST_PATH_IMAGE006
相同但
Figure 192692DEST_PATH_IMAGE007
较小的基准笔画
Figure 553267DEST_PATH_IMAGE008
作为被移动笔画;并更新Tcurr、cover_curr、
Figure 533861DEST_PATH_IMAGE002
,将笔画
Figure 372504DEST_PATH_IMAGE008
从CStroke集合中剔除;
若更新后的cover_curr>cover_max,或者更新后的cover_curr=cover_max且
Figure 997520DEST_PATH_IMAGE002
< trans_all,则更新Tmax=更新后的Tcurr、cover_max=更新后的cover_curr、 trans_all=
Figure 653630DEST_PATH_IMAGE002
步骤S46,令
Figure 731307DEST_PATH_IMAGE009
,继续遍历,直至遍历完所有分割联通区;当遍历完所有分割 联通区,判断此次循环中基准笔画最优位移集合Tmax是否更新或者达到最大循环次数,若 Tmax未更新或者达到最大循环次数,则结束循环,以最优位移集合调整各基准笔画位置,否 则跳转步骤S42;
S50,对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;
S60,提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出。
在一些优选的实施方式中,步骤S30中“从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合”,其方法为:
从第二点集中获取汉字的骨架端点、骨架分枝点;
遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点,则将该像素点作为预构建的第一骨架分枝集合中一个骨架分枝的第一个点,并获取该像素点的邻域点,判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第一骨架分枝集合;
从第一骨架分枝集合中提取汉字的骨架拐点;
重新遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点、骨架拐点,则将该像素点作为预构建的第二骨架分枝集合中一个骨架分枝的第一个点,获取该像素点的邻域点,并判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点、骨架拐点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点、骨架拐点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第二骨架分枝集合。
在一些优选的实施方式中,步骤S30中“结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对”,其方法为:
对第一点集中的各像素点
Figure 498275DEST_PATH_IMAGE010
,若其邻域点集合
Figure 243377DEST_PATH_IMAGE011
中包含骨架分枝点、骨架拐点,则 取与
Figure 945754DEST_PATH_IMAGE010
像素距离最近的一个特征点作为对应点,组成对应点对;若其邻域点集合
Figure 635361DEST_PATH_IMAGE011
中不包 含骨架分枝点、骨架拐点,则取
Figure 815807DEST_PATH_IMAGE011
中与
Figure 415415DEST_PATH_IMAGE010
像素距离最近的一个像素点作为
Figure 416257DEST_PATH_IMAGE010
的对应点,组成 对应点对;所述特征点包括骨架端点、骨架分枝点、骨架拐点。
在一些优选的实施方式中,步骤S41中“当前位移状态下全部基准笔画构成的基准汉字对全部分割连通区的最优覆盖数目”,其计算方法为:
设置第二图像中基准汉字覆盖的分割连通区数目
Figure 734106DEST_PATH_IMAGE012
,并遍历所有分割连通 区;
在各基准笔画当前位移状态下,获取与分割联通区
Figure 452663DEST_PATH_IMAGE003
相交面积最大的基准笔画
Figure 296991DEST_PATH_IMAGE013
, 并获取相交面积
Figure 341170DEST_PATH_IMAGE014
;若
Figure 880736DEST_PATH_IMAGE015
、且分割联通区
Figure 793197DEST_PATH_IMAGE003
与基准笔画
Figure 101819DEST_PATH_IMAGE013
满 足设定的分枝方向距离约束,则判定分割联通区
Figure 316900DEST_PATH_IMAGE003
被覆盖,
Figure 202816DEST_PATH_IMAGE016
;其中,
Figure 794334DEST_PATH_IMAGE017
为分割联 通区
Figure 223042DEST_PATH_IMAGE003
的面积,
Figure 468078DEST_PATH_IMAGE018
为设定比例系数;
分割联通区
Figure 247815DEST_PATH_IMAGE003
与基准笔画j'分枝方向距离
Figure 377445DEST_PATH_IMAGE019
的计算方法为:
Figure 519714DEST_PATH_IMAGE020
Figure 76597DEST_PATH_IMAGE021
Figure 202685DEST_PATH_IMAGE022
其中,
Figure 604847DEST_PATH_IMAGE023
表示分割联通区
Figure 8147DEST_PATH_IMAGE003
的方向,
Figure 126145DEST_PATH_IMAGE024
为基准笔画
Figure 83736DEST_PATH_IMAGE013
主分枝方向集合中的方 向,若
Figure 820748DEST_PATH_IMAGE025
则满足设定的分枝方向约束,
Figure 940538DEST_PATH_IMAGE026
表示分枝方向距离阈值;
基准笔画
Figure 839224DEST_PATH_IMAGE013
的主分枝方向集合构建方法为:若基准笔画
Figure 815270DEST_PATH_IMAGE013
为单一笔画,则以基准 笔画
Figure 949449DEST_PATH_IMAGE013
的轮廓点集为对象,求解基准笔画
Figure 61761DEST_PATH_IMAGE013
的轮廓点集的pca主方向为基准笔画
Figure 255982DEST_PATH_IMAGE013
的主分 支方向集合元素;若基准笔画
Figure 453745DEST_PATH_IMAGE013
为复合笔画,则将基准笔画
Figure 532560DEST_PATH_IMAGE013
分为方向一致性的条状分割 区,以各条状分割区轮廓点集为对象,求解各条状分割区轮廓点集的pca主方向为基准笔画
Figure 624012DEST_PATH_IMAGE013
的主分支方向集合元素;
遍历完成所有手写字分割区后,得到当前位移状态下基准汉字覆盖的分割连通区数目。
在一些优选的实施方式中,步骤S41中“当前所有基准笔画与各自原始位置的相对 位移量之和
Figure 864501DEST_PATH_IMAGE027
”,其计算方法为:
Figure 549560DEST_PATH_IMAGE028
其中,
Figure 291120DEST_PATH_IMAGE029
为位移集合中基准笔画
Figure 378025DEST_PATH_IMAGE030
的横向和纵向位移,
Figure 523835DEST_PATH_IMAGE031
为基准笔画数目。
在一些优选的实施方式中,步骤S43中“分割联通区
Figure 820824DEST_PATH_IMAGE003
邻域矩形区”,其计算方法为:
Figure 975862DEST_PATH_IMAGE032
其中,
Figure 917273DEST_PATH_IMAGE033
Figure 889778DEST_PATH_IMAGE034
Figure 283850DEST_PATH_IMAGE035
Figure 242579DEST_PATH_IMAGE036
分别为分割联通区
Figure 163130DEST_PATH_IMAGE003
外接矩形的左上角点坐标、 宽度和高度,
Figure 181902DEST_PATH_IMAGE037
Figure 63270DEST_PATH_IMAGE038
分别为第一图像的宽度和高度,
Figure 675955DEST_PATH_IMAGE039
Figure 591958DEST_PATH_IMAGE040
Figure 640686DEST_PATH_IMAGE041
Figure 274930DEST_PATH_IMAGE042
分别为 分割联通区
Figure 309882DEST_PATH_IMAGE003
邻域矩形区的左上角点坐标、宽度和高度,
Figure 205025DEST_PATH_IMAGE043
为预设的系数。
在一些优选的实施方式中,基准笔画对分割联通区
Figure 300020DEST_PATH_IMAGE003
的最优覆盖面积,其计算方法 为:
构造与基准笔画的外接矩形大小相同的模板图像,并将基准笔画画在模板图像上,笔画部分为白色,其余部分为黑色;
构造分割联通区
Figure 155981DEST_PATH_IMAGE044
的图像;分割联通区
Figure 384837DEST_PATH_IMAGE044
的图像为第一图像中手写汉字的分割联通 区
Figure 9853DEST_PATH_IMAGE044
部分为白色、其余部分为黑色的图像;
采用模板匹配的方法得到模板图像在分割联通区
Figure 541329DEST_PATH_IMAGE044
的图像中的最佳匹配位置 pmatch(x,y),即位置B;
计算最佳匹配位置处模板图像与分割联通区
Figure 9219DEST_PATH_IMAGE044
的图像的相交面积,将该相交面积 作为基准笔画对分割联通区
Figure 385974DEST_PATH_IMAGE044
的最优覆盖面积。
在一些优选的实施方式中,基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域以及基准笔画的障碍区域,其获取方法为:
基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域,其获取过程为:
获取位置A时基准笔画的所有轮廓点坐标;
获取位置B时基准笔画的所有轮廓点坐标;
获取位置A时基准笔画的各轮廓点到位置B时对应轮廓点的连线,位置A时基准笔画的轮廓、位置B时基准笔画的轮廓以及两轮廓间各对应轮廓点的连线三者包围的内部区域即为路径区域;
基准笔画的障碍区域,其获取过程为:
获取基准笔画的相离笔画;
所有相离笔画在各自当前位移状态下覆盖的区域作为基准笔画的障碍区域。
在一些优选的实施方式中,所述相对位移
Figure 131076DEST_PATH_IMAGE004
,其计算方法为:
Figure 692507DEST_PATH_IMAGE045
其中,
Figure 523060DEST_PATH_IMAGE046
表示位置A,
Figure 828140DEST_PATH_IMAGE047
表示位置B。
在一些优选的实施方式中,步骤S46 中“以最优位移集合调整各基准笔画位置”,其方法为:
Figure 693327DEST_PATH_IMAGE048
Figure 566605DEST_PATH_IMAGE049
其中,
Figure 618875DEST_PATH_IMAGE050
为基准笔画
Figure 727645DEST_PATH_IMAGE051
的第m个轮廓点的坐标,
Figure 181760DEST_PATH_IMAGE052
为最优位移集合Tmax中基准笔画
Figure 353503DEST_PATH_IMAGE051
的横向位移和纵向位移。
本发明的有益效果:
本发明解决手写汉字同名笔画提取既要关注整体字形又要考虑笔画排布的问题,提高手写汉字同名笔画提取的适用性和正确率,进而实现精确到笔画层级指导学生规范书写汉字。
本发明在满足各笔画相对位置约束下、最小移动笔画、覆盖最多手写字分割区数目为求解目标,将笔画间相对位置保持这一非解析约束转化为平面内推移二维形状滑过区与障碍区的相交问题,求解过程兼顾了全局与局部视野,提升了对基本规整的硬笔书法手写汉字同名笔画提取的适用性和正确率。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
图1 是本发明一种实施例的基于位置约束的手写汉字同名笔画提取方法的流程示意图;
图2为本发明一种实施例的基于位置约束的手写汉字同名笔画提取系统的框架示意图;
图3是本发明一种实施例的基准汉字属性知识数据库树形结构图;
图4 是本发明一种实施例的基于位置约束的手写汉字同名笔画提取方法简略流程图;
图5是本发明一种实施例的基准笔画位置调整方法流程图;
图6是本发明一种实施例的基准笔画从当前位置A平移到位置B滑过的路径区域示例图;
图7是本发明一种实施例的样图示例:(a)手写汉字图像;(b)基准汉字图像;(c)初始手写汉字与基准汉字叠加显示图;(d)调整基准笔画位置后手写汉字与基准汉字叠加显示图;
图8是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于位置约束的手写汉字同名笔画提取方法,如图1所示,该方法包括以下步骤:
S10,获取手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
S20,提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
S30,提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述 骨架分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与 距离其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 893069DEST_PATH_IMAGE001
Figure 415317DEST_PATH_IMAGE001
为骨架分枝中的 像素点;
步骤S40,遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整,包括:
步骤S41,初始化基准笔画最优位移集合Tmax、当前位移集合Tcurr、当前所有基准 笔画与各自原始位置的相对位移量之和
Figure 114152DEST_PATH_IMAGE002
,所有基准笔画与各自原始位置的相对位 移量之和的最优值trans_all、当前位移状态下全部基准笔画构成的基准汉字对全部分割 连通区的最优覆盖数目cover_max、当前覆盖数目cover_curr;
步骤S42,遍历第一图像的分割联通区,若分割联通区
Figure 63653DEST_PATH_IMAGE003
被预构建的基准笔画集合 CStroke中的基准笔画覆盖,则跳转步骤S46;否则,跳转步骤S43;所述基准笔画集合为包括 第二图像中所有基准笔画的集合;
步骤S43,在CStroke中选取与分割连通区
Figure 356094DEST_PATH_IMAGE003
满足设定分枝方向约束、且与分割联通 区
Figure 541088DEST_PATH_IMAGE003
邻域矩形区有交集的基准笔画子集CStroke_temp;遍历CStroke_temp,选取CStroke_ temp中与分割联通区
Figure 235375DEST_PATH_IMAGE003
最优覆盖面积大于设定面积阈值、且从当前位置A移动到最优覆盖 时的位置B时路径区域与障碍区域无交集的基准笔画,其余的基准笔画从CStroke_temp中 剔除,计算位置A到位置B的相对位移
Figure 480411DEST_PATH_IMAGE004
,并统计该基准笔画移动到位置B时,其对应的 基准汉字对分割联通区的覆盖数目
Figure 994569DEST_PATH_IMAGE005
步骤S44,判断CStroke_temp是否为空,若为空,则跳转步骤S46,否则跳转步骤S45;
步骤S45,选取覆盖分割联通区数目
Figure 858620DEST_PATH_IMAGE006
最多、或分割区数目
Figure 532047DEST_PATH_IMAGE006
相同但
Figure 88930DEST_PATH_IMAGE007
较小的基准笔画
Figure 90384DEST_PATH_IMAGE008
作为被移动笔画;并更新Tcurr、cover_curr、
Figure 882760DEST_PATH_IMAGE002
,将笔画
Figure 286059DEST_PATH_IMAGE008
从CStroke集合中剔除;
若更新后的cover_curr>cover_max,或者更新后的cover_curr=cover_max且
Figure 13844DEST_PATH_IMAGE002
< trans_all,则更新Tmax=更新后的Tcurr、cover_max=更新后的cover_curr、 trans_all=
Figure 361648DEST_PATH_IMAGE002
步骤S46,令
Figure 98660DEST_PATH_IMAGE009
,继续遍历,直至遍历完所有分割联通区;当遍历完所有分割 联通区,判断此次循环中基准笔画最优位移集合Tmax是否更新或者达到最大循环次数,若 Tmax未更新或者达到最大循环次数,则结束循环,以最优位移集合调整各基准笔画位置,否 则跳转步骤S42;
S50,对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;
S60,提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出。
为了更清晰地对本发明基于位置约束的手写汉字同名笔画提取方法进行说明,下面结合附图1、4、5,对本发明方法一种实施例中各步骤进行展开详述。
S10,获取手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
在本实例中,先获取手写汉字图像,手写汉字图像的原始图像由相机拍摄或扫描得到,对手写汉字图像进行预处理,使汉字区域为白色,其余部分为黑色,预处理(本发明中优选为二值化处理)后的图像作为本发明方法的手写汉字图像;基准汉字与手写汉字为同一汉字,基准汉字数据保存为有序笔画的矢量轮廓,由矢量轮廓可得到笔画轮廓点,将笔画绘制在图像上得到基准汉字图像,其中汉字部分为白色前景,其余部分为黑色背景,如图4所示。
S20,提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
在本实例中,计算第二矩形保持宽高比、缩放到第一矩形的缩放比例的过程,如公式(1)所示:
Figure 356466DEST_PATH_IMAGE053
(1)
其中,
Figure 114207DEST_PATH_IMAGE054
Figure 90253DEST_PATH_IMAGE055
为第一矩形的宽、高,
Figure 99797DEST_PATH_IMAGE056
Figure 339673DEST_PATH_IMAGE057
为第二矩形的宽、高,
Figure 409260DEST_PATH_IMAGE058
表示缩放比例。
根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅构建的空图像中,作为第一图像、第二图像,将原始手写汉字图像替换为第一图像,将原始基准汉字图像替换为第二图像。进而实现手写汉字图像、基准汉字图像的对齐,对齐结果如图5所示。
S30,提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述 骨架分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与 距离其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 607024DEST_PATH_IMAGE001
Figure 810472DEST_PATH_IMAGE001
为骨架分枝中的 像素点;
在本实例中,对第一图像进行区域分割及区域特征要素计算,具体为:
S31,提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;
S32,结合第一点集,提取第一图像的骨架点,构建第二点集;具体为:
对第一点集中的像素点
Figure 511712DEST_PATH_IMAGE010
,构建邻域点集合
Figure 17779DEST_PATH_IMAGE011
以及与第一图像大小相同的删除标 记图像,初始标记图像中与第一图像中前景区覆盖的像素点(即汉字部分)对应的位置标记 为不删除,其余部分标记为删除;使用细化算法检验标记图像中每个像素,将符合删除条件 的像素标记为待删除;对第一点集中的每个像素点
Figure 827472DEST_PATH_IMAGE010
的邻域点集合
Figure 444398DEST_PATH_IMAGE011
中的每个邻域点
Figure 265724DEST_PATH_IMAGE059
,若
Figure 801747DEST_PATH_IMAGE059
被标记为待删除,则依次遍历
Figure 974103DEST_PATH_IMAGE059
的八邻域像素点,将八邻域点中 标记为不删除、且不在集合
Figure 394720DEST_PATH_IMAGE011
中的像素点添加入
Figure 195186DEST_PATH_IMAGE011
,然后在
Figure 43056DEST_PATH_IMAGE011
中删除
Figure 561762DEST_PATH_IMAGE059
;将标记图像 中标记为待删除的像素点标记为删除;重复上述“标记图像检验→第一点集中像素点邻域 集合更新→标记图像更新”的步骤,直到标记图像中不再有像素点被标记为待删除,将得到 的邻域点集合作为第二点集,第二点集中的点简称为骨架点;其中,集合
Figure 520491DEST_PATH_IMAGE011
的初始元素为像 素点
Figure 316408DEST_PATH_IMAGE010
。骨架点的提取过程具体可参考文献:“RafaelC.Gonzalez, RichardE.Woods. 数字 图像处理(第三版). 电子工业出版社, 2011.”第11.1.7节,此处不再详述。
S33,从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合。具体如下:
本发明中,先从第二点集中获取汉字的骨架端点、骨架分枝点,其中,骨架端点定义为八邻域中只有一个邻居或两个邻接邻居为骨架点的估计点;骨架分枝点定义为,八邻域中0-1或1-0变化次数大于4且为偶数的骨架点,即对第二点集中的某一像素点,在其八邻域内,若邻居点是第二点集中的像素点,则该邻居点标记为1,否则标记为0;按照下表中从小到大的数字顺序访问八邻域,统计邻域中0-1或1-0变化次数。
表1
Figure 194234DEST_PATH_IMAGE060
表1中1-8的八个数字对应的区域表示八邻域。
遍历第二点集中的每个像素点,若当前像素点不为骨架端点、骨架分枝点,以该像素点为种子像素点进行图像生长,直到遇到某一像素点为骨架端点或骨架分枝点或某一像素点不属于第二点集,则停止生长,提取生长的像素段,作为一个骨架分枝;将该骨架分枝覆盖的像素点中不是骨架分枝点的像素点在第二点集中删除;重复上述步骤,直到第二像素点集中的点全部为骨架分枝点。即遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点,则将该像素点作为预构建的第一骨架分枝集合中一个骨架分枝的第一个点,并获取该像素点的邻域点,判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第一骨架分枝集合。
从第一骨架分枝集合中提取汉字的骨架拐点,骨架拐点的定义为:对每一个骨架 分枝中的像素点
Figure 75603DEST_PATH_IMAGE001
,若距离
Figure 838022DEST_PATH_IMAGE001
索引距离为设定距离
Figure DEST_PATH_IMAGE061
的两个像素点
Figure 347501DEST_PATH_IMAGE062
Figure 537174DEST_PATH_IMAGE063
,计算
Figure 767823DEST_PATH_IMAGE001
与两个像素点组成的张角
Figure 68354DEST_PATH_IMAGE064
,若张角小于设定阈值
Figure 963498DEST_PATH_IMAGE065
,则
Figure 324072DEST_PATH_IMAGE001
为骨 架拐点;计算过程如公式(2)所示:
Figure 180033DEST_PATH_IMAGE066
(2)
在本发明的一个实施例中,对齐后的第一图像和第二图像大小为340x310,
Figure 143309DEST_PATH_IMAGE061
优选配置为11,
Figure 33905DEST_PATH_IMAGE065
优选配置为140°。
重新遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点、骨架拐点,则将该像素点作为预构建的第二骨架分枝集合中一个骨架分枝的第一个点,获取该像素点的邻域点,并判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点、骨架拐点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点、骨架拐点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第二骨架分枝集合。
S34,重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对;具体为:
对第一点集中的各像素点
Figure 565380DEST_PATH_IMAGE010
,若其邻域点集合
Figure 767692DEST_PATH_IMAGE011
中包含骨架分枝点、骨架拐点,则 取与
Figure 410026DEST_PATH_IMAGE010
像素距离最近的一个特征点作为对应点,组成对应点对;若其邻域点集合
Figure 889548DEST_PATH_IMAGE011
中不包 含骨架分枝点、骨架拐点,则取
Figure 716559DEST_PATH_IMAGE011
中与
Figure 281533DEST_PATH_IMAGE010
像素距离最近的一个像素点作为
Figure 727557DEST_PATH_IMAGE010
的对应点,组成 对应点对;所述特征点包括骨架端点、骨架分枝点、骨架拐点。
S35,遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向。具体为:
遍历第二骨架分枝集合,对于每一个骨架分枝上的像素点,提取第一点集中对应 点为该点的像素点集合
Figure 186221DEST_PATH_IMAGE067
,对
Figure 59499DEST_PATH_IMAGE067
中属于同一第一图像连通区轮廓的点按轮廓索引排 序,得到一个或多个子轮廓;若子轮廓多于一个,则对子轮廓插入排序,其实现方法为,对于 子轮廓
Figure 236402DEST_PATH_IMAGE068
和已经排序的子轮廓集合
Figure 486118DEST_PATH_IMAGE069
,计算距离与邻居子轮廓距 离最小的位置作为子轮廓
Figure 940233DEST_PATH_IMAGE068
的插入位置,其中与邻域子轮廓距离的计算方法为,若
Figure 843467DEST_PATH_IMAGE068
插入
Figure 648612DEST_PATH_IMAGE070
Figure 436439DEST_PATH_IMAGE071
之间,则计算如下两个距离-
Figure 884343DEST_PATH_IMAGE068
的第一个像素点与
Figure 99424DEST_PATH_IMAGE070
的最后一个像素点的像素距离与
Figure 391865DEST_PATH_IMAGE068
的最后一个像素点与
Figure 576859DEST_PATH_IMAGE071
的第一个像素点的像 素距离之和
Figure 5566DEST_PATH_IMAGE072
Figure 657127DEST_PATH_IMAGE068
的最后一个像素点与
Figure 171285DEST_PATH_IMAGE070
的最后一个像素点的像素距离与
Figure 159970DEST_PATH_IMAGE068
的第一个像素点与
Figure 708763DEST_PATH_IMAGE071
的第一个像素点的像素距离之和
Figure 124700DEST_PATH_IMAGE073
Figure 126154DEST_PATH_IMAGE074
,若将
Figure 59475DEST_PATH_IMAGE068
插入
Figure 462775DEST_PATH_IMAGE070
Figure 49614DEST_PATH_IMAGE071
之间的
Figure 538364DEST_PATH_IMAGE075
是所有插入位置中 距离最小的,则将
Figure 9797DEST_PATH_IMAGE068
插入
Figure 392237DEST_PATH_IMAGE070
Figure 290923DEST_PATH_IMAGE071
之间,若
Figure 266969DEST_PATH_IMAGE076
则将
Figure 135568DEST_PATH_IMAGE068
中的像素点 倒序排列后再插入;子轮廓集合
Figure 513459DEST_PATH_IMAGE069
中最后一个子轮廓的后一个邻居子 轮廓为第一个子轮廓;排序完成后子轮廓集合中所有像素点构成的闭合轮廓为手写汉字图 像的一个分割连通区。第一图像中连通区域的分割结果如图6所示。
计算各分割连通区的最小外接矩形和主方向,作为分割联通区的特征要素,其中各分割连通区对应的主方向、次方向,其判断方法为:
采用PCA主成分分析法对每一个分割连通区外轮廓对应的点集求取协方差矩阵的两个特征值和特征向量;
计算两个特征向量与x轴的夹角,以两个特征值中大的特征值对应的特征向量与x轴的夹角为分割连通区的主方向,另一个特征向量与x轴的夹角为次方向。
步骤S40,遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整,包括:
步骤S41,初始化基准笔画最优位移集合Tmax、当前位移集合Tcurr、当前所有基准 笔画与各自原始位置的相对位移量之和
Figure 442101DEST_PATH_IMAGE002
,所有基准笔画与各自原始位置的相对位 移量之和的最优值trans_all、当前位移状态下全部基准笔画构成的基准汉字对全部分割 连通区的最优覆盖数目cover_max、当前覆盖数目cover_curr;
步骤S42,遍历第一图像的分割联通区,若分割联通区
Figure 905443DEST_PATH_IMAGE003
被预构建的基准笔画集合 CStroke中的基准笔画覆盖,则跳转步骤S46;否则,跳转步骤S43;所述基准笔画集合为包括 第二图像中所有基准笔画的集合;
步骤S43,在CStroke中选取与分割连通区
Figure 718679DEST_PATH_IMAGE003
满足设定分枝方向约束、且与分割联通 区
Figure 813061DEST_PATH_IMAGE003
邻域矩形区有交集的基准笔画子集CStroke_temp;遍历CStroke_temp,选取CStroke_ temp中与分割联通区
Figure 319129DEST_PATH_IMAGE003
最优覆盖面积大于设定面积阈值、且从当前位置A移动到最优覆盖 时的位置B时路径区域与障碍区域无交集的基准笔画,其余的基准笔画从CStroke_temp中 剔除,计算位置A到位置B的相对位移
Figure 738609DEST_PATH_IMAGE004
,并统计该基准笔画移动到位置B时,其对应的 基准汉字对分割联通区的覆盖数目
Figure 480169DEST_PATH_IMAGE005
步骤S44,判断CStroke_temp是否为空,若为空,则跳转步骤S46,否则跳转步骤S45;
步骤S45,选取覆盖分割联通区数目
Figure 301494DEST_PATH_IMAGE006
最多、或分割区数目
Figure 978463DEST_PATH_IMAGE006
相同但
Figure 275452DEST_PATH_IMAGE007
较小的基准笔画
Figure 430490DEST_PATH_IMAGE008
作为被移动笔画;并更新Tcurr、cover_curr、
Figure 637481DEST_PATH_IMAGE002
,将笔画
Figure 344406DEST_PATH_IMAGE008
从CStroke集合中剔除;
若更新后的cover_curr>cover_max,或者更新后的cover_curr=cover_max且
Figure 4057DEST_PATH_IMAGE002
< trans_all,则更新Tmax=更新后的Tcurr、cover_max=更新后的cover_curr、 trans_all=
Figure 962786DEST_PATH_IMAGE002
步骤S46,令
Figure 617758DEST_PATH_IMAGE009
,继续遍历,直至遍历完所有分割联通区;当遍历完所有分割 联通区,判断此次循环中基准笔画最优位移集合Tmax是否更新或者达到最大循环次数,若 Tmax未更新或者达到最大循环次数,则结束循环,以最优位移集合调整各基准笔画位置,否 则跳转步骤S42;
在本实施例中,调整基准笔画的位置,最大化所有基准汉字笔画构成的图像区域覆盖的手写汉字分割区数目,同时保持各基准笔画之间的相对位置关系不产生冲突,其中第二图像与第一图像对齐后的基准笔画位置为各笔画的原始位置,调整基准笔画位置即平移基准笔画离开原始位置。如图5所示,具体处理过程如下:
步骤S41,初始化基准笔画最优位移集合Tmax、当前位移集合Tcurr、当前所有基准 笔画与各自原始位置的相对位移量之和
Figure 636530DEST_PATH_IMAGE002
,所有基准笔画与各自原始位置的相对位 移量之和的最优值trans_all、当前位移状态下全部基准笔画构成的基准汉字对全部分割 连通区的最优覆盖数目cover_max、当前覆盖数目cover_curr;其中Tmax={p1(x,y),…,pM (x,y)},pj(x,y)为基准笔画j相对于其原始位置的横向位移x和纵向位移y,M为基准笔画数 目,Tmax、Tcurr初始为零位移,trans_all初始为零;
cover_max的计算方法为:
设置第二图像中基准汉字覆盖的分割连通区数目
Figure 783477DEST_PATH_IMAGE012
,并遍历所有分割连 通区;
在各基准笔画当前位移状态下,获取与分割联通区
Figure 545897DEST_PATH_IMAGE003
相交面积最大的基准笔画
Figure 320955DEST_PATH_IMAGE013
, 并获取相交面积
Figure 245048DEST_PATH_IMAGE014
;若
Figure 879292DEST_PATH_IMAGE015
、且分割联通区
Figure 304457DEST_PATH_IMAGE003
与基准笔画
Figure 74967DEST_PATH_IMAGE013
满 足设定的分枝方向距离约束,则判定分割联通区
Figure 169962DEST_PATH_IMAGE003
被覆盖,
Figure 150556DEST_PATH_IMAGE016
;其中,
Figure 989199DEST_PATH_IMAGE017
为分割 联通区
Figure 741779DEST_PATH_IMAGE003
的面积,
Figure 7676DEST_PATH_IMAGE018
为设定比例系数;
分割联通区
Figure 350932DEST_PATH_IMAGE003
与基准笔画j'分枝方向距离
Figure 383479DEST_PATH_IMAGE019
的计算方法为:
Figure 863002DEST_PATH_IMAGE020
(3)
Figure 565379DEST_PATH_IMAGE021
(4)
Figure 520565DEST_PATH_IMAGE022
(5)
其中,
Figure 701011DEST_PATH_IMAGE023
表示分割联通区
Figure 300620DEST_PATH_IMAGE003
的方向,
Figure 32952DEST_PATH_IMAGE024
为基准笔画
Figure 350801DEST_PATH_IMAGE013
主分枝方向集合中的方 向,若
Figure 334938DEST_PATH_IMAGE025
则满足设定的分枝方向约束,
Figure 913686DEST_PATH_IMAGE026
表示分枝方向距离阈值,分 枝方向是角度,范围为[0,180)单位是度;
基准笔画
Figure 957866DEST_PATH_IMAGE013
的主分枝方向集合构建方法为:若基准笔画
Figure 763011DEST_PATH_IMAGE013
为单一笔画,则以基准 笔画
Figure 409893DEST_PATH_IMAGE013
的轮廓点集为对象,求解基准笔画
Figure 718514DEST_PATH_IMAGE013
的轮廓点集的pca主方向为基准笔画
Figure 58229DEST_PATH_IMAGE013
的主分 支方向集合元素;若基准笔画
Figure 85091DEST_PATH_IMAGE013
为复合笔画,则将基准笔画
Figure 411030DEST_PATH_IMAGE013
分为方向一致性的条状分割 区,以各条状分割区轮廓点集为对象,求解各条状分割区轮廓点集的pca主方向为基准笔画
Figure 964371DEST_PATH_IMAGE013
的主分支方向集合元素;
遍历完成所有手写字分割区后,得到当前位移状态下基准汉字覆盖的分割连通区数目,初始时cover_max=cover_curr。
Figure 350353DEST_PATH_IMAGE027
的计算方法为:
Figure 864511DEST_PATH_IMAGE028
(6)
其中,
Figure 121704DEST_PATH_IMAGE029
为位移集合中基准笔画
Figure 139339DEST_PATH_IMAGE030
的横向和纵向位移,
Figure 961801DEST_PATH_IMAGE031
为基准笔画数目。
步骤S42,初始化基准笔画集合CStroke,一次循环开始时CStroke包含所有基准笔 画,遍历第一图像的分割联通区,若分割联通区
Figure 87889DEST_PATH_IMAGE003
被预构建的基准笔画集合CStroke中的基 准笔画覆盖,则跳转步骤S46;否则,跳转步骤S43;
步骤S43,在CStroke中选择与分割连通区
Figure 755631DEST_PATH_IMAGE003
满足分枝方向约束、且与分割联通区
Figure 893351DEST_PATH_IMAGE003
邻域矩形区有交集的基准笔画子集CStroke_temp;遍历子集Cstroke_temp中的基准笔画: 求Cstroke_temp中的基准笔画k对分割连通区
Figure 11349DEST_PATH_IMAGE003
的最优覆盖面积area及最优覆盖时平移到 的位置B,若area<面积设定阈值(计算方法为:
Figure 234520DEST_PATH_IMAGE077
,其中
Figure 705952DEST_PATH_IMAGE078
为分割联 通区
Figure 88392DEST_PATH_IMAGE003
的面积,
Figure 987078DEST_PATH_IMAGE018
为设定比例系数,0<
Figure 697545DEST_PATH_IMAGE079
),则将k剔除子集;否 则,求基准笔画k从当前位置A平移到位置B滑过的路径区域slip_zone以及基准笔画k的障 碍区obs_zone,若slip_zone与obs_zone有交集,则将k剔除子集;否则,求基准笔画k移动到 位置B、及其他笔画在各自当前位移状态下构成的基准字体(或字形)对分割连通区
Figure 97302DEST_PATH_IMAGE003
的覆盖 数目
Figure 209615DEST_PATH_IMAGE005
;计算位置A到位置B的相对位移
Figure 279202DEST_PATH_IMAGE004
“分割联通区
Figure 867178DEST_PATH_IMAGE003
邻域矩形区”,其计算方法为:
Figure 414834DEST_PATH_IMAGE080
(7)
其中,
Figure 647232DEST_PATH_IMAGE033
Figure 746776DEST_PATH_IMAGE034
Figure 697414DEST_PATH_IMAGE035
Figure 314340DEST_PATH_IMAGE036
分别为分割联通区
Figure 260299DEST_PATH_IMAGE003
外接矩形的左上角点坐标、 宽度和高度,
Figure 937268DEST_PATH_IMAGE037
Figure 959889DEST_PATH_IMAGE038
分别为第一图像的宽度和高度,
Figure 114927DEST_PATH_IMAGE039
Figure 56338DEST_PATH_IMAGE040
Figure 763263DEST_PATH_IMAGE041
Figure 422915DEST_PATH_IMAGE042
分别为分割联通区
Figure 116064DEST_PATH_IMAGE003
邻域矩形区的左上角点坐标、宽度和高度,
Figure 302195DEST_PATH_IMAGE043
为预设的系数。
基准笔画对分割联通区
Figure 320966DEST_PATH_IMAGE003
的最优覆盖面积,其计算方法为:
构造与基准笔画的外接矩形大小相同的模板图像,并将基准笔画画在模板图像上,笔画部分为白色,其余部分为黑色;
构造分割联通区
Figure 202335DEST_PATH_IMAGE044
的图像;分割联通区
Figure 823809DEST_PATH_IMAGE044
的图像为第一图像中手写汉字的分割联通 区
Figure 739812DEST_PATH_IMAGE044
部分为白色、其余部分为黑色的图像;
采用模板匹配的方法得到模板图像在分割联通区
Figure 929485DEST_PATH_IMAGE044
的图像中的最佳匹配位置 pmatch(x,y),即位置B;
计算最佳匹配位置处模板图像与分割联通区
Figure 422783DEST_PATH_IMAGE003
的图像的相交面积,将该相交面积 作为基准笔画对分割联通区
Figure 723315DEST_PATH_IMAGE003
的最优覆盖面积。
基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域以及基准笔画的障碍区域,其获取方法为:
基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域,其获取过程为:
获取位置A时基准笔画的所有轮廓点坐标;
获取位置B时基准笔画的所有轮廓点坐标;
获取位置A时基准笔画的各轮廓点到位置B时对应轮廓点的连线,位置A时基准笔画的轮廓、位置B时基准笔画的轮廓以及两轮廓间各对应轮廓点的连线三者包围的内部区域即为路径区域;如图6所示。
基准笔画的障碍区域,其获取过程为:
获取基准笔画的相离笔画;
所有相离笔画在各自当前位移状态下覆盖的区域作为基准笔画的障碍区域。
相对位移transk,其计算方法为:
Figure 493825DEST_PATH_IMAGE045
(8)
其中,
Figure 713453DEST_PATH_IMAGE046
表示位置A,
Figure 834993DEST_PATH_IMAGE047
表示位置B。
步骤S44,判断CStroke_temp是否为空,若为空,则跳转步骤S46,否则跳转步骤S45;
步骤S45,选取覆盖分割联通区数目
Figure 673636DEST_PATH_IMAGE006
最多、或分割区数目
Figure 423286DEST_PATH_IMAGE006
相同但
Figure 954762DEST_PATH_IMAGE007
较小的基准笔画
Figure 298019DEST_PATH_IMAGE008
作为被移动笔画;并更新Tcurr、cover_curr、
Figure 205932DEST_PATH_IMAGE002
,将笔画
Figure 810088DEST_PATH_IMAGE008
从CStroke集合中剔除;
若更新后的cover_curr>cover_max,或者更新后的cover_curr=cover_max且
Figure 512465DEST_PATH_IMAGE002
< trans_all,则更新Tmax=更新后的Tcurr、cover_max=更新后的cover_curr、 trans_all=
Figure 205002DEST_PATH_IMAGE002
步骤S46,令
Figure 119869DEST_PATH_IMAGE009
,继续遍历,直至遍历完所有分割联通区;当遍历完所有分割 联通区,判断此次循环中基准笔画最优位移集合Tmax是否更新或者达到最大循环次数,若 Tmax未更新或者达到最大循环次数,则结束循环,以最优位移集合调整各基准笔画位置,否 则跳转步骤S42;
其中,“以最优位移集合调整各基准笔画位置”,其方法为:
Figure 985056DEST_PATH_IMAGE048
(9)
Figure 982968DEST_PATH_IMAGE049
(10)
其中,
Figure 300817DEST_PATH_IMAGE081
为基准笔画
Figure 19374DEST_PATH_IMAGE051
的第m个轮廓点的坐标,
Figure 863702DEST_PATH_IMAGE052
为最优位移集合Tmax中基准笔画
Figure 907882DEST_PATH_IMAGE051
的横向位移和纵向位移。
调整基准笔画位置后手写汉字与基准汉字叠加显示图,如图7所示。
S50,对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;提取的结果如图7所示。
在本实例中,两分割连通区的主方向的距离,其计算方法为:
Figure 447448DEST_PATH_IMAGE082
(11)
Figure 359909DEST_PATH_IMAGE083
(12)
其中,
Figure 934110DEST_PATH_IMAGE084
表示主方向的距离,
Figure 883611DEST_PATH_IMAGE085
Figure 35107DEST_PATH_IMAGE086
表示两分割连通区的主方向,主方向距 离阈值
Figure 626625DEST_PATH_IMAGE087
优选设置为
Figure 789753DEST_PATH_IMAGE088
S60,提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出。
在本实例中,输出手写汉字图像中的同名笔画连通区以及其外轮廓对应的点集,为后续评价手写汉字、指导书写规范提供数据基础。
另外,为了进一步提升本发明基于位置约束的手写汉字同名笔画提取的效率以及质量,在执行本发明方法前先构建一个基准汉字属性知识数据库,构建过程如下:
基准汉字以图像的形式显示,其知识数据采用图像基元和图像处理的方法构建。一个基准汉字包含一个或多个笔画,其属性知识包含的元素以树形结构表示,根节点为汉字,第二层节点为笔画,第三层节点为笔画描述;笔画描述包括:笔画名称、复合属性、外接矩形、主分支方向集合、相离笔画集合、相离笔画集合;具体如下:
笔画名称,本发明优选“GB13000.1字符集汉字折笔规范”(以下简称为“GB13000.1”)定义的32种笔画名称,如横、竖等;
复合属性,指笔画为单一笔画或复合笔画,“GB13000.1”中规定的6种基本笔画为单一笔画,其余26种派生笔画为复合笔画;
外接矩形,指包围笔画轮廓的边框矩形;
主分支方向集合,指基准笔画的主要分枝方向,在图像坐标系中分枝方向的值区间为[0°,180°),单一笔画的主分支方向集合包含一个元素,复合笔画的主分支方向集合包含多个元素;
相离笔画集合,指在当前汉字中,除当前笔画外的其余笔画中不与该笔画相交的笔画索引集合;
笔画轮廓点集,指当前笔画在图像中的轮廓点集。
基于构建好的基准汉字属性知识库后,采集手写汉字图像,结合基准汉字属性知识库中的基准汉字图像以及基准汉字图像的笔画名称、复合属性、外接矩形、主分支方向集合、相离笔画集合、相离笔画集合,通过基于位置约束的手写汉字同名笔画提取方法进行手写汉字同名笔画提取。
本发明第二实施例的一种基于位置约束的手写汉字同名笔画提取系统,如图2所示,包括:图像获取模块100、图像对齐模块200、区域分割模块300、位置调整模块400、同名笔画连通区域提取模块500、提取结果输出模块600;
所述图像获取模块100,配置为获取手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
所述图像对齐模块200,配置为提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
所述区域分割模块300,配置为提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述 骨架分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与 距离其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 300369DEST_PATH_IMAGE001
Figure 814527DEST_PATH_IMAGE001
为骨架分枝中的 像素点;
所述位置调整模块400,配置为遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整;
所述同名笔画连通区域提取模块500,配置为对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;
所述提取结果输出模块600,配置为提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于位置约束的手写汉字同名笔画提取系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种基于位置约束的手写汉字同名笔画提取装置,包括:采集设备、中央处理设备;
所述采集设备,包括摄像机、照相机、扫描机,用于采集手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
所述中央处理设备,包括GPU,配置为提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点;构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述 骨架分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与 距离其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 944157DEST_PATH_IMAGE001
Figure 86425DEST_PATH_IMAGE001
为骨架分枝中的 像素点;
遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整;
对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;
提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出
本发明第四实施例的一种电子设备,至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求上述的基于位置约束的手写汉字同名笔画提取方法。
本发明第五实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求上述的基于位置约束的手写汉字同名笔画提取方法。
所述技术领域的技术人员可以清楚的了解到,未描述的方便和简洁,上述描述的基于位置约束的手写汉字同名笔画提取装置、电子设备、计算机可读存储介质的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
下面参考图8,其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统包括中央处理单元(CPU,Central Processing Unit)801,其可以根据存储在只读存储器(ROM,Read Only Memory)802中的程序或者从存储部分808加载到随机访问存储器(RAM,Random Access Memory)803中的程序而执行各种适当的动作和处理。在RAM803中,还存储有系统操作所需的各种程序和数据。CPU801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O,Input/Output)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分809。通讯部分809经由诸如因特网的网络执行通讯处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通讯部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被CPU801执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言,如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网或广域网连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于位置约束的手写汉字同名笔画提取方法,其特征在于,该方法包括:
步骤S10,获取手写汉字图像、基准汉字图像;所述手写汉字图像为对拍摄或扫描的硬笔书写汉字图像预处理后的二值化图像;所述基准汉字图像为已知笔画及书写顺序的规范汉字图像;
步骤S20,提取手写汉字图像前景区域的最小外接矩形,作为第一矩形;提取基准汉字图像前景区域的最小外接矩形,作为第二矩形;计算第二矩形保持宽高比、缩放到第一矩形的缩放比例,并根据该缩放比例缩放第二矩形得到第三矩形;构建两幅空图像,所述空图像为第三矩形的两倍大小;将手写汉字图像和基准汉字图像的前景区域分别居中放置在两幅空图像中,作为第一图像、第二图像,将原始的手写汉字图像替换为第一图像,将原始的基准汉字图像替换为第二图像;
步骤S30,提取第一图像中各连通区域外轮廓上的像素点,构建第一点集;结合第一点集,提取第一图像的骨架点,构建第二点集;从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合;
重新提取后,结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对,进而遍历第二骨架分枝集合,提取骨架分枝上各像素点对应第一点集中的像素点,构建闭合轮廓,作为分割连通区,并计算各分割连通区的最小外接矩形和主方向;
所述骨架端点为八邻域中只有一个邻居或两个邻接邻居为骨架点的骨架点:所述骨架 分枝点为八邻域中0-1或1-0变化次数大于4且为偶数的骨架点;所述骨架拐点为其与距离 其设定索引距离的两个像素点构成的张角小于设定张角阈值的
Figure 289059DEST_PATH_IMAGE001
Figure 799675DEST_PATH_IMAGE001
为骨架分枝中的像素 点;
步骤S40,遍历第一图像的分割联通区,对第二图像中基准笔画的位置进行调整,包括:
步骤S41,初始化基准笔画最优位移集合Tmax、当前位移集合Tcurr、当前所有基准笔画 与各自原始位置的相对位移量之和
Figure 313833DEST_PATH_IMAGE002
,所有基准笔画与各自原始位置的相对位移量 之和的最优值trans_all、当前位移状态下全部基准笔画构成的基准汉字对全部分割连通 区的最优覆盖数目cover_max、当前覆盖数目cover_curr;
步骤S42,遍历第一图像的分割联通区,若分割联通区
Figure 443463DEST_PATH_IMAGE003
被预构建的基准笔画集合 CStroke中的基准笔画覆盖,则跳转步骤S46;否则,跳转步骤S43;所述基准笔画集合为包括 第二图像中所有基准笔画的集合;
步骤S43,在CStroke中选取与分割连通区
Figure 851310DEST_PATH_IMAGE003
满足设定分枝方向约束、且与分割联通区
Figure 408193DEST_PATH_IMAGE003
邻 域矩形区有交集的基准笔画子集CStroke_temp;遍历CStroke_temp,选取CStroke_temp中 与分割联通区
Figure 409648DEST_PATH_IMAGE003
最优覆盖面积大于设定面积阈值、且从当前位置A移动到最优覆盖时的位 置B时路径区域与障碍区域无交集的基准笔画,其余的基准笔画从CStroke_temp中剔除,计 算位置A到位置B的相对位移
Figure 342968DEST_PATH_IMAGE004
,并统计该基准笔画移动到位置B时,其对应的基准汉字 对分割联通区的覆盖数目
Figure 608252DEST_PATH_IMAGE005
步骤S44,判断CStroke_temp是否为空,若为空,则跳转步骤S46,否则跳转步骤S45;
步骤S45,选取覆盖分割联通区数目
Figure 70458DEST_PATH_IMAGE006
最多、或分割区数目
Figure 683842DEST_PATH_IMAGE006
相同但
Figure 155274DEST_PATH_IMAGE007
较小的基准笔画
Figure 413080DEST_PATH_IMAGE008
作为被移动笔画;并更新Tcurr、cover_curr、
Figure 436400DEST_PATH_IMAGE002
,将笔画
Figure 412446DEST_PATH_IMAGE008
从 CStroke集合中剔除;
若更新后的cover_curr>cover_max,或者更新后的cover_curr=cover_max且
Figure 421990DEST_PATH_IMAGE002
< trans_all,则更新Tmax=更新后的Tcurr、cover_max=更新后的cover_curr、trans_all=
Figure 658937DEST_PATH_IMAGE009
步骤S46,令
Figure 728524DEST_PATH_IMAGE010
,继续遍历,直至遍历完所有分割联通区;当遍历完所有分割联通 区,判断此次循环中基准笔画最优位移集合Tmax是否更新或者达到最大循环次数,若Tmax 未更新或者达到最大循环次数,则结束循环,以最优位移集合调整各基准笔画位置,否则跳 转步骤S42;
步骤S50,对第一图像的分割连通区的轮廓点集中的每一个轮廓点,在与所述分割连通区的主方向的距离小于设定主方向距离阈值的第三点集中,将与分割连通区的轮廓点梯度方向距离小于设定梯度方向距离阈值,且像素距离最近的笔画轮廓点作为该分割连通区的轮廓点的对应点,并将与分割连通区轮廓点对应的笔画轮廓点的笔画类别作为分割连通区轮廓点的笔画类别,以轮廓点数目最多的笔画类别作为分割区的笔画类别;分类后,依次标记出笔画类别相同的手写汉字分割连通区,并将相同类别、相互连接的所有分割连通区归并为一个,将归并后面积最大的分割连通区作为基准汉字中该类别笔画在第一图像中的同名笔画连通区域;所述第三点集为调整位置后第二图像中基准汉字的各笔画连通区的外轮廓点集;
步骤S60,提取同名笔画连通区域的图像及其外轮廓对应的点集作为手写汉字图像同名笔画提取结果进行输出。
2.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步骤S30中“从第二点集中提取汉字的骨架端点、骨架分枝点,并结合骨架端点、骨架分枝点提取骨架分枝集合,作为第一骨架分枝集合;从所述第一骨架分枝集合中提取骨架拐点,并结合骨架端点、骨架分枝点、骨架拐点,重新提取骨架分枝集合,作为第二骨架分枝集合”,其方法为:
从第二点集中获取汉字的骨架端点、骨架分枝点;
遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点,则将该像素点作为预构建的第一骨架分枝集合中一个骨架分枝的第一个点,并获取该像素点的邻域点,判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第一骨架分枝集合;
从第一骨架分枝集合中提取汉字的骨架拐点;
重新遍历第二点集中的像素点,若当前像素点不为骨架端点、骨架分枝点、骨架拐点,则将该像素点作为预构建的第二骨架分枝集合中一个骨架分枝的第一个点,获取该像素点的邻域点,并判断邻域点是否属于第二点集或不属于骨架端点、骨架分枝点、骨架拐点,若是,则将邻域点增入当前骨架分枝,并循环遍历邻域点的邻域点,直至邻域点不属于第二点集或属于骨架端点、骨架分枝点、骨架拐点,得到第一图像的一个骨架分枝;继续遍历第二点集的剩余像素点,直至第二点集中的所有像素点遍历完毕,得到第一图像的第二骨架分枝集合。
3.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步骤S30中“结合骨架分枝点、骨架拐点,遍历第一点集,计算其与第二点集的对应点对”,其方法为:
对第一点集中的各像素点
Figure 191866DEST_PATH_IMAGE011
,若其邻域点集合
Figure 5101DEST_PATH_IMAGE012
中包含骨架分枝点、骨架拐点,则取与
Figure 96554DEST_PATH_IMAGE011
像素距离最近的一个特征点作为对应点,组成对应点对;若其邻域点集合
Figure 602622DEST_PATH_IMAGE012
中不包含骨 架分枝点、骨架拐点,则取
Figure 287681DEST_PATH_IMAGE012
中与
Figure 29241DEST_PATH_IMAGE011
像素距离最近的一个像素点作为
Figure 850567DEST_PATH_IMAGE011
的对应点,组成对应 点对;所述特征点包括骨架端点、骨架分枝点、骨架拐点。
4.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步骤S41中“当前位移状态下全部基准笔画构成的基准汉字对全部分割连通区的最优覆盖数目”,其计算方法为:
设置第二图像中基准汉字覆盖的分割连通区数目
Figure 527536DEST_PATH_IMAGE013
,并遍历所有分割连通区;
在各基准笔画当前位移状态下,获取与分割联通区
Figure 558945DEST_PATH_IMAGE014
相交面积最大的基准笔画
Figure 713983DEST_PATH_IMAGE015
,并获 取相交面积
Figure 920974DEST_PATH_IMAGE016
;若
Figure 893478DEST_PATH_IMAGE017
、且分割联通区
Figure 287550DEST_PATH_IMAGE014
与基准笔画
Figure 246279DEST_PATH_IMAGE015
满足设定 的分枝方向距离约束,则判定分割联通区
Figure 892462DEST_PATH_IMAGE014
被覆盖,
Figure 911234DEST_PATH_IMAGE018
;其中,
Figure 58181DEST_PATH_IMAGE019
为分割联通区
Figure 945235DEST_PATH_IMAGE014
的面积,
Figure 595659DEST_PATH_IMAGE020
为设定比例系数;
分割联通区
Figure 519752DEST_PATH_IMAGE014
与基准笔画j'分枝方向距离
Figure 278630DEST_PATH_IMAGE021
的计算方法为:
Figure 313582DEST_PATH_IMAGE022
Figure 349671DEST_PATH_IMAGE023
Figure 303721DEST_PATH_IMAGE024
其中,
Figure 425260DEST_PATH_IMAGE025
表示分割联通区
Figure 529483DEST_PATH_IMAGE014
的方向,
Figure 279133DEST_PATH_IMAGE026
为基准笔画
Figure 545029DEST_PATH_IMAGE015
主分枝方向集合中的方向,若
Figure 888286DEST_PATH_IMAGE027
则满足设定的分枝方向约束,
Figure 920833DEST_PATH_IMAGE028
表示分枝方向距离阈值;
基准笔画
Figure 400356DEST_PATH_IMAGE015
的主分枝方向集合构建方法为:若基准笔画
Figure 102732DEST_PATH_IMAGE015
为单一笔画,则以基准笔画
Figure 792340DEST_PATH_IMAGE015
的轮廓点集为对象,求解基准笔画
Figure 238364DEST_PATH_IMAGE015
的轮廓点集的pca主方向为基准笔画
Figure 837973DEST_PATH_IMAGE015
的主分支方向集 合元素;若基准笔画
Figure 835885DEST_PATH_IMAGE015
为复合笔画,则将基准笔画
Figure 888155DEST_PATH_IMAGE015
分为方向一致性的条状分割区,以各条 状分割区轮廓点集为对象,求解各条状分割区轮廓点集的pca主方向为基准笔画
Figure 872291DEST_PATH_IMAGE015
的主分 支方向集合元素;
遍历完成所有手写字分割区后,得到当前位移状态下基准汉字覆盖的分割连通区数目。
5.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步 骤S41中“当前所有基准笔画与各自原始位置的相对位移量之和
Figure 453970DEST_PATH_IMAGE029
”,其计算方法为:
Figure 498149DEST_PATH_IMAGE031
其中,
Figure 303294DEST_PATH_IMAGE032
为位移集合中基准笔画
Figure 215755DEST_PATH_IMAGE033
的横向和纵向位移,
Figure 524377DEST_PATH_IMAGE034
为基准笔画数目。
6.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步 骤S43中“分割联通区
Figure 739457DEST_PATH_IMAGE014
邻域矩形区”,其计算方法为:
Figure 890953DEST_PATH_IMAGE035
其中,
Figure 216892DEST_PATH_IMAGE036
Figure 645600DEST_PATH_IMAGE037
Figure 890636DEST_PATH_IMAGE038
Figure 670373DEST_PATH_IMAGE039
分别为分割联通区
Figure 800003DEST_PATH_IMAGE003
外接矩形的左上角点坐标、宽度 和高度,
Figure 207851DEST_PATH_IMAGE040
Figure 764734DEST_PATH_IMAGE041
分别为第一图像的宽度和高度,
Figure 766188DEST_PATH_IMAGE042
Figure 824143DEST_PATH_IMAGE043
Figure 696284DEST_PATH_IMAGE044
Figure 689648DEST_PATH_IMAGE045
分别 为分割联通区
Figure 303032DEST_PATH_IMAGE003
邻域矩形区的左上角点坐标、宽度和高度,
Figure 508885DEST_PATH_IMAGE046
为预设的系数。
7.根据权利要求1所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,基 准笔画对分割联通区
Figure 766691DEST_PATH_IMAGE014
的最优覆盖面积,其计算方法为:
构造与基准笔画的外接矩形大小相同的模板图像,并将基准笔画画在模板图像上,笔画部分为白色,其余部分为黑色;
构造分割联通区
Figure 55590DEST_PATH_IMAGE014
的图像;分割联通区
Figure 766057DEST_PATH_IMAGE014
的图像为第一图像中手写汉字的分割联通区
Figure 775601DEST_PATH_IMAGE014
部 分为白色、其余部分为黑色的图像;
采用模板匹配的方法得到模板图像在分割联通区
Figure 281057DEST_PATH_IMAGE014
的图像中的最佳匹配位置pmatch(x, y),即位置B;
计算最佳匹配位置处模板图像与分割联通区
Figure 350644DEST_PATH_IMAGE003
的图像的相交面积,将该相交面积作为基 准笔画对分割联通区
Figure 548407DEST_PATH_IMAGE003
的最优覆盖面积。
8.根据权利要求7所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域以及基准笔画的障碍区域,其获取方法为:
基准笔画从当前位置A移动到最优覆盖时的位置B时路径区域,其获取过程为:
获取位置A时基准笔画的所有轮廓点坐标;
获取位置B时基准笔画的所有轮廓点坐标;
获取位置A时基准笔画的各轮廓点到位置B时对应轮廓点的连线,位置A时基准笔画的轮廓、位置B时基准笔画的轮廓以及两轮廓间各对应轮廓点的连线三者包围的内部区域即为路径区域;
基准笔画的障碍区域,其获取过程为:
获取基准笔画的相离笔画;
所有相离笔画在各自当前位移状态下覆盖的区域作为基准笔画的障碍区域。
9.根据权利要求8所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,所 述相对位移
Figure 486276DEST_PATH_IMAGE047
,其计算方法为:
Figure 718674DEST_PATH_IMAGE048
其中,
Figure 959163DEST_PATH_IMAGE049
表示位置A,
Figure 768856DEST_PATH_IMAGE050
表示位置B。
10.根据权利要求9所述的基于位置约束的手写汉字同名笔画提取方法,其特征在于,步骤S46 中“以最优位移集合调整各基准笔画位置”,其方法为:
Figure 385782DEST_PATH_IMAGE051
Figure 472686DEST_PATH_IMAGE052
其中,
Figure 8710DEST_PATH_IMAGE053
为基准笔画
Figure 181065DEST_PATH_IMAGE054
的第m个轮廓点的坐标,
Figure 70524DEST_PATH_IMAGE055
为最优位移集合Tmax中基准笔画
Figure 402148DEST_PATH_IMAGE054
的横向位移和纵向位移。
CN202111195544.4A 2021-10-14 2021-10-14 基于位置约束的手写汉字同名笔画提取方法 Active CN113642542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111195544.4A CN113642542B (zh) 2021-10-14 2021-10-14 基于位置约束的手写汉字同名笔画提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111195544.4A CN113642542B (zh) 2021-10-14 2021-10-14 基于位置约束的手写汉字同名笔画提取方法

Publications (2)

Publication Number Publication Date
CN113642542A CN113642542A (zh) 2021-11-12
CN113642542B true CN113642542B (zh) 2022-02-08

Family

ID=78426793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111195544.4A Active CN113642542B (zh) 2021-10-14 2021-10-14 基于位置约束的手写汉字同名笔画提取方法

Country Status (1)

Country Link
CN (1) CN113642542B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580129B (zh) * 2023-04-18 2024-05-14 南京信息工程大学 基于距离变换的书法字骨架改进方法、装置及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012103794A1 (zh) * 2011-01-31 2012-08-09 北京壹人壹本信息科技有限公司 一种手写原笔迹的实现方法、实现装置及电子装置
ITRM20130022A1 (it) * 2013-01-11 2014-07-12 Natural Intelligent Technologies S R L Procedimento e apparato di riconoscimento di scrittura a mano
US20140361983A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Real-time stroke-order and stroke-direction independent handwriting recognition
CN103927537B (zh) * 2014-05-08 2017-01-25 电子科技大学 一种自适应的汉字笔画交叉区域提取方法
CN104156721B (zh) * 2014-07-31 2017-06-23 南京师范大学 一种基于模板匹配的脱机汉字笔画提取方法
CN109409211B (zh) * 2018-09-11 2020-09-18 北京语言大学 汉字骨架笔段的处理方法、处理装置及存储介质
CN110659644B (zh) * 2019-06-26 2022-07-01 西安理工大学 书法单字的笔画自动提取方法
CN111931710B (zh) * 2020-09-17 2021-03-30 开立生物医疗科技(武汉)有限公司 一种联机手写文字识别方法、装置、电子设备及存储介质
CN112598768B (zh) * 2021-03-04 2021-05-25 中国科学院自动化研究所 常用字体汉字笔画拆解方法、系统、装置
CN112990183B (zh) * 2021-05-19 2021-08-10 中国科学院自动化研究所 离线手写汉字同名笔画提取方法、系统、装置

Also Published As

Publication number Publication date
CN113642542A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN108470159B (zh) 车道线数据处理方法、装置、计算机设备和存储介质
CN112990183B (zh) 离线手写汉字同名笔画提取方法、系统、装置
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、系统
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
CN110838105B (zh) 一种业务流程模型图像识别与再构方法
Hensel et al. Facade reconstruction for textured LoD2 CityGML models based on deep learning and mixed integer linear programming
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
US20110075926A1 (en) Systems and methods for refinement of segmentation using spray-paint markup
Dal Poz et al. Dynamic programming approach for semi-automated road extraction from medium-and high-resolution images
CN115690708A (zh) 基于跨模态知识蒸馏训练三维目标检测模型的方法和装置
CN115294293B (zh) 基于低空航摄成果自动化编译高精地图道路参考线的方法
CN113642542B (zh) 基于位置约束的手写汉字同名笔画提取方法
CN112784531A (zh) 一种基于深度学习和部件拼接的中文字形及字库生成方法
CN107481243B (zh) 基于羊只俯视图的羊只体尺检测方法
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
Benciolini et al. Roof planes detection via a second-order variational model
Canedo et al. Uncovering archaeological sites in airborne LiDAR data with data-centric artificial intelligence
Zhao et al. Building outline delineation: From very high resolution remote sensing imagery to polygons with an improved end-to-end learning framework
CN107798286B (zh) 基于标记样本位置的高光谱图像进化分类方法
CN114820785A (zh) 一种图像中对象位置关系的识别方法、装置及存储介质
CN109215049B (zh) 基于多尺度三维先验信息的屋顶分割方法、系统与设备
Fritz Instance segmentation of buildings in satellite images
Zhang et al. Semiautomatic right-angle building extraction from very high-resolution aerial images using graph cuts with star shape constraint and regularization
CN114511862A (zh) 表格识别方法、装置及电子设备
Gruen et al. An Operable System for LoD3 Model Generation Using Multi-Source Data and User-Friendly Interactive Editing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant