CN107092917B - 一种基于流形学习的汉字笔画自动提取方法 - Google Patents

Abstract

本发明提供一种基于流形学习的汉字笔画自动提取方法，属于人工智能、计算机图形学领域。该方法通过构建汉字骨架的二维流形空间并从其中寻找风格最相似的字作为参考字来指导目标字的笔画提取。本发明可以解决基于数据驱动的笔画自动提取方法中参考字与目标字风格差异太大的问题，有效提高了汉字笔画提取的准确率。

Description

一种基于流形学习的汉字笔画自动提取方法

技术领域

本发明提供一种面向汉字的笔画自动提取算法，具体涉及字体骨架流形的建立，在流形中寻找与目标字形最相似的模板，以及根据模板对字形进行笔画自动提取，属于人工智能、计算机图形学领域。

背景技术

图形切分是计算机图形学和计算机视觉领域中最重要的研究问题之一。对于汉字字形而言，汉字是由笔画构成的，且笔画是组成汉字的最小基本单位，所以一个字形通常会按照笔画级别进行切分，汉字字形切分又被称为汉字笔画提取。汉字笔画提取技术是汉字识别、书写风格分析以及合成新字体等领域的关键步骤。然而，目前在学术界并没有很好地解决汉字笔画自动提取技术难题，主要原因在于汉字结构的复杂性以及多样性。一个复杂的汉字会有多个笔画交叉、粘连在一起，即使人工手动提取也会费时费力。

现有的汉字笔画自动提取技术基本可以分为两类：无监督方法和基于数据驱动的方法。在无监督方法中，Wang(WANG X.,LIANG X.,SUN L.,LIU M.:Triangular mesh basedstroke segmentation for chinese calligraphy.In Document Analysis andRecognition(ICDAR),2013 12th International Conference on(2013),IEEE,pp.1155–1159.)首先提取出字形的轮廓，然后将轮廓进行三角网格剖分，根据三角网格的不同特征得到模糊区域和小笔画段，最后通过分析笔画段之间的连通性将小笔画段连接成完整的笔画。无监督的笔画自动提取方法存在一个固有缺陷，就是只能提取简单笔画，无法提取出类似于竖弯钩这样的复杂笔画。而基于数据驱动的方法则通过使用参考笔画信息有效地解决了这个问题，并且能够保持笔画的原有顺序。Chen(CHEN X.,LIAN Z.,TANG Y.,XIAO J.:Abenchmark for stroke extraction of chinese characters.Acta ScientiarumNaturalium Universitatis Pekinensis(2016))，Lian(LIAN Z.,ZHAO B.,XIAO J.:Automatic generation of largescale handwriting fonts via style learning.InSIGGRAPH ASIA 2016Technical Briefs(2016),ACM)，Wang(WANG C.,LIAN Z.,TANG Y.,XIAO J.:Automatic correspondence finding for Chinese characters using graphmatching.In Image and Graphics(ICIG),2013Seventh International Conference on(2013),IEEE,pp.545–550.)等人使用一套源自方正公司的含有独立笔画信息的GB2312楷体交叉字库作为参考模型，然后将参考字的骨架上的关键点和目标字的骨架上的关键点进行点集匹配，根据点集匹配结果提取出最终的笔画。

基于数据驱动的汉字笔画自动提取方法，其笔画提取结果的有效性很大程度上取决于骨架上的关键点的点集匹配准确率。然而字体风格多样，同一个字的结构和形状在不同字体中可能相差很大，导致点集匹配算法的准确率不高，使得现有的方法在处理与标准楷体风格相差很大的字体问题上效果不佳。

发明内容

本发明涉及的术语如下：

参考字：基于数据驱动的汉字笔画自动提取方法中，作为参考的汉字图像，包含其每一个笔画的图像和位置，以及每一个笔画对应的笔顺；

目标汉字：用户输入的汉字图像(二值图)；

骨架点：对字形或笔画二值图采用细化算法得到的骨架上的所有像素点；

骨架上的关键点：笔画骨架上位于三种关键位置的骨架点，即笔画骨架点中的起点、终点和拐点；

本发明的目的是提供一种基于流形学习的汉字笔画自动提取方法，通过构建汉字骨架的二维流形空间并从其中寻找风格最相似的字作为参考字来指导目标字的笔画提取，用以解决现有的数据驱动方法中参考字与目标字的字体风格相差太大的问题。

本发明的方法包括如下步骤：

A目标汉字图片输入；

B.构造汉字骨架流形，实现方法为：

B1.选取30种左右的风格各异的字体的字形二值图，离线提取出每一个字中每一个笔画的骨架上的关键点；

B2.离线搭建标准汉字笔画模型库，其中包括了339个种类的笔画信息，通过人工标注得到每一类笔画的骨架，以及骨架上的关键点(起点、终点、拐点)；

B3.对于B1中每一个字形的每一个笔画，找到B2中的标准笔画模型库中对应的笔画模型，然后采用一致性点集漂移算法(CPD--Coherent Point Drift)(Myronenko,A.,Song,X.Point set registration:Coherent point drift.IEEE Transactions onPattern Analysis and Machine Intelligence.2010:32(12),2262–2275)，将B1中的笔画骨架上的关键点与B2中的标准笔画模型骨架上的关键点进行点集注册操作，然后根据点集注册结果得到B1中每个笔画骨架上的关键点；

B4.经过B3步骤之后，将B1中每个笔画的骨架在相邻的关键点之间均匀采样，以保证骨架点个数与对应笔画模型中的骨架点个数一致，从而B1中不同字体的同一个汉字字符对应的字形笔画骨架点彼此之间一一对应，并且也和B2中笔画模型的骨架点一一对应；

B5.由于满足一一对应关系，对于每一个字符构造一个矩阵，首先将B1中每一个字形图片大小都归一化至500*500，然后每一个字体该字符对应的字形笔画的骨架点按笔顺放在一起作为该矩阵中的一个行向量，即矩阵中每一行表示一种字体风格，每一列表示不同字体之间一一对应的每一个笔画的骨架点。

B6.将该矩阵作为训练数据进行流行学习，得到汉字骨架流形。作为一种优选方案，这里将该矩阵输入到GP-LVM(LAWRENCE N.:Probabilistic non-linear principalcomponent analysis with gaussian process latent variable models.Journal ofMachine Learning Research 6,Nov(2005),1783–1816.)模型中进行降维操作，最终降到二维空间。

C.从汉字骨架流形中寻找与目标字风格最相似的字形作为参考字；

C1预处理，即先将目标字归一化，再通过细化算法得到其骨架；

C2计算目标字和流形中已有字体的骨架方向网格特征(JIN L.W.,GAO X.:Studyof several handwritten chinese character directional feature extractionapproaches.Application Research of Computers 21,11(2004),38–40.)，然后计算特征相似度；

C3选取特征相似度最大的字体作为流形中遍历的起点，在该点附近不断遍历，并计算遍历的每一个由流形生成的新的字形骨架与目标字的骨架方向网格特征相似度，遍历完毕后选取特征相似度最大的作为参考字。

D.对目标汉字和参考字进行骨架点的点集注册，提取出目标字每一个笔画的骨架点。实现方法为：

D1.采用二次或三次插值算法，将C中找到的参考字缩放到目标字的尺寸；

D2.采用CPD算法，将参考字与目标字的骨架点进行非刚性点集注册操作；

D3.由于参考字每一个笔画的骨架点已知，根据D2中的点集注册结果将目标字中与参考字相匹配的骨架点归属到对应的笔画上去，进而根据参考字骨架点的标签提取出目标字每一个笔画的骨架点。

E.用Canny算子提取出目标字形的轮廓点，然后对于每一个轮廓点，计算与它距离最近的骨架点，并标注上同一个笔画标签，得到笔画对应的轮廓，最终通过填充轮廓得到最终的笔画。

与现有技术相比，本发明提供了一种基于流形学习的汉字笔画自动提取方法，从流形中找到风格最相似的汉字作为参考字，由于流行空间是连续且无穷的，所以本发明从理论上解决了基于数据驱动的笔画自动提取方法中参考字与目标字风格差异太大的问题，有效提高了汉字笔画提取的准确率。由于很多有关中文的数字应用都需要人工来提取笔画(如制作中文压缩字库)，因此本发明提供的方法能够显著提高这些应用的开发效率，降低它们的开发成本。

附图说明

图1是本发明所述的方法的整体流程框图。

图2是本发明实施例示意图和效果图。其中(a)为用户输入的目标字；(b)为通过已有字体训练得到的汉字骨架流形，是一个二维流形空间，图中每一个点都表示一种不同风格的字体；(c)为从流形中找到的与目标字风格最相似的字；(d)为用(c)中的字作为参考字进行笔画自动提取最终得到的结果。

图3是构造汉字骨架流形时，笔画模型和目标笔画的骨架关键点匹配示意图，其中(a)为笔画模型中的笔画“横折”，(b)为宋体的笔画“横折”；(a)(b)中标注的三角形、正方形和菱形依次表示各自笔画的骨架关键点：起点、拐点、终点。骨架关键点所在的骨架线，表示该笔画的所有骨架像素点(即骨架点)。

图4是对方正中倩字体中的“必”字，根据不同参考字得到的笔画自动提取结果对比示意图，其中(a)为标准楷体参考字“必”，(b)为以(a)作为模板笔画自动提取得到的结果，(c)为从汉字骨架流形中找到的最相似的参考字，(d)为以(c)作为模板笔画自动提取得到的结果。

图5是采用本发明的方法对不同风格的字形进行笔画自动提取的效果图，从左到右分别是方正铁筋隶书字体的“善”字，方正魏碑字体的“延”字，方正静蕾体的“政”字，方正曾正国楷体的“贸”字，还有方正硬笔楷书的“窳”字。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明方法的总流程如附图1和图2所示，一个具体实施例如下：

1)用户输入目标字，如图2(a)中的方正中倩简体的“龚”字。

2)离线构造“龚”字的骨架流形；

2-a)根据“龚”字笔顺，人工标注出30种不同风格字体的“龚”字每个笔画的骨架上的关键点；

2-b)将上述人工标注的骨架上的关键点与标准汉字笔画模型库中对应的笔画骨架上的关键点进行关键点匹配，比如第一个笔画“横”的起点和终点就是它的关键点；

2-c)根据匹配结果将2-a)中的每个笔画在相邻的骨架关键点之间进行均匀采样，得到所有笔画骨架点，并将横纵坐标归一化到500*500，使得每个笔画的骨架点与笔画模型的骨架点数目一致，且点与点之间一一对应；

2-d)对于每一种字体，将每个点的横纵坐标以行向量的方式存储，然后将每个笔画的骨架点行向量按照顺序放在同一个行向量中，直到所有笔画的骨架点都组成一个行向量；

2-e)对于每一种字体，将2-d)中的笔画行向量再根据笔顺首尾相连，组成整个“龚”字的骨架点行向量；

2-f)将所有字体的“龚”字行向量按列组成一个矩阵，矩阵的每一列表示不同字体的“龚”字相同笔画一一对应的骨架点；

2-g)将2-f)中的矩阵作为GP-LVM模型中的输入进行流形学习，得到“龚”字的骨架流形。

3)寻找流形中与方正中倩简体最相似的“龚”字骨架作为参考字；

3-a)对目标字进行预处理，用二次插值算法将目标字大小缩放到500*500，然后用细化算法得到目标字的骨架点；

3-b)将方正中倩简体的“龚”和人工标注的30种流行字体中的“龚”字骨架切分成8*8的网格，计算每一个网格中在横、竖、撇、捺四个方向上的像素点的个数占总像素数的比重，以此作为8*8*4＝256维的骨架网格方向特征；

3-c)取与方正中倩简体骨架网格方向特征最相似的“龚”字作为遍历流形的起点，然后在以其为中心，以流形二维图中相距最远的两个点之间距离d的四十分之一作为半径递增量，以8度角为圆心角递增量的圆周上进行遍历，每遍历到一个点就计算流形上该点对应的“龚”字的骨架网格方向特征，直到半径到达d的五分之一停止遍历。

3-d)遍历完毕之后，取骨架网格方向特征与方正中倩简体的“龚”最相似的作为参考字。

4)采用CPD算法，对方正中倩简体的“龚”字和3)中找到的参考字进行骨架点的点集注册；根据点集注册结果，方正中倩简体的“龚”字的每一个骨架点都能找到参考字上与之匹配的骨架点，由于参考字的每一个骨架点都标注了属于哪个笔画，因此目标字每一个骨架点也标注了对应的笔画，于是根据标签就可以分离出每一个笔画的骨架点；

5)用Canny算子提取出目标字“龚”的轮廓，对于每一个轮廓点，计算与它距离最近的骨架点，并标注上同一个笔画标签，最后将未闭合的笔画轮廓进行闭合就提取出了每一个笔画的轮廓。填充轮廓得到最终每一个笔画。

虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种基于流形学习的汉字笔画自动提取方法，包括如下步骤：

A目标汉字图片输入；

B.构造汉字骨架流形，具体步骤包括：

B1.选取不同字体的字形二值图，离线提取出每一个字中每一个笔画的骨架上的关键点；

B2.离线搭建标准汉字笔画模型库，通过人工标注得到每一类笔画的骨架，以及骨架上的关键点；

B3.对于B1中每一个字形的每一个笔画，找到B2中的标准笔画模型库中对应的笔画模型，将B1中的笔画骨架上的关键点与B2中的标准笔画对应的骨架上的关键点进行点集注册操作，然后根据点集注册结果得到B1中每个笔画骨架上的关键点；

B4.将B1中每个笔画的骨架在相邻的关键点之间均匀采样，以保证骨架点的个数与B2中的标准笔画模型中骨架点的个数一致，从而B1中不同字体的同一个汉字字符对应字形的笔画骨架点彼此之间一一对应，并且也和B2中的标准笔画模型库的骨架点一一对应；

B5.由于满足一一对应关系，对于每一个字符构造一个矩阵，首先将B1中每一个字形图片大小都归一化至500*500，然后每一个字体对应的字形笔画骨架点按笔顺放在一起作为该矩阵中的一个行向量，上述矩阵中每一行表示一种字体风格，每一列表示不同字体之间一一对应的每一个笔画骨架点；

B6.将该矩阵作为训练数据进行流行学习，得到汉字骨架流形；

C从汉字骨架流形中寻找与目标汉字相似的字形作为参考字；具体步骤包括：

C1.预处理，即先将目标汉字归一化，再通过细化算法得到其骨架；

C2.计算目标汉字和流形中已有字体的骨架方向网格特征，然后计算特征相似度；

C3.选取特征相似度最大的字体作为流形中遍历的起点，在该点附近不断遍历，并计算遍历的每一个由流形生成的新的字形骨架与目标汉字的骨架方向网格特征相似度，遍历完毕后选取特征相似度最大的作为参考字；

D对目标汉字和参考字进行骨架点的点集注册，提取出目标汉字每一个笔画的骨架；

E通过提取目标汉字对应的轮廓，并填充轮廓得到目标汉字的笔画；

步骤中用Canny算子提取出目标字形的轮廓点，对于每一个轮廓点，计算与它距离最近的骨架点，并标注上同一个笔画标签，得到笔画对应的轮廓。

2.如权利要求1所述的基于流形学习的汉字笔画自动提取方法，其特征在于，步骤D的实现方法为：

D1.采用二次或三次插值算法，将C中找到的参考字缩放到目标汉字的尺寸；

D2.采用CPD算法，将参考字与目标汉字的骨架点进行非刚性点集注册操作；

D3.由于参考字每一个笔画的骨架点已知，根据D2中的点集注册结果将目标字中与参考字相匹配的骨架点归属到对应的笔画上去，进而根据骨架点的标签提取出每一个笔画的骨架点。

3.如权利要求1所述的基于流形学习的汉字笔画自动提取方法，其特征在于，步骤B3中采用一致性点集漂移算法，将B1中的笔画骨架上的关键点与B2中的标准笔画对应的骨架上的关键点进行点集注册操作。

4.如权利要求1所述的基于流形学习的汉字笔画自动提取方法，其特征在于，步骤B6中将该矩阵输入到GP-LVM模型中进行降维操作，最终降到二维空间。

Images