CN1652138A - 一种手写文字的识别方法 - Google Patents

Abstract

本发明提供一种基于脱机识别方法和联机识别方法集成的手写文字的识别方法，其脱机识别方法主要包括对汉字笔画轮廓方向角特征的弹性网格特征提取技术以及线性判别分析(LDA)对高维特征降维；联机识别方法主要包括对汉字笔画方向特征进行模糊提取以及一种可变性较强的笔画模板弹性匹配方法；本发明大大提高了对连笔草书汉字的识别效果，不仅能识别规范书写的汉字，也能够对连笔草书汉字进行识别，故而可以让用户无限制地自由书写汉字，还可以提高手写输入时用户书写汉字的速度。

Description

一种手写文字的识别方法

                          技术领域

本发明属于模式识别与人工智能技术领域，特别是涉及一种手写文字图像识别处理方法。

                          技术背景

汉字在线识别是指用户一边书写一边识别。一般是指用户通过手写输入设备(比如：手写板、触摸屏、鼠标等)书写汉字，同时计算机将手写输入设备采集到的汉字书写轨迹转换为相应的汉字机器内码的识别技术。按书写限制的程度，一般可以分为：限制性手写体(如限制笔顺，横平竖直，没有连笔)，手写印刷体(指书写工整的汉字)，行书手写体(指有部分笔画变形和连笔的汉字)，草书手写体(指大部分笔画变形以及几乎完全连笔书写的汉字)。这几种手写体的识别难度依次增大，以草书手写体的识别难度最大。因为草书手写体的汉字字型通常已经和原汉字字形有了较大的不同，不仅表现在笔画的变形上，还表现在汉字结构的变形上。这些变形一般是由于书写者为了达到更快、更流畅的书写速度而在原有汉字字形的基础上改变而来的。因此在以上几种手写体汉字中，以草书手写体的书写速度最快，因而这种书写方式也是人们最乐于接受的一种书写方式。

已有的汉字识别方法大多数是基于汉字笔画来进行识别的，比如中国发明专利98106953.3号专利《手写汉字识别方法及装置》、98108373.0号专利《文字识别装置及文字识别方法》以及98122949.2号专利《一种无笔画顺序的手写字符辨识系统》等专利使用的方法都依赖于笔画的正确提取与识别，而草书手写体汉字不但连笔书写，大部分笔画变形严重，而且有很多短的笔画会被省去，因此以上识别方法无法很好地解决草书手写体汉字的识别。

在中国发明专利93101683.5号专利《自由书写联机手写汉字识别方法及其系统》中也提到已有的基于笔画或笔段的字形结构识别方法很难处理分解不出笔段的汉字，该专利的特征在于将两种识别不同书写风格汉字的识别方法相结合，一种用于识别楷书和部分行书，另一种识别不规范连笔字，而该专利提出的识别方法的结合方式是采用一种串行的方式，即先用前种方法识别，拒识以后才用后一种方法识别。这种方法的不足之处在于针对不规范连笔字的识别只采用了一种识别方法，而其采用的串行结合的识别方式的不足在于如果某个草书汉字没有被拒识，则不会用后一种识别不规范连笔字的识别方法进行识别。

                          发明内容

本发明的目的在于克服上述汉字手写识别方法的不足，提供一种通过脱机识别方法和联机识别方法相结合的手写文字识别方法。

本发明采用的技术方案为：

一种手写文字的识别方法，通过脱机文字识别方法和联机文字识别方法相结合对手写文字进行识别，

所述脱机文字识别方法包括：

(1)、重构手写文字图像；

(2)、通过文字图像提取文字笔画的轮廓方向角特征；

(3)、选取脱机识别候选字；

所述联机文字识别方法包括：

(A)、提取手写文字时序点的联机笔画方向特征；

(B)、选取联机识别候选字。

所述步骤(1)重构手写文字图像通过采集手写文字时序点轨迹坐标，并将时序点轨迹线性归一化到固定大小，再用等宽的线段依次连接所有相邻的时序点，从而重构出原手写汉字的图像。

所述步骤(2)提取文字笔画的轮廓方向角特征通过把汉字图像在水平和垂直两个方向上的直方图投影画出4×4的全局弹性网格，使得每一列网格在水平方向上的直方图投影累积量相等，每一行网格在垂直方向上的直方图投影累积量相等，再根据每个网格水平和垂直两个方向上的直方图投影在网格内画出2×2的局部弹性网格，形成64个局部弹性网格，再从这64个网格中提取出文字的轮廓，然后对每个弹性网格单元内的轮廓在4个方向上进行轮廓方向角特征提取，得出轮廓方向角特征。所述4个方向为横撇、撇竖、竖捺、横捺。对汉字图像经过轮廓提取后，对字符轮廓点P的8邻域通过 $\mathrm{\θ}\left(p\right)={\tan }^{-1}\left(\frac{D_x}{D_y}\right)$ 计算该轮廓点的轮廓方向角，其中D_x、D_y是p点在x轴和y轴上的梯度函数，且D_x、D_y定义为：

          D_x＝(p₆+2p₇+p₈)-(p₁+2p₂+p₃)，

          D_y＝(p₃+2p₅+p₈)-(p₁+2p₄+p₆)

而轮廓点p的8邻域为

p4	p3	p2
			p5	p	p1
p6	p7	p8

，方向角的取值范围为0到180度，整个文字64个弹性网格单元总共得到256维轮廓方向角特征矢量。

所述步骤(2)还包括线性判决分析(LDA)对轮廓方向角特征进行降维，将原先的256维数降为128维数。

所述步骤(3)选取脱机识别候选字通过计算128维轮廓方向角特征与模板中所有文字特征的欧式距离，选出距离最小的前100个候选字作为脱机识别候选字。

所述步骤(A)提取手写文字笔画时序点的方向特征通过对手写文字笔画时序点按固定距离进行采样，又定义采样后的特征点的笔画方向角为前一特征点指向该特征点的方向角度，范围为0到255，线性对应0到359度，然后计算每个特征点的笔画方向角，作为该特征点的联机笔画方向特征。

所述步骤(B)选取联机识别候选字通过动态时间规整(DTW)的方法对联机笔画方向特征矢量与步骤(3)得出的脱机识别候选字的多种不同笔顺的模板特征矢量进行弹性模板匹配，计算脱机识别候选字与联机笔画方向特征的匹配相似度，

其中，DTW弹性匹配的局部距离函数采用如下关系式计算：

$d(i,j)=\left\{\begin{array}{cc}{\left(\mathrm{\Δ\θ}\right)}^2& 0\≤\mathrm{\Δ\θ}\≤64\\ -{(\mathrm{\Δ\θ}-128)}^2+8192& 64\≤\mathrm{\Δ\θ}\≤128\end{array}\right.,$

而 $\mathrm{\&Delta;\&theta;}=\left\{\begin{array}{cc}|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|& 0\&le;|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|<128\\ 256-|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|& 128\&le;|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|<256\end{array}\right.,$

i和j分别为当前匹配的两特征值在各自特征序列中的位置，θ为轮廓方向角特征；然后再将100个脱机识别候选字按其与联机笔画方向特征匹配相似度由大到小排序，组成100个联机识别方法候选字。

本发明通过对脱机识别候选字和联机识别候选字进行集成完成对手写文字的识别，其算法称之为首选识别结果选择器，具体包括如下规则：

(I)、计算脱机识别候选字中每个候选字的位置分数S_i，

S_i＝i*exp(1-i)*D+i′*exp(1-i′)*C

其中i为该候选字在脱机识别候选字序列中的位置，范围为1到100，i’为该候选字在联机识别候选字序列中所处的位置，范围也为1到100，C和D为两个常数；

(II)、计算联机识别候选字中每个候选字的位置分数T_j，

T_j＝j*exp(1-j)*C-P_j

其中j为该候选字在联机识别候选字序列中的位置，范围为1到100，C为常数，且与步骤(I)的C相同，P_j为预先定义好的惩罚分数，根据j的不同而不同；

(III)、根据联机识别候选字的匹配相似度选择可信度区间1到M，位置在M以后的候选字认为是不可信的候选字；

(IV)、将脱机识别候选字与联机识别候选字序列合在一起按照每个候选字的位置分数从大到小排序，得出集成候选字序列；

(V)、选取一个候选字作为识别结果，通过定义A_i为联机识别候选字，B_j为脱机识别候选字，i和j的范围为1到100，分别对应100个候选字，

如果A₁＝B₁，则选择A₁；

如果A₁非常可信，而B₁不太可信，则选择A₁；

如果B₁很可信，则选择B₁；

如果A_k＝B₁且B₁＝A₁，k和1的范围为1到35，而k＜1，则选B₁，k＞1则选A₁；

如果A_k＝B₂且B₁＝A₂，k和1的范围为1到15，而k＜1，则选B₁，k＞1则选A₁；

如果以上各个条件均不满足，则选择集成候选字序列的首个候选字。

本发明的基本原理是：用户在书写连笔草书汉字时，虽然汉字的笔画和整字的结构会有较大变形，但总体的笔画方向特征分布较为稳定，通过弹性网格特征提取技术能较好地提取稳定的笔画方向特征而不对汉字笔画和结构的变形过于敏感，通过提取的这种特征对汉字进行识别，本发明所采用的脱机识别方法能较好地解决自由笔顺的问题；另外，连笔草书汉字即使会有一些短的笔画被省略，但整字笔画大体的走向比较稳定，通过采用一种限制大体笔顺方向的联机识别方法能识别出一些变形较为严重的草书汉字；本发明将这两种识别方法结合起来，即使一些变形严重而且笔顺与模板不一致的草书汉字在两种识别方法识别出的候选字位置较后，通过采用一种集成策略，使原本位置较后的正确候选字被提前，从而大大提高了系统对连笔草书汉字的识别效果。

本发明与已有的汉字识别方法相比，具有如下的优点和有益效果：

(1)、由于采用的两种识别方法均不依赖于笔画或笔段的正确提取与识别，因此能很好地解决对笔画或笔段不容易提取的草书汉字的识别；

(2)、由于一般的脱机识别方法不考虑笔顺信息，而本发明结合联机识别方法，能增强对一些变形严重但笔顺大体与模板中某一种书写笔顺一致的草书汉字的识别效果；

(3)、与限制笔顺的联机识别方法相比，本发明结合了脱机识别方法后，能弥补对自由笔顺书写的汉字识别的不足；

(4)、本发明由于对书写轨迹的所有时序点用线段连接，所以无论书写中有无连笔，用于进行识别的汉字都是一样的，所以能较好地识别任意用户书写的连笔草书汉字；

(5)、本发明可准确识别连笔草书，所以本发明能让用户在用手写输入法输入汉字时书写汉字的速度达到最快。

                         附图说明

图1是本发明的系统结构框图；

图2是本发明的脱机识别方法的流程框图；

图3是本发明的联机识别方法的流程框图；

图4是本发明的脱机与联机的识别结果集成的流程框图。

                        具体实施方式

下面结合附图对本发明做进一步的说明，实施本发明所用的识别设备可以采用手写板书写汉字，用计算机进行识别，用纯平型显示器显示用户图形界面，可采用C语言编制各类处理程序，便能较好地实施本发明。

本发明的系统结构框图如附图1所示，汉字笔画的时序点输入后，可通过脱机识别和联机识别的方式同时对汉字进行识别，脱机识别包括重构汉字图像、弹性网格特征提取、LDA降维、通过距离分类器选取脱机识别候选字、脱机识别候选字可跟联机识别候选字进行弹性模板匹配，通过候选字集成，得出识别结果；联机识别包括笔画方向特征提取、弹性模板匹配得出联机识别候选字；本发明也分别采用脱机识别方法或联机识别方法对一些手写较为规范的汉字进行识别。本发明脱机识别的模板是经过大量包含草书的训练样本统计学习得到的，联机识别方法的模板也是经过学习这些样本，通过对笔顺的聚类得到的多笔顺模板。

本发明的脱机识别方法的流程图如附图2所示，具体为将输入轨迹的时序点位置归一化，然后用等宽线段连接所有相邻时序点，从而重构汉字图像，再用弹性网格提取汉字轮廓方向角特征，得出多维特征后，通过LDA降维，以便距离分类器的计算，通过距离分类器计算降维后的特征矢量与模板中所有汉字的特征矢量的欧式距离，将模板中所有汉字按欧式距离从小到大排序，选取前100个汉字作为脱机识别的候选字序列。

本发明的联机识别方法流程框图如附图3所示，对输入时序点进行特征点采样，然后计算每个特征点的笔画方向角，作为特征点的方向特征，再将所有特征点的方向特征依序作为整个汉字笔画方向特征矢量，与每一个脱机识别候选字进行弹性匹配，按匹配相似度将所有候选字按从大到小排序，最后记录排序后的汉字序列作为联机识别候选字序列。

本发明的脱机与联机的识别结果集成的流程框图如附图4所示，其通过分别计算每个脱机识别候选字在候选字序列中的位置分数，和每个联机识别候选字的位置分数，然后计算联机识别结果候选字的可信度区间，再将可信度区间内的联机识别候选字与脱机识别候选字按每个字的位置分数从大到小排序，再按首选识别结果选择器的规则选出首选结果，作为识别结果。

Claims (10)

1、一种手写文字的识别方法，其特征在于通过脱机文字识别方法和联机文字识别方法相结合对手写文字进行识别，

所述脱机文字识别方法包括：

(1)、重构手写文字图像；

(2)、通过文字图像提取文字笔画的轮廓方向角特征；

(3)、选取脱机识别候选字；

所述联机文字识别方法包括：

(A)、提取手写文字时序点的联机笔画方向特征；

(B)、选取联机识别候选字。

2、根据权利要求1所述的手写文字的识别方法，其特征在于所述步骤(1)重构手写文字图像通过采集手写文字时序点轨迹坐标，并将时序点轨迹线性归一化到固定大小，再用等宽的线段依次连接所有相邻的时序点，从而重构出原手写汉字的图像。

3、根据权利要求1或2所述的手写文字的识别方法，其特征在于所述步骤(2)提取文字笔画的轮廓方向角特征通过把汉字图像在水平和垂直两个方向上的直方图投影画出4x4的全局弹性网格，使得每一列网格在水平方向上的直方图投影累积量相等，每一行网格在垂直方向上的直方图投影累积量相等，再根据每个网格水平和垂直两个方向上的直方图投影在网格内画出2x2的局部弹性网格，提取出文字的轮廓，然后对每个弹性网格单元内的轮廓在4个方向上进行轮廓方向角特征提取，得出轮廓方向角特征。

4、根据权利要求3所输的手写文字的识别方法，其特征在于所述4个方向为横撇、撇竖、竖捺、横捺。

5、根据权利要求4所述的手写文字的识别方法，其特征在于对汉字图像经过轮廓提取后，对字符轮廓点P的8邻域通过 $\mathrm{\&theta;}\left(p\right)={\tan }^{-1}\left(\frac{D_x}{D_y}\right)$ 计算该轮廓点的轮廓方向角，其中D_x、D_y是p点在x轴和y轴上的梯度函数，且D_x、D_y定义为：

D_x＝(p₆+2p₇+p₈)-(p₁+2p₂+p₃)

D_y＝(p₃+2_p5+p₈)-(p₁+2p₄+p₆)

而轮廓点p的8邻域为 p₄ p₃ p₂ p₅ p p₁ p₆ p₇ p₈

6、根据权利要求5所述的手写文字的识别方法，其特征在于所述步骤(2)提取文字笔画的轮廓方向角特征还包括线性判决分析(LDA)对轮廓方向角特征进行降维，将原先的256维数降为128维数。

7、根据权利要求6所述的手写文字的识别方法，其特征在于所述步骤(3)选取脱机识别候选字通过计算轮廓方向角特征与模板中所有文字特征的欧式距离，选出距离最小的前100个候选字作为脱机识别候选字。

8、根据权利要求7所述的手写文字的识别方法，其特征在于所述步骤(A)提取手写文字笔画时序点的方向特征通过对手写文字笔画时序点按固定距离进行采样，又定义采样后的特征点的笔画方向角为前一特征点指向该特征点的方向角度，范围为0到255，线性对应0到359度，然后计算每个特征点的笔画方向角，作为该特征点的联机笔画方向特征。

9、根据权利要求8所述的手写文字的识别方法，其特征在于所述步骤(B)选取联机识别候选字通过动态时间规整(DTW)的方法对联机笔画方向特征矢量与步骤(3)得出的脱机识别候选字的多种不同笔顺的模板特征矢量进行弹性模板匹配，计算脱机识别候选字与联机笔画方向特征的匹配相似度，

其中，DTW弹性匹配的局部距离函数采用如下关系式计算：

$d(i,j)=\left\{\begin{array}{cc}{\left(\mathrm{\&Delta;\&theta;}\right)}^2& 0\&le;\mathrm{\&Delta;\&theta;}<64\\ -{(\mathrm{\&Delta;\&theta;}-128)}^2+8192& 64\&le;\mathrm{\&Delta;\&theta;}<128\end{array}\right.,$

而 $\mathrm{\&Delta;\&theta;}=\left\{\begin{array}{cc}|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|& 0\&le;|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|<128\\ 256-|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|& 128\&le;|{\mathrm{\&theta;}}_i-{\mathrm{\&theta;}}_j|<256\end{array}\right.,$

i和j分别为当前匹配的两特征值在各自特征序列中的位置，θ为轮廓方向角特征；然后再将100个脱机识别候选字按其与联机笔画方向特征匹配相似度由大到小排序，组成100个联机识别方法候选字。

10、根据权利要求9所述的手写文字的识别方法，其特征在于通过对脱机识别候选字和联机识别候选字进行集成完成对手写文字的识别，具体包括如下步骤：

(I)、计算脱机识别候选字中每个候选字的位置分数S_i，

S_i＝i*exp(1-i)*D+i′*exp(1-i′)*C

其中i为该候选字在脱机识别候选字序列中的位置，范围为1到100，i’为该候选字在联机识别候选字序列中所处的位置，范围也为1到100，C和D为两个常数；

(II)、计算联机识别候选字中每个候选字的位置分数T_j，

T_j＝j*exp(1-j)*C-P_j

其中j为该候选字在联机识别候选字序列中的位置，范围为1到100，C为常数，且与步骤(I)的C相同，P_j为预先定义好的惩罚分数，根据j的不同而不同；

(III)、根据联机识别候选字的匹配相似度选择可信度区间1到M，位置在M以后的候选字认为是不可信的候选字；

(IV)、将脱机识别候选字与联机识别候选字序列合在一起按照每个候选字的位置分数从大到小排序，得出集成候选字序列；

(V)、选取一个候选字作为识别结果，通过定义A_i为联机识别候选字，B_j为脱机识别候选字，i和j的范围为1到100，分别对应100个候选字，

如果A₁＝B₁，则选择A₁；

如果A₁非常可信，而B₁不太可信，则选择A₁；

如果B₁很可信，则选择B₁；

如果A_k＝B₁且B₁＝A₁，k和l的范围为1到35，而k＜l，则选B₁，k＞l则选A₁；

如果A_k＝B₂且B₁＝A₂，k和l的范围为1到15，而k＜l，则选B₁，k＞l则选A₁；

如果以上各个条件均不满足，则选择集成候选字序列的首个候选字。

Images