CN100343864C - 利用背景像素的手写识别方法和系统 - Google Patents

Abstract

一种利用背景像素的手写识别方法和系统，其利用输入字符(100)独立且冗余的特征度量得到准确率的提高。系统包括微处理器(163)，有效连接于微处理器(163)的只读存储器(ROM)(154)，有效连接于微处理器(163)的可编程存储器(166)，和有效连接于微处理器(163)的输入面板(169)。所述微处理器(163)有效执行存储在ROM(154)中的编码来接收(步骤205)划写在输入面板(169)上的手写输入字符(100)的表示，输入字符(100)由与背景像素(110)相邻的前景像素(105)定义，从前景像素(105)提取(步骤210)前景方向特征向量，从背景像素(110)提取(步骤215)背景凹度特征向量，并且通过对前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定(步骤220)匹配的候选字符。

Description

利用背景像素的手写识别方法和系统

技术领域

本发明一般涉及手写识别过程。本发明具体但不局限地应用于划写于掌上电子设备的手写识别中。

背景技术

近几十年来，计算机印刷文字识别成为困扰技术的难题。只是在最近，很多光学字符识别(OCR)技术才改进地能够以高的准确率处理扫描的文本文档。然而这样的OCR技术通常只能处理生成等高且清晰字符的系统(诸如打印机)的印刷文本。计算机手写字符识别仍然是一项非常困难的技术挑战。

现有的识别手写字符的方法通常包括高分辨率的模板，除了手写字符两个物理维度之外还捕捉与书写动作相关的时间维度。通常利用在笔、输入笔或手指接触到手写板时记录文字笔划的电子手写板来创建这样的模板。其它技术包括在书写字符时记录笔尖移动的电子笔的应用。对应于输入手写字符的方向特征向量随后利用多种的模式识别技术与模型字符模板进行比较。模型字符模板包括每个字符多次输入采样的方向特征向量的统计平均值。

当在电子手写板上书写时，书写人希望能够看到他或她所写的笔迹，例如在图形用户界面上利用电子“墨水”，使得书写人可以控制文本的可辨认性。然而，一些掌上电子设备，例如移动电话和个人数字助理(PDA)包括小触摸板，其中，用户必须一个叠一个地书写文字，不接收任何反馈，例如图形用户界面所显示的是否已经处理输入的反馈。这样字符是在“盲”状态下书写的。可以想象，书写在这样的触摸板上的字符，特别是考虑到更复杂的、例如很多中文和日文字符的表意字符，容易出现显著的字符形状变形。写在这样触摸板上的字符的正确电子识别是尤其困难的。

因此需要一种改进的手写识别方法和系统，其可以克服显著的字符形状变形，例如由触摸板上盲写所引入的变形，并识别想要书写的字符。

发明内容

依照一个方面，本发明是改进的手写识别方法。它包括接收划写在电子设备用户界面上的手写输入字符表示，输入字符由用户界面上与背景像素相邻的前景像素所定义。随后从前景像素中获得前景方向特征向量，并且从背景像素中获得背景凹度特征向量。通过前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定匹配候选字符。

优选地，本发明进一步包括对手写输入字符执行平滑、去噪以及大小归一化处理的预处理。

优选地，确定匹配候选字符的步骤进一步包括通过比较前景方向特征向量和模型字符模板提供候选字符第一短列表和对应第一向量距离(d₁)，通过比较背景凹度特征向量和模型字符模板提供候选字符第二短列表和对应第二向量距离(d₂)，和根据如下方程合并第一向量距离(d₁)和第二向量距离(d₂)的步骤：

d_comb＝W₁*d₁+W₂*d₂

其中d_comb是加权向量距离，W₁和W₂是经验权重系数，并且W₁+W₂＝1，其中前景方向特征向量和背景凹度特征向量利用加权向量距离d_comb与模型字符模板进行比较。

优选地，所述方法也包括从背景像素提取背景凹度特征向量之前减小手写输入字符表示的大小的步骤。

优选地，从背景像素提取背景凹度特征向量的所述步骤包括从每一背景像素出发在四个方向搜索前景像素。

优选地，所述模型字符模板包括来自大量输入采样的方向特征向量的统计平均值。

优选地，所述方法进一步包括用于消除重复像素和归一化像素密度不一致的输入字符再采样。

优选地，在迭代学习过程中基于电子设备独立用户的手写个性确定经验权重系数W₁和W₂。

根据另外一方面，本发明是一种用于手写识别的系统，包括微处理器、有效连接于微处理器的只读存储器(ROM)、有效连接于微处理器的可编程存储器和有效连接于微处理器的输入板。所述微处理器有效执行存储在ROM中的代码来接收划写在输入板上的手写输入字符的表示，输入字符由相邻于背景像素的前景像素所定义，从前景像素中提取前景方向特征向量，从背景像素中提取背景凹度特征向量，并且通过前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定匹配候选字符。

在本说明书以及权利要求书中，术语“包括(comprises、including、comprising)”以及类似术语的含义是指非排他性的包括，因此包括一系列组件的方法或装置，其不仅包括那些已单独列出的组件，还可能很好地包括那些没有列出的其它组件。

附图说明

为了使本发明易于理解并付诸实施，现在将结合附图来参考引用优选实施例，其中相似的引用数字指代类似的组件，在附图中：

图1为根据本发明实施例，展示划写在电子设备上的小写罗马字母“e”形式的手写输入字符表示的示意图；

图2为根据本发明实施例，展示手写识别方法的广义流程图；

图3为根据本发明实施例，展示划写在电子设备像素书写板上的输入字符的另一个示意图，其进一步描述了用于形成字符的笔划方向；

图4为根据本发明实施例，展示用于定义方向特征向量的八个笔划方向的示意图；

图5为根据本发明实施例，展示输入字符小写罗马字母“e”的边缘矩形和背景像素的另一示意图；

图6为根据本发明实施例，展示用于搜索前景像素的四个福里曼(Freeman)方向的示意图；

图7为根据本发明实施例，描述背景凹度特征向量的表；

图8和9为根据本发明实施例，展示手写识别方法更详细描述的广义流程图。

图10为根据本发明实施例，展示本领域现有的移动电话的示意图，其包括可以在其上面划写手写字符表示的输入板。

具体实施方式

参照图1，为根据本发明实施例，展示划写在电子设备之上的手写输入字符100的表示的示意图。小写罗马字母“e”形式的字符100包括离散的前景像素105和背景像素110。前景像素105通常是例如黑色的一种颜色的并且形成输入字符100的线段和形状。背景像素110通常是强烈对比的一种颜色，例如白色。像素105、110的大小根据电子设备图像分辨率的设置而不同，其中分辨率越高，像素105、110越小。

参照图2，根据本发明实施例，展示了手写识别方法的广义流程图。所述方法200确定与划写在电子设备上的手写输入字符100表示最匹配的至少一个匹配标准候选字符。所述方法200开始于用户在设备上用例如输入笔或手指划写字符100时接收手写输入字符100表示的步骤205。接着，在步骤210从前景像素105中获取前景方向特征向量，这将在下边进一步详细描述。在步骤215从背景像素110中获取背景凹度特征向量。基于前景像素105的搜索，背景凹度特征向量包括了关于由前景像素105组成字符笔划形状的信息，这里搜索从单独的背景像素110开始。该步骤也会在下边进行详细描述。最后，在步骤220，方法200通过前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定匹配候选字符。建立模型字符模板的方法在上面已经进行了简单描述并且在本技术领域是公知的。

所述方法200可以合并到掌上电子设备当中，例如个人数字助理(PDA)和移动电话，来提供改进的手写识别性能。由于用于创建前景方向特征向量的数据和用于创建背景凹度特征向量的数据之间不直接相关，方法200包括了可以提高准确率的冗余。冗余能够利用一种类型向量的准确性补偿另一种类型向量的错误，无论是前景方向特征向量还是背景凹度特征向量。现在对方法200的进一步细节进行描述。

参照图3，根据本发明实施例，展示了划写在电子设备像素面板上的小写罗马字母“e”的输入字符100的另一个示意图，其进一步描述了用于形成输入字符100的笔划方向305。字母“e”是在方法200的步骤205提供字符100的一个例子，在这里电子设备接收手写输入字符100的表示。利用笔划方向305，在步骤210，方法200从输入字符100中根据本领域内所公知的方法提取方向特征向量。例如，首先把输入字符100的前景像素105对齐到N×N的网格，并且归一化，使得输入字符100的大小与用于创建模型字符方向特征向量的模型字符的大小相等。每个N×N网格的元素随后分割成更细致的网格并随后进行分析获得前景方向特征向量。前景方向特征向量的一个例子是8维方向特征向量。8维前景方向特征向量的每一维对应到用来创建输入字符100的笔划方向305。参照图4，展示八笔划方向305可以通过以45度增量分割圆周而产生。本领域技术人员将明白，根据本发明，对于前景方向特征向量，可以应用更多或更少的维数。含有从手写笔划而来的前景像素105的每个网格元素随后根据元素内最接近真实笔划的方向指定为八方向305之一。网格元素的方向维数随后累加在一起形成方向特征向量。

一个8维方向特征向量可以定义为V＝{v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈}，其中v_i的值是网格中第i方向维的计数，其中{1≤i≤8}。随后平均N×N网格的每个元素中所有的8维方向特征向量。最后为整个输入字符得到8×N×N维的方向特征向量。

随后，在方法200的步骤215，从背景像素110中提取背景凹度特征向量。步骤215进一步参照图5-7进行解释。参考图5再次展示了划写在像素输入板上的小写罗马字母“e”形式的输入字符100的示意图。归一化步骤通过定义输入字符周围的边缘矩形505来确定包围输入字符100的区域，如下将会详细描述。边缘矩形505中的背景像素110，例如显示在图5中的像素110“q”和“p”，随后分析如下。

前景像素105的搜索开始于每个背景像素110并且从每个背景像素110向四个方向延伸，直到达到边缘矩形505或达到前景像素105。称为福里曼(Freeman)方向的四方向搜索可以分别标为0、1、2和3，如图6所示。前景像素105所在的福里曼方向编号随后给出了背景像素110位于由前景像素105定义的闭合边缘内的大致范围。这样的近似称为凹度度量，并且凹度的位置和范围可以充分地应用于字符识别。也就是说，输入字符100凹度特征的度量可以与模型字符模板的凹度特征的度量进行比较来确定是否存在匹配。

根据本发明，背景凹度特征向量定义了输入字符100的凹度度量。参照图7，描述了图5中所示输入字符100的背景凹度特征向量的表。表中最下边一行710为表中的每列设定唯一的数字，其中每列表示定义从背景像素110的搜索结果的唯一可能排列。最顶一行715包括从每个背景像素110的搜索期间到达前景像素105的方向的个数。第三行720随后确定不能够到达任何前景像素105的方向。最后，第二行725是对于每个满足第一行715定义和第三行720定义的背景像素110的计数器。

例如，图5中从标为“q”的背景像素110向四个方向延伸的搜索在两个方向，方向1和2上到达前景像素105。这样搜索在另外两个方向3和0上没有到达前景像素。这样行710中的排列3定义了像素“q”并且行725中相关联的计数器加一。类似地，图5中标为“p”的背景像素110在三个方向，方向0、2和3上到达前景像素105。这样搜索没有到达前景像素105的剩下方向1。因此行710中的排列5定义了像素“p”，并且它在725行的相关计数器加1。

进行从背景像素110的搜索之前，输入字符100图像在边界矩形505内部的分辨率优选地降低。这样分辨率的降低减少了边界矩形505内背景像素110的数量并且从而加快了搜索的过程。由于背景像素110的数量通常比前景像素105的数量大很多，缩减图像分辨率不会显著地降低背景凹度特征向量的质量。

方法200的步骤215中提取背景凹度特征向量之后，背景凹度特征向量依照本领域所公知的模板匹配处理与模型字符模板进行比较。

现在参照图8，根据本发明的实施例，展示了手写识别方法200第一部分更多细节描述的广义流程图。在步骤205接收手写输入字符100之后，方法200继续到步骤805，在这里对字符100重新采样来消除重复像素并且归一化像素密度中的任何不规则。例如，这样的不规则可以在一个时间间隔内书写速度较快，得到较少的前景像素105；在另一时间间隔内减慢，得到较多的前景像素105时出现。本领域所公知的再采样技术，例如强制最小化两个数据点之间欧几里得距离的等距离再采样技术，使得前景像素105均匀地分布。这样的均匀分布可以提高本发明的字符识别正确率。

随后，在步骤810，把附加的预处理技术应用到接收的输入字符100。包括平滑、去噪和大小归一化过程。这样的预处理也增加了输入字符100的一致性，这带来了更好的字符识别结果。

方法200随后继续到步骤815，在这里输入字符对齐到N×N的网格。在步骤820，定义并且提取一个8维的方向特征向量。随后，在步骤825，减小输入字符100的图像分辨率，从而降低背景像素110的数量，为提取背景凹度特征向量做准备。如上所述，在步骤830，为提取背景凹度特征向量，从每个背景像素110进行搜索。

参照图9，展示了图8中方法200后继的广义流程图。在步骤935，前景方向特征向量与模型字符模板进行比较。这个步骤称为前景特征分类。随后在步骤940提供候选字符的第一短列表，包括前景方向特征向量和模型候选字符模板之间的第一向量距离(d₁)。向量之间距离可以基于，例如，欧几里得距离或街区距离(city-block distance)。随后对背景凹度特征向量完成类似的过程。在步骤945背景凹度特征向量与模型字符模板进行比较。这个步骤叫做背景特征分类。随后在步骤950提供候选字符的第二短列表，包括背景凹度特征向量和模型候选字符模板之间的第二向量距离(d₂)。

在步骤955，第一向量距离(d₁)和第二向量距离(d₂)根据以下公式合并：

d_comb＝W₁*d₁+W₂*d₂

如下所述，这里d_comb是用于确定手写识别系统最后所用匹配候选字符的加权向量距离。W₁和W₂是基于同背景特征分类比较时前景特征分类的相对表现，使用经验数据所确定的权重系数。通常W₁+W₂＝1。两个分类步骤的相对表现取决于例如输入字符100的字母表(例如，罗马字、中文、日文等等)以及个人的书写风格的不同。这样本发明的特定实施例可以自动地确定权重系数W₁和W₂，作为本发明方法调整个人用户书写习惯的迭代学习过程的一部分。

最后，在步骤960，方法200在提供匹配候选字符后完成。依照特定的手写识别系统的需要，在步骤960提供单个候选字符或一些候选字符的列表。

参照图10，展示可以用于实现上述本发明方法的移动电话151的示意图。电话151包括无线射频通信单元152，连接于处理器153并与之通信。显示屏155、键盘156和输入板169形式的输入接口同样在连接于处理器153并与之通信。本领域技术人员将意识到，输入板169可以集成到电话151另外的部分，例如显示屏155。用户随后可以通过在显示屏155上划写字符来输入手写文本。

处理器153包括带有用于存储数据的相关编码只读存储器(ROM)的编码/解码器161，存储的数据用于编解码通过移动电话151传输或接收的声音或其它信号。处理器153还包括通过公用数据和地址总线167连接到编/解码器161以及相关字符只读存储器(ROM)164的微处理器163，随机存取存储器(RAM)154，静态可编程存储器166，和可移除的SIM模块168。所述静态可编程存储器166和SIM模块168可以存储模型字符特征向量和通过使用输入板169输入的输入字符表示。

射频通信单元152是合并的带有公用天线157的接收器和传输器。通信单元152拥有通过射频放大器159连接到天线157的收发器158。收发器158同样连接到用于连接通信单元152和处理器153的复合调制/解调器160。

微处理器163拥有用于连接到例如键盘156、屏幕155和输入板169的端口。如上所述，字符只读存储器164存储用于对使用例如笔、输入笔或手指写在输入面板169上的手写字符表示进行手写识别的编码。

电话151的用户从而可以在输入板169上书写一个或多个字符，并且电话151将把字符保存在随机存取存储器(RAM)154、静态可编程存储器166和/或可移除SIM模块168当中。随后电话151的用户可以发布一个命令，例如利用键盘156，请求通过使用输入板169输入的手写字符得到识别。

识别手写字符的命令可以由微处理器163处理。利用存在代码ROM当中的编码，微处理器163将随后执行如上所述的本发明方法200，来为每一个输入字符通过模型字符模板与前景方向特征向量和背景凹度特征向量的比较而确定至少一个匹配的候选字符。按照特定系统的要求，微处理器163随后可以执行进一步的基于识别输入字符的命令。这样进一步的命令可以包括，例如，传输包括所识别输入字符的文本信息或输入包括所识别输入字符的地址簿信息。

因此，本发明是一种用于识别划写在电子设备用户接口上的手写字符的改进方法和系统。由于用于创建前景方向特征向量的数据和用于创建背景凹度特征向量的数据之间不直接相关，方法200包括独立并且冗余的、使得准确率提高的度量。独立的度量可以使得通过一种类型的特征向量的准确性使另一种类型的特征向量的错误得到补偿，无论是在前景方向特征向量中还是在背景凹度特征向量中。通过分析与输入字符100相关联的前景方向特征向量和背景凹度特征向量，本发明增加了输入字符100识别正确的可能性。

上面的详细说明只是为了提供优选的示范实施例，而并不想限制本发明的范围、适用性或结构。对优选示范实施例的详细说明是为了向本领域技术人员提供一个使其能够实现本发明的优选实施例的说明。应该可以理解，在不背离所附权利要求中所阐述的本发明的精神和范围的前提下，可以对组件及步骤的功能和结构做出多种不同的改变。

Claims (14)

1.一种手写识别的方法，包括如下步骤：

接收划写在电子设备用户接口上的手写输入字符表示，所述输入字符由用户接口上与背景像素相邻的前景像素所定义；

从前景像素提取前景方向特征向量；

从背景像素提取背景凹度特征向量；和

通过前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定匹配候选字符，

其中，所述的确定匹配候选字符的步骤进一步包括如下步骤：

通过比较前景方向特征向量和模型字符模板提供候选字符第一短列表和对应第一向量距离d₁；

通过比较背景凹度特征向量和模型字符模板提供候选字符第二短列表和对应第二向量距离d₂；和

按照下面公式合并第一向量距离d₁和第二向量距离d₂：

d_comb＝W₁*d₁+W₂*d₂

其中d_comb是加权向量距离，W₁和W₂是经验权重系数，并且W₁+W₂＝1；

其中，前景方向特征向量和背景凹度特征向量利用权重向量距离d_comb与模型字符模板进行比较。

2.如权利要求1所述的方法，进一步包括通过采用平滑、去噪和大小归一化处理进行手写输入字符预处理的步骤。

3.如权利要求1所述的方法，进一步包括在从背景像素提取背景凹度特征向量之前缩小手写输入字符表示的大小的步骤。

4.如权利要求1所述的方法，其中，所述的从背景像素提取背景凹度特征向量的步骤包括从每个背景像素出发向四个方向搜索前景像素。

5.如权利要求1所述的方法，其中，所述模型字符模板包括来自大量输入采样的方向特征向量的统计平均值。

6.如权利要求1所述的方法，进一步包括步骤：对输入字符进行再采样来消除重复像素并归一化像素密度中的不规则。

7.如权利要求1所述的方法，其中，所述经验权重系数W₁和W₂是在基于电子设备个人用户的书写习惯的迭代学习过程中确定的。

8.一种用于手写识别的系统，包括：

微处理器；

有效连接于所述微处理器的只读存储器ROM；

有效连接于所述微处理器的可编程存储器；和

有效连接于所述微处理器的输入板；

所述微处理器有效地执行存储在ROM中的代码来接收划写在输入板上的手写输入字符表示，所述输入字符由背景像素附近的前景像素确定，从前景像素中提取前景方向特征向量，从背景像素中提取背景凹度特征向量，通过前景方向特征向量和背景凹度特征向量与模型字符模板的比较来确定匹配候选字符，

其中，在所述微处理器确定匹配候选字符时，其进一步：

通过比较前景方向特征向量和模型字符模板提供候选字符第一短列表和对应的第一向量距离d₁，

通过比较背景凹度特征向量和模型字符模板提供候选字符第二短列表和对应的第二向量距离d₂，

根据如下公式合并第一向量距离d₁和第二向量距离d₂：

d_comb＝W₁*d₁+W₂*d₂，

其中d_comb是加权向量距离，W₁和W₂是经验权重系数，并且W₁+W₂＝1，

其中前景方向特征向量和背景凹度特征向量利用权重向量距离d_comb与模型字符模板进行比较。

9.如权利要求8所述的方法，其中，所述微处理器进一步有效地对手写输入字符通过执行平滑、去噪和大小归一化处理来进行预处理。

10.如权利要求8所述的系统，其中，在从背景像素提取背景凹度特征向量之前，所述微处理器进一步缩小手写输入字符表示的大小。

11.如权利要求8所述的系统，其中，当所述微处理器从背景像素中提取背景凹度特征向量时，其进一步从每个背景像素出发向四个方向对前景像素进行搜索。

12.如权利要求8所述的系统，其中，所述模型字符模板包括来自大量输入采样的方向特征向量的统计平均值。

13.如权利要求8所述的系统，其中，所述微处理器对输入字符进行再采样来消除重复像素并归一化像素密度中的不规则。

14.如权利要求8所述的系统，其中，所述经验权重系数W₁和W₂是在基于电子设备个人用户的书写习惯的迭代学习过程中确定的。

Images