CN101937286B - 光笔轨迹识别系统和方法 - Google Patents

Abstract

本发明公开了一种光笔轨迹识别系统，应用在电子设备上，所示识别系统包括：笔端设置有压力感应灯的光笔；摄像头，所述摄像头根据所述压力感应灯的指示采集所述光笔的轨迹图片；轨迹跟踪单元，对所述采集轨迹图片进行光笔轨迹跟踪并记录到轨迹记录图片中；图像识别单元，对所述轨迹记录图片进行识别处理；以及显示单元，将识别结果显示到电子设备的屏幕上。本发明可以方便使用于电子设备的字符输入。

Description

光笔轨迹识别系统和方法

技术领域

本发明涉及识别技术，尤其涉及一种基于光笔轨迹跟踪的字符识别系统和方法。

背景技术

目前，诸如手机、个人数字助理(PDA)及电脑等电子设备越来越多的加入了手持输入设备，例如触摸屏，其功能是使用一只专门的笔，或者手指在特定的区域内书写文字，可通过各种方法将笔或手指走过的轨迹记录下来，并识别为文字。为了方便使用，通常是在电子设备上设置普通键盘和鼠标，但有些手持输入设备由于体积的原因，不适合在上面增加键盘和鼠标。

并且，对于利用触摸屏来提供手持输入设备的输入平台的电子设备。由于触摸屏具有很高的经济成本，从而相应提升了这些电子设备的制造成本。

因此，现有电子设备存在使用方便和成本较高的问题。

发明内容

本发明的目的旨在至少解决现有技术中的上述问题之一。

为此，本发明的实施例提出一种方便使用的光笔轨迹识别系统及方法。

根据本发明的一个方面，本发明实施例提出了一种光笔轨迹识别系统，应用在电子设备上，所示识别系统包括：笔端设置有压力感应灯的光笔；摄像头，所述摄像头根据所述压力感应灯的指示采集所述光笔的轨迹图片；轨迹跟踪单元，对所述采集轨迹图片进行光笔轨迹跟踪并记录到轨迹记录图片中；图像识别单元，对所述轨迹记录图片进行识别处理；以及显示单元，将识别结果显示到电子设备的屏幕上。

根据本发明的另一方面，本发明的实施例提出一种光笔轨迹识别方法，应用到包括摄像头的电子设备上，所述识别方法包括以下步骤：a)根据光笔笔端设置的压力感应灯的指示，摄像头采集光笔的轨迹图片；b)对所述采集轨迹图片进行光笔轨迹跟踪并记录到轨迹记录图片中；c)在光笔提起后，根据所述轨迹记录图片进行光笔轨迹的识别处理；以及d)将识别结果显示到电子设备的显示屏上。

本发明结合摄像头来识别光笔的轨迹，并传输到摄像头相连的电子设备进行图像处理，对光笔的轨迹进行检测、分割、特征提取、识别，最后将轨迹识别的结果显示到屏幕上。本发明优点在于不用携带任何手写输入设备，只需要携带光笔和带摄像头的电子设备即可。因此，不仅可以方便电子设备的字符输入，还降低了电子设备的制造成本。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的光笔轨迹识别系统的硬件结构示意图；

图2为本发明实施例的光笔轨迹识别系统的软件结构示意图；

图3为本发明实施例的光笔轨迹识别方法流程图；

图4为本发明实施例的图像二值化处理步骤流程图；

图5和图6分别为采集图像和二值化处理后的图像示意图；

图7为本发明光笔轨迹跟踪步骤流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

首先参考图1，图1为本发明实施例的光笔轨迹识别系统的硬件结构示意图。

本发明的光笔轨迹识别系统应用在电子设备16上，如图所示，在电子设备16上设置有摄像头18，识别系统的光笔10的笔端设置有压力感应灯12。当利用光笔10在平滑平面14上书写时，其上的压力感应灯12感应到的压力，则灯亮(表示正在书写)，当光笔10抬起时，没有压力，压力感应灯12则熄灭(表示笔抬起)。

摄像头18则根据压力感应灯12的发光的指示，准确地获取光笔10抬起和书写的状态，从而采集光笔10在平滑平面14上书写的轨迹图片。摄像头18检测光笔10的轨迹图片，并传输到与摄像头相连的电子设备16进行图象处理，从而对光笔10的轨迹进行检测和识别，最后将轨迹识别的结果显示到电子设备的屏幕上。

需要指出的是，平滑平面14可以是独立于电子设备16的任意合适平面，只要光笔10在其上面的书写便于摄像头18采集轨迹图片即可。

下面，结合图2对本发明实施例的光笔轨迹识别系统的软件结构给出描述。

在光笔压下，即进行书写时，图像采集模块20，也就是摄像头，根据光笔上设置的压力感应灯对光笔的轨迹图片进行采集，采集的轨迹图片由轨迹跟踪单元30进行跟踪处理和记录，并保存在轨迹记录图片中。

当光笔未提起时，图像采集模块20采集到的图像通过轨迹跟踪单元30进行光笔轨迹跟踪和记录。一旦发现光笔提起，摄像头停止对光笔轨迹图片的采集，同时轨迹跟踪单元30将记录光笔轨迹的图片交由图像识别单元40进行处理。否则，图像采集模块20和轨迹跟踪单元30重复其对应的采集和跟踪记录操作。

在图2所示实施例中，轨迹跟踪单元30可以包括颜色转变模块32、二值化处理模块34、轨迹搜索模块36和轨迹记录模块38。颜色转变模块32是将图像采集模块20采集的轨迹图片颜色由RGB转变为HSV格式。HSV颜色空间符合人眼对颜色的三维感知，H色度表示不同颜色，S表示颜色的饱和度，V表示颜色的明暗程度。

二值化处理模块34是根据光笔的颜色特点，对HSV颜色转变后的轨迹图片中的每个点进行二值化处理，从而将光笔轨迹对应的点和其他非光笔轨迹点划分为两个值。轨迹搜索模块36搜索经过二值化处理的轨迹图片，得到光笔轨迹的对应点。轨迹记录模块38则将搜索到的光笔轨迹对应点记录到轨迹记录图片中。

如上文所述，在检测到光笔提起之后，当前记录的轨迹记录图片会交给图像识别单元40进行处理。如图所示，本实施例的图像识别单元40包括轨迹分割模块42、特征提取模块44和字符识别模块46。

轨迹跟踪单元30提供的轨迹记录图片中可能包含过多的空白地方，因此轨迹分割模块42在后续特征提取之前，将轨迹记录图片中轨迹实体与背景进行分割，以避免对后续特征提取的影响。轨迹分割模块42主要是将光笔轨迹包含在一个尽可能小的矩形图片中。例如，轨迹分割模块42从图片的左上，左下，右上，右下四个方向搜索白点，确定包含轨迹的最小矩形的四个点，之后进行归一化处理，统一大小。

特征提取模块44在分割后的轨迹记录图片基础上进行特征提取，例如采用主成分分析法(PCA)对轨迹图片进行特征提取。

字符识别模块46将提取特征值与预定特征字符库进行比较，从而识别光笔轨迹对应的字符。在一个实施例中，字符识别模块46采用决策理论分析方法中最近领域分类法实现字符识别。

为保证尽可能多地包含轨迹的特征，本发明可以采用90％的特征值相对应的特征向量作为特征空间。并采用NIST数据库作为训练库，将其中所有字符向特征空间投影形成预定特征字符库。这样，待识别的光笔轨迹字符通过向特征空间投影得，到特征值与特征字符库比较就可识别出来。

识别的字符传输给显示单元50，从而将识别结果按照一定的格式在显示屏上显示处理，以供用户选择。

另外，本发明提供了一种光笔轨迹识别方法，图3给出了该方法实施例的流程图。

首先，根据光笔笔端设置的压力感应灯的指示，摄像头采集光笔的轨迹图片(步骤102)。例如，当利用光笔书写时，其上的压力感应灯亮起，当光笔抬起时，压力感应灯则熄灭。摄像头则根据压力感应灯的发光指示，准确地获取光笔抬起和书写的状态，从而采集光笔的轨迹图片。

然后，对采集的轨迹图片进行光笔轨迹跟踪，并记录到轨迹记录图片中(步骤104)。在进行轨迹跟踪时，需要首先转变采集轨迹图片颜色并进行二值化处理。具体可以参考图4的实施例。

如图4所示，首先输入步骤102采集得到的轨迹图片(步骤202)。然后，转换图像颜色空间，将该图片颜色从RGB转变为HSV格式。

从RGB模型到HSV模型的转换的公式例如如下：

$\left\{\begin{array}{c}{H}_1={\cos }^{-1}\frac{0.5[(R\_G)+(R-B)]}{\sqrt{(R-G)2+(R-B)(G-B)}}\\ H=\left\{\begin{array}{cc}{H}_1& (B\≤G)\\ 360-H_1& (B>G)\end{array}\right.\\ S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R,G,B)}\\ V=\frac{\max (R,G,B)}{\text{255}}\end{array}\right.$

然后，根据光笔的颜色特点将转变后的轨迹图片每个点进行二值化处理。处理时，需要选定合适的亮度阈值(步骤206)。然后判断每个点的颜色是否大于该阈值(步骤208)。若大于，则将对应点延伸转变为白色(步骤202)，即作为光笔轨迹的对应点。否则，将颜色转变为黑色(步骤210)。

例如可采用如下公式对原图像每个点进行二值化处理：

在图片中每个点均进行二值化处理之后，则处理结束(步骤214)。

参考图5和图6，它们分别显示了光笔笔尖对应点(即光笔轨迹点)在采集图像中和二值化处理后的图像中的显示形式。如图5所示，摄像头采集的光笔轨迹点为点a，二值化处理后点a则转变为a’。

在二值化处理之后，对二值化轨迹图片中的白点进行搜索，以跟踪和记录光笔轨迹。关于轨迹点搜索的步骤可以参考图7的实施例。

如图所示，首先初始化相关参数变量(步骤302)。例如初始化记录轨迹的图片A的所有点为黑，记为 $A=\left\{\begin{array}{ccc}0& \·\·\·& 0\\ \·\·\·& \·\·\·& \·\·\·\\ 0& \·\·\·& 0\end{array}\right\},$ 并初始化第一个点标志为FIRSTPOINT＝TURE。

然后，分别从图片的边缘，例如左上，左下，右上，右下进行白点搜索(步骤304)。判断检测的是否为第一个白点(步骤306)，若是，则将检测到的第一个白点所在矩形的中心点作为轨迹点，并记录轨迹(步骤308)。并删除第一点标志(步骤310)，设置FIRSTPOINT＝FALSE。

若搜索的白点不是第一点，比如FIRSTPOINT＝FALSE，则记录该点到图片A中(步骤312)，并将连接上一点与该点的直线上点也记录为轨迹点(步骤314)。

通过上述步骤对图片中搜索完毕之后，即得到了基于对采集轨迹图片进行轨迹跟踪的光笔轨迹记录图片A。

现在返回参考图3，在光笔提起后，则结束轨迹跟踪，并根据轨迹记录图片进行光笔轨迹的识别处理(步骤106)。在光笔未提起时，则重复上述步骤102和104。

在进行字符识别时，需要对轨迹记录图片进行特征提取，例如采用主成分分析法(PCA)对轨迹图片进行特征提取。然后，将提取特征值与预定特征字符库进行比较，从而识别光笔轨迹对应的字符。

在一个实施例中，可以采用决策理论分析方法中最近领域分类法实现字符识别。

最近领域分类法的表述如下：

将最小距离的概念从点和点之间的距离扩充到一个点与一组点之间的距离。这里的点即表示从轨迹记录图片中提取的特征值。

设R₁，R₂，...，R_m分别是与类w₁，w₂，...，w_m相对应的参考向量的m个集合，R_i中的向量为R_i ^k， $R_i^k\∈R_i,$ k＝1，2，...，l即

$R_i=\{R_i^1,R_i^2,...,R_i^l\}$

输入特征向量X与R_i之间的距离为

$d(X,R_i)=\min |X-R_i^k|,$ k＝1，2，...，l

X与R_i之间的距离是X与R_i中每一个向量距离中的最小者，其判别函数D_i(X)为 $D_i\left(X\right)=\min \{X^T{R}_i^k+{\left(R_i^k\right)}^{T}X-{\left(R_i^k\right)}^T{R}_i^k\}$ i＝1，2，...，m

设 $D_i^k\left(X\right)=X^T{R}_i^k+{\left(R_i^k\right)}^{T}X-{\left(R_i^k\right)}^T{R}_i^k$

则 $D_i\left(X\right)=\min \left\{D_i^k\left(X\right)\right\}$ k＝1，2，...，l；i＝1，2，...，m  式中：D_i ^k(X)为特征的线性组合，决策边界将是分段线性的。

此外，由于轨迹记录图片中可能包含过多的空白地方，因此在上述特征提取之前，可以将轨迹记录图片中轨迹实体与背景进行分割，以避免对特征提取的影响。例如，将光笔轨迹包含在一个尽可能小的矩形图片中。从图片的左上，左下，右上，右下四个方向搜索白点，确定包含轨迹的最小矩形的四个点，之后进行大小归一化处理。

最后，将关于光笔轨迹的识别结果在电子设备的显示屏显示出来(步骤108)。

考虑到现有技术的上述局限及摄像头的普及，本发明结合摄像头来识别光笔的轨迹。本发明优点在于不用携带任何手写输入设备，只需要携带光笔和带摄像头的电子设备即可。因此，不仅使用方便，同时还降低了电子设备的制造成本。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (13)

1.一种光笔轨迹识别系统，应用在电子设备上，其特征在于，所述识别系统包括：

笔端设置有压力感应灯的光笔；

摄像头，所述摄像头根据所述压力感应灯的指示采集所述光笔的轨迹图片；

轨迹跟踪单元，对所述采集的轨迹图片进行光笔轨迹跟踪并记录到轨迹记录图片中；

图像识别单元，对所述轨迹记录图片进行识别处理；以及

显示单元，将识别结果显示到电子设备的屏幕上；

所述轨迹跟踪单元包括：

颜色转变模块，将所述采集的轨迹图片颜色转变为HSV格式；

二值化处理模块，根据光笔的亮度特点将转变后的所述轨迹图片中的每个点进行二值化处理；

搜索模块，搜索所述二值化处理后的轨迹图片中所述光笔轨迹的对应点；以及

记录模块，将所述光笔轨迹的对应点记录到所述轨迹记录图片中。

2.如权利要求1所述的识别系统，其特征在于，所述图像识别单元包括：

特征提取模块，根据所述轨迹记录图片进行特征提取；以及

字符识别模块，比较所述特征与预定特征字符库以识别所述光笔轨迹对应的字符。

3.如权利要求2所述的识别系统，其特征在于，所述图像识别单元还包括轨迹分割模块，用于在所述特征提取之前将所述轨迹记录图片中轨迹实体与背景进行分割，以包含所述光笔轨迹在较小的轨迹记录图片中。

4.如权利要求2所述的识别系统，其特征在于，所述特征提取模块利用主成分分析法对所述轨迹记录图片进行特征提取。

5.如权利要求2所述的识别系统，其特征在于，所述字符识别模块利 用最近领域分类法进行字符识别。

6.一种光笔轨迹识别方法，应用到包括摄像头的电子设备上，其特征在于，所述识别方法包括以下步骤：

a)根据光笔笔端设置的压力感应灯的指示，摄像头采集光笔的轨迹图片；

b)对所述采集的轨迹图片进行光笔轨迹跟踪并记录到轨迹记录图片中，具体为：将所述采集的轨迹图片颜色转变为HSV格式；根据光笔的亮度特点将转变后的所述轨迹图片中的每个点进行二值化处理；以及搜索所述二值化处理后的轨迹图片中所述光笔轨迹的对应点，以跟踪和记录所述光笔轨迹；

c)在光笔提起后，根据所述轨迹记录图片进行光笔轨迹的识别处理；以及

d)将识别结果显示到电子设备的显示屏上。

7.如权利要求6所述的识别方法，其特征在于，所述步骤c)包括：

根据所述轨迹记录图片进行特征提取；以及

比较所述特征与预定特征字符库以识别所述光笔轨迹对应的字符。

8.如权利要求7所述的识别方法，其特征在于，所述步骤c)还包括：在所述轨迹特征提取之前对所述轨迹记录图片中的轨迹实体与背景进行分割，以包含所述光笔轨迹在较小的轨迹记录图片中。

9.如权利要求7所述的识别方法，其特征在于，利用主成分分析法对所述轨迹记录图片进行特征提取。

10.如权利要求7所述的识别方法，其特征在于，利用最近领域分类法进行字符识别。

11.如权利要求6所述的识别方法，其特征在于，在光笔未提起时，重复所述步骤a)和b)。

12.如权利要求6所述的识别方法，其特征在于，所述二值化处理步骤包括：

将所述轨迹图片中每个点的颜色分别和预定亮度阈值进行比较；

在大于所述阈值时，将对应点的颜色转变为表示所述光笔轨迹的白色； 

在不大于所述阈值时，将对应的点颜色转变为黑色。

13.如权利要求12所述的识别方法，其特征在于，所述搜索步骤包括：

分别从所述二值化处理后的轨迹图片的边缘进行白点搜索；

将搜索到的白点所在矩形的中心点记录为光笔轨迹点；

将搜索到的非第一个白点与其上一个点之间连线上的点记录为光笔轨迹点。 

Images