CN101320291A - 一种基于可见光检测的虚拟文字识别方法 - Google Patents

Abstract

本发明提供一种基于可见光检测的虚拟文字识别方法，首先利用可见光发射设备在空中书写字符，然后通过摄像装置将可见光的运动轨迹记录下来，接着利用图像处理及识别装置对摄像装置摄取的信息进行处理和识别，最终获得用户输入的文字信息。本发明仅仅利用一个普通的带红光滤镜的摄像头和一个简单的红光发射设备就可以实现一个有效的字符输入设备。较之传统的输入设备，不仅设备简单，成本低廉，而且在方便性和智能性方面也有显著的优势，并且还很容易的移植到嵌入式设备中，大大的扩展了应用范围。

Description

一种基于可见光检测的虚拟文字识别方法

技术领域

本发明涉及计算机视频数据处理、图像数据处理和汉字信息处理技术，特别是涉及一种虚拟的手写文字图像识别方法。

技术背景

尽管计算机发明以来，其自身经历过多次的技术变革，使其越来越人性化和智能化。然而，传统的鼠标和键盘仍然是绝大多数计算机所倚靠的输入设备。正是由于鼠标和键盘的存在，使得计算机的输入设备显得庞大而不方便移动，同时也严重限制了输入的速度。并且传统的输入设备对于三维或者多自由度的输入是无法处理的。

这个难题不仅限制了PC机向智能化的发展，更对一些常用的便携式设备的进一步发展设置了障碍。目前各种便携式设备，特别是手机，正力求向更小巧、更便捷、更智能化的方向发展，但是由于省略不了键盘的存在，使得该方向的发展很难有革命性的突破。

为了解决这一问题，语音输入识别系统和利用触摸屏和触摸笔作为输入设备等方法获得了广泛的应用。但是，一方面语音输入的识别率仍然较低，并且对使用者的语音标准程度和环境的安静程度都有一定要求。另一方面，利用触摸屏和触摸笔作为输入设备则会增加设备的复杂度和成本。

另外一些基于视频图像作为输入的方法也开始渐渐得到了一些尝试。例如2002年11月公开的公开号为CN1378171的专利，描述了一套有图像感应装置和感应信息提取装置构成的计算机系统，该系统通过获得手或者制定物在空间形态信息，并利用该信息产生操作指令。而2003年公开号为CN03136144.7的专利对其进行了一定程度的补充，将图像的DSP处理器功能改成软件实现。但是仍然无法摆脱系统复杂度高，体积较大，成本较高的缺点。2005年9月公开的公开号为CN1661455A的专利，描述了一种视频识别输入系统，该系统利用两个摄像头构造了一个虚拟键盘来实现输入。虽然该设备有效的解决了常用输入设备复杂度高，体积大等缺点，却仍然没有摆脱常规的“键盘”的限制，在输入速度，智能性以及便携性方面还有许多改进的空间。

发明内容

本发明的目的在于克服现有输入设备复杂、体积较大、识别率低下、成本高、智能化程度低等不足，提供了一种基于红光检测的文字识别方法，能够有效的提高增强系统的智能性和便携性。

为了实现上述发明目的，采用的技术方案如下：

一种基于可见光检测的虚拟文字识别方法，首先利用可见光发射设备在空中书写字符，然后通过摄像装置将可见光的运动轨迹记录下来，接着利用图像处理及识别装置对摄像装置摄取的信息进行处理和识别，最终获得用户输入的文字信息。

上述技术方案中，所述图像处理及识别装置所进行的处理和识别包括背景建模、轨迹跟踪、字符重构及识别。

所述背景建模对由摄像装置捕捉到的可见光的运动轨迹图像进行处理，建立背景模型，从而更准确有效的检测和跟踪到可见光的运动轨迹，建立背景模型的具体操作为当用户结束输入上一个字符的时候，将摄像装置捕捉到的图像作为初始背景模型，而开始输入当前字符时摄像装置捕捉到的图像作为背景更新模型，将这两个背景模型合并得到最终的背景模型。

所述轨迹跟踪是从摄像装置捕捉到的可见光的运动轨迹图像中，可见光运动轨迹是一块不规则的区域，从该不规则区域中搜索到一个有效的轨迹点作为当前时刻可见光的确切轨迹，并进行跟踪，具体分为以下几个步骤：

(21)、利用背景消除算法消除背景干扰；

(22)、轨迹检测和跟踪；

(23)、噪声消除。

所述步骤(21)的背景消除算法将可见光的运动轨迹图像中可见光运动轨迹及噪声所对应的白色区域的像素值设置为1，而剩余区域中的像素值设置为0，然后对当前时刻捕捉到的一帧可见光运动轨迹图像A进行遍历，一旦搜索到值为1的像素点，则运用公式 $C\left[i\right]\left[j\right]=\left\{\begin{array}{ccc}1& \mathrm{if}& A\left[i\right]\left[j\right]-B\left[i\right]\left[j\right]>0\\ 0& \mathrm{other}& \end{array}\right.$ 进行计算，得出除背景后的可见光运动轨迹图像C，其中图像B是背景模型，C[i][j]表示图像C中位于第i行第j列的像素点。

所述步骤(22)轨迹检测和跟踪，首先定义如下距离度量公式：

$\mathrm{SCD}(M,N)=k,\mathrm{if},k\≤\left|\right|M-N\left|\right|\≤k\sqrt{2},$ 其中M，N是两个向量，“‖‖”是求模符号，具体轨迹检测和跟踪如下：

粗定位：如果当前检测的轨迹点是字符的第一个点，则以图像的左上角第一个像素为起点A，否则，以上一个轨迹点为起始点A，然后首先搜索具有较小的SCD(A，P)的点P，再按照步骤(41)的背景消除算法判断该点是否属于轨迹区域内的点，直到搜索到轨迹区域内的一个随机点B作为轨迹点的一个粗定位点；

精确定位轨迹点：根据粗定位点B，画出一条垂直的线和一条水平的线，然后找到这两条线与轨迹区域的4个交叉点C、D、E、F，然后分别以C、D、E、F四个点为搜索起始点，分别向左、下、右、上四个方向搜素，直到搜索到轨迹区域的左下右上四个边界点为止，然后根据这四个边界点构造出轨迹区域的外接矩形，设定这个外接矩形的中心为确切的轨迹点；

检测：如果轨迹区域的外接矩形的长宽值或者它们的比值超出一个预定的合理范围，则拒绝检测到的轨迹点，并重新进行搜素，如果在整幅图像中均无法搜索到轨迹点，则将上一个轨迹点定义为当前的轨迹点。

所述字符重构及识别将轨迹跟踪所跟踪到的可见光运动轨迹连接起来构成虚拟字符，然后对虚拟字符进行特征提取和分类得到识别结果。

所述字符重构及识别包括如下字符重构算法：

(31)平滑滤波，假设数组P记录了所有的经过归一化后的轨迹点的坐标，则对于数组P内的每一个轨迹点，运用如下公式对每个轨迹点的坐标进行修改：

$P{\left[i\right]}^{\′}=\frac{1}{2t+1}\underset{k=i-t}{\overset{i+1}{\mathrm{\Σ}}}P\left[k\right],$ 其中t≤i≤N-t，N是轨迹点的总数，t是经验参数，表示滤波器的半宽度；

(32)连接邻近点，运用数字差分分析算法将邻近的轨迹点用直线连接起来；

(33)重采样，将经过步骤(32)处理过的可见光轨迹点按照等距离间隔的规则进行重采样，得到重采样后的轨迹点；

(34)再次连接邻近点，运用数字差分分析算法将重采样后的轨迹点用直线依次连接起来，将原始的可见光轨迹转换成二维空间中的虚拟字符。

所述字符重构及识别包括如下特征提取和分类算法：

首先对虚拟字符提8方向128维的取梯度特征，然后用线性判决分析算法将原始维数降低到40维，最后用最小距离分类器进行分类，得到最终的识别结果。

本发明仅仅利用一个普通的带红光滤镜的摄像头和一个简单的红光发射设备就可以实现一个有效的字符输入设备。较之传统的输入设备，不仅设备简单，成本低廉，而且在方便性和智能性发面也有显著的优势，并且还很容易的移植到嵌入式设备中，大大的扩展了应用范围。

附图说明

图1是本发明的系统构架图；

图2是本发明的系统框图；

图3是轨迹检测和跟踪算法的示意图；

图4是部分重构出来的虚拟字符示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

如附图1所示，本发明包括一个带有红光滤镜的普通摄像头，一个红光发射设备(一个普通的红色LED灯即可)和一台数字计算机(或者一个嵌入式设备)。首先，用户利用红光发射设备在空中书写字符，然后摄像头将红光的运动轨迹记录下来(注：有没有背景要求，即规定红光的运动轨迹应该在特定的背景下？答复：没有.)，接着利用计算机对视频图像信息进行处理和识别，最终获得用户输入的信息。

为了正确有效的识别出用户输入的信息，本发明所涉及到的系统需按照如下步骤执行：

1、用户在摄像头可以捕捉到的范围内利用红光输入设备在空中书写字符；

2、在用户书写的同时，携带红光滤镜的摄像头不断捕捉红光的运动轨迹图像，并记录下来；

3、被记录下来的红光经过数据处理设备(PC或者嵌入式设备)对图像数据进行处理：首先运用背景建模算法和除噪算法对摄像头捕捉到的视频图像进行处理，除去噪声并构建背景模型，进而能够准确有效的检测和跟踪红光的运动轨迹。紧接着运用轨迹跟踪算法和字符重构算法将一系列的红光运动轨迹在二维平面内进行重构，使其成为一个虚拟的手写字符。最后对获得的虚拟字符提取梯度特征，并运用线性判决分析算法进行降维，最终用最小距离分类器进行分类，得到最终的输出结果。

本发明的系统框图如附图2所示，本发明所涉及到的系统由背景建模、轨迹跟踪和字符重构及识别三大模块组成。

1、背景建模模块：

此模块的功能是对由摄像头捕捉到的红光的运动轨迹图像进行处理，建立背景模型，从而可以更准确有效的检测和跟踪到红光的运动轨迹。

本发明所涉及的系统有以下几个特点：一是摄像头获得的图像是二值图像，这导致了噪声的颜色和捕捉到的红光的运动轨迹的图像是相同的(均为白色)；二是在用户书写的过程中背景图像是不稳定的，是不断变化的；第三个特点就是同样在用户书过程中，摄像头捕捉到的红光轨迹图像的大小和形状也是不断变化的。

正是由于这些特点导致了传统的背景建模中可以运用到的颜色信息、背景和前景的形状大小等信息在本发明所涉及到的系统的背景建模中将很难用到。为了解决这个问题，本发明提供了一种简单有效的背景建模方法，具体实现的步骤和算法原理如下：当用户结束输入上一个字符的时候，此时摄像头捕捉到的图像为初始背景模型，而开始输入当前字符是摄像头捕捉到的图像为背景更新模型。而最终的背景模型则是将这两个背景模型合并所得。

2、轨迹跟踪模块：

摄像头捕捉到的红光的运动轨迹图像中，红光轨迹在每帧图像中并非是以一个理想的点的形式出现，而是一块不规则的区域。而轨迹跟踪算法则是从这块不规则的区域中搜索到一个有效的轨迹点作为当前时刻红光的确切轨迹，并进行跟踪。

具体实施本模块中的算法又分为以下几个步骤：

(1)利用背景消除算法消除背景干扰：

本部分的算法主要是消除背景干扰，为了更好的阐述该算法，我背景中的白色区域(轨迹区域和噪声区域)中的像素点的值设置为1，而剩余区域中的像素值设置为0。

传统的背景消除算法如公式(1)所示，假设图像B是由前一个模块得到的背景模型，图像A是当前时刻捕捉到的一帧运动轨迹图像，然后利用公式(1)就可以得到消除背景后的图像C，而随后的轨迹跟踪算法都是在以图像C为基础来完成的。

$C\left[i\right]\left[j\right]=\left\{\begin{array}{ccc}1& \mathrm{if}& A\left[i\right]\left[j\right]-B\left[i\right]\left[j\right]>0\\ 0& \mathrm{other}& \end{array}\right.---\left(1\right)$

其中C[i][j]表示图像C中位于第i行第j列的像素点。

但是这种传统的背景消除算法需要遍历图像A和B中所有的像素点，并进行背景消除处理，这样是十分低效的。特别是涉及到的系统移植到嵌入式设备中，这样的算法复杂度更是不可接受的。

为了解决这个问题，本发明提出了一种新的高效的背景消除算法。首先按照一定的搜索策略(具体算法见下一部分的轨迹检测和跟踪算法)对图像A进行遍历，一旦搜索到值为1的像素点，则运用公式(1)进行计算，来判断该像素点是否在红光的轨迹区域内。又由于在背景消除算法和轨迹检测和跟踪算法是交叉使用的，因此，仅仅对图像A的部分区域进行了搜索和背景消除处理，其算法的复杂度较之传统的方法简单很多。

(2)、轨迹检测和跟踪算法：

本部分的算法就是在去除了背景的轨迹图像中搜索到一个有效的轨迹点作为当前时刻红光的确切轨迹。为了更清楚的介绍此算法，首先定义以下的一个距离度量公式：

$\mathrm{SCD}(M,N)=k,\mathrm{if},k\≤\left|\right|M-N\left|\right|\≤k\sqrt{2}---\left(2\right)$

其中M，N是两个向量，“‖‖”是求模的符号。

如附图3所示，轨迹检测和跟踪算法如下：

a、粗定位：如果当前检测的轨迹点是字符的第一个点，则以图像的左上角第一个像素为搜索算法的起点，否则，以上一个轨迹点为搜算算法的起始点。如附图4所示，假设点A是搜索起始点，然后首先搜索具有较小的SCN(A，P)的点P，再按照第一部分的背景消除算法判断该点是否属于轨迹区域内的点。按照这种搜索算法，可以很快搜索到轨迹区域内的一个随机点(假设为点B)作为轨迹点的一个粗定位点。

b、精确定位轨迹点：根据粗定位点B，可以画出一条垂直的线和一条水平的线，然后可以找到这两条线与轨迹区域的4个交叉点C、D、E、F。然后分别以C、D、E、F四个点为搜索起始点，分别向左、下、右、上四个方向搜素，直到搜索到轨迹区域的左下右上四个边界点为止。然后根据这四个边界点构造出轨迹区域的外接矩形。然后就设定这个外接矩形的中心就是确切的轨迹点。

c、检测：尽管轨迹区域的形状和大小在用户书写字符的时候不断变化，但是其外接矩形的长宽比也必然在一个范围内。因此，如果轨迹区域的外接矩形的长宽值或者它们的比值超出一个合理的范围，则算法将拒绝上一步检测到的轨迹点，并重新进行搜素，如果在整幅图像中均无法搜索到轨迹点，则将上一个轨迹点定义为当前的轨迹点。

(3)、噪声消除算法：

轨迹检测和跟踪算法除了可以实现其本身的功能外，还在一定程度上实现了除噪的功能。因为轨迹检测和跟踪算法仅仅搜索了轨迹附近的一些区域的像素点，而屏蔽了搜索区域意外的噪声干扰。

3、字符重构和识别模块：

此模块的功能主要是将跟踪到的红光运动轨迹连接起来构成虚拟字符，然后对虚拟字符进行特征提取和分类得到输出结果。实现步骤如下：

(1)字符重构算法：

该算法主要功能是将检测到的十分潦草的红光的运动轨迹连接起来构成虚拟字符，并尽可能的使虚拟字符更加工整。整个算法分为一下几个步骤：

a、平滑滤波：该算法主要是消除由于用户在书写过程中手的无意抖动造成的笔画形变。算法如下：假设数组P记录了所有的经过归一化后的轨迹点的坐标，则对于数组P内的每一个轨迹点，运用公式(3)对每个轨迹点的坐标进行修改

$P{\left[i\right]}^{\′}=\frac{1}{2t+1}\underset{k=i-t}{\overset{i+1}{\mathrm{\Σ}}}P\left[k\right]---\left(3\right)$

其中t≤i≤N-t，N是轨迹点的总数，t是经验参数，表示滤波器的半宽度，在本实施例中取2。

b、连接邻近点：运用数字差分分析(DDA)算法将邻近的轨迹点用直线连接起来。

c、重采样：重采样的目的主要是消除由于书写速度变化引起的相邻轨迹点间距离变化的影响。将经过步骤b处理过的红光轨迹点按照等距离间隔的规则进行重采样(本发明中重采样间隔取3)，得到重采样后的轨迹点。

d、再次连接邻近点：同样运用DDA算法将重采样后的轨迹点用直线依次连接起来，将原始的红光轨迹转换成二维空间中的虚拟字符，如附图4所示的就是部分重构出来的虚拟字符。

4、特征提取和分类算法：

红光轨迹图像经过字符重构算法之后，就可以转换成二维平面空间中的虚拟字符。而本部分中的算法主要是针对这些虚拟字符，进行特征提取和分类。首先对虚拟字符提8方向128维的取梯度特征，然后用线性判决分析(LDA)算法将原始维数降低到40维，最后用最小距离分类器进行分类，得到最终的识别结果。

Claims (9)

1、一种基于可见光检测的虚拟文字识别方法，其特征在于首先利用可见光发射设备在空中书写字符，然后通过摄像装置将可见光的运动轨迹记录下来，接着利用图像处理及识别装置对摄像装置摄取的信息进行处理和识别，最终获得用户输入的文字信息。

2、根据权利要求1所述的基于可见光检测的虚拟文字识别方法，其特征在于所述图像处理及识别装置所进行的处理和识别包括背景建模、轨迹跟踪、字符重构及识别。

3、根据权利要求2所述的基于可见光检测的虚拟文字识别方法，其特征在于所述背景建模对由摄像装置捕捉到的可见光的运动轨迹图像进行处理，建立背景模型，从而更准确有效的检测和跟踪到可见光的运动轨迹，建立背景模型的具体操作为当用户结束输入上一个字符的时候，将摄像装置捕捉到的图像作为初始背景模型，而开始输入当前字符时摄像装置捕捉到的图像作为背景更新模型，将这两个背景模型合并得到最终的背景模型。

4、根据权利要求3所述的基于可见光检测的虚拟文字识别方法，其特征在于所述轨迹跟踪是从摄像装置捕捉到的可见光的运动轨迹图像中，可见光运动轨迹是一块不规则的区域，从该不规则区域中搜索到一个有效的轨迹点作为当前时刻可见光的确切轨迹，并进行跟踪，具体分为以下几个步骤：

(21)、利用背景消除算法消除背景干扰；

(22)、轨迹检测和跟踪；

(23)、噪声消除。

5、根据权利要求4所述的基于可见光检测的虚拟文字识别方法，其特征在于所述步骤(21)的背景消除算法将可见光的运动轨迹图像中可见光运动轨迹及噪声所对应的白色区域的像素值设置为1，而剩余区域中的像素值设置为0，然后对当前时刻捕捉到的一帧可见光运动轨迹图像A进行遍历，一旦搜索到值为1的像素点，则运用公式 $C\left[i\right]\left[j\right]=\left\{\begin{array}{ccc}1& \mathrm{if}& A\left[i\right]\left[j\right]-B\left[i\right]\left[j\right]>0\\ 0& \mathrm{other}& \end{array}\right.$ 进行计算，得出除背景后的可见光运动轨迹图像C，其中图像B是背景模型，C[i][j]表示图像C中位于第i行第j列的像素点。

6、根据权利要求4所述的基于可见光检测的虚拟文字识别方法，其特征在于所述步骤(22)轨迹检测和跟踪，首先定义如下距离度量公式：

SCD(M，N)＝kif $k\≤\left|\right|M-N\left|\right|\≤k\sqrt{2},$ 其中M，N是两个向量，“||||”是求模符号，具体轨迹检测和跟踪如下：

粗定位：如果当前检测的轨迹点是字符的第一个点，则以图像的左上角第一个像素为起点A，否则，以上一个轨迹点为起始点A，然后首先搜索具有较小的SCD(A，P)的点P，再按照步骤(21)的背景消除算法判断该点是否属于轨迹区域内的点，直到搜索到轨迹区域内的一个随机点B作为轨迹点的一个粗定位点；

精确定位轨迹点：根据粗定位点B，画出一条垂直的线和一条水平的线，然后找到这两条线与轨迹区域的4个交叉点C、D、E、F，然后分别以C、D、E、F四个点为搜索起始点，分别向左、下、右、上四个方向搜素，直到搜索到轨迹区域的左下右上四个边界点为止，然后根据这四个边界点构造出轨迹区域的外接矩形，设定这个外接矩形的中心为确切的轨迹点；

检测：如果轨迹区域的外接矩形的长宽值或者它们的比值超出一个预定的合理范围，则拒绝检测到的轨迹点，并重新进行搜素，如果在整幅图像中均无法搜索到轨迹点，则将上一个轨迹点定义为当前的轨迹点。

7、根据权利要求2所述的基于可见光检测的虚拟文字识别方法，其特征在于所述字符重构及识别将轨迹跟踪所跟踪到的可见光运动轨迹连接起来构成虚拟字符，然后对虚拟字符进行特征提取和分类得到识别结果。

8、根据权利要求7所述的基于可见光检测的虚拟文字识别方法，其特征在于所述字符重构及识别包括如下字符重构算法：

(31)平滑滤波，假设数组P记录了所有的经过归一化后的轨迹点的坐标，则对于数组P内的每一个轨迹点，运用如下公式对每个轨迹点的坐标进行修改： $P{\left[i\right]}^{\′}=\frac{1}{2t+1}\underset{k=i-t}{\overset{i+t}{\mathrm{\Σ}}}P\left[k\right],$ 其中t≤i≤N-t，N是轨迹点的总数，t是经验参数，表示滤波器的半宽度；

(32)连接邻近点，运用数字差分分析算法将邻近的轨迹点用直线连接起来；

(33)重采样，将经过步骤(32)处理过的可见光轨迹点按照等距离间隔的规则进行重采样，得到重采样后的轨迹点；

(34)再次连接邻近点，运用数字差分分析算法将重采样后的轨迹点用直线依次连接起来，将原始的可见光轨迹转换成二维空间中的虚拟字符。

9、根据权利要求7所述的基于可见光检测的虚拟文字识别方法，其特征在于所述字符重构及识别包括如下特征提取和分类算法：

首先对虚拟字符提8方向128维的取梯度特征，然后用线性判决分析算法将原始维数降低到40维，最后用最小距离分类器进行分类，得到最终的识别结果。

Images