CN102609734A

CN102609734A - 一种机器视觉的手写识别方法和系统

Info

Publication number: CN102609734A
Application number: CN2012100224253A
Authority: CN
Inventors: 郭鹏; 程懿远; 王嘉; 鲍东山
Original assignee: BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Current assignee: Beijing Nufront Mobile Multimedia Technology Co Ltd
Priority date: 2011-10-25
Filing date: 2012-02-01
Publication date: 2012-07-25

Abstract

本发明的提供了一种机器视觉的手写识别方法和系统，包括：采集目标图像，获取并存储该目标的特征点，生成特征点的轨迹信息，处理并识别轨迹信息；利用摄像头拍摄到的书写轨迹信息来识别用户所写的文字或符号，代替传统的触摸屏、电磁感应屏、手写板、鼠标等装置，可以通过挥动手指的方式书写出相应的文字，而不用走到计算机或者有触摸介质所在的位置进行操作。

Description

一种机器视觉的手写识别方法和系统

技术领域

本发明属于计算机视觉、图像处理和模式识别技术领域，尤其涉及一种机器视觉的手写识别方法和系统。

背景技术

键盘、鼠标、手写板、触摸板和触摸屏等常见的计算机输入设备大多已成为计算机的标准外设或常用外设，目前人们在应用计算机的同时，也不得不同时接受这些设备各自的不足。总结这些常用的计算机的输入装置的特性，它们有如下一些不足之处。

键盘：它常需要和鼠标结合使用，通过键盘很难快速将光标移到屏幕上的任意位置，也很难用键盘进行绘图等连续性操作。键盘源于西方，有利于拼音文字字母和数字符号的输入，和有限几个的功能键结合可实现一些复合操作。对于输入汉字等象形文字，从根本上存在较大障碍。现存的多种通过键盘输入汉字的输入法，一方面因多键操作影响输入效率，另一方面需要死记部分输入规则。对于汉字等象形文字的输入，键盘不能直观方便。键盘还要经常保持清洁、维护。

鼠标：鼠标的移动是线形的不间断的移动。如果要将屏幕上鼠标从一点移动到目标处，需要使用者的手、眼在此期间始终与鼠标保持接触(有时还要左、右键或滚轮同时参与)，不仅占用了使用者较多的时间，同时需要使用者保持对鼠标的注意力，限制了手的运动自由和使用方式。鼠标还要经常保持清洁、维护。

触摸板：现有触摸板的功能是代替传统的滚动式鼠标、点状或柱状鼠标起作用的，它也有前述传统鼠标的移动低效率、限制使用者手部运动自由、较多耗费使用者注意力的等缺陷。另外，它只采集了使用者手部的极少信息，不能解读使用者手部的多种动作，且阻挡操作者视线。只能单点识别，不能多点识别。

手写板：不具备键盘在输入规定符号、字母、数字时的快捷和直观性。手写板也只能接受单点信息，一次输入的是平面上的单个点或单线条，而不反映同时触及它上面的不连续的多个位置的信息。所接收或反映的使用者的信息量少，使用者手部的大量信息没有得到利用，人机交流水平受到限制。同时还有文字输入识别率的问题。

触摸屏：使用者在触摸屏上用手指点时，其手会遮挡触摸屏，阻挡操作者视线。在触摸屏上指点，使用者必须首先抬起上臂，长时间抬动手臂也会导致疲劳。该设备只能摆放在少数公共场所作为辅助服务设备使用，它也只能接受单点信息。

有些计算机输入设备厂家已经注意到此类问题，相继出品了以上不同种类输入设备的功能组合的产品，如：带手写板的键盘等，但此类诸多产品仍难从根本上改变上述产品各自的缺陷。

现有技术往往受时空的限制，并且长时间手持装备、触摸会导致用户手指不适；用鼠标等方式，书写的轨迹信息往往又不准确。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种机器视觉的手写识别方法和系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明的一方面是提供了一种机器视觉的手写识别方法，包括：

采集目标图像；

获取并存储该目标的特征点；

生成特征点的轨迹信息；

处理并识别轨迹信息。

在一些可选的实施方式中，所述采集目标图像是通过双目视觉系统完成的。

在一些可选的实施方式中，所述获取目标的特征点是获取目标的重心。

在一些可选的实施方式中，所述生成特征点的轨迹信息包括：确定特征点运动轨迹内的离散点；将离散点转化为同一平面；对离散点进行拟合，形成完整轨迹信息。

在一些可选的实施方式中，所述的同一平面是与采集单元镜头所在平面相平行的平面。

在一些可选的实施方式中，所述离散点是多幅图像中目标的特征点。

本发明的另一方面是提供一种机器视觉的手写识别系统，包括：

采集单元：采集目标图像；

特征提取单元：获取并存储该目标的特征点；

图像处理单元：生成特征点的轨迹信息；

识别单元：处理并识别轨迹信息。

在一些可选的实施方式中，所述的采集单元是通过双目视觉系统。

在一些可选的实施方式中，所述的特征提取单元是获取目标的重心。

在一些可选的实施方式中，所述图像处理单元包括：

离散模块：确定特征点运动轨迹内的离散点；

转化模块：将离散点转化为同一平面；

拟合模块：对离散点进行拟合，形成完整轨迹信息。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

本发明基于机器视觉信息的手写识别方法和系统，利用摄像头拍摄到的书写轨迹信息来识别用户所写的文字或符号，代替传统的触摸屏、电磁感应屏、手写板、鼠标等装置。可以通过挥动手指的方式书写出相应的文字，而不用走到计算机或者有触摸介质所在的位置进行操作。

不需要任何介质即可实现人机交互，传统的方式用户需要手持鼠标、写字笔或者接触相应的介质以便计算机获得手写轨迹信息。利用机器视觉的手写识别系统只需摄像头能够拍摄到用户的书写轨迹即可识别文字。

不受空间的限制，传统的方式往往要求用户在所规定的区域内书写文字，而本发明在摄像头所拍摄的区域内任何位置都可识别，由于摄像头拍摄的范围较传统的触摸屏使用范围要大很多，悬空书写无任何空间限制，书写的字体大小也无限制，方便用户的使用。

成本较低，只需市面上的普通摄像头即可达到识别的效果。

附图说明

图1是本发明的方法流程图；

图2是本发明的系统示意图；

图3是具体实施例一单目摄像采集示意图；

图4是单目摄像头成像示意图；

图5是离散的特征点示意图；

图6是对离散点进行拟合的示意图；

图7是具体实施例二双目采集示意图；

图8是双目视觉距离传感器模型示意图；

图9是双目视觉距离传感器模型示意图；

图10是具体实施例二中三维坐标系各点关系图；

图11是具体实施例二中各点关系图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明提供的一种机器视觉的手写识别方法，如图1所示，包括：

采集目标图像；

获取并存储该目标的特征点；

生成特征点的轨迹信息；

处理并识别轨迹信息。

本发明的一种机器视觉的手写识别系统，如图2所示，包括：

采集单元：采集目标图像；

特征提取单元：获取并存储该目标的特征点；

图像处理单元：生成特征点的轨迹信息；

识别单元：处理并识别轨迹信息。

在一些可选的实施方式中，所述获取目标的重心包括：

重心坐标计算：

，

其中：

x,y为图像中的坐标，f(x,y)为点(x,y)处图像的颜色值。

在一些可选的实施方式中，所述图像处理单元包括：

离散模块：确定特征点运动轨迹内的离散点；

转化模块：将离散点转化为同一平面；

拟合模块：对离散点进行拟合，形成完整轨迹信息。

具体实施例一：

如图3所示，本实施例的采集单元采用单个摄像头采集目标图像。由摄像头采集到的图像经过去除干扰信息、背景信息后，通过特征提取单元及图像处理单元结合目标的特征点提取轨迹信息；其中提取目标轨迹信息主要包括以下内容：

先由特征提取单元获取并存储目标的特征点，在本实施例中，目标的特征点即是该目标的重心；由于只要目标物体形状不产生较大的变化，物体的重心位置是一定的，所以这里选择某时刻目标物体的重心位置作为轨迹中的一点。重心的计算如下所示：

，

其中:

x,y为图像中的坐标，f(x,y)为点(x,y)处图像的颜色值。

通过在不同时刻的帧图像中，确定目标的特征点，再由图像处理单元集合各个帧图像生成特征点的轨迹信息。

其中，单目摄像头的成像原理如图4所示；假设实际手势运动方向由A到B，摄像头成像后其手势方向为从A’到B’。由此可见，当摄像头拍摄到的轨迹在左右方向正好与实际的运动方向相反。并且文字符号等识别与轨迹运动方向有较大的关系，因此，需要以图像宽度的二分之一为中心，左右方向对调。具体的对调过程为：设图像为f(x,y)，长和宽分别为m，n则：

左右对调后结果为：

由于摄像头拍摄到的物体运动都是离散的，因此要对离散的点进行拟合，形成轨迹图像。假设离散的点如图5所示；那么第1个点和3个点，第3个点和第5个点拟合；对于图5可选择二次曲线方程用最小二乘法进行拟合，具体的拟合算法现有技术中有很多，本发明对此不作限定。

拟合后的图像如图6所示；具体的在实际应用过程中，可以设定用多少个点进行拟合以及拟合过程中用到的算法公式模型。

经过图像处理单元处理完成后，形成了完整的特征点轨迹信息；最后，由识别单元处理并识别所述的轨迹信息。假设本实施例进行手写文字的识别；识别单元就是根据轨迹信息进行文字识别。一般文字的识别分为联机和脱机手写识别；联机手写识别又叫实时在线手写体识别，人在书写的同时，机器根据书写的笔画，笔顺提取特征信息进行识别。脱机手写识别与联机手写识别的主要区别就是没有书写的笔画顺序信息，所以联机手写识别识别率比较高，目前可以达到95%以上。由于基于视觉的文字识别系统可以获得文字轨迹书写的时间顺序，因此既可采用联机手写识别，又可用脱机识别的方法。

对于已识别的文字，可以通过显示屏、语音或者执行相应的指令方式进行输出，用户可以对识别错误的文字进行矫正。并且根据用户的矫正还可以对文字识别算法进行再次训练，以便提高识别准确率。

具体实施例二：

如图7所示，本实施例的采集单元采用两个摄像头采集目标图像。由摄像头采集到的图像经过去除干扰信息、背景信息后，通过特征提取单元及图像处理单元结合目标的特征点提取轨迹信息；其中提取目标轨迹信息主要包括以下内容：

，

其中:

x,y为图像中的坐标，f(x,y)为点(x,y)处图像的颜色值。

利用双目摄像头可以得到景深信息，所以用户所挥动的轨迹平面不一定要垂直于摄像头方向，可方便用户的操作。双目摄像头计算景深的方法如图8所示。图8给出了平行双目视觉距离传感器测量距离的原理图。两台焦距为f的摄像机平行放置，光轴之间的距离为T，图8中的两个矩形分别表示左右摄像机的成像平面，O _l和O _r为左右摄像机的焦点，对于场景中的任意一点P，在左右摄像机成像平面上的成像点分别为p _l和p _r，它们在成像平面上的成像坐标，即图像坐标为x ^l和x ^r，则视差定义为d = x ^l - x ^r。

在图9中，左摄像机焦点O _l为原点， O _l O _r所在直线为X轴，左摄像机光轴为Z轴，垂直于XZ轴的为Y轴，则P点在O _l坐标系中的坐标可以按照下式计算：

Z值即为摄像头与物体的实际距离，这里为镜头与挥动目标重心的距离。那么就可以获得轨迹的立体视觉信息了。

有了立体视觉信息，利用挥手过程中获得点的轨迹转化为同一平面。具体的过程如下所示，设平面的一般方程为：

设待拟合点的坐标为：

，如果所有点的坐标满足上式，即认为在同一平面，否则不在同一平面。这时需要对这些点进行拟合以获得一最佳平面。下面以最小二乘法进行拟合平面为例进行说明，根据上式可得:

对于该公式，令：

所以可以得到新的平面方程为：

要用点

拟合计算上述平面方程，则使公式达到最小：

使得S为最小，应满足：

即为:

也就是该公式的线性方程组，得到三个参数，这样得到了通过最小二乘法拟合出来的平面方程。有了平面方程，还需要把不在平面方程上的轨迹点投影到平面上。设待投影的点P为

，具体投影的方法可以做过点P垂直于平面的直线方程，根据平面的一般方程得直线方程为：

解方程组：

即可以得到其投影点的坐标。至此就可以得到在同一平面上的轨迹点。

前面得到轨迹点是在同一平面，其坐标是包括的三维坐标，对于文字识别系统来说也可以根据三维所标的关系进行判断识别，但系统如果要求把轨迹信息显示出来使用者有较为直观认识，还需把三维坐标转化为二维坐标，其中具体的转化方法之一可为：如图10所示，选取轨迹平面PQR中的任意一位置，这里为简单起见选取轨迹点A作为二维坐标轴XY坐标的原点

，再选取任意一方向作为X轴的正方向，也为简单起见选取点B

，设

到

的方向为二维坐标轴中X轴方向的正方向，并设垂直于X轴方向为Y轴如图11所示，那么

在二维坐标轴的坐标为

，其中

为:

确定了

和在二维坐标轴的坐标后，三维坐标中任意一点C

新的坐标

计算方法为：

解关于此方程组就可以得到任意一点在二维平面坐标

的绝对值。后面还需要确定

的符号，在三维坐标中A到B的向量为：

点A到C的向量为：

那么AC与AB的夹角可由下式来确定：

通过该公式可以得出如果

大于0则说明

的符号为正；等于0则说明

在Y轴上为0；大于0则说明

的符号为负。

同样对于Y轴方向的确定，做一个过A点垂直于平面PQR且法向量为AB的平面，所以有：

把A点的坐标带入上式解得参数D：

设得到的平面为：

该平面与PQR平面的交线为：

在此直线任取一点D

且D不等于A，如图10所示。那么设向量AD方向为Y轴的正方向，则点A到D的向量为：

那么AC与AD的夹角可由下式来确定：

通过该公式可以得出如果大于0则说明的符号为正；等于0则说明

在X轴上为0；大于0则说明的符号为负。

得到的轨迹二维平面坐标是基于空间坐标的，要显示其轨迹还需根据具体情况进行放缩和平移。具体的放缩公式为：

为放缩系数。平移公式为：

为具体的平移量。

把立体视觉信息矫正为垂直与镜头的平面坐标后，就可以按照具体实施例一中所述的图像处理进行处理。

成本较低，只需市面上的普通摄像头即可达到识别的效果。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和／或过程，所述动作和／或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

用于执行本申请所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行结合本文的实施例所描述的各种说明性的逻辑框图、模块和电路。通用处理器可以是微处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可能实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

而且，本文所述的各个方面或特征可以作为使用标准的程序设计和／或工程技术的方法、装置或制品来实现。本文所使用的术语“制品”是要包括可以从任何计算机可读的设备、载波或介质来访问的计算机程序。例如，计算机可读的介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带等)、光盘(例如，紧凑光盘(CD)、数字通用光盘(DVD)等)、智能卡以及闪速存储设备(例如，EPROM、卡、棒、钥匙驱动器等)。此外，本文描述的各种存储介质表示为用于存储信息的一个或多个设备和／或其它机器可读介质。术语“机器可读介质”包括但不限于能够存储、包含和／或携带指令和／或数据的无线信道和各种其它介质。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims

1.一种机器视觉的手写识别方法，其特征在于，包括：

采集目标图像；

获取并存储该目标的特征点；

生成特征点的轨迹信息；

处理并识别轨迹信息。

2.如权利要求1所述的方法，其特征在于，所述采集目标图像是通过双目视觉系统完成的。

3.如权利要求1所述的方法，其特征在于，所述获取目标的特征点是获取目标的重心。

4.如权利要求1至3任一项所述的方法，其特征在于，所述生成特征点的轨迹信息包括：确定特征点运动轨迹内的离散点；将离散点转化为同一平面；对离散点进行拟合，形成完整轨迹信息。

5.如权利要求4所述的方法，其特征在于，所述的同一平面是与采集单元镜头所在平面相平行的平面。

6.如权利要求5所述的方法，其特征在于，所述离散点是多幅图像中目标的特征点。

7.一种机器视觉的手写识别系统，其特征在于，包括：

采集单元：采集目标图像；

特征提取单元：获取并存储该目标的特征点；

图像处理单元：生成特征点的轨迹信息；

识别单元：处理并识别轨迹信息。

8.如权利要求7所述的系统，其特征在于，所述的采集单元是通过双目视觉系统。

9.如权利要求7所述的系统，其特征在于，所述的特征提取单元是获取目标的重心。

10.如权利要求7至9任一项所述的系统，其特征在于，所述图像处理单元包括：

离散模块：确定特征点运动轨迹内的离散点；

转化模块：将离散点转化为同一平面；

拟合模块：对离散点进行拟合，形成完整轨迹信息。

11.如权利要求10所述的系统，其特征在于，所述的同一平面是与采集单元镜头所在平面相平行的平面。

12.如权利要求10所述的系统，其特征在于，所述离散点是多幅图像中目标的特征点。