CN1881994A - 一种用于移动设备的手写输入及手势识别的方法和装置 - Google Patents

Abstract

本发明公开了一种用于移动设备的手写输入及手势识别方法，通过比较由摄像装置获取的相邻两个图像帧，求出两个相邻图像帧的相对运动矢量。并将一次完整输入过程中求出的所有相邻图像帧的相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹。利用获得的摄像头的精确平面运动轨迹与事先建立的笔划或手势轨迹模型进行匹配，在匹配成功时将匹配结果输出到移动设备的显示屏。本发明同时公开了一种用于移动设备的手写输入及手势识别装置，这种装置不需要在移动设备上增加特殊的硬件设备，就可以在移动设备上实现手写输入及手势识别功能，因此可以大大节省具有手写输入及手势识别功能的移动设备的成本。

Description

一种用于移动设备的手写输入及手势识别的方法和装置

技术领域

本发明涉及手写输入及手势识别技术，特别涉及一种用于移动设备的手写输入及手势识别的方法和装置。

背景技术

移动设备，如手机的中文输入在国内市场上主要存在三种技术方式，分别是拼音输入、笔划输入和手写输入。就使用范围所作的调查显示：拼音输入的使用比例高居榜首为79.7％，笔划输入和手写输入的使用比例分别为15.7％和4.6％。但是，随着短信业务的增长，拼音输入和笔划输入引起的“拇指疲劳”问题逐渐暴露，而此时手写输入的技术却日渐成熟，使其成为移动设备小型化之后最受使用者推宠的输入法。多项调查结果显示，接近80％的被调查者将带有中文手写功能的手机作为最佳选择。

手机上的手写输入指的是手机通过内置的触控笔在手机屏幕上书写，手机屏幕可以通过压力变化或磁力变化等感知接触点的位置。然后，手机通过内部的手写识别系统把手写的各种字体转换为手机可识别的标准字体，并显示在手机屏幕上，这样就大大地提高了输入的速度。目前具有手写输入的手机大部分出现在高端手机上，因为这种具有手写输入功能的手机需要增加额外的手写输入设备，如手写笔，增加了手机的成本。

通常手写输入设备的手写识别系统是通过记录文字图像抬笔、落笔、笔迹上各像素的空间位置，以及各笔段之间的时间关系等信息，并对这些信息加以处理，以一定的规则提取特征，由识别模块加以识别，识别模块将所提取的特征与识别特征库的特征相比较。一般，手写输入的识别特征库是基于人们习惯的笔划书写的统计特征而建立的。而且手写笔基本上沿袭了人们日常中的书写习惯。手写输入法的这些高度人性化的特征，使其深受广大用户的推宠。

另外，还有一些手机产品具有手势识别功能，在这种手机中需要增加机械式动作感应装置，如手势控制传感器，来感应使用者挥动手机的动作，如夏普的904SH手机就具备手势识别功能，其中装载了6轴加速度及地磁传感器AMI601，可根据重力及地磁方向检测手机的方位和姿态。

由以上描述可以看出，现有的具有手写输入和手势识别功能的手机都需要增加额外的特殊硬件设备，如手写笔、手势控制传感器等，这必然会使产品的成本增加。

发明内容

有鉴于此，本发明的主要目的在于提供一种用于移动设备的手写输入及手势识别方法，不需要增加额外硬件设备，就可以在移动设备上实现手写输入及手势识别功能。

本发明的另一个目的在于提供一种用于移动设备的手写输入及手势识别装置，不需要增加额外硬件设备，就可以在移动设备上实现手写输入及手势识别功能。

为了实现上述目的的第一方面，本发明提供了一种用于移动设备的手写输入及手势识别方法，预先在具有摄像装置的移动设备中建立笔划或手势轨迹模型，该方法包括以下步骤：

A、比较由摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

B、将一次完整输入过程中求出的所有相邻两帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹；

C、将获得的摄像头平面运动轨迹与移动设备中的笔划或手势轨迹模型进行匹配，匹配成功时输出匹配结果。

步骤A所述的求出相邻两帧图像的相对运动矢量包括以下步骤：

A1、对相邻两帧图像中的同一区域进行FFT变化，并求出两个FFT变换结果的相位的相关函数；

A2、查找相位相关函数的最大值，将最大值对应的坐标确定为相邻两帧图像的偏移量。

当希望获得的精度更高的轨迹时，步骤A2所述的确定为相邻两帧图像的偏移量后，进一步包括：

A3、将步骤A1中的两个区域分别进行双三插值处理，放大整数倍。

A4、对步骤A3中的结果进行区块比对，得到放大整数倍的相邻两帧图像的偏移量。

步骤A所述的求出相邻两帧图像的相对运动矢量为：求出当前帧相对于前一帧的相对全局运动矢量作为相邻两帧图像的相对运动矢量，包括以下步骤：

a1、对当前帧的预裁剪有效像素区域的每个宏块与块进行运动估计，求出每个宏块与块相对于当前帧的前一帧的运动矢量；

a2、统计每个宏块与块的运动矢量的分布频度，以频度最高的运动矢量作为当前帧相对于前一帧的相对全局运动矢量。

所述的在移动设备中建立的轨迹模型为：按比例缩放到一个单位正方形中的轨迹模型；

相应的，步骤B所述的获得摄像头的平面运动轨迹后，进一步包括：将所获取的轨迹按比例缩放到一个单位正方形中。

所述相邻两帧图像为：摄像装置获取的具有固定时间间隔的两帧图像。

步骤C所述的匹配为模板匹配、正则文法匹配或动态时间归正技术。

为了实现上述目的的第二方面，本发明提供了一种用于移动设备的手写输入及手势识别装置，该装置包括：图像输入模块、显示模块，图像输入模块用于获取图像，显示模块用于显示输入的信息，其特征在于，该装置进一步包括图像比较模块和轨迹匹配模块，

图像比较模块，用于比较相邻两帧图像的相对运动矢量，并将一次完整的输入过程中求出的所有相邻帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹；

轨迹匹配模块，用于将获得的摄像头平面运动轨迹与移动设备中的笔划或手势轨迹模型进行匹配，在匹配成功时，将匹配结果输出到所述的显示模块。

所述图像比较模块为傅立叶变换图像比较模块，用于对图像输入模块获取的相邻两帧图像的同一区域进行傅立叶变换，将两个傅立叶变换结果的相位相关函数的最大值对应的坐标确定为相邻两帧图像的偏移量；

并将一次完整的输入过程中求出的所有相邻两帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹。

所述图像比较模块包括运动估计模块和全局矢量计算模块，

所述运动估计模块，用于估计当前帧图像的每个宏块与块相对于前一帧的运动矢量；

所述全局矢量计算模块，用于将每个宏块与块的频度最高的运动矢量确定为当前帧相对于前一帧的相对全局运动矢量，并将一次完整的输入过程中求出的各帧图像的相对全局运动矢量首尾连接，获得摄像头的平面运动轨迹。

所述运动估计模块为移动设备的视频编码器中的运动估计模块。

所述图像输入模块为移动设备的摄像装置；所述显示模块为移动设备的显示屏。

本发明提供的用于移动设备的手写输入及手势识别方法，通过移动设备的摄像装置获取图像，然后对获取的相邻图像帧进行比较，求出两个相邻图像帧的相对运动矢量，并将一次完整输入过程中求出的所有相邻图像帧的相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹。利用获得的摄像头的精确平面运动轨迹与事先建立的笔划或手势轨迹模型进行匹配，在匹配成功时，将匹配结果输出到移动设备的显示屏。

本发明的用于移动设备的手写输入及手势识别装置，通过在移动设备中增加图像比较模块和图像匹配模块，利用上述的用于移动设备的手写输入及手势识别方法在移动设备上实现了手写输入及手势识别功能，并且不需要在移动设备上增加特殊的硬件设备，比如手写笔、手势控制传感器等。因此本发明提供的这种用于移动设备的手写输入及手势识别的方法和装置，可以大大节省具有手写输入及手势识别功能的移动设备的成本。

附图说明

图1为本发明的用于移动设备的手写输入及手势识别方法的一个较佳

实施例的流程图；

图2为图1所示方法的一个具体实施例获取的笔划轨迹及可与该轨迹匹配的移动设备中的笔划模型图；

图3为本发明的用于移动设备的手写输入及手势识别装置的结构示意图；

图4为图3所示装置的一个较佳实施例的结构示意图；

图5为图3所示装置的另一个较佳实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案以及有益效果更加清楚明白，下面结合附图和实施例对本发明作进一步的详细说明。

本发明的用于移动设备的手写输入及手势识别的方法和装置，首先由移动设备的摄像装置获取图像，通过比较获取的相邻图像帧，求出一次完整输入过程中所有相邻图像帧的相对运动矢量，并将所求得的所有相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹，然后将该精确平面运动轨迹与事先建立的笔划或手势轨迹模型进行匹配，并在匹配成功时，将匹配结果输出到移动设备的显示屏。

本发明所述的移动设备具有摄像装置，并且本发明的用于移动设备的手写输入及手势识别方法需要预先在移动设备中建立笔划或手势轨迹模型。

参见图1，图1为本发明的用于移动设备的手写输入及手势识别方法的一个较佳实施例的流程图。该流程包括以下步骤：

步骤101，通过移动设备的摄像装置获取当前图像。

步骤102，对所获取的当前图像帧与之前获取的相邻图像帧进行比较，求出当前图像帧与之前获取的相邻图像帧的相对位移的方向和幅度。

在实际应用中，步骤102可以采用多种不同的实现方式，比如采用以下的方法：

假设当前图像为第N帧图像，则对第N帧图像与以前获取的第N-1帧图像进行比较，求出第N帧图像与以前获取的第N-1帧图像的相对位移的方向和幅度，具体包括以下步骤：

1)对第N帧和第N-1帧图像中的同一区域进行傅立叶变换，并求出两个傅立叶变换结果的相位的相关函数(phase correlation function)。

2)从步骤1)求出的相位的相关函数中查找最大值，最大值对应的坐标即为第N帧图像与第N-1帧图像的偏移量。

为了提高求得的第N帧图像与第N-1帧图像的偏移量的精确度，还可以执行以下步骤：

3)将步骤1)中的两个区域分别进行双三次插值，并且放大数倍，比如4倍。

4)对步骤3)中求出的结果进行区块比对，得到放大数倍的第N帧图像与第N-1帧图像的偏移量。

步骤103，将一次完整输入过程中求出的所有相邻图像帧的相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹。

这里所述的一次完整输入一般指一个完整的字、字符的输入过程，如：每次输入完一个字或字符后可以通过按动在移动设备上设置的一个按键来标志。当然也可采用现有技术的手写输入时，判断一次完整输入的其它方法。

步骤104，利用获得的摄像头的精确平面运动轨迹与事先在移动设备中建立的笔划或手势轨迹模型进行匹配。

其中，模型匹配可以采用的方法有很多种，包括：模板匹配、正则文法匹配、动态时间归正(DTW)技术等。

步骤105，判断匹配是否成功，如果成功，则执行步骤106；否则，返回执行步骤101。

步骤106，将匹配结果输出到移动设备显示屏。

以数字“2”的输入过程为例对上述步骤进一步说明。首先，手持具有摄像装置的移动设备在空中书写数字“2”。假设整个数字“2”的书写过程中，间隔或不间隔地共获取了K帧图像，则根据获取的每相邻两帧图像之间的相对位移方向及幅度的计算，可以得出K-1个相对位移的方向及幅度。然后，将这K-1个相对位移首尾拼接，可以得到一条轨迹，如图2(a)所示。为了便于匹配，将这条轨迹按比例缩放到一个单位正方形内，如图2(b)所示。所述的将轨迹按比例缩放到一个单位正方形内的技术为公知技术，这里不再详述。在事先建立的笔划或手势模型中同样进行了类似的比例缩放处理。然后比较获取的轨迹和事先建立的笔划或手势模型，就可以从预先在移动设备中设置的轨迹模型库中挑出相似度最高的笔划或手势轨迹模型，作为匹配的结果输出到移动设备的显示屏上。如图2(c)所示，图2(c)给出了预先在移动设备中建立的数字“2”的笔划或手势轨迹模型。

本发明的摄像头平面运动轨迹也可以通过移动设备的视频编码器获得，利用视频编码器中的运动估计模块估计拍摄获取的各帧图像的相对全局运动矢量，进而获得摄像头的平面运动轨迹。该过程包括以下步骤：

1)运动估计，即对获取的当前帧，进行预裁剪，形成预裁剪后的有效像素区域；然后对当前帧的预裁剪有效像素区域的每个宏块与块进行运动估计；由视频编码器的运动估计模块输出每个宏块与块相对于参考帧的运动矢量，这里所述的参考帧为当前帧的前一帧。

2)统计宏块与块相对于参考帧的运动矢量的分布频度，以频度最高的运动矢量作为相对全局运动矢量。

3)将一次完整输入过程中获取的各帧图像的相对全局运动矢量首尾连接，获得摄像头的平面运动轨迹。

参见图3，图3为本发明的用于移动设备的手写输入及手势识别装置的结构示意图。如图3所示，该装置包括：图像输入模块301、图像比较模块302、轨迹匹配模块303以及显示模块304。

图像输入模块301用于获取图像，并将图像传输给图像比较模块302。图像比较模块302用于对图像输入模块301获取的相邻图像帧进行比较，求出相邻两帧图像的相对运动矢量，并将一次完整输入过程中求出的所有相邻图像帧的相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹。

轨迹匹配模块303用于对图像比较模块302求得的摄像头的精确平面运动轨迹与事先建立的笔划或手势模型进行匹配，如果匹配成功，就将匹配结果输出到显示模块304。

参见图4，图4为图3所示的本发明的用于移动设备的手写输入及手势识别装置的一个较佳实施例的结构示意图。如图4所示，该装置包括：图像输入模块401、傅立叶变换图像比较模块402、轨迹匹配模块403以及显示模块404。本实施例中，图像比较模块为傅立叶变换图像比较模块402。

在移动设备中，图像输入模块401就是摄像装置，显示模块404就是移动设备的显示屏。

图像输入模块401用于获取图像，并将图像传输给图像比较模块402。傅立叶变换图像比较模块402用于对图像输入模块401获取的相邻图像帧进行比较，求出相邻两帧图像的相对运动矢量，并将一次完整输入过程中求出的所有相邻图像帧的相对运动矢量首尾连接，获得摄像头的精确平面运动轨迹。

其中，求出相邻两帧图像的相对运动矢量的过程包括：对相邻两帧图像的同一区域进行傅立叶变换，并求出两个傅立叶变换结果的相位的相关函数；从求出的相位的相关函数中查找最大值，最大值对应的坐标即为相邻两帧图像的偏移量。

轨迹匹配模块403用于对傅立叶变换图像比较模块402求得的摄像头的精确平面运动轨迹与事先建立的笔划或手势模型进行匹配，如果匹配成功，就将匹配结果输出到显示模块404。

参见图5，图5为图3所示的本发明的用于移动设备的手写输入及手势识别装置的另一个较佳实施例的结构示意图。如图5所示，该装置包括：图像输入模块501、运动估计模块502、全局运动矢量计算模块503，轨迹匹配模块504以及显示模块505。本实施例中，图像比较模块为运动估计模块502和全局运动矢量计算模块503的组合。

在移动设备中，图像输入模块501就是摄像装置，显示模块505就是移动设备的显示屏。

图像输入模块501用于获取图像，并将图像传输给运动估计模块502。运动估计模块502用于分析拍摄获取的图像的运动情况，即对输入的当前帧进行预裁剪，形成预裁剪后的有效像素区域，然后对当前帧的预裁剪有效像素区域的每个宏块与块进行运动估计，并向全局运动矢量计算模块503输出每个宏块与块相对于参考帧的运动矢量，这里所述的参考帧为当前帧的前一帧图像。

全局运动矢量计算模块503用于统计宏块与块相对于前一帧的运动矢量的分布频度，以频度最高的运动矢量作为当前帧的相对全局运动矢量，并将一次完整输入过程中获取的各帧图像的相对全局运动矢量首尾连接，获得摄像头的平面运动轨迹。

轨迹匹配模块504用于对全局运动矢量计算模块503求得的摄像头的精确平面运动轨迹与事先建立的笔划或手势模型进行匹配，如果匹配成功，就将匹配结果输出到显示模块505。

本发明中，所述的相邻两帧图像是指摄像装置获取的、具有固定时间间隔的两帧图像，所述固定时间间隔可以为一个单位时间，比如：以毫秒为单位，每毫秒获取一帧图像，那么，第1毫秒和第2毫秒获取的两帧图像、第2毫秒和第3毫秒获取的两帧图像分别为相邻两帧图像；所述固定时间间隔也可以为一个以上单位时间，比如：以毫秒为单位，每毫秒获取一帧图像，那么，第1毫秒和第4毫秒获取的两帧图像、第4毫秒和第7毫秒获取的两帧图像分别为相邻两帧图像。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1、一种用于移动设备的手写输入及手势识别方法，在具有摄像装置的移动设备中建立笔划或手势轨迹模型，其特征在于，该方法还包括以下步骤：

A、比较由摄像装置获取的相邻两帧图像，求出相邻两帧图像的相对运动矢量；

B、将一次完整输入过程中求出的所有相邻两帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹；

C、将获得的摄像头平面运动轨迹与移动设备中的笔划或手势轨迹模型进行匹配，匹配成功时输出匹配结果。

2、如权利要求1所述的方法，其特征在于，步骤A所述的求出相邻两帧图像的相对运动矢量包括以下步骤：

A1、对相邻两帧图像中的同一区域进行FFT变化，并求出两个FFT变换结果的相位的相关函数；

A2、查找相位相关函数的最大值，将最大值对应的坐标确定为相邻两帧图像的偏移量。

3、如权利要求2所述的方法，其特征在于，步骤A2所述的确定为相邻两帧图像的偏移量后，进一步包括：

A3、将步骤A1中的两个区域分别进行双三插值处理，放大整数倍。

A4、对步骤A3中的结果进行区块比对，得到放大整数倍的相邻两帧图像的偏移量。

4、如权利要求1所述的方法，其特征在于，步骤A所述的求出相邻两帧图像的相对运动矢量为：求出当前帧相对于前一帧的相对全局运动矢量作为相邻两帧图像的相对运动矢量，包括以下步骤：

a1、对当前帧的预裁剪有效像素区域的每个宏块与块进行运动估计，求出每个宏块与块相对于当前帧的前一帧的运动矢量；

a2、统计每个宏块与块的运动矢量的分布频度，以频度最高的运动矢量作为当前帧相对于前一帧的相对全局运动矢量。

5、如权利要求1、2、3或4所述的方法，其特征在于，所述的在移动设备中建立的轨迹模型为：按比例缩放到一个单位正方形中的轨迹模型；

相应的，步骤B所述的获得摄像头的平面运动轨迹后，进一步包括：将所获取的轨迹按比例缩放到一个单位正方形中。

6、如权利要求1、2、3或4所述的方法，其特征在于，所述相邻两帧图像为：摄像装置获取的具有固定时间间隔的两帧图像。

7、如权利要求1所述的方法，其特征在于，步骤C所述的匹配为模板匹配、正则文法匹配或动态时间归正技术。

8、一种用于移动设备的手写输入及手势识别装置，该装置包括图像输入模块、显示模块，图像输入模块用于获取图像，显示模块用于显示输入的信息，其特征在于，该装置进一步包括图像比较模块和轨迹匹配模块，

图像比较模块，用于比较相邻两帧图像的相对运动矢量，并将一次完整的输入过程中求出的所有相邻帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹；

轨迹匹配模块，用于将获得的摄像头平面运动轨迹与移动设备中的笔划或手势轨迹模型进行匹配，在匹配成功时，将匹配结果输出到所述的显示模块。

9、如权利要求8所述的装置，其特征在于，所述图像比较模块为傅立叶变换图像比较模块，用于对图像输入模块获取的相邻两帧图像的同一区域进行傅立叶变换，将两个傅立叶变换结果的相位相关函数的最大值对应的坐标确定为相邻两帧图像的偏移量；

并将一次完整的输入过程中求出的所有相邻两帧图像的相对运动矢量首尾连接，获得摄像头的平面运动轨迹。

10、如权利要求8所述的装置，其特征在于，所述图像比较模块包括运动估计模块和全局矢量计算模块，

所述运动估计模块，用于估计当前帧图像的每个宏块与块相对于前一帧的运动矢量；

所述全局矢量计算模块，用于将每个宏块与块的频度最高的运动矢量确定为当前帧相对于前一帧的相对全局运动矢量，并将一次完整的输入过程中求出的各帧图像的相对全局运动矢量首尾连接，获得摄像头的平面运动轨迹。

11、如权利要求10所述的装置，其特征在于，所述运动估计模块为移动设备的视频编码器中的运动估计模块。

12、如权利要求8、9或10所述的装置，其特征在于，所述图像输入模块为移动设备的摄像装置；所述显示模块为移动设备的显示屏。

Images