CN102541249A - 一种基于视频图像处理的虚拟输入方法 - Google Patents

Abstract

本发明属于信息技术领域的一种基于视频图像处理的虚拟输入方法，该方法使用户通过在辅助定位区域上的有效按键操作，获得如同敲击实体键盘的输入效果。当用户在辅助定位区域上进行按键操作时，通过采集手指与辅助定位区域的视频图像，对视频图像分析处理，获取按键位置信息，并通过键盘驱动将此按键信息作为按键消息传给输入法等相关程序，系统做出相应功能的响应，完成类似实际键盘的输入功能。此方法特征在于辅助定位区域可以由低成本材料制作，最小化情况仅需三个点状任意材质物体即可实现。因此，本发明具有低成本、通用性强的特点，是可广泛地应用于各种移动设备的虚拟输入方法。

Description

一种基于视频图像处理的虚拟输入方法

技术领域

本发明属于信息技术领域，尤其是一种基于视频图像处理的虚拟输入方法。

背景技术

目前存在的虚拟输入方法主要有两种：利用软键盘和利用附加式键盘。软键盘利用设备携带的触屏绘制出虚拟全键盘形状，作为输入方法。这种方法重点关注触屏带来的交互模式，解决了实体全键盘带来的技术问题，但侵蚀屏幕的有效显示区域，并需要额外的触屏支持。附加式键盘采用附加光投照设备和内置传感器组合作为输入设备实现虚拟输入功能。但是，附加式辅助定位区域提高了额外成本，对生产工艺具有特殊要求，同时缺乏真实的按键触感和定位感，在一定程度上影响了输入速度和用户体验。目前附加式辅助定位区域由于缺乏实际价值，大都只能作为实验性产品出现。因此，现有技术还没有全面地解决成本高、功耗高、舒适度低等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低成本、低功耗和通用性强的基于视频图像处理的虚拟输入方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于视频图像处理的虚拟输入方法，其特征在于：该方法包括下述步骤：

(1).识别辅助定位区域，建立基本坐标系，在辅助定位区域内采集按键的视频图像；

(2).在所得到的图像中筛选出真实按键的有效图像，剔除无按键操作图像和处在按键过程中的图像；

(3).对有效图像进行二值化、角点识别、图像分割等处理，分割出有效图像中的感兴趣区域；

(4).根据图像分割结果计算按键落点位置，结合相关内容获得按键信息；

(5).将按键信息传递给驱动软件，转换成相应的真实功能动作；

(6).循环执行步骤(2)至(5)完成输入功能。

而且，所述的辅助定位区域仅提供定位信息，可以用各种材质制造。

而且，所述的辅助定位区域是一个矩形区域，有三个黑色标识点，以其中一个标识点为原点连接其余两点建立基坐标系。

而且，在辅助定位区域内，用平行于边的线段组把矩形等分成一定数目的方格，用以形成用户理想键盘的按键布局。

而且，在视频图像的采集过程中，为方便图像处理和按键信息确定，在符合用户使用习惯的前提下，对辅助定位区域放置区域、摄像头取像角度、摄像头距离键盘所在平面的高度和不按键手指离键盘平面高度加以限制。

而且，利用轮廓识别方法得到有按键操作的图像，并用判断连续域的方法筛选真实按键的有效图像。

而且，进行图像二值化处理需要选取合适的阈值，考虑到环境光线的变化影响，阈值选取问题需要进行动态计算，一方面，可以在键盘识别过程中计算得出标准化初值，作为配置变量传递给二值化处理模块；另一方面，在系统实际运行中要进行动态的验证，一旦出现干扰则需要进行再次计算。

而且，所述的感兴趣区域是辅助定位区域上以三个黑色标识点为顶点的矩形区域。

而且，在识别按键落点位置时，对于用户理想键盘布局的方格，建立数据矩阵存储每个方格中的所有像素灰度值的数值和，利用按键位置的权值的特殊性，确定其所在行和列。

而且，通过键盘驱动，模拟相应按键的键盘扫描码，实现该按键操作的真实功能动作，并使系统做出相应响应，完成输入功能。

本发明的优点和积极效果是：

1.基于视频图像处理的虚拟输入方法，当用户在辅助定位区域上进行按键操作时，通过采集手指与辅助定位区域的视频图像，对视频图像分析处理，获取按键位置信息，并通过键盘驱动将此按键信息作为按键消息传给输入法等相关程序，系统做出相应功能的响应，完成类似实际键盘的输入功能。此过程利用嵌入式设备自身的摄像功能完成，所需额外设备只有辅助定位区域，无需额外用电，能耗低，减少使用时间和使用寿命因素的限制。

2.基于视频图像处理的虚拟输入方法，使用设备自身的摄像采集工具，决定了该方法具有良好的兼容性，兼容智能设备和可编程设备。

3.基于视频图像处理的虚拟输入方法，成本和舒适性都由辅助定位区域决定：辅助定位区域可以由低成本、高舒适度材料制作，最小化情况仅需三个点状任意材质物体即可实现。因此，本发明具有低成本、高舒适度、通用性强的特点。

4.本发明利用视频图像处理技术实现了虚拟输入功能，能够通过简易的辅助定位区域定位和摄像头视频取像，完成虚拟输入功能，是可广泛地应用于各种移动设备的文字符号输入方法。

附图说明

图1是本发明的系统处理流程图；

图2是本发明实现功能所用辅助定位区域示意图；

图3是为方便按键信息确定所加的限制条件示意图；

图4是理想条件下图像分割得到的感兴趣区域示意图；

图5是实际条件下图像分割得到的感兴趣区域示意图；

图6是键盘键位对应示意图；

图7是对应于普通电脑键盘的辅助定位区示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

基于视频图像处理的虚拟输入方法的基本原理为：通过对采集视频的图像处理和分析，建立抽象空间的辅助定位区域模型，结合相关驱动软件，实现低成本、通用性强的移动设备输入方法。

本发明的系统处理程序预装在需要输入的移动装置内，现结合图1所示的系统处理流程图来说明本发明的实现步骤：

(1).识别辅助定位区域，建立基本坐标系，在辅助定位区域内采集按键的视频图像：辅助定位区域是一个矩形区域，有三个黑色标识点，分别位于矩形的左上、左下和右上三个顶角，以左上标识点为原点连接其余两点建立基坐标系，任何一个采样点都可以用如(x，y)的坐标唯一标识。如图2所示，三个黑点为辅助定位区域标识点，其中左上角记为A点，右上角记为B点，左下角记为C点。此图像在设备启动阶段获得，获取A、B、C三点位置坐标分别记为(x_a，y_a)、(x_b，y_b)、(x_c，y_c)，存储记录，用于计算落点位置。此辅助定位区域内，用平行于边的线段组把矩形等分成n*n个方格，用以表示按键。

在视频图像的采集过程中，对拍摄条件加以限制，其中对辅助定位区域位置、摄像头距离辅助定位区域所在平面的高度的限定可以避免无关背景的干扰，而对摄像头的取像角度和无按键手指距离辅助定位区域平面的高度的限定可以解决多指按键的区分。在符合多数用户使用习惯的限定条件下，在人体自然反应限度内，无论手指如何动作，除了真实按键的手指会出现在画面上，其他都不会出现，具体条件如图3所示。

(2).在所得到的图像中筛选出真实按键的有效图像，剔除无按键操作图像和处在按键过程中的图像：采取轮廓识别技术查找有手指出现的图像，并用判断连续域最大的方法筛选出真实按键的有效图像。

(3).对有效图像进行二值化、角点识别、图像分割等处理，分割出有效图像中的感兴趣区域：进行图像二值化处理需要选取合适的阈值，考虑到环境光线变化的影响，阈值选取需要动态计算，通过多次试验分析得到在一定条件下合适的阈值T，进行二值化处理得到二值图像。经过角点识别处理得到3个角点，分别对应辅助定位区域的3个黑色标识点。根据黑色标识点的坐标信息，对图像进行分割。感兴趣区域即为辅助定位区域内以三个黑色标识点为顶点的矩形区域。具体实现如下：

(1)将左上角点记为A，右上角点记为B，左下角点记为C。以点A为原点、射线AB为x-坐标轴、射线AC为y-坐标轴建立坐标系；

(2)定义三个角点的坐标分别是：A(x_A，y_A)、B(x_B，y_B)、C(x_c，y_c)；

式1定义了感兴趣区域的宽(width)与高(height)：

$\left\{\begin{array}{c}\mathrm{width}=x_B-\min (x_A,x_C)\\ \mathrm{height}=y_C-\min (y_A,y_B)\end{array}\right.---\left(1\right)$

$\min (a,b)=\left\{\begin{array}{cc}a& (a<b)\\ b& (a\&GreaterEqual;b)\end{array}\right.---\left(2\right)$

如图4所示，阴影区域是理想条件下图像分割后得到的感兴趣区域。考虑到几何失真，图5中的阴影区域是实际条件下图像分割后得到的感兴趣区域。

(4).根据图像分割结果计算按键落点位置，结合储备的相关内容获得按键信息：当图像检测出几何失真较大时，须在进行几何失真校正的基础上进行区域分割，将矩形分割为符合失真投影规则的n*n个方格，以对应至多n²个按键。如图6所示，每个方格对应键盘上相同位置的按键。

建立类似图的数据矩阵存储每个方格中的所有像素灰度值的数值和。该数据结构中每一行具有相同的权值，而每一列中的权值由高到低递减。即如式3所示，图6中每个方格的权值W为该处显示数值N除n的商。

假定手指由图像下方进入，令每个键块中的所有像素灰度的数值和为m。建立类似图的数据矩阵进行存储，即连续采集的每幅图像都可以得到一个如式3的数值矩阵M。

$M=\left[\begin{array}{ccc}{m}_{11}& ...& m_{1n}\\ ...& ...& ...\\ m_{n1}& ...& m_{\mathrm{nn}}\end{array}\right]---\left(4\right)$

令s为键块行像素和，即令

则得到式5。

M′＝[s₁…s_n]^T   (5)

对于某独立图像，点击位置所在行的s_j必然明显小于s_j-1，且在阈值T选取合理的前提下，s_j-1将趋近于空白区域的像素数值和0。常规键盘行数通常控制4-5行，因此该判别易于实现。同理，列位置更易确定。而对于连续图像集合，行权值最高且s_j最小的图像为识别对象。

(5).将按键信息传递给驱动软件，转换成相应的真实功能动作：通过键盘驱动，模拟相应按键的键盘扫描码，实现该按键操作的真实功能动作，并使系统做出相应响应，完成输入功能。

(6).循环执行步骤(2)至(5)完成输入功能。

通过上述方法，即可应用视频图像处理技术完成虚拟输入功能。

在本发明中，辅助定位区域内形成的用户理想键盘布局，可以是普通电脑键盘布局，也可以根据不同用户的需求，选择不同的键盘布局，如化学元素符号、数字公式符号、希腊字母等。对于不同的键盘布局的处理方法与上述步骤完全相同。图7是对应于普通电脑键盘的辅助定位区示意图，与普通电脑键盘保持一致，会出现多个方格对应一个按键的情况，如图中的89-94共同表示空格键。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于视频图像处理的虚拟输入方法，其特征在于：该方法包括下述步骤：

(1).识别辅助定位区域，建立基本坐标系，在辅助定位区域内采集按键的视频图像；

(2).在所得到的图像中筛选出真实按键的有效图像，剔除无按键操作图像和处在按键过程中的图像；

(3).对有效图像进行二值化、角点识别、图像分割等处理，分割出有效图像中的感兴趣区域；

(4).根据图像分割结果计算按键落点位置，结合储备的相关内容获得按键信息；

(5).将按键信息传递给驱动软件，转换成相应的真实功能动作；

(6).循环执行步骤(2)至(5)完成输入功能。

2.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：所述的辅助定位区域仅提供定位信息，可以用各种材质制造。

3.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：所述的辅助定位区域是一个矩形区域，有三个黑色标识点，以其中一个标识点为原点连接其余两点建立基坐标系。

4.根据权利要求1和3所述的基于视频图像处理的虚拟输入方法，其特征在于：在辅助定位区域内，用平行于边的线段组把矩形等分成一定数目的方格，用以形成用户理想键盘的按键布局。

5.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：在视频图像的采集过程中，为方便图像处理和按键信息确定，在符合用户使用习惯的前提下，对辅助定位区域放置区域、摄像头取像角度、摄像头距离键盘所在平面的高度和不按键手指离键盘平面高度加以限制。

6.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：利用轮廓识别方法得到有按键操作的图像，并用判断连续域的方法筛选真实按键的有效图像。

7.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：进行图像二值化处理需要选取合适的阈值，考虑到环境光线的变化影响，阈值选取问题需要进行动态计算，一方面，可以在键盘识别过程中计算得出标准化初值，作为配置变量传递给二值化处理模块；另一方面，在系统实际运行中要进行动态的验证，一旦出现干扰则需要进行再次计算。

8.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：所述的感兴趣区域是辅助定位区域上以三个黑色标识点为顶点的矩形区域。

9.根据权利要求1和4所述的基于视频图像处理的虚拟输入方法，其特征在于：在识别按键落点位置时，对于用户理想键盘布局的方格，建立数据矩阵存储每个方格中的所有像素灰度值的数值和，利用按键位置的权值的特殊性，确定其所在行和列。

10.根据权利要求1所述的基于视频图像处理的虚拟输入方法，其特征在于：通过键盘驱动，模拟相应按键的键盘扫描码，实现该按键操作的真实功能动作，并使系统做出相应响应，完成输入功能。

Images