CN1664755A - 一种视频识别输入系统 - Google Patents

Abstract

一种视频识别输入系统。为了克服现有技术设备复杂、体积较大、识别率低下、成本较高的不足，本发明提供了一种由两个摄像头和一台数字计算机组成的视频识别输入系统，利用分别放置在水平和垂直位置的两个摄像头来采集人手移动的图像序列，通过数字计算机的图像处理系统识别，最终得出人手所键入的信息。本发明可以实现无键盘、无鼠标的输入操作，拥有较高的输入识别率，并且由于只需要两个普通摄像头，设备简单，成本低廉，便于维护更新。

Description

一种视频识别输入系统

(一)技术领域

本发明涉及一种输入系统，尤其是一种无键盘、无鼠标的输入系统。

(二)背景技术

目前，计算机的输入一般采用鼠标和键盘，由于键盘和鼠标的存在，使得计算机的输入设备显得庞大而不方便移动，便携式计算机同样也由于键盘的存在而无法做得更加小巧。若简单缩小键盘的尺寸，过小的键盘又不适合人手指的方便操作。而采用笔尖直接接触的方式在微型键盘上输入，更是使得输入速度大为降低。

这个难题同样困扰着所有的手机制造商们。目前，手机正力求向更小巧、更便携的方向发展，但是由于省略不掉的键盘的存在，使得该方向的发展总有一定的局限。

在智能的车辆、仪表、机器人、加工中心以及武器装备的指令输入系统中，也需要一种稳定可靠的、微型的输入系统以使得设备的重量减轻、机械制造和连接难度降低。

为了解决这一问题，语音输入识别系统已经开发并进入应用领域，但是语音输入的识别率仍然较低，并且对使用者的语音标准程度和使用环境的安静程度有较高的要求。还有一些采用触摸屏幕和触笔作为输入手段的方法，都需要专用的设备，增加了设备的复杂程度和配置成本，且不利于以后设备的更新。

2002年11月公开的公开号为CN1378171的专利，描述了一套由图像感应装置和感应信息提取装置构成的计算机输入系统，可以由图像感应装置获取手或指定物在空间的形态信息，图像信息特征提取装置提取出该空间形态的特征信息并传入计算机主机，在计算机显示器屏幕上显示出手或指定物的空间形态，同时计算机依据所传入的特征信息产生计算机操作指令。但是该系统需要特定的图像感应装置和感应信息提取装置，设备复杂，成本较高。2003年公开号为CN03136144.7的专利虽然进行了补充，可以把图像处理的DSP处理器功能改为软件实现，从而直接将图像感应装置的信号送入计算机进行处理，但是它还仍然需要至少一块透光板作为人手敲击的基准平面，不能有效的减小输入设备体积。

(三)发明内容

为了克服上述现有技术的设备复杂、体积较大、识别率低下、成本较高的不足，本发明提供了一种无键盘、无鼠标的视频识别输入系统，能够利用通用设备有效的提高输入识别率，并降低成本。

本发明包括两个摄像头和一台数字计算机，两个摄像头分别放置在水平和垂直位置，通过数字计算机的图像处理系统识别摄像头采集到的人手移动的图像序列，最终得出人手所键入的信息。

为了识别采集到的图像序列并得到相对应的ASCII码，所述输入系统执行如下步骤：

1)用分别放置在水平和垂直位置的两个摄像头构成的图像采集系统完成将动态的手指运动转换成单帧的数字图像。

2)由图像处理程序对图像进行处理，最后得到手掌连手指的外形轮廓线上的点坐标的二维数组数据。按照数据确定手指中心点坐标，根据手掌轮廓线数组判定是击键状态还是移动鼠标状态。

3)由目标判断程序完成对图像的模式识别和跟踪：

a)完成对图像中对象的跟踪和定位，并据此确定一个与十个手指的中心平面距离之和最小的平面作为虚拟键盘或鼠标所在的平面。

b)对跟踪对象的运动进行判断，判断触发的键值；

c)模拟对象进行的动作，并返回相应的ASCII码值。

4)将目标判断程序中得出的ASCII码值返回到操作系统，完成模拟输入设备的操作。

本发明可以实现无键盘、无鼠标的输入操作，拥有较高的输入识别率，并且由于只需要两个普通摄像头，设备简单，成本低廉，便于维护更新。

(四)附图说明

附图1是本发明的系统流程图

附图2是本发明的图像采集系统流程图

附图3是本发明的图像处理系统流程图

附图4A和附图4B是本发明的模拟键盘状态目标判断系统流程图

附图5是本发明的模拟鼠标状态目标判断系统流程图

(五)具体实施方式

本发明是一个集图像采集、图像处理、目标判断于一体的实时系统。

参见附图1，系统分为图像采集系统(图101)、图像处理系统(图102)和目标判断系统(图103)三部分：

1、图像采集系统：参见附图2，该系统主要完成将USB摄像头采集的AVI文件流转化为单帧的图像，后以某一特定整数N帧/秒的数组输出。它的详细流程如下：

首先通过两个通用的摄像头来采集人手指运动的图像序列形成AVI数据，通过加载该AVI数据流文件，实现AVI数据流的单帧化(图203)，后将连续的图像分组(图204)以某一特定整数N帧/次形成数组传递给图像处理系统和目标判断系统(图205)，最后待整个过程将第一轮图像处理完成之后，系统自动删除处理之后的图像(图206)。

2、图像处理系统：参见附图3，主要完成对于手指中心位置的识别。

具体实现的功能步骤及其算法如下：

通过调用Bitmap类：首先实现灰度处理，使得每一点的RGB值等于原来位图R值、G值和B值的算术平均值(图301)。

接下来平滑处理，这里我们只是粗略地对图像进行一下处理，主要目的是去除图像中的噪声。使用普通的四邻域法，即令坐标[i][j]点的灰度值等于其本身与[i-1][j]，[i+1][j]，[i][j-1]，[i][j+1]这四个点像素的灰度值的算术平均值(图302)。

再下面是迭代求图像最佳分割算法(图303)：

a)求出图像中的最小和最大灰度值Z_l和Z_k，令阀值初值

$T^0=\frac{Z_l+Z_k}{2}$

b)根据阀值T^k将图像分割成目标和背景两部分，求出两部分的平均灰度值Z_O和Z_B：

$Z_O=\frac{\underset{z(i,j)<T^k}{\mathrm{\&Sigma;}}Z(i,j)\&times;N(i,j)}{\underset{z(i,j)<T^k}{\mathrm{\&Sigma;}}N(i,j)}$ $Z_B=\frac{\underset{z(i,j)>T^k}{\mathrm{\&Sigma;}}Z(i,j)\&times;N(i,j)}{\underset{z(i,j)<T^k}{\mathrm{\&Sigma;}}N(i,j)}$

式中Z(i，j)是图像上(i，j)点的灰度值，N(i，j)是(i，j)点的权重系数，一般N(i，j)＝1.0

c)求出新的阀值： $T^{K+1}=\frac{Z_O+Z_B}{2}$

d)如果T^K＝T^K+1，则结束，否则K←K+1，转到步骤b。

再下面是二值化。(图304)

灰度阀值变换的变换函数表达式如下：

$f\left(x\right)=\left\{\begin{array}{cc}0& X<T\\ 255& X\&GreaterEqual;T\end{array}\right.$

再下面是去孤立点，由于本次去孤立点，是为下一步确定手指中心点提供高品质的二值化图像，所以采用经典的八邻域法，其算法是：将[i][j]的区域的RGB值与相邻的八个点：[i-1][j]，[i+1][j]，[i][j-1]，[i][j+1]，[i-1][j-1]，[i+1][j-1]，[i-1][j+1]，[i+1][j+1]进行比较，区域大小选为3×3的像素区域，如果[i][j]与周围的八个点的RGB值都不等，则将[i][j]点反色(图305)。

最后采集手型轮廓线上所有点坐标形成数组(图306)，通过对该数组的处理(图307)，判断出此时手型是处于敲击键盘状态(图309a)还是移动鼠标状态(图309b)，随后调用相应的处理过程。

3.敲击键盘目标判断系统：参见附图4A和附图4B，主要完成对于敲击键盘状态的动作的判断。

对于敲击键盘输入状态，利用本系统软件在计算机内部对摄像头采集的图像进行模式识别，也就是准确定位并判断手指下方和虚拟键盘的接触点(以下简称“手指”)的位置。根据手指的运动状况，跟踪运动轨迹，分析出具体是哪一个手指处于向下运动状态，并给出具体按键的位置，返回手指所敲按键的ASCII码值。

最后通过该图像处理系统与操作系统的接口，即原键盘与操作系统的SDK接口将这些ASCII码值传入操作系统实现具体的操作内容。

附图4A和附图4B所示的敲击键盘的目标判断系统的详细算法如下：

1.)当手指进入摄像头采集区域内时，初始化手指位置为基准平面(图402)，判断手指所有点是否在一个平面上(图403)，如果不在一个平面上，把这10个离散的点向一个平面拟合，使得这10个点到这个平面的距离之和最小(图404)。通过水平摄像头和垂直摄像头采集到此时手指位置的空间坐标值(X，Y，Z)(图405)。

2.)以左右手的食指、中指、小指和无名指为基准建立键盘坐标系，该键盘坐标系的零点位置以手指第一次进入采集区域、初始化手指时的位置为准，并随每一次进入的位置的不同而不同。(如图406a)

3.)在屏幕左下角绘制一个“屏幕键盘”，具体形式与Windows附件辅助工具中“屏幕键盘”相似。当该输入程序启动后，屏幕上显示何种键盘，则在空间中就生产相应的虚拟键盘，键盘平面与手指平面重合。键盘大小与真实键盘相同，为屏幕键盘的等比例仿射(图406b)。

4.)为虚拟键盘建立一个数据库，对于键盘上每一个键楞相交的点相对于键盘零点的坐标存入数据库，当手指落在某键所属的区域时，就在虚拟的屏幕键盘上显示该键为灰色。(图407a)，判断在手指运动过程中，当手指位置的空间坐标值(X，Y，Z)中的Z值小于或等于初始化时平面位置的空间坐标值Z值时，则认为目标键被击中。当该键被击中时，用模拟的按键声音和灰度比较深的形式模拟出该键被击中的效果(图407b)。

5.)在屏幕左下角已绘制的“屏幕键盘”上绘制一只虚拟活动的小手。小手的位置为手指位置的空间坐标值(X，Y，Z)中的(X，Y)值，数组Array[10][N]可以显示N帧图片中手指的位置的连续坐标，其中N为某一特定整数(图408a)。后通过键盘与系统的SDK接口，返回上述过程中的虚拟操作响应的ASCII码值，完成整个击键动作的模拟。(图408b)

4.移动鼠标状态的目标判断系统：参见附图5，主要完成对于移动鼠标状态的动作的判断。

对于移动鼠标输入状态，利用本系统软件在计算机内部对摄像头采集的图像进行模式识别，也就是准确定位并判断“手指”的位置。根据手指的运动状况，分析出手指是否处在左击、右击和双击状态，并在计算机的屏幕上，跟踪显示运动轨迹，并返回相应的系统参数值和给定手指中心的坐标值。

附图5所示的移动鼠标目标判断系统的详细算法如下：

1.)当手指进入垂直摄像头采集区域内时，初始化中指指尖位置影射成鼠标图形显示在屏幕的给定位置(图502)。

2.)通过对垂直摄像头采集的数据信息(图503a)和对水平摄像头采集的数据信息(图503b)分析，以中指和食指指尖为跟踪目标，以垂直摄像头采集到的中指指尖的数据作为鼠标的移动信息(图504a)；以水平摄像头采集到的食指指尖数据来判断是否完成单击、双击过程(图504c)；结合水平与垂直摄像头采集到的食指和中指指尖的数据可以判断左击和右击的过程(图504b)。

3.)对上述鼠标操作过程进行综合处理(图505)，绘制一个虚拟的鼠标，模拟中指指尖的运动情况，用不同的声音模拟出左击、右击和双击的不同效果(图506a)，通过鼠标与系统的SDK接口，返回上述鼠标操作相应的系统参数值和给定手指中心的坐标值(图506b)完成整个鼠标操作动作的模拟。

4.)对于其它的鼠标键及滚轮的特殊操作，可以根据上述方法自行定义。

Claims (2)

1、一种视频识别输入系统，包括两个摄像头和一台数字计算机，其特征在于：两个摄像头分别放置在水平和垂直位置，通过数字计算机的图像处理系统识别摄像头采集到的人手移动的图像序列。

2、如权利要求1所述视频识别输入系统，其特征在于，为了识别采集到的图像序列并得到相对应的ASCII码，所述输入系统执行如下步骤：

1)用分别放置在水平和垂直位置的两个摄像头构成的图像采集系统完成将动态的手指运动转换成单帧的数字图像；

2)由图像处理程序对图像进行处理，最后得到手掌连手指的外形轮廓线上的点坐标的二维数组数据，按照数据确定手指中心点坐标，根据手掌轮廓线数组判定是击键状态还是移动鼠标状态；

3)由目标判断程序完成对图像的模式识别和跟踪：

a)完成对图像中对象的跟踪和定位，并据此确定一个与十个手指的中心平面距离之和最小的平面作为虚拟键盘或鼠标所在的平面；

b)对跟踪对象的运动进行判断，判断触发的键值；

c)模拟对象进行的动作，并返回相应的ASCII码值；

4)将目标判断程序中得出的ASCII码值返回到操作系统，完成模拟输入设备的操作。

Images