CN101923433A - 一种基于手影识别的人机交互方式 - Google Patents

Abstract

一种基于手影识别的人机交互方式，是一种非传统的人机交互方式，即通过主机识别不同的手影形态实现人机交互的功能。主机从摄像头获得可能包含手影的图像数据，然后利用手影识别技术对图像数据进行分析，若从图像中检测到手影，则按照手影的语义模拟实现相应的鼠标操作。本发明可以使操作者从鼠标的范围限制中解脱出来，通过不同手影形态操作主机，与其进行交互。

Description

一种基于手影识别的人机交互方式

技术领域

本发明涉及一种人机交互方式，特别是一种利用操作手影实现的新型的人机交互方式。

背景技术

1968年，鼠标由美国斯坦福研究所(SRI)发明出来，它的发明者是Doug Engelbart博士。鼠标的出现，使操作电脑变得简单许多。Windows操作系统在全球范围内的推广，使鼠标的应用范围得到了充分扩展。鼠标具有良好的准确性和实时性，得到了电脑操作者的普遍认可。

上世纪60年代，模式识别技术迅速发展。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能技术及图像处理、信号处理、计算机视觉、多媒体技术等多种学科的发展，扩大了计算机应用的领域。模式识别技术的出现，赋予了计算机部分模式识别的能力，人们利用这种技术开发出了许多有实用价值的系统，像文字和语音识别、指纹识别、人脸识别等。

同时，模式识别技术启发了我们：利用模式识别技术来识别不同的手势以操作计算机。本发明就是在这种想法下产生的。考虑到手影的特征比手势简单而更容易识别，本发明以手影作为识别的目标。

发明内容

本发明要解决的技术问题：提供一种基于手影识别的人机交互方式，即通过计算机识别不同的操作手影实现人机交互。

本发明采用的技术方案：一种基于手影识别的人机交互方式，其特点在于：

本发明系统包括：主机、摄像头，投影仪、屏幕等硬件设备以及运行在主机上的图像采集模块、图像分析模块、鼠标模拟模块三个软件模块。

系统运行流程如下：主机把当前显示的内容通过投影仪投影到屏幕上；用户的操作手势在屏幕上投影出手影；摄像头采集屏幕区域的图像数据传给主机；主机对视频图像做分析处理，检测包含操作语义的手影，针对手影模拟对应的鼠标操作，实现人机交互。

其中，所述主机是该系统的核心部件之一，它同时和摄像头以及投影仪相连；另外，本系统的软件也是运行于主机之上。

所述摄像头是本系统图像数据的采集装置，拍摄区域必须包含屏幕所在的区域，它把采集到的图像数据以帧为单位传给主机，作为主机进行图像分析的数据来源。

所述投影仪负责把主机显示器的当前显示内容投影到屏幕上显示出来。

所述的图像采集模块完成图像数据的采集。可以采用DirectShow技术提供的相关接口构造Filter链路实现图像数据采集。

所述的图像分析模块，即利用OpenCV提供的目标检测算法对摄像头传来的图像进行目标检测。若检测到手影，则确定其大小、类别和坐标。

所述的鼠标模拟模块，即以手影的类别和坐标为参数，通过调用鼠标API实时地在主机上模拟对应的操作。

进一步地，所述的OpenCV提供的目标检测算法，即采集大量的正确的手影图像和不包含手影的背景图像作为正负样本，训练生成包含目标特征信息的分类器文件。程序初始化时加载分类器文件。进行目标检测时，计算图像中任意矩形区域的特征值，把它与分类器中的特征信息进行匹配，从而实现手影检测。

进一步地，所述的三种手影类别，即移动手影，点击手影，拖拽手影，如附图6所示。进一步地，所述的手影大小，即检测出的包含手影的矩形区域的像素宽和像素高。手影的坐标，即以矩形区域中的某一点的像素坐标作为整个手影的坐标，例如以手影所在矩形区域的中心点代表手影坐标。

本发明与鼠标相比的优点在于：

1、用手势来与计算机交互比操作鼠标更加形象生动。用一些有含义的手势来表达操作，使人机交互更加自然、协调，也更加符合人类的思维习惯。

2、本系统也使人机交互更加简单易学。因为人从出生开始就会灵活地使用自己的双手，因此，教人们学会使用几个手势自然要比学会使用鼠标容易得多。

3、人机交互的空间范围不再受限于鼠标线的长度。

附图说明

图1为一种基于手影识别的人机交互方式的系统结构示意图；

图2为一种基于手影识别的人机交互方式的程序流程图；

图3为一种基于手影识别的人机交互方式的软件结构图；

图4为Filter链路示意图；

图5为图像分析工作流程图；

图6为三种操作手影示例图。

具体实施方式

下面结合附图及具体实施例对本发明进行详细说明。

如图1所示，本系统硬件设备包括主机，摄像头，投影仪以及屏幕。主机把当前显示的内容通过投影仪投影到屏幕上；人手在屏幕上投影出不同的操作手影；摄像头采集屏幕所在区域图像并传送给主机；主机对图像做分析处理，检测其中的手影，最后根据手影的语义模拟相应的鼠标操作实现人机交互。

如图2所示，是一种基于手影识别的人机交互方式的程序流程图。

步骤2-1，提取图像数据，此步骤是由图像采集模块完成的，采用DirectShow技术实现。

步骤2-2，图像分析，即利用OpenCV提供的目标检测算法，对摄像头传来的图像数据进行分析处理，检测当前图像中是否存在三种手影之一。

步骤2-3，判断是否检测到手影；若没有检测到，直接跳到步骤2-5。

步骤2-4，模拟鼠标操作，即以检测出的手影的类别和坐标为参数，通过调用鼠标API实时地在主机上模拟对应的操作。

步骤2-5，检查结束标志，若为true，则程序退出；否则，跳到步骤2-1继续运行。

如图3所示，是一种基于手影识别的人机交互方式的软件结构图。

本系统分为三层。最底层的数据层控制摄像头，采集图像数据；识别层是本系统最关键的部分，分为两部分：1、特征提取通过训练样本数据生成分类器，2、特征匹配利用分类器中的特征信息进行手影检测；交互层根据识别层的结果解析操作语义，并调用鼠标API模拟相应的鼠标操作。

如图4所示，是Filter链路示意图。

所述的Filter链路是利用DirectShow提供的接口，定义三个Filter构成一条连通的Filter链路。图像数据在Filter链路中流动，截取并保存这些数据完成图像数据的采集。其中，三个Filter分别是：Source Filter，由摄像头构成；Transform Filter，是一个SampleGrabber Filter，利用它的GetCurrentBuffer()获取图像数据，每调用一次这个函数，就能获得当前的一帧图像；最后的Render Filter是一个Null Render Filter，它只是简单的丢弃图像数据，不做任何处理。这三个Filter都需要添加到图表管理器中。然后使用DirectShow中的智能连接技术把三个Filter连接成一条畅通的数据通道。

如图5所示，是图像分析工作流程图。

值得说明的是，为了使本系统在进行图像分析的同时用户还能操作本系统，图像分析在子线程中进行。

步骤5-1，移动手影检测，利用移动手影分类器中的特征数据与图像中的待检测区域进行特征匹配；

步骤5-2，若存在移动手影，则直接跳到步骤5-7；否则，转到下一步；

步骤5-3，点击手影检测，利用点击手影分类器中的特征数据与图像中的待检测区域进行特征匹配；

步骤5-4，若存在点击手影，则直接跳到步骤5-7；否则，转到下一步；

步骤5-5，拖拽手影检测，利用拖拽手影分类器中的特征数据与图像中的待检测区域进行特征匹配；

步骤5-6，若不存在拖拽手影，则图像分析过程结束；否则，转到下一步；

步骤5-7，根据检测结果，计算模拟鼠标操作的坐标。

如图6所示，是三种操作手影示意图。

Claims (11)

1.一种基于手影识别的人机交互方法，主要包括基于鼠标模拟的人机交互功能；其特征在于，人机交互通过识别包含操作语义的手影而非操作鼠标实现。

2.根据权利要求1所述的方法，其特征在于：手影识别功能包括三个步骤：图像采集、图像分析、鼠标模拟。

3.根据权利要求2所述的方法，其特征在于：所述图像采集步骤采集操作区域的实时图像数据，供图像分析步骤分析。

4.根据权利要求2所述的方法，其特征在于：所述图像分析步骤检测图像采集步骤采集的图像中包含的所述包括操作语义的手影。

5.根据权利要求2所述的方法，其特征在于：所述鼠标模拟步骤根据图像分析步骤的检测结果，解析操作语义并模拟相关鼠标操作实现人机交互。

6.根据权利要求3所述的方法，其特征在于：所述操作区域为完成所述图像采集步骤的图像采集设备所能够覆盖的区域。

7.一种基于手影识别的人机交互系统，主要包括基于鼠标模拟的人机交互功能，所述系统通过识别包含操作语义的手影而非操作鼠标实现；其特征在于：手影识别功能包括三个模块：图像采集模块、图像分析模块、鼠标模拟模块。

8.根据权利要求7所述的系统，其特征在于：所述图像采集模块采集操作区域的实时图像数据，供图像分析模块分析。

9.根据权利要求7所述的系统，其特征在于：所述图像分析模块检测图像采集模块采集的图像中包含的所述包括操作语义的手影。

10.根据权利要求7所述的系统，其特征在于：所述鼠标模拟模块根据图像分析模块的检测结果，解析操作语义并模拟相关鼠标操作实现人机交互。

11.根据权利要求8所述的系统，其特征在于：所述操作区域为所述图像采集模块所能够覆盖的区域。

Images