CN102854983B - 一种基于手势识别的人机交互方法 - Google Patents

Abstract

本发明公开了一种基于手势识别的人机交互方法，首先通过摄像头拍摄手势图像视频流，将视频流转化为图像帧；接着从图像中根据特定的算法提取出手势的形状和特征，以及位置信息，建立分类准则对手势进行识别；再根据手势形状和位置进行坐标或者动作命令映射得到一定的系统命令，然后根据需求驱动特定的系统动作模拟系统鼠标事件，进行人机交互。本发明提供的基于手势识别的人机交互方式可替代传统的鼠标操作，可以广泛应用在餐饮购物、娱乐活动、或者是会议大屏演示等场景下，增强人机之间互动性。<!--1-->

Description

一种基于手势识别的人机交互方法

技术领域

本发明公开了一种人机交互的方法，具体涉及一种基于人体手势的变化的识别而产生的人机交互方法。

背景技术

随着虚拟现实技术的发展和计算机性能的提高，人机界面的操作方向必然是向高计算机性能、高通信带宽下新的控制方式发展，让用户拥有更便捷的人机交互方式。近年来，手势交互技术已经进行了一些研究，但是由于人手涉及到多处变形复杂的关节体，以及手势本身具有的多样性、复杂性、多义性等特点，手势识别技术还有很大的研究空间。很多现有的人机交互系统都利用了数据手套设备，虽然利用数据手套能够提高识别的准确率，但是也失去了手势交互自然性，并且数据手套设备也比较昂贵。本发明提出的手势操作方式是利用摄像头采集的手势局部图像特征来进行描述、识别和控制的过程，以及如何基于手势控制替代传统的鼠标操作的问题。

在中华人民共和国国家知识产权局专利检索系统中检索“手势”、“人机”、“交互”等关键词，检索到三篇题名与本发明相近：《一种基于语音和手势的多通道人机交互方法》(申请号：201110278390.5)，该发明通过识别语音和手势可以完成复杂场景下的精确目标指点，与本发明的应用场景不同，本发明立足于通过识别基础的手势用以替代鼠标操作，并确保其可靠性。《一种移动终端压力触控手势识别的人机交互方式》(申请号：201010152888.2)，该发明的技术实现基于压力触摸板，与本发明基于摄像头捕捉手势不同。《基于视线跟踪和手势识别的人机交互方法及装置》(申请号：200810030194.4)，该发明通过摄像头同时捕捉人眼与手的动作进行鼠标定位，并将所有功能封装于一硬件模块中；而本发明则是仅通过捕捉人手进行鼠标定位，除了配置一普通摄像头外，其它工作都由相应的模块来完成。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种人机交互的方法，具体涉及一种基于人体手势的变化的识别而产生的人机交互方法。

技术方案：为解决上述技术问题，本发明提供的一种基于手势识别的人机交互方法，包括以下步骤：（1）拍摄图像视频流过程：启动摄像头，拍摄手势图像视频流；（2）对图像视频流的处理过程：此过程包括两部分：手势分割和手势跟踪；通过对手势图像视频流进行手势分割，将手势图像视频转化为相应的图像帧，再根据相应的图像帧建立手势模板，再利用HSV直方图的粒子滤波算法得到手势的运动轨迹和预测方向；（3）手势识别过程：从图像视频流中得出的图像帧，根据相应的算法软件提取出手势的形状、特征以及位置信息，通过预先建立相应的手势模板对手势进行识别，然后再设置对应的鼠标位置和动作，同时转换为相应的系统鼠标事件；（4）手势交互过程：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应关系，转换成相应的系统指令，例如，鼠标单击、鼠标移动等，然后根据需求驱动特定的系统动作模拟相应的系统鼠标事件，进行人机交互。用户手势在计算机屏幕或者投影屏上指点的位置，通过一个放大的鼠标指针来指示，因此无须对计算机系统做出修改。另外，软件还预留了接口可以根据用户的定义进行功能的扩展。

所述步骤（2）中的手势分割是通过背景建模、运动目标检测建模以及结合HSV肤色检测模型来快速定位检测。

所述的HSV肤色检测模型和光线补偿模型结合使用；在某些特定的环境下，采用自适应的光线补偿技术以弥补肤色检测的不足，保持手势分割的准确性，得到手势的位置和手势区域的直方图等特征。实验结果表明，本发明所采用的方法对复杂的背景有一定的适应能力。

所述步骤（3）中的手势识别包括人脸识别和手势识别，所述手势识别包括手掌模板和握拳模板两种；所述的手势识别过程是采用动态的手势序列识别的方法；所述步骤（2）中的手势跟踪和步骤（3）中手势识别均还包括错误识别程序。本发明通过预先定义手势模板，提取模板的特征，建立当前输入的手势特征的判决函数，通过机器学习方法进行训练，预测的匹配结果作为最后的识别结果，分析出当前手势的含义。手势模板为单色位图，目前只需手掌和握拳两种即可满足需求。在跟踪和识别的过程中还需进行错误识别的判读，如在跟踪手掌手势时，偶然出现数帧非连续性的握拳或其它手势，则需要进行自动排除，避免对后面的交互工作产生干扰。

所述步骤（3）中的手势交互中的模拟系统鼠标事件是通过下列方式实现的：

（1）程序保存历史手势，与当前手势进行比较；

（2）在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖动选中的目标；（3）在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊开则产生鼠标释放事件，握拳超过时间限制则产生鼠标长按事件。

有益效果：本发明相对于现有技术有以下优点：

（1）基于手势识别的人机交互方式可替代传统的鼠标操作，可以广泛应用在餐饮购物、娱乐活动、或者是会议大屏演示等场景下，增强人机之间互动性；

（2）相对于现有技术中的人机交互方式，本发明仅通过捕捉人的手势来完成人机交换过程，操作过程简单，易于实现。

附图说明

图1是本文明的工作流程示意图。

图2是本发明的层次架构示意图。

图3是本发明的计算机软件处理流程示意图。

图4是人脸检测流程示意图。

图5是手势检测流程示意图。

图6是系统鼠标设置流程示意图。

图7是系统鼠标动作检测流程示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1和图3所示，运行本发明时，首先启动摄像头并设置视频来源，同时加载HSV肤色检测模型，并装载和处理需要使用的手势和人脸模板，之后软件进入检测运行循环，直到接到退出命令为止。

在检测运行循环中，软件每40毫秒取一帧图像进行处理，保证每秒24帧左右的处理频率，其余时间让出CPU处理，避免进程阻塞CPU导致软件效率低下影响系统操作。取得的图片帧首先需要进行手势分割和手势跟踪，进行手势识别后映射为特定的系统鼠标动作。

如图2所示的本发明的层次架构图，含有摄像头的计算机平台摄入视频流，在WIN平台上对摄像头驱动，形成在计算机视觉库里，最后通过手势识别模块来实现手势转化为相应的鼠标动作。

本发明的实施过程中的几个主要环节如下：

（1）手势分割：本发明的运行环境是普通的PC机，因此无法采用大容量的手型数据库，而限制背景的做法无法满足现实中的实际操作。因而本发明采用的方法是通过背景建模、动目标检测技术，结合HSV肤色检测模型，快速的定位人手。在某些特定的环境下，采用自适应的光线补偿技术以弥补肤色检测的不足，保持手势分割的准确性，得到手势的位置和手势区域的直方图等特征。实验结果表明，本发明所采用的方法对复杂的背景有一定的适应能力。

（2）手势跟踪：本发明采取的方式是通过手势分割得到的手势特征，建立手势模板，利用基于HSV直方图的粒子滤波算法，解决手势的跟踪问题，得到手势的历史运动轨迹和预测方向。

从图片帧中提取出手势信息后需要进行人脸和手势识别，具体过程见图4和图5。

（3）手势识别：本发明通过预先定义手势模板，提取模板的特征，建立当前输入的手势特征的判决函数，通过机器学习方法进行训练，预测的匹配结果作为最后的识别结果，分析出当前手势的含义。手势模板为单色位图，目前只需手掌和握拳两种即可满足需求。在跟踪和识别的过程中还需进行错误识别的判读，如在跟踪手掌手势时，偶然出现数帧非连续性的握拳或其它手势，则需要进行自动排除，避免对后面的交互工作产生干扰。

识别出图片帧中的手势后，需要设置对应的鼠标位置和动作，同时转换为相应的系统鼠标事件，具体过程见图6和图7。

（4）手势交互：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应关系，转换成相应的系统指令，例如，鼠标单击、鼠标移动等。如图7中所示，程序保存历史手势，与当前手势进行比较。在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖动选中的目标。在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊开则产生鼠标释放事件，握拳超过一定时间门限则产生鼠标长按事件。由这五种事件产生出的操作可以满足绝大多数人机交互的要求。按照摄像头捕捉到的手势的中心点在整个视场的位置，可以映射出计算机屏幕上或者投影屏上放大的鼠标指针的位置。另外，软件还预留了接口可以根据用户的定义进行功能的扩展，如手掌画圆、画方、画三角都可以规定为特定的交互动作。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于手势识别的人机交互方法，其特征在于，包括以下步骤：

(1)拍摄图像视频流过程：启动摄像头，拍摄手势图像视频流；

(2)对图像视频流的处理过程：此过程包括两部分：手势分割和手势跟踪；通过对手势图像视频流进行手势分割，将手势图像视频转化为相应的图像帧，再根据相应的图像帧建立手势模板，再利用HSV直方图的粒子滤波算法得到手势的运动轨迹和预测方向，手势分割是通过背景建模、运动目标检测建模以及结合HSV肤色检测模型来快速定位检测；

(3)手势识别过程：从图像视频流中图像帧，根据相应的算法软件提取出手势的形状、特征以及位置信息，通过预先建立相应的手势模板对手势进行识别，然后再设置对应的鼠标位置和动作，同时转换为相应的系统鼠标事件；手势交互中的模拟系统鼠标事件是通过下列方式实现的：a程序保存历史手势，与当前手势进行比较；b在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖动选中的目标；c在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊开则产生鼠标释放事件，握拳超过时间限制则产生鼠标长按事件；

(4)手势交互过程：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应关系，转换成相应的系统指令，然后根据需求驱动特定的系统动作模拟相应的系统鼠标事件，进行人机交互。

2.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述的HSV肤色检测模型和光线补偿模型结合使用。

3.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述步骤(3)中的手势识别包括人脸识别和手势识别，所述手势识别包括手掌模板和握拳模板两种。

4.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述的手势识别过程是采用动态的手势序列识别的方法。

5.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述步骤(2)中的手势跟踪和步骤(3)中手势识别均还包括错误识别程序。