CN103995595A - 一种基于手势的游戏体感控制方法 - Google Patents

Abstract

本发明涉及一种基于手势的游戏体感控制方法。其特征在于，通过摄像头捕捉游戏玩家手部动作，实现以体感方式操控游戏的方法。具体步骤为：1.视频信号预处理，采集摄像头视频信号，并对信号进行预处理，包括噪声滤除处理，色彩空间的转换等等；2.肤色的检测，在前一步视频画面经过处理之后，基于肤色对操作者的皮肤区域进行检测；3.手部的定位，在得到肤色区域的轮廓之后，采用基于面积法的人手区域轮廓检测；4.手部的运动跟踪，对操作者的手部在画面之中的运动进行跟踪，记录运动轨迹和坐标位置；5.手部动作的识别，识别操作者的手部动作，区分手的握拳与伸开状态；6.手势体感控制，根据操作者的手部在摄像头范围内的运动，控制被操作目标的移动；结合操作者的手部动作，控制目标预先定义的动作。

Description

一种基于手势的游戏体感控制方法

技术领域

本发明属于图像处理和人机交互的游戏体感控制领域，尤其涉及一种基于手势的游戏体感控制控制方法。

背景技术

随着游戏的不断发展，人们的目光从游戏本身逐渐向人机交互这一块转变，现在的用户已经不仅仅满足于游戏本身的好坏，而是希望游戏的操作更加有代入感，交互更加方便简洁。

体感游戏的出现则正好满足了人们的这一需要，作为体感游戏控制部分则是至关重要的。摄像头输入作为一个新型的输入方式在体感游戏中被普遍使用，在基于视觉的体感游戏控制中主要涉及颜色形态检测、差帧运动物体检测等图像识别技术。

人机交互是多种媒体、多重模式的交互技术，其更多的强调以用户为中心，使用符合自然交流习惯的计算机控制技术,为用户提供一个自然而有效的人机交流界面。手势检测是一种新型的自然人机交互方式，不同于传统的以机器为中心的人机交互方式。

而基于手势识别的体感游戏主要可以分为两类：利用数据手套等相关设备的系统和徒手系统。基于数据手套等相关设备的操作主要是靠手套内自带的传感器来检测手的动作与手势然后经过发送装置将检测到的信息发送给主机进行游戏。徒手系统不需要用户使用任何辅助工具，是自然的人机交互方式。因此，对徒手手势体感游戏的研究更具有现实意义。徒手体感游戏是体感游戏发展的大方向，并会为体感游戏带来更加广阔的应用前景。

手部的动作捕捉是基于运动目标的检测的基础之上来完成的。只有检测到运动的物体，然后再加以分析是否为手才能进行手势的识别。手势识别一般可以分为：

①手掌的位置和方向；

②手掌的弯曲度，并根据这两个分量的不同组合进行手势的识别；

现在通常进行手势识别的方法主要是先进行三维建模，在三维建模中有两种普遍的建模方法，一种是基于三维手模型的手势模型，一种是基于表现的手势模型。原理上，基于三维手模型的手势模型适合于给所有手势模型建模，而基于表观的手势模型通常只适合用于给一般普遍的手势。然而，基于三维手模型的手势模型不仅参数多，计算复杂度高，而且为抽取模型参数而使用的许多近似过程导致模型参数估计很不可靠，而基于表观的手势模型计算复杂性低，易于达到。因此，目前绝大多数的手势识别系统都是采用表观的手势模型。

手势检测则是一种比较精细的控制方式，在游戏中存储一些简单的手势库和玩家在摄像头前做的手势进行比较，如果与原有手势一样，则执行该手势的操作。因为人类手势比较多也比较复杂，所以一个手可以进行多项操作。但在游戏中比较难于区分人类复杂的手势，所以在现今游戏中运用比较少。

发明内容

本发明的目的是提供一种用低成本的普通摄像头能实现的通过对操作者手部进行检测与跟踪，对操作者的手势动作加以识别从而在游戏中进行人机交互的控制方法。

为了达到上述目的，本发明的技术方案提供了一种基于手势的游戏体感控制方法，其步骤为：

1.视频信号预处理

采集摄像头视频信号，并对信号进行预处理，包括噪声滤除处理，色彩空间的转换等等；

2.肤色的检测

在前一步视频画面经过处理之后，基于肤色对操作者的皮肤区域进行检测；

3.手部的定位

在得到肤色区域的轮廓之后，采用基于面积法的人手区域轮廓检测；

4.手部的运动跟踪

对操作者的手部在画面之中的运动进行跟踪，记录运动轨迹和坐标位置；

5.手部动作的识别

识别操作者的手部动作，区分手的握拳与伸开状态；

6.手势体感控制

根据操作者的手部在摄像头范围内的运动，控制被操作目标的移动；结合操作者的手部动作，控制目标预先定义的动作。

本发明通过图像处理和计算机视觉的技术，检测操作者的手部位置，跟踪手部的运动，并检测操作者的手部动作，从而实现对游戏的操控。使用低成本的普通摄像头，为运动和游戏爱好者提供了一种方便简洁的游戏操控方式。

附图说明

图1是整个基于手势的游戏操控系统基本流程图

图2是对手部的检测和定位

图3是对手部的握拳状态的识别

具体实施方式

通过一个普通的USB摄像头，在不考虑背景和衣服颜色的情况下，被跟踪的目标(操控者的手)必须位于摄像头视野之内，跟踪定位完成后将数据传送到数据处理模块，进行比对分析，排除噪声数据，得到较为鲁棒的数据后作为游戏控制模块的控制参数，对游戏中的角色进行控制。

1.视频信号预处理

对于视频的处理，实际上就是对视频帧的处理，每一帧就是一张视频图片。所以方法的第一步也就是最基础的一步就是对视频图像序列的采集。

在图像的产生和传输过程中都会产生或多或少的噪声，从而影响大图像质量。为了抑制噪声改善图像质量，必须对图像进行平滑处理，图像的平滑处理过程就是图像的滤波过程。

均值滤波是典型的线性滤波算法，在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身)。再用模板中的全体像素的平均值来代替原来像素值。经过均值滤波，视频图像中的噪声得到了抑制。

为了在后续步骤中进行肤色区域的检测，对视频图像进行由RGB色彩空间到HSV色彩空间的转换。

$\left\{\begin{array}{cc}H=\arccos \frac{\frac{1}{2}((R-G)+(R-B))}{{({(R-G)}^2+(R-B)(G-B))}^{\frac{1}{2}}}& \mathrm{ifB}\≤G\\ H=2\mathrm{\π}-\arccos \frac{\frac{1}{2}((R-G)+(R-B))}{{({(R-G)}^2+(R-B)(G-B))}^{\frac{1}{2}}}& \mathrm{ifB}>G\\ S=\frac{\mathrm{Max}(R,G,B)-\mathrm{Min}(R,G,B)}{\mathrm{Max}(R,G,B)}& \\ V=\frac{\mathrm{Max}(R,G,B)}{255}& \end{array}\right.$

2.基于H分量的肤色区域检测

在对图像进行完预处理之后，需要对肤色区域进行检测。只有正确的找出肤色区域，才能为下一步手的定位提供基础。

由于HSV受光线影响很小，从以上HSV图像中可以很明显的看出手和脸的肤色区域。而在原图中脸部存在明显的因光照不足而产生的阴影区域，对比原图和HSV图像可知，HSV图像对于肤色的检测效果明显比RGB图像好。

颜色直方图描述的是不同颜色在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置。计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin。这个过程称为颜色量化。然后，通过计算颜色落在每个小区间的像素数量可以得到颜色直方图。从肤色直方图可以看出，肤色其实主要由橙红和橙黄色组成。

3.手部的定位

在得到肤色区域的轮廓之后，就需要排除人脸区域。在这里采用面积法，因为手握拳的时候手势区域总是小于人脸区域的，这就很好的排除了人脸区域。手在伸开时可能面积会超过人脸区域，但是手的运动有连续性，从握拳的手开始连续变化到伸开的手，因此不会检测到人脸区域。

4.手部的运动跟踪

因为手部区域有一定的面积，而且运动连续，所以采用最邻近区域跟踪法就可以准确地跟踪操作者手部区域的运动。

手部区域的中心位置由前一帧的y₀移动到新一帧的y₁。

5.握拳与伸开状态的识别

捕捉手的握拳和手的松开，如果用三维手势建模时需要建立一个完整的手掌形状，而利用手的凹凸性就能简单而又准确的实现这个功能的判断。当手是握拳时，在轮廓检测下将很难检测到握拳状态下的手有什么凹凸可言，而当手在伸开阶段，手指则明显的出现了凹凸性，这样在手势特征提取中就能很好的提取出想要的模型来。具体参见图2和图3。用手的轮廓上下两帧之间的大小突变也可以来判断手的操作，但这种方法会有很大的误差性，当手前后移动速度过快时可能会产生误判。

6.手势体感控制

找出手部区域的中心点，然后利用两帧之间手的中心点的位移差来判定手的移动方向和位移，最后再利用虚拟键盘和鼠标消息来操控。检测出手部的伸开与握拳两个状态，从而利用这两个状态控制鼠标的左键的按下与松开。

Claims (1)

1.一种基于手势的游戏体感控制方法，其特征在于，步骤为：

a)视频信号预处理

使用均值滤波去除图像噪声，在图像上对目标像素给一个模板，该模板包括了其周围的临近像素(以目标象素为中心的周围8个象素，构成一个滤波模板),再用模板中的全体像素的平均值来代替原来像素值；为了在后续步骤中进行肤色区域的检测，对视频图像进行由RGB色彩空间到HSV色彩空间的转换；

b)基于H分量的肤色区域检测

由于H分量受光线影响很小，从以上HSV图像中可以很明显的看出手和脸的肤色区域；而在原图中脸部存在明显的因光照不足而产生的阴影区域，因此在HSV图像的H分量中进行肤色区域的检测；

c)手部的定位

采用面积法，因为手握拳的时候手势区域总是小于人脸区域的，这就很好的排除了人脸区域；手在伸开时可能面积会超过人脸区域，但是手的运动有连续性，从握拳的手开始连续变化到伸开的手，因此不会检测到人脸区域；

d)手部的运动跟踪

因为手部区域有一定的面积，而且运动连续，所以采用最邻近区域跟踪法就可以准确地跟踪操作者手部区域的运动；手部区域的中心位置由前一帧移动到新一帧；

e)手部动作的识别

捕捉手的握拳和手的松开，当手是握拳时，在轮廓检测下将很难检测到握拳状态下的手的凹凸性，而当手在伸开阶段，手指则明显的出现了凹凸性，从而区分手的握拳和伸开动作；

f)手势体感控制

找出手部区域的中心点，然后利用两帧之间手的中心点的位移差来判定手的移动方向和位移，最后再利用虚拟键盘和鼠标消息来操控；检测出手部的伸开与握拳两个状态，从而利用这两个动作控制鼠标的左键的按下与松开。