CN104932683A - 一种基于视觉信息的游戏体感控制方法 - Google Patents

Abstract

本发明涉及一种基于视觉信息的游戏体感控制方法。其特征在于，本体感控制系统可以通过摄像头识别纸片木条等简单道具，可以虚拟成方向盘或枪支，控制游戏或其他应用程序。具体步骤为：1.图像预处理，进行一些简单的图像处理，弥补因环境因素产生的噪声对图像引起的畸变；2.轮廓提取，在系统中同时设定了三个轮廓检测窗口，用于检测不同的颜色物体；3.目标物体的跟踪，在得到目标物体的轮廓后，为了更好的跟踪物体的移动，系统需要读取出轮廓中的关键点；4.计算机响应，得到起轮廓多边形后，将轮廓中心点的位置根据检测窗口与屏幕窗口的比例投影到屏幕窗口下。

Description

一种基于视觉信息的游戏体感控制方法

技术领域

本发明属于计算机视觉和人机交互的游戏操控领域，尤其涉及一种基于视觉信息的游戏体感控制方法。

背景技术

随着计算机视觉领域的发展，人们与电脑之间的交互已经不仅仅局限于鼠标，键盘等硬件。基于计算机视觉的物体检测，识别问题渐渐进入人们的眼球，这种全新的人机交互方式使得人们对机器的控制更加自然。尽管在如今的电子市场上存在着多种多样的体感控制器，但多数由于价格因素使得爱好者望而却步。

现如今，全球三大厂商(索尼、任天堂、微软)的体感产品已经遍布全球，以其优越的性能，精致的画面博得了众多玩家的青睐，但是有Leap公司生产的新兴产品Leap Motion对上述厂家带来了强烈的冲击。以其使用平台的优势(针对于当今个人电脑系统平台Windows、Mac等)，吸引了大量游戏开发商的关注。Leap的另一大优点在于设备体型较小，在Microsoft推出其Kinect后，普遍认为针对电脑的手势以及运动设备体积与电脑本身相差不多亦或是稍微小于电脑本身。

发明内容

研发一个体感控制系统可以通过摄像头识别纸片木条等简单道具，可以虚拟成方向盘或枪支，控制游戏或其他应用程序。主要内容和要求包括：从视频流中分割轮廓画面，物体轮廓提取，物体跟踪等等。在这个任务下，完成了从计算机摄像头中读取图像，并对图像进行分析、处理，提取物体的信息并跟踪，从而通过物体运动来控制鼠标的操作。其步骤为：

1.从视频设备中读取帧图像。

2.获得每帧图像后，将其从RGB色彩空间转换到HSV色彩空间。

3.将转换到HSV色彩空间的图像分离为H，S，V分量(色调，饱和度，亮度)。

4.拷贝出H分量的两个副本，对五个分量(H_blue,H_red，H_green，S,V)进行阈值化。设定相应的数值范围以表示不同的色调，饱和度，亮度(H_blue范围为90～120，H_red范围为150～180，H_green范围为30～50，S范围为110～255，V范围为0～255)。分量中每个介于范围之外像素都会被设为0(即，更改为黑色)，范围之内的像素保持不变。

5.将H_blue分量，H_red分量,H_green分量分别与S分量，V分量进行按位与运算，得到三个不同颜色的8位图像掩模，记为mask_blue,mask_red,mask_green。

6.使用中值滤波对步骤5中得到的三个掩模进行平滑处理。

7.使用形态学的方法对掩模进行处理，过程为腐蚀——开运算——膨胀——闭运算,卷积核为3*3。

8.将原始输入图像分别通过掩模复制，得到三个不同色调的目标图像，记为img_blue,img_red,img_green。

9.使用三个不同的轮廓扫描器对三个目标图像进行轮廓扫描，扫描物体轮廓最小为5000像素。若img_blue图像中的物体轮廓大于5000，则将此轮廓信息记录到一个cvSeq序列中，记为Move_contours。若img_red图像中的物体轮廓大于2000，则向计算机发送一次鼠标左键点击指令。若img_green图像中的物体轮廓大于2000，则向计算机发送一次键盘中自定义键点击指令(可通过控制台窗口输入键值，如R键为82)。

10.若在步骤(9)中获得Move_contours序列，先利用Douglas-Peucker算法对轮廓进行逼近处理，再利用OpenCV中cvConvexHull2()的方法将序列Move_contour由几个点组成的多边形。遍历此多边形中的点，比较出点集中Y轴的极大值maxY，极小值minY,X轴的极大值maxX，极小值minX，计算出多边形中心点O(x,y)。若是该帧轮廓中心点与上一帧相比对偏移量大于5像素，则将中心点位置按比例投影到屏幕坐标系中，模拟为鼠标位置。

11.清理上述步骤中所调用的资源，清空该帧图像，进入下一帧循环。

附图说明

图1是图像分割流程图

图2是体感控制系统整体框架图

具体实施方式

体感控制系统总共分为三个层次：检测层、追踪层、响应层。检测层负责从视频图像采集设备中提取目标物体，并且过滤其他物体，主要为图像预处理和轮廓提取部分。追踪层负责跟踪目标物体的移动，在追踪层中同时获取了相应的模型参数以至于更好的了解物体在某时出现在某个位置，主要为物体追踪部分。响应层负责根据检测到的物体状态，对计算机申请不同的响应控制，主要为计算机控制部分。

1.图像预处理

图像的预处理是整个体感控制系统的第一步。当我们从视频图像采集设备中获取包含目标物体图像时，这些图像在生成、传输及转换过程中难免会遭受到各种各样的干扰和影响，从而加大物体的检测难度。我们在对其分析之前需要对其进行一些简单的图像处理，弥补因环境因素产生的噪声对图像引起的畸变。本文中图像预处理阶段主要包括色彩空间转化、图像分割、平滑处理、形态学处理等系列操作，从而实现图像增强的效果，一方面过滤图像中的无用信息，另一方面去除图像中有效信息中夹杂的噪声，再则可以弥补硬件设备不足带来的影响。

色彩空间的转化至HSV色彩空间方便于我们更好的控制色彩区域、饱和度及亮度。图像分割中去除掉非目标颜色，使其归零，减少我们的检测干扰。平滑处理的有效方法有很多种：均值滤波法、中值滤波法、高斯滤波法等。形态学处理在图像处理中普遍使用的是开运算和比运算，用于去噪和弥补空洞，具体流程如图1所示。

2.轮廓提取

系统已经从HSV色彩空间的H分量中通过阈值化的方法设定了特定的目标颜色值，接下来系统需要做的就是将目标的轮廓从图像中提取出来更好地进行定位操作。

轮廓提取过程使用了OpenCV函数库中自带的cvStartFindContours()轮廓提取方法，每次只返回一个轮廓。扫描图像中可能存在的目标轮廓，通过设定面积值的范围精确目标的检测。为了更好的对计算机进行控制，在系统中同时设定了三个轮廓检测窗口，用于检测不同的颜色物体，假设了以蓝色物体控制鼠标移动，以红色物体的存在与否控制鼠标点击事件，而以绿色物体的存在与否则是控制特定功能键点击事件(键值是可修改的)。

系统检测的目标物体大小设为大于5000像素的物体，当然这个面积对于用户来说是可控的。同时为了用户更便捷的使用，用户可以自立的改变系统状态(即检测或者不检测物体)。

3.目标物体的跟踪

在得到目标物体的轮廓后，为了更好的跟踪物体的移动，系统需要读取出轮廓中的关键点。在物体检测步骤中系统检测出了蓝色物体轮廓，系统还需要中轮廓中将关键点的数据确切的保存。不过在这之前，为了有效的减少我们的计算量，检测过程中采用基于Douglas-Peucker算法的多边形逼近的方法有效的减少目标轮廓的顶点数目，提升运算速度。

当然，系统之前所读取的这些无序点集对于物体的跟踪是毫无用处的。因为这些无序点集不只是轮廓的边缘点集，其中还包含了轮廓中心的无序点，这将对系统进行物体跟踪平添更多的工序。所以系统需要的是一个类似于矩形或者其它的多边形形状，用于更加轻松、快捷的定位物体。OpenCV中提供了Hull的方法，通过该方法可以使用点集序列或者数组创建凸多边形。这样就能屏蔽去掉轮廓中心的无用点集，只保留边缘点集。在得到目标轮廓的多边形后，考虑使用以中心点的方法(即，遍历多边形的顶点序列，比较出X轴与Y轴上的极大极小值，算出中心点O)定位目标位置，如下式：

$O(\frac{Xmax+Xmin}{2},\frac{Ymax+Ymin}{2})$

同时在系统中也考虑到这样一个问题，当人手持目标物体时，根据人的运动特性，抖动是不可能不存在的。所以在系统跟踪过程中设定了一个最小移动范围变量以至于用户更稳定的控制计算机。系统记录上一帧物体中心点的位置，并与当前帧的物体轮廓中心点位置进行比较。倘若两者距离差大于预设定的最下移动距离，则系统判定物体产生了移动，将物体轮廓中心点的位置从窗口坐标投影到屏幕坐标(详见下式)，并反映至计算机控制，否则系统将不做任何处理。

$D_{screen}\left(\frac{O_x}{{\mathrm{width}}_{window}}*{\mathrm{width}}_{\mathrm{screen}}\frac{O_y}{{\mathrm{height}}_{window}}*{\mathrm{height}}_{\mathrm{screen}}\right)$

其中O_x代表图像窗口中中心点X坐标，O_y代表图像窗口中中心点Y坐标。

4.计算机响应

在物体检测阶段，系统只要检测到存在大于预设面积的红色、绿色物体，就会对计算机发出控制事件。如检测到红色物体，系统就向计算机发送一个mouse_event事件，这里是完成一个鼠标左键点击事件。再则检测到绿色物体，系统就向计算机发送一个keybd_event事件，这里是完成键盘r键的点击事件。至于蓝色物体，在得到起轮廓多边形后，将轮廓中心点的位置根据检测窗口与屏幕窗口的比例投影到屏幕窗口下。当然，这必然会导致一定程度上的失真。最后使用WinAPI中自带的SetCursorPos()来控制鼠标的移动。

Claims (1)

1.一种基于视觉信息的游戏体感控制方法，其特征在于，步骤为：

a)图像预处理

图像预处理阶段主要包括色彩空间转化、图像分割、平滑处理、形态学处理等系列操作，从而实现图像增强的效果，一方面过滤图像中的无用信息，另一方面去除图像中有效信息中夹杂的噪声，再则可以弥补硬件设备不足带来的影响，色彩空间的转化至HSV色彩空间方便于我们更好的控制色彩区域、饱和度及亮度，图像分割中去除掉非目标颜色，使其归零，减少检测干扰，形态学处理在图像处理中普遍使用的是开运算和比运算，用于去噪和弥补空洞；

b)轮廓提取

系统已经从HSV色彩空间的H分量中通过阈值化的方法设定了特定的目标颜色值，接下来系统需要做的就是将目标的轮廓从图像中提取出来更好地进行定位操作，扫描图像中可能存在的目标轮廓，通过设定面积值的范围精确目标的检测，为了更好的对计算机进行控制，在系统中同时设定了三个轮廓检测窗口，用于检测不同的颜色物体；

c)目标物体的跟踪

在得到目标物体的轮廓后，为了更好的跟踪物体的移动，系统需要读取出轮廓中的关键点，在物体检测步骤中系统检测出了蓝色物体轮廓，系统还需要中轮廓中将关键点的数据确切的保存，为了有效的减少我们的计算量，检测过程中采用基于Douglas-Peucker算法的多边形逼近的方法有效的减少目标轮廓的顶点数目，提升运算速度，在得到目标轮廓的多边形后，考虑使用以中心点的方法(即，遍历多边形的顶点序列，比较出X轴与Y轴上的极大极小值，算出中心点O)定位目标位置；

d)计算机响应

在物体检测阶段，系统只要检测到存在大于预设面积的红色、绿色物体，就会对计算机发出控制事件，如检测到红色物体，系统就向计算机发送一个mouse_event事件，这里是完成一个鼠标左键点击事件，再则检测到绿色物体，系统就向计算机发送一个keybd_event事件，这里是完成键盘r键的点击事件，至于蓝色物体，在得到起轮廓多边形后，将轮廓中心点的位置根据检测窗口与屏幕窗口的比例投影到屏幕窗口下，最后使用WinAPI中自带的SetCursorPos()来控制鼠标的移动。