CN101110102A - 基于玩家拳头的游戏场景和角色控制方法 - Google Patents

Abstract

本发明公开一种基于玩家拳头的游戏场景和角色控制方法，包括：对从图像输入设备获得的图像进行简单有效的预处理；通过统计学习方法进行拳头的检测、跟踪，通过对跟踪的结果进行分析，得到拳头的空间参数信息，并将这些信息映射成对应的游戏控制指令，实现游戏场景和角色的实时控制功能。用玩家的拳头的姿态来取代传统的键盘鼠标，仅通过摄像头拍摄玩家姿态及其运动状态，计算机分析和识别，并将结果转化为游戏的控制指令，代替或辅助传统的游戏交互方式。本发明视频检测方法实时、鲁棒、易于实现和操作。本发明能使游戏用户期望能以更自然、更智能的新方式进行交互操作，如采用自身姿体动作等，由此可使游戏更具交互性和沉浸感。

Description

基于玩家拳头的游戏场景和角色控制方法

技术领域

本发明涉及图像分析与识别技术领域，特别是基于玩家拳头的游戏场景和角色控制方法。

背景技术

近年来，随着计算机技术的革新，以计算机游戏为代表的数字娱乐产业飞速发展。作为一类特殊的应用软件，计算机游戏通过向游戏用户提供一系列的菜单选项和操作指令，实现用户与游戏之间的交互操作。用于游戏的传统人机交互方式有：鼠标键盘、游戏杆及专用游戏设备等，以手动和有线连接为主。伴随计算机游戏种类与内容的不断扩展丰富，其操作复杂性剧增，仍然仅采用传统交互方式，越来越难于控制。

鼠标和键盘是最常用的设备，它们将用户手的敲击、移动转化成电信号并最终成为一种供系统响应的事件。专用游戏设备是鼠标和键盘在功能上的扩展，但其原理大致相同。前者相比于后者的优越性体现在操作性上，如可玩性和方便性。

传统的交互方式基本上是以事件来驱动的，这是一种低层次的交互，因为它并不能理解游戏的内容，所以用户要实现一种有语义的控制往往需要一系列的低层次操作。

发明内容

为了解决传统交互方式，越来越难于控制的问题，本发明的目的是要用玩家的拳头的姿态来取代传统的键盘鼠标，为此，本发明提供一种基于玩家拳头的游戏场景和角色控制方法。

为了实现上述目的，本发明提出的技术方案是一种基于玩家拳头的游戏场景和角色控制方法，设定玩家拳头游戏场景和玩家拳头角色控制命令与目标参数之间的对应关系；对特定游戏场景和角色控制命令与目标参数之间的对应关系进行明确定义，以便实现后续的命令映射。其方法步骤如下：

通过统计的方法待检测拳头目标样本进行学习，得到待检测玩家拳头目标的模式；

通过图像输入设备进行指明该图像是否为特定游戏场景的图像采集；实时捕获图像并进行光线校正，去噪等预处理；

对前述采集的图像进行预处理；

在前述处理后的图像上，利用学习到的目标模式进行拳头检测与跟踪，同时提取拳头的空间参数信息，将提取到的参数映射成游戏控制命令。

根据本发明的实施例，所述的统计学习方法的步骤包括：

(1)获取拳头样本；

(2)统计学习拳头样本模式。

根据本发明的实施例，所述的图像预处理步骤包括：采用像素的均值和方差来进行光线矫正。

根据本发明的实施例，所述检测与跟踪的步骤包括：

(1)通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标；

(2)通过对检测到的目标进行特征分析，提取具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测。

根据本发明的实施例，所述的参数提取步骤包括：通过对跟踪的结果进行分析，得到拳头的所在位置、大小、运动方向和速度，以及双拳之间的相对位置关系。

根据本发明的实施例，所述游戏控制命令映射步骤包括：将提取的参数映射到预先定义好的命令集，得到游戏的控制信息。

本发明的有益效果：采用玩家拳头的游戏场景控制，就是用玩家的拳头的姿态来取代传统的键盘鼠标，仅通过摄像头拍摄玩家姿态及其运动状态，在计算机中进行分析和识别，并将结果转化为游戏的控制指令，实现对游戏中场景和人物的直接控制，以代替或辅助传统的游戏交互方式。由于游戏对实时性要求高，因此视频检测方法必需实时、鲁棒。为便于用户使用，这种控制方法还必需易于实现和操作。本发明能使游戏用户期望能以更自然、更智能的新方式进行交互操作，如采用自身姿体动作等，由此可使游戏更具交互性和沉浸感。随着计算机视觉技术的发展，应用视觉进行自然的人机交互已经成为可能，由于摄像头已经成为计算机常用的配置，这种技术的应用也就具有广阔的前景。

附图说明

图1为本发明的基于玩家拳头的游戏场景和角色控制方法流程图。

图2为采用本发明方法的游戏控制示意图。

图3为本发明实施例Haar特征结构。

图4为本发明实施例拳头上一个显著的Haar特征。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

根据本发明的图1所示，为本发明的基于玩家拳头的游戏场景和角色控制方法流程图，图2基于玩家拳头的游戏场景和角色控制方法的游戏控制示意图，图1中所示具体实施步骤如下：

(1)获取帧图像：通过高速图像捕获模块从图象输入设备获取实时图像；

(2)基于统计的目标检测：考虑到算法的简便性与鲁棒性的要求，设计了基于统计学习的检测方法，另外通过对亮度的分析补偿，从而尽可能的消除光照变化的影响；

(3)目标跟踪：通过对检测到的目标进行特征分析，提取出具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测；

(4)参数提取与转换：通过对拳头的跟踪，提取拳头的空间参数信息，并利用预先定义好的命令集进行映射转换，得到游戏的控制信息；

本发明实现方法：需要的硬件为计算机及图像采集设备。

所述的角色即游戏中主要对象，如玩家控制的人物，车辆等；游戏场景即随着游戏角色的行为而做出相应变化的对象，如背景，非玩家控制人物等；拳头角色即玩家用拳头来控制其行为的角色；拳头角色的控制命令即控制角色行为的指令，这个行为的性质、方向、程度等特征由目标参数来描述。

首先要设置一个控制命令集合，并且每个命令对应于一个或几个目标参数。因为控制命令的不同，这个目标参数可能是离散的状态量，也可是连续的数值。

设置好上述映射关系后，由图像采集设备采集包括玩家拳头的图像到计算机，然后进行图像预处理，再用检测与跟踪拳头，描述提取目标参数，最好将这些目标参数映射到控制命令上用于控制拳头角色及游戏场景。

所述的统计学习方法的步骤包括：(1)获取拳头样本；(2)统计学习拳头模式。其描述方法的是用统计学习方法学习拳头模式。

拳头样本库的制作。拳头样本库包含正样本库和负样本库。用图像采集设备采集多个人分别在不同的光线，不同的背景下的多个姿态的拳头图片若干，然后手工剪裁出只包含一个拳头(不区分左右手拳头)的区域，放缩到同一个尺寸下，再用进行预处理。这样就获得了可直接用于统计学习的拳头正样本库。负样本库的单个样本不包含拳头或包括拳头但不只一个。正样本库是事先制作好的，是固定的，而负样本是的统计学习过程中生成的，是变化的。

用于学习拳头模式的统计学习方法是Adaboost算法。

Adaboost意为Adaptive Boost，是AT&T实验室提出的一种自提升Boosting算法。它通过调用弱学习器不断学习训练样本中的难学习的样本，从而达到较高的泛化精度。

基于Adaboost的拳头检测算法是一种统计学习算法，它通过对Haar特征的统计来判别是不是拳头。如图3为本发明实施例Haar特征结构所示：Haar特征是Haar小波变化而来。它们通过相邻区域的灰度差，也就是亮度关系，描述目标。拳头可以通过若干这样的Haar特征来描述。其物理意义是十分明确的，如图4为本发明实施例拳头上一个显著的Haar特征所示：中间区域的应该比两侧区域暗，只要能找到足够多这样的特征，就能将拳头和非拳头分开。

AdaBoost算法的主要过程是：首先给样本集合，然后对该样本集合进行循环操作，每次循环首先得到一个弱分类(即weak learning)，然后计算该假设的错误率，根据该错误率改变每个例子的权重进入下一个循环，若干个弱分类组成强分器。其具体过程如下：

Adaboost算法流程：

给定样本(x₁，y₁)，...，(x_n，y_n)，对m个负样本，y_i＝0；对l个正样本y_i＝1，n＝m+l。

分别对负样本正样本初始化权 $w_{1,i}=\frac{1}{2m},\frac{1}{2n}.$

t＝1，…，T

1.归一化权。

$w_{t,i}\←\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,j}}$

2.对于每一特征j，训练出一个弱分类器h_j，计算出与之对应的错误率。

ζ_t＝∑w_i|h_j(x)-y_j|

3.选择错误率ζ_t最小的h_j。

4.更新权，

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中， ${\mathrm{\β}}_t=\frac{{\mathrm{\ζ}}_t}{1-{\mathrm{\ζ}}_t},$ 若分类正确，e_i＝1，否则e_i＝0。

最终T个弱分类器组成一个强分类器。

其中， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}.$

所述的图像预处理步骤包括：采用像素的均值和方差来进行光线矫正。具体描述拳头图像的预处理方法：

对一幅拳头图像，求取整幅图像灰度值的均值和方差。然后对于图像中每一个像素，将其灰度值减去均值然后除以方差得到的值作为新的灰度值，这样处理后的图像就是进行光线矫正好的图像。

所述检测与跟踪的步骤包括：

(1)通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标；

(2)通过对检测到的目标进行特征分析，提取具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测。具体方法是：

步骤(1)由拳头模式检测拳头，过程如下：

在拳头可能出现的区域(由上一次检测的结果预测到)内，在不同尺度下取候选拳头图片的一系列有用Haar特征(由Adaboost算法得取)送入学习到的分类器，分类器输出其是否为拳头的判断结果。

步骤(2)用步骤(1)得到的结果，预测拳头运动范围并修正先前对其运动趋势的估计。拳头运动的方向和速度可由两次拳头的相对位置和相隔时间得到。假定拳头运动的趋势和速度不变的情况，就可以大致估计下次拳头出现的位置。

所述的参数提取步骤包括：通过对跟踪的结果进行分析，得到拳头的所在位置、大小、运动方向和速度，以及双拳的相对位置关系。是描述提取目标参数，这些目标参数可能来源与拳头的位置，大小是拳头检测的结果，运动方向和速度是拳头跟踪的结果，其它参数均可以从这四个参数中得到。

所述游戏控制命令映射步骤包括：将提取的参数映射到预先定义好的命令集，得到游戏的控制信息。具体实现方法是：提取到的目标参数在经过适当的处理后就可以映射到命令集上。这里提到的适当处理是指从游戏稳定性的角度考虑，应该对目标参数值进行平滑处理，主要是为了抗噪声。可用的方法有平均法，卡尔曼滤波法等。

上面的描述是用于实现本发明及其实施例，因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims (6)

1.基于玩家拳头的游戏场景和角色控制方法，包括如下步骤：

将游戏场景中玩家拳头角色的控制命令与目标参数之间的对应关系进行映射；

通过统计的方法对拳头目标样本进行学习，得到待检测玩家拳头目标的模式；

通过图像输入设备采集待检测图像；

对前述采集的图像进行预处理；

在前述处理后的图像上，利用学习到的目标模式进行拳头检测与跟踪，从而获得拳头的空间参数信息，将提取到的参数映射到游戏控制命令上。

2.根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法，其特征在于：所述的统计学习方法的步骤包括：

(1)获取拳头样本；(2)统计学习拳头样本模式。

3.根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法，其特征在于：所述的图像预处理步骤包括：采用像素的均值和方差来进行光线矫正。

4.根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法，其特征在于：所述检测与跟踪的步骤包括：

(1)通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标；

(2)通过对检测到的目标进行特征分析，提取具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测。

5.根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法，其特征在于：所述的参数提取步骤包括：通过对跟踪的结果进行分析，得到拳头的所在位置、大小、运动方向和速度，以及双拳之间的相对位置关系。

6.根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法，其特征在于：所述游戏控制命令映射步骤包括：将提取的参数映射到预先定义好的命令集，得到游戏的控制信息。

Images