CN103520923A - 游戏控制方法及设备 - Google Patents

Abstract

本发明涉及一种游戏控制方法及设备。一种游戏控制方法，包括：提取步骤，输入图像序列并获得每一帧图像中的多个待比兴趣点；匹配步骤，选择与模式库中预存图像特征匹配的图像；计算步骤，依据被选择的图像计算操控物体的空间位置；执行步骤，依据该空间位置控制游戏。该游戏控制设备包括提取模块、匹配模块、计算模块和执行模块。本发明的游戏控制方法及设备用户体验较好。

Description

游戏控制方法及设备

技术领域

本发明涉及一种设备的操控方法，尤其涉及一种游戏控制方法。

此外，本发明还涉及一种操控设备，尤其涉及一种游戏控制设备。

背景技术

现有技术中，体感游戏设备层出不穷，以满足人们对游戏控制设备的不断需求。以任天堂公司的Wii为例，Wii包括一个主机、一个手柄。该手柄上包括多个用于测量运动信息的传感器和无线发射端。该主机包括一个无线接收端和处理器。手柄上的多个传感器，如加速度传感器、角速度传感器、重力传感器以及位移传感器等，将手柄的运动信息通过无线发射端发送至该主机的无线接收端。该主机依据该等运动信息建立该手柄在空间中的运动轨迹，并且依据该运动轨迹对游戏进行操控。

然而，该等传感器均系电子设备，该手柄内需要内置电源以支持该等传感器工作。同时，由于多个传感器只是记录手柄的相对运动参数，该主机需要根据加速度等信息计算出该手柄的空间位置，因此该空间位置是一个相对值，而非绝对位置，因此经过一定时间运行后会存在较大位置漂移，形成系统性误差。同时，该主机的计算量较大，使得设备功耗较大。因此现有技术中的游戏控制方法和设备性能较差。

发明内容

鉴于现有技术中的游戏控制方法性能较差的技术问题，有必要提供一种性能较好的游戏控制方法。

同时，鉴于现有技术中的游戏控制设备性能较差的技术问题，也有必要提供一种性能较好的游戏控制设备。

本发明的具体技术方案如下：

一种游戏控制方法，包括：提取步骤，输入图像序列并获得每一帧图像中的多个待比兴趣点；匹配步骤，选择与模式库中预存图像特征匹配的图像；计算步骤，依据被选择的图像计算操控物体的空间位置；执行步骤，依据该空间位置控制游戏。

在本发明的一个进一步优化的具体实施方式中，该匹配步骤包括：获取一个参考图像，该参考图像中包含该操控物体；提取该参考图像的该操控物体的多个参考兴趣点，将该多个参考兴趣点预存与该模式库中。

在本发明的一个进一步优化的具体实施方式中，该匹配步骤还包括：将每一帧输入的图像的多个待比兴趣点与该多个参考兴趣点进行对比；计算一帧图像中的待比兴趣点与参考图像中的参考兴趣点相匹配的数量；当该数量达到预设数值时，该帧图像被选择进入计算步骤；该预设数值大于等于该参考兴趣点数量的50%。

在本发明的一个进一步优化的具体实施方式中，该匹配步骤还包括获取该多个参考兴趣点的分布；该计算步骤包括：将与该参考兴趣点相同的待比兴趣点设为定位兴趣点，依据该定位兴趣点的分布计算该帧图像中操控物体的空间位置。

在本发明的一个进一步优化的具体实施方式中，该计算步骤还包括：连续获得多帧图像中的操控物体的空间位置；建立该操控物体的空间运动轨迹；该执行步骤包括：依据该空间运动轨迹生成游戏控制指令；执行该游戏控制指令。

在本发明的一个进一步优化的具体实施方式中，还包括：该计算步骤还包括，依据该操控物体的空间位置计算该操控物体在显示设备中的平面坐标；显示步骤，将该操控物体显示于显示设备。

在本发明的一个进一步优化的具体实施方式中，还包括：该匹配步骤还包括，获取每个待比兴趣点的待比特征矩阵及每个参考兴趣点的参考特征矩阵；当一个待比兴趣点的特征矩阵与一个参考兴趣点的参考特征矩阵相同或近似时，标定该待比兴趣点与该参考兴趣点匹配。

一种游戏控制设备，包括：提取模块，用于输入图像序列并获得每一帧图像中的多个待比兴趣点；匹配模块，用于选择与模式库中预存图像特征匹配的图像；计算模块，用于依据被选择的图像计算操控物体的空间位置；执行模块，用于依据该空间位置控制游戏。

在本发明的一个进一步优化的具体实施方式中，该匹配模块还用于获取一个参考图像，该参考图像中包含该操控物体；并且该匹配模块还用于提取该参考图像的该操控物体的多个参考兴趣点，将该多个参考兴趣点预存与该模式库中。

在本发明的一个进一步优化的具体实施方式中，该匹配模块还用于将每一帧输入的图像的多个待比兴趣点与该多个参考兴趣点进行对比；并且该匹配模块还用于计算一帧图像中的待比兴趣点与参考图像中的参考兴趣点相匹配的数量；当该数量达到预设数值时，该帧图像被选择进入计算步骤；该预设数值大于等于该参考兴趣点数量的50%。

在本发明的一个进一步优化的具体实施方式中，该匹配模块还用于获取该多个参考兴趣点的分布；该计算模块还用于将与该参考兴趣点相同的待比兴趣点设为定位兴趣点，依据该定位兴趣点的分布计算该帧图像中操控物体的空间位置。

在本发明的一个进一步优化的具体实施方式中，该计算模块还用于，连续获得多帧图像中的操控物体的空间位置，建立该操控物体的空间运动轨迹，依据该空间运动轨迹生成游戏控制指令。

在本发明的一个进一步优化的具体实施方式中，该计算模块还用于依据该操控物体的空间位置计算该操控物体在显示设备中的平面坐标；显示模块，将该操控物体显示于显示设备。

在本发明的一个进一步优化的具体实施方式中，该匹配模块还用于获取每个待比兴趣点的待比特征矩阵及每个参考兴趣点的参考特征矩阵；当一个待比兴趣点的特征矩阵与一个参考兴趣点的参考特征矩阵相同或近似时，标定该待比兴趣点与该参考兴趣点匹配。

相较于现有技术，本发明的主要有益效果在于：

相对于现有技术，由于本发明的游戏控制方法及设备通过对比预设的具有操控物体特征的参考图像来选择具有操控物体的图像，通过兴趣点的分布来确认该操控物体的空间位置，因此能够得到该物体在该空间中的准确位置。同时，由于是通过图像处理得到，是得到操控物体的绝对空间位置，不存在本发明所述的方法和设备运行一段时间产生位置漂移的现象，因此本发明所述的游戏控制方法及设备的性能较好。。

附图说明

图1是本发明游戏控制方法的流程示意图；

图2是本发明游戏控制设备的模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。

请参阅图1和图2，图1是本发明游戏控制方法的流程示意图，图2是本发明游戏控制设备的模块示意图。本发明的游戏控制设备包括一个提取模块11、一个匹配模块12、一个计算模块13和一个执行模块14。本发明的游戏控制方法包括：

步骤S1、提取步骤，输入图像序列并获得每一帧图像中的多个待比兴趣点；

该提取模块11用于输入图像序列并获得每一帧图像中的多个待比兴趣点。

在本发明中，操控物体在三维空间中运动，本发明的游戏控制设备获取该操控物体在三维空间中的运动状态，并依据该运动状态操控游戏。该运动状态包括运动轨迹、空间中该操控物体的角度等信息。

该提取模块11包括一个摄像头，该摄像头用于拍摄操控物体，以获取多帧连续的图像。具体的，该摄像头每秒钟拍摄多帧图像，该多帧图像记录了该操控物体在空间内的运动状态。

该提取模块11还包括兴趣点提取单元。该兴趣点提取单元用于提取图像中的兴趣点。在本实施方式中，该摄像头每获取一帧图像后，将该图像传输给该兴趣点提取模块。该兴趣点提取单元依据预设的算法将该图像中的兴趣点提取出来。

具体地，该兴趣点提取单元可以依据角点检测法、边缘检测法或者阈值检测法中的一个或者多个进行兴趣点提取。例如，该操控物体上包括一个较亮三角形的特征，该兴趣点提取单元通过阈值检测法将该三角形特征提取并定义为一个兴趣点。有例如该操控物体上具有明显的马赛克图案，该兴趣点提取单元将该马赛克图案定义为另一个兴趣点。又例如在玩家挥舞该操控物体时，其手指上具有一个戒指，该兴趣点提取单元将该戒指定义为一个兴趣点。又例如，在图像的背景信息中具有一个茶几，该兴趣点提取单元将该茶几的每个边缘定义为一个兴趣点。

在本发明的具体实施方式中，该兴趣提取单元通过前述角点检测法、边缘检测法或者阈值检测法中的一个或者多个该摄像头获得的图像进行兴趣点提取，从而获得多个兴趣点。在本实施方式中，该多个兴趣点被称作待比兴趣点。该多个待比兴趣点的数量通常为数十个至数百个，具体数量依据该摄像头传输而来的图像的复杂程度而定。

步骤S2、匹配步骤，选择与模式库中预存图像特征匹配的图像；

在步骤S1执行完毕后，需要通过该匹配模块12进行特征特征匹配。具体地，首先通过图像训练，在本发明的游戏控制设备中预存一幅参考图像的图像特征。该参考图像为该操控物体的图像，具有多个兴趣点，定义该多个兴趣点为参考兴趣点；然后将该多个参考兴趣点与摄像头拍摄而得的图像中的待比兴趣点进行一一对比，判断该多个待比兴趣点中有哪些与该多个参考兴趣点的特征相同。

在实现上述步骤时，首先通过该摄像头获得至少一幅具有该操控物体的参考图像，通过兴趣点提取单元提取该参考图像中的该操控物体上的各个兴趣点。通过多幅图像将该参考兴趣点的特征记录下来。为了便于获得参考兴趣点，在一个优选的实施方式中，该摄像头正对着该操控物体进行拍摄，获得该操控物体的正视图。在获得正视图的情况下，可以得到该多个参考兴趣点正视图时的分布。该多个参考兴趣点的分布情况与该操控物体在空间中的位置一一对应，即，当确定该多个参考兴趣点的分布后，可以获得该操控物体的空间坐标(假设以操控物体上某一点的空间中坐标来代表该操控物体在空间中的坐标)、该操控物体的旋转角(假设操控物体为棒状，则可以知道该棒状物体在空间中的状态，例如是横平竖直还是倾斜等)。

该多个参考兴趣点的分布包括每隔一兴趣点的位置、任意两个参考点之间的距离，任意两个参考兴趣点的相对位置关系等。例如，假设具有参考兴趣点A、B、C、D，四个点构成一个四边形，任意两个点的距离是确定的，任意两个点之间的距离的比例也是确定了，任意一点相对于任意另一点的空间方位也是确定的。例如AB距离3厘米，CD距离4厘米，距离之比为0.75，C在A的右上方30度位置(对于一个图片，按照像素行列的顺序定义上下左右)。定义此时该四个兴趣点的分布关系与该参考图片位置唯一对应，此时参考图片是操控物体位于摄像头正前方2米处获得。

步骤S3、计算步骤，依据被选择的图像计算操控物体的空间位置；

在被选择的图像中，假定该被选择的图像也具有兴趣点A、B、C、D。假设在该被选择的图像中，AB距离为6厘米，CD距离为8厘米，各店的相对位置关系与参考图片中各点的相对位置关系相同。只是任意两点的距离均增大了一倍。则此时可以推断出该被选择的图像中的操控物体也位于该摄像头的正前方，与该摄像头的距离小于2米。由于摄像头拍摄物体时，物体在画面中的大小与物体距离摄像头的距离是可以通过公式推导出来的，因此当知道该四个参考点除了距离增大其余相对关系未发生变化时，可以推导出该操控物体是距离摄像头多远处得到。例如，前述例子中，该被选择的图像中的操控物体是位于该摄像头正前方1米处拍摄的。

与前述类似，假设AB的距离仍为3厘米、CD的距离变为4.1cm，A、B之间的位置关系没有发生变化，但是A与C、A与D、B与C、B与D的位置关系都发生了轻微变化，因此可以推导出该操控物体在空间中稍微转动，转动轴为AB所在的直线。

在另外一个实施方式中，该兴趣点A、B、C、D也同时出现，其分布通过步骤S2已经获得，因此根据预设的计算公式该计算模块13可以计算出该操控物体在空间中的坐标。

步骤S4、依据该空间位置控制游戏。

游戏控制指令与该操控物体在空间中的状态是对应的。例如，操控物体在空间中静止对应一个游戏指令，操控物体在空中转圈对应另一条游戏指令，操控物体在空间中某个位置处对应又一个游戏指令。在处理完一帧图像后获得该帧图像对应的操控物体在空间中的坐标。当该计算模块13连续的处理多帧图像后，则可以依据时间和每个时间点对应的操控物体的空间坐标建立一个操控物体的运动轨迹。该运动轨迹与游戏控制指令一一对应。因此在步骤S3完成后，该执行模块14能够依据该空间位置和/运动轨迹等控制游戏。

在本发明的变更的实施方式中，步骤S2时，若一幅图像中的多个待比兴趣点与参考图像中的参考兴趣点相同的数量少于该参考兴趣点的50%时，则舍弃该幅图像，进行下一帧图像的处理，从而节约计算时间。

为便于进一步理解本发明的构思，虽然现有技术中存在技术如何提取兴趣点，并判断待比兴趣点的特征是否与模式库中预存图像的特征是否相同，但下面仍给出一个特别示例，介绍如何判断待比兴趣点与模式库中的兴趣点是同一个点。

具体的：

S21、将兴趣点的图像转化成灰阶图像，确定该兴趣点包括的每一个像素的灰度值；

待比兴趣点的图像一般都是彩色的，具有RGB信息。本发明中，可以将该彩色图像转变为灰阶图像，并依据之前每个像素的亮度值计算出该像素的灰阶值。

S22、获取兴趣点中每个像素的灰度值的二阶导数及矢量方向；

在获得待比兴趣点的所有的像素的灰度值之后，我们可以对灰阶值求梯度，并计算梯度的方向。所述梯度是指灰度值的二阶导数，梯度的方向也可以被称为矢量方向。梯度的方向一般是指在这个方向上，灰度值的变化率的改变最大。

通过数学计算，可以计算出该待比兴趣点涉及的所有的像素点的梯度值和梯度方向。梯度方向通常可以理解为一个平面360度方向中的一个具体数值。对如何定义这个360的方向的起始点0点，属于现有技术中比较容易理解的内容，此处不在叙述。

S23、将360度角度范围划分为多个角度区间，统计矢量方向位于每个角度区间中的二阶导数之和，形成特征阵列；

由于每个像素点处的矢量方向可能是一个非常具体的数值，具有多个小数点，例如为18.125度，此时，需要对该矢量方向及相应二阶导数进行统计。

例如，我们可以将360度的角度范围换分为36个相同大小的角度区间，例如分别是(0,10]，(10,20]，(20,30]，(30,40]……，(340,350]，(350,360]等。

进行统计时，是首先将所有的像素的矢量方向归纳为这36个角度区间。例如，18.125度的矢量方向被归纳为(10,20]的角度区间，11.701度的矢量方向被归纳为(10,20]的角度区间，46.265度的矢量方向被归纳为(40,50]的角度区间。

在归纳完毕之后，以一个角度区间为例，对矢量方向位于该角度区间内的所有像素的梯度值进行求和。求和之后，依据角度区间的自然顺序，对该每个求和值进行排列，此时，可以得到一个36维度的特征阵列。

例如，对一个待比兴趣点的所有像素而言，矢量方向位于(0,10]的角度区间的所有像素的梯度值(二阶导数)的和为25。(10,20]，(20,30]，(30,40]……，(340,350]，(350,360]等的角度区间中对应的梯度值的和依序为<25,10,55,70……，35,20>。则该待比兴趣点可以用阵列<25,10,55,70……，35,20>来表示。该阵列<25,10,55,70……，35,20>则被称为该待比兴趣点的特征阵列。

S24、判断该特征阵列是否存在于预存图像特征中；

预存在系统中的参考图像中的所有参考兴趣点也进行前述计算，以获得每个参考兴趣点的特征阵列。该等参考兴趣点的特征阵列构成参考特征阵列库。

此时，若需要知道某个待比兴趣点是否与预存的参考图像中的某个参考兴趣点相同，只需要检测该待比兴趣点的特征阵列是否存在与该参考特征阵列库即可。

当然，实际应用中，很难存在一个待比兴趣点的特征阵列与一个参考兴趣点的特征阵列完全相同的情况，因此，当一个待比兴趣点的特征阵列与一个参考兴趣点的特征阵列近似的时候，也可以认为该待比兴趣点就是该参考兴趣点，认为该待比兴趣点的特征阵列位于该参考特征阵列库中。

具体地，所谓近似可以如下表达，例如，假设参考兴趣点的阵列是<35,18,95,60……，30,40>而言，当待比兴趣点的特征阵列的每个数值都与该参考兴趣点的阵列中对应的数值相差在预设比例之内，或者所有相对应的数值误差之和在预设比例之内，该预设比例可以是10%，或者20%等，此时，判定该参考兴趣点的阵列与前述该阵列近似。前述预设比例是一个经验值，并不限于10%或者20%，具体数值根据画质的清晰程度、摄像头、设备的运算能力或者设备的应用环境等方面进行综合考虑后确定。

当视屏中某个画面中的存在400个待比兴趣点，预存的参考特征阵列库中有300个参考特征阵列。则此时，计算每一个待比兴趣点的特征阵列，判断每个特征阵列是否位于参考特征阵列库中，当该有超过150个待比兴趣点的特征阵列均存在于该参考特征阵列库中时(50%的比例)，则认为我们找到了该图像。此时可以依据该150个待比兴趣点的分布进行计算，计算相应的操控物体的空间位置。

本技术领域的普通技术人员可以理解实现上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (14)

1.一种游戏控制方法，包括：

提取步骤，输入图像序列并获得每一帧图像中的多个待比兴趣点；

匹配步骤，选择与模式库中预存图像特征匹配的图像；

计算步骤，依据被选择的图像计算操控物体的空间位置；

执行步骤，依据该空间位置控制游戏。

2.根据权利要求1所述的游戏控制方法，其特征在于，该匹配步骤包括：

获取一个参考图像，该参考图像中包含该操控物体；

提取该参考图像的该操控物体的多个参考兴趣点，将该多个参考兴趣点预存与该模式库中。

3.根据权利要求2所述的游戏控制方法，其特征在于，该匹配步骤还包括：

将每一帧输入的图像的多个待比兴趣点与该多个参考兴趣点进行对比；

计算一帧图像中的待比兴趣点与参考图像中的参考兴趣点相匹配的数量；当该数量达到预设数值时，该帧图像被选择进入计算步骤；

该预设数值大于等于该参考兴趣点数量的50%。

4.根据权利要求2或3所述的游戏控制方法，其特征在于，

该匹配步骤还包括获取该多个参考兴趣点的分布；

该计算步骤包括：将与该参考兴趣点相同的待比兴趣点设为定位兴趣点，依据该定位兴趣点的分布计算该帧图像中操控物体的空间位置。

5.根据权利要求4所述的游戏控制方法，其特征在于，

该计算步骤还包括：

连续获得多帧图像中的操控物体的空间位置；

建立该操控物体的空间运动轨迹；

该执行步骤包括：

依据该空间运动轨迹生成游戏控制指令；

执行该游戏控制指令。

6.根据权利要求4所述的游戏控制方法，其特征在于，还包括：

该计算步骤还包括，依据该操控物体的空间位置计算该操控物体在显示设备中的平面坐标；

显示步骤，将该操控物体显示于显示设备。

7.根据权利要求3所述的游戏控制方法，其特征在于，该匹配步骤还包括：

获取每个待比兴趣点的待比特征矩阵及每个参考兴趣点的参考特征矩阵；

当一个待比兴趣点的特征矩阵与一个参考兴趣点的参考特征矩阵相同或近似时，标定该待比兴趣点与该参考兴趣点匹配。

8.一种游戏控制设备，包括：

提取模块，用于输入图像序列并获得每一帧图像中的多个待比兴趣点；

匹配模块，用于选择与模式库中预存图像特征匹配的图像；

计算模块，用于依据被选择的图像计算操控物体的空间位置；

执行模块，用于依据该空间位置控制游戏。

9.根据权利要求8所述的游戏控制设备，其特征在于：

该匹配模块还用于获取一个参考图像，该参考图像中包含该操控物体；并且该匹配模块还用于提取该参考图像的该操控物体的多个参考兴趣点，将该多个参考兴趣点预存与该模式库中。

10.根据权利要求9所述的游戏控制设备，其特征在于：

该匹配模块还用于将每一帧输入的图像的多个待比兴趣点与该多个参考兴趣点进行对比；并且该匹配模块还用于计算一帧图像中的待比兴趣点与参考图像中的参考兴趣点相匹配的数量；当该数量达到预设数值时，该帧图像被选择进入计算步骤；

该预设数值大于等于该参考兴趣点数量的50%。

11.根据权利要求9或10所述的游戏控制设备，其特征在于，

该匹配模块还用于获取该多个参考兴趣点的分布；

该计算模块还用于将与该参考兴趣点相同的待比兴趣点设为定位兴趣点，依据该定位兴趣点的分布计算该帧图像中操控物体的空间位置。

12.根据权利要求11所述的游戏控制设备，其特征在于，

该计算模块还用于，连续获得多帧图像中的操控物体的空间位置，建立该操控物体的空间运动轨迹，依据该空间运动轨迹生成游戏控制指令。

13.根据权利要求11所述的游戏控制设备，其特征在于，还包括：

该计算模块还用于依据该操控物体的空间位置计算该操控物体在显示设备中的平面坐标；

显示模块，将该操控物体显示于显示设备。

14.根据权利要求10所述的游戏控制设备，其特征在于，该匹配模块还用于：获取每个待比兴趣点的待比特征矩阵及每个参考兴趣点的参考特征矩阵；当一个待比兴趣点的特征矩阵与一个参考兴趣点的参考特征矩阵相同或近似时，标定该待比兴趣点与该参考兴趣点匹配。

Images