CN101337128A - 一种基于人脸的游戏控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于人脸的游戏控制方法及系统。其中，方法包括：利用视频采集设备采集游戏屏前的视频图像；对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息；将所述人脸的设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息；根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。本发明所提供的技术方案，能够提高游戏控制的趣味性。

Description

一种基于人脸的游戏控制方法及系统

技术领域

本发明涉及游戏控制方法，尤其涉及一种基于人脸的游戏控制方法及系统。

背景技术

目前，对于游戏控制来说，无论是游戏机上的游戏还是电视、电脑上的游戏，都是通过人手操作遥控器或鼠标或键盘等来实现。因此能否提供一种无需人手操作的趣味性更高的游戏控制方法是目前正在探索的一个问题。

发明内容

有鉴于此，本发明中一方面提供一种基于人脸的游戏控制方法，另一方面提供一种基于人脸的游戏控制系统，以便提高游戏控制的趣味性。

本发明所提供的基于人脸的游戏控制方法，包括：

利用视频采集设备采集游戏屏前的视频图像；

对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息；

将所述人脸的设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息；

根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

较佳地，所述游戏为单人游戏，所述对视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息包括：

对视频图像进行人脸设定特征点的检测，得到一个或一个以上的人脸的设定特征点区域；

若为首次检测到人脸的设定特征点区域，则从检测到的所述人脸的设定特征点区域中选取尺寸最大的区域作为目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中追踪所述目标人脸的设定特征点区域；

计算所述目标人脸的设定特征点区域在当前图像中的位置信息。

较佳地，所述游戏为可供M个人同时玩的游戏，所述对视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息包括：

对视频图像进行人脸设定特征点的检测，得到M个或M个以上的人脸的设定特征点区域；

若为首次检测到人脸的设定特征点区域，则从检测到的所述人脸的设定特征点区域中选取尺寸较大的M个区域作为目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中分别追踪所述M个目标人脸的设定特征点区域；

分别计算所述M个目标人脸的设定特征点区域在当前图像中的位置信息；

所述将设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息包括：

若为首次检测到人脸的设定特征点区域，则根据所述M个目标人脸的设定特征点区域在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点区域与设定了初始位置的M个屏幕鼠标建立对应关系；否则，分别将所述M个目标人脸的设定特征点区域在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息；

其中，M为大于或等于2的整数。

较佳地，所述获取人脸的设定特征点在当前图像中的位置信息之后，将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息之前，进一步包括：对所述设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息。

较佳地，所述帧间平滑包括：帧间的加权平均或二维的卡尔曼滤波。

较佳地，所述对设定特征点在当前图像中的位置信息进行帧间平滑包括：

记录前帧屏幕最终显示的位置坐标(p_t，q_t)；

计算得到当前帧屏幕位置坐标(p_c，q_c)；

计算两个坐标点之间的距离Dis((p_t，q_t)，(p_c，q_c))；

若所述距离小于预设的阈值，则计算得到当前帧屏幕最终显示的坐标(p_t+1，q_t+1)为：p_t+1＝p_t ^*α+p_c ^*(1-α)，q_t+1＝q_t ^*α+q_c ^*(1-α)；否则，当前帧屏幕最终显示的坐标(p_t+1，q_t+1)为：p_t+1＝p_c，q_t+1＝q_c；

其中，α为预设常数。

较佳地，所述位置信息包括位置坐标；

所述将人脸的设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息包括：

预先设定图像坐标系和屏幕坐标系，所述两个坐标系的坐标轴横轴正向相反；

根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系；

根据所述映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

较佳地，所述图像的像素分辨率包括：水平分辨率M、垂直分辨率N；所述屏幕的像素分辨率包括：水平分辨率P、垂直分辨率Q；

所述两个坐标系的原点位置映射关系为：图像坐标系上的坐标原点(0，0)对应屏幕坐标系上的坐标点(k₂，k₄)；

所述两个坐标系中像素点的映射关系包括：当 $\frac{M}{N}=\frac{P}{Q}$ 时，令 $k_1=\frac{P}{M},$ $k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝k₁×m+k₂，q＝k₃×n+k₄；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=\frac{P}{M},$ $k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝k₁×m+k₂，q＝k₃×n+k₄；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=k_3=\frac{P}{M},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝max(0，min(k₁×m+k₂，P-1))，q＝max(0，min(k₃×n+k₄，Q-1))；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝max(0，min(k₁×m+k₂，P-1))，q＝max(0，min(k₃×n+k₄，Q-1))；

其中，min()为取小者，max()为取大者。

较佳地，所述k₂＝0，k₄＝0。

较佳地，所述设定特征点包括：人脸中心点、左眼中心点、右眼中心点、两眼中心点或嘴巴中心点。

较佳地，所述游戏包括：弹球游戏。

本发明所提供的基于人脸的游戏控制系统，包括：

视频采集设备，用于采集游戏屏前的视频图像；

特征点位置获取模块，用于对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息；

位置转换模块，用于将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息；

游戏驱动模块，用于根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

较佳地，所述特征点位置获取模块包括：

图像分析子模块，用于对视频图像进行人脸设定特征点的检测，得到人脸的设定特征点区域；

目标特征点确定子模块，用于在所述图像分析子模块首次检测到人脸设定特征点的区域时，从检测到的所述人脸的设定特征点区域中选取目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中追踪目标人脸的设定特征点区域；

位置计算子模块，用于计算所述目标人脸的设定特征点区域在当前图像中的位置信息。

较佳地，所述目标人脸的设定特征点为M个；

所述位置转换模块在所述图像分析子模块首次检测到人脸设定特征点时，根据所述M个目标人脸的设定特征点在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点与设定了初始位置的M个屏幕鼠标建立对应关系；否则，分别将所述M个目标人脸的设定特征点在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息；

其中，M为大于或等于1的整数。

较佳地，所述特征点位置获取模块进一步包括：平滑模块，用于对来自特征点位置获取模块的所述设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息提供给位置转换模块。

较佳地，所述位置转换模块包括：

坐标系设定子模块，用于设定图像坐标系和屏幕坐标系，且所述两个坐标系的坐标轴横轴正向相反；

映射关系确定子模块，用于根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系；

位置转换子模块，用于根据所述两个坐标系中像素点的映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

从上述方案可以看出，本发明通过在视频采集设备采集到的游戏屏前的当前图像中进行图像分析，得到人脸中稳定的特征点位置信息，并将该位置转换为对应的屏幕鼠标位置信息后对游戏进行驱动控制。从而完成了人脸特征点检测与游戏控制的结合，实现了基于人脸鼠标的游戏控制，提高了游戏控制的趣味性。

附图说明

图1为本发明实施例中基于人脸的游戏控制方法的示例性流程图。

图2为本发明实施例中基于人脸的游戏控制系统的示例性结构图。

图3为图2所示系统中特征点位置获取模块的内部结构示意图。

图4为图2所示系统中位置转换模块的内部结构示意图。

具体实施方式

本发明实施例中，考虑到随着网络视频技术的应用，越来越多的人开始应用摄像头等视频采集设备进行网上聊天等活动，而作为网上聊天等功能的需要，摄像头等视频采集设备通常捕捉到的图像是使用者的人脸，而人脸检测及识别、人脸特征点定位技术也是目前在计算机领域研究的一个重点。因此，考虑将人脸检测及识别、人脸特征点定位技术与游戏控制结合起来，从而提供一种基于人脸的趣味性更高的游戏控制技术。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

图1为本发明实施例中基于人脸的游戏控制方法的示例性流程图。如图1所示，该流程包括如下步骤：

步骤101，利用视频采集设备采集游戏屏前的视频图像。

步骤102，对所述视频图像进行分析，获取人脸中的设定特征点在视频图像的当前图像中的位置信息。

其中，人脸中的设定特征点可以是人脸中的一些比较稳定的特征点，如人脸中心点或左眼中心点或右眼中心点或两眼中心点或嘴巴中心点或两眼与嘴巴的中心点等。其中，人脸中心点可在进行人脸检测跟踪并得到人脸区域的大小后获取，左眼中心点可通过左眼定位跟踪算法获得，右眼中心点可通过右眼定位跟踪算法获得，两眼中心点可通过两眼定位跟踪算法获得，嘴巴中心点可通过嘴巴定位跟踪算法获得，两眼与嘴巴的中心点可通过两眼与嘴巴三点的定位跟踪算法获得。

此外，若当前游戏为单人游戏，且游戏屏前只有一个人的话，则本步骤中，在进行图像分析后只会得到一个人脸的设定特征点，此时直接计算该设定特征点在当前图像中的位置信息即可，可无需进行特征点的选择和追踪。

若当前游戏为单人游戏，且游戏屏前不只有一个人的话，则本步骤中，在进行图像分析后可能会得到一个或一个以上的人脸的设定特征点，此时，若是本次游戏中首次得到人脸的设定特征点，则可从这些人脸的设定特征点中选取目标人脸的设定特征点，如选取离游戏屏较近的人脸的设定特征点作为目标人脸的设定特征点，或者也可以依据其他原则选取目标人脸的设定特征点，此处不再一一列举。若不是本次游戏中首次得到人脸的设定特征点，则可从得到的所述人脸的设定特征点中追踪目标人脸的设定特征点。之后，计算目标人脸的设定特征点在当前图像中的位置信息。

若当前游戏为可供M，M≥2个人同时玩的游戏，则本步骤中，在进行图像分析后可能会得到M个或M个以上的人脸的设定特征点，此时，若是本次游戏中首次得到人脸的设定特征点，则可从这些人脸的设定特征点中选取M个目标人脸的设定特征点，如选取离游戏屏较近的M个人脸的设定特征点作为目标人脸的设定特征点，或者也可以依据其他原则选取目标人脸的设定特征点，此处不再一一列举。若不是本次游戏中首次检测到人脸，则可从检测到的所述人脸的设定特征点中分别追踪M个目标人脸的设定特征点。之后，分别计算M个目标人脸的设定特征点在当前图像中的位置信息。

其中，在从多个人脸的设定特征点中选取目标人脸的设定特征点时，可通过检测获取人脸的设定特征点区域，当选取离游戏屏较近的人脸的设定特征点作为目标人脸的设定特征点时，可从中选取尺寸最大的人脸的设定特征点区域作为目标人脸的设定特征点区域。

步骤103，将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息。

本实施例中的位置信息可包括位置坐标，下面给出将设定特征点在当前图像中位置坐标转换为屏幕鼠标位置坐标的较优实施例。

预先设定图像坐标系和屏幕坐标系，所述两个坐标系的坐标轴横轴正向相反，并根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系，之后根据两个坐标系中像素点的映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

例如，假设设定图像坐标系的原点在图像中心，水平右为坐标轴横轴正向，垂直下为坐标轴纵轴正向，假定屏幕坐标系的原点在屏幕中心，水平左为屏幕坐标轴横轴正向，垂直下为坐标轴纵轴正向，假定图像水平分辨率为M，垂直分辨率为N，屏幕水平分辨率为P，垂直分辨率为Q，已知图像中一点为O(m，n)，m为其图像坐标系中横坐标， $0\≤\left|m\right|\≤\frac{M}{2}-1,$ n为其在图像坐标系中纵坐标， $0\≤\left|n\right|\≤\frac{N}{2}-1,$ 其在屏幕上对应点为R(p，q)，p为其在屏幕坐标系中横坐标， $0\≤\left|p\right|\≤\frac{P}{2}-1,$ q为其在屏幕坐标系中纵坐标， $0\≤\left|q\right|\≤\frac{Q}{2}-1.$ 限定屏幕横向坐标只取决于图像横向坐标，屏幕纵向坐标只取决于图像纵向坐标，则得到 $\left\{\begin{array}{c}p=k_1\×m+k_2\\ q=k_3\×n+k_4\end{array}\right\},$ 进一步限定图像坐标原点映射到屏幕坐标原点，则k₂＝0，k₄＝0。由于可能存在M，N与P，Q不成比例即 $\frac{M}{N}\≠\frac{P}{Q}$ 的情况，因而采用下面两种模式。

第一种模式是完全对应模式，图像坐标系的每一点都和屏幕坐标系的每一点对应，此时， $k_1=\frac{P}{M},$ $k_3=\frac{Q}{N},$ 当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，k₁≠k₃，即横坐标放缩比例和纵坐标放缩比例不同。

第二种模式是保持比例模式，即限定k₁＝k₃，如果认为水平方向完全对应，则 $k_1=k_3=\frac{P}{M},$ 此时，为了防止得到的p，q超出范围，则限定 $\left\{\begin{array}{c}p=\max (0,\min (k_1\×m+k_2,P-1))\\ q=\max (0,\min (k_3\×n+k_4,Q-1))\end{array}\right\},$ 其中min(a，b)为取a，b中小者，max(a，b)为取a，b中大者。同理如果认为垂直方向完全对应，则 $k_1=k_3=\frac{Q}{N},$ 此时，为了防止得到的p，q超出范围，则限定 $\left\{\begin{array}{c}p=\max (0,\min (k_1\×m+k_2,P-1))\\ q=\max (0,\min (k_3\×n+k_4,Q-1))\end{array}\right\},$ 其中min(a，b)为取a，b中小者，max(a，b)为取a，b中大者。

本步骤中，若当前游戏为单人游戏，则直接将设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息即可。

若当前游戏为可供M，M≥2个人同时玩的游戏，且步骤102中是本次游戏中首次检测到人脸的话，则本步骤中，可根据所述M个目标人脸的设定特征点在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点与设定了初始位置的M个屏幕鼠标建立对应关系。如：若M＝2，则2个屏幕鼠标的初始位置可分别设置为游戏屏的左侧位置和右侧位置，此时，若两个目标人脸的设定特征点的位置分别在当前图像的左侧位置和右侧位置，则可将当前图像中左侧位置的目标人脸的设定特征点与游戏屏右侧位置的屏幕鼠标相对应，将当前图像中右侧位置的目标人脸的设定特征点与游戏屏左侧位置的屏幕鼠标相对应。之后，分别将所述M个目标人脸的设定特征点区域在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息。若步骤102中不是本次游戏中首次检测到人脸的话，则直接将所述M个目标人脸的设定特征点区域在当前图像中的位置信息分别转换为对应的屏幕鼠标在游戏屏中的位置信息。

步骤104，根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

本步骤中的实现过程可与现有技术中的实现过程一致，此处不再详述。

上述流程中，进一步地，还可以在步骤102和步骤103之间增加一个步骤，即对得到的设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息。其中，帧间平滑的方法可有多种，例如，可以为帧间的加权平均，也可以为二维的卡尔曼滤波等。

下面给出一种兼顾灵敏性和平滑性的较优实施例，假定前帧屏幕最终显示坐标为(p_t，q_t)，当前帧计算得到的屏幕坐标为(p_c，q_c)，则当前的屏幕最终显示坐标(p_t+1，q_t+1)可按照如下方式确定：

如果Dis((p_t，q_t)，(p_c，q_c))＜Thd，则p_t+1＝p_t ^*α+p_c ^*(1-α)，q_t+1＝q_t ^*α+q_c ^*(1-α)，否则，p_t+1＝p_c，q_t+1＝q_c。其中，Dis()表示二维平面上两点间距离，可以采用欧式距离也可以采用其它任意二维平面上两点距离的度量方式，Thd为设定阈值，根据距离定义以及屏幕坐标依据经验设定。在屏幕坐标分辨率为1280×1024的情况下，假定距离定义为欧式距离，Thd的较优取值范围为[1，10]，此阈值还可以根据用户对灵敏度的喜好程度自行设定。α为常数，较优的取值范围是[0.2，0.9]。

以上对本发明实施例中基于人脸的游戏控制方法进行了详细描述，下面再对本发明实施例中基于人脸的游戏控制系统进行详细描述。

图2为对本发明实施例中基于人脸的游戏控制系统的示例性结构图。如图2所示，该系统包括：视频采集设备、特征点位置获取模块、位置转换模块和游戏驱动模块。

其中，视频采集设备用于采集游戏屏前的视频图像。

特征点位置获取模块用于对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息。

位置转换模块用于将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息。

游戏驱动模块用于根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

其中，人脸中的设定特征点可以是人脸中的一些比较稳定的特征点，如人脸中心点或左眼中心点或右眼中心点或两眼中心点或嘴巴中心点或两眼与嘴巴的中心点等。其中，人脸中心点可在进行人脸检测跟踪并得到人脸区域的大小后获取，左眼中心点可通过左眼定位跟踪算法获得，右眼中心点可通过右眼定位跟踪算法获得，两眼中心点可通过两眼定位跟踪算法获得，嘴巴中心点可通过嘴巴定位跟踪算法获得，两眼与嘴巴的中心点可通过两眼与嘴巴三点的定位跟踪算法获得。

具体实现时，特征点位置获取模块的内部结构可有多种具体实现形式，图3示出了其中一种内部结构的示意图。如图3中的实线部分所示，该模块包括：图像分析子模块、目标特征点确定子模块和位置计算子模块。

其中，图像分析子模块用于对视频图像进行分析，得到人脸的设定特征点。其中，若当前游戏为单人游戏，且游戏屏前只有一个人的话，可能只得到一个人脸的设定特征点，若游戏屏前不只一个人的话，则可能得到一个以上的人脸的设定特征点；若当前游戏为可供M，M≥2个人同时玩的游戏，则可能得到M个或M个以上的人脸的设定特征点。

目标特征点确定子模块用于在所述图像分析子模块首次检测到人脸设定特征点时，从检测到的所述人脸的设定特征点中选取目标人脸的设定特征点，否则从检测到的所述人脸的设定特征点中追踪目标人脸的设定特征点。其中，若当前游戏为单人游戏，且游戏屏前只有一个人的话，则可无需选取或追踪，直接获取即可。若游戏屏前不只一个人的话，则从中选取一个目标人脸的设定特征点。若当前游戏为可供M，M≥2个人同时玩的游戏，则从中选取M个目标人脸的设定特征点。进行选取时，可选取离游戏屏最近的人脸的设定特征点作为目标人脸的设定特征点，如选取尺寸最大的人脸设定特征点区域作为目标人脸的设定特征点区域。

位置计算子模块，用于计算所述目标人脸的设定特征点区域在当前图像中的位置信息。其中，若当前游戏为可供M，M≥2个人同时玩的游戏，则需要分别计算M个目标人脸的设定特征点在当前图像中的位置信息。

此外，对于存在M，M≥2个目标人脸的设定特征点的情况，位置转换模块可在所述图像分析子模块首次检测到人脸时，根据所述M个目标人脸的设定特征点区域在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点区域与设定了初始位置的M个屏幕鼠标建立对应关系，之后，分别将所述M个目标人脸的设定特征点区域在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息；在所述图像分析子模块不是首次检测到人脸设定特征点时，分别将所述M个目标人脸的设定特征点区域在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息。当然，只有1个目标人脸的设定特征点的情况下，位置转换模块也可以先将该目标人脸的设定特征点与设定了初始位置的屏幕鼠标建立对应关系。

进一步地，如图3中的虚线部分所示，该特征点位置获取模块中可进一步包括平滑子模块，用于对来自位置计算子模块的设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息提供给位置转换模块。其中，平滑的方法可以是帧间的加权平均，也可以是二维的卡尔曼滤波等。其中，平滑的方法也可以是本实施例方法中描述的兼顾灵敏性和平滑性的平滑方法。

具体实现时，位置转换模块的内部结构也可有多种具体实现形式，图4示出了其中一种内部结构的示意图。如图4中的实线部分所示，该模块包括：坐标系设定子模块、映射关系确定子模块和位置转换子模块。

其中，坐标系设定子模块用于设定图像坐标系和屏幕坐标系，且所述两个坐标系的坐标轴横轴正向相反。

映射关系确定子模块用于根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系。

位置转换子模块用于根据所述两个坐标系中像素点的映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

具体应用实例，可参照图1所示步骤103中的描述，此处不再赘述。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1、一种基于人脸的游戏控制方法，其特征在于，该方法包括：

利用视频采集设备采集游戏屏前的视频图像；

对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息；

将所述人脸的设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息；

根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

2、如权利要求1所述的方法，其特征在于，所述游戏为单人游戏，所述对视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息包括：

对视频图像进行人脸设定特征点的检测，得到一个或一个以上的人脸的设定特征点区域；

若为首次检测到人脸的设定特征点区域，则从检测到的所述人脸的设定特征点区域中选取尺寸最大的区域作为目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中追踪所述目标人脸的设定特征点区域；

计算所述目标人脸的设定特征点区域在当前图像中的位置信息。

3、如权利要求1所述的方法，其特征在于，所述游戏为可供M个人同时玩的游戏，所述对视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息包括：

对视频图像进行人脸设定特征点的检测，得到M个或M个以上的人脸的设定特征点区域；

若为首次检测到人脸的设定特征点区域，则从检测到的所述人脸的设定特征点区域中选取尺寸较大的M个区域作为目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中分别追踪所述M个目标人脸的设定特征点区域；

分别计算所述M个目标人脸的设定特征点区域在当前图像中的位置信息；

所述将设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息包括：

若为首次检测到人脸的设定特征点区域，则根据所述M个目标人脸的设定特征点区域在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点区域与设定了初始位置的M个屏幕鼠标建立对应关系；否则，分别将所述M个目标人脸的设定特征点区域在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息；

其中，M为大于或等于2的整数。

4、如权利要求1所述的方法，其特征在于，所述获取人脸的设定特征点在当前图像中的位置信息之后，将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息之前，进一步包括：对所述设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息。

5、如权利要求4所述的方法，其特征在于，所述帧间平滑包括：帧间的加权平均或二维的卡尔曼滤波。

6、如权利要求4所述的方法，其特征在于，所述对设定特征点在当前图像中的位置信息进行帧间平滑包括：

记录前帧屏幕最终显示的位置坐标(p_t，q_t)；

计算得到当前帧屏幕位置坐标(p_c，q_c)；

计算两个坐标点之间的距离Dis((p_t，q_t)，(p_c，q_c))；

若所述距离小于预设的阈值，则计算得到当前帧屏幕最终显示的坐标(p_t+1，q_t+1)为：p_t+1＝p_t*α+p_c*(1-α)，q_t+1＝q_t*α+q_c*(1-α)；否则，当前帧屏幕最终显示的坐标(p_t+1，q_t+1)为：P_t+1＝p_c，q_t+1＝q_c；

其中，α为预设常数。

7、如权利要求1至6中任一项所述的方法，其特征在于，所述位置信息包括位置坐标；

所述将人脸的设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息包括：

预先设定图像坐标系和屏幕坐标系，所述两个坐标系的坐标轴横轴正向相反；

根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系；

根据所述映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

8、如权利要求7所述的方法，其特征在于，所述图像的像素分辨率包括：水平分辨率M、垂直分辨率N；所述屏幕的像素分辨率包括：水平分辨率P、垂直分辨率Q；

所述两个坐标系的原点位置映射关系为：图像坐标系上的坐标原点(0，0)对应屏幕坐标系上的坐标点(k₂，k₄)；

所述两个坐标系中像素点的映射关系包括：当 $\frac{M}{N}=\frac{P}{Q}$ 时，令 $k_1=\frac{P}{M},$ $k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝k₁×m+k₂，q＝k₃×n+k₄；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=\frac{P}{M},$ $k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝k₁×m+k₂，q＝k₃×n+k₄；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=k_3=\frac{P}{M},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝max(0，min(k₁×m+k₂，P-1))，q＝max(0，min(k₃×n+k₄，Q-1))；

或者，当 $\frac{M}{N}\≠\frac{P}{Q}$ 时，令 $k_1=k_3=\frac{Q}{N},$ 图像坐标系上的坐标点(m，n)对应屏幕坐标系上的坐标点(p，q)，其中，p＝max(0，min(k₁×m+k₂，P-1))，q＝max(0，min(k₃×n+k₄，Q-1))；

其中，min()为取小者，max()为取大者。

9、如权利要求8所述的方法，其特征在于，所述k₂＝0，k₄＝0。

10、如权利要求1至6中任一项所述的方法，其特征在于，所述设定特征点包括：人脸中心点、左眼中心点、右眼中心点、两眼中心点或嘴巴中心点。

11、如权利要求10所述的方法，其特征在于，所述游戏包括：弹球游戏。

12、一种基于人脸的游戏控制系统，其特征在于，该系统包括：

视频采集设备，用于采集游戏屏前的视频图像；

特征点位置获取模块，用于对所述视频图像进行分析，获取人脸的设定特征点在当前图像中的位置信息；

位置转换模块，用于将所述设定特征点在当前图像中的位置信息转换为屏幕鼠标在游戏屏中的位置信息；

游戏驱动模块，用于根据所述屏幕鼠标在游戏屏中的位置信息对游戏进行控制。

13、如权利要求12所述的系统，其特征在于，所述特征点位置获取模块包括：

图像分析子模块，用于对视频图像进行人脸设定特征点的检测，得到人脸的设定特征点区域；

目标特征点确定子模块，用于在所述图像分析子模块首次检测到人脸设定特征点的区域时，从检测到的所述人脸的设定特征点区域中选取目标人脸的设定特征点区域，否则从检测到的所述人脸的设定特征点区域中追踪目标人脸的设定特征点区域；

位置计算子模块，用于计算所述目标人脸的设定特征点区域在当前图像中的位置信息。

14、如权利要求12所述的系统，其特征在于，所述目标人脸的设定特征点为M个；

所述位置转换模块在所述图像分析子模块首次检测到人脸设定特征点时，根据所述M个目标人脸的设定特征点在当前图像中的位置信息，分别将所述M个目标人脸的设定特征点与设定了初始位置的M个屏幕鼠标建立对应关系；否则，分别将所述M个目标人脸的设定特征点在当前图像中的位置信息转换为对应的屏幕鼠标在游戏屏中的位置信息；

其中，M为大于或等于1的整数。

15、如权利要求12至14中任一项所述的系统，其特征在于，所述特征点位置获取模块进一步包括：平滑模块，用于对来自特征点位置获取模块的所述设定特征点在当前图像中的位置信息进行帧间平滑，得到平滑后的所述设定特征点在当前图像中的位置信息提供给位置转换模块。

16、如权利要求12所述的系统，其特征在于，所述位置转换模块包括：

坐标系设定子模块，用于设定图像坐标系和屏幕坐标系，且所述两个坐标系的坐标轴横轴正向相反；

映射关系确定子模块，用于根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系；

位置转换子模块，用于根据所述两个坐标系中像素点的映射关系，将人脸的设定特征点在当前图像中的位置坐标转换为屏幕鼠标在游戏屏中的位置坐标。

Images