CN101393599A - 一种基于人脸表情的游戏角色控制方法 - Google Patents

Abstract

本发明公开一种基于人脸分析技术的游戏角色控制方法，包括：对从图像输入设备获得的图像进行简单有效的预处理；通过统计学习方法进行人脸的检测和关键点定位；通过对定位的结果进行分析，得到人脸的姿态和表情信息，并将这些信息映射成对应的游戏控制指令，实现游戏中角色面部的实时控制功能。用玩家的人脸信息控制游戏角色，仅通过摄像头拍摄玩家的人脸，然后分析其在空间中的状态和表情信息，并将结果转化为游戏角色的控制指令，扩展了传统游戏的互动方式。本发明视频检测方法实时、鲁棒、易于实现和操作。本发明能使游戏用户以更自然、更智能的新方式进行交互操作，如采用自身头部姿态、脸部表情等，由此可使游戏更具交互性和沉浸感。

Description

一种基于人脸表情的游戏角色控制方法

技术领域

本发明涉及图像分析与识别技术领域，特别是基于人脸表情的交互方法。

背景技术

近年来，随着计算机技术的革新，以计算机游戏为代表的数字娱乐产业飞速发展。作为一类特殊的应用软件，计算机游戏通过向游戏用户提供一系列的菜单选项和操作指令，实现用户与游戏之间的交互操作。用于游戏的传统人机交互方式有：鼠标键盘、游戏杆及专用游戏设备等，以手动和有线连接为主。伴随计算机游戏种类与内容的不断扩展丰富，其操作复杂性剧增，仍然仅采用传统交互方式，越来越难于控制。

鼠标和键盘是最常用的设备，它们将用户手的敲击、移动转化成电信号并最终成为一种供系统响应的事件。专用游戏设备是鼠标和键盘在功能上的扩展，但其原理大致相同。前者相比于后者的优越性体现在操作性上，如可玩性和方便性。

传统的交互方式基本上是以事件来驱动的，这是一种低层次的交互，因为它并不能理解游戏的内容，所以用户要实现一种有语义的控制往往需要一系列的低层次操作。

发明内容

为了解决传统交互方式，缺乏语义理解的能力，本发明的目的是要用玩家的人脸表情来与游戏交互，作为一种针对传统的键盘鼠标所代表的交互方式的补充，为此，本发明提供了一种基于人脸表情的游戏角色控制方法。

为了实现上述目的，本发明提出的技术方案是一种基于玩家人脸表情的游戏角色控制方法其方法步骤如下：

步骤1：通过统计的方法对人脸目标样本进行学习，得到待检测玩家人脸目标的模式；

步骤2：通过图像输入设备采集待检测玩家视频图像；

步骤3：对待检测玩家视频图像进行预处理，生成预处理图像；

步骤4：利用学习到的目标模式，在预处理图像上进行人脸检测和跟踪，生成人脸区阈；

步骤5：利用人脸特征点定位算法，在人脸区域上进行人脸对齐，得到人脸特征点位置；

步骤6：在获得人脸特征点位置的基础上，进行表情分析，包括眼睛、嘴唇和眉毛的运动信息；

步骤7：将人脸表情信息用于控制游戏角色。

根据本发明的实施例，所述图像预处理步骤采用像素的均值和方差算法来进行光线矫正。

根据本发明的实施例，所述人脸检测和跟踪的步骤包括：

步骤41：通过学习到的人脸模式，在预处理图像上搜索人脸目标；

步骤42：通过模板匹配，对人脸局部进行跟踪，来实现整个人脸的跟踪。

根据本发明的实施例，所述人脸对齐步骤包括：

步骤51：通过主动外观模型，对预处理图像进行人脸特征点定位；

步骤52：对人脸特征点的位置进行平滑处理。

根据本发明的实施例，所述人脸表情分析包括：

步骤61：通过主动外观模型，对人脸表情姿态进行判别；

步骤62：通过历史运动图，对眉毛运动进行判别；

步骤63：通过动态阀值法，对嘴唇状态进行判别；

步骤64：通过神经网络的方法，对眼睛状态进行判别。

根据本发明的实施例，所述游戏角色的驱动包括：

步骤71：将人脸的姿态参数，用于控制动画角色的头部姿态；

步骤72：将眉毛运动的位移信息，用于控制动画角色眉毛的运动；

步骤73：将嘴唇的张开程度信息，用于控制动画角色嘴唇的张开程度；

步骤74：将眼睛的睁开程度信息，用于控制动画角色眼睛的睁开程度。

本发明的有益效果：采用玩家脸部的表情控制游戏角色，就是用玩家的表情信息作为传统的键盘鼠标交互方式的补充，来丰富人机交互的方式。它仅通过摄像头拍摄玩家人脸，在计算机中进行表情分析和识别，并将结果转化为游戏的控制指令，实现对游戏中角色表情的直接控制，以扩展传统的游戏交互方式。由于游戏对实时性要求高，因此视频检测方法必需实时、鲁棒。为便于用户使用，这种控制方法还必需易于实现和操作。本发明能使游戏用户期望能以更自然、更智能的新方式进行交互操作，如采用头部的运动、人脸五官的运动等表情运动，由此可使游戏更具交互性和沉浸感。随着计算机视觉技术的发展，应用视觉进行自然的人机交互已经成为可能，由于摄像头已经成为计算机常用的配置，这种技术的应用也就具有广阔的前景。

附图说明

图1为本发明的基于玩家表情的游戏角色控制方法流程图。

图2为采用本发明方法的游戏角色控制示意图。

图3为本发明实施例Haar特征结构。

图4为本发明实施例人脸上一个显著的Haar特征。

图5为本发明实施例嘴唇状态的判别流程图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

根据本发明的图1所示，为本发明的基于玩家表情的游戏角色控制方法流程图，图2为采用本发明方法的游戏角色控制示意图，图中窗口右上角显示的是玩家的视频图像，窗口右下角是供玩家选择的用于贴到人脸上的虚拟人物和道具，窗口右边显示的是被驱动的动画人物，玩家可以做出睁闭眼、张闭嘴、挤眉毛等动作来驱动动画人物做相应的表情运动。

图1中所示具体实施步骤如下：

步骤1：离线学习：通过统计的方法对人脸目标样本进行学习，得到待检测玩家人脸目标的模式；

步骤2一步骤3：获取图像：通过高速图像捕获模块从图象输入设备实时获取待检测玩家视频图像；对待检测玩家视频图像进行预处理，生成预处理图像；

步骤4：基于统计的人脸检测和跟踪：考虑到算法的简便性与鲁棒性的要求，设计了基于统计学习的检测方法，另外通过对亮度的分析补偿，在预处理图像上搜索人脸目标；从而尽可能地消除光照变化的影响；当用人脸检测初始化后，在后续帧用模板匹配的方法进行人脸跟踪；

步骤5：人脸特征点对齐：在得到人脸区域后，就可以用主动外观模型进行人脸特征点的定位算法，在人脸区域上进行人脸对齐，得到各个人脸特征点位置；

步骤6：人脸表情分析：这里指的表情分析是指人五官的相对运动和状态。人头部的姿态可以用主动外观模型的参数来线性估计；眉毛的运动采用历史运动图来计算；人眼睛的运动采用基于Gabor特征的神经网络方法来判别；人脸的嘴唇状态采用动态阀值和矩估计的方法来得到。

步骤7：动画角色驱动：可以用由步骤6得到的表情数据来驱动动画角色。

本发明实现方法：需要的硬件为计算机及图像采集设备。

所述的角色即游戏中玩家控制的人物或动画等有表情动作的对象；人脸特征点对齐，即用算法自动找到人脸五官和轮廓的准确位置；头部的姿态指头部在空间中的三个方向的角度；表情信息指脸部五官的运动信息和状态信息；其它计算图像算法如Adaboost、历史运动图、Gabor特征、神经网络等，将会在后面详细介绍。

关键技术的实现过程：

一、本发明所述的人脸检测是通过基于Adaboost的统计学习方法来实现，它包括两个步骤：(1)获取人脸样本；(2)统计学习人脸模式。

(1)人脸样本库的制作。人脸样本库包含正样本库和负样本库。用图像采集设备采集多个人分别在不同的光线，不同的背景下的多个姿态的人脸图片若干，然后手工剪裁出只包含一个人脸的区域，放缩到同一个尺寸下，再用进行预处理。这样就获得了可直接用于统计学习的人脸正样本库。负样本库的单个样本不包含人脸或包括人脸但不只一个。正样本库是事先制作好的，是固定的，而负样本是的统计学习过程中生成的，是变化的。

(2)用于学习人脸模式的统计学习方法是Adaboost算法。

Adaboost意为Adaptive Boost，是AT&T实验室提出的一种自提升Boosting算法。它通过调用弱学习器不断学习训练样本中的难学习的样本，从而达到较高的泛化精度。

基于Adaboost的人脸检测算法是一种统计学习算法，它通过对Haar特征的统计来判别是不是人脸。Haar特征是Haar小波变化而来，其通过相邻区域的灰度差，也就是亮度关系来描述目标。图3所示的是四种非常简单的Haar特征，其中每一个框代表了图像子窗口，分别计算子窗口内所有灰色矩形区域内像素灰度值的和与所有白色矩形区域内像素灰度值的和，两者的差即为对应特征的值。人脸可以通过若干这样的Haar特征来描述。其物理意义是十分明确的，如图4，对人脸样本来说中间区域的应该比两侧区域亮，而非人脸样本不具有这样的特征，只要能找到足够多这样的特征，就能将人脸和非人脸分开。

Adaboost算法的主要过程是：首先给样本集合，然后对该样本集合进行循环操作，每次循环首先得到一个弱分类器，然后计算该假设的错误率，根据该错误率改变每个例子的权重进入下一个循环，若干个弱分类级联组成一个强分类器。其具体过程如下：

Adaboost算法流程：

给定样本(x₁，y₁)，…，(x_n，y_n)，对m个负样本，y₁＝0；对l个正样本y₁＝1，n＝m+l。

分别对负样本正样本初始化权 $w_{1,i}=\frac{1}{2m},\frac{1}{2n}.$

t＝1，…，T

1.归一化权：

$w_{t,i}\←\frac{w_{t,i}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{t,j}}$

2.对于每一特征j，训练出一个弱分类器h_j，计算出与之对应的错误率：

3.选择错误率

最小的

。

4.更新权，

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中，

若分类正确，e_j＝1，否则e_j＝0。

最终T个弱分类器组成一个强分类器：

其中， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t}.$

二、本发明所述的图像预处理步骤包括：采用像素的均值和方差算法来进行光线矫正。

具体地，图像的预处理方法：

对一幅图像，求取整幅图像灰度值的均值和方差。然后对于图像中每一个像素，将其灰度值减去均值然后除以方差得到的值作为新的灰度值，这样处理后的图像就是进行光线矫正好的图像。

三、本发明所述检测与跟踪的步骤包括：

步骤41：通过学习到的人脸模式，在经过预处理的图像上搜索人脸目标；

步骤42：通过对检测到的人脸进行特征分析，并建立人脸模板，对于后继图像帧用模板匹配算法来搜索当前的人脸区域。具体方法是：

步骤41由人脸模式检测人脸，过程如下：

在人脸可能出现的区域(由上一次检测的结果预测到)内，在不同尺度下取候选人脸图片的一系列有用Haar特征(由Adaboost算法得取)送入学习到的分类器，分类器输出其是否为人脸的判断结果。

步骤42用步骤41得到的结果，建立人脸模板。针对后继图像帧，以上一帧中人脸的位置为初始点，获得人脸区域，将此区域与模板作差，然后通过牛顿梯度下降算法最小化这个差值来更新人脸区域的相似变换参数，最后得到当前图像帧中人脸的位置。

四、本发明所述的人脸特征点对齐是用主动外观模型来实现。

步骤51：通过主动外观模型，对预处理图像进行人脸特征点定位；

步骤52：对人脸特征点的位置进行平滑处理。

主动外观模型是一种基于统计的形状对齐方法。为了便于描述，这里先介绍一种与之相关的算法，即主动形状模型。

主动形状模板是一种参数变形模板基于点分布模型的方法，它从训练集中学习到形状的一个统计模式，。这就是点分布模式，点分布模式然后用于将已经模板其通过变形匹配得到未变知的形状上。作为一种统计模型，它也分为训练和搜索两个阶段：

主动形状模板基本思想是主成分分析，即目标形状可以表达为一系列的基本形状的线性组合。训练的目的是找到这些基本形状。训练地过程很简单，即将训练集中的形状规范化后，进行特征值和特征向量分解，特征向量即为基本形状，特征值反映了样本形状在这个基本形状上的分布情况。形状模板的训练过程还需要对形状上每个特征点附近的梯度信息进行主成分分析，建立局部纹理模型，用于搜索过程中点的更新。

主动形状模板的搜索过程为：先初始化平均形状，然后每个点利用其附近的梯度信息与训练得到的梯度信息求明氏距离。在一点范围内，用明氏距离最小的点来更新这个点。最终平均形状被更新，投影到模型空间中(即投影到基本形状上)，就得到了模型空间中的一个形状实例。再将这个形状作为初始化形状重复以上过程，直至找到最终形状。

主动外观模板是主动形状模板的改进模型，主动形状模板只利用了形状信息和点局部的梯度信息，容易在匹配时失败。主动外观模型在统计形状模型的基础上，进一步对对象纹理(将人脸图像变形到平均形状得到的形状无关图像)进行统计建模，将对象的形状和纹理信息综合到了一个框架下。

搜索过程采用基于纹理预测参数变化的启发式搜索策略。假设模型参数变化及相似变换参数的变化与输入图像和模型纹理之间存在一定程度的线性关系，然后通过线性回归进行参数预测进而得到模型参数和相似变换参数。

五、本发明所述的表情分析主要包括以下几个部分：

所述人脸表情分析包括：

步骤61：通过主动外观模型，对人脸表情姿态进行判别；

步骤62：通过历史运动图，对眉毛运动进行判别；

步骤63：通过动态阀值法，对嘴唇状态进行判别；

步骤64：通过神经网络的方法，对眼睛状态进行判别。

头部姿态的获取：

主动外观模型中的形状模型包括了形状的姿态信息，试验表明，一个方向的姿态与某个形状参数存在近似的线性关系，因为游戏控制并不需要绝对精确的数据，所以这种近似是可取的。其计算公式如下：

${\mathrm{\α}}_{\mathrm{roll}}=\arctan \frac{b_1}{1+b_0}$

α_yaw＝3.3b₄

α_alt＝5.7b₅

其中，b1，b2，b3，b4，b5为形状模型的前6个参数。

眉毛运动信息的获取：

眉毛的运动可以从两帧之间的差来感知。在应用中，可以假定眉毛不会长时间偏离原来的位置。这样其运动的趋势就可以用历史运动信息图来得到。历史运动图是一种很实用的运动分析方法。基本思想是求每帧的差分图，如果像素有运动就将其标定为一个值，同时将前若干帧的差分值减小一定量。这样，就可以得到一幅由明到暗的图像，亮的部分是最新的运动的位置，暗的部分是若干时间前运动留下的痕迹。这个由暗到明的方向正是运动的方向。

眼睛状态的判别：

实施例是采用基于Gabor特征的神经网络来判别眼睛状态的。Gabor特征是一种方便的局部特征，它可以看作一个对方向和尺度敏感的有方向性的显微镜，能够检测(响应)图像中一些具有相应的方向频率信息的、局部的显著特征，从而可以形成亮度图像的局部特征图谱，这些局部特征形成了原始输入图像的一种鲁棒、紧凑的特征表示。

它的表达式为：

${\mathrm{\ψ}}_{\mathrm{\μ},v}=\frac{k_{\mathrm{\μ},v}^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_{\mathrm{\μ},v}^2{z}^2}{2{\mathrm{\σ}}^2})[\exp \left({\mathrm{ik}}_{\mathrm{\μ},v}z\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]$

其中，μ和v定义了Gabor核的方向和尺度，

z＝(x，y)， $k_{u,v}=k_v{e}^{i{\mathrm{\φ}}_{\mathrm{\μ}}},$ k_v＝k_max/f^v，k_max＝π/2， $f=\sqrt{2},$ φ_μ＝2πμ/8.

实施中选择了五个尺度(v∈{0，1，2，3，4，5})八个方向(μ∈{0，1，2，3，4，5，6，7})的Gabor特征。

神经网络是一种简单的分类器，本发明采取的是三层BP神经网络。输入层、隐藏层和输出层的神经元个数分别为120，15和2。

嘴唇状态的判别：

图5说明了嘴唇状态分析的整个流程：

(1)人脸关键点定位算法可以定位到嘴唇的区域；

(2)在嘴唇区域进行光线矫正后，用动态阀值法对其进行二值化；

(3)利用嘴唇张开时，其内部的灰度应该比周围的暗来确定嘴唇内部的区域；

(4)计算出包围嘴唇的椭圆的大小和方向。其计算公式如下：

$\mathrm{\θ}=\frac{1}{2}\arctan \left(\frac{2(\frac{M_{11}}{M_{00}}-x_c{y}_c)}{(\frac{M_{20}}{M_{00}}-x_c^2)-(\frac{M_{02}}{M_{00}}-y_c^2)}\right)$ 其中，

M_ij＝∑_x∑_yxⁱy^jI(x，y)， $x_c=\frac{M_{10}}{M_{00}},$ $y_c=\frac{M_{01}}{M_{00}}.$

其两个轴的长度可由下面的两个式子得到：

$l=\sqrt{\frac{(a+c)+\sqrt{b^2+{(a-c)}^2}}{2}},$ $w=\sqrt{\frac{(a+c)-\sqrt{b^2+{(a-c)}^2}}{2}},$ 其中， $a=\frac{M_{20}}{M_{00}}-x_c^2,$

$b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),$ $c=\frac{M_{02}}{M_{00}}-y_c^2.$

短轴与长轴的比值表明了嘴唇张开的程度。

六、本发明所述游戏角色控制是指用提取的表情信息控制游戏角色做相应的动作。所述游戏角色的控制驱动包括：

步骤71：将人脸的姿态参数，用于控制动画角色的头部姿态；

步骤72：将眉毛运动的位移信息，用于控制动画角色眉毛的运动；

步骤73：将嘴唇的张开程度信息，用于控制动画角色嘴唇的张开程度；

步骤74：将眼睛的睁开程度信息，用于控制动画角色眼睛的睁开程度。

在具体实现的过程中，提取到的表情信息要经过适当处理，这是从游戏稳定性的角度考虑，主要是为了抗噪声。可用的方法有平均法，卡尔曼滤波法等。

上面的描述是用于实现本发明及其实施例，因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims (6)

1.一种基于人脸表情的游戏角色控制方法，其特征在于，包括如下步骤：

步骤1：通过统计的方法对人脸目标样本进行学习，得到待检测玩家人脸目标的模式；

步骤2：通过图像输入设备采集待检测玩家视频图像；

步骤3：对待检测玩家视频图像进行预处理，生成预处理图像；

步骤4：利用学习到的目标模式，在预处理图像上进行人脸检测和跟踪，生成人脸区域；

步骤5：利用人脸特征点定位算法，在人脸区域上进行人脸对齐，得到人脸特征点位置；

步骤6：在获得人脸特征点位置的基础上，进行表情分析，包括眼睛、嘴唇和眉毛的运动信息；

步骤7：将人脸表情信息用于控制游戏角色。

2.根据权利要求1所述的基于人脸表情的游戏角色控制方法，其特征在于：所述图像预处理采用像素的均值和方差算法来进行光线矫正。

3.根据权利要求1所述的基于人脸表情的游戏角色控制方法，其特征在于：所述人脸检测和跟踪的步骤包括：

步骤41：通过学习到的人脸模式，在预处理图像上搜索人脸目标；

步骤42：通过模板匹配，对人脸局部进行跟踪，来实现整个人脸的跟踪。

4.根据权利要求1所述的基于人脸表情的游戏角色控制方法，其特征在于：所述人脸对齐步骤包括：

步骤51：通过主动外观模型，对预处理图像进行人脸特征点定位；

步骤52：对人脸特征点的位置进行平滑处理。

5.根据权利要求1所述的基于人脸表情的游戏角色控制方法，其特征在于：所述人脸表情分析包括：

步骤61：通过主动外观模型，对人脸表情姿态进行判别；

步骤62：通过历史运动图，对眉毛运动进行判别；

步骤63：通过动态阀值法，对嘴唇状态进行判别；

步骤64：通过神经网络的方法，对眼睛状态进行判别。

6.根据权利要求1所述的基于人脸表情的游戏角色控制方法，其特征在于：所述游戏角色的驱动包括：

步骤71：将人脸的姿态参数，用于控制动画角色的头部姿态；

步骤72：将眉毛运动的位移信息，用于控制动画角色眉毛的运动；

步骤73：将嘴唇的张开程度信息，用于控制动画角色嘴唇的张开程度；

步骤74：将眼睛的睁开程度信息，用于控制动画角色眼睛的睁开程度。

Images