CN104463100B - 基于面部表情识别模式的智能轮椅人机交互系统及方法 - Google Patents

Abstract

本发明请求保护一种基于面部表情识别的智能轮椅人机交互系统及方法，涉及生物学、心理学、计算机视觉、模式识别和人工智能等领域。本发明通过几何模型匹配算法自动定位到面部特征集中有效的眉毛、眼睛、嘴巴区域，然后对其分别进行ASM特征点的定位、将定位的特征点像素与Gabor小波核函数进行卷积运算以实现对面部表情特征的提取；进而Adaboost算法迭代训练表情特征以得到表情分类模型；采用此表情分类模型实现对输入表情序列的分类识别，将其与预先定义的控制指令作比较，从而实现面部表情识别对智能轮椅的交互控制。其中，对面部表情进行特征提取时，本发明大大提高了面部表情的实时识别，从而大大提高与智能轮椅的实时交互。

Description

基于面部表情识别模式的智能轮椅人机交互系统及方法

技术领域

本发明属于属于人工智能和计算机视觉领域，具体涉及基于面部表情识别模式的智能轮椅人机交互系统及方法

背景技术

《老龄问题国际行动计划》指出：老年人问题和老龄化问题已经成为发展中国家的一个新挑战。我国作为最大的发展中国家，老年人口数量是世界之最。第六次全国人口普查数据表明，老年人口数量比例上升2.93％，对于身体状况日趋衰老的老年人来说，其个人能力不易解决日常正常活动等问题；且由种种原因每年会造成很多人丧失如动手、语言等的一种或多种能力，丧失的这些能力大大影响了他们的生活自理等方面。因此，改善老年人士和残障人士的生活质量，使他们更好的融入到日常生活，性能优越的代步工具是他们所需要的。而一种典型的助老、助残服务轮式机器人——智能轮椅成为了热点研究对象，它兼有电动控制和智能控制的方式，融合了机器视觉、多传感器信息、模式识别、机器人导航与定位以及人机接口等多种技术，既可以提供室内室外的自主导航、自主避障，还有着强大的人机交互能力，可以实现基于头势识别、手势识别、语音识别等一种或多种模式的智能人机交互。为了使智能轮椅高效地服务于老年人士和残障人士，自然和谐的人机交互就显得尤为重要。特别是针对残障程度较高的人士，其中，对于手部存在严重的病理性颤抖的残障人士，不能通过操纵杆准确的控制轮椅；对于有言语能力的残障人士，尽管可以采用语音识别模式来控制智能轮椅的简单运动，但是在嘈杂的环境下，语音命令的识别率较低，不利于语音识别的控制；而肌电、脑波模式控制智能轮椅时，所需传感器(用于信号采集)特别昂贵，不利于控制方式的普适性；另外，心理学家Mehrabian提出，在人们的信息交流中，面部表情传递高达55％的信息量，采用面部表情识别模式进行智能轮椅的人机交互时，不需要特别昂贵的设备，其限制性小、自由度大。

对面部表情识别这方面的研究，国内外进行了大量的研究。

在国外，Mattew N.Dailey等人采用Gabor小波变换与局部PCA方法进行表情图像的特征提取，谈后用Fisher线性鉴别分析对提取后的图像进行重要特征部位(如眼睛、嘴巴等)的定位，最后通过集成神经网络进行识别。其中神经网络结构表庞大，计算量过大，也是对静态表情图像的。Hal Hong等人针对不同人脸分别建立了相应表情库，包括7种表情，每种表情各有不同表情强度的4幅图像，将其作为训练集，采用弹性匹配方法进行训练识别。卡内基梅隆大学的Lien通过区别表情单元来理解面部肌肉的独立机制，它考虑了3个上部面部表情单元和6个下部面部表情单元，并对其进行自动识别和强度测量。匹兹堡大学的Cohn和卡内基梅隆大学的Kanade等人使用光流法来识别面部表情。通过评价光流的分级算法来自动跟踪选取的面部特征。麻省理工学院媒体实验室的Kapoor等人提出了一种全自动的面部动作单元分析系统，该系统使用红外相机检测瞳孔，然后通过主成分分析提出参数，并采用支持向量机来识别面部表情单元。

在国内：东南大学成功研制的面部表情识别系统，它由多个摄像头和计算机组成，计算机中预先已存有6种基本表情的相关信息量，此系统识别同一个人的不同表情时，识别率可观。中国科学院自动化研究所研究了人脸的面部动作运动，进而将其与智能轮椅进行交互，如下：当用户做出某一头部动作时，智能轮椅则会做出对应的运动，比如用户将头左侧转时，轮椅进行左转方向的运动；用户将头右侧转时，轮椅进行右转方向的运动。2004年，哈尔滨工业大学智能运动控制研究室内，研制出的H&F robot-I能够识别8种不同的面部表情：正常、高兴、严肃、悲伤、微笑、吃惊、生气和害怕。

对面部表情识别方法的国内外研究现状进行分析后，本发明中提出了一种新的表情识别方法对面部进行表情识别，并将面部表情应用在智能轮椅的控制交互上。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种减少了计算复杂度、缩短了特征提取的时间，从而大大提高了面部表情识别的实时性能的基于面部表情识别模式的智能轮椅人机交互系统及方法，本发明的技术方案如下：一种基于面部表情识别模式的智能轮椅人机交互系统，其包括表情图像采集模块、表情图像特征提取模块、表情特征训练模块、表情序列识别模块、智能轮椅控制模块；其中

表情图像采集模块：用于采集待采集对象的表情图像，并转发给表情特征训练模块；

表情特征训练模块：用于将采集的表情图像和预先设选定的表情库表情图像共同作为面部表情训练集，并经过预处理后转发给表情图像特征提取模块；并将表情图像特征提取模块提取到的表情特征通过迭代训练得到表情分类模型；

表情图像特征提取模块：用于对表情特征训练模块的面部表情训练集进行定位、特征提取得到表情特征；

表情序列识别模块：用于对新输入的每帧表情序列进行与表情特征训练模块相同的图像与处理、特征提取操作后，调用表情分类模型实现表情的识别；

智能轮椅控制模块：用于根据表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

一种基于面部表情识别模式的智能轮椅人机交互方法，其包括以下步骤：

201、采用摄像头获取人脸面部的RGB彩色图像，并对图像进行去噪、尺度归一化的预处理后转为RGB灰度图像；

202、采用几何模板匹配算法对预处理后的RGB灰度图像自动定位眉毛、眼睛、嘴巴区域；然后采用ASM主动形状模型方法定位到所述眉毛、眼睛、嘴巴区域中的表情特征点位置，得到表情特征点序列；

203、然后对预先设选定的表情库表情图像里的每幅图像做与步骤202相同的特征定位提取操作，提取得到的表情特征通过Adaboost自适应增强算法的迭代训练得到表情分类模型；

204、将步骤202中得到的表情特征点序列与表情分类模型相比较并识别，确定表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

进一步的，当定位眼睛区域时，步骤202中的几何模板匹配算法的评价函数为下式：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)]

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离。

进一步的，步骤202中的ASM主动形状模型搜索步骤如下：

(1)ASM表示为：初始化模型参数b，取b＝0，获得初始模型向量b是模型参数，φ是目标模型的特征子空间基，是由主分量特征向量构成的变换矩阵，X表示目标形状，X表示平均形状；

(2)沿当前模型X的每个边界点周围搜索，寻找各边界点的最佳匹配点；

(3)更新模型参数b，产生由匹配点结合构成的模型，并将其设为新的当前模型X；

(4)重复步骤(2)和(3)直到模型不再发生明显变化。

本发明的优点及有益效果如下：

本发明首先采集6种基本类型的面部表情图像作为训练集，对表情训练集进行滤波、归一化等图像预处理后，采用几何模型匹配方法自动的定位表情特征较集中有效的眉毛、眼睛和嘴巴区域，然后对这三个区域分别采用ASM方法定位得到有效表情特征点的信息、进而采用Gabor小波变换方法对定位的表情特征点进行特征提取(特征点像素与Gabor小波核函数进行卷积运算结果的模值)，最后对得到的表情特征采用Adaboost算法进行迭代训练以得到面部表情分类模型，通过表情分类模型可以实现新输入表情图像或者序列的表情类型，完成面部表情类型的判断识别，将其识别结果与预先定义的控制指令相比较(如惊讶控制停止、高兴控制前进、生气控制后退、恐惧控制左转、悲伤和厌恶共同控制右转)，从而控制智能轮椅的运动。其中的创新点是采用了几何模型匹配自动定位有效表情区域，进而采用ASM方法定位到有效表情控制点信息，其优势在于：仅仅提取表情特征变换明显且能有效代表表情特征信息的眉毛、眼睛以及嘴巴区域，对不明显的部位没有进行相应的特征提取处理，此方案降低了输入的信息量，但是有效的信息基本没有变化，很大程度上减少了表情特征的维数、减少了计算复杂度、缩短了特征提取的时间，从而大大提高了面部表情识别的实时性能，解决了因面部表情识别时间过长而使得不能实时与智能轮椅的交互控制问题，提高了智能交互的性能。

附图说明

图1是本发明采用面部表情控制智能轮椅的整体实现示意框图；

图2本发明中采用ASM方法实现目标物体定位的流程示意图；

图3本发明中采用Adaboost算法的表情强分类器训练流程示意图。

具体实施方式

下面结合附图给出一个非限定的实施例对本发明作进一步的阐述。但是应该理解，这些描述只是示例的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

基于面部表情识别控制智能轮椅的人机交互中，首先通过几何模型匹配自动定位到表情特征集中有效的眉毛、眼睛和嘴巴区域，对这些区域分别建立ASM模型以定位得到有效的表情特征点信息，将其像素与Gabor小波核函数进行卷积运算提取表情特征；其次Adaboost算法训练得到的表情特征，迭代训练结束后得到表情分类模型；最后采用此表情分类模型对摄像头新输入的表情序列一帧一帧的进行表情类型的识别；最后将识别的类型与预先定义好的控制指令相比较，确定面部表情控制轮椅的控制指令，进而与控制智能轮椅进行对应的交互运动。其中，几何模型匹配算法利用的依据是人脸器官之间固有的几何关系，在所有特征块中寻找人脸器官的可能组合，按照一定的权重组合，对每一组可能的面部特征组合的特征块组，根据已有的评价函数，可以计算得到一个估计值，然后与阈值作比较，大于阈值说明这些特征块为人脸特征，进而可以自动定位出人脸的感兴趣区域，取代输入的整幅表情图像，而是对这些感兴趣区域进行表情特征的提取，大大减少了计算复杂度，可以提高表情的实时识别。ASM方法是采用基于点分布模型(Point Distribution Model，PDM)对感兴趣区域(眉毛、眼睛和嘴巴)的样本集训练学习得出的表示目标形状合理变化的统计模型。定位时，多次迭代使用得到的形状模型去限制目标模型的形变，实现对目标的匹配定位，由于是对感兴趣区域进行ASM建模以定位表情特征点，和整幅人脸建立ASM模型比较，当与后续的Gabor小波核函数进行卷积运算时，再一次降低了计算量以及减少了信息冗余。Gabor小波核函数是一组平面波，具有高斯函数的性质，对Gabor小波函数进行变换时，是同时对空域和频域信号进行了局部化处理，同时测量了空域和频域特征，将ASM定位到的感兴趣区域的表情特征点像素与Gabor小波核函数进行卷积运算，卷积结果的幅值即是提取的表情特征信息，它具有鲁棒的方向及尺度特性。Adaboost算法就是训练这些有鲁棒性的表情特征，这和经典Adabosot训练算法所选取的特征不同，经典的Adaboost训练算法采用的是矩形特征，弱分类器的特征值就是矩形特征的特征值。因为Adaboost算法是一种迭代训练算法，是多层结构的，训练的结果是由多个弱分类器组成的强分类器，当采用这个强分类器对待一幅待检测图像时，是让所有弱分类器投票，再将投票结果按照弱分类器是错误率加权求和，将其结果与平均投票(赞成票和反对票的概率相同)结果比较得到最终的结果。以上对本发明的阐述说明：几何模型匹配算法的自动定位眉毛、眼睛、嘴巴区域以及对其ASM模型的建立定位表情特征点是一种新思想。

以下对本发明作具体描述：

图1是采用面部表情控制智能轮椅运动的示意图，摄像头获取人脸面部的RGB彩色图像，需要通过色彩转换将RGB图转化成灰度图像，但是采集的图像含有一定的高斯噪声且不同摄像设备采集的尺寸大小不同，所以需要对表情图像进行去噪以及尺度归一化的操作处理。然后对预处理后的表情图像进行几何模版匹配方法的自动区域定位，接着采用ASM方法定位到区域中的表情特征点位置，对表情训练样本集里的每幅图像做相同的特征提取操作，提取得到的表情特征通过Adaboost算法的迭代训练得到表情分类模型。得到表情分类模型之后，对新输入的每帧表情序列进行与训练阶针相同的图像与处理、特征提取操作后，调用表情分类模型实现表情的识别，进而可以确定表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。其中，以几何模板匹配算法的眼睛区域自动定位为例进行说明，眼睛的评价函数设为如下式(1)：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)] (1)

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式(2)：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离。

评价函数中E_eye中各项表达式越接近0，则评价函数值越接近于1。评价函数的取值范围是[0,1]，值越大，表明两个特征块是眼睛的可能性就越大。根据实验经验可知，评价值超过一定阈值的两个特征块被认定为眼睛部分，进而可以根据人脸几何关系，可以确定眉毛、嘴巴的区域。

图2是采用ASM模型进行特征点定位的流程图，其中图(a)为ASM算法流程，图(b)表示采用建立的ASM模型实现新输入目标特征点的定位流程。ASM可以表示为：

其中，向量b是模型参数，φ是目标模型的特征子空间基，是由主分量特征向量构成的变换矩阵，X表示目标形状，表示平均形状。ASM由两部分组成：一是形状模型的建立，二是利用模型进行搜索的过程。搜索过程^[3,8]包括计算新位置、计算形状和姿态参数以及参数更新，搜索步骤如下：

(1)初始化模型参数b，通常取b＝0，获得初始模型

(2)沿当前模型X的每个边界点周围搜索，寻找各边界点的最佳匹配点；

(3)更新模型参数b，产生由匹配点结合构成的模型，并将其设为新的当前模型X；

(4)重复步骤(2)和(3)直到模型不再发生明显变化。

步骤(2)用到的即是局部灰度模型：在待检测特征点k对应的法线方向左右两侧分别取相同的点，组成灰度向量g_k，对灰度向量求差分，进而归一化差分向量，可以得到待检测特征点对应的灰度均值和协方差C，它们作为待检测特征点的匹配特征，对每一个特征点做同样的计算分析，可以得到整个形状轮廓的统计特征，在匹配的过程中，采用马氏距离作为匹配函数，如下式：

图3是Adaboost算法训练表情特征以得到表情强分类器模型的示意图。Adaboost分类方法实现表情分类的过程如下：首先对预处理后的表情训练样本集进行相应方法的表情特征提取后；然后采用Adaboost算法对训练集表情特征进行T轮迭代运算，可以得到T个弱分类器组成的一个表情强分类器；对待识别的表情图像或序列，进行训练阶段相同方法的表情特征提取后，送入表情强分类器中，进而实现待分类表情类别的识别。

Adaboost分类训练算法是一个迭代过程，给定N幅表情图像构成训练样本{(x₁,y₁),...,(x_n,y_n)}，其中x_i∈X，X是训练样本集，y_i是类别标志，y_i∈{1,-1}。设第i样本x_i有K维特征v_k(x_i)(1≤k≤K)，对输入特征v_k(x)对应一个判断公式，即弱分类器：

弱分类器中由阈值θ_k和偏置p_k决定样本的类别。

设训练使用T个弱分类，训练算法如下：

(1)给定初始权值：w₀(x_i)＝1/n,i＝1,...,n；

(2)对于弱分类器h和特征v_k(X)，确定阈值θ_k和偏置p_k，计算h_t,k(X)；

(3)遍历k个特征，基于权重计算h的错误率：

其中计算上式的最小值，并得到对应的弱分类h_t,k；

(4)更新权重

(5)重复(2)—(4)，直至t＝T，训练结束

(6)最后得到Adaboost强分类器

基于Adaboost算法的训练流程示意图如图3所示：

对Adaboost算法训练中的部分参数作以下的说明：参数a_t表示弱分类器h_t(X)的性能评价因子，由h_t(X)作用于样本集产生的分类错误的样本权重之和ε_t来决定。a_t是ε_t的减函数，随着ε_t的减小(增大)而增大(减小)，越大的a_t说明h_t(X)在强分类器中的权重越大，说明Adaboost算法训练过程是自适应的。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种基于面部表情识别模式的智能轮椅人机交互系统，其特征在于：包括表情图像采集模块、表情图像特征提取模块、表情特征训练模块、表情序列识别模块、智能轮椅控制模块；其中

表情图像采集模块：用于采集待采集对象的表情图像，并转发给表情特征训练模块；

表情特征训练模块：用于将采集的表情图像和预先设选定的表情库表情图像共同作为面部表情训练集，并经过预处理后转发给表情图像特征提取模块；并将表情图像特征提取模块提取到的表情特征通过迭代训练得到表情分类模型；

表情图像特征提取模块：用于对表情特征训练模块的面部表情训练集进行定位、特征提取得到表情特征，采用几何模型匹配算法自动定位有效表情区域，进而采用ASM方法定位到有效表情控制点信息；具体包括：对预处理后的RGB灰度图像自动定位眉毛、眼睛、嘴巴区域；然后采用ASM主动形状模型方法定位到所述眉毛、眼睛、嘴巴区域中的表情特征点位置，得到表情特征点序列；当定位眼睛区域时，步骤202中的几何模板匹配算法的评价函数为下式：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)]

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离；

表情序列识别模块：用于对新输入的每帧表情序列进行与表情特征训练模块相同的图像与处理、特征提取操作后，调用表情分类模型实现表情的识别；

智能轮椅控制模块：用于根据表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

2.一种基于面部表情识别模式的智能轮椅人机交互方法，其特征在于：包括以下步骤：

201、采用摄像头获取人脸面部的RGB彩色图像，并对图像进行去噪、尺度归一化的预处理后转为RGB灰度图像；

202、采用几何模板匹配算法对预处理后的RGB灰度图像自动定位眉毛、眼睛、嘴巴区域；然后采用ASM主动形状模型方法定位到所述眉毛、眼睛、嘴巴区域中的表情特征点位置，得到表情特征点序列；当定位眼睛区域时，步骤202中的几何模板匹配算法的评价函数为下式：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)]

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离；

203、然后对预先设选定的表情库表情图像里的每幅图像做与步骤202相同的特征定位提取操作，提取得到的表情特征通过Adaboost自适应增强算法的迭代训练得到表情分类模型；

204、将步骤202中得到的表情特征点序列与表情分类模型相比较并识别，确定表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

3.根据权利要求2所述的基于面部表情识别模式的智能轮椅人机交互方法，其特征在于：步骤202中的ASM主动形状模型搜索步骤如下：

(1)ASM表示为：初始化模型参数b，取b＝0，获得初始模型向量b是模型参数，φ是目标模型的特征子空间基，是由主分量特征向量构成的变换矩阵，X表示目标形状，表示平均形状；

(2)沿当前模型X的每个边界点周围搜索，寻找各边界点的最佳匹配点；

(3)更新模型参数b，产生由匹配点结合构成的模型，并将其设为新的当前模型X；

(4)重复步骤(2)和(3)直到模型不再发生明显变化。