CN104331160A - 一种基于唇部状态识别的智能轮椅人机交互系统及方法 - Google Patents

Abstract

本发明请求保护一种基于唇部状态识别的智能轮椅人机交互系统及方法，涉及计算机视觉和人工智能领域。本发明通过肤色模型和Adaboost算法检测唇部，并标记出唇部的具体位置，根据唇部区域所处的相对位置，判定智能轮椅的所要执行的运动方向(前进、后退、左转、右转)。在唇部检测的基础上，使用了SVM算法判定唇部的张合状态。并将唇部位置和唇部张合状态相结合从而实现对智能轮椅的运动控制。克服了头部无意识运动和外界环境干扰对轮椅运动控制造成的干扰，大大提高了人机交互系统的鲁棒性。

Description

一种基于唇部状态识别的智能轮椅人机交互系统及方法

技术领域

本发明属于人工智能和计算机视觉领域，具体涉及智能轮椅的人机交互系统及方法。

背景技术

目前，全球的老年人口数量越来越多，这个问题引起了社会各界的广泛重视；与此同时由于各种灾难、车祸以及疾病等相关因素造成的残障人士数量也在增加。他们的行动能力、反应速度、思考能力会低于正常人。因此，为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅是融合多种研究领域，将机器人技术应用于电动轮椅的一种设备，能够感知外部环境并对环境信息进行处理从而得到合理的控制决策。使老年人和残疾人的日常生活质量在很大程度上得到提高，将用户迅速、无误地送到目的地。智能轮椅的关键技术之一就是实现与使用者和谐交互的技术，这种交互包括两方面的要素：一方面使人能更自然地控制轮椅，另一方面使轮椅可以较好的理解人的思维和命令。由于不同残障人群的身体情况和认知能力不同，轮椅系统的设计需要充分的考虑这些因素，不仅不能使用户的使用困难加大，而且要充分利用残障人士的自身的机能。目前，国内外有很多的学者在开发了很多智能轮椅人机交互的系统，主要分为侵入式和非侵入式两类。侵入式的人机交互方式包括使用眼镜，头带，或者佩戴红外或超声波发射器来测量用户意图。而非侵入式的方法不需要用户佩戴任何设备，而是通过处理用户的声音或图像来识别用户的意图。事实上，大多数的用户更喜欢非侵入式的方法，因为他们不喜欢他们的脸或头被接触。

基于视觉的智能轮椅人机交互是一个十分有效的交互方式。目前，国内外很多研究者对基于视觉的人机交互进行了研究：韩国的Jin Sun Ju，YunHee Shin等人利用Adaboost算法定位人脸位置，采用基于纹理分类的神经网络算法识别人脸倾斜度，同时利用K-means算法识别嘴巴的张合状态，然后通过人脸的倾斜控制轮椅的左转和右转，唇部张开控制轮椅的前进，闭合控制轮椅的停止，从而实现对智能轮椅的运动控制；澳大利亚大学和富豪汽车公司开发了一种新的驾驶员疲劳检测跟踪系统。该系统通过测量和跟踪驾驶员的头部姿势，眼睛的注意力方向、闭合状态以及眨眼动作来估计驾驶员的疲劳程度；英国Essex大学的胡豁生、贾沛等训练主动形态模型(AAM)识别人脸，通过识别当前人脸，然后跟模板进行比较来估计人脸方向，从而控制智能轮椅的运动；日本的YoshioMatsumotot,Alexander Zelinskyt等人在机器人上装有摄像头，通过摄像头采集人脸图像，当人的头部移动时，通过识别头部在某个方向停留的时间长短来判断他对该物体的关注程度，并通过这个时间的长短来判断人凝视与否，进而控制机器人的运动；国立澳大利亚大学的Alex Zelinsky教授在Monash大学智能机器人中心RayJivis教授在智能轮椅系统中引入眼睛跟踪仪，通过探测用户面部角度和瞳孔方向来控制轮椅，使其可以沿着用户目视的方向运动。但是当用户头部或脸部的运动被广泛的使用来表达用户的意图，应用到人机交互系统中时系统往往存在某种缺陷：当人期望向某个方向运动时，头部会自然的朝那个方向看。轮椅的转动源于头部运动的方向。但是当某个障碍物在靠近用户的时候，用户会看向障碍物，这时轮椅仍会向障碍物运动。而实际上，此时用户需要快速的避开障碍物，这时候轮椅就会产生错误指令。考虑到头部无意识偏转和外界环境干扰的影响，在利用头部或脸部偏转控制轮椅运动方向的基础上，设定识别唇部的张合状态功能，提高系统鲁棒性。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种缩小了分类器的遍历范围，降低误检率的同时提高了检测速度的基于唇部状态识别的智能轮椅人机交互系统及方法，本发明的技术方案如下：

一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮椅本体及无线网卡，其还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分类器；

所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型；

所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域；

所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测；

所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状态；

所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定轮椅的运动指令；

所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相结合用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只有当识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态的控制。

一种基于唇部状态识别的智能轮椅人机交互方法，其包括以下步骤：

201、通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张合状态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号传输给肤色分割模型；

202、肤色分割模型将该视频信号中的图像进行分割得到人脸区域；

203、调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位唇部的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩形框标定出来；

204、对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM唇部张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的唇部矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能轮椅的运动。

进一步的，步骤201及步骤202中的肤色分割模型采用YCrCb高斯肤色模型，摄像头采集到的图像为RGB图，YCbCr色彩空间和RGB色彩空间的转换关系为：

$\left\{\begin{array}{c}Y=(77/256)R+(10/256)G+(29/256)B\\ \mathrm{Cr}=(133/256)R-(110/256)G-(21/256)B+128\\ \mathrm{Cb}=-(44/256)R-(87/256)G+(131/256)B+128\end{array}\right.---\left(1\right)$

其中Y表示像素的亮度，Cb表示图像的蓝色分量，Cr则表示红色分量；:R表示红，G：绿，B：蓝，RGB表示红绿蓝，通用为RGB图；

根据肤色像素点在平面的聚类性和像素点的分布概率，对其进行高斯建模。肤色概率密度的计算公式为：

P(Cr,Cb)＝exp[-0.5(x-m)^TC^-1(x-m)]

$m=(\stackrel{\‾}{\mathrm{Cr}},\stackrel{\‾}{\mathrm{Cb}})$

$\stackrel{\‾}{\mathrm{Cr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cr}}_i;\stackrel{\‾}{\mathrm{Cb}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cb}}_i$

$C=\left(\begin{array}{cc}{\mathrm{\σ}}_{\mathrm{Cr}}^2& {\mathrm{\σ}}_{\mathrm{Cr},\mathrm{Cb}}\\ {\mathrm{\σ}}_{\mathrm{Cb},\mathrm{Cr}}& {\mathrm{\σ}}_{\mathrm{Cb}}^2\end{array}\right)$

其中，x＝[Cr,Cb]^T为像素点在YCbCr空间中的向量，m为样本均值，C为样本协方差矩阵，为Cr，Cb相应的平均值，N为用于建模的像素点总数。

进一步的，步骤203中的Adaboost唇部分类器去匹配图像的过程中，对人脸子图像进行特征提取，并计算特征值，其中的每个特征可以表示为如下：

${\mathrm{feature}}_j=\underset{i\∈(1,...,N)}{\mathrm{\Σ}}{\mathrm{\ω}}_i\mathrm{RectSum}\left(r_i\right)$

其中矩形r_i的权为ω_i，矩形r_i所围图像的灰度积分为RectSum(r_i)，N是feature_j的矩形个数。

进一步的，步骤201及204中SVM算法训练唇部张合状态分类器包括以下步骤：

(1)给定唇部样本训练集向量(x_i,y_i)，i＝1,...,l其中x_i∈Rⁿ，y∈{-1,1}^l，此时：

$\underset{w,b,\mathrm{\ξ},\mathrm{\ρ}}{\min }\frac{1}{2}{w}^{\mathrm{\τ}}w-\mathrm{\υ\ρ}+\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

y_i(w^τφ(x_i)+b)≥ρ-ξ_i

ξ_i≥0,i＝1,...,l,ρ≥0

(2)利用支持向量机缩放操作svmscale.exe将唇部特征向量的每个特征归一化，使每个特征值介于[-1,1]之间；

(3)利用支持向量机训练svmtrain.exe对训练样本中的归一化特征向量进行训练，采用线性核、一对一的分类策略,得到训练模型；

(4)利用支持向量机预测svmpredict.exe对测试样本进行预测，将测试样本输入到分类器中，采用投票策略对各个分类器的判别结果的类别进行投票，哪个类别的票数最多，则测试样本属于哪一类，并输出唇部状态类别。

本发明的优点及有益效果如下：

本发明将肤色分割模型和Adaboost算法相结合实现对唇部的检测，以及将唇部检测和唇部张合状态相结合用于智能轮椅的运动控制，将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根据这两个矩形框相对位置关系的不同来确定轮椅的运动方向，同时结合唇部的张合状态确定轮椅的运动状态，达到人机交互的目的。其中，肤色分割模型和Adaboost算法相结合，通过肤色模型跟个出人脸区域，Adaboost唇部分类器遍历人脸区域实现对唇部的检测，缩小了分类器的遍历范围，降低误检率的同时提高了检测速度。而通过SVM算法训练唇部张合状态识别的分类器，实现对检测到的唇部的张合状态识别。将唇部检测和唇部张合状态相结合实现对智能轮椅的运动控制，克服了仅仅利用头势控制智能轮椅运动过程中，因无意识的头部运动和外界环境干扰产生错误指令，造成对实验结果的影响。

附图说明

图1是按照本发明采用唇部状态控制智能轮椅运动的流程示意图；

图2本发明采用肤色模型和Adaboost分类器结合检测唇部的流程示意图；

图3本发明中采用的SVM识别唇部张合状态的流程示意图；

图4本发明采用SVM算法训练唇部张合状态识别分类器的流程示意图。

具体实施方式

下面结合附图给出一个非限定的实施例对本发明作进一步的阐述。但是应该理解，这些描述只是示例的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

唇部状态控制智能轮椅的人机交互中，首先通过Adaboost算法训练得到唇部分类器，利用SVM算法训练得到唇部张合状态判定的分类器。然后通过肤色模型分割出人脸肤色区域，将人脸区域作为唇部检测的子区域，调用唇部分类器遍历该子区域实现对唇部的检测，标记出唇部的具体位置，通过将唇部矩形框与一个固定的矩形框进行比较，来确定轮椅的运动方向。对于检测到的唇部区域，调用唇部张合状态识别分类器，判定唇部是否为张开状态。根据唇部的相对位置和唇部的张开状态控制智能轮椅的运动。肤色模型的基本原理是首先将采集的图像经过色彩空间的转换，并对其进行高斯建模，然后对其进行似然图计算、二值化计算、形态学处理和连通区域识别，得到人脸区域，也就是唇部检测的子图像。

调用Adaboost唇部分类器遍历子图像，将唇部样本并作为模板，与待检测样本进行模板匹配，实现对唇部的检测。将肤色模型和Adaboost结合进行唇部检测，降低唇部检测的误检率，又能提高唇部检测的检测速度，实现更加精确的唇部定位。对于检测到的唇部，本发明采用SVM算法对其进行张合状态的识别。

SVM算法是由Vapnik及其领导的Bell实验室提出的一种机器学习新方法，具有很强的泛华能力，在解决小样本问题方面表现出了许多特有的优势。本发明中通过调用经过SVM算法训练得到的分类器识别唇部的张合状态，并将状态(open或close)显示到唇部窗口。将唇部的相对位置和唇部的张合状态相结合来控制智能轮椅的运动，有效解决了仅仅利用头部运动控制轮椅运动过程中，用户受外界环境干扰或无意识的头部运动产生错误指令的问题，提高了人机交互系统的稳定性与鲁棒性。

以下针对附图和具体实例对本发明作具体描述：

图1是本发明采用唇部状态控制智能轮椅运动的示意图，摄像头获取采集对象(包含人脸)的视频信号，抓取视频中的一帧图像。但是由于光照的影响，采用同态滤波对图像进行光照处理。利用肤色模型分割出图像中的人脸区域，调用Adaboost唇部分类器搜索人脸区域定位唇部的位置，并用矩形框标定出来。对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM唇部张合状态识别分类器判定唇部的张合状态。同时通过比较预先设置好的矩形框与检测得到的唇部框来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能轮椅的运动。

图2是采用肤色模型和Adaboost分类器结合检测唇部的示意图。它通过YCrCb简单高斯肤色模块分割出人脸的肤色区域，作为AdaBoost唇部检测模块的输入，然后用AdaBoost检测方法遍历人脸区域，实现对唇部位置的定位。摄像头采集到的图像为RGB图，光照环境对该空间的影响很大。YCbCr空间可以将颜色中的色度信息和亮度信息进行分离，常被用于进行人脸检测。YCbCr色彩空间和RGB色彩空间的转换关系为：

$\left\{\begin{array}{c}Y=(77/256)R+(10/256)G+(29/256)B\\ \mathrm{Cr}=(133/256)R-(110/256)G-(21/256)B+128\\ \mathrm{Cb}=-(44/256)R-(87/256)G+(131/256)B+128\end{array}\right.---\left(1\right)$

其中Y表示像素的亮度，Cb表示图像的蓝色分量，Cr则表示红色分量。

根据肤色像素点在平面的聚类性和像素点的分布概率，对其进行简单高斯建模。肤色概率密度的计算公式为：

P(Cr,Cb)＝exp[-0.5(x-m)^TC^-1(x-m)](2)

$m=(\stackrel{\‾}{\mathrm{Cr}},\stackrel{\‾}{\mathrm{Cb}})---\left(3\right)$

$\stackrel{\‾}{\mathrm{Cr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cr}}_i;\stackrel{\‾}{\mathrm{Cb}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cb}}_i---\left(4\right)$

$C=\left(\begin{array}{cc}{\mathrm{\σ}}_{\mathrm{Cr}}^2& {\mathrm{\σ}}_{\mathrm{Cr},\mathrm{Cb}}\\ {\mathrm{\σ}}_{\mathrm{Cb},\mathrm{Cr}}& {\mathrm{\σ}}_{\mathrm{Cb}}^2\end{array}\right)---\left(5\right)$

其中，x＝[Cr,Cb]^T为像素点在YCbCr空间中的向量，m为样本均值，C为样本协方差矩阵，为Cr，Cb相应的平均值，N为用于建模的像素点总数。

根据所建立的肤色模型，对图像进行似然图的计算和二值化处理，同时对其进行腐蚀和膨胀等操作消除图像中被误判的肤色点得到较为准确的连通区域。由于人脸区域如眉毛、眼睛、嘴巴等非肤色区域而导致整个人脸区域至少存在三个空洞，据此判定实现人脸区域的分割。

将得到的人脸区域作为输入图像，Adaboost唇部分类器遍历输入图像实现对唇部的检测。此时Adaboost分类器搜索的是人脸区域而不是整幅图像。Adaboost算法的基本原理是经过一个由Adaboost学习训练方法训练得到的多层结构的分类器匹配图像，判定其是否为目标图像，并得出最终的检测结果。在利用分类器去匹配图像的过程中，需对人脸子图像进行特征提取，并计算特征值。其中的每个特征可以表示为如下：

${\mathrm{feature}}_j=\underset{i\∈(1,...,N)}{\mathrm{\Σ}}{\mathrm{\ω}}_i\mathrm{RectSum}\left(r_i\right)---\left(6\right)$

其中矩形r_i的权为ω_i，矩形r_i所围图像的灰度积分为RectSum(r_i)，N是feature_j的矩形个数。在此基础上，利用积分图的特征值计算方法，可减小运算量，提高训练过程和检测的速度。本发明在肤色模型分割得到人脸区域的基础上，通过Adaboost唇部分类器搜索人脸区域实现对唇部的检测，达到检测唇部的目的。

图3本发明中采用的SVM识别唇部张合状态的示意图。下面是它的处理过程：将检测到的唇部区域设置为感兴趣区域，对该区域进行特征归一化、尺度调整等预处理，降低后面特征提取的复杂度和时间。然后对预处理后的唇部区域进行特征提取，并调用SVM唇部状态识别分类器对提取的唇部特征进行特征分类，并输出唇部的张合状态，显示到唇部矩形窗口中。

图4本发明采用SVM算法训练唇部张合状态识别分类器的示意图。下面是SVM训练唇部状态识别分类器的训练过程：唇部张开和闭合状态的识别分类是一个简单的二分类问题，通常SVM分类器的训练包含样本的采集、样本预处理、特征提取、SVM模型的训练四个步骤。SVM算法实际是对给定样本训练集的对偶问题进行最优化运算，并求取决策函数，最终将不同类别区分开的过程。SVM算法训练唇部张合状态分类器的过程描述如下：

(1)给定唇部样本训练集向量(x_i,y_i)，i＝1,...,l其中x_i∈Rⁿ，y∈{-1,1}^l，此时：

$\underset{w,b,\mathrm{\ξ},\mathrm{\ρ}}{\min }\frac{1}{2}{w}^{\mathrm{\τ}}w-\mathrm{\υ\ρ}+\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i---\left(7\right)$

y_i(w^τφ(x_i)+b)≥ρ-ξ_i       (8)

ξ_i≥0,i＝1,...,l,ρ≥0        (9)

(2)利用svmscale.exe将唇部特征向量的每个特征归一化，使每个特征值介于[-1,1]之间；

(3)利用svmtrain.exe对训练样本中的归一化特征向量进行训练，采用线性核、一对一的分类策略,得到训练模型；

(4)利用svmpredict.exe对测试样本进行预测，将测试样本输入到分类器中，采用“投票”策略对各个分类器的判别结果的类别进行“投票"，哪个类别的票数最多，则测试样本属于哪一类，并输出唇部状态类别。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮椅本体及无线网卡，其特征在于：还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分类器；

所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型；

所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域；

所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测；

所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状态；

所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定轮椅的运动指令；

所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相结合用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只有当识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态的控制。

2.一种基于唇部状态识别的智能轮椅人机交互方法，其特征在于：包括以下步骤：

201、通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张合状态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号传输给肤色分割模型；

202、肤色分割模型将该视频信号中的图像进行分割得到人脸区域；

203、调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位唇部的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩形框标定出来；

204、对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM唇部张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的唇部矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能轮椅的运动。

3.根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤201及步骤202中的肤色分割模型采用YCrCb高斯肤色模型，摄像头采集到的图像为RGB图，YCbCr色彩空间和RGB色彩空间的转换关系为：

$\left\{\begin{array}{c}Y=(77/256)R+(10/256)G+(29/256)B\\ \mathrm{Cr}=(133/256)R-(110/256)G-(21/256)B+128\\ \mathrm{Cb}=-(44/256)R-(87/256)G+(131/256)B+128\end{array}\right.---\left(1\right)$

其中Y表示像素的亮度，Cb表示图像的蓝色分量，Cr则表示红色分量；:R表示红，G：绿，B：蓝，RGB表示红绿蓝，通用为RGB图；

根据肤色像素点在平面的聚类性和像素点的分布概率，对其进行高斯建模。肤色概率密度的计算公式为：

P(Cr,Cb)＝exp[-0.5(x-m)^TC^-1(x-m)]

$m=(\stackrel{\‾}{\mathrm{Cr}},\stackrel{\‾}{\mathrm{Cb}})$

$\stackrel{\‾}{\mathrm{Cr}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cr}}_i;\stackrel{\‾}{\mathrm{Cb}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Cb}}_i$

$C=\left(\begin{array}{cc}{\mathrm{\σ}}_{\mathrm{Cr}}^2& {\mathrm{\σ}}_{\mathrm{Cr},\mathrm{Cb}}\\ {\mathrm{\σ}}_{\mathrm{Cb},\mathrm{Cr}}& {\mathrm{\σ}}_{\mathrm{Cb}}^2\end{array}\right)$

其中，x＝[Cr,Cb]^T为像素点在YCbCr空间中的向量，m为样本均值，C为样本协方差矩阵，为Cr，Cb相应的平均值，N为用于建模的像素点总数。

4.根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤203中的Adaboost唇部分类器去匹配图像的过程中，对人脸子图像进行特征提取，并计算特征值，其中的每个特征可以表示为如下：

${\mathrm{feature}}_j=\underset{i\∈(1,...,N)}{\mathrm{\Σ}}{\mathrm{\ω}}_i\mathrm{RectSum}\left(r_i\right)$

其中矩形r_i的权为ω_i，矩形r_i所围图像的灰度积分为RectSum(r_i)，N是feature_j的矩形个数。

5.根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤201及204中SVM算法训练唇部张合状态分类器包括以下步骤：

(1)给定唇部样本训练集向量(x_i,y_i)，i＝1,...,l其中x_i∈Rⁿ，y∈{-1,1}^l，此时：

$\underset{w,b,\mathrm{\ξ},\mathrm{\ρ}}{\min }\frac{1}{2}{w}^{\mathrm{\τ}}w-\mathrm{\υ\ρ}+\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

y_i(w^τφ(x_i)+b)≥ρ-ξ_i

ξ_i≥0,i＝1,...,l,ρ≥0

(2)利用支持向量机缩放操作svmscale.exe将唇部特征向量的每个特征归一化，使每个特征值介于[-1,1]之间；

(3)利用支持向量机训练svmtrain.exe对训练样本中的归一化特征向量进行训练，采用线性核、一对一的分类策略,得到训练模型；

(4)利用支持向量机预测svmpredict.exe对测试样本进行预测，将测试样本输入到分类器中，采用投票策略对各个分类器的判别结果的类别进行投票，哪个类别的票数最多，则测试样本属于哪一类，并输出唇部状态类别。