CN102319155B - 基于唇部检测与跟踪的智能轮椅控制方法 - Google Patents

Abstract

本发明公开了一种基于唇部检测与跟踪的智能轮椅控制方法，涉及一种图像处理与智能轮椅控制相结合的基于唇部检测与跟踪的智能轮椅控制方法，本发明以智能轮椅为平台，建立了唇部轮廓检测与跟踪的数学模型，使用摄像头读取人脸部分图像；对唇部轮廓进行检测跟踪；对唇部运动序列进行特征提取，并在其中使用了鲁棒性良好的主动外观模型方法；运用隐马尔可夫模型对图像序列进行建模与识别；实现了通过唇读技术控制智能轮椅运动的方法，采用本发明的智能轮椅控制交互技术，可以使老年人或者有行动限制的残疾人通过自然语言实现对智能轮椅的基本控制，这种控制方法不需要智能轮椅的使用者学习机器语言，直接使用自然语言，实现了人机自然交互。

Description

基于唇部检测与跟踪的智能轮椅控制方法

技术领域

本发明涉及智能轮椅人机控制方法，特别涉及一种图像处理与智能轮椅控制相结合的基于唇部检测与跟踪的智能轮椅控制方法。

背景技术

联合国发表报告指出，在21世纪上半叶，老年人口将增加2.3倍，老年人口占总人口的比例将达到20％，全世界人口老龄化进程正在加快，今后50年内，60岁以上的人口比例预计将会翻一番。随着社会老龄化进程的加快以及由于各种灾难、疾病、工伤、交通事故等原因造成下肢损伤的残障人数的增加，为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅作为一种服务机器人，具有自主导航、避障、人机交互以及提供特种服务等多种功能，可以大大提高老年人和残疾人的日常生活和工作质量，使他们重新获得生活自理能力和融入社会成为可能。目前，世界各国的研究者都在广泛开展智能轮椅相关技术的研究。作为机器人技术的一种应用平台，智能轮椅上融合了机器人研究领域的多种技术，包括运动控制、机器视觉、模式识别、多传感器信息融合以及人机交互等等。经过20多年的研究和开发，智能轮椅的交互性、自主性以及安全性都得到了很大的发展。

因此急需一种直接使用自然语言来实现了人机自然交互控制，使老年人或者有行动限制的残疾人通过自然语言实现对智能轮椅的基本控制。

发明内容

有鉴于此，为了解决上述问题，本发明提出一种直接使用自然语言来实现了人机自然交互控制，使老年人或者有行动限制的残疾人通过自然语言实现对智能轮椅的基本控制；这种控制方法不需要智能轮椅的使用者学习机器语言。

本发明的目的是这样实现的：

本发明提供的基于唇部检测与跟踪的智能轮椅控制方法，包括以下步骤：

S1：输入通过摄像头获取的人脸图像序列；

S2：从人脸图像中分割出唇部轮廓；

S3：提取唇部轮廓图像特征；

S4：对唇部特征建模与识别；

S5：通过唇部图像识别结果来控制智能轮椅运动控制。

进一步，所述唇部轮廓分割采用主动外观模型法AAM，所述主动外观模型法AAM包括以下步骤：

S21：构建形状模型并通过获取唇部轮廓形状关键特征点来构建外形向量；

S22：构建纹理模型并建立纹理模型参数的变化之间的联系；

S23：将形状模型和纹理模型合理的结合起来，从而合成新图像；

进一步，所述S21中形状模型建立包括以下步骤：

S211：将每个外形样本的外形向量的重心平移至坐标原点，所述外形向量重心通过以下公式获得：

$(\stackrel{\‾}{x},\stackrel{\‾}{y})=(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{x}_j,\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_j)$

式中

表示外形向量的重心，(x_j，y_j)表示第j个外形向量的重心，n表示训练集中的样本个数；

S212：计算并归一化第一个外形样本的外形尺寸，把它作为外形样本的当前平均外形向量的初始估计

所述外形样本的外形尺寸通过以下公式计算：

$R\left(S\right)=\sqrt{[{(x_j-\stackrel{\‾}{x})}^2+{(y_j-\stackrel{\‾}{y})}^2]}$

式中R(S)表示外形样本的外形尺寸；

S213：将选取的外形样本与当前平均外形向量对齐；

S214：计算所有对齐后的外形样本的平均外形向量，把它作为现有平均外形向量；

S215：计算当前平均外形向量和现有平均外形向量的距离，如果距离小于预设误差值ε，则跳转到S213；所述两个不同外形向量S₁和S₂之间的距离通过以下公式计算：

$P_d^2=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|{(S_1-S_2)}^2\right|=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{(x_{j1}-x_{j2})}^2+{(y_{j1}-y_{j2})}^2|$

式中

表示两个不同外形向量之间的距离；

S216：如果距离大于或等于预设误差值ε，则转入下一步S217；

S217：建立外形向量模型，所述外形向量模型通过以下公式建立：

$S=\stackrel{\‾}{S}+P_s{b}_s$

其中，为平均外形向量，矩阵P_s由外形向量S的协方差矩阵的特征向量构成的矩阵，向量b_s为外形参数，b_s的不同值代表了外形向量的不同变化，b_s的各维元素值b_si是处于

范围内的值，其中λ_i是外形向量协方差矩阵的特征值；

进一步，所述S213中外形向量对齐包括以下步骤：

S2131：计算每个外形向量的重心；

S2132：缩放两个外形向量的尺寸；

S2133：重叠两个外形向量的重心；

S2134：旋转两个外形向量的角度；

进一步，所述S22中纹理模型建立包括以下步骤：

S221：建立外形样本和平均外形之间像素对应的纹理样本集；

S222：选择纹理样本集中一个纹理样本作为初始的平均纹理并对它进行标准的归一化处理；

S223：计算每一个纹理样本的方差、像素纹理平均，然后归一化，形成当前平均纹理；

所述方差通过以下公式进行计算：

$\mathrm{\σ}=g_{\mathrm{image}}\·\stackrel{\‾}{g}$

式中，g_image是从图像中获取的实际纹理样本；

所述像素纹理平均通过以下公式进行计算：

$\stackrel{\‾}{g}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{g}_i$

式中，σ表示方差，g_i表示从图像中获取的实际纹理样本中的第i个像素，

表示平均纹理，m表示图像的像素点个数；

S224：计算归一化后的纹理样本的平均纹理，作为现有平均纹理，

$g_{\mathrm{norm}}=\frac{g_{\mathrm{image}}-\stackrel{\‾}{g}}{\mathrm{\σ}}$

其中，g_image是从图像中获取的实际纹理样本，g_norm是归一化后的纹

为纹理样本，σ为方差；

S225：计算当前平均纹理和现有平均纹理之间的距离，如果距离小于预设值，则转入步骤2；

S226：如果距离大于或等于预设值，则转入下一步；

S227：建立纹理模型，所述纹理模型通过以下公式建立：

$g=\stackrel{\‾}{g}+P_g{b}_g$

其中

是归一化后的平均纹理，P_g是特征矩阵，b_g是纹理模型参数，变化纹理模型参数b_g中元素的值可以得到不同的纹理，分别变化向量b_g的第一维元素b_g0和第二维元素b_g1，其它维元素值都保持为0时得到的不同纹理，b_g的各维元素值b_gi为处于范围内的值，其中λ_i是纹理协方差矩阵的特征值；

进一步，所述步骤S221中包括以下步骤：

S2211：将外形向量模型中的平均外形向量进行三角化剖分，形成平均人脸唇部三角形区域集合；

S2212：建立平均外形和外形样本三角形区域之间的对应关系，将训练集中的每个外形样本进行三角化剖分，通过对外形中每个三角形的变形实现整个人脸唇部图像向平均外形的变形；

S2213：建立三角形区域内部点集对应关系，通过以下公式进行：

p′＝αp′₁+βp′₂+γp′₃

式中，p(x，y)表示三角形区域T1中对应的点，p表示三角形区域T2中对应的点，P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)为三角形区域T1的三个项点，p′₁(x′₁，y′₁)，p′₂(x′₂，y′₂)，p′₃(x′₃，y′₃)是三角形区域T2的顶点，且与P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)一一对应，

式中，系数(α，β，γ)通过解三角形区域T1内部点表达式获得：

$\left\{\begin{array}{c}x=\mathrm{\α}{x}_1+\mathrm{\β}{x}_2+\mathrm{\γ}{x}_3\\ y=\mathrm{\α}{y}_1+\mathrm{\β}{y}_2+\mathrm{\γ}{y}_3\\ \mathrm{\α}+\mathrm{\β}+\mathrm{\γ}=1\end{array}\right.$

其中0≤α，β，γ≤1；

进一步，所述步骤S4中的唇部图像识别包括以下步骤：

S41：首先对唇部图像进行预处理；

S42：标定唇部轮廓图像的特征位置；

S43：合成新的唇部轮廓图像；

S44：提取唇部轮廓图像特征；

S45：对唇部轮廓图像特征进行识别，

具体包括以下步骤：

S451：将嘴唇特征作为输入向量输入隐马尔科夫分类器；

S452：所述隐马尔科夫分类训练过程采用Baum-Welch算法进行；

S453：所述隐马尔科夫分类识别过程采用的是Viterbi算法；

进一步，所述步骤S43中的合成新的唇部轮廓图像包括以下步骤：

S431：从训练集中任选一幅标记好特征点的人脸图像作为原始图像，将原始图像的形状向量与平均人脸的形状向量对齐，设对齐后的形状向量为S₀；

S432：利用统计形状模型得到与该唇部图像相对性的形状参数；

S433：把原始图像的纹理向量变形到平均嘴唇上，并对变形后的纹理向量进行归一化处理，得到原始图像归一化形状无关的纹理向量g₀；

S434：利用统计纹理模型得到与该唇部图像相对应的纹理参数b_g；

S435：把b_s和b_g按照一定的权值结合生成参数b，进而通过统计外观模型得到原始图像的外观参数c；

S436：得到表现模型参数c后，利用公式生成新的图像的形状向量S₁和归一化的形状无关的纹理向量g₁；

S437：对形状向量S₁进行仿射变换，以消除对齐时对它的影响；

S438：将纹理向量g₁变形到形状向量S₁上，并对纹理值进行恢复处理，使其值的范围从归一化后的0-1，恢复到原始图像的真是灰度值的大小；

进一步，所述步骤S44中的特征提取是通过将主动外观模型法AAM获得的新图像与合成图像进行循环迭代，从而获得新图像的形状特征和纹理特征；具体包括以下步骤：

S441：学习灰度差向量δI和模型参数之差δc之间的关系，所述关系通过以下公式表示：δc＝AδI，

其中，A表示，c表示当前模型参数，δc表示模型参数之差，δI表示灰度差值向量，δI的计算公式为：δI＝I_t-I_m，式中，I_t为当前图像的纹理向量，I_m是由当前模型参数生成的纹理向量；

S442：生成模型参数变化与纹理向量差值对应关系的实例，利用训练得到的实例，在迭代过程中最小化Δ，Δ表示模型参数差值δI的绝对值，Δ＝|δI|²；

S443：通过对δc和δI进行多元线性回归分析并计算出A，

所述A的计算具体包括以下步骤：

S4431：通过以下公式计算出合成图像和目标图像之间的差值，并作为目标函数：

Δ＝||δg||²＝||g_s-g_m||²

其中，g_s是目标图像根据当前形状s形变到平均形状得到的纹理向量，g_m是根据当前外观参数c生成的纹理向量；

S4432：通过以下公式确定模型参数变化δc、仿射变换参数变化δθ与纹理差值向量δ_g之间的关系：

δc＝R_cδg

δθ＝R_θδg，

其中，θ为仿射变换参数(s，θ，t_x，t_y)，s是缩放参数，θ是旋转参数，(t_x，t_y)是平移参数；

S4433：确定矩阵R_c和R_θ，通过逐个定量的调整c和θ中的每一个分量并记录每次调整后所生成的图像同当前形状所覆盖的图像的差异，然后利用多元线性回归来获得R_c和R_θ，

具体包括以下步骤：

S44331：将模型参数c做一个定量的扰动δc；

S44332：更新当前的模型参数为c＝c+δc；

S44333：由新的外观参数c计算新的形状向量s和归一化的纹理向量g_m，

S44334：根据形状向量s，用步骤S44331到S44333的方法得到纹理向量g_s；

S44335：计算纹理向量g_s和g_m之差：δg＝g_s-g_m；

S44336：改变模型参数δc，可分别得到相应的δg，通过对应矩阵δc和δg，应用多元线性回归分析得到R_c；

S44337：通过步骤S44331-S44336，用多元线性回归分析得到R_θ；

进一步，所述步骤S441中灰度差值的计算，包括以下步骤：

S4411：获取当前图像的模型参数c₀；

S4412：获取模型参数c₀的改变量δ_c，满足以下公式：c＝δ_c+c₀，式中，c表示当前模型参数；

S4413：由当前模型参数c产生新的形状样本s和归一化的纹理样本g_m；

S4414：根据s对图像进行变形并且取其相应区域变形内的纹理向量g_s；

S4415：通过以下公式来计算纹理样本g_m和纹理向量g_s的差：

δg＝g_s-g_m；式中，δg表示纹理样本和纹理向量的差；

S4416：改变模型参数δc和形状s的姿态参数(s_x，s_y，t_x，t_y)，应用多元线性回归分析法分别得到对应的纹理向量g_s，其中，(s_x，s_y，t_x，t_y)表示姿态参数，所述姿态参数是指缩放尺度和旋转角度。

本发明的优点在于：采用基于唇部检测与跟踪来控制轮椅，可以使老年人或者有行动限制的残疾人通过自然语言实现对智能轮椅的基本控制，这种控制方法不需要智能轮椅的使用者学习机器语言，直接使用自然语言，实现了人机自然交互。

本发明用主动外观模型AAM法提取自然语言唇部区域的轮廓和运用隐马尔可夫模型HMM来训练识别，最终实现唇部检测与跟踪对智能轮椅的运动控制，该方法是一种快速的、鲁棒性高的人唇部检测方法，能够从图像中准确定位到唇部关键部位的特征点，实现了唇部检测和跟踪对智能轮椅的运动控制。

本发明的其它优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其它优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为智能轮椅控制系统；

图2为基于唇部检测与跟踪的智能轮椅控制方法流程图；

图3为训练集中外形向量的对齐过程；

图4为外形模型的建立；

图5为对人脸唇部外形进行三角剖分；

图6为纹理模型；

图7为人脸唇部图像的标定；

图8为图像重构结果；

图9为不同人复杂背景下的检测结果1；

图10为不同人复杂背景下的检测结果2。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

图1为智能轮椅控制系统，如图所示：包括通过摄像头获取图像序列、图像处理器和智能轮椅，本发明所用的图像处理过程采用台式计算机或者其他种类的计算机，还可以通过DSP或者其他微型处理器来完成，通过图像处理后产生控制命令，然后控制智能轮椅的移动。

图2为基于唇部检测与跟踪的智能轮椅控制方法流程图，如图所示：本发明提供的基于唇部检测与跟踪的智能轮椅控制方法，包括以下步骤：

S1：输入通过摄像头获取的人脸图像序列；

S2：从人脸图像中分割出唇部轮廓；

S3：提取唇部轮廓图像特征；

S4：对唇部特征建模与识别；

S5：通过唇部图像识别结果来控制智能轮椅运动控制。

作为上述实施例的进一步改进，所述唇部轮廓分割采用主动外观模型法AAM，所述主动外观模型法AAM包括以下步骤：

S21：构建形状模型并通过获取唇部轮廓形状关键特征点来构建外形向量；

S22：构建纹理模型并建立纹理模型参数的变化之间的联系；

S23：将形状模型和纹理模型合理的结合起来，从而合成新图像。

图3为训练集中外形向量的对齐过程，图4为外形模型的建立，如图所示，作为上述实施例的进一步改进，所述S21中形状模型建立包括以下步骤：

S211：将每个外形样本的外形向量的重心平移至坐标原点，所述外形向量重心通过以下公式获得：

$(\stackrel{\‾}{x},\stackrel{\‾}{y})=(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{x}_j,\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_j)$

式中

表示外形向量的重心，(x_j，y_j)表示第j个外形向量的重心，n表示训练集中的样本个数；

S212：计算并归一化第一个外形样本的外形尺寸，把它作为外形样本的当前平均外形向量的初始估计

所述外形样本的外形尺寸通过以下公式计算：

$R\left(S\right)=\sqrt{[{(x_j-\stackrel{\‾}{x})}^2+{(y_j-\stackrel{\‾}{y})}^2]}$

式中R(S)表示；

S213：将选取的外形样本与当前平均外形向量对齐；

S214：计算所有对齐后的外形样本的平均外形向量，把它作为现有平均外形向量；

S215：计算当前平均外形向量和现有平均外形向量的距离，如果距离小于预设误差值ε，则跳转到S213；所述两个不同外形向量S₁和S₂之间的距离通过以下公式计算：

$P_d^2=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|{(S_1-S_2)}^2\right|=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{(x_{j1}-x_{j2})}^2+{(y_{j1}-y_{j2})}^2|$

式中

表示；

S216：如果距离大于或等于预设误差值ε，则转入下一步S217；

S217：建立外形向量模型，所述外形向量模型通过以下公式建立：

$S=\stackrel{\‾}{S}+P_s{b}_s$

其中，

为平均外形向量，矩阵P_s由外形向量S的协方差矩阵的特征向量构成的矩阵，向量b_s为外形参数，b_s的不同值代表了外形向量的不同变化，b_s的各维元素值b_si是处于范围内的值，其中λ_i是外形向量协方差矩阵的特征值。

作为上述实施例的进一步改进，所述S213中外形向量对齐包括以下步骤：

S2131：计算每个外形向量的重心；

S2132：缩放两个外形向量的尺寸；

S2133：重叠两个外形向量的重心；

S2134：旋转两个外形向量的角度。

图5为对人脸唇部外形进行三角剖分；图6为纹理模型；如图所示，作为上述实施例的进一步改进，所述S22中纹理模型建立包括以下步骤：

S221：建立外形样本和平均外形之间像素对应的纹理样本集；

S222：选择纹理样本集中一个纹理样本作为初始的平均纹理

并对它进行标准的归一化处理；

S223：计算每一个纹理样本的方差、像素纹理平均，然后归一化，形成当前平均纹理；

所述方差通过以下公式进行计算：

$\mathrm{\σ}=g_{\mathrm{image}}\·\stackrel{\‾}{g}$

式中，g_image是从图像中获取的实际纹理样本；

所述像素纹理平均通过以下公式进行计算：

$\stackrel{\‾}{g}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{g}_i$

式中，σ表示方差，g_i表示从图像中获取的实际纹理样本中的第i个像素，

表示平均纹理，m表示图像的像素点个数；

S224：计算归一化后的纹理样本的平均纹理，作为现有平均纹理，

$g_{\mathrm{norm}}=\frac{g_{\mathrm{image}}-\stackrel{\‾}{g}}{\mathrm{\σ}}$

其中，g_image是从图像中获取的实际纹理样本，g_norm是归一化后的纹

为纹理样本，σ为方差；

S225：计算当前平均纹理和现有平均纹理之间的距离，如果距离小于预设值，则转入步骤2；

S226：如果距离大于或等于预设值，则转入下一步；

S227：建立纹理模型，所述纹理模型通过以下公式建立：

$g=\stackrel{\‾}{g}+P_g{b}_g$

其中

是归一化后的平均纹理，P_g是特征矩阵，b_g是纹理模型参数，变化纹理模型参数b_g中元素的值可以得到不同的纹理，分别变化向量b_g的第一维元素b_g0和第二维元素b_g1，且其它维元素都保持为0时得到的不同纹理，b_g的各维元素值b_gi为处于

范围内的值，其中λ_i是纹理协方差矩阵的特征值。

作为上述实施例的进一步改进，所述步骤S221中包括以下步骤：

S2211：将外形向量模型中的平均外形向量进行三角化剖分，形成平均人脸唇部三角形区域集合；

S2212：建立平均外形和外形样本三角形区域之间的对应关系，将训练集中的每个外形样本进行三角化剖分，通过对外形中每个三角形的变形实现整个人脸唇部图像向平均外形的变形；

S2213：建立三角形区域内部点集对应关系，通过以下公式进行：

p′＝αp′₁+βp′₂+γp′₃

式中，p(x，y)表示三角形区域T1中对应的点，p′表示三角形区域T2中对应的点，P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)为三角形区域T1的三个项点，p′₁(x′₁，y′₁)，p′₂(x′₂，y′₂)，p′₃(x′₃，y′₃)是三角形区域T2的顶点，且与P₁(x₁，y₁)，P₂(x₂，y₂)，P₃(x₃，y₃)一一对应，

式中，系数(α，β，γ)通过解三角形区域T1内部点表达式获得：

$\left\{\begin{array}{c}x=\mathrm{\α}{x}_1+\mathrm{\β}{x}_2+\mathrm{\γ}{x}_3\\ y=\mathrm{\α}{y}_1+\mathrm{\β}{y}_2+\mathrm{\γ}{y}_3\\ \mathrm{\α}+\mathrm{\β}+\mathrm{\γ}=1\end{array}\right.$

其中0≤α，β，γ≤1。

图7为人脸唇部图像的标定；图8为图像重构结果；图9为不同人复杂背景下的检测结果1；图10为不同人复杂背景下的检测结果2，作为上述实施例的进一步改进，所述步骤S4中的唇部图像识别包括以下步骤：

S41：首先对唇部图像进行预处理；

S42：标定唇部轮廓图像的特征位置；

S43：合成新的唇部轮廓图像；

S44：提取唇部轮廓图像特征；

S45：对唇部轮廓图像特征进行识别。

作为上述实施例的进一步改进，所述步骤S43中的合成新的唇部轮廓图像包括以下步骤：

S431：从训练集中任选一幅标好特征点的人脸图像作为原始图像，将原始图像的形状向量与平均人脸的形状向量对齐，设对齐后的形状向量为S₀；

S432：利用统计形状模型得到与该唇部图像相对性的形状参数；

S433：把原始图像的纹理向量变形到平均嘴唇上，并对变形后的纹理向量进行归一化处理，得到原始图像归一化形状无关的纹理向量g₀；

S434：利用统计纹理模型得到与该唇部图想相对应的纹理参数b_g；

S435：把b_s和b_g按照一定的权值结合起来生成参数b，进而通过统计外观模型得到原始图像的外观参数c；

S436：得到表现模型参数c后，利用公式生成新的图像的形状向量S₁和归一化的形状无关的纹理向量g₁；

S437：对形状向量S₁进行仿射变换，以消除对齐时对它的影响；

S438：将纹理向量g₁变形到形状向量S₁上，并对纹理值进行恢复处理，使其值的范围从归一化后的0-1，恢复到原始图像的真是灰度值的大小。

作为上述实施例的进一步改进，所述步骤S44中的特征提取是通过将主动外观模型法AAM获得的新图像与合成图像进行循环迭代，从而获得新图像的形状特征和纹理特征；具体包括以下步骤：

S441：学习灰度差向量δI和模型参数之差δc之间的关系，所述关系通过以下公式表示：δc＝AδI，

其中，A表示，c表示当前模型参数，δc表示模型参数之差，δI表示灰度差值向量，δI的计算公式为：δI＝I_t-I_m，式中，I_t为当前图像的纹理向量，I_m是由当前模型参数生成的纹理向量；

S442：生成模型参数变化与纹理向量差值对应关系的实例，利用训练得到的实例，在迭代过程中最小化Δ，Δ表示模型参数差值δI的绝对值，Δ＝|δI|²；

S443：通过对δc和δI进行多元线性回归分析并计算出A。

作为上述实施例的进一步改进，所述步骤S441中灰度差值的计算，包括以下步骤：

S4411：获取当前图像的模型参数c₀；

S4412：获取模型参数c₀的改变量δ_c，满足以下公式：c＝δ_c+c₀，式中，c表示当前模型参数；

S4413：由当前模型参数c产生新的形状样本s和归一化的纹理样本g_m；

S4414：根据s对图像进行变形并且取其相应区域变形内的纹理向量g_s；

S4415：通过以下公式来计算纹理样本g_m和纹理向量g_s的差：

δg＝g_s-g_m；式中，δg表示；

S4416：改变模型参数δc和形状s的姿态参数(s_x，s_y，t_x，t_y)，应用多元线性回归分析法分别得到对应的纹理向量g_s，

其中，(s_x，t_y，t_x，t_y)表示姿态参数，所述姿态参数是指缩放尺度和旋转角度，其中s_x＝scos(θ)表示，s_y＝ssin(θ)表示；t_x表示，t_y表示；

作为上述实施例的进一步改进，所述步骤S443中A的计算包括以下步骤：

S4431：通过以下公式计算出合成图像和目标图像之间的差值，并作为目标函数：

Δ＝||δg||²＝||g_s-g_m||²

其中，g_s是目标图像根据当前形状s形变到平均形状得到的纹理向量，g_m是根据当前外观参数c生成的纹理向量；

S4432：通过以下公式确定模型参数变化δc、仿射变换参数变化δθ与纹理差值向量δ_g之间的关系：

δc＝R_cδg

δθ＝R_θδg，

其中，θ为仿射变换参数(s，θ，t_x，t_y)，s是缩放参数，θ是旋转参数，(t_x，t_y)是平移参数；

S4433：确定矩阵R_c和R_θ，通过逐个定量的调整c和θ中的每一个分量并记录每次调整后所生成的图像同当前形状所覆盖的图像的差异，然后利用多元线性回归来获得R_c和R_θ。

作为上述实施例的进一步改进，所述步骤S4433中的多元线性回归分析，包括以下步骤：

S44331：将模型参数c做一个定量的扰动δc；

S44332：更新当前的模型参数为c＝c+δc；

S44333：由新的外观参数c计算新的形状向量s和归一化的纹理向量g_m，

S44334：根据向量s，用步骤S44331到S44333的方法得到纹理向量g_s；

S44335：计算纹理向量g_s和g_m之差：δg＝g_s-g_m；

S44336：改变模型参数δc，可分别得到相应的δg，通过对应矩阵δc和δg，应用多元线性回归分析得到R_c；

S44337：通过步骤S44331-S44336，用多元线性回归分析得到R_θ。

作为上述实施例的进一步改进，所述步骤S45对唇部轮廓图像特征进行识别，包括以下步骤：

S45：将嘴唇特征作为输入向量输入隐马尔科夫分类器；

S45：所述隐马尔科夫分类训练过程采用Baum-Welch算法进行；

S45：所述隐马尔科夫分类识别过程采用的是Viterbi算法。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：包括以下步骤：

S1：输入通过摄像头获取的人脸图像序列；

S2：从人脸图像中分割出唇部轮廓；

S3：提取唇部轮廓图像特征；

S4：对唇部特征建模与识别；

S5：通过唇部图像识别结果来控制智能轮椅运动控制；

所述唇部轮廓分割采用主动外观模型法AAM，所述主动外观模型法AAM包括以下步骤：

S21：构建形状模型并通过获取唇部轮廓形状关键特征点来构建外形向量；

S22：构建纹理模型并建立纹理模型参数的变化之间的联系；

S23：将形状模型和纹理模型合理的结合起来，从而合成新图像；

所述步骤S4中的唇部图像识别包括以下步骤：

S41：首先对唇部图像进行预处理；

S42：标定唇部轮廓图像的特征位置；

S43：合成新的唇部轮廓图像；

S44：提取唇部轮廓图像特征；

S45：对唇部轮廓图像特征进行识别，

具体包括以下步骤：

S451：将嘴唇特征作为输入向量输入隐马尔科夫分类器；

S452：所述隐马尔科夫分类训练过程采用Baum-Welch算法进行；

S453：所述隐马尔科夫分类识别过程采用的是Viterbi算法。

2.根据权利要求1所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述S21中形状模型建立包括以下步骤：

S211：将每个外形样本的外形向量的重心平移至坐标原点，所述外形向量重心通过以下公式获得：

$(\stackrel{\‾}{x},\stackrel{\‾}{y})=(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{x}_j,\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_j)$

式中

表示外形向量的重心，(x_j,y_j)表示第j个外形向量的重心，n表示训练集中的样本个数；

S212：计算并归一化第一个外形样本的外形尺寸，把它作为外形样本的当前平均外形向量的初始估计

所述外形样本的外形尺寸通过以下公式计算：

$R\left(S\right)=\sqrt{[{(x_j-\stackrel{\‾}{x})}^2+{(y_j+\stackrel{\‾}{y})}^2]}$

式中R(S)表示外形样本的外形尺寸；

S213：将选取的外形样本与当前平均外形向量对齐；

S214：计算所有对齐后的外形样本的平均外形向量，把它作为现有平均外形向量；

S215：计算当前平均外形向量和现有平均外形向量的距离，如果距离小于预设误差值ε，则跳转到S213；所述两个不同外形向量S₁和S₂之间的距离通过以下公式计算：

$P_d^2=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left|{(S_1-S_2)}^2\right|=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|{(x_{j1}-x_{j2})}^2+{(y_{j1}-y_{j2})}^2|$

式中

表示两个不同外形向量之间的距离；

S216：如果距离大于或等于预设误差值ε，则转入下一步S217；

S217：建立外形向量模型，所述外形向量模型通过以下公式建立：

$S=\stackrel{\‾}{S}+P_s{b}_s$

其中，

为平均外形向量，矩阵P_s由外形向量S的协方差矩阵的特征向量构成的矩阵，向量b_s为外形参数，b_s的不同值代表了外形向量的不同变化，b_s的各维元素值b_si是处于

范围内的值，其中λ_i是外形向量协方差矩阵的特征值。

3.根据权利要求2所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述S213中外形向量对齐包括以下步骤：

S2131：计算每个外形向量的重心；

S2132：缩放两个外形向量的尺寸；

S2133：重叠两个外形向量的重心；

S2134：旋转两个外形向量的角度。

4.根据权利要求2所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述S22中纹理模型建立包括以下步骤：

S221：建立外形样本和平均外形之间像素对应的纹理样本集；

S222：选择纹理样本集中一个纹理样本作为初始的平均纹理

并对它进行标准的归一化处理；

S223：计算每一个纹理样本的方差、像素纹理平均，然后归一化，形成当前平均纹理；

所述方差通过以下公式进行计算：

$\mathrm{\σ}=g_{\mathrm{image}}\·\stackrel{\‾}{g}$

式中，g_image是从图像中获取的实际纹理样本；

所述像素纹理平均通过以下公式进行计算：

$\stackrel{\‾}{g}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{g}_i$

式中，σ表示方差，g_i表示从图像中获取的实际纹理样本中的第i个像素，

表示平均纹理，m表示图像的像素点个数；

S224：计算归一化后的纹理样本的平均纹理，作为现有平均纹理，

$g_{\mathrm{norm}}=\frac{g_{\mathrm{image}}-\stackrel{\‾}{g}}{\mathrm{\σ}}$

其中，g_image是从图像中获取的实际纹理样本，g_norm是归一化后的纹

为纹理样本，σ为方差；

S225：计算当前平均纹理和现有平均纹理之间的距离，如果距离小于预设值，则转入步骤2；

S226：如果距离大于或等于预设值，则转入下一步；

S227：建立纹理模型，所述纹理模型通过以下公式建立：

$g=\stackrel{\‾}{g}+P_g{b}_g$

其中

是归一化后的平均纹理，P_g是特征矩阵，b_g是纹理模型参数，变化纹理模型参数b_g中元素的值可以得到不同的纹理，分别变化向量b_g的第一维元素b_g0和第二维元素b_g1，且其它维元素都保持为0时得到的不同纹理，b_g的各维元素值b_gi为处于

范围内的值，其中λ_i是纹理协方差矩阵的特征值。

5.根据权利要求4所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述步骤S221中包括以下步骤：

S2211：将外形向量模型中的平均外形向量进行三角化剖分，形成平均人脸唇部三角形区域集合；

S2212：建立平均外形和外形样本三角形区域之间的对应关系，将训练集中的每个外形样本进行三角化剖分，通过对外形中每个三角形的变形实现整个人脸唇部图像向平均外形的变形；

S2213：建立三角形区域内部点集的对应关系，通过以下公式进行：

p'＝αp'₁+βp'₂+γp'₃

式中，p(x,y)表示三角形区域T1中对应的点，p'表示三角形区域T2中对应的点，P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃)为三角形区域T1的三个项点，p'₁(x'₁,y'₁),p'₂(x'₂,y'₂),p'₃(x'₃,y'₃)是三角形区域T2的顶点，且与P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃)一一对应，

式中，系数(α,β,γ)通过解三角形区域T1内部点表达式获得：

$\left\{\begin{array}{c}x={\mathrm{\αx}}_1+{\mathrm{\βx}}_2+{\mathrm{\γx}}_3\\ y={\mathrm{\αy}}_1+{\mathrm{\βy}}_2+{\mathrm{\γy}}_3\\ \mathrm{\α}+\mathrm{\β}+\mathrm{\γ}=1\end{array}\right.$

其中0≤α,β,γ≤1。

6.根据权利要求5所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述步骤S43中的合成新的唇部轮廓图像包括以下步骤：

S431：从训练集中任选一幅标好特征点的人脸图像作为原始图像，将原始图像的形状向量与平均人脸的形状向量对齐，设对齐后的形状向量为S₀；

S432：利用统计形状模型得到与该唇部图像相对性的形状参数；

S433：把原始图像的纹理向量变形到平均嘴唇上，并对变形后的纹理向量进行归一化处理，得到原始图像归一化形状无关的纹理向量g₀；

S434：利用统计纹理模型得到与该唇部图像相对应的纹理参数b_g；

S435：把b_s和b_g按照一定的权值结合起来生成参数b，进而通过统计外观模型得到原始图像的外观参数c；

S436：得到表现模型参数c后，利用公式生成新的图像的形状向量S₁和归一化的形状无关的纹理向量g₁；

S437：对形状向量S₁进行仿射变换，以消除对齐时对它的影响；

S438：将纹理向量g₁变形到形状向量S₁上，并对纹理值进行恢复处理，使其值的范围从归一化后的0-1，恢复到原始图像的真是灰度值的大小。

7.根据权利要求6所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述步骤S44中的特征提取是通过将主动外观模型法AAM获得的新图像与合成图像进行循环迭代，从而获得新图像的形状特征和纹理特征；具体包括以下步骤：

S441：学习灰度差向量δI和模型参数之差δc之间的关系，所述关系通过以下公式表示：δc＝AδI，

其中，A表示，c表示当前模型参数，δc表示模型参数之差，δI表示灰度差值向量，δI的计算公式为：δI＝I_t-I_m，式中，I_t为当前图像的纹理向量，I_m是由当前模型参数生成的纹理向量；

S442：生成模型参数变化与纹理向量差值对应关系的实例，利用训练得到的实例，在迭代过程中最小化Δ，Δ表示模型参数差值δI的绝对值，Δ＝|δI|²；

S443：通过对δc和δI进行多元线性回归分析并计算出A，

所述A的计算具体包括以下步骤：

S4431：通过以下公式计算出合成图像和目标图像之间的差值，并作为目标函数：

Δ＝||δg||²＝||g_s-g_m||²

其中，g_s是目标图像根据当前形状s形变到平均形状得到的纹理向量，g_m是根据当前外观参数c生成的纹理向量；

S4432：通过以下公式确定模型参数变化δc、仿射变换参数变化δθ与纹理差值向量δ_g之间的关系：

δc＝R_cδg

δθ＝R_θδg，

其中，θ为仿射变换参数(s,θ,t_x,t_y)，s是缩放参数，θ是旋转参数，(t_x,t_y)是平移参数；

S4433：确定矩阵R_c和R_θ，通过逐个定量的调整c和θ中的每一个分量并记录每次调整后所生成的图像同当前形状所覆盖的图像的差异，然后利用多元线性回归来获得R_c和R_θ，

具体包括以下步骤：

S44331：将模型参数c做一个定量的扰动δc；

S44332：更新当前的模型参数为c＝c+δc；

S44333：由新的外观参数c计算新的形状向量s和归一化的纹理向量g_m，

S44334：根据形状向量s，用步骤S44331到S44333的方法得到纹理向量g_s；

S44335：计算纹理向量g_s和g_m之差：δg＝g_s-g_m；

S44336：改变模型参数δc，可分别得到相应的δg，通过对应矩阵δc和δg，应用多元线性回归分析得到R_c；

S44337：通过步骤S44331-S44336，用多元线性回归分析得到R_θ。

8.根据权利要求7所述的基于唇部检测与跟踪的智能轮椅控制方法，其特征在于：所述步骤S441中灰度差值的计算，包括以下步骤：

S4411：获取当前图像的模型参数c₀；

S4412：获取模型参数c₀的改变量δ_c，满足以下公式：c＝δ_c+c₀，式中，c表示当前模型参数；

S4413：由当前模型参数c产生新的形状样本s和归一化的纹理样本g_m；

S4414：根据s对图像进行变形并且取其相应区域变形内的纹理向量g_s；

S4415：通过以下公式来计算纹理样本g_m和纹理向量g_s的差：

δg＝g_s-g_m；式中，δg表示纹理样本和纹理向量的差；

S4416：改变模型参数δc和形状s的姿态参数(s_x,s_y,t_x,t_y)，应用多元线性回归分析法分别得到对应的纹理向量g_s，其中，(s_x,s_y,t_x,t_y)表示姿态参数，所述姿态参数是指缩放尺度和旋转角度。

Images