CN104112117A - 一种基于改进的局部二值模式特征的舌头动作识别方法 - Google Patents

Abstract

本发明公开了一种基于改进的局部二值模式特征的舌头动作识别方法，包括如下步骤：提取嘴部区域图像：从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；使用改进的局部二值模式算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；利用支持向量机分类器进行舌头动作分类。本发明具有的有益效果是：实现舌头动作的检测和识别，方法鲁棒性强；舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。

Description

一种基于改进的局部二值模式特征的舌头动作识别方法

技术领域

本发明属于模式识别领域，具体涉及一种基于改进的局部二值模式特征的舌头动作识别方法。

背景技术

本申请提出的关于舌头动作的识别技术，主要应用于基于视觉的鼠标系统，由舌头动作来激活鼠标的左键和右键单击。前期已设计的提取舌头行为特征向量的方法是采用嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；并且利用学习向量量化LVQ神经网络进行舌头的分类。现有的这种方法识别率不够稳定，鲁棒性不高。

发明内容

本发明根据现有技术的不足，提出一种基于改进的局部二值模式特征的舌头动作识别方法，以更好地实现动作识别和人机交互。

为了解决上述存在的技术问题，本发明采用以下的技术方案：

一种基于改进的局部二值模式特征的舌头动作识别方法，其内容包括以下步骤：

1)提取嘴部区域图像：

从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；

2)使用改进的局部二值模式算法(Advanced Local Binary Pattern，简称ALBP算法)，将局部二值模式(简称为LBP)计算区域内的像素差值进行处理，更多地保留垂直方向信息；

3)利用支持向量机(SVM)分类器进行舌头动作分类

利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。

在本发明方法步骤2)中，所述的ALBP算法的计算，对于嘴部动作识别而言，通过观察嘴部区域图像得知其特征是：嘴唇和舌头灰度信息差值很小，水平方向信息量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作。

所述的ALBP算法的计算过程公式为：

$\mathrm{ALBP}=\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}G(f_i-f_c)2^i$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;2\\ 0,& f_i-f_c<2\end{array}\right.,i=\mathrm{3,7}$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;1\\ 0,& f_i-f_c<1\end{array}\right.,i=\mathrm{0,1,2,4,5,6},$

其中p表示八邻域，i按照下面的元素位置表取值位置；

f0	f1	f2
			f7	fc	f3
f6	f5	f4

计算过程为如下具体步骤：

(1)首先将一幅嘴部区域图像划分为2*2子区域；

(2)对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；

(3)在每个子区域内建立ALBP特征的统计直方图，每个子区域用一个统计直方图来进行描述；

(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature。

由于采用上述技术方案，本发明提供的一种基于改进的局部二值模式特征的舌头动作识别方法，与现有技术相比具有以下有益效果：

1.实现舌头动作的检测和识别，方法鲁棒性强；

2.舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。

附图说明

图1是嘴部区域图像示例。

具体实施方式

下面结合附图及具体实施例对本发明进行进一步地描述。

本发明中舌头行为识别方法的具体流程如下。

一种基于改进的局部二值模式特征的舌头动作识别方法，包括以下步骤：

1)提取嘴部区域图像：

从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；

2)使用ALBP算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；

所述的ALBP算法的计算过程公式为：

$\mathrm{ALBP}=\underset{i=0}{\overset{p-1}{\mathrm{\&Sigma;}}}G(f_i-f_c)2^i$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;2\\ 0,& f_i-f_c<2\end{array}\right.,i=\mathrm{3,7}$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;1\\ 0,& f_i-f_c<1\end{array}\right.,i=\mathrm{0,1,2,4,5,6}$

其中p表示八邻域，i按照下面的元素位置表取值位置；

f0	f1	f2
			f7	fc	f3
f6	f5	f4

计算过程为如下具体步骤：

(1)首先将一幅嘴部区域图像划分为2*2子区域；

(2)对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；

(3)在每个子区域内建立ALBP特征的统计直方图，每个子区域用一个统计直方图来进行描述；

(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature。

3)利用支持向量机分类器进行舌头动作分类：

利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。

首先检测到嘴部区域图像，本实施例中嘴部图像，如图1所示，对其进行灰度变化和归一化，尺寸为32*16像素；

根据步骤2)对其进行2*2分块，并利用改进的局部二值模式算子计算其特征值，获取特征值Feature。

然后根据步骤3)实现支持向量机分类器的训练。训练后，利用步骤3中分类器识别步骤可以实现舌头动作的识别和分类。

在步骤3)中，所述的SVM分类器进行舌头动作分类包括SVM分类器训练和SVM分类器识别。

所述的SVM分类器训练包括如下步骤：

(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每幅图像相应的Feature值；

(2)三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用a,b和c作为类别标签标记；

(3)实验中，共采集图片2700幅，如图中所示的三种情况各有900幅，随机选用采集图片的一半作为训练集，采集图片的另一半作为测试集，对SVM分类器进行训练。

所述的SVM分类器识别包括如下步骤：

(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每副图像相应的Feature值；

(2)将获取的Feature值送入训练好的SVM分类器进行分类，获取类别标签；

(3)根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。

本方法采用检测精度(precision，PR)和查全率(recall，RE)作为评价指标来评价算法的鲁棒性，在正常的光线情况下，平均检测精度能达到86％，查全率达到90％。

Claims (6)

1.一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：该方法包括以下步骤：

1)提取嘴部区域图像：

从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；

2)使用改进的局部二值模式算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；

3)利用支持向量机分类器进行舌头动作分类

利用支持向量机分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。

2.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：在步骤2)中，所述的改进的局部二值模式算法，其特征是：嘴唇和舌头灰度信息差值很小，水平方向信息量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作。

3.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：所述的改进的局部二值模式算法的计算过程公式为：

$\mathrm{ALBP}=\underset{i=0}{\overset{p-1}{\mathrm{\&Sigma;}}}G(f_i-f_c)2^i$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;2\\ 0,& f_i-f_c<2\end{array}\right.,i=\mathrm{3,7}$

$G(f_i-f_c)=\left\{\begin{array}{cc}1,& f_i-f_c\&GreaterEqual;1\\ 0,& f_i-f_c<1\end{array}\right.,i=\mathrm{0,1,2,4,5,6},$

其中p表示八邻域，i按照下面的元素位置表取值位置；

f₀ f₁ f₂ f₇ f_c f₃ f₆ f₅ f₄

计算过程为如下具体步骤：

(1)首先将一幅嘴部区域图像划分为2*2子区域；

(2)对每个子区域内的像素点提取改进的局部二值模式特征，并用这个值来反映该区域的纹理信息；

(3)在每个子区域内建立改进的局部二值模式特征的统计直方图，每个子区域用一个统计直方图来进行描述；

(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature。

4.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：在步骤3)中，所述的支持向量机分类器进行舌头动作分类包括支持向量机分类器训练和支持向量机分类器识别。

5.根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：所述的支持向量机分类器训练包括如下步骤：

(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每幅图像相应的Feature值；

(2)三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用a,b和c作为类别标签标记；

(3)随机选用采集图片的一半作为训练集，采集图片的另一半作为测试集，对SVM分类器进行训练。

6.根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：所述的SVM分类器识别包括如下步骤：

(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每副图像相应的Feature值；

(2)将获取的Feature值送入训练好的SVM分类器进行分类，获取类别标签；

(3)根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。