CN101615245A - 基于avr和增强lbp的表情识别方法 - Google Patents

Abstract

一种模式识别技术领域的基于AVR和增强LBP的表情识别方法，包括：采集原始图像；扩充虚拟样本；对标准人脸图像进行小波分解；局部二进制模式特征LBP的提取；计算增强方差比率AVR特征值并附加惩罚因子，然后提取出若干组以AVR值相区分的不同维度的特征值，然后进行支持向量机分类正确率测试，将正确率最高的特征维度及相应的特征值作为LBP特征。本发明方法集成了图像采集、人脸检测、人眼检测，通过小波分解进行LBP特征的增强，并采用AVR方法进行有效特征的提取，使得准确率得到有效提高。

Description

基于AVR和增强LBP的表情识别方法

技术领域

本发明涉及的是一种模式识别技术领域的识别方法，具体是一种基于AVR和增强LBP的表情识别方法。

背景技术

人脸的面部表情是人类进行情感交流的重要途径，通过表情的交流，人们可以感知对方的情绪变化和情感的波动。随着计算机视觉技术的发展，人脸表情识别在友好的人机交互、二维和三维的人脸动画，心理学以及认知学等诸多领域发挥了重要的作用。人脸表情识别是基于视觉信息对脸部的运动以及脸部特征的形变进行分类，主要包括脸部的检测，脸部特征的提取和表情的分类，其中特征提取和分类是研究的重点和难点。在人脸特征的选择上的方法有AAM，Gabor小波等，但这些方法计算都非常复杂，不易应用于实际。

经对现有技术的检索发现，中国专利申请号为200710019405.X的专利描述了一种基于二维最小二乘法的图像局部特征提取方法。该方法将训练样本分为七种表情，并分成大小相等的若干个子块，利用LBP算子提取每个子块的纹理特征，并构成局部纹理特征矩阵，采用自适应加权机制，对表情识别的差别赋予不同权值，使用二维偏最小二乘法对局部纹理特征矩阵进行统计特征提取，形成七种表情的模板数据，完成训练过程，最接近者便是该输入图像的表情归属。该方法只是提取了一幅图像的LBP特征，特征数量偏少，分类器的选取也不是最优，而且表情识别结果并不是很高，最高也只有87.86％。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于AVR和增强LBP的表情识别方法，集成了图像采集、人脸检测、人眼检测，通过小波分解进行LBP特征的增强，并采用AVR方法进行有效特征的提取，使得准确率得到有效提高。

本发明是通过以下技术方案实现的，包括如下步骤：

第一步、采集原始图像：通过视频采集设备采集彩色空间下的人脸图像，然后通过人脸检测器对摄像头采集的图像进行人脸检测，并将检测到的人脸图像保存，再通过人眼检测器对标准人脸图像进行人眼的检测，标识出人脸图像中的人眼的位置，最后采用二维模型进行人脸进行裁剪，得到标准人脸图像。

第二步、扩充虚拟样本：采用左右旋转处理、上下平移处理、左右平移处理等方法对标准人脸图像进行虚拟样本的生成，扩充样本数量。

所述的左右旋转处理是指对标准人脸图像左右各旋转5度生成2个虚拟样本；

所述的上下平移处理是指对标准人脸图像上下各平移10个像素点生成两个虚拟样本；

所述的左右平移处理是指对标准人脸图像左右各平移10个像素点生成两个虚拟样本；

第三步、对标准人脸图像进行小波分解：通过对标准人脸图像进行多贝西小波分解，并通过小波系数的重构得到与原图像相同分辨率的低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像。

第四步、局部二元模式特征的提取：首先将低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像归一化分辨率，然后分别对归一化后的低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像进行分块加权处理，最后把该四幅图像的分块特征作为特征向量。

所述的分块加权处理是指：对待分块图像进行纵向6等分、横向7等分的划分分块，并将包含五官图像的分块赋予权值为3，其余分块权值为1，然后统计每个小块对应的LBP_8，1的59类特征直方图，获得待分块图像的分块特征。

所述的特征向量的维数等于分块个数与LBP特征类数和图像个数的乘积。

第五步、计算增强方差比率特征值并附加惩罚因子，然后提取出若干组以AVR值相区分的不同维度的特征值，然后进行支持向量机分类正确率测试，将正确率最高的特征维度及相应的特征值作为LBP特征。

所述的增强方差比率是指：

$\mathrm{AVR}\left(F\right)=\frac{\mathrm{Var}\left(S_F\right)}{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\frac{{\mathrm{Var}}_i\left(S_F\right)}{{\min }_{i\≠j}|{\mathrm{mean}}_i\left(S_F\right)-{\mathrm{mean}}_j\left(S_F\right)|}}$

其中：F代表特征向量，S_F代表特征向量的值，C代表训练样例的类别数，Var_i(S_F)代表训练样例中属于类别i的特征向量F的方差，Var(S_F)表示所有类别的特征向量F的方差，mean_i(S_F)表示类别i内的特征向量F的平均值。

所述的支持向量机分类正确率测试是指：

$\underset{w,b,\mathrm{\ξ}}{\min }\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

受限于：y_i(w^Tφ(x_i)+b)≥1-ξ_i，ξ_i≥0，i＝1，...，l.

核函数：K(x，y)＝φ(x)^Tφ(y)

其中训练向量x_i∈Rⁿ，i＝1，...，l，属于两类问题，结果向量y∈R^l，y_i∈{-1，1}，w为一个向量，与超平面垂直，b为调整向量，C为调整参数，ξ_i为非负的惩罚因子，K(x，y)为核函数，将特征向量映射到超平面，φ(x)为映射函数。

所述的核函数为径向基函数(RBF)核函数：

K(x_i，x_j)＝exp(-γ‖x_i-x_j‖²)，γ＞0.

其中：K(x_i，x_j)是指核函数，以向量距离函数的指数幂作为参数，γ是调整参数，‖x_i-x_j‖²是指两个向量之间的距离的平方。

所述RBF核函数的向量距离函数的指数幂选取的具体步骤为：采用基于交叉验证的网络搜索方法，原理就是把要选择的参数当作一个坐标格子上的点，选择的过程就是遍历空间中的各个方向的参数组合的空间点。首先C和γ的取值范围，然后针对每个参数对分别进行实验数据的五折交叉验证，最后把五次分类正确率的均值作为当前参数对的正确率。

第六步、测试样本的表情分类：通过RBF核函数采用SVM分类器进行人脸表情的识别，得到最终的表情结果。

所述的SVM分类器对于多类问题采用1v1的分类策略，首先将整个训练样本分解成两两不同的类组合形成的新的训练样本，通过对所有子样本集的分别训练，产生对应于每个子样集的训练模型，对于一个给定的测试样例，分别用训练好的样本模型进行分类，最后采用投票测率，选取分类结果中次数出现做多的类别作为分类的结果。

与现有技术相比，本发明集成了图像采集、人脸检测、人眼检测，通过小波分解进行LBP特征的增强，并采用AVR方法进行有效特征的提取，使得准确率相对原始LBP特征提高了35.68％。

附图说明

图1为本发明工作流程示意图；

图2为实施例中二维人脸模型示意图；

图3为实施例中小波分解原理示意图；

图4为实施例中LBP算子原理示意图；

图5为实施例中LBP算子可以检测到的不同纹理示意图；

图6为实施例中正确率示意图；

图7为实施例中SVM 1v1分类策略示意图。

图8为实施例效果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括以下步骤：

第一步、采集原始图像：通过视频采集设备采集彩色空间下的人脸图像，然后通过人脸检测器对摄像头采集的图像进行人脸检测，并将检测到的人脸图像保存，对检测到的人脸图像进行分块，分别针对左上方和右上方的两块图像通过人眼检测器进行人眼的检测，标识出人眼的位置；然后采用二维模型进行人脸进行裁剪，得到标准人脸图像。

所述的人脸检测器为：Adaboost人脸检测器。

所述的人眼检测器为：Adaboost人眼检测器。

如图2所示，当检测到左右两只眼睛后，如果左右眼睛中心不处于同一水平线时，通过适当的图像旋转将两眼调整至水平方向，然后以左右眼睛中心的距离D作为一个尺度标准，对人脸图像进行裁剪。高度方面，眼睛之上0.5D与眼睛下方1.5D为裁剪标准，宽度方面，左眼左侧0.5D，右眼右侧0.5D为裁剪标准，得到一个边长为D的矩形区域作为归一化的人脸图片。通过将二维模型下的人脸图像裁剪出来，得到标准人脸图像。

第二步、针对采集的人脸图像样本数量不足问题，进行扩充虚拟样本：对标准人脸图像采用左右旋转各5度产生两个虚拟样本，上下各平移10个像素产生两个虚拟样本、左右平移10个像素产生两个虚拟样本，共产生6个虚拟样本。

第三步、对标准人脸图像进行小波分解：

如图3所示，给定一幅输入图像x，低通滤波器h0，高通滤波器h1，则原图像x与低通滤波器h0的卷积会得到图像信号的低频部分，也就是原图像的近似，记为A，同样与带通滤波器h1在水平、竖直以及对角三个方向的卷积将产生三部分图像高频部分，也就是图像的细节，分别记为H，V，D，同时近似图像A还可以进一步进行小波的分解。在图像的高频部分，可以取得较好的时间分辨率，在图像的低频部分，可以取得较好的频率分辨率，从而能够有效的从图像信号中提取信息。

图3中x(m，n)表示长宽分别为m和n的图像，h₀(m)，h1(m)表示根据行长度进行卷积，h₀(n)，h₁(n)为根据列长度进行卷积，a(m，n)表示图像的近似，d^V(m，n)表示图像的垂直细节，d^H(m，n)表示图像的水平细节，d^D(m，n)表示图像的对角细节。

通过对标准人脸图像进行多贝西小波(Daubechies Wavelet)分解，并通过小波系数的重构得到近似，水平细节，垂直细节，对角细节等与原图像相同分辨率的四幅图像。

第四步、局部二元模式(LBP)特征的提取：如图4所示，使用LBP_P，R方法的时候，图像的每一个像素被从它周围像素产生的一个二进制位串所代替。以每个像素为中心，取半径为R的一个圆，处于圆上的P个像素与中心像素进行比较，当像素点并不是处于整数坐标的时候可以通过相邻像素的插值得到。大于等于中心像素点的像素取值为1，小于中心像素点的像素取值为0，取圆上某个点为起点，可以通过顺时针或者逆时针的方向产生一个二进制的位串，例如在一个3×3的像素区域(R＝1，P＝8)进行的操作的过程如图4所示。首先根据中心像素13与周围像素的比较进行阈值处理得到边界值，从右上角开始以逆时针方向可产生一个二进制位串10100111，与二进制矩阵相乘取其十进制值128+32+4+2+1＝167，作为中心像素的LBP值。

图5中显示的是LBP_8，1的一些示例，其中黑点表示二进制的0，白点表示1，当周围点像素都小于中心点时，表示中心点所在处为一个点(spot)，最后一个有连续5个像素小于中心点像素，另外三个像素大于中心点像素，这表示一个角落(corner)。另外Spot/flat表示中心的白点，Line end表示线条的结束，Edge表示边。从中可以看出LBP方法对于不同图像纹理特征具有很好的描述能力。

统一模式(Uniform Patterns)的LBP要求二进制位串中最多有两次0和1的变换，例如00001000，11111000都是统一的模式，而00110001则不属于统一的模式，LBP_8，1的统一模式有59类。

本实施例中首先将图像归一化成相同分辨率的160×160大小，并进行6×7的分块加权处理，对眼睛、鼻子、嘴巴等部位赋予较大权值3，其他部位权值为1，进而统计每个小块的59类统一模式LBP特征的直方图，最后把四幅图像的分块特征作为新的的特征向量，特征向量的维数为6×7×59×4＝9912。

第五步、计算增强方差比率(AVR)特征值并附加惩罚因子，然后提取出若干组以AVR值相区分的不同维度的特征值(例如1000维特征将提取前1000个最大的AVR值对应的特征值)，然后进行支持向量机(SVM)分类正确率测试，将正确率最高的特征维度及相应的特征值作为LBP特征。

所述的增强方差比率是指：

$\mathrm{AVR}\left(F\right)=\frac{\mathrm{Var}\left(S_F\right)}{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\frac{{\mathrm{Var}}_i\left(S_F\right)}{{\min }_{i\≠j}|{\mathrm{mean}}_i\left(S_F\right)-{\mathrm{mean}}_j\left(S_F\right)|}}$

其中：F代表特征向量，S_F代表特征向量的值，C代表训练样例的类别数，Var_i(S_F)代表训练样例中属于类别i的特征向量F的方差，Var(S_F)表示所有类别的特征向量F的方差，mean_i(S_F)表示类别i内的特征向量F的平均值。

所述的支持向量机分类正确率测试是指：

$\underset{w,b,\mathrm{\ξ}}{\min }\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

受限于：y_i(w^Tφ(x_i)+b)≥1-ξ_i，ξ_i≥0，i＝1，...，l.

核函数：K(x，y)＝φ(x)^Tφ(y)

其中训练向量x_i∈Rⁿ，i＝1，...，l，属于两类问题，结果向量y∈R^l，y_i∈{-1，1}，w为一个向量，与超平面垂直，b为调整向量，C为调整参数，ξ_i为非负的惩罚因子，K(x，y)为核函数，将特征向量映射到超平面，φ(x)为映射函数。

所述的核函数为径向基函数(RBF)核函数：

K(x_i，x_j)＝exp(-γ‖x_i-x_j‖²)，γ＞0.

其中：K(x_i，x_j)是指核函数，以向量距离函数的指数幂作为参数，γ是调整参数，‖x_i-x_j‖²是指两个向量之间的距离的平方。

如图6所示，所述RBF核函数的向量距离函数的指数幂选取的具体步骤为：采用基于交叉验证的网络搜索方法，原理就是把要选择的参数当作一个坐标格子上的点，选择的过程就是遍历空间中的各个方向的参数组合的空间点。首先C和γ的取值范围，然后针对每个参数对分别进行实验数据的五折交叉验证，最后把五次分类正确率的均值作为当前参数对的正确率。

第六步、测试样本的表情分类：通过RBF核函数采用SVM分类器进行人脸表情的识别，得到最终的表情结果。

所述的SVM分类器对于多类问题采用1v1的分类策略，首先将整个训练样本分解成两两不同的类组合形成的新的训练样本，按照排列组合理论可知，共产生K(K-1)/2个子训练样本集，而且产生的子训练样本集是固定不变的，如图7所示。通过对K(K-1)/2个子样本集的分别训练，产生对应于每个子样集的训练模型。对于一个给定的测试样例，分别用训练好的这K(K-1)/2个样本模型进行分类，最后采用投票测率，选取分类结果中次数出现做多的类别作为分类的结果。

与现有技术相比，本实施例整体正确率相对原始LBP特征提高了35.68％，最高达到95.35％。而且每类表情的正确率都相比提高很多，如图8a至图8d所示。针对7种不同的表情：生气(AN)，厌恶(DI)，害怕(FE)，高兴(HA)，中性(NE)，伤心(SA)，惊讶(SU)，选取不同的特征维数：1500，2000，2500，3000。每种表情的正确率都比原始LBP有极大提高，其中在NE和SU两种表情的正确率都在98％以上，同时在1500维和2000维特征下SU的正确率为100％，HA和SA的正确率也都在98％以上。

Claims (9)

1、一种基于AVR和增强LBP的表情识别方法，其特征在于，包括如下步骤：

第一步、采集原始图像：通过视频采集设备采集彩色空间下的人脸图像，然后通过人脸检测器对摄像头采集的图像进行人脸检测，并将检测到的人脸图像保存，再通过人眼检测器对标准人脸图像进行人眼的检测，标识出人脸图像中的人眼的位置，最后采用二维模型进行人脸进行裁剪，得到标准人脸图像；

第二步、扩充虚拟样本：采用左右旋转处理、上下平移处理、左右平移处理等方法对标准人脸图像进行虚拟样本的生成，扩充样本数量；

第三步、对标准人脸图像进行小波分解：通过对标准人脸图像进行多贝西小波分解，并通过小波系数的重构得到与原图像相同分辨率的低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像；

第四步、局部二元模式特征的提取：首先将低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像归一化分辨率，然后分别对归一化后的低频近似图像、水平高频细节图像、垂直高频细节图像和对角高频细节图像进行分块加权处理，最后把该四幅图像的分块特征作为特征向量；

第五步、计算增强方差比率特征值并附加惩罚因子，然后提取出若干组以AVR值相区分的不同维度的特征值，然后进行支持向量机分类正确率测试，将正确率最高的特征维度及相应的特征值作为LBP特征；

第六步、测试样本的表情分类：通过RBF核函数采用SVM分类器进行人脸表情的识别，得到最终的表情结果。

2、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，第二步中所述的左右旋转处理是指对标准人脸图像左右各旋转5度生成2个虚拟样本，所述的上下平移处理是指对标准人脸图像上下各平移10个像素点生成两个虚拟样本，所述的左右平移处理是指对标准人脸图像左右各平移10个像素点生成两个虚拟样本。

3、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的分块加权处理是指：对待分块图像进行纵向6等分、横向7等分的划分分块，并将包含五官图像的分块赋予权值为3，其余分块权值为1，然后统计每个小块对应的LBP_8，1的59类特征直方图，获得待分块图像的分块特征。

4、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的特征向量的维数等于分块个数与LBP特征类数和图像个数的乘积。

5、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的增强方差比率是指：

$\mathrm{AVR}\left(F\right)=\frac{\mathrm{Var}\left(S_F\right)}{\frac{1}{C}\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\frac{{\mathrm{Var}}_i\left(S_F\right)}{{\min }_{i\≠j}|{\mathrm{mean}}_i\left(S_F\right)-{\mathrm{mean}}_j\left(S_F\right)|}}$

其中：F代表特征向量，S_F代表特征向量的值，C代表训练样例的类别数，Var_i(S_F)代表训练样例中属于类别i的特征向量F的方差，Var(S_F)表示所有类别的特征向量F的方差，mean_i(S_F)表示类别i内的特征向量F的平均值。

6、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的支持向量机分类正确率测试是指：

$\underset{w,b,\mathrm{\ξ}}{\min }\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

受限于：y_i(w^Tφ(x_i)+b)≥1-ξ_i，ξ_i≥0，i＝1，...，l.

核函数：K(x，y)＝φ(x)^Tφ(y)

其中训练向量x_i∈Rⁿ，i＝1，...，l，属于两类问题，结果向量y∈R^l，y_i∈{-1，1}，w为一个向量，与超平面垂直，b为调整向量，C为调整参数，ξ_i为非负的惩罚因子，K(x，y)为核函数，将特征向量映射到超平面，φ(x)为映射函数。

7、根据权利要求6所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的核函数为径向基函数(RBF)核函数：

K(x_i，x_j)＝exp(-γ||x_i-x_j||²)，γ＞0.

其中：K(x_i，x_j)是指核函数，以向量距离函数的指数幂作为参数，γ是调整参数，||x_i-x_j||²是指两个向量之间的距离的平方。

8、根据权利要求7所述的基于AVR和增强LBP的表情识别方法，其特征是，所述RBF核函数的向量距离函数的指数幂选取的具体步骤为：采用基于交叉验证的网络搜索方法，原理就是把要选择的参数当作一个坐标格子上的点，选择的过程就是遍历空间中的各个方向的参数组合的空间点，首先C和γ的取值范围，然后针对每个参数对分别进行实验数据的五折交叉验证，最后把五次分类正确率的均值作为当前参数对的正确率。

9、根据权利要求1所述的基于AVR和增强LBP的表情识别方法，其特征是，所述的SVM分类器对于多类问题采用1v1的分类策略，首先将整个训练样本分解成两两不同的类组合形成的新的训练样本，通过对所有子样本集的分别训练，产生对应于每个子样集的训练模型，对于一个给定的测试样例，分别用训练好的样本模型进行分类，最后采用投票测率，选取分类结果中次数出现做多的类别作为分类的结果。

Images