CN104331683A - 一种具有噪声鲁棒性的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种具有噪声鲁棒性的人脸表情识别方法，包括对预处理滤波的改进和特征提取算子的改进，其中基于相对亮度差调节因子的各向异性扩散滤波模型，弥补原始各向异性扩散滤波方法在滤除噪声的同时也平滑掉细节的不足，区分面部噪声和弱细节表情信息，保证表情图像信息的完整性，同时，采用改进HOG算子提取表情特征，降低特征向量维度，减少冗余信息的干扰，缩短算法运行时间，提高分类精度和对噪声的鲁棒性，具有良好的应用前景。

Description

一种具有噪声鲁棒性的人脸表情识别方法

技术领域

本发明涉及一种具有噪声鲁棒性的人脸表情识别方法，属于人脸识别技术领域。

背景技术

人脸面部表情是人类重要的形体语言之一，能够比较准确地反映情感、精神、心理等状态变化。近年来，利用计算机分析理解人脸表情完成相关工作，在人机交互中具有重要应用前景，人脸表情识别技术逐渐成为研究热点，人脸表情识别系统主要包括图像预处理、人脸检测与区域分割、表情特征提取和分类四个部分，考虑到分类器识别效果好坏很大程度上取决于特征描述准确性高低，因此表情特征提取是人脸表情识别系统的重要环节，是提高分类准确率的关键。特征提取算法有很多，例如，PCA、LBP、Gabor等，但都有一定局限性，尤其在图像质量不佳或噪声干扰严重的情况下，提取表情特征不准确，算法的识别精度下降，因此，在特征提取之前，对降质图像进行滤波预处理又显得尤为重要，由此可见，可靠滤波方法与有效表情特征提取算法的结合是进行准确分类的关键。

目前，对于预处理步骤，均值滤波、中值滤波和Wiener滤波等是常用的图像滤波算子，然而它们在平滑噪声的同时也模糊了图像的边缘，不能很好重现原始图像中的结构信息。近几年，针对图像滤波中保持重要特征的问题，基于非线性方程的滤波方法得到很大发展，尤其是Perona和Malilik提出的各向异性扩散滤波方法，各向异性扩散滤波的基本原理，它实质上是偏微分方程形式的热传导方程，其具体的表达式如公式(8)所示，

$\frac{\∂f(x,y,t)}{\∂t}=\mathrm{div}(c\left(\right||\▿f(x,y,t)|\left|\right)\·\▿f(x,y,t))---\left(8\right)$

式中，f(x,y,t)为输入图像f(x,y)经过t次迭代后的结果，div()是散度算子，c()为扩散系数，Perona和Malik提出如下两种形式的扩散系数方程，

$c\left(\right||\▿f(x,y,t)|\left|\right)=e^{-{\left(\frac{\left|\right|\▿f(x,y,t)\left|\right|}{K}\right)}^2}---\left(9\right)$

$c\left(\right||\▿f(x,y,t)|\left|\right)=\frac{1}{1+{\left(\frac{\left|\right|\▿f(x,y,t)\left|\right|}{K}\right)}^2}---\left(10\right)$

式中▽f()是梯度算子，||▽f(x,y,t)||表示f(x,y,t)的梯度模值，K为梯度阈值。从上面两个方程可以看出，扩散系数c()是一个以梯度模值为变量的单调递减函数，在梯度值越大的区域，扩散系数越小，有利于保护图像的边缘信息；在梯度值越小的地方，扩散系数越大，有利于平滑图像中的噪声，其在图像灰度平坦区域选择大尺度平滑，在边缘部分选择小尺度平滑，从而实现了抑制噪声同时较好保护图像边缘信息的目的，并得到广泛应用。然而这种方法应用在人脸表情识别中仍有一些不足：表情变化会引起下巴、额头、鼻梁等非显性区域的肌肉纹理变化，这些变化产生的弱边缘、弱细节也是表情识别的关键因素。但它们的梯度模值较小，扩散系数较大，传统P-M方程对其有平滑作用，导致细节丢失，表情信息不完整。因此，传统各向异性扩散方法不能有效地区分面部斑点噪声和一些弱边缘、弱细节，在滤除噪声的同时，导致一些重要纹理信息也丢失。

对于表情特征提取步骤，常见的静态图像人脸特征提取方法有主成分分析法(Principal Component Analysis，PCA)、独立分量分析法(Independent Component Analysis，ICA)、Gabor小波变换、局部二值模式(Local Binary Pattern,LBP)和尺度不变特征变换(Scale InvariantFeature Transform，SIFT)等，其中PCA、ICA子空间方法受样本数量、图像空域变化影响较大；LBP是一种有效的纹理描述子，但编码方式对邻域灰度值变化敏感；因此，当图像质量下降或受噪声干扰时，以上算子提取的表情特征描述不准确。而对于Gabor小波变换和SIFT算子，虽然可以在频域内提取多尺度多方向表情特征，受噪声影响较小，但运行时间长，特征维数巨大，不具有实时性。

因此，在降质或受噪声干扰条件下，进行人脸表情识别算法的噪声鲁棒性研究，降低特征向量维度，减少冗余信息的干扰，缩短算法运行时间，提高分类精度和对噪声的鲁棒性，是当前急需解决的问题。

发明内容

本发明的目的是为了克服传统的人脸表情识别的问题，本发明提供的具有噪声鲁棒性的人脸表情识别方法，基于相对亮度差调节因子的各向异性扩散滤波模型，弥补原始各向异性扩散滤波方法在滤除噪声的同时也平滑掉细节的不足，区分面部噪声和弱细节表情信息，保证表情图像信息的完整性，同时，采用改进HOG算子提取表情特征，降低特征向量维度，减少冗余信息的干扰，缩短算法运行时间，提高分类精度和对噪声的鲁棒性，具有良好的应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种具有噪声鲁棒性的人脸表情识别方法，包括以下步骤，步骤(A)图像预处理；步骤(B)人脸检测与区域分割；步骤(C)人脸表情特征提取；步骤(D)人脸表情特征分类，其特征在于：

步骤(A)图像预处理，基于相对亮度差调节因子的各向异性扩散滤波方法，利用噪声和弱小细节的亮度差不同，结合梯度模值，修正扩散系数，使其能正确区分噪声和弱小细节信息，包括以下步骤，

(A1)根据公式(1)，计算以像素点(x,y)为中心3×3邻域的像素均值f_m(x,y,t)，

$f_m(x,y,t)=\frac{1}{9}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{3}{\mathrm{\Σ}}}f(x-2+i,y-2+j,t)---\left(1\right)$

其中，t为滤波次数；

(A2)比较f(x,y,t)和f_m(x,y,t)大小，其中，f(x,y,t)为像素点(x,y)的梯度值，若f(x,y,t)>f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值小于f_m(x,y,t)的像素均值作为像素点(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)<f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值大于f_m(x,y,t)的像素均值作为(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)＝f_m(x,y,t)，则取f_m(x,y,t)作为(x,y)处的背景值I_m(x,y,t)；

(A3)根据公式(2)，计算图像的亮度差ΔI(x,y,t)

ΔI(x,y,t)＝f(x,y,t)-I_m(x,y,t)   (2)

(A4)列出各向异性扩散滤波改进后的扩散系数方程，如公式(3)所示，

$c\left(\right||\&dtri;f(x,y,t)|\left|\right)=\frac{1}{1+{\left(\frac{\left|\right|\&dtri;f(x,y,t)\left|\right|+M(x,y,t)}{K}\right)}^2}---\left(3\right)$

其中，||▽f(x,y,t)||为梯度模值，M(x,y,t)为调节因子，K为梯度阈值，取M(x,y,t)＝α·ΔI(x,y,t)，α为可调系数，ΔI(x,y,t)为亮度差；

(A5)利用改进后的扩散系数方程有效区分边缘、背景、弱小细节和噪声；

步骤(C)人脸表情特征提取，采用改进的HOG算子对步骤(B)人脸检测与区域分割后的图像数据提取表情特征，包括以下步骤，

(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向，捕获表情轮廓信息，弱化光照的干扰；

(C2)将检测窗口划分成大小相同的单元格；

(C3)统计每个单元格的梯度方向直方图；

(C4)将相邻的单元格组合成无重叠的块，统计整个块的梯度方向直方图特征，并对每个块内的直方图进行归一化；

(C5)连接所有块的梯度方向直方图，得到表示整个表情图像的HOG特征。

前述的一种具有噪声鲁棒性的人脸表情识别方法，其特征在于：(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向是采用canny模板代替一维中心对称模板计算，包括以下步骤，

(1)根据公式(4)，计算图像每个像素点的梯度幅值的x轴分量，

$G_x(x,y)=\frac{1}{2}[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]---\left(4\right)$

其中，G_x(x,y)为像素点(x,y)在x方向梯度值，f(x,y)为像素点(x,y)处的灰度值；

(2)根据公式(5)，计算图像每个像素点的梯度幅值的y轴分量，

$G_y(x,y)=\frac{1}{2}[f(x,y)-f(x,y+1)+f(x+1,y)-f(x+1,y+1)]---\left(5\right)$

其中，G_y(x，y)为像素点(x,y)在y方向梯度值；

(3)根据公式(6)，计算图像每个像素点的梯度幅值，

$G(x,y)=\sqrt{{\left[G_x(x,y)\right]}^2+{\left[G_y(x,y)\right]}^2}---\left(6\right)$

(4)根据公式(7)，计算图像每个像素点的方向，

$\mathrm{\&theta;}(x,y)=\arctan \frac{G_y(x,y)}{G_x(x,y)}---\left(7\right).$

前述的一种具有噪声鲁棒性的人脸表情识别方法，其特征在于：(C2)将检测窗口划分成大小相同的单元格的大小为16×16像素，(C4)将相邻的单元格组合成无重叠的块的大小为4×4单元格。

本发明的有益效果是：本发明的具有噪声鲁棒性的人脸表情识别方法，包括对预处理滤波的改进和特征提取算子的改进，其中基于相对亮度差调节因子的各向异性扩散滤波模型，弥补原始各向异性扩散滤波方法在滤除噪声的同时也平滑掉细节的不足，区分面部噪声和弱细节表情信息，保证表情图像信息的完整性，同时，采用改进HOG算子提取表情特征，降低特征向量维度，减少冗余信息的干扰，缩短算法运行时间，提高分类精度和对噪声的鲁棒性，具有良好的应用前景。

附图说明

图1是本发明的具有噪声鲁棒性的人脸表情识别方法的流程图。

图2是无噪条件下传统的图像预处理与本发明的图像预处理方法的效果对比图。

图3是无噪条件下传统的图像预处理与本发明的图像预处理方法的下巴区域效果对比图。

图4是高斯噪声环境下传统的图像预处理与本发明的图像预处理方法的效果对比图。

图5是椒盐噪声环境下传统的图像预处理与本发明的图像预处理方法的效果对比图。

图6是受高斯白噪声干扰下各方法提取受噪声干扰图像的表情特征的效果对比图。

图7是受椒盐噪声干扰下各方法提取受噪声干扰图像的表情特征的效果对比图。

图8是受高斯白噪声干扰下不同算子的识别率对比图。

图9是受椒盐噪声干扰下不同算子的识别率对比图。

图10是L-O-Sub-O分类模式下不同高斯白噪声下各方法的识别率。

图11是L-O-Sap-O分类模式下不同高斯白噪声下各方法的识别率。

图12是L-O-Sub-O分类模式下不同椒盐噪声下各方法的识别率。

图13是L-O-Sap-O分类模式下不同椒盐噪声下各方法的识别率。

具体实施方式

下面将结合说明书附图，对本发明作进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的具有噪声鲁棒性的人脸表情识别方法，包括对预处理滤波的改进和特征提取算子的改进，其中基于相对亮度差调节因子的各向异性扩散滤波模型，弥补原始各向异性扩散滤波方法在滤除噪声的同时也平滑掉细节的不足，区分面部噪声和弱细节表情信息，保证表情图像信息的完整性，同时，采用改进HOG算子提取表情特征，降低特征向量维度，减少冗余信息的干扰，缩短算法运行时间，提高分类精度和对噪声的鲁棒性，包括以下步骤，步骤(A)图像预处理；步骤(B)人脸检测与区域分割；步骤(C)人脸表情特征提取；步骤(D)人脸表情特征分类，

步骤(A)图像预处理，基于相对亮度差调节因子的各向异性扩散滤波方法，利用噪声和弱小细节的亮度差不同，结合梯度模值，修正扩散系数，使其能正确区分噪声和弱小细节信息，包括以下步骤，

(A1)根据公式(1)，计算以像素点(x,y)为中心3×3邻域的像素均值f_m(x,y,t)，

$f_m(x,y,t)=\frac{1}{9}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{3}{\mathrm{\&Sigma;}}}f(x-2+i,y-2+j,t)---\left(1\right)$

其中，t为滤波次数；

(A2)比较f(x,y,t)和f_m(x,y,t)大小，其中，f(x,y,t)为像素点(x,y)的梯度值，若f(x,y,t)>f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值小于f_m(x,y,t)的像素均值作为像素点(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)<f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值大于f_m(x,y,t)的像素均值作为(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)＝f_m(x,y,t)，则取f_m(x,y,t)作为(x,y)处的背景值I_m(x,y,t)；

(A3)根据公式(2)，计算图像的亮度差ΔI(x,y,t)

ΔI(x,y,t)＝f(x,y,t)-I_m(x,y,t)   (2)

(A4)列出各向异性扩散滤波改进后的扩散系数方程，如公式(3)所示，

$c\left(\right||\&dtri;f(x,y,t)|\left|\right)=\frac{1}{1+{\left(\frac{\left|\right|\&dtri;f(x,y,t)\left|\right|+M(x,y,t)}{K}\right)}^2}---\left(3\right)$

其中，||▽f(x,y,t)||为梯度模值，M(x,y,t)为调节因子，K为梯度阈值，取M(x,y,t)＝α·ΔI(x,y,t)，α为可调系数，ΔI(x,y,t)为亮度差；

(A5)利用改进后的扩散系数方程有效区分边缘、背景、弱小细节和噪声，在边缘变化明显的目标区域，例如眼睛、嘴巴、眉毛等显性特征区域，梯度模值||▽f(x,y,t)||较大，亮度差ΔI(x,y,t)也较大，因此扩散系数小，平滑作用显著降低，有利于保护边缘信息；而在平坦背景区域，梯度模值较小，亮度变化也不大，因此平滑作用明显，能够有效滤除噪声；并且，对于弱小细节区域，例如下巴、额头、鼻梁等非显性区域，虽然其梯度值较小，但亮度差较大，可对扩散系数进行修正，适当减弱平滑作用，实现了在滤除噪声同时，也保留图像中的弱小结构信息的目的，有利于后续表情图像的特征提取；

步骤(C)人脸表情特征提取，采用改进的HOG算子对步骤(B)人脸检测与区域分割后的图像数据提取表情特征，包括以下步骤，

(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向，捕获表情轮廓信息，弱化光照的干扰；

(C2)将检测窗口划分成大小相同的单元格(cell)；

(C3)统计每个单元格(cell)的梯度方向直方图；

(C4)将相邻的单元格(cell)组合成无重叠的块(block)，统计整个块的梯度方向直方图特征，并对每个块内的直方图进行归一化，减少背景颜色和噪声的影响；

(C5)连接所有块(block)的梯度方向直方图，得到表示整个表情图像的HOG特征。

其中，(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向是采用canny模板代替一维中心对称模板计算，包括以下步骤，

(1)根据公式(4)，计算图像每个像素点的梯度幅值的x轴分量，

$G_x(x,y)=\frac{1}{2}[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]---\left(4\right)$

其中，G_x(x,y)为像素点(x,y)在x方向梯度值，f(x,y)为像素点(x,y)处的灰度值；

(2)根据公式(5)，计算图像每个像素点的梯度幅值的y轴分量，

$G_y(x,y)=\frac{1}{2}[f(x,y)-f(x,y+1)+f(x+1,y)-f(x+1,y+1)]---\left(5\right)$

其中，G_y(x，y)为像素点(x,y)在y方向梯度值；

(3)根据公式(6)，计算图像每个像素点的梯度幅值，

$G(x,y)=\sqrt{{\left[G_x(x,y)\right]}^2+{\left[G_y(x,y)\right]}^2}---\left(6\right)$

(4)根据公式(7)，计算图像每个像素点的方向，

$\mathrm{\&theta;}(x,y)=\arctan \frac{G_y(x,y)}{G_x(x,y)}---\left(7\right)$

采用传统的一维中心对称模板[-101]来计算每个像素点的梯度幅值和方向，计算公式如下，

$G(x,y)=\sqrt{{[f(x+1,y)-f(x-1,y)]}^2+{[f(x,y+1)-f(x,y-1)]}^2}---\left(11\right)$

$\mathrm{\&theta;}(x,y)=\arctan \frac{f(x,y+1)-f(x,y-1)}{f(x+1,y)-f(x-1,y)}---\left(12\right)$

采用canny模板代替一维中心对称模板，有助于提高人脸表情识别精度，缩短算法的运行时间，并且具有一定的噪声鲁棒性。

将每个cell大小设置为8×8pixels(像素)，block大小设为2×2cells(单位格)，在0-180°内分了9个方向区间，对于一幅大小为128×128像素的图像，可划分为8×8＝64个无重叠block区域，得到特征向量维数等于64×4×9＝2304，考虑到过高的特征维数会对识别率以及运行时间产生影响，分析各个参数的表征效果，得到最佳参数，即cell大小为16×16像素，block大小为4×4(cells)，0-180°仍然分为9个方向区间，此时特征维数等于4×144＝576，特征维度降低了75％，本发明采用的算法运行效率得到明显的提升。

根据本发明的具有噪声鲁棒性的人脸表情识别方法，实验结果如下，

1、无噪条件下改进的各向异性扩散滤波效果分析

图2是采用传统各向异性扩散方法和改进各向异性扩散方法对表情图像进行滤波的效果对比图，从图2中可以看出，相比原始人脸表情图像(最左侧图像)，传统各向异性扩散方法(中间图像)和本发明的改进各向异性扩散方法(最右侧图)均能有效滤除噪声，但对于弱小细节区域，传统各向异性扩散方法处理效果不理想，例如在原始人脸表情图像的下巴区域，如图3所示，位置与图2相对应，原始人脸下巴区域的表情图像(最左侧图像)，有明显的肌肉纹理变化且包含噪声，传统各向异性扩散方法虽然去除了噪声但也弱化了纹理细节(中间图像)，而本发明的改进方法在有效滤除噪声同时，也较好的保护了细节信息，为准确提取表情特征提供方便(最右侧图)。

2、加噪条件下改进的各向异性扩散滤波去噪效果分析

图4和图5分别是在高斯噪声和椒盐噪声环境下，从左到右依次为原始图像、原始P-M滤波和改进P-M滤波效果图。图4中加入的高斯噪声方差为0.001，图5中加入的椒盐噪声方差为0.05，滤波迭代次数均为5，梯度阈值均为15，从图4、图5中可以看出，在相同迭代次数和梯度阈值条件下，由于改进P-M滤波利用人眼视觉特性修正扩散系数，可以加速滤除噪声，滤波效果优于原始P-M滤波，因此本发明只需较少迭代次数就可以获得比较令人满意的结果图像，算法收敛快。

3、无噪声条件下改进HOG算子与原始HOG算子、LBP算子、Gabor算子的识别效果比较

表1 JAFFE数据库的改进HOG算子与原始HOG算子、LBP算子、Gabor小波识别效果比较

从表1可以看出，改进HOG算子相比原始HOG算子、LBP算子和Gabor算子在L-O-Sap-O(leave-one-sample-out)和L-O-Sub-O(leave-one-sample-out)两种分类模式下，其识别率均有明显提高，L-O-Sap-O分类模式的识别率最大提高近10％，L-O-Sub-O分类模式的识别率最大提高近13％；从算法的运行时间看，改进HOG算子的特征提取时间最少，相比Gabor算子，特征提取时间下降了近623倍；分类时间也最短，平均分类时间为15.4s，由此可见，相比于原始HOG算子、LBP算子和Gabor算子，改进HOG算子大大降低了特征向量长度，减小了冗余信息的干扰，提高了分类准确性，是一种实用有效的表情特征描述子。

4、改进HOG算子、原始HOG算子和LBP算子的抗噪声性能比较

这里仅考虑基于空域变换的特征算子对噪声的鲁棒性，在高斯白噪声(均值为0，方差为0.008)和椒盐噪声环境(均值为0，方差为0.03)下，采用改进HOG算子、原始HOG算子和LBP算子提取受噪声干扰图像的表情特征，部分表情图像如图6、图7所示，从左到右依次为原始HOG算子、LBP算子和改进HOG算子提取受噪声干扰图像的表情特征，如图8、图9分别为高斯白噪声、椒盐噪声环境下不同算子的识别率示意图，从图中可以看出，无论是高斯白噪声还是椒盐噪声，改进HOG算子的识别率最高，抗噪声性最好。

5、预处理滤波与特征提取算子的不同组合在无噪情况下的分类效果比较

首先采用原始各向异性扩散滤波和改进各向异性扩散滤波进行预处理，再利用LBP算子、HOG算子和改进HOG算子提取表情特征，六种组合分类结果如表2所示，由于Gabor算子属于频域变换，受灰度变化影响小，因此这里不考虑P-M滤波与Gabor算子组合的分类效果，

表2 JAFFE数据库中原始各向异性扩散滤波与改进各向异性扩散滤波的识别率比较

从表2中可以看出，总体来说，改进各向异性扩散滤波比原始各向异性扩散滤波更能有效区分噪声和细节，使得表情信息尽可能完整，在此基础上利用改进HOG算子提取表情特征和分类，得到L-O-Sap-O和L-O-Sub-O这两种分类模式的识别率均有提高。由此可见，本次发明提出的具有调节因子的各向异性扩散滤波与改进HOG算子的组合是一种有效的表情识别算法。

6发明算法的噪声鲁棒性分析

为进一步研究本次发明算法对噪声的鲁棒性，对JAFFE数据库中的人脸表情图像分别加入方差为0.01的高斯白噪声和噪声密度为0.05的椒盐噪声，分别采用原始各向异性扩散滤波和改进的各向异性扩散滤波方法进行去噪预处理，用改进HOG算法进行表情特征提取和分类，实验结果如表3所示，

表3 不同噪声下原始各向异性扩散滤波与改进的各向异性扩散滤波识别率比较

从表3可以看出，受高斯白噪声和椒盐噪声的影响，图像质量变差，改进HOG算子的识别率急剧下降，尤其是在L-O-Sap-O分类模式下，识别率下降近23％，这表明HOG算子对噪声的鲁棒性较差，若在特征提取之前，先采用原始各向异性扩散滤波或改进各向异性扩散滤波对加入噪声的图像进行滤波预处理，识别率均有明显提高。由此可见，当图像质量较差时，预处理工作将显得尤为重要，并且从识别率上可以看出，改进的各向异性扩散滤波比原始各向异性扩散滤波去噪效果更佳。

为了进一步验证本文提出算法对噪声的鲁棒性以及在人脸表情识别中优越性，改变高斯白噪声和椒盐噪声的方差大小，不同高斯白噪声下，得到分类模式L-O-Sub-O识别率、分类模式L-O-Sap-O识别率，三种算法识别率变化曲线如图10、图11所示；不同椒盐噪声下，得到分类模式L-O-Sub-O识别率、分类模式L-O-Sap-O识别率，三种算法识别率变化曲线如图12、图13所示；从图10-图13中可以看出，在总体趋势上，改进各向异性扩散滤波的去噪效果最佳，识别率最高，原始各向异性扩散滤波的去噪效果次之，没有经过预处理的识别效果最差。由此可见，本发明提出的具有人眼视觉特性各向异性扩散滤波方法对降质图像具有良好的滤波效果和较强的抗噪鲁棒性；同时，改进HOG算子相比LBP算子、Gabor算子可以更准确描述人脸表情特征。因此在高斯白噪声和椒盐噪声环境下，本发明提出算法是一种有效的，具有一定的噪声鲁棒性的人脸表情识别算法。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种具有噪声鲁棒性的人脸表情识别方法，包括以下步骤，步骤(A)图像预处理；步骤(B)人脸检测与区域分割；步骤(C)人脸表情特征提取；步骤(D)人脸表情特征分类，其特征在于：

步骤(A)图像预处理，基于相对亮度差调节因子的各向异性扩散滤波方法，利用噪声和弱小细节的亮度差不同，结合梯度模值，修正扩散系数，使其能正确区分噪声和弱小细节信息，包括以下步骤，

(A1)根据公式(1)，计算以像素点(x,y)为中心3×3邻域的像素均值f_m(x,y,t)，

$f_m(x,y,t)=\frac{1}{9}\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{3}{\mathrm{\&Sigma;}}}f(x-2+i,y-2+j,t)---\left(1\right)$

其中，t为滤波次数；

(A2)比较f(x,y,t)和f_m(x,y,t)大小，其中，f(x,y,t)为像素点(x,y)的梯度值，若f(x,y,t)>f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值小于f_m(x,y,t)的像素均值作为像素点(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)<f_m(x,y,t)，则取以像素点(x,y)为中心的3×3邻域内所有灰度值大于f_m(x,y,t)的像素均值作为(x,y)处的背景值I_m(x,y,t)；若f(x,y,t)＝f_m(x,y,t)，则取f_m(x,y,t)作为(x,y)处的背景值I_m(x,y,t)；

(A3)根据公式(2)，计算图像的亮度差ΔI(x,y,t)

ΔI(x,y,t)＝f(x,y,t)-I_m(x,y,t)          (2)

(A4)列出各向异性扩散滤波改进后的扩散系数方程，如公式(3)所示，

$c\left(\right||\&dtri;f(x,y,t)|\left|\right)=\frac{1}{1+{\left(\frac{\left|\right|\&dtri;f(x,y,t)\left|\right|+M(x,y,t)}{K}\right)}^2}---\left(3\right)$

其中，||▽f(x,y,t)||为梯度模值，M(x,y,t)为调节因子，K为梯度阈值，取M(x,y,t)＝α·ΔI(x,y,t)，α为可调系数，ΔI(x,y,t)为亮度差；

(A5)利用改进后的扩散系数方程有效区分边缘、背景、弱小细节和噪声；

步骤(C)人脸表情特征提取，采用改进的HOG算子对步骤(B)人脸检测与区域分割后的图像数据提取表情特征，包括以下步骤，

(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向，捕获表情轮廓信息，弱化光照的干扰；

(C2)将检测窗口划分成大小相同的单元格；

(C3)统计每个单元格的梯度方向直方图；

(C4)将相邻的单元格组合成无重叠的块，统计整个块的梯度方向直方图特征，并对每个块内的直方图进行归一化；

(C5)连接所有块的梯度方向直方图，得到表示整个表情图像的HOG特征。

2.根据权利要求1所述的一种具有噪声鲁棒性的人脸表情识别方法，其特征在于：(C1)根据改进的HOG算子，计算图像每个像素点的梯度幅值和方向是采用canny模板代替一维中心对称模板计算，包括以下步骤，

(1)根据公式(4)，计算图像每个像素点的梯度幅值的x轴分量，

$G_x(x,y)=\frac{1}{2}[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]---\left(4\right)$

其中，G_x(x,y)为像素点(x,y)在x方向梯度值，f(x,y)为像素点(x,y)处的灰度值；

(2)根据公式(5)，计算图像每个像素点的梯度幅值的y轴分量，

$G_y(x,y)=\frac{1}{2}[f(x,y)-f(x,y+1)+f(x+1,y)-f(x+1,y+1)]---\left(5\right)$

其中，G_y(x，y)为像素点(x,y)在y方向梯度值；

(3)根据公式(6)，计算图像每个像素点的梯度幅值，

$G(x,y)=\sqrt{{\left[G_x(x,y)\right]}^2+{\left[G_y(x,y)\right]}^2}---\left(6\right)$

(4)根据公式(7)，计算图像每个像素点的方向，

$\mathrm{\&theta;}(x,y)=\arctan \frac{G_y(x,y)}{G_x(x,y)}---\left(7\right).$

3.根据权利要求1所述的一种具有噪声鲁棒性的人脸表情识别方法，其特征在于：(C2)将检测窗口划分成大小相同的单元格的大小为16×16像素，(C4)将相邻的单元格组合成无重叠的块的大小为4×4单元格。