CN104778472A - 人脸表情特征提取方法 - Google Patents

Abstract

本发明提供一种人脸表情特征提取方法，将人脸表情图像分为N个块图像，每个子图像的大小为m×n；由局部加权二值模式即LWBP分别计算出每个块图像中所有像素的LWBP₁和LWBP₂编码值；分别统计每个块图像的LWBP直方图；将块图像的两个直方图直接叠加得到直方图作为最终的块图像LWBP特征；将所有块图像的统计直方图顺序连接起来，得到用于分类识别的整个图像的LWBP特征向量。通过分别计算两组对称的共八个模板的加权灰度值，比较各个方向加权值与平均加权值的大小并进行编码，它综合考虑了不同方向上邻域像素的灰度变化，能够有效表征人脸表情细节特征，且对噪声有一定的鲁棒性，且识别速度明显加快，具有实用性。

Description

人脸表情特征提取方法

技术领域

本发明涉及一种人脸表情特征提取方法。

背景技术

人脸表情包含丰富的人体行为信息，是人类情绪的一种表现形式，也是人们进行非语言交流有效而重要的手段。人们可以通过表情准确、充分而微妙地表达自己的思想感情，也可以通过表情辨认对方的态度和内心世界。因此，对表情识别进行研究具有重要的学术价值和应用前景，逐渐成为近年来的研究热点。

人脸表情识别是计算机对人脸表情信息进行特征提取并归类的过程，它使计算机能够从人的表情中推断出人的心理，从而实现人机之间的高级智能交互。人脸表情识别系统主要由表情图像预处理、人脸检测与人脸区域分割、表情特征提取和表情分类等部分组成。

表情特征提取是人脸表情识别系统的一个重要环节，是提高表情分类准确性的关键步骤。在众多表情特征提取方法中，局部特征法对光照、姿态等变化具有较强的鲁棒性，其中局部二值模式(Local Binary Pattern，LBP)是代表性方法。LBP算法可以快速提取表情特征，具有强大的纹理判别能力和计算简单等特点，被广泛地应用于纹理分类、图像检索和人脸图像分析中，并且在模式识别领域越来越受欢迎。然而，LBP算法有以下不足：

一、LBP算法将中心像素点灰度值与周围8个邻域像素点灰度值进行比较，大于等于0的编码为1，否则为0。这种编码方法容易受到邻域灰度变化影响，对噪声敏感。

二、LBP算法对每个块(block)图像进行8位编码，得到特征维数是块(block)个数×28，导致图像特征维数过大，降低了识别速度，同时也影响了识别率，在大型数据库上表现更为明显。

发明内容

本发明的目的是提供一种人脸表情特征提取方法，综合考虑了不同方向上邻域像素的灰度变化，区别于传统LBP算法仅比较中心像素与单个邻域像素点的灰度大小，从而能够有效表征人脸表情细节特征，且对噪声有一定的鲁棒性。

本发明的技术解决方案是：

一种人脸表情特征提取方法，其特征在于，包括以下步骤：

S1、将人脸表情图像分为N个块图像，每个子图像的大小为m×n；

S2、由局部加权二值模式即LWBP，采用公式(1)和公式(2)分别计算出每个块图像中所有像素的LWBP₁和LWBP₂编码值；

${\mathrm{LWBP}}_1=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_1)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e_1=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(1\right)$

${\mathrm{LWBP}}_2=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_2)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e_2=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(2\right)$

公式(1)、公式(2)中，m_i(i＝0,1…3)为四个方向的加权值，e_i(i＝1,2)为加权平均值，LWBP_i(i＝1,2)为编码值；

S3、分别统计每个块图像的LWBP直方图H₁和H₂；

S4、由于LWBP的两组模板是对称的，LWBP₁和LWBP₂两幅编码图像所隐含的特征信息相似，将块图像的两个直方图H₁和H₂直接叠加得到直方图H作为最终的块图像LWBP特征，该特征维数为2^k＝2⁴＝16；

S5、将所有块图像的统计直方图顺序连接起来，得到用于分类识别的整个图像的LWBP特征向量，长度为16×N。

进一步地，S2中，局部加权二值模式即LWBP定义如下：

首先，将八个模板按方向分为对称的两组，每组都包含了水平、垂直和两个对角共4个方向；

其次，分别计算两组中4个方向的加权值，将每个加权值与4个方向的加权平均值进行比较，从而判断出灰度变化较大的方向，将灰度变化较大的方向编码为1，其余编码为0；定义式为公式(1)、(2)。

进一步地，S3中，采用公式(3)和公式(4)分别统计每个块图像的LWBP直方图H₁和H₂，

$H_1\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{c=1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_1(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(3\right)$

$H_2\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{c=1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_2(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(4\right)$

公式(3)中LWBP₁(r,c)为像素(r,c)的LWBP₁值，顺序扫描块图像中所有像素点的LWBP₁值，当LWBP₁值等于灰度值(i＝0,1,2,...,2^k-1)时，直方图H₁(i)累加1，公式(3)中直方图的长度由LWBP算子的编码位数k决定，这里k＝4，表示四个方向；

公式(4)与公式(3)同理，公式(4)中LWBP₂(r,c)为像素(r,c)的LWBP₂值，顺序扫描块图像中所有像素点的LWBP₂值，当LWBP₂值等于灰度值(i＝0，1，2，…，2^k-1)时，直方图H₂(i)累加1，公式(4)中直方图的长度由LWBP算子的编码位数k决定，这里k＝4，表示四个方向。

本发明的有益效果是：

该种人脸表情特征提取方法，使用八个模板计算八个方向上的邻域灰度加权值，且比较各个方向的加权值与加权平均值大小并进行编码，相比LBP算子仅对邻域单个像素灰度变化进行编码，LWBP特征包含信息更充分也更准确。

一、LWBP算子比LBP算子具有更好的抗噪声性能。

二、LWBP算子中分别采用两组对称的模板得到两个统计直方图，它们包含的信息是相似的，本发明通过直接叠加两个统计直方图得到特征向量，可以达到补偿信息的目的，使表情特征更准确。

三、LWBP算子是进行4位二值编码，特征向量维数大大降低，运行速度加快，具有实用性。

附图说明

图1是实施例中LWBP算子计算模板的示意图。

图2是实施例中LWBP算子编码示例的示意图。

图3是实施例中LBP和LWBP对噪声的鲁棒性对比示意图。

图4是高斯白噪声下JAFFE数据库的LBP算子和LWBP算子的识别率对比示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

实施例分别计算两组对称的共八个模板的加权灰度值，比较各个方向加权值与平均加权值的大小并进行编码，它综合考虑了不同方向上邻域像素的灰度变化，区别于传统LBP算法仅比较中心像素与单个邻域像素点的灰度大小，能够有效表征人脸表情细节特征，且对噪声有一定的鲁棒性。

实施例仅进行4位编码，得到统计直方图长度只有16维，远远低于传统LBP的特征长度，识别速度明显加快，具有实用性。

LWBP算子定义

本发明提出了局部加权二值模式(Local Weighted Binary Pattern，LWBP)，其定义如下：

首先，本发明将八个模板按方向分为对称的两组，每组都包含了水平、垂直和两个对角共4个方向，如图1所示。

其次，分别计算两组中4个方向的加权值，将每个加权值与4个方向的加权平均值进行比较，从而判断出灰度变化较大的方向，将其编码为1，其余编码为0，即加权值大于加权平均值的方向编码为1，加权值小于加权平均值的方向编码为0。图2为LWBP_i(i＝1,2)编码示例。定义式如公式(1)、(2)所示：

${\mathrm{LWBP}}_1=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_1)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e_1=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(1\right)$

${\mathrm{LWBP}}_2=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_2)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e_2=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(2\right)$

公式(1)、(2)中，m_i(i＝0,1…3)为四个方向的加权值，e_i(i＝1,2)为加权平均值，LWBP_i(i＝1,2)为编码值。

LWBP特征提取实现过程

考虑样本图像的位置在很大程度上影响了像素的分布，会对表情判别造成一定误差，因此在人脸表情识别中一般不采用编码图像作为特征值进行识别，而使用统计直方图作为特征向量来消除位置影响，具体实现步骤如下：

将人脸表情图像分为N个块(block)图像，每个子图像的大小为m×n；

采用公式(1)和公式(2)分别计算每个块(block)图像中所有像素的LWBP₁和LWBP₂编码值；

采用公式(3)和公式(4)分别统计每个块(block)图像的LWBP直方图H₁和H₂。公式(3)中LWBP₁(r,c)为像素(r,c)的LWBP₁值，顺序扫描块图像中所有像素点的LWBP₁值，当LWBP₁值等于灰度值(i＝0，1，2，…，2^k-1)时，直方图H₁(i)累加1。公式(3)中直方图的长度由LWBP算子的编码位数k决定，这里k＝4，表示四个方向。公式(4)同理。

$H_1\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{c=1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_1(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(3\right)$

$H_2\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{c=1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_2(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(4\right)$

如图1所示，由于LWBP的两组模板是对称的，所以LWBP₁和LWBP₂两幅编码图像所隐含的特征信息是相似，需要将它们融合。本发明将块(block)图像两个直方图H₁和H₂直接叠加得到直方图H作为最终的块(block)图像LWBP特征，该特征维数为2^k＝2⁴＝16。

将所有块(block)图像的统计直方图顺序连接起来，得到可用于分类识别的整个图像的LWBP特征向量，长度为16×N。

收益效果

一、LWBP算子与LBP算子的性能比较

LBP和LWBP分别在JAFFE数据库和Cohn-Kanade数据库上进行实验，结果如表1、表2所示。

表1 JAFFE数据库上不同算法的识别率和时间

表2 Cohn-Kanade数据库上不同算法的识别率和时间

从表1、表2中可以看出，无论是在JAFFE数据库上还是在Cohn-Kanade数据库上，LWBP算法的识别率均高于LBP，同时由于LWBP特征向量维数较少，识别时间大大减少，提高了运行效率。

二、LWBP算子与CBP算子、LDP算子的性能比较

表3 LWBP与CBP、LDP在JAFFE数据库上识别率和识别时间的比较

表4 LWBP与CBP、LDP在Cohn-Kanade数据库上识别率和识别时间的比较

CBP算子和LDP算子是两个改进的LBP算子，被大量文章引用和比较。从表3、表4中可以看出，LWBP算子的识别率均高于CBP和LDP，且运行时间大大缩短，是一种快速有效的表情特征提取算子。

三、LWBP算子对噪声的鲁棒性能分析

LBP算子通过比较邻域像素值与中心像素值的大小进行编码，因此在有噪声的情况下一旦有像素值发生变化就将影响编码结果。LWBP算子对方向加权响应进行编码，即使在有噪声和光照变化的情况下，也会保持其正确性。图3显示了示例模板在加入高斯白噪声前后的变化。加入噪声后，LBP编码的第五位由1变为0，发生错误。然而，在相同的噪声干扰下，LWBP编码值并未改变，说明其较强的鲁棒性。

在人脸表情图像中加入高斯白噪声，方差依次递增。分别用LBP和LWBP对其进行特征提取，结果如图4。可以看出，随着方差的加大，两种算子识别效果都在逐渐下降，但LWBP的识别识别率平均高于LBP达11.16％，所以本文所提出的方法鲁棒性更强。

Claims (3)

1.一种人脸表情特征提取方法，其特征在于，包括以下步骤：

S1、将人脸表情图像分为N个块图像，每个子图像的大小为m×n；

S2、由局部加权二值模式即LWBP，采用公式(1)和公式(2)分别计算出每个块图像中所有像素的LWBP₁和LWBP₂编码值；

${\mathrm{LWBP}}_1=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_1)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e_1=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(1\right)$

${\mathrm{LWBP}}_2=\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{b}_i(m_i-e_2)\&times;2^i,b_i\left(a\right)=\left\{\begin{array}{c}1,a\&GreaterEqual;0\\ 0,a<0\end{array}\right.,e^2=\frac{1}{4}\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}{m}_i---\left(2\right)$

公式(1)、公式(2)中，m_i(i＝0,1...3)为四个方向的加权值，e_i(i＝1,2)为加权平均值，LWBP_i(i＝1,2)为编码值；

S3、分别统计每个块图像的LWBP直方图H₁和H₂；

S4、由于LWBP的两组模板是对称的，LWBP₁和LWBP₂两幅编码图像所隐含的特征信息相似，将块图像的两个直方图H₁和H₂直接叠加得到直方图H作为最终的块图像LWBP特征，该特征维数为2^k＝2⁴＝16；

S5、将所有块图像的统计直方图顺序连接起来，得到用于分类识别的整个图像的LWBP特征向量，长度为16×N。

2.如权利要求1所述的人脸表情特征提取方法，其特征在于，S2中，局部加权二值模式即LWBP定义如下：

首先，将八个模板按方向分为对称的两组，每组都包含了水平、垂直和两个对角共4个方向；

其次，分别计算两组中4个方向的加权值，将每个加权值与4个方向的加权平均值进行比较，从而判断出灰度变化较大的方向，将灰度变化较大的方向编码为1，其余编码为0；定义式为公式(1)、(2)。

3.如权利要求1或2所述的人脸表情特征提取方法，其特征在于：S3中，采用公式(3)和公式(4)分别统计每个块图像的LWBP直方图H₁和H₂，

$H_1\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{=c1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_1(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(3\right)$

$H_2\left(i\right)=\underset{r=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{c=1}{\overset{n}{\mathrm{\&Sigma;}}}f({\mathrm{LWBP}}_2(r,c),i),f(a,i)=\left\{\begin{array}{c}1,a=i,\\ 0,a\&NotEqual;i,\end{array}\right.---\left(4\right)$

公式(3)中LWBP₁(r,c)为像素(r,c)的LWBP₁值，顺序扫描块图像中所有像素点的LWBP₁值，当LWBP₁值等于灰度值(i＝0,1,2,...,2^k-1)时，直方图H₁(i)累加1，公式(3)中直方图的长度由LWBP算子的编码位数k决定，这里k＝4，表示四个方向；

公式(4)与公式(3)同理，公式(4)中LWBP₂(r,c)为像素(r,c)的LWBP₂值，顺序扫描块图像中所有像素点的LWBP₂值，当LWBP₂值等于灰度值(i＝0，1，2，...，2^k-1)时，直方图H₂(i)累加1，公式(4)中直方图的长度由LWBP算子的编码位数k决定，这里k＝4，表示四个方向。