CN103971095A - 基于多尺度lbp和稀疏编码的大规模人脸表情识别方法 - Google Patents

Abstract

本发明提供了一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，首先建立大规模的人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库，其次使用多尺度的LBP特征来表示人脸的表情特征，进而生成稀疏编码方法所需要的字典，通过对新的表情样本求解最优稀疏系数，并累加不同表情的稀疏系数来识别表情样本，本发明利用多尺度LBP特征获取鲁棒性强的特征表示方式，利用稀疏编码解决了大规模人脸表情识别中的稀疏性问题，验证了基于多尺度LBP和稀疏编码的大规模人脸表情识别方法的有效性。

Description

基于多尺度LBP和稀疏编码的大规模人脸表情识别方法

技术领域

本发明涉及一种人脸识别方法，尤其是人脸表情的识别方法。

背景技术

人脸表情识别是模式识别、人机交互和生物特征识别等领域涉及的重要研究方向，目前已成为国内外研究的热点。人类最常见的六种基本表情为高兴、悲伤、愤怒、惊讶、恶心与恐惧。不仅人脸的外形存在较大的变化，而且六种表情之间也存在细微的变化。因此，表情识别需要忽略不同人脸的变化，着重识别人脸表情间的差别。文献1“X.Wang,X Feng,and J Peng.A Novel Facial Expression Database ConstructionMethod based on Web Images.In Proc.of the Third Intl.Conf.on Internet MultimediaComputing and Service(ICIMCS'11).2011,pp124-127”提出构建大规模人脸表情数据库的方法，对六种基本表情，从互联网上下载2000幅图片，并通过交互式过滤，得到每种表情的500幅图片，以此构成大规模人脸表情数据库。该方法构建了大规模的人脸自然表情数据库，增加了表情样本容量，但是数据库中人脸的变化比较大，传统的表情特征对人脸变化较敏感，且容易受人脸遮挡，光照变化的影响，具有较差的鲁棒性；同时k近邻等传统的表情识别方法在训练样本中难以找到比较相似的表情，大规模的表情样本具有较大的稀疏性，影响了识别的准确率。

发明内容

为了克服现有技术的不足，本发明提出一种基于多尺度LBP(Local Binary Pattern，局部二值模式)和稀疏编码的大规模人脸表情识别方法，其目的是以多尺度LBP和稀疏编码的方式提高表情识别的鲁棒性，解决大规模人脸表情特征的稀疏性，进而提高表情识别的准确率。

为解决大规模人脸表情识别问题中的鲁棒性和稀疏性问题，本发明提出基于多尺度LBP和稀疏编码的人脸表情识别方法。该方法的思路如下：首先建立大规模的人脸表情数据库，使用随机抽样技术生成训练数据库与测试数据库；其次，使用多尺度的LBP特征来表示人脸的表情特征，进而生成稀疏编码方法所需要的字典；最后，对新的表情样本求解最优稀疏系数，通过累加不同表情的稀疏系数来识别表情样本。

本发明解决其技术问题所采用的技术方案主要包括以下步骤：

(1)大规模表情数据库的建立

针对每种表情，每种表情下载N₁幅图片，N₁为任意整数，六种表情共6*N₁幅图片，并通过使用AP聚类算法对每种表情图片进行聚类，人工选择出与每种表情最一致的图片聚类中心，每种表情得到N₂幅图片，N₂为任意整数，构成大规模人脸表情数据库，该大规模人脸表情数据库共有6*N₂幅表情图片；利用AdaBoost方法对大规模人脸表情数据库中的图片进行人脸检测和归一化处理；从每种表情的N₂幅图片中随机抽取M幅图片作为该类表情的训练数据库，所有表情组成的训练数据库包含6*M幅图片，剩余的该类表情图片作为测试数据库；

(2)多尺度LBP特征提取

将人脸按照水平方向和垂直方向划分为n×n等大小的子块，n为任意整数，针对每个子块分别计算其多尺度的LBP直方图，计算方法如下：每个像素点某尺度上的LBP_P,R值为：

其中，g_c为像素点的灰度值，g_p为该点半径为R的圆上P个等距离像素点的灰度值，p＝0，…，P-1，这些灰度值对应的是对称圆形邻域，当g_p≥g_c时，s(g_p-g_c)取1，当g_p＜g_c时，s(g_p-g_c)取0，公式(1)中不同的R代表不同的尺度，对于每个子块不同半径内不同尺度的LBP值，统计L种LBP模式的统计直方图，即统计出每种LBP模式在整幅图像中出现的频率，然后将L种LBP模式的出现频率级联形成该子块的直方图，长度为L；

将各子块多个尺度上的直方图组合起来，构成每幅表情图片的LBP特征，具体连接方式为：第m块区域的直方图表示为H_m，m＝1,2,...,n×n，其中n×n表示人脸表情图像分为n×n块，一幅完整图像的多尺度LBP特征表示如下：

H＝{(H₁,H₂,...,H_n×n)₁,...(H₁,H₂,...,H_n×n)_i,...(H₁,H₂,...,H_n×n)_R} (2)

其中H为长度L*n2*R的特征向量，由R个尺度上的LBP直方图级联而成，(H₁,H₂,...H,_n×n1、)(H₁,H₂,...,H_n×n)_i及(H₁,H₂,...,H_n×n)_R分别表示在不同的尺度下采用LBP_P,R算子的图像上统计得到的LBP直方图；

(3)表情词典的建立

将步骤(2)中第i幅表情图片得到的LBP直方图向量H记为V_i，将6*M幅训练图片的所有特征向量级联在一起，形成词典矩阵D；词典对应的表情类别向量记为S_D＝(s₁,...,s_i,...,s_l)，其中s_i表示第i幅图片表情的类别，长度l＝6*M，s_i＝{1，2，3，4，5，6}，分别代表六种基本表情；

(4)稀疏系数的求解

将测试数据库中的图片对应的多尺度LBP特征向量记为y，y可表示为词典D中各分量的线性组合y＝Da，a为任意的稀疏系数解，其值为a＝(a₁,a₂,...,a_l)，表示词典中每个单词对应的权重大小，其中对应的最优稀疏系数解为a*，根据稀疏编码的基本原则，要求a*尽可能的稀疏，则最优解为：

$a^{*}=\underset{a}{\arg \min }{\left|\right|a\left|\right|}_1,s.t.\mathrm{Da}=y---\left(3\right)$

a*与词典的大小一致，长度l＝6*M；

(5)人脸表情的识别

利用步骤(4)求解出的最优稀疏系数a*，然后利用以下公式计算出测试表情图片的类别：

$S=\underset{i,i=\{1,...,6\}}{\arg \max }{C}_i,C_i=\underset{j,s_j=i}{\overset{l}{\mathrm{\Σ}}}{a}_j^{*}---\left(4\right)$

其中S表示最后计算得出的测试图片的表情类别，S＝{1,2,3,4,5,6}，C_i为每类表情对应的稀疏系数累加值，i表示表情的种类，j表示不同的图片，j的范围从1到l，s_j表示第j幅图片的表情类别，表示第j幅图片对应的最优稀疏系数，通过公式(4)求解出测试数据库中表情图片的表情类别S，将测试数据库中每幅图片求解出表情类别S，即可完成大规模人脸表情的分类识别。

本发明的有益效果是利用多尺度LBP特征获取鲁棒性强的特征表示方式，利用稀疏编码解决了大规模人脸表情识别中的稀疏性问题，本发明用于下载的数据库测试，平均识别率为89.1％，比传统的k近邻算法正确率提高了9.5％，验证了基于多尺度LBP和稀疏编码的大规模人脸表情识别方法的有效性。

附图说明

图1是本发明基于多尺度LBP和稀疏编码的人脸表情识别方法示意框图。

图2是本发明中部分人脸表情数据库样本，其中(a)、(b)、(c)、(d)、(e)、(f)分别表示高兴、悲伤、愤怒、惊讶、恶心和恐惧六种表情的样本图片。

图3是人脸表情多尺度LBP特征提取方法。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

图1是本发明基于多尺度LBP和稀疏编码的人脸表情识别方法示意框图，按照图1所示，本发明共有5个步骤，具体实施方式如下：

(1)大规模表情数据库的建立

针对每种表情，每种表情下载N₁幅图片，N₁为任意整数，六种表情共6*N₁幅图片，并通过使用AP聚类算法对每种表情图片进行聚类，人工选择出与每种表情最一致的图片聚类中心，每种表情得到N₂幅图片，N₂为任意整数，构成大规模人脸表情数据库，该大规模人脸表情数据库共有6*N₂幅表情图片；利用AdaBoost方法对大规模人脸表情数据库中的图片进行人脸检测和归一化处理；从每种表情的N₂幅图片中随机抽取M幅图片作为该类表情的训练数据库，所有表情组成的训练数据库包含6*M幅图片，剩余的该类表情图片作为测试数据库。

详细步骤为：

①采用文献1的方法，针对每种表情，从网络下载6*N₁幅图片，N₁为任意整数，本发明中取N₁＝2000。通过文献1中使用的交互式过滤方法，得到每种表情的N₂幅图片构成大规模人脸表情数据库，该数据库共6*N₂幅表情图片，N₂为任意整数，本发明中取N₂＝600。图2所示部分表情数据库样本。

②然后对该数据库中的每幅表情图片，使用文献2给出的AdaBoost方法进行人脸自动检测和归一化处理。

③最后利用随机抽样的方式从每种表情中抽取M＝500幅表情图片，其中抽取出的6*M＝3000幅图片作为训练数据库，剩余的600幅表情图片构建测试数据库。本发明中使用的随机抽样方式为：生成从1到3600的随机排列组合，取前3000个组合数作为训练图片的索引，从3600幅表情图片中抽取前3000幅图片构建训练数据库，剩余600幅图片构建测试数据库。

(2)多尺度LBP特征提取

将人脸按照水平方向和垂直方向划分为n×n等大小的子块，n为任意整数，针对每个子块分别计算其多尺度的LBP直方图，计算方法如下：每个像素点某尺度上的LBP_P,R值为

其中，g_c为像素点的灰度值，g_p为该点半径为R的圆上P个等距离像素点的灰度值，p＝0，…，P-1，这些灰度值对应的是对称圆形邻域，当g_p≥g_c时，s(g_p-g_c)取1，当g_p＜g_c时，s(g_p-g_c)取0，公式(1)中不同的R代表不同的尺度，对于每个子块不同半径内不同尺度的LBP值，统计L种LBP模式的统计直方图，即统计出每种LBP模式在整幅图像中出现的频率，然后将L种LBP模式的出现频率级联形成该子块的直方图，长度为L；

将各子块多个尺度上的直方图组合起来，构成每幅表情图片的LBP特征，具体连接方式为：第m块区域的直方图表示为H_m，m＝1,2,...,n×n，其中n×n表示人脸表情图像分为n×n块，一幅完整图像的多尺度LBP特征表示如下：

H＝{(H₁,H₂,...,H_n×n)₁,...(H₁,H₂,...,H_n×n)_i,...(H₁,H₂,...,H_n×n)_R} (2)

其中H为长度L*n²*R的特征向量，由R个尺度上的LBP直方图级联而成，(H₁,H₂,...,H_n×n)₁、(H₁,H₂,...,H_n×n)_i及(H₁,H₂,...,H_n×n)_R表示在不同的尺度下采用LBP_P,R算子的图像上统计得到LBP直方图；

详细步骤为：

①首先将人脸水平和垂直的划分为n×n等大小的子块，本发明取n＝3，划分方法如图3第2列图所示，n等分行和列；

②针对每个子块分别计算其多尺度的LBP直方图，计算方法如下：对区域中任意像素点的灰度值g_c，按照公式(1)计算其LBP_P,R值，本发明取P＝8，即中心像素点邻域内8个像素值参与计算；取R＝{1,2}，即两个尺度上的LBP值LBP_8,1和LBP_8,2。根据文献3中定义的LBP模式，本发明采用L＝59种LBP模式，分别统计3×3＝9个区域内各像素点59种LBP模式出现的次数，并用频率直方图记录下来，如图3第4列图所示。

③最后将16个子块和2个尺度上的直方图组合起来，构成每幅表情图片的LBP特征，如图3第5列图所示，具体连接方式为：将第m块区域的直方图H_m(m＝1,2,...,16)按照以下方式级联成最终的LBP特征，表示为：H＝{(H₁,H₂,...,H₁₆)₁,(H₁,H₂,...,H₁₆)₂}。其中不同的子块的顺序是从上到下，从左到右依次编号为1到16。最终的LBP特征向量H为长度59*9*2维的向量。

(3)表情词典的建立

将步骤(2)中第i幅表情图片得到的LBP直方图向量H记为V_i，将6*M幅训练图片的所有特征向量级联在一起，形成词典矩阵D；词典对应的表情类别向量记为S_D＝(s₁,...,s_i,...,s_l)，其中s_i表示第i幅图片表情的类别，长度l＝6*M，s_i＝{1，2，3，4，5，6}，分别代表六种基本表情。

实施例中将3000幅6种表情的图片的特征向量级联在一起，形成词典矩阵D，矩阵D中每一列对应一个特征向量，表示为D＝{V₁，V₂，...V_l}；词典对应的表情类别向量记为S_D＝(s₁,...,s_i,...,s_l)，长度为l＝3000，其中s_i表示表情的类别，s_i＝{1，2，3，4，5，6}，代表六种表情：高兴、悲伤、愤怒、惊讶、恶心与恐惧，S_D中每隔500个元素的类别加1。

(4)稀疏系数的求解

将测试数据库中的图片对应的多尺度LBP特征向量记为y，y可表示为词典D中各分量的线性组合y＝Da，a为任意的稀疏系数解，其值为a＝(a₁,a₂,...,a_l)，表示词典中每个单词对应的权重大小，其中对应的最优稀疏系数解为a*，根据稀疏编码的基本原则，要求a*尽可能的稀疏，则最优解为：

$a^{*}=\underset{a}{\arg \min }{\left|\right|a\left|\right|}_1,s.t.\mathrm{Da}=y---\left(3\right)$

a*与词典的大小一致，长度l＝6*M；

根据公式(3)求解最优的a*时，本发明使用经典的线性规划的方法求解公式(3)中的最优系数a*。

(5)人脸表情的识别

利用步骤(4)求解出的最优稀疏系数a*，然后利用以下公式计算出测试表情图片的类别：

$S=\underset{i,i=\{1,...,6\}}{\arg \max }{C}_i,C_i=\underset{j,s_j=i}{\overset{l}{\mathrm{\Σ}}}{a}_j^{*}---\left(4\right)$

其中S表示最后计算得出的测试图片的表情类别，S＝{1,2,3,4,5,6}，C_i为每类表情对应的稀疏系数累加值，i表示表情的种类，j表示不同的图片，j的范围从1到l，s_j表示第j幅图片的表情类别，表示第j幅图片对应的最优稀疏系数，通过公式(4)求解出测试数据库中表情图片的表情类别S，将测试数据库中每幅图片求解出表情类别S，即可完成大规模人脸表情的分类识别。

利用步骤(4)求解出最优稀疏系数a*后；然后利用公式(4)计算出测试表情图片的类别S，S的取值为S＝{1,2,...,6}，分别对应为高兴、悲伤、愤怒、惊讶、恶心与恐惧；最后根据S的取值来识别表情的种类，从而实现测试数据库中人脸表情的识别。

Claims (1)

1.一种基于多尺度LBP和稀疏编码的大规模人脸表情识别方法，其特征在于包括下

述步骤：

(1)大规模表情数据库的建立

针对每种表情，每种表情下载N₁幅图片，N₁为任意整数，六种表情共6*N₁幅图片，并通过使用AP聚类算法对每种表情图片进行聚类，人工选择出与每种表情最一致的图片聚类中心，每种表情得到N₂幅图片，N₂为任意整数，构成大规模人脸表情数据库，该大规模人脸表情数据库共有6*N₂幅表情图片；利用AdaBoost方法对大规模人脸表情数据库中的图片进行人脸检测和归一化处理；从每种表情的N₂幅图片中随机抽取M幅图片作为该类表情的训练数据库，所有表情组成的训练数据库包含6*M幅图片，剩余的该类表情图片作为测试数据库；

(2)多尺度LBP特征提取

将人脸按照水平方向和垂直方向划分为n×n等大小的子块，n为任意整数，针对每个子块分别计算其多尺度的LBP直方图，计算方法如下：每个像素点某尺度上的LBP_P,R值为：

其中，g_c为像素点的灰度值，g_p为该点半径为R的圆上P个等距离像素点的灰度值，p＝0，…，P-1，这些灰度值对应的是对称圆形邻域，当g_p≥g_c时，s(g_p-g_c)取1，当g_p＜g_c时，s(g_p-g_c)取0，公式(1)中不同的R代表不同的尺度，对于每个子块不同半径内不同尺度的LBP值，统计L种LBP模式的统计直方图，即统计出每种LBP模式在整幅图像中出现的频率，然后将L种LBP模式的出现频率级联形成该子块的直方图，长度为L；

将各子块多个尺度上的直方图组合起来，构成每幅表情图片的LBP特征，具体连接方式为：第m块区域的直方图表示为H_m，m＝1,2,...,n×n，其中n×n表示人脸表情图像分为n×n块，一幅完整图像的多尺度LBP特征表示如下：

H＝{(H₁,H₂,...,H_n×n)₁,...(H₁,H₂,...,H_n×n)_i,...(H₁,H₂,...,H_n×n)_R} (2)

其中H为长度L*n2*R的特征向量，由R个尺度上的LBP直方图级联而成，(H₁,H₂,...H,_n×n1、)(H₁,H₂,...,H_n×n)_i及(H₁,H₂,...,H_n×n)_R分别表示在不同的尺度下采用LBP_P,R算子的图像上统计得到的LBP直方图；

(3)表情词典的建立

将步骤(2)中第i幅表情图片得到的LBP直方图向量H记为V_i，将6*M幅训练图片的所有特征向量级联在一起，形成词典矩阵D；词典对应的表情类别向量记为S_D＝(s₁,...,s_i,...,s_l)，其中s_i表示第i幅图片表情的类别，长度l＝6*M，s_i＝{1，2，3，4，5，6}，分别代表六种基本表情；

(4)稀疏系数的求解

将测试数据库中的图片对应的多尺度LBP特征向量记为y，y可表示为词典D中各分量的线性组合y＝Da，a为任意的稀疏系数解，其值为a＝(a₁,a₂,...,a_l)，表示词典中每个单词对应的权重大小，其中对应的最优稀疏系数解为a*，根据稀疏编码的基本原则，要求a*尽可能的稀疏，则最优解为：

$a^{*}=\underset{a}{\arg \min }{\left|\right|a\left|\right|}_1,s.t.\mathrm{Da}=y---\left(3\right)$

a*与词典的大小一致，长度l＝6*M；

(5)人脸表情的识别

利用步骤(4)求解出的最优稀疏系数a*，然后利用以下公式计算出测试表情图片的类别：

$S=\underset{i,i=\{1,...,6\}}{\arg \max }{C}_i,C_i=\underset{j,s_j=i}{\overset{l}{\mathrm{\Σ}}}{a}_j^{*}---\left(4\right)$

其中S表示最后计算得出的测试图片的表情类别，S＝{1,2,3,4,5,6}，C_i为每类表情对应的稀疏系数累加值，i表示表情的种类，j表示不同的图片，j的范围从1到l，s_j表示第j幅图片的表情类别，表示第j幅图片对应的最优稀疏系数，通过公式(4)求解出测试数据库中表情图片的表情类别S，将测试数据库中每幅图片求解出表情类别S，即可完成大规模人脸表情的分类识别。