CN105117707A

CN105117707A - 一种基于区域图像的人脸表情识别方法

Info

Publication number: CN105117707A
Application number: CN201510543275.4A
Authority: CN
Inventors: 解梅; 张锐; 黄成挥; 罗招材
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2015-08-29
Filing date: 2015-08-29
Publication date: 2015-12-02

Abstract

本发明提供一种基于区域图像的人脸表情识别方法，得到8个方向的边缘响应值之后，首先利用以中心像素为中心的周围像素具有极高的相关性这一特征，用周围像素之响应差值与门限值进行比较确定其编码，大于等于门限值则为1，否则为0，并按照来LDP的顺序进行二进制编码，最后取编码的十进制值作为中心像素最终的编码结果，降低了特征维度和后续识别的运算时间，也尽可能保证其精度。相对于现有LDP经过Kirsch算子运算之后就直接取最大的k个值进行编码，本发明的SLDP编码加入门限值判断，能降低干扰对于计算所带来的误差，加之区域分割之后进行直方图均衡化能提高对光照的鲁棒性，更一步提高对噪声的抗干扰能力。

Description

一种基于区域图像的人脸表情识别方法

技术领域

本发明属于数字图像处理技术。

背景技术

表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手段。人们可通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认对方的态度和内心世界。人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信息。人脸表情可以分为6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，和一种最为普遍的表情类别：中性。其中中性是人脸表情进行转换的中间过程和所有人一般状态下所表现出来的最为普遍的表情类别。一个人脸表情识别系统(FER)一般包括3个环节,即人脸检测、特征提取、表情分类。其中人脸检测目前已经成为了一个单独的研究方向，现有的研究已经在该方面上研究出了一些成果。表情特征提取是FER系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高。详见文献：HavranC,etal.IndependentComponentAnalysisforfaceauthentication[A].KES’2002proceedings-knowledge-basedintelligentInformationandEngineeringSystems[C].Crema(Italy),2002-09.1207-1211；和文献：DonatoGianluca,etal.ClassifyingFacialActions[J].IEEETRANSACTIONSONPAMI.,1999-10,21(10).；和文献：CootesTimothyF,EdwardsGarethJ,etal.ActiveAppearanceModels[J].IEEETRANSACTIONSONPAMI.,2007-06,23(6)；和文献：LyonsMichaelJ,BudynekJulien,AukamatsuShigeru.AutomaticClassificationofSingleFacialImages[J].IEEETRANSACTIONSONPAMI.,2009-12,21(12)所述。

在近年来，人机交互(HumantoComputerInterface，HCI)技术日益成为人工智能领域中研究的热点，人与计算机之间感情交流问题开始受到广泛的关注。如果计算机和机器人能够像人类那样具有理解和表达情感的能力，来帮助人完成各项任务，那将使计算机能够更好地为人类服务。目前的各种面部表情识别算法中，常在单一数据库中进行验证，并不具有普遍性和说服力。由于不同人种和各国文化背景的差异，不同民族不同国家的人其面部表情的表现形式并不相同。

目前常用的人脸面部表情识别算法有：

(1)基于人脸动作编码系统FACS和运动单元AU的算法。J.Hamm,C.G.Kohler,R.C.Gur,andR.Verma,“Automatedfacialactioncodingsystemfordynamicanalysisoffacialexpressionsinneuropsychiatricdisorders,”JournalofNeuroscienceMethods,vol.200,no.2,pp.237-256,2011.

(2)基于主成分分析PCA的算法。YongCY,SudirmanR,ChewKM.FacialExpressionMonitoringSystemUsingPCA-BayesClassifier[C].FutureComputerSciencesandApplication(ICFCSA),2011InternationalConferenceon.IEEE,2011:187-191.

(3)基于区域方向模式LDP的算法。是对局部二进制模式LBP的改进，对当前像素为中心像素点的邻域内八个像素进行Kirsch算子运算后取前K个最大的值，将其对应的位置设置为1，其余的位置设置为0，从起始点开始依逆时针的方向对此中心像素点进行二进制编码。T.Jabid,M.H.Kabir,andO.Chae,“Robustfacialexpressionrecognitionbasedonlocaldirectionalpattern,”ETRIJournal,vol.32,no.5,pp.784-794,2010.Kirsch算子是R.Kirsch提出来一种边缘检测算法，它采用8个模板对图像上的每一个像素点进行卷积求导数，这8个模板代表8个方向，对图像上的8个特定边缘方向做出最大响应，运算中取最大值作为图像的边缘输出。

上述人脸面部表情提取方法都在一定程度上存在问题。方法1需要准确的五官定位及面部追踪才可以获得较好的效果，且对于噪声光照敏感，易受到干扰。方法2虽然拥有较小的计算量和特征维度，但是会忽略局部特征，局部特征在识别过程中也是非常重要的部分，因此对于识别精度有一定的影响。方法3虽然较方法1,2有所改进，但是随着所取最大值个数的提升，其编码组合数目会大幅增加，用于区域图像分块处理之后，其整幅图像的特征维度会急剧增加；且LDP也仅是用周围像素与中心像素进行比较，直接取周围像素的最大运算值进行编码，非理想条件下，对噪声也不具有一定的抗力。

LDP编码由如下公式计算而得：

{LDP}_{k} = Σ_{i = 0}^{7} b_{i} (m_{i} - m_{k}) * 2^{i}

b_{i} (x) = \{\begin{matrix} 1, & x &GreaterEqual; 0 \\ 0, & x < 0 \end{matrix}

其中m_i，i＝0，……，7表示经过Kirsch算子运算后的八方向的响应值的绝对值，k表示取最大值的个数，m_k表示m_i最大的第k个值。随着k的增大其特征维度会急剧增大。

发明内容

本发明所要解决的技术问题是，提供一种能够有效的提取有用信息并减少计算量，提高抗干扰能力的人脸表情识别方法。

本发明为解决上述技术问题所采样的技术方案是，一种基于区域图像的人脸表情识别方法，包括以下步骤：

步骤1图像预处理

得到人脸图像后，将人脸图像转换为统一大小的灰度图像，对归一化后的灰度图像进行区域分割，并计算每一个区域的灰度直方图，按顺序进行首尾相连得到待检测图像；

步骤2表情特征提取

使用SLDP编码对待检测图像进行特征提取：

对待检测图像中当前像素为中心像素点的邻域内8个像素点进行Kirsch算子运算得到的8个方向的边缘响应值；

对当前像素点进行SLDP编码的计算方式如下：

S L D P = Σ_{i = 0}^{\frac{N}{2} - 1} s (v_{i} - v_{i + N / 2}) * 2^{i}

s (x) = \{\begin{matrix} 1, x &GreaterEqual; T h \\ 0, x < T h \end{matrix}

其中v_i，s()为判决函数，i＝0，……，7表示经过Kirsch算子运算后得到的8个方向的边缘响应值的绝对值，N为响应值个数，N＝8，Th为门限值；

步骤3表情分类

将待测图像的SLDP编码作为提取的特征信息输入SVM支持向量机对特征进行分类完成人脸表情图像进行识别。

进一步的，步骤1图像预处理中，按顺序进行首尾相连灰度直方图之后进行直方图均衡得到待检测图像。

本发明新提出一种基于LDP的改进算法SLDP。在得到中心像素点的8个方向的边缘响应值之前的步骤与LDP算法相同，得到8个方向的边缘响应值之后，首先利用以中心像素为中心的周围像素具有极高的相关性这一特征，用周围像素之响应差值与门限值进行比较确定其编码，大于等于门限值则为1，否则为0，并按照来LDP的顺序进行二进制编码，最后取编码的十进制值作为中心像素最终的编码结果。在二进制编码时将原来LDP的8位的二进制编码位缩减至4位，减少至原来的一半，降低了特征维度和后续识别的运算时间；因为差值所代表的也是差值运算双方的性质，4位的差值编码值也包含了原始编码中8位所包含的大部分信息，仅是去掉了两点之间的部分相似信息，尽可能保证其精度。相对于现有LDP经过Kirsch算子运算之后就直接取最大的k个值进行编码，本发明的SLDP编码加入门限值判断，能降低干扰对于计算所带来的误差，加之区域分割之后进行直方图均衡化能提高对光照的鲁棒性，更一步提高对噪声的抗干扰能力。

本发明的有益效果是，在进行特征提取的过程中采用的SLDP编码方法，相较于常用的LDP，PCA方法，提高了精确度，相比LDP，简化特征维度和计算量，提升了抗干扰能力。

附图说明

图1：实施例人脸表情识别整体流程示意图；

图2：LDP编码示意图；

图3：SLDP与LDP编码对比示意图。

具体实施方式

实施例采用本发明的方法在VS2010环境中实现。利用本发明提供的人脸表情特征提取方法，相较于LDP在Cohn-Kanade和JAFFE数据库上，在识别精度小幅波动的基础上大幅减小了运算时间，充分验证了本发明的有效性。

为了方便地描述实施例内容，首先对一些现有术语进行说明。

Haar-like特征。哈尔特征(Haar-like)是用于物体识别的一种数字图像特征，哈尔特征使用检测窗口中指定位置的相邻矩形，计算每一个矩形的像素和并取其差值，然后用这些差值来对图像的子区域进行分类。

图像二值化。就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。在灰度图像中，常采用一个字节表示一个像素点，其灰度级为0～255，其二值化方法为构造用一个二进制位表示一个像素点的图像，设置二值化阈值T，将大于T的像素点设置为1，小于等于T的点设为0。

Adaboost算法。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个强分类器。常用于人脸检测与定位。

直方图均衡化。直方图均衡化的基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了象素灰度值的动态范围从而可达到增强图像整体对比度的效果。

SVM。SVM(SupportVectorMachine，支持向量机)是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析，是属于机器学习的范畴。它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分。

区域图像。指对图像的局部进行单独处理。

十折交叉验证。指将数据集分成十分，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证(例如10次10折交叉验证)，再求其均值，作为对算法准确性的估计。

实施例实现过程如图1所示，包含下述步骤：

步骤1人脸检测及图像预处理

步骤1.1人脸检测

对待检测图像进行人脸检测与定位，采用Adaboost方法。利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本。

1)求取训练样本的四种Harr-Like特征，形成特征集。

2)训练弱分类器，训练弱分类器的目的是为了确定阈值，使得对所有训练样本的分类误差最低。

3)级联弱分类器获得强分类器。

步骤1.2图像预处理

通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小。若是彩色图像则需要先进行图像二值化获得灰度图像。得到统一大小的灰度图像之后，进行区域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：

S_{k} = Σ_{k = 0}^{L - 1} \frac{n_{k}}{n} = Σ_{k = 0}^{L - 1} \Pr (r_{k}), 0 \leq r_{k} \leq 1, k = 0, ..., L - 1

其中L是图像中灰度值总数，r_k为原始直方图分布中的第k种灰度值，n_k是灰度为r_k的像素数目，n为总像素个数，Pr(r_k)为r_k的概率密度函数，S_k是r_k经过变化后的灰度值。

步骤2表情特征提取

本部分提出了一种改进的SLDP方法。SLDP与LDP其编码顺序一致，LDP编码顺序如图2所示，图2最左为原始像素值，图2中为经过Kirsch算子运算后得到的八个方向的响应值，图3为当取3个最大值时以起始点逆时针顺序的二进制编码为11001000。

SLDP编码

对图像进行SLDP编码，其计算方式如下：

S L D P = Σ_{i = 0}^{\frac{N}{2} - 1} s (v_{i} - v_{i + N / 2}) * 2^{i}

s (x) = \{\begin{matrix} 1, x &GreaterEqual; T h \\ 0, x < T h \end{matrix}

经过差值运算之后，得到了一个长度为N/2＝4的二进制码字，最后依照LDP的顺序对中心像素进行二进制编码，然后取编码的十进制值作为中心像素最终的结果值。如图3可见，SLDP编码的二进制编码长度为LDP编码的一半。

步骤3表情分类

首先，将步骤2中获得的特征信息随机分为10份，其中9份作为训练图像，1份作为检测图像。将9份训练输入SVM进行训练，得到一个SVM分类器，之后采用十折交叉验证法，对样本进行其他9次训练，将所获得的10个SVM分类器级联成为一个强分类器；然后用已经训练好的SVM支持向量机对特征进行分类。该分类器可以对其他所有人脸表情图像进行识别。

Claims

1.一种基于区域图像的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1图像预处理

步骤2表情特征提取

使用SLDP编码对待检测图像进行特征提取：

对当前像素点进行SLDP编码的计算方式如下：

S L D P = Σ_{i = 0}^{\frac{N}{2} - 1} s (v_{i} - v_{i + N / 2}) * 2^{i}

s (x) = \{\begin{matrix} 1, x &GreaterEqual; T h \\ 0, x < T h \end{matrix}

步骤3表情分类

2.如权利要求1所述一种基于区域图像的人脸表情识别方法，其特征在于，步骤1图像预处理中，按顺序进行首尾相连灰度直方图之后进行直方图均衡得到待检测图像。

3.如权利要求2所述一种基于区域图像的人脸表情识别方法，其特征在于，直方图均衡的计算方法如下：

S_{k} = Σ_{k = 0}^{L - 1} \Pr (r_{k}), 0 \leq r_{k} \leq 1, k = 0, ..., L - 1

其中L是图像中灰度值总数，r_k为原始直方图分布中的第k种灰度值，Pr(r_k)为r_k的概率密度函数，S_k是r_k经过直方图均衡的灰度值。