CN103116765A - 一种奇、偶分组的局部二元模式的人脸表情识别方法 - Google Patents

Abstract

本发明公开一种奇、偶分组的局部二元模式的人脸表情识别方法，包括训练和识别阶段；训练阶段的方法为，将所有训练样本的每张人脸图像进行均匀地、无交叠分块处理，对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，把每个子块的特征直方图合为整体构成训练样本集的特征集合；识别阶段的方法是：对待测样本的每张人脸图像进行均匀地、无交叠分块处理，对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，把每个子块的特征直方图合为整体作为待测特征，预测待测样本所属的类别。本发明对图像的噪声具有较强的鲁棒性，可增加LBP算子的鲁棒性，提高人脸表情识别的识别率，大大减少识别所需时间。

Description

一种奇、偶分组的局部二元模式的人脸表情识别方法

技术领域

本发明涉及一种奇、偶分组的局部二元模式的人脸表情识别方法，属于图像处理、模式识别技术和人机交互领域。

背景技术

近年来，在心理学、公共安全、消费电子、远程教育、临床医学上，人机交互(Human-ComputerInterface,HCI)一直是众多研究人员的一个重要研究方向。人们虽然可以通过各种输入指令对计算机进行控制，但是，计算机却不能根据人所处的环境、心情、习惯等信息主动判断来帮助人去完成各项任务。只有使计算机从视觉上理解人的意图，才使得计算机可以主动与人进行交流，从而，在计算机和人的主动交流、交互中搭建一座桥梁，使得计算机变得更加主动、智能和友好。人脸包含着非常丰富的信息，人脸表情是人们之间非语言交流时最丰富的资源和最容易表达人们情感的一种方式，因此，人脸表情识别是实现人机交互，并使得计算机能更准确地理解人的表情和意图的一个重要研究内容。所以，开发复杂人脸表情的自动识别系统具有重大的实际意义和研究价值。例如，用于医护的医疗机器人一旦发现病人有痛苦表情，就可以向远程监控的医护人员发出警报，并通知医生前来救治。

局部二元模式(Local Binary Pattern,LBP)算子最初由Ojala等人于1996年提出，并将其成功应用于纹理分类(见参考文献1)。LBP本质上是提取图像的边缘、角点等局部变化特征；但是，LBP只能提取单一尺度的纹理特征，并对噪声非常敏感。原始LBP算子共有256种变换模式，使用Uniform模式后减为59种（见参考文献2）。针对于多尺度纹理特征提取，Ojala等人又提出多分辨率灰度级和具有旋转不变性的LBP（见参考文献3）,该算子不仅对任何灰度级的单调变换具有鲁棒性，而且计算简便，可以在一个小邻域内用算子和查找表来实现。因为LBP算子计算简单，经过LBP算子滤波后所获得的特征拥有很强的分辨能力，这使得后来的研究者将其引入到人脸识别（见参考文献4）、表情识别（见参考文献5）、行人检测（见参考文献6）等应用中，并取得了很好的识别、检测效果。但是，现有的LBP各种改进算子的模式数量依然很多，对于提高识别效率有很大的局限性。

参考文献1:《带有基于特征分布的分类的纹理措施对比研究》，载《国际模式识别期刊》（Ojala,T.,,M.,and Harwood,D.:‘A Comparative Study of TextureMeasures with Classification Based on Featured Distributions’.Pattern Recognition,1996,29(l),pp.51-59）。

参考文献2：《基于灰度和旋转不变性的局部二元模式的纹理分类》，载《第六届欧洲计算机视觉年会》（Ojala,T.,

,M.,and ,T.:‘Gray Scale and RotationInvariant Texture Classification with Local Binary Patterns’.6th European Conferenceon Computer Vision,2000,pp.404-420）。

参考文献3：《基于多分辨率灰度和旋转不变性的局部二元模式纹理分类》，载《国际模式分析与机器智能期刊》（Ojala,T.,,M.,and 

,T.:‘MultiresolutionGray-scale and Rotation Invariant Texture Classification with Local Binary Patterns’.IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7),pp.971-987）。

参考文献4：《局部二元模式的人脸描述及其在人脸识别中的应用》，载《国际模式分析与机器智能期刊》（Ahonen,T.,Hadid,A.,and Pietikainen,M.;‘Face Description withLocal Binary Patterns:Application to Face Recognition’.IEEE Transactions on PatternAnalysis and Machine Intelligence,2006,28(12),pp.2037-2041）。

参考文献5：《使用局部二元模式的动态纹理识别及其在人脸表情识别中的应用》，载《国际模式分析与机器智能期刊》（Zhao,G.,and Pietikainen,M.:‘Dynamic TextureRecognition Using Local Binary Patterns with an Application to Facial Expressions’.IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6),pp.915-928）。

参考文献6：《带有部分遮挡处理的基于方向梯度直方图和局部二元模式的人体检测》，载《第12届IEEE国际计算机视觉年会》（Wang,X.,Han,T.X.,Yan,S.:‘An HOG-LBP HumanDetector with Partial Occlusion Handling’.IEEE12th International Conference onComputer Vision,2009,pp.32-39）。

发明内容

针对现有技术的不足，本发明提供一种奇、偶分组的局部二元模式的人脸表情识别方法。

在人脸表情识别问题上，将该原始LBP算子按奇、偶位置分组形成两组SubLBP算子，可增加LBP算子的鲁棒性，提高人脸表情的识别率，大大减少识别所需时间。

本发明的目的是这样实现的：

一种奇、偶分组的局部二元模式的人脸表情识别方法，包括训练和识别阶段；训练阶段的方法为，首先，将所有训练样本的每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体构成训练样本集的特征集合。识别阶段的方法是：对待测样本的每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体作为待测特征，预测待测样本所属的类别。

作为本发明的进一步改进，所述训练阶段，在对每张人脸图像进行均匀地、无交叠分块处理之前，将所有训练样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正。所述识别阶段，在对每张人脸图像进行均匀地、无交叠分块处理之前，对待测样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正。

所述人脸图像检测与裁剪是进行人脸检测与人眼定位，根据人眼的位置将人脸图像的像素大小进行裁剪，使得每张图片的五官位置都处于统一像素位置。

所述人脸图像矫正的方法为：使左右两个眼睛的中心处在同一水平线上。

假设两只眼睛的坐标分别为(x₁,y₁),(x₂,y₂)，眼睛中心间的距离为D，两眼轴线与水平轴之间的夹角为θ：

$D=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

$\mathrm{\θ}=\arctan [(y_1-y_2)/(x_1-x_2)]---\left(2\right)$

旋转后的人脸坐标为(x′,y′)，设(x_c,y_c)为人脸的中心坐标：

$\left\{\begin{array}{c}{x}^{\′}=x_c+\cos \mathrm{\θ}(x-x_c)+\sin \mathrm{\θ}(y-y_c)\\ y^{\′}=y_c+\cos \mathrm{\θ}(y-y_c)-\sin \mathrm{\θ}(x-x_c)\end{array}\right.---\left(3\right)$

所述均匀地、无交叠分块处理是把人脸均匀地分成5×5块，每个子块的像素大小为20×20。

所述提取奇、偶分组的局部二元模式是将局部二元模式编码分成两组。g_c是中心像素，g₁,g₂,...,g₈是其周围8个采样点，g_c的局部纹理特征T舍弃亮度信息后：

T≈t(g₁-g_c,...,g₈-g_c)    （6）

其中，t()表示函数映射关系。

再以中间像素点的灰度值作为阈值，将周围的8个灰度值与中心点的灰度值进行比较，如果该点的灰度值大于或等于中心点的灰度值则给该像素赋1，反之赋0。则，

T≈t[s(g₁-g_c),...,s(g₈-g_c)]    （7）其中，

$s\left(x\right)=\left\{\begin{array}{c}1,\mathrm{if}(x\&GreaterEqual;0)\\ 0,\mathrm{if}(x<0)\end{array}\right.---\left(8\right)$

对每个s(x)都分配一个二次项系数2^p(0≤p≤3)，那么，奇分组的局部二元模式OLBP:

$\mathrm{OLBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2p+1}-g_c)\&times;2^p---\left(9\right)$

偶分组的局部二元模式ELBP:

$\mathrm{ELBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2(p+1)}-g_c)\&times;2^p---\left(10\right)$

所述Uniform模式是OLBP和ELBP的二进制编码被视为首尾链接的环形时，至多存在两处由0到1或是1到0的转换，即

$|s(g_7-g_c)-s(g_1-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2p+1}-g_c)-s(g_{2p-1}-g_c)|\&le;2---\left(11\right)$

$|s(g_8-g_c)-s(g_2-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2(p+1)}-g_c)-s(g_{2p}-g_c)|\&le;2---\left(12\right)$

而把其他所有多于两处转换的所有编码置为非Uniform模式。

本发明的有益效果是：

1.本发明提供的一种奇、偶分组的局部二元模式的人脸表情识别方法对图像的噪声具有较强的鲁棒性。

2.本发明提供的一种奇、偶分组的局部二元模式可增加LBP算子的鲁棒性，提高人脸表情识别的识别率，大大减少识别所需时间。

附图说明

图1是本发明的流程图。

图2是JAFFE库中几幅表情图片。

图3是裁剪后的图像。

图4是图像矫正后的结果。

图5是图像子块划分。

图6是奇、偶分组的局部二元模式。

图7是奇、偶分组的局部二元模式的计算举例。

具体实施方式

下面结合附图和实例对本发明进行详细的描述。

一种奇、偶分组的局部二元模式的人脸表情识别方法，如图1所示，包括训练和识别阶段；训练阶段的方法为，首先，将所有训练样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正，对每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体构成训练样本集的特征集合；识别阶段的方法是：待测样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正，对每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体作为待测特征，采用支持向量机（SVM）来预测待测样本所属的类别。

所述人脸图像检测与裁剪是采用Adaboost方法进行人脸检测与人眼定位，根据人眼的位置将整个JAFFE表情库（如图2所示）的人脸图像裁剪到100X100像素大小（如图3所示），使得每张图片的五官位置都处于统一像素位置。

所述人脸图像矫正的方法为：使左右两个眼睛的中心处在同一水平线上。

假设两只眼睛的坐标分别为(x₁,y₁),(x₂,y₂)，眼睛中心间的距离为D，两眼轴线与水平轴之间的夹角为θ：

$D=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}---\left(1\right)$

$\mathrm{\&theta;}=\arctan [(y_1-y_2)/(x_1-x_2)]---\left(2\right)$

旋转后的人脸坐标为(x′,y′)，设(x_c,y_c)为人脸的中心坐标：

$\left\{\begin{array}{c}{x}^{\&prime;}=x_c+\cos \mathrm{\&theta;}(x-x_c)+\sin \mathrm{\&theta;}(y-y_c)\\ y^{\&prime;}=y_c+\cos \mathrm{\&theta;}(y-y_c)-\sin \mathrm{\&theta;}(x-x_c)\end{array}\right.---\left(3\right)$

图3的最后一幅图像经图像矫正后如图4所示。

所述均匀地、无交叠分块处理是把人脸均匀地分成5×5块，每个子块的像素大小为20×20，如图5所示。

所述提取奇、偶分组的局部二元模式是将局部二元模式编码分成两组。如图6所示，gc是中心像素，g₁,g₂,...，g₈是其周围8个采样点，g_c的局部纹理特征T为

T＝t(g_c,g₁-g_c,...,g₈-g_c)    （4）其中，t()表示函数映射关系。

假定g_c和g₁,g₂,...,g₈相互独立，t(g_c)为整个子图像的亮度，T可转化为

T＝t(g_c)t(g₁-g_c,....g₈-g_c)    （5）

亮度信息与纹理描述无关，故可以舍弃。因此，T舍弃亮度信息后：

T≈t(g₁-g_c,...，g₈-g_c)    （6）

再以中间像素点的灰度值作为阈值，将周围的8个灰度值与中心点的灰度值进行比较，如果该点的灰度值大于或等于中心点的灰度值则给该像素赋1，反之赋0。则，

T≈t[s(g₁-g_c),...,s(g₈-g_c)]    （7）

其中，

$s\left(x\right)=\left\{\begin{array}{c}1,\mathrm{if}(x\&GreaterEqual;0)\\ 0,\mathrm{if}(x<0)\end{array}\right.---\left(8\right)$

对每个s(x)都分配一个二次项系数2^p(0≤p≤3)，那么，奇分组的局部二元模式OLBP:

$\mathrm{OLBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2p+1}-g_c)\&times;2^p---\left(9\right)$

偶分组的局部二元模式ELBP:

$\mathrm{ELBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2(p+1)}-g_c)\&times;2^p---\left(10\right)$

图7给出一个实例，奇分组的局部二元模式编码为1100，偶分组的局部二元模式编码为1011，则OLBP为3，ELBP为13。

所述Uniform模式是OLBP和ELBP的二进制编码被视为首尾链接的环形时，至多存在两处由0到1或是1到0的转换，即

$|s(g_7-g_c)-s(g_1-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2p+1}-g_c)-s(g_{2p-1}-g_c)|\&le;2---\left(11\right)$

$|s(g_8-g_c)-s(g_2-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2(p+1)}-g_c)-s(g_{2p}-g_c)|\&le;2---\left(12\right)$

而把其他所有多于两处转换的所有编码（例如0101、1010）置为非Uniform模式。奇、偶分组的局部二元模式的Uniform模式总共有15种，而LBP的Uniform模式有59种，奇、偶分组的局部二元模式的Uniform模式数目远小于LBP的Uniform模式数目。

实验结果:

为了验证所提出方法的有效性，我们在JAFFE表情库上进行实验，JAFFE表情库是由10位日本女性的7种表情图像构成：愤怒、厌恶、惊恐、高兴、中性、悲伤和惊讶。随机选取每种表情的两张训练，剩余的用来测试，那么训练图片有140张，测试图片有70张。我们做了30组随机实验，实验结果记录了这30组的平均值。LBP和本专利所提供的方法同样都在5X5均匀无交叠分块的测试识别率的实验结果如表1所示，处理时间比较如表2所示。

表1识别率（%）

	LBP(分块5X5)	本专利提供的方法（分块5X5）
			悲伤	90	90
愤怒	90	90
			高兴	80	100
惊恐	90	100
			惊讶	80	90
厌恶	80	80
			中性	90	100
平均	85.7	92.9

可以看出，本专利所提供的方法的识别率较LBP方法的高7.2%。

表2处理时间比较（s）

	LBP(分块5X5)	本专利提供的方法（分块5X5）
			悲伤	2.41	2.17
愤怒	2.48	2.14
			高兴	2.38	2.15
惊恐	2.37	2.14
			惊讶	2.36	2.14
厌恶	2.36	2.14
			中性	2.36	2.14
平均	2.39	2.15

可以看出，识别70幅表情图片，LBP方法(分块5X5)平均所用时间为2.39s，本专利提供的方法（分块5X5）平均耗时2.15s，较LBP方法快了0.24s，速度上提高了10%。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，包括训练和识别阶段；训练阶段的方法为，首先，将所有训练样本的每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体构成训练样本集的特征集合；识别阶段的方法是：对待测样本的每张人脸图像进行均匀地、无交叠分块处理，然后对每个子块提取奇、偶分组的局部二元模式后转换成Uniform模式，形成特征直方图，接着把每个子块的特征直方图合为整体作为待测特征，预测待测样本所属的类别。

2.如权利要求1所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述训练阶段，在对每张人脸图像进行均匀地、无交叠分块处理之前，将所有训练样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正；所述识别阶段，在对每张人脸图像进行均匀地、无交叠分块处理之前，对待测样本首先进行人脸图像检测与裁剪，再进行人脸图像矫正。

3.如权利要求2所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述人脸图像检测与裁剪是进行人脸检测与人眼定位，根据人眼的位置将人脸图像的像素大小进行裁剪，使得每张图片的五官位置都处于统一像素位置。

4.如权利要求2所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述人脸图像矫正的方法为：使左右两个眼睛的中心处在同一水平线上。

5.如权利要求1所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述均匀地、无交叠分块处理是把人脸均匀地分成5×5块，每个子块的像素大小为20×20。

6.如权利要求1所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述提取奇、偶分组的局部二元模式是将局部二元模式编码分成两组，g_c是中心像素，g₁,g₂,...,g₈是其周围8个采样点，g_c的局部纹理特征T舍弃亮度信息后：

T≈t(g₁-g_c,...,g₈-g_c)   （6）

其中，t()表示函数映射关系；

再以中间像素点的灰度值作为阈值，将周围的8个灰度值与中心点的灰度值进行比较，如果该点的灰度值大于或等于中心点的灰度值则给该像素赋1，反之赋0；则，

T≈t[s(g₁-g_c),...,s(g₈-g_c)]   （7）

其中，

$s\left(x\right)=\left\{\begin{array}{c}1,\mathrm{if}(x\&GreaterEqual;0)\\ 0,\mathrm{if}(x<0)\end{array}\right.---\left(8\right)$

对每个s(x)都分配一个二次项系数2^p(0≤p≤3)，那么，奇分组的局部二元模式OLBP:

$\mathrm{OLBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2p+1}-g_c)\&times;2^p---\left(9\right)$

偶分组的局部二元模式ELBP:

$\mathrm{ELBP}=\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}s(g_{2(p+1)}-g_c)\&times;2^p---\left(10\right).$

7.如权利要求1或6所述奇、偶分组的局部二元模式的人脸表情识别方法，其特征是，所述Uniform模式是OLBP和ELBP的二进制编码被视为首尾链接的环形时，至多存在两处由0到1或是1到0的转换，即

$|s(g_7-g_c)-s(g_1-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2p+1}-g_c)-s(g_{2p-1}-g_c)|\&le;2---\left(11\right)$

$|s(g_8-g_c)-s(g_2-g_c)|+\underset{p=0}{\overset{3}{\mathrm{\&Sigma;}}}|s(g_{2(p+1)}-g_c)-s(g_{2p}-g_c)|\&le;2---\left(12\right)$

而把其他所有多于两处转换的所有编码置为非Uniform模式。

Images