CN109543656A

CN109543656A - 一种基于dcs-ldp的人脸特征提取方法

Info

Publication number: CN109543656A
Application number: CN201811538789.0A
Authority: CN
Inventors: 赵君喜; 焦阳
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2019-03-29

Abstract

本发明公开了一种基于DCS‑LDP的人脸特征提取方法，首先，将预处理后的表情图像的每一像素点的3×3邻域像素灰度值与八个方向的Kirsch模板算子做卷积，得到八个方向的边缘响应值；然后，结合邻域灰度值均值，从水平、垂直和对角线三个梯度方向对每一方向的响应值做比较，得到八位二进制DCS‑LDP码；对表情图像的所有像素进行DCS‑LDP二进制编码得到DCS‑LDP码图；最后，将DCS‑LDP码图按照设定块数和像素进行分块处理，使用直方图统计分块处理后的每块图像，级联所有分块的直方图，实现对人脸特征的提取操作；本发明具有较好的人脸特征识别稳定性及泛化能力，可广泛应用于人脸表情识别等图像处理领域。

Description

一种基于DCS-LDP的人脸特征提取方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于DCS-LDP(Difference Center-Symmetric Local Directional Pattern，差值中心对称的局部方向模式)的人脸特征提取方法。

背景技术

人脸表情识别技术，狭义的讲是指借助计算机，用图像处理和模式识别算法来实现表情的类别判断。近年来，人脸表情识别研究已经取得了较大进展，在远程教育、安全驾驶、安全监控以及临床医学等方向拥有广阔的应用前景。

人脸表情识别的一般步骤为人脸图像的获取和预处理、表情特征提取和分类识别。其中表情特征提取是最重要的步骤，对整个系统识别率以及识别速度起着决定性的作用。从特征提取方法上分析，大体可分为基于全局特征与基于局部特征的方法。基于全局特征侧重于对整体信息进行描述，常用的有主成分分析(Principal Component Analysis,PCA)，线性判别分析(Linear Discriminant Analysis,LDA)等算法，全局方法对光照、姿态、表情以及遮挡等复杂变化比较敏感；基于局部特征方法则侧重于对局部细节的描述，常用的算法有梯度直方图(Histogram of Oriented Gradients，HOG)、Gabor滤波、局部二值模式(Local Binary Pattern,LBP)及其改进算法等，对光照、姿态、表情复杂变化表现得更为鲁棒。

其中基于LBP的特征提取方法在纹理分析和人脸识别应用中取得了显著的成果，并涌现出很多新的改进方法。但LBP算法只能在灰度空间提取人脸的一阶特征信息，对非单调光照变化和随机噪声比较敏感。为了克服LBP算子的缺陷，Jabid等人提出一种基于局部方向模式(Local Directional Pattern，LDP)的人脸特征表示方法，该算法在梯度空间提取人脸特征的多阶信息，并可以充分利用局部边缘梯度信息，使得人脸识别率相应提高。近年来，很多学者对LDP方法进行了改进。李照奎等人提出一种基于差值局部方向模式的算法(DLDP)，该方法考虑了邻边缘响应值之间的强度变化。Zhong等人提出一种基于增强型局部方向模式(ELDP)的算法，由于只考虑最大和次最大边缘响应值情况，忽略了负值情况下人脸信息，造成信息提取不完全。Rivera等人提出一种基于局部方向数模式(LDN)的算法，只考虑最大与最小边缘值情况，在人脸信息的提取上能力有限。

传统LDP算法存在三个显著的问题。一是忽略了中心像素的作用；二是k的取值问题，k＝3是经过大量实验后得到的经验值，而且无论是细节比较多的边缘区域还是细节特征较少的平滑区域，对所有像素采用同一k值，造成特征提取不足或冗余，实验证明，k的取值会对识别结果有较大的影响；三是特征提取效率低，每个像素点在生成8个方向的边缘响应值后，还要耗费一定时间对其绝对值进行排序，但最终只提取种模式，局限性较大。

发明内容

本发明目的是针对上述现有技术中人脸特征提取识别效果、稳定性和识别时间难以取得平衡的问题，提供一种基于DCS-LDP的人脸特征提取方法，该方法可以提取得到更有效、更具鉴别力的纹理细节特征，且具有较好的识别稳定性和泛化能力，具体技术方案如下：

一种基于DCS-LDP的人脸特征提取方法，所述方法包括步骤：

S1、选择预设数量的样本人脸图像，并将所述样本人脸图像灰度化处理，旋转灰度化处理后的样本人脸图像，将两眼连线对准水平面计算处两眼间距离，根据所述距离从灰度化处理后的所述样本人脸图像裁剪出只含正面人脸表情的矩形状表情图，使用直方图均衡化算法增强所述表情图的对比度，并将所有所述表情图归一化处理为120×120像素大小；

S2、构建东、东北、北、西北、西、西南、南、东南八个方向的Kirsch模板算子其中，i＝0,...,7，并依次将Kirsch模板算子与所述表情图中每一像素点的3×3邻域像素灰度值做卷积操作后获取所述表情图的边缘信息，基于所述边缘信息得到与所述八个方向对应的八个边缘响应值；

S3、基于所述表情图中每一像素点的灰度值及3×3邻域像素灰度值计算3×3邻域像素灰度值的均值，结合所述均值从水平、垂直和对角线三个梯度方向比较八个所述边缘响应值与3×3邻域像素灰度值均值的大小，得到八位二进制DCS-LDP码，基于所述DCS-LDP码对每一所述表情图的所有像素进行DCS-LDP二进制编码得到对应的DCS-LDP码图；

S4、将每一所述表情图的DCS-LDP码图按照指定像素和指定块数做不重叠的分块处理，并统计每一块的直方图，将所述直方图按顺序级联得到对应每一所述表情图的特征向量。

进一步的，在步骤S4后还包括：

S5、利用SVM分类器对所述样本人脸图像做表情分类识别，根据所述分类识别的结果结合所述特征向量得到人脸识别率和误判表情数。

进一步的，所述步骤S5包括：

对应生气，厌恶，害怕，高兴，中性，伤心，惊喜七种表情特征将所有所述样本人脸图像以1、2、3、4、5、6、7做类别标号，并将所述样本人脸图像按照指定概率划分为测试集或训练集；

将所述训练集及每一所述样本人脸图像对应的所述类别标号输入SVM分类器进行模型训练；

将所述测试集中每一所述样本人脸图像输入SVM分类器得到每一样本人脸图像的类别标号，并将所述类别标号与对应测试集中的标记的类别标号对比，若类别标号一致，则表明识别正确，否则，则表面图片识别出现误判。

进一步的，将每一所述样本人脸图像按照10％的概率分为测试集，将每一所述样本人脸图像按照90％的概率分为训练集。

进一步的，所述步骤S5还包括：采用十折交叉验证方法采用SVM分类器进行预设数量的识别操作，并取所述预设数量中识别正确和误判的均值。

进一步的，所述样本人脸图像从指定的数据库中提取得到。

本发明的基于DCS-LDP的人脸特征提取方法，首先，计算得到样本人脸图像只含表情的矩形状表情图，通过将表情图尺寸归一化为相同像素大小后，通过卷积操作得到表情图东、东北、北、西北、西、西南、南、东南八个方向的边缘响应值；然后，指定某一像素点并计算所述像素点的邻域像素灰度值均值，结合所述均值对边缘响应值从水平、垂直和对角线三个梯度方向进行大小比较，从而得到八位二进制DCS-LDP码；基于得到的DCS-LDP码对表情图像的所有像素进行DCS-LDP二进制编码得到DCS-LDP码图；最后，通过将DCS-LDP码图按照设定规则分块后统计每一块直方图，采用级联的方式提取得到表情图对应表情的特征向量；同时为了验证本发明方法的提取特征的有效性，本发明还通过SVM分类器对各样本人脸图像进行识别操作，以验证基于本发明方法提取得到的特征向量对人脸表情的识别率；与现有技术相比，本发明可以提取得到更多有效、更具鉴别力的人脸的纹理细节特征，可有效提升通过特征识别的方式对表情的识别率，且对非单调光照和随机噪声情况下的人脸识别具有更佳的鲁棒性。

附图说明

图1为本发明实施例中所述基于DCS-LDP的人脸特征提取方法的流程图图示意；

图2为本发明实施例中所述的八个方向的Kirsch模板算子示意；

图3为本发明实施例中3×3邻域的DCS-LDP码示意；

图4为本发明实施例中指定像素为中心的响应值及其八个方向的边缘响应值示意；

图5为本发明实施例中加入不同方差的高斯白噪声后的表情图示意；

图6为本发明实施例中CK+人脸表情数据库和JAFFE人脸表情数据库的样本人脸图像示意；

图7为本发明实施例中DCS-LDP算法不同噪声下各类表情的识别率示意图；

图8为本发明实施例中CK+人脸表情数据库在不同特征提取方法下的表情识别率示意。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

参阅图1，在本发明实施例中，提供了一种基于DCS-LDP的人脸特征提取方法，具体包括步骤：

S1、选择预设数量的样本人脸图像，并将样本人脸图像灰度化处理，旋转灰度化处理后的样本人脸图像，将两眼连线对准水平面计算处两眼间距离，根据所述距离从样本人脸图像裁剪出只含正面人脸表情的矩形状表情图，使用直方图均衡化算法增强样本人脸图像指定区域指定部分的对比度，并将所有表情图归一化处理为120×120像素大小；具体的，本发明中的样本人脸图像从指定的数据库中提取得到，例如CK+人脸表情数据库、JAFFE人脸表情数据库等，当然，对此，本发明并不进行限制和固定，可根据实际的情况进行选择。

S2、构建东、东北、北、西北、西、西南、南、东南八个方向的Kirsch模板算子其中，i＝0,...,7，具体可参阅图2；并依次将与表情图中每一像素点的3×3邻域像素灰度值做卷积操作后获取表情图的边缘信息，基于边缘信息得到八个方向对应的八个边缘响应值。

在本发明实施例中，首先，假设表情图为I，I中每个像素点为(x,y)，即(x,y)∈I，并假设每个像素点(x,y)的3×3邻域像素灰度值为g_i(i＝0,...,7)，此时，通过公式分别对上述八个方向的模板算子进行卷积操作，提取得到边缘信息erv_i(i＝0,...,7)，并基于所述边缘信息得到对应上述八个方向的八个边缘响应值ERV＝{erv₀,…,erv₇}；结合图3，图示为表情图的中心像素点灰度值为g_c＝60的像素点的边缘响应值；然后，对获取的边缘响应值取绝对值，得到如图4所示的值M＝{m₀,…,m₇}。

S3、结合3×3邻域像素灰度值均值，从水平、垂直和对角线三个梯度方向比较八个所述边缘响应值及邻域灰度值均值的大小，得到八位二进制DCS-LDP码，对每一所述表情图的所有像素进行DCS-LDP二进制编码得到DCS-LDP码图。

具体的，本发明利用公式计算中心点像素点与其3×3邻域像素灰度值的均值m_c，记为中心响应值，计算得到之后，分别比较水平、垂直和对角线八个方向的响应值大小，参阅图4，其中，若该方向上两端的值都大于中心值，则说明该方向有明显的变化，编码为1；否则为0，具体可通过如下三个公式计算：

具体包括公式和公式以及公式

S4、将每一所述表情图按照指定像素和指定块数做不重叠的分块处理，并统计每一块的直方图，将所述直方图按顺序级联得到对应每一所述表情图的特征向量。

本实施例将表情图以6×6不重叠分块的方式分为20×20像素大小的子图，并对每一块子图进行直方图统计，具体的，本发明的DCS-LDP具有2⁸中模式，即每一块子图的特征为256维，然后按照顺序级联所有分块得到的直方图，即可得到表示对应表情图中人脸特征的特征向量，即表示相应表情的特征向量，本实施例中特征向量的维度为256×6×6；当然，本发明的方法也适用于5×5等其他不重叠分块的方式，6×6方式仅为较佳实施例；由此可知，若用N表示某一人脸表情数据库的图像数量，M为特征向量的维度，则可将人脸表情数据库的所有图片的特征向量组成N×M的矩阵A。

为了验证本发明的人脸特征提取方法的效果，本发明在提取了特征向量后，通过利用SVM分类器对样本人脸图像做表情分类识别，根据分类识别的结果结合所述特征向量得到人脸识别率和误判表情数，具体过程为：

首先，对应生气，厌恶，害怕，高兴，中性，伤心，惊喜七种表情特征将所有样本人脸图像以1、2、3、4、5、6、7做类别标号，并将每一样本人脸图像按照10％的概率分为测试集，按照90％的概率分为训练集；然后，得到随机生成的测试集和训练集，将训练集及每一样本人脸图像对应的类别标号输入SVM分类器进行模型训练；最后，将测试集中每一样本人脸图像输入SVM分类器得到每一样本人脸图像的类别标号，并将类别标号与对应测试集中的标记的类别标号对比，若类别标号一致，则表明识别正确，否则，则表面图片识别出现误判；优选的，本发明采用十折交叉验证方法采用SVM分类器进行预设数量的识别操作，并取预设数量中识别正确和误判的均值，例如进行十次的识别过程，识别正确的概率和出现误判的概率取10次的均值来计算得到。

实施例二

为验证本发明的有效性，将本发明的方法从识别率和对噪声及光照的鲁棒性等方面与基于LDP、LDN的特征提取方法进行对比；实验数据为CK+人脸表情数据库，包括生气，厌恶，害怕，高兴，中性，伤心，惊喜七种表情，共1029张人脸表情图片，以及JAFFE人脸表情数据库，同样包括包括生气，厌恶，害怕，高兴，中性，伤心，惊喜七种表情，共213张人脸表情图片；部分人脸表情图可参阅图6；且实验均采用SVM分类器进行表情识别，具体可参阅上述关于SVM分类器的表情识别过程，在此不再进行赘述：

首先，如上述步骤S1对人脸图像进行处理，其中，在JAFFE人脸表情库上进行分块实验，分别将JAFFE表情库的人脸图像进行4×4、5×5、6×6、8×8、10×10不重叠分块，得到的识别率和误判数如表一所示。

表一不同分块模式下的识别率

分块	4×4	5×5	6×6	8×8	10×10
						识别率	90.42％	95.34％	98.52％	97.12％	96.53％
误判数	21	12	4	6	8

结合表一可知，随着对人脸图像分块数的增多，提取的信息更加丰富，识别率逐渐增高；但超过一定数量后，会造成特征冗余，导致识别率下降；在表情分类时，识别速度也随着特征的维度增高而变慢。

然后，在JAFFE人脸表情数据库上进行噪声实验；结合图5，分别向JAFFE表情库添加均值为0，方差为0、0.01、0.015、0.02的高斯白噪声后的人脸图像；并分别在方差为0、0.01、0.015、0.02的噪声表情集上进行DCS-LDP特征提取，同时与LDP、LDN算法进行对比，参阅表二并结合图7，比较可知，本发明算法整体具有较高的识别率；随着噪声的加入，三种算法识别率整体呈现下降趋势，但在每一种噪声下，本发明方法都有较高的识别率；随着噪声方差的增大，本发明的方法的识别率下降幅度最小，说明本发明算法与LDP、LDN算法相比，对噪声具有较强的鲁棒性。

表二加入不同噪声后的识别率

方差	0	0.01	0.015	0.02
					DCS-LDP	98.52％	96.05％	94.95％	90.15％
LDP	96.16％	92.42％	88.34％	83.90％
					LDN	97.78％	94.13％	91.66％	88.21％

由于JAFFE数据库图片数较少，而且图片之间没有明显的光照变化，为了体现本发明方法的普遍适用性，进一步在数据量较大的CK+人脸表情数据库上采用本发明的方法进行仿真实验，并与LDP、LDN算法进行对比；参阅表三和图8，本发明方法与LDP算法相比，总识别率提高了3.29％，比LDN算法提高了1.31％；对于各类表情的识别率而言，本发明的方法在三种算法中也都是最高的；且本发明方法在提取特征时充分考虑了八个方向的边缘响应值在水平、垂直和对角线方向上的梯度信息，保留了更多人脸的局部信息，有利于将难以区别的表情区别开，所以识别率有所提高。请再次参阅图6左侧的人脸图片数据，从中可知，在CK+人脸表情数据库的人脸图像具有不同的明暗光照，采用本发明的方法亦可以取得较高的识别率，即本发明对光照变化具有较强的鲁棒性。

表三不同特征提取方法下的识别率

	识别率(％)	误判数
			DCS-LDP	95.53	51
LDP	92.24	82
			LDN	94.22	63

综上可知，本发明的方法对光照和噪声具有较强的鲁棒性，与传统LDP以及另一种改进LDP算法(LDN算法)相比，同样具有更好的识别率；且在不同的人脸表情数据库中，都能较好地描述人脸不同表情之间的纹理变化特征，具有较好的识别稳定性及泛化能力，可广泛应用于人脸表情识别等图像处理领域。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims

1.一种基于DCS-LDP的人脸特征提取方法，其特征在于，所述方法包括步骤：

2.如权利要求1所述的基于DCS-LDP的人脸特征提取方法，其特征在于，在步骤S4后还包括：

3.如权利要求2所述的基于DCS-LDP的人脸特征提取方法，其特征在于，所述步骤S5包括：

4.如权利要求3所述的基于DCS-LDP的人脸特征提取方法，其特征在于，将每一所述样本人脸图像按照10％的概率分为测试集，将每一所述样本人脸图像按照90％的概率分为训练集。

5.如权利要求3所述的基于DCS-LDP的人脸特征提取方法，其特征在于，所述步骤S5还包括：采用十折交叉验证方法采用SVM分类器进行预设数量的识别操作，并取所述预设数量中识别正确和误判的均值。

6.如权利要求1～5任一项所述的基于DCS-LDP的人脸特征提取方法，其特征在于，所述样本人脸图像从指定的数据库中提取得到。