CN103778434A - 一种基于多分辨率多阈值局部二值模式的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多级分辨率多阈值局部二值模式的人脸识别方法，属于模式识别技术领域。本方法针对局部二值模式难以获取人脸人脸面部器官的位置的空间结构信息，同时LBP算子采用局部区域邻居像素点与中心像素点的大小关系进行编码容易受到噪声影响，使用不同的阈值进行LBP编码图像，最后通过不同的划分方式来获取人脸的局部与整体信息，这样提取MRTLBP特征的信息更具有鉴别力。并将其作为人脸的鉴别特征用于分类识别。采用最近邻分类器进行分类识别。实验分析表明，本发明具有较强的人脸特征表示能力对光照，表情以及姿态具有较高的鲁棒性。

Description

一种基于多分辨率多阈值局部二值模式的人脸识别方法

技术领域

本发明涉及模式识别技术领域，特别涉及基于多分辨率多阈值局部二值模式（LBP）的人脸识别方法。

背景技术

人脸识别是模式识别、图像分析与理解等领域的典型研究课题，不仅在理论上具有重要价值，而且在安全、金融等领域具有重要的应用前景，因此在学术界和产业界都受到了广泛的关注，目前已经出现了一些实用的商业系统。然而，由于图像采集条件和人脸自身属性的变化都可能使得同一人的不同照片表观差别很大，增加了识别难度。因此，提高人脸识别系统对这些变化的鲁棒性成为该领域研究人员的重要目标之一。

小波变换在空间域和频率域具有良好的局部化特征，因其具有良好的特性，使其在各个领域得到广泛的应用。小波分解能够分解出目标信息不同频率段的信息，获取到的这些特征往往是是有利于分类的信息。使用离散小波对图像进行不同级数的变换时可以得到不同分辨率的特征，多分辨率图像的特点：把一种分辨率条件下无法获取的人脸特征在另一种分辨率下捕捉到。如果降低图像数据从单一的下采样角度去降低原始图像的数据量，这样只考虑到空域的信息而忽视了频率域的信息，从而使原始图像失真。

局部二值模式（Local Binary Pattern,LBP）方法因其计算简便、特征描述能力强等优点在人脸识别领域得到广泛应用。对人脸图像进行LBP编码时候选用不同阈值会表现出不同尺度下的纹理细节特征，原始的LBP算子在计算LBP编码时只比较了中心像素点与邻居像素点的大小关系，该在描述人脸图像局部区域的细节信息变化情况有较好的效果，但是当图像在剧烈变化的环境条件下就不具备很强的鉴别力。不同人脸图像的差别主要体现在人脸边缘的梯度变化信息上，而这种梯度变化信息对人脸表情，光照等变化有较强的鲁棒性。多阈值LBP计算方法如下：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;c\\ 0& x<c\end{array}\right.,x=g_p-g_c,p=\mathrm{0,1,2},...,P-1---\left(1\right)$

上式g_p表示邻居像素点，g_c表示中心像素点，P表示邻居像素点个数，c表示阈值参数。

${\mathrm{LBP}}_{P,R}(x,y)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p---\left(2\right)$

参照原始LBP方法进行编码得到多阈值LBP特征，如图1所示。

对同一幅人脸图像经过不同的阈值的处理后可以得到更为丰富的特征信息，但是也存在一个问题当选取多个阈值时特征向量的维数会变得很高，过高的维数会影响到分类效果，并且会引起“维数灾难”导致时间和空间开销大，影响系统的性能。针对以上因素本文针对不同的人脸图像选取两个阈值进行编码提取特征。

本发明主要专注如何获取到描述人脸的最佳特征，通过融合局部特征与全局特征在不同阈值下的LBP直方图特征来获取人脸图像的最佳描述。

局部二值模式(LBP)具有出色的局部纹理描述能力，甚至能够解决图像处理当中棘手的移位、旋转、变化光照等问题。虽然LBP本身有很多优点，但是直接采用原始LBP算子进行人脸识别仍然存在一定的问题，表现在以下三个方面：

1.传统LBP算子采用比较局部区域邻居像素点与中心像素点的大小关系进行编码，很容易受到噪声影响；

2.局部二值模式难以获取人脸的空间结构信息，这些空间结构信息主要是指人脸面部器官的位置关系，比如：眼睛、鼻子、嘴巴等，通过对人脸图像进行不同尺度划分模式，也即融合局部空间信息与这些全局空间信息是人脸识别中需要考虑的因素；

3.传统LBP算子提取纹理信息时普适性较差，在不同的环境条件下不同的人脸图像，选取合适的阈值进行特征提取，可以获取人脸图像的细节信息与纹理信息，这样获取的特征信息更为丰富。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种可以降低噪声的干扰、降低了数据量的基于多分辨率多阈值局部二值模式的人脸识别方法，本发明的技术方案如下：

1、一种基于多分辨率多阈值局部二值模式的人脸识别方法，其包括以下步骤：

101、获取原始人脸图像，并采用Haar小波变换对原始人脸图像进行两级分解,得到两幅分辨率分别为A与B的一级分辨率图像与二级分辨率图像，其中A≠B，一级分辨率图像作为测试集，二级分辨率图像作为训练集；

102、将步骤101中的一级分辨率图像均分为n×n个子模块，并对每个子模块采用LBP算法分别求取阈值为c1和c2时的一级分辨率图像LBP特征谱；同时对步骤101中的二级分辨率图像采用LBP算法求取阈值分别为c1和c2时的二级分辨率图像LBP特征谱；

103、将步骤102中得到的每个子模块的一级分辨率图像LBP特征谱分别转化为子模块直方图，及将二级分辨率图像LBP特征谱转化为二级直方图，然后将子模块直方图与二级直方图级联成一个全局直方图，并得出所述全局直方图的测试集人脸图像直方图向量P、Q；

104、采用卡方χ²距离函数计算步骤103中得到的测试集人脸图像直方图向量P、Q与所有训练集人脸图像直方图向量的距离χ²(P,Q)，χ²(P,Q)的计算公式为

P_i，j、Q_i，j分别为分区R_j中第i级灰度直方图特征向量；

105、计算步骤104中得到距离χ²(P,Q)最小的一组值，并将对应的训练集人脸图像的类别归属为该测试图片的类别。

进一步的，步骤102中LBP算法如下：

${\mathrm{LBP}}_{R,R}(x,y)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p,$ 其中 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;c\\ 0& x<c\end{array}\right.,x=g_p-g_c,p=\mathrm{0,1,2},...,P-1$

式中g_p表示邻居像素点，g_c表示中心像素点，P表示邻居像素点个数，c表示阈值参数。

进一步的，步骤102中将一级分辨率图像均分为3×3个子图像块。

本发明的优点及有益效果如下：

本发明提出了多分辨率多阈值LBP特征方法，首先对原始图像使用Haar小波进行两级小波分解，对两级分解图像采用不同的分块，一级分解图像采用3×3的分块，二级分解图像采用整体分块。再对不同分块不同分解图像上采用两种阈值进行求取每一块的LBP特征，基于这一做法有以下优点：首先，小波分解本身是通过滤波提取低频分量可以降低噪声的干扰；其次，在分解后的多分辨率图像上运用不同阈值LBP提取不同阈值尺度下的特征，使提取到的特征信息更丰富；最后，经小波变换后的逼近图像均是上一级图片数据量的四分之一，在一定程度上降低了数据量。

附图说明

图1是本发明自定义阈值LBP特征值的求解示意图；

图2是多级分辨率多阈值人脸图像处理示意图；

图3是人脸识别流程图。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。

1.获取MRTLBP特征

（1）对原始人脸图像采用Haar小波进行两级分解得到两幅不同分辨率的分解图像，一级分辨率图像如图2(c)所示，二级分辨率图像如图2(d)所示；

（2）对一级分解图像进行划分为3×3个等大小互不重叠的子图像块，如图2(c)所示，二级图像不采取划分整体作为一个子块，如图2(d)；

（3）对一级分解的各个子图像块分别求取两个不同阈值下的LBP特征谱，二级分解图像求取两个阈值下的LBP特征谱,如图2(c1)、(c2)、(d1)、(d2)所示；

1.MRTLBP特征获取过程

首先对获取到的多分辨率图像下的不同阈值LBP的特征谱转换为直方图，直方图转换方式如下

$H_i={\mathrm{\&Sigma;}}_{x,y}I\{f(x,y)=i\},i=\mathrm{0,1},...,n-1---\left(3\right)$

其中： $I\left\{A\right\}=\left\{\begin{array}{cc}1& \mathrm{A\; is\; true}\\ 0& \mathrm{A\; is\; false}\end{array}\right.---\left(4\right)$

H=(H₀,H₁,...,H_n-1)    (5)式(3)中的n指直方图的n个bin（维度），即n种取值，H_i是当前第i个bin所对应的特征值数量，如式(5)所示，如果f(x,y)中的特征值与对应的i相等则I{A}取值为1，否则为0，式(3)通过统计1的数量来得到H_i的值，将所有的H_i求出即得到该子区域的直方图特征。然后将所有子区域直方图级联成一个全局直方图，其定义如下：

$H_{i,j}=\underset{(x,y)\&Subset;R_j}{\mathrm{\&Sigma;}}I\{f(x,y)=i\},i=\mathrm{0,1},...,n-1;j=\mathrm{0,1},...,m-1---\left(6\right)$

ψ=(H_0,0,H_1,0,...,H_n-1,0,H_0,1,...,H_n-1,1,...,H_i,j,...,H_n-1,m-1)    (7)

其中，ψ是指m个子区域直方图向量级联成一个人脸特征向量，H_i,j表示在子区域R_j中第i级灰度值的数目，R_j表示经过划分后第j块区域，n为直方图的维数，m为划分后人脸图像区域数。

ψ_MRTLBP=(ψ_1,c1,ψ_1,c2,ψ_2,c1,ψ_2,c2)    (8)

式(8)中ψ_1,c1表示式(7)中ψ在一级分解图像下LBP阈值为c1时求取的直方图特征，ψ_MRTLBP表示MRTLBP直方图特征对人脸图像进行描述。

（4）统计各个子块的直方特征，将所有子块直方图级联为一个整体人脸图像特征向量。

2.求直方图之间的χ²（卡方）距离

对步骤1所得到的增强直方图，采用χ²距离函数计算测试集人脸图像的增强直方图与所有训练集人脸图像的增强直方图的χ²距离。

采用距离函数来计算测试集人脸图像直方图向量与所有训练集人脸图像直方图向量距离。距离的计算如式(9)：

$x^2(P,Q)=\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{m-1}{\mathrm{\&Sigma;}}}\frac{{(P_{i,j}-Q_{i,j})}^2}{P_{i,j}+Q_{i,j}}---\left(9\right)$

其中P、Q是由式(8)求取的两张人脸图像的直方图特征向量。实验流程图如3所示。

3.采用最近邻分类器进行分类识别

最近邻分类器是人脸识别中简单高效的一种分类方法，将各个直方图之间的χ²距离进行比较，从中选出距离最小的一类，作为测试集图像所属的类别。

采用ORL、Yale A及PIE人脸库作为实验数据库。

ORL人脸数据库是剑桥大学实验室拍摄的一系列人脸图像。包含40人的400幅人脸图像，每人10副人脸图像，这些人脸图像包括不同光照，不同的表情(睁眼/闭眼、笑/不笑)，不同面部细节(戴或不戴眼镜)以及20%以内的姿态的深度旋转与平面旋转变化。图像大小被裁剪为64×64，灰度级为256。

Yale A人脸数据库耶鲁计算机视觉和控制中心组建，库中有15个人，每人11幅共计165幅图像。图中每幅人脸图片均有较大的变化，表情变化（高兴、悲伤）、光照强度及角度变化（左光源、右光源）、遮挡（戴眼镜、不戴眼镜）。

PIE人脸数据库包含68个人，每个人包括不同的姿态，表情及光照子集，共41368张照片，采用其中的光照子集（C27），每个21张不同光照下的照片，将所有图像的人脸部位提取出来形成新的人脸库，每张大小为64×64，灰度级为256。

实验在三个人脸数据库均采用Set1～Set5五个训练集进行，ORL实验的训练集图像数分别为每人1张、3张、5张、7张和9张，余下的图像即为测试集图像。采用本发明的方法，对以上数据集进行测试。Yale A实验的训练集图像数分别为每人1张、3张、5张、7张和9张，余下的图像即为测试集图像。采用本发明的方法，对以上数据集进行测试。PIE实验的训练集图像数分别为每人6张、9张、12张、15张和18张，剩下图像为测试集图像。

表1、表2和表3的实验结果分别表示ORL、Yale A和PIE人脸库上两种方法的识别率对比。其中，LBP表示特征提取步骤采用局部二值模式（LBP）方法，MRTLBP表示特征提取采用多分辨率多阈值特征(MRTLBP)方法。表1给出了两种方法在ORL人脸库上的识别率对比，表1表明，在ORL人脸库上的识别率以及平均识别率上，MRTLBP方法优于LBP方法；表2给出了两种方法在Yale A人脸库上的识别率对比，表2表明，在PIE人脸库上的识别率以及平均识别率上，MRTLBP方法优于LBP方法；表3给出了两种方法在PIE人脸库上的识别率对比，表3表明，在PIE人脸库上识别率以及平均识别率上，MRTLBP方法优于LBP方法。

表1两种方法在ORL人脸库上的识别率对比

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明方法权利要求所限定的范围。

Claims (3)

1.一种基于多分辨率多阈值局部二值模式的人脸识别方法，其特征在于，包括以下步骤：

101、获取原始人脸图像，并采用Haar小波变换对原始人脸图像进行两级分解,得到两幅分辨率分别为A与B的一级分辨率图像与二级分辨率图像，其中A≠B，一级分辨率图像作为测试集，二级分辨率图像作为训练集；

102、将步骤101中的一级分辨率图像均分为n×n个子模块，并对每个子模块采用LBP算法分别求取阈值为c1和c2时的一级分辨率图像LBP特征谱；同时对步骤101中的二级分辨率图像采用LBP算法求取阈值分别为c1和c2时的二级分辨率图像LBP特征谱；

103、将步骤102中得到的每个子模块的一级分辨率图像LBP特征谱分别转化为子模块直方图，及将二级分辨率图像LBP特征谱转化为二级直方图，然后将子模块直方图与二级直方图级联成一个全局直方图，并得出所述全局直方图的测试集人脸图像直方图向量P、Q；

104、采用卡方χ²距离函数计算步骤103中得到的测试集人脸图像直方图向量P、Q与所有训练集人脸图像直方图向量的距离χ²(P,Q)，χ²(P,Q)的计算公式为 $x^2(P,Q)=\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{m-1}{\mathrm{\&Sigma;}}}\frac{{(P_{i,j}-Q_{i,j})}^2}{P_{i,j}+Q_{i,j}},$ P_i，j、Q_i，j分别为分区R_j中第i级灰度直方图特征向量；

105、计算步骤104中得到距离χ²(P,Q)最小的一组值，并将对应的训练集人脸图像的类别归属为该测试图片的类别。

2.根据权利要求1所述的基于多分辨率多阈值局部二值模式的人脸识别方法，其特征在于：步骤102中LBP算法如下：

${\mathrm{LBP}}_{P,R}(x,y)=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p,$ 其中 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;c\\ 0& x<c\end{array}\right.,x=g_p-g_c,p=\mathrm{0,1,2},...,P-1$

式中g_p表示邻居像素点，g_c表示中心像素点，P表示邻居像素点个数，c表示阈值参数。

3.根据权利要求1所述的基于多分辨率多阈值局部二值模式的人脸识别方法，其特征在于：步骤102中将一级分辨率图像均分为3×3个子图像块。

Images