CN102663426A - 一种基于小波多尺度分析和局部三值模式的人脸识别方法 - Google Patents

Abstract

本发明提供了一种基于小波多尺度分析和局部三值模式的人脸识别方法，涉及模式识别、图像处理和计算机视觉等技术领域。首先选取合适的人脸图像，然后对训练图像作多尺度小波分析，得到一、二级低频逼近图像，使用LTP算子对低频逼近图像进行变换，得到所有像素点的LTP特征值，再分块统计图像的LTP直方图，连接两级图像的分块直方图得到人脸图像的特征向量表示。对于待识别人脸，获得特征向量后，使用概率统计完成人脸识别。本发明方法有效地降低了图像噪声的影响，增强了图像纹理特征抽取能力，鲁棒性强，识别率高，计算速度快，具有十分重要的实用价值。

Description

一种基于小波多尺度分析和局部三值模式的人脸识别方法

技术领域

本发明涉及模式识别、图像处理和计算机视觉等技术领域，特别是一种基于小波多尺度分析和局部三值模式的人脸识别方法。

背景技术

生物特征识别技术是指利用个体特有的生理特征(如指纹、虹膜、人脸、掌纹、视网膜等)或行为特征(如书写、声音、击键等)来达到身份识别和验证目的的一门科学。与传统的身份验证方法相比，生物特征识别突出的优势表现在生物特征可以从根本上杜绝伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安全性和可用性。在众多的生物特征中，指纹、虹膜、声音和人脸广泛得到采用。其中人脸由于包含着极其丰富的信息，作为最重要的人体生物特征之一，在计算机视觉、模式识别和多媒体技术等研究领域都占有非常重要的地位。人脸识别是这样一种定义，即在给定的图像或视频中，利用已有的人脸图像数据库来鉴别一个或多个人脸对应的身份。 

人脸识别方法易受到不同光照、表情、姿势、噪声等多方面的影响。如何为人脸提取合适的特征进行描述是人脸识别的关键。经典方法如主成分分析(PCA)，通过为训练数据集寻找最佳的投影方向来获取图像的全局特征，这种方法尽管很好地描述人脸，但容易受到光照、位置等因素影响，且当维数过高时不适用。上海大学王衍等(CN 102024141A)提出融合Gabor小波变换和局部二值模式的方法，解决了高维数据下特征难以提取的问题，然而对图像在40个Gabor滤波器上做卷积运算极大增加了方法的复杂度，图像噪声的存在也会影响方法的性能。

发明内容

技术问题：  为了克服现有技术存在的上述问题，本发明提供了一种基于小波多尺度分析和局部三值模式(Local Binary Patterns, LTP)的人脸识别方法。该方法融合了小波多尺度分析和LTP算法的优点，具有很好的抗噪特性，在光照、表情、姿态的变化下也能很好地提取人脸特征，鲁棒性强，计算速度快，显著提高了人脸识别率。

技术方案： 本发明的基于小波多尺度分析和LTP的人脸识别方法，包括如下步骤：

1）图像选取，选取合适的人脸图像训练样本与待识别样本；

2）对训练集中的人脸图像进行多尺度小波分析，通过小波分解后，得到原始图像的一级低频逼近图像、二级低频逼近图像；

3) 针对步骤2)得到的一、二级低频逼近图像，用LTP算子分别对图像进行变换，得到对应图像的所有像素点的LTP特征值；

4) 采用图像分块方法，分别统计每幅图像每一块的正负LTP子特征值直方图，连接分块LTP直方图得到整个图像的正负LTP直方图；

5) 连接原始人脸图像的一、二级低频逼近图像的正负LTP直方图，得到原始人脸图像的特征向量表示；

6) 对于待识别的人脸，由步骤2)-步骤5)得到待识别人脸图像的特征向量表示，使用                                                概率统计进行人脸的识别，得到最终识别结果。

其中：

步骤2) 所述的小波分解是使用Coiflets小波对训练图像进行分解；（对于一幅给定图像，使用Coiflets小波函数进行变换，可以得到图像对应的小波系数，将小波系数分解成四个组，为水平和垂直方向的低频系数组、水平方向的低频和垂直方向的高频系数组、水平方向的高频和垂直方向的低频系数组、水平和垂直方向的高频系数组。每一组系数构成相应的子带图像，其中水平和垂直方向的低频系数组构成的低频子带图像包含丰富的细节信息，是方法所需的图像。）

所述的一级低频逼近图像是使用Coiflets小波对训练图像进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的一级低频逼近图像，一级低频逼近图像的大小为原图像的四分之一，

所述的二级低频逼近图像是在一级低频逼近图像的基础上，使用Coiflets小波对其进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的二级低频逼近图像，二级低频逼近图像的大小为原图像的十六分之一。

步骤3)所述的LTP算子即局部三值模式算子，其计算方法是：针对图像上任一区域的任意像素点，将其与邻域上八个像素点的灰度值作比较，若p>c+t，则LTP编码值为1；若p<c-t，则编码值为-1；若c-t≤p≤c+t，则LTP编码值为0；其中p为邻域像素点的灰度值，c为中心像素点的灰度值，t为设定的阈值；从左上角开始，以顺时针方向排列八个编码值可得到中心像素点的LTP特征向量。

针对任意像素点的LTP特征向量，将其改写为正LTP子特征向量和负LTP子特征向量，其方法为：将向量中所有的-1设为0，其余不变，得到正LTP子特征向量；将向量中所有的1设为0，所有-1设为1，其余不变，得到负LTP子特征向量；正、负子特征向量均为一个8位二进制数，改写为10进制整数，就可分别得到该像素点的正负LTP子特征值；特征值的大小限制在0到255之间。

步骤4)所述的图像分块方法是指，对图像区域进行划分，

所述的统计直方图方法，是根据LTP算子的旋转不变性，从0-255个灰度特征值中选取58个最具代表性的特征值，同时将其余特征值并入第59个特征值中；分离图像的正负LTP子特征值，分别对图像分块统计LTP直方图，然后连接分块LTP直方图得到整幅图像的正负LTP直方图。

步骤6)所述的

概率统计定义如下：

，其中，

和

是被用来比较的两个直方图样本，

是指直方图的第个

，对于两幅人脸图像的直方图相似度，定义为

，其中

指原始图像的第

级低频逼近子图像，是指该级子图像的正LTP直方图和负LTP直方图，

是指当前直方图的第

块LTP直方图，针对待识别样本，将其与训练集中每一幅人脸图像进行计算并统计直方图相似度，训练集中具有最小相似度的人脸图像被认为是与待识别图像最匹配的人脸，从而得到识别结果。

有益效果：本发明提供了一种基于小波多尺度分析和局部三值模式的人脸识别方法，融合了小波多尺度分析和局部三值模式的优点。经小波分解后的低频逼近子图像为一个滤波过程，结合局部三值模式的噪声克服特性，可以有效地降低人脸图像噪声对方法的影响；小尺度的一级逼近子图像包含了原始图像丰富的局部信息，大尺度的二级逼近子图像包含了原始图像的全局信息，使得后续的LTP算子特征提取能够获得更丰富的图像纹理特征，提升人脸识别率；另外，每一级小波分解后的图像为上一级图像的四分之一，降低了图像的维数，从而减少了算法的计算量，方法具有更快的识别速度。总体来说，本发明有效地降低了图像噪声的影响，增强了图像纹理特征抽取能力，鲁棒性强，识别率高，计算速度快，具有十分重要的实用价值。

附图说明

图1为本发明方法工作流程框图；

图2为本发明方法对人脸图像进行多尺度小波分解示意图；

图3为本发明方法使用LTP算子提取图像纹理特征示意图；

图4为本发明方法为人脸图像提取特征向量示意图。

具体实施方式

下面结合具体的实施方式来介绍本发明的技术方案。需要说明的是，实施方式仅加深对技术方案的理解，而对发明不起任何限定作用。

如图1所示，本实施例包括如下步骤：

1)    图像选取，选取合适的人脸图像训练样本与待识别样本。

人脸图像样本从标准人脸库，如ORL、FERET、Yale等人脸数据库上获取，或利用摄像头等设备采集人脸样本。对于采集到的人脸，为了使人脸图像统一，可以对人脸图像进行裁剪、旋转、缩放、预处理等工作，方便其能更好地应用于建库或识别。人脸库应当包含不同的光照、表情、姿势，以使得人脸识别方法能够具有更强的泛化能力。例如，ORL标准人脸库由40个人，每人10幅图像组成，图像涵盖了不同的光照、表情、表情和装饰，图像的大小为92×112。作为实施例，我们选取ORL人脸库每人的前5幅图像作为训练样本，后5幅图像作为待识别样本。

2) 对训练集中的人脸图像进行多尺度小波分析，通过小波分解后，得到原始图像的一级低频逼近图像、二级低频逼近图像。

所述的小波分解是使用Coiflets小波对训练图像进行分解，原始图像经分解后可得到4个子图像，即水平和垂直方向的低频子带图像LL，水平方向的低频和垂直方向的高频子带图像LH，水平方向的高频和垂直方向的低频子带图像HL，水平和垂直方向的高频子带图像HH。

所述的一级低频逼近图像是使用Coiflets小波对训练图像进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的一级低频逼近图像。一级低频逼近图像的大小为原图像的四分之一。

所述的二级低频逼近图像是在一级低频逼近图像的基础上，使用Coiflets小波对其进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的二级低频逼近图像。二级低频逼近图像的大小为原图像的十六分之一。

图2是实施例中对人脸图像进行多尺度小波分解的一个例子，由原始图像1，经Coiflets小波变换后得到一级分解图像2，在一级低频逼近图像的基础上经Coiflets小波变换后得到二级分解图像3。图像4，图像5分别是一级低频逼近图像、二级低频逼近图像的放大效果。

应当说明的是，尽管方法中采取的小波为Coiflets小波，然而方法并不局限于此。用于提取图像信息的小波如Symmetric ，Daubechies 等均可作为方法的可选方案。不同的小波分解后得到的识别率是不一样的。经大量实验后发现，Coiflets能得到最佳的识别效果。在不同应用中，可以根据实际条件来选择小波的类型。

3) 针对步骤2)得到的一、二级低频逼近图像，用LTP算子分别对图像进行变换，得到对应图像的所有像素点的LTP特征值。

所述的LTP算子即是局部三值模式算子，如图3所示，针对图像上任一区域的任意像素点，将其与邻域上八个像素点的灰度值作比较。若p>c+t，则LTP编码值为1；若p<c-t，则编码值为-1；若c-t≤p≤c+t，则LTP编码值为0。其中p为邻域像素点的灰度值，c为中心像素点的灰度值，t为设定的阈值。由于邻域像素点的灰度值都要与中心像素点的灰度值比较，使得模型对中心像素点灰度值过于依赖，合理地选取阈值能够有效地克服对噪声的敏感性。从左上角开始，以顺时针方向排列八个编码值可得到中心像素点的LTP特征向量。

针对任意像素点的LTP特征向量，将其改写为正LTP子特征向量和负LTP子特征向量，其方法为：将向量中所有的-1设为0，其余不变，得到正LTP子特征向量；将向量中所有的1设为0，所有-1设为1，其余不变，得到负LTP子特征向量。正、负子特征向量均为一个8位二进制数，改写为10进制整数，就可分别得到该像素点的正负LTP子特征值。特征值的大小限制在0到255之间。

对于图像边缘的像素点，其周围邻域上的像素点不足八个。采取的方法是忽略边缘上的这部分像素点。由于像素点的数目不大，并且处于人脸的非关键位置，因而不会对识别效果造成大的影响。

对于阈值t的取值，实验发现t取值范围在[2,10]之间能为系统带来好的识别性能。在实施例中，取t=5达到了较好的效果。

4) 采用图像分块方法，分别统计每幅图像每一块的正负LTP子特征值直方图。连接分块LTP直方图得到整个图像的正负LTP直方图。

所述的图像分块方法是指，对图像区域进行划分，以便在统计直方图时，能加入图像的位置信息。划分的方法应随图像的大小来确定，通常2×2到7×7都是比较适合的分块方案。

所述的统计直方图方法，是根据LTP算子的旋转不变性，从0-255个灰度特征值中选取58个最具代表性的特征值，同时将其余特征值并入第59个特征值中。分离图像的正负LTP子特征值，分别对图像分块统计LTP直方图，然后连接分块LTP直方图得到整幅图像的正负LTP直方图。对于一幅图像，假如分块方法为M×N，则得到的正负LTP直方图的向量大小为2×M×N×59。

合理的分块策略能够使LTP算子提取到合理的纹理特征。过大的分块会使LTP算子无法准确提取到人脸图像局部信息，而过小的分块易受到人脸细节的干扰，局部信息和全局信息都会因此受到影响。对于一级低频逼近图像，由于其包含了丰富的人脸细节，应采用较小的分块；对于二级低频逼近图像，包含的主要是人脸的大致轮廓，为全局特征，且图像比较小，应采用较大的分块。在实施例中，我们为一级低频逼近图像分块为3×3，为二级逼近图像分块为2×2。

5) 连接原始人脸图像的一、二级低频逼近图像的正负LTP直方图，得到原始人脸图像的特征向量表示。

综合步骤4)，假如原始图像对应的一级低频逼近图像分块为M₁×N₁，二级低频逼近子图像分块为M₂×N₂，则所述的特征向量的维数大小为(M₁×N₁+M₂×N₂)×2×59。

在实施例中，原始图像对应的一级低频逼近图像分块为3×3，二级低频逼近子图像分块为2×2，则所述的特征向量的维数大小为1534。图4展示了本发明方法从一幅人脸图像中提取特征向量的过程。

6) 对于待识别的人脸，由步骤2)-步骤5)得到待识别人脸图像的特征向量表示，使用概率统计进行人脸的识别，得到最终识别结果。

所述的

概率统计定义如下：，其中，

和

是被用来比较的两个直方图样本，

是指直方图的第

个

。对于两幅人脸图像的直方图相似度，定义为

，其中

指原始图像的第级低频逼近子图像，

是指该级子图像的正LTP直方图和负LTP直方图，

是指当前直方图的第

块LTP直方图。针对待识别样本，将其与训练集中每一幅人脸图像进行计算并统计直方图相似度，训练集中具有最小相似度的人脸图像被认为是与待识别图像最匹配的人脸，从而得到识别结果。

在ORL标准人脸库上的实验验证了本发明具有良好的性能。如表1所示，将本发明方法与经典PCA方法，融合Gabor小波和局部二值模式方法进行对比，分析比较其在识别率及识别速度上的表现。可以看出，PCA方法识别率为88%，融合Gabor小波和局部二值模式方法识别率为91.4%，而我们的方法识别率能达到97%，相比之下要优于其它两种方法。在识别速度上，尽管比不上计算简单的PCA方法，但识别时间完全能够满足应用的需求。实验结果表明，相比于现有技术，本发明方法有很好的图像纹理特征抽取能力，鲁棒性强，识别率高，计算速度快，具有十分重要的实用价值。

表1

Claims (5)

1. 一种基于小波多尺度分析和局部三值模式的人脸识别方法，其特征在于，包括如下步骤：

1）图像选取，选取合适的人脸图像训练样本与待识别样本；

2）对训练集中的人脸图像进行多尺度小波分析，通过小波分解后，得到原始图像的一级低频逼近图像、二级低频逼近图像；

3) 针对步骤2)得到的一、二级低频逼近图像，用LTP算子分别对图像进行变换，得到对应图像的所有像素点的LTP特征值；

4) 采用图像分块方法，分别统计每幅图像每一块的正负LTP子特征值直方图，连接分块LTP直方图得到整个图像的正负LTP直方图；

5) 连接原始人脸图像的一、二级低频逼近图像的正负LTP直方图，得到原始人脸图像的特征向量表示；

6) 对于待识别的人脸，由步骤2)-步骤5)得到待识别人脸图像的特征向量表示，使用                                                概率统计进行人脸的识别，得到最终识别结果。

2.根据权利要求1所述的基于小波多尺度分析和局部三值模式的人脸识别方法，其特征是，步骤2) 所述的小波分解是使用Coiflets小波对训练图像进行分解；

所述的一级低频逼近图像是使用Coiflets小波对训练图像进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的一级低频逼近图像，一级低频逼近图像的大小为原图像的四分之一，

所述的二级低频逼近图像是在一级低频逼近图像的基础上，使用Coiflets小波对其进行分解，得到的水平和垂直方向的低频子带图像LL作为原始图像的二级低频逼近图像，二级低频逼近图像的大小为原图像的十六分之一。

3. 根据权利要求1所述的基于小波多尺度分析和局部三值模式的人脸识别方法，其特征是，步骤3)所述的LTP算子即局部三值模式算子，其计算方法是：针对图像上任一区域的任意像素点，将其与邻域上八个像素点的灰度值作比较，若p>c+t，则LTP编码值为1；若p<c-t，则编码值为-1；若c-t≤p≤c+t，则LTP编码值为0；其中p为邻域像素点的灰度值，c为中心像素点的灰度值，t为设定的阈值；从左上角开始，以顺时针方向排列八个编码值可得到中心像素点的LTP特征向量；

针对任意像素点的LTP特征向量，将其改写为正LTP子特征向量和负LTP子特征向量，其方法为：将向量中所有的-1设为0，其余不变，得到正LTP子特征向量；将向量中所有的1设为0，所有-1设为1，其余不变，得到负LTP子特征向量；正、负子特征向量均为一个8位二进制数，改写为10进制整数，就可分别得到该像素点的正负LTP子特征值；特征值的大小限制在0到255之间。

4. 根据权利要求1所述的基于小波多尺度分析和局部三值模式的人脸识别方法，其特征是，步骤4)所述的图像分块方法是指，对图像区域进行划分，

所述的统计直方图方法，是根据LTP算子的旋转不变性，从0-255个灰度特征值中选取58个最具代表性的特征值，同时将其余特征值并入第59个特征值中；分离图像的正负LTP子特征值，分别对图像分块统计LTP直方图，然后连接分块LTP直方图得到整幅图像的正负LTP直方图。

5. 根据权利要求1所述的基于小波多尺度分析和局部三值模式的人脸识别方法，其特征是，步骤6)所述的

概率统计定义如下：

，其中，

和

是被用来比较的两个直方图样本，

是指直方图的第

个

，对于两幅人脸图像的直方图相似度，定义为

，其中

指原始图像的第

级低频逼近子图像，

是指该级子图像的正LTP直方图和负LTP直方图，

是指当前直方图的第块LTP直方图，针对待识别样本，将其与训练集中每一幅人脸图像进行计算并统计直方图相似度，训练集中具有最小相似度的人脸图像被认为是与待识别图像最匹配的人脸，从而得到识别结果。

Images