CN102163283A

CN102163283A - 一种基于局部三值模式的人脸特征提取方法

Info

Publication number: CN102163283A
Application number: CN201110136807.4A
Authority: CN
Inventors: 马争; 蒋思洋; 鲍琎
Original assignee: University of Electronic Science and Technology of China
Current assignee: Houpu Clean Energy Group Co ltd
Priority date: 2011-05-25
Filing date: 2011-05-25
Publication date: 2011-08-24
Anticipated expiration: 2031-05-25
Also published as: CN102163283B

Abstract

一种基于局部三值模式的人脸特征提取方法，属于图像处理技术领域。首先对原始人脸图像进行下采样构建人脸图像金字塔，然后计算各层图像中所有像素点的LTP特征，再将所有像素点的LTP特征分成正、负两部分LTP子特征，分别统计人脸图像金字塔中各层图像的正、负LTP子特征值直方图，最后将正、负LTP子特征值直方图所对应的向量H₊和H_-按顺序连接起来作为最终原始人脸图像I(x，y)的特征。本发明利用了LTP特征的局部特性和各局部LTP特征直方图的统计特性，实现了局部特征和全局特征的统一，相较于较常采用的LBP特征，LTP特征对噪声具有更好的抑制效果。所提取出的特征具有旋转不变和灰度不变的特点，在光照条件变化、人脸表情、姿态变化的影响下也能够精确地提取到人脸特征。

Description

一种基于局部三值模式的人脸特征提取方法

技术领域

本发明属于图像处理技术领域，主要涉及生物特征鉴别中的人脸识别技术。

背景技术

在当今信息化时代，如何准确鉴定一个人的身份，保护信息安全是一个必须解决的关键社会问题。为此，生物特征鉴别技术悄然新起，并成为目前世界信息安全管理领域的前沿研究课题。生物特征鉴别技术是指利用人体所固有的生理特征或行为特征来进行个人身份鉴定。人脸识别技术是生物特征鉴别技术的一个分支，是计算机图像处理技术和模式识别技术在个人身份识别领域的应用。在不同的生物特征识别方法中，人脸识别(Automatic Face Recognition)有其自身特殊的优势，因而在生物识别中有着重要的地位。与其它生物识别技术相比较，人脸识别具有：(1)非侵扰性。人脸识别无需干扰人们的正常行为就能较好地达到识别效果，无需担心被识别者是否愿意将手放在指纹采集设备上，他们的眼睛是否能够对准虹膜扫描装置等，而进行人脸识别却只要在摄像机前自然地停留片刻，用户的身份就会被正确识别。(2)采集设备简单，使用快捷。一般来说，常见的摄像头就可以用来进行人脸图像的采集，不需特别复杂的专用设备。采集一般可在数秒内完成。(3)通过人脸识别身份，与人类的习惯一致。也就是说，人和机器都可以使用人脸图片进行识别，这使得人和机器可以配合工作。人脸自动识别技术，在居民小区、公司单位的门禁系统、银行、公安、机场、网络等方面应用广泛，具有巨大的经济价值和现实意义。现在它已经使用在边境检查、通观认证、银行提款、信息管理和建筑物安全管理等，还可以使人们摆脱记忆信用卡号、银行帐号、身份证号、网络登录号的繁琐。在2008年北京奥运会和2010年上海世博会的现场都使用了人脸识别技术来对入场人员进行安全检测。

在人脸识别技术中，主要有以下两个步骤：(1)从待检测人脸图像中进行特征提取；(2)将提取出的特征送到人脸判别式中进行评估判断。对整个人脸图像特征的提取是人脸识别的第一步，它通过合适的算法，从待检测的人脸图像中提取最具有区分性的特征作为整幅图像的描述。特征提取的好坏直接影响人脸检测和定位系统的识别率。在实际中，人脸区域常常受到头发、眼镜、胡子和一些饰物的遮挡，并且复杂的光照、人脸表情、姿势的变化也将加大人脸特征提取的难度。排除外界的干扰，快速精确的提取适当的人脸特征，并对其进行数学模型的描述是我们研究的主要问题。

现在通常使用的人脸识别的方法大致有以下两种：

1.基于全局特征的人脸识别。全局的特征包括人的肤色，脸型，五官在整个脸部的分布情况等。基于全局的人脸识别方法是将整个人脸整体看作是一个特征，不需要对人脸的局部特征点进行检测。基于特征脸的PCA(主成分分析)方法就是其中的一种。

2.基于混合特征的人脸识别。混合特征既包括全局特征，也包括局部特征。在人脸识别中，一种被普遍接受的说法是：全局特征一般被用来进行粗略的匹配，局部特征则提供更加精确的确认。

发明内容

本发明提供一种基于局部三值模式(Local Ternary Patterns，LTP)的人脸特征提取方法，该方法利用LTP特征的局部特性和各局部LTP特征所组成的直方图的统计特性，一定程度上实现了局部特征和全局特征的统一，相较于较常采用的LBP特征，LTP特征对噪声具有更好的抑制效果。最后提取出的特征具有旋转不变和灰度不变的特点，在光照条件变化、人脸表情、姿态变化的影响下也能够精确地提取到人脸特征，从而使得后续基于LTP特征的人脸识别具有更高的准确率。

为了下面发明内容的描述，现将一些将要用到的术语进行解释。

定义1：LBP。LBP是局部二值模式(Local Binary Patterns)的首字母缩写，特征模型如图1所示。对于某一像素点而言，其LBP特征向量为该像素点的八邻域像素点的灰度值与中心点灰度值相比较的结果(其八邻域像素点中，灰度值大于等于中心像素点灰度值的，相应LBP编码为1；灰度值小于中心像素点灰度值的，相应LBP编码为0)，将任一中心像素点的所有LBP编码按顺序排列起来，就是该中心像素点的LBP特征向量。LBP特征向量的LBP编码起始位置和顺序可自行选择，但是当起始位置和顺序选定过后，所有的LBP特征向量必须按照统一的起始位置和顺序进行计算。

定义2：LTP。LTP是局部三值模式(Local Ternary Patterns)的首字母缩写，特征模型如图2所示。对于某一像素点而言，其LTP特征向量为该像素点的八邻域像素点的灰度值与中心点灰度值相比较的结果(其八邻域像素点中，若b＞a+t，则相应LTP编码为1；若b＜a-t，则相应LTP编码为-1；若a-t≤b≤a+t，则相应LTP编码为0；其中b为邻域像素点灰度值，a为中心像素点灰度值，t为设定的阈值)。将任一中心像素点的所有LTP编码按顺序排列起来，就是该中心像素点的LTP特征向量。LTP特征向量的LTP编码起始位置和顺序可自行选择，但是当起始位置和顺序选定过后，所有的LTP特征向量必须按照统一的起始位置和顺序进行计算

定义3：下采样。对于一个样值序列间隔一定的值取样，这样得到新序列就是原序列的下采样序列。

定义4：高斯滤波器。利用高斯函数作为卷积核生成的尺度滤波器。

定义5：DOG(Difference of Gaussian：高斯差分)滤波器。高斯差分滤波器是高斯拉普拉斯(LOG)滤波器的逼近，它是两个不同方差的高斯函数的差，是一个带通滤波器。利用不同方差的高斯低通滤波器可以方便的得到DOG滤波器，它能较好地反应人们的视觉特性。

定义6：PCA。PCA是Principal Component Analysis(主成份分析)的缩写，其主要思想是：利用一组为数不多的特征尽可能精确地表示模式样本。

本发明技术方案如下：

一种基于局部三值模式的人脸特征提取方法，如图4所示，包括以下步骤：

步骤1：构建人脸图像金字塔。

设原始人脸图像为I(x，y)，其中x≤M，y≤N，M、N分别表示原始人脸图像的行数和列数；对原始人脸图像为I(x，y)进行采样因子为2的下采样，形成人脸图像金字塔，所述人脸图像金字塔的底层图像为原始人脸图像为G₀(x，y)＝I(x，y)，底层图像的上一层为G₁(x，y)＝G₀(2x，2y)，则底层图像上第i层图像为G_i(x，y)＝G_i-1(2x，2y)。

步骤2：计算步骤1所述人脸图像金字塔中各层图像所有像素点的LTP特征值。

每一层图像的LTP特征谱计算方式为：首先以顺序计算该层图像中每一像素点的LTP特征向量；然后将每一像素点的LTP特征向量改写成正、负两部分LTP子特征向量；再将每一像素点的正、负两部分LTP子特征向量所对应的二进制数转换成十进制数，得到对应像素点的正、负两部分LTP子特征值。

其中，每个像素点的LTP特征向量的计算方式为：将中心像素点的灰度值与其八邻域像素点的灰度值进行比较，若b＞a+t，则相应LTP编码为1；若b＜a-t，则相应LTP编码为-1；若a-t≤b≤a+t，则相应LTP编码为0；其中b为邻域像素点灰度值，a为中心像素点灰度值，t为设定的阈值；将中心像素点的八邻域LTP编码按顺序排列起来，就是该中心像素点的LTP特征向量。LTP特征向量的LTP编码起始位置和顺序可自行选择，但是当起始位置和顺序选定过后，所有的LTP特征向量必须按照统一的起始位置和顺序进行计算。

其中，正LTP子特征向量由LTP特征向量改写而成，改写时将LTP特征向量中所有为“-1”的LTP编码置为“0”，其余LTP编码不变；负LTP子特征向量由LTP特征向量改写而成，改写时将LTP特征向量中所有为“-1”的LTP编码置为“1”，所有为“1”的LTP编码置为“0”，其余LTP编码不变。

步骤3：分别统计人脸图像金字塔中各层图像的正、负LTP子特征值直方图。

步骤4：将人脸图像金字塔中各层图像的正、负LTP子特征值直方图分别写成向量形式，并分别记为H₊和H_-，向量的维数由低向高的顺序与LTP子特征值直方图中的LTP子特征值相对应，向量中的元素为对应LTP子特征值下的统计数。

步骤5：将所有人脸图像金字塔中各层图像的向量H₊和H_-按顺序连接起来作为最终原始人脸图像I(x，y)的特征。

上述技术方案中：

1、步骤1在下采样构建人脸图像金字塔过程中，最好先对底层图像先进行滤波处理再下采样构建上层图像，以减小噪声影响。滤波时所用的滤波器可采用高斯滤波器、DOG滤波器或小波多尺度滤波器。

2、步骤2计算LTP特征向量时，阈值t的取值范围适当时，能够使得LTP编码对于噪声具有更好的抑制效果，其取值范围为[2，10]，尤其是当t＝5时具有最佳的效果。

3、步骤2在计算各层图像的LTP特征谱时，为了减少计算量，可以只选取人脸图像金字塔中的n层图像来计算LTP特征谱，但是n层图像的选取原则应当统一，且n的取值范围为[4，6]为宜。

4、步骤3分别统计人脸图像金字塔中各层图像的正、负LTP子特征值直方图时，可将每层图像划分成互不重叠的多个区域，分别统计各区域的正、负LTP子特征值直方图，然后再合成该层图像统一的正、负LTP子特征值直方图。这样分块处理的目的是能够充分利用PC平台的并行处理能力，以提高人脸特征的提取速度。

5、步骤5中将有人脸图像金字塔中各层图像的向量H_i+和H_i-按顺序连接起来作为最终原始人脸图像I(x，y)的特征时，可以先将人脸图像金字塔中各层图像的正、负LTP子特征值直方图对应的向量H₊和H_-分别组合成两个矩阵：H₊和H_-，然后采用主成分分析法(PCA)对矩阵H₊和H_-进行降维处理，最后将降维处理后的矩阵H₊和H_-中的所有行向量按顺序连接起来作为最终原始人脸图像I(x，y)的特征。

本发明的有益效果是：

本发明提供了一种基于局部三值模式的人脸特征提取方法，首先对原始人脸图像进行下采样构建人脸图像金字塔，然后计算各层图像中所有像素点的LTP特征，再将所有像素点的LTP特征分成正、负两部分LTP子特征，分别统计人脸图像金字塔中各层图像的正、负LTP子特征值直方图，最后将人脸图像金字塔中各层图像的正、负LTP子特征值直方图所对应的向量H₊和H_-按顺序连接起来作为最终原始人脸图像I(x，y)的特征。本发明利用了LTP特征的局部特性和各局部LTP特征所组成的直方图的统计特性，一定程度上实现了局部特征和全局特征的统一，相较于较常采用的LBP特征，LTP特征对噪声具有更好的抑制效果。最后提取出的特征具有旋转不变和灰度不变的特点，在光照条件变化、人脸表情、姿态变化的影响下也能够精确地提取到人脸特征，从而使得后续基于LTP特征的人脸识别具有更高的准确率。

附图说明

图1是LBP算子示意图。其中(a)是原始图像局，(b)是中心像素点的LBP特征，(c)是中心像素点的LBP特征值。

图2是LTP算子示意图。

图3是LTP算子分解为正负两个LBP算子示意图。

图4是本发明流程示意图。

具体实施方法

本发明的方法在Matlab工具中进行仿真，并且使用VS2008软件进行了C++语言的实现。所采用的平台是Windows XP SP3+PC Intel Celeron 2.53GHZ。

下面以给出一个具体的本发明的实现例。

需要说明的是：下例中的参数并不影响本专利的一般性。

针对128*128大小的原始人脸图像，采用DOG滤波器进行滤波后进行采样因子为2的下采样分层，得到8层图像金字塔，选取其中第3～8层采用特征提取各层图像的LTP特征值，然后分别统计第3～8层人脸图像金字塔中各层图像的正、负LTP子特征值直方图，再将人脸图像金字塔中各层图像的正、负LTP子特征值直方图所对应的向量H₊和H_-分别组合成矩阵H₊和H_-，最后采用主成分分析法(PCA)对矩阵H₊和H_-进行降维处理，最后将降维处理后的矩阵H₊和H_-中的所有行向量按顺序连接起来作为最终原始人脸图像I(x，y)的特征。

Claims

1.一种基于局部三值模式的人脸特征提取方法，包括以下步骤：

步骤1：构建人脸图像金字塔；

设原始人脸图像为I(x，y)，其中x≤M，y≤N，M、N分别表示原始人脸图像的行数和列数；对原始人脸图像为I(x，y)进行采样因子为2的下采样，形成人脸图像金字塔，所述人脸图像金字塔的底层图像为原始人脸图像为G₀(x，y)＝I(x，y)，底层图像的上一层为G₁(x，y)＝G₀(2x，2y)，则底层图像上第i层图像为G_i(x，y)＝G_i-1(2x，2y)；

步骤2：计算步骤1所述人脸图像金字塔中各层图像所有像素点的LTP特征值；

每一层图像的LTP特征谱计算方式为：首先以顺序计算该层图像中每一像素点的LTP特征向量；然后将每一像素点的LTP特征向量改写成正、负两部分LTP子特征向量；再将每一像素点的正、负两部分LTP子特征向量所对应的二进制数转换成十进制数，得到对应像素点的正、负两部分LTP子特征值；

其中，每个像素点的LTP特征向量的计算方式为：将中心像素点的灰度值与其八邻域像素点的灰度值进行比较，若b＞a+t，则相应LTP编码为1；若b＜a-t，则相应LTP编码为-1；若a-t≤b≤a+t，则相应LTP编码为0；其中b为邻域像素点灰度值，a为中心像素点灰度值，t为设定的阈值；将中心像素点的八邻域LTP编码按顺序排列起来，就是该中心像素点的LTP特征向量。LTP特征向量的LTP编码起始位置和顺序可自行选择，但是当起始位置和顺序选定过后，所有的LTP特征向量必须按照统一的起始位置和顺序进行计算；

步骤3：分别统计人脸图像金字塔中各层图像的正、负LTP子特征值直方图；

步骤4：将人脸图像金字塔中各层图像的正、负LTP子特征值直方图分别写成向量形式，记为H₊和H_-，向量的维数由低向高的顺序与LTP子特征值直方图中的LTP子特征值相对应，向量中的元素为对应LTP子特征值下的统计数；

2.根据权利要求1所述的基于局部三值模式的人脸特征提取方法，其特征在于，步骤1在下采样构建人脸图像金字塔过程中，先对底层图像先进行滤波处理再下采样构建上层图像，以消除噪声影响。

3.根据权利要求2所述的基于局部三值模式的人脸特征提取方法，其特征在于，滤波时所用的滤波器采用高斯滤波器、DOG滤波器或小波多尺度滤波器。

4.根据权利要求1所述的基于局部三值模式的人脸特征提取方法，其特征在于，步骤2计算LTP特征向量时，阈值t的取值范围为[2，10]。

5.根据权利要求4所述的基于局部三值模式的人脸特征提取方法，其特征在于，阈值t 5。

6.根据权利要求1所述的基于局部三值模式的人脸特征提取方法，其特征在于，步骤2在计算各层图像的LTP特征谱时，只选取人脸图像金字塔中的n层图像来计算LTP特征谱，但是n层图像的选取原则应当统一，且n的取值范围为[4，6]。

7.根据权利要求1所述的基于局部三值模式的人脸特征提取方法，其特征在于，步骤5将所有人脸图像金字塔中各层图像的向量H₊和H_-按顺序连接起来作为最终原始人脸图像I(x，y)的特征时，先将人脸图像金字塔中各层图像的正、负LTP子特征值直方图对应的向量H₊和H_-分别组合成两个矩阵：H₊和H_-，然后采用主成分分析法对矩阵H₊和H_-进行降维处理，最后将降维处理后的矩阵H₊和H_-中的所有行向量按顺序连接起来作为最终原始人脸图像I(x，y)的特征。