CN102136062A

CN102136062A - 一种基于多分辨lbp的人脸检索方法

Info

Publication number: CN102136062A
Application number: CN2011100549867A
Authority: CN
Inventors: 钱学明; 汪欢
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2011-03-08
Filing date: 2011-03-08
Publication date: 2011-07-27
Anticipated expiration: 2031-03-08
Also published as: CN102136062B

Abstract

本发明公开了一种基于多分辨LBP的人脸检索方法，其特征是，包括如下执行步骤：首先对输入的人脸的图像10执行基于多分类器融合的人脸检测单元20；然后执行人脸图像中关键部位的检测单元30；接下来执行人脸图像形状归一化处理单元40；接下来执行关键部位局部区域采样图像单元50；接下来执行多分辨LBP特征描述单元60；接下来执行视觉词汇生成与索引建立单元70；最后执行基于TF-IDF的相似性度量单元80；最终的检索结果在单元90中进行显示。

Description

一种基于多分辨LBP的人脸检索方法

技术领域

本发明是针对现有人脸识别与检索系统中计算复杂度高以及人脸视觉区域判别能力不足等问题提出的，具体涉及一种基于多分辨LBP(local binarypattern，局部二值模式)的人脸检索方法。

背景技术

人脸检索是信息检索与信息安全领域中的一个重要内容。利用人脸信息进行检索也是网络图像视频媒体分析和分类的一个重要环节。在机场，海关等重要的场所检查到得人脸进行身份确认是确定是否非法入境以及和罪犯追踪的重要依据。

以人脸识别为例，在中国专利ZL01136577.3中公开了一种基于部件主分量分析的多模式人脸识别方法。在中国专利ZL200810104401.6中所公开的人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置。现有的专利及文献中大都采用基于部件分析的人脸融合方法进行人脸识别。通常情况下在特征描述中采用Gabor变换的多尺度特征，这种特征描述方法维数很高，但是对于存在大量人脸数据的人脸库而言，现有的人脸识别方法采用基于特征匹配和特征融合的方法来进行。这是一一匹配的方法，其处理的速度受到严重影响，因此本发明中提出采用基于多分辨分析与视觉词汇索引的方法进行快速的人脸检索。有效地提升人脸识别方法的速度和性能。

发明内容

本发明是针对人脸识别方法采用基于特征匹配方法在处理海量人脸数据库中的不足而提出的一种基于多分辨LBP的人脸检索方法。

为达到以上目的，本发明是采用如下技术方案予以实现的：

一种基于多分辨LBP的人脸检索方法，其特征在于，包括下述步骤：对输入的人脸图像10执行基于多分类器融合的人脸检测单元20，进行图像中人脸区域的检测，并用矩形框标出人脸在图像中的位置；然后执行人脸图像中关键部位的检测单元30，对人脸中的两只眼睛的中心，鼻尖以及左右嘴角5个关键部位进行定位；接下来执行人脸图像形状归一化处理单元40，按照左右眼角或者眼睛中心的位置，对输入的图像进行形状归一化处理；接下来执行关键部位局部区域采样图像单元50，以所述的5个关键部位为中心划分成具有一定交叠的栅格，设每个局部区域划分的栅格数目为P*Q，假定两个眼睛中心的距离为L，鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度记为GH，宽度记为GW，分别由如下公式计算得出：GH＝2T/Q；GW＝L/P；接下来执行多分辨LBP特征描述单元60，分别对5个关键部位的局部区域的每个栅格进行多分辨的LBP特征提取；接下来执行视觉词汇生成与索引建立单元70；最后执行基于TF-IDF的相似性度量单元80；最终在检索结果显示单元90中显示检索结果。

上述方案中，所述的多分辨LBP特征描述单元60包括下述步骤：对输入图像61，一次执行如下3个步骤：多级图像滤波与低分辨图像生成步骤62，低分辨图像的空间金字塔采样步骤63，以及多分辨的LBP特征描述步骤64。

所述的视觉词汇生成与索引建立单元70包括下述步骤：首先对于训练的人脸图像71，从现有的图像库中选取10000幅图像作为训练集；然后执行人脸中关键部位的手动标定步骤72，对所选取的人脸图像分别标注其中的关键部位，关建部位包括2个眼睛的中心位置，一个鼻尖和2个嘴角的位置；然后根据标注的人脸中的关键部位，对所选取的训练图像执行人脸图像形状归一化处理步骤73；接下来执行关键部位局部区域采样图像步骤74；然后执行多分辨LBP特征描述步骤75，提取多分辨的LBP特征；最后执行基于K均值聚类的聚类中心生成步骤76，对所选取的图像中的局部区域的局部图像块所对应的LBP特征进行聚类中心生成，在聚类中心生成中，聚类中心的数目K设置为10万个。

本发明所提供的基于多分辨LBP的人脸检索方法与现有的人脸识别方法相比，其有益效果表现在，特征描述中采用多分辨分析的LBP描述方法，该方法的优点是特征即具有抵抗图像在发生尺度变化时的鲁棒性，有有效地降低了算法处理的时间复杂度。另外通对关键位所在的局部区域划分成具有交叠的网格，这种方法有效地凸显了主要区域在人脸检索和识别中的权重。有效地削弱了非重要区域在人脸检索性能的影响。另外基于视觉词汇的检索方法，相对于现有的基于特征匹配方法而言，能够有效地降低匹配中的算法复杂度。

附图说明

以下结合附图及实施例对本发明作进一步的详细说明。

图1为本发明中基于多分辨LBP的人脸检索方法的总体步骤示意图。

图2示例地给出了图1中关键步骤结果示意照片。首先对输入图像10，经过基于多分类器融合的人脸检测单元之后得出的检测结果为照片20；为了后续处理的鲁棒性，在照片20的基础上进行扩展得到显示结果的照片201；在检测结果照片30中，人脸图像中关键部位用黒色圆点标记出来，其中分别为两个眼睛的中心，鼻尖，和两个嘴角共5个关键位置；以照片30中的5个关键点为中心，划分P*Q的网格，照片50中显示了P＝5，Q＝7的情况。对于照片50所划分的网格所对应的局部图像如照片501所示；照片501中每个网格所对应的局部区域如照片502所示；502中的每个局部区域经过多分辨的LBP特征描述之后，进行量化所得出的相应的索引如照片70所示。

图3为图1中多分辨LBP特征执行单元的具体流程。

图4为图像在金字塔采样级数为3的情况下所对应的形式。图像在x-，y-方向上的下采样率分别为Rx＝Ry＝2。其中，图4(a)为原始图像，图4(b)为对图4(a)作下采样图像，图4(c)为对图4(b)作下采样图像，图4(d)为对图4(c)作下采样图像。

图5为图1中训练人脸图像库视觉词汇生成与索引建立执行单元的具体流程。

具体实施方式

图1给出了本发明中基于多分辨LBP的人脸检索方法总体实施步骤结构框图。包含输入的人脸图像单元10，对输入的人脸图像执行基于多分类器融合的人脸检测单元20；然后执行人脸图像中关键部位的检测单元30；接下来执行人脸图像形状归一化处理单元40；接下来执行关键部位局部区域采样图像单元50；接下来执行多分辨LBP特征描述单元60；接下来执行视觉词汇生成与索引建立单元70；最后执行基于TF-IDF的相似性度量单元80；最终的检索结果在单元90中进行显示。

本发明执行步骤20中对于输入的人脸图像进行基于多分类器融合的人脸检测方法采用公知的方法(P.viola and M.Jones，“Rapid Object Detection usinga boosted cascade of simple features，”in Proc.CVPR 2001)进行图像中人脸区域的检测，并用矩形框标出人脸在图像中的位置。图2中示例地给出了一幅输入的人脸图像10，经过多分类器融合的方法检测之后得出的人脸区域图像为照片20。在照片20的基础上进行扩展得到显示结果照片201。

在图1的人脸图像中关键部位的检测单元30中，实现对人脸中的两只眼睛的中心，鼻尖以及左右嘴角5个关键部位进行定位。其中关键部位的定位方法采用现有公开文献中的方法(L.Iang，R.Xiao，F.Wen，and J.Sun，“facealignment via component based discriminative search”，in Proc.ECCV 2008)。图2中示例显示了5个关键部位的检测结果照片30。

在眼睛定位的基础上，图1中所示的人脸图像形状归一化处理单元40按照左右眼角(或者中心)的位置，对输入的图像进行形状归一化处理。这形状归一化处理的方法可以将人脸进行对齐，并且进行尺度和旋转的消除。

在图1中的关键部位局部区域采样图像单元50中，以5个关键部位为中心划分成具有一定交叠的栅格。将设每个局部区域划分的网格数目为P*Q。假定两个眼睛中心的距离为L，鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度(记为GH)和宽度(记为GW)分别由如下公式计算得出：

GH＝2T/Q

GW＝L/P

在图2的照片50中直观显示了P＝7；Q＝5的划分形式向的5个关键部位局部区域的栅格在原图上的对应关系。相应的5个局部区域的栅格形式如图2中的照片501所示，其中每个栅格中的局部图像块在照片502中直观地予以显示。

在图1中的多分辨的LBP特征提取单元60中，分别对5个关键部位的局部区域的每个栅格，进行多分辨的LBP特征提取。基本的LBP特征提取的方法可参照文献(T.Ojala，M.Pietikainen，and M.Maenpaa.Multiresolutiongray-scale and rotation invariant texture classification with local binary patterns.IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.24，2002，pp.971-987.)。本发明中的多分辨LBP特征描述方法如图3所示。其中包括对输入图像61，一次执行如下3个步骤：多级图像滤波与低分辨图像生成步骤62，低分辨图像的空间金字塔采样步骤63，以及多分辨的LBP特征描述步骤64。设f(x，y)表示原始输入图像，G_l(x，y)表示滤波和采样的级数为l时的金字塔图像。G_l(x，y)与f(x，y)具有如下关系：

\{\begin{matrix} G_{1} (x, y) = f (x, y), l = 1 \\ G_{l} (x, y) = \underset{m}{Σ} \underset{n}{Σ} κ (m, n) G_{l - 1} (R_{x} x + m, R_{y} y + n), l > 1 \end{matrix}

其中Rx与Ry分别表示在x-与y-方向上的空间金字塔图像的采样率。Rx＝Ry＝1是表示不采样(也即滤波后的图像与原始图像大小相同)，当Rx＝Ry＝2时，采样后的图像大小是上一级图像大小的1/4。本发明中的采样率的选取自由度很大，但推荐采用Rx＝Ry＝2的采样形式。κ(m，n)表示滤波器的核函数。当其为高斯核时，κ(x，y)具有如下的表达形式：

κ (x, y) = \frac{1}{2 π σ_{x} σ_{y}} \exp [- \frac{1}{2} (\frac{x^{2}}{σ_{x}^{2}} + \frac{y^{2}}{σ_{y}^{2}})]

其中σ_x与σ_y分别表示高斯滤波器在x-与y-方向上的标准差。本发明中滤波器的选择可以是多种形式的，可以是高斯核函数，也可以采用区域加权的滤波器，也可以采用小波变换的核函数。虽然本发明中核函数的选取自由度很大，但是我们推荐采用小波变换核，并且选取小波基为“DB2”(关于小波核函数在本领域内是公知的，在此不作累述)。

图4中直观地显示了，采样级数为3时所得出的采样图像图。虽然采样的级别数可以任意设定，本发明中推荐采样级别数为5。在多分辨的LBP特征描述步骤64中，执行对步骤63中所得出的不同分辨率的图像用LBP特征进行描述。本发明在LBP特征描述中采用邻域为8(p＝8)，半径为1(r＝1)的LBP特征。关于LBP特征描述在公开发表的论文中有详细的描述，并且在本领域内是公知的，在此不作累述。在LBP特征描述中，可以采用原始的LBP特征，uniform LBP以及Uniform-Rotation Invariant LBP，在p＝8，r＝1时其维数分别是256，59和10。在级数L＝5时，其相应的LBP的特征维数为256*2＝1280，59*5＝295，和5*10＝50。

在图1中的视觉词汇生成与索引建立单元70中，实现对输入图像中每个局部块对应的多分辨LBP特征用训练样本图像的聚类中心(也成为视觉词汇或者视觉码书)进行量化，并获得其相应的索引号。视觉词汇生成方法是采用在量化中采用K-means方法(K均值聚类方法)。具体而言其中包括如图5所示的6个步骤。

首先对于训练的人脸图像71，我们从现有的图像库中选取10000幅图像作为训练集。然后执行人脸中关键部位的手动标定步骤72，对所选取的人脸图像分别标注其中的关键部位。该关建部位包括2个眼睛的中心位置，一个鼻尖和2个嘴角的位置。然后根据标注的人脸中的关键部位，对所选取的训练图像执行人脸图像形状归一化处理步骤73。接下来执行关键部位局部区域采样图像步骤74。其中采样的步骤和方法与图1中所示的单元50相同。然后执行多分辨LBP特征描述步骤75，提取多分辨的LBP特征。最后执行基于K均值聚类的聚类中心生成步骤76，对所选取的图像中的局部区域的局部图像块所对应的LBP特征进行聚类中心生成。在聚类中心生成中，聚类中心的数目K设置为10万个。

假设K个聚类中心为C^k(k＝1，...，K)，当前块所对应的特征为F，其相应的视觉码书的标号确定方法如下

K_{0} = \arg \min_{k} {| | C^{k} - F | |}^{d};

k＝1，...，K

其中，取d＝2(表示欧氏距离)。

在图1中的基于TF-IDF的相似性度量单元80中，执行基于TF-IDF的相似性对量。其中的TF-IDF方法在本领域内是一种公知的方法。在该方法中是将如图1所示的5个关键部位中每个栅格(共5*5*7＝175)所对应的视觉词汇作为查询项，然后度量一个给定的人脸图像与人脸库中每个图像相似性。

在图1中的检索结果显示单元90中，按照相似度由大到小的顺序对结果进行排序。

Claims

1.一种基于多分辨LBP的人脸检索方法，其特征在于，包括下述步骤：对输入的人脸图像(10)执行基于多分类器融合的人脸检测单元(20)，进行图像中人脸区域的检测，并用矩形框标出人脸在图像中的位置；然后执行人脸图像中关键部位的检测单元(30)，对人脸中的两只眼睛的中心，鼻尖以及左右嘴角5个关键部位进行定位；接下来执行人脸图像形状归一化处理单元(40)，按照左右眼角或者眼睛中心的位置，对输入的图像进行形状归一化处理；接下来执行关键部位局部区域采样图像单元(50)，以所述的5个关键部位为中心划分成具有一定交叠的栅格，设每个局部区域划分的栅格数目为P*Q，假定两个眼睛中心的距离为L，鼻尖到眼睛中心垂直距离为T，那么在栅格划分中的栅格的高度记为GH，宽度记为GW，分别由如下公式计算得出：GH＝2T/Q；GW＝L/P；接下来执行多分辨LBP特征描述单元(60)，分别对5个关键部位的局部区域的每个栅格进行多分辨的LBP特征提取；接下来执行视觉词汇生成与索引建立单元(70)；最后执行基于TF-IDF的相似性度量单元(80)；最终在检索结果显示单元(90)中显示检索结果。

2.如权利要求1所述的基于多分辨LBP的人脸检索方法，其特征在于，所述的多分辨LBP特征描述单元(60)包括下述步骤：对输入图像(61)，一次执行如下3个步骤：多级图像滤波与低分辨图像生成步骤(62)，低分辨图像的空间金字塔采样步骤(63)，以及多分辨的LBP特征描述步骤(64)。

3.如权利要求1所述的基于多分辨LBP的人脸检索方法，其特征在于，所述的视觉词汇生成与索引建立单元(70)包括下述步骤：首先对于训练的人脸图像(71)，从现有的图像库中选取10000幅图像作为训练集；然后执行人脸中关键部位的手动标定步骤(72)，对所选取的人脸图像分别标注其中的关键部位，关建部位包括2个眼睛的中心位置，一个鼻尖和2个嘴角的位置；然后根据标注的人脸中的关键部位，对所选取的训练图像执行人脸图像形状归一化处理步骤(73)；接下来执行关键部位局部区域采样图像步骤(74)；然后执行多分辨LBP特征描述步骤(75)，提取多分辨的LBP特征；最后执行基于K均值聚类的聚类中心生成步骤(76)，对所选取的图像中的局部区域的局部图像块所对应的LBP特征进行聚类中心生成。