CN103902964B

CN103902964B - 一种人脸识别方法

Info

Publication number: CN103902964B
Application number: CN201210590165.XA
Authority: CN
Inventors: 李志锋; 龚迪洪; 乔宇; 刘建庄; 汤晓鸥
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2012-12-31
Filing date: 2012-12-31
Publication date: 2017-06-23
Anticipated expiration: 2032-12-31
Also published as: CN103902964A

Abstract

本发明适用于人脸识别技术领域，提供了一种人脸识别方法，所述方法包括：对原始的测试人脸图像进行预处理；采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出所述测试人脸图像的原始码字；统计每个原始码字的频率分布，基于学习的LBP编码对原始码字进行编码得到一组新码字，基于编码后生成的新码字，计算所述测试人脸图像的LBP特征；根据所述测试人脸图像的LBP特征对所述测试人脸图像进行识别。本发明，可以使得编码生成的新的码字的概率分布更加均匀，因而最终的编码空间更加紧凑，具有更高的信息熵，从而保留更多的原始信息，更具有辨识力。

Description

一种人脸识别方法

技术领域

本发明属于人脸识别技术领域，尤其涉及一种人脸识别方法。

背景技术

自动人脸识别一直以来是一个非常重要并且极具挑战性的研究课题。其困难的原因主要来源于以下两个方面：(1)、人脸具有很强的结构相似性。不同人的脸部构成都是相似的（均是由眼睛、嘴巴、鼻子等部位构成，而且这些部位都在比较固定的位置）；（2）、同一个人的脸部图像在不同年龄、不同表情、不同光线等情况下会有很大的变化。

在人脸识别中，通常称不同个体之间的人脸差异为人脸类间变化，而称相同个体在不同情况下的人脸变化为人脸类内变化。一般而言，在人脸识别尤其在跨年龄阶段人脸识别中，类内变化通常会大于类间变化，这造成了人脸识别的巨大困难。

一般而言，在人脸类内变化中，基于年龄的人脸变化是最突出的变化之一。在实际生活中，这也是极为常见的一种变化。比如身份证照片是以前拍摄的，失踪儿童的照片也是以前拍摄的。在互联网上的数以亿计的人脸照片均是以前拍摄的。它们都具有显著的年龄变化。而且更重要的是人脸年龄的变化同时也蕴含了其它各种类型的变化（比如姿势、光线、表情等的变化），因此近年来对人脸年龄变化的研究已成为国际上一个新的热点和难点。

如何解决人脸年龄变化对人脸识别算法和系统的影响已成为人脸识别系统必须面对的一个关键问题，因此迫切需要一种能有效解决跨年龄阶段人脸识别问题的算法和系统。

迄今为止，国际上对跨年龄阶段的人脸识别的研究也不是很成熟。大部分的相关研究都是基于人脸年龄的估计和不同年龄阶段的人脸的仿真。尽管这类算法取得了一定的效果，但是它们具有如下局限性。首先，构造这样的生成型模型非常困难，而且在很多情况下年龄补偿的效果并不好，反而引入了很多噪声，对后期的识别反倒起负作用。其次，人脸老化过程是非常复杂的，它涉及到人的生理、心理、遗传、生活和工作习惯、人生经历等多方面的因素，难以用一个固定的生成型模型来精确表达。此外这类算法需要一些格外的信息，比如人脸的年龄信息，但是在很多应用场合我们往往缺乏这类信息。因此这类算法的有效性和实用性受到很大的限制。

近年来国际上开始尝试用判别型模型来解决跨年龄阶段的人脸识别问题。其中一个很经典的方法是采用提取局部人脸特征，比如提取局部二值模式（Local BinaryPatterns，LBP）和尺度不变特征转换（Scale-invariant featuretransform，SIFT））来做特征表达，然后采用非级联子空间模型的分类方法来做特征分类。这种方法不仅是跨年龄阶段人脸识别研究的一个很前沿的结果，虽然取得了一定的成功，但是依旧存在一些局限性，比如：

（1）采用了传统的特征描述符（例如LBP和SIFT等）来提取通用的人脸局部特征，而传统的LBP算法是基于经验编码的方式，如U2编码来得到最终的特征表达，而在跨年龄阶段人脸识别中，采用基于经验的编码方式（例如U2编码）并不是特别恰当，因为在跨年龄阶段的人脸数据中，有些实际出现频率很高的编码码字并不包含在U2编码内，因此如果简单采用U2编码的话将会丢失这部分信息。

（2）在特征分类部分，将所有的训练数据放在一起同时训练出一个子空间模型来进行分类。但是在大规模数据量的情况下，这种做法难以充分利用到训练集里的丰富信息，因而最终的识别性能将受到影响。

综上所述，现有技术提供的人脸识别方法，对跨年龄阶段人脸的识别能力比较差。

发明内容

本发明实施例提供了一种人脸识别方法，旨在解决现有技术对跨年龄阶段人脸的识别能力比较差的问题。

一方面，提供一种人脸识别方法，所述方法包括：

A、对原始的测试人脸图像进行预处理；

B、采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出所述测试人脸图像的原始码字；

C、统计每个原始码字的频率分布，基于学习的LBP编码对所述原始码字编码得到一组新码字，基于编码后生成的新码字，计算所述测试人脸图像的LBP特征；

D、根据所述测试人脸图像的LBP特征对所述测试人脸图像进行识别。

在本发明实施例，采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出待测试人脸图像的原始码字，对年龄的变化更具有鲁棒性。另外，进行编码时，首先统计每个原始码字的频率分布；然后基于学习的LBP编码对原始码字编码以得到一组更优的新码字，和原始码字相比，新码字具有分布概率更平均、紧凑性更强等优点。基于编码后生成的新码字，可得到所述测试人脸图像的LBP特征；基于这种LBP特征对待测试人脸图像进行识别。这种处理过程，可以使得编码生成的新的码字的概率分布更加均匀，因而最终的编码空间更加紧凑，具有更高的信息熵，从而保留更多的原始信息，更具有辨识力。

附图说明

图1是本发明实施例一提供的人脸识别方法的实现流程图；

图2是本发明实施例一提供的划分为多个子窗口的人脸图像示意图；

图3是本发明实施例二提供的人脸识别方法的实现流程图；

图4a是本发明实施例二提供的对训练子集A1，A2进行处理后形成的m个子空间的过程示意图；

图4b是本发明实施例二提供的对训练子集B1，B2进行处理后得到投影矩阵PB以及中心化向量VB的过程的示意图；

图4c是本发明实施例二提供的测试人脸图像进行子空间分析的过程的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出待测试人脸图像的原始码字，对年龄的变化更具有鲁棒性。另外，进行编码时，首先统计每个原始码字的频率分布；然后采用基于学习的LBP编码对原始码字编码以得到一组更优的新码字；最后基于编码所得到的新码字对待测试人脸图像进行识别。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的人脸识别方法的实现流程，详述如下：

在步骤S101中，对原始的测试人脸图像进行预处理。

在本实施例中，对于原始的测试人脸图像，先做以下预处理，具体预处理的步骤包括：

步骤1、对原始的测试人脸图像进行适当的旋转，以保证测试人脸图像位于水平位置，具体做法是使两眼的连线和水平线平行。

步骤2、对测试人脸图像进行适当的放缩，以保证测试人脸图像中两眼的距离是一个固定值。

步骤3、将测试人脸图像中的非人脸部分（比如背景等部分）切除，只保留人脸部分，切割后的人脸图像尺寸为200*150。

步骤4、对割好后的测试人脸图像做直方图均衡，以补偿光线的变化。

需要说明的是，对训练人脸图像，在提取LBP特征之前，也需要进行预处理，预处理的过程与测试人脸图像的处理过程相同。

在步骤S102中，采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出所述测试人脸图像的原始码字。

和传统的人脸图像整体外观特征描述方式相比，局部特征往往能够更有效地在不同尺度和不同方向上描述人脸图像特征，因而对人脸图像的几何变形和光线变化具有更强的鲁棒性。

因此本发明实施例采用基于局部特性的LBP特征描述而不是传统的整体LBP特征描述。但是和国际上常用的基于某些关键点来提取局部特征的做法不同，本实施例对整幅人脸图像采用光栅扫描方式以提取更全面更完整的局部特征。我们称这种做法为“整体中有局部，局部中又有整体”。

具体过程详述如下：如图2所示，先选定一个小窗口（尺寸为16*16），然后把该窗口放置于人脸图像的左上角，按照光栅扫描的次序，从左到右、从上到下，均匀移动该窗口来全覆盖的扫描整幅人脸图像，来提取我们所需的LBP特征。为了保证扫描连续性，每次窗口滑动的距离为窗口尺寸的一半（8pixel）。每次我们基于该窗口内的信息用一种合适的描述子来提取局部特征，然后再移动该窗口来提取下一窗口内的局部特征，一直到该窗口移动到整幅人脸图像的右下角为止。为了使得特征具有更好的鲁棒性，我们采用多尺度LBP算子。实际的应用中采用了半径为1、3、5、7的多尺度LBP算子来提取各个窗口的LBP特征。最后把提取出的所有这些特征排成一个列向量，在本实施例中，该列向量的维度为97920，以方便后续处理，这些列向量中存储的是整幅人脸图像的原始码字。这种做法的优点在于既可以有效的提取局部的信息，又不会遗漏整体的信息。

在步骤S103中，统计每个原始码字的频率分布，基于学习的LBP编码对原始码字进行编码得到一组新码字，基于编码后生成的新码字，计算所述测试人脸图像的LBP特征。

近年来，在众多的提取局部特征的图像描述子中，LBP描述子由于其简单有效而得到人们越来越多的重视和应用。LBP的基本原理在于：用1和0描述给定的中心点与其相邻的8个像素点之间的大小关系，然后沿水平方向排序成一个8bit的二进制数值（从0到255，一共有256种可能性），同时采用U2编码把这256种分布的直方图压缩成一个59种分布的直方图，然后从这个直方图的统计特性得到最终的LBP特征表达。U2编码是一种经验式编码，其编码方法是通过观察一般图像U2编码的码字分布规律而总结出来的。经验认为，对大多数图像而言，U2码字具有很高的出现频率，因而被广泛使用。然而，在这个跨年龄段人脸识别问题上，我们发现不少U2码字的出现频率并不高，而很多出现频率高的码字却不是U2码字。一方面，对出现频率不高的U2码字编码会浪费一些编码空间；而另一方面，不对出现频率高的非U2码字编码又会损失一部分特征信息。

为了克服这些问题，基于模拟退火算法的思路我们设计了一种新的编码方案，称为基于学习的LBP编码，通过基于学习的LBP编码得到一组新码字，和原始码字相比，新码字具有分布概率更平均、更紧凑等特点。详述如下：

假定LBP特征的256种原始码字为c_i,其中i=1,2,…,256。将码字c_t在训练集合中出现的概率设为f(c_i)。我们的目标是要设计一个基于模拟退火算法思想的算法来学习出一种更有效的编码方式:z_j＝R(c_i),以便将原始码c_i编码为z_j，使得目标码的概率分布达到最优（新码字的概率分布最均匀），这里假定目标码的数目为N。

步骤11、初始化：k=0，对每一个原始码字c_i随机分配一个目标码z_j（z_j＝1,2，…N），将这种编码方式设为R₀，将k时刻的温度设为：

其中是原始码字的平均出现频率，k是迭代次数。将目标码字z_j的代价函数E(z_j)设为：

步骤12、迭代：从原始码字中随机挑选一个码字c_i，其对应的目标码为Z_j＝R_k(c_i)，同时从目标码本中随机选择另一个码字z_t(t≠j)，计算将码字c_i的编码z_j变更为z_t所引起代价函数的变化ΔE:

ΔE=E(z_t)+f(c_i)-E(z_j)；

步骤13、根据以下概率转换公式决定是否将z_j＝R_k(c_i)变更为z_t＝R_k+1(c_i)：

其中，Pr(R_k-1→R_k)表示R_k-1变更为R_k的概率；

步骤14、更新k为k+1，继续步骤12，直到系统温度T(k)足够低，可以认为迭代收敛（例如当温度低于10^-5，系统进入“冻结”状态，编码变更基本不可能发生）。

这种基于学习的LBP算法，可以通过分析训练特征的原始码字分布规律，从而学习得到一种自适应的编码方案，这种编码方案可以使得新的码字的概率分布更加均匀，从而可以更有效地利用编码空间。因而最终的编码空间更加紧凑，具有更高的信息熵，从而保留更多的原始信息，更具有辨识力。

在步骤S104中，根据所述测试人脸图像的LBP特征对所述测试人脸图像进行识别。

在本实施例中，使用简单的欧式距离来衡量特征的距离，从特征库里查找到跟原始的测试人脸图像的LBP特征距离最近的特征，将所述特征对应的类别作为分类结果。

本实施例，采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出待测试人脸图像的原始码字，对年龄的变化更具有鲁棒性。另外，进行编码时，首先统计每个原始码字的频率分布；然后采用一种基于学习的LBP编码对原始码字编码以得到一组更优的新码字；最后基于编码所得到的新码字对待测试人脸图像进行识别。这种处理过程，可以使得编码生成的新的码字的概率分布更加均匀，因而最终的编码空间更加紧凑，具有更高的信息熵，从而保留更多的原始信息，更具有辨识力。

为了验证人脸识别方法的有效性，我们在MORPH跨年龄人脸数据库上面做了测试。MORPH数据库是一个庞大的跨年龄人脸数据库，我们从中随机挑选了20,000对不同年龄的人脸。在这个测试实验中，我们将20,000对人脸随机分成两个集合：第一个集合含有10,000对人脸作为训练数据，另外的10,000对数据则作为测试数据。根据不同的划分，我们重复进行了10次测试实验，不仅对比了基于U2编码的LBP与基于学习的LBP的性能差异，其平均识别率如表1所示，采用最简单的欧式距离分类器来进行人脸识别。

表1

实施例二

图3示出了本发明实施例二提供的人脸识别方法的实现流程，详述如下：

在步骤S301中，对原始的测试人脸图像进行预处理。

在步骤S302中，采用光栅扫描的方式，基于多尺度的局部二值模型LBP描述子，提取出所述测试人脸图像的原始码字。

在步骤S303中，统计每个原始码字的频率分布，基于学习的LBP编码对原始码字进行编码得到一组新码字，基于编码后生成的新码字，计算测试人脸图像的LBP特征。

在步骤S304中，采用级联子空间训练模型对所述LBP特征进行处理，得到与所述LBP特征对应的低维特征。

在本实施例中，步骤S303获取的LBP特征往往具有很高的维度，因此需要训练一个合适的子空间模型来对它们进行降维处理并且分类。传统的做法是将所有的训练数据放在一起来训练一个子空间模型，我们称之为非级联子空间算法。但是在大数据量的情况下（例如训练集很庞大的情况下），这种传统的做法存在以下不足：1)、由于所有训练数据都需要一次性放到一个或同时放到多个子空间分类器中，造成计算效率低；2）、对于跨年龄段人脸特征，使用传统的非级联子空间分析方法难以获得辨识能力强的特征子空间。

因此在本发明中我们拟采用一种新的做法，我们称之为级联子空间训练模型。我们先把训练集分成两部分，先用第一部分数据训练出一个子空间雏形，然后再用另一部分数据训练出最终的子空间分类模型。其具体做法如下（实验中我们使用10000对年龄不同的人脸作为子空间训练样本）：

1）将训练人脸图像的LBP特征划分为两个数量均等的训练子集。

将第一个训练子集的年轻人脸特征集合记为A1，对应的年老人脸特征集合记为A2；而第二训练子集的年轻人脸特征集合记为B1，对应的年老人脸特征集合记为B2。如图4所示。

2）将训练子集A1，A2的每个高维特征划分为等长的m段子特征，形成两个m段的训练集。然后对m段对应的子特征进行统一子空间分析，得到该训练集对应的子空间投影矩阵PAi以及相应的中心化向量VAi（我们系统的子空间维度为1000）。这样形成了m个子空间（这一步学习出一个跨年龄段人脸特征的子空间雏形），如图4a所示，其中，在本实施例中m为6，后面为了叙述的方便，均以m等于6为例来进行说明。

3）训练子集B1，B2的每个高维特征划分为等长的m段子特征，形成两个m段的训练集。然后利用步骤2)学习得到的子空间投影矩阵PAi以及中心化矢量VAi分别对每段子特征进行子空间投影，分别得到m段子特征的子空间表示。接着将B1，B2的m段子空间表示分别拼接成单个子空间表示。最后对这些拼接后的子空间表示进行再一次的子空间分析，得到投影矩阵PB以及中心化向量VB（我们系统的子空间维度为350）。如图4b所示，其中，在本实施例中m为6，后面为了叙述的方便，均以m等于6为例来进行说明。

在步骤S305中，根据所述LBP特征对应的低维特征对所述人脸图像进行识别。

在本实施例中，对于需要被测试的人脸图像，首先将步骤S303提取的LBP特征划分为等长的m段子特征；再利用所述子空间投影矩阵PAi以及中心化向量VAi分别对所述m段子特征进行子空间投影，得到m段子特征的子空间表示，并将该m段子空间表示拼接成单个子空间表示；最后利用所述子空间投影矩阵PB以及中心化向量VB对拼接成的子空间表示进行再一次的子空间投影，得到该测试人脸图像的特征的最终子空间表示，如图4c所示。我们的分类器使用简单的欧式距离来衡量特征的距离，从特征库里面挑选出跟测试人脸距离最近的那个特征对应的类别作为分类结果。

本实施例中，在实施例一得到的LBP特征的基础上，采用级联子空间训练模型对所述LBP特征进行处理，得到与所述LBP特征对应的低维特征，然后，将所述低维特征与对训练图像预先进行处理得到的特征进行匹配，得到识别结果。该方法不仅识别速度快，而且可以充分的利用到训练集里的丰富信息从而学习出一个更具有辨识能力的子空间分类模型。

为了验证人脸识别方法的有效性，我们在MORPH跨年龄人脸数据库上面做了测试。MORPH数据库是一个庞大的跨年龄人脸数据库，我们从中随机挑选了20,000对不同年龄的人脸。在这个测试实验中，我们将20,000对人脸随机分成两个集合：第一个集合含有10,000对人脸作为训练数据，另外的10,000对数据则作为测试数据。根据不同的划分，我们重复进行了10次测试实验，不仅对比了基于U2编码的LBP与基于学习的LBP的性能差异，而且对比了传统的非级联子空间分析算法和我们级联子空间分析算法的性能差异，其平均识别率如表2所示，采用最简单的欧式距离分类器来进行人脸识别。

表2

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种人脸识别方法，其特征在于，所述方法包括：

A、对原始的测试人脸图像进行预处理；

C、统计每个原始码字的频率分布，采用基于学习的LBP编码对所述原始码字进行编码得到一组新码字，基于编码后生成的新码字，计算所述测试人脸图像的LBP特征；

D、根据所述测试人脸图像的LBP特征对所述测试人脸图像进行识别；

在步骤C之后，还包括：

采用级联子空间训练模型对所述测试人脸图像的LBP特征进行处理，得到与所述测试人脸图像的LBP特征对应的低维特征；

根据所述低维特征对所述测试人脸图像进行识别；

在所述采用级联子空间训练模型对所述测试人脸图像的LBP特征进行处理，得到与所述测试人脸图像的LBP特征对应的低维特征之前或之后，还包括：

根据步骤A、B、C所述的方法获得训练人脸图像的LBP特征；

采用级联子空间训练模型对所述训练人脸图像的LBP特征进行处理，得到与所述训练人脸图像的LBP特征对应的低维特征。

2.如权利要求1所述的方法，其特征在于，采用基于学习的编码方法对所述原始码字进行编码得到一组新码字具体包括：

A1、初始化k＝0，对每一个原始码字c_i随机分配一个目标码z_j(z_j＝1,2，…N)，将这种编码方式设为R₀，将k时刻的温度设为：

T (k) = \frac{T_{0}}{1 + k}

其中，是原始码字的平均出现频率，k是迭代次数，将目标码字z_j的代价函数E(z_j)设为：

E (z_{j}) = \underset{z_{j} = R_{0} (c_{i})}{Σ} f (c_{i});

B1、从原始码字中随机挑选一个码字c_i，其对应的目标码为Z_j＝R_k(c_i)，同时从目标码本中随机选择另一个码字z_t(t≠j)，计算将码字c_i的编码z_j变更为z_t

所引起代价函数的变化ΔE:

ΔE＝E(z_t)+f(c_i)-E(z_j)；

C1、根据以下概率转换公式决定是否将z_j＝R_k(c_i)变更为z_t＝R_k+1(c_i)：

\Pr (R_{k - 1} &RightArrow; R_{k}) = \{\begin{matrix} 1 & \begin{matrix} i f & Δ E \leq 0 \end{matrix} \\ \exp (\frac{- Δ E}{T (k)}) & \begin{matrix} i f & Δ E > 0 \end{matrix} \end{matrix}

其中，Pr(R_k-1→R_k)表示R_k-1变更为R_k的概率；

D1、更新k为k+1，继续步骤B1，直到系统温度T(k)足够低。

3.如权利要求1所述的方法，其特征在于，所述采用级联子空间训练模型对所述训练人脸图像的LBP特征进行处理，得到与所述训练人脸图像的LBP特征对应的低维特征具体包括：

将训练人脸图像的LBP特征划分为两个数量均等的训练子集；

将第一个训练子集的年轻人脸特征集合记为A1，对应的年老人脸特征集合记为A2；

第二训练子集的年轻人脸特征集合记为B1，对应的年老人脸特征集合记为B2；

将训练子集A1，A2的每个高维特征划分为等长的m段子特征，形成两个m段的训练集，然后对m段训练集对应的子特征进行统一子空间分析，得到该训练集对应的子空间投影矩阵PAi以及相应的中心化向量VAi；

将训练子集B1，B2的每个高维特征划分为等长的m段子特征，形成两个m段的训练集，然后利用所述子空间投影矩阵PAi以及中心化矢量VAi分别对每段训练集进行子空间投影，分别得到m段子特征的子空间表示，接着将B1，B2的m段子特征的子空间表示分别拼接成单个子空间表示，最后对这些拼接后的子空间表示进行再一次的子空间分析，得到投影矩阵PB以及中心化向量VB。

4.如权利要求3所述的方法，其特征在于，所述采用级联子空间训练模型对所述测试人脸图像的LBP特征进行处理，得到与所述测试人脸图像的LBP特征对应的低维特征具体包括：

将所述测试人脸图像的LBP特征划分为等长的m段子特征；

利用所述子空间投影矩阵PAi以及中心化向量VAi分别对所述m段子特征进行子空间投影，得到m段子特征的子空间表示，并将该m段子空间表示拼接成单个子空间表示；

利用所述子空间投影矩阵PB以及中心化向量VB对拼接成的子空间表示进行再一次的子空间投影。