CN103268485A

CN103268485A - 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法

Info

Publication number: CN103268485A
Application number: CN2013102295794A
Authority: CN
Inventors: 王亚南; 苏剑波; 赵玥; 曾明
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2013-06-09
Filing date: 2013-06-09
Publication date: 2013-08-28

Abstract

一种图像处理技术领域的基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法，通过采集可见光、近红外、中红外、远红外和热红外训练图像并进行归一化、去除背景以及光照预处理后，提取可见光、近红外、中红外、远红外和热红外的样本人脸特征；然后基于稀疏正则化的方法选择样本人脸特征，并根据样本人脸特征在分类意义下的评价系数赋予权值，再对样本人脸特征进行融合，得到表征该样本的特征向量作为指标向量并根据指标向量构成特征集；最后从待测图像中分割出人脸部分，并对待测人脸部分进行如步骤二至步骤四的操作，得到待测人脸部分的特征向量，并依次计算待测人脸部分的特征向量与特征集中特征向量之间的距离，选取距离最小的特征集所对应的样本即为待测图像的所属人。本发明具有克服配饰、遮挡等变化、识别精度高、适用范围广等优点。

Description

基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种通过稀疏正则化算法融合了可见光、近红外、中红外、远红外和热红外人脸信息的人脸识别方法。

背景技术

人脸识别技术是利用计算机获取人脸图像并进行分析预处理，然后以特定方法提取出能有效表示人脸图像的特征，最后通过机器学习的方法对人脸图像进行身份鉴定。人脸识别广泛应用于人机交互系统、安全验证系统、驾照和护照的验证以及罪犯身份识别等方面。最近几年随着信息和网络技术的发展，人脸识别已经成为模式识别领域最受关注的问题之一。

人脸识别领域最重要的研究课题之一是寻找更有效的特征来描述人脸，以使人脸特征对光照、表情、姿态及年龄具有更充分的鲁棒性。现有的人脸特征描述方法主要分为几何特征、统计全局特征和局部纹理描述特征。几何特征主要是指以面部器官的几何形状和位置分布构成的特征，如面部器官间的欧式距离、形状曲率、角度等参数。然而，几何特征的提取非常依赖于面部器官的精确位置和面部结构等先验信息，而自动获取精确的面部器官位置形状信息是一直以来没有很好解决的技术难题。因此基于统计全局特征的人脸识别方法应运而生。其主要方法有：主成分分析方法（PCA）和线性判别分析（LDA）方法。其中：，主成分分析方法虽然对人脸的特征信息压缩非常有效，但是不能获得很好的分类效果；而线性判别分析在一定程度上弥补了主成分分析的缺陷，但它要求训练样本数目较多并具有代表性。局部纹理描述特征主要有：Gabor小波特征、局部二值模式（LBP）、POEM、局部方向模式（LDP）。其中：，Gabor小波特征被认为是一种符合人眼生物学原理的局部描述特征，但是它的特征维数十分庞大且计算复杂。在这众多的人脸特征描述方法中，每一种特征描述方法都有各自的优劣，而每一种特征描述方法都不能单独地全面描述整张人脸的特性，因此为了使得特征的表达作用相互补充，达到相得益彰的效果，研究将不同种类的特征进行融合是研究者们日益关注的研究方向。现有的用于人脸识别的特征融合方法主要通过融合的手段将多种不同数据类型或意义的特征在同一空间中组成新的特征，从而进行识别。此类融合方法融合的特征一般比较单一，并且特征维数比较高。

虽然除可见光外的多波段图像对光照强弱变化有较好的鲁棒性，但仍然存在着许多缺陷，例如成像时会损失一些纹理特征，使得对表情以及姿态的变化不能很好地适应。可见光图像虽然对光照变化敏感，但在这几个方面却有较强的鲁棒性。因此可以看出，近红外、中红外、远红外和热红外图像与可见光图像具有互补性，将两者融合进行识别会提高识别性能。

基于图像的稀疏表示人脸识别是近期出现的将压缩感知理论应用于模式识别中的新方法，其在克服配饰、遮挡等变化等方面具有很强的鲁棒性。与传统方法不同，这类方法将人脸进行稀疏表示，采用信号处理中的压缩采样技术，不再要求将人脸紧致地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过1范数最小化的方法，几乎无误差地恢复该向量，从而进行身份的查询和认证，并获得较好的识别结果。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法，采用稀疏正则化的方法对可见光、近红外、中红外、远红外和热红外图像信息进行融合后用于人脸识别，具有克服配饰、遮挡等变化、识别精度高、适用范围广等优点。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

步骤一：采集可见光、近红外、中红外、远红外和热红外训练图像；

步骤二：图像归一化、去除背景以及光照预处理；

步骤三：提取可见光、近红外、中红外、远红外和热红外的样本人脸特征，即将预处理后的一组图像组中的可见光、近红外、中红外、远红外和热红外图像分别提取特征，表示为H＝[H_v,H_r,H_n1,H_n2,H_n3]，其中：H_v表示可见光特征，H_r表示热红外特征，H_n1,H_n2,H_n3分别表示的是近红外特征、中红外特征、远红外特征；

所述的图像组是指：人脸在状态不变的情况下，获得的可见光、近红外、中红外、远红外和热红外的人脸图像，这样的五张图像就称为一组图像组；

所述的可见光、近红外、中红外、远红外和热红外摄像头配置为同轴，且距离相同。

步骤四：基于稀疏正则化的方法选择样本人脸特征，并根据样本人脸特征在分类意义下的评价系数赋予权值，再对样本人脸特征进行融合，得到表征该样本的特征向量作为指标向量，具体包括：

4.1）构建正样本与负样本：

4.2）根据正、负样本构建评价指标向量；

4.3）对评价指标向量进行降维处理。

步骤五：根据指标向量构成特征集；

步骤六：从待测图像中分割出人脸部分，并对待测人脸部分进行如步骤二至步骤四的操作，得到待测人脸部分的特征向量；

步骤七、依次计算待测人脸部分的特征向量与特征集中特征向量之间的距离，选取距离最小的特征集所对应的样本即为待测图像的所属人。

所述的图像归一化、去除背景以及光照预处理是指：通过人眼定位，对人脸图像进行归一化，之后覆盖掩模用于去除背景；

为了去除光照不均的影响，所述的图像归一化、去除背景以及光照预处理中加入Gamma校正处理和/或retina filter处理。

附图说明

图1为本发明流程示意图。

图2为本发明基于稀疏正则化的可见光、近红外、中红外、远红外和热红外信息融合的人脸识别方法训练流程示意图。

图3为基于稀疏正则化方法进行选择、评价与融合特征流程示意图

图4为实施例基于稀疏正则化的多波段人脸图像信息融合的人脸识别方法测试流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示：本实施例包括以下步骤：

步骤一：采集可见光、近红外、中红外、远红外和热红外训练图像

所述的采集是指：采集到的可见光、近红外、中红外、远红外和热红外人脸图像需为正脸图像，同时为了保证训练图像的多样性，需要在不同的条件下采集图像，如不同的光照下以及表情的变化。

步骤二：图像归一化、去除背景以及光照预处理，具体为：通过人眼定位等措施，对人脸图像进行归一化，之后覆盖掩模用于去除背景；进一步地，为了去除光照不均的影响，加入Gamma校正或retina filter等光照预处理方法。

所述的人眼定位采用本领域已知的Adboost算法，结合harr特征实现。

步骤三：提取可见光、近红外、中红外、远红外和热红外人脸特征：将预处理后的一组图像组中的可见光、近红外、中红外、远红外和热红外图像分别提取特征，表示为H＝[H_v,H_r,H_n1,H_n2,H_n3]，其中：H_v表示可见光特征，H_r表示热红外特征，H_n1,H_n2,H_n3分别表示的是近红外特征、中红外特征、远红外特征。

所述的图像组是指：人脸在状态不变的情况下，获得的可见光、近红外、中红外、远红外和热红外的人脸图像，这样的五张图像就称为一组图像组。为了保证采集可见光、近红外、中红外、远红外和热红外图像的同时性，我们将可见光、近红外、中红外、远红外和热红外摄像头配置为同轴，且距离相近。两者采集的时间间隔也应该尽量小，但要保证相互之间不被影响。

步骤四：基于稀疏正则化方法进行选择、评价与融合特征：通过稀疏正则化的方法选择出具有分类意义的特征，并根据其在分类意义下的评价系数赋予权值，同时将可见光、近红外、中红外、远红外和热红外脸特征进行融合，得到表征该人脸的特征向量作为指标向量。

如图2和图3所示，所述步骤四具体步骤包括：

4.1）构建正样本与负样本：

以LBP特征为例，将整张图像划分为s×s的网格，在每个小区域内提取LBP特征，即可见光表示为h_vi，热红外表示为h_ni，近红外表示为h_n1i，中红外表示为h_n2i，远红外表示为h_n3i，i＝0,1,…,s×s，设s×s＝m，并将每个区域的特征拼合为一个向量。

H_v＝[h_v1,h_v2,...,h_vm]，

H_r＝[h_r1,h_r2,...,h_rm]，

H_n1＝[h_n11,h_n12,...,h_n1m]，

H_n2＝[h_n21,h_n22,...,h_n2m]，

H_n3＝[h_n31,h_n32,...,h_n3m]，

将可见光、近红外、中红外、远红外和热红外特征组成一个向量H＝[H_v,H_r,H_n1,H_n2,H_n3]，其中：s的物理定义及其取值为，m的物理定义及其取值为s:如当图像被分割为总数为9个网格，则s=3。根据需要，s可取不同数值，每个网格代表一个特征块或特征点。

M就是图片被分为的总的网格数。根据具体需要，取值可以不同，没有要具体的数值。

同一个人的两组不同图像提取特征后，计算所得的距离向量作为正样本，不同人的两组图像提取特征的距离向量作为负样本。

所述的距离向量为：

X_{i} = f (H, \hat{H})

= [f (h_{v 1}, {\tilde{h}}_{v 1}), f (h_{v 2}, {\tilde{h}}_{v 2}), . . ., f (h_{vm}, {\tilde{h}}_{vm}); f (h_{r 1}, {\tilde{h}}_{r 1}), f (h_{r 2}, {\tilde{h}}_{r 2}), . . ., f (h_{rm}, {\tilde{h}}_{rm}); f (h_{n 11}, {\tilde{h}}_{n 11}), f (h_{n 12}, {\tilde{h}}_{n 12}),

. . ., f (h_{n 1 m}, {\tilde{h}}_{n 1 m}); f (h_{n 21}, {\tilde{h}}_{n 21}), f (h_{n 22}, {\tilde{h}}_{n 22}), . . ., f (h_{n 2 m}, {\tilde{h}}_{n 2 m}); f (f_{n 31}, {\tilde{h}}_{n 31}), f (h_{n 32}, {\tilde{h}}_{n 32}), . . ., f (h_{n 3 m}, {\tilde{h}}_{n 3 m})]^{T}

其中：H即为可见光、近红外、中红外、远红外和热红外特征组成的向量，H和

均为特征向量，i＝0,1,…,s×s，s×s＝m。

为了保证正样本与负样本数量的均衡，每次从全部的负样本中随机抽取与正样本相同数量的样本作为本次训练的负样本并构成训练矩阵A，具体为：

A = {[\begin{matrix} X_{1}^{+} & X_{2}^{+} & \cdot \cdot \cdot & X_{n}^{+} & X_{1}^{-} & X_{2}^{-} & \cdot \cdot \cdot & X_{n}^{-} \end{matrix}]}^{T},

其中：n为正样本和负样本的数目，A矩阵需按列进行样本归一化，

表示正样本。

表示负样本，i为1……n。

4.2）给定矩阵Y＝[0 0 … 0 1 1 … 1]^T为样本的标号所构成的矩阵，该矩阵每行的数值与A矩阵的对应行一一对应；当该行为正样本，则对应于Y的该行数值为0，否则为1；样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系，即Y＝Aβ，其中：

β＝[β_v1,β_v2,...,β_vm;β_r1,β_r2,...,β_rm;β_n11,β_n12,...,β_n1m;β_n21,β_n22,...,β_n2m;β_n31,β_n32,...,β_n3m]^T为评价指标向量。

由于特征的个数m大于n，致使求得到的β不唯一，因此需要通过lasso的方法，加入稀疏正则项进行优化，具体为：

其中：||·||₂表示欧几里得范数，||·||₁表示1-范数，λ表示正则化系数，用于调整β的稀疏程度；λ越大，β中值为零的项的数目越多。

通过上述优化方程，得到的唯一解β。

4.3）由于β为评价指标向量，则其元素β_i的值表示了其对应特征块在分类中的重要程度，即：T用于调整人评价指标向量的维数，T越大，选择出的代表特征块或特征点的评价指标分量越少，表征人脸图像的评价指标向量的维数越小。因此对β进行更新处理：

{\overset{&OverBar;}{β}}_{i} = \{\begin{matrix} β_{i} & if β_{i} > T \\ 0 & if β_{i} < T \end{matrix},

其中：表示更新后的β_i值，T用于调整人脸特征向量的维数，T越大，选择出的特征越少，用于表征人脸的特征向量的维数越小，反之亦然。最终得到的评价指标向量如下：

\overset{&OverBar;}{β} = [{\overset{&OverBar;}{β}}_{v 1}, {\overset{&OverBar;}{β}}_{v 2}, . . ., {\overset{&OverBar;}{β}}_{vm}; {\overset{&OverBar;}{β}}_{r 1}, {\overset{&OverBar;}{β}}_{r 2}, . . ., {\overset{&OverBar;}{β}}_{rm}; {\overset{&OverBar;}{β}}_{n 11}, {\overset{&OverBar;}{β}}_{n 12}, . . ., {\overset{&OverBar;}{β}}_{n 1 m}; {\overset{&OverBar;}{β}}_{n 21}, {\overset{&OverBar;}{β}}_{n 22}, . . ., {\overset{&OverBar;}{β}}_{n 2 m}; {\overset{&OverBar;}{β}}_{n 31}, {\overset{&OverBar;}{β}}_{n 32}, . . ., {\overset{&OverBar;}{β}}_{n 3 m}]^{T},

将评价指标加入到人脸特征向量的表征中，可得表征公式：

G = H \overset{&OverBar;}{β}

= [h_{v 1} {\overset{&OverBar;}{β}}_{v 1}, h_{v 2} {\overset{&OverBar;}{β}}_{v 2}, . ., h_{vm} {\overset{&OverBar;}{β}}_{vm}; h_{r 1} {\overset{&OverBar;}{β}}_{r 1}, h_{r 2} {\overset{&OverBar;}{β}}_{r 2}, . ., h_{rm} {\overset{&OverBar;}{β}}_{rm}; h_{n 11} {\overset{&OverBar;}{β}}_{n 11}, h_{n 11} {\overset{&OverBar;}{β}}_{n 11}, . ., h_{n 1 m} {\overset{&OverBar;}{β}}_{n 1 m}; h_{n 21} {\overset{&OverBar;}{β}}_{n 21}, h_{n 22} {\overset{&OverBar;}{β}}_{n 22}, . ., h_{n 2 m} {\overset{&OverBar;}{β}}_{n 2 m}; h_{n 31} {\overset{&OverBar;}{β}}_{n 31}, h_{n 32} {\overset{&OverBar;}{β}}_{n 32}, . ., h_{n 3 m} {\overset{&OverBar;}{β}}_{n 3 m}],

进一步对人脸特征向量G进行降维处理：由于中很项为零，使得G中很多项也为零。由于G为表征人脸的特征向量，则其为零项无意义，因此可以剔除，由此使得特征向量的维数降低。也可以理解为只提取

不为零的特征块的特征，并乘以相应的系数，最后拼合为表征该人脸的特征向量。

步骤五：如图4所示，根据指标向量构成特征集：根据上一步的训练结果，得到可见光、近红外、中红外、远红外和热红外图像中具有分类意义的特征的位置信息以及评价信息，这些信息就构成了融合可见光、近红外、中红外、远红外和热红外图像信息的特征集。

步骤六：从待测试图像中分割出人脸部分，并对待测人脸部分进行如步骤二至步骤四的操作，得到待测人脸部分的特征向量。

步骤七、依次计算待测人脸部分的特征向量与特征集中特征向量之间的距离，选取距离最小的特征集所对应的采集图像的所属人则判定为待测样本的所属人。

Claims

1.一种基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法，其特征在于，包括以下步骤：

步骤二：图像归一化、去除背景以及光照预处理；

步骤三：提取可见光、近红外、中红外、远红外和热红外的样本人脸特征；

步骤四：基于稀疏正则化的方法选择样本人脸特征，并根据样本人脸特征在分类意义下的评价系数赋予权值，再对样本人脸特征进行融合，得到表征该样本的特征向量作为指标向量；

步骤五：根据指标向量构成特征集；

2.根据权利要求1所述的方法，其特征是，所述的图像归一化、去除背景以及光照预处理是指：通过人眼定位，对人脸图像进行归一化，之后覆盖掩模用于去除背景；

3.根据权利要求1所述的方法，其特征是，所述的步骤三具体包括以下步骤：将预处理后的一组图像组中的可见光、近红外、中红外、远红外和热红外图像分别提取特征，表示为H＝[H_v,H_r,H_n1,H_n2,H_n3]，其中：H_v表示可见光特征，H_r表示热红外特征，H_n1,H_n2,H_n3分别表示的是近红外特征、中红外特征、远红外特征；

4.根据权利要求1所述的方法，其特征是，所述的步骤四具体包括以下步骤：

1）构建正样本与负样本：

2）根据正、负样本构建评价指标向量；

3）对评价指标向量进行降维处理。

5.根据权利要求4所述的方法，其特征是，所述的构建正样本与负样本是指：在LBP特征情况下，将整张图像划分为s×s的网格，在每个小区域内提取LBP特征，即可见光表示为h_vi，热红外表示为h_ni，近红外表示为h_n1i，中红外表示为h_n2i，远红外表示为h_n3i，i＝0,1,…,s×s，设s×s＝m，并将每个区域的特征拼合为一个向量；

H_v＝[h_v1,h_v2,...,h_vm]，H_r＝[h_r1,h_r2,...,h_rm]，H_n1＝[h_n11,h_n12,...,h_n1m]，H_n2＝[h_n21,h_n22,...,h_n2m]，H_n3＝[h_n31,h_n32,...,h_n3m]，将可见光、近红外、中红外、远红外和热红外特征组成一个向量H＝[H_v,H_r,H_n1,H_n2,H_n3]，其中：s为网格的纵向或横向个数，m为网格的总数，每个网格代表一个特征块或特征点；

同一个样本的两组不同图像提取特征后，计算所得的距离向量作为正样本，不同样本的两组图像提取特征的距离向量作为负样本；

所述的根据正、负样本构建评价指标向量是指：当给定矩阵Y＝[0 0 … 0 1 1 … 1]^T为样本的标号所构成的矩阵，该矩阵每行的数值与A矩阵的对应行一一对应；当该行为正样本，则对应于Y的该行数值为0，否则为1；样本的标号矩阵Y与样本的特征矩阵A之间存在线性关系，即Y＝Aβ，其中：β＝[β_v1,β_v2,...,β_vm;β_r1,β_r2,...,β_rm;β_n11,β_n12,...,β_n1m;β_n21,β_n22,...,β_n2m;β_n31,β_n32,...,β_n3m]^T为评价指标向量；