CN102521609A - 基于分布式压缩传感的近红外与可见光图像人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于分布式压缩传感理论的近红外与可见光人脸图像识别方法。它包括以下步骤：将人脸图像从训练图像中切割出来，并进行归一化处理，按顺序切割成块；将近红外图像和可见光图像块分别表示成一维列向量形式；将近红外图像和可见光图像的共同部分和差异部分进行联合稀疏表示，计算联合稀疏表示系数；将近红外图像与可见光图像进行融合得到的共同部分所对应的稀疏系数作为训练图像类别判定特征；对测试图像进行与训练图像相同的处理，根据训练图像类别判定特征与测试图像类别判定特征之间的最小距离和来确定所属目标类。本发明根据分布式压缩传感理论，将近红外图像和可见光图像有机地结合起来，在人脸识别中取得了非常好的效果。

Description

基于分布式压缩传感的近红外与可见光图像人脸识别方法

技术领域

本发明涉及一种人脸图像识别方法，更具体的说是一种基于分布式压缩传感理论的近红外与可见光人脸图像识别方法。

背景技术

随着信息以及网络技术的发展，最近几年人脸识别已经成为模式识别领域最受关注的问题之一。人脸识别具有极高的学术研究价值和广阔的商业应用前景。人脸识别方法主要包括：基于几何特征的方法，基于模板匹配的方法和基于学习的方法等。当人脸图像处于友好的环境时，当前的人脸识别方法可以取得比较准确的结果。而当前人脸识别的难点主要包括复杂的光照变化，强烈的表情和姿势变化。基于可见光图像的人脸识别取得了很大的成功，然而可见光图像受环境光照情况变化影响较大。为了解决这个问题，一些改进的算法被陆续提出以解决这个问题，取得了较好的效果，仍有许多复杂环境人脸识别无法取得理想的效果。先前的研究(S.Singh，A.Gyaourova，G.Bebis，and I.Pavlidis，“Infrared and Visible Image Fusion for Face Recognition”，In proceedings of SPIE，vol.5404，pp.585-596，2004.)表明，红外图像与可见光图像具有互补性，具有对于光照变化鲁棒的特点。一般红外传感器对于周围的光线不是很敏感。因此，通过采用红外图像的红外谱信息，人脸识别可以得到更加光照鲁棒的结果，提高了无控制环境的识别效果。但是红外图像经常损失一些与脸部纹理有关的信息，导致识别性能受限。与红外光图像相反，可见光图像对于表情变化和姿势变化鲁棒。因此，我们可以针对不同的环境，同时采用不同类型的传感器采集图像。从图像观点，近红外图像和可见光图像可以扑捉观测脸的不同特征，因此，可以通过利用两种谱图像的互补信息，得到目标图像的特殊描述算子。

最近基于稀疏表示理论的人脸识别方法被提出，并且在人脸识别方面表现出了很好的效果。然而基于稀疏表示的识别方法需要大量的训练样本，以保证检验图像在训练图像库中是稀疏的。更重要的是，基于稀疏表示的识别方法对于图像配准的要求较高，当训练和测试图像没有经过配准时，识别效果较差。

发明内容

为了解决人脸图像识别方法存在的上述技术问题，本发明提供了一种识别精度高、鲁棒性好基于分布式压缩传感的近红外图像及其对应的可见光图像融合识别的方法。

本发明解决上述技术问题的技术方案包括以下步骤：

1)将人脸图像从训练图像中切割出来；

2)将切割出来的图像进行归一化处理，按顺序切割成块；

3)将近红外图像和及其对应的可见光图像块分别表示成一维列向量形式；

4)分别将近红外图像和可见光图像表示为共同部分和差异部分的和；

5)将共同部分和差异部分进行联合稀疏表示，通过求解最小l₀范数问题得到联合稀疏表示系数；

6)将上两步中近红外图像与可见光图像通过联合稀疏表示进行融合得到的共同部分所对应的稀疏系数作为训练图像类别判定特征；

7)对测试图像进行步骤1)到步骤6)的相同处理，得到测试图像类别判定特征，计算训练图像类别判定特征与测试图像类别判定特征之间的最小欧式距离，根据每幅图像切割成的所有块与指定目标类的最小距离和来确定所属目标类。

上述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法中，所述步骤1)的步骤为：对训练图像采用局部连续均值量化变换特征方法进行人脸检测，将检测到的人脸图像切割出来。

上述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法中，所述步骤2)中图像块的大小为10(Pixel)×10(Pixel)。

上述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法中，所述步骤5)的步骤为：将每类的共同部分和差异部分进行联合稀疏表示，通过最小l₀范数问题求解得到稀疏系数向量特征。

由于采用上述技术方案，本发明的技术效果是：本发明采用了近红外人脸图像为识别目标，解决了人脸识别问题中的光照问题，即使在极度恶劣情况下，也可以准确识别；本发明采用分布式压缩传感理论中的联合稀疏表示方法来融合可见光图像与其对应的近红外图像，可以很好地保持可见光图像中的纹理信息，而近红外图像又可以弥补光照对于人脸图像的影响，这样的结合，有效地提高识别效果而且对于图像中表情、姿势变化有一定鲁棒性，即使对于存在缺损像素的图像也可以准确识别。

下面结合附图对本发明作进一步的说明。

附图说明

图1为本发明基于分布式压缩传感理论的近红外与可见光人脸图像识别方法的流程图。

图2为采用SMQT方法进行人脸检测，并切割得到的图像。图2(a)为原始图像，图2(b)为切割出的人脸图像。

具体实施方式

图1为本发明基于分布式压缩传感理论的近红外与可见光人脸图像识别方法的示意图。待识别源图像为人体正面半身图。如图1所示，本发明采用学习的策略实现人脸识别。各部分具体实施步骤如下：

1.对训练图像进行人脸检测，并切割出人脸正面图像。

为了更好的识别出人脸图像，本发明先对训练图像进行人脸检测，首先采用SMQT方法进行检测，然后将检测到的人脸图像切割出来；(SMQT算法的具体实现细节参考M.Nilsson等于2007年发表在Proceedings of the ICASSP上的论文M.Nilsson，J.Nordberg，and I.Claesson，“Face detectionusing local SMQT features and split up snow classifier”，In Proceedingsof the ICASSP，pp.1266-1272，2007.)

2.将切割出来的图像进行归一化处理，并且按顺序切割成小块。

将切割出来的图像归一化成100(Pixel)×100(Pixel)的图像，并且按顺序切割成10(Pixel)×10(Pixel)的小块；

3.将近红外图像和及其对应的可见光图像块分别表示为一维列向量的形式。

将近红外图像和可见光图像块分别堆叠为一维列向量yⁿ∈R^N和y^v∈R^N，其中n为近红外的英文(near-infrared)缩写，这里表示近红外图像对应的信息，yⁿ是近红外图像堆叠成的一维列向量，v为可见光的英文(visible)缩写，这里表示可见光图像对应的信息，y^v可见光图像堆叠成的一维列向量；

4.分别将近红外图像和可见光图像块表示为共同部分和差异部分的和；

j＝1，...，J_k，k＝1，...K中所有的信号对于给定的k是高度不相关的，其中k为类标签，表示第k类图像，K表示待分类人脸图像共有K类，J_k为第k类中图像总数，j为每类中的第j幅图像标签，

为第k类第j幅近红外图像堆叠成的列向量，

为第k类第j幅可见光图像堆叠成的列向量。分别将第j幅第k类近红外图像和及其对应的可见光图像表示为共同部分和差异部分的和，即

$\left\{\begin{array}{c}{y}_{\mathrm{kj}}^n=z^c+z_{\mathrm{kj}}^{\mathrm{ni}}\\ y_{\mathrm{kj}}^v=z^c+z_{\mathrm{kj}}^{\mathrm{vi}}\end{array}\right.---\left(1\right)$

其中z^c为第k类第j幅近红外图像与可见光图像的共同部分，

和

分别为近红外图像和可见光图像的差异部分；

5.将共同部分和差异部分进行联合稀疏表示，通过求解最小l₀范数得到稀疏特征。

根据稀疏表示思想将上面一维向量的共同部分和差异部分都在正交基Ψ上进行表示，即

其中Ψ为离散余弦变换基，这里c表示共同信息，i表示差异信息，

是第k类所有J_k幅训练图像的共同部分对应的系数，

(j＝1，...，J_k)分别是近红外图像和可见光图像的差异部分对应的系数。将

代入式(1)，则有如下变换

$\left\{\begin{array}{c}{y}_{\mathrm{kj}}^n=z^c+z_{\mathrm{kj}}^{\mathrm{ni}}={\mathrm{\Ψ\θ}}_k^c+{\mathrm{\Ψ\θ}}_{k,j}^{\mathrm{ni}}\\ y_{\mathrm{kj}}^v=z^c+z_{\mathrm{kj}}^{\mathrm{vi}}={\mathrm{\Ψ\θ}}_k^c+{\mathrm{\Ψ\θ}}_{k,j}^{\mathrm{vi}}\end{array}\right.---\left(2\right)$

将第k类近红外图像与可将光图像的共同部分和差异部分系数联合表示为一个向量W_k，则 $W_k={[{\left({\mathrm{\θ}}_k^c\right)}^T,{\left({\mathrm{\θ}}_{k,1}^{\mathrm{ni}}\right)}^T,{\left({\mathrm{\θ}}_{k,1}^{\mathrm{vi}}\right)}^T,...{\left({\mathrm{\θ}}_{k,J_k}^{\mathrm{ni}}\right)}^T,{\left({\mathrm{\θ}}_{k,J_k}^{\mathrm{vi}}\right)}^T]}^T.$

可以根据式(2)，将近红外和可见光信息组合在一起，通过求解最小l₀范数问题(3)得到共同部分和差异部分分别对应的稀疏系数W，即

W＝min||W_k||₀s.t.Y＝DW_k    (3)

其中， $Y=\left[\begin{array}{c}{y}_{11}^n\\ M\\ y_{{\mathrm{KJ}}_K}^n\\ y_{11}^v\\ M\\ y_{{\mathrm{KJ}}_K}^v\end{array}\right],$ $D=\left[\begin{array}{ccccc}\mathrm{\Ψ}& \mathrm{\Ψ}& 0& L& 0\\ 0& 0& \mathrm{\Ψ}& L& 0\\ M& M& M& O& 0\\ 0& 0& 0& 0& \mathrm{\Ψ}\end{array}\right],$ W表示根据式(3)求得的共同部分和差异部分分别对应的稀疏系数；

6.将近红外图像与及其对应的可见光图像进行融合得到的共同部分所对应的稀疏系数作为类别判定特征。

根据上面求得的稀疏系数W，得到训练图像共同部分对应的系数特征

这些系数特征包含了近红外图像和可见光图像的共同部分特征。

7.对测试图像进行同训练图像相同的处理，得到测试图像类别判定特征，并且计算它们之间的最小欧式距离，根据所有块的最小欧式距离和来确定目标类。

对测试图像做同训练图像相同的处理，得到测试图像相应的类别判定特征

然后我们计算训练图像块和测试图像块系数特征的最小距离

其中

为训练样本对应的系数特征，

为测试样本对应的系数特征，l_S为第S块图像得到的最小距离，S为图像块索引，S＝1，...，100。并且根据训练图像和测试图像所有块的最小距离和来确定测试目标所属的类别，即

l为最终得到的分类结果。

本发明采用SURREY大学的近红外和可见光图像数据库作为测试图像，这个数据库包含23个目标1080幅可见光图像和1080幅近红外图像。每个目标随机选择4，8，12，16，20幅图像作为训练图像，剩余的作为测试图像。所有的实验重复10次，识别的正确率为这10次结果的平均值。本发明与局部二值模式(LBP)，主成分分析(PCA)，二维主成分分析(2DPCA)，稀疏表示分类(SRC)方法进行比较。表1列出了客观识别结果，从实验结果可以看出，本发明提出的方法得到最好的识别结果。

表1.SURREY大学人脸图像库识别正确率

Claims (4)

1.一种基于分布式压缩传感理论的近红外与可见光人脸图像识别方法，包括以下步骤：

1)将人脸图像从训练图像中切割出来；

2)将切割出来的图像进行归一化处理，按顺序切割成块；

3)将近红外图像和及其对应的可见光图像块分别表示成一维列向量形式；

4)分别将近红外图像和可见光图像表示为共同部分和差异部分的和；

5)将共同部分和差异部分进行联合稀疏表示，通过求解最小l₀范数问题得到联合稀疏表示系数；

6)将上两步中近红外图像与可见光图像通过联合稀疏表示进行融合得到的共同部分所对应的稀疏系数作为训练图像类别判定特征；

7)对测试图像进行步骤1)到步骤6)的相同处理，得到测试图像类别判定特征，计算训练图像类别判定特征与测试图像类别判定特征之间的最小欧式距离，根据每幅图像切割成的所有块与指定目标类的最小距离和来确定所属目标类。

2.根据权利要求1所述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法，所述步骤1)的步骤为：对训练图像采用局部连续均值量化变换特征方法进行人脸检测，将检测到的人脸图像切割出来。

3.根据权利要求1所述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法，所述步骤2)中图像块的大小为10(Pixel)×10(Pixel)。

4.根据权利要求1所述的基于分布式压缩传感理论的近红外与可见光人脸图像识别方法，所述步骤5)的步骤为：将每类的共同部分和差异部分进行联合稀疏表示，通过最小l₀范数问题求解得到稀疏系数向量特征。

Images