CN101789078A - 鲁棒红外人脸识别技术 - Google Patents

Abstract

本发明涉及一种鲁棒的红外人脸识别技术。本发明包括以下几个主要环节：首先检测出图像中的人脸，估计出人脸的方向，并做几何归一化。然后计算人脸图像中每个点随温度变化的权重，利用线性归一化的方法将不同温度下的图像转换为参考温度下的图像。最后，为了获得更加鲁棒的生物特征，温度归一化的图像通过Pennes生物热传方程反向求解得到对应的离散血流图，并采用二次特征提取的方法进行识别。实验表明，该发明能大大提高时延数据的识别率，可用于实时红外人脸识别系统中，具有很高的理论研究意义和实际应用价值。

Description

鲁棒红外人脸识别技术

技术领域

本发明涉及一种鲁棒红外人脸识别技术，特别是一种温度归一化方法和基于血流图的识别方法。

背景技术

用红外来进行人脸识别这一设想是美国Mikos公司的Prokoski博士于1992年最早提出。除红外人脸图像的上述特点外，Prokoski博士更进一步指出：人脸温谱图正是由人脸组织与结构如血管大小和血管分布等的红外热辐射决定的，而每个人的血管分布是独特的，不可复制的，且这种特性不随年龄的增长而变化，所以它们如同指纹一样与人的生理结构有关，具有唯一性。

近几年来，美国、日本、以色列、新加坡及我国等少数几个国家相继开展了红外人脸识别的研究。这些工作主要体现在如下几个方面：1)红外人脸数据库的建立^]；2)红外图像用于人脸识别的可行性论证及性能分析；3)温谱图的分析。如Eqninox公司建立了相同条件下的红外与普通图像数据库，在此基础上对二组数据库运用相同的算法，以比较其识别率，其测试结果表明^[7]，在光照变化较大的情况下：1)对同一张脸在相同的变化条件下，红外图像的变化要比普通图像的变化要小；2)不管用哪种方法(PCA，LDA等)，红外图像的识别率均高于普通图像。

但是，值得注意的是这个结论是针对同时段数据，即训练样本与测试样本同时采集。如果考虑到时延数据，即测试样本来自几星期或几个月以后，研究发现红外人脸识别的性能会急剧下降，识别率将从90-95％降到60-70％。究其原因，就在于人脸温谱图会随着环境温度、心理状况(愤怒，害羞等)，以及生理状况(如发烧，疲劳，喝酒等)的变化而变化，且导致温谱图的变化是非线性的。基于温谱图的识别系统都面临“对同时段数据识别性能好，而对时延数据性能下降”的问题。因此，如何在图像预处理中消除这些因素的影响，并将图像转化到与训练样本图像相同的环境背景中成为了红外人脸识别的一个难点。

归一化作为图像预处理中最重要的的内容之一被广泛的应用到各种应用系统中。目前，在红外图像的归一化方面，Kakuta等提出了一种通过两幅图像的皮肤温度差来处理不同时段红外图像的方法。该方法较好的对手臂、大腿等人体16个部位的红外图像进行了温度归一化。但这种方法也有它的局限性，人脸不同部位随环境温度的变化其自身温度的改变量是不同的，如果直接对整幅图像做相同的温差处理，原本随环境温度变化其自身变化较小的部位的温度值将会很大程度的发生变化，而这与实际情况是不符的。因此，这种操作必然会产生一定的误差。

此外，由于人脸温谱图是由人脸组织与结构如血管血流速度和血管分布等的红外热辐射决定的，而人脸的血流速率和血管分布特征是人体的内部特征，不直接与外界接触，从生物学的角度来说，应该具有更加稳定的特征。基于这个认识，不少研究者从血流率和血管分布两个方面开展了研究，目前比较典型的有：一方面，基于人脸的血管分布，Moulay A和Abdelhakim B于2008年5月在Canadian Conference on Computer and Robot Vision上发表了文章“ThermalFaceprint：A new thermal face signature extraction for infrared face recognition”，该文献提出了一种重构人脸血管分布的红外人脸识别方法；另一方面，在血流率上，Wu S Q，Jiang L J和Xie S L等发表在2005年AVBPA会议的文章“InfraredFace Recognition by Using Blood Perfusion Data”中提出，从生物力学角度，基于皮肤表面可用以下热平衡公式，建立了一个点对点的血流转换模型。本文的研究主要是基于第二方面，得到一个更稳定的血流特征，在环境温度变化的情况下，提高时延红外人脸系统的识别性能。但是，该模型是建立在若干理想假设的前提下，而且认为人脸温度点之间是没有关联的，这不符合生物组织的传热原理。基于上述理由，本发明试图利用工程物理学的方法，用于定量分析人脸的生物热传过程，尝试找到更加稳定的人脸生物特征。

在人脸识别领域最经典的基于统计的全局特征提取方法主要是主成分分析(PCA)和Fisher线性鉴别分析(FLD)。最近，华顺刚等人发表在模式识别与人工智能的文章“基于PCA+LDA的热红外成像人脸识别”中提出了PCA+FLD的红外人脸识别方法，该方法在进行FLD分析之前用PCA降维，可以缓解FLD的小样本问题。实验发现，利用PCA+FLD进行特征提取识别时，识别性能会随着样本数的减少而有所改善。为了利用识别率会随着训练样本的减小而提高这一规律，本发明设计了二次PCA+FLD的识别技术。

发明内容

本发明的目的是将不同环境温度下采集的红外人脸图像转换到标准温度下，然后通过离散血流模型将温度归一化后的图像转化成离散血流图，以获得更加鲁棒的生物特征、减小环境温对红外人脸图像的影响，并解决红外人脸识别系统对时延数据识别率低的问题。

本发明包括如下步骤：

1)采集图像，对图像进行人脸检测，几何归一化和人脸方向检测；

2)对图像进行温度归一化，对于两幅不同温度下的人脸温谱图f(x，y)和g(x，y)，其中f(x，y)是在参考温度T_e1下采集的，g(x，y)是在变化环境温度下采集的，其过程如下：

①提取出图像g(x，y)的环境温度T_e2，并计算两幅图像采集时的环境温度差ΔT＝T_e1-T_e2；

②对g(x，y)各温度点作0-1规范化，得到各点随温度变化的权重；

③如果ΔT＞0，对于图像中的每一个点x_k都要加上ΔT和该点权重的乘积，以对该图像进行温度补偿；

④若ΔT＜0，则图像中的每个点都要减去ΔT和该点权重的乘积；

通过对图像中的每个点执行上述操作，就可以将红外人脸图像g(x，y)转换到与图像f(x，y)相同的环境温度下；

3)为了获得更加鲁棒的生物特征，温度归一化的红外人脸图像通过Pennes方程求出血流量，该工作包括：

①将原有的三维的Pennes方程简化为二维形式；

②通过对二维Pennes方程离散化，反向求解得到血流率W_b，并以血流率进行人脸识别；

③图像像素点的间隔为实际人脸离散化后的取样间隔距离，将二维Pennes方程改写成由实际间隔距离决定的Pennes方程；

4)特征提取及识别。

本发明所述的提取和识别采用二次PCA+FLD的识别技术。并按如下方法进行：

①对训练总样本进行第一次PCA+FLD训练，假设有M个类别，每个类别包含P个样本，训练后，对测试样本进行第一次PCA+FLD特征提取并作识别，得到M个识别结果，基于提取后的特征根据欧式距离的大小，对训练库的样本从小到大进行排序，完成第一次PCA+FLD识别，得到排序后的训练样本；

②M个识别结果中，按距离大小排序，取前N(N＜M)个距离最小所对应的类别，对第一次PCA+FLD得到的已排序训练样本，取前N(其中N＜M)类样本得到二次样本；

③以N类样本作第二次PCA+FLD训练和测试，以距离最小所对应的类别作为最后的识别结果。

本发明用整幅红外人脸图像中的最低值作为该图像的一个状态参数，即该图像采集时的环境温度值。

本发明用温度归一化、Pennes求解血流以及二次特征提取方法来提高红外人脸识别系统在时延数据下的识别率。

本发明具备以下特点：

1.在进行特征提取前，为了降低环境温度对识别的的影响，对图像进行温度归一化处理；

2.温度归一化采用加权的线性归一化方法，相比于传统的线性归一化方法，可以提高归一化的精度；

3.为了得到更加稳定的人脸生物特征，对归一化后的人脸红外信息进行血流率转化，提高识别系统的鲁棒性；

4.通过微分方程来反向求解建立模型，求解血流率W_b，可以充分利用人脸温度信息之间的相关性，现对于温度信息，具有更稳定的血流生物特征；

5.特征提取时采用二次PCA+FLD的识别技术，相比于传统的一次特征提取技术，可以抽取更具鉴别特征进行识别；

实验表明，该发明能大大提高时延数据的识别率，可用于实时红外人脸识别系统中，具有很高的理论研究意义和实际应用价值。

附图说明

图1为原始图像；

图2为几何归一化图像；

图3为人脸方向检测示意图；

图4为线外点的影响；

图5为鲁棒红外人脸识别系统框图；

图6为红外人脸图像归一化流程图；

图7为离散血流图转换流程图；

图8为基于像素人脸离散化模型；

图9为红外人脸图像和对应的离散血流图；

图10为特征提取及识别的流程图。

具体实施方式

以下结合实施例对本发明进行详细说明。

实施例1：

如图5所示，本发明技术包括以下步骤：

1、采集图像，对图像进行人脸检测、几何归一化和人脸方向检测等。

首先进行数据库采集，所用的是由FLIR公司生产的ThermoVisionA40红外相机。这种相机使用无冷却微辐射热测量传感器，其像素分辨率为320×240，光谱响应频段为7.5～13微米。为准确测出被测对象的表面温度，该设备设有温度自校正功能以消除温漂。其温度敏感度高达0.08℃。原始红外人脸图像如图1所示。

假设人脸皮肤温度要高于所处环境的温度，可以很容易地把人脸从红外图像中检测出来。假设f(x，y)为原始人脸图像，从原始图像的背景中选定一小片区域Γ∈f(x，y)，则可以通过式(1)得到背景的平均灰度值：

$\stackrel{\‾}{G}=\frac{1}{\mathrm{pq}}{\mathrm{\Σ}}_{j=1}^q{\mathrm{\Σ}}_{i=1}^p\mathrm{\Γ}(i,j)---\left(1\right)$

其中，m×n为原始图像的大小，p×q为小片区域的大小，Γ(i，j)为点(i，j)的灰度值。

再通过式(2)对原始人脸图像进行处理：

$B(x,y)=\left\{\begin{array}{ccc}1& \mathrm{if}& f(x,y)-\stackrel{\‾}{G}>\mathrm{\Δ}\\ 0& \mathrm{if}& f(x,y)-\stackrel{\‾}{G}\≤\mathrm{\Δ}\end{array}\right.x=\mathrm{1,2},\mathrm{\Λ},m,y=\mathrm{1,2},\mathrm{\Λn}---\left(2\right)$

其中Δ＝2～3，原始图像f(x，y)就转变成了二值图像B(x，y)。在B(x，y)中，白色部分代表了人脸，也有可能包含身体部分。红外相机通常会带来一些噪声，导致二值化后图像中覆盖了椒盐噪声。

为了能准确地分割出人脸的轮廓，使用了形态学的开运算和闭运算的图像处理方法。

$B_{\mathrm{open}}=\left(\mathrm{B\ΘSE}\right)\⊕\mathrm{SE}$ (3)

$B_{\mathrm{close}}=(B\⊕\mathrm{SE})\mathrm{\ΘSE}$

其中SE为结构算子，本发明选择的是半径为2到3之间的圆盘算子。对图像进行形态学处理的目的是为了消除噪声带来的影响，并且保证尽可能地减少对图像带来的负面影响。通过使用开运算，大部分的背景噪声在腐蚀操作中过滤了，而内部的边缘在闭操作中的膨胀阶段消除了。

由于人的脖子要比脸部和肩膀窄，基于这个很很容易得到人脸，并归一化到相同尺寸(80×60)。图像插值时均采用最近邻法以确保数值变化不大，几何归一化的图像如上图1所示。

人脸方向检测

对人脸图像的几何归一化是保证提供一致人脸图像的必不可少的一个步骤。但是人脸不同方向的摆动会造成图像归一化很大的误差，所以要对人脸倾斜角度进行检测。要检测人脸倾斜角度，我们先估计出人脸对称轴。假设B∈f(x，y)为二值化的人脸图像，对人脸图像的每一行，找到人脸部分的中点。在图3中用“·”表示。沿着y轴，可以找到图像的中点集合(x_i，y_i)，i＝1，2，Λ，m，如图3所示。假设对称轴近似为y＝kx+b，则其参数可以通过最小二乘估计(Least Squares Estimation)来确定。

$k=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2}---\left(4\right)$

$b=\stackrel{\‾}{y}-k\stackrel{\‾}{x}---\left(5\right)$

$\stackrel{\‾}{x}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_i,\stackrel{\‾}{y}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{y}_i---\left(6\right)$

从而，y轴同估计的人脸对称轴线y＝kx+b之间的角度θ可以通过下式来确定

但是，最小二乘估计对噪声并不具有鲁棒性，这个方法只有当x和y是线性相关的时候才是有效的。当x和y不相关(如图4所示)时，此方法并不有效^[24]。

本发明采用了迭代方法，其输入为二值化的人脸图像，输出为倾斜角度θ，迭代过程如下：

(1)获得中点坐标集S＝{(x_i，y_i)}，i＝1，2，Λ，m

(2)计算距离矩阵D＝{d_ij}，1≤i，j≤m(d_ij为点(x_i，y_i)同点(x_j，y_j)之间的距离，很显然，矩阵D为对称矩阵)

(3)从集合S中收集线上的点，其必须满足d_ij≤ρ(ρ为设定的阈值)

(4)通过式(4～7)来估计倾斜的角度θ_i

(5)If(θ_i＞ε或者ρ＞1)

(a)把二值化人脸图像旋转-θ_i

(b)重建人脸轮廓

(c)ρ＝ρ-1

(d)重复步骤(1～4)

else

计算最终的旋转角度

(l为迭代的次数)

从而可以得到最终的旋转角度θ，再把人脸图像旋转-θ即可消除人脸倾斜角度^[24]。

1)对图像进行温度归一化，以减小环境温度对红外图像的影响，其过程如下：

对于两幅不同温度下的人脸温谱图f(x，y)和g(x，y)，其中f(x，y)是在标准温度T_e1下采集的，g(x，y)是在未知温度下采集的。首先提取出图像g(x，y)的状态参数并求出g(x，y)采集时的环境温度T_e2(T_e2为图像中温度值最低的点对应的温度值)；然后计算两幅图像采集时的环境温度差ΔT＝T_e1-T_e2，对于图像中的每一个点x_k：

if T_e2＞T_e1

$x_k=x_k-\frac{x_{\max }-x_k}{x_{\max }-x_{\min }}*\left|\mathrm{\ΔT}\right|$

else $x_k=x_k+\frac{x_{\max }-x_k}{x_{\max }-x_{\min }}*\left|\mathrm{\ΔT}\right|$

其中x_max＝max(g(x，y))，x_min＝min(g(x，y))，

为该点随温度变化的权重。通过对图像中的每个点执行上述操作，就可以将红外人脸图像g(x，y)转换到与图像f(x，y)相同的环境温度下。

2)为了获得更加鲁棒的生物特征，通过离散血流模型将温度归一化后的红外人脸图像转化为离散血流图。基于Pennes方程的血流模型如下：

生物热传学是研究生物组织内的传热、传质以及生物体与环境之间物质和能量的交换过程的一门学科。而Pennes方程是目前应用最广泛的生物热传模型之一，Pennes方程将人体小臂简化为圆柱体，并考虑到小臂肌肉组织中含有血流的灌注，它是轴对称条件下微分形式的生物传热方程，其具体数学表达式是：

$\mathrm{\ρc}=\frac{\∂f(x,y)}{\∂t}=\▿\·(k\▿f(x,y))+W_b{C}_b(T_a-f(x,y))+q_m+q_r---\left(8\right)$

其中：ρ为人体组织密度，c为人体组织比热容，k为人体组织导热系数，W_b为体积血流量，C_b为血的比热容，T_a为动脉血温度，q_m为体积人体代谢产热热流量，q_r为外部供热热流量。组织的热特性参数包括ρ、c、k，热生理参数包括W_b、q_m。

Pennes方程与一般热传导方程的不同在于其增加了血液灌注项

q_b＝W_bC_b(T_a-T₀)                                 (9)

由于人脸的表面温度场分布是一个二维的温度场分布，所以原有的三维的pennes方程可以简化为二维形式：

$K(\frac{{\∂}^{2}f(x,y)}{{\∂x}^2}+\frac{{\∂}^{2}f(x,y)}{{\∂y}^2})+W_b{C}_b(T_a-f(x,y))+q_m=0---\left(10\right)$

通过对上述Pennes方程以及红外图像的分析发现，求解血流率W_b实质上就是通过微分方程反向求解建立模型的过程。即

$W_b=\frac{-K(\frac{{\∂}^{2}f(x,y)}{{\∂x}^2}+\frac{{\∂}^{2}f(x,y)}{{\∂y}^2})-q_m}{C_b(T_a-f(x,y))}---\left(11\right)$

由于采集的红外人脸图片是用同一相机拍摄的，所以得到一副人脸红外图像像素点的间隔是一样的，即：d为实际人脸离散化后的取样间隔距离。于是可以得到

$K(\frac{{\∂}^{2}f(x,y)}{{\∂x}^2}+\frac{{\∂}^{2}f(x,y)}{{\∂y}^2})=K\frac{f(i-1,j)+f(i+1,j)+f(i,j-1)+f(i,j+1)-4f(i,j)}{d^2}---\left(12\right)$

即：

$K(\frac{{\∂}^{2}f(x,y)}{{\∂x}^2}+\frac{{\∂}^{2}f(x,y)}{{\∂y}^2})=K*\mathrm{\λ}*(f(i-1,j)+f(i+1,j)+f(i,j-1)+f(i,j+1)-4f(i,j))---\left(13\right)$

其中，T(i，j)表示红外人脸的温度分布，λ＝1/d²，由人脸图像的实际间隔距离决定。

$W_b(i,j)=\frac{-K*\mathrm{\λ}*(f(i-1,j)+f(i+1,j)+\mathrm{fT}(i,j-1)+f(i,j+1)-4f(i,j))-q_m}{C_b(T_a-f(i,j))}---\left(14\right)$

从公式(14)可以看出血流率不仅跟本身点的温度值有关，而且还和周围点的温度值相关联，这样也体现了血流与温度不是点对点关联的，而是存在相互影响的，符合人脸组织的传热机理。

3)特征提取及识别

特征提取的目的是要找到能够表示人脸且在不同的环境中都具有鲁棒性的特征。降维后的特征叫二次特征，它们是原始特征的某种组合(通常是线性组合)。所谓的特征提取，从广义上就是指一种变换。

本发明采用经典的基于统计特征提取方法(PCA+FLD)和基于欧式距离的最近邻分类器。为了利用识别率会随着训练样本的减小而提高这一规律，本发明设计了二次PCA+FLD的识别技术。该工作描述如下：

首先，对训练总样本(假设有M个类别，每个类别包含P个样本)进行第一次PCA+FLD特征提取。然后，对测试样本进行第一次PCA+FLD特征提取并识别，得到M个识别结果。根据距离大小(即相似度)排序，取出最相似的N(其中N＜M)个类别所对应的训练样本。

然后，对N类训练样本再进行PCA+FLD特征提取，在新的特征基础上，对测试样本(图像)进行识别。距离最小所对应的类别就是最终的识别结果。

实施例2：

如图6所示，在对红外人脸图像进行预处理和几何归一化等操作后，先对图像进行0-1规范化。0-1规范化得到的值就作为人脸上该点随温度变化的权重。然后提取出图像中的状态参数，用图像中的最低值作为该图像采集时的环境温度值。最后，用该图像与标准环境下图像的采集温度差以及得到的权重对图像进行温度归一化，归一化后的图像能较好的减小环境温度对图像的影响。实施例3：如图7和8所示，在对图像进行温度归一化后，基于生物热传模型中经典的Pennes生物热传方程，通过离散化建模，我们将红外人脸图像转换成离散血流图。离散血流图充分考虑了血流之间的关联性，可以得到更加稳定的血流特征，用于人脸识别，在不同的环境温度下(对于时延数据)具有较强的鲁棒性。

实施例4：

如图10所示，首先，对训练总样本(假设有M个样本)进行第一次PCA+FLD特征提取。然后，对测试样本进行第一次PCA+FLD特征提取。基于提取后的特征进行识别，根据欧式距离的大小排序，取前N(其中N＜M)类样本出来，得到二次样本。最后，对二次样本进行PCA+FLD特征提取，测试样本在新的特征空间进行识别，距离最近的类就是最后的识别结果。

Claims (5)

1.一种鲁棒红外人脸识别技术，其特征在于：包括如下步骤：

5)采集图像，对图像进行人脸检测，几何归一化和人脸方向检测；

6)对图像进行温度归一化，对于两幅不同温度下的人脸温谱图f(x，y)和g(x，y)，其中f(x，y)是在参考温度T_e1下采集的，g(x，y)是在变化环境温度下采集的，其过程如下：

①提取出图像g(x，y)的环境温度T_e2，并计算两幅图像采集时的环境温度差ΔT＝T_e1-T_e2；

②对g(x，y)各温度点作0-1规范化，得到各点随温度变化的权重；

③如果ΔT＞0，对于图像中的每一个点x_k都要加上ΔT和该点权重的乘积，以对该图像进行温度补偿；

④若ΔT＜0，则图像中的每个点都要减去ΔT和该点权重的乘积；

通过对图像中的每个点执行上述操作，就可以将红外人脸图像g(x，y)转换到与图像f(x，y)相同的环境温度下；

7)为了获得更加鲁棒的生物特征，温度归一化的红外人脸图像通过Pennes方程求出血流量，该工作包括：

①将原有的三维的Pennes方程简化为二维形式；

②通过对二维Pennes方程离散化，反向求解得到血流率W_b，并以血流率进行人脸识别；

③图像像素点的间隔为实际人脸离散化后的取样间隔距离，将二维Pennes方程改写成由实际间隔距离决定的Pennes方程；

8)特征提取及识别。

2.如权利要求1所述的鲁棒红外人脸识别技术，其特征在于：提取和识别时采用二次PCA+FLD的识别技术。

3.如权利要求2所述的鲁棒红外人脸识别技术，其特征在于：特征提取及识别按如下方法进行：

①对训练总样本进行第一次PCA+FLD训练，假设有M个类别，每个类别包含P个样本，训练后，对测试样本进行第一次PCA+FLD特征提取并作识别，得到M个识别结果，基于提取后的特征根据欧式距离的大小，对训练库的样本从小到大进行排序，完成第一次PCA+FLD识别，得到排序后的训练样本；

②M个识别结果中，按距离大小排序，取前N(N＜M)个距离最小所对应的类别，对第一次PCA+FLD得到的已排序训练样本，取前N(其中N＜M)类样本得到二次样本；

③以N类样本作第二次PCA+FLD训练和测试，以距离最小所对应的类别作为最后的识别结果。

4.如权利要求1或2所述的鲁棒红外人脸识别技术，其特征在于：用整幅红外人脸图像中的最低值作为该图像的一个状态参数，即该图像采集时的环境温度值。

5.如权利要求1或2所述的鲁棒红外人脸识别技术，其特征在于：用温度归一化、Pennes求解血流以及二次特征提取方法来提高红外人脸识别系统在时延数据下的识别率。

Images