CN1285052C - 基于区域特征元补偿的红外人脸眼镜干扰消除方法 - Google Patents

Abstract

一种基于区域特征元补偿的红外人脸眼镜干扰消除方法，对输入的红外人脸图首先进行眼镜检测，根据眼镜是否存在作出相应的处理，对不戴眼镜的红外人脸图，经过特征脸分析后，直接进行最近邻分类，得到识别结果；对戴眼镜的红外人脸图，在经过特征脸分析、得到特征元向量后，先进行眼镜区域的特征元补偿，然后进行最近邻分类，得到识别结果。本发明在对红外人脸眼镜检测的基础上，对于不戴眼镜的，直接用特征脸分析和最近邻分类进行人脸识别，这使得识别效果不会受到补偿方法的负面影响；对于戴眼镜的，通过区域特征元的补偿，有效地抑制了眼镜带来的干扰。本发明大大提高了红外人脸的识别率，而且简单有效，在实际应用中具有重要意义和实用价值。

Description

基于区域特征元补偿的红外人脸眼镜干扰消除方法

技术领域

本发明涉及一种处理红外人脸识别中眼镜干扰的方法，具体是一种基于区域特征元补偿的红外人脸眼镜干扰消除方法，用于图像处理领域。

背景技术

在过去的十年里，人脸识别的研究得到了前所未有的重视。与指纹、虹膜等其它鉴别技术不同，人脸识别更加直接、友好，而且使用者无心理障碍。目前的人脸识别系统在限制条件下可以达到很高的精度，但是在实际应用中仍存在问题。很多因素都会影响识别的性能，譬如人脸旋转、面部表情、人脸的遮挡，还有光照的变化。目前的研究表明，红外人脸识别也可以作为一种很好的生物鉴定技术，在很多情况下甚至优于可见光人脸识别。红外图像对光照的变化不敏感，即便在全黑的条件下也不影响识别的效果。但是，红外图像也有自己的缺陷。由于红外不能穿透玻璃，造成戴眼镜的人脸有很大一块区域被遮挡，严重影响了识别的效果。为了消除眼镜对红外识别的干扰，一些研究者提出了与可见光人脸进行融合识别的方案。融合虽是一个不错的解决方向，但需要多增加一个传感器，同时还需要研究合适的融合策略。

经对现有技术文献的检索发现，T.Kurita等人在《IEEE Conference onAdvanced Video and Signal Based Surveillance》(Florida，pp.53-58，2003)上发表的“Recognition and Detection of Occluded Faces by a Neural NetworkClassifier with Recursive Data Reconstruction，”(“基于神经网络和递归数据重构的遮挡人脸检测和识别，”美国电气电子工程师学会关于视频和监控信号研讨会，佛罗里达，pp.53-58，2003)，该文在可见光人脸识别中，提出了处理遮挡干扰的方法，但是这些方法算法复杂、运算量大，且没有考虑到红外人脸的特性。因此从红外人脸自身出发解决眼镜干扰的问题一直未得到很好的解决。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于区域特征元补偿的红外人脸眼镜干扰消除方法，使其能够有效地提高了红外人脸的识别率，简单实用，达到理想的效果。

本发明是通过以下技术方案实现的，本发明对戴眼镜的红外人脸图进行区域特征元补偿。输入一张红外人脸图，假设输入的红外人脸图已经经过规一化处理，规一化的目的是使输入的人脸在位置和尺度上保持一致。首先进行眼镜检测，判断红外人脸是否戴眼镜。对于不戴眼镜的红外人脸图，直接按特征脸分析和最近邻分类得到识别结果。对于戴眼镜的红外人脸图，在对它进行特征脸分析后，还要进行区域的特征元补偿，然后再进行最近邻分类。

以下对本发明作进一步的说明，包括如下具体步骤：

(1)对红外人脸图进行眼镜的检测。这一步很重要，采用的检测方法能达到什么的检测率和虚警率对后面的影响很大。本发明根据红外人脸的一些特性，用一种更为简单实用的方法进行眼镜的检测，即采用阈值分割、形态学滤波和三约束判断。如果检测出不戴眼镜，则接下去执行步骤(2)、(4)；如果戴眼镜，则接下去执行步骤(2)、(3)、(4)。

(2)特征脸分析。特征脸方法是从主成分分析(Principal ComponentAnalysis)导出的一种人脸识别和描述技术，其目的是在人脸数据空间中找一组基向量(特征脸)以尽可能地解释数据的方差，将数据从原来的R维空间降维投影到M维空间(

)，在降维后保存了数据中的主要信息，从而使数据更易于处理。

(3)区域特征元补偿。通过特征脸分析，得到戴眼镜红外人脸的特征元向量。根据这个已知特征元向量，在特征脸空间进行变换，利用眼镜遮挡区域的平均信息，可以估计出不戴眼镜情况下红外人脸的特征元向量。根据这个估计的特征元向量，进行下面的分类。

(4)分类。用基于欧氏距离的最近邻方法对输入向量进行分类识别。

本发明在对红外人脸眼镜检测的基础上，针对不同的情况进行不同的识别处理。对于不戴眼镜的情况，直接用特征脸分析和最近邻分类进行人脸识别，这使得识别效果不会受到补偿方法的负面影响；对于戴眼镜的情况，通过区域特征元的补偿，有效地抑制了眼镜带来的干扰。采用基于区域特征元补偿的方法大大提高了红外人脸的识别率，方法简单有效，在实际应用中具有重要意义和实用价值。

附图说明

图1为本发明方法流程图。

图2为红外人脸的眼镜检测过程示意图。

其中，图2(a)为原始图；图2(b)为分割后的二值图；图2(c)形态学滤波的结果。

图3为眼镜区域的特征元信息获取示意图。

其中，图3(a)为不戴眼镜的平均值；图3(b)为戴眼镜的平均值；图3(c)为眼镜区域的平均信息；图3(d)为眼镜区域的特征元信息。

图4为红外人脸的识别率比较。

其中test_no是不戴眼镜的红外人脸在特征脸分析和最近邻分类下的识别率；test_glass1是戴眼镜的红外人脸在特征脸分析和最近邻分类下的识别率；test_glass2是戴眼镜的红外人脸在用本发明所提的区域特征元补偿方法下的识别率。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

如图1所示，为本发明方法流程图。输入一张红外人脸图，首先进行眼镜检测，判断红外人脸是否戴眼镜。对于不戴眼镜的红外人脸图，直接按特征脸分析和最近邻分类得到识别结果。对于戴眼镜的红外人脸图，在对它进行特征脸分析后，还要进行区域的特征元补偿，然后再进行最近邻分类。

各部分具体实施细节如下：

1.红外人脸眼镜的检测

人们通常采用椭圆匹配法对眼镜进行检测，运算量比较大，检测精度也不是很高，其中正确检测率为86.6％，虚警率为2.9％。

红外人脸有自己的一些特性，譬如脸部的温度一般介于区间(35℃～42℃)，红外不能穿透玻璃，造成眼镜区域的灰度值基本保持在一个很小的区间θ。因此，本发明用一种更为简单实用的方法进行眼镜的检测。

首先根据区间θ对图像进行二值化处理。然后进行形态学滤波，结构元素设计成圆形，尺寸约取红外人脸图上镜片内切圆的一半。这样基本上可以将眼镜干净地提取出来。最后，用尺寸约束(镜片面积最大阈值)、位置约束(两块镜片的中心应基本水平，且间距落在一定的区间)和相似度约束(两块镜片的面积基本相同)进行校验。图2表示红外人脸的眼镜检测过程。用戴眼镜和不戴眼镜的红外人脸图各1000张进行实验，发现该方法的正确检测率可以提高到98.4％，虚警率降低到0％。

2.用特征脸方法提取红外人脸特征

令人脸图Γ(x，y)为一个2维的N×N矩阵，它同时也可以表示为一个N²的向量Γ_n。令训练库的人脸图为Γ₁，Γ₂，Γ₃，…，Γ_M。库中人脸的平均值定义为

$\frac{1}{M}\underset{n=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Γ}}_n---\left(1\right)$

其中M是训练库人脸的数目。

每张人脸与平均值的差值为Φ_n＝Γ_n-Ψ。协方差矩阵由下式确定

$C=\frac{1}{M}\underset{n=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Φ}}_n{\mathrm{\Φ}}_n^T={\mathrm{AA}}^T---\left(2\right)$

其中矩阵A＝[Ф₁，Φ₂，…，Φ_M]。特征脸空间可以通过计算C的特征向量u_n得到。因为C非常大，需要一种计算可行的方法得到这些特征向量。

令νn为A^TA的特征向量，即

                 A^TAν_n＝λ_nν_n                  (3)

等式两边乘于A，得到

                AA^TAν_n＝Aλ_nν_n＝λ_nAν_n        (4)

Aν_n即为C的特征向量。因此u_n可以从ν_n中计算得到

$u_n=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{v}_{\mathrm{nk}}{\mathrm{\Φ}}_k,n=\mathrm{1,2},...,M---\left(5\right)$

仅取前M′个最大特征值对应的特征向量计算特征脸。这样，特征向量的数目由M降为M′。一张新的人脸图Γ由下式映射得到它的特征元

${\mathrm{\ω}}_n=u_n^T(\mathrm{\Γ}-\mathrm{\Ψ}),n=\mathrm{1,2},\·\·\·,M^{\′}---\left(6\right)$

这些特征元构成特征元向量Ω^T＝[ω₁，ω₂，…，ω_M′]，该向量可以用来判断这张新的人脸属于预先定义的哪一类。

3.区域特征元补偿

令Γ_g为一张戴眼镜的红外人脸图，Γ为相同情况下不戴眼镜时的红外人脸图，则眼镜遮挡区域的信息N可以表示为

                N＝Γ-Γ_g                       (7)

将Γ_g投影到特征脸空间U＝[u₁，u₂，…，u_M′]，可以得到它的特征元向量Ω_g

          Ω_g＝U^T(Γ_g-Ψ)＝U^T(Γ-N-Ψ)＝Ω-Ω_N         (8)

其中Ω为Γ对应的特征元向量，Ω_N为眼镜遮挡区域N对应的特征元向量。

通过下式对眼镜造成的信息损失进行补偿

$\widehat{\mathrm{\Ω}}={\mathrm{\Ω}}_g+{\stackrel{\‾}{\mathrm{\Ω}}}_N---\left(9\right)$

其中 Ω_N为通过统计平均得到的眼镜遮挡区域信息后所对应的特征元向量，

用来判断戴眼镜的人脸属于哪一类。

图3表示红外人脸眼镜区域平均信息对应的特征元向量 Ω_N的获取过程。首先计算红外人脸的特征脸空间。然后分别对不戴眼镜的红外人脸库和戴眼镜的红外人脸库求平均，两者之差可以认为是眼镜区域的统计平均信息。最后将该平均信息映射到特征脸空间，得到眼镜区域的特征元信息。

4.分类得到识别结果。

采用基于欧氏距离的最近邻方法对输入向量Ω进行分类识别。令Ω_k为描述第k类人脸的特征元向量，将测试人脸Γ判给类j，如果满足下式

${\mathrm{\ϵ}}_j=\underset{k}{\min }{\mathrm{\ϵ}}_k=\underset{k}{\min }\left|\right|\mathrm{\Ω}-{\mathrm{\Ω}}_k\left|\right|---\left(10\right)$

在实验中，创建了1个训练库train_no和3个测试库test_no、test_glass1、test_glass2，选取了40个对象。

train_no：训练库中，每个对象有2张训练图，共80张，均不戴眼镜。

test_no：每个对象有10张测试图，共400张，均不戴眼镜。

test_glass1：每个对象有10张测试图，共400张，均戴眼镜。

test_glass2：每个对象有30张测试图，共1200张，均戴眼镜。

train_no用来计算红外人脸的特征脸，并得到各个对象在特征脸空间的表示。通过test_no、test_glass1，可以对眼镜的干扰进行定量分析，并由这两个库获得眼镜区域的特征元信息。test_glass2是用来对本发明所提的区域特征元方法进行验证，库中的测试图与test_glass1无雷同。

图4为三种测试条件下红外人脸的识别率比较。test_no和test_glass1均采用特征脸分析方法，通过对两者的比较，可以得到眼镜对红外识别的影响。不戴眼镜情况下的识别率约为98％，而戴眼镜情况下的识别率约为72％，眼镜的存在使识别率降低了26％，严重影响了识别的效果。test_glass2采用本发明提出的区域特征元补偿方法，识别率达到约91％，比test_glass1提高了19％，仅比test_no低7％。

在实际应用中，本发明所提方法的识别率还依赖于眼镜的检测率和虚警率。由于本发明的红外眼镜检测方法的检测率为98.4％，虚警率为0％，因此仍能保证红外人脸的识别率在不戴眼镜时达到98％，戴眼镜时达到90％。

Claims (4)

1、一种基于区域特征元补偿的红外人脸眼镜干扰消除方法，其特征在于，对输入的红外人脸图首先进行眼镜检测，根据眼镜是否存在作出相应的处理，对不戴眼镜的红外人脸图，经过特征脸分析后，直接进行最近邻分类，得到识别结果；对戴眼镜的红外人脸图，在经过特征脸分析、得到特征元向量后，先进行眼镜区域的特征元补偿，然后进行最近邻分类，得到识别结果。

2、根据权利要求1所述的基于区域特征元补偿的红外人脸眼镜干扰消除方法，其特征是，包括如下步骤：

(1)对红外人脸图进行眼镜的检测：根据红外人脸的特性，采用阈值分割、形态学滤波和三约束判断，如果检测出不戴眼镜，则接下去执行步骤(2)、(4)，如果戴眼镜，则接下去执行步骤(2)、(3)、(4)；

(2)特征脸分析：特征脸方法是从主成分分析导出的一种人脸识别和描述技术，它在人脸数据空间中找一组基向量以尽可能地解释数据的方差，将数据从原来的R维空间降维投影到M维空间

，在降维后保存了数据中的主要信息，从而使数据更易于处理；

(3)区域特征元补偿：通过特征脸分析，得到戴眼镜红外人脸的特征元向量，根据这个已知特征元向量，在特征脸空间进行变换，利用眼镜遮挡区域的平均信息，估计出不戴眼镜情况下红外人脸的特征元向量，根据这个估计的特征元向量，进行下面的分类；

(4)分类：用基于欧氏距离的最近邻方法对输入向量进行分类识别。

3、根据权利要求1或者2所述的基于区域特征元补偿的红外人脸眼镜干扰消除方法，其特征是，所述的眼镜检测，采用以下方法实现：

首先根据区间θ对图像进行二值化处理，然后进行形态学滤波，结构元素设计成圆形，尺寸取红外人脸图上镜片内切圆的一半，这样基本上将眼镜干净地提取出来，最后，用尺寸约束即镜片面积最大阈值、位置约束即两块镜片的中心应基本水平，且间距落在一定的区间，和相似度约束即两块镜片的面积基本相同进行校验。

4、根据权利要求1所述的基于区域特征元补偿的红外人脸眼镜干扰消除方法，其特征是，眼镜区域的特征元信息采用以下方法得到：

首先计算红外人脸的特征脸空间，然后分别对不戴眼镜的红外人脸库和戴眼镜的红外人脸库求平均，两者之差就是眼镜区域的统计平均信息，最后将该平均信息映射到特征脸空间，得到眼镜区域的特征元信息。

Images