CN101261677A - 人脸和虹膜混合识别的新方法——特征提取层融合 - Google Patents

Abstract

本发明涉及一种人脸和虹膜混合识别的新方法——特征层提取融合。根据神经网络、进化计算和模糊理论，构建人脸和虹膜特征提取层融合系统；在设计结构上采用全局和局部几何拓扑结构；利用粒子群优化算法，优化网络控制参数。在对人脸和虹膜图像进行特征提取时，采用超分辨率的图像增强算法，基于改进的球面谐波函数的光照补偿算法，基于线性相关滤波器的姿态估计和基于三维人脸的Candide模型和ASM算法的表情分析等技术，鲁棒地提取人脸和虹膜的特征向量，并采用自主开发的双重人脸和虹膜采集装置采集人脸和虹膜图像。本发明既能构建一种新的、有学习能力的、能够自动选择最佳网络拓扑结构并且能够自适应调整网络控制参数的系统，又能在人脸和虹膜的独立特征提取过程中，克服和降低环境和生理等因素的不利影响，有效地提高人脸和虹膜混合识别的识别率，促进基于人脸和虹膜混合识别的系统性能向实用性、可靠性和可接受性发展。

Description

人脸和虹膜混合识别的新方法——特征提取层融合

技术领域

本发明专利属于计算智能、模式识别和图像处理技术领域，在研究人脸和虹膜的单一生物特征识别技术的基础上，讨论人脸和虹膜在特征提取层进行信息融合的理论和算法。

背景技术

随着对社会安全和身份鉴别的准确性和可靠性要求的日益提高，目前单一的生物特征识别系统产品还不能满足社会的需要，因此，研究新的模型和算法，进一步提高识别率，降低误识率和误拒率仍然是一个发展趋势。另外，多模态生物特征识别的研究和应用也逐渐兴起和深入，是生物特征识别发展的必然趋势。基于多生物特征融合的身份鉴别的优点主要有三个方面：准确性，多个生物特征的识别可以提高身份鉴别的准确性；可靠性，伪造多个生物特征显然比伪造单个生物特征更为困难；适用性，可有效避免单一生物特征存在的应用局限性。

目前，单项生物识别技术和相关产品已经取得了很好的效果，获得了较高的识别率，其中人脸识别具有直接、友好和方便等特点，虹膜识别具有唯一性、稳定性等优点。为了更好地提高生物特征识别的效率和准确性，降低采集和识别环境的限制条件，本发明专利研究人脸和虹膜在特征提取层融合的新方法，探求生物特征的内在联系，构建新的型模型和算法，以提高生物识别系统的鲁棒性和可靠性，充分发挥人脸和虹膜识别的优势，应用于安全防范、电子政务、电子商务和金融业，保持良好的经济环境，具有深远的社会经济意义。

发明内容

本发明的主要目的在于研究模糊进化神经网络在人脸和虹膜图像特征提取层的融合识别方法。该方法将神经网络、进化计算和模糊系统相互融合，利用粒子群(PSO)优化算法建立一种有自学习能力的、能自适应的确定网络结构和调整网络参数的信息融合系统。可以将人脸和虹膜的特征信息直接提供给网络进行学习训练和识别。见图1。

在图像增强算法中，采用超分辨率的图像增强算法，对过小、不清晰的图像进行处理，主要对人脸区域进行超分辨率操作，能有效地降低在超分辨率过程中的时间开销。

人脸识别中光照、姿态和表情的处理方法，采用拟线性曲面拟合和改进的球面谐波函数进行光照补偿算法，研究对检测到的人脸特征信息区域，进行光线恒常性变换，校正光线的差别，克服环境光线对识别效果的不利影响，进一步提高识别率；基于线性相关滤波和神经网络的方法，克服人脸识别中姿态的影响；多小波变换快速滤波方法和人工图像生成技术研究，减小装饰和时间跨度对人脸识别精度的制约；基于Candide和ASM方法降低表情对识别精度的不良作用。

在虹膜识别中，去除眼睛其他部分如角膜与巩膜的相连处，眼睑和睫毛等的影响，准确地定位虹膜的位置，提取较为精确的特征数据。

附图说明

图1为本发明结构示意图。

图2USF数据库中的一个对象计算出的9个球面基函数图像。

图3(a)K＝20的条件下恢复出的基图像。

图3(b)K＝60的条件下恢复出来的基图像。

图4YaluB中同一个对象在不同光照下的图像。

图5基于线性相关滤波器和神经网络姿态估计结果。

图6不同的姿态组合的分区。

具体实施方式

1.使用模糊进化神经网络在人脸、虹膜图像特征提取层的融合识别方法。

在结构设计上，将全局几何拓扑结构和局部几何拓扑结构相结合，以数学形态学的理论方法构造主成分算子提取抽象的基本元素。将神经网络、进化计算和模糊系统相互融合，利用粒子群优化算法建立一种新的、有学习能力的、能够自动选择最佳网络拓扑结构、能够自适应调整网络控制参数，适合于将人脸、虹膜特征信息有效融合的系统，参见图1。

2.采用超分辨率方法进行图像增强。

采用神经网络方法，设计适用的多层感知网络，选择合适的样本和学习算法，对图像中难以精确定位面部特征的人脸区域进行超分辨率操作，降低或消除人脸区域过小或不清晰对识别结果带来的不利影响。

3.基于改进的球面谐波函数的光照补偿方法。

使用bootstrap集合，计算统计模型，这个模型包含人脸的3维信息，该统计模型的计算就是求出一个概率密度函数的估计参数，因为球面谐波函数的基图像服从这个密度函数的分布。在计算过程中，需要一个人脸3维信息的人脸库，当统计模型计算结束之后，将不再需要任何人脸的3维信息。实验中，使用两个不同的人脸数据库，计算3维统计模型时，使用USF大学的HumanID 3Dface scan数据库，而在训练和测试算法性能时，使用Yalu大学的YaluB人脸数据库，这两数据库中没有相同的人脸对象。得到3维人脸的统计信息之后，可以根据任意光照下新的人脸图像来估计人脸对象在球面谐波模型中的9个基图像。算法首先估计这个人脸图像在9个基图像上的系数，然后使用最大后验概率估计(MAP)来估计对应的9个基图像。图2显示了USF数据库中的一个人脸对象对应的9个球面谐波基图像，在计算过程巾，对灰度进行了调整，使其能够在0-255之间显示。

图3(a)是在样本数量K＝20的条件下恢复出的基图像，为了能恢复出效果更好的基图像，(a)的原始图像的灰度值被进行了一定的放大，(b)是在K＝60的条件下恢复出来的基图像，其原始图像没有做任何处理。可以看见即使在这种情况下，(b)恢复处理的基图像也比(a)的好。

图4是YaluB中同一个对象在不同光照下的图像，应用改进的球面谐波函数光照补偿算法求出各自的9个球面谐波基图像，第一列是原图像，后面9列是恢复出来的图像。

4.基于线性相关滤波器的姿态估计方法。

利用已知姿态的一组图像组合成一个复合相关滤波器。根据姿态参数把相关权值分配到对应的姿态图像中，测试图像经滤波器后得到的峰值就会依赖于它的姿态参数。同时采用两个这样的滤波器，可以估计出人脸绕x轴和y轴转动的角度。

图5给出了基于线性相关滤波和神经网络算法在81幅图像构成的“估计集”上进行姿态估计的结果。该估计集包括了对应Yaw方向旋转角θ在0°和8°之间、Tilt方向旋转角

在0°和8°之间的所有组合，其中步长为4°。估计的姿态结果显示在网格的交叉点处，良好的姿态估计结果应该使网格线笔直地通过实心点。

在θ∈[-80，80]，

的范围内，将不同的姿态组合划分为12大区域，如图6所示。图中水平方向为角度θ，垂直方向为角度

对于每个区域，将待估计姿态的图像经过背景置黑、宽度裁剪、归一化为240像素×240像素大小的灰度图像等一系列处理后送入相应区域的精确姿态估计。对所有区域都进行实验，得到的总平均误差为：Error_θ＝3.2度，

度。引进三位扫描设备之后，姿态估计精度显著提高，θ，

的平均估计误差在1度以内。

5.基于三维人脸的Candide模型和ASM算法，在一定程度上降低表情对识别精度的不利因素。

主动形状模型(Active Shape Model，ASM)首先对一组标有特征点图像(训练集)的形状和局部进行灰度建模，然后在搜索过程中不断调节形状和姿态参数，从而使形状达到最优化。为了研究训练图像的形状变化，比较不同的形状相对应的点，应先对这些图像进行校准，对其它形状进行旋转，缩放和平移使其尽可能的与基准形状接近。然后对校准后的形状数据进行主元分析(PrincipleComponent Analysis，PCA)，过程如下：

计算校准后的形状矢量的协方差矩阵：

$\mathrm{\Σs}=\frac{1}{N}\underset{i=11}{\overset{N}{\mathrm{\Σ}}}(s_i-\stackrel{\‾}{s}){(s_i-\stackrel{\‾}{s})}^T$

通过下式计算协方差的特征值As(λ1，λ2，...，λm)

∑SΦ_S＝Φ_SΛ_S

取相应的特征向量并正定化，记P＝(p1，p2，...pt)

跟踪过程中通过一个反复迭代循环的过程，不断扰动外形参数中的平移量，旋转角度，缩放比例，直至形状变不大，可认为此时的形状即所要搜索的图像形状。

Candide标准模型：

CANDIDE是一种可以得到特征人脸的标准模型，它将人脸每个部位进行了编码，建立了人脸的数据结构。由于其较少的多边形(大约100个左右)，使得普通的PC机器和嵌入式系统可以快速地得到三维人脸重建模型.

CANDIDE人脸模型可以由全局Action Units和局部Action Units来控制。全局Action Units是用来控制人脸模型绕X，Y，Z轴进行旋转，而局部ActionUnits可以控制人脸的不同的表情。

CANDIDE中的人脸运动参数包括两类：外形参数(Shape Units)和动画参数(Animation Units)。外形参数是描述人脸形状的参数，对于一个确定的人外形参数不会有较大变化，它描述人脸的静态特征。外形参数包括：头的高度，眼睛，眉毛在纵向上的位置以及人眼的宽度、高度，鼻子、嘴的位置和高度等等。动画参数是用来描述人脸的动态外形，当人做各种表情的时候，虽然外形参数变化不大，但描述人脸的细节变化的动画参数，往往变化较大。动画参数包括：眼睛的睁开、闭合，嘴唇的蠕动，嘴的张开，嘴角的运动等。

模型的构建可以形式化的表示为：

g(σ，α)＝g+Sσ+Aα

其中g是一个三维的空间坐标，S，A分别为外形和动画单元，σ和α分别为外形和动画参数。

当考虑到全局的运动参数之后，上式可以表示为：

g＝RS3(g+Sσ+Aα)+t

其中R＝R(rx，ry，rz)为一旋转矩阵，s3＝s3(sx，sy，sz)为x，y，z三个方向上的缩放系数，t＝t(tx，ty，tz)为平移矢量。因此，该模型的参数可以表示为参数矢量p＝[ν，σ，α]＝[rx，ry，rz，s，tx，ty，tz，σ，α]。根据上式，用户可以通过调节这些模型参数，使得模型能接近输入的人脸的外形，得到个性化的人脸模型。

基于Harmonic Model的特征点对应：

Morphing的重要一环就是如何找到源图像和目标图像中点的对应关系，在源图像中找到细分后的特征点之后，根据目标图像中搜索出来的特征点用调和映射的方法就可以自动查找这些在源图像中新增加的点在目标图像中的对应位置。基于Harmonic Model的能量最小的约束，找到最优的对应点，从而进一步在morphing过程中保证人脸形变最小。

设D，Ω是二维上具有相同拓扑结构的两个几何形体，其中(ε，η)∈D，φ(ε，η)＝(x，y)并且x(ε，η)，y(ε，η)∈Ω.当x，y满足如下两个方程的时候我们称φ是一个调和映射：

$\mathrm{\Δx}=\frac{{\∂}^{2}x}{{\∂\mathrm{\ξ}}^2}+\frac{{\∂}^{2}x}{{\∂\mathrm{\η}}^2}=0\∈\mathrm{\Ω},$

$\mathrm{\Δy}=\frac{{\∂}^{2}y}{{\∂\mathrm{\ξ}}^2}+\frac{{\∂}^{2}y}{{\∂\mathrm{\η}}^2}=0\∈\mathrm{\Ω}$

根据动画参数及Harmonic Model的特征点模型拟和，使受表情影响的二维图像拟和到中性的模型上，从而一定程度上消除表情影响识别精度的不利因素。

主要技术指标

使用虹膜和人脸识别在特征提取层相融合实现身份认证识别，识别时间小于1秒，误识率接近于零，拒识率小于0.1％。

Claims (9)

1.人脸与虹膜混合识别的新方法—特征提取层融合，包括如下步骤：

步骤1：将神经网络、进化计算和模糊系统相互融合；

步骤2：在结构设计上，将全局几何拓扑结构和局部几何拓扑结构相结合；

步骤3：利用粒子群优化算法优化网络参数；

步骤4：构建一种新的、有学习能力的、能够自动选择最佳网络拓扑结构并且能够自适应调整网络控制参数的系统；

步骤5：以数学形态学的理论方法构造主成分算子(Principal Component，PC)提取抽象的基本元素；

步骤6：使用该系统在人脸、虹膜图像特征提取层进行融合。

2.根据权利要求1所述的人脸、虹膜图像特征提取层融合的方法，其特征在于：系统兼具模糊系统、神经网络和进化计算等算法的优点，系统性能稳定，特征融合的可靠性高。

3.根据权力要求2所述的系统，构建网络拓扑结构，其特征在于：既包含全局几何拓扑结构又包含局部几何拓扑结构，系统网络结构灵活，描述能力强。

4.根据权利要求2所述的系统，优化系统参数，其特征在于：采用粒子群优化算法，构建一种新的、有学习能力、能够自动选择最佳网络拓扑结构并且能够自适应调整网络控制参数的系统。

5.根据权利要求4所述的经过优化后的系统，对人脸和虹膜在特征提取层进行融合的系统，其特征在于：人脸和虹膜的鲁棒性的特征提取方法。

6.根据权利要求5所述的特征提取算法，在图像采集方面，其特征如下：非理想采集和非线性弹性畸变下，采用超分辨率方法，改善图像质量，克服或降低图像中人脸区域过小、对比度差对识别结果带来的不良影响。

7.根据权利要求5所述的特征提取算法，在人脸特征提取中，其特征如下：能减少或克服关照、姿态和表情对识别效果的影响。

步骤1：基于改进的球面谐波函数的光照补偿方法。使用bootstrap集合，计算统计模型，这个模型包含人脸的3维信息，该统计模型的计算就是求出一个概率密度函数的估计参数，因为球面谐波函数的基图像服从这个密度函数的分布。在计算过程中，需要一个人脸3维信息的人脸库，当统计模型计算结束之后，将不再需要任何人脸的3维信息。得到3维人脸的统计信息之后，可以根据任意光照下新的人脸图像来估计人脸对象在球面谐波模型中的9个基图像。算法首先估计这个人脸图像在9个基图像上的系数，然后使用最大后验概率估计(MAP)来估计对应的9个基图像。

步骤2：基于线性相关滤波器的姿态估计方法。利用已知姿态的一组图像组合成一个复合相关滤波器。根据姿态参数把相关权值分配到对应的姿态图像中，测试图像经滤波器后得到的峰值就会依赖于它的姿态参数。同时采用两个这样的滤波器，可以估计出人脸绕x轴和y轴转动的角度。

步骤3：基于三维人脸的Candide模型和ASM算法，在一定程度上降低表情对识别精度的不利因素。CANDIDE人脸模型可以由全局Action Units和局部Action Units来控制。全局Action Units是用来控制人脸模型绕X，Y，Z轴进行旋转，而局部Action Units可以控制人脸的不同的表情。根据动画参数及Harmonic Model的特征点模型拟和，使受表情影响的二维图像拟和到中性的模型上，从而一定程度上消除表情影响识别精度的不利因素。

8.根据权利要求5所述的特征提取算法，在虹膜特征提取中，其特征如下：利用多分辩率分析方法提高虹膜特征提取的精确度。

步骤1：利用灰度直方图和Hough变换相结合，进行虹膜定位；

步骤2：对外圆邻域利用改进的OTSU方法进行自适应分类，检测眼皮和睫毛区域；

步骤3：利用多分辨率Gabor滤波器、多层小波变换和分形方法进行特征提取。

9.根据权利要求5所述的鲁棒性特征提取算法，在人脸和虹膜图像采集方面，其特征如下：采用自主开发的双重快速采集人脸和虹膜的装置，具有功耗低、价格低廉、集成度高、不易被人察觉以及对人眼无损等优点。

Images