CN101901351B - 基于层次结构的人脸和虹膜图像融合识别方法 - Google Patents

Abstract

一种基于层次结构的人脸和虹膜图像融合识别方法，包括注册步骤R和识别步骤S两个环节。注册步骤R是将注册用户的人脸和虹膜图像进行特征抽取环节R1后保存在注册数据库中。识别步骤S是在给定注册数据库的基础上用人脸和虹膜图像进行识别和检索。本发明方法提高了生物特征识别系统的精度、易用性和检索效率，具有很好的扩展性和兼容性。本方法中基于人脸和虹膜融合的生物特征识别系统能够有效识别远距离的行人，在机场、车站、银行等安全场合具有广阔的应用前景。

Description

基于层次结构的人脸和虹膜图像融合识别方法

技术领域

本发明涉及数字图像处理，模式识别和统计学习等领域，特别是一种基于层次结构的人脸和虹膜图像融合识别方法。

背景技术

生物特征识别技术是利用人的生理和行为特征进行身份鉴别，单一模态生物特征识别技术在研究和商业领域都已经有了重大的突破，但是单一模态的生物特征识别技术无论从算法的识别精度和产品的易用程度上，都离大规模的应用需求还有一定的距离。多个模态的生物特征融合技术不仅能提高系统的识别精度，也扩展了系统的应用领域，是当前生物特征识别技术的一大趋势。

人脸识别和虹膜识别是近几年最具有发展潜力的生物特征识别技术。人脸识别以其使用方便得到广大用户的青睐，但是由于人脸本身结构的相似性，人脸识别的精度难以满足安全性能的要求。虹膜识别是世界上公认的识别精度最高的生物特征识别技术之一，但是由于虹膜图像采集困难，高质量的虹膜图像的获取成为虹膜识别技术发展的一大瓶颈。综合人脸识别和虹膜识别的特点，将人脸和虹膜进行融合成为最具有潜力的多模态生物特征识别技术。目前，国内外人脸和虹膜融合的方法可以分为特征级融合和分数级融合。特征级融合是指将采集到的人脸图像和虹膜图像分别进行特征抽取，然后将得到的人脸特征和虹膜特征采用不同的信息融合方法融合到一起，作为统一的特征，进行身份鉴别。分数级融合是指利用人脸和虹膜各自的识别方法，得到各自的识别结果(以相似度分数的形式出现)，然后采用不同的分数级别融合方法进行融合得到最终的相似度分数，进行身份鉴别。典型的方法包括：中国科学技术大学庄镇全等(CN1932840A)提出的基于数据融合的分数级融合方法；吉林大学周春光(CN101261677A)提出的基于神经网络，进化计算和模糊理论等的人脸和虹膜特征级融合方法。这些方法都是单一层次的并行融合方法，没有充分发挥人脸识别易用性的特点，在真正的系统很难实用。

由于我国人口多、人员流动频繁，大规模的生物特征识别系统具有广阔的应用前景。它对于国土安全、公共安全、金融安全和网络安全都具有重要意义。但是，随着数据规模的增多，系统的识别效率成为一个客观现实中必须解决的问题。例如虹膜识别已经开始在在电子护照、身份证、嫌疑犯排查、失踪人员身份鉴定、银行、电子商务、医疗、保险、社会福利等国家级和行业级的应用中推广，此时中心数据库中虹膜特征模板的规模必将达到海量(百万、千万乃至上亿)，完成一次识别的时间长度将会让人无法忍受，这就是生物特征识别领域中的三大顽疾之一——规模(Scale)问题。此外，一对多的生物特征识别系统的错误接收率(False Accept Rate，FAR，又称误识率)等于错误匹配率FMR和数据库容量的乘积，规模问题的出现还会增加系统的误识率。

另外，现有的生物特征识别系统需要用户的高度配合，给用户的使用带来不便，在某些应用场景，例如机场通关等，需要快速及时地对用户进行识别，繁琐的用户配合将严重降低系统效率。特别地，某些安全领域采用被动生物特征识别技术，需要在用户不知情或者不配合的情况下进行识别。这就引出了生物特征识别系统的又一顽疾——人机交互问题。

相对于指纹识别、掌纹识别、步态识别和签名识别等，人脸识别是人机交互最强的生物特征识别技术，虹膜识别是公认的精度最高的生物特征识别技术。这两种模态的融合具有广阔的应用前景。而远距离的人脸和虹膜识别系统能够发挥人脸识别的灵活性和虹膜识别的精确性，能够在极少的用户配合下进行识别。但是，现有的人脸和虹膜融合的方法主要包括特征级融合和分数级融合，主要的关注点都在于识别算法性能的提高。难以满足实际应用场景中的要求。

综上所述，现有的人脸和虹膜融合识别的方法，没有充分发挥人脸识别的优势，不能满足实际系统和应用场景的需求，如何充分将人脸识别和虹膜识别进行有效的融合是一个亟待解决的问题。

发明内容

现有的人脸和虹膜融合识别的方法，没有充分发挥人脸识别的优势，不能满足实际系统和应用场景的需求的问题，本发明目的是在最大程度的发挥人脸识别和虹膜识别的互补优势，基于层次结构的人脸和虹膜图像融合识别方法，不仅提高了系统的精确度，而且提高了系统的灵活性，同时也提高了整个系统的识别效率，能够满足国家公共安全领域的重大应用需求，为此，提出一种有效的基于层次结构的人脸和虹膜图像融合识别方法。

为达成所述目的，本发明基于层次结构的人脸和虹膜图像融合识别方法的技术方案的步骤包括：

注册步骤R：采用特征抽取方法，对待注册用户的人脸图像和虹膜图像抽取人脸特征和虹膜特征，得到人脸识别特征和虹膜特征的注册信息并保存到人脸特征注册数据库和虹膜特征注册数据库；

识别步骤S：通过三级层次结构进行人脸和虹膜图像融合识别：第一级，对待识别用户的人脸图像抽取人脸特征，调用人脸特征注册数据库中的注册人脸特征对待识别用户的人脸特征进行识别；第二级，调用人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据并基于典型相关分析(CCA)模型进行人脸到虹膜的检索，得到候选身份集合；第三级，基于人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据对候选身份集合对人脸和虹膜进行特征抽取和融合识别，对人脸图像和虹膜图像进行身份检索和认证。

其中，对待注册用户的人脸图像抽取3种人脸特征，包括：用于人脸识别的人脸识别特征、用于人脸到虹膜的检索的人脸检索特征和用于人脸和虹膜融合的人脸融合特征，根据人脸识别特征、人脸检索特征及人脸融合特征分别建立含有人脸识别数据库、人脸检索数据库和人脸虹膜数据库的系统注册数据库。

其中，对待注册用户的虹膜图像抽取2种虹膜特征，包括：用于人脸到虹膜的检索的虹膜检索特征，用于人脸和虹膜融合的虹膜融合特征，根据虹膜检索特征和虹膜融合特征分别建立含有虹膜检索数据库和虹膜融合数据库的系统注册数据库。

其中，对待识别用户的人脸图像抽取人脸特征是采用人脸识别特征抽取方法，抽取人脸特征，通过人脸识别分类器进行人脸识别。

其中，所述基于典型相关分析(CCA)的模型进行人脸到虹膜的检索的具体步骤包括：

步骤S21：通过给定的注册的人脸检索特征和虹膜检索特征的基础上，采用典型相关分析(CCA)模型进行离线训练，得到模型参数；

步骤S22：在识别阶段，采用人脸检索特征抽取方法，对输入的人脸图像抽取人脸特征，获得人脸检索特征；

步骤S23：对步骤S22得到的人脸检索特征，通过步骤S21中训练得到的模型参数和虹膜检索数据库中的所有虹膜特征进行预测，得到所有虹膜特征对应的预测分数集合；

步骤S24：对得到的预测分数集合进行由高到低的排序，抽取分数最高的一组虹膜特征所对应的身份作为检索结果。

其中，所述特征抽取和融合识别的步骤包括：

步骤S31：采用用于人脸和虹膜融合的特征抽取方法，对给定的待识别的人脸图像抽取待识别的人脸特征，得到人脸融合特征；

步骤S31：采用用于人脸和虹膜融合的特征对给定的待识别的虹膜图像抽取待识别的虹膜特征，得到虹膜融合特征。

其中，所述的融合识别采用特征级或分数级融合策略进行识别。

本发明的有益效果：本发明提出了一种基于层次结构的人脸和虹膜图像融合识别方法。本发明提出的方法对人脸识别和虹膜识别进行了有效的融合，其主要优点如下：

1.本发明融合人脸和虹膜两种生物特征信息进行身份鉴别，系统识别精度高；

2.本发明采用层次结构的融合策略，充分发挥了人脸识别的灵活性优势，增加了基于人脸和虹膜融合身份识别系统的易用性；

3.本发明采用典型相关分析(CCA)模型进行人脸到虹膜的检索，降低同一个人的人脸在不同情况下所表现出的类内差异，提高人脸检索的精度，保证整个系统的识别性能；

4.人脸和虹膜的层次结构，使得在人脸和虹膜融合识别只需要在人脸检索的结果中进行，降低系统的错误接受率。

5.由于人脸的检索可以实时连续地进行，而最后的人脸和虹膜的融合识别只是在检索的结果中进行，减小人脸和虹膜融合识别的搜索空间。

6.本发明可以用于远距离身份认证技术。通过远距离的人脸识别和检索，能够尽快确定用户身份，然后通过人脸和虹膜的融合，对用户身份进行最终确认；

7.本发明具有扩展性和兼容性，所有的单一模态的人脸识别算法和虹膜识别算法，以及特征级融合和分数级融合方法都可以集成到本方法中。

得益于以上优点，本发明使得基于人脸和虹膜识别融合方法的大规模应用成为可能。基于本方法的人脸和虹膜融合的生物特征识别系统可用于通关人员检查、安全场景监控、门禁、考勤等领域。

附图说明

图1示出基于层次结构的人脸和虹膜图像融合识别方法的流程图；

图2示出步骤S中的人脸识别子流程图；

图3示出基于典型相关分析(CCA)模型的人脸到虹膜的检索流程图；

图4示出人脸和虹膜融合识别流程图；

图5(a)示出人脸的原始图像，分辨率640*480，RGB图像；

图5(b)示出虹膜的原始图像，分辨率2352*1728，灰度图像；

图6(a)示出经过预处理的人脸原始图像双目定位结果图像；

图6(b)示出经过预处理的虹膜原始图像虹膜定位结果图像；

图7(a)示出人脸归一化图像，分辨率20*20，灰度图像；

图7(b)示出虹膜归一化图像，分辨率512*80，灰度图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

一个典型的生物特征识别系统包括注册和识别两个环节。注册环节是将合法用户的生物特征数据通过注册算法保存到系统数据库中。识别环节是通过识别算法判断待识别的用户是否为数据库中注册的用户。本发明所提出的基于层次结构的人脸和虹膜图像融合识别方法的流程图如图1所示，包括注册环节和识别环节：

注册环节R：采用特征抽取方法，对待注册用户的人脸图像和虹膜图像抽取人脸特征和虹膜特征，得到人脸识别特征和虹膜特征的注册信息并保存到人脸特征注册数据库和虹膜特征注册数据库，主要包括以下步骤：

步骤R11：对注册的人脸图像抽取人脸识别特征，人脸检索特征和人脸融合特征，分别保存到人脸识别数据库，人脸检索数据库和人脸融合数据库，组成系统注册数据库。

步骤R12：对注册的虹膜图像抽取虹膜检索特征和虹膜融合特征，分别保存到虹膜检索数据库，虹膜融合数据库，组成系统注册数据库。

识别环节S：通过三级层次结构进行人脸和虹膜图像融合识别：第一级，对待识别用户的人脸图像抽取人脸特征，调用人脸特征注册数据库中的注册人脸特征对待识别用户的人脸特征进行识别；第二级，调用人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据并基于典型相关分析模型进行人脸到虹膜的检索，得到候选身份集合；第三级，基于人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据对候选身份集合对人脸和虹膜进行特征抽取和融合识别，对人脸图像和虹膜图像进行身份检索和认证。

根据注册数据库的信息，对待识别的用户进行人脸和虹膜融合识别，主要包括以下步骤：

步骤S1：人脸识别。通过人脸识别算法进行人脸识别，如果识别通过，则返回待识别人身份，否则转向人脸检索步骤；

步骤S2：人脸到虹膜的检索。通过典型相关分析(CCA)，在同一个人的人脸信息和虹膜信息之间建立回归模型，经过预测得到检索的结果。

步骤S3：人脸和虹膜融合识别。通过信息融合和数据融合算法，将待识别人的人脸和虹膜信息进行融合，得到最终的识别结果。

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述：

无论是注册或者识别过程，原始采集到的人脸和虹膜图像(图5(a)和图5(b)所示)都需要经过人眼定位和虹膜定位(图6(a)和图6(b)所示)，然后得到能够用以特征抽取的归一化人脸图像和归一化虹膜图像(图7(a)和图7(b)所示)，具体步骤如下：

人脸归一化图像获取、在采集到的人脸原始图像(图5(a)所示，分辨率640*480，RGB图像)上定位到双目中心(图6(a)所示经过预处理的人脸原始图像双目定位结果图像)，根据归一化图像上固定的人眼中心位置，求得原始图像和归一化图像的坐标变换矩阵，通过双线性插值的方法得到人脸归一化图像(图7(a)所示，分辨率20*20，灰度图像)；

虹膜归一化图像获取、在采集到的虹膜原始图像(图5(b)所示，分辨率2352*1728，灰度图像)上使用两个圆分别拟合虹膜的内外圆边界(图6(b)所示经过预处理的虹膜原始图像虹膜定位结果图像)，然后通过笛卡尔坐标到极坐标的变换，将原始图像上的环形虹膜区域归一化到固定大小的虹膜归一化图像(图7(b)所示，分辨率512*80，灰度图像)。

本发明方法中采用的特征抽取方法包括主成分分析(PCA)、稀疏编码(Sparse Coding)和斑块形状特征。其具体步骤如下：

主成分分析(PCA)、给定一组输入数据X：{x₁，x₂，...，x_N}，x_i∈R^D，D是原始数据维度，N是样本个数。通过变换矩阵将原始数据进行数据变换得到X′：{x′₁，x′₂，...，x′_N}，x′_i∈R^d，d是变换后的数据维度。求使得其方差最大的变换矩阵W_X，具体步骤如下：

计算X的均值： $\stackrel{\‾}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i;$

计算X协方差矩阵： $\mathrm{\Σ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T;$

求得∑的特征值：Λ＝(λ₁，λ₁，...，λ_N)；

取前d个最大的特征值对应的特征向量组成变换矩阵W_X；

则原始数据X经过主成分分析(PCA)得到特征数据： $X^{\′}=W_X^{T}X.$

其中上标“T”表示矩阵转置。

稀疏编码(Sparse Coding)的基本思想是，一个类别，其所有的样本都也可以由其自身有限的几个样本线性组合得到。数学描述如下：

给定m个类别，每个类别i包含n个注册样本，所有的注册样本的特征向量组成集合：X：{x₁₁，x₁₂，...，x_1n，...，x_ij，...，x_m1，x_m2，...，x_mn}，给定待识别样本的特征向量y，求以下优化：

α^*＝arg min||α||₁，约束条件是Xα＝y。其中α是线性组合系数。

斑块形状特征是用于人脸和虹膜融合步骤中的虹膜特征抽取，其基本思想是通过虹膜图像小波变换系数，使用阈值分割法得到二值化斑块图像，计算每个斑块的重心作为最终的特征。其具体步骤可参考谭铁牛等的专利(CN 1684095)。

注册步骤R：采用合适的特征抽取方法将待注册用户的人脸和虹膜图像进行特征抽取，保存到注册数据库中。

本发明方法中按照特征的用途，将人脸特征分为3种，包括人脸识别特征，人脸检索特征，人脸融合特征。虹膜特征分为2种，包括虹膜检索特征，虹膜融合特征。具体的特征抽取过程如下：

人脸识别特征、用于人脸识别。具体实施中采用主成分分析(PCA)方法。

人脸检索特征、用于人脸到虹膜的检索。具体实施中采用主成分分析(PCA)方法。

人脸融合特征、用于人脸和虹膜融合识别。具体实施中采用稀疏编码(Sparse Coding)方法。

虹膜检索特征、用于人脸到虹膜的检索。具体实施中采用主成分分析(PCA)方法。

虹膜融合特征、用于人脸和虹膜融合识别。具体实施中采用谭铁牛等(CN 1684095)提出的斑块形状特征。

识别步骤S：在注册数据库的基础上，对给定的人脸图像和虹膜图像进行身份识别。图2示出步骤S中的人脸识别子流程图，具体步骤包括：

人脸识别步骤，包括特征抽取步骤S11和分类步骤S12：

步骤S11：采用主成分分析(PCA)方法进行人脸识别特征抽取，获得人脸识别特征；

步骤S12：然后使用欧式距离和最近邻分类器，对人脸识别特征进行分类；

人脸到虹膜的检索步骤。在步骤S11和步骤S12中，如果不能准确地通过人脸进行身份识别，则采用典型相关分析(CCA)模型进行人脸到虹膜的检索。

一般的人脸检索方法，是将注册数据库中的不同类别的人脸信息与待识别的人脸信息进行相似度度量，然后按照相似度大小进行排序，从而达到检索的目的。这种人脸到人脸的检索方法容易受环境光和人脸自身姿态的影响，同一个人的人脸图像在不同时刻的差异较大，这种检索的效果达不到实际的要求。所以，提高人脸检索的关键在于如何减小人脸类内的差异性。

解决上述问题的现有思路是增加主动近红外光源，这样不但增加系统的成本，也缩小了人脸检索的应用范围，因为在某些场景中，例如安全监控中，设置近红外主动光源是不现实的。而从人脸识别算法本身去解决这个问题，仍处于研究阶段。

本发明提出了一种人脸到虹膜的检索的方法，能够很好的解决这个问题。它的工作原理如下所述。一般的虹膜识别系统都采用近红外成像，使得虹膜成像不受外景光照的影响；另外，虹膜本身具有很高的类间区分度和类内一致性，是公认的精度最高的生物特征。如果能够在同一个人的人脸和虹膜之间建立起对应关系，使得同一个人的人脸信息和其对应的虹膜信息具有最大相关，就可以从一定程度上减小同一个人脸的不同图像之间的差异。从而提高检索的精度。这种人脸到虹膜的映射关系的建立可以通过典型相关分析(CCA)实现。

典型相关分析(CCA)是统计学习领域经典的多元统计分析方法，用于分析两组数据之间的相关关系。典型相关分析模型假设两组数据X：{x₁，x₂，…，x_N}，Y：{y₁，y₂，…，y_N}，其中N为样本个数，存在一个潜在的相关关系，这个潜在的相关关系需要一对变换矩阵W_X，W_Y将原始的数据变换为X′，Y′，通过最大化两组数据之间的相关系数，得到最优的变换矩阵

其数学描述如下：

$\{W_X^{*},W_Y^{*}\}={\arg \max }_{W_X,W_Y}\frac{E\left[X^{\′T}{Y}^{\′}\right]}{\sqrt{E\left[X^{\′T}{X}^{\′}\right]E\left[Y^{\′T}{Y}^{\′}\right]}},---\left(1\right)$

其中

其中E[x]表示随机变量x的数学期望。

可以通过求解AW＝BWλ的广义特征向量得到

其中

C_XX＝XX^T，C_XY＝XY^T，C_YX＝YX^T，C_YY＝YY^T。

通过以上分析，本发明中，X：{x₁，x₂，…，x_N}对应注册的人脸检索特征向量集合，Y：{y₁，y₂，…，y_N}对应注册的虹膜检索特征向量集合，N为对应的注册的样本数。图3示出基于典型相关分析(CCA)模型的人脸到虹膜的检索步骤具体如下：

步骤S21：训练步骤。根据注册的人脸检索特征向量集合和虹膜检索特征向量集合训练得到变换矩阵

步骤S22：特征抽取步骤。对待识别的人脸图像进行特征抽取，采用主成分分析方法(PCA)；

步骤S23：预测步骤。首先对得到的待识别人的人脸检索特征x，经过变换矩阵

得到x′；其次，注册的虹膜检索特征向量(双目或单目)集合Y：{y₁，y₂，…，y_N}经过变换矩阵

得到Y′：{y′₁，y′₂，…，y′_N}；然后求得x′和Y′：{y′₁，y′₂，…，y′_N}中所有元素的相关系数集合ρ：{ρ₁，ρ₂，…，ρ_N}，相关系数的数学表达如下：

${\mathrm{\ρ}}_i=\frac{E\left[x^{\′T}{y^{\′}}_i\right]}{\sqrt{E\left[x^{\′T}{x}^{\′}\right]E\left[{{y^{\′}}_i}^T{y^{\′}}_i\right]}},1\≤i\≤N,i\∈R---\left(2\right)$

其中E[x]表示随机变量x的数学期望。

步骤S24：将分数集合进行排序，最大的N个相关系数所对应的类别集合作为最终的检索结果；

人脸和虹膜融合步骤，如图4示出人脸和虹膜融合识别流程图。在S21-24的基础上，通过人脸和虹膜的信息，采用已有的信息融合，数据融合方法，进行最终的身份认证。

包括以下步骤：

步骤S311：人脸特征抽取步骤。采用稀疏编码(Sparse Coding)进行特征抽取。

步骤S312：虹膜特征抽取步骤。采用虹膜斑块特征法进行特征抽取。

步骤S32：人脸和虹膜融合识别。采用分数级融合策略。

人脸的分数可以通过以下步骤获得：对于特征抽取步骤S311得到的稀疏编码特征α^*：

分别计算输入的人脸图像y与每类注册样本{x_i1，x_i2，...，x_in}线性重建得到的人脸图像

的差异r_i＝||y-y′_i||₂，作为输入图像与第i类所有样本之间的分数。

虹膜的分数s_i可以通过求输入样本的斑块特征和注册样本的斑块特征的度量得到。具体分数的计算方法参见谭铁牛等的专利(CN 1684095)。

分数级融合采用加权求和方法，最终的分数SC_i＝w₁s_i+w₂r_i，其中w₁和w₂是权值；

采用最近邻分类器(NN)进行最终的分类识别。

实施案例1：基于层次结构的人脸和虹膜图像融合识别方法在出入境人员身份鉴别中的应用。

本发明可广泛应用到出入境人员身份鉴别场景。在人员出入境通关的过程中，要求能够方便，快速，准确地进行身份认证，一方面使合法用户能够顺利的通关，另一方面也要将非法用户拒之门外。虹膜识别具有很高的识别率，但是不方便使用，人脸识别方便使用，但是识别率不高。所以本发明可以在这种场景中发挥重要作用。假设合法用户的人脸和虹膜的信息在申请通关的时候已经录入到数据库中，在通关的过程中，由于人流量大，所以人脸识别功能可以在远距离就开始进行识别和检索，如果识别通过，则验证成功。否则，当用户走到虹膜识别有效的范围时，同时进行人脸和虹膜的融合识别，得到最终的身份鉴别结果。使得通关人员能够快速、安全的进行通关。

实施案例2：基于层次结构的人脸和虹膜图像融合识别方法在安全监控场景中的应用。

本发明可广泛应用到安全监控场景。在安全监控场景中，要求能够对场景中出现的人员进行控制，如果出现非法人员，要及时报警。例如：一犯罪分子曾经被抓捕过，为防止其以后继续作案，将其人脸和虹膜信息注册到犯罪分子系统数据库中。但该犯罪分子屡教不改，又再次作案。当其出现在人脸和虹膜摄像头的采集范围内，人脸摄像头和虹膜摄像头实时捕捉，分别捕获其人脸信息和虹膜信息，人脸和虹膜识别系统开始工作，一旦确定犯罪分子身份，则及时报警，将其绳之以法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于层次结构的人脸和虹膜图像融合识别方法，其特征在于：该融合识别方法的步骤包括：

注册步骤R：采用特征抽取方法，对待注册用户的人脸图像和虹膜图像抽取人脸特征和虹膜特征，得到人脸识别特征和虹膜特征的注册信息并保存到人脸特征注册数据库和虹膜特征注册数据库；

识别步骤S：通过三级层次结构进行人脸和虹膜图像融合识别：第一级，对待识别用户的人脸图像抽取人脸特征，调用人脸特征注册数据库中的注册人脸特征对待识别用户的人脸特征进行识别；第二级，调用人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据并基于典型相关分析模型进行人脸到虹膜的检索，得到候选身份集合；第三级，基于人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据对候选身份集合对人脸和虹膜进行特征抽取和融合识别，对人脸图像和虹膜图像进行身份检索和认证；

所述基于典型相关分析的模型进行人脸到虹膜的检索的具体步骤包括：

步骤S21：通过给定的注册的人脸检索特征和虹膜检索特征的基础上，采用典型相关分析模型进行离线训练，得到模型参数；

步骤S22：在识别阶段，采用人脸检索特征抽取方法，对输入的人脸图像抽取人脸特征，获得人脸检索特征；

步骤S23：对步骤S22得到的人脸检索特征，通过步骤S21中训练得到的模型参数和虹膜检索数据库中的所有虹膜特征进行预测，得到所有虹膜特征对应的预测分数集合；

步骤S24：对得到的预测分数集合进行由高到低的排序，抽取分数最高的一组虹膜特征所对应的身份作为检索结果。

2.根据权利要求书1所述的基于层次结构的人脸和虹膜图像融合识别方法，其特征在于，对待注册用户的人脸图像抽取3种人脸特征，包括：用于人脸识别的人脸识别特征、用于人脸到虹膜的检索的人脸检索特征和用于人脸和虹膜融合的人脸融合特征，根据人脸识别特征、人脸检索特征及人脸融合特征分别建立含有人脸识别数据库、人脸检索数据库和人脸虹膜数据库的系统注册数据库。

3.根据权利要求书1所述的基于层次结构的人脸和虹膜图像融合识别方法，其特征在于，对待注册用户的虹膜图像抽取2种虹膜特征，包括：用于人脸到虹膜的检索的虹膜检索特征，用于人脸和虹膜融合的虹膜融合特征，根据虹膜检索特征和虹膜融合特征分别建立含有虹膜检索数据库和虹膜融合数据库的系统注册数据库。

4.根据权利要求书1所述的基于层次结构的人脸和虹膜图像融合识别方法，其特征在于，对待识别用户的人脸图像抽取人脸特征是采用人脸识别特征抽取方法，抽取人脸特征，通过人脸识别分类器进行人脸识别。

5.根据权利要求书1所述的基于层次结构的人脸和虹膜图像融合识别方法，其特征在于，所述特征抽取的步骤包括：

步骤S31：采用用于人脸融合的特征抽取方法，对给定的待识别的人脸图像抽取待识别的人脸特征，得到人脸融合特征；

步骤S32：采用用于虹膜融合的特征对给定的待识别的虹膜图像抽取待识别的虹膜特征，得到虹膜融合特征。

6.根据权利要求书1所述的基于层次结构的人脸和虹膜图像融合识别方法，其特征在于，所述的融合识别采用分数级融合策略进行识别。

Images