CN103577813A - 用于异质虹膜识别的信息融合方法 - Google Patents

Abstract

本发明公开了一种用于异质虹膜识别的信息融合方法，包括：步骤S1、对训练集中成对的不同状态下的异质虹膜图像进行预处理，得到ROI并变换到极坐标系下，再进行特征提取，对得到的二值特征编码进行训练，利用概率图模型建模获得由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系；步骤S2、对输入的单幅或多幅的虹膜图像进行预处理，得到ROI区域并变换到极坐标系下，再进行特征提取得到二值特征编码，利用步骤S1得到的映射和相容关系将其融合，获得对应的注册状态虹膜图像编码和加权比对模板。本发明能有效减小识别时输入的测试虹膜样本和注册虹膜样本间的异质性，使异质虹膜识别具有更好的准确性和鲁棒性。

Description

用于异质虹膜识别的信息融合方法

技术领域

本发明涉及数字图像处理、模式识别和统计学习等技术领域，特别是涉及一种用于异质虹膜识别的信息融合方法。

背景技术

随着社会的发展和进步，人们对于身份认证的要求不断提高。生物特征识别作为一种优秀的认证手段，具有很多特有的优良性质，在近些年取得了迅速的发展。生物特征识别一般可以分为基于形态特征和生理特征这样两类。其中，虹膜作为一种生理特征，具有很高的稳定性和防伪性，虹膜识别近些年取得了很大的发展，并且已经有了很多非常成功的应用实例，特别是在大规模以及高精度要求的情况下。

随着现在社会信息化进程的深入发展，物联网和移动互联网下的光学图像获取装置呈现泛在发展的趋势，同时互联网中的图像和视频数据规模呈爆炸式增长，其中大量的图像和视频都涉及到人脸和虹膜等生物特征信息，为获取多种模态的生物特征提供了新的途径和数据基础。在这些应用场景下采集到的虹膜图像可能存在图像获取设备上的差异，包括近红外和可见光间的差异以及高清和低分辨率的差异等，还有用户状态上的差异，包括戴眼镜的和裸眼的差异以及正眼与斜视的区别，除此之外可能还有获取场景上的差异，比如室内和室外的差异。

对于这些来源广泛、质量各异的虹膜图像，他们之间的识别和匹配造成了限制现阶段虹膜识别学科及应用发展的瓶颈问题。目前国内外解决异质虹膜识别的方法并不多，且所解决的问题也比较单一。[Connaughton，TIFS2012]分析了跨设备的虹膜识别问题，并指出了虹膜传感器和虹膜识别算法的选择都会影响到虹膜识别的准确率。[Sunpreet，BTAS2012]为解决跨设备的虹膜识别问题，提出了基于传感器判定的选择性图像增强算法以提升虹膜图像获取设备间的互用性。[Nguyen，TIFS2011]关注于低分辨率的虹膜识别问题，并提出了基于图像质量加权的虹膜图像超分辨率算法。德国Robert Bosch GmbH公司的Liu等人在其专利US2010／0201798A1中提出了一种虹膜图像的去模糊方法。该方法通过深度传感器来获得人与成像设备间的距离，估计离焦情况下的点扩散函数，再进行模糊虹膜图像的修复。

现有方法仅面向异质虹膜识别框架下的某一个或几个特殊的问题并提出解决方案，且这些方法的处理层级均处于像素级，即以原虹膜图像为基础进行操作。然后，在处理后的虹膜图像之上再进行常规的虹膜识别算法。这样的算法容易受到虹膜图像上噪声以及图像序列间误对准的影响，产生不准确的结果。此外，现有方法只能单一地以虹膜图像为输入或者以虹膜图像序列为输入，这在一定程度上限制了其可应用的范围。

综上所述，现有的异质虹膜识别算法仍存在一定的改进余地，如何同时处理多种异质源，可以同时以单幅图像和图像序列为输入，以及如何在虹膜编码层充分利用内在结构信息并得到鲁棒、准确的结果仍然是一个亟待解决的难题。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的是针对上述现有技术中存在的问题，提供一种用于异质虹膜识别的信息融合方法，以准确、鲁棒地实现异质虹膜识别的增强。

(二)技术方案

为解决上述技术问题，本发明提出一种用于异质虹膜识别的信息融合方法，其特征在于，该方法包括：

步骤S1、构建包含有异质虹膜图像的训练数据库，对该训练数据库中成对的不同状态下的异质虹膜图像进行预处理，得到ROI并将其变换到极坐标系下，再进行特征提取得到二值特征编码，对该特征二值特征编码进行训练，利用概率图模型建模获得由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系；

步骤S2、对要识别的单幅虹膜图像或连续的多幅虹膜图像进行预处理，得到ROI并将其变换到极坐标系下，然后进行特征提取得到二值特征编码或编码序列，利用步骤S1得到的所述映射关系和相容关系将二值编码序列融合，获得一个对应的注册状态虹膜图像编码和加权比对模板，将该注册状态虹膜编码以及加权匹配模板与数据库中的注册样本进行比对，完成识别。

根据本发明的一种具体实施方式，所述步骤S1包括：

步骤S11、构建包含异质虹膜图像的训练数据库，训练数据库包括注册图像数据库和测试图像数据库，将对应于系统注册状态的虹膜图像存储于注册图像数据库，对应于识别输入状态的虹膜图像存储于测试图像数据库，并且要求注册图像数据库中每一个虹模图像和测试图像数据库中每一个虹膜图像一一对应，且每一对对应的虹膜图像均来自于同一个虹膜，并对训练图像数据库中的测试状态图像和注册状态图像进行预处理，得到训练图像数据库中的测试状态图像和注册状态图像的ROI；

步骤S12、对所述训练图像数据库中的测试状态图像和注册状态图像的ROI进行归一化，将训练图像数据库中的测试状态图像和注册状态图像的ROI从直角坐标系转换到极坐标系，得到训练图像数据库中的测试状态图像和注册状态图像的ROI在极坐标系下的虹膜图像；

步骤S13、使用特征提取算法对在训练图像数据库中极坐标系下的虹膜图像上进行编码，得到训练图像数据库中的测试状态图像和注册状态虹膜图像的二值特征编码；

步骤S14、在训练图像数据库中的测试状态图像和注册状态图像的二值特征编码上，统计一对测试虹膜图像编码和注册虹膜图像编码的对应位置上的不同状态出现的条件概率，再由此得到由测试虹膜图像编码到注册虹膜图像编码的映射关系；

步骤S15、在训练图像数据库中注册状态图像的二值特征编码上，统计注册虹膜图像编码的相邻位置上的不同状态出现的条件概率，并得到注册状态虹膜图像编码中相邻位间的相容关系。

根据本发明的一种具体实施方式，所述异质虹膜图像包括不同质量和不同状态的两类，不同质量的异质虹膜图像的识别指的是使用低质量的虹膜图像对高质量的注册虹膜图像进行比对，其中低质量包括低分辨率、运动模糊和离焦模糊等因素；不同状态的异质虹膜图像的识别指的是测试虹膜图像样本和注册虹膜图像样本在获取的时候具有用户状态或设备状态上的不同。

根据本发明的一种具体实施方式，步骤S14中一对测试虹膜图像编码和注册虹膜图像编码的对应位置上的不同组合值出现的条件概率具有如下形式：

p(x_j|y_j，NH₄(y_j))，

其中x_j和y_j分别代表在位置j上注册状态和测试状态的虹膜编码值，NH₄(y_j)为y_j四邻域的编码，因此该条件概率代表已知测试状态编码中y_j及其周围四邻域上共五位编码信息时，对应的注册状态编码中y_j为0或1的可能性。

步骤S15中所述注册状态虹膜图像编码的相邻位置上的不同组合值出现的条件概率具有如下形式：

p(x_j|x_k)，x_k∈Adj(x_j)，

Adj(x_j)←{x_j-1，x_j+1}，

其中x_j代表在位置j上注册状态的一位虹膜编码，x_k属于与x_j相邻的编码位Adj(x_j)，且Adj(x_j)由与x_j纵向相邻的虹膜编码x_j-1和x_j+1构成。

根据本发明的一种具体实施方式，所述步骤S2包括：

步骤S21、对要识别的单幅虹膜图像或者连续的多幅虹膜图像进行预处理，得到该要识别的虹膜图像或者序列的ROI；

步骤S22、对所述要识别的虹膜图像或者序列的ROI进行归一化，将测试虹膜图像或者序列的ROI从直角坐标系转换到极坐标系，得到极坐标系下的测试虹膜图像或者序列的ROI；

步骤S23、使用特征提取算法对在极坐标系下的所述要识别的虹膜图像或者序列上进行编码，得到要识别的虹膜图像或者序列的二值特征编码；

步骤S24、将步骤S23中得到的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系，逐位估计并得到所述要识别的虹膜图像或者序列所对应的注册状态虹膜编码以及其加权匹配模板；

步骤S25、使用步骤S24得到的注册状态虹膜编码以及其加权匹配模板，与所述训练数据库中的系统注册状态的虹膜图像样本进行比对并做出身份识别结果，完成异质虹膜的识别过程。

根据本发明的一种具体实施方式，步骤S25中的对应注册状态虹膜编码的估计过程是根据步骤S14和步骤S15中训练得到的映射关系和相容关系所得到的，并且在估计注册状态虹膜编码的同时能够得到反映其每一位编码可靠性的加权匹配模板。

根据本发明的一种具体实施方式，步骤S24中，使用基于概率图模型的方法对未知注册状态进行估计，将具有最大可能性的状态记为估计得到的状态。

根据本发明的一种具体实施方式，所述步骤S24包括：

将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的解来对其未知的注册状态虹膜编码进行估计，

${\hat{x}}_j^{\mathrm{MAP}}=\underset{x_j}{\arg \max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

其中，被定义为由位置k传递到未知j的信息，

代表上一次循环中的信息，Adj(x_k)＼x_j代表除了x_j的x_k的邻域，

和分别代表由步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)得到的信息，具体地：

$\mathrm{\φ}(x_j,y_j^1,...,y_j^M)=\underset{k}{\mathrm{\Π}}{p}_1\left(x_j\right|y_j^k,N{H}_4\left(y_j^k\right)),$

分别代表的是一个或多个要识别的虹膜图像所带来的信息和相邻的已估计出的注册状态的虹膜编码所带来的影响；最终，得到估计出的与输入测试状态虹膜图像或序列所对应的注册状态虹膜编码

步骤S242、将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的值来对每一位编码的可靠性进行估计，

$R_j=\underset{x_j}{\max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

最后，再对得到的这一虹膜编码对应的所有可靠性值进行最大最小值归一化到0至1的范围，得到加权匹配模板mask。

(三)有益效果

从上述技术方案可以看出，本发明提供的这种用于异质虹膜识别的信息融合方法，对于提高虹膜识别系统在注册状态和测试状态具有异质性情况下的可靠性和鲁棒性都具有重要的意义，其主要优点如下：

1、本发明提出的用于异质虹膜识别的信息融合方法，能够同时处理多种异质源，无论是由于图像质量不同或者状态不同所造成的异质虹膜识别问题均适用。且可以处理图像序列中包含不同异质源的情况，包括：对比注册状态，输入的测试状态虹膜图像序列中含有多个异质源，但每一幅图像仅含有单一的异质源，例如注册图像为清晰的而测试序列中包括运动、离焦模糊的虹膜图像；单幅虹膜图像含有多个异质源，例如一幅虹膜图像中同时含有低分辨率和离焦模糊两个异质源。本发明中所述的整体框架能够统一的处理多种异质源的虹膜识别问题，使得系统同时具备高效性和整体性。

2、本发明的方法，在虹膜图像上进行二值特征编码所采用的特征提取算法具有广泛性，即不需要限定具体采用某些特定的特征提取方法，只要一般的能够生成离散值编码的特征提取方法均可适用，这一点保证了所述方法的普适性。虹膜图像的二值特征编码构成的编码层为算法所在的处理层级，即信息融合过程的对象是虹膜图像的二值特征编码，而现有其他算法一般处于像素层和特征层。像素层和特征层分别是由归一化后的原始灰度图像和灰度虹膜图像的滤波结果所构成的。相对于像素层和特征层，虹膜的二值特征编码直接决定最终的匹配距离所以更触及识别的本质内容，而且是经过滤波和编码之后所得因此也更加鲁棒。而相对于分数层融合方法，本发明中所述的编码层方法利用了更加丰富的信息，且考虑到了异质虹膜编码间的内部结构信息。综上所述，编码层的方法能够在可区分性和鲁棒性中找到较优的折中点。

3、本发明提出的信息融合方法在根据测试状态的异质虹膜图像或序列的编码对其注册状态的编码进行估计的依据不仅单纯的是每一位编码的持续性，即不是仅使用出现次数最多的状态作为所估计的状态。而是进一步使用马尔科夫网络作为一种概率图模型来对这种非线性异质关系进行建模，通过在训练集上学习得到的映射关系和相容关系，根据最大后验概率来对未知状态进行估计。这种基于概率图模型的建模方法相比于基于编码持续性的方法，考虑了更多信息而不是仅仅依靠求取平均值来对噪声进行抑制，所以更加适合于模拟异质虹膜编码间的非线性关系，能够更好的补偿编码间的异质性差异。

4、本发明中，在使用基于概率图模型的建模方法对注册状态的虹膜编码进行估计的同时，还能够得到映射后注册状态编码所对应的匹配模板。在计算最终匹配距离的时候，使用此模板能够根据每一位虹膜编码的可靠性，自适应的设置匹配权值，使得到的匹配距离更加可靠和准确。自适应的匹配模板是根据测试状态的虹膜编码所估计得到的，是在估计注册状态编码时的最大后验概率。所以，此匹配模板相比于传统的加权匹配策略，考虑到了注册状态间以及测试状态与注册状态间的相容性。这样的模型更为准确且考虑得更加全面，可以更加高效的刻画每一位编码的可靠性，得到更为明显的性能提升。

5、本发明采用的编码层信息融合方法，采用离线学习在线估计的结构，可以实时地对异质虹膜编码进行融合。

6、本发明提出的用于异质虹膜识别的信息融合方法还可以推广到其它基于二值特征编码的生物识别领域中，如掌纹识别和手指静脉识别等，具有很强的泛化性和实用性。

得益于上述优点，本发明使快速有效的异质虹膜识别成为可能，极大地提高了现有虹膜识别系统的可靠性和可扩展性，可广泛应用于使用虹膜识别进行身份认证或者识别的大规模、长期、非配和场景下的系统中，比如虹膜出入境身份认证系统、基于虹膜识别的智能视频监控系统、基于虹膜的大规模唯一身份管理系统、虹膜ATM机、虹膜手机等等。

附图说明

图1是本发明提供的用于异质虹膜识别的信息融合方法的流程图；

图2A～2D是几幅异质虹膜图像的例子，其中，图2A是一对高分辨率和低分辨率的异质虹膜图像；图2B是一对清晰和离焦模糊的异质虹膜图像；图2C是一对不同设备采集的异质虹膜图像，左图使用LG2200采集，右图使用LG4000采集；图2D是一对采集者裸眼和佩戴眼镜时采集的异质虹膜图像；

图3是本发明提供的用于异质虹膜识别的信息融合方法所采用的概率图模型；

图4是发明提供的用于异质虹膜识别的信息融合方法所采用的概率图模型的局部结构；

图5A和图5B是发明提供的用于异质虹膜识别的信息融合方法所采用的概率图模型的拓展局部结构，其中图5A是发明提供的拓展局部结构用于测试虹膜序列中存在多个异质源但其中每一幅仅含有单一异质源的情况，图5B是发明提供的拓展局部结构用于测试序列中某些图像自身具有多异质源的情况。

具体实施方式

下面结合附图说明本发明技术方案中所涉及的技术问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

基于虹膜的身份认证系统通过虹膜成像装置获取到虹膜图像或者序列，再对其进行分析，完成对用户身份的认证或识别。虹膜成像装置在获取虹膜图像的时候，由于注册样本和识别样本之间不可避免地会存在一定的异质性，包括质量和状态的不同，使得采集到的测试虹膜图像或序列中的纹理细节相对于注册样本可能有所变化，如图2(a)(b)(c)(d)所示。对于异质虹膜识别问题，由于其中的纹理细节信息会在一定程度上有所变化，导致了虹膜识别性能的下降，特别是错误拒绝率的升高。用户为了能够顺利通过虹膜识别系统，需要尽量配合虹膜识别系统以获得与注册样本同样高质量、同样状态的虹膜样本；而且当系统本身或者环境因素发生明显变化时，还需要再次进行注册。为了能够解决异质虹膜识别中存在的问题，需要恢复同类异质虹膜样本间的相似性，同时保持非同类异质虹膜样本间的可区分性。出于此目的，本发明提出了一种用于异质虹膜识别的信息融合方法，其流程框图如图1所示，包括以下步骤：

步骤S1、对训练集中成对的不同状态下的异质虹膜图像进行预处理，得到ROI并变换到极坐标系下，再进行特征提取，对编码得到的二值特征编码进行训练，利用概率图模型建模获得由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系；

步骤S2、对输入的测试虹膜图像或序列进行预处理，得到ROI区域并变换到极坐标系下，然后进行特征提取得到二值特征编码，利用步骤S1训练得到的映射和相容关系将其融合，获得一个对应的注册状态虹膜图像编码和加权比对模板。

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述：

首先，异质虹膜信息融合算法的先验知识学习步骤S1，对训练集中成对的不同状态下的异质虹膜图像进行预处理，得到ROI并换到极坐标系下，再进行特征提取，对编码得到的二值特征编码进行训练，并利用概率图模型建模获得由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系。

此步骤为本发明中所述方法的训练过程，通过在训练库上的学习，为后续的实际测试过程提供先验知识，使得编码层融合能够顺利完成，并提升系统对于异质虹膜识别的鲁棒性。此步骤能够根据所应用场景中存在的异质源的不同，学习所需要的先验知识。而且当系统需要处理多源异质虹膜识别问题的时候，能够自适应的同时学习多种先验知识。为了能够充分学习此先验知识，我们先对训练库中成对的异质虹膜图像进行预处理和特征提取，得到对应的注册状态和测试状态的虹膜二值特征编码；然后根据得到的二值特征编码，在我们提出的概率图模型基础之上，分别学习由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系，用于构建异质虹膜编码融合算法的先验信息。具体过程如下：

步骤S11、根据具体所要解决的问题，确定导致异质虹膜识别的异质源，收集和构建包含此异质源的虹膜图像训练数据库。在此数据库中包括注册图像数据库和测试图像数据库，系统注册状态的虹膜图像存储于注册图像数据库，由包含异质源的测试状态虹膜图像存储于测试图像数据库，需要注意的是，注册图像数据库中每一个虹模图像和测试图像数据库中每一个虹膜图像一一对应，且每一对对应的虹膜图像均来自于同一个虹膜。如此要求才能保证学习得到的异质虹膜间的映射关系的对应性，即可以学习到同一虹膜纹理在不同情况下的保存、体现形式的区别，保证先验知识的有效性。在此之后，对训练图像数据库中的测试状态图像和注册状态图像进行预处理。例如，首先使用圆模型对训练图像数据库中的异质虹膜图像的内、外圆边界进行拟合，得到训练图像数据库中的注册状态虹膜图像和测试状态虹膜图像中虹膜的圆拟合结果，作为内、外边界的参数，即瞳孔的圆心和半径以及虹膜的圆心和半径。最后根据此定位结果，选取内、外边界之间的环状区域作为训练图像数据库中的测试状态图像和注册状态图像的ROI以进行后续的操作。

步骤S12、对所述训练图像数据库中的测试状态图像和注册状态图像的ROI进行归一化，以步骤S11中内圆拟合得到的瞳孔圆心为原点将训练图像数据库中的测试状态虹膜图像和注册状态虹膜图像的ROI从直角坐标系转换到极坐标系。在从直角坐标系转换到极坐标系的过程中，同时将所有的训练图像数据库中的测试状态虹膜图像和注册状态虹膜图像缩放到统一的大小，实现训练图像数据库中的测试状态虹膜图像和注册状态虹膜图像的归一化，得到训练图像数据库中的测试状态虹膜图像和注册状态虹膜图像的ROI在极坐标系下的虹膜图像。

步骤S13、使用虹膜识别中的特征提取算法，在训练图像数据库中极坐标系下的测试状态虹膜图像和注册状态虹膜图像的ROI上进行滤波、编码，将训练图像数据库中极坐标系下的测试状态虹膜图像和注册状态虹膜图像从图像的灰度值编码成0／1二值字符串，得到训练图像数据库中的测试状态图像和注册状态图像的二值特征编码。在得到二值特征编码之后，对成对的注册状态编码和测试状态编码之间进行整体对齐，即相对注册状态的虹膜编码对测试状态的虹膜编码进行水平循环的平移，而平移的长度

由下式确定：

$\hat{d}=\underset{d}{\arg \min }\mathrm{HD}(x(i,j),y(i,j+d)),$

其中，x和y是一对来自同一虹膜的注册状态和测试状态的异质虹膜编码，y(i，j+d)是y经过长度为d的水平循环平移后的编码，HD(·)代表对汉明距离的计算。因此上式表明，所求得的就是能够带来最相似异质虹膜编码的距离。经过的水平平移之后，得到经过对齐的训练图像数据库中的测试状态图像和注册状态虹膜图像的二值特征编码。

步骤S14、在训练图像数据库中的测试状态图像和注册状态图像的二值特征编码上，统计一对测试虹膜图像编码和注册虹膜图像编码的对应位置上的不同状态出现的条件概率。此条件概率具有如下形式：

p₁(x_j|y_j，NH₄(y_j))，

其中，x和y是一对来自同一虹膜的注册状态和测试状态的异质虹膜编码，x_j和y_j代表在此两个编码的位置j上的编码值，NH₄(y_j)为测试状态虹膜编码y在位置j上的编码y_j的四邻域的编码。而y_j的四邻域是由其上一行同列的编码下一行同列的编码同行前一列的编码

和同行后一列的编码构成。因此该条件概率代表已知测试状态编码中y_j及其周围四邻域上共五位编码信息时，对应的注册状态编码中x_j为0或1的可能性。通过统计这一条件概率，可以得到由五个识别状态编码值到一个注册状态编码值的先验信息。多对一的模型使得估计过程更加鲁棒，这是由于考虑到了虹膜图像上的局部形变。虽然在步骤S13中成对的异质虹膜编码经过了整体对齐，但是在虹膜图像中由于伸缩变化或者模糊等原因，很难避免的还会存在局部形变。而更大范围的先验知识的考虑，恰恰能在一定程度上缓解这一问题。

步骤S15、在训练图像数据库中注册状态虹膜图像的二值特征编码上，统计注册虹膜图像编码的相邻位置上的不同状态出现的条件概率。此条件概率具有如下形式：

p₂(x_j|x_k)，x_k∈Adj(x_j)，

Adj(x_j)←{x_j-1，x_j+1}，

其中，x_j代表在位置j上注册状态的一位虹膜编码，x_k属于与x_j相邻的编码位Adj(x_j)，且Adj(x_j)由与x_j纵向相邻的虹膜编码x_j-1和x_j+1构成。这样的纵向结构，即Adj(x_j)仅包含纵向相邻的编码位，是充分考虑到虹膜编码的特点所决定的。对于一幅在极坐标系下的感兴趣区域的虹膜图像和其二值特征编码，我们知道其竖直方向，即在直角坐标系下的虹膜图像的径向方向，是大量的虹膜纹理的延展方向，如睫状和沟状区域，所以纵向相邻的虹膜编码很可能同时受到同一虹膜纹理的影响。所以，纵向的虹膜编码在本发明中建立的模型中被认为是相关的。与此相对的是水平方向的虹膜纹理被认为是分布最具丰富且最具有随机性的，是保证虹膜识别高准确性的基础。如果假设编码在水平方向非独立，势必会降低虹膜编码的自由度，降低不同类虹膜编码间的可区分性。

其次，用于异质虹膜识别的信息融合方法步骤S2是基于训练步骤S1学习到的由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系对要识别的异质虹膜图像或序列进行编码层的信息融合，得到对应的注册状态编码和加权匹配模板。最后，与数据库中的样本进行比对，得到识别结果。

对输入的要识别的虹膜图像或者序列进行预处理，得到感兴趣区域ROI并换到极坐标系下，然后进行特征提取得到二值特征编码，利用步骤S1训练得到的映射和相容关系将其融合，获得一个对应的注册状态的虹膜图像编码和加权比对模板，具体过程如下：

步骤S21、输入相对注册状态的虹膜图像具有异质性的要识别的虹膜图像或序列，对要识别的虹膜图像进行预处理，得到要识别的虹膜图像的ROI，注意对于输入的虹膜序列需要求它们属于同一虹膜。具体地，使用圆模型对要识别的虹膜图像或序列的内、外圆边界进行拟合，得到要识别的虹膜图像或序列中虹膜区域的圆拟合结果，作为内、外边界的参数，即瞳孔的圆心和半径以及虹膜的圆心和半径。最后根据此定位结果，选取内、外边界之间的环状区域作为要识别的虹膜图像或序列的ROI以进行后续的操作。

步骤S22、对所述要识别的虹膜图像或序列的ROI进行归一化，以步骤S21中内圆拟合得到的瞳孔圆心为原点将要识别的异质虹膜图像或序列的ROI从直角坐标系转换到极坐标系。在从直角坐标系转换到极坐标系的过程中，同时将所有的要识别的虹膜图像或序列缩放到统一的大小，实现要识别的虹膜图像或序列的归一化，得到要识别的虹膜图像或序列的ROI在极坐标系下的虹膜图像。

步骤S23、使用虹膜识别中的特征提取算法，在极坐标下的要识别的虹膜图像或序列的ROI上进行滤波、编码，将极坐标下的要识别的虹膜图像或序列的ROI从图像的灰度值编码成为0／1二值字符串，得到极坐标下的要识别的虹膜图像或序列的二值特征编码。在得到二值特征编码之后，如果输入的是由M幅图像构成的异质虹膜序列，则对要识别的虹膜序列编码y^k，i=1，2，...，M之间进行整体对齐。具体地，首先任意选取一个虹膜编码作为参考，不失一般性的选取第一幅要识别的虹膜图像的编码y¹作为参考，然后按下式分别计算其余要识别的虹膜图像与该参考编码之间的相对平移距离

${\hat{d}}^k=\underset{d}{\arg \min }\mathrm{HD}(y^1(i,j),y^k(i,j+d)),$

其中，y¹是选取为参考的测试状态虹膜编码，y^k，i=2，...，M是其余需要确定相对参考y¹平移距离

的测试状态虹膜编码。y^k(i，j+d)是y^k经过长度为d的水平循环平移后的编码，HD(·)代表对汉明距离的计算。因此上式表明，所求得的

就是能够带来最相似异质虹膜编码的距离。经过水平平移之后，得到经过对齐的要识别的虹膜序列的二值特征编码。

步骤S24、对应注册状态虹膜编码的估计过程是根据步骤S14和步骤S15中训练得到的映射关系和相容关系所得到的，并且在估计注册状态虹膜编码的同时能够得到反映其每一位编码可靠性的加权匹配模板。其主要包括以下几个步骤：

步骤S241、以图3为本发明中所述方法的概率图模型，以图4为本发明中所述方法的模型局部结构，将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的解来对其未知的注册状态虹膜编码进行估计，

${\hat{x}}_j^{\mathrm{MAP}}=\underset{x_j}{\arg \max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

其中，

被定义为由位置k传递到未知j的信息，

代表上一次循环中的信息，Adj(x_k)＼x_j代表除了x_j的x_k的邻域。

和

分别代表由步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)得到的信息，具体地：

$\mathrm{\φ}(x_j,y_j^1,...,y_j^M)=\underset{k}{\mathrm{\Π}}{p}_1\left(x_j\right|y_j^k,N{H}_4\left(y_j^k\right)),$

分别代表的是一个或多个输入的要识别的虹膜图像所带来的信息和相邻的已估计出的注册状态的虹膜编码所带来的影响。最终，得到估计出的与输入测试状态虹膜图像或序列所对应的注册状态虹膜编码

。特别的，本发明中所述的方法还可以采用如图5(a)和图5(b)所示的模型局部结构，以解决下述两个问题：虹膜序列中存在多个异质源但其中每一幅仅含有单一的异质源，序列中某些图像自身具有多异质源。其中，

代表输入测试的虹膜序列中第k幅图像所具有的异质源c_k所对应的由测试虹膜图像编码到注册虹膜图像编码的映射关系，

为同一幅图像同时具有的两个异质源对应的由测试虹膜图像编码到注册虹膜图像编码的映射关系。

步骤S242、将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的值来对每一位编码的可靠性进行估计，

$R_j=\underset{x_j}{\max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

相对于未知注册状态虹膜编码的估计，我们可以看出之前是使用使得后验概率最大的变量值作为估计的编码，而这里使用的是对应的最大的后验概率值作为可靠性的估计。最后，再对得到的这一虹膜编码对应的所有可靠性值进行最大最小值归一化到0至1的范围，得到加权匹配模板mask。

步骤S25、使用经过估计得到的与输入测试虹膜图像或者序列所对应的注册状态虹膜编码以及其加权匹配模板mask，与数据库中的注册样本按下式进行比对，得到加权的汉明距离：

$\mathrm{HD}=\left|\right|(x\⊗\hat{x})\×\mathrm{mask}\left|\right|/\left|\right|\mathrm{mask}\left|\right|,$

其中，x为数据库中待匹配的注册状态的虹膜编码，代表异或操作，×代表点乘操作用于引入加权匹配模板mask。最终，根据此加权汉明距离，做出身份识别结果，完成异质虹膜的识别过程。

实施例1：本发明用于异质虹膜识别的信息融合方法在基于虹膜识别的远距离门禁系统中的应用。

假设在某公司或单位入口处安装了一套基于本发明开发的远距离虹膜门禁系统。当系统管理员为公司员工刘某进行注册时，为了能够获得高质量的、纹理细节丰富的虹膜图像，刘某可以站在一个距离系统较近的位置，然后系统可以捕获得到高分辨率的高质量注册模板。在此之后，当刘某想要通过此门禁系统进入单位时，需要对刘某的身份进行认证。此时，刘某可以在较远的距离下直视虹膜识别采集摄像头。该虹膜识别系统就可把采集到的虹膜图像输入到虹膜识别系统中。为了能够提供友善的人机交互，测试阶段的采集距离比注册阶段的采集距离远，因此测试的虹膜图像或者序列的分辨率会比注册样本低，使得部分纹理细节不能很好地得到保存，如果直接使用它们进行识别，势必会导致系统的性能下降。对于基于本发明开发的系统，首先根据本发明步骤S2中所述的方法对测试状态的虹膜图像或序列进行预处理并提取二值特征编码，然后根据步骤S1中训练得到的映射关系和相容关系对其对应的测试状态的虹膜编码进行估计。最后使用此融合结果和加权匹配模板与数据库中样本进行比对，完成识别，从而验证刘某是否具有合法身份进入公司。

实施例2：本发明用于异质虹膜识别的信息融合方法在基于虹膜的大规模唯一身份管理系统中的应用。

本发明可广泛应用于使用虹膜进行身份认证和识别的场景。一个典型的应用是使用基于虹膜识别的生物特征手段对大规模用户的唯一身份进行管理。假设在某大型组织或跨国集团使用了基于虹膜识别的身份管理系统，且在数据库中已经录入了很大规模的注册样本。在系统的使用过程中，由于一些设备的更新换代，某些区域的虹膜采集设备进行了替换升级。当对系统中用户刘某进行身份认证的时候，使用的设备为经过替换的新采集系统。在这一情况下，使用新采集到的虹膜图像或者序列与系统注册库中的样本进行比对的时候，由于存在了跨设备的虹膜识别问题，系统的识别性能和准确率会有所下降。为了解决这一问题，可以对用户进行再次注册。但由于系统中用户数量巨大，且用户所处地理位置分散，因此再次召集用户进行注册将会带来难以承受的时间负担和资金负担。而使用基于本发明开发的大规模身份管理系统，在更新升级采集设备的时候，首先根据本发明中步骤S1离线学习注册样本与识别样本之间的映射关系和相容关系，然后再根据步骤S2利用此关系对使用升级设备采集的测试虹膜图像的编码进行融合和对应加权匹配模板的计算，以更高效、准确的确认用户的真实身份。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种用于异质虹膜识别的信息融合方法，其特征在于，该方法包括：

步骤S1、构建包含有异质虹膜图像的训练数据库，对该训练数据库中成对的不同状态下的异质虹膜图像进行预处理，得到ROI并将其变换到极坐标系下，再进行特征提取得到二值特征编码，对该特征二值特征编码进行训练，利用概率图模型建模获得由测试虹膜图像编码到注册虹膜图像编码的映射关系和注册状态虹膜图像编码中相邻位间的相容关系；

步骤S2、对要识别的单幅虹膜图像或连续的多幅虹膜图像进行预处理，得到ROI并将其变换到极坐标系下，然后进行特征提取得到二值特征编码或编码序列，利用步骤S1得到的所述映射关系和相容关系将二值编码序列融合，获得一个对应的注册状态虹膜图像编码和加权比对模板，将该注册状态虹膜编码以及加权匹配模板与数据库中的注册样本进行比对，完成识别。

2.根据权利要求1所述的用于异质虹膜识别的信息融合方法，其特征在于，所述步骤S1包括：

步骤S11、构建包含异质虹膜图像的训练数据库，训练数据库包括注册图像数据库和测试图像数据库，将对应于系统注册状态的虹膜图像存储于注册图像数据库，对应于识别输入状态的虹膜图像存储于测试图像数据库，并且要求注册图像数据库中每一个虹模图像和测试图像数据库中每一个虹膜图像一一对应，且每一对对应的虹膜图像均来自于同一个虹膜，并对训练图像数据库中的测试状态图像和注册状态图像进行预处理，得到训练图像数据库中的测试状态图像和注册状态图像的ROI；

步骤S12、对所述训练图像数据库中的测试状态图像和注册状态图像的ROI进行归一化，将训练图像数据库中的测试状态图像和注册状态图像的ROI从直角坐标系转换到极坐标系，得到训练图像数据库中的测试状态图像和注册状态图像的ROI在极坐标系下的虹膜图像；

步骤S13、使用特征提取算法对在训练图像数据库中极坐标系下的虹膜图像上进行编码，得到训练图像数据库中的测试状态图像和注册状态虹膜图像的二值特征编码；

步骤S14、在训练图像数据库中的测试状态图像和注册状态图像的二值特征编码上，统计一对测试虹膜图像编码和注册虹膜图像编码的对应位置上的不同状态出现的条件概率，再由此得到由测试虹膜图像编码到注册虹膜图像编码的映射关系；

步骤S15、在训练图像数据库中注册状态图像的二值特征编码上，统计注册虹膜图像编码的相邻位置上的不同状态出现的条件概率，并得到注册状态虹膜图像编码中相邻位间的相容关系。

3.根据权利要求1所述的用于异质虹膜识别的信息融合方法，其特征在于，所述异质虹膜图像包括不同质量和不同状态的两类，不同质量的异质虹膜图像的识别指的是使用低质量的虹膜图像对高质量的注册虹膜图像进行比对，其中低质量包括低分辨率、运动模糊和离焦模糊等因素；不同状态的异质虹膜图像的识别指的是测试虹膜图像样本和注册虹膜图像样本在获取的时候具有用户状态或设备状态上的不同。

4.根据权利要求2所述的用于异质虹膜识别的信息融合方法，其特征在于，

步骤S14中一对测试虹膜图像编码和注册虹膜图像编码的对应位置上的不同组合值出现的条件概率具有如下形式：

p(x_j|y_j，NH₄(y_j))，

其中x_j和y_j分别代表在位置j上注册状态和测试状态的虹膜编码值，NH₄(y_j)为y_j四邻域的编码，因此该条件概率代表已知测试状态编码中y_j及其周围四邻域上共五位编码信息时，对应的注册状态编码中y_j为0或1的可能性。

步骤S15中所述注册状态虹膜图像编码的相邻位置上的不同组合值出现的条件概率具有如下形式：

p(x_j|x_k)，x_k∈Adj(x_j)，

Adj(x_j)←{x_j-1，x_j+1}，

其中x_j代表在位置j上注册状态的一位虹膜编码，x_k属于与x_j相邻的编码位Adj(x_j)，且Adj(x_j)由与x_j纵向相邻的虹膜编码x_j-1和x_j+1构成。

5.根据权利要求4所述的用于异质虹膜识别的信息融合方法，其特征在于，所述步骤S2包括：

步骤S21、对要识别的单幅虹膜图像或者连续的多幅虹膜图像进行预处理，得到该要识别的虹膜图像或者序列的ROI；

步骤S22、对所述要识别的虹膜图像或者序列的ROI进行归一化，将测试虹膜图像或者序列的ROI从直角坐标系转换到极坐标系，得到极坐标系下的测试虹膜图像或者序列的ROI；

步骤S23、使用特征提取算法对在极坐标系下的所述要识别的虹膜图像或者序列上进行编码，得到要识别的虹膜图像或者序列的二值特征编码；

步骤S24、将步骤S23中得到的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系，逐位估计并得到所述要识别的虹膜图像或者序列所对应的注册状态虹膜编码以及其加权匹配模板；

步骤S25、使用步骤S24得到的注册状态虹膜编码以及其加权匹配模板，与所述训练数据库中的系统注册状态的虹膜图像样本进行比对并做出身份识别结果，完成异质虹膜的识别过程。

6.根据权利要求5所述的用于异质虹膜识别的信息融合方法，其特征在于，步骤S25中的对应注册状态虹膜编码的估计过程是根据步骤S14和步骤S15中训练得到的映射关系和相容关系所得到的，并且在估计注册状态虹膜编码的同时能够得到反映其每一位编码可靠性的加权匹配模板。

7.根据权利要求5所述的用于异质虹膜识别的信息融合方法，其特征在于，

步骤S24中，使用基于概率图模型的方法对未知注册状态进行估计，将具有最大可能性的状态记为估计得到的状态。

8.根据权利要求7所述的用于异质虹膜识别的信息融合方法，其特征在于，所述步骤S24包括：

将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的解来对其未知的注册状态虹膜编码进行估计，

${\hat{x}}_j^{\mathrm{MAP}}=\underset{x_j}{\arg \max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

其中，

被定义为由位置k传递到未知j的信息，

代表上一次循环中的信息，Adj(x_k)＼x_j代表除了x_j的x_k的邻域，

和

分别代表由步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和步骤S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)得到的信息，具体地：

$\mathrm{\φ}(x_j,y_j^1,...,y_j^M)=\underset{k}{\mathrm{\Π}}{p}_1\left(x_j\right|y_j^k,N{H}_4\left(y_j^k\right)),$

分别代表的是一个或多个要识别的虹膜图像所带来的信息和相邻的已估计出的注册状态的虹膜编码所带来的影响；最终，得到估计出的与输入测试状态虹膜图像或序列所对应的注册状态虹膜编码

步骤S242、将输入的测试虹膜图像的二值特征编码或者经过对齐的要识别的虹膜序列的二值特征编码，根据步骤S14中训练得到的由测试虹膜图像编码到注册虹膜图像编码的映射关系p₁(x_j|y_j，NH₄(y_j))和S15中训练得到的注册状态虹膜图像编码中相邻位间的相容关系p₂(x_j|x_k)，利用下式中最大后验概率的值来对每一位编码的可靠性进行估计，

$R_j=\underset{x_j}{\max }\mathrm{\φ}(x_j,y_j^1,...,y_j^M)\underset{k\∈\left\{\mathrm{Adj}\left(x_j\right)\right\}}{\mathrm{\Π}}{M}_j^k,$

最后，再对得到的这一虹膜编码对应的所有可靠性值进行最大最小值归一化到0至1的范围，得到加权匹配模板mask。

Images