CN106529501B - 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 - Google Patents
基于加权融合与分层串行结构的指纹与指静脉图像融合方法 Download PDFInfo
- Publication number
- CN106529501B CN106529501B CN201611071792.7A CN201611071792A CN106529501B CN 106529501 B CN106529501 B CN 106529501B CN 201611071792 A CN201611071792 A CN 201611071792A CN 106529501 B CN106529501 B CN 106529501B
- Authority
- CN
- China
- Prior art keywords
- classifier
- fingerprint
- fusion
- classifiers
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Abstract
本发明提供了一种基于加权融合与分层串行结构的指纹与指静脉图像融合方法,主要解决单一模态易受系统噪声、特征损坏等因素影响及多模态融合系统耗时较长的问题。首先对设计好的两个指纹分类器及四个指静脉分类器进行训练并获得各个分类器的拒识率;再依据拒识率计算单个分类器集成融合系统时的权值;为了降低算法的运算时间,将参与融合的6个分类器构造成串行的三层分层形式,即通过第1层分类器的样本才能进入第2层分类器,同样通过第2层的样本才能进入第3层。本发明对指纹及指静脉图像均采用多种特征进行识别,充分利用了图像的数据信息,所设计的分层结构更好的降低了融合系统的时间消耗,为多生物特征识别提供了一种有效的途径。
Description
技术领域
本发明属于模式识别技术领域,具体涉及指纹图像及手指静脉图像的决策级融合方法。
背景技术
单模态生物特征的识别存在错误率较高、易受传感器噪声影响、认证不稳定等缺点。而多模态生物特征识别技术是一种集成多种或多个生物特征源提供的证据得分以做出更为准确的决策,能有效地弥补单一生物特征识别方法的缺点。
现有多模态生物特征识别方法主要集中在数据级融合,即直接对各个传感器的原始数据进行处理,这种方法不丢失待识别信息,但需处理的信息量较大,耗时较长,不适合实时系统的要求。特征级融合能够为决策提供大量的信息,并且特征级上的信息经过压缩,使得数据能够实时处理。但对于来自不同信息源且特征矢量的大小以及维数不同的情况,特征级融合方法需使用相应的关联算法将其转换为一个新的特征矢量,而关联算法不仅与特征提取方法有关,而且关系到后续的分类器的设计,导致特征级融合方法变得比较复杂决策级融合方法采用多角度观测,综合考虑了目标各个侧面的不同类型的有效信息,当部分信息源得到的信息有误差时,系统仍能通过适当的融合得到正确的结果,具容错性;对传感器的依赖性小,传感器可以是不同质的;通信量小,抗干扰能力强。
发明内容
本发明的目的在于提供一种基于加权融合与分层串行结构的指纹与指静脉图像融合方法,充分利用了原始指纹图像与指静脉图像的数据信息,提高系统的识别精度,同时有效降低融合系统的时间消耗,为多生物特征识别提供了一种有效的途径。
本发明的目的是这样实现的:
1、基于加权融合与分层串行结构的指纹与指静脉图像融合方法,包括指纹与指静脉图像的决策级融合及其分层结构模块。其特征是:对设计好的两个指纹分类器及四个指静脉分类器进行训练并获得各个分类器的正确识别率与拒识率;再依据分类器的拒识率计算单个分类器集成融合分类器时的权值;为了降低算法的运算时间,将参与决策级融合的6个分类器构造成串行的三层分层形式:通过第1层分类器的样本才能进入第2层分类器,然后通过第2层的样本才能进入第3层,以此得到最终的识别结果。
2、根据权利要求1的图像融合方法,其特征是:所述的指纹及指静脉分类器分别为:指纹分类器采用细节点匹配方法及主成分分析法(PCA),静脉分类器采用细节点匹配方法、基于Hausdorff距离的细节点匹配方法、主成分分析法及二维主成分分析法(2DPCA)。
3、根据权利要求1所述的图像融合方法,其特征是:所述的单一分类器集成融合分类器的步骤为:
1)获得权利要求2中所述的指纹分类器及指静脉分类器的识别结果与拒识率分别为ht(x)与FRRt,其中t=1,2,3,4,5,6;
2)可得本文的融合分类器为:
其中,T为参加融合的分类器个数,此处T值为6;ht(x)为第t个分类器的识别结果,取值为0或1;FRRt为对应第t个分类器的拒识率。
4、根据权利要求1所述的图像融合,其特征是:所述的分层结构具体实现为:将参与决策级融合的6个分类器构造成串行的三层分层形式,其原理为:通过第1层分类器的样本才能进入第2层分类器,然后通过第2层的样本才能进入第3层,以此得到最终的识别结果。按照上述原理,合法样本将会通过各层的分类器,而非法样本则将在被检测到的那层筛选掉。
在上述串行的三层分层分类器模型内部共包含6个分类器,分别对同一样本的指纹特征及指静脉特征进行分类识别,在该结构中,第一层由两个指纹分类器构成(细节点匹配方法及PCA方法),将指纹分类器放在第一层是因为本文使用的指纹匹配算法不但具有实现简单,处理速度较快的优点,而且其识别率较指静脉分类器高,起到了缩小搜索类空间的作用;由于指静脉图像采用活体、红外线透射的采集方式,具有更好的防伪性及通用性,因此将指静脉分类器置于后面的层次中,所以,第二层由两个指静脉分类器构成(细节点匹配方法、基于Hausdorff距离的细节点匹配方法),这两种使用细节点特征的指静脉分类器与使用全局特征的指静脉分类器相比算法较为简单;从而第三层由另外两个指静脉分类器构成(分别为PCA方法及2DPCA方法)。
本发明的主要贡献和特点在于:本发明为单一模态易受系统噪声、特征损坏等因素影响及多模态融合系统耗时较长的问题提出新的解决思路,对指纹图像及指静脉图像均采用多种特征进行识别,充分利用了原始图像的数据信息,同时设计了分层结构更好的降低了融合系统的时间消耗,具有很强的实用性。
附图说明
图1:基于加权融合与分层串行结构的指纹与指静脉图像融合方法的模块组成;
图2:三层分层结构示意图;
具体实施方式
下面结合附图举例对本发明做更详细地描述:
1分类器设计
本发明综合考虑了指纹及手指静脉图像的特点,并突出指静脉识别的作用,采用两个指纹分类器与四个指静脉分类器。
1.1基于细节点匹配的指纹识别分类器
指纹图像的匹配是指通过比较两指纹集间的相似性,来判断对应的指纹图像是否来自于同一手指的过程,主要流程如下:
(1)首先,对预处理后的指纹图像提取出中心点、三角点、端点和交叉点,其中中心点与三角点用于图像配准,端点和交叉点作为待识别细节特征点;
(2)利用上一步提取出图像的三角点和中心点,进行如下操作来完成图像的配准:若输入图像与模板图像均存在中心点,则找出离中心点最近的点,连接这两个点作为极轴,由此计算出两幅图像的旋转量与平移量;若无中心点,则在图像中心附近寻找最近的两点,由此两点的连线作为极轴,计算出两幅图像的平移量和旋转量;
(3)经过配准后,可以使输入图像与模板图像处于同一标准,再对配准后的图像进行细节点匹配操作。利用几何的关系来判断两组细节点集的相似程度,相似度计算公式为:
其中M是模板指静脉图像上的一个特征点和待匹配之静脉图像上的对应特征点匹配成功的记录,若匹配成功,则M的值相应增加;Ft为总特征点数即两个进行比对的样本特征点数之和;Fm为最大相似特征点数。若相似度大于某个合格阈值,则两个指静脉图像相似。
(4)根据相似度计算公式计算匹配相似度,与合格阈值进行比较,判断匹配是否成功。进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。
1.2基于独立主成分分析的指纹识别分类器
主成分分析法(PCA)是基于K-L变换的统计学分析方法,其原理是将高维向量通过特征向量矩阵投影到一个低维的向量空间中,该低维向量能保持识别所需要的主要信息。PCA指纹算法步骤:
(1)读入指纹图像库,训练形成特征字空间:对于指纹图像训练的样本集Xn,所有训练样本的平均值记为
将Xn中每一个指纹向量减去平均向量,得到新向量集合X={Xn,n=1,…,N},其中Xn=Xn-E(X)。
(2)定义X的协方差矩阵:
对M进行特征值分解,可得一组正交的特征向量u1,…,ud,对应的全部特征值分别为λ1,…,λd,特征向量按列形成的矩阵记为U。
(3)把训练图像和测试图像投影到上一步中得到的字空间上:对矩阵M选用前m(m<n)个非零特征值对应的特征向量作为正交基,则在新的正交子空间中,指纹向量X的投影为:
Y=UT(X-E(X)) (4)
(4)选择距离函数进行识别:采用欧式距离函数来进行分类,计算目标指纹与样本指纹图像之间的距离,并将目标指纹分类到与其距离最小的样本指纹所在类中。
1.3基于细节点匹配的指静脉识别分类器
与1.1中基于细节点匹配的指纹识别分类器方法类似,主要流程如下:
(1)提取细节点。对预处理后的指静脉图像提取出端点和交叉点作为待匹配的细节特征点;
(2)进行细节点匹配操作。利用几何的关系来判断两组细节点集的相似程度,采用打分的方法输出匹配结果。具体匹配原则详见1.1节。
1.4基于Hausdorff距离的细节点匹配的指静脉识别分类器
修正的Hausdorff距离将以单个元素代表整个集合的思想扩展为集合内所有元素的平均作用,从而很大程度上提高了算法对噪声的适应性。具体定义如下:
其中,NA为点集A中特征点的个数。
修正的Hausdorff距离的计算复杂度较高,本发明使用距离变换算法实现Hausdorff距离的快速计算。其具体定义如下:
Dis(p)=min(dM(p,q),q∈B) (6)
其中,dM(p,q)表示特征点p和特征点q之间的距离,此处选用欧氏距离,B为目标物体的元素集合。
综上所述,使用修正的Hausdorff距离的特征点匹配方法的具体步骤如下:
(1)根据距离变换公式(6)计算出特征点集A到特征点集B的平均Hausdorff距离DisAB;
(2)同理计算出特征点集B到特征点集A的平均Hausdorff距离DisBA;
(3)将DisAB与DisBA中的大者作为我们求得的相似性度量值与预设阈值进行比较,判断匹配是否成功;进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。
1.5基于PCA的指静脉识别分类器
基于PCA的指静脉识别分类器与基于PCA的指纹识别分类器方法类似,具体步骤详见1.2节。
1.6基于二维主成分分析的指静脉识别分类器
二维主成分分析2DPCA是在二维上应用PCA技术,图像矩阵不需要事先转换成一维图像向量,它的协方差矩阵由原图像矩阵构建,是图像等二维数据处理中常用的技术。
首先对训练指静脉集进行2DPCA分析,得到基向量构成的特征指静脉空间,把待识别静脉图像投影到这个特征静脉空间里,比较它与空间中训练静脉样本的位置,将空间中与其最近的训练静脉就认作为它的识别结果。具体步骤如下所示:
(1)把静脉数据库中图像分为训练集和测试集;
(2)对训练样本集进行2DPCA分析,得到特征向量空间;
(3)将静脉训练集投影到特征向量空间,得到每一幅训练掌纹图像在空间中的投影系数aj。
(4)对测试静脉集进行均值化,并将均值化测试静脉图像投影到特征向量空间,得到每一幅测试静脉图像在空间中的投影系数bj。
(5)比较aj和bj的欧式距离大小,找到每一幅测试静脉图像在空间中与其最近的训练静脉图像作为最终的识别结果。
2加权融合分类器
在识别系统中拒识率(False Rejection Rate,FRR)是衡量其性能的一个重要指标,拒识率是指系统将真正的合法个体拒绝从而造成的出错概率,其值越低,系统的性能越好。因此,可以采用拒识率表示单个分类器对集分类时的样本权值,并且当单个分类器对某一样本发生误判时,则在下一轮该样本的权值将会加大,这样的学习规则更加侧重样本的总体误差。因此,融合系统的整体分类错误率是设计融合系统的决定性指标。
在上一节中,我们已经训练得到2个指纹分类器(1.1、1.2节所提出法),4个指静脉分类器(1.3节、1.4节、1.5节及1.6节所提出的4种方法),并得到这些分类器的正确识别率与拒识率。
根据上述分析,本发明的融合分类器具体定义如下:
其中,T为参加融合的分类器个数,此处T值为6;ht(x)为第t个分类器的识别结果,取值为0或1;FRRt为对应第t个分类器的拒识率。
由式(7)可以看出拒识率FRR的值越大,其对应分类器的权值也相应较大,上式这种权值确定过程更加关注样本的正确识别率即(1-FRR)的变化,从而可以提高最终融合结果的识别率。
3分层串行结构
虽然上述分类器融合思想可以提高系统的正确识别率,但是其大大的增加了算法的时间开销,本发明针对这一问题,将参与决策级融合的6个分类器构造如图2所示的串行的三层分层形式:通过第1层分类器的样本才能进入第2层分类器,然后通过第2层的样本才能进入第3层,以此得到最终的识别结果。按照上述原理,合法样本将会通过各层的分类器,而非法样本则将在被检测到的那层筛选掉。
在上述串行的三层分层分类器模型内部共包含6个分类器,分别对同一样本的指纹特征及指静脉特征进行分类识别,在该结构中,第一层由两个指纹分类器构成(1.1节、1.2节所提出方法),将指纹分类器放在第一层是因为本发明使用的指纹匹配算法不但具有实现简单,处理速度较快的优点,而且其识别率较指静脉分类器高,起到了缩小搜索类空间的作用。由于指静脉图像采用活体、红外线透射的采集方式,具有更好的防伪性及通用性,因此采用的指静脉分类器个数多于指纹分类器,但静脉可供识别的特征不如指纹图像多,且识别率及速度差于指纹图像,因此将指静脉分类器置于后面的层次中。基于以上论述,第二层由两个指静脉分类器构成(分别对应1.3节、1.4节所提出的方法),这两种使用细节点特征的指静脉分类器与使用全局特征的指静脉分类器相比算法较为简单;第三层由剩下的二个指静脉分类器构成(分别对应1.5节及1.6节所提出的2种方法)。
本发明提出的决策级融合方法充分地利用了指纹及手指静脉的识别信息,能够获得比单独指纹识别及手指静脉识系统别更好的性能,所提出的三层分层结构,使得融合算法所用时间大大缩短,满足了双模态识别系统实时性的要求。
Claims (3)
1.基于加权融合与分层串行结构的指纹与指静脉图像融合方法,包括指纹与指静脉图像的决策级融合及其级联分层结构模块,由以下步骤实现:
步骤一:对两个指纹分类器及四个指静脉分类器进行训练并获得各个分类器的正确识别率与拒识率;
步骤二:再依据分类器的拒识率计算单个分类器构成最终融合系统的权值;
步骤三:为了降低算法的运算时间,将参与决策级融合的6个分类器构造成串行的三层分层形式,通过第1层分类器的样本才能进入第2层分类器,然后通过第2层的样本才能进入第3层,得到最终的识别结果;
单个分类器集成融合分类器的步骤为:
1)获得指纹分类器及指静脉分类器的识别结果与拒识率分别为ht(x)与FRRt,其中t=1,2,3,4,5,6;
2)可得融合分类器为:
其中,T为参加融合的分类器个数,此处T值为6;ht(x)为第t个分类器的识别结果,取值为0或1;FRRt为对应第t个分类器的拒识率。
2.根据权利要求1所述的图像融合方法,其特征是:所述的指纹及指静脉分类器分别为:指纹分类器采用细节点匹配方法及主成分分析法(PCA),静脉分类器采用细节点匹配方法、基于Hausdorff距离的细节点匹配方法、主成分分析法及二维主成分分析法(2DPCA)。
3.根据权利要求1所述的图像融合方法,其特征在于:内部共包含6个分类器,分别对同一样本的指纹特征及指静脉特征进行分类识别,在该结构中,第一层由两个指纹分类器构成,所述两个指纹分类器为基于细节点匹配方法的分类器和基于PCA方法的分类器,第二层由两个指静脉分类器构成,所述两个指静脉分类器为基于细节点匹配方法的分类器和基于Hausdorff距离的细节点匹配方法的分类器,第三层由另外两个指静脉分类器构成,所述另外两个指静脉分类器为基于PCA方法的分类器和基于2DPCA方法的分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611071792.7A CN106529501B (zh) | 2016-11-29 | 2016-11-29 | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611071792.7A CN106529501B (zh) | 2016-11-29 | 2016-11-29 | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106529501A CN106529501A (zh) | 2017-03-22 |
CN106529501B true CN106529501B (zh) | 2021-10-01 |
Family
ID=58353791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611071792.7A Active CN106529501B (zh) | 2016-11-29 | 2016-11-29 | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106529501B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197611A (zh) * | 2018-02-05 | 2018-06-22 | 广东职业技术学院 | 一种类人机器人模式识别系统 |
CN110163136B (zh) * | 2019-05-13 | 2022-09-06 | 南京邮电大学 | 一种基于感知机的指纹和指静脉双模态识别决策融合方法 |
CN111753656B (zh) * | 2020-05-18 | 2024-04-26 | 深圳大学 | 特征提取方法、装置、设备及计算机可读存储介质 |
CN112312541B (zh) * | 2020-10-09 | 2022-01-18 | 清华大学 | 一种无线定位方法及系统 |
CN116127365B (zh) * | 2023-04-14 | 2023-07-25 | 山东大学 | 一种基于振动的应用于智能头戴式设备的认证方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101093539A (zh) * | 2007-07-27 | 2007-12-26 | 哈尔滨工程大学 | 手指静脉特征提取与匹配识别方法 |
CN101847208A (zh) * | 2010-06-11 | 2010-09-29 | 哈尔滨工程大学 | 指纹与指静脉双模态识别的二级分类融合识别方法 |
CN101901336A (zh) * | 2010-06-11 | 2010-12-01 | 哈尔滨工程大学 | 指纹与指静脉双模态识别决策级融合法 |
CN103336945A (zh) * | 2013-06-10 | 2013-10-02 | 黑龙江大学 | 融合局部特征与全局特征的指静脉识别方法 |
CN105160305A (zh) * | 2015-08-10 | 2015-12-16 | 中国民航大学 | 一种手指多模态特征融合方法 |
US9361507B1 (en) * | 2015-02-06 | 2016-06-07 | Hoyos Labs Ip Ltd. | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices |
-
2016
- 2016-11-29 CN CN201611071792.7A patent/CN106529501B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101093539A (zh) * | 2007-07-27 | 2007-12-26 | 哈尔滨工程大学 | 手指静脉特征提取与匹配识别方法 |
CN101847208A (zh) * | 2010-06-11 | 2010-09-29 | 哈尔滨工程大学 | 指纹与指静脉双模态识别的二级分类融合识别方法 |
CN101901336A (zh) * | 2010-06-11 | 2010-12-01 | 哈尔滨工程大学 | 指纹与指静脉双模态识别决策级融合法 |
CN103336945A (zh) * | 2013-06-10 | 2013-10-02 | 黑龙江大学 | 融合局部特征与全局特征的指静脉识别方法 |
US9361507B1 (en) * | 2015-02-06 | 2016-06-07 | Hoyos Labs Ip Ltd. | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices |
CN105160305A (zh) * | 2015-08-10 | 2015-12-16 | 中国民航大学 | 一种手指多模态特征融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106529501A (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106529501B (zh) | 基于加权融合与分层串行结构的指纹与指静脉图像融合方法 | |
Tabassi et al. | A novel approach to fingerprint image quality | |
Nandakumar | Multibiometric systems: Fusion strategies and template security | |
Medina-Pérez et al. | Latent fingerprint identification using deformable minutiae clustering | |
Marasco et al. | Robust and interoperable fingerprint spoof detection via convolutional neural networks | |
US8914313B2 (en) | Confidence based vein image recognition and authentication | |
Gupta et al. | Fingerprint indexing schemes–a survey | |
Serafim et al. | A method based on convolutional neural networks for fingerprint segmentation | |
KR101016758B1 (ko) | 인물 식별 방법 및 그 시스템 | |
Mwaura et al. | Multimodal biometric system:-fusion of face and fingerprint biometrics at match score fusion level | |
Aggarwal et al. | Multi-biometric cohort analysis for biometric fusion | |
Li et al. | A score-level fusion fingerprint indexing approach based on minutiae vicinity and minutia cylinder-code | |
Shams et al. | Adaptive Deep Learning Vector Quantisation for Multimodal Authentication. | |
Parmar et al. | Fingerprint indexing approaches for biometric database: a review | |
Kumar | Hand image biometric based personal authentication system | |
Li et al. | A novel fingerprint indexing approach focusing on minutia location and direction | |
Khokher et al. | Footprint identification: Review of an emerging biometric trait | |
Sharma et al. | Multimodal biometric system fusion using fingerprint and face with fuzzy logic | |
Safavipour et al. | A hybrid approach for multimodal biometric recognition based on feature level fusion in reproducing kernel Hilbert space | |
Elahee et al. | Comparative Study of Deep Learning Based Finger Vein Biometric Authentication Systems | |
Di Martino et al. | A statistical approach to reliability estimation for fingerprint recognition | |
Chen et al. | Fingerprint Quality Assessment based on Texture and Geometric Features. | |
Milgram et al. | Two-stage classification system combining model-based and discriminative approaches | |
Joshi | BIOMET: A multimodal biometric authentication system for person identification and verification using fingerprint and face recognition | |
Kotsuwan et al. | Score-Level Fusion Based on Classification Tree for Improving Iris Verification Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |