发明内容
现有的人脸和虹膜融合识别的方法,没有充分发挥人脸识别的优势,不能满足实际系统和应用场景的需求的问题,本发明目的是在最大程度的发挥人脸识别和虹膜识别的互补优势,基于层次结构的人脸和虹膜图像融合识别方法,不仅提高了系统的精确度,而且提高了系统的灵活性,同时也提高了整个系统的识别效率,能够满足国家公共安全领域的重大应用需求,为此,提出一种有效的基于层次结构的人脸和虹膜图像融合识别方法。
为达成所述目的,本发明基于层次结构的人脸和虹膜图像融合识别方法的技术方案的步骤包括:
注册步骤R:采用特征抽取方法,对待注册用户的人脸图像和虹膜图像抽取人脸特征和虹膜特征,得到人脸识别特征和虹膜特征的注册信息并保存到人脸特征注册数据库和虹膜特征注册数据库;
识别步骤S:通过三级层次结构进行人脸和虹膜图像融合识别:第一级,对待识别用户的人脸图像抽取人脸特征,调用人脸特征注册数据库中的注册人脸特征对待识别用户的人脸特征进行识别;第二级,调用人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据并基于典型相关分析(CCA)模型进行人脸到虹膜的检索,得到候选身份集合;第三级,基于人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据对候选身份集合对人脸和虹膜进行特征抽取和融合识别,对人脸图像和虹膜图像进行身份检索和认证。
其中,对待注册用户的人脸图像抽取3种人脸特征,包括:用于人脸识别的人脸识别特征、用于人脸到虹膜的检索的人脸检索特征和用于人脸和虹膜融合的人脸融合特征,根据人脸识别特征、人脸检索特征及人脸融合特征分别建立含有人脸识别数据库、人脸检索数据库和人脸虹膜数据库的系统注册数据库。
其中,对待注册用户的虹膜图像抽取2种虹膜特征,包括:用于人脸到虹膜的检索的虹膜检索特征,用于人脸和虹膜融合的虹膜融合特征,根据虹膜检索特征和虹膜融合特征分别建立含有虹膜检索数据库和虹膜融合数据库的系统注册数据库。
其中,对待识别用户的人脸图像抽取人脸特征是采用人脸识别特征抽取方法,抽取人脸特征,通过人脸识别分类器进行人脸识别。
其中,所述基于典型相关分析(CCA)的模型进行人脸到虹膜的检索的具体步骤包括:
步骤S21:通过给定的注册的人脸检索特征和虹膜检索特征的基础上,采用典型相关分析(CCA)模型进行离线训练,得到模型参数;
步骤S22:在识别阶段,采用人脸检索特征抽取方法,对输入的人脸图像抽取人脸特征,获得人脸检索特征;
步骤S23:对步骤S22得到的人脸检索特征,通过步骤S21中训练得到的模型参数和虹膜检索数据库中的所有虹膜特征进行预测,得到所有虹膜特征对应的预测分数集合;
步骤S24:对得到的预测分数集合进行由高到低的排序,抽取分数最高的一组虹膜特征所对应的身份作为检索结果。
其中,所述特征抽取和融合识别的步骤包括:
步骤S31:采用用于人脸和虹膜融合的特征抽取方法,对给定的待识别的人脸图像抽取待识别的人脸特征,得到人脸融合特征;
步骤S31:采用用于人脸和虹膜融合的特征对给定的待识别的虹膜图像抽取待识别的虹膜特征,得到虹膜融合特征。
其中,所述的融合识别采用特征级或分数级融合策略进行识别。
本发明的有益效果:本发明提出了一种基于层次结构的人脸和虹膜图像融合识别方法。本发明提出的方法对人脸识别和虹膜识别进行了有效的融合,其主要优点如下:
1.本发明融合人脸和虹膜两种生物特征信息进行身份鉴别,系统识别精度高;
2.本发明采用层次结构的融合策略,充分发挥了人脸识别的灵活性优势,增加了基于人脸和虹膜融合身份识别系统的易用性;
3.本发明采用典型相关分析(CCA)模型进行人脸到虹膜的检索,降低同一个人的人脸在不同情况下所表现出的类内差异,提高人脸检索的精度,保证整个系统的识别性能;
4.人脸和虹膜的层次结构,使得在人脸和虹膜融合识别只需要在人脸检索的结果中进行,降低系统的错误接受率。
5.由于人脸的检索可以实时连续地进行,而最后的人脸和虹膜的融合识别只是在检索的结果中进行,减小人脸和虹膜融合识别的搜索空间。
6.本发明可以用于远距离身份认证技术。通过远距离的人脸识别和检索,能够尽快确定用户身份,然后通过人脸和虹膜的融合,对用户身份进行最终确认;
7.本发明具有扩展性和兼容性,所有的单一模态的人脸识别算法和虹膜识别算法,以及特征级融合和分数级融合方法都可以集成到本方法中。
得益于以上优点,本发明使得基于人脸和虹膜识别融合方法的大规模应用成为可能。基于本方法的人脸和虹膜融合的生物特征识别系统可用于通关人员检查、安全场景监控、门禁、考勤等领域。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
一个典型的生物特征识别系统包括注册和识别两个环节。注册环节是将合法用户的生物特征数据通过注册算法保存到系统数据库中。识别环节是通过识别算法判断待识别的用户是否为数据库中注册的用户。本发明所提出的基于层次结构的人脸和虹膜图像融合识别方法的流程图如图1所示,包括注册环节和识别环节:
注册环节R:采用特征抽取方法,对待注册用户的人脸图像和虹膜图像抽取人脸特征和虹膜特征,得到人脸识别特征和虹膜特征的注册信息并保存到人脸特征注册数据库和虹膜特征注册数据库,主要包括以下步骤:
步骤R11:对注册的人脸图像抽取人脸识别特征,人脸检索特征和人脸融合特征,分别保存到人脸识别数据库,人脸检索数据库和人脸融合数据库,组成系统注册数据库。
步骤R12:对注册的虹膜图像抽取虹膜检索特征和虹膜融合特征,分别保存到虹膜检索数据库,虹膜融合数据库,组成系统注册数据库。
识别环节S:通过三级层次结构进行人脸和虹膜图像融合识别:第一级,对待识别用户的人脸图像抽取人脸特征,调用人脸特征注册数据库中的注册人脸特征对待识别用户的人脸特征进行识别;第二级,调用人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据并基于典型相关分析模型进行人脸到虹膜的检索,得到候选身份集合;第三级,基于人脸特征注册数据库的人脸特征数据和虹膜特征注册数据库的虹膜特征数据对候选身份集合对人脸和虹膜进行特征抽取和融合识别,对人脸图像和虹膜图像进行身份检索和认证。
根据注册数据库的信息,对待识别的用户进行人脸和虹膜融合识别,主要包括以下步骤:
步骤S1:人脸识别。通过人脸识别算法进行人脸识别,如果识别通过,则返回待识别人身份,否则转向人脸检索步骤;
步骤S2:人脸到虹膜的检索。通过典型相关分析(CCA),在同一个人的人脸信息和虹膜信息之间建立回归模型,经过预测得到检索的结果。
步骤S3:人脸和虹膜融合识别。通过信息融合和数据融合算法,将待识别人的人脸和虹膜信息进行融合,得到最终的识别结果。
下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述:
无论是注册或者识别过程,原始采集到的人脸和虹膜图像(图5(a)和图5(b)所示)都需要经过人眼定位和虹膜定位(图6(a)和图6(b)所示),然后得到能够用以特征抽取的归一化人脸图像和归一化虹膜图像(图7(a)和图7(b)所示),具体步骤如下:
人脸归一化图像获取、在采集到的人脸原始图像(图5(a)所示,分辨率640*480,RGB图像)上定位到双目中心(图6(a)所示经过预处理的人脸原始图像双目定位结果图像),根据归一化图像上固定的人眼中心位置,求得原始图像和归一化图像的坐标变换矩阵,通过双线性插值的方法得到人脸归一化图像(图7(a)所示,分辨率20*20,灰度图像);
虹膜归一化图像获取、在采集到的虹膜原始图像(图5(b)所示,分辨率2352*1728,灰度图像)上使用两个圆分别拟合虹膜的内外圆边界(图6(b)所示经过预处理的虹膜原始图像虹膜定位结果图像),然后通过笛卡尔坐标到极坐标的变换,将原始图像上的环形虹膜区域归一化到固定大小的虹膜归一化图像(图7(b)所示,分辨率512*80,灰度图像)。
本发明方法中采用的特征抽取方法包括主成分分析(PCA)、稀疏编码(Sparse Coding)和斑块形状特征。其具体步骤如下:
主成分分析(PCA)、给定一组输入数据X:{x1,x2,...,xN},xi∈RD,D是原始数据维度,N是样本个数。通过变换矩阵将原始数据进行数据变换得到X′:{x′1,x′2,...,x′N},x′i∈Rd,d是变换后的数据维度。求使得其方差最大的变换矩阵WX,具体步骤如下:
计算X的均值:
计算X协方差矩阵:
求得∑的特征值:Λ=(λ1,λ1,...,λN);
取前d个最大的特征值对应的特征向量组成变换矩阵WX;
则原始数据X经过主成分分析(PCA)得到特征数据:
其中上标“T”表示矩阵转置。
稀疏编码(Sparse Coding)的基本思想是,一个类别,其所有的样本都也可以由其自身有限的几个样本线性组合得到。数学描述如下:
给定m个类别,每个类别i包含n个注册样本,所有的注册样本的特征向量组成集合:X:{x11,x12,...,x1n,...,xij,...,xm1,xm2,...,xmn},给定待识别样本的特征向量y,求以下优化:
α*=arg min||α||1,约束条件是Xα=y。其中α是线性组合系数。
斑块形状特征是用于人脸和虹膜融合步骤中的虹膜特征抽取,其基本思想是通过虹膜图像小波变换系数,使用阈值分割法得到二值化斑块图像,计算每个斑块的重心作为最终的特征。其具体步骤可参考谭铁牛等的专利(CN 1684095)。
注册步骤R:采用合适的特征抽取方法将待注册用户的人脸和虹膜图像进行特征抽取,保存到注册数据库中。
本发明方法中按照特征的用途,将人脸特征分为3种,包括人脸识别特征,人脸检索特征,人脸融合特征。虹膜特征分为2种,包括虹膜检索特征,虹膜融合特征。具体的特征抽取过程如下:
人脸识别特征、用于人脸识别。具体实施中采用主成分分析(PCA)方法。
人脸检索特征、用于人脸到虹膜的检索。具体实施中采用主成分分析(PCA)方法。
人脸融合特征、用于人脸和虹膜融合识别。具体实施中采用稀疏编码(Sparse Coding)方法。
虹膜检索特征、用于人脸到虹膜的检索。具体实施中采用主成分分析(PCA)方法。
虹膜融合特征、用于人脸和虹膜融合识别。具体实施中采用谭铁牛等(CN 1684095)提出的斑块形状特征。
识别步骤S:在注册数据库的基础上,对给定的人脸图像和虹膜图像进行身份识别。图2示出步骤S中的人脸识别子流程图,具体步骤包括:
人脸识别步骤,包括特征抽取步骤S11和分类步骤S12:
步骤S11:采用主成分分析(PCA)方法进行人脸识别特征抽取,获得人脸识别特征;
步骤S12:然后使用欧式距离和最近邻分类器,对人脸识别特征进行分类;
人脸到虹膜的检索步骤。在步骤S11和步骤S12中,如果不能准确地通过人脸进行身份识别,则采用典型相关分析(CCA)模型进行人脸到虹膜的检索。
一般的人脸检索方法,是将注册数据库中的不同类别的人脸信息与待识别的人脸信息进行相似度度量,然后按照相似度大小进行排序,从而达到检索的目的。这种人脸到人脸的检索方法容易受环境光和人脸自身姿态的影响,同一个人的人脸图像在不同时刻的差异较大,这种检索的效果达不到实际的要求。所以,提高人脸检索的关键在于如何减小人脸类内的差异性。
解决上述问题的现有思路是增加主动近红外光源,这样不但增加系统的成本,也缩小了人脸检索的应用范围,因为在某些场景中,例如安全监控中,设置近红外主动光源是不现实的。而从人脸识别算法本身去解决这个问题,仍处于研究阶段。
本发明提出了一种人脸到虹膜的检索的方法,能够很好的解决这个问题。它的工作原理如下所述。一般的虹膜识别系统都采用近红外成像,使得虹膜成像不受外景光照的影响;另外,虹膜本身具有很高的类间区分度和类内一致性,是公认的精度最高的生物特征。如果能够在同一个人的人脸和虹膜之间建立起对应关系,使得同一个人的人脸信息和其对应的虹膜信息具有最大相关,就可以从一定程度上减小同一个人脸的不同图像之间的差异。从而提高检索的精度。这种人脸到虹膜的映射关系的建立可以通过典型相关分析(CCA)实现。
典型相关分析(CCA)是统计学习领域经典的多元统计分析方法,用于分析两组数据之间的相关关系。典型相关分析模型假设两组数据X:{x
1,x
2,…,x
N},Y:{y
1,y
2,…,y
N},其中N为样本个数,存在一个潜在的相关关系,这个潜在的相关关系需要一对变换矩阵W
X,W
Y将原始的数据变换为X′,Y′,通过最大化两组数据之间的相关系数,得到最优的变换矩阵
其数学描述如下:
可以通过求解AW=BWλ的广义特征向量得到
其中
C
XX=XX
T,C
XY=XY
T,C
YX=YX
T,C
YY=YY
T。
通过以上分析,本发明中,X:{x1,x2,…,xN}对应注册的人脸检索特征向量集合,Y:{y1,y2,…,yN}对应注册的虹膜检索特征向量集合,N为对应的注册的样本数。图3示出基于典型相关分析(CCA)模型的人脸到虹膜的检索步骤具体如下:
步骤S21:训练步骤。根据注册的人脸检索特征向量集合和虹膜检索特征向量集合训练得到变换矩阵
步骤S22:特征抽取步骤。对待识别的人脸图像进行特征抽取,采用主成分分析方法(PCA);
步骤S23:预测步骤。首先对得到的待识别人的人脸检索特征x,经过变换矩阵
得到x′;其次,注册的虹膜检索特征向量(双目或单目)集合Y:{y
1,y
2,…,y
N}经过变换矩阵
得到Y′:{y′
1,y′
2,…,y′
N};然后求得x′和Y′:{y′
1,y′
2,…,y′
N}中所有元素的相关系数集合ρ:{ρ
1,ρ
2,…,ρ
N},相关系数的数学表达如下:
其中E[x]表示随机变量x的数学期望。
步骤S24:将分数集合进行排序,最大的N个相关系数所对应的类别集合作为最终的检索结果;
人脸和虹膜融合步骤,如图4示出人脸和虹膜融合识别流程图。在S21-24的基础上,通过人脸和虹膜的信息,采用已有的信息融合,数据融合方法,进行最终的身份认证。
包括以下步骤:
步骤S311:人脸特征抽取步骤。采用稀疏编码(Sparse Coding)进行特征抽取。
步骤S312:虹膜特征抽取步骤。采用虹膜斑块特征法进行特征抽取。
步骤S32:人脸和虹膜融合识别。采用分数级融合策略。
人脸的分数可以通过以下步骤获得:对于特征抽取步骤S311得到的稀疏编码特征α
*:
分别计算输入的人脸图像y与每类注册样本{x
i1,x
i2,...,x
in}线性重建得到的人脸图像
的差异r
i=||y-y′
i||
2,作为输入图像与第i类所有样本之间的分数。
虹膜的分数si可以通过求输入样本的斑块特征和注册样本的斑块特征的度量得到。具体分数的计算方法参见谭铁牛等的专利(CN 1684095)。
分数级融合采用加权求和方法,最终的分数SCi=w1si+w2ri,其中w1和w2是权值;
采用最近邻分类器(NN)进行最终的分类识别。
实施案例1:基于层次结构的人脸和虹膜图像融合识别方法在出入境人员身份鉴别中的应用。
本发明可广泛应用到出入境人员身份鉴别场景。在人员出入境通关的过程中,要求能够方便,快速,准确地进行身份认证,一方面使合法用户能够顺利的通关,另一方面也要将非法用户拒之门外。虹膜识别具有很高的识别率,但是不方便使用,人脸识别方便使用,但是识别率不高。所以本发明可以在这种场景中发挥重要作用。假设合法用户的人脸和虹膜的信息在申请通关的时候已经录入到数据库中,在通关的过程中,由于人流量大,所以人脸识别功能可以在远距离就开始进行识别和检索,如果识别通过,则验证成功。否则,当用户走到虹膜识别有效的范围时,同时进行人脸和虹膜的融合识别,得到最终的身份鉴别结果。使得通关人员能够快速、安全的进行通关。
实施案例2:基于层次结构的人脸和虹膜图像融合识别方法在安全监控场景中的应用。
本发明可广泛应用到安全监控场景。在安全监控场景中,要求能够对场景中出现的人员进行控制,如果出现非法人员,要及时报警。例如:一犯罪分子曾经被抓捕过,为防止其以后继续作案,将其人脸和虹膜信息注册到犯罪分子系统数据库中。但该犯罪分子屡教不改,又再次作案。当其出现在人脸和虹膜摄像头的采集范围内,人脸摄像头和虹膜摄像头实时捕捉,分别捕获其人脸信息和虹膜信息,人脸和虹膜识别系统开始工作,一旦确定犯罪分子身份,则及时报警,将其绳之以法。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。