CN107423703A - 基于人脸、指纹和指静脉特征的多模态识别装置及方法 - Google Patents
基于人脸、指纹和指静脉特征的多模态识别装置及方法 Download PDFInfo
- Publication number
- CN107423703A CN107423703A CN201710600706.5A CN201710600706A CN107423703A CN 107423703 A CN107423703 A CN 107423703A CN 201710600706 A CN201710600706 A CN 201710600706A CN 107423703 A CN107423703 A CN 107423703A
- Authority
- CN
- China
- Prior art keywords
- image
- fingerprint
- face
- prosthesis
- finger vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 239000005337 ground glass Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了基于人脸、指纹和指静脉特征的多模态识别装置及方法;基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动;待光源强度稳定后,第一相机处采集人脸的原始图像,第二相机处采集伸入手指静脉的手指原始图像,指纹模块采集指纹的原始图像;将判断得到的活体图像进行去噪和图像增强处理,判断所得到的人脸、指纹及指静脉图像是否均为活体;若其中图像有假体,则删除假体图像;分别提取判断得到的活体图像特征;将提取的特征在特征层进行融合得到新的特征;利用融合得到的新的特征对分类器进行训练;生成训练特征库,利用训练特征库对测试人员进行多模态的身份认证。解决单生物识别容易受到破坏及伪造与识别成功率低及不稳定问题。
Description
技术领域
本发明涉及基于人脸、指纹和指静脉特征的多模态识别装置及方法。
背景技术
生物特征识别是一种新的身份认证技术。在现实生活中,每个人都有与其他人不同的独一无二的生物特征。随着计算机技术的发展,人们可以提取自身的生物特征信息,比如人脸、指纹、指静脉、虹膜、声纹等。这种依靠人的身体特征进行身份识别的技术被称为生物特征识别技术。
仅使用单生物特征(单模态生物特征)对身份进行识别容易被伪造和欺骗,例如单一的指纹图片容易被伪造,易模仿与窃取,并且指纹识别最初被用在犯罪领域中使一些用户存在抵触心理,还有一部分用户的单一指纹(指静脉等)特征不能采集到有效清晰的图像,使单模态生物特征系统在实际应用中有了一定得局限性。而多模态生物特征系统提高了安全系数,降低识别系统被攻破的风险,更有适用性。
发明内容
本发明的目的就是为了解决上述问题,提供基于人脸、指纹和指静脉特征的多模态识别装置及方法,以解决单生物识别容易受到破坏及伪造与识别成功率低及不稳定等问题,提高认证系统的可靠性、稳定性和实用性。
为了实现上述目的,本发明采用如下技术方案:
基于人脸、指纹和指静脉特征的多模态识别装置,包括:壳体,壳体上设有手指伸入孔;
所述壳体内部,包括:光源模块、第一相机、第二相机、指纹采集模块、电源以及自动光源控制电路;所述电源分别与光源、第一相机、第二相机和指纹采集模块连接;所述光源模块与自动光源控制电路连接;
所述光源模块,包括若干个近红外光照射源,及覆盖在若干个近红外光照射源表面的毛玻璃散射板;所述近红外光照射源设置在壳体内手指伸入位置的上方;
所述第一相机设置在壳体的上方,第一相机的镜头设置朝壳体外面;
所述第二相机设置在壳体内手指伸入位置的下方,第二相机的镜头朝向近红外光照射源;所述第二相机上覆盖有红外滤光片;所述指纹采集模块设置在壳体内部。
所述壳体由黑色不透明亚克力板制成。
所述近红外光照射源为近红外发光二极管。
所述第二相机为近红外敏感相机。
所述自动光源控制电路,包括微处理器、信号处理电路和电源电路;所述微处理器与信号处理电路连接,所述信号处理电路与电源电路连接,所述电源电路与电源连接。
基于人脸、指纹和指静脉特征的多模态识别方法,包括以下步骤:
步骤S1:基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动;
将人脸对准第一相机,手指伸入装置壳体上的手指伸入孔内,手指顶端抵住指纹采集模块,启动多模态识别装置的近红外光照射源、第一相机及第二相机,自动光源控制电路调整近红外光照射源光照强度;
步骤S2:待光源强度稳定后,第一相机处采集人脸的原始图像,第二相机处采集伸入手指静脉的手指原始图像,指纹模块采集指纹的原始图像;
步骤S3:将步骤S2判断得到的活体图像进行去噪和图像增强处理,判断所得到的人脸、指纹及指静脉图像是否均为活体;若其中图像有假体,则删除假体图像;
步骤S4:分别提取步骤S3判断得到的活体图像特征;
步骤S5:将步骤S4所提取的特征在特征层进行融合得到新的特征;
步骤S6:利用融合得到的新的特征对分类器进行训练;生成训练特征库,利用训练特征库对测试人员进行多模态的身份认证。
所述步骤S1包括:
步骤S11:将手指伸入装置壳体上的手指伸入孔内,打开多模态识别装置的近红外光照射源,形成均匀覆盖在手指上表面的近红外光;将手指顶端抵在指纹采集模块上;
将人脸对准第一相机,第一相机采集人脸图像;
步骤S12:启动第二相机,自动光源控制电路控制近红外光照射源,使近红外光照射源发出近红外光,第二相机对手指下表面进行拍摄得到手指静脉图像。
所述步骤S12的自动光源控制电路控制近红外光照射源的过程为:
步骤S121:第二相机采集一帧指静脉图像;
步骤S122:自动光源控制电路的微处理器将采集到的静脉图像设定范围的中心区域,对中心区域进行灰度值的统计,若中心区域内的灰度值平均值大于预先设定的灰度值阈值范围,则图像过亮,反之图像过暗;
步骤S123:微处理器根据步骤S122的判断结果,向控制电路模块发出相应的光源亮度调整信号,再转入步骤S122,直到手指经脉图像设定范围的中心区域的灰度值落在设定的阈值范围内,表示近红外光照射源发出的光源强度大小合适;此时第二相机对手指下表面进行拍摄得到满足需要的指静脉图像。
所述步骤S3中判断所得到的人脸、指纹及指静脉图像是否均为活体的过程为:
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数,将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与活体数据库的人脸、指纹和指静脉图像的DCT系数进行比对,若比对一致,判断图像为活体图像;提取活体图像的特征;
将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与假体数据库的人脸、指纹和指静脉图像的DCT系数进行比对,若比对一致,判断图像为假体图像;不提取此图像的特征。
活体数据库的建立过程:
步骤(301):采集活体人脸图像、活体指纹图像和活体指静脉图像;
步骤(302):提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数;
步骤(303):通过活体人脸图像的DCT系数训练出活体人脸特征库;通过活体指纹图像的DCT系数训练出活体指纹特征库;通过活体指静脉图像的DCT系数训练出活体指静脉特征库;
步骤(304):判断训练是否结束,若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库;若否,则返回步骤(301)。
假体数据库的建立过程:
步骤(311):采集假体人脸图像、假体指纹图像和假体指静脉图像;
步骤(312):提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数;
步骤(313):通过假体人脸图像的DCT系数训练出假体人脸特征库;通过假体指纹图像的DCT系数训练出假体指纹特征库;通过假体指静脉图像的DCT系数训练出假体指静脉特征库;
步骤(314):判断训练是否结束,若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库;若否,则返回步骤(311)。
判断所得到的人脸、指纹及指静脉图像是否均为活体,分为以下七种情况:
(1)活体人脸图像、活体指纹图像和活体指静脉图像;
(2)假体人脸图像、活体指纹图像和活体指静脉图像;
(3)活体人脸图像、假体指纹图像和活体指静脉图像;
(4)活体人脸图像、活体指纹图像和假体指静脉图像;
(5)假体人脸图像、假体指纹图像和活体指静脉图像;
(6)假体人脸图像、活体指纹图像和假体指静脉图像;
(7)活体人脸图像+活假体指纹图像和假体指静脉图像。
步骤S5:将步骤S4所提取的特征在特征层进行融合得到新的特征,分为以下七种情况:
(1)人脸、指纹和指静脉特征融合得到的特征库;
(2)人脸、指纹特征融合得到的特征库;
(3)人脸、指静脉特征融合得到的特征库;
(4)指纹、指静脉特征融合得到的特征库;
(5)人脸特征训练得到的特征库;
(6)指纹特征训练得到的特征库;
(7)指静脉特征训练得到的特征库;
所述步骤S4中,提取特征的过程为:
提取人脸图像的PCA特征记为Featurerenlian;提取指纹图像的断点及分叉点特征记为Featurezhiwen;提取指静脉的细节点作为特征记为Featurejingmai;分别求取三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai。
所述步骤S5中,特征融合的过程为:
将FVrenlian、FVzhiwen和FVjingmai进行串联,得到新的特征向量,并计算新的特征向量的fisher vector,将新得到的fisher vector记为FVronghe。
所述步骤S6中,身份认证的过程为:
将FVronghe送入KNN分类器中进行训练,生成训练特征库,然后将待测试者的身份与训练特征库作对比进行认证。
本发明的有益效果为:
(1)本发明可同一时间采集人脸、指纹与手指静脉三种生物特征,采集设备简单,采集快速准确,认证过程简单、快速,非接触式采集用户较易接受,防伪造性强,具有高的可靠性、稳定性及实用性。
(2)本发明在整个系统中引入了活体检测算法,根据伪造图片与真实图片在细节清晰度上的差别,对活体和假体进行识别;对于伪造图片的特征信息予以筛除,以实现伪造图片对识别准确率的影响,提升特征匹配的准确性和鲁棒性。
(3)本发明中选用的对象是人脸、指纹和指静脉。这三者融合有以下几个优势:首先,指静脉不易伪造,指纹的用户接受度高,人脸更易采集,这三种生物特征具有互补性,因此系统稳定性较高;其次,指纹与指静脉同时含有丰富的脊状纹理,可以用相似的算法进行处理。通过这样对多生物模态进行结合,可以增加识别系统的安全性、可靠性和有效性。
附图说明
图1是多模态识别装置的成像设备内部结构图;
图2是活体数据库建立的具体流程图;
图3是假体特征库的建立;
图4是Fisher vector融合特征库建立的流程图;
图5是系统实现的流程图;
图6是本发明的电气连接关系图;
其中,1壳体,2红外滤光片,31第一相机,32第二相机,4近红外光照射源,5指纹模块,6控制电路模块,7手指伸入孔。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,一种基于人脸、指纹和指静脉信息的多模态识别装置,包括:壳体1,壳体1上设有手指伸入孔7;所述壳体1内部,包括光源模块,其中包括若干个近红外光照射源4,及覆盖在其表面的毛玻璃散射板;及设置在光源模块上方的第一相机31;及设置在近红外光源下方向对面上的第二相机32及控制电路模块6,所述第二相机32上覆盖有红外滤光片2,所述第一相机31和第二相机32均选择近红外敏感相机;及在手指伸入孔7对面的指纹采集模块5。
壳体1采用轻便不透光材料例如黑色亚克力板。
近红外光照射源4选用波段为805nm的近红外发光二极管,且发光二极管呈一排设置在伸入壳体内的手指上方,且近红外发光二极管光源与手指伸入孔7之间放置一个毛玻璃,光源通过毛玻璃散射,形成均匀覆盖在手指表面的红外光,避免光照不均匀使得反射过强影响手指静脉拍摄效果。
如图6所示,自动光源控制电路6包含依次连接的微处理器、信号处理电路和电源电路。
如图5所示,本装置的身份识别过程是:
步骤S1:装置的准备和启动工作
装置上电,由电源电路为整个设备提供电源;将人脸正面对准第一相机,手指伸入装置壳体上的手指伸入孔内,并将指腹部分按压在指纹采集模块表面,启动基于人脸、指纹和指静脉特征信息的多模态识别装置的近红外光照射源和第一相机与第二相机,自动光源控制电路调整近红外光照射源光照强度。
步骤S2:待光源强度稳定后,第一相机处采集人脸的原始图像,第二相机处采集伸入手指静脉的手指原始图像,指纹模块采集指纹的原始图像;
步骤S3:将步骤S2判断得到的活体图像进行去噪和图像增强处理,判断所得到的人脸、指纹及指静脉图像是否为活体;若其中图像有假体,则去除此图像;
步骤S4:分别提取步骤S3判断得到的活体图像特征;
步骤S5:将步骤S4所提取的特征在特征层进行融合得到新的特征:
步骤S6:将步骤S5得到的新的特征输入到分类器中进行多模态的身份认证。
自动光源控制电路控制近红外光照射源的过程为:
步骤S121:第二相机采集一帧静脉图像;
步骤S122:自动光源控制电路的微处理器将采集到的静脉图像的中心区域,进行灰度值的统计,若该区域内的灰度值平均值大于预先设定的灰度值阈值范围,则图像过亮,反之图像过暗;
步骤S123:微处理器根据步骤S122的判断结果,向控制电路模块发出光源亮度调整信号,再转入步骤S122,直到手指范围的灰度值落在规定的阈值范围内,此时近红外光照射源发出的光源强度大小适当。
判断预处理后的人脸、指纹和指静脉图像是否为活体的过程为:
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数,分别对各自活体与假体的DCT系数进行训练,得到相应的活体数据库与假体数据库。具体流程如图2与图3。
如图2所示,活体数据库的建立过程:
步骤(301):采集活体人脸图像、活体指纹图像和活体指静脉图像;
步骤(302):提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数;
步骤(303):通过活体人脸图像的DCT系数训练出活体人脸特征库;通过活体指纹图像的DCT系数训练出活体指纹特征库;通过活体指静脉图像的DCT系数训练出活体指静脉特征库;
步骤(304):判断训练是否结束,若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库;若否,则返回步骤(301)。
如图3所示,假体数据库的建立过程:
步骤(311):采集假体人脸图像、假体指纹图像和假体指静脉图像;
步骤(312):提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数;
步骤(313):通过假体人脸图像的DCT系数训练出假体人脸特征库;通过假体指纹图像的DCT系数训练出假体指纹特征库;通过假体指静脉图像的DCT系数训练出假体指静脉特征库;
步骤(314):判断训练是否结束,若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库;若否,则返回步骤(311)。
并建立融合后的特征库,如图4,将其分类判断是否为活体特征。可分为以下七种情况:
(1)活体人脸+活体指纹+活体指静脉;
(2)假体人脸+活体指纹+活体指静脉;
(3)活体人脸+假体指纹+活体指静脉;
(4)活体人脸+活体指纹+假体指静脉;
(5)假体人脸+假体指纹+活体指静脉;
(6)假体人脸+活体指纹+假体指静脉;
(7)活体人脸+活假体指纹+假体指静脉。
提取的融合后的特征库分别为:
(1)人脸、指纹和指静脉特征融合得到的特征库;
(2)人脸、指纹特征融合得到的特征库;
(3)人脸、指静脉特征融合得到的特征库;
(4)指纹、指静脉特征融合得到的特征库;
(5)人脸特征训练得到的特征库;
(6)指纹特征训练得到的特征库;
(7)指静脉特征训练得到的特征库;
提取特征的过程为:
提取人脸图像的PCA特征记为Featurerenlian;提取指纹图像的断点及分叉点特征记为Featurezhiwen;提取指静脉的细节点作为特征记为Featurejingmai。分别求取得到三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai。
所述步骤S5中,特征融合的过程为:
将FVrenlian、FVzhiwen和FVjingmai进行串联,得到新的特征向量,并计算此向量的fisher vector,将新得到的fisher vector记为FVronghe。
身份认证的过程为:
将FVronghe送入KNN分类器中进行训练,生成训练特征库,然后将待测试的身份与特征库作对比进行认证。
至此活体检测与身份认证的步骤结束,本装置及方法实现了检测试图进入系统的用户三种生物特征是否为活体特征,一定程度避免了伪造图像对系统的攻击,增加了系统可靠性,用三种特征同时与预先登录被认证者的三种特征信息作对比,增加了准确性。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于人脸、指纹和指静脉特征的多模态识别装置,其特征是,包括:壳体,壳体上设有手指伸入孔;
所述壳体内部,包括:光源模块、第一相机、第二相机、指纹采集模块、电源以及自动光源控制电路;所述电源分别与光源、第一相机、第二相机和指纹采集模块连接;所述光源模块与自动光源控制电路连接;
所述光源模块,包括若干个近红外光照射源,及覆盖在若干个近红外光照射源表面的毛玻璃散射板;所述近红外光照射源设置在壳体内手指伸入位置的上方;
所述第一相机设置在壳体的上方,第一相机的镜头设置朝壳体外面;
所述第二相机设置在壳体内手指伸入位置的下方,第二相机的镜头朝向近红外光照射源;所述第二相机上覆盖有红外滤光片;所述指纹采集模块设置在壳体内部。
2.基于人脸、指纹和指静脉特征的多模态识别方法,其特征是,包括以下步骤:
步骤S1:基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动;
将人脸对准第一相机,手指伸入装置壳体上的手指伸入孔内,手指顶端抵住指纹采集模块,启动多模态识别装置的近红外光照射源、第一相机及第二相机,自动光源控制电路调整近红外光照射源光照强度;
步骤S2:待光源强度稳定后,第一相机处采集人脸的原始图像,第二相机处采集伸入手指静脉的手指原始图像,指纹模块采集指纹的原始图像;
步骤S3:将步骤S2判断得到的活体图像进行去噪和图像增强处理,判断所得到的人脸、指纹及指静脉图像是否均为活体;若其中图像有假体,则删除假体图像;
步骤S4:分别提取步骤S3判断得到的活体图像特征;
步骤S5:将步骤S4所提取的特征在特征层进行融合得到新的特征;
步骤S6:利用融合得到的新的特征对分类器进行训练;生成训练特征库,利用训练特征库对测试人员进行多模态的身份认证。
3.如权利要求2所述的方法,其特征是,所述步骤S1包括:
步骤S11:将手指伸入装置壳体上的手指伸入孔内,打开多模态识别装置的近红外光照射源,形成均匀覆盖在手指上表面的近红外光;将手指顶端抵在指纹采集模块上;
将人脸对准第一相机,第一相机采集人脸图像;
步骤S12:启动第二相机,自动光源控制电路控制近红外光照射源,使近红外光照射源发出近红外光,第二相机对手指下表面进行拍摄得到手指静脉图像。
4.如权利要求3所述的方法,其特征是,所述步骤S12的自动光源控制电路控制近红外光照射源的过程为:
步骤S121:第二相机采集一帧指静脉图像;
步骤S122:自动光源控制电路的微处理器将采集到的静脉图像设定范围的中心区域,对中心区域进行灰度值的统计,若中心区域内的灰度值平均值大于预先设定的灰度值阈值范围,则图像过亮,反之图像过暗;
步骤S123:微处理器根据步骤S122的判断结果,向控制电路模块发出相应的光源亮度调整信号,再转入步骤S122,直到手指经脉图像设定范围的中心区域的灰度值落在设定的阈值范围内,表示近红外光照射源发出的光源强度大小合适;此时第二相机对手指下表面进行拍摄得到满足需要的指静脉图像。
5.如权利要求2所述的方法,其特征是,所述步骤S3中判断所得到的人脸、指纹及指静脉图像是否均为活体的过程为:
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数,将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与活体数据库的人脸、指纹和指静脉图像的DCT系数进行比对,若比对一致,判断图像为活体图像;提取活体图像的特征;
将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与假体数据库的人脸、指纹和指静脉图像的DCT系数进行比对,若比对一致,判断图像为假体图像;不提取此图像的特征。
6.如权利要求5所述的方法,其特征是,活体数据库的建立过程:
步骤(301):采集活体人脸图像、活体指纹图像和活体指静脉图像;
步骤(302):提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数;
步骤(303):通过活体人脸图像的DCT系数训练出活体人脸特征库;通过活体指纹图像的DCT系数训练出活体指纹特征库;通过活体指静脉图像的DCT系数训练出活体指静脉特征库;
步骤(304):判断训练是否结束,若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库;若否,则返回步骤(301)。
7.如权利要求5所述的方法,其特征是,假体数据库的建立过程:
步骤(311):采集假体人脸图像、假体指纹图像和假体指静脉图像;
步骤(312):提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数;
步骤(313):通过假体人脸图像的DCT系数训练出假体人脸特征库;通过假体指纹图像的DCT系数训练出假体指纹特征库;通过假体指静脉图像的DCT系数训练出假体指静脉特征库;
步骤(314):判断训练是否结束,若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库;若否,则返回步骤(311)。
8.如权利要求5所述的方法,其特征是,判断所得到的人脸、指纹及指静脉图像是否均为活体,分为以下七种情况:
(1)活体人脸图像、活体指纹图像和活体指静脉图像;
(2)假体人脸图像、活体指纹图像和活体指静脉图像;
(3)活体人脸图像、假体指纹图像和活体指静脉图像;
(4)活体人脸图像、活体指纹图像和假体指静脉图像;
(5)假体人脸图像、假体指纹图像和活体指静脉图像;
(6)假体人脸图像、活体指纹图像和假体指静脉图像;
(7)活体人脸图像+活假体指纹图像和假体指静脉图像。
9.如权利要求2所述的方法,其特征是,步骤S5:将步骤S4所提取的特征在特征层进行融合得到新的特征,分为以下七种情况:
(1)人脸、指纹和指静脉特征融合得到的特征库;
(2)人脸、指纹特征融合得到的特征库;
(3)人脸、指静脉特征融合得到的特征库;
(4)指纹、指静脉特征融合得到的特征库;
(5)人脸特征训练得到的特征库;
(6)指纹特征训练得到的特征库;
(7)指静脉特征训练得到的特征库。
10.如权利要求2所述的方法,其特征是,
所述步骤S4中,提取特征的过程为:
提取人脸图像的PCA特征记为Featurerenlian;提取指纹图像的断点及分叉点特征记为Featurezhiwen;提取指静脉的细节点作为特征记为Featurejingmai;分别求取三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai;
或者,
所述步骤S5中,特征融合的过程为:
将FVrenlian、FVzhiwen和FVjingmai进行串联,得到新的特征向量,并计算新的特征向量的fisher vector,将新得到的fisher vector记为FVronghe;
或者,
所述步骤S6中,身份认证的过程为:
将FVronghe送入KNN分类器中进行训练,生成训练特征库,然后将待测试者的身份与训练特征库作对比进行认证。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710600706.5A CN107423703B (zh) | 2017-07-21 | 2017-07-21 | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710600706.5A CN107423703B (zh) | 2017-07-21 | 2017-07-21 | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107423703A true CN107423703A (zh) | 2017-12-01 |
CN107423703B CN107423703B (zh) | 2020-12-08 |
Family
ID=60430679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710600706.5A Active CN107423703B (zh) | 2017-07-21 | 2017-07-21 | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107423703B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764178A (zh) * | 2018-05-31 | 2018-11-06 | 中国民航大学 | 一种手指三模态特征图像姿态同步采集装置及控制方法 |
CN109993142A (zh) * | 2019-04-10 | 2019-07-09 | 黑龙江大学 | 基于指部多模态生物特征的二维码身份认证方法 |
CN110008931A (zh) * | 2019-04-16 | 2019-07-12 | 上海应用技术大学 | 结合指纹与指静脉信息的混合识别方法 |
CN110020617A (zh) * | 2019-03-27 | 2019-07-16 | 五邑大学 | 一种基于生物特征的身份识别方法、装置和存储介质 |
CN110443217A (zh) * | 2019-08-13 | 2019-11-12 | 深圳大学 | 一种基于多光谱的指纹防伪方法及系统 |
CN111339911A (zh) * | 2020-02-24 | 2020-06-26 | 浙江大华技术股份有限公司 | 一种手指特征识别装置 |
CN111368780A (zh) * | 2020-03-13 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种基于指纹和指静脉的联合识别处理方法及系统 |
CN111985442A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种基于多模态数据融合的活体检测识别方法 |
CN114120376A (zh) * | 2021-11-18 | 2022-03-01 | 黑龙江大学 | 一种多模态图像采集装置及系统 |
CN117333483A (zh) * | 2023-11-30 | 2024-01-02 | 中科慧远视觉技术(洛阳)有限公司 | 一种用于金属凹陷结构底部的缺陷检测方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009054095A (ja) * | 2007-08-29 | 2009-03-12 | Casio Comput Co Ltd | 血管画像読み取り装置および生体画像読み取り装置 |
CN102542258A (zh) * | 2011-12-16 | 2012-07-04 | 天津理工大学 | 基于手指生物特征信息的成像设备及多模态身份识别方法 |
CN102622590A (zh) * | 2012-03-13 | 2012-08-01 | 上海交通大学 | 基于人脸—指纹协同的身份识别方法 |
CN103077459A (zh) * | 2012-12-18 | 2013-05-01 | 天津科技大学 | 一种融合用户多生物特征进行活体认证支付的方法 |
CN103886283A (zh) * | 2014-03-03 | 2014-06-25 | 天津科技大学 | 用于移动用户的多生物特征图像信息融合方法及其应用 |
CN104778445A (zh) * | 2015-03-17 | 2015-07-15 | 山东大学 | 基于手指静脉立体特征的活体识别装置及方法 |
CN105187726A (zh) * | 2015-06-17 | 2015-12-23 | 广州市巽腾信息科技有限公司 | 一种多功能移动图像处理装置、处理方法及用途 |
CN105303661A (zh) * | 2015-11-10 | 2016-02-03 | 成都智慧数联信息技术有限公司 | 基于指纹和指静脉识别的智慧社区系统及方法 |
CN105701462A (zh) * | 2016-01-11 | 2016-06-22 | 成都布林特信息技术有限公司 | 一种身份识别方法 |
CN106104574A (zh) * | 2016-02-25 | 2016-11-09 | 深圳市汇顶科技股份有限公司 | 指纹识别方法、装置和终端 |
CN106295555A (zh) * | 2016-08-08 | 2017-01-04 | 深圳芯启航科技有限公司 | 一种活体指纹图像的检测方法 |
CN206147768U (zh) * | 2016-08-09 | 2017-05-03 | 广州市贺氏办公设备有限公司 | 一种基于生物特征识别的一体考勤系统 |
CN106778607A (zh) * | 2016-12-15 | 2017-05-31 | 国政通科技股份有限公司 | 一种基于人脸识别的人与身份证同一性认证装置及方法 |
CN106875191A (zh) * | 2017-02-27 | 2017-06-20 | 努比亚技术有限公司 | 一种扫描支付处理方法、装置及终端 |
-
2017
- 2017-07-21 CN CN201710600706.5A patent/CN107423703B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009054095A (ja) * | 2007-08-29 | 2009-03-12 | Casio Comput Co Ltd | 血管画像読み取り装置および生体画像読み取り装置 |
CN102542258A (zh) * | 2011-12-16 | 2012-07-04 | 天津理工大学 | 基于手指生物特征信息的成像设备及多模态身份识别方法 |
CN102622590A (zh) * | 2012-03-13 | 2012-08-01 | 上海交通大学 | 基于人脸—指纹协同的身份识别方法 |
CN103077459A (zh) * | 2012-12-18 | 2013-05-01 | 天津科技大学 | 一种融合用户多生物特征进行活体认证支付的方法 |
CN103886283A (zh) * | 2014-03-03 | 2014-06-25 | 天津科技大学 | 用于移动用户的多生物特征图像信息融合方法及其应用 |
CN104778445A (zh) * | 2015-03-17 | 2015-07-15 | 山东大学 | 基于手指静脉立体特征的活体识别装置及方法 |
CN105187726A (zh) * | 2015-06-17 | 2015-12-23 | 广州市巽腾信息科技有限公司 | 一种多功能移动图像处理装置、处理方法及用途 |
CN105303661A (zh) * | 2015-11-10 | 2016-02-03 | 成都智慧数联信息技术有限公司 | 基于指纹和指静脉识别的智慧社区系统及方法 |
CN105701462A (zh) * | 2016-01-11 | 2016-06-22 | 成都布林特信息技术有限公司 | 一种身份识别方法 |
CN106104574A (zh) * | 2016-02-25 | 2016-11-09 | 深圳市汇顶科技股份有限公司 | 指纹识别方法、装置和终端 |
CN106295555A (zh) * | 2016-08-08 | 2017-01-04 | 深圳芯启航科技有限公司 | 一种活体指纹图像的检测方法 |
CN206147768U (zh) * | 2016-08-09 | 2017-05-03 | 广州市贺氏办公设备有限公司 | 一种基于生物特征识别的一体考勤系统 |
CN106778607A (zh) * | 2016-12-15 | 2017-05-31 | 国政通科技股份有限公司 | 一种基于人脸识别的人与身份证同一性认证装置及方法 |
CN106875191A (zh) * | 2017-02-27 | 2017-06-20 | 努比亚技术有限公司 | 一种扫描支付处理方法、装置及终端 |
Non-Patent Citations (1)
Title |
---|
刘华成: "人脸活体检测关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764178A (zh) * | 2018-05-31 | 2018-11-06 | 中国民航大学 | 一种手指三模态特征图像姿态同步采集装置及控制方法 |
CN110020617A (zh) * | 2019-03-27 | 2019-07-16 | 五邑大学 | 一种基于生物特征的身份识别方法、装置和存储介质 |
CN109993142A (zh) * | 2019-04-10 | 2019-07-09 | 黑龙江大学 | 基于指部多模态生物特征的二维码身份认证方法 |
CN109993142B (zh) * | 2019-04-10 | 2023-09-12 | 黑龙江大学 | 基于指部多模态生物特征的二维码身份认证方法 |
CN110008931A (zh) * | 2019-04-16 | 2019-07-12 | 上海应用技术大学 | 结合指纹与指静脉信息的混合识别方法 |
CN110443217B (zh) * | 2019-08-13 | 2022-09-02 | 深圳大学 | 一种基于多光谱的指纹防伪方法及系统 |
CN110443217A (zh) * | 2019-08-13 | 2019-11-12 | 深圳大学 | 一种基于多光谱的指纹防伪方法及系统 |
CN111339911A (zh) * | 2020-02-24 | 2020-06-26 | 浙江大华技术股份有限公司 | 一种手指特征识别装置 |
CN111368780A (zh) * | 2020-03-13 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种基于指纹和指静脉的联合识别处理方法及系统 |
CN111368780B (zh) * | 2020-03-13 | 2024-01-30 | 浙江大华技术股份有限公司 | 一种基于指纹和指静脉的联合识别处理方法及系统 |
CN111985442A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种基于多模态数据融合的活体检测识别方法 |
CN114120376A (zh) * | 2021-11-18 | 2022-03-01 | 黑龙江大学 | 一种多模态图像采集装置及系统 |
CN117333483A (zh) * | 2023-11-30 | 2024-01-02 | 中科慧远视觉技术(洛阳)有限公司 | 一种用于金属凹陷结构底部的缺陷检测方法及装置 |
CN117333483B (zh) * | 2023-11-30 | 2024-06-25 | 中科慧远视觉技术(洛阳)有限公司 | 一种用于金属凹陷结构底部的缺陷检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107423703B (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423703B (zh) | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 | |
CN107438854B (zh) | 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法 | |
US7327860B2 (en) | Conjunctival scans for personal identification | |
CN110326001B (zh) | 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法 | |
KR100826876B1 (ko) | 홍채 검출 방법 및 이를 위한 장치 | |
Rattani et al. | Robust multi-modal and multi-unit feature level fusion of face and iris biometrics | |
CN106778525A (zh) | 身份认证方法和装置 | |
KR101626837B1 (ko) | 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치 | |
JP2002507035A (ja) | 個人識別のために記録された画像の正当性を認証する方法 | |
CN113614731A (zh) | 使用软生物特征的认证验证 | |
JP5955031B2 (ja) | 顔画像認証装置 | |
KR102038576B1 (ko) | 홍채 인식 시스템의 부정행위 검출 방법 | |
Villariña et al. | Palm vein recognition system using directional coding and back-propagation neural network | |
KR101601187B1 (ko) | 손금 기반 사용자 인식 정보를 이용한 기기 컨트롤 장치 및 그 방법 | |
Blommé | Evaluation of biometric security systems against artificial fingers | |
Ramsoful et al. | Feature extraction techniques for dorsal hand vein pattern | |
Echizen et al. | Biometricjammer: method to prevent acquisition of biometric information by surreptitious photography on fingerprints | |
Ogane et al. | Biometric Jammer: Preventing surreptitious fingerprint photography without inconveniencing users | |
Rossan et al. | Impact of changing parameters when preprocessing dorsal hand vein pattern | |
Ives et al. | An Introduction to Biometrics | |
Rahman et al. | Retinal identification | |
WO2017116331A1 (en) | Stereo palm vein detection method and biometric identification system operating in compliance with said method | |
Nivas et al. | Real-time finger-vein recognition system | |
Prasad et al. | Robust Facial Biometric Authentication System Using Pupillary Light Reflex for Liveness Detection of Facial Images. | |
Preethi et al. | A IRIS Scanner Established Protected Credentials Expending LDA Techniques Created Voting Scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |