CN107423703B - 基于人脸、指纹和指静脉特征的多模态识别装置及方法 - Google Patents

基于人脸、指纹和指静脉特征的多模态识别装置及方法 Download PDF

Info

Publication number
CN107423703B
CN107423703B CN201710600706.5A CN201710600706A CN107423703B CN 107423703 B CN107423703 B CN 107423703B CN 201710600706 A CN201710600706 A CN 201710600706A CN 107423703 B CN107423703 B CN 107423703B
Authority
CN
China
Prior art keywords
image
fingerprint
face
finger vein
prosthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710600706.5A
Other languages
English (en)
Other versions
CN107423703A (zh
Inventor
刘治
孔令爽
刘奕
辛阳
朱洪亮
魏冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710600706.5A priority Critical patent/CN107423703B/zh
Publication of CN107423703A publication Critical patent/CN107423703A/zh
Application granted granted Critical
Publication of CN107423703B publication Critical patent/CN107423703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了基于人脸、指纹和指静脉特征的多模态识别装置及方法；基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动；待光源强度稳定后，第一相机处采集人脸的原始图像，第二相机处采集伸入手指静脉的手指原始图像，指纹模块采集指纹的原始图像；将判断得到的活体图像进行去噪和图像增强处理，判断所得到的人脸、指纹及指静脉图像是否均为活体；若其中图像有假体，则删除假体图像；分别提取判断得到的活体图像特征；将提取的特征在特征层进行融合得到新的特征；利用融合得到的新的特征对分类器进行训练；生成训练特征库，利用训练特征库对测试人员进行多模态的身份认证。解决单生物识别容易受到破坏及伪造与识别成功率低及不稳定问题。

Description

基于人脸、指纹和指静脉特征的多模态识别装置及方法
技术领域
本发明涉及基于人脸、指纹和指静脉特征的多模态识别装置及方法。
背景技术
生物特征识别是一种新的身份认证技术。在现实生活中，每个人都有与其他人不同的独一无二的生物特征。随着计算机技术的发展，人们可以提取自身的生物特征信息，比如人脸、指纹、指静脉、虹膜、声纹等。这种依靠人的身体特征进行身份识别的技术被称为生物特征识别技术。
仅使用单生物特征(单模态生物特征)对身份进行识别容易被伪造和欺骗，例如单一的指纹图片容易被伪造，易模仿与窃取，并且指纹识别最初被用在犯罪领域中使一些用户存在抵触心理，还有一部分用户的单一指纹(指静脉等)特征不能采集到有效清晰的图像，使单模态生物特征系统在实际应用中有了一定得局限性。而多模态生物特征系统提高了安全系数，降低识别系统被攻破的风险，更有适用性。
发明内容
本发明的目的就是为了解决上述问题，提供基于人脸、指纹和指静脉特征的多模态识别装置及方法，以解决单生物识别容易受到破坏及伪造与识别成功率低及不稳定等问题，提高认证系统的可靠性、稳定性和实用性。
为了实现上述目的，本发明采用如下技术方案：
基于人脸、指纹和指静脉特征的多模态识别装置，包括：壳体，壳体上设有手指伸入孔；
所述壳体内部，包括：光源模块、第一相机、第二相机、指纹采集模块、电源以及自动光源控制电路；所述电源分别与光源、第一相机、第二相机和指纹采集模块连接；所述光源模块与自动光源控制电路连接；
所述光源模块，包括若干个近红外光照射源，及覆盖在若干个近红外光照射源表面的毛玻璃散射板；所述近红外光照射源设置在壳体内手指伸入位置的上方；
所述第一相机设置在壳体的上方，第一相机的镜头设置朝壳体外面；
所述第二相机设置在壳体内手指伸入位置的下方，第二相机的镜头朝向近红外光照射源；所述第二相机上覆盖有红外滤光片；所述指纹采集模块设置在壳体内部。
所述壳体由黑色不透明亚克力板制成。
所述近红外光照射源为近红外发光二极管。
所述第二相机为近红外敏感相机。
所述自动光源控制电路，包括微处理器、信号处理电路和电源电路；所述微处理器与信号处理电路连接，所述信号处理电路与电源电路连接，所述电源电路与电源连接。
基于人脸、指纹和指静脉特征的多模态识别方法，包括以下步骤：
步骤S1：基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动；
将人脸对准第一相机，手指伸入装置壳体上的手指伸入孔内，手指顶端抵住指纹采集模块，启动多模态识别装置的近红外光照射源、第一相机及第二相机，自动光源控制电路调整近红外光照射源光照强度；
步骤S2：待光源强度稳定后，第一相机处采集人脸的原始图像，第二相机处采集伸入手指静脉的手指原始图像，指纹模块采集指纹的原始图像；
步骤S3：将步骤S2判断得到的活体图像进行去噪和图像增强处理，判断所得到的人脸、指纹及指静脉图像是否均为活体；若其中图像有假体，则删除假体图像；
步骤S4：分别提取步骤S3判断得到的活体图像特征；
步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征；
步骤S6：利用融合得到的新的特征对分类器进行训练；生成训练特征库，利用训练特征库对测试人员进行多模态的身份认证。
所述步骤S1包括：
步骤S11：将手指伸入装置壳体上的手指伸入孔内，打开多模态识别装置的近红外光照射源，形成均匀覆盖在手指上表面的近红外光；将手指顶端抵在指纹采集模块上；
将人脸对准第一相机，第一相机采集人脸图像；
步骤S12：启动第二相机，自动光源控制电路控制近红外光照射源，使近红外光照射源发出近红外光，第二相机对手指下表面进行拍摄得到手指静脉图像。
所述步骤S12的自动光源控制电路控制近红外光照射源的过程为：
步骤S121：第二相机采集一帧指静脉图像；
步骤S122：自动光源控制电路的微处理器将采集到的静脉图像设定范围的中心区域，对中心区域进行灰度值的统计，若中心区域内的灰度值平均值大于预先设定的灰度值阈值范围，则图像过亮，反之图像过暗；
步骤S123：微处理器根据步骤S122的判断结果，向控制电路模块发出相应的光源亮度调整信号，再转入步骤S122，直到手指经脉图像设定范围的中心区域的灰度值落在设定的阈值范围内，表示近红外光照射源发出的光源强度大小合适；此时第二相机对手指下表面进行拍摄得到满足需要的指静脉图像。
所述步骤S3中判断所得到的人脸、指纹及指静脉图像是否均为活体的过程为：
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数，将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与活体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为活体图像；提取活体图像的特征；
将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与假体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为假体图像；不提取此图像的特征。
活体数据库的建立过程：
步骤(301)：采集活体人脸图像、活体指纹图像和活体指静脉图像；
步骤(302)：提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数；
步骤(303)：通过活体人脸图像的DCT系数训练出活体人脸特征库；通过活体指纹图像的DCT系数训练出活体指纹特征库；通过活体指静脉图像的DCT系数训练出活体指静脉特征库；
步骤(304)：判断训练是否结束，若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库；若否，则返回步骤(301)。
假体数据库的建立过程:
步骤(311)：采集假体人脸图像、假体指纹图像和假体指静脉图像；
步骤(312)：提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数；
步骤(313)：通过假体人脸图像的DCT系数训练出假体人脸特征库；通过假体指纹图像的DCT系数训练出假体指纹特征库；通过假体指静脉图像的DCT系数训练出假体指静脉特征库；
步骤(314)：判断训练是否结束，若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库；若否，则返回步骤(311)。
判断所得到的人脸、指纹及指静脉图像是否均为活体，分为以下七种情况：
(1)活体人脸图像、活体指纹图像和活体指静脉图像；
(2)假体人脸图像、活体指纹图像和活体指静脉图像；
(3)活体人脸图像、假体指纹图像和活体指静脉图像；
(4)活体人脸图像、活体指纹图像和假体指静脉图像；
(5)假体人脸图像、假体指纹图像和活体指静脉图像；
(6)假体人脸图像、活体指纹图像和假体指静脉图像；
(7)活体人脸图像+活假体指纹图像和假体指静脉图像。
步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征，分为以下七种情况：
(1)人脸、指纹和指静脉特征融合得到的特征库；
(2)人脸、指纹特征融合得到的特征库；
(3)人脸、指静脉特征融合得到的特征库；
(4)指纹、指静脉特征融合得到的特征库；
(5)人脸特征训练得到的特征库；
(6)指纹特征训练得到的特征库；
(7)指静脉特征训练得到的特征库；
所述步骤S4中，提取特征的过程为：
提取人脸图像的PCA特征记为Featurerenlian；提取指纹图像的断点及分叉点特征记为Featurezhiwen；提取指静脉的细节点作为特征记为Featurejingmai；分别求取三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai。
所述步骤S5中，特征融合的过程为：
将FVrenlian、FVzhiwen和FVjingmai进行串联，得到新的特征向量，并计算新的特征向量的fisher vector，将新得到的fisher vector记为FVronghe。
所述步骤S6中，身份认证的过程为：
将FVronghe送入KNN分类器中进行训练，生成训练特征库，然后将待测试者的身份与训练特征库作对比进行认证。
本发明的有益效果为：
(1)本发明可同一时间采集人脸、指纹与手指静脉三种生物特征，采集设备简单，采集快速准确，认证过程简单、快速，非接触式采集用户较易接受，防伪造性强，具有高的可靠性、稳定性及实用性。
(2)本发明在整个系统中引入了活体检测算法，根据伪造图片与真实图片在细节清晰度上的差别，对活体和假体进行识别；对于伪造图片的特征信息予以筛除，以实现伪造图片对识别准确率的影响，提升特征匹配的准确性和鲁棒性。
(3)本发明中选用的对象是人脸、指纹和指静脉。这三者融合有以下几个优势：首先，指静脉不易伪造，指纹的用户接受度高，人脸更易采集，这三种生物特征具有互补性，因此系统稳定性较高；其次，指纹与指静脉同时含有丰富的脊状纹理，可以用相似的算法进行处理。通过这样对多生物模态进行结合，可以增加识别系统的安全性、可靠性和有效性。
附图说明
图1是多模态识别装置的成像设备内部结构图；
图2是活体数据库建立的具体流程图；
图3是假体特征库的建立；
图4是Fisher vector融合特征库建立的流程图；
图5是系统实现的流程图；
图6是本发明的电气连接关系图；
其中，1壳体，2红外滤光片，31第一相机，32第二相机，4近红外光照射源，5指纹模块，6控制电路模块，7手指伸入孔。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，一种基于人脸、指纹和指静脉信息的多模态识别装置，包括：壳体1，壳体1上设有手指伸入孔7；所述壳体1内部，包括光源模块，其中包括若干个近红外光照射源4，及覆盖在其表面的毛玻璃散射板；及设置在光源模块上方的第一相机31；及设置在近红外光源下方向对面上的第二相机32及控制电路模块6，所述第二相机32上覆盖有红外滤光片2，所述第一相机31和第二相机32均选择近红外敏感相机；及在手指伸入孔7对面的指纹采集模块5。
壳体1采用轻便不透光材料例如黑色亚克力板。
近红外光照射源4选用波段为805nm的近红外发光二极管，且发光二极管呈一排设置在伸入壳体内的手指上方，且近红外发光二极管光源与手指伸入孔7之间放置一个毛玻璃，光源通过毛玻璃散射，形成均匀覆盖在手指表面的红外光，避免光照不均匀使得反射过强影响手指静脉拍摄效果。
如图6所示，自动光源控制电路6包含依次连接的微处理器、信号处理电路和电源电路。
如图5所示，本装置的身份识别过程是：
步骤S1：装置的准备和启动工作
装置上电，由电源电路为整个设备提供电源；将人脸正面对准第一相机，手指伸入装置壳体上的手指伸入孔内，并将指腹部分按压在指纹采集模块表面，启动基于人脸、指纹和指静脉特征信息的多模态识别装置的近红外光照射源和第一相机与第二相机，自动光源控制电路调整近红外光照射源光照强度。
步骤S2：待光源强度稳定后，第一相机处采集人脸的原始图像，第二相机处采集伸入手指静脉的手指原始图像，指纹模块采集指纹的原始图像；
步骤S3：将步骤S2判断得到的活体图像进行去噪和图像增强处理，判断所得到的人脸、指纹及指静脉图像是否为活体；若其中图像有假体，则去除此图像；
步骤S4：分别提取步骤S3判断得到的活体图像特征；
步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征：
步骤S6：将步骤S5得到的新的特征输入到分类器中进行多模态的身份认证。
自动光源控制电路控制近红外光照射源的过程为：
步骤S121：第二相机采集一帧静脉图像；
步骤S122：自动光源控制电路的微处理器将采集到的静脉图像的中心区域，进行灰度值的统计，若该区域内的灰度值平均值大于预先设定的灰度值阈值范围，则图像过亮，反之图像过暗；
步骤S123：微处理器根据步骤S122的判断结果，向控制电路模块发出光源亮度调整信号，再转入步骤S122，直到手指范围的灰度值落在规定的阈值范围内，此时近红外光照射源发出的光源强度大小适当。
判断预处理后的人脸、指纹和指静脉图像是否为活体的过程为：
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数，分别对各自活体与假体的DCT系数进行训练，得到相应的活体数据库与假体数据库。具体流程如图2与图3。
如图2所示，活体数据库的建立过程:
步骤(301)：采集活体人脸图像、活体指纹图像和活体指静脉图像；
步骤(302)：提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数；
步骤(303)：通过活体人脸图像的DCT系数训练出活体人脸特征库；通过活体指纹图像的DCT系数训练出活体指纹特征库；通过活体指静脉图像的DCT系数训练出活体指静脉特征库；
步骤(304)：判断训练是否结束，若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库；若否，则返回步骤(301)。
如图3所示，假体数据库的建立过程:
步骤(311)：采集假体人脸图像、假体指纹图像和假体指静脉图像；
步骤(312)：提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数；
步骤(313)：通过假体人脸图像的DCT系数训练出假体人脸特征库；通过假体指纹图像的DCT系数训练出假体指纹特征库；通过假体指静脉图像的DCT系数训练出假体指静脉特征库；
步骤(314)：判断训练是否结束，若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库；若否，则返回步骤(311)。
并建立融合后的特征库，如图4，将其分类判断是否为活体特征。可分为以下七种情况：
(1)活体人脸+活体指纹+活体指静脉；
(2)假体人脸+活体指纹+活体指静脉；
(3)活体人脸+假体指纹+活体指静脉；
(4)活体人脸+活体指纹+假体指静脉；
(5)假体人脸+假体指纹+活体指静脉；
(6)假体人脸+活体指纹+假体指静脉；
(7)活体人脸+活假体指纹+假体指静脉。
提取的融合后的特征库分别为：
(1)人脸、指纹和指静脉特征融合得到的特征库；
(2)人脸、指纹特征融合得到的特征库；
(3)人脸、指静脉特征融合得到的特征库；
(4)指纹、指静脉特征融合得到的特征库；
(5)人脸特征训练得到的特征库；
(6)指纹特征训练得到的特征库；
(7)指静脉特征训练得到的特征库；
提取特征的过程为：
提取人脸图像的PCA特征记为Featurerenlian；提取指纹图像的断点及分叉点特征记为Featurezhiwen；提取指静脉的细节点作为特征记为Featurejingmai。分别求取得到三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai。
所述步骤S5中，特征融合的过程为：
将FVrenlian、FVzhiwen和FVjingmai进行串联，得到新的特征向量，并计算此向量的fisher vector，将新得到的fisher vector记为FVronghe。
身份认证的过程为：
将FVronghe送入KNN分类器中进行训练，生成训练特征库，然后将待测试的身份与特征库作对比进行认证。
至此活体检测与身份认证的步骤结束，本装置及方法实现了检测试图进入系统的用户三种生物特征是否为活体特征，一定程度避免了伪造图像对系统的攻击，增加了系统可靠性，用三种特征同时与预先登录被认证者的三种特征信息作对比，增加了准确性。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (2)

1.基于人脸、指纹和指静脉特征的多模态识别方法，其特征是，包括以下步骤：
步骤S1：基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动；
将人脸对准第一相机，手指伸入装置壳体上的手指伸入孔内，手指顶端抵住指纹采集模块，启动多模态识别装置的近红外光照射源、第一相机及第二相机，自动光源控制电路调整近红外光照射源光照强度；
所述步骤S1包括：
步骤S11：将手指伸入装置壳体上的手指伸入孔内，打开多模态识别装置的近红外光照射源，形成均匀覆盖在手指上表面的近红外光；将手指顶端抵在指纹采集模块上；
将人脸对准第一相机，第一相机采集人脸图像；
步骤S12：启动第二相机，自动光源控制电路控制近红外光照射源，使近红外光照射源发出近红外光，第二相机对手指下表面进行拍摄得到手指静脉图像；
所述步骤S12的自动光源控制电路控制近红外光照射源的过程为：
步骤S121：第二相机采集一帧指静脉图像；
步骤S122：自动光源控制电路的微处理器将采集到的静脉图像设定范围的中心区域，对中心区域进行灰度值的统计，若中心区域内的灰度值平均值大于预先设定的灰度值阈值范围，则图像过亮，反之图像过暗；
步骤S123：微处理器根据步骤S122的判断结果，向控制电路模块发出相应的光源亮度调整信号，再转入步骤S122，直到手指经脉图像设定范围的中心区域的灰度值落在设定的阈值范围内，表示近红外光照射源发出的光源强度大小合适；此时第二相机对手指下表面进行拍摄得到满足需要的指静脉图像；
步骤S2：待光源强度稳定后，第一相机处采集人脸的原始图像，第二相机处采集伸入手指静脉的手指原始图像，指纹模块采集指纹的原始图像；
步骤S3：将步骤S2判断得到的活体图像进行去噪和图像增强处理，判断所得到的人脸、指纹及指静脉图像是否均为活体；若其中图像有假体，则删除假体图像；
所述步骤S3中判断所得到的人脸、指纹及指静脉图像是否均为活体的过程为：
分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数，将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与活体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为活体图像；提取活体图像的特征；
活体数据库的建立过程：
步骤(301)：采集活体人脸图像、活体指纹图像和活体指静脉图像；
步骤(302)：提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数；
步骤(303)：通过活体人脸图像的DCT系数训练出活体人脸特征库；通过活体指纹图像的DCT系数训练出活体指纹特征库；通过活体指静脉图像的DCT系数训练出活体指静脉特征库；
步骤(304)：判断训练是否结束，若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库；若否，则返回步骤(301)；
将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与假体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为假体图像；不提取此图像的特征；
假体数据库的建立过程:
步骤(311)：采集假体人脸图像、假体指纹图像和假体指静脉图像；
步骤(312)：提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数；
步骤(313)：通过假体人脸图像的DCT系数训练出假体人脸特征库；通过假体指纹图像的DCT系数训练出假体指纹特征库；通过假体指静脉图像的DCT系数训练出假体指静脉特征库；
步骤(314)：判断训练是否结束，若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库；若否，则返回步骤(311)；
根据伪造图片与真实图片在细节清晰度上的差别，对活体和假体进行识别；
判断所得到的人脸、指纹及指静脉图像是否均为活体，分为以下七种情况：
(1)活体人脸图像、活体指纹图像和活体指静脉图像；
(2)假体人脸图像、活体指纹图像和活体指静脉图像；
(3)活体人脸图像、假体指纹图像和活体指静脉图像；
(4)活体人脸图像、活体指纹图像和假体指静脉图像；
(5)假体人脸图像、假体指纹图像和活体指静脉图像；
(6)假体人脸图像、活体指纹图像和假体指静脉图像；
(7)活体人脸图像+活假体指纹图像和假体指静脉图像；
步骤S4：分别提取步骤S3判断得到的活体图像特征；
所述步骤S4中，提取特征的过程为：
提取人脸图像的PCA特征记为Featurerenlian；提取指纹图像的断点及分叉点特征记为Featurezhiwen；提取指静脉的细节点作为特征记为Featurejingmai；分别求取三类特征的fisher vector分别记为FVrenlian、FVzhiwen和FVjingmai；
步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征；
步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征，分为以下七种情况：
(1)人脸、指纹和指静脉特征融合得到的特征库；
(2)人脸、指纹特征融合得到的特征库；
(3)人脸、指静脉特征融合得到的特征库；
(4)指纹、指静脉特征融合得到的特征库；
(5)人脸特征训练得到的特征库；
(6)指纹特征训练得到的特征库；
(7)指静脉特征训练得到的特征库；
所述步骤S5中，特征融合的过程为：
将FVrenlian、FVzhiwen和FVjingmai进行串联，得到新的特征向量，并计算新的特征向量的fisher vector，将新得到的fisher vector记为FVronghe；
步骤S6：利用融合得到的新的特征对分类器进行训练；生成训练特征库，利用训练特征库对测试人员进行多模态的身份认证；
身份认证的过程为：
将FVronghe送入KNN分类器中进行训练，生成训练特征库，然后将待测试者的身份与训练特征库作对比进行认证。
2.如权利要求1所述的基于人脸、指纹和指静脉特征的多模态识别方法所采用的基于人脸、指纹和指静脉特征的多模态识别装置，其特征是，还包括：壳体，壳体上设有手指伸入孔；
所述壳体内部，包括：光源模块、第一相机、第二相机、指纹采集模块、电源以及自动光源控制电路；所述电源分别与光源、第一相机、第二相机和指纹采集模块连接；所述光源模块与自动光源控制电路连接；
所述光源模块，包括若干个近红外光照射源，及覆盖在若干个近红外光照射源表面的毛玻璃散射板；所述近红外光照射源设置在壳体内手指伸入位置的上方；
所述第一相机设置在壳体的上方，第一相机的镜头设置朝壳体外面，第一相机采集人脸的原始图像；
所述第二相机设置在壳体内手指伸入位置的下方，第二相机的镜头朝向近红外光照射源；所述第二相机上覆盖有红外滤光片；所述指纹采集模块设置在壳体内部，将手指伸入装置壳体上的手指伸入孔内，手指顶端抵在指纹采集模块上。
CN201710600706.5A 2017-07-21 2017-07-21 基于人脸、指纹和指静脉特征的多模态识别装置及方法 Active CN107423703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600706.5A CN107423703B (zh) 2017-07-21 2017-07-21 基于人脸、指纹和指静脉特征的多模态识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600706.5A CN107423703B (zh) 2017-07-21 2017-07-21 基于人脸、指纹和指静脉特征的多模态识别装置及方法

Publications (2)

Publication Number Publication Date
CN107423703A CN107423703A (zh) 2017-12-01
CN107423703B true CN107423703B (zh) 2020-12-08

Family

ID=60430679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600706.5A Active CN107423703B (zh) 2017-07-21 2017-07-21 基于人脸、指纹和指静脉特征的多模态识别装置及方法

Country Status (1)

Country Link
CN (1) CN107423703B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764178A (zh) * 2018-05-31 2018-11-06 中国民航大学 一种手指三模态特征图像姿态同步采集装置及控制方法
CN110020617A (zh) * 2019-03-27 2019-07-16 五邑大学 一种基于生物特征的身份识别方法、装置和存储介质
CN109993142B (zh) * 2019-04-10 2023-09-12 黑龙江大学 基于指部多模态生物特征的二维码身份认证方法
CN110008931A (zh) * 2019-04-16 2019-07-12 上海应用技术大学 结合指纹与指静脉信息的混合识别方法
CN110443217B (zh) * 2019-08-13 2022-09-02 深圳大学 一种基于多光谱的指纹防伪方法及系统
CN111339911B (zh) * 2020-02-24 2023-07-04 浙江大华技术股份有限公司 一种手指特征识别装置
CN111368780B (zh) * 2020-03-13 2024-01-30 浙江大华技术股份有限公司 一种基于指纹和指静脉的联合识别处理方法及系统
CN111985442A (zh) * 2020-09-01 2020-11-24 安徽炬视科技有限公司 一种基于多模态数据融合的活体检测识别方法
CN114120376A (zh) * 2021-11-18 2022-03-01 黑龙江大学 一种多模态图像采集装置及系统
CN117333483A (zh) * 2023-11-30 2024-01-02 中科慧远视觉技术（洛阳）有限公司 一种用于金属凹陷结构底部的缺陷检测方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542258A (zh) * 2011-12-16 2012-07-04 天津理工大学 基于手指生物特征信息的成像设备及多模态身份识别方法
CN102622590A (zh) * 2012-03-13 2012-08-01 上海交通大学 基于人脸—指纹协同的身份识别方法
CN103077459A (zh) * 2012-12-18 2013-05-01 天津科技大学 一种融合用户多生物特征进行活体认证支付的方法
CN103886283A (zh) * 2014-03-03 2014-06-25 天津科技大学 用于移动用户的多生物特征图像信息融合方法及其应用
CN104778445A (zh) * 2015-03-17 2015-07-15 山东大学 基于手指静脉立体特征的活体识别装置及方法
CN105187726A (zh) * 2015-06-17 2015-12-23 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
CN105303661A (zh) * 2015-11-10 2016-02-03 成都智慧数联信息技术有限公司 基于指纹和指静脉识别的智慧社区系统及方法
CN105701462A (zh) * 2016-01-11 2016-06-22 成都布林特信息技术有限公司 一种身份识别方法
CN106104574A (zh) * 2016-02-25 2016-11-09 深圳市汇顶科技股份有限公司 指纹识别方法、装置和终端
CN106295555A (zh) * 2016-08-08 2017-01-04 深圳芯启航科技有限公司 一种活体指纹图像的检测方法
CN206147768U (zh) * 2016-08-09 2017-05-03 广州市贺氏办公设备有限公司 一种基于生物特征识别的一体考勤系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN106875191A (zh) * 2017-02-27 2017-06-20 努比亚技术有限公司 一种扫描支付处理方法、装置及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009054095A (ja) * 2007-08-29 2009-03-12 Casio Comput Co Ltd 血管画像読み取り装置および生体画像読み取り装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542258A (zh) * 2011-12-16 2012-07-04 天津理工大学 基于手指生物特征信息的成像设备及多模态身份识别方法
CN102622590A (zh) * 2012-03-13 2012-08-01 上海交通大学 基于人脸—指纹协同的身份识别方法
CN103077459A (zh) * 2012-12-18 2013-05-01 天津科技大学 一种融合用户多生物特征进行活体认证支付的方法
CN103886283A (zh) * 2014-03-03 2014-06-25 天津科技大学 用于移动用户的多生物特征图像信息融合方法及其应用
CN104778445A (zh) * 2015-03-17 2015-07-15 山东大学 基于手指静脉立体特征的活体识别装置及方法
CN105187726A (zh) * 2015-06-17 2015-12-23 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
CN105303661A (zh) * 2015-11-10 2016-02-03 成都智慧数联信息技术有限公司 基于指纹和指静脉识别的智慧社区系统及方法
CN105701462A (zh) * 2016-01-11 2016-06-22 成都布林特信息技术有限公司 一种身份识别方法
CN106104574A (zh) * 2016-02-25 2016-11-09 深圳市汇顶科技股份有限公司 指纹识别方法、装置和终端
CN106295555A (zh) * 2016-08-08 2017-01-04 深圳芯启航科技有限公司 一种活体指纹图像的检测方法
CN206147768U (zh) * 2016-08-09 2017-05-03 广州市贺氏办公设备有限公司 一种基于生物特征识别的一体考勤系统
CN106778607A (zh) * 2016-12-15 2017-05-31 国政通科技股份有限公司 一种基于人脸识别的人与身份证同一性认证装置及方法
CN106875191A (zh) * 2017-02-27 2017-06-20 努比亚技术有限公司 一种扫描支付处理方法、装置及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸活体检测关键技术研究;刘华成;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);正文第36-40页 *

Also Published As

Publication number Publication date
CN107423703A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107423703B (zh) 基于人脸、指纹和指静脉特征的多模态识别装置及方法
CN107438854B (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
US7327860B2 (en) Conjunctival scans for personal identification
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP2002507035A (ja) 個人識別のために記録された画像の正当性を認証する方法
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
CN113614731A (zh) 使用软生物特征的认证验证
US9946929B2 (en) Method of detecting boundaries of the human eye
Villariña et al. Palm vein recognition system using directional coding and back-propagation neural network
Blommé Evaluation of biometric security systems against artificial fingers
KR101336834B1 (ko) Ｕｓｂ 홍채 인식기
Echizen et al. BiometricJammer: method to prevent acquisition of biometric information by surreptitious photography on fingerprints
Sharma et al. Lip print recognition for security systems: an up-coming biometric solution
Galdi et al. Combining hardwaremetry and biometry for human authentication via smartphones
JP2002279413A (ja) 擬似指紋判別装置および指紋照合装置
Ogane et al. Biometric Jammer: Preventing surreptitious fingerprint photography without inconveniencing users
Singla et al. Challenges at different stages of an iris based biometric system.
Rahman et al. Retinal identification
Nivas et al. Real-time finger-vein recognition system
WO2017116331A1 (en) Stereo palm vein detection method and biometric identification system operating in compliance with said method
Giradkar et al. A survey paper on Various biometric security system methods
Preethi et al. A IRIS Scanner Established Protected Credentials Expending LDA Techniques Created Voting Scheme
Habib Iris Anti-Spoofing Using Image Quality Measures
Deepika et al. Adoption of Dual Iris and Periocular Recognition for Human Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant