CN115439892A - 一种基于掌纹掌静脉多模态融合的身份识别方法 - Google Patents

一种基于掌纹掌静脉多模态融合的身份识别方法 Download PDF

Info

Publication number
CN115439892A
CN115439892A CN202211084284.8A CN202211084284A CN115439892A CN 115439892 A CN115439892 A CN 115439892A CN 202211084284 A CN202211084284 A CN 202211084284A CN 115439892 A CN115439892 A CN 115439892A
Authority
CN
China
Prior art keywords
palm
image
palm print
images
vein
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211084284.8A
Other languages
English (en)
Inventor
王军
徐家梦
潘在宇
袁海
韩淑雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202211084284.8A priority Critical patent/CN115439892A/zh
Publication of CN115439892A publication Critical patent/CN115439892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于掌纹掌静脉多模态融合的身份识别方法，涉及生物识别技术领域。具体包括以下步骤：对数据库中的手掌图像设置好配对标签，属于同一个人的手掌图像标签设置为1，不同则标签设置为0；构建初始掌纹和掌纹的单模态识别网络并训练；构建初始掌纹和掌静脉的跨模态识别网络并训练；通过训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络并训练。本发明创新性的提出了掌纹和掌纹的单模态识别与掌纹和掌静脉的跨模态识别相结合的混合式身份识别方法，这种方法能提升很大的准确度，使匹配更接近理想。

Description

一种基于掌纹掌静脉多模态融合的身份识别方法
技术领域
本发明属于生物特征识别的技术领域，具体涉及一种基于掌纹掌静脉多模态融合的身份识别方法。
背景技术
与传统身份识别方法相比，生物特征识别技术能够提供更为安全、可靠和快捷的身份鉴别和认证结果。当前的单一生物识别技术各有优缺点，掌纹的普遍性、稳定性比较高，特征信息丰富，但是掌纹的防伪性不是特别好，容易被非法获取和伪造，同时也很难进行活体验证。受环境、噪声和欺骗攻击等不利因素的影响，单一生物特征识别技术的安全性有待加强，识别精度还有待提高，其挑战在于：如何寻找一种低成本、高效、稳定和可靠性的生物特征识别技术，解决难题。
除了手掌的掌纹特征以外，还可以利用手掌的静脉特征来进行身份识别，静脉识别是用近红外光源对人体手掌进行照射，利用血液中血红素对近红外光具有较强的吸收特性，使得近红外光照射后的手掌图像会在皮下静脉处呈现较暗的纹路，利用该静脉特征可以进行身份识别。静脉识别的主要特点是非侵入式的图像采集，具有较强的隐蔽性和防伪性，同时还具有活体验证功能。掌纹和掌静脉两种生物特征都位于手掌，相关性高，可以同时采集，将各自具有独特优势的生物特征识别技术进行融合，从而获得单一生物特征识别技术没有的全面性，提高身份识别的精度。发明人发现生物特征融合识别技术存在一个劣势，当其中一个模态的特征信息出现泄露时，会使整体识别性能比单一生物特征识别技术的性能差，影响整体识别精度和可靠性。
发明内容
本发明的目的在于提供一种基于掌纹掌静脉多模态融合的身份识别方法，运用“取长补短，优势互补”的思想，克服单一生物特征识别技术在某一方面的不足，以及目前生物特征融合识别技术存在一些安全性、稳定性、可靠性上的问题。本发明在进行掌纹和掌纹匹配识别的同时也进行掌纹和掌静脉的跨模态匹配识别，这种混合式的身份识别能够提高识别的准确度和可靠性，有助于更全面有效地保障和提高系统的整体性能，提高整体识别效率，使得认证和识别过程更加精准、安全，从而满足不同应用场景的需求，能够更加深入应用到对安全性要求较高的行业领域中。
实现本发明目的的技术解决方案为：一种基于掌纹掌静脉多模态融合的身份识别方法，包括以下步骤：
步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1。
步骤2、对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0。
步骤3、对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0。
步骤4、构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态识别网络输出的预测值R1和与训练集中的掌纹图像和掌纹图像的配对标签 M1之间的差异，构建单模态损失函数Lunimodal，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络。
步骤5、构建初始掌纹和掌静脉的跨模态识别网络，利用初始掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数Lcrossmodal，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络。
步骤6、根据训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用初始整体识别网络输出的预测值R与训练集中的两张掌纹图像和一张掌静脉图像的配对标签M之间的差异，构建整体损失函数Ltotal，对初始整体识别网络进行训练，得到训练好的整体识别网络。
步骤7、计算训练好的整体识别网络在测试集上的识别准确度。
与现有技术相比，本发明的优点在于：
1)相比单一生物特征识别技术识别率较低、适用范围相对较窄的问题，本发明在单模态识别的基础上，创新性的提出了掌纹和掌静脉的跨模态识别，综合两种生物特征识别技术，掌纹和掌纹进行匹配识别的同时也进行掌纹和掌静脉的匹配识别，从而提高识别的范围、准确率和效率，提高整体系统的性能，满足不同应用场景的需求。
2)对于生物特征融合识别技术存在的一些缺点，如识别复杂，识别时间长，特征融合过程中，如果其中一个模态的特征信息出现泄露时，会使整体识别性能比单一生物特征识别技术的性能差，本发明创新性的提出了在掌纹和掌纹匹配识别的同时也进行掌纹和掌静脉的匹配识别的方法，不仅考虑了模态内的特征相关性，而且考虑了模态之间的特征相关性，能够提高识别效率和准确率，增强了系统的安全性，泛化能力和鲁棒性强。
3)本发明提出了一种混合式身份识别方法，将单模态损失函数Lunimodal，跨模态损失函数Lcrossmodal，整体损失函数Ltotal整合在统一的深度学习框架下，将训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络的预测结果经过一个与的投票机制，构建初始整体识别网络并训练，得到训练好的整体识别网络，训练好的掌纹和掌纹的单模态识别网络有时可能会出现识别错误，比如伪造掌纹就可能会识别成功，而训练好的掌纹和掌静脉的跨模态识别网络的加入会减少这种识别错误的次数，使训练好的整体识别网络的防伪度大大提高了，只要有一种训练好的识别网络的预测结果为0，最终都会使训练好的整体识别网络的预测结果为0，增加了训练好的整体识别网络的安全性，具有双重保障，使得认证和识别过程更加精准、安全，使其能够更加深入应用到对安全性要求较高的行业领域中。
附图说明
图1为一种基于掌纹掌静脉多模态融合的身份识别方法的流程图。
图2为训练初始掌纹和掌纹的单模态识别网络的框架图。
图3为训练初始掌纹和掌静脉的跨模态识别网络的框架图。
图4为训练初始整体识别网络的框架图。
图5为测试训练好的整体识别网络的框架图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图1～图5，本发明所述的一种基于掌纹掌静脉多模态融合的身份识别方法，包括以下步骤：
步骤1、采集n个人的手掌图像，200＜n＜500，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像10＜a＜40，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集的手掌图像数量比例为1:1，训练集X＝[xp 11,xp 12,xp 13…xp ij； xv 11,xv 12,xv 13…xv ij]，其中i表示人的编号，i＝1,2,3…n，j表示采集的手掌图像编号， j＝1,2,3…a，p表示采集的掌纹图像，v表示采集的掌静脉图像，xp ij是训练集中第i 个人的第j张掌纹图像，xv ij是训练集中第i个人的第j张掌静脉图像；测试集Y＝[yp 11, yp 12,yp 13…yp ij；yv 11,yv 12,yv 13…yv ij]，yp ij是测试集中第i个人的第j张掌纹图像，yv ij是测试集中第i个人的第j张掌静脉图像。
步骤2、对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0：
步骤2-1、对两张掌纹图像设置好配对标签M1，首先设置正样本图像的配对标签，从训练集中随机抽取同一个人的两张掌纹图像，标签设置为1，即
Figure BDA0003834831390000041
i表示人的编号，i＝1,2,3…n，r，d均表示抽取的第i个人的两张掌纹图像的编号，r＝1,2,3…a，d＝1,2,3…a，r≠d，
Figure BDA0003834831390000042
是随机抽取的第i个人的第r张掌纹图像，
Figure BDA0003834831390000043
是随机抽取的第i个人的第d张掌纹图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌纹图像，两张掌纹图像不属于同一类别，标签设置为0，即
Figure BDA0003834831390000044
i'表示人的编号，i'＝1,2,3…n，i≠i'，
Figure BDA0003834831390000045
是随机抽取的第i'个人的第d 张掌纹图像。
步骤2-2、对掌纹图像和掌静脉图像设置好配对标签M2，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像和一张掌静脉图像，标签设置为1，即
Figure BDA0003834831390000046
是随机抽取的第i个人的第d张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌静脉图像，两张手掌图像不属于同一类别，标签设置为0，即
Figure BDA0003834831390000051
是随机抽取的第i'个人的第d张掌静脉图像。
步骤2-3、对两张掌纹图像和一张掌静脉图像设置好配对标签M，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一个人即同一类别，标签设置为1，即
Figure BDA0003834831390000052
σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ＝1,2,3…a，μ＝1,2,3…a，γ＝1,2,3…a，σ≠μ，
Figure BDA0003834831390000053
是随机抽取的第i个人的σ张掌纹图像，
Figure BDA0003834831390000054
是随机抽取的第i个人的第μ张掌纹图像，
Figure BDA0003834831390000055
是随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取不属于同一个人的两张掌纹图像和一张掌静脉图像，标签设置为0，即
Figure BDA0003834831390000056
i”表示人的编号，i”＝1,2,3…n，i≠i'≠i”，
Figure BDA0003834831390000057
是随机抽取的第i'个人的第μ张掌纹图像，
Figure BDA0003834831390000058
是随机抽取的第i”个人的第γ张掌静脉图像。
步骤3、对两张掌纹图像和一张掌静脉图像设置好配对标签N，首先是正样本图像的配对标签，从测试集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一类别，标签设置为1，即
Figure BDA0003834831390000059
i表示人的编号，i＝1,2,3…n，σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ≠μ，
Figure BDA00038348313900000510
表示随机抽取的第i个人的第σ张掌纹图像，
Figure BDA00038348313900000511
表示随机抽取的第i个人的第μ张掌纹图像，
Figure BDA00038348313900000512
表示表示随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从测试集中随机抽取不属于同一个人的两张掌纹图像和一张掌静脉图像，标签设置为0，即
Figure BDA00038348313900000513
i'，i”表示人的编号，i'＝ 1,2,3…n，i”＝1,2,3…n，i≠i'≠i”，
Figure BDA00038348313900000514
是随机抽取的第i'个人的第μ张掌纹图像，
Figure BDA00038348313900000515
是随机抽取的第i”个人的第γ张掌静脉图像。
步骤4、构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态识别网络输出的预测值R1和与训练集中的掌纹图像和掌纹图像的配对标签 M1之间的差异，构建单模态损失函数Lunimodal，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络：
步骤4-1、构建初始掌纹和掌纹的单模态识别网络，所述初始掌纹和掌纹的单模态识别网络包括双分支的特征提取模块和特征判别模块，双分支的特征提取模块用于提取输入的手掌图像的特征信息，特征判别模块通过对比提取的特征信息之间的相似性，输出预测值。
步骤4-2、从训练集中随机抽取两张掌纹图像
Figure BDA0003834831390000061
输入到双分支的特征提取模块中，其中k1,k2∈[1,n]，l1,l2∈[1,a]，利用同一个卷积神经网络CNN对两张掌纹图像的特征信息进行提取，得到两个掌纹图像的特征向量h'p1、h'p2；
利用余弦相似度
Figure BDA0003834831390000062
来计算两个掌纹图像的特征信息之间的相似性，设置三元损失函数
Figure BDA0003834831390000063
其中i表示人的编号，i＝1,2,3…n，f代表负样本图像，z代表正样本图像，目的是希望由同一个人的两张掌纹图像计算出的余弦相似度Simz大于来自不同的人的两张掌纹图像计算出的余弦相似度Simf。
步骤4-3、将上述得到的Sim(h'p1，h'p2)输入特征判别模块中，经过全连接层 FC，再经过一个Sigmoid激活函数，得到初始掌纹和掌纹的单模态识别网络的预测结果R1，设置对比损失函数
Figure BDA0003834831390000064
初始掌纹和掌纹的单模态识别网络利用梯度下降的方法来学习，反向传播更新初始掌纹和掌纹的单模态识别网络中的参数，使单模态损失函数的值Lunimodal＝Lc1+ Lide1下降，当预测值越接近真实值即标签值时，Lunimodal的值也越接近0，网络接近稳定，我们训练的目的是希望初始掌纹和掌纹的单模态识别网络尽可能的预测出输入的两张掌纹图像是否属于同一个人的，即R1＝0、1，最后得到训练好的掌纹和掌纹的单模态识别网络，若输入的两张掌纹图像属于同一个人，输出结果为1，输入两张的掌纹图像不属于同一个人，输出结果为0。
步骤5、构建初始掌纹和掌静脉的跨模态识别网络，利用初始掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数Lcrossmodal，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络：
步骤5-1、构建初始掌纹和掌静脉的跨模态识别网络，所述初始掌纹和掌静脉的跨模态识别网络包括双分支的特征提取模块和特征判别模块，双分支的特征提取模块用于提取输入的手掌图像的特征信息，特征判别模块通过对比提取的特征信息之间的相似性，输出预测值。
步骤5-2、从训练集中随机抽取一张掌纹图像
Figure BDA0003834831390000071
和一张掌静脉图像
Figure BDA0003834831390000072
输入到双分支的特征提取模块，利用同一个卷积神经网络CNN对掌纹图像和掌静脉图像的特征信息进行提取，得到掌纹图像和掌静脉图像的特征向量hp、hv；
利用余弦相似度
Figure BDA0003834831390000073
来计算掌纹图像和掌静脉图像的特征信息之间的相似性，设置三元损失函数
Figure BDA0003834831390000074
其中i 表示人的编号，i＝1,2,3…n，f*代表负样本图像，z*代表正样本图像，目的是希望由同一个人的掌纹图像和掌静脉图像计算出的余弦相似度Simz*能大于来自不同的人的掌纹图像和掌静脉图像计算出的余弦相似度Simf*。
步骤5-3、将上述得到的Sim(hp，hv)输入特征判别模块中，经过全连接层FC，再经过一个Sigmoid激活函数,得到初始掌纹和掌静脉的跨模态识别网络的预测结果R2，设置对比损失函数
Figure BDA0003834831390000075
初始掌纹和掌静脉的跨模态识别网络利用梯度下降的方法来学习，反向传播更新初始掌纹和掌静脉的跨模态识别网络中的参数，使跨模态损失函数的值Lcrossmodal＝ Lc2+Lide2下降，当预测值越接近真实值即标签值时，Lcrossmodal的值也越接近0，网络接近稳定，我们训练的目的是希望初始掌纹和掌静脉的跨模态识别网络尽可能的预测出输入的掌纹图像和掌静脉图像是否属于同一个人的，即R1＝0、1，最后得到训练好的掌纹和掌静脉的跨模态识别网络，若输入的掌纹图像和掌静脉图像属于同一个人，输出结果为1，输入掌纹图像和掌静脉图像不属于同一个人，输出结果为0。
步骤6、根据训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用初始整体识别网络输出的预测值R与训练集中的两张掌纹图像和一张掌静脉图像的配对标签M之间的差异，构建整体损失函数Ltotal，对初始整体识别网络进行训练，得到训练好的整体识别网络：
步骤6-1、将初始掌纹和掌纹的单模态识别网络和初始掌纹和掌静脉的跨模态识别网络的预测结果进行一个与的投票机制，构建初始整体识别网络。
步骤6-2、从训练集中随机抽取两张掌纹图像和一张掌静脉图像，输入到初始整体识别网络中，得到一个预测结果R＝R1×R2，构建整体损失函数
Figure BDA0003834831390000081
计算初始整体识别网络输出的预测值与配对标签之间的差异，i表示人的编号，i＝1,2,3…n，λ1、λ2是平衡参数，对初始整体识别网络进行训练，利用梯度下降的方法来学习，反向传播更新初始整体识别网络中的参数，使整体损失函数的值下降，当预测值越接近真实值即标签值时，Ltotal的值也越接近0，网络接近稳定，最终得到训练好的整体识别网络，输入的三张手掌图像如果属于同一个人，输出预测结果为1，否则输出预测结果为0，最后得到训练好的整体识别网络。
步骤7、从测试集中随机抽取一张掌纹图像，再随机抽取一张掌纹图像和一张掌静脉图像，输入到训练好的整体识别网络中，判断输入的三张手掌图像是否属于同一个人，输出预测结果Rtest＝0、1，基于步骤3中两张掌纹图像和一张掌静脉图像的配对标签N，若输出预测结果Rtest与标签N相同，训练好的整体识别网络的预测结果正确，反之则不正确，累计预测正确的次数为m1，累计预测错误的次数为m2，最终训练好的整体识别网络在测试集上的识别准确度为
Figure BDA0003834831390000082

Claims (8)

1.一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，包括以下步骤：
步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1；
步骤2、对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0；
步骤3、对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0；
步骤4、构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态识别网络输出的预测值R1和与训练集中的掌纹图像和掌纹图像的配对标签M1之间的差异，构建单模态损失函数Lunimodal，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络；
步骤5、构建初始掌纹和掌静脉的跨模态识别网络，利用初始掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数Lcrossmodal，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络；
步骤6、根据训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用初始整体识别网络输出的预测值R与训练集中的两张掌纹图像和一张掌静脉图像的配对标签M之间的差异，构建整体损失函数Ltotal，对初始整体识别网络进行训练，得到训练好的整体识别网络；
步骤7、计算训练好的整体识别网络在测试集上的识别准确度。
2.根据权利要求1所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤1中，采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1，具体如下：
采集n个人的手掌图像，200<n<500，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像10<a<40，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集的手掌图像数量比例为1:1，训练集X＝[xp 11,xp 12,xp 13…xp ij；xv 11,xv 12,xv 13…xv ij]，其中i表示人的编号，i＝1,2,3…n，j表示采集的手掌图像编号，j＝1,2,3…a，p表示采集的掌纹图像，v表示采集的掌静脉图像，xp ij是训练集中第i个人的第j张掌纹图像，xv ij是训练集中第i个人的第j张掌静脉图像；测试集Y＝[yp 11,yp 12,yp 13…yp ij；yv 11,yv 12,yv 13…yv ij]，yp ij是测试集中第i个人的第j张掌纹图像，yv ij是测试集中第i个人的第j张掌静脉图像。
3.根据权利要求2所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤2中对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0，具体如下：
步骤2-1、对两张掌纹图像设置好配对标签M1，首先设置正样本图像的配对标签，从训练集中随机抽取同一个人的两张掌纹图像，标签设置为1，即
Figure FDA0003834831380000021
i表示人的编号，i＝1,2,3…n，r，d均表示抽取的第i个人的两张掌纹图像的编号，r＝1,2,3…a，d＝1,2,3…a，r≠d，
Figure FDA0003834831380000022
是随机抽取的第i个人的第r张掌纹图像，
Figure FDA0003834831380000023
是随机抽取的第i个人的第d张掌纹图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌纹图像，两张掌纹图像不属于同一类别，标签设置为0，即
Figure FDA0003834831380000024
i'表示人的编号，i'＝1,2,3…n，i≠i'，
Figure FDA0003834831380000025
是随机抽取的第i'个人的第d张掌纹图像；
步骤2-2、对掌纹图像和掌静脉图像设置好配对标签M2，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像和一张掌静脉图像，标签设置为1，即
Figure FDA0003834831380000026
Figure FDA0003834831380000027
是随机抽取的第i个人的第d张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌静脉图像，两张手掌图像不属于同一类别，标签设置为0，即
Figure FDA0003834831380000031
Figure FDA0003834831380000032
是随机抽取的第i'个人的第d张掌静脉图像；
步骤2-3、对两张掌纹图像和一张掌静脉图像设置好配对标签M，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一个人即同一类别，标签设置为1，即
Figure FDA0003834831380000033
其中σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ＝1,2,3…a，μ＝1,2,3…a，γ＝1,2,3…a，σ≠μ，
Figure FDA0003834831380000034
是随机抽取的第i个人的σ张掌纹图像，
Figure FDA0003834831380000035
是随机抽取的第i个人的第μ张掌纹图像，
Figure FDA0003834831380000036
是随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取不属于同一个人的两张掌纹图像和一张掌静脉图像，标签设置为0，即
Figure FDA0003834831380000037
i”表示人的编号，i”＝1,2,3…n，i≠i'≠i”，
Figure FDA0003834831380000038
是随机抽取的第i'个人的第μ张掌纹图像，
Figure FDA0003834831380000039
是随机抽取的第i”个人的第γ张掌静脉图像。
4.根据权利要求3所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤3中对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0，具体如下：
对两张掌纹图像和一张掌静脉图像设置好配对标签N，首先是正样本图像的配对标签，从测试集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一类别，标签设置为1，即
Figure FDA00038348313800000310
i表示人的编号，i＝1,2,3…n，σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ≠μ，
Figure FDA00038348313800000311
表示随机抽取的第i个人的第σ张掌纹图像，
Figure FDA00038348313800000312
表示随机抽取的第i个人的第μ张掌纹图像，
Figure FDA00038348313800000313
表示表示随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从测试集中随机抽取不属于同一个人的两张掌纹图像和一张掌静脉图像，标签设置为0，即
Figure FDA00038348313800000314
i'、i”均表示人的编号，i'＝1,2,3…n，i”＝1,2,3…n，i≠i'≠i”，
Figure FDA0003834831380000041
是随机抽取的第i'个人的第μ张掌纹图像，
Figure FDA0003834831380000042
是随机抽取的第i”个人的第γ张掌静脉图像。
5.根据权利要求4所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤4中构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态网络输出的预测值R1与训练集中的掌纹图像和掌纹图像的配对标签M1之间的差异，构建单模态损失函数Lunimodal，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络，具体如下：
步骤4-1、构建初始掌纹和掌纹的单模态识别网络，所述初始掌纹和掌纹的单模态识别网络包括双分支的特征提取模块和特征判别模块，双分支的特征提取模块用于提取输入的手掌图像的特征信息，特征判别模块通过对比提取的特征信息之间的相似性，输出预测值；
步骤4-2、从训练集中随机抽取两张掌纹图像
Figure FDA0003834831380000043
输入到双分支的特征提取模块中，其中k1,k2∈[1,n]，l1,l2∈[1,a]，利用同一个卷积神经网络CNN对两张掌纹图像的特征信息进行提取，得到两个掌纹图像的特征向量h'p1、h'p2；
利用余弦相似度
Figure FDA0003834831380000044
来计算两个掌纹图像的特征信息之间的相似性，设置三元损失函数
Figure FDA0003834831380000045
其中i表示人的编号，i＝1,2,3…n，f代表负样本图像，z代表正样本图像，目的是希望由同一个人的两张掌纹图像计算出的余弦相似度Simz大于来自不同的人的两张掌纹图像计算出的余弦相似度Simf；
步骤4-3、将上述得到的Sim(h'p1，h'p2)输入特征判别模块中，经过全连接层FC，再经过一个Sigmoid激活函数，得到初始掌纹和掌纹的单模态识别网络的预测结果R1，设置对比损失函数
Figure FDA0003834831380000046
初始掌纹和掌纹的单模态识别网络利用梯度下降的方法来学习，反向传播更新初始掌纹和掌纹的单模态识别网络中的参数，使单模态损失函数的值Lunimodal＝Lc1+Lide1下降，当预测值越接近真实值即标签值时，Lunimodal的值也越接近0，网络接近稳定，我们训练的目的是希望初始掌纹和掌纹的单模态识别网络尽可能的预测出输入的两张掌纹图像是否属于同一个人的，即R1＝0、1，最后得到训练好的掌纹和掌纹的单模态识别网络，若输入的两张掌纹图像属于同一个人，输出结果为1，输入两张的掌纹图像不属于同一个人，输出结果为0。
6.根据权利求5所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤5中，构建初始掌纹和掌静脉的跨模态识别网络，利用掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数Lcrossmodal，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络，具体如下：
步骤5-1、构建初始掌纹和掌静脉的跨模态识别网络，所述初始掌纹和掌静脉的跨模态识别网络包括双分支的特征提取模块和特征判别模块，双分支的特征提取模块用于提取输入的手掌图像的特征信息，特征判别模块通过对比提取的特征信息之间的相似性，输出预测值；
步骤5-2、从训练集中随机抽取一张掌纹图像
Figure FDA0003834831380000051
和一张掌静脉图像
Figure FDA0003834831380000052
输入到双分支的特征提取模块，利用同一个卷积神经网络CNN对掌纹图像和掌静脉图像的特征信息进行提取，得到掌纹图像和掌静脉图像的特征向量hp、hv；
利用余弦相似度
Figure FDA0003834831380000053
来计算掌纹图像和掌静脉图像的特征信息之间的相似性，设置三元损失函数
Figure FDA0003834831380000054
其中i表示人的编号，i＝1,2,3…n，f*代表负样本图像，z*代表正样本图像，目的是希望由同一个人的掌纹图像和掌静脉图像计算出的余弦相似度Simz*能大于来自不同的人的掌纹图像和掌静脉图像计算出的余弦相似度Simf*；
步骤5-3、将上述得到的Sim(hp，hv)输入特征判别模块中，经过全连接层FC，再经过一个Sigmoid激活函数，得到初始掌纹和掌静脉的跨模态识别网络的预测结果R2，设置对比损失函数
Figure FDA0003834831380000055
初始掌纹和掌静脉的跨模态识别网络利用梯度下降的方法来学习，反向传播更新初始掌纹和掌静脉的跨模态识别网络中的参数，使跨模态损失函数的值Lcrossmodal＝Lc2+Lide2下降，当预测值越接近真实值即标签值时，Lcorssmodal的值也越接近0，网络接近稳定，我们训练的目的是希望初始掌纹和掌静脉的跨模态识别网络尽可能的预测出输入的掌纹图像和掌静脉图像是否属于同一个人的，即R1＝0、1，最后得到训练好的掌纹和掌静脉的跨模态识别网络，若输入的掌纹图像和掌静脉图像属于同一个人，输出结果为1，输入掌纹图像和掌静脉图像不属于同一个人，输出结果为0。
7.根据权利要求6所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤6中通过训练好的掌纹和掌纹的单模态识别网络和训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用训练集中的两张掌纹图像和一张掌静脉图像的配对标签M与初始整体识别网络输出的预测值R之间的差异，构建整体损失函数，对初始整体识别网络进行训练，得到训练好的整体识别网络，具体如下：
步骤6-1、将初始掌纹和掌纹的单模态识别网络和初始掌纹和掌静脉的跨模态识别网络的预测结果进行一个与的投票机制，构建初始整体识别网络；
步骤6-2、从训练集中随机抽取两张掌纹图像和一张掌静脉图像，输入到初始整体识别网络中，得到一个预测结果R＝R1×R2，构建整体损失函数
Figure FDA0003834831380000061
计算初始整体识别网络输出的预测值与配对标签之间的差异，i表示人的编号，i＝1,2,3…n，λ1、λ2是平衡参数，对初始整体识别网络进行训练，利用梯度下降的方法来学习，反向传播更新初始整体识别网络中的参数，使整体损失函数的值下降，当预测值越接近真实值即标签值时，Ltotal的值也越接近0，网络接近稳定，最终得到训练好的整体识别网络，输入的三张手掌图像如果属于同一个人，输出预测结果为1，否则输出预测结果为0，最后得到训练好的整体识别网络。
8.根据权利要求7所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤7中对训练好的整体识别网络模型进行测试，计算训练好的整体识别网络在测试集上的识别准确度，具体如下：
从测试集中随机抽取一张掌纹图像，再随机抽取一张掌纹图像和一张掌静脉图像，输入到训练好的整体识别网络中，判断输入的三张手掌图像是否属于同一个人，输出预测结果Rtest＝0、1，基于步骤3中两张掌纹图像和一张掌静脉图像的配对标签N，若输出预测结果Rtest与标签N相同，训练好的整体识别网络的预测结果正确，反之则不正确，累计预测正确的次数为m1，累计预测错误的次数为m2，最终训练好的整体识别网络在测试集上的识别准确度为
Figure FDA0003834831380000071
CN202211084284.8A 2022-09-06 2022-09-06 一种基于掌纹掌静脉多模态融合的身份识别方法 Pending CN115439892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211084284.8A CN115439892A (zh) 2022-09-06 2022-09-06 一种基于掌纹掌静脉多模态融合的身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211084284.8A CN115439892A (zh) 2022-09-06 2022-09-06 一种基于掌纹掌静脉多模态融合的身份识别方法

Publications (1)

Publication Number Publication Date
CN115439892A true CN115439892A (zh) 2022-12-06

Family

ID=84247792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211084284.8A Pending CN115439892A (zh) 2022-09-06 2022-09-06 一种基于掌纹掌静脉多模态融合的身份识别方法

Country Status (1)

Country Link
CN (1) CN115439892A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN117523685A (zh) * 2023-11-15 2024-02-06 中国矿业大学 基于非对称对比融合的双模态生物特征识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363712A (zh) * 2023-03-21 2023-06-30 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN116363712B (zh) * 2023-03-21 2023-10-31 中国矿业大学 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN117523685A (zh) * 2023-11-15 2024-02-06 中国矿业大学 基于非对称对比融合的双模态生物特征识别方法及系统

Similar Documents

Publication Publication Date Title
CN115439892A (zh) 一种基于掌纹掌静脉多模态融合的身份识别方法
Nandakumar Multibiometric systems: Fusion strategies and template security
CN111401303B (zh) 一种身份与视角特征分离的跨视角步态识别方法
CN110969073B (zh) 一种基于特征融合与bp神经网络的人脸表情识别方法
CN111062021B (zh) 一种基于可穿戴设备进行身份认证的方法及装置
CN103246880B (zh) 基于多阶局部显著模式特征统计的人脸识别方法
CN107153811A (zh) 用于多模态生物特征识别的方法、装置及系统
CN109255219A (zh) 一种基于生物识别终端的温度感应解锁方法和系统
Stojanovic et al. A novel neural network based approach to latent overlapped fingerprints separation.
JP5812505B2 (ja) マルチモーダル情報に基づく人口学的分析方法及びシステム
CN115995121A (zh) 一种基于attention模块的多模态的生物识别方法
CN109145704A (zh) 一种基于人脸属性的人脸画像识别方法
Alsellami et al. The recent trends in biometric traits authentication based on internet of things (IoT)
CN111723595A (zh) 人员身份识别方法和系统
CN113192602A (zh) 一种用于学生心理健康检测的测试系统
Srinivas et al. Artificial intelligence based optimal biometric security system using palm veins
Monwar A Multimodal Biometric System Based on Rank Level Fusion
CN111400685B (zh) 一种采用竞争匹配的安全身份验证方法
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
Shende et al. Soft computing approach for feature extraction of palm biometric
Vasavi et al. An Image Pre-processing on Iris, Mouth and Palm print using Deep Learning for Biometric Recognition
Guerra-Casanova et al. A robustness verification system for mobile phone authentication based on gestures using Linear Discriminant Analysis
Beritelli et al. Performance Evaluation of Multimodal Biometric Systems based on Mathematical Models and Probabilistic Neural Networks.
Sagiroglu et al. Artificial neural network based automatic face parts prediction system from only fingerprints
Ozkaya et al. Intelligent face border generation system from fingerprints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination