CN116363712B - 一种基于模态信息度评估策略的掌纹掌静脉识别方法 - Google Patents

一种基于模态信息度评估策略的掌纹掌静脉识别方法 Download PDF

Info

Publication number
CN116363712B
CN116363712B CN202310277981.3A CN202310277981A CN116363712B CN 116363712 B CN116363712 B CN 116363712B CN 202310277981 A CN202310277981 A CN 202310277981A CN 116363712 B CN116363712 B CN 116363712B
Authority
CN
China
Prior art keywords
feature vector
classifier
palm
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310277981.3A
Other languages
English (en)
Other versions
CN116363712A (zh
Inventor
潘在宇
徐家梦
王军
康文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202310277981.3A priority Critical patent/CN116363712B/zh
Publication of CN116363712A publication Critical patent/CN116363712A/zh
Application granted granted Critical
Publication of CN116363712B publication Critical patent/CN116363712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Vascular Medicine (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于模态信息度评估策略的掌纹掌静脉识别方法，涉及生物识别技术领域。本发明创新性的提出了对每个样本的每个模态进行不确定性估计，自适应的动态融合，使模型能够在复杂多变场景下保证识别的可靠性和稳定性，从而可靠地融合多模态特征，实验结果表明，这种方法能够解决信息冗余和噪声影响等问题，提高识别的准确度和可靠性，能在模态质量动态变化时获得更加稳定的结果，使得认证和识别过程更加精准，使匹配更接近理想。

Description

一种基于模态信息度评估策略的掌纹掌静脉识别方法
技术领域
本发明属于生物特征识别的技术领域，具体涉及一种基于模态信息度评估策略的掌纹掌静脉识别方法。
背景技术
传统的生物特征融合识别技术存在一个劣势，对于多模态分类任务，传统的方法都是假设各模态质量和相关性是稳定的，但实际上，对于不同样本或在不同场景下，模态的质量和任务的相关程度往往具有动态性，比如同一个人采集的掌纹图像和掌静脉图像的质量不同，不同的人采集同一模态的图像质量也可能会不同，有的人采集掌静脉图像会很不清晰，而有的人采集的掌静脉图像可能会过曝光等等，针对不同样本或在不同场景下，模态的质量和任务的相关程度往往具有动态性，不利于算法的判别；其次，由于缺少有效的训练样本，特征提取器难以提取到更加鲁棒、有效的特征信息。考虑到多模态数据的动态性，需要使多模态智能系统可以做到可靠而且有证据地融合多模态信息，即“信而有征”，从而提高分类和预测的稳定性和可信性。
发明内容
本发明的目的在于提供一种基于模态信息度评估策略的掌纹掌静脉识别方法，运用“信而有征”的思想，克服目前生物特征融合识别技术存在一些安全性、稳定性、可靠性上的问题。本发明使用不确定性进行动态建模，进行有效的集成多模态数据信息，能在模态质量动态变化时获得更加稳定的分类结果，并对分类结果进行模态级溯，这种方法能够提高识别的准确度和可靠性，支持融合及决策的可靠性、稳定性，有助于更全面有效地保障和提高系统的整体性能，提高整体识别效率，使得认证和识别过程更加精准、安全，从而满足不同应用场景的需求。
实现本发明目的的技术解决方案为：一种基于模态信息度评估策略的掌纹掌静脉识别方法，包括以下步骤：
步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将图像数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1。
步骤2、构建第一特征提取网络E1和第二特征提取网络E2，分别对应提取掌纹图像的特征向量和掌静脉图像的特征向量。
步骤3、分别构建第一信息度评估网络f1和第二信息度评估网络f2，以分类器预测标签的最大概率作为权重与特征向量进行内积，内积得到的两个特征向量进行级联输入到全连接层中进行预测，进而得到整体网络模型。
步骤4、训练整体网络模型，通过学习使两个信息度评估网络预测的最大概率等于其对应的标签的概率，提高网络模型最终识别的准确度和稳定性，进而得到训练好的整体网络模型。
步骤5、利用测试集测试训练好的整体网络模型的准确度和等误率。
与现有技术相比，本发明的优点在于：
(1)本发明采用了一个模型来评估每个样本的不同模态的信息量，从而可靠地融合多模态特征。
(2)虽然SoftMax在分类中有效，经过Max函数得到的最大类的概率M1、M2，但是通常会导致过度自信，特别是对于错误的预测。因此，采用真实概率分布来获得更可靠的分类置信度。对于正确的样本经过SoftMax的概率分布相当于真实概率分布。然而，当分类错误时，真实概率分布比经过SoftMax的概率分布能更好地反映分类，因此利用真实概率来判断模态的动态信息量，有助于提高整体识别率，使认证和识别过程更加精准、安全。
附图说明
图1为本发明的一种基于模态信息度评估策略的掌纹掌静脉识别方法的流程图。
图2为整体网络模型的框架图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图1～图2，本发明所述的一种基于模态信息度评估策略的掌纹掌静脉识别方法，包括以下步骤：
步骤1、采集n个人的手掌图像，200<n<500，n也代表手掌图像的总类别数，即手掌图像属于的某个类别就是手掌图像的标签，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像2<a<15，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集的手掌图像数量比例为1:1。
步骤2、构建第一特征提取网络E1和第二特征提取网络E2，分别对应提取掌纹图像的特征向量和掌静脉图像的特征向量，具体如下：
在卷积神经网络VGG16的基础上，对VGG16网络进行调整，去掉最后一层分类器后，作为特征提取器，分别提取掌纹图像的特征向量p1和掌静脉图像的特征向量v1，经过CBAM注意力机制得到二次掌纹图像的特征向量p2和二次掌静脉图像的特征向量v2。
步骤3、分别构建第一信息度评估网络f1和第二信息度评估网络f2，以分类器预测标签的最大概率作为权重与特征向量进行内积，内积得到的两个特征向量进行级联输入到全连接层中进行预测，进而得到整体网络模型，具体如下：
步骤3-1、分别构建第一信息度评估网络f1和第二信息度评估网络f2，信息度评估网络主要是包括第一分类器g1、第二分类器g2、Sigmoid激活函数和Max函数。
步骤3-2、将步骤2中得到的二次掌纹图像的特征向量p2输入到第一分类器g1，再依次通过Sigmoid激活函数和Max函数后，得到第一分类器g1预测的最大概率w1，步骤2中得到的二次掌静脉图像的特征向量v2输入到第二分类器g2，再依次通过Sigmoid激活函数和Max函数后，得到第二分类器g2预测的最大概率w2。
步骤3-3、以w1作为权重与步骤2中得到的二次掌纹图像的特征向量p2进行加权得到三次掌纹图像的特征向量p3，w2作为权重与步骤2中得到的二次掌静脉图像的特征向量v2进行加权得到三次掌静脉图像的特征向量v3：
p3＝w1*p2,v3＝w2*v2 (1)
步骤3-4、将加权得到三次掌纹图像的特征向量p3和三次掌静脉图像的特征向量v3进行级联得到融合后的向量z：
z＝[p3，v3] (2)
其中是[.,.]级联操作。
步骤3-5、最终z输入到全连接层中得到预测结果y1，进而得到整体网络模型。
步骤4、训练整体网络模型，通过学习使分类器预测的最大概率等于其对应的标签的概率，提高网络模型最终识别的准确度和稳定性，进而得到训练好的整体网络模型，具体如下：
步骤4-1、构建第一损失函数L1和第二损失函数L2来逼近全连接层输出的最大概率和标签的概率：
Z1＝Y1·P(X1|Y1) (4)
Z2＝Y1·P(X2|Y2) (5)
F1＝Y1·M1 (6)
F2＝Y2·M2 (7)
L2＝LCLS1+LCLS2 (8)
其中Y1是掌纹图像的标签，Y2是掌静脉图像的标签，X1代表二次掌纹图像的特征向量p2，X2代表二次掌静脉图像的特征向量v2，P(X1|Y1)是二次掌纹图像的特征向量p2的真实概率分布，P(X2|Y2)是二次掌静脉图像的特征向量v2的真实概率分布，M1表示将步骤2中得到的二次掌纹图像的特征向量p2输入到第一分类器g1后再通过SoftMax激活函数后得到的预测概率分布，M2表示将步骤2中得到的二次掌静脉图像的特征向量v2输入到第二分类器g2后再通过SoftMax激活函数后得到的预测概率分布，m表示当前模态序号，LCLS1是M1和P(X1|Y1)的交叉熵损失函数，LCLS2是M2和P(X2|Y2)的交叉熵损失函数。
步骤4-2、构建最终损失函数L：
L＝λ*(L1+L2)+LCLS (9)
其中LCLS是向量z输入全连接层分类的交叉熵损失函数，λ是损失函数的平衡参数。
步骤5、利用测试集测试训练好的整体网络模型的准确度和等误率：算法的好坏需要恰当的评价量度去定性或定量分析，现有的大多数掌纹、掌静脉识别较少同时研究识别和验证两方面的工作，而本发明同时进行了识别和验证实验，在识别实验中，本发明利用正确识别率(Correct Recognition Rate，CRR)评价识别性能、在验证实验中利用等误率(Equal Error Rate，EER)作为模型性能的主要评价指标，对于验证来说一般会计算输入生物特征与目标生物特征之间的相似度，并设置阈值，当相似度低于阈值时，表明二者是同一类别，匹配成功，反之为不同类别，匹配失败：
其中，NFR代表错误接受的次数，NFA代表错误拒绝的次数，NGRA代表类内匹配次数，NGCA代表类间匹配次数，当FRR等于FAR时，此时的FRR与FAR的值被称为等错误率EER，在分类问题中，是在1：N的识别模式下在识别的样本总数中被正确识别样本数量所占的比例。从测试集中抽取一个人的一张掌纹图像和一张掌静脉图像，输入到训练好的整体识别网络中，最终全连接层对输入进行预测，累计预测正确的样本数为NTrue，累计预测错误的样本数为NFlace，在测试集上的正确识别准确度CRR为：
实施例1
本发明所述的种基于模态信息度评估策略的掌纹掌静脉识别方法，包括以下步骤：
步骤1、自制掌纹掌静脉数据库CUMT，选取290个志愿者的手掌作为样本，每个人每个模态采集10张图像，数据集中一共有290个类别，共计5800张图片。数据库中的所有图像都是在两个特定的时间段内采集的，间隔时间超过10天，每次采集5个掌纹、掌静脉图像样本。采集源图像之后根据坐标点进行裁剪，提取图像感兴趣的区域，实验中将数据集按照1：1的比例划分训练集和测试集，训练集中图像数量是2900张，测试集中图像数量是299张，其中类内匹配次数为2900次，类间匹配次数为1047625次。
步骤2、在卷积神经网络VGG16的基础上，对VGG16网络进行调整，去掉最后一层分类器后，作为特征提取器，分别提取掌纹图像的特征向量p1和掌静脉图像的特征向量v1，经过CBAM注意力机制得到二次掌纹图像的特征向量p2和二次掌静脉图像的特征向量v2。
步骤3、分别构建第一信息度评估网络f1和第二信息度评估网络f2，以分类器预测标签的最大概率作为权重与特征向量进行内积，内积得到的两个特征向量进行级联输入到全连接层中进行预测，进而得到整体网络模型：
步骤3-1、分别构建第一信息度评估网络f1和第二信息度评估网络f2，信息度评估网络主要是包括第一分类器g1、第二分类器g2、Sigmoid激活函数和Max函数；
步骤3-2、将步骤2中得到的二次掌纹图像的特征向量p2输入到第一分类器g1，再依次通过Sigmoid激活函数和Max函数后，得到第一分类器g1预测的最大概率w1，步骤2中得到的二次掌静脉图像的特征向量v2输入到第二分类器g2，再依次通过Sigmoid激活函数和Max函数后，得到第二分类器g2预测的最大概率w2；
步骤3-3、以w1作为权重与步骤2中得到的二次掌纹图像的特征向量p2进行加权得到三次掌纹图像的特征向量p3，w2作为权重与步骤2中得到的二次掌静脉图像的特征向量v2进行加权得到三次掌静脉图像的特征向量v3：
p3＝w1*p2,v3＝w2*v2 (1)
步骤3-4、将加权得到三次掌纹图像的特征向量p3和三次掌静脉图像的特征向量v3进行级联得到融合后的向量z：
z＝[p3，v3] (2)
其中是[.,.]级联操作。
步骤3-5、最终z输入到全连接层中得到预测结果y1，进而得到整体网络模型。
步骤4、训练整体网络模型，通过学习使分类器预测的最大概率等于其对应的标签的概率，提高网络模型最终分类的准确度和稳定性，进而得到训练好的整体网络模型：
步骤4-1、构建第一损失函数L1和第二损失函数L2来逼近全连接层输出的最大概率和标签的概率：
Z1＝Y1·P(X1|Y1) (4)
Z2＝Y1·P(X2|Y2) (5)
F1＝Y1·M1 (6)
F2＝Y2·M2 (7)
L2＝LCLS1+LCLS2 (8)
步骤4-2、构建最终损失函数L：
L＝λ*(L1+L2)+LCLS (9)
步骤5、本发明提出的方法在Nvidia 1050Ti GPU主机上采用Python编程语言和pytorch框架语言搭建网络框架进行相关实验，训练网络的学习率设置为1e-3，为了加快网络训练速度，优化策略选择Momentum，使用SGD优化算法，其冲量系数设置为,weight decay＝0.005，batch-size设置为4，实验中为了防止网络过拟合的问题，Dropout值设置为0.5，λ值设置为0.5。
表1消融实验结果
表2对比实验结果
为了尽可能多地测试掌纹掌静脉的真实情况，本发明中的实验没有使用平移、旋转或其他方法来扩展训练数据，来自同一手掌的两种模态作为同一类别，为了展示本发明算法的优越性能，不仅做了消融实验，还进行了基准算法与本发明算法的对比实验，消融实验结果如表1所示，对比实验结果如表2所示，实验结果可以看出，本发明算法不管是在识别率还是等误率都有很大的改善。

Claims (3)

1.一种基于模态信息度评估策略的掌纹掌静脉识别方法，其特征在于，包括以下步骤：
步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将图像数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1；
步骤2、构建第一特征提取网络E1和第二特征提取网络E2，分别对应提取掌纹图像的特征向量和掌静脉图像的特征向量，具体如下：
在卷积神经网络VGG16的基础上，对VGG16网络进行调整，去掉最后一层分类器后，作为特征提取器，分别提取掌纹图像的特征向量p1和掌静脉图像的特征向量v1，经过CBAM注意力机制对应得到二次掌纹图像的特征向量p2和二次掌静脉图像的特征向量v2；
步骤3、分别构建第一信息度评估网络f1和第二信息度评估网络f2，以分类器预测的最大概率作为权重与特征向量进行内积，内积得到的两个特征向量进行级联输入到全连接层中进行预测，进而得到整体网络模型，具体如下：
步骤3-1、分别构建第一信息度评估网络f1和第二信息度评估网络f2，信息度评估网络包括第一分类器g1和第二分类器g2；
步骤3-2、将得到的二次掌纹图像的特征向量p2输入到第一分类器g1，再依次通过Sigmoid激活函数和Max函数后，得到第一分类器g1预测的最大概率w1，同时将二次掌静脉图像的特征向量v2输入到第二分类器g2，再依次通过Sigmoid激活函数和Max函数后，得到第二分类器g2预测的最大概率w2；
步骤3-3、以w1作为权重与二次掌纹图像的特征向量p2进行加权得到三次掌纹图像的特征向量p3，w2作为权重与二次掌静脉图像的特征向量v2进行加权得到三次掌静脉图像的特征向量v3：
p3＝w1*p2,v3＝w2*v2 (1)
步骤3-4、将三次掌纹图像的特征向量p3和三次掌静脉图像的特征向量v3进行级联得到融合后的向量z：
z＝[p3，v3] (2)
其中[.,.]是级联操作；
步骤3-5、最终z输入到全连接层中得到预测结果y1，进而得到整体网络模型；
步骤4、训练整体网络模型，通过学习使分类器预测的最大概率等于其对应的标签的概率，提高网络模型最终识别的准确度和稳定性，进而得到训练好的整体网络模型，具体如下：
步骤4-1、构建第一损失函数L1和第二损失函数L2来逼近分类器的预测概率分布和真实概率分布：
Z1＝Y1·P(X1|Y1) (4)
Z2＝Y2·P(X2|Y2) (5)
F1＝Y1·M1 (6)
F2＝Y2·M2 (7)
L2＝LCLS1+LCLS2 (8)
其中Y1是掌纹图像的标签，Y2是掌静脉图像的标签，X1代表二次掌纹图像的特征向量p2，X2代表二次掌静脉图像的特征向量v2，P(X1|Y1)是二次掌纹图像的特征向量p2的真实概率分布，P(X2|Y2)是二次掌静脉图像的特征向量v2的真实概率分布，M1表示将二次掌纹图像的特征向量p2输入到第一分类器g1后再通过SoftMax激活函数后得到的预测概率分布，M2表示将二次掌静脉图像的特征向量v2输入到第二分类器g2后再通过SoftMax激活函数后得到的预测概率分布，m表示当前模态序号，LCLS1是M2和P(X1|Y1)的交叉熵损失函数，LCLS2是M2和P(X2|Y2)的交叉熵损失函数；
步骤4-2、构建最终损失函数L：
L＝λ*(L1+L2)+LCLS (9)
其中LCLS是向量z输入全连接层进行分类的交叉熵损失函数，λ是损失函数的平衡参数；步骤5、利用测试集测试训练好的整体网络模型的准确度和等误率。
2.根据权利要求1所述的一种基于模态信息度评估策略的掌纹掌静脉识别方法，其特征在于，步骤1中，200<n<500，2<a<15。
3.根据权利要求1所述的一种基于模态信息度评估策略的掌纹掌静脉识别方法，其特征在于，步骤5中，利用测试集测试训练好的整体网络模型的准确度和等误率，具体如下：
在识别过程中，利用正确识别率评价识别性能，在验证过程中利用等误率作为模型性能的主要评价指标，在验证过程中，计算输入生物特征与目标生物特征之间的相似度，并设置阈值，当相似度低于阈值时，表明二者是同一类别，匹配成功，反之为不同类别，匹配失败：
其中，NFR代表错误接受的次数，NFA代表错误拒绝的次数，NGRA代表类内匹配次数，NGCA代表类间匹配次数，当FRR等于FAR时，此时的FRR与FAR的值被称为等误率EER，在分类问题中，是在1：N的识别模式下在识别的样本总数中被正确识别样本数量所占的比例，从测试集中抽取一个人的一张掌纹图像和一张掌静脉图像，输入到训练好的整体识别网络中，最终全连接层对输入进行预测，累计预测正确的样本数为NTrue，累计预测错误的样本数为NFlace，在测试集上的正确识别准确度CRR为：
CN202310277981.3A 2023-03-21 2023-03-21 一种基于模态信息度评估策略的掌纹掌静脉识别方法 Active CN116363712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310277981.3A CN116363712B (zh) 2023-03-21 2023-03-21 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310277981.3A CN116363712B (zh) 2023-03-21 2023-03-21 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Publications (2)

Publication Number Publication Date
CN116363712A CN116363712A (zh) 2023-06-30
CN116363712B true CN116363712B (zh) 2023-10-31

Family

ID=86940123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310277981.3A Active CN116363712B (zh) 2023-03-21 2023-03-21 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Country Status (1)

Country Link
CN (1) CN116363712B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292443B (zh) * 2023-09-25 2024-06-07 杭州名光微电子科技有限公司 一种融合人脸和掌静脉的多模态识别系统及其方法
CN117523685B (zh) * 2023-11-15 2024-07-09 中国矿业大学 基于非对称对比融合的双模态生物特征识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200159A (zh) * 2020-12-01 2021-01-08 四川圣点世纪科技有限公司 一种基于改进残差网络的非接触式掌静脉识别方法
CN112241728A (zh) * 2020-10-30 2021-01-19 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
WO2021243926A1 (zh) * 2020-06-05 2021-12-09 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备
CN113792632A (zh) * 2021-09-02 2021-12-14 广州广电运通金融电子股份有限公司 基于多方合作的指静脉识别方法、系统和存储介质
CN113901940A (zh) * 2021-10-21 2022-01-07 华南理工大学 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统
CN114168769A (zh) * 2021-11-16 2022-03-11 西安理工大学 基于gat关系推理的视觉问答方法
CN114282539A (zh) * 2021-12-14 2022-04-05 重庆邮电大学 一种基于生物医学领域预训练模型的命名实体识别方法
CN114782772A (zh) * 2022-04-08 2022-07-22 河海大学 一种基于改进ssd算法的水上漂浮物检测识别方法
CN115439892A (zh) * 2022-09-06 2022-12-06 中国矿业大学 一种基于掌纹掌静脉多模态融合的身份识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197400A1 (en) * 2017-12-27 2019-06-27 Facebook, Inc. Topic classification using a jointly trained artificial neural network
CN110162783B (zh) * 2019-04-17 2024-10-18 腾讯科技（深圳）有限公司 用于语言处理的循环神经网络中隐状态的生成方法和装置
US20220301297A1 (en) * 2021-03-16 2022-09-22 9419-6979 Québec inc. System, method and apparatus for obtaining sensitive and specific predictions from deep neural networks

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021243926A1 (zh) * 2020-06-05 2021-12-09 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备
CN112241728A (zh) * 2020-10-30 2021-01-19 中国科学院合肥物质科学研究院 采用注意力机制学习上下文信息的实时车道线检测方法及系统
CN112200159A (zh) * 2020-12-01 2021-01-08 四川圣点世纪科技有限公司 一种基于改进残差网络的非接触式掌静脉识别方法
CN113792632A (zh) * 2021-09-02 2021-12-14 广州广电运通金融电子股份有限公司 基于多方合作的指静脉识别方法、系统和存储介质
WO2023029274A1 (zh) * 2021-09-02 2023-03-09 广州广电运通金融电子股份有限公司 基于多方合作的指静脉识别方法、系统和存储介质
CN113901940A (zh) * 2021-10-21 2022-01-07 华南理工大学 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统
CN114168769A (zh) * 2021-11-16 2022-03-11 西安理工大学 基于gat关系推理的视觉问答方法
CN114282539A (zh) * 2021-12-14 2022-04-05 重庆邮电大学 一种基于生物医学领域预训练模型的命名实体识别方法
CN114782772A (zh) * 2022-04-08 2022-07-22 河海大学 一种基于改进ssd算法的水上漂浮物检测识别方法
CN115439892A (zh) * 2022-09-06 2022-12-06 中国矿业大学 一种基于掌纹掌静脉多模态融合的身份识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multispectral Palm Print and Palm Vein Acquisition Platform and Recognition Method Based on Convolutional Neural Network;LEI WANG等;《The British Computer Society 2021》;第1-11页 *
抗温度变化的非停留式掌纹掌静脉识别方法研究;钟飞;《中国优秀硕士学位论文全文数据库信息科技辑》(第1期);第I138-2781页 *

Also Published As

Publication number Publication date
CN116363712A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
CN116363712B (zh) 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN108960073B (zh) 面向生物医学文献的跨模态图像模式识别方法
Senior A combination fingerprint classifier
US7447338B2 (en) Method and system for face detection using pattern classifier
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
CN109145817A (zh) 一种人脸活体检测识别方法
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN111797696B (zh) 一种现场自主学习的人脸识别系统和方法
CN110569823B (zh) 一种基于rnn的手语识别与骨架生成方法
CN103839033A (zh) 一种基于模糊规则的人脸识别方法
CN105930792A (zh) 一种基于视频局部特征字典的人体动作分类方法
CN113111968A (zh) 图像识别模型训练方法、装置、电子设备和可读存储介质
CN111401105B (zh) 一种视频表情识别方法、装置及设备
JP2002304626A (ja) データ分類装置および物体認識装置
CN113157678A (zh) 一种多源异构数据关联方法
Uehara et al. Visual question generation for class acquisition of unknown objects
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
CN117611932A (zh) 基于双重伪标签细化和样本重加权的图像分类方法及系统
CN112381047A (zh) 一种人脸表情图像的增强识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant