CN114913610A - 一种基于指纹和指静脉的多模态识别方法 - Google Patents

一种基于指纹和指静脉的多模态识别方法 Download PDF

Info

Publication number
CN114913610A
CN114913610A CN202210671731.3A CN202210671731A CN114913610A CN 114913610 A CN114913610 A CN 114913610A CN 202210671731 A CN202210671731 A CN 202210671731A CN 114913610 A CN114913610 A CN 114913610A
Authority
CN
China
Prior art keywords
fingerprint
finger vein
layer
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210671731.3A
Other languages
English (en)
Inventor
郭剑
涂嘉翔
朱楂
姜依凡
陈若星
王书轩
张勤
韩崇
王娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210671731.3A priority Critical patent/CN114913610A/zh
Publication of CN114913610A publication Critical patent/CN114913610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于指纹和指静脉的多模态识别方法，将采集到的指纹、指静脉图片，分别作为网络的独立输入，用于特征提取和分析；分别从通道与空间的维度，通过注意力机制，分析指纹与对应的指静脉之间的相关性，融合指纹与指静脉特征；使用Softmax函数，确定最终的生物特征识别结果。本方法预处理操作简单，只需要提取指纹、指静脉的ROI即可，可以最大限度地保存图像中的细节特征，减少额外的计算机资源消耗；相比于现有使用单一生物模态的生物特征识别方法，本发明提出融合指纹、指静脉图像，可显著增加生物特征的判别性特征，通过挖掘不同生物特征之间的互补性信息，提高生物特征识别系统的准确率。

Description

一种基于指纹和指静脉的多模态识别方法
技术领域
本发明属于生物识别技术领域，具体涉及一种基于指纹和指静脉的多模态识别方法，旨在提高生物特征识别系统的准确率。
背景技术
传统的身份识别技术一般分为两种：一种是基于身份标识物的身份认证，例如钥匙、身份证等；另一种是基于身份标识知识的身份认证，例如密码、用户号码等。但它们都存在着易丢失、易遗忘的缺点。随着科学技术的发展，研究人员提出了基于人体生物特征的生物识别技术。在众多人体生物特征中，指纹是人体使用最广泛、历史最悠久的生物特征之一，也是目前商用市场份额最大的生物特征模态。指静脉识别则是近年来受到广泛关注的新兴技术。它纳入了体内特征，具有不易被盗取、活体成像、稳定性强的优势。在实际应用中发现，基于单一生物特征的生物识别系统，其性能易受噪声数据的影响，且单一的特征也容易遭到盗取和仿冒攻击。
指纹或指静脉识别技术通常可分为两类：一类基于传统的图像处理算法，另一类基于深度学习的相关算法。第一类算法一般通过描述图像像素与周围像素之间的关系，如梯度、位置信息等，以捕获类内对象的相关性，以及类间对象的不相关性，或通过增加识别对象与其他对象之间的距离来进行识别。这类方法主要有局部二值模式(Local BinaryPattern，LBP)、方向梯度直方图(Histogram OfOriented Gradient，HOG)、自适应半径局部二值模式(Adaptive Radius Local Binary Pattern，ADLBP)等。第二类算法一般通过卷积神经网络(Convolutional Neural Network，CNN)中的卷积操作，提取输入数据中的高维特征，然后根据特征对数据进行分类。CNN能够较好地契合生物特征的样本特点，因此在生物特征识别中的应用越来越广泛。
多模态生物特征的融合，根据融合阶段的不同则可分为三类。一类是像素级融合，这类方法在神经网络提取输入数据的初期，将多个模态之间的特征进行融合。另一类是特征级融合，这类方法在神经网络提取输入数据的过程中或结束时进行特征融合。最后一类是决策级融合，这类方法在神经网络提取特征做出决策后进行决策融合。像素级融合在特征融合时，各自特征并没有学习到足够的高级判别特征，识别性能相对较差。决策级融合是在各自特征做出决策后再进行融合，缺少了特征之间的交互，识别性能也一般。
发明内容
基于上述分析，本发明提出了一种基于指纹和指静脉的多模态识别方法，通过卷积神经网络提取特征后，采用特征级融合，并引入注意力机制(Attention Mechanism)以融合不同生物特征，提高生物特征识别系统的性能。首先，本发明将采集到的指纹、指静脉图片，分别作为网络的独立输入，用于特征提取和分析。其次，本发明分别从通道与空间的维度，通过注意力机制，分析指纹与对应的指静脉之间的相关性，融合指纹与指静脉特征。在此基础上，使用Softmax函数，确定最终的生物特征识别结果。
一种基于指纹和指静脉的多模态识别方法，其特征在于：所述方法包括如下步骤：
步骤1：获取指纹、指静脉图像数据；通过采集设备，记录被采集人的指纹、指静脉图像数据；
步骤2：将步骤1获得的所有数据，提取相对应的感兴趣区域ROI；
步骤3：构建网络模型，进行特征提取、融合与分类，使用步骤2获取的采集数据对模型进行训练，获得最佳的模型参数；网络模型主要包含两个分支网络和一个多特征融合模块；
步骤3.1：构建分支网络；第一分支网络用于提取指纹特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指纹ROI图像输入到网络中提取特征；第二分支网络用于提取指静脉特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指静脉ROI图像输入到网络中提取特征；
步骤3.2：构建多特征融合模块；该模块接受两个分支网络的输出，将其作为输入，再使用通道、空间注意力机制融合不同模态的特征并输出；
步骤3.3：使用采集到的指纹、指静脉图像数据对上述网络模型进行训练，获得最佳的模型参数；
步骤4：应用模型；向网络模型输入所需识别的指纹、指静脉图像，模型输出相应的识别结果。
进一步地，步骤1中，使用的采集设备为高清摄像头。
进一步地，步骤3.1中，第一分支网络包含5个卷积层，其中第一个卷积层包含1个7×7的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层，其余四个卷积层均包含1个3×3的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层。
进一步地，步骤3.1中，第二分支网络用于提取指静脉对应的特征信息矩阵，包含5个卷积层和1个自适应池化层，其中第一个卷积层包含1个7×7的卷积、1个归一化、1个激活函数、1个3×3的最大池化，其余四个卷积层均包含1个3×3的卷积、1个归一化、1个激活函数、1个3×3的最大池化。
进一步地，步骤3.1中，两个分支网络的输出的维度均为512×3×6，分别表示的是经CNN网络提取后的指纹、指静脉特征信息矩阵。
进一步地，步骤3.2中，多特征融合模块包含通道注意力模块、空间注意力模块和两个sigmoid层，其中通道注意力模块包含2个1×1的卷积层、1个激活函数层、1个自适应池化层，空间注意力模块包含2个7×7的卷积层、2个归一化层、1个激活函数层、1个sigmoid层。
进一步地，步骤3.2中，多特征融合模块中，首先将两个分支网络模块的输出作为输入，经过初始特征聚合IFI，获得矩阵Finitial，其计算公式如公式(1)所示：：
Figure BDA0003694899770000041
其中Ffp为指纹特征信息矩阵，Ffv为指静脉特征信息矩阵，
Figure BDA0003694899770000042
代表逐元素加；
将Finitial输入到通道注意力模块，得到矩阵Fc；将Fc输入sigmoid1之后，得到经通道注意力模块的指纹指静脉融合系数Fc_final和1-Fc_final；
将Fc输入到空间注意力模块，得到另一个矩阵Fs；将Fs输入sigmoid2之后，得到经空间注意力模块的指纹指静脉融合系数Fs_final和1-Fs_final；
经上述步骤后，根据式(2)计算出指纹、指静脉特征融合后的输出结果Output：
Figure BDA0003694899770000051
其中，
Figure BDA0003694899770000052
代表逐元素相乘，
Figure BDA0003694899770000053
代表逐元素相加。
进一步地，步骤3.3中，使用Adam优化器计算每个参数的自适应学习率，再通过测试集判定网络模型的识别性能，确定最优参数，保存最终训练所得的最优网络模型。
进一步地，步骤4中，网络模型依次包括两个分支网络、多特征融合模块、全连接层和Softmax分类器。
本发明的有益效果：
(1)预处理操作简单，只需要提取指纹、指静脉的ROI即可，可以最大限度地保存图像中的细节特征，减少额外的计算机资源消耗。
(2)相比于现有使用单一生物模态的生物特征识别方法，本发明提出融合指纹、指静脉图像，可显著增加生物特征的判别性特征，通过挖掘不同生物特征之间的互补性信息，提高生物特征识别系统的准确率。
附图说明
图1是本发明实施例中的基于指纹和指静脉的多模态识别方法的实施流程图。
图2是本发明实施例中的多模态识别网络的模型架构示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明提出的多模态识别方法，其流程如图1所示。本发明的具体实施步骤如下。
步骤1获取指纹、指静脉图像数据。通过采集设备，使用高清摄像头采集受测个体的指纹、指静脉信息。
步骤2对获取的原始指纹、指静脉图像数据进行ROI提取。对于每一张原始指纹、指静脉图像，人工手动定位并截取其ROI区域。
步骤3构建图2所示的多模态识别网络模型，进行特征提取、融合与分类。该网络模型基于卷积神经网络实现，主要包含三个部分：2个分支网络和1个多特征融合模块。
分支网络1用于提取指纹对应的特征信息矩阵，包含5个卷积层。其中第一个卷积层依次由1个7×7的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层构成。其余四个卷积层均依次由1个3×3的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层构成。步骤2获得的指纹ROI图像作为网络流的输入，经分支网络1后，输出指纹对应的特征信息矩阵。
分支网络2用于提取指静脉对应的特征信息矩阵，依次包含5个卷积层，1个自适应池化层。其中第一个卷积层依次由1个7×7的卷积、1个归一化、1个激活函数、1个3×3的最大池化构成。其余四个卷积层均依次由1个3×3的卷积、1个归一化、1个激活函数、1个3×3的最大池化构成。步骤2获得的指静脉ROI图像作为网络流的输入，经分支网络2后，输出指静脉对应的特征信息矩阵。
多特征融合模块接受2个分支网络的输出，每一个分支网络的输出维度为512(通道数)×3(高)×6(宽)，分别表示的是经CNN网络提取后的指纹、指静脉特征信息矩阵。在多特征融合模块中，首先将两个分支网络模块的输出作为输入，经过初始特征聚合(InitialFeature Integration，IFI)，获得矩阵Finitial。其计算公式如公式(1)所示：
Figure BDA0003694899770000071
其中Ffp为指纹特征信息矩阵，Ffv为指静脉特征信息矩阵，
Figure BDA0003694899770000072
代表逐元素加。
Finitial维度为512(通道数)×3(高)×6(宽)，然后依次经过通道注意力模块中的自适应池化层，第一个1×1的卷积层，激活函数层，第二个1×1的卷积层，得到一个维度为512(通道数)×3(高)×6(宽)的矩阵Fc_a。最后将Finitial与Fc_a逐元素相乘获得矩阵Fc。Fc的计算公式如公式(2)所示：
Figure BDA0003694899770000073
其中，
Figure BDA0003694899770000074
代表逐元素相乘。
sigmoid函数常被用作神经网络的激活函数，将变量映射到0，1之间。将Fc输入sigmoid1之后，得到经通道注意力模块的指纹指静脉融合系数Fc_final和1-Fc_final，分别对应图2中实线箭头和虚线箭头的输出。
Fc维度为512(通道数)×3(高)×6(宽)，然后依次经过空间注意力模块中的第一个7×7的卷积层，归一化层，激活函数层，第二个7×7的卷积层，sigmoid层，得到一个维度512(通道数)×3(高)×6(宽)的矩阵Fs_a。最后将Fc与Fs_a逐元素相乘获得另一个矩阵Fs。Fs的计算公式如公式(3)所示：
Figure BDA0003694899770000081
将Fs输入sigmoid2之后，得到经空间注意力模块的指纹指静脉融合系数Fs_final和1-Fs_final，分别对应图2中实线箭头和虚线箭头的输出。
经上述步骤后，根据式(4)计算出指纹、指静脉特征融合后的输出结果(Output)。
Figure BDA0003694899770000082
其中，
Figure BDA0003694899770000083
代表逐元素相乘，
Figure BDA0003694899770000084
代表逐元素相加。
将Output输入到全连接层，然后经过Softmax分类器得到最终分类结果。
使用步骤2经人工手动定位并截取的ROI数据对模型进行训练。在训练中，使用Adam优化器计算每个参数的自适应学习率，再通过测试集判定网络模型的识别性能，确定最优参数，保存最终训练所得的最优网络模型。
步骤4应用模型。向网络模型输入所需识别的指纹、指静脉图像，首先提取指纹、指静脉图像的ROI区域，然后将数据分别输入两个分支网络，经多特征融合模块和全连接层后，通过Softmax分类器获得分类结果。
本发明提出了一种基于指纹和指静脉的多模态识别方法。为验证其性能，在同一数据集上，将本方法与多种方法进行了对比试验。对比方法如下。
(1)使用LBP(Local Binary Pattern，局部二值模式)作为图像特征描述符，使用特征信息矩阵拼接作为多特征融合方法，使用最邻近规则分类(KNearestNeighbors，KNN)作为分类器。
(2)使用HOG(Histogram OfOriented Gradient，方向梯度直方图)作为图像特征描述符，使用特征信息矩阵拼接作为多特征融合方法，使用KNN作为分类器。
(3)使用ADLBP(Adaptive Radius Local Binary Pattern，自适应半径局部二值模式)作为图像特征描述符，使用特征信息矩阵拼接作为多特征融合方法，使用KNN作为分类器。
(4)基于深度学习的判别局部编码的卷积神经网络(Local Coding BasedConvolutional NeuralNetwork，LCCNN)(Li S,Zhang B,Zhao S,et al.Localdiscriminant coding based convolutional feature representation formultimodalfingerrecognition[J].Information Sciences,2021,547:1170-1181.)。
(5)注意力特征融合(Attentional Feature Fusion，AFF)(DaiY,Gieseke F,Oehmcke S,et al.Attentional feature fusion[C]//Proceedings ofthe IEEE/CVFWinter Conference onApplications ofComputerVision.2021:3560-3569.)。
实验结果如表1所示。由表1可知：相较于其他方法，本发明的方法具有更好的识别效果，识别准确率最高，达到95.41％。
表1不同多模态识别方法的准确率比较
算法 准确率(％)
LBP+拼接+KNN 87.94
HOG+拼接+KNN 82.11
ADLBP+拼接+KNN 89.91
LCCNN 84.17
AFF 87.18
本专利方法 95.41
综上所述，本发明提出方法能够通过挖掘不同生物特征之间的互补性信息，提高识别准确率。该方法是真实有效的。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (9)

1.一种基于指纹和指静脉的多模态识别方法，其特征在于：所述方法包括如下步骤：
步骤1：获取指纹、指静脉图像数据；通过采集设备，记录被采集人的指纹、指静脉图像数据；
步骤2：将步骤1获得的所有数据，提取相对应的感兴趣区域ROI；
步骤3：构建网络模型，进行特征提取、融合与分类，使用步骤2获取的采集数据对模型进行训练，获得最佳的模型参数；网络模型主要包含两个分支网络和一个多特征融合模块；
步骤3.1：构建分支网络；第一分支网络用于提取指纹特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指纹ROI图像输入到网络中提取特征；第二分支网络用于提取指静脉特征，包含多个卷积、池化、归一化、激活函数层；将步骤2提取的指静脉ROI图像输入到网络中提取特征；
步骤3.2：构建多特征融合模块；该模块接受两个分支网络的输出，将其作为输入，再使用通道、空间注意力机制融合不同模态的特征并输出；
步骤3.3：使用采集到的指纹、指静脉图像数据对上述网络模型进行训练，获得最佳的模型参数；
步骤4：应用模型；向网络模型输入所需识别的指纹、指静脉图像，模型输出相应的识别结果。
2.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤1中，使用的采集设备为高清摄像头。
3.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.1中，第一分支网络包含5个卷积层，其中第一个卷积层包含1个7×7的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层，其余四个卷积层均包含1个3×3的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层。
4.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.1中，第二分支网络用于提取指静脉对应的特征信息矩阵，包含5个卷积层和1个自适应池化层，其中第一个卷积层包含1个7×7的卷积、1个归一化、1个激活函数、1个3×3的最大池化，其余四个卷积层均包含1个3×3的卷积、1个归一化、1个激活函数、1个3×3的最大池化。
5.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.1中，两个分支网络的输出的维度均为512×3×6，分别表示的是经CNN网络提取后的指纹、指静脉特征信息矩阵。
6.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.2中，多特征融合模块包含通道注意力模块、空间注意力模块和两个sigmoid层，其中通道注意力模块包含2个1×1的卷积层、1个激活函数层、1个自适应池化层，空间注意力模块包含2个7×7的卷积层、2个归一化层、1个激活函数层、1个sigmoid层。
7.根据权利要求6所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.2中，多特征融合模块中，首先将两个分支网络模块的输出作为输入，经过初始特征聚合IFI，获得矩阵Finitial，其计算公式如公式(1)所示：：
Finitial＝Ffp⊕Ffv (1)
其中Ffp为指纹特征信息矩阵，Ffv为指静脉特征信息矩阵，⊕代表逐元素加；
将Finitial输入到通道注意力模块，得到矩阵Fc；将Fc输入sigmoid1之后，得到经通道注意力模块的指纹指静脉融合系数Fc_final和1-Fc_final；
将Fc输入到空间注意力模块，得到另一个矩阵Fs；将Fs输入sigmoid2之后，得到经空间注意力模块的指纹指静脉融合系数Fs_final和1-Fs_final；
经上述步骤后，根据式(2)计算出指纹、指静脉特征融合后的输出结果Output：
Figure FDA0003694899760000031
其中，
Figure FDA0003694899760000032
代表逐元素相乘，⊕代表逐元素相加。
8.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤3.3中，使用Adam优化器计算每个参数的自适应学习率，再通过测试集判定网络模型的识别性能，确定最优参数，保存最终训练所得的最优网络模型。
9.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法，其特征在于：步骤4中，网络模型依次包括两个分支网络、多特征融合模块、全连接层和Softmax分类器。
CN202210671731.3A 2022-06-15 2022-06-15 一种基于指纹和指静脉的多模态识别方法 Pending CN114913610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210671731.3A CN114913610A (zh) 2022-06-15 2022-06-15 一种基于指纹和指静脉的多模态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210671731.3A CN114913610A (zh) 2022-06-15 2022-06-15 一种基于指纹和指静脉的多模态识别方法

Publications (1)

Publication Number Publication Date
CN114913610A true CN114913610A (zh) 2022-08-16

Family

ID=82770163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210671731.3A Pending CN114913610A (zh) 2022-06-15 2022-06-15 一种基于指纹和指静脉的多模态识别方法

Country Status (1)

Country Link
CN (1) CN114913610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830686A (zh) * 2022-12-13 2023-03-21 云指智能科技(广州)有限公司 基于特征融合的生物识别方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法
CN113591629A (zh) * 2021-07-16 2021-11-02 深圳职业技术学院 一种手指三模态融合识别方法、系统、设备及存储介质
WO2021243926A1 (zh) * 2020-06-05 2021-12-09 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021243926A1 (zh) * 2020-06-05 2021-12-09 华南理工大学 指静脉识别与防伪一体化方法、装置、存储介质和设备
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法
CN113591629A (zh) * 2021-07-16 2021-11-02 深圳职业技术学院 一种手指三模态融合识别方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830686A (zh) * 2022-12-13 2023-03-21 云指智能科技(广州)有限公司 基于特征融合的生物识别方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
Park et al. Presentation attack detection using a tiny fully convolutional network
Kang et al. Attentional feature-pair relation networks for accurate face recognition
CN111738143B (zh) 一种基于期望最大化的行人重识别方法
CN112437926B (zh) 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
CN111340103B (zh) 一种基于图嵌入典型相关分析的特征层融合方法及其装置
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
Jalilian et al. Enhanced segmentation-CNN based finger-vein recognition by joint training with automatically generated and manual labels
Jayavadivel et al. Investigation on automated surveillance monitoring for human identification and recognition using face and iris biometric
CN106951819A (zh) 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法
CN115995121A (zh) 一种基于attention模块的多模态的生物识别方法
Kohlakala et al. Ear-based biometric authentication through the detection of prominent contours
Gona et al. Convolutional neural network with improved feature ranking for robust multi-modal biometric system
Bachay et al. Hybrid Deep Learning Model Based on Autoencoder and CNN for Palmprint Authentication.
CN114913610A (zh) 一种基于指纹和指静脉的多模态识别方法
Huang et al. Axially-enhanced local attention network for finger vein recognition
CN112241680A (zh) 基于静脉相似图像知识迁移网络的多模态身份认证方法
Guo et al. Finger multimodal feature fusion and recognition based on channel spatial attention
Zuobin et al. Effective feature fusion for pattern classification based on intra-class and extra-class discriminative correlation analysis
Bashar et al. Texture based vein biometrics for human identification: A comparative study
Safavipour et al. A hybrid approach for multimodal biometric recognition based on feature level fusion in reproducing kernel Hilbert space
Djawida et al. Face Detection and Recognition using Siamese Neural Network
Kuban et al. A NOVEL MODIFICATION OF SURF ALGORITHM FOR FINGERPRINT MATCHING.
Kohlakala et al. On automated ear-based authentication
Hariprasath et al. Bimodal biometric pattern recognition system based on fusion of iris and palmprint using multi-resolution approach
Alrikabi et al. Deep learning-based face detection and recognition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 210033 No.8 Yuanhua Road, Qixia District, Nanjing City, Jiangsu Province

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: 210003, 66 new model street, Gulou District, Jiangsu, Nanjing

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China