CN114581965A - 指静脉识别模型训练方法及识别方法、系统和终端 - Google Patents

指静脉识别模型训练方法及识别方法、系统和终端 Download PDF

Info

Publication number
CN114581965A
CN114581965A CN202210210553.4A CN202210210553A CN114581965A CN 114581965 A CN114581965 A CN 114581965A CN 202210210553 A CN202210210553 A CN 202210210553A CN 114581965 A CN114581965 A CN 114581965A
Authority
CN
China
Prior art keywords
finger vein
capsule
recognition model
vein recognition
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210210553.4A
Other languages
English (en)
Other versions
CN114581965B (zh
Inventor
鲁慧民
李玉鹏
赵程程
刘伟业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN202210210553.4A priority Critical patent/CN114581965B/zh
Publication of CN114581965A publication Critical patent/CN114581965A/zh
Application granted granted Critical
Publication of CN114581965B publication Critical patent/CN114581965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种指静脉识别模型训练方法及识别方法、系统和终端，指静脉识别模型训练方法包括：对原始的手指静脉图像进行ROI定位，得到每张指静脉图像的ROI；对指静脉数据集中所有指静脉图像样本进行处理，得到每张图像的ROI并进行保存；对处理后的指静脉数据集进行训练集和测试集的划分；对数据集中的指静脉图像进行分块处理，将分块后的指静脉图像拉平重组；对指静脉图像进行线性映射处理，将二维的指静脉图像处理为一维的向量；搭建模型的Transformer Encoder模块；搭建模型的胶囊网络模块；使用训练集和测试集对所述的融合视觉Transformer和胶囊神经网络模型进行训练，得到指静脉识别网络模型。

Description

指静脉识别模型训练方法及识别方法、系统和终端
技术领域
本发明属于图像处理与生物识别技术领域，尤其涉及一种指静脉识别模型训练方法及识别方法、系统和终端。
背景技术
随着社会经济的发展，互联网时代对身份认证提出了更高的要求。对身份进行辨认成为当前形势下不可或缺的技术之一，生物特征识别技术得到了迅猛发展。目前，人脸、虹膜、指纹等生物特征已成为人们进入万物世界的数字身份证。生物特征识别技术被定义为人类发展史上的一次信息革命，主要基于人本身的一些生理特征和行为特征进行身份辨认。生物特征识别赋予机器自动探测、捕获、分析、识别数字化生理或行为信号的高级智能，是一个典型而又复杂的模式识别问题，一直处于人工智能技术发展前沿。
手指静脉识别是一种新兴的红外生物识别技术。手指静脉识别技术是一种利用人体手指静脉图像对个人身份进行识别的生物特征识别技术，作为具有高防伪性的第二代生物识别技术备受瞩目。手指静脉识别技术分为穿透式成像以及反射式成像，目前主要采用穿透式成像。在通过指静脉识别来进行身份认证时，利用静脉血液中脱氧色素吸收特定近红外线的这一特性，通过近红外线照射手指，使手指静脉血管纹理在近红外线下显现出来，通过专用的近红外线相机来获取静脉分布图，使用指静脉识别算法对身份做出识别。
手指静脉识别技术作为一种天然的体内特征活体识别技术，伪造和篡改极为困难。相比其它生物识别技术，指静脉识别技术具有高度防伪、高度准确、特征稳定和使用方便的特点。因此，采用指静脉作为生物识别，在保证高安全性、高精度识别的前提下，有效解决了易伪造、易盗用、受环境影响等安全问题，在进行身份识别、保护用户信息安全等方面具有重要意义。
目前的指静脉识别算法主要是基于特征工程的方法，提取预处理后静脉图像中可辨别性特征，度量待比较图像特征与提取特征的相似度而实现识别。但是在进行指静脉识别时，受温度影响较大，在手指温度较低时，手指静脉血管会收缩变细，获取到的静脉信息变得稀少，会影响比对特征的提取；其次，周围强烈的环境(如太阳光)会对近红外图像造成不同程度的干扰，从而影响静脉识别的认证通过率。这些缺陷会影响传统特征提取算法的效果，会对指静脉识别性能产生负面影响。
基于深度学习框架的自学习特征在图像识别中取得巨大进步。与传统算法相比，深度学习的目标是学习特征，通过网络获取每一层的特征信息，从而解决人工提取特征点的问题。在深度框架理论约束下，经过对多层网络参数调整，建立起输入和输出节点之间的最佳非线性拟合网络，最终使经过深层网络映射的物体样本与样本标记之间的对应关系尽量逼近真实分布。
基于此原理，提出一种融合视觉Transformer和胶囊神经网络的指静脉识别方法，该模型具备编码指静脉图像中远距离依赖关系的能力，能够更好地理解静脉图像中的高层语义视觉信息和基本视觉要素之间的关系，提高指静脉图像分类的效果。
发明内容
为了解决上述问题，有必要提供一种指静脉识别模型训练方法及识别方法、系统和终端。
本发明第一方面提供一种融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，包括：
步骤1，对指静脉数据集中所有指静脉图像样本进行ROI定位，得到每张图像的ROI并进行保存；
步骤2，对处理后的指静脉数据集进行训练集和测试集划分；
步骤3，对指静脉数据集中的指静脉图像进行线性映射处理，以将二维的指静脉图像处理为一维的向量；
步骤4，搭建指静脉识别模型的Transformer Encoder模块，将步骤3得到的一维指静脉图像向量传入搭建完成的Transformer Encoder 模块，进行第一阶段的指静脉特征信息提取；
步骤5，搭建指静脉识别模型的胶囊网络模块，将经过步骤4处理得到的数据传入搭建完成的胶囊网络模块，进行第二阶段的指静脉特征信息提取；
步骤6，使用训练集和测试集对指静脉识别模型进行训练，得到训练好的指静脉识别模型。
本发明第二方面提供一种融合视觉Transformer和胶囊神经网络的指静脉识别方法，包括以下方法步骤：
将待识别指静脉图像进行ROI定位，得到每张指静脉图像的ROI；
将经过ROI定位处理的指静脉图像输入采用所述的融合视觉 Transformer和胶囊神经网络的指静脉识别模型训练方法训练好的指静脉识别模型，即可输出手指静脉识别结果。
本发明第三方面提供一种基于所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的系统，该系统包括：
模型训练模块，采用所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法进行模型训练，以获得指静脉识别模型；
指静脉识别模块，用于在将待识别指静脉图像输入训练好的指静脉识别模型后，输出手指静脉识别结果。
本发明第四方面提供一种终端，包括处理器、存储器以及存储在所述存储器中的融合视觉Transformer和胶囊神经网络的指静脉识别算法程序，所述融合视觉Transformer和胶囊神经网络的指静脉识别算法程序被所述处理器运行时，实现如权利要求6所述的融合视觉 Transformer和胶囊神经网络的指静脉识别方法的步骤。
本发明第五方面提供一种计算机可读存储介质，所述存储介质中存储至少一条指令，所述至少一条指令由处理器加载并执行如所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的步骤或所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的系统。
本发明相对现有技术，具有突出的实质性特点和显著性进步，具体来说：
1、本发明通过训练融合视觉Transformer和胶囊神经网络的指静脉图像分类模型，仅需要对输入的指静脉图像进行简单的ROI处理，无需设计复杂的特征提取算法，便可将指静脉图像输入网络模型进行分类，输出指静脉图像分类结果。
2、本发明采用基于深度学习的端到端的识别方法，将胶囊网络在处理底层视觉上的优势和Transformer在处理视觉要素和物体之间关系上的优势相结合，解决胶囊网络用于图像分类时缺乏编码图像中远距离依赖关系的能力和不能选择性地关注重要图像特征信息的问题，探索基于全局与局部注意力的指静脉识别模型，更好地获取手指静脉特征属性，从而实现高精度手指静脉识别。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明所述融合视觉Transformer和胶囊神经网络的指静脉图像分类模型总体框架图。
图2是本发明所述ROI处理结果效果图。
图3是本发明所述指静脉图像线性嵌入指静脉图像分类模型示意图。
图4是本发明所述Transformer Encoder模块结构图。
图5(a)是本发明所述初始胶囊模块示意图。
图5(b)是本发明动态路由算法的流程图。
图6是本发明所述模型实验等错误率效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步地详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节，以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
本实施实例提出一种融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，包括以下方法步骤：
步骤1，如图2所示，对指静脉数据集中所有指静脉图像样本进行ROI定位，得到每张图像的ROI并进行保存。
步骤2，对处理后的指静脉数据集进行训练集和测试集划分；通过训练集不断对网络进行迭代，直至网络收敛至最优识别结果，测试集用于评价最终网络模型的性能。
步骤3，对指静脉数据集中的指静脉图像进行线性映射处理，以将二维的指静脉图像处理为一维的向量；
如图3所示，对将二维的指静脉图像处理为一维的向量的方法包括对数据集中的指静脉图像进行分块处理后再进行线性映射处理，具体的：
步骤3.1，将二维的指静脉图像分块大小设置为(P,P)；
步骤3.2，对图像信息参数为(H,W,C)的指静脉进行分块，得到的分块个数为N；
步骤3.3，将分块后的指静脉图像进行数据拉平重组，使指静脉图像数据维度变换为(N,P2C)；
步骤3.4，将分块后的指静脉图像数据集线性映射为一维向量，由以下公式确定：
Figure BDA0003533065480000071
步骤4，如图4所示，搭建指静脉识别模型的Transformer Encoder 模块，将步骤3得到的一维指静脉图像向量传入搭建完成的 Transformer Encoder模块，进行第一阶段的指静脉特征信息提取；
具体的，对一维指静脉图像向量进行第一阶段的指静脉特征信息提取的方法包括：
步骤4.1，构建L层Transformer Encoder模块，包括多层注意力模块和全连接前馈神经网络；
步骤4.2，将步骤3得到的一维指静脉图像向量输入多层注意力模块，处理过程由以下公式进行：
[Q,K,V]＝[ZWQ,ZWK,MZ]
Figure BDA0003533065480000072
Figure BDA0003533065480000073
Figure BDA0003533065480000074
Figure BDA0003533065480000081
将所有的注意力头进行连接，通过可学习权值W的前馈层进行投射；
MultiHead(Q,K,V)＝Concat(Head1,…Headh)Wo
从而完成第一阶段的指静脉特征信息提取。
步骤5，如图5所示，搭建指静脉识别模型的胶囊网络模块，将经过步骤4处理得到的数据传入搭建完成的胶囊网络模块，进行第二阶段的指静脉特征信息提取；
具体的，对Transformer Encoder模块提取的指静脉特征信息进行第二阶段的指静脉特征信息提取的方法包括：
步骤5.1，如图5(a)所示，搭建初始胶囊模块，其中，卷积层的卷积核大小为9×9，通道数为256，步长为1；第二层由大小为9×9 的卷积核，通道数为256，步长为2的卷积操作得到；
步骤5.2，将步骤5.1得到的初始胶囊转化为8维胶囊，每个维度的胶囊为(32×6×6)；以此8维胶囊为基础搭建数字胶囊模块，每个数字胶囊为16维度；
步骤5.3，如图5(b)，在初始胶囊和数字胶囊之间使用动态路由算法进行迭代；
胶囊网络模块动态路由方法包括：
步骤5.3.1，对于胶囊的输入向量ui和输出向量vj应用转换矩阵 Wij，由以下公式进行：
Figure BDA0003533065480000082
步骤5.3.2，对预测向量
Figure BDA0003533065480000091
进行加权求和得加权求和结果sj，由以下公式进行：
Figure BDA0003533065480000092
步骤5.3.3，对加权求和结果sj应用Squash函数，以使输出向量vj被压缩至接近0的长度，长向量被压缩至接近1的长度，由以下公式进行：
Figure BDA0003533065480000093
步骤5.3.4，判断预测向量和输出向量之间的相似性，将预测向量
Figure BDA0003533065480000094
和Squash函数处理后的输出向量vj进行向量积操作，由以下公式进行：
Figure BDA0003533065480000095
步骤5.3.5，计算耦合系数cij，由以下公式进行：
Figure BDA0003533065480000096
步骤5.3.6，为了提高bij的精度，对步骤5.3.1至步骤5.3.5执行迭代4次，并输出迭代完成的结果，由以下公式进行：
Figure BDA0003533065480000097
步骤5.4，将迭代完成后的结果输入全连接层，通过Softmax激活函数进行处理，完成第二阶段的指静脉特征信息提取，输出手指静脉识别结果。
步骤6，使用训练集和测试集对指静脉识别模型进行训练，即可得到训练好的指静脉识别模型。
模型测试效果
本测试实例所用数据集分别为韩国全北国立大学指静脉数据集 (MMCBNU_6000)、马来西亚理工大学指静脉数据集(FV-USM)、中国山东大学指静脉数据集(SDUMLA)、中国香港理工大学指静脉数据集 (HKPU)。
将Transformer模块中Encoder的层数分别设置为1层和2层，多注意力头的数量分别设置为12个和24个，将胶囊网络模块中的路由迭代次数设置为3次和4次。通过实验得到不同参数情况下的模型实验效果，使用MMCBNU数据集测试时，模型的等错误率最低达到0.63％，识别准确率最高达到97.25％；使用SDUMLA数据集测试时，模型的等错误率最低达到1.13％，识别准确率最高达到94.97％；使用FV-USM数据集测试时，模型的等错误率最低达到0.28％，识别准确率最高达到98.68％；使用HKPU数据集测试时，模型的等错误率最低达到1.66％，识别准确率最高达到95.61％。图6是本发明所述模型实验的ROC曲线图。
实施例2
基于实施例1所述的方法，本实施例提出了一种融合视觉 Transformer和胶囊神经网络的指静脉识别方法，包括以下方法步骤：
将待识别指静脉图像进行ROI定位，得到每张指静脉图像的ROI；
将经过ROI定位处理的指静脉图像输入采用实施例1所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法训练好的指静脉识别模型，即可输出手指静脉识别结果。
实施例3
基于与实施例2所述的方法同样的发明构思，本实施例提出一种融合视觉Transformer和胶囊神经网络的指静脉识别方法的系统，该系统包括：
模型训练模块，采用实施例1所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法进行模型训练，以获得指静脉识别模型；
指静脉识别模块，用于在将待识别指静脉图像输入训练好的指静脉识别模型后，输出手指静脉识别结果。
实施例4
基于实施例2所述的方法，本实施例提出一种终端，包括处理器、存储器以及存储在所述存储器中的融合视觉Transformer和胶囊神经网络的指静脉识别算法程序，所述融合视觉Transformer和胶囊神经网络的指静脉识别算法程序被所述处理器运行时，实现如实施例2所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的步骤。
实施例5
基于实施例2所述的方法，本实施例提供了一种计算机可读存储介质，所述存储介质中存储至少一条指令，所述至少一条指令由处理器加载并执行如实施例2所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的步骤或实施例3所述的融合视觉Transformer 和胶囊神经网络的指静脉识别方法的系统。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，还可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块如果以软件功能单元的形式实现，并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令由相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，其特征在于，包括：
步骤1，对指静脉数据集中所有指静脉图像样本进行ROI定位，得到每张图像的ROI并进行保存；
步骤2，对处理后的指静脉数据集进行训练集和测试集划分；
步骤3，对指静脉数据集中的指静脉图像进行线性映射处理，以将二维的指静脉图像处理为一维的向量；
步骤4，搭建指静脉识别模型的Transformer Encoder模块，将步骤3得到的一维指静脉图像向量传入搭建完成的Transformer Encoder模块，进行第一阶段的指静脉特征信息提取；
步骤5，搭建指静脉识别模型的胶囊网络模块，将经过步骤4处理得到的数据传入搭建完成的胶囊网络模块，进行第二阶段的指静脉特征信息提取；
步骤6，使用训练集和测试集对指静脉识别模型进行训练，得到训练好的指静脉识别模型。
2.根据权利要求1所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，其特征在于，将二维的指静脉图像处理为一维的向量的方法包括：
将指静脉图像数据集进行分块处理，并将分块后的指静脉图像数据集拉平重组，使指静脉图像数据维度变换为(N,P2C)；
将分块后的指静脉图像数据集线性映射为一维向量，由以下公式确定：
Figure FDA0003533065470000011
3.根据权利要求2所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，其特征在于，对一维指静脉图像向量进行第一阶段的指静脉特征信息提取的方法包括：
构建L层Transformer Encoder模块，包括多层注意力模块和全连接前馈神经网络；
将一维指静脉图像向量输入多层注意力模块，处理过程由以下公式进行：
[Q,K,V]＝[ZWQ,ZWK,MZ]
Figure FDA0003533065470000021
Figure FDA0003533065470000022
Figure FDA0003533065470000023
Figure FDA0003533065470000024
将所有的注意力头进行连接，通过可学习权值W的前馈层进行投射：
MultiHead(Q,K,V)＝Concat(Head1,…Headh)WO
以完成第一阶段的指静脉特征信息提取。
4.根据权利要求3所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，其特征在于，对Transformer Encoder模块提取的指静脉特征信息进行第二阶段的指静脉特征信息提取的方法包括：
搭建初始胶囊模块，其中，卷积层的卷积核大小为9×9，通道数为256，步长为1；第二层由大小为9×9的卷积核，通道数为256，步长为2的卷积操作得到；将初始胶囊模块中的胶囊转化为8维初始胶囊，每个维度的初始胶囊为32×6×6；
搭建数字胶囊模块，每个数字胶囊为16维度；
在初始胶囊和数字胶囊之间使用动态路由算法进行迭代，以完成第二阶段的指静脉特征信息提取。
5.根据权利要求4所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法，其特征在于，所述动态路由算法包括：
对胶囊的输入向量ui和输出向量vj应用转换矩阵Wij获得预测向量
Figure FDA0003533065470000031
由以下公式进行：
Figure FDA0003533065470000032
对预测向量
Figure FDA0003533065470000033
进行加权求和得加权求和结果sj，由以下公式进行：
Figure FDA0003533065470000034
对加权求和结果sj应用Squash函数，以使输出向量vj被压缩至接近0的长度，长向量被压缩至接近1的长度，由以下公式进行：
Figure FDA0003533065470000035
将预测向量
Figure FDA0003533065470000036
和Squash函数处理后的输出向量vj进行向量积操作，以判断预测向量和输出向量之间的相似性，由以下公式进行：
Figure FDA0003533065470000037
计算耦合系数cij，由以下公式进行：
Figure FDA0003533065470000038
更新耦合系数cij，执行以上步骤，按照公式
Figure FDA0003533065470000039
进行4次迭代后，输出迭代完成的结果。
6.一种融合视觉Transformer和胶囊神经网络的指静脉识别方法，其特征在于，包括以下方法步骤：
将待识别指静脉图像进行ROI定位，得到每张指静脉图像的ROI；
将经过ROI定位处理的指静脉图像输入采用权利要求1-5任一项所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法训练好的指静脉识别模型，即可输出手指静脉识别结果。
7.一种基于权利要求6所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的系统，其特征在于，该系统包括：
模型训练模块，采用权利要求1-5任一项所述的融合视觉Transformer和胶囊神经网络的指静脉识别模型训练方法进行模型训练，以获得指静脉识别模型；
指静脉识别模块，用于在将待识别指静脉图像输入训练好的指静脉识别模型后，输出手指静脉识别结果。
8.一种终端，其特征在于：包括处理器、存储器以及存储在所述存储器中的融合视觉Transformer和胶囊神经网络的指静脉识别算法程序，所述融合视觉Transformer和胶囊神经网络的指静脉识别算法程序被所述处理器运行时，实现如权利要求6所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的步骤。
9.一种计算机可读存储介质，所述存储介质中存储至少一条指令，所述至少一条指令由处理器加载并执行如权利要求6所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的步骤或权利要求7所述的融合视觉Transformer和胶囊神经网络的指静脉识别方法的系统。
CN202210210553.4A 2022-03-04 2022-03-04 指静脉识别模型训练方法及识别方法、系统和终端 Active CN114581965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210210553.4A CN114581965B (zh) 2022-03-04 2022-03-04 指静脉识别模型训练方法及识别方法、系统和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210210553.4A CN114581965B (zh) 2022-03-04 2022-03-04 指静脉识别模型训练方法及识别方法、系统和终端

Publications (2)

Publication Number Publication Date
CN114581965A true CN114581965A (zh) 2022-06-03
CN114581965B CN114581965B (zh) 2024-05-14

Family

ID=81772604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210210553.4A Active CN114581965B (zh) 2022-03-04 2022-03-04 指静脉识别模型训练方法及识别方法、系统和终端

Country Status (1)

Country Link
CN (1) CN114581965B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质
CN117133059A (zh) * 2023-08-18 2023-11-28 北京科技大学 一种基于局部注意力机制的人脸活体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897957A (zh) * 2020-07-15 2020-11-06 四川大学 融入多尺度特征注意力的胶囊神经网络及文本分类方法
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039748A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN111897957A (zh) * 2020-07-15 2020-11-06 四川大学 融入多尺度特征注意力的胶囊神经网络及文本分类方法
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余成波;熊递恩;: "基于胶囊网络的指静脉识别研究", 电子技术应用, no. 10, 6 October 2018 (2018-10-06), pages 21 - 24 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385789A (zh) * 2023-04-07 2023-07-04 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质
CN116385789B (zh) * 2023-04-07 2024-01-23 北京百度网讯科技有限公司 图像处理方法、训练方法、装置、电子设备及存储介质
CN117133059A (zh) * 2023-08-18 2023-11-28 北京科技大学 一种基于局部注意力机制的人脸活体检测方法及装置
CN117133059B (zh) * 2023-08-18 2024-03-01 北京科技大学 一种基于局部注意力机制的人脸活体检测方法及装置

Also Published As

Publication number Publication date
CN114581965B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Xin et al. Multimodal feature-level fusion for biometrics identification system on IoMT platform
CN106529447B (zh) 一种小样本人脸识别方法
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN114581965B (zh) 指静脉识别模型训练方法及识别方法、系统和终端
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN113065576A (zh) 一种特征提取的方法以及装置
Parashar et al. Intra-class variations with deep learning-based gait analysis: A comprehensive survey of covariates and methods
CN114037838A (zh) 神经网络的训练方法、电子设备及计算机程序产品
CN114821682B (zh) 一种基于深度学习算法的多样本混合掌静脉识别方法
Lakshmi et al. Off-line signature verification using Neural Networks
CN115965864A (zh) 一种用于农作物病害识别的轻量级注意力机制网络
CN113822183B (zh) 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN110163339A (zh) 神经网络中网络表示生成、编码方法和装置
Ma Summary of Research on Application of Deep Learning in Image Recognition
Tang et al. A fast face recognition method based on fractal coding
CN115116120A (zh) 一种基于深度自编码器的人脸表情图像分析方法
CN114613016A (zh) 基于Xception网络改进的手势图像特征提取方法
Abidin et al. Wavelet based approach for facial expression recognition
Wang et al. A fixed-point rotation-based feature selection method for micro-expression recognition
Wang et al. Low Resolution Rate Face Recognition Based on Multi-scale CNN
CN111104868A (zh) 一种基于卷积神经网络特征的跨质量人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant