CN112733627A - 一种基于融合局部与全局特征网络的指静脉识别方法 - Google Patents

一种基于融合局部与全局特征网络的指静脉识别方法 Download PDF

Info

Publication number
CN112733627A
CN112733627A CN202011580283.3A CN202011580283A CN112733627A CN 112733627 A CN112733627 A CN 112733627A CN 202011580283 A CN202011580283 A CN 202011580283A CN 112733627 A CN112733627 A CN 112733627A
Authority
CN
China
Prior art keywords
local
features
global
finger vein
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011580283.3A
Other languages
English (en)
Other versions
CN112733627B (zh
Inventor
徐文贵
沈雷
何必锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011580283.3A priority Critical patent/CN112733627B/zh
Publication of CN112733627A publication Critical patent/CN112733627A/zh
Application granted granted Critical
Publication of CN112733627B publication Critical patent/CN112733627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于融合局部与全局特征网络的指静脉识别方法。本发明包括以下步骤：S1、构造训练数据集，采集若干个用户手指图像Ibasic，作为基础训练集，对基础训练集Ibasic进行扩充，经过归一化处理得到训练数据集Itrain；S2、设计基于融合局部与全局特征的指静脉特征提取网络；S3、设计网络损失函数；S4、训练整个模型，直至迭代训练整个训练集若干次；S5、将测试集图像输入训练好的模型中提取指静脉特征，采用欧式距离进行1∶1比对识别。本发明提取的指静脉特征对于放置手指姿态变化的鲁棒性更强，识别性能性能更高，充分说明了本发明的有效性，进一步提升了指静脉识别技术在现实环境下的应用性能。

Description

一种基于融合局部与全局特征网络的指静脉识别方法
技术领域
本发明属于生物特征识别和计算机视觉领域，特别涉及到一种基于融合局部与全局特征网络的指静脉识别方法。
背景技术
指静脉识别是一种新兴的生物识别技术，由于其特征存在于手指内部难以复制、安全性高且识别迅速等特性，使其在医疗、军工、教育、金融等安全领域的应用越来越广泛。在实际使用的过程，为了考虑用户体验，指静脉图像采集设备并非严格固定用户手指，用户在放置手指时难免会出现平移、旋转等姿态变化，导致采集到的同类手指静脉图像之间的差异性相对较大，这使得提取的同类指静脉特征相似度降低，影响指静脉识别技术在实际应用场景中的识别性能。因此，对于如何提高指静脉特征对手指姿态变化的鲁棒性的研究是至关重要的。
在指静脉识别领域，目前大多数还是传统的基于人工特征的方法，主要包括基于指静脉纹理以及基于指静脉纹理特征等方法，Miura等在指静脉图像中随机初始化一批点，随后通过重复线追踪获取整幅图像中的指静脉纹路，该方法可以较为准确地获取出指静脉纹路的骨架，但算法本身需要重复进行迭代，以至于较为耗时；Yang等首先使用八方向的Gabor滤波器获取指静脉图像中的纹路信息，随后使用重建算法融合并导出指静脉纹路图像；基于指静脉纹理特征的方法最为典型的方法为基于LBP的方法。这些人工特征通常对指静脉图像成像质量和手指放置姿态变化比较敏感，表征能力有限。
随着深度学习的兴起，神经网络也被广泛应用于识别领域。利用神经网络的强大学习能力来自动学习并获取紧凑的指静脉特征。戴庆华等提出基于siamese卷积神经网络的指静脉识别算法，该算法采用三元组损失函数定义目标函数来约束网络学习到更加具有区分力的指静脉特征。包晓安等提出基于改进残差网络的指静脉识别算法，该算法采用中心损失用于约束指静脉的类内距离，同时采用softmax loss用于约束类间距离，提高了指静脉特征的识别力。但以上方法提取的都是指静脉图像的全局特征，当手指放置出现平移、旋转等姿态变化时，同类指静脉图像之间的出现某些局部静脉差异较大，导致提取的全局特征相似度较低，而其他局部区域指静脉相似度较高，这些局部区域的静脉特征更加有利于识别。
因此，为了提高指静脉特征对于手指放置姿态变化的鲁棒性，本文提出了一种基于融合局部与全局特征网络的指静脉识别方法。
发明内容
本发明的目的在于解决经典Resnet50模型提取的全局指静脉特征对于手指放置姿态变化鲁棒性不佳的问题，提出一种基于融合局部与全局特征网络的指静脉识别方法。
本发明所采用的技术方案为：
一种基于融合局部与全局特征网络的指静脉识别方法，包括以下步骤：
S1、构造训练数据集，采集若干个用户手指图像Ibasic，作为基础训练集，对基础训练集Ibasic进行扩充，经过归一化处理得到训练数据集Itrain；
由于现实中很难采集到足够多包含各种姿态的指静脉图像，无法满足充分训练网络的需要。因此，针对基础训练集Ibasic，利用平移、平面旋转、放缩操作来扩充手指放置的不同姿态，以获取泛化性更强的特征提取模型；
S1-1:采集若干个用户手指图像Ibasic；
S1-2:利用平移、平面旋转、放缩操作对Ibasic进行手指姿态扩充，将扩充的图像经过归一化处理得到训练数据集Itrain。
S2、设计基于融合局部与全局特征的指静脉特征提取网络；
S2-1:基于改进残差模块的基础网络
基于改进残差模块的基础网络包含五层结构，如图3(a)所示，第一层由卷积核大小为5*5、步长为1的卷积层。第二到五层均由改进的BasicBlock模块组成，如图3(b)所示。相比于Bottleneck 模块，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征。每层的IR-BasicBlock模块个数依次为3、4、14、3，在每个IR-BasicBlock模块中引入了SENet (Squeeze-and-Excitation Networks)注意力机制模块，此时每个 IR-BasicBlock模块的结构包括两层卷积核大小为3*3卷积层以及 SENet，SENet能通过学习的方式来自动获取到每个特征通道的重要程度，从而提升有用特征的权重并抑制对当前任务贡献度不大的特征，使得网络能够更加准确的提取指静脉特征。在第五层结构中每个 IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；
第一层到第五层的激活函数均替换为Mish激活函数，相比于 ReLU激活函数，Mish激活函数是一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化能力，避免了ReLU激活函数使得一部分神经元彻底死亡的情况，其定义为：
f(x)＝x*tanh (ln(1+ex)) (1)
式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；
指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的 Feature Map,其大小为C*H*W，C、H、W分别为特征图的通道数、高以及宽；
S2-2:指静脉全局特征提取延伸网络，如图4所示；
由于全局平均池化层保留的指静脉信息更丰富，更合适作为全局特征向量。因此，将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为C*1*1，如下公式(2)：
Figure RE-GDA0002995181040000031
式中，F表示全局平均池化层得到输出向量；GAP(*)为全局平均池化层，Fglobal为最终提取的指静脉全局特征向量
S2-3:指静脉局部特征提取延伸网络，如图4所示；
以Feature Map分为四块为例。首先将Feature Map从竖直方向分割成四个区域分别为M1,M2,M3,M4,其大小均为C*H*W/4，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：
pi＝GMP(Mi),i＝1,2,3,4 (3)
式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为C*1*1。
仅提取各个局部区域对应的局部特征向量来进行识别，会导致具有相似局部静脉的不同类指静脉图像之间出现误识。因此，在提取某一局部区域对应的局部特征向量的同时，应当融合其他局部区域的静脉信息，使得具有相似局部静脉的不同类指静脉图像的局部特征向量也具有良好的区分度。
以提取M1对应的局部特征向量q1为例：首先通过1*1卷积对p1进行降维得到
Figure RE-GDA0002995181040000041
其维度大小为C/2*1*1，减小特征向量大小的同时减少模型参数量，防止过拟合；其次计算p2、p3、p4的均值向量并通过1*1卷积进行降维，得到融合了M2、M3、M4局部区域静脉信息的特征向量
Figure RE-GDA0002995181040000042
其维度大小为C/2*1*1，公式如下：
Figure RE-GDA0002995181040000043
式中，Conv1*1表示卷积核大小为1*1的卷积层，avg(*)表示均值函数。
然后将
Figure RE-GDA0002995181040000044
与
Figure RE-GDA0002995181040000045
通过通道级联进行拼接，并通过1*1卷积层进行融合，得到当前局部区域特征与其他局部特征之间的关系特征向量
Figure RE-GDA0002995181040000046
其维度大小为C/2*1*1，公式如下：
Figure RE-GDA0002995181040000047
式中，Conv1*1表示卷积核大小为1*1的卷积层，concatenate(*)表示维度拼接。
最后将该关系特征向量
Figure RE-GDA0002995181040000048
与
Figure RE-GDA0002995181040000049
相加，得到M1对应的最终局部特征q1，如公式(6)。此时，局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1与M2,M3,M4之间的关系，避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力。
Figure RE-GDA00029951810400000410
此时，局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1 与M2,M3,M4之间的全局联系。即使当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，由于对应局部特征向量也包含了其他局部区域的静脉特征，使得对应局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力。
局部区域M2,M3,M4对应的局部特征向量q2，q3，q4提取过程如上，故不再赘述。将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q4，如公式(7)：
Q4＝concatenate(q1，q2，q3，q4) (7)
为了提高局部特征的鲁棒性，同时提取6分块，4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Qlocal，公式如下：
Figure RE-GDA0002995181040000051
S3、设计网络损失函数；
通过Softmax Loss来指导网络学习，能够使得提取的指静脉特征具有良好的类间距离，即不同类别的指静脉特征具有较高的可分性，但同时类内距离也很大。因此，特征的区分力不足，无法直接用欧氏距离进行识别。ArcFace Loss损失函数是Softmax Loss损失函数改进版，其通过在角度空间减小特征的类内距离来最大化分类边界，使得网络学习到的指静脉特征不仅具有较大的类间距离，同时还具有较小的类内距离，从而提高模型的泛化能力。
ArcFace loss的定义如下：
Figure RE-GDA0002995181040000052
式中，m为训练集中一个批次图像的数量，n为训练集中用户的类别数，yi表示当前批次中第i张图像的类别，s为缩放系数，θj为类别j的参数，η为设置的间隔大小。
S4、训练整个模型，如图5，直至迭代训练整个训练集若干次；
S5、将测试集图像输入训练好的模型中提取指静脉特征，采用欧式距离进行1：1比对识别。
本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。将测试集指静脉特征全局特征与局部特征进行分别进行1：1不同类比对，获取全局特征阈值T1和局部特征阈值T2，同理测试集指静脉特征全局特征与局部特征进行分别进行1：1同类比对，当全局特征比对结果和局部特征比对结果有一个小于对应阈值，即视为比对成功，反之，则比对失败。
本发明有益效果如下：
本发明提出一种基于融合局部与全局特征网络的指静脉识别方法，首先针对用户实际放置手指时可能出现的平移、旋转等姿态，利用图像平移、旋转、以及放缩来扩充指静脉图像的各种姿态，形成训练集，以获取泛化性更强的特征提取模型，解决了现实采集指静脉图像样本姿态少的训练集所获取的模型泛化性弱的问题；其次，提出基于融合局部与全局特征的指静脉特征，当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，同类指静脉图像的全局特征差异较大，导致识别性能下降，而本发明方法提取的局部特征向量不仅包含了其对应局部区域的静脉特征，也包含了其他局部区域的静脉特征，使得出现差异的局部区域对应的局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力，解决了全局特征对于手指放置姿态变化鲁棒性不佳的问题。基于融合局部与全局特征网络的指静脉识别方法较经典的基于Resnet50网络以及SE-Resnet50网络提取的指静脉全局特征，本发明方法提取的指静脉特征对于放置手指姿态变化的鲁棒性更强，识别性能性能更高，充分说明了本发明提出的基于融合局部与全局特征网络的指静脉识别方法的有效性，进一步提升了指静脉识别技术在现实环境下的应用性能。
附图说明
图1为本发明基于融合局部与全局特征网络的指静脉识别方法的步骤图；
图2为本发明基于改进Resnet50的基础网络框图；
图3为本发明基于融合局部与全局特征的指静脉特征提取框图；
图4为本发明基于融合局部与全局特征的指静脉特征提取模型结构图；
图5(a)、5(b)、5(c)为采集的测试集图像在不同特征提取模型下平均识别性能；
具体实施方式
下面结合附图对本发明的具体实施例作进一步的说明。
本实施例的基于一种基于融合局部与全局特征网络的指静脉识别方法，包括以下步骤：
S1、构造训练数据集；
S1-1:采集4000根手指图像，每根手指采集6张图像，图像大小为500*200；
S1-2:利用平移(上下平移量为：-30：5：30，左右平移量为-20： 5：20)、平面旋转(左右旋转角度为-4：2：4)、放缩(采用双线性差值进行放缩，放缩倍数为0.95：0.01：1.05)操作进行手指放置姿态的扩充，扩充后图像数量为4000*6*131＝3144000张，将扩充的图像归一化到192*192得到训练数据集Itrain。
S2、设计基于融合局部与全局特征的指静脉特征提取网络；
S2-1:基于改进残差模块的基础网络
基于改进残差模块的基础网络包含五层结构,如图3(a)所示，第一层由卷积核大小为5*5、步长为1的卷积层。第二到五层均由改进的BasicBlock模块组成，如图3(b)所示。相比于Bottleneck 模块，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征。每层的IR-BasicBlock模块个数依次为3，4，14，3，在每个IR-BasicBlock模块中引入了SENet (Squeeze-and-Excitation Networks)注意力机制模块，此时每个 IR-BasicBlock模块的结构为两层卷积核大小为3*3卷积层以及 SENet，SENet能通过学习的方式来自动获取到每个特征通道的重要程度，从而提升有用特征的权重并抑制对当前任务贡献度不大的特征，使得网络能够更加准确的提取指静脉特征。在第五层结构中每个 IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；
第一层到第五层的激活函数均替换为Mish激活函数，相比于 ReLU激活函数，Mish激活函数是一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化能力，避免了ReLU激活函数使得一部分神经元彻底死亡的情况，其定义为：
f(x)＝x*tanh (ln(1+ex)) (1)
式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；
指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的 Feature Map，其大小为512*24*24；
S2-2:指静脉全局特征提取延伸网络，如图4所示；
由于全局平均池化层保留的指静脉信息更丰富，更合适作为全局特征向量。因此，将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为512*1*1，如下公式(2)：
Figure RE-GDA0002995181040000081
式中，GAP(*)为全局平均池化层，Fglobal为最终提取的指静脉全局特征向量
S3-2:指静脉局部特征提取延伸网络，如图4所示；
以Feature Map分为四块为例。首先将Feature Map从竖直方向分割成四个区域分别为M1,M2,M3,M4,其大小均为512*24*6，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：
pi＝GMP(Mi),i＝1,2,3,4 (3)
式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为512*1*1。
仅提取各个局部区域对应的局部特征向量来进行识别，会导致具有相似局部静脉的不同类指静脉图像之间出现误识。因此，在提取某一局部区域对应的局部特征向量的同时，应当融合其他局部区域的静脉信息，使得具有相似局部静脉的不同类指静脉图像的局部特征向量也具有良好的区分度。
以提取M1对应的局部特征向量q1为例，首先通过1*1卷积对p1进行降维得到
Figure RE-GDA0002995181040000082
其维度大小为256*1*1，减小特征向量大小的同时减少模型参数量，防止过拟合；其次，计算p2，p3，p4的均值向量并通过1*1卷积进行降维，得到融合了M2,M3,M4局部区域静脉信息的特征向量
Figure RE-GDA0002995181040000083
其维度大小为256*1*1，公式如下：
Figure RE-GDA0002995181040000084
式中，Conv1*1表示卷积核大小为1*1的卷积层，avg(*)表示均值函数。
然后将
Figure RE-GDA0002995181040000091
与
Figure RE-GDA0002995181040000092
通过通道级联进行拼接，并通过1*1卷积层进行融合，得到当前局部区域特征与其他局部特征之间的关系特征向量
Figure RE-GDA0002995181040000093
其维度大小为256*1*1，公式如下：
Figure RE-GDA0002995181040000094
式中，Conv1*1表示卷积核大小为1*1的卷积层，concatenate(*)表示维度拼接。
最后将该关系特征向量与
Figure RE-GDA0002995181040000095
相加，得到M1对应的最终局部特征q1，如公式(6)：
Figure RE-GDA0002995181040000096
此时，局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1 与M2,M3，M4之间的全局联系。即使当手指出现平移、旋转等姿态变化，导致同类指静脉图像之间出现局部静脉差异时，由于对应局部特征向量也包含了其他局部区域的静脉特征，使得对应局部特征向量也具有较高的相似度，同时避免了具有相似局部静脉的不同类指静脉图像之间出现误识，使得局部特征向量具有更强的区分力。
局部区域M2，M3，M4对应的局部特征向量q2，q3，q4提取过程如上，故不再赘述。将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q4，如公式(7)：
Q4＝concatenat(q1，q2，q3，q4) (7)
为了提高局部特征的鲁棒性，同时提取6分块，4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Qlocal，公式如下：
Figure RE-GDA0002995181040000097
S3、设计网络损失函数；
通过Softmax Loss来指导网络学习，能够使得提取的指静脉特征具有良好的类间距离，即不同类别的指静脉特征具有较高的可分性，但同时类内距离也很大。因此，特征的区分力不足，无法直接用欧氏距离进行识别。ArcFace Loss损失函数是Softmax Loss损失函数改进版，其通过在角度空间减小特征的类内距离来最大化分类边界，使得网络学习到的指静脉特征不仅具有较大的类间距离，同时还具有较小的类内距离，从而提高模型的泛化能力。
ArcFace loss的定义如下：
Figure RE-GDA0002995181040000101
式中，m为训练集中一个批次图像的数量，n为训练集中用户的类别数，yi表示当前批次中第i张图像的类别，s为缩放系数，θj为类别j的参数，η为设置的间隔大小。
S4、训练整个模型，如图5(a)、5(b)、5(c)所示，直至迭代训练整个训练集若干次；
S5、将测试集图像输入训练好的模型中提取指静脉特征并进行比对识别。
本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。将测试集指静脉特征全局特征与局部特征进行分别进行1：1不同类比对，获取全局特征阈值T1和局部特征阈值T2，同理，测试集指静脉特征全局特征与局部特征进行分别进行1：1同类比对，当全局特征比对结果和局部特征比对结果有一个小于对应阈值，即视为比对成功，反之，则比对失败。
本发明实验所用服务器GPU为NVIDIA TITAN RTX，训练所使用的深度学习框架是Pytorch，批次大小为16，迭代次数为10次，初始学习率为0.001，在迭代次数分别为3，6时衰减为原来的1/10，通过ADAM优化器进行优化。
以下是基于图像数据库对本发明所提算法的实验数据分析，本发明方法与经典Resnet50模型以及SE-Resnet50模型在采集的不同姿态指静脉图像上进行测试比对。
为了验证本发明方法提取的指静脉特征对手指放置姿态变化的鲁棒性，采集了112根手指图像，每根手指10张图像，采集图像大小为500*200，归一化尺寸为192*192，包括正常放置姿态NORM-FV、上下左右平移放置姿态TRANS-FV以及旋转放置姿态ROTATION-FV三个指静脉图像库。
利用本发明方法特征提取模型与经典Resnet50模型以及SE-Resnet50模型分别对NORM-FV、TRANS-FV、ROTATION-FV进行特征提取并进行识别。
图5(a)为手指正常放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了3.64％，2.52％。
图5(b)为手指上下左右平移放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了7.56％，6.35％
图5(c)为手指旋转放置时，在不同算法下识别的ROC曲线，在0误识下，相比于Resnet50模型以及SE-Resnet50模型，本发明方法拒识率分别下降了6.83％，5.92％。
本发明方法在不同手指放置姿态下均有不同程度的提升。因此，本发明方法有效提高了指静脉特征对手指姿态变化的鲁棒性，进一步提升了指静脉识别技术在现实环境下的应用性能。
上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。

Claims (4)

1.一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于包括以下步骤：
S1、构造训练数据集，采集若干个用户手指图像Ibasic，作为基础训练集，对基础训练集Ibasic进行扩充，经过归一化处理得到训练数据集Itrain，具体实现如下：
S1-1：采集若干个用户手指图像Ibasic；
S1-2：利用平移、平面旋转、放缩操作对Ibasic进行手指姿态扩充，将扩充的图像经过归一化处理得到训练数据集Itrain；
S2、设计基于融合局部与全局特征的指静脉特征提取网络；
S3、设计网络损失函数；
S4、训练整个模型，直至迭代训练整个训练集若干次；
S5、将测试集图像输入训练好的模型中提取指静脉特征，采用欧式距离进行1∶1比对识别。
2.根据权利要求1所述的一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于步骤S2所述的设计基于融合局部与全局特征的指静脉特征提取网络，具体实现如下：
S2-1：基于改进残差模块的基础网络
基于改进残差模块的基础网络包含五层结构，第一层由卷积核大小为5*5、步长为1的卷积层；第二到五层均由改进的BasicBlock模块组成，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征；每层的IR-BasicBlock模块个数依次为3、4、14、3，在每个IR-BasicBlock模块中引入了SENet注意力机制模块，此时每个IR-BasicBlock模块的结构包括两层卷积核大小为3*3卷积层以及SENet，在第五层结构中每个IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；
第一层到第五层的激活函数均替换为Mish激活函数，其定义为：
f(x)＝x*tanh(ln(1+ex)) (1)
式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；
指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的Feature Map，其大小为C*H*W，C、H、W分别为特征图的通道数、高以及宽；
S2-2：指静脉全局特征提取延伸网络；
将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为C*1*1，如下公式(2)：
F＝GAP(Feature Map)
Figure FDA0002865820810000021
式中，F表示全局平均池化层得到输出向量；GAP(*)为全局平均池化层，Fglobal为最终提取的指静脉全局特征向量
S2-3：指静脉局部特征提取延伸网络；
首先将Feature Map从竖直方向分割成四个区域分别为M1，M2，M3，M4，其大小均为C*H*W/4，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：
pi＝GMP(Mi)，i＝1，2，3，4 (3)
式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为C*1*1；
以提取M1对应的局部特征向量q1为例：首先通过1*1卷积对p1进行降维得到
Figure FDA0002865820810000022
其维度大小为C/2*1*1，减小特征向量大小的同时减少模型参数量，防止过拟合；其次计算p2、p3、p4的均值向量并通过1*1卷积进行降维，得到融合了M2、M3、M4局部区域静脉信息的特征向量
Figure FDA0002865820810000028
其维度大小为C/2*1*1，公式如下：
Figure FDA0002865820810000023
式中，Conv1*1表示卷积核大小为1*1的卷积层，avg(*)表示均值函数；
然后将
Figure FDA0002865820810000024
与
Figure FDA0002865820810000025
通过通道级联进行拼接，并通过1*1卷积层进行融合，得到当前局部区域特征与其他局部特征之间的关系特征向量
Figure FDA0002865820810000026
其维度大小为C/2*1*1，公式如下：
Figure FDA0002865820810000027
式中，Conv1*1表示卷积核大小为1*1的卷积层，concatenate(*)表示维度拼接；
最后将该关系特征向量
Figure FDA0002865820810000031
与
Figure FDA0002865820810000036
相加，得到M1对应的最终局部特征q1，如公式(6)；此时局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1与M2，M3，M4之间的关系：
Figure FDA0002865820810000033
局部区域M2，M3，M4对应的局部特征向量q2，q3，q4提取过程和q1相同；将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q4，如公式(7)：
Q4＝concatenate(q1，q2，q3，q4) (7)
为了提高局部特征的鲁棒性，同时提取6分块、4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Qlocal，公式如下：
L＝concatenate(Q2，Q4，Q6)
Figure FDA0002865820810000034
3.根据权利要求2所述的一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于步骤S3所述的设计网络损失函数，具体实现如下：
通过ArcFace Loss损失函数来指导网络学习，ArcFace loss的定义如下：
Figure FDA0002865820810000035
式中，m为训练集中一个批次图像的数量，n为训练集中用户的类别数，yi表示当前批次中第i张图像的类别，s为缩放系数，θj为类别j的参数，η为设置的间隔大小。
4.根据权利要求3所述的一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于步骤S5具体实现如下：
将测试集指静脉特征全局特征与局部特征进行分别进行1∶1不同类比对，获取全局特征阈值T1和局部特征阈值T2，同理测试集指静脉特征全局特征与局部特征进行分别进行1∶1同类比对，当全局特征比对结果和局部特征比对结果有一个小于对应阈值，即视为比对成功，反之，则比对失败。
CN202011580283.3A 2020-12-28 2020-12-28 一种基于融合局部与全局特征网络的指静脉识别方法 Active CN112733627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011580283.3A CN112733627B (zh) 2020-12-28 2020-12-28 一种基于融合局部与全局特征网络的指静脉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011580283.3A CN112733627B (zh) 2020-12-28 2020-12-28 一种基于融合局部与全局特征网络的指静脉识别方法

Publications (2)

Publication Number Publication Date
CN112733627A true CN112733627A (zh) 2021-04-30
CN112733627B CN112733627B (zh) 2024-02-09

Family

ID=75606526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011580283.3A Active CN112733627B (zh) 2020-12-28 2020-12-28 一种基于融合局部与全局特征网络的指静脉识别方法

Country Status (1)

Country Link
CN (1) CN112733627B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312989A (zh) * 2021-05-11 2021-08-27 华南理工大学 一种基于聚合描述子与注意力的指静脉特征提取网络
CN113378911A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像分类模型训练、图像分类方法及相关装置
CN115830652A (zh) * 2023-01-11 2023-03-21 山西清众科技股份有限公司 一种深度掌纹识别装置及方法
CN117496562A (zh) * 2024-01-02 2024-02-02 深圳大学 基于FV-MViT的指静脉识别方法、装置及相关介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740407A (zh) * 2018-08-27 2019-05-10 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740407A (zh) * 2018-08-27 2019-05-10 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312989A (zh) * 2021-05-11 2021-08-27 华南理工大学 一种基于聚合描述子与注意力的指静脉特征提取网络
CN113378911A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像分类模型训练、图像分类方法及相关装置
CN113378911B (zh) * 2021-06-08 2022-08-26 北京百度网讯科技有限公司 图像分类模型训练、图像分类方法及相关装置
CN115830652A (zh) * 2023-01-11 2023-03-21 山西清众科技股份有限公司 一种深度掌纹识别装置及方法
CN117496562A (zh) * 2024-01-02 2024-02-02 深圳大学 基于FV-MViT的指静脉识别方法、装置及相关介质
CN117496562B (zh) * 2024-01-02 2024-03-29 深圳大学 基于FV-MViT的指静脉识别方法、装置及相关介质

Also Published As

Publication number Publication date
CN112733627B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107609541B (zh) 一种基于可变形卷积神经网络的人体姿态估计方法
CN106372581B (zh) 构建及训练人脸识别特征提取网络的方法
CN112580590B (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN112733627B (zh) 一种基于融合局部与全局特征网络的指静脉识别方法
Yan et al. Multi-attributes gait identification by convolutional neural networks
Ali et al. Boosted NNE collections for multicultural facial expression recognition
Liu et al. Learning deep sharable and structural detectors for face alignment
Rehman et al. Face recognition: A novel un-supervised convolutional neural network method
US20040161134A1 (en) Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position
CN109543548A (zh) 一种人脸识别方法、装置及存储介质
Dong Optimal Visual Representation Engineering and Learning for Computer Vision
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN109063555B (zh) 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
CN113569598A (zh) 图像处理方法和图像处理装置
Singh et al. Leaf identification using feature extraction and neural network
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
Sang et al. Image recognition based on multiscale pooling deep convolution neural networks
Mallet et al. Deepfake Detection Analyzing Hybrid Dataset Utilizing CNN and SVM
Fernández-Martínez et al. Exploring the uncertainty space of ensemble classifiers in face recognition
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Li et al. An efficient robust eye localization by learning the convolution distribution using eye template
Okokpujie et al. A COMPARATIVE ANALYSIS PERFORMANCE OF DATA AUGMENTATION ON AGE-INVARIANT FACE RECOGNI-TION USING PRETRAINED RESIDUAL NEURAL NETWORK
Nandre et al. Comparative Analysis of Transfer Learning CNN for Face Recognition
CN112241680A (zh) 基于静脉相似图像知识迁移网络的多模态身份认证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant