CN110135253B - 一种基于长期递归卷积神经网络的手指静脉认证方法 - Google Patents

一种基于长期递归卷积神经网络的手指静脉认证方法 Download PDF

Info

Publication number
CN110135253B
CN110135253B CN201910291116.8A CN201910291116A CN110135253B CN 110135253 B CN110135253 B CN 110135253B CN 201910291116 A CN201910291116 A CN 201910291116A CN 110135253 B CN110135253 B CN 110135253B
Authority
CN
China
Prior art keywords
finger vein
training
image
pixel
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910291116.8A
Other languages
English (en)
Other versions
CN110135253A (zh
Inventor
秦华锋
曹晓莉
唐灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Weimai Zhilian Technology Co ltd
Original Assignee
Chongqing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Technology and Business University filed Critical Chongqing Technology and Business University
Priority to CN201910291116.8A priority Critical patent/CN110135253B/zh
Publication of CN110135253A publication Critical patent/CN110135253A/zh
Application granted granted Critical
Publication of CN110135253B publication Critical patent/CN110135253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于长期递归卷积神经网络的手指静脉认证方法，首先手指静脉图像进行标记、创建标签序列，然后训练长期递归卷积神经网络，对手指静脉分隔进行纹理标识和空间依赖性表示；对概率支持向量机进行训练，以计算对应的像素点属于静脉的概率；最后通过增强的汉明距离对同一样本的任意两幅图像在不同空间位移时的非重叠区域进行计算，从而对所有增强图像进行两两匹配。该方法可以快速、高效地对手指静脉进行记录和识别，能有效提高手指静脉认证的准确性。

Description

一种基于长期递归卷积神经网络的手指静脉认证方法
技术领域
本发明属于手指静脉认证技术领域，特别涉及一种基于长期递归卷积神经网络的手指静脉认证方法。
背景技术
生物特征识别技术是利用人体生物学特征或者行为特征进行身份认证的技术，其中行为特征主要包括签名、语音、步态等，生物学特征可分为外部生物特征(指纹、掌型、虹膜视、脸型等)以及内部生物特征(手指静脉、手背静脉和手掌静脉等)其中，由于指纹识别具有唯一性、稳定性、易用性等优点，应用极为广泛。但是，在指纹识别中，必须要求使用者在录入指纹时保持手指洁净、光滑，因为任何存在于指纹上的脏东西或污点都能给识别带来困难，且指纹易于伪造，严重影响了指纹识别技术的安全性。与外部生物特征相比，内部生物特征很难盗取和伪造，因此具有更高的安全性能。在内部生物特征中，手指静脉特征具有高度的普遍性和唯一性，因此有望以此开发出全新的身份认证技术。
手指静脉识别通常利用透射光或反射光两种方式获取手指静脉图像，然后从手指静脉图像中提取静脉特征，进行特征匹配，从而实现了手指静脉识别，确认使用者身份。为此，在手指静脉识别过程中，由于手指静脉图像的采集受多种因素的影响，如环境光、环境温度、光散射，所以手指静脉识别仍然面临着严峻的挑战。在实际应用中这些因素很难被控制和克服，所以采集的图像中包含了许多模糊区域，在这些区域中，手指静脉特征与背景之间的区分度很差，一般情况下，匹配图像中模糊区域会导致认证精度的大大降低。目前基于手工特征的方法很难有效地提取到手指静脉纹路信息，导致认证效率和准确性有限。
发明内容
为了解决上述技术问题，本发明提供了一种基于长期递归卷积神经网络的手指静脉认证方法。
本发明具体技术方案如下：
本发明提供了一种基于长期递归卷积神经网络的手指静脉认证方法，包括如下步骤：
S1：对输入的手指静脉样本图像进行二值化，根据像素值从手指静脉样本二值图像的所有像素点中筛选出静脉像素点和背景像素点，并分别进行标记；在所述手指静脉样本二值图像中，筛选出若干像素点，并分别沿指定的C个方向θ提取多个子块构建训练集，每个像素点构建C个标签序列，其中C为不小于2的自然数；
S2：通过训练长期递归卷积神经网络LRCNN，以学习对手指静脉纹理的表示和空间依赖性表示；
S3：根据所述标签序列，分别为每个所述训练集生成C个训练数据集，并分别用每个所述训练数据集单独训练一个LRCNN，输出一个C维向量作为特征向量；
S4：通过所述特征向量对概率支持向量机P-SVM进行训练，以计算对应的所述像素点属于所述静脉像素点的概率；
S5：分别根据每个所述训练集生成一个增强图像，并对增强图像进行二值化的函数进行优化；
S6：利用优化的函数计算任意两幅图像在不同空间位移时的非重叠区域，从而对所有所述增强图像进行两两匹配。
进一步地，步骤S1的具体方法如下：
S1.1：分别采用至少两种不同的方法对输入的手指静脉样本图像进行二值化，得到至少两张不同的二值图像，并计算所有所述二值图像的均值，得到均值图像F，作为手指静脉样本二值图像；以像素值0代表背景、像素值1代表静脉，对所述手指静脉样本二值图像中的所有像素点F(x,y)进行标记，如果F(x,y)＝1，标记为静脉像素点；如果F(x,y)＝0，则标记为背景像素点；其他区域不进行标记；
S1.2：在所述手指静脉样本二值图像中选择一个经过标记的像素点c0，沿C个延伸方向θ确定k-1个相邻像素点，共产生k个像素点，然后以k个像素点为中心点得到k个子块作为训练集，并根据每个所述像素点的标签对所述训练集构建标签序列，并采用如下方式对延伸方向θ进行量化；
Figure BDA0002024940390000031
其中i＝1,2,…,C；
经过量化，得到C个标签序列，其中C为不小于2的自然数。
进一步地，所述延伸方向θ∈{0°，45°，90°，135°}，此时C为4。
进一步地，步骤S2的具体方法如下：
S2.1：构建卷积神经网络CNN模型，以学习对手指静脉分隔的纹理表示，产生一个特征序列；所述CNN模型包括一个输入层、三个卷积层、两个最大池化层和一个全连接层；所述卷积层使用修正线性单元(y＝max(0.x))对隐层神经元进行激活；所述池化层使用如下最大池化方法提取局部信息：
Figure BDA0002024940390000041
其中，rk表示经第k个滤波器卷积后输出的特征图，
Figure BDA0002024940390000042
表示在Ik内的非重叠区域r×r通过池化操作后提取的特征；
S2.2：构建长短期记忆网络LSTM模型，通过所述特征序列映射到隐藏状态来模拟空间依赖性，以学习对手指静脉分隔的空间依赖性表示。
进一步地，三个所述卷积层中卷积核的数量分别为24,48以及100，且大小均为5。
进一步地，步骤S3的具体方法如下：
所述手指静脉样本图像上的任意像素点l∈{0，1}，沿着方向θ*产生了序列
Figure BDA0002024940390000043
使用步骤S1中提供的
Figure BDA0002024940390000044
作为标签，将所述训练集表示为
Figure BDA0002024940390000045
其中N是训练数据库中手指静脉图像序列的数量，此时第i个训练集为
Figure BDA0002024940390000046
分别用每个训练集单独训练LRCNN，并产生预测分数，将C个LRCNN的输出组合成一个C维向量作为特征向量。
进一步地，步骤S4的具体方法如下：
从带有标签l∈{0，1}像素的C个所述标签序列中提取出向量v，则通过所述特征向量对概率支持向量机P-SVM进行训练、获得对应的所述像素点属于所述静脉像素点的概率值p：
Figure BDA0002024940390000047
其中：p的范围为0～1；ε(v)是二分类SVM的输出，v是输入的特征向量，w和γ是P-SVM训练的参数；
从所述标签序列中继续提取向量，通过上述方法进行计算，得到所有像素点属于所述静脉像素点的概率值p。
进一步地，步骤S5的具体方法如下：
S5.1：将所述训练集中的所有子块分成N类，每类中包括M个子块；将第N类中的第M个子块的增强图像xm，n通过如下方法进行二值化，得到二值图像，并映射到汉明空间中：
bm，n＝0.5×(sgn(xm，n-T)+1)
其中：当z≤0时，sgn＝-1；当z＞0时，sgn＝1；T∈[0，1]；
S5.2：通过汉明距离对任意两张所述二值图像进行匹配，当两张所述二值图像属于同一类时产生类内匹配分数，反之则产生类间匹配分数，一共生成
Figure BDA0002024940390000051
个真匹配分数
Figure BDA0002024940390000052
以及a2＝N×(N-1)×M×M/2个假匹配分数
Figure BDA0002024940390000053
并通过如下方法进行特征编码、得到编码静脉图像：
Figure BDA0002024940390000054
其中，|·|代表绝对值运算，u1(T)和u2(T)是Ω1和Ω2的均值，D1(T)和D2(T)是Ω1和Ω2的方差，并据此确定最佳的T值。
进一步地，步骤S6的具体方法如下：
利用优化的函数计算任意两幅图像之间的最小非重叠量，以此对所有所述增强图像进行两两匹配：B和Q的大小均为I×J，将Q的高度和宽度扩展到2E+I和2H+J，得到扩展图像
Figure BDA0002024940390000055
方法如下：
Figure BDA0002024940390000061
Q和B的匹配距离计算如下：
Figure BDA0002024940390000062
其中，Φ(V)是矩阵V中值为-1的个数；U是值为-1、大小为I×J的矩阵；Hamdistance代表了B和Q的汉明距离；
Figure BDA0002024940390000063
是在水平和垂直方向上平移距离e和h产生的矩阵；d(Q，B)是Q和B在扩展区域内不同空间变化的最小非重叠量。
本发明的有益效果如下：本发明提供了一种基于长期递归卷积神经网络的手指静脉认证方法，首先手指静脉图像进行标记、创建标签序列，然后训练长期递归卷积神经网络，对手指静脉分隔进行纹理标识和空间依赖性表示；对概率支持向量机进行训练，以计算对应的像素点属于静脉的概率；最后通过增强的汉明距离对同一样本的任意两幅图像在不同空间位移时的非重叠区域进行计算，从而对所有增强图像进行两两匹配。该方法可以快速、高效地对手指静脉进行记录和识别，能有效提高手指静脉认证的准确性。
附图说明
图1为实施例所述的一种基于长期递归卷积神经网络的手指静脉认证方法的流程图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例
如图1所示，本发明实施例1提供了一种基于长期递归卷积神经网络的手指静脉认证方法，包括如下步骤：
S1：对输入的手指静脉样本图像，采用7种方法对其进行分割，如：重复线性跟踪法、最大曲率点法、均值曲率、不同曲率、区域生长、宽线检测器和高波滤波，得到7张不同的手指样本二值图像。并把二值图像的像素值(0和1分别代表背景和静脉)作为输入图像的标签。然后计算7张二值图像的均值，得到均值图像F。对于每一个像素点(x,y)，如果F(x，y)＝1，标记为静脉图像；如果F(x，y)＝0，标记为静脉；其他区域不进行标记；
选择一个标记的像素点作为当前点c0，并沿给定方向θ确定K-1个相邻像素点，产生K个像素点{c-(K-1)/2，θ，c0，…，c(K-1)/2，θ}，其中0≤θ≤π，K是奇数。然后，以K个像素点为中心得到K个大小为s×s的小块，并由这些块构建一个序列
Figure BDA0002024940390000071
相应地，由K个像素点的标签对Sθ构建标签序列
Figure BDA0002024940390000072
由于中心点在C0有多个方向，不可能沿着所有方向建立序列，所以通过如下方法对其方向θ进行量化：
Figure BDA0002024940390000073
其中，i＝1，2，…，C，C的值设置为4，即θ∈{0°，45°，90°，135°}。因此，每个标记的像素点c0可以产生4个序列。
S2：长期递归卷积神经网络LRCNN由CNN和LSTM模型组成，通过训练LRCNN以学习对手指静脉纹理的表示和空间依赖性表示。LRCNN采用与K个小块相关的序列作为输入；
由于Qin等(H.Qin and M.A.El-Yacoubi,“Deep representation-based featureextraction and recovering for finger-vein verification,”IEEE Transactions onInformation Forensics and Security,vol.12,no.8,pp.1816–1829,2017.)提出的三层结构的CNN模型已经取得了很好的静脉特征分割性能，因此通过去除输出层来构建用于静脉或背景块特征表示的CNN模型；在训练阶段使用上述文献中的权重对CNN初始化，本实施例中的CNN模型由一个输入层，三个卷积层，两个最大池化层和一个全连接层组成，其中，三个卷积层中卷积核的数量分别为24,48和100，且大小均为5；每层详述如下：
卷积层：使用修正线性单元(y＝max(0，x))作为隐层神经元的激活函数；
池化层：使用最大池化方法以鲁棒地提取局部信息；
Figure BDA0002024940390000081
其中，rk表示经第k个滤波器卷积后输出的特征图，
Figure BDA0002024940390000082
表示在Ik内的非重叠区域r×r通过池化操作后提取的特征。
Dropout:dropout用于全连接层，随机丢弃一半的隐层单元，这样可以很大程度上减少过拟合；
LSTM模型是LRCNN的子模型，在序列数据中能够长时间地记忆上下文信息，通常用来学习时间依赖性，而在图像中，这种时间依赖性也可以转换到空间域中；因此，使用Hochreiter等(S.Hochreiter and J.Schmidhuber,“Long short-term memory,”Neuralcomputation,vol.9,no.8,pp.1735–1780,1997.)提出的LSTM方法，将CNN产生的特征序列映射到LSTM的隐藏状态米模拟空间依赖性；为了预测空间中每一单位步长的分布，输出层使用softmax函数。最后，通过对LSTM网络softmax层的输出进行均值计算，以对中心像素点进行预测；给定xt，ht-1，ct-1，则LSTM在t位置的更新方式如下：
it＝σ(Wxixt+Whixt-1+bi) (3)
ft＝σ(Wxfxt+Whfxt-1+bf) (4)
ot＝σ(Wxoxt+Whoxt-1+bo) (5)
gt＝tanh(Wxcxt+Whcxt-1+bc) (6)
ct＝ft*ct-1it*gt (7)
ht＝ot*tanh(ct) (8)
其中，*是乘积操作，σ和tanh是sigmoid函数和双曲正切tanh函数，定义如下：
Figure BDA0002024940390000091
Figure BDA0002024940390000092
另外，ht，it，ft，ot，gt和ct分别表示在位置t的隐层单元，输入门，忘记门，输出门，输入调制门和存储单元；
输出层：最后一个隐层的输出使用softmax函数进行归一化操作，计算如下：
Figure BDA0002024940390000093
其中，zn是LSTM隐层状态线性组合的输出。
S3：对于手指静脉样本图像F中标签为1∈{0，1}的一个像素，沿着方向θ*可以产生序列
Figure BDA0002024940390000101
使用步骤S1中提供的
Figure BDA0002024940390000102
作为标签，其中0和1分别表示为背景和静脉，根据序列和对应的标签构成的训练集表示为
Figure BDA0002024940390000103
其中N是训练数据库中手指静脉图像序列的长度；因为前面把可能的方向量化成为4个方向，因此通过这种方式获得4个训练数据集；用
Figure BDA0002024940390000104
表示第i个训练集(i＝1，2，…，4)。然后对每个训练集单独地训练LRCNN，并产生预测分数，将4个LRCNN的输出组合成一个4维向量v＝[v1，v2，v3，v4]，并将其作为P-SVM的输入来预测中心像素点的概率。
S4：基于4个方向的预测分数，采用SVM模型计算像素属于静脉图像的概率；本实施例采用Platt等(J.Platt et al.，“Probabilistic outputs for support vectormachines and comparisons to regularized likelihood methods，”Advances in largemargin classifiers，vo1.10，no.3，pp.61-74，1999.)提供的概率支持向量P-SVM模型来融合所有方向的预测分数：对于一个带有标签1∈{0，1}的像素点，将其产生的四个序列输入LRCNN模型产生一个向量v，则通过如下方式训练P-SVM模型获得概率值p：
Figure BDA0002024940390000105
其中，ε(v)是二分类SVM的输出，v是输入的特征向量，w和γ是P-SVM训练的参数；经过训练后，通过特征向量v和公式(12)能够计算出每个像素点属于静脉图像的概率。
S5：在对所有的像素点都进行LRCNN训练后，得到了预测分数，并形成了增强的静脉图像，然后对其编码以实现两幅图像的有效匹配；对于手指静脉识别来说，特征编码的主要目的是提高识别错误率的性能，然而现有的方法(基于全局阈值或曲率)都是基于人们感知获得而不是通过计算最小化识别错误率，因此得到的二值图像(静脉纹理特征)对于手指静脉识别来说可能不具有鲁棒性；本实施例通过最大化从训练集获得的类内分数和类间分数之间的距离来确定阈值，使得得到的阈值与识别性能直接相关，阈值T的计算过程如下。
假设训练集中有N个类，每个类提供M个样本，使用LRCNN模型增强手指静脉图像，并将第n类中的第m个增强图像表示为xm，n，其中m＝1，2，…，M，n＝1，2，…，N；将增强图像映射和量化为二值图像bm，n∈{0，1}I×J，且该二值图像能够具有明显的最小识别误率，xm，n的二值图像(静脉纹理模式)bm，n通过下面的方式计算：
bm，n＝0.5×(sgn(xm，n-T)+1) (13)
其中，当z≤0时，sgn＝-1；当z＞0时，sgn＝1；T∈[0，1]；T的计算过程如下：
通过公式(13)，能够把所有的训练样本都映射到汉明空间，因此使用Hamming等(R.W.Hamming，“Error detecting and error correcting codes，”Bell Systemtechnical journal，vo1.29，no.2，pp.147-160，1950.)中的汉明距离匹配两张图像用于识别；当两张所述二值图像属于同一类时产生类内匹配分数，反之则产生类间匹配分数，一共生成
Figure BDA0002024940390000111
个真匹配分数
Figure BDA0002024940390000112
a2＝N×(N-1)×M×M/2个假匹配分数
Figure BDA0002024940390000113
为了寻找最优参数T，设定一个标准对增强图像进行编码，使得编码后的二值图像能够最大化集合Ω1和Ω2之间的距离，故建立了如下目标优化函数：
Figure BDA0002024940390000121
其中，|·|代表绝对值运算，u1(T)和u2(T)是Ω1和Ω2的均值，D1(T)和D2(T)是Ω1和Ω2的方差；
为了便于搜索阈值T，将所有增强图像转换为0到255之间的灰度图像，此时参数T的值为0到255，任选一个值作为初始值，根据公式(13)将增强图像转换成二值图像。那么，对于所有T值，使用公式(14)可以得到256个不同的值J(T)，T＝1，2…，256。通过等式(14)得到的T*可以编码静脉图像，对输入图像xm，n的编码图像计算如下：
bm，n＝0.5×(sgn(xm，n-T*/255)+1) (15)。
S6：在将所有训练图像映射到汉明空间后，使用汉明距离来匹配两个图像，虽然获得的灰度图像经历了平移和旋转归一化，但是由于不准确的定位和归一化操作使得同一手指的两幅图像之间仍然存在一些变化，而汉明距离不能很好地减少这些变化；因此，采用增强的汉明距离来计算两个图像之间的非重叠区域，这两个图像可能对手指静脉匹配产生空间移位：
首先通过步骤S1提供的方法对待认证的手指静脉图像进行二值化处理、获得手指静脉二值图像，并提取多个样本子块、构建样本子块集；然后通过步骤S5提供的方法对所述样本子块进行二值化处理、并映射到汉明空间中；
假设Q和B是经二值化后得到的大小为I×J的注册图像(二值图像)和测试图像(样本子块)，将Q的高度和宽度扩展到2E+I和2H+J，得到扩展图像
Figure BDA0002024940390000131
方法如下：
Figure BDA0002024940390000132
Q和B的匹配距离计算如下：
Figure BDA0002024940390000133
其中，Φ(V)是矩阵V中值为-1的个数。U是值为-1，大小为I×J的矩阵，Hamdistance代表了两个二值图像的汉明距离；匹配过程中，B在Q-上平移，
Figure BDA0002024940390000134
表示在水平和垂直方向上平移距离e和h产生的矩阵。d(Q，B)计算了Q和B在不同空间位置上(除扩展区域外的像素点)的最小非重叠量(两幅图像非重叠像素的最小值)。参数E和H控制水平和垂直方向上的平移距离，且值分别为20和60。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，包括如下步骤：
S1：对输入的手指静脉样本图像进行二值化，根据像素值从手指静脉样本二值图像的所有像素点中筛选出静脉像素点和背景像素点，并分别进行标记；在所述手指静脉样本二值图像中，筛选出若干像素点，并分别沿指定的C个方向θ提取多个子块构建训练集，每个像素点构建C个标签序列，其中C为不小于2的自然数；
S2：通过训练长期递归卷积神经网络LRCNN，以学习对手指静脉纹理的表示和空间依赖性表示；
S3：根据所述标签序列，分别为每个所述训练集生成C个训练数据集，并分别用每个所述训练数据集单独训练一个LRCNN，输出一个C维向量作为特征向量；
S4：通过所述特征向量对概率支持向量机P-SVM进行训练，以计算对应的所述像素点属于所述静脉像素点的概率；
S5：分别根据每个所述训练集生成一个增强图像，并对将增强图像进行二值化的函数进行优化；
S6：利用优化的函数计算任意两幅图像在不同空间位移时的非重叠区域，从而对所有所述增强图像进行两两匹配；
步骤S1的具体方法如下：
S1.1：分别采用至少两种不同的方法对输入的手指静脉样本图像进行二值化，得到至少两张不同的二值图像，并计算所有所述二值图像的均值，得到均值图像F，作为手指静脉样本二值图像；以像素值0代表背景、像素值1代表静脉，对所述手指静脉样本二值图像中的所有像素点F(x,y)进行标记，如果F(x,y)＝1，标记为静脉像素点；如果F(x,y)＝0，则标记为背景像素点；其他区域不进行标记；
S1.2：在所述手指静脉样本二值图像中选择一个经过标记的像素点c0，沿C个延伸方向θ确定k-1个相邻像素点，共产生k个像素点，然后以k个所述像素点为中心点得到k个子块作为训练集，并根据每个所述像素点的标签对所述训练集构建标签序列，并采用如下方式对延伸方向θ进行量化；
Figure FDA0003475754940000021
其中i＝1,2,…,C；
经过量化，得到C个标签序列，其中C为不小于2的自然数。
2.如权利要求1所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，所述延伸方向θ∈{0°,45°,90°,135°}，此时C为4。
3.如权利要求1所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，步骤S2的具体方法如下：
S2.1：构建卷积神经网络CNN模型，以学习对手指静脉分隔的纹理表示，产生一个特征序列；所述CNN模型包括一个输入层、三个卷积层、两个最大池化层和一个全连接层；所述卷积层使用修正线性单元(y＝max(0.x))对隐层神经元进行激活；所述池化层使用如下最大池化方法提取局部信息：
Figure FDA0003475754940000022
其中，rk表示经第k个滤波器卷积后输出的特征图，
Figure FDA0003475754940000031
表示在Ik内的非重叠区域r×r通过池化操作后提取的特征；
S2.2：构建长短期记忆网络LSTM模型，通过所述特征序列映射到隐藏状态来模拟空间依赖性，以学习对手指静脉分隔的空间依赖性表示。
4.如权利要求3所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，三个所述卷积层中卷积核的数量分别为24,48以及100，且大小均为5。
5.如权利要求1所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，步骤S3的具体方法如下：
所述手指静脉样本图像上的任意像素点l∈{0,1}，沿着方向θ*产生了序列
Figure FDA0003475754940000032
使用步骤S1中提供的标签序列作为标签，将所述训练集表示为
Figure FDA0003475754940000033
其中N’是训练数据库中手指静脉图像序列的数量，此时第i个训练集为
Figure FDA0003475754940000034
分别用每个训练集单独训练LRCNN，并产生预测分数，将C个LRCNN的输出组合成一个C维向量作为特征向量。
6.如权利要求3所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，步骤S4的具体方法如下：
从带有标签l∈{0,1}像素的C个所述标签序列中提取出向量v，则通过所述特征向量对概率支持向量机P-SVM进行训练、获得对应的所述像素点属于所述静脉像素点的概率值p：
Figure FDA0003475754940000035
其中：p的范围为0～1；ε(v)是二分类SVM的输出，v是输入的特征向量，w和γ是P-SVM训练的参数；
从所述标签序列中继续提取向量，通过上述方法进行计算，得到所有像素点属于所述静脉像素点的概率值p。
7.如权利要求1所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，步骤S5的具体方法如下：
S5.1：将所述训练集中的所有子块分成N类，每类中包括M个子块；将第N类中的第M个子块的增强图像xm,n通过如下方法进行二值化，得到二值图像，并映射到汉明空间中：
bm，n＝0.5×(sgn(xm，n-T)+1)
其中：当z≤0时，sgn＝-1；当z＞0时，sgn＝1；T∈[0,1]；bm,n表示二值图像；
S5.2：通过汉明距离对任意两张所述二值图像进行匹配，当两张所述二值图像属于同一类时产生类内匹配分数，反之则产生类间匹配分数，一共生成
Figure FDA0003475754940000041
个真匹配分数
Figure FDA0003475754940000042
以及a2＝N×(N-1)×M×M/2个假匹配分数
Figure FDA0003475754940000043
并通过如下方法进行特征编码、得到编码静脉图像：
Figure FDA0003475754940000044
其中，|·|代表绝对值运算，u1(T)和u2(T)是Ω1和Ω2的均值，D1(T)和D2(T)是Ω1和Ω2的方差，并据此确定最佳的T值。
8.如权利要求7所述的基于长期递归卷积神经网络的手指静脉认证方法，其特征在于，步骤S6的具体方法如下：
利用优化的函数计算任意两幅图像之间的最小非重叠量，以此对所有所述增强图像进行两两匹配：B和Q的大小均为I×J，将Q的高度和宽度扩展到2E+I和2H+J，得到扩展图像
Figure FDA0003475754940000051
方法如下：
Figure FDA0003475754940000052
Q和B的匹配距离计算如下：
Figure FDA0003475754940000053
其中，
Figure FDA0003475754940000054
是矩阵
Figure FDA0003475754940000055
中值为-1的个数；U是值为-1、大小为I×J的矩阵；Hamdistance代表了B和Q的汉明距离；
Figure FDA0003475754940000056
是在水平和垂直方向上平移距离e和h产生的矩阵；d(Q,B)是Q和B在扩展区域内不同空间变化的最小非重叠量。
CN201910291116.8A 2019-04-11 2019-04-11 一种基于长期递归卷积神经网络的手指静脉认证方法 Active CN110135253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910291116.8A CN110135253B (zh) 2019-04-11 2019-04-11 一种基于长期递归卷积神经网络的手指静脉认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910291116.8A CN110135253B (zh) 2019-04-11 2019-04-11 一种基于长期递归卷积神经网络的手指静脉认证方法

Publications (2)

Publication Number Publication Date
CN110135253A CN110135253A (zh) 2019-08-16
CN110135253B true CN110135253B (zh) 2022-05-20

Family

ID=67569626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910291116.8A Active CN110135253B (zh) 2019-04-11 2019-04-11 一种基于长期递归卷积神经网络的手指静脉认证方法

Country Status (1)

Country Link
CN (1) CN110135253B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751057A (zh) * 2019-09-27 2020-02-04 五邑大学 基于长短时记忆循环神经网络的手指静脉验证方法及装置
CN111612083B (zh) * 2020-05-26 2023-05-12 济南博观智能科技有限公司 一种手指静脉识别方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN107967442A (zh) * 2017-09-30 2018-04-27 广州智慧城市发展研究院 一种基于无监督学习和深层网络的指静脉识别方法及系统
CN108681722A (zh) * 2018-05-24 2018-10-19 辽宁工程技术大学 一种基于纹理的手指静脉特征匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768049B2 (en) * 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
CN107967442A (zh) * 2017-09-30 2018-04-27 广州智慧城市发展研究院 一种基于无监督学习和深层网络的指静脉识别方法及系统
CN108681722A (zh) * 2018-05-24 2018-10-19 辽宁工程技术大学 一种基于纹理的手指静脉特征匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Iterative Deep Neural Network for Hand-Vein Verification;HUAFENG QIN等;《IEEE Access》;20190225;第III部分 *

Also Published As

Publication number Publication date
CN110135253A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN107403084B (zh) 一种基于步态数据的身份识别方法
CN109190566B (zh) 一种融合局部编码与cnn模型手指静脉识别方法
JP7130905B2 (ja) フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出
Wang et al. A novel fingerprint classification method based on deep learning
Chen et al. Gait recognition based on improved dynamic Bayesian networks
CN105095880B (zh) 一种基于lgbp编码的手指多模态特征融合方法
CN113076927B (zh) 基于多源域迁移的指静脉识别方法及系统
CN113312989B (zh) 一种基于聚合描述子与注意力的指静脉特征提取网络
Jung et al. Noisy and incomplete fingerprint classification using local ridge distribution models
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN107403153A (zh) 一种基于卷积神经网络和哈希编码的掌纹图像识别方法
CN105138974A (zh) 一种基于Gabor编码的手指多模态特征融合方法
CN110135253B (zh) 一种基于长期递归卷积神经网络的手指静脉认证方法
CN112307883A (zh) 训练方法、装置、电子设备以及计算机可读存储介质
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
CN108805280B (zh) 一种图像检索的方法和装置
CN113780129B (zh) 基于无监督图序列预测编码的动作识别方法及存储介质
CN111209886B (zh) 一种基于深度神经网络的快速行人再识别方法
Mliki et al. Human action recognition based on discriminant body regions selection
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Kumar et al. An empirical evaluation of rotation invariance of LDP feature for fingerprint matching using neural networks
Shekar et al. Blockwise binary pattern: a robust and an efficient approach for offline signature verification
CN112381615B (zh) 基于用户重复行为模式挖掘的短序列推荐方法
Dar et al. Real time face authentication system using stacked deep auto encoder for facial reconstruction
CN113591607A (zh) 一种车站智能疫情防控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230220

Address after: 401329 2F, Building 18, Section I, Science Valley, Hangu Town, Jiulongpo District, Chongqing

Patentee after: Chongqing Financial Technology Research Institute

Patentee after: Qin Huafeng

Address before: No. 19 Xuefu Avenue, Nanan District, Chongqing 400060

Patentee before: CHONGQING TECHNOLOGY AND BUSINESS University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240606

Address after: Building 18, 2nd Floor, Section 1, Science Valley Phase 1, Hangu Town, Jiulongpo District, Chongqing, 400000

Patentee after: Chongqing Weimai Zhilian Technology Co.,Ltd.

Country or region after: China

Address before: 401329 2F, Building 18, Section I, Science Valley, Hangu Town, Jiulongpo District, Chongqing

Patentee before: Chongqing Financial Technology Research Institute

Country or region before: China

Patentee before: Qin Huafeng

TR01 Transfer of patent right