CN115457611B - 一种基于特征解耦网络的静脉识别方法 - Google Patents
一种基于特征解耦网络的静脉识别方法 Download PDFInfo
- Publication number
- CN115457611B CN115457611B CN202211293367.8A CN202211293367A CN115457611B CN 115457611 B CN115457611 B CN 115457611B CN 202211293367 A CN202211293367 A CN 202211293367A CN 115457611 B CN115457611 B CN 115457611B
- Authority
- CN
- China
- Prior art keywords
- vein
- shape
- image
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 376
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 40
- 238000011176 pooling Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Vascular Medicine (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征解耦网络的静脉识别方法，设计高鲁棒性静脉图像分割模型，获取高质量的静脉形状特征二值分割图，构建基于多尺度注意力残差模块的静脉形状纹理特征解耦网络，实现静脉图像纹理和形状特征的自适应解耦，提出权值引导的高判别深度特征学习模块，增强了静脉深度特征表示能力。本发明减少了纹理信息中光照信息对于静脉深度特征表示能力的影响，增强了静脉纹理特征和形状特征的融合效果，提高了静脉识别方法的性能。
Description
技术领域
本发明涉及生物特征识别领域，具体涉及一种基于特征解耦网络的静脉识别方法。
背景技术
手部静脉识别技术在生物特征识别方面有着非常广阔的应用前景，是当前生物特征识别领域的研究热点。手部静脉识别系统包括静脉图像采集、静脉图像预处理、特征提取和特征匹配等几个主要步骤，静脉图像特征提取算法作为静脉识别系统最重要的步骤之一，其效果直接影响静脉识别系统的性能。近些年，深度卷积神经网络已经广泛应用于大规模图像识别任务，并且取得了优异的结果。但是其表征学习能力严重依赖于训练样本的数量，因此，在小样本静脉识别任务上并不能取得领先的效果。为了提升基于深度学习的静脉识别方法效果，Wang等人构建一种层级的跨领域知识迁移策略，通过逐步学习静脉图像相近领域的共性特征，提高深度卷积神经网络模型对于静脉图像的表征学习能力，解决在直接使用静脉小样本数据库训练网络模型时易产生过拟合的问题(Wang J,Wang G Q,ZhouM.Bimodal Vein Data Mining via Cross-Selective-Domain Knowledge Transfer.IEEETransactions on Information Forensics and Security,2018,13(3):733-744.)。Huang等人提出了一种联合注意力模块，可以有效增强深度卷积神经网络对于静脉图像细节信息的表征学习能力，提升静脉深度特征的判别能力。(Huang J D,Tu M,Yang W L,Kang WX.Joint Attention Network for Finger Vein Authentication.IEEE Transactions onInstrumentation and Measurement,2021,70:2513911.)。虽然上述模型取得了良好的识别结果，但是并没有充分利用静脉信息的分布特性。因此，基于深度学习的静脉识别方法还需要进一步研究，算法的性能还有待提高。
发明内容
本发明的目的在于提供一种基于特征解耦网络的静脉识别方法，减少纹理信息中光照信息对于静脉深度特征表示能力的影响，增强静脉纹理特征和形状特征的融合效果，提高静脉识别方法的性能。
实现本发明目的的技术解决方案为：一种基于特征解耦网络的静脉识别方法，包括以下步骤：
步骤1、采集A个志愿者的右手手背静脉图像，10＜A＜1000，每个志愿者采集B张图像，10＜B＜1000，共采集N张手背静脉图像，N＝AB，100＜N＜100000，通过归一化处理，得到像素大小为h×w的N张手背静脉图像，构成训练样本集，记为I，转入步骤2。
步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息，转入步骤3。
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征，转入步骤4。
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；完成静脉图像形状和纹理特征的解耦，转入步骤5。
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征，转入步骤6。
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
步骤7、采集P个志愿者的右手手背静脉图像，10＜P＜1000，每个志愿者采集Q张图像，10＜Q＜1000，共采集M张手背静脉图像，M＝PQ，100＜M＜100000，通过归一化处理，得到像素大小为h×w的M张手背静脉图像，构成测试样本集，转入步骤8。
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
与现有技术相比，本发明的优点在于：
1)目前现有的静脉识别算法大多数单一的提取静脉图像的形状信息或者纹理信息，并没有充分分析静脉图像的形状信息和纹理信息对于静脉识别模型性能的影响。本发明提出了基于特征解耦网络的手部静脉识别方法，探究了静脉图像纹理特征和形状特征对于身份信息识别效果的影响机制，减少了纹理信息中光照信息对于静脉深度特征表示能力的影响。
2)本发明设计了高鲁棒性静脉图像分割模型，获取了输入静脉图像的高质量静脉形状特征二值分割图。
3)相比现有的静脉识别算法，本发明结合静脉信息独特分布特性，构建了基于多尺度注意力残差模块的静脉形状纹理特征解耦网络，实现了静脉图像纹理和形状特征的自适应解耦。
4)本发明提出了权值引导的高判别深度特征学习模块，能够动态融合解耦后的形状和纹理特征，增强了静脉深度特征的表示能力，进而提高了手部静脉图像识别算法的性能和泛化能力。
附图说明
图1为本发明基于特征解耦网络的静脉识别方法的流程图。
图2为本发明基于特征解耦网络的静脉识别方法的模型图。
图3为采集的手背静脉图像。
图4为4个方向的谷型运算子，(a)45°方向；(b)135°方向；(c)水平方向；(d)竖直方向。
图5为八种基于深度特征的静脉识别方法与本发明提出方法的对比实验结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图1，一种基于特征解耦网络的静脉识别方法，包括以下步骤：
步骤1、采集A个志愿者的右手手背静脉图像，10＜A＜1000，每个志愿者采集B张图像，10＜B＜1000，共采集N张手背静脉图像，N＝AB，100＜N＜100000，通过归一化处理，得到像素大小为h×w的N张手背静脉图像，构成训练样本集，记为I，转入步骤2。
步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息：
高鲁棒性静脉图像分割模型的构建方法如下：
S2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像G(x,y)：
式中，μ为5×5滑动窗口的均值，σ2为5×5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，I(x，y)为输入的静脉图像；
S2.2，利用4个方向的谷型运算子对去噪后的静脉图像G(x，y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(2)所示：
G′(x，y)＝Max{F1(x，y)，F2(x，y)，F3(x，y)，F4(x，y)} (2)
式中，F1(x，y)，F2(x，y)，F3(x，y)，F4(x，y)分别对应表示经过45°、135°、水平方向和竖直方向谷型运算子增强后的静脉图像，G′(x，y)为融合后的静脉增强图像；
S2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：
式中，Gmean为5×5滑动窗口的均值，G″(x，y)为处理后的静脉图像；
S2.4，通过式(4)判断每个像素值的分割阈值，具体如下：
式中，T(x，y)为静脉图像中像素点(x，y)的分割阈值，Avg(x，y)为41×41滑动窗口的均值，其值为
g(x，y)为像素点(x，y)的梯度值，Rg为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数
其中，Gra(x，y)为41×41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；
S2.5，将G″(x，y)中每个像素值与分割阈值T(x，y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。
转入步骤3。
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征。
静脉形状编码器和静脉形状生成器的网络框架构建如下：
静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Sigmoid激活函数。
多尺度注意力残差模块的构建方法如下：
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征。通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合，得到多尺度融合特征。
多尺度特征融合模块具体表示如下，使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(5)所示：
其中，I为输入静脉图像；k是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
是指输出的
尺度的深度特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(6)所示：
其中，
为
当k＝1时对应的值。
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(7)所示：
其中，Z是所提出的多尺度融合连接之后的卷积块输出，F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(8)所示：
Z′＝SE(Z) (8)
其中，Z表示第二个多尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将输入的图像与通道注意力机制SE输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
MSARB_out＝Res(I，Z′) (9)
其中，I是静脉训练样本集，MSARB_out表示多尺度注意力残差模块的输出，Res(·)为残差网络结构。
基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征的具体过程如下：
利用静脉形状编码器E2提取输入静脉图像I(x，y)的形状特征，上述过程如下表示：
ZS＝E2(I) (10)
其中，ZS为静脉图像I(x，y)的形状特征，E2为静脉形状编码器；随后将形状特征ZS输入到静脉形状生成器G2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器可以学习到静脉形状特征的表征能力，具体过程可由式(11)和式(12)表示：
I′S＝G2(ZS) (11)
其中，I′S为静脉形状生成器G2生成的预测静脉形状特征，IS为真实的静脉形状二值标签信息，WS和HS分别为形状二值标签图的宽度和高度，LS为静脉形状生成器的损失函数。
转入步骤4。
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；通过步骤3和步骤4完成静脉图像形状和纹理特征的解耦。
静脉纹理编码器和图像重建生成器的网络框架构建如下：
静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；图像重建生成器主要包含1个特征级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Tanh激活函数。
静脉训练样本的纹理特征获取过程如下：
利用静脉纹理编码器提取输入静脉图像I(x，y)的纹理特征，上述过程如下表示：
ZT＝E1(I) (13)
其中，ZT为静脉图像I(x，y)的纹理特征，E1为静脉纹理编码器；随后将形状特征ZS和纹理特征ZT进行级联，输入到图像重建生成器G1中，重建输入静脉图像，通过与真实的静脉图像进行比较，使得静脉纹理编码器可以学习到静脉纹理特征的表征能力，具体过程可由式(14)和式(15)所示：
I′＝G1(Concate(ZT，ZS)) (14)
LC＝|I-G1(Concate(ZT，ZS))|＝|I-I′| (15)
其中，I′为图像重建生成器G1生成的静脉图像，LC为重建损失函数，|·|表示为机器学习中常用的L1损失函数，Concate(·)表示特征级联操作。
转入步骤5。
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征。
权值引导的静脉深度特征学习模块的网络结构如下：
首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度特征，随后输入分类层进行身份信息识别，如式(16)所示：
Zfusion＝Concate[a·ZT，(1-a)·ZS] (16)
其中，Zfusion为权值加权融合后的静脉深度特征，0≤a≤1；最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；
静脉深度特征学习模块的损失函数采用SoftMax，记为LR，则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数Ltotal可由式(17)所示：
Ltotal＝λSLS+λCLC+λRLR (17)
其中，λS、λC和λR为平衡不同损失函数的超参数，LS为静脉形状生成器的损失函数，LC为图像重建生成器的损失函数。
转入步骤6。
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
步骤7、采集P个志愿者的右手手背静脉图像，10＜P＜1000，每个志愿者采集Q张图像，10＜Q＜1000，共采集M张手背静脉图像，M＝PQ，100＜M＜100000，通过归一化处理，得到像素大小为h×w的M张手背静脉图像，构成测试样本集，转入步骤8。
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
实施例1
结合图1和图2，本发明所述的一种基于特征解耦网络的静脉识别方法，步骤如下：
步骤1、采集286个志愿者的右手手背静脉图像，每个志愿者采集200张图像，共采集57200张手背静脉图像，通过归一化处理，得到像素大小为256×256的57200张手背静脉图像，构成训练样本集，如图3所示，记为I，转入步骤2。
步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息。
高鲁棒性静脉图像分割模型的构建方法如下：
S2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像G(x,y)：
式中，μ为5×5滑动窗口的均值，σ2为5×5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，I(x,y)为输入的静脉图像。
S2.2，利用4个方向的谷型运算子对去噪后的静脉图像G(x，y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(2)所示：
G′(x，y)＝Max{F1(x，y)，F2(x，y)，F3(x，y)，F4(x，y)} (2)
式中，F1(x，y)，F2(x，y)，F3(x，y)，F4(x，y)分别对应表示经过45°、135°、水平方向和竖直方向谷型运算子增强后的静脉图像，G′(x，y)为融合后的静脉增强图像；
S2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：
式中，Gmean为5×5滑动窗口的均值，G″(x，y)为处理后的静脉图像；
S2.4，通过式(4)判断每个像素值的分割阈值，具体如下：
式中，T(x，y)为静脉图像中像素点(x，y)的分割阈值，Avg(x，y)为41×41滑动窗口的均值，其值为
g(x，y)为像素点(x，y)的梯度值，Rg为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数
其中，Gra(x，y)为41×41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；
S2.5，将G″(x，y)中每个像素值与分割阈值T(x，y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。
转入步骤3。
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征。
静脉形状编码器和静脉形状生成器的网络框架构建如下：
静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Sigmoid激活函数。
多尺度注意力残差模块的构建方法如下：
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征。通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合，得到多尺度融合特征。
多尺度特征融合模块具体表示如下，使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(5)所示：
其中，I为输入静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
是指输出的
尺度的深度特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(6)所示：
其中，
为
当k＝1时对应的值。
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(7)所示：
其中，Z是所提出的多尺度融合连接之后的卷积块输出，F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(8)所示：
Z＝SE(Z) (8)
其中，Z表示第二个多尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将输入的图像与通道注意力机制SE输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
MSARB_out＝Res(I，Z′) (9)
其中，I是静脉训练样本集，MSARB_out表示多尺度注意力残差模块的输出，Res(·)为残差网络结构。
基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征的具体过程如下：
利用静脉形状编码器E2提取输入静脉图像I(x，y)的形状特征，上述过程如下表示：
ZS＝E2(I) (10)
其中，ZS为静脉图像I(x，y)的形状特征，E2为静脉形状编码器；随后将形状特征ZS输入到静脉形状生成器G2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器可以学习到静脉形状特征的表征能力，具体过程可由式(11)和式(12)表示：
I′S＝G2(ZS) (11)
其中，I′S为静脉形状生成器G2生成的预测静脉形状特征，IS为真实的静脉形状二值标签信息，WS和HS分别为形状二值标签图的宽度和高度，LS为静脉形状生成器的损失函数。
转入步骤4。
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；通过步骤3和步骤4完成静脉图像形状和纹理特征的解耦。
静脉纹理编码器和图像重建生成器的网络框架构建如下：
静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；图像重建生成器主要包含1个特征级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Tanh激活函数。
静脉训练样本的纹理特征获取过程如下：
利用静脉纹理编码器提取输入静脉图像I(x，y)的纹理特征，上述过程如下表示：
ZT＝E1(I) (13)
其中，ZT为静脉图像I(x，y)的纹理特征，E1为静脉纹理编码器；随后将形状特征ZS和纹理特征ZT进行级联，输入到图像重建生成器G1中，重建输入静脉图像，通过与真实的静脉图像进行比较，使得静脉纹理编码器可以学习到静脉纹理特征的表征能力，具体过程可由式(14)和式(15)所示：
I′＝G1(Concate(ZT，ZS)) (14)
LC＝|I-G1(Concate(ZT，ZS))|＝|I-I′| (15)
其中，I′为图像重建生成器G1生成的静脉图像，LC为重建损失函数，|·|表示为机器学习中常用的L1损失函数，Concate(·)表示特征级联操作。
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征，转入步骤6。
权值引导的静脉深度特征学习模块的网络结构如下：
首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度特征，随后输入分类层进行身份信息识别，如式(16)所示：
Zfusion＝Concate[a·ZT，(1-a)·ZS] (16)
其中，Zfusion为权值加权融合后的静脉深度特征，0≤a≤1；最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；最优权值系数a的值为0.4。
静脉深度特征学习模块的损失函数采用SoftMax，记为LR，则则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数Ltotal可由式(17)所示：
Ltotal＝λSLS+λCLC+λRLR (17)
其中，λS、λC和λR为平衡不同损失函数的超参数，分别被设置为1、1和0.5，LS为静脉形状生成器的损失函数，LC为图像重建生成器的损失函数。
转入步骤5。
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
步骤7、采集286个志愿者的右手手背静脉图像，每个志愿者采集10张图像，共采集2860张手背静脉图像，通过归一化处理，得到像素大小为256×256的2860张手背静脉图像，构成测试样本集，转入步骤8；
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
本发明方法在Nvidia Tesla V100 GPU主机上采用python编程语言和keras框架语言搭建网络框架进行相关实验。在多尺度特征融合模块中使用ReLU激活函数，在SE注意力机制中使用sigmoid激活函数。在网络训练的过程中，输入图像的大小被归一化为256×256。网络的学习率被设置为0.0001，权值衰减系数被设置为0.5。在静脉训练样本集上共训练100次，得到静脉图像识别模型。
为了更好地评估本发明所提出的基于特征解耦网络的手部静脉识别方法的有效性，本节选取卷积神经网络(CNN)、双通道卷积神经网络(TCCNN)、结构生长引导的深度卷积神经网络(SGDCNN)、高判别静脉识别模型(DVR)、先验知识引导的深度置信网络(DBN)、多感受野双线性卷积神经网络(MRF-BCNN)、手指静脉识别和仿冒攻击统一网络(FVRAS-Net)和联合注意力网络[(JAN)等八种基于深度特征的手部静脉识别模型作为对比算法，在采集的手背静脉图像数据库上设计了对比实验。
在采集的的手背静脉图像数据库上，八种手部静脉识别对比模型的详细实验结果如表1所示，构建的ROC曲线如图5所示。由表1可知，本发明提出的一种基于特征解耦网络的手部静脉识别模型取得的识别率分别为99.02％，均高于其他八种基于深度特征的手部静脉识别模型的识别率，则可以有效表明本发明所提出的静脉识别模型具有优异的性能。此外，由图4可知，相比较八种基于深度特征的手部静脉识别模型的ROC曲线，本发明提出的一种基于特征解耦网络的静脉识别模型取得了最好的实验结果，进而证明了所设计算法的有效性。
表1在采集的手背静脉图像数据库上八种基于深度特征的静脉识别模型的实验结果
| 模型 | 识别率(％) |
| CNN | 88.05 |
| SGDCNN | 89.73 |
| TCCNN | 96.16 |
| DBN | 96.40 |
| DVR | 97.52 |
| FVRAS-Net | 97.59 |
| MRF-BCNN | 98.27 |
| JAN | 98.58 |
| 本发明算法 | 99.02 |
综上所述，本发明能减少了纹理信息中光照信息对于静脉深度特征表示能力的影响，增强了静脉纹理特征和形状特征的融合效果，提高了静脉识别方法的性能。
Claims (3)
1.一种基于特征解耦网络的静脉识别方法，其特征在于，包括以下步骤：
步骤1、采集A个志愿者的右手手背静脉图像，10＜A＜1000，每个志愿者采集B张图像，10＜B＜1000，共采集N张手背静脉图像，N＝AB，100＜N＜1000000，通过归一化处理，得到像素大小为h×w的N张手背静脉图像，构成训练样本集，记为I，转入步骤2；
步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息，转入步骤3；
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征：
静脉形状编码器和静脉形状生成器的网络框架构建如下：
静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Sigmoid激活函数；
多尺度注意力残差模块构建方法如下：
通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到多尺度融合特征；利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块；
基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征，具体如下：
利用静脉形状编码器E2提取输入的静脉图像I(x,y)的形状特征，上述过程如下表示：
ZS＝E2(I) (11)
其中，ZS为静脉图像I(x,y)的形状特征，E2为静脉形状编码器；随后将形状特征ZS输入到静脉形状生成器G2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器学习到静脉形状特征的表征能力，具体过程由式(12)和式(13)表示：
I'S＝G2(ZS) (12)
其中，I'S为静脉形状生成器G2生成的预测静脉形状特征，IS为真实的静脉形状二值标签信息，WS和HS分别为形状二值标签图的宽度和高度，LS为静脉形状生成器的损失函数；
转入步骤4；
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；完成静脉图像形状和纹理特征的解耦：
静脉纹理编码器和图像重建生成器的网络框架构建如下：
静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8×8的卷积层；图像重建生成器包含1个级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3×3的卷积层和1个Tanh激活函数；
静脉训练样本的纹理特征获取过程如下：
利用静脉纹理编码器提取输入静脉图像I(x,y)的纹理特征，上述过程如下表示：
ZT＝E1(I) (14)
其中，ZT为静脉图像I(x,y)的纹理特征，E1为静脉纹理编码器；随后将形状特征ZS和纹理特征ZT进行级联，输入到图像重建生成器G1中，重建输入静脉图像I(x,y)，通过与真实的静脉图像进行比较，使得静脉纹理编码器学习到静脉纹理特征的表征能力，具体过程由式(15)和式(16)所示：
I'＝G1(Concate(ZT,ZS)) (15)
LC＝|I-G1(Concate(ZT,ZS))|＝|I-I'| (16)
其中，I'为图像重建生成器G1生成的静脉图像，LC为重建损失函数，|·|表示为机器学习中的L1损失函数，Concate(·)表示特征级联操作；
转入步骤5；
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，获取用于静脉识别的高判别静脉深度特征：
权值引导的静脉深度特征学习模块的网络结构如下：
首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度特征，随后输入分类层进行身份信息识别，如式(17)所示：
Zfusion＝Concate[a·ZT,(1-a)·ZS] (17)
其中，zfusion为权值加权融合后的静脉深度特征，0≤a≤1；
最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；
静脉深度特征学习模块的损失函数采用SoftMax，记为LR，则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数Ltotal由式(18)所示：
Ltotal＝λSLS+λCLC+λRLR (18)
其中，λS、λC和λR为平衡不同损失函数的超参数，LS为静脉形状生成器的损失函数，LC为图像重建生成器的损失函数；
转入步骤6；
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7；
步骤7、采集P个志愿者的右手手背静脉图像，10＜P＜1000，每个志愿者采集Q张图像，10＜Q＜1000，共采集M张手背静脉图像，M＝PQ，100＜M＜1000000，通过归一化处理，得到像素大小为h×w的M张手背静脉图像，构成测试样本集，转入步骤8；
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
2.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤2中，步骤2中，构建高鲁棒性静脉图像分割模型，具体如下：
S2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像G(x,y)：
式中，μ为5×5滑动窗口的均值，σ2为5×5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，I(x,y)为输入的静脉图像；
S2.2，利用4个方向的谷型运算子对去噪后的静脉图像G(x,y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(3)所示：
G'(x,y)＝Max{F1(x,y),F2(x,y),F3(x,y),F4(x,y)} (3)
式中，F1(x,y),F2(x,y),F3(x,y),F4(x,y)分别对应表示经过45°、135°、水平方向和竖直方向谷型运算子增强后的静脉图像，G'(x,y)为融合后的静脉增强图像；
S2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：
式中，Gmean为5×5滑动窗口的均值，G”(x,y)为处理后的静脉图像；
S2.4，通过式(5)判断每个像素值的分割阈值，具体如下：
式中，T(x,y)为静脉图像中像素点(x,y)的分割阈值，Avg(x,y)为41×41滑动窗口的均值，其值为
g(x,y)为像素点(x,y)的梯度值，Rg为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；其中，Gra(x,y)为41×41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；
S2.5，将G”(x,y)中每个像素值与分割阈值T(x,y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。
3.根据权利要求2所述的一种基于特征解耦网络的静脉识别方法，其特征在于，S2.2中，利用四种谷型运算子对去噪后的静脉图像G(x,y)进行静脉信息增强，具体如下：
Fn(x,y)＝G(x,y)*Vn,n＝1,2,3,4 (2)
其中，Fn(x,y)表示经过第n个谷型运算子增强后的静脉图像，Vn表示第n个谷型运算子，V1表示为45°谷型运算子，V2表示为135°谷型运算子，V3表示为水平方向谷型运算子，V4表示为竖直方向谷型运算子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211293367.8A CN115457611B (zh) | 2022-10-21 | 2022-10-21 | 一种基于特征解耦网络的静脉识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211293367.8A CN115457611B (zh) | 2022-10-21 | 2022-10-21 | 一种基于特征解耦网络的静脉识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115457611A CN115457611A (zh) | 2022-12-09 |
| CN115457611B true CN115457611B (zh) | 2023-04-21 |
Family
ID=84310269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211293367.8A Active CN115457611B (zh) | 2022-10-21 | 2022-10-21 | 一种基于特征解耦网络的静脉识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457611B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
| CN112288851A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于双支流网络的三维人脸建模方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971174B (zh) * | 2017-04-24 | 2020-05-22 | 华南理工大学 | 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法 |
| WO2019237191A1 (en) * | 2018-06-11 | 2019-12-19 | Socovar, Société En Commandite | System and method for determining coronal artery tissue type based on an oct image and using trained engines |
| CN110610475B (zh) * | 2019-07-07 | 2021-09-03 | 河北工业大学 | 一种深度卷积神经网络的视觉缺陷检测方法 |
| CN111739075B (zh) * | 2020-06-15 | 2024-02-06 | 大连理工大学 | 一种结合多尺度注意力的深层网络肺部纹理识别方法 |
| CN113076927B (zh) * | 2021-04-25 | 2023-02-14 | 华南理工大学 | 基于多源域迁移的指静脉识别方法及系统 |
| CN113689344B (zh) * | 2021-06-30 | 2022-05-27 | 中国矿业大学 | 基于特征解耦学习的低曝光图像增强方法 |
| CN114757864B (zh) * | 2022-04-21 | 2024-08-02 | 西安交通大学 | 一种基于多尺度特征解耦的多层级细粒度图像生成方法 |
-
2022
- 2022-10-21 CN CN202211293367.8A patent/CN115457611B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
| CN112288851A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于双支流网络的三维人脸建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115457611A (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232341B (zh) | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 | |
| CN111639719B (zh) | 基于时空运动和特征融合的足迹图像检索方法 | |
| CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
| CN108171318B (zh) | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| CN110309811A (zh) | 一种基于胶囊网络的高光谱图像分类方法 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN106919980A (zh) | 一种基于神经节分化的增量式目标识别系统 | |
| CN109242097B (zh) | 无监督学习的视觉表示学习系统及方法 | |
| CN114283120B (zh) | 一种基于领域自适应的端到端多源异质遥感影像变化检测方法 | |
| CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
| CN110599502A (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN111160392A (zh) | 一种基于小波宽度学习系统的高光谱分类方法 | |
| CN117196963A (zh) | 一种基于降噪自编码器的点云去噪方法 | |
| CN116486273B (zh) | 一种小样本遥感图像水体信息提取方法 | |
| CN117830835A (zh) | 一种基于深度学习的卫星遥感图像分割方法 | |
| CN108537266A (zh) | 一种深度卷积网络的织物纹理疵点分类方法 | |
| Cui et al. | Double-branch local context feature extraction network for hyperspectral image classification | |
| CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及系统 | |
| CN115457611B (zh) | 一种基于特征解耦网络的静脉识别方法 | |
| CN112330562A (zh) | 一种异构遥感图像变换方法及系统 | |
| CN112818978B (zh) | 基于多分辨自动编码器的光学符号识别方法 | |
| CN115035377A (zh) | 基于双流编码和交互解码的显著性检测网络系统 | |
| CN111461259B (zh) | 基于红黑形态小波池化网络的图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |