CN114821682A - 一种基于深度学习算法的多样本混合掌静脉识别方法 - Google Patents
一种基于深度学习算法的多样本混合掌静脉识别方法 Download PDFInfo
- Publication number
- CN114821682A CN114821682A CN202210754389.3A CN202210754389A CN114821682A CN 114821682 A CN114821682 A CN 114821682A CN 202210754389 A CN202210754389 A CN 202210754389A CN 114821682 A CN114821682 A CN 114821682A
- Authority
- CN
- China
- Prior art keywords
- image
- vein
- network
- features
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000008602 contraction Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 210000003811 finger Anatomy 0.000 claims description 8
- 210000000707 wrist Anatomy 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 241000282326 Felis catus Species 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 210000004932 little finger Anatomy 0.000 claims description 4
- 210000003813 thumb Anatomy 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习算法的多样本混合掌静脉识别方法及系统，方法包括以下步骤：S1、采集多波段的手掌静脉图像并进行预处理；S2、对预处理后的图像进行图像融合；S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；S4、基于掌静脉关键点截取最大化感兴趣区域；S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；S6、计算得到每张静脉特征图像与预设模板图像的汉明距离；S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，根据最终汉明距离大小判定手掌图像与模板图像是否匹配。本发明通实现了对具有区分性信息的静脉特征有效提取，同时提高了掌静脉识别的精度。
Description
技术领域
本发明涉及静脉识别技术领域，更具体地，涉及一种基于深度学习算法的多样本混合掌静脉识别方法及系统。
背景技术
手掌静脉识别是一种新颖的生物特征识别方法，具备很多独特优势，主要应用于公司和商业等部门的身份鉴别和验证系统中。人体的手掌静脉，是一种稳定且唯一的生物特征。静脉信息隐藏在表皮下，结构复杂很难被复制，手掌静脉识别是一种“活体识别”技术。手掌静脉识别的高安全性使其成为近年生物特征识别研究的新热点。
手掌静脉识别系统由图像采集、预处理、特征提取和特征匹配四个部分组成。由于手掌静脉的采集受多种因素的影响，使得采集的静脉图像中不仅包含着静脉而且包含着噪声和不规则的阴影，使得具有区分性信息的静脉特征很难被有效提取，从而导致识别精度的降低。
现有技术公开了一种基于改进残差网络的非接触式掌静脉识别方法，所述的非接触式掌静脉识别方法包括以下步骤：1）采集同一手掌的两张红外图像；2）定位手掌的ROI区域；3）掌静脉注册；4）掌静脉验证；5）掌静脉验证判定：设定识别阈值T，计算特征向量和注册模板的距离，若该距离小于设定的识别阈值T，则判定为该掌静脉验证成功，反之，验证失败；该方案在静脉特征提取不能无法克服噪声和不规则的阴影的影响，无法提取具有区分性信息的静脉特征。
发明内容
本发明提供一种基于深度学习算法的多样本混合掌静脉识别方法及系统，能够有效提取具有区分性信息的静脉特征，同时提高了掌静脉识别的精度。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明第一方面提供了一种基于深度学习算法的多样本混合掌静脉识别方法，包括以下步骤：
本发明第一方面提供了一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，包括以下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
S4、基于掌静脉关键点截取最大化感兴趣区域；
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
进一步的，所述采集多波段的手掌静脉图像即分别在波长760nm、810nm、850nm、940nm、960nm近红外光下分时采集手掌静脉图像，图像采集的帧率为120帧/秒；
所述预处理包括：灰度均衡化、非线性变换、旋转、空间域增强及频率域增强。
进一步的，步骤S2的具体过程为：
S201、将预处理后的图像输入至VGG16网络中，利用VGG16网络的多级特征提取模块提取5级深度图像特征，将5级深度图像特征输入至VGG16网络的相邻特征提取模块得到4级深度图像特征；
S202、将4级深度图像特征输入VGG16网络的权重归一化融合模块进行不同模态间特征的精确融合得到最终融合特征；
S203、将最终融合特征输入至VGG16网络的图像重构模块得到融合图像。
进一步的，VGG16网络每一个分支得到的每一级图像特征表示为：
其中，
表示第n(n=1,2,3,4,5)个分支得到的融合后的第r(r=1,2,3,4)级图像特征；cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
表示第n个分支中VGG16网络第r个相邻特征提取模块得到的图像特征，
表示第n个分支中VGG16网络第r+1个相邻特征提取模块得到的图像特征；
在步骤S202中特征融合的表达式为：
其中，cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
，
分别表示当前级的融合特征与前一级权重归一化融合模块的输出，
表示当前级权重归一化融合模块的输出；融合图像
的表达式为：
其中，conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数。
进一步的，步骤S3的具体过程为：
S301、对现有的深度信念网络进行全局训练，利用训练后的深度信念网络提取LBP纹理特征；
S302、利用图像的LBP纹理特征得到手掌图像的关键点类标值，识别出掌静脉的关键点;
S303、利用并行卷积神经网络对识别出的关键点进行精准定位，得到预定义关键点。进一步的，所述预定义关键点包括：每两根手指之间的凹点、每根手指根部中点、手腕两侧点、手腕中点、拇指根部外侧点及小指根部外侧点，将每两根手指之间的凹点、每根手指根部中点、手腕两侧点、手腕中点、食指根部外侧点、拇指根部外侧点及小指根部外侧点依次连线得到的封闭区域即为最大化感兴趣区域。
进一步的，利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉特征图像具体步骤为：
501、利用不同分割算法将手掌图像分割为静脉和背景，得到二值图像，使用二值图像中的像素值作为标签并进行二值图像融合得到标签图；
S502、构建M型生成对抗网络，利用得到的标签图对M型生成对抗网络进行训练；
S503、将最大化感兴趣区域输入至训练后的M型生成对抗网络提取出静脉特征图像。
进一步的，所述M型生成对抗网络包括生成网络和判别网络，其中，生成网络包括：收缩路径模块和扩展路径模块，所述收缩路径模块使用下采样的卷积核来提取图像特征，所述扩展路径模块采用上采样的方式使得到的特征图恢复到与原输入图像一样大小的尺寸，从而实现图像的分割，将下采样与上采样的特征图进行融合得到 2 通道的特征图谱，将2 通道的特征图谱经过归一化函数处理输出概率图；
所述判别网络包含一个卷积神经网络，所述卷积神经网络共有五个卷积层和一个全连接层，判别网络的输入为图像，输出是概率值，表示输入的图像是真实图像的概率值；
所述判别网络的损失函数如下公式所示：
其中，x表示输入的灰度图，y表示真实标签，K(x,y) 表示判别网络对真实图像判别为真的概率，G(x)表示生成的标签，
表示判别网络对生成图像判别为真的概率，
为真实图像和标签的联合概率分布的期望，
为灰度图像概率分布的期望；
汉明距离的计算公式为：
其中，将模板图像记为M,静脉特征图像记为N，静脉特征图像的长和宽分别为𝑥和𝑦，将注册图像M扩展为P，扩展后的长和宽分别2𝑤 + 𝑥, 2ℎ + 𝑦，d(P,N)表示静脉特征图像与模板图像的汉明距离，HamDis()表示两个模板之间的汉明距离，
表示归一化处理，其中，
表示2w窗口范围内移动的变量，
表示2h窗口范围内移动的变量，P的表达式为：
，
表示静脉特征图像长的取值，
表示静脉特征图像宽的取值，w和 h 表示模板匹配时纵向与横向扩展的程度。
进一步的，步骤S6通过特征搜索和匹配计算得到每张静脉特征图与预设模板图像的汉明距离，具体过程为：
S601、将静脉特征图像中的特征根据颗粒度大小分为三类，即：主要特征、次要特征、细节特征。先使用主要特征在预设模板图像库中进行遍历搜索，计算主要特征与预设模板图像之间的汉明距离，若汉明距离大于或等于第一阈值，则保存对应的模板图像作为第一轮搜索结果；
S602、使用次要特征在第一轮搜索结果中进行遍历搜索，计算次要特征与第一轮搜索结果中的模板图像之间的汉明距离，若匹配分数大于或等于第二阈值，则保存对应的模板图像作为第二轮搜索结果；
S603、使用细节特征在第二轮搜索结果中进行遍历搜索，计算细节特征与第二轮搜索结果中模板图像之间的汉明距离。
本发明第二方面提供了一种基于深度学习算法的多样本混合掌静脉识别系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于深度学习算法的多样本混合掌静脉识别方法程序，所述一种基于深度学习算法的多样本混合掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
S4、基于掌静脉关键点截取最大化感兴趣区域；
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过多波段图像采集、图像融合、手掌关键点定位和掌静脉图像的特征，实现了对具有区分性信息的静脉特征有效提取，同时提高了掌静脉识别的精度。
附图说明
图1为本发明实施例一种基于深度学习算法的多样本混合掌静脉识别方法流程图。
图2为本发明实施例手掌关键点示意图。
图3为本发明实施例M型生成对抗网络结果示意图。
图4为本发明实施例一种基于深度学习算法的多样本混合掌静脉识别系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，本发明第一方面提供了一种基于深度学习算法的多样本混合掌静脉识别方法，包括以下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
需要说明的是，所述采集多波段的手掌静脉图像即分别在波长760nm、810nm、850nm、940nm、960nm近红外光下分时采集手掌静脉图像，图像采集的帧率为120帧/秒。在一个具体的实施例中，检测到手掌靠近时，在CPU中利用毫秒定时器对红外灯进行控制，依次点亮不同波段的红外发射管，产生不同波段的红外光。红外光照射到手掌上之后，会产生静脉图案，此时控制高速摄像机对掌脉图案进行抓拍，得到相应的JPEG图片。
所述预处理包括：灰度均衡化、非线性变换、旋转、空间域增强、频率域增强。
需要说明的是，在一个具体的实施例中，预处理还可以包括平滑滤波，平滑滤波有线性、非线性滤波器两种。线性滤波器中大多具有低通特性，在修复噪声污染的图像时，也会模糊图像的边缘，将影响边缘检测的效果。非线性滤波器的原始数据与滤波结果是由逻辑运算得到的一种逻辑关系。图像边缘信息在使用非线性滤波器滤波时可以得到较好的保留。不仅如此，非线性滤波器可以在一定程度上解决线性滤波器平滑滤波后导致的图像模糊问题。所述非线性滤波包括：极大值滤波、中点滤波、中值滤波等。
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
具体过程为：
S201、将预处理后的图像输入至VGG16网络中，利用VGG16网络的多级特征提取模块提取5级深度图像特征，将5级深度图像特征输入至VGG16网络的相邻特征提取模块得到4级深度图像特征；
需要说明的是，相邻特征提取模块具有递增的感受野，提取到的特征也具有更大的相关性，得到包含丰富细节信息与上下文信息的图像特征。通过相邻特征提取模块可以得到4级深度图像特征，VGG16网络每一个分支得到的每一级图像特征表示为：
其中，
表示第n(n=1,2,3,4,5)个分支得到的融合后的第r(r=1,2,3,4)级图像特征；cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
表示第n个分支中VGG16网络第r个相邻特征提取模块得到的图像特征，
表示第n个分支中VGG16网络第r+1个相邻特征提取模块得到的图像特征。
S202、将4级深度图像特征输入VGG16网络的权重归一化融合模块进行不同模态间特征的精确融合得到最终融合特征；
需要说明的是，权重归一化融合模块能够根据不同模态特征的特点，学习得到能够凸显相应模态特征中重要信息的权重，通过该模块进行不同模态间特征的精确融合得到最终融合特征，特征融合的表达式为：
其中，cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
、
分别表示当前级的融合特征与前一级权重归一化融合模块的输出，
表示当前级权重归一化融合模块的输出。
S203、将最终融合特征输入至VGG16网络的图像重构模块得到融合图像。
需要说明的是，在图像重构模块中采用自顶向下的信息传递方式，将低层级的细节信息逐步注入到高层级的相对粗糙的特征中去，实现对融合特征进行由粗到精的逐级优化与重构。
具体的，通过定义一个卷积层（滤波器尺寸为 5×5，使用 ReLU 函数激活）实现融合图像的重构。 融合图像Yout可通过如下公式进行重构：
其中，conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数。
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
具体过程为：
S301、对现有的深度信念网络进行全局训练，利用训练后的深度信念网络提取LBP纹理特征；
S302、利用图像的LBP纹理特征得到手掌图像的关键点类标值，识别出掌静脉的关键点;
S303、利用并行卷积神经网络对识别出的关键点进行精准定位，得到预预定义关键点。
S4、基于掌静脉关键点截取最大化感兴趣区域。
需要说明的是，如图2所示，所述预定义关键点包括：每两根手指之间的凹点（点3、点6、点8、点10）、每根手指根部中点（点2、点5、点7、点9、点11）、手腕两侧点（点15、点13）、手腕中点（点14）、拇指根部外侧点（点1）、食指根部外侧点（点4）、小指根部外侧点（点12），将每两根手指之间的凹点、每根手指根部中点、手腕两侧点、手腕中点、拇指根部外侧点及小指根部外侧点依次连线得到的封闭区域即为最大化感兴趣区域。
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征。
具体步骤为：
501、利用不同分割算法将手掌图像分割为静脉和背景，得到二值图像，使用二值图像中的像素值作为标签并进行二值图像融合得到标签图；
需要说明的是，本发明使用的分割算法包括：重复线性跟踪法、Gabor 滤波法、Hessian phase 法以及最大曲率法，通过上述分割算法将手掌图像分割为静脉和背景，得到二值图像，使用二值图像中的像素值作为标签（黑色的背景为 0，白色的静脉为 1）并进行融合得到标签图，融合的公式如下：
其中，𝐾K取值4，lk(i,j)为分割后图像，L(i,j)表示得到的标签图。
S502、构建M型生成对抗网络，利用得到的标签图对M型生成对抗网络进行训练；
S503、将最大化感兴趣区域输入至训练后的M型生成对抗网络提取出静脉特征图像。
需要说明的是，生成对抗网络不同于一般的条件随机场等生成模型，它通过生成网络和判别网络的轮流训练学习到数据的分布。生成对抗网络在图像各领域中有着优异的表现。本发明使用基于M 型生成对抗网络的手掌静脉特征提取方法。
如图3所示，所述M型生成对抗网络包括生成网络和判别网络，在生成网络中，输入的是掌静脉灰度图，输出一张值为 0 到 1 的概率图，表示每个像素属于静脉的概率。在判别网络中，输入的是掌静脉灰度图像与二值图像构成的图像对，输出则是一个概率值，表示属于真实图像对的概率。
其中，生成网络包括两份：收缩路径模块和扩展路径模块，所述收缩路径模块使用下采样的卷积核来提取图像特征，所述扩展路径模块采用上采样的方式使得到的特征图恢复到与原输入图像一样大小的尺寸，从而实现图像的分割。、
在一个具体的实施例中，生成网络的输入的图像大小为128x128，在左边的收缩路径模块中，一共有5个卷积层。在每一个卷积层中，分别对其进行两次卷积，并使用 ReLU 激活函数。每一层卷积核的个数即通道数保持一致，每多一个卷积层，卷积核的个数则翻一倍，其卷积核的个数分别为32、64、128、256、512。每一个卷积层后面加上一个池化层，池化层中下采样的大小为 2x2。右边为扩展路径模块，与收缩路径模块正好相反，扩展路径模块是通过上采样将收缩路径模块获得的高维特征重构为与原图同样大小的特征图。扩展路径模块一共也有五层，每一层先通过上采样，将上一层的图像大小扩宽两倍，然后再经过卷积层对特征图进行卷积，每一层卷积核的个数是上一层卷积核个数的 1/2，分别为512、256、128、64、32。
将下采样与上采样的特征图进行融合得到 2 通道的特征图谱，将2 通道的特征图谱经过归一化函数处理输出概率图；
所述判别网络包含一个卷积神经网络，所述卷积神经网络共有五个卷积层和一个全连接层，判别网络的输入为图像，输出概率值，表示输入图像是真实图像的概率值；
其中，在判别网络中，若判别结果为 1，则是真实图像。如果判别结果为 0，则是生成网络生成的图像。判别网络的损失函数如下公式所示：
其中，x表示输入的灰度图，y表示真实标签，K(x,y) 表示判别网络对真实图像判别为真的概率，G(x)表示生成的标签，
表示判别网络对生成图像判别为真的概率，
为真实图像和标签的联合概率分布的期望，
为灰度图像概率分布的期望。
需要说明的是，通过本发明设置的M型生成对抗网络能够保证手掌静脉特征提取的准确性。
实施例2
基于上述步骤，本实施例详细阐述步骤S6计算汉明距离的具体过程。
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
具体过程为：
S601、将静脉特征图像中的特征根据颗粒度大小分为三类，即：主要特征、次要特征、细节特征。先使用主要特征在预设模板图像库中进行遍历搜索，计算主要特征与预设模板图像之间的汉明距离，若汉明距离大于或等于第一阈值，则保存对应的模板图像作为第一轮搜索结果；
S602、使用次要特征在第一轮搜索结果中进行遍历搜索，计算次要特征与第一轮搜索结果中的模板图像之间的汉明距离，若匹配分数大于或等于第二阈值，则保存对应的模板图像作为第二轮搜索结果；
S603、使用细节特征在第二轮搜索结果中进行遍历搜索，计算细节特征与第二轮搜索结果中模板图像之间的汉明距离。
汉明距离的计算公式为：
其中，将模板图像记为M,静脉特征图像记为N，静脉特征图像的长和宽分别为𝑥和𝑦，将注册图像M扩展为P，扩展后的长和宽分别2𝑤 + 𝑥, 2ℎ + 𝑦，d(P,N)表示静脉特征图像与模板图像的汉明距离，HamDis()表示两个模板之间的汉明距离，
表示归一化处理，其中，
表示2w窗口范围内移动的变量，
表示2h窗口范围内移动的变量，P的表达式为：
，
表示静脉特征图像长的取值，
表示静脉特征图像宽的取值，w和 h 表示模板匹配时纵向与横向扩展的程度。
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
需要说明的是，在一个具体的实施例中，由于不同波段对手掌静脉图案成像影响不同，设置不同的融合权重；根据工程实践经验，如在760nm、810nm、850nm、940nm、960nm不同波段下分别设置的权重为0.15、0.20、0.33、0.25、0.07。
实施例3
如图4所示，本发明第二方面提供了一种基于深度学习算法的多样本混合掌静脉识别系统，该系统包括：存储器、处理器，所述存储器中包括一种基于深度学习算法的多样本混合掌静脉识别方法程序，所述一种基于深度学习算法的多样本混合掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
S4、基于掌静脉关键点截取最大化感兴趣区域；
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，包括以下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
S4、基于掌静脉关键点截取最大化感兴趣区域；
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
2.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，所述采集多波段的手掌静脉图像即分别在波长760nm、810nm、850nm、940nm、960nm近红外光下分时采集手掌静脉图像，图像采集的帧率为120帧/秒；
所述预处理包括：灰度均衡化、非线性变换、旋转、空间域增强及频率域增强。
3.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，步骤S2的具体过程为：
S201、将预处理后的图像输入至VGG16网络中，利用VGG16网络的多级特征提取模块提取5级深度图像特征，将5级深度图像特征输入至VGG16网络的相邻特征提取模块得到4级深度图像特征；
S202、将4级深度图像特征输入VGG16网络的权重归一化融合模块进行不同模态间特征的精确融合得到最终融合特征；
S203、将最终融合特征输入至VGG16网络的图像重构模块得到融合图像。
4.根据权利要求3所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，VGG16网络每一个分支得到的每一级图像特征表示为：
其中，
表示第n(n=1,2,3,4,5)个分支得到的融合后的第r(r=1,2,3,4)级图像特征；cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
表示第n个分支中VGG16网络第r个相邻特征提取模块得到的图像特征，
表示第n个分支中VGG16网络第r+1个相邻特征提取模块得到的图像特征；
在步骤S202中特征融合的表达式为：
其中，cat()表示级联操作；conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数；
，
分别表示当前级的融合特征与前一级权重归一化融合模块的输出，
表示当前级权重归一化融合模块的输出；融合图像
的表达式为：
其中，conv()表示卷积操作；
表示滤波器的参数集；
表示神经网络的激活函数。
5.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，步骤S3的具体过程为：
S301、对现有的深度信念网络进行全局训练，利用训练后的深度信念网络提取LBP纹理特征；
S302、利用图像的LBP纹理特征得到手掌图像的关键点类标值，识别出掌静脉的关键点;
S303、利用并行卷积神经网络对识别出的关键点进行精准定位，得到预定义关键点。
6.根据权利要求5所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，所述预定义关键点包括：每两根手指之间的凹点、每根手指根部中点、手腕两侧点、手腕中点、拇指根部外侧点及小指根部外侧点，将每两根手指之间的凹点、每根手指根部中点、手腕两侧点、手腕中点、食指根部外侧点、拇指根部外侧点及小指根部外侧点依次连线得到的封闭区域即为最大化感兴趣区域。
7.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉特征图像具体步骤为：501、利用不同分割算法将手掌图像分割为静脉和背景，得到二值图像，使用二值图像中的像素值作为标签并进行二值图像融合得到标签图；
S502、构建M型生成对抗网络，利用得到的标签图对M型生成对抗网络进行训练；
S503、将最大化感兴趣区域输入至训练后的M型生成对抗网络提取出静脉特征图像。
8.根据权利要求7所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，所述M型生成对抗网络包括生成网络和判别网络，其中，生成网络包括：收缩路径模块和扩展路径模块，所述收缩路径模块使用下采样的卷积核来提取图像特征，所述扩展路径模块采用上采样的方式使得到的特征图恢复到与原输入图像一样大小的尺寸，从而实现图像的分割，将下采样与上采样的特征图进行融合得到 2 通道的特征图谱，将2 通道的特征图谱经过归一化函数处理输出概率图；
所述判别网络包含一个卷积神经网络，所述卷积神经网络共有五个卷积层和一个全连接层，判别网络的输入为图像，输出是概率值，表示输入的图像是真实图像的概率值；
所述判别网络的损失函数如下公式所示：
其中，x表示输入的灰度图，y表示真实标签，K(x,y) 表示判别网络对真实图像判别为真的概率，G(x)表示生成的标签，
表示判别网络对生成图像判别为真的概率，
为真实图像和标签的联合概率分布的期望，
为灰度图像概率分布的期望；
汉明距离的计算公式为：
其中，将模板图像记为M,静脉特征图像记为N，静脉特征图像的长和宽分别为𝑥和𝑦，将注册图像M扩展为P，扩展后的长和宽分别2𝑤 + 𝑥, 2ℎ + 𝑦，d(P,N)表示静脉特征图像与模板图像的汉明距离，HamDis()表示两个模板之间的汉明距离，
表示归一化处理，其中，
表示2w窗口范围内移动的变量，
表示2h窗口范围内移动的变量，P的表达式为：
，
表示静脉特征图像长的取值，
表示静脉特征图像宽的取值，w和 h 表示模板匹配时纵向与横向扩展的程度。
9.根据权利要求1所述的一种基于深度学习算法的多样本混合掌静脉识别方法，其特征在于，步骤S6通过特征搜索和匹配计算得到每张静脉特征图与预设模板图像的汉明距离，具体过程为：
S601、将静脉特征图像中的特征根据颗粒度大小分为三类，即：主要特征、次要特征、细节特征，先使用主要特征在预设模板图像库中进行遍历搜索，计算主要特征与预设模板图像之间的汉明距离，若汉明距离大于或等于第一阈值，则保存对应的模板图像作为第一轮搜索结果；
S602、使用次要特征在第一轮搜索结果中进行遍历搜索，计算次要特征与第一轮搜索结果中的模板图像之间的汉明距离，若匹配分数大于或等于第二阈值，则保存对应的模板图像作为第二轮搜索结果；
S603、使用细节特征在第二轮搜索结果中进行遍历搜索，计算细节特征与第二轮搜索结果中模板图像之间的汉明距离。
10.一种基于深度学习算法的多样本混合掌静脉识别系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于深度学习算法的多样本混合掌静脉识别方法程序，所述一种基于深度学习算法的多样本混合掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、采集多波段的手掌静脉图像并进行预处理；
S2、利用深度学习图像融合方法对预处理后的图像进行图像融合；
S3、利用深度学习图像关键点定位方法确定融合图像中的掌静脉关键点；
S4、基于掌静脉关键点截取最大化感兴趣区域；
S5、利用生成网络和判别网络从最大化感兴趣区域中提取静脉特征，得到静脉图像特征；
S6、通过特征搜索和匹配计算得到每张静脉特征图像与预设模板图像的汉明距离；
S7、将多波段下每张静脉特征图对应的汉明距离进行加权得到最终汉明距离，若最终汉明距离小于或等于预设阈值则当前判定手掌图像与模板图像匹配，若最终汉明距离大于预设阈值则当前判定手掌图像与模板图像不匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754389.3A CN114821682B (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习算法的多样本混合掌静脉识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754389.3A CN114821682B (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习算法的多样本混合掌静脉识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821682A true CN114821682A (zh) | 2022-07-29 |
| CN114821682B CN114821682B (zh) | 2022-09-23 |
Family
ID=82523263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210754389.3A Active CN114821682B (zh) | 2022-06-30 | 2022-06-30 | 一种基于深度学习算法的多样本混合掌静脉识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821682B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058727A (zh) * | 2023-07-18 | 2023-11-14 | 广州脉泽科技有限公司 | 一种基于图像增强的手部静脉图像识别方法及装置 |
| CN117218686A (zh) * | 2023-10-20 | 2023-12-12 | 广州脉泽科技有限公司 | 一种开放场景下的掌静脉roi提取方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120194662A1 (en) * | 2011-01-28 | 2012-08-02 | The Hong Kong Polytechnic University | Method and system for multispectral palmprint verification |
| CN107273844A (zh) * | 2017-06-12 | 2017-10-20 | 成都芯软科技股份公司 | 掌静脉识别匹配方法及装置 |
| CN109543535A (zh) * | 2018-10-23 | 2019-03-29 | 华南理工大学 | 三维指静脉特征提取方法及其匹配方法 |
| CN110298273A (zh) * | 2019-06-17 | 2019-10-01 | 深圳大学 | 一种基于多光谱图像的3d指静脉提取方法及系统 |
| CN111753804A (zh) * | 2020-07-07 | 2020-10-09 | 深兰盛视科技（苏州）有限公司 | 一种识别装置、采集装置、扣费装置及用于公共交通的非接触式生物识别系统 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
| CN112561846A (zh) * | 2020-12-23 | 2021-03-26 | 维沃移动通信有限公司 | 训练图像融合模型的方法、装置和电子设备 |
| CN113780201A (zh) * | 2021-09-15 | 2021-12-10 | 墨奇科技（北京）有限公司 | 手部图像的处理方法及装置、设备和介质 |
| WO2022027595A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳先进技术研究院 | 利用多尺度特征感知深度网络重建低剂量图像的方法 |
-
2022
- 2022-06-30 CN CN202210754389.3A patent/CN114821682B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120194662A1 (en) * | 2011-01-28 | 2012-08-02 | The Hong Kong Polytechnic University | Method and system for multispectral palmprint verification |
| CN107273844A (zh) * | 2017-06-12 | 2017-10-20 | 成都芯软科技股份公司 | 掌静脉识别匹配方法及装置 |
| CN109543535A (zh) * | 2018-10-23 | 2019-03-29 | 华南理工大学 | 三维指静脉特征提取方法及其匹配方法 |
| WO2020083407A1 (zh) * | 2018-10-23 | 2020-04-30 | 华南理工大学 | 三维指静脉特征提取方法及其匹配方法 |
| CN110298273A (zh) * | 2019-06-17 | 2019-10-01 | 深圳大学 | 一种基于多光谱图像的3d指静脉提取方法及系统 |
| CN111753804A (zh) * | 2020-07-07 | 2020-10-09 | 深兰盛视科技（苏州）有限公司 | 一种识别装置、采集装置、扣费装置及用于公共交通的非接触式生物识别系统 |
| WO2022027595A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳先进技术研究院 | 利用多尺度特征感知深度网络重建低剂量图像的方法 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
| CN112561846A (zh) * | 2020-12-23 | 2021-03-26 | 维沃移动通信有限公司 | 训练图像融合模型的方法、装置和电子设备 |
| CN113780201A (zh) * | 2021-09-15 | 2021-12-10 | 墨奇科技（北京）有限公司 | 手部图像的处理方法及装置、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| YIPING GAO ET AL.: "A generative adversarial network based deep learning method for low-quality defect image reconstruction and recognition", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 * |
| 张建峰: "手指静脉图像的分割与特征提取方法研究", 《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》 * |
| 王丽: "基于CNN的手指多模态融合识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058727A (zh) * | 2023-07-18 | 2023-11-14 | 广州脉泽科技有限公司 | 一种基于图像增强的手部静脉图像识别方法及装置 |
| CN117058727B (zh) * | 2023-07-18 | 2024-04-02 | 广州脉泽科技有限公司 | 一种基于图像增强的手部静脉图像识别方法及装置 |
| CN117218686A (zh) * | 2023-10-20 | 2023-12-12 | 广州脉泽科技有限公司 | 一种开放场景下的掌静脉roi提取方法及系统 |
| CN117218686B (zh) * | 2023-10-20 | 2024-03-29 | 广州脉泽科技有限公司 | 一种开放场景下的掌静脉roi提取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821682B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108009520B (zh) | 基于卷积变分自编码器网络的手指静脉识别方法及系统 | |
| CN114821682B (zh) | 一种基于深度学习算法的多样本混合掌静脉识别方法 | |
| CN109190566B (zh) | 一种融合局部编码与cnn模型手指静脉识别方法 | |
| Yang et al. | A survey of finger vein recognition | |
| CN109815850A (zh) | 基于深度学习的虹膜图像分割及定位方法、系统、装置 | |
| Wen et al. | Gcsba-net: Gabor-based and cascade squeeze bi-attention network for gland segmentation | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| Nehashree | Simulation and Performance Analysis of Feature Extraction and Matching Algorithms for Image Processing Applications | |
| CN115830652B (zh) | 一种深度掌纹识别装置及方法 | |
| Qin et al. | Finger-vein quality assessment based on deep features from grayscale and binary images | |
| Mehmood et al. | Palmprint enhancement network (PEN) for robust identification | |
| Silwal et al. | A novel deep learning system for facial feature extraction by fusing CNN and MB-LBP and using enhanced loss function | |
| Kartheek et al. | Radial mesh pattern: a handcrafted feature descriptor for facial expression recognition | |
| CN103942545A (zh) | 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置 | |
| Singh et al. | Fingerprint identification using modified capsule network | |
| Fang et al. | Deep belief network based finger vein recognition using histograms of uniform local binary patterns of curvature gray images | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| Malgheet et al. | Ms-net: Multi-segmentation network for the iris region using deep learning in an unconstrained environment | |
| CN115984906A (zh) | 掌纹图像识别方法、装置、设备及存储介质 | |
| Aiadi et al. | Fusion of deep and local gradient-based features for multimodal finger knuckle print identification | |
| Khiarak et al. | KartalOl: Transfer learning using deep neural network for iris segmentation and localization: New dataset for iris segmentation | |
| Mansour | Iris recognition using gauss laplace filter | |
| Vijay et al. | Multimodal biometric system using ear and palm vein recognition based on GwPeSOA: Multi-SVNN for security applications | |
| Neelima | Social ski driver-jaya optimization-enabled deep convolution neural network for signature verification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |