CN114022914B - 基于融合深度网络的掌纹识别方法 - Google Patents
基于融合深度网络的掌纹识别方法 Download PDFInfo
- Publication number
- CN114022914B CN114022914B CN202111330782.1A CN202111330782A CN114022914B CN 114022914 B CN114022914 B CN 114022914B CN 202111330782 A CN202111330782 A CN 202111330782A CN 114022914 B CN114022914 B CN 114022914B
- Authority
- CN
- China
- Prior art keywords
- palm print
- image
- cnn
- network model
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 22
- 230000004913 activation Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于融合深度网络的掌纹识别方法，方法步骤中包含：构建掌纹图像数据集及用于掌纹识别的M‑CNN网络模型；使用掌纹图像数据集对M‑CNN网络模型进行训练，根据训练结果对M‑CNN网络模型进行优化调整，保存训练完成的模型及权重，得到改进M‑CNN网络模型，并将输出的特征向量对应存入样本库内以用作后续匹配识别；使用改进M‑CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息。本发明可对掌纹身份进行高效、准确识别。
Description
技术领域
本发明涉及一种基于融合深度网络的掌纹识别方法。
背景技术
随着科学与技术的快速发展，全球对信息安全的重视程度日益增长。而作为信息安全领域重要的一环——身份实名认证，就显得尤为重要。传统的身份识别方法如密码、证件等已经跟不上社会发展的需要。人体生物特征由于其唯一性、普适性、安全性等优点成为未来身份认证的趋势。掌纹由于其具有唯一性和终生不变性的特点且具有丰富的用于身份认证的信息，掌纹图像采集也很方便，用户接受程度高，因此基于掌纹的身份识别具有相当大的价值与意义。
掌纹图像的特征提取对于掌纹图像的识别至关重要，现有的掌纹特征提取方法大多是基于纹理的特征提取方法、基于结构的特征提取方法、基于编码的特征提取方法以及基于子空间的特征提取方法等。但这些传统的方法都需要人为设计特征，计算量大，实现起来也比较复杂。
近年来深度学习在图像识别方面应用十分广泛，它具有很强的自学习能力能够自动提取特征，学习得到适合的特征提取器和分类器，算法结构及运算相当简洁，可迁移性强，对图像噪声的鲁棒性与泛化能力强，已经受到生物识别领域的青睐。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于融合深度网络的掌纹识别方法，它可对掌纹身份进行高效、准确识别。
为了解决上述技术问题，本发明的技术方案是：一种基于融合深度网络的掌纹识别方法，方法步骤中包含：
构建掌纹图像数据集及用于掌纹识别的M-CNN网络模型；
使用掌纹图像数据集对M-CNN网络模型进行训练，根据训练结果对M-CNN网络模型进行优化调整，保存训练完成的模型及权重，得到改进M-CNN网络模型，并将输出的特征向量对应存入样本库内以用作后续匹配识别；
使用改进M-CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息。
进一步，构建掌纹图像数据集的方法步骤中包含：
获得多个掌纹图像，定位得到掌纹感兴趣区域图像；
对掌纹感兴趣区域图像进行处理，并提取对应特征图；
对每张掌纹感兴趣区域图像和对应特征图进行身份信息的分类标记，获得带有身份信息的掌纹图像数据，多个掌纹图像数据形成掌纹图像数据集。
进一步，获得多个掌纹图像的方法步骤中包含：
使用公开的掌纹图像和/或使用图像采集设备拍摄掌纹图像。
进一步，对掌纹感兴趣区域图像进行处理的方法步骤中包含：
对掌纹感兴趣区域图像进行去噪、掌纹图像信息增强、灰度化、归一化及旋转。
进一步，通过改进圆形LBP算法提取处理后的掌纹感兴趣区域图像的对应特征图，改进圆形LBP算法为：
以所选像素点为圆心，在半径为R的圆形邻域内取P个采样点，通过式(1)计算每个采样点的坐标；
xp＝xc+R*cos(2πp/P)，yp＝yc-R*sin(2πp/P) (1)
其中，(xc，yc)为圆形邻域中心点，即所选像素点的坐标，(xp，yp)为圆形邻域内所取的第p个采样点的坐标；
通过式(2)计算以c点即所选圆形邻域中心点为中心点，2R-1个像素单位为边长的正方形邻域内所有像素点灰度值的均值
；
以式(3)中Mk的值作为c点新的基准灰度值，将每个采样点p的灰度值与其比较求出c点的LBP值，逐个选取圆形邻域内每个采样点作为起始基准点得到一系列LBP 值，取其最小值作为该所选圆形邻域中心点c点最终输出的LBP值；
其中，M(x，y)为正方形邻域内坐标为(x，y)的像素点的灰度值，Mp为圆形邻域内每个采样点的灰度值，M(x，y)和Mp通过双线性插值得到。
进一步，所述掌纹图像数据集被划分为训练集和测试集，使用训练集训练M-CNN网络模型，使用测试集测试。
进一步，根据训练结果对M-CNN网络模型进行优化调整的方法步骤中包含：
利用梯度下降法，迭代更新网络参数。
进一步，M-CNN网络模型包括用于提取掌纹图像关键点特征的M-CNN-1基于改进的残差网络分支和用于提取掌纹图像纹理特征的M-CNN-2卷积神经网络分支；其中，
掌纹图像数据集中的掌纹感兴趣区域图像用于训练M-CNN-1基于改进的残差网络分支；
掌纹图像数据集中的特征图用于训练M-CNN-2卷积神经网络分支。
进一步，M-CNN网络模型的工作方法包含：
M-CNN-1基于改进的残差网络分支的工作方法，调整输入的掌纹感兴趣区域图像的尺寸；对调整尺寸后的掌纹感兴趣区域图像依次进行初卷积、最大池化操作，获得特征层一；依次对特征层一的Block1层进行一次Conv Block和两次Identity Block操作、 Block2层进行一次Conv Block和三次Identity Block操作、Block3层进行一次Conv Block 和三次Identity Block操作、Block4层进行一次Conv Block和两次Identity Block操作，获得特征层二，将特征层二作为特征向量P1进行输出；
M-CNN-2卷积神经网络分支的工作方法，调整输入的特征图的尺寸；对调整尺寸后的特征图进行初卷积操作，获得特征层A；对特征层A依次进行最大池化、卷积、卷积、最大池化、卷积、卷积、最大池化操作，获得特征层B，将特征层B作为特征向量 P2进行输出；
将特征向量P1和特征向量P2串联拼接，并接入全连接层；
进一步，使用改进M-CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息的方法步骤中包含：
定位得到目标掌纹图像的目标掌纹感兴趣区域图像，对目标掌纹感兴趣区域图像进行处理，并提取对应目标特征图，得到目标掌纹图像数据；
将目标掌纹图像数据输入改进M-CNN网络模型，输出的特征向量P1和特征向量 P2经mean运算，flatten运算及全连接运算后接softmax与样本库匹配输出识别结果。
采用了上述技术方案后，本发明具有以下有益效果：
1、本发明在深度神经网络的基础上构建基于融合的深度神经网络模型，通过对网络模型进行训练，实现对人员掌纹的高效、准确识别；
2、对于掌纹图像关键点特征，本发明改进了深度残差网络，使其更适应掌纹图像的特点，通过学习残差保护了掌纹信息的完整性；对于掌纹图像纹理特征，采用改进圆形LBP算法提取特征图，在具有旋转不变性和灰度不变性等特点的同时在局部纹理窗口部分表现更佳，增强了图像抗干扰能力，提高了鲁棒性，本发明能够实现对掌纹的快速且高精准识别。
附图说明
图1为本发明的基于融合深度网络的掌纹识别方法的流程框图；
图2为本发明的基于融合深度网络的掌纹识别方法的网络结构图；
图3为本发明的基于融合深度网络的掌纹识别方法的M-CNN-1基于改进的残差网络分支的示意图；
图4为本发明的基于融合深度网络的掌纹识别方法的M-CNN-2卷积神经网络分支的示意图；
图5为本发明的基于融合深度网络的掌纹识别方法的Conv Block示意图；
图6为本发明的基于融合深度网络的掌纹识别方法的Identity Block示意图。
具体实施方式
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
如图1～6所示，一种基于融合深度网络的掌纹识别方法，方法步骤中包含：
步骤一：构建掌纹图像数据集；
步骤二：构建用于掌纹识别的M-CNN网络模型，M-CNN网络模型即融合卷积神经网络模型；
步骤三：使用掌纹图像数据集对M-CNN网络模型进行训练，利用梯度下降法，迭代更新网络参数，保存训练完成的模型及权重，得到改进M-CNN网络模型，并将输出的特征向量对应存入样本库内以用作后续匹配识别；
步骤四：使用改进M-CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息。
具体地，本发明在深度神经网络的基础上构建基于融合的深度神经网络模型，通过对网络模型进行训练，实现对人员掌纹的高效、准确识别。
在本实施例中，在步骤一中，构建掌纹图像数据集的方法步骤中包含：
使用公开的掌纹图像和/或使用图像采集设备拍摄掌纹图像，选取有效信息丰富的掌纹图像6000余张，选取的掌纹图像的张数不限于此，定位得到掌纹感兴趣区域图像，对这些掌纹感兴趣区域图像进行处理，包括去噪、掌纹图像信息增强、灰度化、归一化、旋转等，并通过改进圆形LBP算法提取处理后的掌纹感兴趣区域图像的对应特征图，对每张掌纹感兴趣区域图像和对应特征图进行身份信息的分类标记，获得带有身份信息的掌纹图像数据，多个掌纹图像数据形成掌纹图像数据集；
LBP即局部二值模式，改进圆形LBP算法为：
以所选像素点为圆心，在半径为R的圆形邻域内取P个采样点，通过式(1)计算每个采样点的坐标；
xp＝xc+R*cos(2πp/P)，yp＝yc-R*sin(2πp/P) (1)
其中，(xc，yc)为圆形邻域中心点，即所选像素点的坐标，(xp，yp)为圆形邻域内所取的第p个采样点的坐标；
通过式(2)计算以c点即所选圆形邻域中心点为中心点，2R-1个像素单位为边长的正方形邻域内所有像素点灰度值的均值
以式(3)中Mk的值作为c点新的基准灰度值，将每个采样点p的灰度值与其比较求出c点的LBP值，圆形LBP算法从圆形邻域内不同的采样点作为起始基准点最后获得的值不同，逐个选取圆形邻域内每个采样点作为起始基准点得到一系列LBP值，取其最小值作为该所选圆形邻域中心点c点最终输出的LBP值；
其中，M(x，y)为正方形邻域内坐标为(x，y)的像素点的灰度值，Mp为圆形邻域内每个采样点的灰度值，M(x，y)和Mp通过双线性插值得到。
在本实施例中，在步骤二中，M-CNN网络模型包括用于提取掌纹图像关键点特征的M-CNN-1基于改进的残差网络分支和用于提取掌纹图像纹理特征的M-CNN-2卷积神经网络分支；其中，
掌纹图像数据集中的掌纹感兴趣区域图像用于训练M-CNN-1基于改进的残差网络分支；
掌纹图像数据集中的特征图用于训练M-CNN-2卷积神经网络分支。
具体地，对于掌纹图像关键点特征，本发明改进了深度残差网络，使其更适应掌纹图像的特点，通过学习残差保护了掌纹信息的完整性；对于掌纹图像纹理特征，采用改进圆形LBP算法提取特征图，在具有旋转不变性和灰度不变性等特点的同时在局部纹理窗口部分表现更佳，增强了图像抗干扰能力，提高了鲁棒性，本发明能够实现对掌纹的快速且高精准识别。
对于M-CNN-1基于改进的残差网络分支，根据掌纹图像特点及网络优化调整输入掌纹感兴趣区域图像大小为224*224*3，削减了Block2层和Block3层的Identity Block层，减少了特征层的冗余，加快了识别特征的速度，在实时性上表现更佳，去除了最后的平均池化层直接输出P1接入全连接层，具体方法为：
(1)对输入的掌纹感兴趣区域图像的尺寸进行统一调整，根据掌纹图像特点调整输入掌纹感兴趣区域图像大小为224*224*3；
(2)对调整后的掌纹感兴趣区域图像进行初卷积操作，获得初步语义信息，卷积核大小为7×7，步长为2，padding设置为3，通道数为64，激活函数为RELU函数，获得的特征层大小为112*112*64；
(3)对112*112*64的特征层首先进行3*3最大池化下采样操作，卷积核大小为3 ×3，步长为2，padding设置为1，通道数为64，激活函数为RELU函数，获得的特征层大小为56*56*64；
(4)对56*56*64的特征层在Block1层进行一次Conv Block和两次Identity Block操作，Conv Block中一部分先后进行1×1，步长为1，输出通道为64的卷积、3×3，步长为1，输出通道为64的卷积、1×1，步长为1，输出通道为256的卷积；另一部分进行1×1，步长为1，输出通道为256的卷积；最后通过RELU激活函数输出特征层大小为56*56*256；两次Identity Block层先后进行1×1，步长为1，输出通道为64的卷积、3×3，步长为1，输出通道为64的卷积、1×1，步长为1，输出通道为256的卷积；最后通过RELU激活函数输出特征层大小为56*56*256；
(5)对56*56*256的特征层在Block2层进行一次Conv Block和三次IdentityBlock 操作，Conv Block中一部分先后进行1×1，步长为2，输出通道为128的卷积、3×3，步长为1，输出通道为128的卷积、1×1，步长为1，输出通道为512的卷积；另一部分进行1×1，步长为2，输出通道为512的卷积；最后通过RELU激活函数输出特征层大小为28*28*512；三次Identity Block层先后进行1×1，步长为1，输出通道为128的卷积、3×3，步长为1，输出通道为128的卷积、1×1，步长为1，输出通道为512的卷积；最后通过RELU激活函数输出特征层大小为28*28*512；
(6)对28*28*512的特征层在Block3层进行一次Conv Block和三次IdentityBlock 操作，Conv Block中一部分先后进行1×1，步长为2，输出通道为256的卷积、3×3，步长为1，输出通道为256的卷积、1×1，步长为1，输出通道为1024的卷积；另一部分进行1×1，步长为2，输出通道为256的卷积；最后通过RELU激活函数输出特征层大小为14*14*1024；三次Identity Block层先后进行1×1，步长为1，输出通道为256 的卷积、3×3，步长为1，输出通道为256的卷积、1×1，步长为1，输出通道为1024 的卷积；最后通过RELU激活函数输出特征层大小为14*14*1024；
(7)对14*14*1024的特征层在Block4层进行一次Conv Block和两次IdentityBlock 操作，Conv Block中一部分先后进行1×1，步长为2，输出通道为512的卷积、3×3，步长为1，输出通道为512的卷积、1×1，步长为1，输出通道为2048的卷积；另一部分进行1×1，步长为2，输出通道为256的卷积；最后通过RELU激活函数输出特征层大小为7*7*2048。两次Identity Block层先后进行1×1，步长为1，输出通道为512的卷积、3×3，步长为1，输出通道为512的卷积、1×1，步长为1，输出通道为2048的卷积；最后通过RELU激活函数输出特征层大小为7*7*2048，并将此7*7*2048的特征层作为有效特征向量P1进行输出；
对于M-CNN-2卷积神经网络分支：
(1)对输入特征图的尺寸进行统一调整，设置输入特征图尺寸大小为224*224*1；
(2)对调整后的特征图进行初卷积操作，获得初步语义信息，卷积核大小为5×5，步长为2，padding设置为2，通道数为64，激活函数为RELU函数，获得的特征层大小为112*112*64。
(3)对112*112*64的特征层进行最大池化下采样操作，卷积核大小为3×3，步长为2，激活函数为RELU函数，获得的特征层大小为56*56*64；
(4)对56*56*64的特征层进行卷积操作，卷积大小为5×5，步长为1，padding 设置为2，输出通道为256到大小为56*56*256的特征层；
(5)对56*56*256层进行卷积操作，卷积大小为3×3，步长为1，padding设置为 1，输出通道为512，得到特征层大小为56*56*512；
(6)对56*56*512的特征层进行最大池化下采样操作，卷积大小为3×3，步长为 2，激活函数为RELU函数，得到特征层大小为28*28*512；
(7)对28*28*512的特征层进行卷积操作，卷积大小为3×3，步长为2，padding 设置为1，输出通道为1024，得到特征层大小为14*14*1024；
(8)对14*14*1024的特征层进行卷积操作，卷积大小为3×3，步长为1，padding 设置为1，输出通道为2048，得到特征层大小为14*14*2048；
(9)对14*14*2048的特征层进行最大池化下采样操作，卷积核大小为3×3，步长为2，得到特征层大小为7*7*2048，并将此7*7*2048的特征层作为有效特征向量P2进行输出；
将特征向量P1与特征向量P2串联拼接接入全连接层，输出特征数据到样本库中。
在本实施例中，在步骤二中，对M-CNN网络模型网络模型参数初始化，具体包括：在每一次卷积之后、激活函数之前，使用BatchNorm。使用梯度下降法，损失函数使用 softmax交叉熵，迭代更新网络参数，直到网络的损失函数值小于设定阈值。在池化层采用最大值池化，激活函数为ReLu。
在本实施例中，在步骤三中，所述掌纹图像数据集被按照4：1的比例划分为训练集和测试集，使用训练集训练M-CNN网络模型，并测试集测试；根据实验结果进行优化调参，选择最优的网络模型保持训练完成的模型和权重，得到改进M-CNN网络模型。
在本实施例中，在步骤三中，将训练集中掌纹感兴趣区域图像输出的特征向量P1与对应的特征图输出的特征向量P2拼接串联为一个4096维的融合向量特征串联拼接接入下一层全连接层并将其存入样本库中用作后续匹配识别。
在本实施例中，在步骤四中，定位得到目标掌纹图像的目标掌纹感兴趣区域图像，对目标掌纹感兴趣区域图像进行处理，并提取对应目标特征图，得到目标掌纹图像数据；
将目标掌纹图像数据输入改进M-CNN网络模型，输出的特征向量P1和特征向量P2经mean运算，flatten运算及全连接运算后接softmax与样本库匹配输出识别结果。
以上所述的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于融合深度网络的掌纹识别方法，其特征在于，
方法步骤中包含：
构建掌纹图像数据集及用于掌纹识别的M-CNN网络模型；
使用掌纹图像数据集对M-CNN网络模型进行训练，根据训练结果对M-CNN网络模型进行优化调整，保存训练完成的模型及权重，得到改进M-CNN网络模型，并将输出的特征向量对应存入样本库内以用作后续匹配识别；
使用改进M-CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息；其中，
构建掌纹图像数据集的方法步骤中包含：
获得多个掌纹图像，定位得到掌纹感兴趣区域图像；
对掌纹感兴趣区域图像进行处理，并提取对应特征图；
对每张掌纹感兴趣区域图像和对应特征图进行身份信息的分类标记，获得带有身份信息的掌纹图像数据，多个掌纹图像数据形成掌纹图像数据集；
M-CNN网络模型包括用于提取掌纹图像关键点特征的M-CNN-1基于改进的残差网络分支和用于提取掌纹图像纹理特征的M-CNN-2卷积神经网络分支；其中，
掌纹图像数据集中的掌纹感兴趣区域图像用于训练M-CNN-1基于改进的残差网络分支；
掌纹图像数据集中的特征图用于训练M-CNN-2卷积神经网络分支；
M-CNN网络模型的工作方法包含：
M-CNN-1基于改进的残差网络分支的工作方法，调整输入的掌纹感兴趣区域图像的尺寸；对调整尺寸后的掌纹感兴趣区域图像依次进行初卷积、最大池化操作，获得特征层一；依次对特征层一的Block1层进行一次ConvBlock和两次IdentityBlock操作、Block2层进行一次ConvBlock和三次IdentityBlock操作、Block3层进行一次ConvBlock和三次IdentityBlock操作、Block4层进行一次ConvBlock和两次IdentityBlock操作，获得特征层二，将特征层二作为特征向量P1进行输出；
M-CNN-2卷积神经网络分支的工作方法，调整输入的特征图的尺寸；对调整尺寸后的特征图进行初卷积操作，获得特征层A；对特征层A依次进行最大池化、卷积、卷积、最大池化、卷积、卷积、最大池化操作，获得特征层B，将特征层B作为特征向量P2进行输出；
将特征向量P1和特征向量P2串联拼接，并接入全连接层。
2.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
获得多个掌纹图像的方法步骤中包含：
使用公开的掌纹图像和/或使用图像采集设备拍摄掌纹图像。
3.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
对掌纹感兴趣区域图像进行处理的方法步骤中包含：
对掌纹感兴趣区域图像进行去噪、掌纹图像信息增强、灰度化、归一化及旋转。
4.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
通过改进圆形LBP算法提取处理后的掌纹感兴趣区域图像的对应特征图，改进圆形LBP算法为：
以所选像素点为圆心，在半径为R的圆形邻域内取P个采样点，通过式(1)计算每个采样点的坐标；
xp＝xc+R*cos(2πp/P)，yp＝yc-R*sin(2πp/P) (1)
其中，(xc，yc)为圆形邻域中心点，即所选像素点的坐标，(xp，yp)为圆形邻域内所取的第ρ个采样点的坐标；
通过式(2)计算以c点即所选圆形邻域中心点为中心点，2R-1个像素单位为边长的正方形邻域内所有像素点灰度值的均值
以式(3)中Mk的值作为c点的基准灰度值，将每个采样点p的灰度值与其比较求出c点的LBP值，逐个选取圆形邻域内每个采样点作为起始基准点得到一系列LBP值，取其最小值作为该所选圆形邻域中心点c点最终输出的LBP值；
其中，M(x，y)为正方形邻域内坐标为(x，y)的像素点的灰度值，Mp为圆形邻域内每个采样点的灰度值，M(x，y)和Mp通过双线性插值得到。
5.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
所述掌纹图像数据集被划分为训练集和测试集，使用训练集训练M-CNN网络模型，使用测试集测试。
6.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
根据训练结果对M-CNN网络模型进行优化调整的方法步骤中包含：
利用梯度下降法，迭代更新网络参数。
7.根据权利要求1所述的基于融合深度网络的掌纹识别方法，其特征在于，
使用改进M-CNN网络模型对需要识别的目标掌纹图像进行检测匹配识别，获得识别目标身份信息的方法步骤中包含：
定位得到目标掌纹图像的目标掌纹感兴趣区域图像，对目标掌纹感兴趣区域图像进行处理，并提取对应目标特征图，得到目标掌纹图像数据；
将目标掌纹图像数据输入改进M-CNN网络模型，输出的特征向量P1和特征向量P2经mean运算，flatten运算及全连接运算后接softmax与样本库匹配输出识别结果。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111330782.1A CN114022914B (zh) | 2021-11-11 | 2021-11-11 | 基于融合深度网络的掌纹识别方法 |
| ZA2022/12046A ZA202212046B (en) | 2021-11-11 | 2022-11-04 | Palmprint recognition method based on fusion depth network |
| LU503034A LU503034B1 (en) | 2021-11-11 | 2022-11-10 | Palmprint Recognition Method Based on Fusion Depth Network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111330782.1A CN114022914B (zh) | 2021-11-11 | 2021-11-11 | 基于融合深度网络的掌纹识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022914A CN114022914A (zh) | 2022-02-08 |
| CN114022914B true CN114022914B (zh) | 2023-06-20 |
Family
ID=80063344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111330782.1A Active CN114022914B (zh) | 2021-11-11 | 2021-11-11 | 基于融合深度网络的掌纹识别方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN114022914B (zh) |
| LU (1) | LU503034B1 (zh) |
| ZA (1) | ZA202212046B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115314239A (zh) * | 2022-06-21 | 2022-11-08 | 中化学交通建设集团有限公司 | 基于多模型融合的隐匿恶意行为的分析方法和相关设备 |
| CN115690856B (zh) * | 2023-01-05 | 2023-03-17 | 青岛科技大学 | 基于特征融合的大鱼际掌纹识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839051B (zh) * | 2014-03-05 | 2017-07-21 | 华侨大学 | 基于2dpca和分区lbp的单样本静脉识别的方法 |
| CN105701513B (zh) * | 2016-01-14 | 2019-06-07 | 深圳市未来媒体技术研究院 | 快速提取掌纹感兴趣区域的方法 |
| CN107862249B (zh) * | 2017-10-18 | 2021-08-17 | 太原理工大学 | 一种分叉掌纹识别方法及装置 |
| CN109919993B (zh) * | 2019-03-12 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 视差图获取方法、装置和设备及控制系统 |
| CN112200124B (zh) * | 2020-10-26 | 2022-07-12 | 南昌航空大学 | 融合多任务软生物特征的深度网络掌纹识别方法及系统 |
| CN112507804A (zh) * | 2020-11-17 | 2021-03-16 | 南京航空航天大学 | 一种基于手部图像的身份识别方法 |
-
2021
- 2021-11-11 CN CN202111330782.1A patent/CN114022914B/zh active Active
-
2022
- 2022-11-04 ZA ZA2022/12046A patent/ZA202212046B/en unknown
- 2022-11-10 LU LU503034A patent/LU503034B1/en active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022914A (zh) | 2022-02-08 |
| LU503034B1 (en) | 2023-05-12 |
| ZA202212046B (en) | 2023-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059589B (zh) | 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法 | |
| CN109145745B (zh) | 一种遮挡情况下的人脸识别方法 | |
| CN114022914B (zh) | 基于融合深度网络的掌纹识别方法 | |
| CN110543822A (zh) | 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法 | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN103927532B (zh) | 基于笔画特征的笔迹配准方法 | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN108564040B (zh) | 一种基于深度卷积特征的指纹活性检测方法 | |
| CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
| CN109145704B (zh) | 一种基于人脸属性的人脸画像识别方法 | |
| CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
| CN113095156A (zh) | 一种基于逆灰度方式的双流网络签名鉴定方法及装置 | |
| CN114091545A (zh) | 基于深度残差收缩网络的辐射源个体识别方法及装置 | |
| Chen et al. | A finger vein recognition algorithm based on deep learning | |
| CN109285204B (zh) | 一种指纹与指静脉比特级融合的生物密钥生成方法 | |
| CN111428643A (zh) | 指静脉图像识别方法、装置、计算机设备及存储介质 | |
| CN116047418A (zh) | 基于小样本的多模态雷达有源欺骗干扰识别方法 | |
| Devakumar et al. | Forensic sketch to real image using dcgan | |
| CN106940786B (zh) | 一种基于lle和pso的使用虹膜模版的虹膜重构方法 | |
| CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
| CN113269136B (zh) | 一种基于triplet loss的离线签名验证方法 | |
| CN115795394A (zh) | 层级多模态和高级增量学习的生物特征融合身份识别方法 | |
| CN115797987A (zh) | 一种基于联合损失和卷积神经网络的指静脉识别方法 | |
| CN112733670B (zh) | 指纹特征提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |