CN112507804A - 一种基于手部图像的身份识别方法 - Google Patents
一种基于手部图像的身份识别方法 Download PDFInfo
- Publication number
- CN112507804A CN112507804A CN202011286245.7A CN202011286245A CN112507804A CN 112507804 A CN112507804 A CN 112507804A CN 202011286245 A CN202011286245 A CN 202011286245A CN 112507804 A CN112507804 A CN 112507804A
- Authority
- CN
- China
- Prior art keywords
- image
- hand
- classifier
- fusion
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 description 30
- 210000003462 vein Anatomy 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 244000207740 Lemna minor Species 0.000 description 1
- 235000006439 Lemna minor Nutrition 0.000 description 1
- 235000001855 Portulaca oleracea Nutrition 0.000 description 1
- 244000277375 Raphia vinifera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229940034880 tencon Drugs 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于手部图像的身份识别方法，包括如下步骤：步骤1，建立基于SqueezeNet的双线性模型HandNet；步骤2，对于输入的手部图像，经过预处理获得去噪图IB和细节图ID，分别作为卷积神经网络的输入，训练基于SqueezeNet的双线性卷积神经网络模型；步骤3，将训练好的双线性卷积神经网络模型作为特征提取器，获取手部图像的深度特征；步骤4，将步骤3得到的手部图像的深度特征用于训练SVM分类器，设计权重融合分类结果，获得基于手部图像的身份识别率。
Description
技术领域
本发明涉及一种基于手部图像的身份识别方法。
背景技术
手部识别技术是以人的手部为基础，利用手部的特性来达到身份识别的目的。这些特征主要包括掌纹、指纹、手形、指节纹、手部静脉等(参考文献：闫雪萍.手部图像的生物特征检测与识别[D].西安:西安理工大学,2017.)。虽然人体手部的结构相对而言较简单，但是其本身具有强烈的多样性、多义性，且手部特征在个体成年后会保持相对的稳定，是很好的用于身份识别的生物特征。基于手部生物学特征进行身份识别属于图像分类的范畴，目前的主流方法主要有以下几种：基于人工设计的特征进行分类、基于编码获得图像相似度进行分类和基于结构的方法获得线条或点代替真实的手部图像进行分类等。人工特征主要有方向、纹理、细纹、频率等。通常通过构建准确性高且鲁棒性强的特征表示方法来提高识别率(参考文献：Fei L,Xu Y,Tang W,et al.Double-orientation code and nonlinearmatching scheme for palmprint recognition[J].Pattern Recognition,2016,49:89-101.Mu M,Ruan Q.Region covariance matrices as feature descriptors forpalmprint recognition using Gabor features[J].International Journal ofPattern Recognition and Artificial Intelligence,2011,25(04):513-528.)。基于编码的方式(参考文献：Kumar A,Shen H C.Palmprint identification using palmcodes[C].Third International Conference on Image and Graphics(ICIG'04).IEEE,2004:258-261.)使用0、1组成的二进制编码来表示纹线的二进制信息，在掌纹识别领域使用较为广泛。基于结构的算法通常依赖于特征点检测或边缘检测，常见的尺度不变特征变换(SIFT)、SURF算子等(参考文献：Ladoux P O,Rosenberger C,Dorizzi B.Palm veinverification system based on SIFT matching[C]International Conference onBiometrics.Springer,Berlin,Heidelberg,2009:1290-1298.李秀艳,刘铁根,邓仕超,等.基于SURF算子的快速手背静脉识别[J].仪器仪表学报,2011,32(4):831-836.)具有对尺度和旋转的不变性，可用于掌静脉、手背静脉的提取，再通过设计匹配规则来实现身份识别。这些传统图像处理方法在手部生物特征识别方面已取得了一定的效果，但这些方法通常较为繁琐，依赖于人工提取的特征，准确率受到限制。
近年来，随着计算机硬件的进步，基于卷积神经网络的图像处理技术被越来越多地运用于生物特征识别领域。深度学习以人工神经网络为基础(参考文献：Zeiler M D,Fergus R.Visualizing and understanding convolutional networks[C].Europeanconference on computer vision.Springer,Cham,2014:818-833.)，是近年来机器学习领域兴起的一个热门研究方向。这些深度模型不需要手工提取特征，而是通过大量数据的训练自动获取特征。在使用深度学习技术进行人手生物特征识别方面，袁丽莎等(参考文献：袁丽莎,娄梦莹,刘娅琴,等.结合深度神经网络和随机森林的手掌静脉分类[J].激光与光电子学进展,2019,56(10):101010.)提出了一种结合深度神经网络和随机森林的手掌静脉分类新方法，Zhong(参考文献：Zhong D,Shao H,Liu Y.Hand Dorsal Vein RecognitionBased on Deep Hash Network[C]Chinese Conference on Pattern Recognition andComputer Vision(PRCV).Springer,Cham,2018:26-37.)设计了一种端到端的深度哈希网络，实现了基于手背静脉的最佳分类效果。它将深度卷积神经网络和哈希编码相结合，将两张手部图片之间的相似度转换为哈希编码之间的相似度。使用汉明距离作为度量指标，来判断一对手部图片是否来自同一人。Jamal提出了一种基于手背近红外图的身份识别系统(参考文献：Tazim R J,Miah M M M,Surma S S,et al.Biometric Authentication UsingCNN Features of Dorsal Vein Pattern Extracted from NIR Image[C].TENCON 2018-2018IEEE Region 10Conference.IEEE,2018:1923-1927.)，设计算法获取了手背静脉的骨架线条，并使用基于AlexNet结构的卷积神经网络进行特征提取，使用支持向量机(SVM)进行身份验证，获得了96％以上的识别率。Matkowski[11]等人提出了一种在不受控制和不合作的环境下的掌纹识别方法。设计了端到端的网络来进行识别，其中包含一个采用非线性变换的对齐网络，特征提取网络和嵌入式ROI增强网络。此方法获得的高准确性表明使用深度学习方法可以基于图像实现不可控环境下身份的识别任务。在以上方法中，基于深度学习的方法对手部生物特征进行识别的研究大多基于手背静脉或手掌静脉。在图像预处理阶段，通常需要设计算法对感兴趣区域(Region Of Interest,ROI)进行提取，再通过图像变换送入卷积神经网络进行识别。这些操作不仅需要消耗计算资源，也会造成图像信息的损失。
发明内容
本发明方法提供了一种基于手部图像的身份识别方法，能够直接使用有标签的手部图像进行训练，并将训练好的网络作为特征提取器，提取不同手部图像的深度特征来训练SVM分类器并融合多个分类器的结果，实现了基于手部图像的身份识别功能，获得了准确率的提升。
本发明包括如下步骤：
步骤1，建立基于SqueezeNet的双线性模型HandNet；
步骤2，对于输入的手部图像，经过预处理获得去噪图IB和细节图ID，分别作为卷积神经网络的输入，训练基于SqueezeNet的双线性卷积神经网络模型；
步骤3，将训练号的双线性卷积神经网络模型作为特征提取器，获取手部图像的深度特征；
步骤4，将步骤3得到的手部图像的深度特征用于训练SVM分类器，设计权重融合分类结果，获得基于手部图像的身份识别率。
步骤1包括：基于SqueezeNet的双线性模型HandNet的结构包括图像预处理模块，双线性卷积神经网络特征提取模块和分类器模块；
其中，所述图像预处理模块用于对手部图像进行去噪处理；
所述双线性卷积神经网络特征提取模块用于获取手部图像的深度特征；
所述分类器模块用于对手部图像进行分类。
步骤2包括：使用图像预处理模块分别提取去噪图IB和细节图ID，IB由可见光图像I经过导向滤波获得，细节图ID由原图像与去噪图像的比值构成，如式(1)所示，其中ε为数值很小的常数，以保证等式分母不为零：
步骤2中，所述双线性卷积神经网络模型包括通道一和通道二，尺寸为227*227*3的输入图像，经过第一层卷积核大小为3*3的卷积层，得到尺寸为76*76*64的输出。接下来输入SqueezeNet中的八个Fire模块，每个Fire模块由1*1和3*3的小卷积核构成，在保证分类性能的同时，能够压缩网络大小。通道一在Fire模块后增加全连接层fCx_1，通道二在Fire模块后增加全连接层fCx_2。最后，使用融合层fC对fCx_1和fCx_2进行特征融合，得到融合特征。
步骤2中，使用级联融合的方式来构建融合层，融合层Yconcat将两个一维的特征向量进行串联，如公式(2)所示：
其中||为级联操作，A，B分别为全连接层fCx_1的特征向量和全连接层fCx_2的特征向量，W T为权值矩阵，b为偏差向量。
步骤4包括：对于K类问题，分别训练K个独立的SVM分类器，其中1类为正类，k-1类为负类，第k个分类器的输出ak(x)如公式(3)所示，其中w为SVM分类超平面法向量，x为输入参数：
ak(x)＝wTx (3)
预测标签为：
步骤4中，输入xj，得到实际输出yj＝ej(xj)时，对应分类器ej的加权p(D∈Cl|ej(xj)＝yj)如式(5)所示：
其中yj为分类器ej的输出；
为输入类别Cl时分类器的ej期望输出，M为分类器的总数，i为1到M之间的任一数字，c为常数。
有益效果：
本发明提出了一种基于人体手部图像的身份识别方法，该方法将手部图像高、低频信息提取任务、图像分类任务和不同分类器的决策融合任务结合到同一个模型中。使用轻量级卷积神经网络提取高低频图像的不同模态信息，训练多项式核函数SVM作为分类器，能够获得理想的身份识别效果。同时，加入近红外手部图像提取传统特征和卷积神经网络特征，设计融合策略后有效地提升了身份识别的准确率。本发明创新性地使用人体手部图像进行身份识别，后续有望应用于无法获得人脸图像的刑侦场合、医疗场合等，具有长远的应用价值。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是基于SqueezeNet的双线性模型HandNet结构示意图。
图2是fire模块中卷积核的构成方式示意图。
图3是分类模块示意图。
图4是手部数据库中处理后得到的图像。
图5是使用低频特征进行识别的ROC曲线示意图。
图6是使用融合特征进行识别的ROC曲线示意图。
图7是加入LBP特征进行识别的ROC曲线示意图。
图8是加入近红外图低频特征进行识别的ROC曲线示意图。
图9是基于手部图像进行身份识别的ROC曲线示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明提供了一种基于手部图像的身份识别方法，包括：
1、设计了一种基于SqueezeNet的双线性模型HandNet，该模型的结构如图1所示。对于输入的手部图像，经过图像预处理模块获得去噪图IB和细节图ID，分别作为卷积神经网络模块的输入，训练基于SqueezeNet的双线性卷积神经网络模型。该模型中，通道一和通道二分别由第一层卷积层Conv1和八个fire模块构成，即fire2到fire9。在通道一中，fire9后为全连接层fc8_1，维度为2048*1，再经过维度为531*1的全连接层fc9_1得到低频图的深度网络特征。在通道二中，fire9后为全连接层fc8_2和全连接层fc9_1，维度均为2048*1，再经过维度为531*1的全连接层fc10_1得到高频图的深度网络特征。融合层fc为维度1062*1的全连接层。经过对网络的训练，使用收敛后的模型作为特征提取器获得手部图像的深度特征，送入分类器模块训练分类器，设计权重融合分类结果，获得基于手部图像的身份识别率。
2、针对可见光条件下拍摄的手部图像存在的噪声多、边缘信息模糊，近红外图像静脉线条不清晰等问题，设计了一种图像预处理方法。
为了能够充分利用输入图像的信息，在预处理模块分别提取去噪图IB和细节图ID(参考文献：Matkowski WM,Chai T,Kong AWK.Palmprint Recognition in Uncontrolledand Uncooperative Environment.IEEE Transactions on Information Forensics andSecurity.2019.)。对于去噪操作，导向滤波器(参考文献：He K,Sun J,Tang X.Guidedimage filtering[C].European conference on computer vision.Springer,Berlin,Heidelberg,2010:1-14.)是一种常用的边缘保持滤波器，相比于双边滤波器(参考文献：Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C].International conference on computer vision.1998,98(1):2.)，在去噪时能够有效保留更多边缘信息。细节图由原图像与去噪图像的比值构成。如式(1)所示：
其中，IB是由可见光图像I经过导向滤波获得的去噪图，ε为数值很小的常数，以保证等式分母不为零。
3、基于SqueezeNet，设计了卷积神经网络模块。在双线性模型HandNet中，所选择的卷积神经网络结构对于最终的识别率有着重要的影响，也是决定模型泛化性和实用性的关键因素。对于身份识别任务，选择复杂的模型在获得高准确率的同时，需要消耗更多的计算资源和存储资源；也可能造成对训练集的过拟合，降低模型的泛化性能。因此，本发明采用了基于轻量级卷积神经网络SqueezeNet(参考文献：Iandola F N,Han S,Moskewicz MW,et al.SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and<0.5MBmodel size[J].arXiv preprint arXiv:1602.07360,2016.)的网络结构。与其他卷积神经网络相比，SqueezeNet的结构在保证分类准确率的前提下，包含更少的参数。使用小卷积核和较少的通道数构成fire模块，如图2所示。同时使用降采样后置的方法最大化分类准确率。
Fire模块中的squeeze层仅包含1*1卷积核，并通过ReLU激活函数送入expand层。对于ReLU函数来说，当输入x<0时，输出为0，当x>0时，输出为x。该激活函数使网络更快速地收敛。它不会饱和，即它可以对抗梯度消失问题，因此神经元至少在一半区域中不会把所有零进行反向传播。由于使用了简单的阈值化(thresholding)，ReLU计算效率很高。Expand层由1*1卷积核和3*3卷积核构成。在构造fire模块时，设置squeeze层卷积核数量小于expand层卷积核数量，从而减少输入通道的数量。在HandNet中，经过八个fire模块后，增加池化层和全连接层进行特征降维，同时增加Dropout层防止过拟合。
4、设计了特征融合策略来充分利用网络中不同层的信息，使得最终的联合特征表示优于单一形式的特征表示。在多特征深度网络结构中，特征层融合策略主要有平均融合层、级联融合层和最大值融合层(参考文献：Tiong L C O,Kim S T,Ro YM.Implementation of multimodal biometric recognition via multi-feature deeplearning networks and feature fusion[J].Multimedia Tools and Applications,2019:1-30.)。本发明使用了级联融合的方式来构建融合层。级联层Yconcat将两个一维的特征向量进行串联，如公式(2)所示：
其中||为级联操作，A，B为全连接层fCx_1和全连接层fCx_2的特征向量，WT为权值矩阵，b为偏差向量。经过不同层特征向量的级联，后续的层可以依据新建立的对应关系来区分特征，从而进一步优化分类结果。本发明所提出的双线性结构中的参数如表1所示。
表1
5、基于支持向量机(SVM)理论设计分类器模块。本发明所涉及的身份识别问题为多分类问题，对于基于二值分类问题设计的SVM，一般采用一对多的方式来构造多分类SVM。具体来说，对于K类问题，分别训练K个独立的SVM分类器，其中1类为正类，k-1类为负类。第k个分类器的输出为公式(3)所示，其中w为SVM分类超平面法向量，x为输入参数：
ak(x)＝wTx (3)
预测标签为：
文献Tang Y.Deep learning using linear support vector machines[J].arXiv preprint arXiv:1306.0239,2013.对比了运用深度学习方法进行分类问题时，使用L2损失函数的SVM分类器与softmax分类器的分类效果。在公开人脸数据集上的实验结果表明，深度网络加上多分类SVM分类器获得了比softmax分类器更低的分类错误率。基于此，本发明所提出的HandNet结构将使用深度特征训练多项式核SVM，以替代传统深度学习方法中采用的softmax分类器。
6、在分类器融合方面，使用了一种基于分类器输出向量来计算权重的算法。在本文提出的HandNet模型中，分别使用卷积神经网络提取了低频图像的深度特征、高频图像的深度特征和融合层的融合特征训练SVM分类器，得到不同的分类结果。为了充分利用不同特征之间的互补性，本发明采用加权融合法，对分类性能较好的分类器赋予更好的权重。本发明采用了基于分类器的输出向量来计算各分类器的加权算法(参考文献：赵谊虹,史习智.多分类器融合中一种新的加权算法[J].上海交通大学学报,2002,36(6):765-768.)，当yj＝ej(xj)时对应分类器ej的加权p(D∈Cl|ej(xj)＝yj)如式(5)所示：
其中，xj为分类器的输入，yj为分类器ej的输出；
为输入类别Cl时分类器的ej期望输出，c为常数。基于此融合规则可以得到各SVM分类器的权重，分类模块如图3所示。基于低频图像的深度特征训练得到分类器1；基于高频图像的深度特征训练得到分类器2；基于融合层深度网络特征训练得到分类器3；从细节图中提取传统LBP特征训练分类器，基于公式(5)的融合规则，训练得到分类器4；加入近红外模态的手部图像，训练得到分类器5。
在新加坡南洋理工大学的手部图像数据库上对本发明方法进行了验证。该数据集包含200位受试者共800张可见光图像与800张近红外图像，所有图像分两次采集，每个ID对应4张可见光图像与4张近红外图像，分别由JAI相机同步拍摄获得。对于所有手部图像，使用预处理模块提出的算法获得去噪图IB和细节图ID，再将图片裁剪为227*227像素，以适配HandNet的输入尺寸。如图4所示，其中a，e为来自数据集中的可见光图像，b，f为数据集中的近红外图像，c，g为经过预处理之后得到的去噪图像，d，h为处理后得到的细节图像。
考虑到本发明使用的数据集规模不大，为防止过拟合，将HandNet的原始特征提取模型在数据集11khands(参考文献：Afifi M.11K Hands:gender recognition andbiometric identification using a large dataset of hand images[J].MultimediaTools and Applications,2019,78(15):20835-20854.)上进行预训练，使用训练好的模型提取数据集中图像的深度特征来训练后续的SVM分类器，以达到更好的分类效果。该数据集包含来自190位年龄在18-75岁之间的受试者的11076张手图像。每个对象都有50幅不同形状的手背和手掌照片。所有模型均在MATLAB 2019a中使用
CPU E5-2620、32G RAM，NVIDIA GeForce GTX 1080Ti GPU，8G内存进行训练和测试。在CNN的训练过程中，设置训练批量大小为64，采用随机梯度下降(SGD)算法进行优化，设置动量大小为0.9。
在训练双线性模型HandNet时，首先分别对两个单线性模型进行训练，设置迭代次数为30个epoch，学习率为0.001，直到模型收敛。再对双线性卷积神经网络进行联合训练，此时可以基于收敛后的单线性模型进行微调，因此设置初始学习率λ为10-4，对于融合层fc设置学习率为0.002，经过10个epoch模型可以收敛。对于SVM分类器，选择多项式核函数并使用单数据迭代的方法进行优化。
为了评价模型的身份识别效果，在比较不同的分类模型时，使用准确率、受试者操作特征曲线(ROC曲线)和ROC曲线下面积(AUC)作为评价指标。ROC曲线是一种坐标图式的分析工具，用于衡量分类器的性能。X坐标为假阳性率(FPR)，Y坐标表示真阳性率(TPR)，其定义如公式(6)所示。基于AUC判断分类器优劣的标准为：当AUC＝1时，是完美的分类器，采用此分类器，至少存在一个阈值能够得出完美的预测，在绝大多数预测的场合，不存在完美的分类器；当AUC＝0.5时，分类器性能与随机预测一致；当0.5<AUC<1时，分类器性能优于随机预测，AUC越大，分类器性能越好。在求解ROC曲线下面积时，通常采用逼近法求近似值。
首先基于数据集中的可见光图像验证身份识别的效果。使用在数据集11khands上训练好的单线性模型通道1对去噪图IB进行特征提取，使用低频深度特征训练SVM分类器，最终获得的识别正确率为85.0％，ROC曲线如图5所示，AUC为0.98563。
加入HandNet中的第二个单线性模型通道2对图像预处理阶段获得的细节图ID进行特征提取，获得高频深度特征。从HandNet中的融合层fc提取融合深度特征。依据上文所采用的加权规则对这三个深度特征分别赋予权重，训练SVM分类器获得识别率为89.0％，ROC曲线如图6所示，AUC为0.99418。相比于单线性模型，准确率提升了11％，说明使用基于SqueezeNet的双线性模型能够充分利用图像中的低频信息(去噪图IB)与高频信息(细节图ID)，所采用的级联融合策略也提高了身份识别的准确率。
为了充分利用手部图像的局部纹理特征，对输入的高频图像ID进行LBP特征提取并训练SVM分类器，与基于深度特征训练的SVM分类器进行决策融合，最终获得了6.2％的识别正确率提升，达到94.5％，ROC曲线如图7所示，AUC为0.99520。
本文所使用的数据集包含了受试者同步拍摄的近红外手部图像，相比于可见光图像，近红外图像能够排除光照对拍摄对象的干扰，同时也包含了手背的静脉特征，是区别于可见光手部图像的另一种模式。为了提高模型身份识别的准确率，加入近红外手部图片的相关特征训练不同的分类器。对近红外图进行预处理，获得去噪后的图像IB-NIR，使用HandNet中的第一个单线性模型通道1对IB-NIR提取低频近红外特征。使用相同的参数训练SVM分类器，加入基于可见光手部图像的身份识别模型并更新SVM分类器的决策融合参数，最终得到96.5％的识别率，相比于基于可见光图像的模型，识别率上升2％，ROC曲线如图8所示，此时AUC为0.99937。
综合以上实验，各种分类器的准确率和AUC值如表2所示，所获得的所有ROC曲线如图9所示。图9中对比了本发明提出的算法与经典卷积神经网络VGG16和SqueezeNet的分类器性能。实验结果表明，本发明所提出的算法能够实现基于手部图像的身份识别任务。通过卷积神经网络提取深度特征、训练SVM进行分类的方法，使用本文设计的双线性模型可以充分利用图像所包含的信息来提升身份识别率，实现在有限数据上进行身份识别的功能。同时，实验结果也表明，在训练分类器时加入LBP特征描述子和手部近红外图的深度特征并设计融合策略融合多种模式，可以进一步提升模型的分类准确性。
表2
本发明提出了一种基于人体手部图像的身份识别方法，该方法将手部图像高、低频信息提取任务、图像分类任务和不同分类器的决策融合任务结合到同一个模型中。使用基于SqueezeNet的卷积神经网络提取全连接层深度特征和融合层特征，训练多项式核函数SVM作为分类器以解决小数据集上使用深度学习的局限性。同时，加入近红外手部图像的深度特征和高频图像的LBP特征训练SVM，设计融合策略后有效地提升了身份识别的准确率。此外，本发明所引入的手部近红外图像也可替换为其他图像(如手臂可见光图像、手掌图像等)，有望用来解决基于类内相似度较大的人体图像进行身份识别的问题。
本发明提供了一种基于手部图像的身份识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (7)
1.一种基于手部图像的身份识别方法，其特征在于，包括如下步骤：
步骤1，建立基于SqueezeNet的双线性模型HandNet；
步骤2，对于输入的手部图像，经过预处理获得去噪图IB和细节图ID，分别作为卷积神经网络的输入，训练基于SqueezeNet的双线性卷积神经网络模型；
步骤3，将训练号的双线性卷积神经网络模型作为特征提取器，获取手部图像的深度特征；
步骤4，将步骤3得到的手部图像的深度特征用于训练SVM分类器，设计权重融合分类结果，获得基于手部图像的身份识别率。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：基于SqueezeNet的双线性模型HandNet的结构包括图像预处理模块，双线性卷积神经网络特征提取模块和分类器模块；
其中，所述图像预处理模块用于对手部图像进行去噪处理；
所述双线性卷积神经网络特征提取模块用于获取手部图像的深度特征；
所述分类器模块用于对手部图像进行分类。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：使用图像预处理模块分别提取去噪图IB和细节图ID，IB由可见光图像I经过导向滤波获得，细节图ID由原图像与去噪图像的比值构成，如式(1)所示，其中ε常数：
4.根据权利要求3所述的方法，其特征在于，步骤2中，所述双线性卷积神经网络模型包括通道一和通道二，尺寸为227*227*3的输入图像，经过第一层卷积核大小为3*3的卷积层，得到尺寸为76*76*64的输出，接下来输入SqueezeNet中的八个Fire模块，每个Fire模块由1*1和3*3的小卷积核构成；通道一在Fire模块后增加全连接层fCx_1，通道二在Fire模块后增加全连接层fCx_2；最后，使用融合层fC对fCx_1和fCx_2进行特征融合，得到融合特征。
5.根据权利要求4所述的方法，其特征在于，步骤2中，使用级联融合的方式来构建融合层，融合层Yconcat将两个一维的特征向量进行串联，如公式(2)所示：
其中||为级联操作，A，B分别为全连接层fCx_1的特征向量和全连接层fCx_2的特征向量，WT为权值矩阵，b为偏差向量。
6.根据权利要求5所述的方法，其特征在于，步骤4包括：对于K类问题，分别训练K个独立的SVM分类器，其中1类为正类，k-1类为负类，第k个分类器的输出ak(x)如公式(3)所示，其中w为SVM分类超平面法向量，x为输入参数：
ak(x)＝wTx (3)
预测标签为：
7.根据权利要求6所述的方法，其特征在于，步骤4中，当输入xj，得到实际输出yj＝ej(xj)时，对应分类器ej的加权p(D∈Cl|ej(xj)＝yj)如式(5)所示：
其中yj为分类器ej的输出；
为输入类别Cl时分类器的ej期望输出，M为分类器的总数，i为1到M之间的任一数字，c为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011286245.7A CN112507804A (zh) | 2020-11-17 | 2020-11-17 | 一种基于手部图像的身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011286245.7A CN112507804A (zh) | 2020-11-17 | 2020-11-17 | 一种基于手部图像的身份识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112507804A true CN112507804A (zh) | 2021-03-16 |
Family
ID=74956476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011286245.7A Pending CN112507804A (zh) | 2020-11-17 | 2020-11-17 | 一种基于手部图像的身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507804A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421252A (zh) * | 2021-07-07 | 2021-09-21 | 南京思飞捷软件科技有限公司 | 基于改进的卷积神经网络的车身焊接缺陷实际检测方法 |
| CN114022914A (zh) * | 2021-11-11 | 2022-02-08 | 江苏理工学院 | 基于融合深度网络的掌纹识别方法 |
| CN114998950A (zh) * | 2022-08-01 | 2022-09-02 | 北京圣点云信息技术有限公司 | 一种基于深度学习的静脉加密与识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932505A (zh) * | 2018-07-25 | 2018-12-04 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110263659A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 |
-
2020
- 2020-11-17 CN CN202011286245.7A patent/CN112507804A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932505A (zh) * | 2018-07-25 | 2018-12-04 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110263659A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| LESLIE CHING OW TIONG 等: "Implementation of multimodal biometric recognition via multi-feature deep learning networks and feature fusion", MULTIMEDIA TOOLS AND APPLICATIONS, 24 April 2019 (2019-04-24), pages 1 - 30 * |
| MAHMOUD AFIFI: "11K Hands: Gender Recognition and Biometric Identication Using a Large Dataset of Hand Images", ARXIV:1711.04322V9 [CS.CV] 17 SEP 2018, 17 September 2018 (2018-09-17), pages 1 - 19 * |
| YICHUAN TANG: "Deep Learning using Linear Support Vector Machines", ARXIV:1306.0239V4 [CS.LG] 21 FEB 2015, 21 February 2015 (2015-02-21), pages 1 - 6 * |
| 赵谊虹 等: "多分类器融合中一种新的加权算法", 上海交通大学学报, vol. 36, no. 6, 30 June 2002 (2002-06-30), pages 765 - 768 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421252A (zh) * | 2021-07-07 | 2021-09-21 | 南京思飞捷软件科技有限公司 | 基于改进的卷积神经网络的车身焊接缺陷实际检测方法 |
| CN113421252B (zh) * | 2021-07-07 | 2024-04-19 | 南京思飞捷软件科技有限公司 | 一种基于改进的卷积神经网络的车身焊接缺陷的检测方法 |
| CN114022914A (zh) * | 2021-11-11 | 2022-02-08 | 江苏理工学院 | 基于融合深度网络的掌纹识别方法 |
| CN114998950A (zh) * | 2022-08-01 | 2022-09-02 | 北京圣点云信息技术有限公司 | 一种基于深度学习的静脉加密与识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507804A (zh) | 一种基于手部图像的身份识别方法 | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| Zhong et al. | Towards application of dorsal hand vein recognition under uncontrolled environment based on biometric graph matching | |
| Jalilian et al. | Enhanced segmentation-CNN based finger-vein recognition by joint training with automatically generated and manual labels | |
| Farsi et al. | Eye gaze detection based on learning automata by using SURF descriptor | |
| Al-Juboori et al. | Palm vein verification using multiple features and locality preserving projections | |
| Fanjiang et al. | Palm vein recognition based on convolutional neural network | |
| Tyagi et al. | Multimodal biometric system using deep learning based on face and finger vein fusion | |
| Muthusamy et al. | Steepest deep bipolar cascade correlation for finger-vein verification | |
| CN111325275A (zh) | 基于低秩二维局部鉴别图嵌入的鲁棒图像分类方法及装置 | |
| CN109523484B (zh) | 一种基于分形特征的手指静脉血管网络修复方法 | |
| Zhao et al. | Curvature gray feature decomposition based finger vein recognition with an improved convolutional neural network | |
| Al-Juboori et al. | Biometric authentication system based on palm vein | |
| Nanni et al. | Ensemble of multiple palmprint representation | |
| Fang et al. | Deep belief network based finger vein recognition using histograms of uniform local binary patterns of curvature gray images | |
| Latha et al. | A robust person authentication system based on score level fusion of left and right irises and retinal features | |
| Gona et al. | Multimodal biometric reorganization system using deep learning convolutional neural network | |
| Malhotra et al. | Learning representations for unconstrained fingerprint recognition | |
| Zhao et al. | Finger Vein Recognition Scheme Based on Convolutional Neural Network Using Curvature Gray Image. | |
| Eladlani et al. | On the Use of Convolutional Neural Networks for Palm Vein Recognition | |
| CN115984906A (zh) | 掌纹图像识别方法、装置、设备及存储介质 | |
| Angadi et al. | User identification using wavelet features of hand geometry graph | |
| Johnson et al. | Multimodal biometric identification based on overlapped fingerprints, palm prints, and finger knuckles using BM-KMA and CS-RBFNN techniques in forensic applications | |
| CN114998966A (zh) | 基于特征融合的人脸表情识别方法 | |
| Parasnis et al. | VerifNet-A Novel Score Fusion-Based Method Leveraging Wavelets with Deep Learning and Minutiae Matching for Contactless Fingerprint Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |