CN109190566B - 一种融合局部编码与cnn模型手指静脉识别方法 - Google Patents

Abstract

一种基于融合局部编码与CNN模型的指静脉图像识别方法。其包括对指静脉图像进行ROI提取；采用基于加权对称局部图结构的编码算子对图像进行特征编码：得到重构后的编码卷积滤波器；建立改进的卷积神经网络模型；对指静脉ROI图像进行特征提取；对待匹配的指静脉ROI图像进行相似性度量等步骤。本发明提供的融合局部编码与CNN模型的指静脉图像识别方法不仅能够在一定程度上解决手指姿态多变的问题，具有良好的匹配效果，而且减少了网络模型可学习的参数数量，降低了学习代价，提高了匹配效率，在两个指静脉数据库上的实验结果均表明本方法具有一定的可行性。

Description

一种融合局部编码与CNN模型手指静脉识别方法

技术领域

本发明属于指静脉图像识别技术领域，特别是涉及一种融合局部编码与CNN模型的指静脉图像识别方法。

背景技术

随着计算机技术的快速发展和信息化时代的到来，传统的生物特征识别技术已经无法满足人们的需求，人们对身份识别技术的精度要求越来越高。与其他生物特征识别技术(如：人脸、指纹、虹膜和掌纹等)相比，指静脉具有活体性、唯一性、用户友好性和长期不变性等优点。另外，由于指静脉血管位于皮下，指静脉图像通常使用近红外光(NIR)下成像方式进行采集，因此指静脉具有非接触性，很难被复制和伪造。近年来，指静脉识别技术因其显著的优势已被广泛应用于各种领域，如：ATM认证，计算机登录、安检设置等。

由于现有的卷积神经网络模型可学习参数数量过多，从而导致网络模型学习代价较高，并且可能存在过拟合的问题。目前，人们通常采取直接减少神经网络结构的参数数量来减少学习成本，但是这可能会造成网络性能随之降低。近几年，基于局部编码的特征表达方法在光照不变性、特征描述能力和匹配效率等方面具有较大优势，并在指静脉识别上取得了较好的效果。因此现在人们希望利用局部编码和CNN模型相结合的方式进行指静脉图像识别。所以，探索一种对光照变化和手指姿态易变问题不敏感的鲁棒性的特征表达方法就成为研究中的关键问题。

发明内容

为了解决上述问题，本发明的目的在于提供一种融合局部编码与CNN模型的指静脉图像识别方法。

为了达到上述目的，本发明提供的融合局部编码与CNN模型的指静脉图像识别方法包括按顺序进行的下列步骤：

1)对所有采集的指静脉图像进行ROI提取而得到指静脉ROI图像，然后将指静脉ROI图像归一化为96*208，由此完成指静脉图像的预处理，得到预处理后的指静脉ROI图像；

2)采用基于加权对称局部图结构的编码算子对上述预处理后的指静脉图像进行特征编码，并得到该图像中中心像素点的特征值：

3)利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构LBP、LGS、WSLGS编码算子而得到三种重构后的编码卷积滤波器；

4)建立改进的卷积神经网络模型；

5)将步骤3)获得的重构后的编码卷积滤波器与步骤4)获得的CNN模型相结合，对上述预处理后的指静脉ROI图像进行特征提取，得到特征向量；

6)根据上述特征向量，采用支持向量机分类器或计算欧氏距离的特征匹配方法对待匹配的指静脉ROI图像进行相似性度量。

在步骤2)中，所述的采用基于加权对称局部图结构的编码算子对上述预处理后的指静脉图像进行特征编码，并得到该图像中中心像素点的特征值的具体方法如下：

首先，构建加权对称局部图结构，然后针对上述预处理后的指静脉图像中每一个中心像素点，在其周围左右对称的3*3邻域内各选取3个像素点，与中心像素点共同构成两个对称且中心像素点共用的正方形邻域；

然后，在右边的正方形邻域中，从中心像素点开始，按照图结构的方向两两比较四个像素点的灰度值；如果后一个像素点的灰度值比前一个像素点的灰度值大，那么这两个像素点之间的关系编码为1，否则，编码为0；之后，按照两两比较的顺序从大到小分配不同的权值；在左边的正方形邻域中进行同样的编码过程，并且给左右对称的像素点分配相同的权值；

最后，经过以上两步骤，一个中心像素点就能生成两个六位的二进制码，再根据式(3)、(4)将这两个六位的二进制码合成一个值作为该中心像素点的特征值：

其中，g_i和f_i分别表示右边的正方形邻域内两个待匹配像素点的灰度值，g_j和f_j分别表示左边的正方形邻域内两个待匹配像素点的灰度值，Feature表示中心像素点的特征值。

在步骤3)中，所述的利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构LBP、LGS、WSLGS编码算子而得到三种重构后的编码卷积滤波器的具体方法如下：

每一种编码算子都由一组稀疏二进制卷积滤波器组成；LBP、LGS、WSLGS编码算子分别通过使用预定义的线性权重，即权向量v＝[2⁷，2⁶，2⁵，2⁴，2³，2²，2¹，2⁰]，v1，v2＝[2⁵，2⁴，2³，2²，2¹，2⁰]，将二进制码串进行加权求和；因此，三种重构后的编码卷积滤波器分别表示为：

其中，x表示预处理后的指静脉ROI图像，b_i表示稀疏二进制卷积滤波器，σ为作为非线性激活函数的Heaviside阶跃函数。

在步骤4)中，所述的改进的卷积神经网络模型将保留AlexNet网络的前3个卷积层，后面接两个全连接层；其中第一层卷积层C1中的卷积核大小为11×11，输出96个特征图，然后使用ReLU函数激活并通过LRN层归一化局部响应，对归一化后的特征图使用3×3的最大池化方法进行下采样；第二层卷积层C2的卷积核大小为5×5，卷积核个数为128个；第三层卷积层C3的卷积核大小为3×3，输出384个特征图；后面为两个全连接层，全连接层F1的输出为一个4096维的特征向量，全连接层F2为softmax层，输出每一类所对应的概率。

在步骤5)中，所述的将步骤3)获得的重构后的编码卷积滤波器与步骤4)获得的CNN模型相结合，对上述预处理后的指静脉ROI图像进行特征提取，得到特征向量的具体方法如下：

步骤1、输入一张预处理后的指静脉ROI图像x_l，利用步骤3)中获得的m个预先定义的重构后的编码卷积滤波器b_i进行滤波，获得m个不同的滤波图；

步骤2、通过非线性激活函数将上述m个不同的滤波图生成m个位图，本发明使用sigmoid函数代替上述Heaviside阶梯函数：

步骤3、将上述m个位图通过权重v_i进行线性组合，即加权求和，得到特征编码图像x_l+1，并作为改进的CNN模型的输入；进一步从CNN模型的卷积层中自动学习更加抽象、有效的指静脉特征，最终从全连接层F1中输出一个特征向量，用于下一步骤的特征匹配。

在步骤6)中，所述的根据上述特征向量，采用支持向量机分类器或计算欧氏距离的特征匹配方法对待匹配的指静脉ROI图像进行相似性度量的具体方法如下：

支持向量机分类器的特征匹配方法是将所有待匹配的指静脉ROI图像按照步骤1)—步骤5)的方法进行处理而得到各自的特征向量，然后输入到SVM分类器中进行指静脉图像的分类；通过SVM分类器得到每一张待匹配的指静脉ROI图像的预测标签，根据预测标签就能够判定出该图像属于哪一类指静脉图像，再将预测标签和已知的实际标签进行比较，如果相同，则表示分类正确，如果不同，则表示分类错误；最后用测试准确率来表达两者比较的结果，测试准确率越高，则表示匹配效果越好；

计算欧氏距离的特征匹配方法是通过计算两幅待匹配的指静脉ROI图像的特征向量的欧氏距离，来判断这两幅指静脉ROI图像是否匹配，如式(10)所示。

式中：x和y分别表示两幅待匹配的指静脉ROI图像，x_i和y_i分别代表两幅待匹配的指静脉ROI图像的特征向量，L表示待匹配的指静脉ROI图像的特征向量维数；欧氏距离越小，匹配的可能性越大；若计算出的欧氏距离≤相似性决策阈值T，则表示这两幅指静脉ROI图像相似，即表示这两幅指静脉ROI图像匹配；若其欧氏距离>相似性决策阈值T，则判定这两幅指静脉ROI图像不匹配；相似性决策阈值T是指静脉ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所是对应的阈值点。

本发明提供的融合局部编码与CNN模型的指静脉图像识别方法不仅能够在一定程度上解决手指姿态多变的问题，具有良好的匹配效果，而且减少了网络模型可学习的参数数量，降低了学习代价，提高了匹配效率，在两个指静脉数据库上的实验结果均表明本方法具有一定的可行性。

附图说明

图1为传统LBP编码算子的特征编码过程示意图。

图2为传统LGS编码算子的特征编码过程示意图。

图3为本发明提出的WSLGS编码算子的结构示意图。

图4为本发明提出的WSLGS编码算子的特征编码过程示意图。

图5为传统LBP编码算子的重构过程示意图。

图6为传统LGS编码算子的重构过程示意图。

图7为本发明提出的WSLGS编码算子的重构过程示意图。

图8为LC-CNN模型示意图。

图9为在数据集2上不同模型的测试准确率。

图10为不同特征提取方法的ROC曲线，其中(a)为数据集1；(b)为数据集2。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于融合局部编码与CNN模型的指静脉图像识别方法进行详细说明。

本发明提供的基于融合局部编码与CNN模型的指静脉图像识别方法包括按顺序进行的下列步骤：

1)对所有采集的指静脉图像进行ROI(感兴趣区域)提取而得到指静脉ROI图像，然后将指静脉ROI图像归一化为96*208，由此完成指静脉图像的预处理，得到预处理后的指静脉ROI图像；

2)采用基于加权对称局部图结构的编码算子对上述预处理后的指静脉图像进行特征编码，并得到该图像中中心像素点的特征值：

考虑到指静脉图像可以通过不同的特征编码方法提取不同的局部特征，本步骤先介绍两种传统局部编码算子，然后在第二种传统局部编码算子的基础上提出了一种新的局部编码算子。

a)LBP编码算子

如图1所示，传统LBP(局部二值模式)编码算子的特征编码方法为通过比较指静脉图像中的中心像素点与周围邻域内像素点的像素值大小，形成一组二进制码串，然后对二进制码串进行加权求和，将该码串转化为十进制数而作为中心像素点的灰度值，进而提取出指静脉图像的局部纹理信息。将以上计算过程用公式表示为：

其中，(x_c,y_c)是中心像素点的坐标，i_n和i_c分别是第n个邻域像素点和中心像素点的灰度值，p是二进制码串的长度。

b)LGS编码算子

如图2所示，传统LGS编码算子的特征编码过程与LBP编码算子类似。然而，虽然LGS编码算子考虑了中心像素点与周围像素点间的关系，但是该算子为非对称的图结构，并且左边像素点的权重较大，这将导致提取的局部特征信息不均衡。另外，LGS编码算子包含了邻域像素点之间的冗余关系(比如图2中值为55和60的像素点)，如果这两个像素值不同，冗余关系互为补充，否则，冗余关系则相同。

c)WSLGS编码算子

考虑到指静脉图像中的纹理信息在图像上分布随机性强且复杂多变，为充分利用指静脉图像中像素点之间的局部信息和方向信息，本发明在LGS编码算子的基础上，提出了一种全新的基于加权对称局部图结构的编码算子，采用该基于加权对称局部图结构的编码算子对上述预处理后的指静脉图像进行特征编码，并得到该图像中中心像素点的特征值的具体方法如下：

首先，构建如图3所示的加权对称局部图结构(简称WSLGS)，然后针对上述预处理后的指静脉图像中每一个中心像素点，在其周围左右对称的3*3邻域内各选取3个像素点，与中心像素点共同构成两个对称且中心像素点共用的正方形邻域；

然后，如图4所示，在右边的正方形邻域中，从中心像素点开始，按照图结构的方向两两比较四个像素点的灰度值；如果后一个像素点的灰度值比前一个像素点的灰度值大，那么这两个像素点之间的关系编码为1，否则，编码为0。之后，按照两两比较的顺序从大到小分配不同的权值。在左边的正方形邻域中进行同样的编码过程，并且给左右对称的像素点分配相同的权值；

最后，经过以上两步骤，一个中心像素点就能生成两个六位的二进制码，再根据式(3)、(4)将这两个六位的二进制码合成一个值作为该中心像素点的特征值：

其中，g_i和f_i分别表示右边的正方形邻域内两个待匹配像素点的灰度值，g_j和f_j分别表示左边的正方形邻域内两个待匹配像素点的灰度值，Feature表示中心像素点的特征值。则：

Feature＝(000100)₂+(110110)₂＝(0×32+0×16+0×8+1×4+0×2+0×1)+(1×32+1×16+0×8+1×4+1×2+0×1＝4+54＝58。

基于WSLGS编码算子的特征编码方法在权值分配上，采用左右两侧对称像素点权值相同的方式进行加权，充分利用了图像梯度信息，特征表达更均衡，在光照不变性方面具有较好的鲁棒性。

3)利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构LBP、LGS、WSLGS编码算子而得到三种重构后的编码卷积滤波器；

由于步骤2)中阐述的三种编码算子均是通过使用一定大小的窗口重叠地扫描整个指静脉ROI图像，然后进行阈值处理，加权求和的过程。因此，在这三种编码算子的基础上，本步骤利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构这三种编码算子而得到三种重构后的编码卷积滤波器。

三种重构后的编码卷积滤波器分别如图5、6、7所示，每一种编码算子都由一组稀疏二进制卷积滤波器组成；LBP、LGS、WSLGS编码算子分别通过使用预定义的线性权重，即权向量v＝[2⁷，2⁶，2⁵，2⁴，2³，2²，2¹，2⁰]，v1，v2＝[2⁵，2⁴，2³，2²，2¹，2⁰]，将二进制码串进行加权求和；因此，三种重构后的编码卷积滤波器分别表示为：

其中，x表示预处理后的指静脉ROI图像，b_i表示稀疏二进制卷积滤波器，σ为作为非线性激活函数的Heaviside阶跃函数。

上述三种编码卷积滤波器均可由两个卷积层组成，第一卷积层中的权重是固定且不可学习的，第二卷积层中的加权求和相当于一个滤波器大小为1×1卷积操作。

4)建立改进的卷积神经网络模型

为了在保证神经网络性能的前提下进一步减少其参数数量，本发明建立一种改进的卷积神经网络(CNN)模型，该模型将保留AlexNet网络的前3个卷积层，后面接两个全连接层。

改进的CNN模型每一层详细的参数如表1所示。其中第一层卷积层C1中的卷积核大小为11×11，输出96个特征图，然后使用ReLU函数激活并通过LRN层归一化局部响应，对归一化后的特征图使用3×3的最大池化方法进行下采样。第二层卷积层C2的卷积核大小为5×5，卷积核个数为128个。第三层卷积层C3的卷积核大小为3×3，输出384个特征图。后面为两个全连接层，全连接层F1的输出为一个4096维的特征向量，全连接层F2为softmax层，输出每一类所对应的概率。

表1.改进的CNN模型参数

5)将步骤3)获得的重构后的编码卷积滤波器与步骤4)获得的CNN模型相结合(简称LC-CNN)，对上述预处理后的指静脉ROI图像进行特征提取，得到特征向量；

具体步骤如下：

步骤1、如图8所示，输入一张预处理后的指静脉ROI图像x_l，利用步骤3)中获得的m个预先定义的重构后的编码卷积滤波器b_i进行滤波，获得m个不同的滤波图；

步骤2、通过非线性激活函数将上述m个不同的滤波图生成m个位图，本发明使用sigmoid函数代替上述Heaviside阶梯函数：

步骤3、将上述m个位图通过权重v_i进行线性组合，即加权求和，得到特征编码图像x_l+1，并作为改进的CNN模型的输入；进一步从CNN模型的卷积层中自动学习更加抽象、有效的指静脉特征，最终从全连接层F1中输出一个特征向量，用于下一步骤的特征匹配；

6)根据上述特征向量，采用支持向量机(SVM)分类器或计算欧氏距离的特征匹配方法对待匹配的指静脉ROI图像进行相似性度量。

第一种特征匹配方法是将所有待匹配的指静脉ROI图像按照步骤1)—步骤5)的方法进行处理而得到各自的特征向量，然后输入到SVM分类器中进行指静脉图像的分类；通过SVM分类器得到每一张待匹配的指静脉ROI图像的预测标签，根据预测标签就能够判定出该图像属于哪一类指静脉图像，再将预测标签和已知的实际标签进行比较，如果相同，则表示分类正确，如果不同，则表示分类错误；最后用测试准确率来表达两者比较的结果，测试准确率越高，则表示匹配效果越好。本发明选择使用的评价性能指标为20次测试的平均测试准确率(Ave)和均方差(MSE)，公式如(8)和(9)所示：

式中，N表示总测试的次数，x_i为第i次的测试准确率，

为平均测试准确率，MSE代表模型稳定的程度，MSE越小，模型越稳定。

第二种特征匹配方法是通过计算两幅待匹配的指静脉ROI图像的特征向量的欧氏距离，来判断这两幅指静脉ROI图像是否匹配，如式(10)所示。

式中：x和y分别表示两幅待匹配的指静脉ROI图像，x_i和y_i分别代表两幅待匹配的指静脉ROI图像的特征向量，L表示待匹配的指静脉ROI图像的特征向量维数；欧氏距离越小，匹配的可能性越大；若计算出的欧氏距离≤相似性决策阈值T，则表示这两幅指静脉ROI图像相似，即表示这两幅指静脉ROI图像匹配；若其欧氏距离>相似性决策阈值T，则判定这两幅指静脉ROI图像不匹配。相似性决策阈值T是指静脉ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所是对应的阈值点。

本发明分别采用两个指静脉数据库中的指静脉图像进行了实验，一个为实验室自采集的指静脉图像库，其中包含500个不同个体，每个个体包含10幅指静脉图像。另一个为来自某大学公开的指静脉图像库，共636类图像，每类包含6张图像。本发明人从两个指静脉数据库中分别随机选取100个人的600幅指静脉图像(每个人6幅)组成本发明所用的第一数据库1和第二数据库2。实验环境为PC机，Matlab R2016a环境下完成。

为了避免训练过程中出现过拟合，本发明对两个数据库中的指静脉图像分别进行平移和旋转。其中，平移范围为[-3，+3]个像素点，旋转范围为[-3°，+3°]。利用上述扩展方式可以使指静脉图像的规模扩大20倍，由各自的所有指静脉图像各组成一个数据集。实验中，每个数据集都将按照7：3的比例随机地分为训练集和测试集。

第一，为了对改进后的CNN模型进行训练，本发明使用随机梯度下降算法(stochastic gradient descent,SGD)用于计算loss函数。进行微调后的模型参数为：批处理50张图像，批处理尺寸为32，CNN模型的学习率为0.0001。本部分直接将指静脉ROI图像输入到改进后的CNN模型中进行实验，得到两个数据集的识别准确率分别为98.64％和95.50％。数据集2的识别准确率较低，这是因为数据集2中的指静脉图像的光照和手指姿态变化更加明显。

第二，本部分在两个数据集上对比了三种局部编码算子(其中LC1、LC2、LC3分别表示LBP、LGS、WSLGS)下的卷积神经网络的识别性能，实验结果如图9和表2所示。

表2.不同模型的测试准确率和MSE

从表2中可以看出，不同编码算子下的卷积神经网络的识别性能不同。其中，LC1-CNN模型与LC2-CNN模型的平均测试准确率接近，但是前者均方差较小，表示LC1-CNN模型对光照和旋转具有鲁棒性，模型更加稳定。LC3-CNN模型的平均测试准确率在数据集1和数据集2上分别达到100％和98.78％，这是因为与只考虑半径为1的邻域像素点的LC1编码算子相比，LC3编码算子可以获取邻域更多的空间信息。另外，与LC2编码算子相比，LC3编码算子不仅考虑了中心像素点与周围像素点之间的关系，而且考虑了周围像素点之间的关系，均衡地提取了图像的局部梯度信息。以上三种编码算子的识别性能都优于直接输入改进后的CNN模型时的效果。

第三、将本发明所提出的WSLGS-CNN方法与CNN、传统编码方法(局部二进制模式LBP，对称局部图结构SLGS，加权对称局部图结构WSLGS)进行识别性能对比。在数据集1和数据集2上利用不同特征提取方法的ROC曲线如图10所示，不同编码方法下的等误率(EER)如表3所示。实验结果表明，本发明提出的WSLGS-CNN方法具有最低的等误率，识别性能最佳。另外，由于数据集1中的指静脉ROI图像的旋转和平移变化较小，所以使用传统WSLGS方法进行识别时也能达到较好的性能，使用本发明提出的WSLGS-CNN方法依然能够使EER降低到0.21％。在数据集2的指静脉图像识别中，本发明方法的识别性能优势更为明显，比传统LGS方法以及CNN方法的EER分别提升了5.54％和1.90％。进一步表明本发明提出的WSLG-CNN方法对光照和姿态变化都有较好的鲁棒性。

综上所示，本发明提出的WSLG-CNN特征编码方法不仅在一定程度上解决了手指姿态多变的问题，具有良好的匹配效果，而且提高了匹配效率，具有一定的可行性。

表3不同特征提取方法的等误率比较

Claims (5)

1.一种基于融合局部编码与CNN模型的指静脉图像识别方法，其特征在于：所述的指静脉图像识别方法包括按顺序进行的下列步骤：

1)对所有采集的指静脉图像进行ROI(感兴趣区域)提取而得到指静脉ROI图像，然后将指静脉ROI图像归一化为96*208，由此完成指静脉图像的预处理，得到预处理后的指静脉ROI图像；

2)采用基于加权对称局部图结构的编码算子对上述预处理后的指静脉ROI图像进行特征编码，并得到该图像中中心像素点的特征值；

3)利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构LBP、LGS、WSLGS编码算子而得到三种重构后的编码卷积滤波器；

4)建立改进的卷积神经网络模型；

5)将步骤3)获得的重构后的编码卷积滤波器与步骤4)获得的CNN模型相结合，对上述预处理后的指静脉ROI图像进行特征提取，得到特征向量；

6)根据上述特征向量，采用支持向量机分类器或计算欧氏距离的特征匹配方法对待匹配的指静脉ROI图像进行相似性度量；

在步骤2)中，所述的采用基于加权对称局部图结构的编码算子对上述预处理后的指静脉ROI图像进行特征编码，并得到该图像中中心像素点的特征值的具体方法如下：

首先，构建加权对称局部图结构，然后针对上述预处理后的指静脉ROI图像中每一个中心像素点，在其周围左右对称的3*3邻域内各选取3个像素点，与中心像素点共同构成两个对称且中心像素点共用的正方形邻域；

然后，在右边的正方形邻域中，从中心像素点开始，按照图结构的方向两两比较四个像素点的灰度值；如果后一个像素点的灰度值比前一个像素点的灰度值大，那么这两个像素点之间的关系编码为1，否则，编码为0；之后，按照两两比较的顺序从大到小分配不同的权值；在左边的正方形邻域中进行同样的编码过程，并且给左右对称的像素点分配相同的权值；

最后，经过以上两步骤，一个中心像素点就能生成两个六位的二进制码，再根据式(3)、(4)将这两个六位的二进制码合成一个值作为该中心像素点的特征值：

其中，g_i和f_i分别表示右边的正方形邻域内两个待匹配像素点的灰度值，g_j和f_j分别表示左边的正方形邻域内两个待匹配像素点的灰度值，Feature表示中心像素点的特征值。

2.根据权利要求1所述的基于融合局部编码与CNN模型的指静脉图像识别方法，其特征在于：在步骤3)中，所述的利用一组预定义的稀疏二进制卷积滤波器、非线性激活函数和线性权重来重构LBP、LGS、WSLGS编码算子而得到三种重构后的编码卷积滤波器的具体方法如下：

每一种编码算子都由一组稀疏二进制卷积滤波器组成；LBP、LGS、WSLGS编码算子分别通过使用预定义的线性权重，即权向量v＝[2⁷，2⁶，2⁵，2⁴，2³，2²，2¹，2⁰]，v1，v2＝[2⁵，2⁴，2³，2²，2¹，2⁰]，将二进制码串进行加权求和；因此，三种重构后的编码卷积滤波器分别表示为：

其中，x表示预处理后的指静脉ROI图像，b_i表示稀疏二进制卷积滤波器，σ为作为非线性激活函数的Heaviside阶跃函数。

3.根据权利要求1所述的基于融合局部编码与CNN模型的指静脉图像识别方法，其特征在于：在步骤4)中，所述的改进的卷积神经网络模型将保留AlexNet网络的前3个卷积层，后面接两个全连接层；其中第一层卷积层C1中的卷积核大小为11×11，输出96个特征图，然后使用ReLU函数激活并通过LRN层归一化局部响应，对归一化后的特征图使用3×3的最大池化方法进行下采样；第二层卷积层C2的卷积核大小为5×5，卷积核个数为128个；第三层卷积层C3的卷积核大小为3×3，输出384个特征图；后面为两个全连接层，全连接层F1的输出为一个4096维的特征向量，全连接层F2为softmax层，输出每一类所对应的概率。

4.根据权利要求2所述的基于融合局部编码与CNN模型的指静脉图像识别方法，其特征在于：在步骤5)中，所述的将步骤3)获得的重构后的编码卷积滤波器与步骤4)获得的CNN模型相结合，对上述预处理后的指静脉ROI图像进行特征提取，得到特征向量的具体方法如下：

步骤1、输入一张预处理后的指静脉ROI图像x_l，利用步骤3)中获得的m个预先定义的重构后的编码卷积滤波器b_i进行滤波，获得m个不同的滤波图；

步骤2、通过非线性激活函数将上述m个不同的滤波图生成m个位图，使用sigmoid函数代替上述Heaviside阶跃函数：

步骤3、将上述m个位图通过权重v_i进行线性组合，即加权求和，得到特征编码图像x_l+1，并作为改进的CNN模型的输入；进一步从CNN模型的卷积层中自动学习更加抽象、有效的指静脉特征，最终从全连接层F1中输出一个特征向量，用于下一步骤的特征匹配。

5.根据权利要求1所述的基于融合局部编码与CNN模型的指静脉图像识别方法，其特征在于：在步骤6)中，所述的根据上述特征向量，采用支持向量机分类器或计算欧氏距离的特征匹配方法对待匹配的指静脉ROI图像进行相似性度量的具体方法如下：

支持向量机分类器的特征匹配方法是将所有待匹配的指静脉ROI图像按照步骤1)—步骤5)的方法进行处理而得到各自的特征向量，然后输入到SVM分类器中进行指静脉图像的分类；通过SVM分类器得到每一张待匹配的指静脉ROI图像的预测标签，根据预测标签就能够判定出该图像属于哪一类指静脉图像，再将预测标签和已知的实际标签进行比较，如果相同，则表示分类正确，如果不同，则表示分类错误；最后用测试准确率来表达两者比较的结果，测试准确率越高，则表示匹配效果越好；

计算欧氏距离的特征匹配方法是通过计算两幅待匹配的指静脉ROI图像的特征向量的欧氏距离，来判断这两幅指静脉ROI图像是否匹配，如式(10)所示：

式中：x和y分别表示两幅待匹配的指静脉ROI图像，x_i和y_i分别代表两幅待匹配的指静脉ROI图像的特征向量，L表示待匹配的指静脉ROI图像的特征向量维数；欧氏距离越小，匹配的可能性越大；若计算出的欧氏距离≤相似性决策阈值T，则表示这两幅指静脉ROI图像相似，即表示这两幅指静脉ROI图像匹配；若其欧氏距离>相似性决策阈值T，则判定这两幅指静脉ROI图像不匹配；相似性决策阈值T是指静脉ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所是对应的阈值点。

Images