CN110555382A - 一种基于深度学习和Wasserstein距离度量的指静脉识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和Wasserstein距离度量的指静脉识别方法，使用双侧红外照射采集指静脉图像；对图像进行预处理；使用拉伸的Sobel算子进行边缘检测、根据边缘求出手指的中线、最小二乘法线性拟合图像中线以及仿射变换进行方向矫正；基于矫正后的边缘，进行感兴趣区域(ROI)提取；采用训练好的Resnet卷积神经网络对ROI图像进行提取特征，将提取的特征编码作为待注册/识别的指静脉特征；利用公开数据集和采集的数据集构建指静脉图像数据库，将待识别的特征编码采用能保留空间特征的Wasserstein距离度量在指静脉数据库中进行一一检索识别。在本发明实施例中，深度学习可以获得更有表征能力的特征编码，并且Wasserstein距离度量匹配识别效率更快，更准确。

Description

一种基于深度学习和Wasserstein距离度量的指静脉识别 方法

技术领域

本发明涉及生物特征识别技术、图像识别、深度学习领域，距离度量，尤其涉及一种基于Resnet卷积神经网络和Wasserstein距离度量的指静脉识别方法。

背景技术

基于生物特征的身份认证技术的研究和应用日益广泛；当前社会对于搞安全和更友好的身份认证的需求使得对生物识别技术提出了更高的要求；而指静脉具有活体性和唯一性，不会产生特征重复的情况并且允许非接触式的识别，因此成为生物识别领域内较受关注的一类。

目前的指静脉识别方法大多为基于领域内知识，涉及图像处理、滤波等；当采集设备的成像质量较低，人为的设计提取特征算法来表征静脉特征难度较大，从而会影响后续特征匹配以及识别；部分学者提出基于传统的神经网络实现指静脉身份识别，也有新的研究提出基于强化学习算法优化卷积神经网络的静脉识别方法。然而在指静脉识别中还有大量关键性问题需要解决；

目前亟待解决的问题有：识别成功率依赖于指静脉图像成像质量，人为提取静脉特征容易受预处理时的伪静脉的影响，或者提取的特征太大，在存储时占用硬件资源，同时距离度量算法不能从空间分布，以及距离两个方面同时考虑等。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于深度学习和Wasserstein距离度量的指静脉识别方法，使用Resnet网络提取更深层的指静脉特征，同时大大减少特征的维度，使存储特征消耗的资源更少，最后使用 Wasserstein度量。从空间和距离两个方面度量特征编码之间的相似度，从而提升识别的效率和精度。

为了解决上述技术问题，本发明提供了一种基于深度学习和Wasserstein距离度量的指静脉识别方法，所述指静脉识别方法包括：

S1、连接指静脉的红外采集设备，进行图像采集；

S2、通过高斯滤波，中值滤波对图像进行去噪操作；

S3、利用拉伸的Sobel算子对预处理后的图像进行边缘检测，得到感兴趣区域(ROI图像)；

S4、使用Resnet卷积神经网络提取处理后的ROI图像的特征编码；

S5、采用Wasserstein距离度量的相似度作为最后检索识别的结果。

上述方法中，可选地：所述步骤S1，其包括：

S11、通过USB数据线连接PC机与指静脉的红外采集设备，扫描并连通 PC机和指静脉采集设备；

S12、指静脉红外采集设备采集手指静脉的近红外图像，将指静脉图像保存成本地的图像；

S13、指静脉图像中，记手指指尖的方向为x轴正方向，指关节方向为y轴方向。

上述方法中，可选地：所述步骤S2，其包括：

S21、利用对比度受限的自适应直方图均衡化对指静脉图像进行初步的图像增强，增加静脉与背景的对比度；

S22、利用高斯滤波和中值滤波对增强后的图像进行滤波减少噪声对图像的影响。

上述方法中，可选地：所述步骤S3，其包括：

S31、通过拉伸的Sobel算子检测预处理后的指静脉图像中手指的轮廓边缘点得到边缘图，根据上下边缘点求平均值得到指静脉图像的中线，然后利用最小二乘法对中线进行直线拟合，得到手指的中线；

S32、计算S31中所述的中线与x轴正方向之间的夹角，记为手指偏转的角度α，将图像旋转α度矫正图像至水平得到矫正后的指静脉图像；

S33、矫正时，根据S31步骤得到的边缘图和原图一起旋转矫正，根据矫正后的边缘图，去除上下边缘线以外的图像，只截取保留两条边缘线中间的手指图像区域；

S34、原图像经过矫正后，原图像左右两端使用数据0填充，为了防止填充数据的干扰，将原图像的左右两端各截掉3个像素，得到经过预处理的ROI区域。

上述方法中，可选地：所述步骤S4，其包括：

S41、Resnet卷积神经网络并不是直接拟合目标函数而是拟合残差函数，假设Resnet卷积神经网络的输入为x，目标函数为Y(x)，残差函数为F(x)，则 F(x)＝Y(x)-x即为Resnet网络需要拟合的函数，网络在学习中F(x)＝0就能够使 Y(x)＝x，因此，网络训练的目标就是使残差函数F(x)逼近0，这样即使网络层数加深，准确率也不会变；每两个卷积核构成一个残差block，利用4个上述残差 block构成卷积网络架构，前面连接一个7×7的卷积层和一个3×3的池化层，用来提取低维的特征，最后使用全连接层聚合卷积提取的局部特征，全连接层采用 64维，作为最后的特征编码；

S42、训练模型时，采用公开的指静脉数据集和自行采集的经过S2，S3步骤预处理过的数据集一起作为训练集和验证集，训练集和验证集以8:2的比例进行；对训练集图像进行水平，垂直翻转，图像的归一化来扩充和增强数据集；对于Resnet卷积神经网络，采用经过ImageNet数据集预训练过的权重来初始化网络，让网络更快的收敛；并设置初始学习率为0.00001，学习率的值随训练次数成指数下降，设置batch size大小为32，当损失降到0.001时，停止训练网络模型，最后将训练好的模型保存为.pth文件；

S43、加载Resnet卷积神经网络，读取训练好的参数文件，即.pth文件，参数文件包括各个网络层的权重值，将权重值导入Resnet卷积神经网络，再将S3 步骤得到的经过预处理的ROI图像输入已经加载完了的Resnet卷积神经模型，输出图像的特征编码。

上述方法中，可选地：所述步骤S5，其包括：

S51、在注册阶段，通过步骤S1采集指静脉图像，并进一步用步骤S2、S3、 S4提取图像的特征编码G_w(x)，G_w(x)是一个具有64维的特征向量，将这个特征编码录入数据库完成注册；

S52、在识别阶段，通过步骤S1、S2、S3、S4提取指静脉图像的特征编码 G_w(x)'，并在数据库中已注册的特征编码{G_w(x)}中进行一一匹配，计算G_w(x)'与 G_w(x)的Wasserstein距离，使用Sinkhorn迭代求解Wasserstein距离；设置Sinkhorn 正则化系数为0.1，迭代次数为100；

S53、根据S52求得的Wasserstein解，跟设定的阈值进行比较，超过这个阈值，就认为这是同一个人的手指静脉，相反则认为不是同一个人的。

与现有技术相比，本发明采用了Resnet卷积神经网络对指静脉图像提取特征，再使用Wasserstein距离度量来计算出两个特征之间的相似度，使用Resnet 网络提取的特征能更好的表征静脉，使得两种静脉特征之间更有区分度。在训练 Resnet网络的时候，采用MSML目标学习函数，寻找一个batch_size里面最不像的正样本和一个最像的负样本，学习率设置成指数下降，能有效的避免损失函数出现震荡，同时网络权重初始化使用ImageNet训练的参数，可以有效的提高特征的表达。而如果使用传统算法提取静脉特征，一些隐藏的特征人为的提取不出来，有一些提出来的特征可能是伪静脉造成的伪特征，所以使用Resnet网络学习特征的表达，这样表征的特征更具代表性和判别性。同时特征匹配的方法，传统的特征匹配使用欧式距离或者余弦距离。欧式距离只能度量两个特征之间的距离，余弦距离只能度量两个特征之间的方向，而Wasserstein距离度量在考虑空间分布的同时，也考虑了两个特征之间的距离。Wasserstein能更好的度量两个特征之间的相似度。在此同时，Resnet网络输出的特征只有64个维度，少维度的特征编码更有利于提高存储的效率。所以本发明对于传统方法来说是一个技术的突破。

附图说明

图1是本发明的识别步骤图；

图2是对指静脉图像进行去噪的流程图；

图3是对比度受限的自适应直方图均衡化示意图；

图4是对预处理后的图像提取ROI区域的流程图；

图5是指静脉的边缘信息示意图；

图6拉伸的Sobel算子

图7是边缘检测以及方向矫正示意图；

图8是方向矫正后的指静脉示意图；

图9是边缘内切以及竖切示意图；

图10是检测ROI图像的FCN全卷积网络结构图；

图11是待识别指静脉在数据库中检索识别的流程图。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。

如图1，本方法的实施步骤如下：

S1、连接指静脉的红外采集设备，进行图像采集

使用指静脉的红外采集设备附带的USB接口的数据线，将PC机与设备相连接，并在PC机上安装设备所需要的驱动程序。将手指按照采集设备要求放置在相应的位置，等待设备采集指静脉图像。采集到的静脉图像通过程序读出，然后保存到本地。

S2、通过高斯滤波，形态学滤波对图像进行去噪操作

在步骤S1中我们通过指静脉红外采集设备获取到了指静脉图像。通过对比度受限的自适应直方图均衡化对静脉图像进行初步的增强。将图像分成若干个子块，并对每个子块统计得到的直方图进行裁剪，使其幅值低于某个上限，如图3 所示。将峰值处的像素值均匀的分布在整个灰度区间上，以保证直方图总面积不变。经过对比度增强后的图像存在噪声，而这些噪声大部分是点状似的单独的散落在图像的各处，通过高斯滤波以及中值滤波等方式能够过滤掉图像中类似于孤岛状的噪声，从而减少将噪声对指静脉识别的影响。本步骤的流程图如图2所示。

S3、利用拉伸的Sobel算子进行边缘检测，以及采用仿射变换矫正指静脉图像的方向，并根据上下边缘提取图像的有效区域，同时图像左右两端去掉矫正后的填充像素，得到感兴趣区域(ROI)

在采集手指静脉图像的时候，手指上边缘(如图5所示)以上和手指下边缘以下是没有静脉分布的，有效的静脉只有中间部分，为了使识别准确，同时减少网络输入图片的大小，需要对图像根据边缘信息进行截取。因此步骤S3的目的即为截取静脉最丰富的中间区域作为后续的识别图像。首先通过两个拉伸的 Sobel算子(如图6所示，a算子是上边缘的检测算子，b算子是下边缘的检测算子)检测图像中手指的边缘点，然后对上下边缘点取平均值求出手指的中线点，然后利用最小二乘法对中线点进行线性拟合，得到中线，如图7中直线L所示。使用仿射变换求出该线与x轴正方向之间的夹角记为α(如图7所示)，将图像旋转α度矫正至水平(如图8所示)。下一步根据矫正后的边缘点找到指静脉图像上下截取的内切线(如图9中的m，n直线)，由于旋转操作会对手指图像的左右两边产生0值的填充(如图8中上左，下右的白色矩形区域)，所以左右截取3个像素点，左右的截取线为图9中的a，b直线。最后尺度归一化到120×314 大小作为ROI感兴趣区域。

S4、使用Resnet卷积神经网络提取经过处理的ROI图像的特征编码

提取的ROI图像已被初步增强，并且噪声也在一定程度上被减少，使用传统的方法，ROI图像经过预处理得到静脉和背景的二值图，在预处理过程中容易出现伪静脉，同时由于阈值的不好选择，使得有的静脉点变成了背景点，而预处理的结果直接影响后面的特征提取操作。所以Resnet网络直接对ROI图像进行预处理和提特征，最后网络的输出的特征编码就可以作为指静脉图像的特征。

Resnet卷积神经网络并不是直接拟合目标函数而是拟合残差函数，假设 Resnet卷积神经网络的输入为x，目标函数为Y(x)，残差函数为F(x)，则 F(x)＝Y(x)-x即为Resnet网络需要拟合的函数，网络在学习中F(x)＝0就能够使 Y(x)＝x，因此，网络训练的目标就是使残差函数F(x)逼近0，这样即使网络层数加深，准确率也不会变；每两个卷积核构成一个残差block，利用4个上述残差 block构成卷积网络架构，前面连接一个7×7的卷积层和一个3×3的池化层，用来提取低维的特征，最后使用全连接层聚合卷积提取的局部特征，全连接层采用 64维，作为最后的特征编码。

训练模型时，采用公开的指静脉数据集和自己采集的经过S2，S3步骤预处理过的数据集一起作为训练集和验证集，训练集和验证集以8:2的比例进行；对训练集图像进行水平，垂直翻转，图像的归一化来扩充和增强数据集；对于Resnet 卷积神经网络，采用经过ImageNet数据集预训练过的权重来初始化网络，让网络更快的收敛；并设置初始学习率为0.00001，学习率的值随训练次数成指数下降，设置batch size大小为32，当损失降到0.001时，停止训练网络模型，最后将训练好的模型保存为.pth文件。通过读取参数文件(.pth文件)并解析构建的 Resnet卷积神经网络结构。将上一步中提取到的ROI区域输入到该网络中，即可输出图像的特征编码。

S5、将提取的特征编码在具有同样编码格式的指静脉数据库中进行Wasserstein距离度量，Wasserstein距离度量的相似度作为最后检索的结果

如图11所示，待识别图像在指静脉数据库中的检索识别分为采集、算法处理、注册、识别4个步骤。首先通过所述的S1采集手指的静脉图像，并进一步的根据S2、S3、S4所述算法对图像进行处理并提取特征编码G_w(x)。G_w(x)是一个具有64维的特征向量。在注册阶段，将G_w(x)写入到数据库{G_w(x)}中。在识别阶段，通过步骤S1、S2、S3、S4提取指静脉图像的特征编码G_w(x)'，并在数据库中已注册的特征编码{G_w(x)}中进行一一匹配，计算G_w(x)'与G_w(x)的 Wasserstein距离，使用Sinkhorn迭代求解。根据求得的解，跟设定的阈值进行比较，超过这个阈值的，就认为这是同一个人的手指静脉，相反则认为不是同一个人的。经过数据验证，在同一验证集下，使用AlexNet卷积神经网络加欧式距离度量方法，识别准确率为94.6％，使用本方法指静脉识别准确率为96.2％。提高了1.6个百分点。

Claims (6)

1.一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于所述指静脉识别步骤如下：

S1、连接指静脉的红外采集设备，进行图像采集；

S2、通过高斯滤波，中值滤波对图像进行去噪操作；

S3、利用拉伸的Sobel算子对预处理后的图像进行边缘检测，得到感兴趣区域；

S4、使用Resnet卷积神经网络提取处理后的ROI图像的特征编码；

S5、采用Wasserstein距离度量的相似度作为最后检索识别的结果。

2.根据权利要求1所述的一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于：所述的步骤S1包括：

S11、通过USB数据线连接PC机与指静脉的红外采集设备，扫描并连通PC机和指静脉采集设备；

S12、指静脉红外采集设备采集手指静脉的近红外图像，将指静脉图像保存成本地图像；

S13、指静脉图像中，记手指指尖的方向为x轴正方向，指关节方向为y轴方向。

3.根据权利要求1所述的一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于：所述步骤S2包括：

S21、利用对比度受限的自适应直方图均衡化对指静脉图像进行初步的图像增强，增加静脉与背景的对比度；

S22、利用高斯滤波和中值滤波对增强后的图像进行滤波减少噪声对图像的影响。

4.根据权利要求1所述的一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于：所述步骤S3包括：

S31、通过拉伸的Sobel算子检测预处理后的指静脉图像中手指的轮廓边缘点得到边缘图，根据上下边缘点求平均值得到指静脉图像的中线，然后利用最小二乘法对中线进行直线拟合，得到手指的中线；

S32、计算S31中所述的中线与x轴正方向之间的夹角，记为手指偏转的角度α，将图像旋转α度矫正图像至水平得到矫正后的指静脉图像；

S33、矫正时，将S31步骤得到的边缘图和原图一起旋转矫正，根据矫正后的边缘图，去除上下边缘线以外的图像，只截取保留两条边缘线中间的手指图像区域；

S34、原图像经过矫正后，原图像左右两端使用数据0填充，为了防止填充数据的干扰，将原图像的左右两端各截掉3个像素，得到经过预处理的ROI区域。

5.根据权利要求1所述的一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于：所述步骤S4包括：

S41、Resnet卷积神经网络并不是直接拟合目标函数而是拟合残差函数，假设Resnet卷积神经网络的输入为x，目标函数为Y(x)，残差函数为F(x)，则F(x)＝Y(x)-x即为Resnet卷积神经网络需要拟合的函数，网络在学习中F(x)＝0就能够使Y(x)＝x，因此，网络训练的目标就是使残差函数F(x)逼近0，这样即使网络层数加深，准确率也不会变；每两个卷积核构成一个残差block，利用4个上述残差block构成卷积神经网络架构，前面连接一个7×7的卷积层和一个3×3的池化层，用来提取低维的特征，最后使用全连接层聚合卷积提取的局部特征，全连接层采用64维，作为最后的特征编码；

S42、训练Resnet卷积神经网络模型时，对训练集图像进行水平、垂直翻转，图像归一化来扩充和增强数据集；对于Resnet卷积神经网络，采用经过ImageNet数据集预训练过的权重来初始化网络，让网络更快的收敛；并设置初始学习率为0.00001，学习率的值随训练次数成指数下降，设置batch size大小为32，当损失降到0.001时，停止训练网络模型，最后将训练好的模型保存为.pth文件；

S43、加载Resnet卷积神经网络，读取训练好的参数文件，即.pth文件，参数文件包括各个网络层的权重值，将权重值导入Resnet卷积神经网络，再将S3步骤得到的经过预处理的ROI图像输入已经加载完了的Resnet卷积神经模型，输出图像的特征编码。

6.根据权利要求1所述的一种基于深度学习和Wasserstein距离度量的指静脉识别方法，其特征在于：所述步骤S5包括：

S51、在注册阶段，通过步骤S1采集指静脉图像，并进一步用步骤S2、S3、S4提取图像的特征编码G_w(x)，G_w(x)是一个具有64维的特征向量，将这个特征编码录入数据库完成注册；

S52、在识别阶段，通过步骤S1、S2、S3、S4提取指静脉图像的特征编码G_w(x)'，并在数据库中已注册的特征编码{G_w(x)}中进行一一匹配，计算G_w(x)'与G_w(x)的Wasserstein距离，使用Sinkhorn迭代求解Wasserstein距离；设置Sinkhorn正则化系数为0.1，迭代次数为100；

S53、根据S52求得的Wasserstein解，跟设定的阈值进行比较，超过这个阈值，就认为这是同一个人的手指静脉，相反则认为不是同一个人的。