CN109815869A - 一种基于fcn全卷积网络的指静脉识别方法 - Google Patents

Abstract

本发明公开了一种基于FCN全卷积网络的指静脉识别方法，其中指静脉识别方法包括：采集指静脉图像；对指静脉图像进行预处理，获得预处理后的指静脉图像；对预处理后的指静脉图像进行边缘检测、最小二乘法线性拟合以及方向矫正，并在此基础上提取指静脉最丰富的中节ROI指静脉图像；采用训练好的FCN全卷积网络对提取的ROI指静脉图像提取特征并对每个像素点进行分类获得已区分静脉点和背景点的待注册/识别指静脉图像；收集待注册指静脉图像并构建注册后的指静脉数据库，将待识别指静脉图像在指静脉数据库中进行检索识别，获得匹配识别结果。在本发明实施例中，可以获得更清晰的指静脉图像，并且匹配识别效率更快，更准确。

Description

一种基于FCN全卷积网络的指静脉识别方法

技术领域

本发明涉及生物特征识别技术、图像识别、深度学习领域，尤其涉及一种基于FCN全卷积网络的指静脉识别方法。

背景技术

基于生物特征的身份认证技术的研究和应用日益广泛；当前社会对于搞安全和更友好的身份认证的需求使得对生物识别技术提出了更高的要求；而指静脉具有活体性和唯一性，不会产生特征重复的情况并且允许非接触式的识别，因此成为生物识别领域内较受关注的一类。

目前的指静脉识别方法大多为基于领域内知识，设计图像处理、滤波等；当采集设备的成像质量较低，人为的设计特征算法来描述指静脉区域难度较大，从而会影响后续的提取特征以及识别；部分学者提出基于传统的神经网络实现指静脉身份识别，也有新的研究提出基于无监督学习的身份认证系统。然而在指静脉识别中还有大量关键性问题需要解决；

目前亟待解决的问题有：识别成功率依赖于指静脉图像成像质量，指静脉区域与背景区域难以分离，精准鲁棒的特征难以提取等。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于FCN全卷积网络的指静脉识别方法，提取更深层的指静脉特征，实现像素级的分类，能够更有效、更准确地描绘出指静脉图像中的静脉点和背景点，从而提升识别的效率和精度。

为了解决上述技术问题，本发明提供了一种基于FCN全卷积网络的指静脉识别方法，所述指静脉识别方法包括：

A、连接指静脉采集设备，图像采集；

B、通过预处理减少图像数据的噪声；

C、提取预处理后的图像的ROI感兴趣区域；

D、FCN全卷积网络检测ROI图像的静脉点和背景点；

D1、读取参数文件，解析FCN全卷积网络模型，加载模型参数；

D2、将C中提取的ROI图像输入FCN网络层，进行卷积、池化和反卷积交替处理，输出原图大小的特征图；

D3、特征图包含了FCN对图像进行像素级的分类，输出特征图上的每个元素包含一个二维向量对该向量做softmax计算，记为分别表示该像素点为静脉点和背景点的概率；

D4、取特征图的每个中概率最大的分类作为该像素点的类别，并用像素值255表示静脉点，像素值0表示背景点描绘在输入图像上，记为

E、将FCN检测后的图像在指静脉数据库中进行检索识别；

上述方法中，可选地：所述步骤A，其包括：

A1、通过数据线连接客户机与指静脉采集设备，并在客户机上安装相应的驱动程序，扫描并连通客户机和指静脉采集设备；

A2、指静脉采集设备根据指令采集手指静脉的近红外图像；

A3、记手指指尖的方向为x轴正方向，指关节方向为y轴方向。

上述方法中，可选地：所述步骤B，其包括：

B1、利用对比度受限的自适应直方图均衡化对指静脉图像进行初步的图像增强，增加静脉与背景的对比度；

B2、利用中值滤波和均值滤波对增强后的图像进行滤波减少噪声对图像的影响。

上述方法中，可选地：所述步骤C，其包括：

C1、通过两个对称的边缘检测算子检测预处理后的图像中手指的轮廓边缘点，利用最小二乘法分别对左边缘点和右边缘点进行直线拟合，得到两条手指的边缘线；

C2、对C1中所述的两条边缘线取均值，得到手指骨线。手指骨线与x轴正方向之间的夹角记为手指偏转的角度α，将图像旋转α可以将图像矫正至水平；

C3、去除两条边缘线以外的数据，只截取保留两条边缘线中间的手指图像区域；

C4、遍历x轴方向，统计对应y轴上所有像素值的和。y轴上和最大对应的x坐标为手指关节的位置，记为

C5、截取往x轴正方向240像素点的区域并尺度归一化到同一大小作为所要提取的ROI感兴趣区域。

上述方法中，可选地：所述步骤D，其包括：

D1、FCN网络将传统CNN的第6层和第7层4096维的一维向量，第8层1000维的一维向量转换成卷积层。卷积核的大小(通道数，宽，高)分别为(4096，1，1)、(4096，1，1)、(1000，1，1)。前5层卷积层和中间的池化层保持不变。经过5次卷积(和pooling)以后，图像的分辨率依次缩小了2，4，8，16，32倍。对于最后一层卷积的输出图像，需要进行32倍的上采样，得到原图一样的大小。这个上采样是通过反卷积(deconvolution)实现的。但是这样得到的结果不够精确，一些细节无法恢复。再将第4层的输出和第3层的输出也依次反卷积，分别需要16倍和8倍上采样，结合这三层的特征图得到跟原图一样大小的指静脉特征图。

D2、训练模型时，采用公开的指静脉数据集和自己采集的经过C步骤预处理过的数据集一起作为训练集和验证集。对于训练集进行数据增强和数据扩展，来训练FCN网络。并设置初始学习率为0.001，学习率的值随训练次数成指数下降，设置batch size大小为128。当损失降到0.002时，停止训练网络模型。最后将训练好的模型保存为.pb文件。

D3、加载FCN全卷积网络，读取训练好的参数文件，即.pb文件。包括各个网络层的权重值。将权重值导入FCN网络。再将C步骤得到的ROI图像输入已经加载完了的FCN模型，输出原图大小的特征图。特征图包含了FCN对图像进行像素级的分类，输出特征图上的每个元素包含一个二维向量对该向量做softmax计算，记为分别表示该像素点为静脉点和背景点的概率；

D4、取特征图的每个中的两个概率值，最大的值作为该像素点的类别，并用像素值255表示静脉点，像素值0表示背景点得到静脉图像的二值图。记为

上述方法中，可选地：所述步骤E，其包括：

E1、在注册阶段，通过A采集指静脉图像，并进一步用B、C、D提取输出图像录入数据库完成注册；

E2、在识别阶段，通过A、B、C、D提取待识别指静脉的特征图并在数据库中已注册的特征图模板库中进行匹配，取相似度最高且超过一定阈值的作为识别结果；

E3、模板匹配的相似度采用待识别图像和模板图像的匹配分数表示，由于和的尺寸是相同的，遍历所有点，其中任意一点(x，y)在和中均为背景点，则匹配分数增加w₀，若该点均为静脉点，则匹配分数增加w₁，否则不增加匹配分数。

与现有技术相比，本发明具有的有益效果(优点、意义)是：与现有技术相比，本发明采用了FCN全卷积网络对指静脉图像进行像素级的分类，使得到的静脉特征图更加接近真实的静脉图，从而会有更高的精度和准确度。如果使用传统的阈值分割对指静脉预处理图进行静脉点和背景点分割，技术难点是，无法选取一个适当的阈值。这样就会产生伪静脉点，将背景点判断为静脉点，不能得到真实的静脉纹路，在识别匹配时会产生极大的误识。而FCN全卷积网络能解决分割静脉点和背景点的复杂问题。FCN采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,我们根据这个预测结果就可以较准确的区分静脉点和背景点。指静脉的识别难点在于，如何使静脉的特征图更好的接近原图像，尽可能的还原真实。而FCN网络跟传统方式比能得到更接近真实图像的静脉特征图。

附图说明

图1是本方法的步骤图；

图2是对指静脉图像预处理的流程图；

图B-1是对比度受限的自适应直方图均衡化示意图；

图3是对预处理后的图像提取ROI区域的流程图；

图C-1是指静脉分布示意图；

图C-2是边缘检测以及方向矫正示意图；

图C-3是方向矫正后的指静脉图；

图C-4是截取指关节区域示意图；

图4是检测ROI图像的FCN全卷积网络结构图；

图5是待识别指静脉在数据库中检索识别的流程图。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。

如图1，本方法的实施步骤如下：

A、连接指静脉采集设备，图像采集

利用指静脉采集设备附带的数据线，将客户机与设备相连接，并在客户机上安装设备所需要的驱动程序。将手指按照采集设备要求放置在相应的位置，等待设备采集指静脉图像。

B、通过预处理减少图像数据的噪声

在上一步我们通过指静脉采集设备获取到了手指的静脉图像。通过对比度受限的自适应直方图均衡化对静脉图像初步的增强。将图像分成若干个子块，并对每个子块统计得到的直方图进行裁剪，使其幅值低于某个上限，如图B-1所示。将峰值处的像素值均匀的分布在整个灰度区间上，以保证直方图总面积不变。经过对比度增强后的图像存在噪声，而这些噪声大部分是点状似的单独的散落在图像的各处，通过中值滤波以及均值滤波等方式能够过滤掉图像中类似于孤岛状的噪声，从而减少将噪声、背景误判为静脉点的可能性。本步骤的流程图如图2所示。

C、提取预处理后的图像的ROI感兴趣区域

静脉在手指中的分布是不均匀的，如图C-1所示，分为近节(离手掌较近的一节)，中节，远节。在中节的静脉分布最丰富，远节以及近节的静脉分布较少，因此步骤C的目的即为截取静脉最丰富的中节这一部分用于后续操作，如图3所示。首先通过两个堆成的边缘算子检测图像中手指的边缘点，如图C-2中虚线所示，然后利用最小二乘法对这些边缘点分别进行线性拟合，得到两条边缘直线，如图C-2中直线(a,b)所示。然后取这两条直线的平均线如图C-2中直线(L)，该线与x轴正方向之间的夹角记为α，将图像旋转α矫正至水平如图C-3所示。下一步截取手指图像，根据中节与近节之间的指关节在红外光照射下高亮的特性，如图C-4(a)所示，遍历x轴方向，统计对应y轴上所有像素值的和。y轴上和最大所对应的x坐标为手指关节的位置，记为如图C-4(b)所示。截取往x轴正方向240像素点的区域如图C-4(a)中虚线矩形区域所示，并尺度归一化到统一大小作为ROI感兴趣区域。

D、FCN全卷积网络检测ROI图像的静脉点和背景点

提取的ROI图像已被初步增强，并且噪声也在一定程度上被减少，但仍然无法区分静脉点和背景点。通过训练FCN网络结构模型，可以较精确的区分图像中的静脉点和背景点。FCN网络结构模型如图4所示，由传统CNN的第6层和第7层4096维的一维向量，第8层1000维的一维向量转换成卷积层。卷积核的大小(通道数，宽，高)分别为(4096，1，1)、(4096，1，1)、(1000，1，1)。前5层卷积层和中间的池化层保持不变。经过5次卷积(和pooling)以后，图像的分辨率依次缩小了2，4，8，16，32倍。最后一层卷积输出图像，需要进行32倍的上采样，得到原图一样的大小。这个上采样是通过反卷积(deconvolution)实现的。但是这样得到的结果不够精确，一些细节无法恢复。再将第4层的输出和第3层的输出也依次反卷积，分别需要16倍和8倍上采样，结合这三层的特征图得到跟原图一样大小的指静脉特征图。训练模型，采用公开的指静脉数据集和自己采集的经过C步骤预处理过的数据集一起作为训练集和验证集。对于训练集进行数据增强和数据扩展，来训练FCN网络。并设置初始学习率为0.001，学习率的值随训练次数成指数下降，设置batch size大小为128。当损失降到0.002时，停止训练网络模型。将训练好的模型保存为.pb文件。通过读取参数文件(.pb文件)并解析构建的FCN网络结构。将上一步中提取到的ROI区域输入到该网络中，输出与原图大小一致的特征图，图中每个点包含一个二维向量用于预测原图中对应点的分类。该二维向量采用softmax计算，代表为静脉点和为背景点的概率，取概率值最大的分类最为该像素点的类别。如代表该点有70％的可能为静脉点，30％为背景点，因此该点可认为是静脉点。通过该方式可以获知图像中每个像素点的分类，并用像素值255表示静脉点，像素值0表示背景点，得到FCN特征图

E、将FCN检测后的图像在指静脉数据库中进行检索识别

如图5所示，待识别图像在指静脉数据库中的检索识别分为采集、算法处理、注册、识别4个步骤。首先通过所述的A采集手指的静脉图像，并进一步的根据B、C、D所述算法对图像进行处理并提取特征图在注册阶段，将写入到数据库中。在识别阶段，按顺序取出的所有静脉模板，并与一一计算相似度，相似度最高的静脉模板作为识别结果输出。在匹配阶段，设任意像素点对应位置的像素点并初始化匹配分数s＝0。若与r均为背景点，则s+＝w₀，若与r均为静脉点则s+＝w₁。遍历所有像素点，匹配分数s的最终值作为相似度。去相似度的静脉模板作为最终的匹配结果。

Claims (5)

1.一种基于FCN全卷积网络的指静脉识别方法，其特征在于包括如下步骤：

A、连接指静脉采集设备，进行图像采集；

B、通过预处理减少图像数据的噪声；

C、提取预处理后的图像的ROI感兴趣区域；

C1、通过两个对称的边缘检测算子检测预处理后的图像中手指的轮廓边缘点，利用最小二乘法分别对左边缘点和右边缘点进行直线拟合，得到两条手指的边缘线；

C2、对C1中所述的两条边缘线取均值，得到手指骨线；手指骨线与x轴正方向之间的夹角记为手指偏转的角度α，将图像旋转α将图像矫正至水平；

C3、去除两条边缘线以外的数据，只截取保留两条边缘线中间的手指图像区域；

C4、遍历x轴方向，统计对应的y轴上所有像素值的和，y轴上像素值的和最大处对应的x坐标为手指关节的位置，记为

C5、截取往x轴正方向240像素点的区域并尺度归一化到同一大小作为所要提取的ROI感兴趣区域；

D、FCN全卷积网络检测ROI图像的静脉点和背景点；

D1、读取参数文件，解析FCN全卷积网络模型，加载模型参数；

D2、将C中提取的ROI图像输入FCN网络层，进行卷积、池化和反卷积交替处理，输出原图大小的特征图；

D3、特征图包含了FCN对图像进行像素级的分类，输出特征图上的每个元素包含一个二维向量对该向量做softmax计算，记为分别表示该像素点为静脉点和背景点的概率；

D4、取特征图的每个中概率最大的分类作为该像素点的类别，并用像素值255表示静脉点，像素值0表示背景点描绘在输入图像上，记为

E、将FCN检测后的图像在指静脉数据库中进行检索识别。

2.根据权利要求1所述的基于FCN全卷积网络的指静脉识别方法，其特征在于：所述的步骤A包括：

A1、通过数据线连接客户机与指静脉采集设备，扫描并连通客户机和指静脉采集设备；

A2、指静脉采集设备采集手指静脉的近红外图像；

A3、近红外图像中，记手指指尖的方向为x轴正方向，指关节方向为y轴方向。

3.根据权利要求1所述的一种基于FCN全卷积网络的指静脉识别方法，其特征在于：所述步骤B包括：

B1、利用对比度受限的自适应直方图均衡化对指静脉图像进行初步的图像增强，增加静脉与背景的对比度；

B2、利用中值滤波和均值滤波对增强后的图像进行滤波减少噪声对图像的影响。

4.根据权利要求1所述的一种基于FCN全卷积网络的指静脉识别方法，其特征在于：所述步骤D具体为：

D1、FCN网络将CNN的第6层和第7层4096维的一维向量，第8层1000维的一维向量转换成卷积层，卷积核的大小分别为(4096，1，1)、(4096，1，1)、(1000，1，1)；前5层卷积层和中间的池化层保持不变；经过5次卷积和pooling以后，图像的分辨率依次缩小了2，4，8，16，32倍；对于最后一层卷积的输出图像，进行32倍的上采样，得到原图一样的大小；所述上采样是通过反卷积实现；再将第4层的输出和第3层的输出也依次反卷积，分别需要16倍和8倍上采样，结合这三层的特征图得到跟原图一样大小的指静脉特征图；

D2、训练模型时，采用公开的指静脉数据集和采集的经过C步骤预处理过的数据集一起作为训练集和验证集；对于训练集进行数据增强和数据扩展，来训练FCN网络，并设置初始学习率为0.001，学习率的值随训练次数成指数下降，设置batch size大小为128；当损失降到0.002时，停止训练网络模型，最后将训练好的模型保存为.pb文件；

D3、加载FCN全卷积网络，读取训练好的参数文件，即.pb文件，包括各个网络层的权重值，将权重值导入FCN网络，再将C步骤得到的ROI图像输入已经加载完了的FCN模型，输出原图大小的特征图，特征图包含了FCN对图像进行像素级的分类，输出特征图上的每个元素包含一个二维向量对该向量做softmax计算，记为分别表示该像素点为静脉点和背景点的概率；

D4、取特征图的每个中的两个概率值，最大的值作为该像素点的类别，并用像素值255表示静脉点，像素值0表示背景点得到静脉图像的二值图。

5.根据权利要求1所述的一种基于FCN全卷积网络的指静脉识别方法，其特征在于：所述步骤E包括：

E1、在注册阶段，通过步骤A采集指静脉图像，并进一步用步骤B、C、D提取输出图像录入数据库完成注册；

E2、在识别阶段，通过步骤A、B、C、D提取待识别指静脉的特征图并在数据库中已注册的特征图模板库中进行匹配，取相似度最高且超过一定阈值的作为识别结果；

E3、模板匹配的相似度采用待识别图像和模板图像的匹配分数表示，由于和的尺寸是相同的，遍历所有点，其中任意一点(x，y)在和中均为背景点，则匹配分数增加w₀，若该点均为静脉点，则匹配分数增加w₁，否则不增加匹配分数。