CN112949570A - 一种基于残差注意力机制的指静脉识别方法 - Google Patents

Abstract

本发明提出了一种基于残差注意力机制的指静脉识别方法，包括以下方法步骤：对原始指静脉图像进行边缘检测，得到单像素宽的手指边缘线后，对原始指静脉图像进行旋转矫正；获取不包含背景信息的指静脉前景图像；确定指静脉感兴趣区域ROI；对数据集各类别中的指静脉图像样本重复以上步骤得到每张指静脉图像的ROI；对处理后的指静脉数据集进行训练集和测试集的划分；使用改进的残差注意力网络进行融合特征提取；对所述改进的残差注意力网络进行训练即可得到指静脉图像分类网络；将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

Description

一种基于残差注意力机制的指静脉识别方法

技术领域

本发明属于图像处理与生物识别技术领域，尤其涉及一种基于残差注意力机制的指静脉识别方法。

背景技术

在数字化、信息化融合发展的时代，人们对个人信息的保护意识在逐渐加强。传统的身份认证技术，如磁卡、证件、身份标识等实体物件，存在易丢失、易盗取、易复制等问题，已无法满足个人对身份信息的高安全性、高保密性需求。不仅如此，传统的身份认证物品存储信息有限，在以大数据为依托的信息环境下，如此有限的数据则意味着高风险。

生物特征识别技术作为信息化时代的产物，利用人固有的身体特征作为身份认证标识，如指纹、人脸、虹膜、声音等，解决了传统身份认证技术中的一系列安全问题。但是这些特征识别技术在方便生活的同时也存在安全隐患，指纹(掌纹)易受手指(手掌)表面污渍、疤痕、湿度等影响，同时容易伪造；人脸识别易受面部变化(如化妆、整容)、面部遮挡、采集角度等因素干扰；虹膜采集装置一般是近距离设备，需要被采集者配合，对用户不友好，有一定的侵犯性；声音识别对环境要求较高，同时多声音叠加、信道失配、说话人自身因素(感冒、情绪)等也会影响其识别结果。

指静脉识别技术通过采集手指静脉血管的近红外图像，提取其静脉纹路分布图和特征点等信息进行特征匹配，实现个人身份认证。指静脉识别作为第二代生物识别技术，具有活体认证、内部特征、高安全性、唯一性、非接触式等特点。指静脉识别技术主要分为传统式识别和基于深度学习的识别。传统式识别一般包括预处理、特征增强、特征提取和特征匹配，通过人为干预或手工设计提取静脉特征，此类方法需要前期对图像做较多处理工作，提取过程往往较为复杂，对图像质量要求较高；基于深度学习的方法可有效减少图像处理的步骤，只需简单的预处理便可，但模型设计和图像数据量与模型参数的不匹配问题是该类研究的难点问题。

发明内容

为了解决上述问题，有必要提供一种基于残差注意力机制的指静脉识别方法。

本发明第一方面提出一种基于残差注意力机制的指静脉识别方法，包括以下方法步骤：

训练基于残差注意力机制的指静脉图像分类网络

S1、对原始指静脉图像进行边缘检测，确定手指上下边缘，得到单像素宽的手指边缘线；

S2、对原始指静脉图像进行旋转矫正；

S3、对旋转矫正后的图像划分背景和前景区域，获得不包含背景信息的指静脉前景图像；

S4、寻找手指边缘内切线，确定指静脉感兴趣区域；

S5、对数据集各类别中的指静脉图像样本重复步骤S1-S4，得到每张指静脉图像的ROI并进行保存；

S6、对处理后的指静脉数据集进行训练集和测试集的划分；

S7、使用改进的残差注意力网络进行特征融合提取；使用训练集和测试集对所述改进的残差注意力网络进行训练即可得到指静脉图像分类网络；

指静脉识别

S8、将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

本发明第二方面提出一种基于所述基于残差注意力机制的指静脉识别方法的系统，该系统包括：

模型训练模块，用于训练基于残差注意力机制的指静脉图像分类网络；

指静脉识别模块，用于将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

本发明第三方面提出一种终端，包括处理器、存储器以及存储在所述存储器中的基于残差注意力机制的指静脉识别方法程序，所述基于残差注意力机制的指静脉识别方法程序被所述处理器运行时，实现如所述的基于残差注意力机制的指静脉识别方法的步骤。

本发明相对现有技术具有突出的实质性特点和显著进步，具体的说：

1、本发明通过训练基于残差注意力机制的指静脉图像分类网络，仅需简单的图像预处理操作，无需设计复杂的特征提取算法，便可将图像输入网络进行分类，输出分类结果；

2、本发明通过采用残差机制，能够保证图像特征向深层网络传递的同时不会丢失，从而得到图像更高维和抽象的特征。同时，通过网络中的Inception模块对指静脉图像进行多尺度卷积操作，将提取到的多尺度静脉特征与注意力机制结合，增强网络的特征提取与表示能力，同时能够加速网络训练，提升识别的准确率。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例提供的原始指静脉图像样张。

图2是本发明实施例提供的一种基于残差注意力机制的指静脉识别方法流程图。

图3是本发明实施例提供的图像预处理过程效果图。

图4是本发明实施例提供的网络结构图。

图5是本发明实施例提供的识别结果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

本实施例所用数据集为FV-USM，由马来西亚理科大学的Bakhtiar团队创建。该数据集共包含不同类手指共492根，对每根手指分两阶段各采集6张，原始图像大小为640×480，“jpg”格式，如图1所示。

本实施例提出一种基于残差注意力机制的指静脉识别方法，包括以下方法步骤：

训练基于残差注意力机制的指静脉图像分类网络

S1、对如图3(a)所示的原始指静脉图像进行边缘检测，确定手指上下边缘，得到单像素宽的手指边缘线；

单像素宽的手指边缘线的具体的获取过程如下：

S11、如图3(b)所示，对原始指静脉图像使用高斯滤波对图像进行去噪处理；

S12、如图3(c)所示，使用水平Sobel算子计算得到原始指静脉图像F对应的水平像素梯度图G；

S13、以G的中心点为基准将图像分为上下两部分，上半部分沿垂直方向自顶向下寻找梯度最大值点，记为(x_upper，y_upper)，下半部分沿垂直方向自底向上寻找梯度最大值点，记为(x_lower，y_lower)，其中

y_upper＝y_lower＝width/2，height和width分别为F、G的高度和宽度；

S14、分别将F_u(x_upper，y_upper)、F_l(x_lower，y_lower)、G_u(x_upper，y_upper)、G_l(x_lower，y_lower)置为255；

S15、以F_u、F_l、G_u、G_l为起始点，分别向上下两侧寻找候选边缘点：

S151、在图像上半部分，寻找候选边缘点L_upper、R_upper；

自起始点向左扩展，计算当前点与左侧上下三邻域各点之间的差值，记为

得到候选边缘点L_upper(x_upper-1，y_{upper_l})，其中

θ是调节因子；

自起始点向右扩展，计算当前点与右侧上下三邻域各点之间的差值，记为

得到候选边缘点R_upper(x_upper-1，y_{upper_r})，其中

S152、在图像下半部分，寻找候选边缘点L_lower、R_lower；

自起始点向左扩展，计算当前点与左侧上下三邻域各点之间的差值，记为

得到候选边缘点L_lower(x_lower-1，y_{lower_l})，其中

θ是调节因子；

自起始点向右扩展，计算当前点与右侧上下三邻域各点之间的差值，记为

得到候选边缘点R_lower(x_lower-1，y_{lower_r})，其中

S153、重复执行步骤S151-S152，找到图像中所有候选边缘点；

S16、分别连接上下两侧的候选边缘点，得到单像素手指上下边缘，如图3(d)所示。

S2、对原始指静脉图像进行旋转矫正：

S21、在图像的第一列和最后一列，确定手指区域左右中点

其中

和

分别表示图像F第一列中手指边缘点的位置，

和

分别表示图像F最后一列中手指边缘点的位置；

S22、使用最小二乘估计拟合手指中线，如图3(e)所示；

S23、根据手指中线和水平方向的夹角计算图像偏转角度，对图像进行旋转矫正，如图3(f)所示。

S3、对旋转矫正后的图像划分背景和前景区域，获得不包含背景信息的指静脉前景图像：

S31、逐列遍历图像，各像素填充值由如下公式确定：

S32、得到手指区域的黑白二值掩膜图像M，如图3(g)所示；

S33、将图像F和M做逐像素与操作，删除F中的背景信息，只保留手指区域。其中，将图像F和M做逐像素与操作时，手指部分像素值和白色掩膜(像素值为255)做与操作，仍为原始像素值；背景部分像素值和黑色掩膜(像素值为0)做与操作，结果均为0。从而删除F中的背景信息，只保留手指区域，如图3(h)所示。

S4、寻找手指边缘内切线，确定指静脉感兴趣区域：

S41、在图像上半部分自上而下逐列寻找每一列的首个非零像素，并记录其纵坐标，从中找出最大纵坐标对应点的位置pos₁；

S42、在图像下半部分自下而上逐列寻找每一列的首个非零像素，并记录其纵坐标，从中找出最小纵坐标对应点的位置pos₂；

S43、以pos₁和pos₂为原点做手指边缘内切线，作为ROI的宽度，即以pos₁和pos₂为原点作水平直线，两条内切线间距作为ROI的宽度，如图3(i)所示；

S44、以图像长度作为ROI的长度，确定最终的ROI区域，如图3(j)所示。

S5、对数据集各类别中的指静脉图像样本重复步骤S1-S4，得到每张指静脉图像的ROI并进行保存。

S6、对处理后的指静脉数据集进行训练集和测试集的划分，其中，对数据集每个类别中的6张图像按照2∶1的比例划分为训练集和测试集。通过训练集不断对网络进行迭代，直至网络收敛至最优识别结果，测试集用于评价最终网络的性能。

S7、使用改进的残差注意力网络进行特征融合提取；所述改进的残差注意力网络包括：用于对图像进行一层卷积和最大池化操作的卷积层Convl和池化层Max_pooling；用于提取图像中的特征信息的双分支注意力结构模块，该模块包括采用残差连接的主特征分支和软注意力分支，其中主特征分支结构为Inception-Resnet，软注意力分支为自上而下、自底向上的对称式结构；用于将提取到的特征信息进行多尺度特征融合的Inception模块；用于对融合特征进行平均池化的池化层Avg_pooling；以及用于进行分类输出的Softmax分类器。使用训练集和测试集对所述改进的残差注意力网络进行训练即可得到指静脉图像分类网络

如图4所示，为保证网络各层卷积核对图像的适应性，同时控制网络的参数规模，首先对数据集中的图像进行resize操作，统一输入尺寸为64×64；随后对图像进行一层卷积和最大池化操作，粗提取图像线性特征并进行降维；之后将图像送入一个残差单元Res_unit，进一步提取图像中的特征信息，残差连接将该层提取到的特征与该层的输入特征相加，能够解决反向传播过程中随着网络深度的增加出现的梯度消失问题；然后将其送入双分支注意力结构模块，该模块包含主特征分支和软注意力分支，其中主特征分支结构为Inception-Resnet，使用残差连接的方式对输入特征进行多尺度滤波，提取高维静脉特征，其输出特征为M(x)；软注意力分支为自上而下、自底向上的对称式结构，最大池化层用于增加局部感受野，下采样快速收集图像的全局信息，紧接着上采样将全局信息与特征图融合，其输出特征为S(x)。通过注意力残差学习将两个分支特征结合，作为注意力模块的输出特征：A(x)＝(1+S(x))*M(x)。将该结构提取到的特征信息送入Inception模块，提取并融合多尺度特征，相比于原始的Residual Unit中传统的卷积操作，Inception将n×n卷积分解为n×1和1×n卷积，能够增加网络宽度，提取不同空间尺寸下的特征信息，将大卷积核分解为不同尺寸的小卷积核，有效减小网络的参数规模，加快网络的训练速度，同时BatchNormalization能够加速网络收敛。反向传播采用Adam优化器，初始学习率为0.0001，训练次数每增加总次数的20％，学习率降为原来的10％，最后使用Softmax分类器输出分类结果。如图5所示，网络模型最终分类准确率为98.77％。

指静脉识别

S8、将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

实施例2

基于与实施例1所述方法同样的发明构思，本实施例提出一种基于所述基于残差注意力机制的指静脉识别方法的系统，该系统包括：

模型训练模块，用于训练基于残差注意力机制的指静脉图像分类网络

指静脉识别模块，用于将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

实施例3

基于与实施例1所述方法同样的发明构思，本实施例提出一种终端，包括处理器、存储器以及存储在所述存储器中的基于残差注意力机制的指静脉识别方法程序，所述基于残差注意力机制的指静脉识别方法程序被所述处理器运行时，实现如实施例1所述的基于残差注意力机制的指静脉识别方法的步骤。

实施例4

基于与上述方法同样的发明构思，本实施例中还提供了一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现实施例1中的基于残差注意力机制的指静脉识别方法的步骤或实施例2中的基于所述基于残差注意力机制的指静脉识别方法的系统。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于残差注意力机制的指静脉识别方法，其特征在于，包括以下方法步骤：

训练基于残差注意力机制的指静脉图像分类网络

S1、对原始指静脉图像进行边缘检测，确定手指上下边缘，得到单像素宽的手指边缘线；

S2、对原始指静脉图像进行旋转矫正；

S3、对旋转矫正后的图像划分背景和前景区域，获得不包含背景信息的指静脉前景图像；

S4、寻找手指边缘内切线，确定指静脉感兴趣区域；

S5、对数据集各类别中的指静脉图像样本重复步骤S1-S4，得到每张指静脉图像的ROI并进行保存；

S6、对处理后的指静脉数据集进行训练集和测试集的划分；

S7、使用改进的残差注意力网络进行特征融合提取；使用训练集和测试集对所述改进的残差注意力网络进行训练即可得到指静脉图像分类网络；

指静脉识别

S8、将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

2.根据权利要求1所述的基于残差注意力机制的指静脉识别方法，其特征在于：

S11、使用高斯滤波对图像进行去噪处理；

S12、使用水平Sobel算子计算得到原始指静脉图像F对应的水平像素梯度图G；

S13、以G的中心点为基准将图像分为上下两部分，上半部分沿垂直方向自顶向下寻找梯度最大值点，记为(x_upper，y_upper)，下半部分沿垂直方向自底向上寻找梯度最大值点，记为(x_lower，y_lower)，其中

y_upper＝y_lower＝width/2，height和width分别为F、G的高度和宽度；

S14、分别将F_u(x_upper，y_upper)、F_l(x_lower，y_lower)、G_u(x_upper，y_upper)、G_l(x_lower，y_lower)置为255；

S15、以F_u、F_l、G_u、G_l为起始点，分别向上下两侧寻找候选边缘点；

S16、分别连接上下两侧的候选边缘点，得到单像素手指上下边缘。

3.根据权利要求2所述的基于残差注意力机制的指静脉识别方法，其特征在于，以F_u、F_l、G_u、G_l为起始点，分别向上下两侧寻找候选边缘点的方法包括如下步骤：

S151、在图像上半部分，寻找候选边缘点L_upper、R_upper；

自起始点向左扩展，计算当前点与左侧上下三邻域各点之间的差值，记为

得到候选边缘点L_upper(x_upper-1，y_{upper_l})，其中

θ是调节因子；

自起始点向右扩展，计算当前点与右侧上下三邻域各点之间的差值，记为

得到候选边缘点R_upper(x_upper-1，y_{upper_r})，其中

S152、在图像下半部分，寻找候选边缘点L_lower、R_lower；

自起始点向左扩展，计算当前点与左侧上下三邻域各点之间的差值，记为

得到候选边缘点L_lower(x_lower-1，y_{lower_l})，其中

θ是调节因子；

自起始点向右扩展，计算当前点与右侧上下三邻域各点之间的差值，记为

得到候选边缘点R_lower(x_lower-1，y_{lower_r})，其中

S153、重复执行步骤S151-S152，找到图像中所有候选边缘点。

4.根据权利要求3所述的基于残差注意力机制的指静脉识别方法，其特征在于，对原始指静脉图像进行旋转矫正的方法包括：

S21、在图像的第一列和最后一列，确定手指区域左右中点

其中

和

分别表示图像F第一列中手指边缘点的位置，

和

分别表示图像F最后一列中手指边缘点的位置；

S22、使用最小二乘估计拟合手指中线；

S23、根据手指中线和水平方向的夹角计算图像偏转角度，对图像进行旋转矫正。

5.根据权利要求4所述的基于残差注意力机制的指静脉识别方法，其特征在于，获得不包含背景信息的指静脉前景图像的方法包括：

S31、逐列遍历图像，各像素填充值由如下公式确定：

S32、得到手指区域的黑白二值掩膜图像M；

S33、将图像F和M做逐像素与操作，删除F中的背景信息，只保留手指区域。

6.根据权利要求5所述的基于残差注意力机制的指静脉识别方法，其特征在于，确定指静脉感兴趣区域的方法包括：

S41、在图像上半部分自上而下逐列寻找每一列的首个非零像素，并记录其纵坐标，从中找出最大纵坐标对应点的位置pos₁；

S42、在图像下半部分自下而上逐列寻找每一列的首个非零像素，并记录其纵坐标，从中找出最小纵坐标对应点的位置pos₂；

S43、以pos₁和pos₂为原点做手指边缘内切线，作为ROI的宽度；

S44、以图像长度作为ROI的长度，确定最终的ROI区域。

7.根据权利要求6所述的基于残差注意力机制的指静脉识别方法，其特征在于，步骤S6中，对数据集每个类别中的图像按照2∶1的比例划分为训练集和测试集。

8.根据权利要求6所述的基于残差注意力机制的指静脉识别方法，其特征在于，所述改进的残差注意力网络包括：

用于对图像进行一层卷积和最大池化操作的卷积层Conv1和池化层Max_pooling；

用于提取图像中的特征信息的双分支注意力结构模块，该模块包括采用残差连接的主特征分支和软注意力分支，其中主特征分支结构为Inception-Resnet，软注意力分支为自上而下、自底向上的对称式结构；

用于将提取到的特征信息进行多尺度特征融合的Inception模块；

用于对融合特征进行平均池化的池化层Avg_pooling；

以及用于进行分类输出的Softmax分类器。

9.一种基于权利要求1-8任一项所述基于残差注意力机制的指静脉识别方法的系统，其特征在于，该系统包括：

模型训练模块，用于训练基于残差注意力机制的指静脉图像分类网络；

指静脉识别模块，用于将对获取到的原始指静脉图像输入已训练好的基于残差注意力机制的指静脉图像分类网络，即可输出识别结果。

10.一种终端，其特征在于：包括处理器、存储器以及存储在所述存储器中的基于残差注意力机制的指静脉识别方法程序，所述基于残差注意力机制的指静脉识别方法程序被所述处理器运行时，实现如权利要求1-8中任一项所述的基于残差注意力机制的指静脉识别方法的步骤。

Images