CN109934102B

CN109934102B - 一种基于图像超分辨率的指静脉识别方法

Info

Publication number: CN109934102B
Application number: CN201910081202.6A
Authority: CN
Inventors: 张娜; 高春波; 包晓安; 陈春宇; 黄友
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2020-11-27
Anticipated expiration: 2039-01-28
Also published as: CN109934102A

Abstract

本发明公开了一种基于图像超分辨率重建的指静脉识别方法，涉及生物识别技术、计算机视觉、机器学习等领域。本方法包括以下步骤：S10，采集指静脉图像；S20，重建高分辨率的指静脉图像；S30，进行图像预处理；S40，提取指静脉纹路特征；S50，保存指静脉特征到数据库，实现指静脉识别。本发明将图像超分辨率重建技术运用到指静脉识别领域中，设计出一种通用、高效的指静脉识别算法，通过提高指静脉图像的分辨率，能够有效提高指静脉识别的速度和准确度。

Description

一种基于图像超分辨率的指静脉识别方法

技术领域

本发明涉及生物识别技术、计算机视觉、机器学习等领域。具体涉及一种基于图像超分辨率的指静脉识别方法。

背景技术

随着信息技术的发展，市场上对使用身份认证技术对一个人进行身份识别的需求越来越多。使用传统的身份证件(如个人身份证、工作证、驾驶证、储蓄卡等)来验证身份的方法已经远远不能保证识别的安全性和可靠性。传统的身份认证技术自身的缺点无法满足对身份认证的需求，需要采用更敏捷可靠的生物识别技术。其中指静脉识别技术不仅使用的是体内特征很难被复制，而且属于活体识别，具有更高的安全性而备受瞩目。

指静脉识别具有高度防伪、快速识别、高准确度和简单易用的特点，在金融支付、安防门禁、智慧楼宇、医保社保、智慧校园、智能家居、教育考试等领域都具有广泛的应用。目前的指静脉识别都存在以下问题：

采集到的图像质量在指静脉识别起到很大的作用，图像的质量直接影响到最终识别效果。如果图像质量不好，即使识别算法匹配能力很强识别效果也不会太好。目前通过红外线CCD摄像头照射手指来采集指静脉图像，采集到的图像较为模糊，造成最终的指静脉识别误检率极高。

本方法针对目前市场上主流的指静脉识别方法的缺陷和不足进行改进，提出了一种基于图像超分辨率的指静脉识别方法，该方法以卷积神经网络为基础，构建图像超分辨率模型，根据输入的低分辨率指静脉图像，输出相应的高分辨率指静脉图像，提高图像质量，以此提高指静脉识别算法的精确度。

发明内容

为了解决上述的技术问题，本发明的目的在于获取指静脉的相对高清图像，提高指静脉识别的准确性和实时性，提供一种基于图像超分辨率的指静脉识别算法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于图像超分辨率的指静脉识别方法，其特征在于包括以下步骤：

A，采集指静脉图像；

B，重建高分辨率指静脉图像；

所述的步骤B具体为：

B1，提取指静脉图像的低频结构特征；

B2，提取指静脉图像的高频结构特征；

B3，融合指静脉结构特征和细节特征，将融合后的完整图像映射为r*r个候选图像，利用线性组合的方式将候选图像映射为一个高分辨率指静脉图像；其中r为图像清晰度放大倍数。

C，图像预处理；

D，提取指静脉纹路特征；

E，保存指静脉特征到数据库。

上述的技术方案，其中，所述步骤A具体为：

近红外光源位于手指两侧，当手指两侧的红外光穿过手指时，位于手指下面的CCD摄像头采集到指静脉图像。

上述的技术方案，其中，所述步骤B具体为：

S21，原始的指静脉图像输入到图像超分辨率模型的低频子网络中进行卷积和正则化交替处理，输出同样分辨率的指静脉结构特征图，得到其结构特征值数据；

S22，通过3个残差块组成的网络提取指静脉结构特征图的细节部分，得到其细节特征值数据；

S23，对得到的结构特征值和细节特征值进行加权求和，得到完整全面的指静脉特征值集合；

S24，通过一层卷积网络，将完整的指静脉特征值映射为r*r个原始分辨率大小的候选图像；其中r为图像清晰度放大倍数；

S25，对r*r个候选图像进行排列组合，候选清晰度最高的图像作为输出的高分辨率指静脉图像。

上述的技术方案，其中，所述步骤B1具体为：

所述步骤S21中的低频子网络包含3个卷积层和3个正则化层，每一层中的卷积核大小固定，均为深度64的3*3卷积核。

上述的技术方案，其中，所述步骤B2具体为：

将步骤S21得到的指静脉结构特征图输入到图像超分辨率模型的高频子网络中进行处理，高频子网络包含3个残差块，前一个残差块的输入和输出同时作为下一个残差块的输入，每一个残差块包含2个深度为64，卷积核大小为3*3的卷积层和一个正则化层，对当前图像进行卷积和正则化交替处理，输出图像的细节特征图。

上述的技术方案，其中，所述步骤C具体为：

C1，遍历整个高分辨率指静脉图像，设定一个移动的平均阈值，如果图像中的某个像素低于整个平均值，则设为黑色，否则设为白色，输出二值图像；

C2，采用Gabor滤波器对指静脉二值图像进行图像增强；

C3，对图像各个领域内的像素值按大小排序，将像素值中位数作为新的像素值，对图像进行去噪；

C4，通过判断像素点在领域内是否为内部点，连通点，断点，提取静脉的骨架。

上述的技术方案，其中，所述步骤D具体为：

对于预处理得到的高清指静脉骨架图进行SHIFT特征提取。

本发明的指静脉识别方法产生以下几种良好的效果：

效果1：本发明采用图像超分辨率进行指静脉识别，有效的解决了红外线CCD摄像头采集到的图像模糊问题，避免图像模糊对指静脉特征提取产生不好的影响。

效果2：本发明采用图像超分辨率进行指静脉识别，可以得到更高分辨率的清晰指静脉图像，避免图像预处理部分对指静脉图像进行复杂的算法处理，有效的提高了指静脉识别的准确度和处理速度。

效果3：本发明采用的图像超分辨率方法使用线性的方式对低分辨率图像进行重建，大大加快了清晰图像重建速度，有效的避免了引入图像超分辨率算法对指静脉识别实时性的影响。

附图说明

图1是本方法的步骤图；

图2是CCD摄像头获取到的指静脉图像；

图3是本方法使用的超分辨率模型结构图；

图4是低频子网络提取低分辨率图像结构特征的流程图；

图5是高频子网络提取低分辨率图像细节特征的流程图；

图6是重建高分辨率图像的流程图；

图7是超分辨率重建后的高分辨率指静脉图像；

图8是图像预处理流程图；

图9是预处理过程中的生成图像；

图10是提取特征的流程图；

图11是设备采集到的指静脉图像和经过超分辨率重建的高分辨率图像。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对发明的限定。

一、方法

如图1，本方法的实现步骤如下：

A采集指静脉图像

通过红外灯照射手指，利用CCD摄像头获取指静脉的图像，得到指静脉图像如图2所示。

B重建高分辨率指静脉图像

图像超分辨率模型的网络架构如图3所示，首先对图像超分辨率模型进行初始化操作，读取参数文件，解析模型结构，加载模型权重。

图像超分辨率模型提取图像结构特征如图4所示，将A步得到的指静脉图像输入到模型的低频子网络中进行处理。子网络包含3个卷积层和3个正则化层，每一层中的卷积核大小固定，均为深度为64的3*3卷积核。对当前图像进行卷积和正则化交替处理，输出和原始图像同样分辨率的结构特征图，获取特征值数据。

图像超分辨率模型提取图像细节特征如图5所示，将上步得到的结构特征图输入到模型的高频子网络中进行处理。高频子网络包含3个残差块，前一个残差块的输入和输出同时作为下一个残差块的输入。每一个残差块包含2个深度为64，卷积核大小为3*3的卷积层和一个正则化层。对当前图像进行卷积和正则化交替处理，输出图像的细节特征图。

图像超分辨率模型重建高分辨率图像如图6所示，将指静脉图像的结构特征图和细节特征图同时输入到非线性映射层。非线性映射层是个深度为r*r(r为图像清晰度放大倍数)，卷积核大小为3*3的卷积层，将特征图像映射为r*r个和原始图像同样分辨率的待选超分辨率图像。通过对r*r个图像进行组合重建，输出重建后的高分辨率图像，重建出的高分辨率指静脉图像如图7所示。

C图像预处理

图像预处理过程如图8所示。对上一步得到的高分辨率指静脉图像进行归一化，图像增强，图像去噪，骨架提取等一系列操作得到指静脉纹路骨架图：

1遍历整个高分辨率指静脉图像，计算一个移动的平均值。如果图像中某个像素低于这个平均值，则设置为黑色，否者设置为白色，输出二值图像如图9-(a)所示。

2选取高斯窗函数作为Gabor的核函数，对核函数进行离散Gabor变换得到Gabor算子。用Gabor算子对上步输出图像的各个方向进行卷积，最后取最大的响应值作为增强后的图像。

3读取增强图像，设定滤波滑动窗口大小为3*3。该窗沿着图像数据的行方向逐像素滑动，在每一次滑动期间内，方向窗口中的所有像素值按照灰度值被排序，这组数据中的中值作为输出，替代原来窗函数的中心位置像素的灰度值，输出增强后的图像如图9-(b)所示。

4提取最新目标轮廓(初始为原目标轮廓)并记录这些轮廓点。依次检测这些轮廓点的8像素领域，删除并腐蚀目标图像中只含3连通像素的点。依次检测剩余轮廓点的8像素领域，如果只含3或4连通像素，则把此点从轮廓点删除，并在目标图像中删除(腐蚀)对应点。增加检测连通像素区域范围并迭代上述过程，直到没有像素被腐蚀，则终止迭代，输出骨架图像如图9-(c)所示。

D提取指静脉纹路特征

1通过图像域高斯核函数进行卷积，建立图像尺度空间。为了寻找尺度空间的极值点，每个像素点要和其图像域(同一尺度空间)和尺度域(相邻的尺度空间)的所有相邻近点进行比较，当其大于(或者小于)所有相邻点时，该点就是极值点。上下尺度平面集满足查找条件的有26个点，26个点分别是上平面对应的9个检测点，待检测平面邻域点8个，下平面对应的9个检测点。

2对找到的极值点进行阈值化过滤，删除低对比度的特征点；利用Hessian矩阵计算特征值的边缘轨迹，删除不稳定的边缘响应点。

3计算4x4区域内的所有样本点的梯度值和方向，将方向分为若干个bins，然后使用高斯函数加权将周围样本点统计出方向直方图，将一周360°分成36个bins，统计方向落在每个bins中样本，将该样本梯度值乘以高斯权重后加入这个bins中，就得到了长度为36的方向直方图。在这个方向直方图中，最大峰值对应的bins就是关键点的方向。

4以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。

E保存指静脉特征到数据库

将提取到的指静脉特征值保存到数据库，等待其他指静脉进行匹配。

举一个仿真实例或具体实验以表明发明方法的效果，需要包含试验步骤或仿真步骤、结果和结果分析。

为了验证本发明的有效性，采用去除超分辨率重建步骤的指静脉识别方法和本发明的基于超分辨率重建的指静脉方法进行对比，具体实验步骤如以上实施方式所示，分别对1000张指静脉图像进行识别对比，分别记录指静脉图像的峰值信噪比(PSNR)、识别时间、识别精度以及重建的指静脉图像，实验结果如表1和附图11所示。

表1传统指静脉识别方法与本方法对比结果

峰值信噪比(peak signal to noise ratio,PSNR)表明了图像的质量，PSNR的值越高，表明图像失真越少，图像的质量越高。本方法的PSNR相较于传统指静脉识别方法提高了6.92dB，识别时间减少了0.026s，识别准确率提高了0.071。附图11为指静脉采集器获取到的原始低分辨率指静脉图像和本方法恢复出的高分辨率指静脉图像，可以看出重建的指静脉图像纹理更加清晰，因此需要较少的处理步骤就能获得较为清晰的纹理特征。实验结果表明，本方法能够提高图像分辨率，重建出高质量的指静脉图像，避免指静脉采集器和其它噪声对图像质量的影响，以此提高指静脉识别的准确率和识别速度。

Claims

1.一种基于图像超分辨率的指静脉识别方法，其特征在于包括如下步骤：

A，采集指静脉图像；

B，重建高分辨率指静脉图像；

所述的步骤B具体为：

所述步骤S22具体为：将步骤S21得到的指静脉结构特征图输入到图像超分辨率模型的高频子网络中进行处理，高频子网络包含3个残差块，前一个残差块的输入和输出同时作为下一个残差块的输入，每一个残差块包含2个深度为64，卷积核大小为3*3的卷积层和一个正则化层，对当前图像进行卷积和正则化交替处理，输出图像的细节特征图；

S25，对r*r个候选图像进行排列组合，选取清晰度最高的图像作为输出的高分辨率指静脉图像；

C，图像预处理；

D，提取指静脉纹路特征；

E，保存指静脉特征到数据库。

2.根据权利要求1所述的一种基于图像超分辨率的指静脉识别方法，其特征在于：所述步骤A为：近红外光源位于手指两侧，当手指两侧的红外光穿过手指时，位于手指下面的CCD摄像头采集到指静脉图像。

3.根据权利要求1所述的一种基于图像超分辨率的指静脉识别方法，其特征在于：所述步骤S21中的低频子网络包含3个卷积层和3个正则化层，每一层中的卷积核大小固定，均为深度为64的3*3卷积核。

4.根据权利要求1所述的一种基于图像超分辨率的指静脉识别方法，其特征在于：所述步骤C具体为：

C1，遍历整个高分辨率指静脉图像，设定一个移动的平均阈值，如果图像中的某个像素值低于平均阈值，则设为黑色，否则设为白色，输出二值图像；

C2，采用Gabor滤波器对指静脉二值图像进行图像增强；

C3，对图像各个邻域内的像素值按大小排序，将像素值中位数作为新的像素值，对图像进行去噪；

C4，通过判断像素点在邻域内是否为内部点、连通点、断点，提取静脉的骨架。

5.根据权利要求1所述的一种基于图像超分辨率的指静脉识别方法，其特征在于：所述步骤D具体为：对于预处理得到的高清指静脉骨架图进行SIFT特征提取。