CN111507206A - 一种基于多尺度局部特征融合的手指静脉识别方法 - Google Patents

Abstract

本发明公开了一种基于多尺度局部特征融合的手指静脉识别方法。本发明先用多尺度方向模板提取纹理方向响应值，通过比较得到一阶梯度上的局部静脉方向特征，再以方向响应值为基底计算MLBP算子得到二阶梯度上的局部纹理细节特征，最后通过最优权值的方式融合。这种多梯度特征融合的方式充分利用了图像信息，增强了特征的稳定性，能很好的突出手指静脉的结构性，且在多尺度模式下计算的方式还能增强特征对全局信息的把握。

Description

一种基于多尺度局部特征融合的手指静脉识别方法

技术领域

本发明属于生物特征识别及信息安全技术领域，特别涉及指静脉识别技术领域。

背景技术

生物识别技术是目前一种既方便又安全可靠的一种身份鉴定的方法。相较于目前其他的生物识别技术如指纹识别、人脸、DNA(即基因识别)、掌纹、虹膜、声纹等手指静脉识别具有速度快、内部特征、安全等级高、活体识别、精度高等优势。但是目前手指静脉识别技术也存在一些问题，比如信息量利用不充分、抗噪性能偏弱、特征不稳定等。

局部二值模式算子(Local Binary Pattern，LBP)是基于局部特征的算法，通过比较邻域像素点值之间的大小来反映局部纹理的变化情况，不受整幅图像关照线性变换的影响，计算简单高效，但计算尺度小，提取的指静脉特征在鲁棒性上有缺陷；付华等人提出的针对LBP改进的多块均值近邻二值模式(Multi-block Mean Neighbors-based Binarypattern，MMNBP)通过分块、取均值的操作进一步增强了指静脉特征的鲁棒性，但是对全局信息的把握不足，静脉结构性不够突出。ZHOU Y等人基于手掌静脉提出了近邻匹配积分变换(Neighborhood Matching Randon Transform，NMRT)，该方法通过比较局部区域的线性像素点和来提取主静脉方向特征，对静脉方向的描述准确，但缺乏对于局部纹理细节特征的描述，且手指静脉相较于手掌静脉来说，静脉宽度更细，更易受噪声影响，纹理错综复杂，还具有丰富的局部纹理细节特征。且以上几种局部特征提取的算法都是基于像素点提取特征，处于一阶梯度，在特征稳定性上有一定的缺陷。

指静脉图像静脉模糊以及粉尘噪声的干扰是手指静脉图像采集的难题，而目前的基于局部特征的指静脉识别算法都还处于一阶梯度计算上，局部纹理特征提取困难，特征的稳定性不足，且目前的局部特征算法对于局部纹理特征的描述单一，信息量利用不充分。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于多尺度局部特征融合的手指静脉识别方法。在指静脉手指图像采集的过程中，难免会存在噪声，并且指静脉图像中的静脉纹理较细，静脉结构复杂，局部静脉方向和局部纹理细节特征信息丰富，但图像模糊，特征难提取。本发明先用多尺度方向模板提取纹理方向响应值，通过比较得到一阶梯度上的局部静脉方向特征，再以方向响应值为基底计算MLBP算子得到二阶梯度上的局部纹理细节特征，最后通过最优权值的方式融合。这种多梯度特征融合的方式充分利用了图像信息，增强了特征的稳定性，能很好的突出手指静脉的结构性，且在多尺度模式下计算的方式还能增强特征对全局信息的把握。

本发明解决其技术问题所采用的技术方案包括以下步骤：

S1、采集红外指静脉图像，将指静脉图像预处理，用双线性插值方法进行尺度归一化，尺寸大小为R×C。

双线性插值描述子的形式化表达式如下：

其中坐标系构建如图3所示，f(x,y)为点P所对应的插值后的点P的像素值，其中Q₁₁,Q₁₂,Q₂₁,Q₂₂分别对应点P周围的点；f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)、f(Q₂₂)分别为点Q₁₁,Q₁₂,Q₂₁,Q₂₂对应的像素值，(x1,y1),(x2,y2)分别为像素值Q₁₁,Q₂₂对应的点的坐标。

S2、将归一化后的指静脉图像等分成m×n块，大小为

的图像块，对每个图像块统计直方图得到图像块的灰度级，然后对每个图像块的灰度级进行自适应直方图均衡。

所述的自适应直方图均衡(CLAHE)为现有算法；

S3、构建方向模板，然后通过方向模板计算得到方向特征编码矩阵。设方向模板为Y，窗口大小为N×N,表示窗口内有N×N个像素点，定义：

X_k＝{(i,j)|j＝F(i-i_c)+j_c,i∈[1,N]} (2)

X_k表示为由方向模板Y内一条直线；该直线X_k是由点组成的集合，(i_c,j_c)为方向模板Y的中心像素点，F为直线X_k的斜率，k为直线所代表的的方向，有F＝cosk。

所述的通过方向模板计算得到方向特征编码矩阵为现有成熟技术，不做详细赘述。

S4、提取指静脉图像的局部静脉方向特征，设H_k(i,j)为中心点(i,j)在k方向模板下的方向响应值，先计算经过归一化均衡后的指静脉图像的8个方向的方向响应值：

式中img_m,n为直线X_k上的点，m,n为直线X_k上的点的坐标，然后对8个方向的方向响应值以大小为p×p的窗口计算均值，得到各个方向上的多尺度方向特征响应值，本发明对多尺度方向特征响应值的计算，多了计算均值操作，增加尺度和平滑度，且全局性更好；公式如下：

其中H'_k(i,j)为k方向模板下的多尺度方向特征响应值，然后对获得的8个方向的多尺度方向特征响应值进行比较，选取最小的多尺度方向特征响应值所对应的方向，作为中心点(i,j)的多尺度局部方向特征Dire(i,j)，即局部静脉方向特征：

S5、提取经过归一化均衡后的指静脉图像的局部纹理细节特征，对指静脉图像的中心点(i,j)所在区域求得中心点均值img_ave(i,j)：

定义中间变量ψ(x)：

将多尺度方向特征响应值H'_k(i,j)的均值与中心点均值img_ave(i,j)做比较，得到中心点(i,j)的局部纹理细节特征，具体如下：

其中Deta(i,j)为多尺度局部纹理细节特征。

S6、对局部静脉方向特征和局部纹理细节特征用加权的方式进行匹配，即将特征提取后得到的局部静脉方向特征和局部纹理细节特征计算汉明距离，通过最优权值加权的方式进行融合得到最终匹配值。

在识别的时候，当最终匹配值Dis(P,Q)＜t，则说明是来自同一个用户的手指静脉图像。所述的t为设定阈值，由多次类间比对得到，根据选定的误识率来设置；具体最终匹配值计算公式如下：

其中，P为手指静脉模板图像数据库中某个用户的多尺度局部融合特征的编码矩阵，Q为未知用户的多尺度局部融合特征的编码矩阵，P_N和P_L分别代表编码矩阵P的局部纹理细节特征二进制编码矩阵和局部静脉方向特征二进制编码矩阵，Q_N和Q_L分别代表编码矩阵Q的局部纹理细节特征二进制编码矩阵和局部静脉方向特征二进制编码矩阵，P∩Q为编码矩阵P和编码矩阵Q的重叠区域，|| ||为计算重叠区域内的像素点数量，hamdist为计算两个编码矩阵重叠区域的汉明距离，即在同一位置上的元素二进制不同数量和，α为特征值匹配融合的最优权值，即要使得在低误识率(False Accept Rate，FAR)的情况下拒识率(FalseRejection Rate，FRR)更小。

本发明有益效果如下：

1、与传统NMRT的计算方式不同，在计算得到各个方向响应值之后，对每一个方向的响应值以一定窗口大小计算均值得到多尺度方向响应值，再相互比较得到方向特征，扩大了特征提取时计算的尺度，增强了对全局信息的把握，降低了噪声对特征的干扰。

2、与LBP的特征提取方式不同，在计算得到多尺度方向响应值之后，以方向响应值为基底计算MLBP算子得到二阶梯度上的局部纹理细节特征，对静脉纹理的描述更准确，更能突出静脉纹理结构，特征稳定性更高。

3、与LBP的算子不同，本文采用的MLBP算子先对各个多尺度方向响应值取均值作为LBP算子的周围点，再计算尺度窗口内像素点的均值作为LBP算子的中心点，最后进行比较编码得到编码值。这样多均值计算的方式在很大程度上降低了噪声对特征的干扰。

4、最后再以最优权值的方式融合一阶梯度上的局部静脉方向特征和二阶梯度上的局部纹理细节特征，充分利用了图像信息，特征稳定性更高。

实验表明，本发明提出的基于多尺度局部特征融合的手指静脉识别方法，通过大量实验，验证公式中的最佳参数，随后在粉尘噪声图像和模糊图像库的识别实验中，验证了本发明提出的识别方法能够更好地提升识别率。

附图说明

图1为本发明基于多尺度局部特征融合识别方法算法流程图；

图2为方向模板示意图；

图3为双线性插值坐标图；

图4为不同局部特征提取算法的效果图；

图5为为粉尘噪声和正常模糊混合图像库识别率与权值α曲线图；

图6为粉尘噪声和正常模糊混合图像库的不同识别算法的ROC曲线；

具体实施方式

下面结合附图对本发明的具体实施例作进一步的说明。

如图1所示，本实施例一种基于多尺度局部特征融合的手指静脉识别方法，包括以下步骤：

S1、采集红外指静脉图像，对440×200的原指静脉图像，如图4中(a)所示，构造双线性插值坐标系后依据公式(1)使用双线性插值法将原指静脉图像归一化为180×80，即R＝180,C＝80，再对图像进行分块统计灰度直方图，根据灰度级对图像进自适应直方图均衡，归一化增强图如图4中(b)所示。

S2、构建8个方向模板，如图2所示，方向模板的数量会直接影响图像信息量的利用，如果数量较少，则不能充分利用纹理的方向特征信息，使得识别性能较差；如果数量太多，则会造成纹理的方向特征信息冗余，容易导致纹理方向的描述不准确，从而引起识别率降低。

S3、根据S2构建的方向模板进行滤波提取得到方向特征响应值，再根据式(4)计算得到多尺度方向特征响应值，取最小响应值对应的方向为一阶梯度上的局部静脉方向特征，特征图像如图4中(f)所示。

S4、根据S3所得到的多尺度方向特征响应值根据式(8)计算进行MLBP编码得到二阶梯度上的局部纹理细节特征，特征图像如图4中(e)所示。

S5、根据公式(9)用最优权值的方式融合一阶梯度上的局部静脉方向特征和二阶梯度上的局部纹理细节特征，对两者的汉明距离分配权重之后相加，其中权值α＝81.25％，图5为不同权值下的在粉尘噪声和正常模糊混合图像库中的识别率。

以下为本发明的方法实验仿真结果的硬件环境及与其他的方法的效果作比较：

采用指静脉图像采集设备分别采集了粉尘噪声图像库和正常模糊混合图像库，粉尘噪声图像库中总共60个不同用户，每个用户10幅图像，一共600幅图像；正常模糊混合图像库中总共200个不同用户，每个用户10幅图像，一共2000幅图像。每张图像尺寸大小为440×200。仿真用Matlab R2014a软件编程，电脑配置为：Windows764位操作系统，Intel(R)Core(TM)i5-6500，内存4GB。采用用误识率(False Accept Rate，FAR)和拒识率(FalseRejection Rate，FRR)形成受试者工作特性(Receiver Operating Characteristic，ROC)曲线来评价算法性能，曲线越接近坐标轴表明算法的性能越好。

以下为分别采用传统LBP，MMNBP，NMRT，多尺度局部特征融合识别算法得到对应的ROC曲线，图6中(a)表示的是在粉尘噪声图像库中的ROC曲线，图6中(b)表示的是在正常图像库中的ROC曲线。从图6中(a)中可以看出：在粉尘噪声图像库中，相比于LBP算法，MMNBP算法的识别性能有明显的提升，说明MMNBP抗噪声能力更强；对比MMNBP和NMRT两种局部特征提取算法，当FAR＝0％时，本文提出的算法的FRR分别从MMNBP的59.01％和NMRT的60.78％下降至48.96％，且整体ROC曲线位于MMNBP和NMRT之下，说明本文提出的多尺度局部特征融合识别算法对于噪声图像库有更好的识别性能，特征稳定性更高，抗噪声能力更强。

从图6中(b)中可以看出：在正常模糊混合图像库中，相比于LBP识别算法，NMRT识别算法，MMNBP算法，本文提出的多尺度局部特征融合识别算法性能有明显的提升。图6中(b)可以看到MMNBP的识别率处于LBP识别方法之下，说明MMNBP比LBP的特征更稳定；当FAR＝0％时，FRR从MMNBP算法的17.21％和NMRT算法的15.34％降低到本文算法的10.47％。并且本文提出的算法整体识别率曲线完全在NMRT和MMNBP识别算法之下，证明了在正常图像库中，本文所提出的算法的特征稳定性更高，信息量利用更充分，相较于其他局部特征提取算法的识别率有一定的提高。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。

Claims (6)

1.一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于包括如下步骤：

S1、采集红外指静脉图像，将指静脉图像用双线性插值方法进行尺度归一化，尺寸大小为R×C；

S2、将归一化后的指静脉图像等分成m×n块，大小为

的图像块，对每个图像块统计直方图得到图像块的灰度级，然后对每个图像块的灰度级进行自适应直方图均衡；

S3、构建方向模板，然后通过方向模板计算得到方向特征编码矩阵；

S4、提取指静脉图像的局部静脉方向特征，设H_k(i,j)为中心点(i,j)在k方向模板下的方向响应值，先计算经过归一化均衡后的指静脉图像的8个方向的方向响应值；然后对8个方向的方向响应值以大小为p×p的窗口计算均值，得到各个方向上的多尺度方向特征响应值H'_k(i,j)；最后对获得的8个方向的多尺度方向特征响应值进行比较，选取最小的多尺度方向特征响应值所对应的方向，作为中心点(i,j)的多尺度局部方向特征Dire(i,j)，即局部静脉方向特征；

S5、提取经过归一化均衡后的指静脉图像的局部纹理细节特征，对指静脉图像的中心点(i,j)所在区域求得中心点均值img_ave(i,j)：

将多尺度方向特征响应值H'_k(i,j)的均值与中心点均值img_ave(i,j)做比较，得到中心点(i,j)的局部纹理细节特征；

S6、对局部静脉方向特征和局部纹理细节特征用加权的方式进行匹配，即将特征提取后得到的局部静脉方向特征和局部纹理细节特征计算汉明距离，通过最优权值加权的方式进行融合得到最终匹配值，在识别的时候，当最终匹配值Dis(P,Q)＜t，则说明是来自同一个用户的手指静脉图像；其中t为设定阈值。

2.根据权利要求1所述的一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于步骤S4的具体实现如下：

所述的8个方向的方向响应值计算如下：

式中img_m,n为直线X_k上的点，m,n为直线X_k上的点的坐标；

所述的多尺度方向特征响应值计算如下：

其中H'_k(i,j)为k方向模板下的多尺度方向特征响应值；

所述的多尺度局部方向特征Dire(i,j)，即局部静脉方向特征计算如下：

3.根据权利要求1或2所述的一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于步骤S5的具体实现如下：

所述的中心点均值img_ave(i,j)，具体如下：

所述的中心点(i,j)的局部纹理细节特征，具体如下：

其中Deta(i,j)为多尺度局部纹理细节特征；

所述的ψ(x)为中间变量，具体如下：

4.根据权利要求3所述的一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于步骤S6的具体实现如下：

所述的最终匹配值计算公式如下：

其中，P为手指静脉模板图像数据库中某个用户的多尺度局部融合特征的编码矩阵，Q为未知用户的多尺度局部融合特征的编码矩阵，P_N和P_L分别代表编码矩阵P的局部纹理细节特征二进制编码矩阵和局部静脉方向特征二进制编码矩阵，Q_N和Q_L分别代表编码矩阵Q的局部纹理细节特征二进制编码矩阵和局部静脉方向特征二进制编码矩阵，P∩Q为编码矩阵P和编码矩阵Q的重叠区域，|| ||为计算重叠区域内的像素点数量，hamdist为计算两个编码矩阵重叠区域的汉明距离，即在同一位置上的元素二进制不同数量和，α为特征值匹配融合的最优权值。

5.根据权利要求1或4所述的一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于步骤S1所述的双线性插值方法的形式化表达式如下：

其中，f(x,y)为点P所对应的插值后的点P的像素值，其中Q₁₁,Q₁₂,Q₂₁,Q₂₂分别对应点P周围的点；f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)、f(Q₂₂)分别为点Q₁₁,Q₁₂,Q₂₁,Q₂₂对应的像素值，(x1,y1),(x2,y2)分别为像素值Q₁₁,Q₂₂对应的点的坐标。

6.根据权利要求5所述的一种基于多尺度局部特征融合的手指静脉识别方法，其特征在于步骤S3具体实现如下：

设方向模板为Y，窗口大小为N×N,表示窗口内有N×N个像素点，定义：

X_k＝{(i,j)|j＝F(i-i_c)+j_c,i∈[1,N]} (2)

X_k表示为由方向模板Y内一条直线；该直线X_k是由点组成的集合，(i_c,j_c)为方向模板Y的中心像素点，F为直线X_k的斜率，k为直线所代表的的方向，有F＝cosk。

Images