CN103336945B - 融合局部特征与全局特征的指静脉识别方法 - Google Patents

Abstract

融合局部特征与全局特征的指静脉识别方法。目前许多静脉识别方法采用的是静脉图像的局部特征，其识别精度受图像质量的影响较大，易出现拒绝、误识现象。本发明方法包括:首先对读入的指静脉图像进行手指区域提取、二值化等预处理操作；再对提取出的细节特征点集利用基于柔性匹配的局部特征识别模块，在一定的角度与半径范围内实现局部特征的匹配；针对双向二维主成分分析的全局特征识别模块，能从整体上较好地展现二维图像数据集，将其用于静脉图像识别实现全局特征的匹配；最后根据这两种识别方法的正确识别率设计权重，将这两个分类器的结果进行决策级融合，将融合后的结果作为最终的识别结果。本发明用于指静脉识别。

Description

融合局部特征与全局特征的指静脉识别方法

技术领域：

本发明涉及一种融合局部特征与全局特征的指静脉识别方法。

背景技术：

目前，许多静脉识别方法采用的是静脉图像的局部特征，这种局部特征主要用于描述指静脉纹路的细节信息。已有技术中通过提取静脉纹路上的细节点特征，然后将待匹配静脉图像的细节点特征与模板图像进行比对来完成匹配识别操作，这种方法能够获得较高的识别率，并且识别速度较快，但它受图像质量的影响较大，对于质量较差的静脉图像，容易遗漏特征点或者提取出伪特征点，很难准确地提取出细节点特征，从而造成匹配决策过程中出现拒绝、误识现象。除了基于局部特征的识别方法，还有一类方法是直接利用灰度静脉图像的全局特征进行处理的：采用小波矩融合PCA变换和LDA变换的方法实现手指静脉的匹配识别；基于 Contourlet 子带能量特征多 HMM 融合的静脉识别；通过对图像进行拉普拉斯变换实现静脉图像的全局匹配。与基于局部特征的识别方法相比，基于全局特征的识别方法能够充分利用静脉图像信息，但当静脉图像存在一定的旋转或者平移现象时，这类方法的识别精度将会受到影响。

发明内容：

本发明的目的是提供一种融合局部特征与全局特征的指静脉识别方法。

上述的目的通过以下的技术方案实现：

一种融合局部特征与全局特征的指静脉识别方法，首先对读入的指静脉图像进行手指区域提取、二值化等预处理操作；再对提取出的细节特征点集利用基于柔性匹配的局部特征识别模块，在一定的角度与半径范围内实现局部特征的匹配；针对双向二维主成分分析的全局特征识别模块，能从整体上较好地展现二维图像数据集，将其用于静脉图像识别实现全局特征的匹配；最后根据这两种识别方法的正确识别率设计权重，将这两个分类器的结果进行决策级融合，将融合后的结果作为最终的识别结果。

所述的融合局部特征与全局特征的指静脉识别方法，所述的柔性匹配的局部特征识别模块，

（1）首先对原始指静脉图像进行提取手指区域、二值化、细化等操作，再提取细化后图像的特征点，即端点与交叉点；

（2）读入模板图像特征点和待匹配图像特征点，判断和是否满足，如不成立则重复此步骤，读入另一对特征点，否则转向步骤（3），直至所有细节点对均完成比较，转到最后一步；

（3）累加相似特征点个数；

（4）根据下列相似度计算公式得到模板图像与待匹配图像特征点集间的匹配相似度，与合格阈值进行比较，判断匹配是否成功；

其中M是模板指静脉图像上的一个特征点和待匹配之静脉图像上的对应特征点匹配成功的记录，若匹配成功，则M的值相应增加；为总特征点数即两个进行比对的样本特征点数之和；为最大相似特征点数。若相似度大于某个合格阈值，则两个指静脉图像相似。

所述的融合局部特征与全局特征的指静脉识别方法，所述的决策级融合，在得到基于柔性匹配的识别方法与基于双向二维主成分分析的指静脉识别方法的正确识别率及识别结果后，根据这两种识别方法的正确识别率设计权值，以此确定两种识别方法的识别结果在最终的融合结果中所占的比例；在求得全局特征方法与局部特征方法的正确识别率和及这两种识别系统的识别结果和后，采用线性拟合的方式得到最终的识别结果；其中，和的取值为1或0，1表示系统验证成功，0表示验证失败；融合系统的结果用表示，若，则融合系统验证结果成功，否则失败；由于全局特征方法与局部特征方法的侧重点不同，所以对这两种识别结果赋予不同的权重，以获得最佳的识别结果，其中，式中的值由和综合决定：

。

有益效果：

1.本发明针对静脉图像的全局特征与局部特征所反映的内容与所起的作用不同，综合考虑使用这两种单一特征识别方法的优缺点，根据这两种方法的正确识别率设计权重将二者的识别结果在决策级上进行融合，有助于对低质量的静脉图像进行识别，使识别结果更加可靠，克服了单一特征方法的局限性，具备特征选择的作用，效果十分理想。

2.本发明可靠性强，使用价值高，融合了局部特征与全局特征的手指静脉识别方法。

附图说明：

附图1是本发明的方法流程图。

附图2 是柔性范围示意图。

附图3是基于2DPCA的指静脉图像特征提取框图。

附图4是柔性匹配识别方法roc曲线图。

具体实施方式：

实施例1：

一种融合局部特征与全局特征的指静脉识别方法，首先对读入的指静脉图像进行手指区域提取、二值化等预处理操作；再对提取出的细节特征点集利用基于柔性匹配的局部特征识别模块，在一定的角度与半径范围内实现局部特征的匹配；针对双向二维主成分分析的全局特征识别模块，能从整体上较好地展现二维图像数据集，将其用于静脉图像识别实现全局特征的匹配；最后根据这两种识别方法的正确识别率设计权重，将这两个分类器的结果进行决策级融合，将融合后的结果作为最终的识别结果。

实施例2：

根据实施例1所述的融合局部特征与全局特征的指静脉识别方法，所述的柔性匹配的局部特征识别模块，

（1）首先对原始指静脉图像进行提取手指区域、二值化、细化等操作，再提取细化后图像的特征点，即端点与交叉点；

（2）读入模板图像特征点和待匹配图像特征点，判断和是否满足，如不成立则重复此步骤，读入另一对特征点，否则转向步骤（3），直至所有细节点对均完成比较，转到最后一步；

（3）累加相似特征点个数；

（4）根据下列相似度计算公式得到模板图像与待匹配图像特征点集间的匹配相似度，与合格阈值进行比较，判断匹配是否成功；

其中M是模板指静脉图像上的一个特征点和待匹配之静脉图像上的对应特征点匹配成功的记录，若匹配成功，则M的值相应增加；为总特征点数即两个进行比对的样本特征点数之和；为最大相似特征点数。若相似度大于某个合格阈值，则两个指静脉图像相似。

实施例3：

根据实施例1或2所述的融合局部特征与全局特征的指静脉识别方法，所述的决策级融合，在得到基于柔性匹配的识别方法与基于双向二维主成分分析的指静脉识别方法的正确识别率及识别结果后，根据这两种识别方法的正确识别率设计权值，以此确定两种识别方法的识别结果在最终的融合结果中所占的比例；在求得全局特征方法与局部特征方法的正确识别率和及这两种识别系统的识别结果和后，采用线性拟合的方式得到最终的识别结果；其中，和的取值为1或0，1表示系统验证成功，0表示验证失败；融合系统的结果用表示，若，则融合系统验证结果成功，否则失败；由于全局特征方法与局部特征方法的侧重点不同，所以对这两种识别结果赋予不同的权重，以获得最佳的识别结果，其中，式中的值由和综合决定：

。

实施例4：

根据实施例1或2或3所述的融合局部特征与全局特征的指静脉识别方法，柔性匹配的局部特征识别方法：

指静脉纹路上存在端点、分叉点等局部特征，这种细节点特征是静脉纹路突变产生的，且其在静脉图像中出现的概率并不相同，静脉图像的唯一性信息可由这些细节点特征来表征，因此本发明使用这种细节点特征对指静脉图像进行匹配识别。

由于指静脉图像采用非接触方式采集，图像受平移、旋转变换影响较大，并且图像发生这类非线性变换时，将导致匹配的细节点对之间通常都存在相对位置和角度偏差，影响识别系统的识别精度。针对这一问题，本发明引入柔性匹配范围的思想来解决对应点间的形变，柔性匹配即不要求对应细节点完全重合，只要对应细节点的位置和角度等特征的偏差小于给定的阈值范围即认为匹配。

指静脉图像的细节特征点匹配是指其特征点拓扑结构的匹配，若模板指静脉图像的特征点拓扑结构与待匹配指静脉图像的特征点拓扑结构大致相同，则判定两幅图像匹配；反之，则判定两幅图像不匹配，而图像间特征点拓扑结构大致相同的描述可转化为特征点相似的描述，从而得到相似度的计算公式为：

(1)

其中M是模板指静脉图像上的一个特征点和待匹配之静脉图像上的对应特征点匹配成功的记录，若匹配成功，则M的值相应增加；为总特征点数即两个进行比对的样本特征点数之和；为最大相似特征点数。若相似度大于某个合格阈值，则两个指静脉图像相似。

上述描述中，提到的特征点相同的判定方法如下：设模板静脉图像的某一个特征点为，待匹配静脉图像的某一特征点为。若和完全一样，则，也就是说两个点集中的元素对应相等。但在实际情况中，由于误差的存在，若和一样，则数学描述应为，即，其中的大小就是柔性匹配范围的大小。

柔性匹配范围的思想具体是指在细节特征点周围划取一个可变大小的范围，这个范围由四条边组成，其中一对边由两极半径组成，另一对边由两个极角边组成；两个极角边的差表示柔性匹配范围的宽度，两个极半径的差表示柔性匹配范围的高度，而柔性匹配范围由和决定。

由于和的值随着细节特征点极半径大小的改变而改变，若特征点极半径值较大，则它的值较大而的值较小，因此柔性匹配范围的大小也是变化的，如图2所示，图中表示柔性匹配范围的角度变化范围，表示柔性匹配范围的半径变化范围。

细节点极半径为时的计算公式如下：

(2)

(3)

细节点极半径为时的计算公式如下：

(4)

(5)

式中，、、、分别是和的上界和下界，为模板特征点与待匹配特征点的极角差值，为模板特征点与待匹配特征点的极半径差值，可根据具体静脉图像数据的情况进行调节。

综上所述，指静脉图像柔性匹配范围算法的具体步骤如下：

第一步：读入模板特征点和样本特征点，判断和是否满足，如不成立则重复此步骤，读入另一对特征点，否则转向步骤2)，直至所有细节点对均完成比较，转到最后一步；

第二步：累加分数、相似特征点个数；

第三步：根据相似度计算公式计算匹配相似度，与合格阈值进行比较，判断匹配是否成功。

实施例5：

根据实施例1或2或3或4所述的融合局部特征与全局特征的指静脉识别方法，双向二维主成分分析的全局特征识别方法：

二维主成分分析（2DPCA）是基于二维图像矩阵的，可以通过使用原始图像矩阵直接地构造出图像的协方差矩阵，该矩阵大小比使用主成分分析（PCA）构造的协方差矩阵要小得多，容易直接地计算训练样本的协方差矩阵，在人脸识别方面取得了良好的应用效果。但二维主成分分析仍存在系数矩阵维数过高的缺点，而双向二维主成分分析（B2DPCA）降低了图像特征矩阵的维数，因此本发明将B2DPCA思想引入到手指静脉匹配方法中。

（1）二维主成分分析

设原始手指静脉图像为A，大小为，二维主成分分析的思想就是把A通过下式的线性变换朝向量投影：

(6)

为得到的投影特征向量，维数为。上述过程中，的方向不同，图像 A投影后的可分离程度也不同，投影图像的总体散布矩阵越大，可分离程度越高，图像识别效果越好。而图像的总体散布矩阵可由投影特征向量的协方差矩阵的迹来表示，因此，最佳投影轴求取准则为：

(7)

其中表示的迹，表示投影特征向量的样本类间总体散布矩阵，具体定义如下：

(8)

所以式(6)可表示为：

(9)

定义矩阵：

(10)

则为图像的协方差矩阵，是的非负定矩阵，可直接用训练样本图像计算得到。所以通过这样的方式，就把求投影特征向量的协方差矩阵就转化为求取指静脉图像A的协方差矩阵。

假设总共有个训练样本图像，第个训练样本用矩阵表示，那么所有训练样本的平均图像用来表示：

= (11)

则可以由下式求出：

(12)

（2）基于双向二维主成分分析的指静脉识别方法

设和分别表示图像和训练样本的平均图像的第i个行向量，则式(6)可表示为：

(13)

设训练样本的均值，则上式表示可由图像行向量的外积产生，因此，可将上述二维主成分分析称为行方向的二维主成分分析，其实质是图像矩阵寻找行方向上的最佳投影矩阵，而在列方向上也存在一个最佳投影矩阵。

设和分别表示图像和训练样本的平均图像的第j个列向量，则列方向二维主成分分析的思想是把通过下式的线性变换投影到上，产生矩阵，则式(8)可表示为：

(14)

图像列方向的协方差矩阵可定义为：

(15)

列方向上的最优投影矩阵可由上式的前d个最大的特征值对应的特征向量组成。

行方向的2DPCA能得到一个反映图像矩阵各行信息的最优矩阵，而忽略了图像矩阵的列信息，而列方向的2DPCA则忽略了图像的行信息，而双向二维主成分分析则充分考虑了图像行、列两方面的信息，具有更佳的效果。

双向二维主成分分析方法的思想是将图像矩阵同时在和上投影，产生特征矩阵：

(16)

在使用双向二维主成分分析进行指静脉识别时，首先将训练样本库中的每幅指静脉图像 在和上投影，得到训练图像的特征矩阵 ；在测试时，利用式(16)求取待识别样本的特征矩阵，再求出和之间的距离，通过最近邻分类器实现分类。和之间的距离定义如下：

(17)

其中为行方向上的主分量数，为列方向上的主分量数。基于B2DPCA技术的指静脉识别方法具体流程如图3所示。

实施例6：

根据实施例1或2或3或4或5所述的融合局部特征与全局特征的指静脉识别方法，基于GAR加权投票的决策级融合方法：

指静脉图像的局部特征主要用于描述指静脉纹路的细节信息，而全局特征则表述了指静脉图像的整体属性，二者所反映的内容与所起的作用不尽相同，因此将全局特征与局部特征进行融合能将来自同一个目标的识别信息进行智能化的合成，以产生比单一特征更为准确、全面的判断。

由于决策级融合是一种高层次的融合，融合算法不需要任何特征的相关信息，只接受各个算法的识别结果，系统传输的数据量低，抗干扰能力强，容错性较好。因此，本发明在得到上述单一特征分类器识结果后，采用决策级融合方法得到最终的识别结果。

识别系统的精确程度通常以正确识别率(Genuine Acceptance Rate, GAR)来描述，即正确识别的次数与识别的总次数的比值，它反应了识别系统性能的好坏，正确识别率的值越高，系统的性能越好。因此，本发明充分利用上述基于局部特征分类器（使用柔性匹配的识别方法）与基于全局特征分类器（使用双向二维主成分分析技术的识别方法）训练得到的正确识别率来构造一种基于GAR加权投票的决策级融合方法。

在求得全局特征方法与局部特征方法的正确识别率和及这两种识别系统的识别结果和后，采用线性拟合的方式得到最终的识别结果。其中，和的取值为1或0，1表示系统验证成功，0表示验证失败。融合系统的结果用表示，若，则融合系统验证结果成功，否则失败。由于全局特征方法与局部特征方法的侧重点不同，所以本发明对这两种识别结果赋予不同的权重，以获得最佳的识别结果，从而定义为:

(18)

为充分考虑这两种方法的正确识别率对融合系统识别结果的影响，式中的值由和综合决定：

(19)

实施例7：

根据实施例1或2或3或4或5或6所述的融合局部特征与全局特征的指静脉识别方法，实验与分析：

为检验算法的有效性，选用实验室建立的指静脉图像库中的图像对方法进行测试。该库包含300个人的手指静脉图像，其中每人采集食指静脉图像5幅，共1500幅，图像大小为320*240。首先对库中样本使用局部特征识别方法进行测试，图4为局部识别方法的roc曲线图，图中横坐标为局部识别方法的误识率，纵坐标为拒识率，该图反映了拒识率与误识率之间的关系，roc曲线越接近坐标轴算法的性能越好。从图中可以看出，局部识别方法的roc曲线趋近于两个坐标轴，表明其拒识率与误识率值较小，系统性能较好。

此处对基于B2DPCA的指静脉识别方法在不同子空间维数下测试算法的性能，实验时在每类样本中取4个样本作为训练样本集，剩余样本作为测试样本集。当子空间特征向量维数在20-120之间变化，得到使用B2DPCA的指静脉识别方法的识别率如表1所示。实验结果表明，当子空间维数达到50-100，B2DPCA算法最优识别率达到93%。

表 1

如前所述，使用局部特征的识别方法受图像质量影响较大，很难准确地提取出细节点特征，而当静脉图像存在一定的旋转或者平移现象时，使用全局特征的识别方法的正确识别率也将会受到影响，为了测试融合算法的性能以及其抗噪声及抗旋转变换的能力，我们从数据库中随机挑选120个手指静脉样本，分别对这些样本加入噪声组成抗噪声测试库，及在-2°~+2°的角度范围内进行旋转组成旋转测试库，实验时从每个人的5幅静脉图像中，任选一幅(共120幅图像)作为待识别样本构成验证库，其余4幅(共480幅图像)构成模板库，我们对测试库中样本进行单样本认证实验，实验结果如表2所示。

表 2

实验结果表明，虽然本发明采用的两种单一特征识别方法对多数样本能够较好地实现匹配、识别，但对部分质量较差的图像识别效果并不理想，而本发明提出的方法克服了单一特征识别方法的局限性，具备特征选择的作用，效果十分理想。

Claims (1)

1.一种融合局部特征与全局特征的指静脉识别方法，其特征是：首先对读入的指静脉图像进行手指区域提取、二值化等预处理操作 ；再对提取出的细节特征点集利用基于柔性匹配的局部特征识别模块，在选定的角度与半径范围内实现局部特征的匹配 ；针对双向二维主成分分析的全局特征识别模块，能从整体上较好地展现二维图像数据集，将其用于静脉图像识别实现全局特征的匹配 ；最后根据这两种识别方法的正确识别率设计权重，将这两个分类器的结果进行决策级融合，融合后的结果为最终的识别结果；

所述对提取出的细节特征点集利用基于柔性匹配的局部特征识别模块，在选定的角度与半径范围内实现局部特征的匹配的具体方法为：

1)首先对原始指静脉图像进行提取手指区域、二值化、细化等操作，再提取细化后图像的特征点即端点与交叉点；

2)读入模板图像特征点和待匹配图像特征点，判断和是否满足，如不成立则重复此步骤，读入另一对特征点，否则转向步骤（3），直至所有细节点对均完成比较，转到最后一步；

3)累加相似特征点个数；

4)根据下列相似度计算公式得到模板图像与待匹配图像特征点集间的匹配相似度，与合格阈值进行比较，判断匹配是否成功；

其中 M是模板指静脉图像上的一个特征点和待匹配之静脉图像上的对应特征点匹配成功的记录，若匹配成功，则M的值相应增加；为总特征点数即两个进行比对的样本特征点数之和；为最大相似特征点数，若相似度大于某个合格阈值，则两个指静脉图像相似；指静脉图像的细节特征点匹配是指其特征点拓扑结构的匹配，若模板指静脉图像的特征点拓扑结构与待匹配指静脉图像的特征点拓扑结构大致相同，则判定两幅图像匹配；反之，则判定两幅图像不匹配，而图像间特征点拓扑结构大致相同的描述可转化为特征点相似的描述,从而得到相似度S的计算公式；

设模板静脉图像的某一个特征点为，待匹配静脉图像的某一特征点为，若和完全一样，则，也就是说两个点集中的元素对应相等，但在实际情况中，由于误差的存在，若和一样，则数学描述应为，即，其中的大小就是柔性匹配范围的大小；

柔性匹配范围具体是指在细节特征点周围划取一个可变大小的范围，这个范围由四条边组成，其中一对边由两极半径组成，另一对边由两个极角边组成；两个极角边的差表示柔性匹配范围的宽度，两个极半径的差表示柔性匹配范围的高度，而柔性匹配范围由和决定；

由于和的值随着细节特征点极半径大小的改变而改变，若特征点极半径值较大，则它的值较大而的值较小，因此柔性匹配范围的大小也是变化的；

细节点极半径为时的计算公式如下：

细节点极半径为时的计算公式如下：

式中，、、、分别是和的上界和下界，为模板特征点与待匹配特征点的极角差值，为模板特征点与待匹配特征点的极半径差值；

所述的决策级融合在得到基于柔性匹配的识别方法与基于双向二维主成分分析的指静脉识别方法的正确识别率及识别结果后，根据这两种识别方法的正确识别率设计权值，以此确定两种识别方法的识别结果在最终的融合结果中所占的比例，在求得全局特征方法与局部特征方法的正确识别率和及这两种识别系统的识别结果和后，采用线性拟合的方式得到最终的识别结果，其中，和的取值为1或0，1表示系统验证成功，0表示验证失败，融合系统的结果用表示，若，则融合系统验证结果成功，否则失败，由于全局特征方法与局部特征方法的侧重点不同，所以本发明对这两种识别结果赋予不同的权重，以获得最佳的识别结果，其中，式中的值由和综合决定：

。