CN109190460A - 基于累积匹配和等错误率的手形手臂静脉融合识别方法 - Google Patents

Abstract

本发明公开了一种基于累积匹配和等错误率曲线的手形/手臂静脉融合识别方法，属于信息感知与识别技术领域，该方法针对两种生物特征的识别性能提出两级权重：首先利用CMC曲线的特性，根据曲线上方面积计算分数级融合的全局权重；然后通过ERR曲线求得最佳分类阈值，进而计算自适应权重，将二者相乘作为总权重并进行分数级加权融合，该方法有利于凸显具有优势的生物特征，多生物特征融合利用特征间的独立性和互补性，可以弥补单模态生物特征识别的不足。

Description

基于累积匹配和等错误率的手形手臂静脉融合识别方法

技术领域

本发明属于一种信息感知与识别技术领域，涉及一种基于累积匹配和等错误率曲线的手形/手臂静脉融合识别方法。

背景技术

生物特征识别技术是利用人体自身固有的生物特征和行为特征进行的个人身份识别。随着计算机科学技术的发展，基于生物特征识别的身份识别技术在社会安全中的作用日趋重要。单模态的身份识别技术存在可靠性、鲁棒性差和采集数据噪声等问题，已经不能满足当前的需要。多生物特征融合利用特征间的独立性和互补性，从不同维度对生物特征进行融合计算，最大限度的利用其优点，降低单个生物特征缺陷对整体识别系统的不良影响，从整体提高识别系统的性能。典型的生物特征识别系统一般分为如下4个环节：数据采集、特征提取、特征匹配和分类决策，按照融合发生的环节可以分成4类：传感器级融合、特征级融合、分数级融合和决策级融合。传感器级融合和特征级融合发生在数据采集和特征提取环节，多采集系统和特征提取级的融合复杂度和难度都较高；决策级融合是对最终识别决策结果的融合，决策结果所含的信息有限；分数级融合是建立在匹配分数之上的，匹配分数本身就代表着模板特征和识别时输入特征的匹配程度，因此分数级融合在复杂性和可靠性之间能够更好的平衡。

目前较为常用的分数级权重计算方法有以下几种：Jain等提出了基于等错误率的分数级权重计算方法(Jain A,Nandakumar K,Ross A.Score normalization inmultimodal biometric system.Pattern Recognition,2005,38(12):2270-2285.)。Chia等利用非法用户最大匹配分数和合法用户最小匹配分数计算非置信宽度，进而计算基于非置信区间宽度的分数级权重(Chia C,Sherkat N,Nolle L.Towards a Best LinearCombination for Multimodal Biometric Fusion.International Conference onPattern Recognition.IEEE,2010:1176-1179.)。Snelick等提出基于合法用户和非法用户标准差及均值的权重计算方法(Snelick R,Uludag U,Mink A,et al.Large-scaleevaluation of multimodal biometric authentication using state-of-the-artsystems.IEEE Transactions on Pattern Analysis&Machine Intelligence,2005,27(3):450-455.)。Poh等利用Fisher测试类的可分性，提出基于Fisher判别比的权重计算方法(Poh N,Bengio S.A study of the effects of score normalization prior tofusion in biometric authentication tasks.Idiap,2004.)。李静等采用基于KPCA的多生物特征识别算法，对掌纹和指纹进行核矩阵融合(李静.基于CPD和特征级融合的手纹识别技术研究[D].西安电子科技大学.)。

相比于手形和手部静脉，手臂静脉是一种较为新颖的生物特征，具有皮肤面积大、静脉信息丰富的特点，但同时也比手部静脉具有更多的噪声。目前，还没有将手形和手臂静脉进行融合识别的技术。

此外，手形和手部静脉是两种常见的生物特征，相比于手部静脉，手臂静脉是一种较为新颖的生物特征。目前，这几种生物特征都是单独使用的，单模态的身份识别技术存在可靠性、鲁棒性差和采集数据噪声等问题，已经不能满足当前的需要。

发明内容

本发明针对现有技术中存在的问题，基于多生物特征融合利用特征间的独立性和互补性，可以弥补单模态生物特征识别的不足。本发明针对手形和手臂静脉提出了一种基于累积匹配曲线(CMC)和等错误率(ERR)曲线的分数级融合识别方法，不同于目前常见的权重计算方法，本发明针对两种生物特征的识别性能提出两级权重，该方法有利于凸显具有优势的生物特征。

本发明是这样实现的：

一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，步骤如下：

步骤一：采用近红外相机拍摄手部和前臂的图像，待认证用户数据库；

步骤二：手形特征提取与识别；

2.1，采用Otsu方法对手部图像进行处理，若直接采用边缘检测算子提取手形，部分静脉也可能会被检测出来，所以首先采用Otsu方法对手部图像进行二值化；对手形图像进行轮廓跟踪；

2.2，手部特征点的定位、特征提取与识别；

步骤三：手臂静脉特征提取与识别；

3.1，对手臂图像采用自适应直方图均衡化方法预处理；

3.2，利用Gabor滤波器提取图像中的静脉信息；

3.3，静脉线匹配；

步骤四：基于CMC和ERR的双模态融合识别；

4.1，采用Min-Max函数对匹配误差分数进行归一化处理；

4.2，基于CMC的全局权重；

4.3，基于等错误率的自适应权重；

进一步，所述的步骤二具体为：

2.1，采用Otsu方法对手部图像进行二值化，然后对结果进行形态学处理，除去小的孔洞并平滑手形边缘，对手形图像进行轮廓跟踪，即可提取完整的单像素手形轮廓图像；

2.2，手部特征点的定位：

1)手指特征，手指指尖点和指根点为手形轮廓的关键点，利用其相对曲率较大的特点寻找其位置：

对于指尖点区域，连接区域的起点和终点间的直线，遍历该区域所有像素点，定义与直线距离最大的点为指尖点；

对于指谷点区域，取区域中点为相邻手指的分离点，连接区域起点与分离点间的直线，遍历起点与分离点范围内的点，定义与直线距离最大的点为指谷点1；连接分离点与区域终点间的直线，找到指谷点2；

P₁、P₀和P₂分别表示轮廓曲线上相隔相同个数像素的三个点，表示向量量和之间的夹角：

其中i表示像素P₀的坐标索引；P₁、P₀和P₂分别表示轮廓曲线上相隔相同个数像素的三个点，计算两个向量之间的夹角，夹角小的位置相对曲率大；沿轮廓记录每个点的向量夹角；

食指在虎口侧虚拟的外指谷采用做等腰三角形的方法求得，V_T为大拇指指谷点，D_I为食指指尖点，V_I2为食指与中指之间的指谷点，遍历V_T～D_I所有像素点，求一点V_I1使三角形D_IV_I1V_I2等腰三角形，且D_IV_I1＝D_IV_I2，则V_I1定义为食指的虚拟外指谷点；按前方法再定位小拇指的虚拟外指谷点；

将指尖点与指谷点中点的连线定义为手指的主轴，其长度即为手指长度；选取长度的1/3、1/2和2/3处做垂直于主轴的线段，求得手指宽度1、宽度2、宽度3，并构成手指宽度向量；

2)手掌特征，手掌的长度和宽度是其重要的几何特征：

设定V_R1、V_L2为食指与小拇指的虚拟外指谷点，连接V_R1V_L2；V_T为大拇指的指谷点，连接V_TV_R1并取中点M₁，过中点M₁作直线食指与小拇指的虚拟外指谷点的平行线与手形边缘轮廓曲线交于两点W_P1和W_P2；过点V_T作直线V_R1V_L2的平行线与手形下方边缘轮廓曲线交于点V_T1；

定义线段W_P1W_P2，可以减小手形非刚性形变对手掌宽度的影响；线段V_R1V_L2和线段V_TV_T1长度的平均值作为手掌宽度；将手形与手臂连接处、宽度最小的地方定义为手腕，将手腕的中点到中指指谷中点的距离定义为手掌长度。

进一步，由于大拇指灵活性较强，且经常与其他手指不在同一个平面，所以大拇指的特征被排除在外。为了消除由于拍摄距离变化造成的手形缩放对识别结果的影响，选择相对几何特征作为手形的特征向量，即手形绝对特征之间的比值；手部特征提取与识别具体为：采用类内标准差均值MSD对手形相对特征的稳定性进行分析：

其中相对特征V_i＝{V_ij，j＝1，2，…M}为样本空间中第i类的某一手形相对特征向量，i＝1，2，…N，N为样本容量，j表示该识别对象的第j幅图像；若某一相对特征的MSD值越大，则该相对特征的稳定性越差，MSD值越小，则稳定性越好；

同时，选取Fisher判别率FDR对手形相对特征的分辨能力进行分析：

其中μ_i为类内均值，为类内方差；V_ij为相对特征；当一个相对特征的FDR越大，即类间距离越大、类内方差越小，则该相对特征的可分辨能力越好。

选择11维相对特征组成手形特征向量：食指长度/中指长度；无名指长度/中指长度；小指长度/中指长度；手指平均宽度/手指平均长度；中指长度/手掌宽度；食指宽度1/中指宽度1；无名指宽度1/中指宽度1；小指宽度1/中指宽度1；食指宽度2/中指宽度2；无名指宽度2/中指宽度2；小指宽度2/中指宽度2；用欧氏距离作为特征向量的相似度度量：

其中V_i和V′_i分别是注册用户和待认证用户的手形特征向量。

进一步，所述的步骤三具体为：

采用含有16个不同方向和尺度的Gabor滤波器的实部进行处理，Gabor变换与人类视觉系统中的视觉刺激响应非常相似，它在提取目标的局部空间和频率域信息方面具有良好的特性，被广泛应用于生物医学图像处理；Gabor滤波的空域表达式如式(6)所示：

其中x′＝x cosθ_k+y sinθ_k，y′＝-x sinθ_k+y cosθ_k；θ_k＝kπ/8为滤波器方向；λ_mk为正弦分量的波长；σ_m为椭圆形高斯窗口沿x′方向的标准方差；γ为空域中的比例；m∈{1,2}为滤波器的尺度集合；k∈{1,2,Λ,8}为滤波器的方向集合。

由于每一个滤波器都可以感知特定的方向和尺度信息，因此在每一个像素位置选择响应最大的滤波器方向和尺度表示该位置的方向和尺度信息，获得手臂静脉的能量图。

高低帽变换擅长于校正不均匀光照对图像的影响，高帽变换适用于暗背景中的亮物体，而低帽变换则适用于相反的情况，所以高低帽变换结合使用，可以使图像前景和背景进一步拉伸，进一步突显出静脉部分。Gabor滤波增强后的静脉加上高帽变换的结果，再减去低帽变换的结果。

进一步，所述的静脉线匹配具体为：

1)对提取的静脉线进行点采样，同时采集手臂轮廓边缘的点；将两幅待匹配图像的点集分别定义为模型集和数据集，每个点都有一个Gabor滤波的能量和方向值与之相对应，对两组点集进行配准；

2)以数据集为目标，利用刚性相干点漂移算法寻找变换参数向量，对模型点集进行变换，使其与数据集对齐；

3)利用轮廓点集找到重合区域，去除模型点集中重合区域以外的局外点和噪声；采用非刚体点配准方法使剩余的点对齐，并计算对齐后两组点集之差；如果重合区域内点数小于给定阈值，则判定两组点集来自不同个体；

以模型集为目标，重复以上的过程，利用刚性相干点漂移算法寻找变换参数向量，对数据点集进行变换，使其与模型集对齐，去除数据点集中重合区域以外的局外点和噪声；

采用非刚体相干点漂移算法将通过以上步骤得到的两个点集进行配准，最后计算二者及其对应的方向图的距离作为相似性度量，完成手臂静脉生物特征识别。

进一步，所述的步骤四具体为：

4.1，对于手形和静脉识别分别产生的匹配误差分数，需要首先进行标准化处理。常用的归一化函数有Min-Max、Z-score、Tanh和Sigmoid。若原匹配分数不服从高斯分布，Z-score归一化有可能会改变原分数的分布特性，并且归一化之后不能保证所有分数处于某一特定区间。Tanh和Sigmoid都对参数的要求较高。Min-Max非常适用于原分数最大、最小值已知的情况，其优点是可以把原分数缩放至[0,1]区间内，并且不会改变原分数的分布特性。因此采用Min-Max函数对匹配误差分数进行归一化处理：

其中E_k表示第k种生物特征的匹配误差，表示归一化后的误差；

由于Sum规则可以对误差进行平均，融合效果要优于其他规则。因此当分类误差较大且数据相关性较强时，采用基于Sum规则的分数级加权融合策略：

其中，ω_k和分别为基于CMC的全局权重和基于ERR的自适应权重，二者相乘作为总权重并进行分数级加权融合；

4.2，基于CMC的全局权重；CMC作为生物特征识别系统的一种重要评价指标，反映了单个模态生物特征的识别性能。

根据rank-1％到rank-X％范围内曲线上方的面积计算分数级融合的全局权重；定义正确识别率TIR为曲线在给定rank-X％处所对应的值，则错误识别率FIR为FIR＝1-TIR；CMC上方的面积即为FIR从rank 1％到rank X％的积分：

其中，FIR为错误识别率；其与单个生物特征源的识别性能成反比，因此，设计如下的融合分数权重，使识别性能好的生物特征源分配到较大的权重：

其中，Area→X％_k表示静脉或手形生物特征CMC上方rank 1％～rank X％的面积；

4.3，基于等错误率的自适应权重；等错误率是生物特征识别系统另外一种常用的评价方法。以分类阈值为横坐标、错误识别率为纵坐标，绘制误识率(false acceptancerate，FAR)和拒识率(false acceptance rate，FRR)曲线。随着分类阈值的增大，FAR逐渐增大，FRR逐渐减小，两条曲线的交点即等错误率(equal error rate，ERR)处的横坐标即为最佳的分类阈值。在匹配误差矩阵中，数据集与测试集生物特征的距离越小，则认为两者越相似，是同一个人的概率越大。

将每一次的匹配距离除以最佳分类阈值，即可得到每一识别个体的自适应权重：

其中，E_k表示第k种生物特征的匹配误差，和分别表示其数据集和测试集中的生物特征，f_k表示相似性度量函数；表示等错误率时的最佳分类阈值，为自适应权重。

分数级融合中引入自适应权重后，可以使匹配距离小于最佳分类阈值的变得更小，大于最佳分类阈值的变得更大，从而进一步提高识别的准确率。

本发明与现有技术的有益效果在于：

1)本发明的技术是首次将手形和手臂静脉进行融合识别的技术，本发明的多生物特征融合利用特征间的独立性和互补性，可以弥补单模态生物特征识别的不足；本发明针对手形和手臂静脉提出了基于累积匹配曲线和等错误率曲线的分数级融合识别方法，不同于目前常见的权重计算方法，针对两种生物特征的识别性能提出两级权重：首先利用CMC曲线的特性，根据曲线上方面积计算分数级融合的全局权重；然后通过ERR曲线求得最佳分类阈值，进而计算自适应权重，将二者相乘作为总权重并进行分数级加权融合，该方法有利于凸显具有优势的生物特征；

2)本发明提出方法与现有技术中的基于等错误率的权重计算方法(ERRW)、基于非置信宽度的权重计算方法(NCWW)、DPW权重计算方法和FDRW权重计算方法相比，证明了方法的鲁棒性；其次在第一识别率明显高于现有技术；产生的融合识别性能要相对较优，可靠性更高；

3)本发明考虑了CMC和等错误率两种权重计算来源，选择CMC上方面积作为权重分数的计算依据，同时融合的多个Rank值所对应的错误识别率，降低了偶然误差；同时本发明方法又结合等错误率时所对应的最佳分类阈值，计算自适应权重分数，最后进行分数级的加权融合，与其他方法相比，本发明方法的权重来源相对较多，包含信息量丰富，识别性能更优。

附图说明

图1为本发明基于累积匹配和等错误率的手形手臂静脉融合识别方法的系统整体框架图；

图2为本发明近红外手部图像及轮廓提取结果图；

图3为本发明手形特征的提取结果图；

图4为本发明手臂近红外图像的预处理结果图；

图5为本发明静脉线提取及修复过程；

图6为本发明手形和静脉特征的错误识别曲线图；

图7为本发明手形和静脉单模态及分数级融合匹配的CMC；

图8为本发明融合识别结果结果图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚，明确，以下参照附图并举实例对本发明进一步详细说明。应当指出此处所描述的具体实施仅用以解释本发明，并不用于限定本发明。

如图1所示，图1为本发明基于累积匹配和等错误率的手形手臂静脉融合识别方法的系统整体框架图，具体步骤如下：

步骤一：拍摄手部以及手臂的图像，建立待认证用户数据库；

为了获取静脉信息，采用近红外相机拍摄手部和前臂的图像，如图2所示，图2为近红外手部图像及轮廓提取。其中手部图像如图2(a)所示。通过预处理去除背景，由于近红外图像中手背静脉较为明显，若直接采用边缘检测算子提取手形，部分静脉也可能会被检测出来，所以首先采用Otsu方法对手部图像进行二值化。然后对结果进行形态学处理，除去小的孔洞并平滑手形边缘。接着，对手形图像进行轮廓跟踪，即可提取完整的单像素手形轮廓图像，如图2(b)所示。

步骤二：手形特征提取与识别：

手形特征提取：如图3所示，图3为本发明手形特征的提取结果图，手形几何特征包括手指的长度、宽度及手掌的长度、宽度。

(1)手指特征：手指指尖点和指根点为手形轮廓的关键点，利用其相对曲率较大的特点寻找其位置。图2(b)中，P₁、P₀和P₂分别表示轮廓曲线上相隔相同个数像素的三个点，表示向量量和之间的夹角：

其中i表示像素P₀的坐标索引。指尖点和指根点处的相对曲率较大、向量夹角较小。沿轮廓记录每个点的向量夹角，图3(a)为图2(b)中手形轮廓点向量夹角的变化曲线，其中9个局部极小值即关键点所在区域，如图3(b)中的颜色加深加粗区域所示。对于指尖点区域，连接区域的起点和终点间的直线，遍历该区域所有像素点，定义与直线距离最大的点为指尖点。对于指谷点区域，取区域中点为相邻手指的分离点，连接区域起点与分离点间的直线，遍历起点与分离点范围内的点，定义与直线距离最大的点为指谷点1；同理连接分离点与区域终点间的直线，找到指谷点2。

食指在虎口侧虚拟的外指谷主要采用做等腰三角形的方法求得，V_T为大拇指指谷点，D_I为食指指尖点，V_I2为食指与中指之间的指谷点，遍历V_T～D_I所有像素点，求一点V_I1使三角形D_IV_I1V_I2等腰三角形，且D_IV_I1＝D_IV_I2，则V_I1定义为食指的虚拟外指谷点，具体如图3(c)所示，。同理可以定位小拇指的虚拟外指谷点。手部全部指尖点和指谷点如图3(d)所示。将指尖点与指谷点中点的连线定义为手指的主轴，其长度即为手指长度。选取长度的1/3、1/2和2/3处做垂直于主轴的线段，求得手指宽度1、宽度2、宽度3，并构成手指宽度向量。

(2)手掌特征：手掌的长度和宽度是其重要的几何特征。如图3(e)所示，V_R1、V_L2为食指与小拇指的虚拟外指谷点，连接V_R1V_L2；V_T为大拇指的指谷点，连接V_TV_R1并取中点M₁，过M₁作直线V_R1V_L2的平行线与手形边缘轮廓曲线交于两点W_P1和W_P2。过点V_T作直线V_R1V_L2的平行线与手形下方边缘轮廓曲线交于点V_T1。为了减小手形非刚性形变对手掌宽度的影响，定义线段W_P1W_P2、线段V_R1V_L2和线段V_TV_T1长度的平均值作为手掌宽度。将手形与手臂连接处、宽度最小的地方定义为手腕，将手腕的中点到中指指谷中点的距离定义为手掌长度。最终的手形几何特征如图3(f)所示。

手形特征分析与匹配：

由于大拇指灵活性较强，且经常与其他手指不在同一个平面，所以大拇指的特征被排除在外。为了消除由于拍摄距离变化造成的手形缩放对识别结果的影响，选择相对几何特征作为手形的特征向量，即手形绝对特征之间的比值。

采用类内标准差均值MSD对手形相对特征的稳定性进行分析：

其中相对特征V_i＝{V_ij，j＝1，2，…M}为样本空间中第i类的某一手形相对特征向量，i＝1，2，…N，N为样本容量，j表示该识别对象的第j幅图像。若某一相对特征的MSD值越大，则该相对特征的稳定性越差，MSD值越小，则稳定性越好。同时，选取Fisher判别率FDR对手形相对特征的分辨能力进行分析：

其中μ_i为类内均值，为类内方差。当一个相对特征的FDR越大，即类间距离越大、类内方差越小，则该相对特征的可分辨能力越好。通过实验比较，选择性能较好的11维相对特征组成手形特征向量：食指长度/中指长度；无名指长度/中指长度；小指长度/中指长度；手指平均宽度/手指平均长度；中指长度/手掌宽度；食指宽度1/中指宽度1；无名指宽度1/中指宽度1；小指宽度1/中指宽度1；食指宽度2/中指宽度2；无名指宽度2/中指宽度2；小指宽度2/中指宽度2。用欧氏距离作为特征向量的相似度度量：

其中V_i和V′_i分别是注册用户和待认证用户的手形特征向量。

步骤三：手臂特征提取与识别：

2.静脉特征提取与识别

2.1静脉线提取

对手臂图像采用自适应直方图均衡化方法预处理：如图4所示，图4为本发明手臂近红外图像的预处理结果图，手臂近红外图像如图4(a)所示，首先采用自适应直方图均衡化方法进行对比度增强，结果如图4(b)所示。

利用Gabor滤波器提取图像中的静脉信息：Gabor变换与人类视觉系统中的视觉刺激响应非常相似，它在提取目标的局部空间和频率域信息方面具有良好的特性，被广泛应用于生物医学图像处理。利用Gabor滤波器提取图像中的静脉信息，如图5所示，图5所示的是静脉线提取及修复过程，5(a)为Gabor滤波后的能量图，5(b)对Gabor滤波后的能量图的高帽变换结果，5(c)对Gabor滤波后的能量图的低帽变换结果，5(d)Gabor滤波后的能量图高帽-低帽的结果，5(e)为开闭运算结果，5(f)骨架提取结果，具体策略如下：由于近红外图像中的静脉为深色线条，故采用含有16个不同方向和尺度的Gabor滤波器的实部进行处理。Gabor滤波的空域表达式如式(6)所示：

其中x′＝x cosθ_k+y sinθ_k，y′＝-x sinθ_k+y cosθ_k。由于每一个滤波器都可以感知特定的方向和尺度信息，因此在每一个像素位置选择响应最大的滤波器方向和尺度表示该位置的方向和尺度信息，获得手臂静脉的能量图。图4(b)中手臂图像的能量图如图5(a)所示。

高低帽变换擅长于校正不均匀光照对图像的影响，高帽变换适用于暗背景中的亮物体，而低帽变换则适用于相反的情况，所以高低帽变换结合使用，可以使图像前景和背景进一步拉伸，进一步突显出静脉部分。Gabor滤波增强后的静脉加上高帽变换的结果，再减去低帽变换的结果，可以有效提高图像的对比度，变换过程如图5(b)-(d)所示。对增强后的静脉图进行二值化处理，然后采用形态学开闭运算去除噪声，结果如图5(e)所示。最后采用形态学骨架提取获取单像素静脉线，并对其进行修复，结果如图5(f)所示，为了显示，进行了取反和像素扩展。

静脉线匹配：

对上述提取的静脉线进行点采样，同时采集手臂轮廓边缘的点。将两幅待匹配图像的点集分别定义为模型集和数据集，每个点都有一个Gabor滤波的能量和方向值与之相对应，对两组点集进行配准。以数据集为目标，利用刚性相干点漂移算法(CPD)寻找变换参数向量，对模型点集进行变换，使其与数据集对齐。利用轮廓点集找到重合区域，去除模型点集中重合区域以外的局外点和噪声。采用非刚体点配准方法使剩余的点对齐，并计算对齐后两组点集之差。如果重合区域内点数小于给定阈值，则判定两组点集来自不同个体。接下来以模型集为目标，重复以上的过程，利用刚性相干点漂移算法寻找变换参数向量，对数据点集进行变换，使其与模型集对齐，去除数据点集中重合区域以外的局外点和噪声。采用非刚体相干点漂移算法将通过以上步骤得到的两个点集进行配准，最后计算二者及其对应的方向图的距离作为相似性度量，完成手臂静脉生物特征识别。

步骤四：基于CMC和ERR的双模态融合识别

匹配误差分数归一化和融合规则：对于手形和静脉识别分别产生的匹配误差分数，需要首先进行标准化处理。常用的归一化函数有Min-Max、Z-score、Tanh和Sigmoid。若原匹配分数不服从高斯分布，Z-score归一化有可能会改变原分数的分布特性，并且归一化之后不能保证所有分数处于某一特定区间。Tanh和Sigmoid都对参数的要求较高。Min-Max非常适用于原分数最大、最小值已知的情况，其优点是可以把原分数缩放至[0,1]区间内，并且不会改变原分数的分布特性。因此，采用Min-Max函数对匹配误差分数进行归一化处理：

其中E_k表示第k种生物特征的匹配误差，表示归一化后的误差。

本发明提出一种基于Sum规则的分数级加权融合策略，如式(8)所示。当分类误差较大且数据相关性较强时，Sum规则可以对误差进行平均，融合效果要优于其他规则。

其中，ω_k和分别为基于CMC的全局权重和基于ERR的自适应权重，二者相乘作为总权重并进行分数级加权融合。

基于CMC的全局权重：CMC作为生物特征识别系统的一种重要评价指标，反映了单个模态生物特征的识别性能。根据rank-1％到rank-X％范围内曲线上方的面积计算分数级融合的全局权重。定义正确识别率TIR(True Identification Rate)为曲线在给定rank-X％处所对应的值，则错误识别率FIR(False Identification Rate)为FIR＝1-TIR。CMC上方的面积即为FIR从rank 1％到rank X％的积分：

其与单个生物特征源的识别性能成反比，因此，设计如下的融合分数权重，使识别性能好的生物特征源分配到较大的权重：

其中，Area→X％_k表示静脉或手形生物特征CMC上方rank 1％～rank X％的面积。

基于等错误率的自适应权重：等错误率是生物特征识别系统另外一种常用的评价方法。以分类阈值为横坐标、错误识别率为纵坐标，绘制误识率(false acceptance rate，FAR)和拒识率(false acceptance rate，FRR)曲线。随着分类阈值的增大，FAR逐渐增大，FRR逐渐减小，两条曲线的交点即等错误率(equal error rate，ERR)处的横坐标即为最佳的分类阈值。在匹配误差矩阵中，数据集与测试集生物特征的距离越小，则认为两者越相似，是同一个人的概率越大。将每一次的匹配距离除以最佳分类阈值，即可得到每一识别个体的自适应权重：

其中，E_k表示第k种生物特征的匹配误差，和分别表示其数据集和测试集中的生物特征，f_k表示相似性度量函数。表示等错误率时的最佳分类阈值，为自适应权重。分数级融合中引入自适应权重后，可以使匹配距离小于最佳分类阈值的变得更小，大于最佳分类阈值的变得更大，从而进一步提高识别的准确率。

具体实例如下：

采用包含100人的近红外前臂/手部图像库对所提的融合识别方法进行测试。被采集人员年龄范围为13-69周岁，来自中国、新加坡、马来西亚、印度等8个不同的国家。使用JAI-AD080CL相机进行拍摄，采集距离约为2米，每个人进行两次拍摄，拍摄时间间隔平均为两周。首先对前述手形和静脉特征提取与识别方法进行实验，实验结果如图6所示，6(a)为手形特征错误识别曲线；6(b)静脉特征错误识别曲线；累积匹配曲线如图7(a)所示。取rank-1％～5％范围内CMC上方的面积计算全局权重；根据图6计算基于等错误率的自适应权重，对手形和静脉的匹配分数进行加权融合，识别结果的累积匹配曲线如图7(b)所示。可见，第一识别率上升到84％，比手形(38％)或者静脉(74％)的单一识别率都有明显提升，且在1％～10％的范围内保持了较好的稳定性。对比数据如表1所示。

表1 手形、静脉和融合识别准确率的比较

为了分析方法的鲁棒性，调整全局权重计算中CMC上方面积的范围，即rank-X％值。融合识别结果结果如图8所示。在CMC的前rank-50％内，根据每一个rank-X％对应的曲线上方面积计算相应的全局权重，由此获得一个融合识别结果。以rank-X％为横坐标，以每一个融合识别结果的第一识别率为纵坐标，结果曲线如图8(a)所示。由图可见，第一识别率整体稳定在84％，证明了方法的鲁棒性。

将本发明提出方法与现有技术中的基于等错误率的权重计算方法(ERRW)、基于非置信宽度的权重计算方法(NCWW)、DPW权重计算方法和FDRW权重计算方法进行对比分析，实验结果如图8(b)所示。在rank 1～5％范围内，本发明提出方法在第一识别率明显高于其他方法。在累积匹配曲线的评价中，第一识别率最为重要，并且合法用户排名靠前的正确识别率越高，则识别性能越好。本发明方法在rank1％～5％范围内的匹配结果均高于其他方法。进一步分析可知，ERRW权重计算较为简单，所包含的信息量较少，是根据类间匹配错误接受率与类内匹配错误拒绝率相等求取等错误率所对应的最佳分类阈值，然后根据所对应的分类阈值求取分数级权重。NCWW的权重与合法使用者和非法入侵者匹配识别分数分布重叠区域的宽度密切相关，主要是根据非法入侵最大分数和合法用户的最小分数计算得出，所包含信息更加有限。而基于DPW和FDRW的两种权重计算方法较为相近，主要是根据合法用户和非法用户的均值和标准差，DPW的平方即为FDRW，所以在匹配实验结果中就可以看出，两者的CMC相差不大。以上四种计算方法的权重分数考虑的合法用户和非法用户的信息有限，所产生的融合识别性能要相对较差。本发明方法考虑了CMC和等错误率两种权重计算来源，选择CMC上方面积作为权重分数的计算依据，同时融合的多个Rank值所对应的错误识别率，降低了偶然误差，该方法又结合等错误率时所对应的最佳分类阈值，计算自适应权重分数，最后进行分数级的加权融合。与其他方法相比，本发明方法的权重来源相对较多，包含信息量丰富，识别性能更优。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (6)

1.一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，步骤如下：

步骤一：拍摄手部以及手臂的图像，待认证用户数据库；

步骤二：手形特征提取与识别；

2.1，采用Otsu方法对手部图像进行处理；对手形图像进行轮廓跟踪；

2.2，手部特征点的定位、特征提取与识别；

步骤三：手臂静脉特征提取与识别；

3.1，对手臂图像采用自适应直方图均衡化方法预处理；

3.2，利用Gabor滤波器提取图像中的静脉信息；

3.3，静脉线匹配；

步骤四：基于CMC和ERR的双模态融合识别；

4.1，采用Min-Max函数对匹配误差分数进行归一化处理；

4.2，基于CMC的全局权重；

4.3，基于等错误率的自适应权重。

2.根据权利要求1所述的一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，所述的步骤二具体为：

2.1，采用Otsu方法对手部图像进行二值化，然后对结果进行形态学处理，除去小的孔洞并平滑手形边缘，对手形图像进行轮廓跟踪，即可提取完整的单像素手形轮廓图像；

2.2，手部特征点的定位：

1)手指特征：

对于指尖点区域，连接区域的起点和终点间的直线，遍历该区域所有像素点，定义与直线距离最大的点为指尖点；

对于指谷点区域，取区域中点为相邻手指的分离点，连接区域起点与分离点间的直线，遍历起点与分离点范围内的点，定义与直线距离最大的点为指谷点1；连接分离点与区域终点间的直线，找到指谷点2；

P₁、P₀和P₂分别表示轮廓曲线上相隔相同个数像素的三个点，表示向量量和之间的夹角：

其中i表示像素P₀的坐标索引；P₁、P₀和P₂分别表示轮廓曲线上相隔相同个数像素的三个点；沿轮廓记录每个点的向量夹角；

食指在虎口侧虚拟的外指谷采用做等腰三角形的方法求得，V_T为大拇指指谷点，D_I为食指指尖点，V_I2为食指与中指之间的指谷点，遍历V_T～D_I所有像素点，求一点V_I1使三角形D_IV_I1V_I2等腰三角形，且D_IV_I1＝D_IV_I2，则V_I1定义为食指的虚拟外指谷点；按前方法再定位小拇指的虚拟外指谷点；

将指尖点与指谷点中点的连线定义为手指的主轴，其长度即为手指长度；选取长度的1/3、1/2和2/3处做垂直于主轴的线段，求得手指宽度1、宽度2、宽度3，并构成手指宽度向量；

2)手掌特征：

设定V_R1、V_L2为食指与小拇指的虚拟外指谷点，连接V_R1V_L2；V_T为大拇指的指谷点，连接V_TV_R1并取中点M₁，过中点M₁作直线食指与小拇指的虚拟外指谷点的平行线与手形边缘轮廓曲线交于两点W_P1和W_P2；过点V_T作直线V_R1V_L2的平行线与手形下方边缘轮廓曲线交于点V_T1；

定义线段W_P1W_P2；线段V_R1V_L2和线段V_TV_T1长度的平均值作为手掌宽度；将手形与手臂连接处、宽度最小的地方定义为手腕，将手腕的中点到中指指谷中点的距离定义为手掌长度。

3.根据权利要求2所述的一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，所述的手部特征提取与识别具体为：采用类内标准差均值MSD对手形相对特征的稳定性进行分析：

其中相对特征V_i＝{V_ij，j＝1，2，…M}为样本空间中第i类的某一手形相对特征向量，i＝1，2，…N，N为样本容量，j表示该识别对象的第j幅图像；

同时，选取Fisher判别率FDR对手形相对特征的分辨能力进行分析：

其中μ_i为类内均值，为类内方差；V_ij为相对特征；

选择11维相对特征组成手形特征向量：食指长度/中指长度；无名指长度/中指长度；小指长度/中指长度；手指平均宽度/手指平均长度；中指长度/手掌宽度；食指宽度1/中指宽度1；无名指宽度1/中指宽度1；小指宽度1/中指宽度1；食指宽度2/中指宽度2；无名指宽度2/中指宽度2；小指宽度2/中指宽度2；用欧氏距离作为特征向量的相似度度量：

其中V_i和V′_i分别是注册用户和待认证用户的手形特征向量。

4.根据权利要求1所述的一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，所述的步骤三具体为：

采用含有16个不同方向和尺度的Gabor滤波器的实部进行处理；Gabor滤波的空域表达式如式(6)所示：

其中x′＝xcosθ_k+ysinθ_k，y′＝-xsinθ_k+ycosθ_k；θ_k＝kπ/8为滤波器方向；λ_mk为正弦分量的波长；σ_m为椭圆形高斯窗口沿x′方向的标准方差；γ为空域中的比例；m∈{1,2}为滤波器的尺度集合；k∈{1,2,Λ,8}为滤波器的方向集合；

对Gabor滤波增强后的静脉加上高帽变换的结果，再减去低帽变换的结果。

5.根据权利要求4所述的一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，所述的静脉线匹配具体为：

1)对提取的静脉线进行点采样，同时采集手臂轮廓边缘的点；将两幅待匹配图像的点集分别定义为模型集和数据集，每个点都有一个Gabor滤波的能量和方向值与之相对应，对两组点集进行配准；

2)以数据集为目标，利用刚性相干点漂移算法寻找变换参数向量，对模型点集进行变换，使其与数据集对齐；

3)利用轮廓点集找到重合区域，去除模型点集中重合区域以外的局外点和噪声；采用非刚体点配准方法使剩余的点对齐，并计算对齐后两组点集之差；如果重合区域内点数小于给定阈值，则判定两组点集来自不同个体；

以模型集为目标，重复以上的过程，利用刚性相干点漂移算法寻找变换参数向量，对数据点集进行变换，使其与模型集对齐，去除数据点集中重合区域以外的局外点和噪声；

采用非刚体相干点漂移算法将通过以上步骤得到的两个点集进行配准，最后计算二者及其对应的方向图的距离作为相似性度量，完成手臂静脉生物特征识别。

6.根据权利要求1所述的一种基于累积匹配和等错误率的手形手臂静脉融合识别方法，其特征在于，所述的步骤四具体为：

4.1，采用Min-Max函数对匹配误差分数进行归一化处理：

其中E_k表示第k种生物特征的匹配误差，表示归一化后的误差；

当分类误差较大且数据相关性较强时，采用基于Sum规则的分数级加权融合策略：

其中，ω_k和分别为基于CMC的全局权重和基于ERR的自适应权重，二者相乘作为总权重并进行分数级加权融合；

4.2，基于CMC的全局权重；

根据rank-1％到rank-X％范围内曲线上方的面积计算分数级融合的全局权重；定义正确识别率TIR为曲线在给定rank-X％处所对应的值，则错误识别率FIR为FIR＝1-TIR；CMC上方的面积即为FIR从rank 1％到rank X％的积分：

其中，FIR为错误识别率；其与单个生物特征源的识别性能成反比，因此，设计如下的融合分数权重：

其中，Area→X％_k表示静脉或手形生物特征CMC上方rank 1％～rank X％的面积；

4.3，基于等错误率的自适应权重；

将每一次的匹配距离除以最佳分类阈值，即可得到每一识别个体的自适应权重：

其中，E_k表示第k种生物特征的匹配误差，和分别表示其数据集和测试集中的生物特征，f_k表示相似性度量函数；表示等错误率时的最佳分类阈值，为自适应权重。