CN1710593A - 一种基于特征关系度量的手部特征融合认证方法 - Google Patents

Abstract

本发明是一种基于特征级融合算法的手部特征融合认证方法，利用人的手形、掌纹、指节纹等手部生物特征，对采集到的图像进行预处理、特征提取，通过关系运算算子得到特征关系度量，在这个度量的基础上实现特征级信息融合，再对融合后的特征进行分类识别得到最终身份认证的结果。本发明的有益效果在于：基于关系度量的特征级融合算法克服了特征空间不兼容、融合维数灾难等问题，避免了决策级融合丢失大量类别信息、不能从较低的层次分析不同模态信息的相关性的缺点；多种手部特征可由同一幅图像提取，解决了多模态生物特征融合的系统复杂度、成本、用户接受度、数据库管理等许多缺点，实现方案更具准确性、安全性和适用性。

Description

一种基于特征关系度量的手部特征融合认证方法

技术领域

本发明涉及一种基于特征关系度量的手部特征融合认证方法。属于模式识别和安全认证技术领域，是在对手部图像分析的基础上，得到手形、掌纹、指节纹特征，并基于关系度量进行特征级信息融合，实现身份鉴别方法。

背景技术

生物特征识别技术是解决当前社会信息化、数字化、网络化发展中安全问题的首选方案，被誉为21世纪十大最具有前景的高新技术之一。发展基于生物特征识别技术的身份认证，与公众自身利益息息相关，是本世纪社会经济发展的需求，是牵涉到国家利益的战略需求。但当前的生物特征识别技术还不够成熟，尽管手形、掌纹、声纹、指纹、人脸、虹膜、笔迹、步态、DNA、视网膜等识别方式都已经有了众多的研究成果和大量的专利产品，但相应系统都有一定缺陷，不能完全满足准确性、可接受性、普适性、可采集性等综合要求。

基于信息融合的多模态识别是公认的最佳解决方案，可以说，“多模技术使得生物特征识别技术可行”。单一生物特征识别的识别能力有限，谋求突破性进展越来越困难，已经成为生物特征识别研究的瓶颈。提高识别效果的最佳途径有两个：增加对样本的先验知识或增加对样本其它形式的观测。在难以增加既定样本知识的学习程度的情况下，多模生物特征识别应运而生，成为生物特征识别领域的重要研究内容。

实验证明，多模系统能提高了系统的安全性能、普适性和抗伪造能力，但当前的研究尚处于初期阶段，存在许多薄弱环节：

●已有的研究集中于决策级融合。在信息融合的三个级别：数据级(像素级)、特征级和决策级融合中，决策级融合理论已经相当成熟。但其本质上是对多个识别的结果进行融合，因而丢弃了大量特征信息与类别信息，是次优的方法。

●特征级融合更能体现融合的优势，但缺乏研究。虽然学界普遍承认特征级融合能最大程度的保留原始信息、增强系统性能，达到比决策级融合更好的效果，但A.K.Jain指出它存在特征空间不兼容问题(如不同特征的维数、量纲、动态变化不一致)，且融合可能使新特征空间维数更高，带来维数灾难，当前已有的特征直接“拼接”等方法没有理论根据，难于得到好的效果。带来这些问题的本质原因是特征空间的相互关系没有被认识发现，在研究该问题的基础上可以有效实现特征级融合，填补融合理论研究的空白。

●选取哪些生物特征进行融合大都取决于实验室的已有工作而不是实际需求，融合可能造成数据可采集性差、数据库管理负担增加、系统易用性降低和系统复杂度、成本的提高，如何减小这些因素的影响仍无针对性研究。

发明内容

本发明的目的在于改进现有技术之缺点，提出新的基于关系度量的特征级融合算法，克服决策级融合及已有的特征级融合算法的缺陷；并遵循准确性、鲁棒性和易用性等实用化要求，选取手形、掌纹、指节纹等手部特征作实现融合系统，从理论基础和实现方法两方面最优化多模生物特征识别系统。而提供一种基于特征关系度量的手部特征融合认证方法。

为实现上述目的，本发明的技术方案由以下五个步骤：

步骤1，利用图像采集设备进行图像采集；

步骤2，对采集的图像样本进行预处理：确定基准点、获取目标区域并进行灰度归一化；

步骤3，特征提取：提取手形、掌纹、指节纹特征；

步骤4，基于特征关系度量对手形、掌纹和指节纹特征进行融合形成新的手部特征空间；

步骤5，对手部特征空间中的特征点进行分类并得到最终结果。

本发明技术方案细节如下：

1、原始图像样本采集。用图像采集设备如数码相机、数码摄像头或专用采集设备采集手部图像；

2、提取手形、掌纹、指节纹的感兴趣区域与预处理。其方法为：采用边缘提取与跟踪的方法得到手形轮廓，该轮廓即为手形样本。在轮廓上求得中指、无名指指谷点来确定掌纹感兴趣区域。指节纹定义为手指第二指关节处的皮肤内表面粗大纹理，即屈肌线纹路，通过手形轮廓的极值点、模板提取二次定位可得到对应的指节纹图像。对掌纹、指节纹感兴趣区域进行灰度归一化、去噪等预处理，得到对应的掌纹、指节纹样本。

3、提取手形、掌纹、指节纹特征，提取方法为：在手形轮廓上求出手形的形心，并按等间隔角度取边界点形成手指的形心距矢量作为手形特征；基于改进的二维主成分分析提取掌纹特征；采用纹理分析方法，基于Gabor小波分析得到指节纹特征。

4、基于特征关系度量对手形、掌纹、指节纹特征进行融合，实现方法为：分别求各个特征的关系度量，融合不同的关系度量形成关系空间，对关系空间降维得到新的手部特征空间。关系度量是指两两样本之间，在同一特征描述下的某种关系，由算子A描述；关系度量融合由算子B描述；特征空间形成由算子C描述。

算子A、B、C可采用多种方法实现。算子A实现方式有：(1)通过样本间相关性分析实现；(2)基于核学习方法，使用Sigmoid、径向基或多项式非线性相关函数实现；(3)样本空间拓扑关系，通过流形学习、自组织映射、多尺度变换等方法得到低维特征样本近邻关系表示，形成关系度量；(4)求取图像样本间相似度或图像属于某类别的置信度，表示关系度量。算子B采用决策级融合算子实现，并对融合后的新的关系空间进行降维，形成融合后的特征空间。决策级融合算子包括平均与加权和、乘积、最大与最小、贝叶斯方法、决策模板等算子。算子C采用子空间分析的方法，包括主成分分析、非线性主成分分析、独立成分分析等方法。

5、求得测试样本在新的手部特征空间得投影，从而得到融合特征，然后对融合特征进行分类判决。使用神经网络和支持向量机方法对手部特征空间中的特征点进行分类并得到最终结果。

本发明的优点如下：

(1)手部特征融合方法提高了系统的安全性和鲁棒性，有广泛的应用前景；

(2)多种手部特征可由同一幅图像提取，多模态生物特征融合的一些缺点如系统复杂度、成本、用户接受度、数据库管理问题都可得到解决；不同特征在同一幅图像中提取，因而在数据级呈强耦合状态，可避免耦合问题(如不同传感器内部参数改变、两特征对应外部环境的不同改变等等)带来的误差，从而可以更准确地验证识别算法；

(3)使用基于关系度量的特征级融合算法，克服了特征空间不兼容、融合维数灾难等问题，避免了决策级融合丢失大量类别信息、不能从较低的层次分析不同模态信息的相关性的缺点，也克服了当前直接对不同特征进行拼接带来的特征空间不兼容、特征维数增高等特征级融合算法的缺点。

附图说明

图1、基于关系度量的手部特征融合生物认证系统框图；

图2、手部特征定位预处理中，基准点确定的示意图；

图3、手形、掌纹与指节纹感兴趣区域(ROI)获取的示意图；

图4、手形、掌纹与指节纹感兴趣区域预处理后的图像例；

图5、手形形心距序列特征提取示意图；

图6、指节纹定义示意图；

图7、特征级融合算法示意图。

具体实施方式

图1为基于关系度量的手部特征融合生物认证系统框图。

下面结合附图对本发明作进一步描述。实施步骤为：

第一步，手部图像的采集。用户将手放置在固定位置，五指自然张开，掌心朝向镜头，由数码相机或摄像机采集灰度图像，图像为分辨率约为100dpi。设本例中采集训练样本M幅，测试样本N幅。

第二步，手部图像预处理，分为基准点确定、感兴趣区域的获取与灰度归一化三步。

一、基准点确定(图2)：

1、对原始图像图2(1)进行二值化处理，阀值为T(＝0.3)，并对二值图像进行中值滤波，得到图2(2)所示图像；

2、使用sobel算子提取手部图像边缘，并对边缘跟踪得到边缘点序列，如图2(3)；

3、在边缘点序列中定义9个基准点：如图2(3)所示，指尖点为a、c、e、g，指根点为b、d、f，指边缘点a’、g’。如图2(4)，通过对边缘点序列的横坐标序列线性滤波、搜索极大极小值即可确定指尖、指根点。设算子P(a，b)为a、b两点间包含的边缘点数，则a’、g’点由P(a，a′)＝P(a，b)，P(g，g′)＝P(g，f)确定。

二、感兴趣区域的定位(图3)：

1、如图3(1)，掌纹ROI在b、d、f确定的直角坐标系中的四个顶点坐标为(l，l)、(l，3l)、(-l，l)、(-l，3l)，其中，l＝bd。确定该区域后，将区域内部图像经过旋转得到正方的掌纹ROI；

2、如图3(2)，手形ROI为食指、中指、无名指、小指对应的各个ROI，由所得的9个基准点确定。以中指为例，其ROI由b、c、d三点确定，且cm′＝3.5bd。将得到图像旋转得到手形ROI。

3、如图3(3)，由手形ROI的radon投影确定指节纹大概位置k。将k附近图像进行特征线提取，提取模板为H＝[-1，-1，-1，6，-1，-1，-1]，再经过二值化及排除孤立点的形态学操作，得到图3(4)所示的指节纹特征点。对图3(4)中图像再进行radon投影进一步确定指节纹位置，最后得到图3(5)所示的指节纹ROI。

三、将手形、掌纹、指节纹ROI分别归一化到30×90、64×64、32×32；对手形ROI进行二值化，阀值为T(＝0.3)，并进行窗口5×5的中值滤波；对掌纹、指节纹ROI分别进行灰度归一化并进行窗口为8×8的维纳滤波进行去噪。最终得到图4所示的归一化的手形、掌纹、指节纹ROI。

第三步，分别对手形、掌纹和指节纹图像进行特征提取。

一、手形特征：手指边缘的形心距序列：

如图5所示，手形图像经过阈值分割、边界跟踪后，每个指形轮廓都可以表示为由一系列有序点构成的点集，表示为：{(x_i，y_i)，i＝1，2，...，N}，N是指形轮廓像素的点数，容易得到指形轮廓的形心为：

$c_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ $c_y=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i---\left(1\right)$

计算形心到轮廓边界点的形心距：

$r_i=\sqrt{{(x_i-c_x)}^2+{(y_i-c_y)}^2}i=\mathrm{1,2},...,N---\left(2\right)$

这个形心到边界点的形心距构成了2D轮廓的1D特征矢量表达，这样每个指形轮廓都表达为一个形心距的序列{r₁，r₂，...r_N}。形成1D的形心距序列的方式为等间隔角度取边界点：以相同的角度θ＝2π/N选择序列{r_i}，每个手指取200个边界点，连接成800维的手形特征矢量。对这个距离矢量用最大形心距离进行尺寸归一化，实现尺度不变性。

二、基于改进的二维主成分分析(I2D-PCA)提取掌纹特征：

1、根据Yang等提出的2D-PCA算法，将m×n维掌纹图像序列I_j(j＝1，2，...，M)作为训练样本，求图像散度矩阵：

$G_i=\frac{1}{M}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(I_j-\stackrel{\‾}{I})}^T(I_j-\stackrel{\‾}{I})---\left(3\right)$

其中 $\stackrel{\‾}{I}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{I}_i$ 为图像均值。则其前k(k≤min(m，n))个最大特征值对应的特征向量u_i(i＝1，2，…，k)组成n×k变换矩阵U_2d-pca，

f_j＝I_jU_2d-pca  j＝1，2，…，M                   (4)

为样本I_j(j＝1，2，…，M)的2D-PCA变换，每个样本均由m×k维特征f_j矩阵表示。

2、f_j实质上是训练样本去行相关所得到的特征表示，其列相关特性仍保留在2D-PCA分析后的特征中，使得特征仍处于较高维度的空间。I2D-PCA是对f_j列相关进一步去除的改进算法。其理论根据给出如下。

对于给定的m×n维图像I，定义线性变换：

           T＝RIC

为I2D-PCA变换，满足：

$\left\{\begin{array}{c}\{c_1,c_2,\&CenterDot;\&CenterDot;\&CenterDot;,c_p,r_1,r_2,\&CenterDot;\&CenterDot;\&CenterDot;r_q\}=\arg \max \mathrm{tr}\left(S_t\right)\\ c_i^T{c}_j=0,i\&NotEqual;j,i,j=1,\&CenterDot;\&CenterDot;\&CenterDot;,\mathrm{p\; p}<n\\ r_i{r}_j^T=0,i\&NotEqual;j,i,j=1,\&CenterDot;\&CenterDot;\&CenterDot;,\mathrm{q\; q}<\min (m,p)\end{array}---\right.\left(5\right)$

其中S_t＝ε[(F-εF)(F-εF)^T]为变换后数据整体散度，C为I的列去相关矩阵，由列矢量c_i(i＝1，2，…，p)构成，R为I的行去相关矩阵，由行矢量r_i(i＝1，2，…，q)构成。

由(5)式可得

T＝RIC＝(R(IC))＝((IC)^TR^T)^T                               (6)

可证明在q＝p的情况下第二次特征提取能维持总体数据散度保持不变。即可通过两次2D-PCA运算实现I2D-PCA。具体实现方法为：

首先，根据(4)，先求得第一次变换f_j＝I_jU_2d-pca中的列去相关矩阵U_2d-pca，该矩阵即为(5)中的C；其次，求f_j ^T的列去相关矩阵R^T，由(6)式得R即为原样本I的行去相关阵。

求(4)中得出的f_j′(j＝1，2，…，M)矢量的散度矩阵：

$G_{t1}=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{({f_j}^{\&prime;}-\stackrel{\&OverBar;}{f^{\&prime;}})}^T({f_j}^{\&prime;}-\stackrel{\&OverBar;}{f^{\&prime;}})---\left(7\right)$

其中 ${\stackrel{\&OverBar;}{f}}^{\&prime;}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{f_i}^{\&prime;}.$ 则其前q个最大特征值对应的特征向量组成m×q变换矩阵R，最终特征表示为：

F_I2D-PCA＝RIC                                          (8)

3、将得到的p×q维特征转化为(p×q)×1的矢量表示，得到掌纹的I2D-PCA特征。在此例中选择p＝q＝20，即得到的掌纹特征维数为400。

三、基于Gabor小波分析的指节纹特征：

1、指节纹的定义

如图6所示，通常意义上的指节纹是指关节内部皮肤的屈肌线，通过我们的研究，第二指节的指节纹模式很丰富，不同人的模式相差很大，因而我们定义各个指头的第二指节的皮肤内表面屈肌线为“指节纹”并展开研究。指节纹和掌纹一样，都是具有长期稳定性的生物特征，可以用来作为身份象征。

2、基于Gabor变换的指节纹的纹理特征

Gabor函数是被复正弦函数调制的Gaussian函数。2D Gabor子波可表示为：

${\mathrm{\&psi;}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\&sigma;}}^2}{e}^{\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\&sigma;}}^2}}(e^{{\mathrm{ik}}_{u,v}z}-e^{\frac{{\mathrm{\&sigma;}}^2}{2}})---\left(9\right)$

其中，u、v决定Gabor子波的方向和尺度，z＝(x，y)， $k_{u,v}=k_v{e}^{i{\mathrm{\&phi;}}_u},$ k_v＝k_max/f^v，φ_u＝πu/8。f为频域尺度间隔，k_max为最大频率。

给定指节纹图像z，其Gabor表示由下式得出：

G_u，v(x，y)＝Z(x，y)*ψ_u，v(x，y)                           (10)

根据指节纹屈肌线方向较一致(φ＝π/2)的特点，选择u＝4，v＝0描述指节纹纹理。此条件下得到64×64维Gabor展开后，将其合并为一个4096维向量，并对该向量进行下采样(采样频率为1/8)，即可得到512维的指节纹纹理特征表示。

第四步，如图7所示，对手形、掌纹、指节纹特征进行融合，形成新的手部特征空间。

一、分别求各个特征的关系度量：

任取特征P(如掌纹)下的两个样本I_m、I_n，其特征列矢量分别为X_m、X_n，定义算子A(X_m，X_n)描述X、Y之间的关系，则关系度量K＝{A(X_m，X_n)|m，n＝1，...，M}，K可表示为M×M维矩阵的形式。算子A实现方式有：(1)通过样本间相关性分析实现；(2)基于核学习方法，使用Sigmoid、径向基或多项式非线性相关函数实现；(3)样本空间拓扑关系，通过流形学习、自组织映射、多尺度变换等方法得到低维特征样本近邻关系表示，形成关系度量；(4)求取图像样本间相似度或图像属于某类别的置信度，表示关系度量。

在本例中，算子A选择多项式核函数，即：

$A(X_m,X_n)={\left(\mathrm{\&gamma;}{X}_m^T{X}_n+r\right)}^d,\mathrm{\&gamma;}>0---\left(11\right)$

本例中选择γ＝r＝1，d＝0.7。根据关系算子(11)，求得手形、掌纹、指节纹的关系度量K_Shape、K_Palm及K_Knuckle。

二、不同关系度量的融合：

对不同的特征使用了共同的关系算子A，得到了各个特征对应的关系空间，这个关系空间是有共性的，可以通过融合算子B进行融合。算子B可借鉴决策级融合算子实现，并对融合后的新的关系空间进行降维，形成融合后的特征空间。决策级融合算子包括平均与加权和、乘积、最大与最小、贝叶斯方法、决策模板等算子。

在本例中使用乘积算子得到融合后的关系空间，即：

K_Fusion＝B(K_Shape，K_Palm，K_Knuckle)＝K_shape.×K_palm.×K_Knuckle    (12)

三、对关系空间降维得到新的特征空间F：

融合后的空间K_Fusion即可描述任意手部样本，但投影到该空间的手部特征仍为样本数M维。在样本量相当大的情况下空间存在冗余，因而采用降维算子C对该空间进行降维处理。算子C采用成分分析的方法，包括主成分分析、非线性主成分分析、独立成分分析等方法。

本例中选择主成分分析(PCA)的方法实现C，即可以把K_Fusion看作手部特征相关矩阵，对其进行特征值分解，得到前λ个最大特征值对应特征向量{α_i|i＝1，...，λ}，可由{α_i|i＝1，...，λ}构成的空间F。

第五步，对测试样本进行判决分类。

一、求测试样本在特征空间F的投影：

给定任意手部图像I作为测试样本，通过上述第一、二、三步得到其手形、掌纹与指节纹特征矢量f_Shape、f_Palm、f_Knuckle，即可由式(13)求得在空间F中的融合特征：

f_Fusion＝C{B[A(f_Shape，{s_i})，A(f_Palm，{p_i})，A(f_Knucklc，{k_i})]}，i＝1，...，M    (13)

其中，{s_i}、{p_i}、{k_i}(i＝1，...，M)分别为步骤三中得到的手形、掌纹、指节纹的训练样本特征集。在本例中，式(13)的实现可表示成：

f_Fusion＝F^T·K                                      (14)

其中，K的每一行k_i＝[(f_Shape·{s_i}+1)·(f_Palm·{p_i}+1)·(f_Knuckle·{k_i}+1)]^0.7 i＝1，...，M。

二、对新特征进行分类判决：

使用神经网络方法对得到的手部特征在特征空间中进行分类。

例中使用BP神经网络的方法，首先将训练集中的手部特征两两求差，得到类内、类间样本作为正、反样本作为BP神经网络的输入，输出“0”，“1”表示认证成功和拒绝。对该网络进行优化与参数调整，训练后得到手部特征判决模型。

给定手部特征f_Fusion，将其与声明类别的对应手部特征相减并输入训练好的BP网络，即可得到判决输出，完成身份认证过程。

Claims (8)

1.一种基于特征关系度量的手部特征融合方法，其特征在于，该方法的步骤如下：

步骤1，利用图像采集设备进行图像采集；

步骤2，对采集的图像样本进行预处理：确定基准点、获取目标区域并进行灰度归一化；

步骤3，特征提取：提取手形、掌纹、指节纹特征；

步骤4，基于特征关系度量对手形、掌纹和指节纹特征进行融合形成新的手部特征空间；

步骤5，对手部特征空间中的特征点进行分类并得到最终结果。

2.根据权利要求1所述的基于特征关系度量的手部特征融合方法，其特征在于，步骤3中，使用边缘提取和跟踪的方法得到手形轮廓，并求得手指的形心距矢量作为手形特征；基于改进的二二维主成分分析提取掌纹特征；采用纹理分析方法，基于Gabor小波分析得到指节纹特征。

3.根据权利要求1所述的基于特征关系度量的手部特征融合方法，其特征在于，步骤4中，分别求各个特征的关系度量，融合不同的关系度量形成关系空间，对关系空间降维得到新的手部特征空间。

4.根据权利要求1所述的基于特征关系度量的手部特征融合方法，其特征在于，步骤5中，首先求得测试样本在新的手部特征空间的投影，从而得到融合特征，然后对融合特征进行分类判决。

5.根据权利要求1所述的基于特征关系度量的手部特征融合方法，其特征在于，步骤2中的预处理包括对指节纹的预处理。

6.根据权利要求5所述的基于特征关系度量的手部特征融合方法，其特征在于，指节纹定义为手指第二关节处的皮肤内表面粗大纹理，即屈肌线纹路。

7.根据权利要求5所述的基于特征关系度量的手部特征融合方法，其特征在于，通过确定手部图像边缘的极值点、模板提取二次定位可得到对应的指节纹图像。

8.根据权利要求1所述的基于特征关系度量的手部特征融合方法，其特征在于，步骤5中，使用BP神经网络方法对手部特征空间中的特征点进行分类并得到最终结果。

Images