CN1304114A - 基于多生物特征的身份鉴定融合方法 - Google Patents

Abstract

基于多生物特征的身份鉴定融合方法是一种对身份鉴定的新方法。该技术属于模式识别领域。本发明利用人的生物特征如脸像、虹膜、指纹、笔迹等对人进行身份鉴定,并将鉴定结果用标准归一化方法将全部特征输出归一化到同一范围,再分别采用自组织特征映射神经网络及模糊神经网络技术等方法进行融合。本方法应用灵活,身份鉴定结果可靠、准确,具有良好的应用前景。

Description

基于多生物特征的身份鉴定融合方法

本发明是一种对身份进行鉴别的方法，该系统属于模式识别技术领域。

原有的身份鉴定方法有使用钥匙、密码、证件等。这些方法具有很大的局限性。比如钥匙容易丢失，证件可能会被伪造，密码容易被遗忘，等等。事实上，人本身是最可靠的密码。基于人体的生物、行为特征进行身份识别是近年来一个热门的研究方向，用来进行身份鉴别的生物和行为特征有指纹、声音、虹膜、脸像和笔迹等。众所周知，每一种识别方式或每一种特征各具其优缺点，都在不同方面获得成功。经过这些年来的发展，脸像识别、指纹识别等都取得了一定的成果。在对身份鉴别系统的准确性及安全性要求日益增高的今天，单一特征的身份判断已不能满足人们的需要。不同特征、不同鉴别方式的结合可改善身份鉴定系统的安全性能，不同鉴别结果互为补充，又可提高准确性。

本发明的目的在于：利用多个生物特征进行身份鉴定，并把基于各种生物特征的身份鉴定结果利用神经网络和模糊技术进行融合，得到更为可靠的身份鉴定结果。

本发明的技术要点如图1所示，有以下六部分构成：

(1)脸像识别：本发明采用脸像图像的奇异值特征或其他代数特征，并采用融合方法将各个特征的识别结果加以综合，得出更为准确的身份鉴定结果。

(2)虹膜识别：本发明采用摄像头获取虹膜图像，利用全局纹理分析及局部特征分析相结合的方法进行测试图像与数据库中图像匹配，获得身份鉴定结果。

(3)指纹识别：本发明采用指纹录入仪，将获得的指纹图像经方向图估计、纹路提取、细化、细节提取过程，提取细节作为指纹的基本特征，并利用模糊匹配的方法计算出身份鉴定结果。

(4)笔迹识别：把包含某种字体或者笔迹的文档作为一种具有一定特征的纹理图像来处理，也就是对原始输入图像进行预处理，得到标准的图像即纹理图像；然后进行特征提取，即用多通道的Gabor滤波器提取这些纹理图像的特征；再对这些图像的特征用加权欧氏距离分类器进行模式匹配，得到身份鉴定结果。

(5)声音识别：本发明采用麦克风，并利用带通滤波器族处理以提取特征，再采用隐马尔可夫模型与神经网络相结合的方法进行识别，得出身份鉴定结果。

(6)融合系统：将前面几部分的身份鉴定结果利用标准归一化方法将其输出归一化到同一范围，分别采用自组织特征映神经网络、模糊神经网络融合方法进行融合。

其中，可通过设计软件界面控制选择采用那几种生物特征的身份鉴定结果进行融合；亦可根据每种数据的质量，自动选择是否选取该特征进行识别，如在指纹图像质量不好或声音质量不好的情况下可舍弃该特征；且各生物特征身份鉴定系统可自成系统，独立工作。

本发明提出了一种身份鉴定的新方法。与现有的方法不同的是，首先，该方法采用多种生物特征，其次，采用融合方法将多个生物特征鉴定结果相结合。本方法的优点在于以下几个方面：

(1)本方法采用生物特征作为人的基本特征，具有易携带，不易遗忘或被窃取等优点。

(2)本方法采用灵活的融合系统，可通过软件控制选择或根据每种数据质量自动筛选可用特征决定采用那几种生物特征的身份鉴定结果进行融合，且各生物特征身份鉴定系统可自成系统，独立操作，以适合不同场合应用。

(3)融合方法提高了可靠性和准确性，整个系统具有更强的鲁棒性。

综上所述，“基于多生物特征的身份鉴定融合技术”应用灵活，身份鉴定结果可靠、准确，具有良好的应用前景。

附图说明：

图1为基于多生物特征的身份鉴定融合系统的框图

图2为基于脸像的身份鉴定方法框图

图3为基于虹膜的身份鉴定方法框图

图4为基于指纹的身份鉴定方法框图

图5为基于笔迹的身份鉴定方法框图

图6为基于声音的身份鉴定方法框图

实施例：仅以利用脸像、虹膜、指纹、笔迹为例说明本发明的使用方法。

首先，在软件界面上选定欲采取的身份鉴定方式或自动选择良好特征及是否需要融合，然后根据软件提示，依次输入各种生物特征。

第一步，脸像识别如图2所示，被测人直立平视前方，由彩色摄像机摄取脸像图像，利用皮肤颜色与背景的差异，首先通过模糊聚类找出可能含有人脸的区域，再利用椭圆环匹配的方法进行人脸定位、分割，提取脸部图像，采用提取脸像矩阵的奇异值等代数特征，与样本库中相应的已注册的人脸利用提取不同的特征匹配的方法进行比对，在将不同特征的匹配结果进行决策融合得出更为准确的结果。具体的特征提取、匹配及决策融合过程为：(一)特征提取：矩阵可被分解为：A=USV^T    (1)上面的等式可表示为： $A=\underset{i=1}{\mathrm{\Σ}}{\mathrm{\σ}}_i{u_i}_{}{v}_i^T--\left(2\right)$

U,V和S分别用来作为样本的特征，通过匹配的方法进行身份鉴别。(二)匹配A．基于奇异值的匹配

每幅图像矩阵的奇异值作为特征向量。每个人的脸像训练样本构成的特征数据库可按照其分布情况聚类为若干个中心，这样在亮度和视角变化的较大条件下，可用不同的聚类中心表示这些变化，提高鉴别准确率。此处利用模糊C均值方法聚类。

匹配输出依照测试样本与已知训练样本空间的匹配程度以隶属度函数值给出，匹配程度以距离衡量，具体采用π隶属度函数，表示如下：此处d=‖x-c‖₂                      (4)d_max=max(‖x_d-c‖₂)              (5)d_min=min(‖x_d-c‖₂)             (6)r=d_max-d_min    l=d_max+1/3^*r     (7)x是测试样本的奇异值，x_d是训练样本库中每个训练样本的奇异值，c是模糊聚类得的聚类中心。匹配输出以隶属度函数值表示。B．基于重建误差的匹配

通过奇异值分解，矩阵A可由S、U、V表示，换言之，S、U、V决定了矩阵A。SVD是经典的图像压缩和重建方法。此处我们利用脸像的重建误差来鉴别人的身份。

特征提取和匹配的具体步骤如下所示：对某个特定的人，假设有M个脸像样本矩阵，平均矩阵为： $\stackrel{-}{A}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}A--\left(8\right)$ A的SVD为 $\stackrel{-}{A}=\stackrel{-}{\mathrm{US}}\stackrel{}{{\stackrel{-}{V}}^T}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\stackrel{-}{{\mathrm{\σ}}_i}\stackrel{-}{u_i}{{\stackrel{-}{v}}_i}^T--\left(9\right)$ 假如前 σ_l 个奇异值的和在所有奇异值 σ_i 的和中占很大部分，我们可将图像按下列方式压缩： $\stackrel{-}{A^{*}}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\stackrel{-}{{\mathrm{\σ}}_i}{\stackrel{-}{u}}_i{\stackrel{-}{v_i}}^T--\left(10\right)$ A的重建误差为： $\stackrel{-}{E}=\left|\right|\stackrel{-}{A}-\stackrel{-}{A^{*}}|{|}_2=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\stackrel{-}{{\mathrm{\σ}}_i}\stackrel{-}{u_i}\stackrel{-}{v_i^T}--\left(11\right)$ 设B为测试样本矩阵，B可分解为： $B=W{S}_b{Q}^T=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{\mathrm{\ω}}_i{q}_i^T--\left(12\right)$ B在A特征空间中的重建形式为： $B^{*}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\θ}}_i\stackrel{-}{u_i}\stackrel{-}{v_i^T}--\left(13\right)$ B的重建误差为：E=‖B-B^*‖₂    (14)假设A_m为训练样本库中的一幅脸像图像，其重建误差形式为： $A_m^{*}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\stackrel{-}{u}}_i{{\stackrel{-}{v}}_i}^T--\left(15\right)$ $E_m=\left|\right|A_m-A_m^{*}\left|\right|=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\α}}_i\stackrel{-}{u_i}{{\stackrel{-}{v}}_i}^T--\left(16\right)$ 此处m是属于某个特定人的脸像数据库的样本个数。A的SVD如等式(2)所示。

匹配过程与A类似，隶属度函数为：

此处E由等式(14)定义。

E_max=max(E_m)    (18)

E_min=min(E_m)                   (19)

R=E_max-E_min    l=E_max+1/3^*R    (20)Rommdhani提出了一种基于脸像重建误差的性别鉴别方法，该方法将测试样本分别映射到男性特征子空间和女性特征子空间中重建，利用得到的重建误差判定待测人的性别。在他提出的方法中利用了主分量提取(PCA)方法。众所周知，PCA方法计算复杂性一直是妨碍该方法获得更广泛应用的主要原因。与PCA相比，SVD计算简单，更适合实时处理。基于SVD的重建误差同样可作为图像的稳定特征用来识别。(三)决策融合

研究人员已发现模式的不同特征或不同分类方式可互为补充，以提高识别性能。可通过同时利用模式的不同特征或利用不同分类器来提高分类准确率。这种融合的方法对于诸如存在大量噪声、有限的训练样本或高维模式等复杂问题尤为有效。人脸图象的数据库经常不能大到足以反映整个样本空间。充分利用样本便成为建立更为完整的样本空间的关键。将前面两种匹配方法的结果进行融合使得利用样本不同方面的信息成为可能。此处可利用LOGISTIC回归的方法进行融合。LOGISTIC回归用于融合的基本思想是利用φ(x)来估计条件概率P(Y=1｜x)，此处P(Y=1｜x)为样本x被正确分类的概率。这样判决融合问题转化为回归分析问题。

φ(x)定义为： $\mathrm{\φ}\left(x\right)=\frac{\exp (\mathrm{\α}+{\mathrm{\β}}_1{x}_1+{\mathrm{\β}}_2{x}_2)}{1+\exp (\mathrm{\α}+{\mathrm{\β}}_1{x}_1+{\mathrm{\β}}_2{x}_2)}--\left(21\right)$ x₁和x₂分别是基于奇异值和重建误差的匹配结果。

从上面等式可得出： $L\left(x\right)=\log \frac{\mathrm{\φ}\left(x\right)}{1+\mathrm{\φ}\left(x\right)}=\mathrm{\α}+{\mathrm{\β}}_1{x}_1+{\mathrm{\β}}_2{x}_2--\left(22\right)$

从而融合问题映射为线性回归问题。参数α,β₁,β₂可通过有监督学习得到。最终给出相应的带有置信度函数值的判别结果，即确定该人的身份以及该判别的可信度，以利于下一步的融合过程。

第二步，虹膜识别，虹膜识别系统的工作流程如图3所示，包括四个步骤：图像获取、虹膜定位、特征提出和模式匹配。将虹膜获取装置的上端扣在被试者的眼睛上，通过计算机来控制可调电源以调节发光二极管的亮度。CCD摄像头拍摄红外管照射下的虹膜图像，并输入计算机。计算机调用虹膜识别的算法对获取的虹膜图像进行模式识别，完成身份鉴定的功能。可以利用本虹膜图像采集系统建立虹膜数据库，应用于鉴别身份的各种场合。

使用图像二值化先提取出内圆(即瞳孔和虹膜的交界)，再使用高斯低通滤波的方法结合边缘检测提取出外圈的边界。然后使用Hough变换的方法求出外圆的参数。采用纹理分析的方法提取虹膜的纹理特征，结合局部特征分析，可以达到很好的识别效果。采用各种聚类的方法，如神经网络等，将提取的虹膜特征与已经注册的存在数据库中的虹膜特征进行比较，确定虹膜所有人的身份。给出相应的带有置信度函数值的判别结果，以利于下一步的融合过程。

第三步，指纹识别如图4所示，按照计算机的提示，在指纹录入仪上放手指以提取指纹图像，提取后的图象经过图象增强和锐化，将获得的增强后的指纹图象经方向图估计、纹路提取、细化、细节提取过程，提取细节作为指纹的基本特征，并利用指纹模板匹配的方法得出身份鉴定结果。具体过程为：(一)指纹特征的提取过程1．方向图估计

1〕把指纹图像分为大小为W×W的块。

2〕用如下的Sobel算子G_x和G_y分别计算每块中的每个点在x方向和y方向的梯度G_x(i,j)和G_y(i,j)。

3〕用如下公式计算每个块的局部方向： $V_x(i,j)=\underset{u=i-\frac{W}{2}}{\overset{i+\frac{W}{2}}{\mathrm{\Σ}}}\underset{v=j-\frac{W}{2}}{\overset{j+\frac{W}{2}}{\mathrm{\Σ}}}2\×G_x(u,v)\×G_y(u,v)$ $V_y(i,j)=\underset{u=i-\frac{W}{2}}{\overset{i+\frac{W}{2}}{\mathrm{\Σ}}}\underset{v=j-\frac{W}{2}}{\overset{j+\frac{W}{2}}{\mathrm{\Σ}}}(G_x{(u,v)}^2-G_y{(u,v)}^2)$ $\mathrm{\θ}(i,j)=\frac{1}{2}\mathrm{ta}{n}^{-1}\frac{V_x(i,j)}{V_y(i,j)}$

4〕(i,j)点方向与其邻域中点的方向之间的恒定程度为CL(i,j)： $V_e(i,j)=\underset{u=i-\frac{W}{2}}{\overset{i+\frac{W}{2}}{\mathrm{\Σ}}}\underset{v=j-\frac{W}{2}}{\overset{j+\frac{W}{2}}{\mathrm{\Σ}}}(G_x^2(u,v)+G_y^2(u,v))$

如果 $\mathrm{CL}(i,j)=\sqrt{\frac{1}{W\×W}\frac{V_x^2(i,j)+V_x^2(i,j)}{V_e(i,j)}}>T_s$ ，认为(i,j)点是背景。

5〕使用一个低通滤波器对纹路方向进行“低通滤波”。φ_x(i,j)=cos(2θ(i,j))    φ_y(i,j)=sin(2θ(i,j)) ${\mathrm{\φ}}_x^{\′}(i,j)=\underset{u=-w_{\mathrm{\φ}}/2}{\overset{w_{\mathrm{\φ}}/2}{\mathrm{\Σ}}}\underset{v=-w_{\mathrm{\φ}}/2}{\overset{w_{\mathrm{\φ}}/2}{\mathrm{\Σ}}}{\mathrm{\φ}}_x(i-\mathrm{uw},j-\mathrm{vw})$ ${\mathrm{\φ}}_y^{\′}(i,j)=\underset{u=w_{\mathrm{\φ}}/2}{\overset{w_{\mathrm{\φ}}/2}{\mathrm{\Σ}}}\underset{v=-w_{\mathrm{\φ}}/2}{\overset{w_{\mathrm{\φ}}/2}{\mathrm{\Σ}}}{\mathrm{\φ}}_y(i-\mathrm{uw},j-\mathrm{vw})$

6〕最后，用如下公式可以计算出纹路方向： $O(i,j)=\frac{1}{2}\mathrm{ta}{n}^{-1}\left(\frac{{\mathrm{\φ}}_x^{\′}(i,j)}{{\mathrm{\φ}}_y^{\′}(i,j)}\right)$ 2．纹路提取

纹路的提取是指对指纹灰度图像进行一定的处理，形成一幅二值化的图像。这里使用如下的锐化算子：

把这个算子作用在图像中的每个点，对得到的值按照一定的门限进行二值化，形成纹路。3．细节特征提取

根据二值化纹路生成理想的宽度为一个象素的纹路。细节提取将非常简单，表述如下：不妨假设一个点在细化的纹路上(8个邻接点)，那么它的值为1，否则的话就是0。令(x,y)表示细化纹路上的一个点，N₀,N₁,…,N₂表示其8个邻接点，则 $\left({\mathrm{\Σ}}_{i=0}^7{N}_i\right)=0$ 表示纹路的端点，而 $\left({\mathrm{\Σ}}_{i=0}^7{N}_i\right)>2$ 表示纹路产生了分叉。

每一个提取出来的端点都用如下几个参数表示：1〕x坐标，2〕y坐标，3〕方向，方向定义为相关细节所在块的局部方向，4〕相关的纹路，纹路被表示为一维的离散数组--也就是一组采样值。采样值为采样点到直线l的距离，而l表示通过细节点而且方向为细节方向的直线。一般情况下，每个纹路的采样数目为10个。(二)指纹模板匹配过程：

1．排列：根据估计的参数对两个指纹模板(库中的参考模板以及输入的模板)进行旋转、平移、以及放缩操作。

1〕假设参考纹路和输入纹路分别为d和D，纹路上的每个点为d_i和D_i，其中d_i和D_i分别是纹路上的第i点到其x轴的距离。用如下公式计算两个纹路的相似程度： $S={\mathrm{\Σ}}_{i=0}^L{(d_i-D_i)}^2$ 其中，L是两个纹路中长度比较短的那一个的长度。如果S小于一定的门限T，就认为这两个纹路匹配了，否则匹配下一对点。不妨假设参考细节(x_d,y_dθ_d)和输入细节(X_D,Y_D,Θ_D)已经达到了匹配。

2〕对两个模板分别用如下公式进行极坐标变化，最终使两者表示在同一个坐标系下。

对参考模板： $r_i=\sqrt{{(x_i-x_d)}^2+{(y_i-y_d)}^2}$ $e_i=\mathrm{ta}{n}^{-1}\left(\frac{y_i-y_d}{x_i-x_d}\right)--{\mathrm{\θ}}_i={\mathrm{\θ}}_i-{\mathrm{\θ}}_d$

对输入模板： $R_i=\sqrt{{(X_i-X_D)}^2+{(Y_i-Y_D)}^2}$ $E_i={\tan }^{-1}\left(\frac{Y_i-Y_D}{X_i-X_D}\right)---{\mathrm{\Θ}}_i={\mathrm{\Θ}}_i-{\mathrm{\Θ}}_D$

2．匹配：输入细节特征和模板细节特征都被变换到极坐标下面，下面对这些细节作弹性串匹配。

1〕把用极坐标表示的参考模板和输入模板按照极角的升序排列。于是得到两个矩阵：参考模板为：P=((r_l,e_l,θ_l)^T,…,(r_M,e_M,θ_M))输入模板为：Q=((R_l,E_l,Θ_l),…(R_N,E_N,Θ_N))

2〕对每一个对细节计算： $\mathrm{\&Delta;e}={\{}_{a-180,\mathrm{otherwise}}^{a,\mathrm{if}(a=(e_m-E_n)+360)\mathrm{mod}360)<180}$ $\mathrm{\&Delta;\&theta;}={\{}_{a-180\mathrm{otherwise}}^{a,\mathrm{if}(a=({\mathrm{\&theta;}}_m-{\mathrm{\&Theta;}}_n+360)\mathrm{mod}360)<180}$ Δr=｜r_m-R_n｜如果Δe＜ε、Δθ＜ρ而且Δr＜δ，就认为两个细节特征匹配，使匹配的点数加1。

3〕如果需要补偿，上述的第二步变为：Δr=r_m-R_n如果δ_l(m,n)＜Δr＜δ_h(m,n)、ε_l(m,n)＜Δe＜ε_h(m,n)而且Δθ＜ρ，就认为两个细节特征匹配，使匹配的点数加1。其中：δ_l(m+1,n+1)=δ_l(m,n)+ηΔraδ_h(m+1,n+1)=δ_h(m,n)+ηΔraε_l(n+1,n+1)=ε_l(m,n)+ηΔeaε_h(m+1,n+1)=ε_h(m,n)+ηΔe_aε_l,δ_h,δ_l和δ_h定义了可能的细节区域的边界，而η是学习因子。

4〕最后的匹配结果为： $S=\frac{100\&times;M_{P,Q}\&times;M_{P,Q}}{\mathrm{MN}}$

其中，M_P,Q是匹配的点数，M和N分别是参考模板和输入模板的细节特征点数目。匹配结果为100时，说明两个指纹完全匹配，如果匹配结果为0，则表示两个指纹完全不匹配。

指纹识别过程给出了一个带有置信度函数值的判别结果，这对下一步的融合提供了便利。

第四步，笔迹鉴别如图5所示，按照软件提示将手写汉字的笔迹在按黑白模式被扫描成一幅二值图像输入计算机。每一个图像又经过预处理形成一幅大小为640×640的具有统一纹理的图像。它被划分成25个互不重叠的大小为128×128的图像块。用Gabor滤波器提取其纹理特征，f是Gabor通道的中心频率。缺省是f=2,4,8,16,32,64。再对这些图像的特征用加权欧氏距离分类器进行模式匹配，最终给出相应的带有置信度函数值的判别结果，以利于下一步的融合过程。

第五步，融合过程，将前面几部分的身份鉴定结果利用标准归一化方法将其输出归一化到同一范围，再利用如D--S理论、概率估计或神经网络等方法进行融合。例如利用自组织特征映神经网络，将归一化后的结果作为自组织特征映神经网络的输入，该网络的输出即为融合结果，采用(0,1)输出，输出结果为1表示认可被鉴定人，并将身份鉴定结果在软件界面上显示。至此，整个身份鉴定过程完成。

Claims (6)

1．一种基于多生物特征的身份鉴定融合方法，其特征在于利用人的多种生物特征脸像、虹膜、指纹、笔迹、声音来鉴定人的身份，并将鉴定结果用标准归一化方法将全部特征输出归一化到同一范围，再分别采用(1)利用部分监督的神经网络实现融合，采用与人脑映射方式类似的自组织特征映射神经网络，并限制部分监督学习。(2)利用模糊神经网络进行融合。

2．根据权利要求1所述的基于多生物特征的身份鉴定融合方法，其特征在于利用脸像矩阵的代数特征或脸部器官轮廓以及头部三维形状等几何特征进行脸像的匹配识别，并采用融合方法论将各个特征的结果加以综合。

3．根据权利要求1所述的基于多生物特征的身份鉴定融合方法，其特征在于利用虹膜的纹理进行身份鉴定，利用全局纹理分析及局部特征相结合的方法进行测试图象与数据库中图象匹配。

4．根据权利要求1所述的基于多生物特征的身份鉴定融合方法，其特征在于将获得的指纹图象经方向图估计、纹路提取、细化、细节提取过程，提取细节作为指纹的基本特征，并利用模糊匹配的方法得出身份鉴定结果。

5．根据权利要求1所述的基于多生物特征的身份鉴定融合方法，其特征在于利用纹理分析方法，把包含笔迹的文档看作一种具有特定纹理的图像，提取和分析全局纹理特征，也就是对原始输入图象进行预处理，得到标准的图象即纹理图象，用多通道的GABOR滤波器或付里叶变换、小波变换、共生灰度矩阵的纹理分析方法提取这些纹理图象的特征，再对这些图象的特征用加权欧氏距离分类器进行模式匹配。

6．根据权利要求1所述的基于多生物特征的身份鉴定融合方法，其特征在于将获得的声音经带通滤波器族处理以提取特征，并采用隐马尔可夫模型与神经网络相结合的方法进行识别，得出身份鉴定结果。

Images