CN100356388C - 生物特征融合的身份识别和认证方法 - Google Patents

Abstract

本发明属于分类器集成和模式识别领域，其特征在于，首先通过各种采集设备获得用户的人脸、虹膜、在线签名和脱机笔迹各生物特征，接下来将这些生物特征分别送入对应的识别认证子模块进行特征提取和模板匹配，并输出各自匹配后得到的分数。这些分数经过归一化后，或者被送入识别融合模块，通过置信度集成等步骤得到最后的识别结果；或者被送入认证融合模块，映射到多维空间并通过分类器分类后得到最后的认证结果；或者识别融合之后再次进行认证融合，得到认证后的最终识别结果。经过融合以后，无论是进行验证还是识别，总的错误率较之单一生物特征识别认证系统，都得到了降低。

Description

生物特征融合的身份识别和认证方法

技术领域

本发明属于分类器集成和模式识别领域，但是其中又包含了人脸识别、虹膜识别和文字识别领域的内容。

背景技术

身份认证是保护信息安全所面临的一个难题。传统的认证方法往往采用密码、证件或者一些已有的特定的知识作为使用者进入系统内部的权限。但是由于密码容易被遗忘、修改，证件携带不便且易丢失，因此传统的认证方式存在着重大的缺陷和安全隐患。随着安全领域越来越高的需求，基于生物特征的自动身份认证和识别系统变得越来越广泛和高效。许多银行、机场等区域都已经采用了基于生物特征的产品。常用的生物特征既包括人脸、虹膜、指纹、掌纹等在内的身份特征，也包括签名、笔迹、步态等在内的行为特征。与传统认证方式相比，生物特征识别最大的特点就是对用户自身的特征进行认证和识别，具有防伪性好、方便和不易遗忘丢失的优点。

每一种生物特征认证和识别都在准确率、用户接受程度和成本方面有所不同，都有自己的优缺点，适用于不同的应用场合。对于用户来说，通过人脸系统进行识别和认证是最友好最不令人抵触的方式；而虹膜识别和认证则已经被证明是最可靠、稳定和准确的一种检测途径；在线签名和笔迹识别系统因其采集方便且操作简单，也被用户所广泛接受。但是这些系统也面临不少问题，比如人脸识别系统则对光照、姿态和表情等因素非常敏感；虹膜识别系统对采集到的样本有很高的质量要求，采集时不易操作，而且在实际使用中很可能因为采集到的用户虹膜样本质量太差或是用户在患眼科疾病等的情况下失效；在线签名系统则会因为采集设备的不同和用户对同一采集设备的适应程度不同而对用户的在线签名样本造成影响；而对脱机的笔迹识别系统而言，即使对于同一个用户，其签名和笔迹在不同时期和用户的不同状态下也会产生较大差异，更不用说其所面临的伪造和假冒的问题。

通过多种生物特征识别认证系统间的融合可以有效的解决上述问题。因为通过对多个分类器的融合，不但可以防止单一生物特征识别认证系统失效而产生的错误，使总的分类错误率得到降低，而且通过融合具有生物行为特征的识别系统比如在线签名系统，还可以为其它特征的识别提供活体检测，防止一些伪造现象的出现。目前，关于生物特征融合的很多研究工作还都集中在两类生物特征的融合和同一类生物特征的融合上，比如虹膜和人脸，或是指纹和掌纹等。对于三类以上生物特征融合的研究，特别是将属于生物身份特征的人脸虹膜信息与属于行为特征的签名笔迹信息进行融合的研究并不多见。

发明内容

本发明通过将对生物身份特征信息进行处理的人脸、虹膜识别认证系统与对生物行为特征信息进行处理在线签名、脱机笔迹识别认证系统结合在一起，根据最后融合的结果作出决策，达到了提高总的识别、认证准确率的目的。

本发明的特征之一在于，身份识别的过程，依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，并和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：用步骤1中所述的计算机进行生物特征的识别融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：将训练集A内包括距离或相似度在内的所有待融合子模块的输出分数输入所选计算机内预置的归一化模块，并依次按以下步骤将这些输出分数转换成置信度：

首先，通过给定的广义置信度估计公式把各待融合子模块的输出分数转换成广义置信度：

设定：数据库中有N个用户，分别记作类ω₁，ω₂，…，ω_N；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\hat{X}=({\stackrel{\→}{x}}_1,{\stackrel{\→}{x}}_2,...,{\stackrel{\→}{x}}_R)$ 是训练集内用户X在匹配之前总的特征向量集合；其中

表示该用户在第i个分类器中提取得到的特征向量，i可以取从1到R之间包括1和R在内的任意值；

对于原始输出为距离的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离，其中j可以取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度，其中j可以取从1到N之间包括1和N在内的任意值；

则，可以通过给定的广义置信度估计公式把所述各子模块的原始输出分数转换成广义置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的广义置信度用 表示：

对于原始输出为距离的生物特征识别子模块，用(1-1)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)=1-\frac{d_j\left({\stackrel{\→}{x}}_i\right)}{\underset{k\≠j}{\min }\left(d_k\left({\stackrel{\→}{x}}_i\right)\right)},---(1-1)$

其中k可以取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的生物特征识别子模块，用(1-2)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)=1-\frac{\underset{k\≠j}{\max }\left(s_k\left({\stackrel{\→}{x}}_i\right)\right)}{s_j\left({\stackrel{\→}{x}}_i\right)},---(1-2)$

其中k可以取从1到N之间包括1和N在内的任意值；

其次，当某生物特征识别子模块所输出的分数都被转换成广义置信度之后，通过计算下述广义置信度到置信度的映射函数f(y)，再把广义置信度转换成置信度：

设：从某生物特征识别子模块得到的广义置信度的值域为T；

用户X属于该生物特征识别子模块中设定好的训练集A(X∈A)；

令 $y=g\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i),$ 对任意y∈T，[y-δ，y+δ]是y附近的一个小区间；则： $f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{count}\left(\right\{X|X\∈\mathrm{Aandg}\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)\∈[y-\mathrm{\δ},y+\mathrm{\δ}]\mathrm{andX}\∈{\mathrm{\ω}}_j\})}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{count}\left(\right\{X|X\∈\mathrm{Aandg}\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)\∈[y-\mathrm{\δ},y+\mathrm{\δ}\left]\right\})}---(1-3)$

(1-3)式中f(y)的分母为广义置信度落在小区间[y-δ，y+δ]中的样本的总数；分子为广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目；

对任意y∈T，计算得到f(y)后，就可以将广义置信度转换成置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用

表示：

$p\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)=f\left(g\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{x}}_i)\right);$

步骤33：对于用户Z，当j＝1时，让i值从1变化到R，按照步骤32的置信度转换方法计算得到

然后代入识别融合系统对第j个用户的判别函数表达式(1-4)式或者(1-5)式中，得到融合系统将用户Z判断为第1个用户的判别分数g₁(Z)；

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\Π}}}p\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{z}}_i)---(1-4)$

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\Σ}}}p\left({\mathrm{\ω}}_j\right|{\stackrel{\→}{z}}_i)---(1-5)$

步骤34：当j＝2，…，N时，分别按照步骤33中的方法计算 并均按照(1-4)式或者(1-5)式计算得到g₂(Z)，…，g_N(Z)，然后将j取不同值时g_j(Z)的值从大到小排列，设有：

$g_{j_1}\left(Z\right)>g_{j_2}\left(Z\right)>...g_{j_N}\left(Z\right),$

则将用户j₁作为用户Z的首选识别结果，用户j₂作为二选识别结果，依此类推。

本发明的特征之二在于，身份认证的过程，依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，并和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：用步骤1中所述的计算机进行生物特征的认证融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：对训练集A中所有用户各个生物特征子模块的原始输出分数进行归一化处理，归一化后各生物特征认证子模块输出的新分数均被映射到[0，1]区间；

步骤33：把经过步骤32得到的各生物特征认证子模块输出的新分数作成多维空间中的向量，计算从多维空间到其一维子空间的最佳投影方向，依次按以下步骤进行：

首先，设定：

数据库中有N个用户；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\stackrel{\→}{X}={(x_1,x_2,...,x_R)}^T$ 是训练集内用户X的生物特征在经过各生物特征认证子模块匹配并且归一化之后总的输出分数构成的R维列向量；其中其中符号()^T表示括号内向量的转詈，分量x_i表示第i个分类器归一化之后的输出分数，i可以取从1到R之间包括l和R在内的任意值；

记训练集A中的全部合法用户构成类ω₀，非法用户构成类ω₁；

假设类ω₀中共有N₀个样本，构成训练集A的子集A₀，类ω₁中共有N₁个样本，构成训练集A的子集A₁，这样就有关系式A＝A₀∪A₁和N＝N₀+N₁成立；

集合A₀、A₁均可视为R维空间中的列向量的集合，从R维空间到R维空间的一维子空间的最佳投影方向按(2-1)式计算：

${\stackrel{\→}{w}}^{*}{=S}_w^{-1}({\stackrel{\→}{m}}_0-{\stackrel{\→}{m}}_1)---(2-1)$

其中， ${\stackrel{\→}{m}}_k=\frac{1}{N_k}\underset{\stackrel{\→}{X}\∈A_k}{\mathrm{\Σ}}\stackrel{\→}{X},$ k＝0，1，

分别是合法、非法用户样本的均值；

$S_k=\underset{\stackrel{\→}{X}\∈A_k}{\mathrm{\Σ}}(\stackrel{\→}{X}-{\stackrel{\→}{m}}_0){(\stackrel{\→}{X}-{\stackrel{\→}{m}}_1)}^T,$ k＝0，1，S₀、S₁分别是合法、非法用户样本的类内离散度矩阵；

S_w＝P(ω₀)S₀+P(ω₁)S₁，S_w是总类内离散度矩阵，P(ω₀)、P(ω₁)分别是合法、非法用户样本类的先验概率，具体实施时取P(ω₀)＝P(ω₁)＝0.5；

S_w ^-1表示S_w的逆矩阵；

步骤34：利用步骤33中计算所得的最佳投影方向

构造投影矩阵PS，将训练集A中的所有元素都投影到一维子空间的集合Y中；

首先，构造投影矩阵 $\mathrm{PS}:\mathrm{PS}={\stackrel{\→}{w}}^{*}\×{({\left({\stackrel{\→}{w}}^{*}\right)}^T\×{\stackrel{\→}{w}}^{*})}^{-1}\×{\left({\stackrel{\→}{w}}^{*}\right)}^T;$

其次，对训练集A中的任一列向量

按(2-2)式转换到一维子空间的集合Y中：

$\stackrel{\→}{y}=\stackrel{\→}{X}\text{\×}{\left(\mathrm{PS}\right)}^T---(2-2)$

按(2-2)式将集合A中的所有元素都转换到集合Y中以后，记集合A的子集A₀、A₁中的样本都分别转换到了集合Y的子集Y₀、Y₁中，按照(2-3)式可以计算出Y₀、Y₁中各类样本的均值；

${\stackrel{\→}{\tilde{m}}}_k=\frac{1}{N_k}\underset{y\∈Y_k}{\mathrm{\Σ}}\stackrel{\→}{y},k=\mathrm{0,1}---(2-3)$

进而可以计算出各类样本的标准差：

${\mathrm{Std}}_k=\frac{1}{N_k-1}\underset{y\∈Y_k}{\mathrm{\Σ}}{\left|\right|\stackrel{\→}{y}-{\stackrel{\→}{\tilde{m}}}_k\left|\right|}_2,k=\mathrm{0,1}---(2-4)$

上式中的 表示向量

与 之间的欧式距离；因为都在R维空间的一维子空间中，所以

与 均为R维列向量，分别写成分量的形式 $\stackrel{\→}{y}={(y_1,y_2,...,y_R)}^T$ 和 ${\stackrel{\→}{\tilde{m}}}_k={({\tilde{m}}_{k1},{\tilde{m}}_{k2},...,{\tilde{m}}_{\mathrm{kR}})}^T$ 后：

${\left|\right|\stackrel{\→}{y}-{\stackrel{\→}{\tilde{m}}}_k\left|\right|}_2=\sqrt{{(y_1-{\tilde{m}}_{k1})}^2+{(y_2-{\tilde{m}}_{k2})}^2+...+{(y_R-{\tilde{m}}_{\mathrm{kR}})}^2}---(2-5)$

步骤35：设各分类器对于用户Z的归一化输出为 $\stackrel{\→}{Z}={(z_1,z_2,...,z_R)}^T,$ 根据设定的阈值

和步骤33中已经计算得到的

按照如下规则作分类决策，得到用户Z是属于ω₀类或ω₁类的判断：

若 $(\stackrel{\→}{Z}-{\stackrel{\→}{y}}_0)\×{\stackrel{\→}{w}}^{*}>0,$ 则Z∈ω₀；

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}<0,$ 则Z∈ω₁。

本发明的特征之三在于，身份识别认证的过程，依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，开和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：首先用步骤1中所述的计算机进行生物特征的识别融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：将训练集A内包括距离或相似度在内的所有待融合子模块的输出分数输入所选计算机内预置的归一化模块，并依次按以下步骤将这些输出分数转换成置信度：

首先，通过给定的广义置信度估计公式把各待融合子模块的输出分数转换成广义置信度：

设定：数据库中有N个用户，分别记作类ω₁，ω₂，…，ω_N；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\hat{X}=({\stackrel{\&RightArrow;}{x}}_1,{\stackrel{\&RightArrow;}{x}}_2,...,{\stackrel{\&RightArrow;}{x}}_R)$ 是训练集内用户X在匹配之前总的特征向量集合；其中

表示该用户在第i个分类器中提取得到的特征向量，i可以取从1到R之间包括1和R在内的任意值：

对于原始输出为距离的分类器， 表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离，其中j可以取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度，其中j可以取从1到N之间包括1和N在内的任意值；

则，可以通过给定的广义置信度估计公式把所述各子模块的原始输出分数转换成广义置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的广义置信度用

表示：

对于原始输出为距离的生物特征识别子模块，用(3-1)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{d_j\left({\stackrel{\&RightArrow;}{x}}_i\right)}{\underset{k\&NotEqual;j}{\min }\left(d_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)},---(3-1)$

其中k可以取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的生物特征识别子模块，用(3-2)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{\underset{k\&NotEqual;j}{\max }\left(s_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)}{s_j\left({\stackrel{\&RightArrow;}{x}}_i\right)},---(3-2)$

其中k可以取从1到N之间包括1和N在内的任意值；

其次，当某生物特征识别子模块所输出的分数都被转换成广义置信度之后，通过计算下述广义置信度到置信度的映射函数f(y)，再把广义置信度转换成置信度：

设：从某生物特征识别子模块得到的广义置信度的值域为T；

用户X属于该生物特征识别子模块中设定好的训练集A(X∈R)；

令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 对任意y∈T，[y-δ，y+δ]是y附近的一个小区间；则： $f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\mathrm{andX}\&Element;{\mathrm{\&omega;}}_j)\}}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|\mathrm{XAandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;})\left]\right\}}---(3-3)$

(3-3)式中f(y)的分母为广义置信度落在小区间[y-δ，y+δ]中的样本的总数；分子为广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目；

对任意y∈T，计算得到f(y)后，就可以将广义置信度转换成置信度：对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用

表示：

$p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right);$

步骤33：对于用户Z，当j＝1时，让i值从1变化到R，按照步骤32的置信度转换方法计算得到

然后代入识别融合系统对第j个用户的判别函数表达式(3-4)式或者(3-5)式中，得到融合系统将用户Z判断为第1个用户的判别分数g₁(Z)；

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Pi;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(3-4)$

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Sigma;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(3-5)$

步骤34：当j＝2，…，N时，分别按照步骤33中的方法计算

并均按照(3-4)式或者(3-5)式计算得到g₂(Z)，…，g_N(Z)，然后将j取不同值时g_j(Z)的值从大到小排列，设有：

$g_{j_1}\left(Z\right)>g_{j_2}\left(Z\right)>...>g_{j_N}\left(Z\right),$

则将用户j₁作为用户Z的首选识别结果，用户j₂作为二选识别结果，依此类推；

步骤4：在步骤34的识别结果中挑选前K(K≤N)个识别结果，设挑选出来的前K个识别结果分别是将用户Z识别成数据库中的第j₁个用户、第j₂个用户，……，第j_K个用户；下面再用步骤1中所述的计算机对将用户z识别成数据库中的第j_l(l＝1，2，…，K)个用户的识别结果进行生物特征的认证融合；依次按以下步骤进行：

步骤41：训练集止中所有用户各个生物特征子模块的原始输出分数经过步骤32后，均被映射成了[0，1]区间内的置信度；下面再将这些置信度作成多维空间中的向量，计算从多维空间到其一维子空间的最佳投影方向，依次按以下步骤进行：

首先，设定：

数据库中有N个用户；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\stackrel{\&RightArrow;}{X}={(x_1,x_2,...,x_R)}^T$ 是训练集内用户X的生物特征在经过各生物特征认证子模块匹配并且转换成置信度之后总的输出构成的R维列向量；其中其中符号()^T表示括号内向量的转置，分量x_i表示第i个分类器输出的置信度分数，i可以取从1到R之间包括1和R在内的任意值；

记训练集A中第j_i个用户的全部样本构成类ω₀，训练集A中其它用户的全部样本构成类ω₁；

假设类ω₀中共有N₀个样本，构成训练集A的子集A₀，类ω₁中共有N₁个样本，构成训练集A的子集A₁，这样就有关系式A＝A₀∪A₁和N＝N₀+N₁成立；

集合A₀、A₁均可视为R维空间中的列向量的集合，从R维空间到R维空间的一维子空间的最佳投影方向按(3-6)式计算：

${\stackrel{\&RightArrow;}{w}}^{*}=S_w^{-1}({\stackrel{\&RightArrow;}{m}}_0-{\stackrel{\&RightArrow;}{m}}_1)---(3-6)$

其中， ${\stackrel{\&RightArrow;}{m}}_k=\frac{1}{N_k}\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{X},$ k＝0，1，

分别是合法、非法用户样本的均值；

$S_k=\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_0){(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_1)}^T,$ k＝0，1，S₀、S₁分别是合法、非法用户样本的类内离散度矩阵；

S_w＝P(ω₀)S₀+P(ω₁)S₁，S_w是总类内离散度矩阵，P(ω₀)、P(ω₁)分别是合法、非法用户样本类的先验概率，具体实施时取P(ω₀)＝P(ω₁)＝0.5；

S_w ^-1表示S_w的逆矩阵；

步骤42：利用步骤41中计算所得的最佳投影方向

构造投影矩阵PS，将训练集A中的所有元素都投影到一维子空间的集合Y中；

首先，构造投影矩阵 $\mathrm{PS}:\mathrm{PS}={\stackrel{\&RightArrow;}{w}}^{*}\&times;{({\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T\&times;{\stackrel{\&RightArrow;}{w}}^{*})}^{-1}\&times;{\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T;$

其次，对训练集A中的任一列向量

按(3-7)式转换到一维子空间的集合Y中：

$\stackrel{\&RightArrow;}{y}=\stackrel{\&RightArrow;}{X}\&times;{\left(\mathrm{PS}\right)}^T---(3-7)$

按(3-7)式将集合A中的所有元素都转换到集合Y中以后，记集合A的子集A₀、A₁中的样本都分别转换到了集合Y的子集Y₀、Y₁中，按照(3-8)式可以计算出Y₀、Y₁中各类样本的均值；

${\stackrel{\&RightArrow;}{\tilde{m}}}_k=\frac{1}{N_k}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{y},k=\mathrm{0,1}---(3-8)$

进而可以计算出各类样本的标准差：

$S{\mathrm{td}}_k=\frac{1}{N_k-1}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}{\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\&RightArrow;}{\tilde{m}}}_k\left|\right|}_2,k=\mathrm{0,1}---(3-9)$

上式中的

表示向量

与

之间的欧式距离；因为都在R维空间的一维子空间中，所以

与

均为R维列向量，分别写成分量的形式 $\stackrel{\&RightArrow;}{y}={(y_1,y_2,...,y_R)}^T$ 和 ${\stackrel{\&RightArrow;}{\tilde{m}}}_k={({\tilde{m}}_{k1},{\tilde{m}}_{k2},...,{\tilde{m}}_{\mathrm{kR}})}^T$ 后：

$\left|\right|\stackrel{\&RightArrow;}{y}{-{\stackrel{\stackrel{\&RightArrow;}{~}}{m}}_k\left|\right|}_2=\sqrt{{(y_1-{\tilde{m}}_{k1})}^2+{(y_2-{\tilde{m}}_{k2})}^2+...+{(y_R-{\tilde{m}}_{\mathrm{kR}})}^2}---(3-10)$

步骤43：设各分类器对于用户Z的归一化输出为 $\stackrel{\&RightArrow;}{Z}={(z_1,z_2,...,z_R)}^T,$ 根据设定的阈值

和步骤41中已经计算得到的

按照如下规则作分类决策，得到用户Z是属于ω₀类或ω₁类的判断：

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}>0,$ 则Z∈ω₀，

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}<0,$ 则Z∈ω₁；

步骤44：如果在步骤43中判断Z∈ω₀，那么置K维向量

的第l个分量为1；否则置为0；

步骤5：通过步骤4对所有的j_l，都完成认证融合之后，当且仅当向量

中有一个分量值为1时，作出用户Z是合法用户的判断；否则，判断用户Z为非法用户。

实验证明：经过多模生物特征融合系统的识别认证融合子模块后，无论选取何种具体的融合方式，融合后的总分类错误率都比未经融合的单个生物特征融合系统的总分类错误率要低，尤其是对于认证率不是很高的生物特征认证系统而言，更是如此。

附图说明

图1多模生物特征融合系统的系统框架图。

图2归一化模块示意图。其中2a是利用置信度转换进行归一化的模块示意图；2b是利用在“最小最大”方法进行归一化的模块示意图。

图3融合模块示意图。其中3a是识别融合子模块示意图；3b是认证融合子模块示意图；3c是识别认证融合子模块示意图。

图4从广义置信度向置信度映射的函数曲线示意图(人脸模块)。

图5采用fisher准则的线性分类器的分类示意图。其中5a是对人脸和虹膜模块输出分数所作的分类示意；5b是对人脸、在线签名和脱机笔迹模块输出分数所作的分类示意。

具体实施方式

在本发明的多模生物特征融合系统中，融合模块是关键。

首先，融合模块所处的位置是在匹配层。就是说，融合模块的输入是各个生物特征识别认证子模块在进行完模板匹配后输出的分数。这既不同于特征层融合时利用不同生物特征识别认证系统输出的特征向量作为输入，也不同于决策层融合时利用不同生物特征识别认证系统输出的逻辑变量作为输入。

其次，根据识别和认证的不同要求，融合模块相应分为识别融合子模块、认证融合子模块和识别认证融合子模块。识别融合子模块需要完成判断用户“是谁？”的工作，即需要确定用户的身份；认证融合子模块只需要作出“是”或者“不是”的判断；即只需要确定用户是否是他所声称的身份；识别认证融合子模块在首先确定用户“是谁？”的基础上，再对用户的合法性作出判断。

识别融合子模块的特征

为了完成判断用户究竟“是谁？”的工作，我们需要获得待检测用户相对于数据库中所有用户的置信度信息，进而根据置信度的高低确定最终识别结果。由于对于同一用户，其虹膜、人脸或是签名等各特征可以视作是相互独立的，因此各生物特征识别子分类器也可以认为是相互独立的。对于相互独立的分类器，我们使用“发明内容”中的(1-4)式或者(1-5)式作为融合系统的类别判别函数。融合系统最后进行识别时，选择使g_j(Z)达到最大值的类别作为首选识别结果，使g_j(Z)达到次大的类别作为二选识别结果，依此类推。

设数据库中有N个用户，我们把他们分别记作类ω₁，ω₂，…，ω_N。设进行融合的生物特征识别认证子模块(子分类器)有R个，对R种生物特征模式分别进行分类判决。对于训练集内的用户X，记 $X=({\stackrel{\&RightArrow;}{x}}_1,{\stackrel{\&RightArrow;}{x}}_2,...,{\stackrel{\&RightArrow;}{x}}_R)$ 是其在进入各子模块匹配之前总的特征向量集合；其中

表示该用户在第i个分类器中提取得到的特征向量。对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用

表示。

既是后验概率，对用户X而言，也可以看作是第i个分类器将其判断为第j个用户的置信度。反映了该判决可信度。由于本发明中的融合是在匹配层次上的融合，而各生物特征识别子模块在各自进行模板匹配后输出的分数要么是距离，要么是相似度，因此在将这些分数归一化成置信度的时候，采取以下的步骤：

①通过给定的广义置信度估计公式将各子模块的输出转换成广义置信度；

②通过广义置信度到置信度的映射函数f(y)再将广义置信度转换成置信度。

对第i个生物特征识别子模块而言，设

是“将用户X识别成类ω_j所代表用户的广义置信度，对应的置信度 $p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right).$ 对于①中的广义置信度公式，我们使用“发明内容”中的(1-1)式或(1-2)式来估计。重写如下：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{d_j\left({\stackrel{\&RightArrow;}{x}}_i\right)}{\underset{k\&NotEqual;j}{\min }\left(d_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)},$

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{\underset{k\&NotEqual;j}{\max }\left(s_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)}{s_j\left({\stackrel{\&RightArrow;}{x}}_i\right)},$

其中k可以取从1到N之间包括1和N在内的任意值；当各生物特征识别子模块在各自进行模板匹配后输出的分数是距离时，采用(1-1)式将输出的距离转换成广义置信度，式中

表示“特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离”；而当匹配后输出的分数是相似度时，采用(1-2)式将输出的相似度转换成广义置信度，式中s_j(X)表示“特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度”。

若对第i个生物特征识别子模块而言，得到的广义置信度的值域为T，令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 对任意y∈T，取y附近的一个小区间[y-δ，y+δ]，则对于②中的映射函数f(y)，使用“发明内容”中的(1-3)式估计，重写如下：

$f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\mathrm{andX}\&Element;{\mathrm{\&omega;}}_j\})}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}\left]\right\})}$

上式中的函数count(·)用来统计集合中元素的个数。上式中的分母实际上是广义置信度落在小区间[y-δ，y+δ]中的样本的总数；而分子实际上是广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目。

这样，对所有i和j，子分类器的置信度 $p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right)$ 都得到了估计后，就可以通过已经计算出的映射函数f(y)的表达式从未知用户Z的匹配分数获得置信度，并使用g_j(Z)作为融合系统对第j类的判决函数，按函数值大小排序后获得最终的识别结果。

认证融合子模块的特征

由于融合模块的输入是各个生物特征认证子模块输出的分数，这些分数在分布上都不尽相同，因此在对它们进行融合之前首先要进行归一化处理。本认证融合模块可以按照(1)式所示的“最小最大方法”进行归一化：

$v=\frac{u-\min \left(U\right)}{\max \left(U\right)-\min \left(U\right)}---\left(1\right)$

式中u表示某生物特征认证子模块输出的原始分数，U表示该生物特征认证子模块输出的原始分数构成的集合，v表示经归一化以后输出的分数，max(U)、min(U)分别表示集合U中的最大值和最小值。归一化后各生物特征认证子模块输出的新分数均被映射到[0，1]区间。

当然，也可以不采用(1)式，而通过置信度转换的过程来实现进行归一化。从原始输出分数到置信度的转换过程已经在识别融合子模块的特征中进行了描述。

归一化后，同一个用户的生物特征在经过R个生物特征认证子模块后的输出分数集合就可以看作是被映射到了R维空间中的一点。如果只是对某两个(R＝2)生物特征认证子模块的输出进行融合，那么这两个生物特征所对应的用户就被映射成了2维空间中的一点，而这点的坐标正是两个子模块输出的经过归一化后的分数值；如果是对某三个(R＝3)生物特征认证子模块的输出进行融合，那么这三个生物特征所对应的用户就被映射成了3维空间中的一点。依此类推。

子模块输出分数经过归一化映射到R维空间后，认证融合子模块的工作就是将R维空间中的点进行划分，以判断点所代表的用户究竟是合法用户还是非法用户。这是一个模式识别的问题，其数学模型如下：

对于认证融合子系统H，其输入 $\stackrel{\&RightArrow;}{Z}={(z_1,z_2,...,z_R)}^T$ 代表用户Z的生物特征在经过各生物特征认证子模块匹配并且归一化之后总的输出分数构成的R维列向量。其中其中符号()^T表示括号内向量的转置，分量z_i表示第i个分类器归一化之后的输出分数，i可以取从1到R之间包括1和R在内的任意值。R的取值由进行融合的生物特征认证子系统的个数所决定。设ω₀代表合法用户类，ω₁代表非法用户类，L代表合法用户的向量空间。则系统H的整个判决过程可以用(2)式表示：

若 $\stackrel{\&RightArrow;}{Z}\&Element;L,$ 则Z∈ω₀；否则Z∈ω₁(2)

认证融合子模块在对R维空间中点

所代表的用户Z进行判决时，可能出现四种情况：

1)把合法用户当作合法用户；2)把合法用户当作非法用户；3)把非法用户当作合法用户；4)把非法用户当作非法用户。由此可见，可能会出现2)和3)两种情况的错误，分别称为False Reject Rate(FRR)和False Accept Rate(FAR)。两者的定义如下：

$\mathrm{FRR}\left(R\right)=1-\underset{R}{\&Integral;}\left(X\right|{\mathrm{\&omega;}}_0)\mathrm{dX}---\left(3\right)$

$\mathrm{FAR}\left(R\right)=\underset{R}{\&Integral;}f\left(X\right|{\mathrm{\&omega;}}_1)\mathrm{dX}---\left(4\right)$

其中f(X|ω₀)和f(X|ω₁)分别为合法用户和非法用户的条件概率密度函数。分类的总代价Total Error Rate(TER)定义为：

TER(R)＝C_FRR×FRR(R)+C_FAR×FAR(R)(5)

其中C_FRR和C_FAR分别代表了两种错误的代价。而分类的目标也就成了求使 $\mathrm{TER}\left(R_{\min }\right)=\underset{R}{\min }\left\{\mathrm{TER}\left(R\right)\right\}$ 成立的合法用户向量空间的一个划分R_min。

对R维空间的点的划分既可以采用线性分类器(比如Fisher线性分类器或是线性支持向量机分类器等)，也可以采用非线性分类器(比如采用RBF核函数的支持向量机分类器等)。分类器由给定的训练集训练参数，训练好后就可以对输入的任何R维向量进行判断，最后输出判断的结果作为认证融合系统的最终认证结果。

识别认证融合子模块的特征

由于本发明中的识别融合子模块是对类别判别函数的值从大到小进行排序，取达到最大函数值的类别作为首选识别结果，这也就意味着，识别融合子模块实质上是从数据库中选择一个和待识别用户“最像”的用户作为首选识别结果，但是“最像”是相对数据库中的其它用户而言的，并不能保证待识别用户就是作为首选识别的用户，甚至不能保证待识别用户和作为首选识别的用户相似度很高。但是让待识别用户和融合系统数据库中的所有用户一一进行认证又太费时间，特别是数据库很大的时候。为了解决以上的问题，本发明利用识别认证融合子模块对待识别用户进行识别认证，可以在只略微增加运算时间的基础上，更好的保证识别结果的有效性。

识别认证融合子模块基本上可以看作是由识别融合子模块和认证融合子模块串连构成，待识别用户先经过识别融合子模块得到首选、二选等若干识别结果；再将这些识别结果分别代入认证融合子模块进行认证。对于某个识别结果，只有当它通过了认证，且是唯一通过了认证的结果时，才作为有效识别结果。

当然，在识别认证融合子模块的认证过程中，不再是将合法用户的全部样本构成类ω₀，非法用户的全部样本构成类ω₁；而是将待认证的识别结果中的用户的全部样本构成类ω₀，其它用户的全部样本构成类ω₁。

图1是多模生物特征融合系统的系统框架图。首先通过摄像头、虹膜采集仪、手写板或触摸式显示屏、扫描仪等采集设备获得未知用户的人脸、虹膜、在线签名和脱机笔迹各生物特征，接下来将这些设备的输出分别输入对应的识别认证子模块进行特征提取并和各自数据库中已有的用户生物特征模板进行模板匹配，然后输出各自匹配后得到的分数。识别认证模块输出的这些分数又被送到归一化模块中进行归一化，然后输入统一的决策融合模块进行识别融合、认证融合或识别认证融合，最后输出识别、认证或识别认证的结果。

识别融合

由于线签名时签名用户只有真伪之分，所以在进行识别融合的时候，只针对人脸、虹膜和脱机笔迹系统。识别融合在图3a所示的识别融合子模块中进行。

设已经有一个包括各待融合子模块输出分数的训练集。首先需要将这个训练集中每一个待融合模块输出的分数(距离或者相似度)通过图2a所示的归一化模块转换成广义置信度，然后再求出将广义置信度映射为置信度的函数。

对第i(i＝1，2，…，R)个待融合的子模块，假设其输出的分数是用户X某生物特征(

)与数据库中所有用户该生物特征的标准模板之间的距离。用

表示“特征向量

与类ω_j所代表的第j(j＝1，2，…，N)个用户的标准模板之间的最小距离”，按照“发明内容”中的(1-1)式，可以计算出“将用户X识别成第j个用户的广义置信度

”。对训练集中所有用户都进行了上述操作后，就可以按照“发明内容”中的(1-3)式计算出从广义置信度到置信度的映射函数f(y)。令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 具体的实际操作中，是取一系列离散的y值：y₁，y₂，…y_n，…，在这些离散点上，广义置信度向置信度的转换直接通过(1-3)式计算得出(相应为f(y₁)，f(y₂)，…，f(y_n)，…)；而对于不在这些离散点上的y值(广义置信度)，则通过数学上的“立方插值”或拟合方法计算得到置信度f(y)。“立方插值”或拟合的具体方法不属于本发明的涉及范围，因而不再作阐述。

当某待融合子模块输出的分数是用户X某生物特征(

)与数据库中所有用户该生物特征的标准模板之间的相似度时。用 表示“特征向量

与类ω_j所代表的第j(j＝l，2，…，N)个用户的标准模板之间的最大相似度”，按照“发明内容”中的(1-2)式计算广义置信度，其它操作与输出分数是距离时相同，最后同样可以计算出从广义置信度到置信度的映射函数f(y)。

图4所示的就是对人脸模块输出分数所作的从广义置信度向置信度映射的f(y)的拟合曲线。

对未知用户Z而言，对所有可能取到的i(i＝1，2，…，R)和j值(j＝1，2，…，N)，都完成

的计算后，就需要在图3a所示的识别融合子模块中进行置信度集成和决定候选。

根据所获得的

代入“发明内容”中的(1-4)式或(1-5)式，就可以得到识别融合系统对第j类(第j个用户)的判决函数g_j(Z)。对所有j，识别融合系统的判决函数g_j(Z)都求得之后，就可以将g_j(X)的取值从大到小排列，不妨设有 $g_{j_1}\left(X\right)>g_{j_2}\left(X\right)>...>g_{j_N}\left(X\right),$ 则将用户j₁作为首选识别结果，j₂作为次选识别结果，依此类推。

认证融合

认证融合在图3h所示的认证融合子模块中进行。首先要完成认证融合子模块输出分数到R维空间的映射。利用已有的合法用户数据和非法用户数据建立训练集A，A中任一列向量 $\stackrel{\&RightArrow;}{X}={(x_1,x_2,...,x_R)}^T$ 的各分量分别是用户各生物特征通过相应的生物身份特征认证子模块并经过归一化处理之后的输出的分数。其中归一化是在图2a所示的模块或图2h所示的模块中进行的。

接下来可以利用各种线性或非线性的分类器对R维空间中训练集A的样本点进行分类。

设R维空间中，训练集A中的全部合法用户构成类ω₀，非法用户构成类ω₁。假设类ω₀中共有N₀个样本，构成训练集A的子集A₀，类ω₁中共有N₁个样本，构成训练集A的子集A，这样就有关系式A＝A₀∪A₁和N＝N₀+N₁成立。

如果选择用线性分类器进行分类，可以选择基于fisher准则的线性分类器，通过最大化fisher准则函数，寻求将待分类样本从R维空间映射到一维空间的最佳投影方向如“发明内容”中(2-1)式所示。重写如下：

${\stackrel{\&RightArrow;}{w}}^{*}=S_w^{-1}({\stackrel{\&RightArrow;}{m}}_0-{\stackrel{\&RightArrow;}{m}}_1)$

其中， ${\stackrel{\&RightArrow;}{m}}_k=\frac{1}{N_k}\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{X},$ k＝0，1，

分别是合法、非法用户样本的均值；

$S_k=\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_0){(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_1)}^T,$ k＝0，1，S₀、S₁分别是合法、非法用户样本的类内离散度矩阵。

S_w＝P(ω₀)S₀+P(ω₁)S₁，S_w是总类内离散度矩阵，P(ω₀)、P(ω₁)分别是合法、非法用户样本类的先验概率，

S_w ^-1表示S_w的逆矩阵；

通过构造投影矩阵 $\mathrm{PS}:\mathrm{PS}={\stackrel{\&RightArrow;}{w}}^{*}\&times;{({\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T\&times;{\stackrel{\&RightArrow;}{w}}^{*})}^{-1}\&times;{\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T,$ 和“发明内容”中的(2-2)式：

$\stackrel{\&RightArrow;}{y}=\stackrel{\&RightArrow;}{X}\&times;{\left(\mathrm{PS}\right)}^T$

R维空间中的分类问题就转化为了R维空间的一维子空间中的分类问题。记集合A₀、A₁中的样本点在一维子空间中分别被映射到集合Y₀和Y₁，Y₀、Y₁中各类样本的均值和标准差分别定义如“发明内容”中的(2-3)式和(2-4)式：

${\stackrel{\&RightArrow;}{\tilde{m}}}_k=\frac{1}{N_k}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{y},k=0,1$

${\mathrm{Std}}_k=\frac{1}{N_k-1}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}{\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\&RightArrow;}{\tilde{m}}}_k\left|\right|}_2,k=\mathrm{0,1}$

其中 由“发明内容”中的(2-5)式的计算。

由于分类问题已经转化为了一维子空间中的分类问题。现在只需要确定一个阈值

将用户Z的归一化矢量按下述规则做出分类决策：

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}>0,$ 则Z∈ω₀；

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}<0,$ 则Z∈ω₁。

阈值y₀的确定有多种方法，比如选取

和

的平均值

${\stackrel{\&RightArrow;}{y}}_0=\frac{{\stackrel{\&RightArrow;}{\tilde{m}}}_0+{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{2}$

或用各类样本个数作权系数的

和

加权平均值

${\stackrel{\&RightArrow;}{y}}_0=\frac{N_0\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_0+N_1\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{N_0+N_1}$

或者用一维子空间中各类样本标准差作权系数的

和

的加权平均值

${\stackrel{\&RightArrow;}{y}}_0=\frac{{\mathrm{Std}}_0+{\stackrel{\&RightArrow;}{\tilde{m}}}_0+S{\mathrm{td}}_1\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{{\mathrm{Std}}_0+S{\mathrm{td}}_1}$

还可以用以一定的步长在一维子空间上搜索到的使训练样本分类错误率最小的值来作为分类阈值(参考(5)式)。

对表2至表4中所获得的数据，我们选取的是一维子空间中各类样本标准差作权系数的

和 的加权平均值的方法。

因为实际应用中，无法准确确定合法用户和非法用户使用认证系统的先验概率。因此，在取P(ω₀)＝P(ω₁)＝0.5，(18)式中的C_FRR＝C_FAR＝1的情况下，用基于fisher准则的线性分类器对R维空间中训练集A的样本点行分类，并用测试集进行测试，在各种认证融合方式下所得到的总分类错误率(TER)如表2至表4所示。表1则是未经融合的单个生物特征认证系统所能达到的总分类错误率。图5a是只对人脸和虹膜模块进行认证融合时，fisher线性分类器在2维空间的分类示意；图5b是对人脸、脱机笔迹和在线签名模块进行认证融合时，fisher线性分类器在3维空间的分类示意。

表1单个生物特征认证系统的TER

认证系统	训练TER(％)	测试TER(％)
			人脸	3.04	3.25
虹膜	0.00	0.12
			脱机笔迹	4.40	9.66
在线签名	7.85	7.40

表2由两个生物特征认证系统融合得到的TER

认证系统	训练TER(％)			测试TER(％)
							Fisher	LinearSVM	RbfSVM	fisher	LinearSVM	RbfSVM
	F&I	0.00	0.00	0.00	0.04	0.21							0.16
F&Off							2.34	0.53	0.45	4.07	0.95	0.78

F&On	2.47	0.74	0.82	3.33	1.60	1.60
							I&Off	0.12	0.00	0.00	0.00	0.25	0.16
I&On	0.00	0.00	0.00	0.21	0.29	0.33
							Off&On	2.22	1.89	1.44	2.59	1.97	1.77

表3由三个生物特征认证系统融合得到的TER

认证系统	训练TER(％)			测试TER(％)
							Fisher	LinearSVM	RbfSVM	fisher	LinearSVM	RbfSVM
	F&I&Off	0.04	0.00	0.00	0.00	0.16							0.00
F&I&On							0.00	0.00	0.00	0.08	0.16	0.12
	F&Off&On	0.49	0.16	0.08	0.53	0.53							0.25
I&Off&On							0.00	0.00	0.00	0.04	0.25	0.08

表4由四个生物特征认证系统融合得到的TER

认证系统	训练TER(％)			测试TER(％)
							Fisher	LinearSVM	RbfSVM	fisher	LinearSVM	RbfSVM
	所有系统	0.00	0.00	0.00	0.00	0.04							0.00

[注]：F、I、Off、On分别代表人脸、虹膜、脱机笔迹、在线签名；F&I表示人脸和虹膜的融合系统；“所有系统”表示人脸、虹膜、脱机笔迹和在线签名的融合系统。

从表1～表4中可以看到，经过多模生物特征融合系统的认证融合子模块后，无论如何选取具体的融合方式，融合后的总分类错误率都比未经融合的单个生物特征融合系统的总分类错误率要低，尤其是对于认证率并不是很高的生物特征认证系统，比如脱机笔迹系统和在线签名系统。对于虹膜系统而言，尽管本身认证率就已经很高，但在经过多模生物特征融合系统进行融合后，在认证率不降低的情况下，又为其提供了进行活体检测的空间，为其防伪性提供了更多的保障，因此也是很有意义的。

其它线性分类器比如线性SVM分类器或非线性分类器比如采用RBF核函数的SVM分类器的训练和测试结果也在表2至表4中作为对比。由于其具体的方法不属于本发明的涉及范围，因而在本发明中将不再作阐述。

识别认证融合

识别认证融合在图3c所示的识别认证融合子模块中进行。由于识别认证融合的过程基本上是识别过程和认证过程的综合，这两个过程在前面已有详细叙述，故不再另作阐述。

Claims (8)

1.生物特征融合的身份识别方法，其特征在于，该方法依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，并和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：用步骤1中所述的计算机进行生物特征的识别融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：将训练集A内包括距离或相似度在内的所有待融合子模块的输出分数输入所选计算机内预置的归一化模块，并依次按以下步骤将这些输出分数转换成置信度：

首先，通过给定的广义置信度估计公式把各待融合子模块的输出分数转换成广义置信度：

设定：数据库中有N个用户，分别记作类ω₁，ω₂，…，ω_N；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\hat{X}=({\stackrel{\&RightArrow;}{x}}_1,{\stackrel{\&RightArrow;}{x}}_2,...,{\stackrel{\&RightArrow;}{x}}_R)$ 是训练集内用户X在匹配之前总的特征向量集合；其中 表示该用户在第i个分类器中提取得到的特征向量，i取从1到R之间包括1和R在内的任意值；

对于原始输出为距离的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离，其中j取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度，其中j取从1到N之间包括1和N在内的任意值；

则，通过给定的广义置信度估计公式把所述各子模块的原始输出分数转换成广义置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的广义置信度用

表示：

对于原始输出为距离的生物特征识别子模块，用(1-1)式将其输出的分数 转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{d_j\left({\stackrel{\&RightArrow;}{x}}_i\right)}{\underset{k\&NotEqual;j}{\min }\left(d_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)},---(1-1)$

其中k取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的生物特征识别子模块，用(1-2)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{\underset{k\&NotEqual;j}{\max }\left(s_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)}{s_j\left({\stackrel{\&RightArrow;}{x}}_i\right)},---(1-2)$

其中k取从1到N之间包括1和N在内的任意值；

其次，当某生物特征识别子模块所输出的分数都被转换成广义置信度之后，通过计算下述广义置信度到置信度的映射函数f(y)，再把广义置信度转换成置信度：

设：从某生物特征识别子模块得到的广义置信度的值域为T；

用户X属于该生物特征识别子模块中设定好的训练集A(X∈A)；

令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 对任意y∈T，[y-δ，y+δ]是y附近的一个小区间；

则： $f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\mathrm{andX}\&Element;{\mathrm{\&omega;}}_j\})}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\})}---(1-3)$

(1-3)式中f(y)的分母为广义置信度落在小区间[y-δ，y+δ]中的样本的总数；分子为广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目；

对任意y∈T，计算得到f(y)后，就将广义置信度转换成置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用 表示：

$p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right);$

步骤33：对于用户Z，当j＝1时，让i值从1变化到R，按照步骤32的置信度转换方法计算得到

然后代入识别融合系统对第j个用户的判别函数表达式(1-4)式或者(1-5)式中，得到融合系统将用户Z判断为第1个用户的判别分数g₁(Z)；

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Pi;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(1-4)$

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Sigma;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(1-5)$

步骤34：当j＝2，…，N时，分别使i值从1变化到R，计算

并按照(1-4)式或者(1-5)式计算得到g₂(Z)，…，g_N(Z)，然后将j取不同值时g_j(Z)的值从大到小排列，设有：

$g_{j_1}\left(Z\right)>g_{j_2}\left(Z\right)>...>g_{j_N}\left(Z\right),$

则将用户j₁作为用户Z的首选识别结果，用户j₂作为二选识别结果，依此类推。

2.生物特征融合的身份认证方法，其特征在于，该方法依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，并和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：用步骤1中所述的计算机进行生物特征的认证融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：对训练集A中所有用户各个生物特征子模块的原始输出分数进行归一化处理，归一化后各生物特征认证子模块输出的新分数均被映射到[0，1]区间；

步骤33：把经过步骤32得到的各生物特征认证子模块输出的新分数作成多维空间中的向量，计算从多维空间到其一维子空间的最佳投影方向，依次按以下步骤进行：

首先，设定：

数据库中有N个用户；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\stackrel{\&RightArrow;}{X}={(x_1,x_2,...,x_R)}^T$ 是训练集内用户X的生物特征在经过各生物特征认证子模块匹配并且归一化之后总的输出分数构成的R维列向量；其中符号( )^T表示括号内向量的转置，分量x_i表示第i个分类器归一化之后的输出分数，i取从1到R之间包括1和R在内的任意值；

记训练集A中的全部合法用户构成类ω₀，非法用户构成类ω₁；

假设类ω₀中共有N₀个样本，构成训练集A的子集A₀，类ω₁中共有N₁个样本，构成训练集A的子集A₁，这样就有关系式A＝A₀∪A₁和N＝N₀+N₁成立；

集合A₀、A₁均视为R维空间中的列向量的集合，从R维空间到R维空间的一维子空间的最佳投影方向按(2-1)式计算：

${\stackrel{\&RightArrow;}{w}}^{*}=S_w^{-1}({\stackrel{\&RightArrow;}{m}}_0-{\stackrel{\&RightArrow;}{m}}_1)---(2-1)$

其中， ${\stackrel{\&RightArrow;}{m}}_k=\frac{1}{N_k}\underset{\stackrel{\&OverBar;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{X},$ k＝0，1，

分别是合法、非法用户样本的均值；

$S_k=\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}{(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_0)(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_1)}^T,$ k＝0，1，S₀、S₁分别是合法、非法用户样本的类内离散度矩阵；

S_w＝P(ω₀)S₀+P(ω₁)S₁，S_w是总类内离散度矩阵，P(ω₀)、P(ω₁)分别是合法、非法用户样本类的先验概率，具体实施时取P(ω₀)＝P(ω₁)＝0.5；

S_w ^-1表示S_w的逆矩阵；

步骤34：利用步骤33中计算所得的最佳投影方向

构造投影矩阵PS，将训练集A中的所有元素都投影到一维子空间的集合Y中；

首先，构造投影矩阵PS： $\mathrm{PS}={\stackrel{\&RightArrow;}{w}}^{*}\&times;{({\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T\&times;{\stackrel{\&RightArrow;}{w}}^{*})}^{-1}\&times;{\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T;$

其次，对训练集A中的任一列向量

按(2-2)式转换到一维子空间的集合Y中：

$\stackrel{\&RightArrow;}{y}=\stackrel{\&RightArrow;}{X}\&times;{\left(\mathrm{PS}\right)}^T---(2-2)$

按(2-2)式将集合A中的所有元素都转换到集合Y中以后，记集合A的子集A₀、A₁中的样本都分别转换到了集合Y的子集Y₀、Y₁中，按照(2-3)式计算出Y₀、Y₁中各类样本的均值；

${\stackrel{\stackrel{\&RightArrow;}{~}}{m}}_k=\frac{1}{N_k}\underset{v\&Element;Y_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{y},k=\mathrm{0,1}---(2-3)$

进而计算出各类样本的标准差：

${\mathrm{Std}}_k=\frac{1}{N_k-1}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}{\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\stackrel{\&RightArrow;}{~}}{m}}_k\left|\right|}_2,k=\mathrm{0,1}---(2-4)$

上式中的

表示向量

与

之间的欧式距离；因为都在R维空间的一维子空间中，所以 与

均为R维列向量，分别写成分量的形式 $\stackrel{\&RightArrow;}{y}{=(y_1,y_2,{...,y}_R)}^T$ 和 ${\stackrel{\stackrel{\&RightArrow;}{~}}{m}}_k={({\tilde{m}}_{k1},{\tilde{m}}_{k2},...,{\tilde{m}}_{\mathrm{kR}})}^T$ 后：

${\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\stackrel{\&RightArrow;}{~}}{m}}_k\left|\right|}_2=\sqrt{{(y_1-{\tilde{m}}_{k1})}^2+{(y_2-{\tilde{m}}_{k2})}^2+...+{(y_R-{\tilde{m}}_{\mathrm{kR}})}^2}---(2-5)$

步骤35：设各分类器对于用户Z的归一化输出为 $\stackrel{\&RightArrow;}{Z}={(z_1,z_2,...,z_R)}^T,$ 根据设定的阈值

和步骤33中已经计算得到的 按照如下规则作分类决策，得到用户Z是属于ω₀类或ω₁类的判断：

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}>0,$ 则Z∈ω₀；

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}<0,$ 则Z∈ω₁。

3.根据权利要求2所述的生物特征融合的身份认证方法，其特征在于，在所述步骤32中，归一化的方法如下确定：

设定：u表示某生物特征认证子模块输出的原始分数，U表示该生物特征认证子模块输出的原始分数构成的集合，v表示经归一化以后输出的分数，按照(3-1)式所示的“最小最大方法”进行归一化：

$v=\frac{u-\min \left(U\right)}{\max \left(U\right)-\min \left(U\right)}---(3-1)$

其中max(U)、min(U)别表示集合U中的最大值和最小值。

4.根据权利要求2所述的生物特征融合的身份认证方法，其特征在于，在所述步骤32中，归一化的方法通过置信度转换的过程来实现，从原始输出分数到置信度的转换过程如下：

首先，通过给定的广义置信度估计公式把各待融合子模块的输出分数转换成广义置信度：

设定：数据库中有N个用户，分别记作类ω₁，ω₂，…，ω_N；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\hat{X}=({\stackrel{\&RightArrow;}{x}}_1,{\stackrel{\&RightArrow;}{x}}_2,...,{\stackrel{\&RightArrow;}{x}}_R)$ 是训练集内用户X在匹配之前总的特征向量集合；其中

表示该用户在第i个分类器中提取得到的特征向量，i取从1到R之间包括1和R在内的任意值；

对于原始输出为距离的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离，其中j取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度，其中j取从1到N之间包括1和N在内的任意值；

则，通过给定的广义置信度估计公式把所述各子模块的原始输出分数转换成广义置信度；

对第i个分类器，将用户X识别成类ω_j所代表用户的广义置信度用

表示：

对于原始输出为距离的生物特征识别子模块，用(4-1)式将其输出的分数 转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{d_j\left({\stackrel{\&RightArrow;}{x}}_i\right)}{\underset{k\&NotEqual;j}{\min }\left(d_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)},---(4-1)$

其中k取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的生物特征识别子模块，用(4-2)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{\underset{k\&NotEqual;j}{\max }\left(s_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)}{s_j\left({\stackrel{\&RightArrow;}{x}}_i\right)},---(4-2)$

其中k取从1到N之间包括1和N在内的任意值；

其次，当某生物特征识别子模块所输出的分数都被转换成广义置信度之后，通过计算下述广义置信度到置信度的映射函数f(y)，再把广义置信度转换成置信度：

设：从某生物特征识别子模块得到的广义置信度的值域为T；

用户X属于该生物特征识别子模块中设定好的训练集A(X∈A)；

令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 对任意y∈T，[y-δ，y+δ]是y附近的一个小区间；

则： $f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_i\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\mathrm{andX}\&Element;{\mathrm{\&omega;}}_j\})}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\})}---(4-3)$

(4-3)式中f(y)的分母为广义置信度落在小区间[y-δ，y+δ]中的样本的总数；分子为广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目；

对任意y∈T，计算得到f(y)后，就将广义置信度转换成置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用

表示：

$p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right).$

5.生物特征融合的身份识别和认证方法，其特征在于，该方法依次含有以下步骤：

步骤1：向计算机输入设定的人脸识别认证模块、虹膜识别认证模块、在线签名识别认证模块以及脱机笔迹识别认证模块，还要输入与所述各模块对应的数据库；

步骤2：用摄像头采集未知用户Z的人脸，用虹膜采集仪采集未知用户Z的虹膜、用手写板或触摸式显示屏采集未知用户Z的在线签名、用扫描仪采集未知用户Z的脱机笔迹，再分别把相应的图像输入步骤1所述计算机中，用相应的识别认证模块分别进行特征提取，并和各自数据库中已有的用户生物特征模板进行匹配，然后输出各自匹配后得到的分数；

步骤3：首先用步骤1中所述的计算机进行生物特征的识别融合，依次按以下步骤进行：

步骤31：利用步骤2中各模块已有的数据库建立一个包括人脸、虹膜、在线签名和脱机笔迹在内的各待融合子模块输出分数的训练集A；

步骤32：将训练集A内包括距离或相似度在内的所有待融合子模块的输出分数输入所选计算机内预置的归一化模块，并依次按以下步骤将这些输出分数转换成置信度：

首先，通过给定的广义置信度估计公式把各待融合子模块的输出分数转换成广义置信度：

设定：数据库中有N个用户，分别记作类ω₁，ω₂，…，ω_N；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\hat{X}=({\stackrel{\&RightArrow;}{x}}_1,{\stackrel{\&RightArrow;}{x}}_2,...,{\stackrel{\&RightArrow;}{x}}_R)$ 是训练集内用户X在匹配之前总的特征向量集合；其中

表示该用户在第i个分类器中提取得到的特征向量，i取从1到R之间包括1和R在内的任意值；

对于原始输出为距离的分类器，

表示特征向量

与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最小匹配距离，其中j取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的分类器，

表示特征向量 与类ω_j所代表的第j个用户在数据库中的特征向量模板之间的最大匹配相似度，其中j取从1到N之间包括1和N在内的任意值；

则，通过给定的广义置信度估计公式把所述各子模块的原始输出分数转换成广义置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的广义置信度用 表示：

对于原始输出为距离的生物特征识别子模块，用(5-1)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{d_j\left({\stackrel{\&RightArrow;}{x}}_i\right)}{\underset{k\&NotEqual;j}{\min }\left(d_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)},---(5-1)$

其中k取从1到N之间包括1和N在内的任意值；

对于原始输出为相似度的生物特征识别子模块，用(5-2)式将其输出的分数

转换成广义置信度：

$g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=1-\frac{\underset{k\&NotEqual;j}{\max }\left(s_k\left({\stackrel{\&RightArrow;}{x}}_i\right)\right)}{s_j\left({\stackrel{\&RightArrow;}{x}}_i\right)},---(5-2)$

其中k取从1到N之间包括1和N在内的任意值；

其次，当某生物特征识别子模块所输出的分数都被转换成广义置信度之后，通过计算下述广义置信度到置信度的映射函数f(y)，再把广义置信度转换成置信度：

设：从某生物特征识别子模块得到的广义置信度的值域为T；

用户X属于该生物特征识别子模块中设定好的训练集A(X∈A)；

令 $y=g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i),$ 对任意y∈T，[y-δ，y+δ]是y附近的一个小区间；

则： $f\left(y\right)=\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\mathrm{andX}\&Element;{\mathrm{\&omega;}}_j\})}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{count}\left(\right\{X|X\&Element;\mathrm{Aandg}\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\&Element;[y-\mathrm{\&delta;},y+\mathrm{\&delta;}]\})}---(5-3)$

(5-3)式中f(y)的分母为广义置信度落在小区间[y-δ，y+δ]中的样本的总数；分子为广义置信度落在小区间[y-δ，y+δ]中且被正确识别的样本的数目；

对任意y∈T，计算得到f(y)后，就将广义置信度转换成置信度；对第i个分类器，将用户X识别成类ω_j所代表用户的置信度，也即后验概率，用

表示：

$p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)=f\left(g\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{x}}_i)\right);$

步骤33：对于用户Z，当j＝1时，让i值从1变化到R，按照步骤32的置信度转换方法计算得到

然后代入识别融合系统对第j个用户的判别函数表达式(5-4)式或者(5-5)式中，得到融合系统将用户Z判断为第1个用户的判别分数g₁(Z)；

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Pi;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(5-4)$

$g_j\left(Z\right)=\underset{i=1}{\overset{R}{\mathrm{\&Sigma;}}}p\left({\mathrm{\&omega;}}_j\right|{\stackrel{\&RightArrow;}{z}}_i)---(5-5)$

步骤34：当j＝2，…，N时，分别使i值从1变化到R，计算

并按照(5-4)式或者(5-5)式计算得到g₂(Z)，…，g_N(Z)，然后将j取不同值时g_j(Z)的值从大到小排列，设有：

$g_{j_1}\left(Z\right)>g_{j_2}\left(Z\right)>...>g_{i_N}\left(Z\right),$

则将用户j₁作为用户Z的首选识别结果，用户j₂作为二选识别结果，依此类推；

步骤4：在步骤34的识别结果中挑选前K个识别结果，其中K取不大于N的任意正整数值；设挑选出来的前K个识别结果分别是将用户Z识别成数据库中的第j₁个用户、第j₂个用户，……，第j_K个用户；下面再用步骤1中所述的计算机对将用户Z识别成数据库中的第j_l个用户的识别结果进行生物特征的认证融合，其中l取从1到K之间包括1和K在内的任意值；依次按以下步骤进行：

步骤41：训练集A中所有用户各个生物特征子模块的原始输出分数经过步骤32后，均被映射成了[0，1]区间内的置信度；下面再将这些置信度作成多维空间中的向量，计算从多维空间到其一维子空间的最佳投影方向，依次按以下步骤进行：

首先，设定：

数据库中有N个用户；

待进行融合的生物特征识别认证子模块，也称分类器，有R个；

$\stackrel{\&RightArrow;}{X}={(x_1,x_2,...,x_R)}^T$ 是训练集内用户X的生物特征在经过各生物特征认证子模块匹配并且转换成置信度之后总的输出构成的R维列向量；其中符号( )^T表示括号内向量的转置，分量x_i表示第i个分类器输出的置信度分数；

记训练集A中第j_i个用户的全部样本构成类ω₀，训练集A中其它用户的全部样本构成类ω₁；

假设类ω₀中共有N₀个样本，构成训练集A的子集A₀，类ω₁中共有N₁个样本，构成训练集A的子集A，这样就有关系式A＝A₀∪A₁和N＝N₀+N₁成立；

集合A₀、A₁均视为R维空间中的列向量的集合，从R维空间到R维空间的一维子空间的最佳投影方向按(5-6)式计算：

${\stackrel{\&RightArrow;}{w}}^{*}=S_w^{-1}({\stackrel{\&RightArrow;}{m}}_0-{\stackrel{\&RightArrow;}{m}}_1)---(5-6)$

其中， ${\stackrel{\&RightArrow;}{m}}_k=\frac{1}{N_k}\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{X},$ k＝0，1，

分别是合法、非法用户样本的均值；

$S_k=\underset{\stackrel{\&RightArrow;}{X}\&Element;A_k}{\mathrm{\&Sigma;}}(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_0){(\stackrel{\&RightArrow;}{X}-{\stackrel{\&RightArrow;}{m}}_1)}^T,$ k＝0，1，S₀、S₁分别是合法、非法用户样本的类内离散度矩阵；

S_w＝P(ω₀)S₀+P(ω₁)S₁，S_w是总类内离散度矩阵，P(ω₀)、P(ω₁)分别是合法、非法用户样本类的先验概率，具体实施时取P(ω₀)＝P(ω₁)＝0.5；

S_w ^-1表示S_w的逆矩阵；

步骤42：利用步骤41中计算所得的最佳投影方向

构造投影矩阵PS，将训练集A中的所有元素都投影到一维子空间的集合Y中：

首先，构造投影矩阵PS： $\mathrm{PS}={\stackrel{\&RightArrow;}{w}}^{*}\&times;{({\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T\&times;{\stackrel{\&RightArrow;}{w}}^{*})}^{-1}\&times;{\left({\stackrel{\&RightArrow;}{w}}^{*}\right)}^T;$

其次，对训练集A中的任一列向量

按(5-7)式转换到一维子空间的集合Y中：

$\stackrel{\&RightArrow;}{y}=\stackrel{\&RightArrow;}{X}\&times;{\left(\mathrm{PS}\right)}^T---(5-7)$

按(5-7)式将集合A中的所有元素都转换到集合Y中以后，记集合A的子集A₀、A₁中的样本都分别转换到了集合Y的子集Y₀、Y₁中，按照(5-8)式计算出Y₀、Y₁中各类样本的均值；

${\stackrel{\&RightArrow;}{\tilde{m}}}_k=\frac{1}{N_k}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{y},k=\mathrm{0,1}---(5-8)$

进而计算出各类样本的标准差：

${\mathrm{Std}}_k=\frac{1}{N_k-1}\underset{y\&Element;Y_k}{\mathrm{\&Sigma;}}{\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\&RightArrow;}{\tilde{m}}}_k\left|\right|}_2,k=\mathrm{0,1}---(5-9)$

上式中的 表示向量

与 之间的欧式距离；因为都在R维空间的一维子空间中，所以

与

均为R维列向量，分别写成分量的形式 $\stackrel{\&RightArrow;}{y}={(y_1,y_2,...,y_R)}^T$ 和 ${\stackrel{\&RightArrow;}{\tilde{m}}}_k={({\tilde{m}}_{k1},{\tilde{m}}_{k2},...{\widetilde{,m}}_{\mathrm{kR}})}^T$ 后：

${\left|\right|\stackrel{\&RightArrow;}{y}-{\stackrel{\&RightArrow;}{\tilde{m}}}_k\left|\right|}_2=\sqrt{{(y_1-{\tilde{m}}_{k1})}^2+{(y_2-{\tilde{m}}_{k2})}^2+...+{(y_R-{\tilde{m}}_{\mathrm{kR}})}^2}---(5-10)$

步骤43：设各分类器对于用户Z的归一化输出为 $\stackrel{\&RightArrow;}{Z}={(z_1,z_2,...,z_R)}^T,$ 根据设定的阈值

和步骤41中已经计算得到的

按照如下规则作分类决策，得到用户Z是属于ω₀类或ω₁类的判断：

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}>0,$ 则Z∈ω₀，

若 $(\stackrel{\&RightArrow;}{Z}-{\stackrel{\&RightArrow;}{y}}_0)\&times;{\stackrel{\&RightArrow;}{w}}^{*}<0,$ 则Z∈ω₁；

步骤44：如果在步骤43中判断Z∈ω₀，那么置K维向量

的第l个分量为1；否则置为0；

步骤5：通过步骤4对所有的j_l，都完成认证融合之后，当且仪当向量

中有一个分量值为1时，作出用户Z是合法用户的判断；否则，判断用户Z为非法用户。

6.根据权利要求2所述的生物特征融合的身份认证方法或根据权利要求5所述的生物特征融合的身份识别和认证方法中的任一种，其特征在于，在权利要求2所述的步骤35或权利要求5所述的步骤43中，阈值 按下式得到：

${\stackrel{\&RightArrow;}{y}}_0=\frac{{\stackrel{\&RightArrow;}{\tilde{m}}}_0+{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{2}.---(6-1)$

7.根据权利要求2所述的生物特征融合的身份认证方法或根据权利要求5所述的生物特征融合的身份识别和认证方法中的任一种，其特征在于，在权利要求2所述的步骤35或权利要求5所述的步骤43中，阈值

按下式得到：

${\stackrel{\&RightArrow;}{y}}_0=\frac{N_0\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_0+N_1\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{N_0+N_1}.---(7-1)$

8.根据权利要求2所述的生物特征融合的身份认证方法或根据权利要求5所述的生物特征融合的身份识别利认证方法中的任一种，其特征在于，在权利要求2所述的步骤35或权利要求5所述的步骤43中，阈值 按下式得到：

${\stackrel{\&RightArrow;}{y}}_0=\frac{{\mathrm{Std}}_0\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_0+{\mathrm{Std}}_1\&times;{\stackrel{\&RightArrow;}{\tilde{m}}}_1}{{\mathrm{Std}}_0+{\mathrm{Std}}_1}.---(8-1)$

Images