CN102609676A - 一种融入先验知识的指纹特征融合方法和系统 - Google Patents

Abstract

本发明提出了一种融入先验知识的指纹特征融合方法和系统。本方法包括训练和测试两大阶段。在训练阶段，首先提取训练图像中用于训练的所有特征值，然后将每种特征值归一化；对归一化之后的特征值，将最大化AUC作为目标函数，结合先验知识利用遗传算法求解每种特征值训练参数的最优值。在测试阶段，首先提取待匹配的两幅指纹图像中用于计算匹配分数的所有特征值并归一化；然后使用训练阶段得到的训练参数最优值进行修正并融合，最终得到待匹配的两幅指纹图像之间的匹配分数。

Description

一种融入先验知识的指纹特征融合方法和系统

技术领域

本发明属于生物特征识别领域，涉及图像处理、模式识别、计算机技术等前沿知识，特别涉及到指纹识别算法多特征的融合方法。 

背景技术

指纹识别技术是目前生物特征识别领域研究和应用最为成熟的技术之一。由于指纹具有唯一性和稳定性的优点，而且采集方便，成本低廉，目前已广泛应用在法律、安全、身份鉴定、访问控制、考勤等很多方面。 

经过几十年的研究，指纹识别技术取得了飞速的发展，但是指纹识别算法的性能还远远达不到理论估计的精度，算法的时间性能也有待提高。 

指纹细节点被公认为是指纹最具鉴别能力且最可靠的局部特征。基于指纹细节点特征的匹配算法也是目前指纹识别技术的主流算法。其中，应用比较广泛的细节点特征包括细节点局部方向描述、细节点局部三角结构、细节点拓扑结构等。也有联合其它指纹信息进行匹配的算法，如联合细节点相连脊线信息、局部方向场信息、局部纹理信息等。这些方法最终都是通过指纹细节点及其辅助结构的相似度来确定指纹图像的匹配分数。但是，由于两幅指纹图像之间的平移和旋转的相对变换以及指纹形变程度都事先未知，所以两组指纹细节点之间的对应关系也是不确定的。这就决定了仅由细节点其辅助结构的相似度决定的指纹图像的匹配分数同样有其不可靠性。 

为了解决以上问题，很多研究者开始考虑融合多种特征进行指纹图像的匹配。Feng提出了支持支持向量机的17维特征融合方法。但是支持向量机的方法对于系统而言只是一个“黑盒子”，无从得知其内部处理过程，且相当耗时，因此该方法的可靠性值得怀疑，时间效率也不佳。其它已发表的为数不多的指纹多特征的融合方法也在时间性能或其它 方面存在缺陷。 

鉴于对指纹识别系统性能要求的不断提高，单纯基于指纹细节点的指纹匹配方法逐渐不能满足要求且没有了改进的空间。基于多特征融合的指纹识别方法就越来越受到研究者的重视，成为指纹识别系统的发展方向之一。 

发明内容

本发明的目的是针对单纯基于指纹细节点的指纹匹配方法在性能上无法达到理想匹配精度的问题，受到当前一些对多特征融合指纹识别方法研究的启发，发明了一种融入先验知识的指纹特征融合方法和系统。通过融入先验知识，并以最大化AUC作为目标函数，采用了遗传算法进行特征值的训练，很大程度上降低了计算复杂度，并提高了指纹匹配系统的性能。 

为达成所述目的，本发明的第一方面是提供一种融入先验知识的指纹特征融合系统，该系统包括： 

指纹图像预处理单元，实现两幅指纹图像的预处理； 

指纹特征提取单元与指纹图像预处理单元连接，指纹特征提取单元在指纹图像预处理单元处理后的指纹图像上提取用于比对的指纹特征； 

指纹特征比对单元与指纹特征提取单元连接，指纹特征比对单元对指纹特征提取单元提取到的指纹特征进行比对，得到两幅指纹图像的最优配准结果； 

指纹特征值计算单元与指纹特征比对单元连接，指纹特征值计算单元根据指纹特征比对单元得到的配准结果，计算两幅指纹图像中用于计算指纹图像最终相似度的所有特征值并将特征值归一化； 

指纹特征值训练单元与指纹特征值计算单元连接，指纹特征训练单元对指纹特征值计算单元计算出来的特征值结合先验知识并利用遗传算法进行训练，得到训练参数的最优值； 

指纹特征值融合单元与指纹特征值计算单元和指纹特征值训练单元连接，指纹特征值融合单元利用指纹特征值训练单元得到的训练参数最优值，对指纹特征值计算单元计算出来的特征值进行修正，然后通过 加规则进行特征值融合并计算最终的匹配分数。 

为达成所述目的，本发明的第二方面是提供一种融入先验知识的指纹特征融合方法，该方法包括训练和测试两个阶段，训练阶段对用于训练的指纹图像集中的图像执行下述步骤S1到步骤S5，测试阶段对待匹配的两幅指纹图像执行下述步骤S1到S4和步骤S6。这两个阶段相互独立。训练阶段早于测试阶段执行，但两个阶段执行的时间间隔没有必然的限制。该方法包括步骤如下： 

步骤S1：对两幅指纹图像进行预处理； 

步骤S2：在预处理后的两幅指纹图像中提取指纹特征； 

步骤S3：利用指纹细节点和细节点局部方向描述进行指纹特征的比对，找到两幅指纹图像的最优配准位置； 

步骤S4：计算用于训练或融合的特征值并归一化； 

步骤S5：在训练阶段，结合先验知识，利用遗传算法训练特征，以最大化AUC为目标函数，求解训练参数的最优值，至此完成训练阶段；在测试阶段，将训练参数最优值输出，并继续下面的步骤； 

步骤S6：仅在测试阶段执行该步骤。利用训练参数最优值融合所有特征值，得到两幅图像最终的匹配分数。 

本发明的有益效果：本发明的指纹特征融合识别方法由于融入了先验知识，并以最大化AUC作为目标函数，采用了遗传算法进行特征值的训练，降低了计算复杂度，并提高了指纹匹配系统的性能。 

附图说明

图1本发明的指纹特征融合系统框图； 

图2本发明的指纹特征值训练单元的结构示意图； 

图3本发明的指纹特征融合方法的流程图； 

图4指纹细节点三角结构示意图； 

图5a和图5b是指纹特征值拟合变换过程用到的函数曲线图 

图6是本发明的算法与对比算法的实验结果图 

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。 

本发明的核心思想是融入先验知识的指纹特征融合方法和系统。本方法包括训练和测试两大阶段。在训练阶段，首先提取训练图像中用于训练的所有特征值，然后将每种特征值归一化；对归一化之后的特征值，将最大化AUC作为目标函数，结合先验知识利用遗传算法求解每种特征值训练参数的最优值。在测试阶段，首先提取待匹配的两幅指纹图像中用于计算匹配分数的所有特征值并归一化；然后使用训练阶段得到的训练参数最优值进行修正并融合，最终得到待匹配的两幅指纹图像之间的匹配分数。 

基于上述的思路和目的，下面将本发明中指纹特征融合过程划分为若干个步骤，简要介绍执行每个步骤时需要注意的关键问题，来设计和改进我们的系统，建立最终的融入先验知识的多特征融合的指纹匹配的理论框架及系统原型。 

本发明的核心在于，融入先验知识并利用遗传算法进行指纹特征的融合。融合过程包括训练和测试两个部分。如图1所示是本系统的框图，其中实线表明了训练部分数据在系统中的流向，虚线代表了测试部分数据在系统中的流向；训练部分是对用于训练的指纹图像集中的图像进行处理，测试阶段是对待匹配的两幅指纹图像进行处理；这两部分处理的指纹图像不同，但是同一个单元中处理方式相同。各单元具体介绍如下： 

指纹图像预处理单元1，实现两幅指纹图像的预处理； 

指纹特征提取单元2与指纹图像预处理单元1连接，指纹特征提取单元2在指纹图像预处理单元1处理后的指纹图像上提取用于比对的指纹特征； 

指纹特征比对单元3与指纹特征提取单元2连接，指纹特征比对单元3对指纹特征提取单元2提取到的指纹特征进行比对，得到两幅指纹图像的最优配准结果； 

指纹特征值计算单元4与指纹特征比对单元3连接，指纹特征值计算单元4根据指纹特征比对单元3得到的配准结果，计算两幅指纹图像 中用于计算指纹图像最终相似度的所有特征值并将特征值归一化到[0，1]之间； 

指纹特征值训练单元5与指纹特征值计算单元4连接，指纹特征训练单元5对指纹特征值计算单元4计算出来的特征值结合先验知识并利用遗传算法进行训练，得到训练参数的最优值； 

指纹特征值融合单元6与指纹特征值计算单元4和指纹特征值训练单元5连接，指纹特征值融合单元6利用指纹特征值训练单元5得到的训练参数最优值，对指纹特征值计算单元4计算出来的特征值进行修正，然后通过加规则进行特征值融合并计算最终的匹配分数。 

本系统的指纹特征值训练单元5的构成示意图如图2所示，包括： 

指纹特征值拟合单元51，根据先验知识，对于分布趋向不同的特征值选用不同形态的Sigmoid函数进行拟合变换，得到趋向一致的特征值分布和训练参数，以简化特征值的训练；同时拉伸分布的中间区域，增强特征值的区分性； 

基于遗传算法的训练单元52与指纹特征值拟合单元51连接，基于遗传算法的训练单元52利用遗传算法对指纹特征值拟合单元51得到的训练参数进行训练，以最大化AUC为目标函数，求解训练参数的最优值。 

融入先验知识的指纹特征融合方法得到本发明方法的流程如图3所示，该方法包括训练和测试两个阶段，这两个阶段相互独立；图3中实线表示训练阶段、虚线表示测试阶段；当对训练集指纹图像进行训练时，按照虚线所示的流程执行；当指纹图像进行匹配时，按照实线所示的测试流程执行；训练阶段早于测试阶段执行，但两个阶段执行的时间间隔没有必然的限制。如图3所示，本发明方法的流程包括步骤如下： 

步骤S1：对两幅指纹图像进行预处理，该预处理包括对指纹图像的图像分割、图像增强、图像二值化、细化处理以及方向场提取，获得细化指纹图像和方向场图像；该预处理具体的详细步骤有：1.灰度的均衡化，这可以消除不同图像之间对比度的差异；2.使用简单的低通滤波算法消除斑点噪声和高斯噪声；3.方向场的估计，计算出指纹图像每个像素的方向；4.利用方向场一致性以图像的均值和方差把指纹图像划分成前景区域和背景区域；5.二值化，根据每个像素点的方向来对指纹图像 处理为只有黑白二种像素的图像；6.细化，根据二值化图像，把指纹的脊线宽度细化至只有一个像素，生成指纹细化图；7.细化后处理，清除细化图像中一些明显的断线，脊线间明显的桥、脊线上的毛刺、过短的脊线和单个斑点等不良脊线结构； 

步骤S2：在预处理后的两幅指纹图像中提取指纹特征。这些特征包括指纹细节点数量、指纹细节点、细节点局部方向描述、细节点相连脊线采样点、细节点局部三角结构、脊线采样序列和指纹方向场信息。其中指纹细节点和细节点局部方向描述作为特征比对阶段的特征，而指纹细节点数量、细节点相连脊线采样点、细节点局部三角结构、脊线采样序列和指纹方向场信息直接传递到步骤S4中，计算用于融合的部分特征值。 

所述指纹细节点包括以下信息：细节点x，y方向上的坐标，方向以及类型； 

所述细节点三角结构如图4所示，其中m₁和m₂是一对相邻的细节点，L是这两个细节点之间的距离，a₁和a₂分别是两个细节点之间连线和m₁和m₂的方向之间的夹角； 

步骤S3：利用指纹细节点和细节点局部方向描述进行指纹特征的比对，找到使细节点相似度最大的细节点配对序列，从而找到两幅指纹图像的最优配准位置；同时我们还可以得到匹配的细节点的个数N_m和细节点的平均相似度S_m； 

步骤S4：计算用于训练或融合的特征值并归一化。在训练和融合过程中用到的特征值是相同的，其计算和归一化方法也相同。具体分两个部分说明： 

步骤S41：计算特征值。利用式(1)计算细节点的匹配率R_m，其中设待匹配的两幅指纹图像分别为图像A和图像B，N_AB和N_BA分别是两幅指纹图像配准后，图像A中细节点落入图像B中的个数和图像B中细节点落入图像A中的个数；计算每一组配对的细节点三角结构中如图4中所示的L，a₁和a₂的差值并取平均值得到所有配对的细节点三角结构的平均距离差D_l和平均角度差D_a1和D_a2；利用S3中得到的细节点配对序列和S2中得到的细节点相连脊线采样点来计算所有匹配上的细节点的相 连脊线采样点的总和N_s，并计算匹配的细节点的相连脊线采样点之间的平均距离L_s；计算配准后两幅图像重叠部分方向场的相似度S_o。到此为止，我们共计算了9种指纹特征值，分别是匹配的细节点的个数N_m，细节点的匹配率R_m，细节点的平均相似度S_m，细节点三角结构平均距离差D_l和平均角度差D_a1和D_a2，所有匹配上的细节点的相连脊线采样点的总和N_s，相连脊线采样点之间的平均距离L_s和配准后两幅指纹图像重叠部分方向场的相似度S_o； 

$R_m=\frac{N_m}{N_{\mathrm{AB}}+N_{\mathrm{BA}}}---\left(1\right)$

步骤S42：特征值归一化。在训练过程中，假设训练图像集中共有M对用于训练的图像，那么就会得到M组特征值{N_m，S_m，R_m，D_l，D_a1，D_a2，N_s，L_s，S_o}。找到并保存每一种特征值的M个值中的最大值和最小值，训练和融合过程中均利用式(2)对各特征值进行归一化处理 

$F_o=\frac{F-F_{\min }}{F_{\max }-F_{\min }}---\left(2\right)$

其中，F可以代表前述任意一个特征值，F_max和F_min分别表示训练特征集中F所对应种类特征值的最大值和最小值，F_o是F归一化以后的值； 

步骤S5：结合先验知识，利用遗传算法训练特征，以最大化AUC为目标函数，求解训练参数的最优值。仅在训练过程用应用本步骤。具体包括为以下步骤： 

步骤S51：指纹特征值拟合。已知计算得到的一组特征值{N_m，S_m，R_m，D_l，D_a1，D_a2，N_s，L_s，S_o}并已归一化。根据对指纹特征值的先验知识，{N_m，S_m，R_m，N_s，S_o}这5个特征值如果越大，说明两幅指纹图像的相似度越大，指纹匹配越可靠。将如式3所示的基本Sigmoid函数应用到特征值的拟合中，对特征值F_oi按照式(4)进行变换，从而得到特征值F_oi对最终匹配分数的贡献值Score_i

$\frac{1}{1+\exp \left(\frac{x-\mathrm{\μ}}{\mathrm{\δ}}\right)}---\left(3\right)$

${\mathrm{Score}}_i=\frac{1}{1+\exp \left(\frac{F_{\mathrm{oi}}-{\mathrm{\μ}}_i}{{\mathrm{\δ}}_i}\right)},$ (i＝1，2，3，4，5)    (4) 

式(3)中，x为因变量，μ和δ为变量x的变换参数；在我们的应用中，x代表指定指纹特征值，μ和δ代表特征值x的训练参数；式(4)中，F_oi是特征值F_i的归一化值，F_i(i＝1，2，3，4，5)分别代表{N_m，S_m，R_m，N_s，S_o}这五个特征，μ_i和δ_i是第i个特征值的待训训练参数。式(3)对应的曲线有如图5a所示的形状，显然，通过这样的变换，拉伸了特征值的中间区域，增强了特征值的区分性。 

另外四个特征值{D_l，D_a1，D_a2，L_s}，根据先验知识也可以知道，如果特征值越小，则说明两幅指纹图像的相似度越大，指纹匹配越可靠。因此对这四种特征值选用了与式(3)相反的变换，具体如式(5)和图5b所示。 

${\mathrm{Score}}_j=\frac{1}{1+\exp \left(\frac{{\mathrm{\μ}}_j-F_{\mathrm{oj}}}{{\mathrm{\δ}}_i}\right)},$ (j＝6，7，8，9)    (5) 

其中，F_oj是特征值F_j的归一化值，F_j＝6，7，8，9)分别代表{D_l，D_a1，D_a2，L_s}这四个特征，μ_j和δ_j是第j个特征值的训练参数。这样所有的特征值又都可以表示为F_k(k＝1，2，...，9)。通过这样的变换，同样拉伸了特征值的中间值，增强了特征值的区分性。同时，式(3)和式(4)的两种相反变换使得原来分布趋向不同的特征值具有了一致的趋向，且变换后的值都是越趋近于1说明该特征越可靠。同时也使得所有9种特征值具有了相同结构的训练参数，从而简化训练过程； 

步骤S52：利用遗传算法训练特征，求解训练参数的最优值。所有9种特征值的训练参数组合为个体{{μ₁，δ₁}，{μ₂，δ₂}，...，{μ₉，δ₉}}，并分别按照规则μ∈(-1，1)，δ∈(0，1)赋予随机值形成一个初代个体。随机赋值N次即可得到N个初代个体。将一个初代个体的训练参数值应用到式(4)和式(5)中，就可以得到指纹图像训练集的M组Score_i(i＝1，2，3，4)和Score_j(j＝6，7，8，9)，再通过式(6)所示的加规则计算得到M组匹配分数。通过这些匹配分数，就可以得到当前训练参数下训练集图像匹配的AUC值。 

$\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{Score}}_i+\underset{j=6}{\overset{9}{\mathrm{\Σ}}}{\mathrm{Score}}_j---\left(6\right)$

N个初代个体一共可以得到N个AUC值。以最大化AUC作为目标函数，即将AUC值的作为评价个体优劣的依据。经过保留最优个体、个体交叉和个体变异三种遗传操作生成下一代个体。如此循环，直到最优个体的AUC值满足条件或者遗传的代数达到上限。此时的最优个体的参数即为训练参数的最优值； 

所述AUC值，是指ROC曲线下的面积(Area Under ROC)。在指纹图像训练集中，分别包含一定数量的指纹真匹配和指纹假匹配；真匹配是指来自同一个手指的两幅指纹图像之间的匹配，真匹配会得到真匹配分数；假匹配是指来自不同手指的两幅指纹图像之间的匹配，假匹配会得到假匹配分数。应用一个匹配算法，并累计整个训练集中真匹配分数大于假匹配分数的次数，就可以得到整个训练集在当前匹配算法下的AUC值； 

步骤S6：利用训练参数最优值融合所有特征值，得到两幅图像最终的匹配分数。仅在测试阶段应用该步骤。将训练过程中得到的训练参数的最优值，应用到待匹配的两幅指纹图像的特征值中，并利用式(4)和(5)对指纹特征值进行修正变换，修正的结果通过式(6)所示的加规则进行融合，即可得到待匹配的两幅指纹图像之间的匹配分数。 

实施例 

我们将此方法应用到我们自行设计实现的指纹图像处理系统中。我们研制开发的指纹图像处理系统是基于Window XP，采用面向对象的设计方法和软件工程规范，用C++语言实现的、面向指纹识别领域的图像处理与分析系统。 

为了验证本发明中融入先验知识的指纹特征融合方法(以下称算法A)的性能，我们实现了一个对比算法(以下称算法B)。算法B是传统的指纹细节点匹配，没有加入其它特征。 

将算法A和B分别应用到前述指纹图像处理系统中，并分别在FVC2004 DB1指纹库上做了实验。由于遗传算法不是绝对收敛，所以多 次试验都会得到不同实验结果。我们一共用算法A做了10次试验，10次实验的EER和算法B的EER见图6。可以看出，算法A的最差性能也比算法B好，而算法A的平均EER比算法B高0.86％.，说明算法A可以有效地提高指纹识别系统的性能。 

以上实验均在同一台电脑上完成，电脑配置为：Intel Pentium 4处理器、3.4GHz；Windows XP professional操作系统。 

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。 

Claims (7)

1.一种融入先验知识的指纹特征融合系统，其特征在于，包括：

指纹图像预处理单元，实现两幅指纹图像的预处理；

指纹特征提取单元与指纹图像预处理单元连接，指纹特征提取单元在指纹图像预处理单元处理后的指纹图像上提取用于比对的指纹特征；

指纹特征比对单元与指纹特征提取单元连接，指纹特征比对单元对指纹特征提取单元提取到的指纹特征进行比对，得到两幅指纹图像的最优配准结果；

指纹特征值计算单元与指纹特征比对单元连接，指纹特征值计算单元根据指纹特征比对单元得到的配准结果，计算两幅指纹图像中用于计算指纹图像最终相似度的所有特征值并将特征值归一化；

指纹特征值训练单元与指纹特征值计算单元连接，指纹特征训练单元对指纹特征值计算单元计算出来的特征值结合先验知识并利用遗传算法进行训练，得到训练参数的最优值；

指纹特征值融合单元与指纹特征值计算单元和指纹特征值训练单元连接，指纹特征值融合单元利用指纹特征值训练单元得到的训练参数最优值，对指纹特征值计算单元计算出来的特征值进行修正，然后通过加规则进行特征值融合并计算最终的匹配分数。

2.按照利要求1所述的所述的融入先验知识的指纹特征融合系统，其特征在于，指纹特征值训练单元的构成包括：

指纹特征值拟合单元，根据先验知识，对于分布趋向不同的特征值选用不同形态的Sigmoid函数进行拟合变换，得到趋向一致的特征值分布和训练参数，以简化特征值的训练；

基于遗传算法的训练单元与指纹特征值拟合单元连接，基于遗传算法的训练单元利用遗传算法对指纹特征值拟合单元中的训练参数进行训练，以最大化AUC为目标函数，求解训练参数的最优值。

3.一种融入先验知识的指纹特征融合方法，其特征在于包括步骤：

步骤S1：对两幅指纹图像进行预处理；

步骤S2：在预处理后的两幅指纹图像中提取指纹特征；

步骤S3：利用指纹细节点和细节点局部方向描述进行指纹特征的比对，找到两幅指纹图像的最优配准位置；

步骤S4：计算用于训练或融合的特征值并归一化；

步骤S5：结合先验知识，利用遗传算法训练特征，以最大化AUC为目标函数，求解训练参数的最优值；

步骤S6：利用训练参数最优值融合所有特征值，得到两幅图像最终的匹配分数。

4.按照利要求3所述的融入先验知识的指纹特征融合方法，其特征在于，包括训练和测试两个阶段，其中训练阶段对用于训练的指纹图像集中的图像执行步骤S1到步骤S5，测试阶段对待匹配的两幅指纹图像执行步骤S1到S4和步骤S6。这两个阶段相互独立。训练阶段早于测试阶段执行，但两个阶段执行的时间间隔没有必然的限制。

5.按照利要求3所述的融入先验知识的指纹特征融合方法，其特征在于，在特征值计算过程中，共计算了以下9种特征值：

匹配的细节点的个数N_m，细节点的匹配率R_m，细节点的平均相似度S_m，细节点三角结构平均距离差D_l和平均角度差D_a1和D_a2，所有匹配上的细节点的相连脊线采样点的总和N_s，相连脊线采样点之间的平均距离L_s和配准后两幅指纹图像重叠部分方向场的相似度S_o。

6.按照权利要求3所述的融入先验知识的指纹特征融合方法，其特征在于，在指纹特征值的训练过程中，对指纹特征值采用Sigmoid函数进行拟合变换，并且对于不同分布趋向的特征值采用的Sigmoid函数也有所修改。这种变换使得原来分布趋向不同的特征值具有了一致的趋向，且变换后的值都是越趋近于1说明该特征值越可靠。同时也使得所有9种特征值具有了相同结构的训练参数，从而简化了训练过程。

7.按照权利要求3所述的融入先验知识的指纹特征融合方法，其特征在于，在指纹特征值的训练过程中，采用了Sigmoid函数中μ和δ两个参数作为特征值的训练参数，并以最大化AUC为目标函数，使用了遗传算法进行参数训练。

Images