CN101751555B - 一种形变指纹识别方法及系统 - Google Patents

Abstract

本发明提出了一种形变指纹识别方法和系统，利用图像采集单元、图像预处理单元、特征提取单元、模板存储单元、特征匹配单元，采用细节点、所有脊线上的采样点以及采样点的凸包作为特征来表示指纹；由细节点周围采样点的方向信息来衡量细节点间相似度，选取相似度最大的一些细节点对作为参考点指纹细节点对估计两指纹间的平移和旋转参数并寻找初步的指纹细节点对应关系；根据初步的指纹细节点对应关系用正则化的方法估计二次模型参数，并用二次模型对输入指纹特征做变换；在变换后的两个指纹特征中，重新寻找指纹细节点对应关系并给出匹配分数。

Description

一种形变指纹识别方法及系统

技术领域

本发明属于生物特征识别领域，涉及图像处理、模式识别、计算机技术等前沿知识，特别涉及到利用局部特征信息和正则化方法来实现非线性形变指纹图像的识别。 

背景技术

近年来，随着全球经济和信息技术的不断发展，安全问题日益突出，越来越多的领域需要可靠的身份识别。生物特征识别技术的发展为此提供了一种解决方案，由于指纹具有唯一性和稳定性的优点，而且采集方便，成本低廉，指纹识别技术成为了了其中的最佳选择之一。指纹识别技术越来越被广泛地应用到各个方面，譬如出入境中的快速通关系统、银行的ATM机和家用电子门锁等。 

现有技术如图1示出图像采集单元，用于采集注册手指和输入手指的指纹图像；图像预处理单元，对流入的指纹图像进行预处理，包括指纹分割，图像增强以及二值化，细化；特征提取单元，提取指纹匹配中所用的特征，如细节点等；模板存储单元，把注册指纹存储到模板数据库中；特征匹配单元，对输入的两个指纹特征进行匹配。 

但是在指纹识别领域，仍然存在着一些值得深入研究的问题，形变指纹的特征匹配单元就是其中之一。现有的指纹采集方式主要是按压和刮擦两种方法，而这两种方法都容易造成指纹的形变。其原因在于其一，指纹的获取是一个从三维到二维的变形转换过程。指纹采集时不同的接触中心会产生不同的形变模型。由于不同的手指尖形状和柔韧程度区别很大，无法建立一个统一的三维模型模拟这一个过程。其二，人在采集仪上施加的剪切力会引起形变。垂直于采集面的压力大小不同会造成采集的指纹图像的脊线粗细的变化；平行于采集面的力则会导致图像的压缩和拉伸；而沿着接触中心的扭力，则会引起图像的扭曲。其三，刮擦采集方式形成的图 像与指纹滑过的速度有很大的关联，滑过的速度越快，指纹在y轴方向拉伸的也就越长，因此刮擦采集方式在y轴的形变较x轴方向要大的多。非线性形变指纹图像的普遍存在，严重影响了指纹匹配算法的精确度，导致指纹识别系统整体性能的下降。近年来逐渐有更多的学者研究指纹特征由压力造成的非线性形变以及随时间序列的动态行为变化，对非线性形变指纹进行匹配。Ratha等提出直接检测加在扫描仪上的压力和力矩，并在用力过剩时拒绝采集，来减少和控制形变。Dorai等提出的方法对指纹影像中的形变进行检测并估计。但这两种方法都不能作用于已采集的指纹图像。Maio和Maltoni等提出了一个弹性形变模型来描述指纹在线采集过程中发生的非线性形变，对于理解指纹的形变过程很有帮助。但是由于单独的指纹图像提供的信息有限再加上噪声等因素的影响，要确定该模型中定义的各参数值是很困难的。Senior等在匹配前调整弹性形变图像，使脊线等间距分布来提高算法的准确率。但是，现实情况中指纹脊线等间距分布的可能性是很小的，而且该方法无法解决由于不同的采集区域引起的不同映射模式导致的形变问题。Tico采用对形变较为鲁棒的局部方向描述来提高形变指纹匹配算法的性能。 

-Vajna等提出一种三角匹配的算法来处理指纹图像大幅度形变的情况。较小的指纹的局部形变累积下来，导致了整个图像较大的形变量。但是局部小三角形形变可以组合成各种各样的形变模式，这些形变模式可能完全无法在真实的指纹匹配中实现，却可以符合某些来自不同手指的指纹的匹配情况，造成误识。Bazen等采用薄板样条模型来描述两个可能匹配的细节点列间的非线性形变，但是薄板样条模型的个数比标志点的个数还多3个，模型参数估计时以及对指纹进行变换是计算量都非常的大。Ross等基于薄板样条模型计算出同一手指生成的指纹图像的平均形变量来解决弹性形变问题。但应用这个模型需要对每一个手指建立一个平均模型，计算量与存储都较大，并且这种方法不具有自适应性，对于训练集中没有出现过的形变方式鲁棒性较差。 

综合以上分析研究我们发现，由于传统的指纹匹配一般都建立在刚性的坐标体系下，没有或很少找到合适的指纹匹配方法。原有的刚性模型是通过弹性限界盒或局部特征的提高形变指纹匹配的性能方法。薄板样条模型可以描述指纹图像间的弹性变化。但是薄板样条模型计算量非常的大， 不适合实时的要求。 

发明内容

本发明的目的是针对指纹采集中得到的形变较大的指纹图像，提出并实现了基于正则化二次模型的方法来完成指纹配准和识别系统，减少由于形变导致的误拒现象。 

为达成所述目的，本发明的第一方面是提供一种形变指纹识别系统，该系统包括： 

图像采集单元，采集注册手指纹和输入手指纹分别生成注册指纹图像和输入指纹图像； 

图像预处理单元与图像采集单元连接，图像预处理单元对采集注册指纹图像和输入指纹图像分别做预处理，该预处理包括注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得注册细化指纹图像和输入细化指纹图像； 

特征提取单元与图像预处理单元连接，特征提取单元在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后在注册细化指纹图像和输入细化指纹图像中分别提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后分别提取注册细化指纹图像的采样点的凸包和输入细化指纹图像中脊线上的采样点的凸包，分别生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征和输入指纹特征； 

模板存储单元与特征提取单元连接，模板存储单元把特征提取单元的注册指纹特征生成注册指纹特征模板存储到数据库当中，生成并输出模板指纹特征； 

特征匹配单元分别与模板存储单元和特征提取单元连接，特征匹配单元对特征提取单元输出的输入指纹特征与模板存储单元数据库输出的模板指纹特征进行计算，判断输入指纹特征与模板指纹特征是否来源于同一个手指； 

该特征匹配单元的构成包括： 

局部方向描述单元，利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指 纹细节点的局部方向描述； 

指纹细节点相似度计算单元与局部方向描述单元连接，指纹细节点相似度计算单元根据局部方向描述单元构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指纹特征中的指纹细节点和模板指纹特征中的指纹细节点之间的相似度； 

参考点选取单元与指纹细节点相似度计算单元连接，参考点选取单元根据指纹细节点相似度计算单元输出的指纹细节点相似度，选取指纹细节点相似度最大的K个指纹细节点对作为参考指纹细节点对，其中K为大于或等于1的整数； 

指纹细节点预匹配单元与参考点选取单元连接，指纹细节点预匹配单元根据参考指纹细节点对对输入指纹特征做平移旋转变换，并根据指纹细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

二次模型估计单元与指纹细节点预匹配单元连接，二次模型估计单元采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计模拟输入指纹特征与模板指纹特征之间形变的二次模型的参数； 

指纹特征变换单元与二次模型估计单元连接，指纹特征变换单元用估计出来的二次模型参数对输入指纹特征进行二次模型变换，得到一个新的输入指纹特征； 

指纹细节点匹配单元与指纹特征变换单元和指纹细节点相似度计算单元连接，指纹细节点匹配单元根据指纹细节点相似度重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

匹配分数计算单元与指纹细节点匹配单元、指纹特征变换单元和指纹细节点相似度计算单元连接，匹配分数计算单元根据指纹细节点匹配单元输出的指纹细节点对应关系以及指纹细节点相似度计算单元输出的指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程。 

为达成所述目的，本发明的第二方面是提供一种形变指纹识别方法， 该方法的形变指纹识别步骤包括： 

步骤S1：采集注册手指纹和输入手指纹，并分别生成注册指纹图像和输入指纹图像； 

步骤S2：对注册指纹图像和输入指纹图像分别做预处理，该预处理包括分别对注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得注册细化指纹图像和输入细化指纹图像； 

步骤S3：在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后对注册细化指纹图像和输入细化指纹图像进行跟踪，并提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后提取注册细化指纹图像的采样点的凸包和输入细化指纹图像中脊线上的采样点的凸包，生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征和含有指纹细节点、所有脊线上采样点和采样点的凸包的输入指纹特征； 

步骤S4：把注册指纹特征生成注册指纹特征模板存储到数据库当中，生成并输出模板指纹特征； 

步骤S5：利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指纹细节点的局部方向描述； 

步骤S6：根据局部方向描述构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指纹特征中的指纹细节点与模板指纹特征中的指纹细节点之间的相似度，得到指纹细节点相似度； 

步骤S7：根据得到的指纹细节点相似度，选取指纹细节点相似度最大的一些指纹细节点作为参考指纹细节点； 

步骤S8：根据参考指纹细节点对输入指纹特征做平移旋转变换，并确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

步骤S9：采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计模拟输入指纹特征与模板指纹特征之间形变 的二次模型的参数； 

步骤S10：用估计出来的二次模型参数对输入指纹特征进行二次模型变换，得到一个新的输入指纹特征； 

步骤S11：重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

步骤S12：根据指纹细节点匹配的指纹细节点对应关系以及得到指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程。 

本发明的有益效果：本发明的指纹图像识别方法采用对应的细节点和与它们相连的脊线上的采样点作为标志点来估计正则化二次模型的参数。与细节点相连的脊线的长度可以描述该细节点质量，质量越好的细节点，与它相连的脊线往往比较长，因此在参数估计的时候它们相当于占了较大的权值。在细节点的提取过程中不可避免的会出现伪的细节点，在细节点对应关系中也不可避免的会出现错误的对应关系，而这些错误的对应关系可能极大的扭曲指纹图像，使其失指纹图像原有的纹理特征。为了使该算法对少量错误的细节点对应关系更为鲁棒，本发明正则化二次模型模拟指纹间的形变，从而能更好的匹配上对应的细节点并且二次模型总共只有12个参数，计算量远远小于薄板样条模型。 

附图说明

图1现有技术指纹识别系统图； 

图2本发明基于二次模型指纹特征匹配的结构示意图 

图3本发明基于二次模型指纹特征匹配的算法流程图； 

图4a、图4b示出本发明的指纹细节点的方向表示方法； 

图5a、图5b示出形变很大的一对指纹图像；来源于FVC2004DB1指纹数据库的一对形变很大的指纹图像； 

图6a至图6f示出本发明的指纹特征提取的示例；图6a为原始指纹图像；图6b细化后的指纹图像；图6c采样后的指纹图像，红色的点为脊线上的采样点；图6d由脊线上采样点重构的指纹细化图像；图6e采样点及其凸包；图6f由凸包得到的指纹前景区域。 

图7本发明的细节点方向描述的示例； 

图8a、图8b示出本发明两幅指纹图像的配准示例；图8a采用刚性模型；图8b采用二次模型。 

图9a、图9b示出本发明两幅指纹图像的细节点对应关系示例；图9a为采用刚性模型，图9b采用二次模型 

图10FVC2004 DB1指纹数据库上的二次模型与刚性模型的实验结果对比。 

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。 

本发明的核心思想是基于正则化二次模型的形变指纹识别方法。方法采用细节点，利用所有脊线上的采样点以及这些采样点的凸包来表示指纹。细节点之间的相似度由细节点邻域的采样点的方向来衡量，通过选取相似度较大的细节点对作为参考点对估计指纹间的平移旋转参数，并找出细节点之间的初步对应关系。根据这些细节点对应关系以及与它们相连的脊线采样点来估计正则化二次模型的参数。最后对输入指纹进行二次变换再重新估计细节点之间的相似度，寻找细节点之间的对应关系并计算匹配分数。 

基于上述的思路和目的，下面将指纹图像的识别处理过程划分为若干个步骤，简要介绍执行每个步骤时需要注意的关键问题，来设计和改进我们的系统，建立最终的形变指纹图像的识别理论框架及系统原型。 

本发明的核心在于采用二次模型模拟指纹间的形变，并采用正则化的方法估计二次模型的参数。对如图1所示现有技术的改进实现了本发明的装置，如图1所示，包括： 

图像采集单元1，采集注册手指纹和输入手指纹分别生成注册指纹图像和输入指纹图像； 

图像预处理单元2与图像采集单元1连接，图像预处理单元2对采集注册指纹图像和输入指纹图像分别做预处理，该预处理包括注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得 注册细化指纹图像和输入细化指纹图像； 

特征提取单元3与图像预处理单元2连接，特征提取单元3在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后在注册细化指纹图像和输入细化指纹图像中分别提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后分别提取注册细化指纹图像的采样点的凸包和输入细化指纹图像中脊线上的采样点的凸包，分别生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征和输入指纹特征； 

模板存储单元4与特征提取单元3连接，模板存储单元4把特征提取单元3的注册指纹特征生成注册指纹特征模板存储到数据库当中，生成并输出模板指纹特征； 

特征匹配单元5与模板存储单元4和特征提取单元3连接，特征匹配单元5对特征提取单元3输出的输入指纹特征与模板存储单元4数据库输出的模板指纹特征进行计算，判断输入指纹特征与模板指纹特征是否来源于同一个手指； 

该特征匹配单元5的构成示意图如图2所示，包括： 

局部方向描述单元51，利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指纹细节点的局部方向描述； 

指纹细节点相似度计算单元52与局部方向描述单元51连接，指纹细节点相似度计算单元52根据局部方向描述单元51构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指纹特征中的指纹细节点和模板指纹特征中的指纹细节点之间的相似度； 

参考点选取单元53与指纹细节点相似度计算单元52连接，参考点选取单元53根据指纹细节点相似度计算单元52输出的指纹细节点相似度，选取指纹细节点相似度最大的K个指纹细节点对作为参考指纹细节点对，其中K为大于或等于1的整数； 

指纹细节点预匹配单元54参考点选取单元53连接，指纹细节点预匹配单元54根据参考指纹细节点对对输入指纹特征做平移旋转变换，并根 据指纹细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

二次模型估计单元55与指纹细节点预匹配单元54连接，二次模型估计单元55采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计模拟输入指纹特征与模板指纹特征之间形变的二次模型的参数； 

指纹特征变换单元56与二次模型估计单元55连接，指纹特征变换单元56估计出来的二次模型参数对输入指纹特征进行二次模型变换，得到一个新的输入指纹特征； 

指纹细节点匹配单元57与指纹特征变换单元56和指纹细节点相似度计算单元52连接，指纹细节点匹配单元57根据细节点相似度重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

匹配分数计算单元58与指纹细节点匹配单元57、指纹特征变换单元56和指纹细节点相似度计算单元52连接，匹配分数计算单元58根据指纹细节点匹配单元57输出的指纹细节点对应关系以及指纹细节点相似度计算单元52输出的指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程。 

基于二次模型的特征匹配算法得到本发明方法的流程如图3所示，该方法的步骤详细描述如下： 

步骤S1：采集注册手指纹和输入手指纹，并分别生成注册指纹图像和输入指纹图像； 

步骤S2：对注册指纹图像和输入指纹图像分别做预处理，该预处理包括分别对注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得注册细化指纹图像和输入细化指纹图像；该预处理具体的详细步聚有：1.灰度的均衡化，这可以消除不同图像之间对比度的差异；2.使用简单的低通滤波算法消除斑点噪声和高斯噪声；3.方向场的估计，计算出指纹图像每个像素的方向；4.利用方向场一致性以图像的均值和方差把指纹图像划分成前景区域和背景区域；5.二值化，根据每个像 素点的方向来对指纹图像处理为只有黑白二种像素的图像；6.细化，根据二值化的图像，把指纹的脊线宽度细化至只有一个像素，生成指纹细化图；7.细化后处理，清除细化图像中一些明显的断线，脊线间明显的桥、脊线上的毛刺、过短的脊线和单个斑点等不良脊线结构； 

步骤S3：在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后对注册细化指纹图像和输入细化指纹图像进行跟踪，并提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后提取注册细化指纹图像的采样点的凸包和输入细化指纹图像中脊线上的采样点的凸包，生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征和含有指纹细节点、所有脊线上采样点和采样点的凸包的输入指纹特征；注册指纹特征和输入指纹特征具有相同的组成部分； 

具体提取过程为：首先在细化的指纹图像中提取指纹细节点，包括指纹细节点的x，y方向上的坐标，方向(如图4所示)以及类型，然后对细化指纹图像中的脊线进行采样，其中脊线上的采样点采样的顺序依次是：(1)与脊线分岔点相连的脊线，(2)与脊线端点相连的脊线，(3)没有与细节点相连的脊线，最后再计算所有采样点的凸包，所提取的特征表示如下： 

(1)指纹细节点集 $M=\{m_k=(x_k,y_k,{\mathrm{\θ}}_k){\}}_{k=1}^n,$ 其中x_k，y_k，θ_k分别为指纹细节点m_k的x，y坐标和方向，n为指纹细节点个数； 

(2)所有脊线上的采样点集 $\mathrm{SP}=\left\{\right\{p_{\mathrm{ij}}=(x_{\mathrm{ij}},y_{\mathrm{ij}}){\}}_{i=1}^{r_i}{\}}_{i=1}^{N_r},$ 其中，p_ij表示第i条脊线上第j个采样点，x_ij，y_ij分别表示p_ij的采样点x，y坐标，N_r表示脊线的条数，r_i表示第i条脊线上的采样点的个数；采样点是对所有的脊线进行跟踪并等间隔采样获得； 

(3)采样点的凸包 $=\{c_i=(x_i,y_i){\}}_{i=1}^{N_c},$ 其中N_c表示凸包顶点的个数，c_i表示凸包的第i个顶点，x_i，y_i分别表示c_i的采样点x，y坐标，凸包的内部区域视为指纹的前景区域； 

步骤S4：把注册指纹特征生成注册指纹特征模板存储到数据库当中，生成并输出模板指纹特征；输入指纹图像与数据库中的模板指纹图像进行1对1的比较，以判断数据库中是否有与输入指纹特征来源于同一个手指 的模板指纹特征； 

步骤S5：利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指纹细节点的局部方向描述；所述构建各自指纹细节点的局部方向描述的步聚包括(以指纹细节点a为例)： 

步骤S51：根据与采样点p_ij同一条脊线上的相邻的采样点p_i，j+1和采样点p_i，j-1，计算该采样点p_ij处的方向θ_ij，其计算方法如下： 

${\mathrm{\θ}}_{\mathrm{ij}}=\arctan \frac{y_{i,j+1}+y_{i,j-1}-{2y}_{\mathrm{ij}}}{x_{i,j+1}+x_{i,j-1}-{2x}_{\mathrm{ij}}}$

其中：θ_ij方向的取值范围为 

步骤S52：以指纹细节点a的位置为圆心，分别以B个不同的半径画B个同心圆，得到B个圆周，B为1到10的自然数；以指纹细节点a的位置为起始点画S条射线把所有的B个圆周分成S等份，S为2到20的自然数；为使得到的指纹细节点a的方向描述具有旋转不变性，应以指纹细节点a的方向所在的射线为起始射线，并采用逆时针方向画射线； 

步骤S53：B个圆周与S条射线的交点称为网格点{(x_c，r，y_c，r)}_{c＝1，r＝1} ^B，S，设距第c个圆周与第r条射线相交的网格点(x_c，r，y_c，r)最近的采样点的方向为θ_c，r，则采样点的方向θ_c，r与细节点方向θ_a的方向差α_c，r＝Λ(θ_c，r，θ_a)作为该网格点的特征值；该网格点的特征值Λ(θ_c，r，θ_a)的计算方法为： 

$\mathrm{\&Lambda;}({\mathrm{\&theta;}}_{c,r},{\mathrm{\&theta;}}_a)=\left\{\begin{array}{cc}{\mathrm{\&theta;}}_{c,r}-{\mathrm{\&theta;}}_a& \mathrm{for}|{\mathrm{\&theta;}}_{c,r}-{\mathrm{\&theta;}}_a|\&le;\mathrm{\&pi;}/2\\ {\mathrm{\&theta;}}_{c,r}-{\mathrm{\&theta;}}_a+\mathrm{\&pi;}& \mathrm{for}{\mathrm{\&theta;}}_{c,r}-{\mathrm{\&theta;}}_a<-\mathrm{\&pi;}/2\\ {\mathrm{\&theta;}}_{c,r}-{\mathrm{\&theta;}}_a-\mathrm{\&pi;}& \mathrm{otherwise}\end{array}\right.$

由此得到指纹细节点a的局部方向描述 ${\mathrm{OD}}_a={\left\{{\mathrm{\&alpha;}}_{c,r}\right\}}_{c=1,r=1}^{B,S},$ 同理可得指纹细节点b的局部方向描述 ${\mathrm{OD}}_b={\left\{{\mathrm{\&beta;}}_{c,r}\right\}}_{c=1,r=1}^{B,S},$ 其中β_c，r为指纹细节点b局部方向描述的第c个圆周与第r条射线相交的网格点的值； 

步骤S6：根据局部方向描述构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指纹特征中的指纹细节点与模板指纹特征中的指纹细节点之间的相似度，得到指纹细节点相似度；假设指纹细节点a的局部方向描述 ${\mathrm{OD}}_a={\left\{{\mathrm{\&alpha;}}_{c,r}\right\}}_{c=1,r=1}^{B,S}$ 和指纹细节点b的局部方向描述 ${\mathrm{OD}}_b={\left\{{\mathrm{\&beta;}}_{c,r}\right\}}_{c=1,r=1}^{B,S}$ 分别是输入指纹特征中指纹细节 点a和模板指纹特征中指纹细节点b的局部方向描述，则a和b之间的相似度S_ab计算方法如下： 

$S_{\mathrm{ab}}=\frac{1}{B\&times;S}{\mathrm{\&Sigma;}}_{c=1}^B{\mathrm{\&Sigma;}}_{r=1}^S\exp \left(\right|\mathrm{\&Lambda;}({\mathrm{\&alpha;}}_{c,r},{\mathrm{\&beta;}}_{c,r}|)/(\mathrm{\&pi;}/16)).$

同理可计算输入指纹特征中任一指纹细节点与模板指纹特征中任一指纹细节点之间的相似度，可得指纹细节点相似度集合 

其中N_I和N_T分别为输入指纹特征和模板指纹特中的指纹细节点的个数； 

步骤S7：根据得到的指纹细节点相似度，选取指纹细节点相似度最大的K个指纹细节点对作为参考指纹细节点对，其中K为大于或等于1的整数； 

步骤S8：根据参考指纹细节点对对输入指纹特征做平移旋转变换，并根据指纹细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系； 

根据参考指纹细节点对估计旋转参数和平移参数，其中旋转参数和平移参数分别为参考指纹细节点对中模板指纹特征中的K个细节点与输入指纹特征中的K个指纹细节点的平均方向差和平均位置差，然后根据估计出来的旋转参数和平移参数对输入指纹特征做刚性变换即平移和旋转变换得到刚性变换后的指纹特征，并根据细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系，具体步聚为： 

首先把细节点相似度集 

从大到小排列，依次考虑相似度S_ab所对应的输入指纹特征中指纹细节点a和模板指纹特征中指纹细节点b，若输入指纹特征中的指纹细节点a做刚性变换后与模板指纹特征中指纹细节点b的位置差和方向差都小于给定的阈值，则认为指纹细节点a与b之间具有对应关系，为保证指纹细节点之间的对应关系是1对1的，要求如果输入指纹特征中指纹细节点或模板指纹特征中指纹细节点已经有了对应关系以后，该指纹细节点不再参与寻找指纹细节点对应关系。 

步骤S9：采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计模拟输入指纹特征与模板指纹特征之间形变的二次模型的参数；设输入指纹特征的标志点集合P和模板指纹特征中的标志点集合Q分别为P＝[p₁|p₂|...|p_N]和Q＝[q₁|q₂|...|q_N]，其中N是所有标 志点的个数，标志点p_i和标志点q_i都是2×1的向量，分别为输入指纹特征和模板指纹特征中第i个的位置坐标，i＝1，2，…，N。 

设f(p)为标志点 $p=\left[\begin{array}{c}x\\ y\end{array}\right]$ 的二次变换函数，p＝p₁，p₂，…，p_N，二次变换函数f(p)的形式为： 

$f\left(p\right)=\left[\begin{array}{c}{f}_x\left(p\right)\\ f_y\left(p\right)\end{array}\right]=\left[\begin{array}{c}{\mathrm{\&phi;}}_x^{T}X\left(p\right)\\ {\mathrm{\&phi;}}_y^{T}X\left(p\right)\end{array}\right]$

其中X(p)＝[1，x，y，x²，xy，y²]^T，φ_x和φ_y都是6×1的系数矩阵，φ_x ^T和φ_y ^T分别为φ_x和φ_y的转置矩阵，f_x(p)和f_y(p)分别为标志点p进行二次模型变换后的x，y坐标；传统的估计参数方法是最小化误差函数E(P，Q，φ) 

$E(P,Q,\mathrm{\&phi;})={\mathrm{\&Sigma;}}_{i=1}^N{\left|\right|(q_i-f(p_i)\left|\right|}^2,$

本发明中采用函数f(p)的二阶导数的函数J(f)来衡量扭曲程度，J(f)计算方法如下： 

$J\left(f\right)=\frac{1}{2}\&Integral;\&Integral;(R\left(f_x\right)+R\left(f_y\right))\mathrm{dxdy}$

其中， 

$R\left(f_x\right)={\left(\frac{{\&PartialD;}^2{f}_x}{{\&PartialD;x}^2}\right)}^2+2{\left(\frac{{\&PartialD;}^2{f}_x}{\&PartialD;x\&PartialD;y}\right)}^2+{\left(\frac{{\&PartialD;}^2{f}_x}{{\&PartialD;y}^2}\right)}^2$

$R\left(f_y\right)={\left(\frac{{\&PartialD;}^2{f}_y}{{\&PartialD;x}^2}\right)}^2+2{\left(\frac{{\&PartialD;}^2{f}_y}{\&PartialD;x\&PartialD;y}\right)}^2+{\left(\frac{{\&PartialD;}^2{f}_y}{{\&PartialD;y}^2}\right)}^2$

因此，正则化的目标函数可以写为 

$\tilde{E}(P,Q,\mathrm{\&phi;})=E(P,Q,\mathrm{\&phi;})+\mathrm{\&lambda;J}\left(f\right)$

其中λ为形变控制参数，其取值范围是[0，+∞)，对上式展开后可得 

的矩阵表示方式如下所示： 

$\tilde{E}(P,Q,\mathrm{\&phi;})=(X_Q-{\mathrm{\&phi;}}_x^{T}X\left(P\right)){(X_Q-{\mathrm{\&phi;}}_x^{T}X\left(P\right))}^T$

$+{\mathrm{\&lambda;\&phi;}}_x^T{\mathrm{D\&phi;}}_x$

$+(Y_Q-{\mathrm{\&phi;}}_y^{T}X\left(P\right)){(Y_Q-{\mathrm{\&phi;}}_y^{T}X\left(P\right))}^T$

$+{\mathrm{\&lambda;\&phi;}}_y^T{\mathrm{D\&phi;}}_y$

其中D为一6×6的对角矩阵，对 

分别求关于φ_x和φ_y的导数可得 

$\frac{\&PartialD;\tilde{E}(P,Q,\mathrm{\&phi;})}{{\&PartialD;\mathrm{\&phi;}}_x}=(X\left(p\right){X\left(p\right)}^T+\mathrm{\&lambda;D}){\mathrm{\&phi;}}_x-X\left(p\right)X_Q^T$

$\frac{\&PartialD;\tilde{E}(P,Q,\mathrm{\&phi;})}{{\&PartialD;\mathrm{\&phi;}}_y}=(X\left(p\right){X\left(p\right)}^T+\mathrm{\&lambda;D}){\mathrm{\&phi;}}_y-{X\left(p\right)Y}_Q^T$

并令二者为分别为0可得最小化目标函数 的φ_x和φ_y分别为 

${\mathrm{\&phi;}}_x={(X\left(P\right)X{\left(P\right)}^T+\mathrm{\&lambda;D})}^{-1}X\left(P\right)X_Q^T$

${\mathrm{\&phi;}}_y={(X\left(P\right){X\left(P\right)}^T+\mathrm{\&lambda;D})}^{-1}X\left(P\right)Y_Q^T$

步骤S10：用估计出来的二次模型参数φ_x和φ_y对输入指纹特征进行二次模型变换，得到一个新的输入指纹特征； 

步骤S11：根据指纹细节点相似度，重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系；其方法与步聚S8类似：首先把细节点相似度集 

从大到小排列，依次考虑相似度S_ab所对应的输入指纹特征中指纹细节点a和模板指纹特征中指纹细节点b，若输入指纹特征中的指纹细节点a变换后的细节点a′与模板指纹特征中指纹细节点b的位置差和方向差都小于给定的阈值，则认为指纹细节点a与b之间具有对应关系，为保证指纹细节点之间的对应关系是1对1的，同时要求如果新的输入指纹特征中指纹细节点或模板指纹特征中指纹细节点已经有了对应关系以后，该指纹细节点不再参与寻找指纹细节点对应关系。 

步骤S12：根据输入指纹特征中指纹细节点与模板指纹特征中的指纹细节点对应关系以及指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程；相似度分数由以下公式计算得到： 

$\mathrm{score}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{{2S}_{a_i,b_i}}{N_q+N_t}$

其中n是匹配上的指纹细节点对的个数，{(a_i，b_i)}_i＝1 ⁿ是输入指纹特征中的指纹细节点与模板指纹特征中的指纹细节点之间的对应关系的集合，N_q是新的输入指纹特征中落入模板指纹特征中凸包内的指纹细节点的个数，N_t为模板指纹特征中落入新的输入指纹特征中凸包内的指纹细节点的个数，从而完成了形变指纹识别过程。 

实施例 

我们将此方法应用到我们自行设计实现的指纹图像处理系统中。我们研制开发的指纹图像处理系统是基于Window XP，采用面向对象的设计方法和软件工程规范，用C++语言实现的、面向指纹识别领域的图像处理与分析系统。 

由于本专利是针对形变指纹的匹配算法，因此我们选取国际指纹识别竞赛中形变最大的一个库FVC2004 DB1来测试我们的算法，并采用国际指纹识别竞赛的识别算法标准进行评估。实验结果如图10所示，其中曲线A为刚性模型得到的性能曲线(ROC曲线)、曲线B有本发明得到的性能曲线(ROC曲线)、曲线C为等错误率线曲线(EER曲线)、曲线D为错误匹配率为1％时的曲线(FMR100曲线)以及曲线E为错误匹配率为0.1％时的曲线(FMR1000曲线)。 

在指纹库上的试验结果显示，该系统很好的解决了非线性形变问题。即使来自于同一个手指的指纹图像发生了较大的形变，也能较好的将其和假匹配区分开，具有很好的准确率，鲁棒性以及实用性。 

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。 

Claims (8)

1.一种形变指纹识别系统，其特征在于，包括：

图像采集单元，采集注册手指纹和输入手指纹分别生成注册指纹图像和输入指纹图像；

图像预处理单元，与图像采集单元连接，图像预处理单元对注册指纹图像和输入指纹图像分别做预处理，该预处理包括注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得注册细化指纹图像和输入细化指纹图像；

特征提取单元，与图像预处理单元连接，特征提取单元在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后在注册细化指纹图像和输入细化指纹图像中分别提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后分别提取注册细化指纹图像的采样点的凸包和输入细化指纹图像的采样点的凸包，生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征以及含有指纹细节点、所有脊线上采样点和采样点的凸包的输入指纹特征；

模板存储单元，与特征提取单元连接，模板存储单元把特征提取单元所提取的注册指纹特征生成注册指纹特征模板存储到数据库中，生成并输出模板指纹特征；

特征匹配单元，分别与模板存储单元和特征提取单元连接，特征匹配单元对特征提取单元输出的输入指纹特征与模板存储单元数据库输出的模板指纹特征进行计算，判断输入指纹特征与模板指纹特征是否来源于同一个手指；

该特征匹配单元的构成包括：

局部方向描述单元，利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指纹细节点的局部方向描述；

指纹细节点相似度计算单元，与局部方向描述单元连接，指纹细节点相似度计算单元根据局部方向描述单元构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指 纹特征中的指纹细节点和模板指纹特征中的指纹细节点之间的相似度；

参考点选取单元，与指纹细节点相似度计算单元连接，参考点选取单元根据指纹细节点相似度计算单元输出的指纹细节点相似度，选取指纹细节点相似度最大的K个指纹细节点对作为参考指纹细节点对，其中K为大于或等于1的整数；

指纹细节点预匹配单元，与参考点选取单元连接，指纹细节点预匹配单元根据参考指纹细节点对对输入指纹特征做平移旋转变换，并根据指纹细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系；

二次模型估计单元，与指纹细节点预匹配单元连接，二次模型估计单元采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计输入指纹特征与模板指纹特征之间形变的二次模型的参数；

指纹特征变换单元，与二次模型估计单元连接，指纹特征变换单元用估计出来的二次模型参数对输入指纹特征进行二次模型变换，得到一个新的输入指纹特征；

指纹细节点匹配单元，与指纹特征变换单元和指纹细节点相似度计算单元连接，指纹细节点匹配单元根据指纹细节点相似度重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系；

匹配分数计算单元，与指纹细节点匹配单元、指纹特征变换单元和指纹细节点相似度计算单元连接，匹配分数计算单元根据指纹细节点匹配单元输出的指纹细节点对应关系以及指纹细节点相似度计算单元输出的指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程。

2.根据权利要求1所述形变指纹识别系统，其特征在于，在所述脊线上对采样点进行采样的位置顺序依次是：(1)与脊线分岔点相连的脊线，(2)与脊线端点相连的脊线，(3)没有与细节点相连的脊线。

3.一种形变指纹识别方法，其特征在于，包括步骤：

步骤S1：采集注册手指纹和输入手指纹，并分别生成注册指纹图像和 输入指纹图像；

步骤S2：对注册指纹图像和输入指纹图像分别做预处理，该预处理包括分别对注册指纹图像和输入指纹图像的图像分割、图像增强、图像二值化以及细化处理，获得注册细化指纹图像和输入细化指纹图像；

步骤S3：在注册细化指纹图像和输入细化指纹图像中分别提取指纹细节点，然后对注册细化指纹图像和输入细化指纹图像进行跟踪，并提取注册细化指纹图像和输入细化指纹图像中脊线上的采样点，最后提取注册细化指纹图像的采样点的凸包和输入细化指纹图像的采样点的凸包，生成含有指纹细节点、所有脊线上采样点和采样点的凸包的注册指纹特征和含有指纹细节点、所有脊线上采样点和采样点的凸包的输入指纹特征；

步骤S4：把注册指纹特征生成注册指纹特征模板存储到数据库当中，生成并输出模板指纹特征；

步骤S5：利用指纹细节点周围的脊线采样点信息，分别对输入指纹特征中的指纹细节点和模板指纹特征的指纹细节点构建各自指纹细节点的局部方向描述；

步骤S6：根据局部方向描述构建的输入指纹特征的指纹细节点局部方向描述和模板指纹特征的指纹细节点局部方向描述，计算输入指纹特征中的指纹细节点与模板指纹特征中的指纹细节点之间的相似度，得到指纹细节点相似度；

步骤S7：根据得到的指纹细节点相似度，选取指纹细节点相似度最大的K个指纹细节点对作为参考指纹细节点对，其中K为大于或等于1的整数；

步骤S8：根据参考指纹细节点对对输入指纹特征做平移旋转变换，并根据指纹细节点相似度确立输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系；

步骤S9：采用具有对应关系的指纹细节点对以及输入指纹特征和模板指纹特征中与具有对应关系的指纹细节点对相连的脊线采样点作为标志点，并采用正则化的方法估计输入指纹特征与模板指纹特征之间形变的二次模型的参数；

步骤S10：用估计出来的二次模型参数对输入指纹特征进行二次模型 变换，得到一个新的输入指纹特征；

步骤S11：根据指纹细节点相似度，重新寻找新的输入指纹特征中指纹细节点与模板指纹特征中指纹细节点之间的对应关系；

步骤S12：根据新的输入指纹特征中指纹细节点与模板指纹特征中的指纹细节点对应关系以及指纹细节点相似度计算新的输入指纹特征和模板指纹特征的匹配分数，从而完成了形变指纹识别过程。

4.按照权利要求3所述的形变指纹识别方法，其特征在于，所述注册指纹特征和输入指纹特征具有相同的组成部分，包括：

(1)指纹细节点集其中x_k，y_k，θ_k分别为指纹细节点m_k的x，y坐标和方向，n为指纹细节点个数；

(2)所有脊线上的采样点集

其中，p_ij表示第i条脊线上第j个采样点，x_ij，y_ij分别表示p_ij的采样点x，y坐标，N_r表示脊线的条数，r_i表示第i条脊线上的采样点的个数；采样点是对所有的脊线进行跟踪并等间隔采样获得；

(3)采样点的凸包 

其中N_c表示凸包顶点的个数，c_i表示凸包的第i个顶点，x_i，y_i分别表示c_i的采样点x，y坐标，凸包的内部区域视为指纹的前景区域。

5.按照利要求4所述的形变指纹识别方法，其特征在于，所述构建各自指纹细节点的局部方向描述的步骤包括：

步骤S51：根据与采样点p_ij在同一条脊线上的相邻的采样点p_i，j+1和采样点p_i，j-1，计算该采样点p_ij处的方向θ_ij，其计算方法如下：

其中：θ_ij方向的取值范围为 

步骤S52：以指纹细节点a的位置为圆心，分别以B个不同的半径画B个同心圆，得到B个圆周，B为1到10的自然数；以指纹细节点a的位置为起始点画S条射线把所有的B个圆周分成S等份，S为2到20的自然数；为使得到的指纹细节点a的方向描述具有旋转不变性，应以指纹细节 点a的方向所在的射线为起始射线，并采用逆时针方向画射线；

步骤S53：B个圆周与S条射线的交点称为网格点 

设距第c个圆周与第r条射线相交的网格点(x_c，r，y_c，r)最近的采样点的方向为θ_c，r，则采样点的方向θ_c，r与细节点方向θ_a的方向差α_c，r＝Λ(θ_c，r，θ_a)作为该网格点的特征值；该网格点的特征值Λ(θ_c，r，θ_a)的计算方法为：

由此得到指纹细节点a的局部方向描述 

同理可得指纹细节点b的局部方向描述 

其中β_c，r为指纹细节点b局部方向描述的第c个圆周与第r条射线相交的网格点的值。

6.按照利要求5所述的形变指纹识别方法，其特征在于，输入指纹特征中的指纹细节点和模板指纹特征中的指纹细节点之间的相似度由它们对应的局部方向描述来计算，假设指纹细节点a的局部方向描述 

和指纹细节点b的局部方向描述 

分别是输入指纹特征中指纹细节点a和模板指纹特征中指纹细节点b的局部方向描述，则a和b之间的相似度S_ab计算方法如下：

7.按照权利要求3所述的形变指纹识别方法，其特征在于，还包括，输入指纹特征的标志点集合P和模板指纹特征中的标志点集合Q分别为P＝[p₁|p₂|...|p_N]和Q＝[q₁|q₂|...|q_N]，其中N是标志点的个数，标志点p_i和标志点q_i都是2×1的向量，分别为输入指纹特征和模板指纹特征中第i个特征的位置坐标，i＝1，2，…，N。

8.按照权利要求7所述的形变指纹识别方法，其特征在于，二次模型的参数的估计采用正则化的方法，设f(p)为标志点

的二次变换函数，p＝p₁，p₂，…，p_N，二次变换函数f(p)的形式为：

其中X(p)＝[1，x，y，x²，xy，y²]^T，φ_x和φ_y都是6×1的系数矩阵， 

和 

分别为φ_x和φ_y的转置，f_x(p)和f_y(p)分别为标志点p二次模型变换后的x，y坐标；设f(p)的形变能量记为J(f)，拟合误差函数为 

则正则化的目标函数为 

其中λ为形变控制参数，其取值范围是[0，+∞)，通过最小化所述正则化的目标函数得到二次模型的参数φ_x和φ_y。 

Images