CN102682428B

CN102682428B - 一种基于方向场的指纹图像计算机自动化修补方法

Info

Publication number: CN102682428B
Application number: CN201210113430.5A
Authority: CN
Inventors: 王贵; 韩志科
Original assignee: Zhejiang University City College ZUCC
Current assignee: Zhejiang University City College ZUCC
Priority date: 2012-04-18
Filing date: 2012-04-18
Publication date: 2014-11-05
Anticipated expiration: 2032-04-18
Also published as: CN102682428A

Abstract

本发明公开一种基于方向场的指纹图像计算机自动化修补方法，该方法首先输入待修补的指纹图像并分割受污染所在的区域；然后进行图像修补；最后根据模型处理的结果，保存图像处理信息；采用本发明的方法，可以沿着表征脊线方向的局部固定方向将灰度信息传播到待修复区域中，给出可信的修补指纹图像，有效减少伪特征点的产生。本发明作为指纹识别系统中的预处理方法，有利于提高指纹识别系统的鉴定准确度。特别是在刑侦和司法系统中现场采集指纹质量不是很好的情况下，指纹图像的修补和复原有助于案情的侦破和司法的鉴定。

Description

一种基于方向场的指纹图像计算机自动化修补方法

技术领域

本发明涉及图像处理、模式识别及信息处理领域；特别是涉及一种指纹图像和纹理图像的基于方向场和偏微分方程对图像进行修补的方法。

技术背景

和传统认证技术相比，以指纹作为身份认证具有明显的优点，指纹的唯一性和稳定性成为使其成为身份鉴定的有效手段。近年来有关指纹自动识别及认证研究已成为模式识别，生物认证领域的热点。并且产生了很多的算法和指纹自动识别系统，在银行、保险、公安等行业得到了广泛的应用。但是目前的指纹识别算法本身仍然存在着一些问题：对输入指纹图像的质量要求过高，无法识别一些噪声较大、纹理信息较弱和残缺不全的指纹图像。特别是在特殊行业系统中，比如法院和公安部门更需要一种鲁棒性强的算法来识别一些特殊的指纹，用于鉴定主要目的人的样本指纹与现场指纹，从而得出有利于案情侦察的鉴定结论。目前对指纹的司法鉴定还是采用人工鉴定办法，这种方法工作量特别大，难度高。由于从现场采集的指纹往往又残缺不全，模糊不清，这就给鉴定带来了人为因素的影响。本发明着重研究一种计算机自动化的修复残缺的指纹图像方法，以解公安刑事案件侦破中破指纹自动比对预处理和决法院审理的民事案件，比如一些带有签字指纹的合同等案件纠纷和公安刑事案件侦破指纹自动比对预处理。

图像修复（Inpainting）是近年来图像处理领域中较为引人关注的一个研究专题。图像修复在修复局部缺失的图像（尤其是数字图像），移除图像中的目标物体（如文字去除），缩放数字图像等方面有广泛的应用，本质上是二维图像的插值问题。图像修复问题由于待描补区域的任意性，需保护的图像特征的多样性以及修复的模式有意义性而在理论上显得较为困难。

指纹图像可以认为是一类具有特殊模式的图像。在关于指纹图像的实际应用如公安刑侦，民事合同纠纷等指纹鉴定中，常常涉及到缺损指纹图像的修复问题。一个较好的指纹图像修复算法可有效地减少一般指纹比对算法中检测到的伪特征点，从而提高指纹比对精度。对于指纹图像,在预处理过程中一般采用Gabor滤波进行图像增强；而对于有缺损区域的指纹图像，一般还没有较好的处理方法。

现有的技术方案对指纹图像修补存在诸多不足：

（1）一般常见的图像修复模型由于缺乏方向场的几何信息，对于指纹图像，该模型不能给出满意的修补结果；或者虽然引入了方向场的几何信息，但对于指纹图像，在具体修补时会出现以下几种不同的错误结果：将不同的脊线连到一起；在修补待修补区域时填入的是均匀的灰度值，无法区分脊线和谷线；无法有目的地连接脊线等等。

（2）Gabor滤波：Gabor滤波是指纹图像预处理常见采用的方法，对于指纹图像较小的缺损具有修复效果，但是当待修补区域的长、宽远大于脊线宽度时，Gabor滤波无法进行有效修复。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于方向场的指纹图像计算机自动化修补方法。

本发明的目的是通过以下技术方案来实现的：一种基于方向场的指纹图像计算机自动化修补方法，该方法包括以下步骤：

（1）输入待修补指纹图像；

（2）分割受污染所在的区域：对于污染区域与指纹背景图像明显有色差的图像，可采用基于方向的色差阈值分割法进行分割；对于污染区域与指纹背景图像没有明显色差的图像，可采用多边形区域选择法进行分割；

（3）图像修补：通过以下子步骤来实现：

（a）将待修复区域中的灰度用0-255的随机信息初始化，此时图像即为；

（b）将指纹图像分割成16*16的小块，对不包含待修补区域的小块用梯度估计法估计出该小块的方向。

（c）初步估计待修补区域的小块方向：利用步骤b计算出的方向场，用上下左右四个相邻块的方向平均值作为该区域的临时方向；估算方法如下：设待修补区域为，对待修补区域处的方向用上下左右四个相邻块的方向平均值作为该区域的临时方向：

；

（d）将步骤c得到的图像方向场进行平滑处理；

令：

，

，，

。

为最终方向场结果，并且存储到计算机内存当中。

（e）将得出的：引入方向信息的偏微分方程进行离散化，得出离散计算模型：

；

然后用该模型迭代计算待修补区域的灰度值；

（4）根据模型处理的结果，保存图像处理信息。

本发明的有益效果是，在修补被污染指纹图像时（典型的比如待修补区域距离大于指纹脊线宽度），本技术方案通过引入指纹图像方向场信息，基于脊线方向驱动的定向的指纹修补算法，使修补扩散仅沿脊线方向进行，从而达到理想的修补效果。本发明核心在于指纹图像的方向场信息引入偏微分方程模型，计算并存储待修补区域及相邻区域的亚像素灰度值，并迭代计算待修补区域的灰度值。本方法可以沿着表征脊线方向的局部固定方向将灰度信息传播到待修复区域中，给出可信的修补指纹图像，有效减少伪特征点的产生，有利于提高指纹识别系统的鉴定准确度。

附图说明

图1是指纹图像修补系统流程图；

图2 待修补区域距离与指纹脊线宽度的比较示意图；

图3 脊线方向及其垂直方向示意图；

图4 亚像素点示意图。

具体实施方式

对于指纹图像，特别待修复区域距离大于指纹脊线宽度以及脊线之间距离（见图2）时，在两条脊线之间的待修复区域，对于传统的修补模型来说填入连接两条脊线的“传输费用”要小于将两条脊线本身各自连接起来的“传输费用”，因此会导致直观上明显错误的修复结果。对于指纹图像，显然直观上修复应该沿着脊线方向（见图3）进行，这里如图为脊线方向与轴的夹角， “”表示转置。因此对于指纹图像修复问题，脊线方向场正是需要引入修复模型中的空间或几何相关性。

本方法给出的指纹图像修复模型的能量泛函如下：

。

能量泛函的意义很清楚：第一项是约束在修复区域内，填入的图像灰度信息其梯度方向要垂直于，即采用对图像的梯度与局部方向的点积进行抑制的方法。这样只有当图像的梯度与局部方向垂直时，才符合变分极小的要求。既然图像的梯度方向是图像灰度变化最为剧烈的方向，那么反过来说，垂直于图像梯度的方向就是图像灰度变化最平缓的方向。由于上述变分的抑制，新模型即要求沿着局部方向填入的图像灰度变化最平缓，也就是说，在这个方向上“填入”的灰度信息与同一方向上的灰度信息相比较变化不大，这就达到了沿着局部方向将灰度信息“传播”入待修补区域的直观目的；第二项是约束修复区域外去噪的同时，处理结果不致离原图相差太远的正则项。对于无噪声的情形，上述能量泛函可写成：

。（1）

极小化（1）式能量泛函导出的Euler-Lagrange方程为：

，在上。（2）

模型（2）的显著优点是在发展过程中，扩散方向始终固定在了局部方向上。因此随着时间发展，已知的图像信息沿着局部方向逐步进入待修复区域中，实现了修复应沿着脊线方向进行的直观理念。

还可以从另外一个角度看待（2）式，将调和修复PDE（偏微分方程）：

，

分解为：

，（3）

则（2）式就是上式的第一项，也即（2）式仅保留了方向的调和修复。

注意到这种分解与另一种分解的不同，这里，

，

，即单位化的梯度方向及其单位化垂直方向。

从（3）的分解角度出发，同样可以将具有散度形式的修复PDE类似进行分解，得到的就是原模型限制在方向的相应的修复PDE。这样得到的新模型一方面修复仅沿着方向进行，一方面又可以保留原模型的优点。

对于一个散度形式的图像修复PDE模型：

，（4）

这里对于TV模型，对于CDD模型。将（4）式右端的扩散分解为两个方向—— 和方向：

。（5）

（5）式右端第一项即为沿方向的扩散分量，这正是指纹修复所需要的。因此，舍弃第二项方向上的扩散分量，导出的新模型即为：

，

在下文的数值实验中，取，与（5）式中的意义相同表示曲率，最终的新模型为：

，（6）

由于一般计算估计方向是分块进行（如分成16×16的小块），因此得到的是一个方向场，在每个小块上是一个固定的局部方向，估计脊线方向的算法可参考文献[Hong L, Wan Y, Jain A. Fingerprint image enhancement: algorithm and performance evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20（8）:777-789.]。由于采用对方向场进行光滑的处理，因此即使是待修复区域中的方向也能被正确地估计出来。

基于本发明的方法自行设计实现了指纹图像修补系统。研制开发的指纹图像修补系统是基于WindowsXP、Windows7、Windows2000，采用面向对象的设计方法和软件工程规范，用C++语言实现的、面向指纹图像去噪的图像处理与分析系统。

利用本发明方法实现的装置如图1本发明系统流程图所示，步骤如下：

1、输入待修补指纹图像

通过高分辨率数码照相机进行拍摄然后与计算机相连输入到计算机存储介质中。

2、分割受污染所在的区域：

2.1对于污染区域与指纹背景图像明显有色差的图像，可采用基于方向的色差阈值分割法，具体方法如下：

（1）得到污染区域所在区域的一点的信息（坐标和RGB值）；

用鼠标点击图像目的位置获取坐标值（x,y），用以下MFC函数可获取R，G，B分量值：

CClientDC *pDC=new CClientDC（this）；

clr=::GetPixel（pDC->m_hDC,x,y）；

R=GetRValue（clr）；

G=GetGValue（clr）；

B=GetBValue（clr）；

（2）估计所在位置的方向；在方向上进行中值滤波得到能代表受污染区域RGB特征的颜色RGB值；

估计所在位置的方向采用以下步骤：

首先采用梯度估计法估计待修补区域外指纹信息完整区域的方向场：将指纹图像分成w*w的小块，w=16，对每一块，设其中心点为，该块方向通过下述公式计算：

，

这里：

，，

其中，、、表示指纹图像在处的灰度值、方向差分、方向差分：

，。

对整个方向场进行平滑处理：

令：

，，

。

为最终方向场结果，并且存储到计算机内存当中。

（3）统计全图RGB三通道的直方图，以频率最高的通道作为提取模板的通道，将频率最高的通道的灰度值作为阈值与步骤（1）得到的相应通道的灰度值作比较，根据污染情况将高于或低于阈值的像素点作为分割的结果，从而得到受污染的区域，标记这些像素点的信息并存储，作为下一步指纹图像修补的输入图像。

2.2对于污染区域与指纹背景图像没有明显色差的图像，可采用多边形区域选择法，具体方法如下：

（1）用鼠标点击图像目的位置获取坐标值（x1,y1），（x2,y3）……（xn,yn）直至形成多边形包含污染区域；

（2）计算并获取多边形型内的像素值，具体方法如下：

对于每一个图像像素点P（x，y）作水平向左的射线的话，如果P在多边形内部，那么这条射线与多边形的交点必为奇数，如果P在多边形外部，则交点个数必为偶数（0也在内）；如果P在多边形内部则标记为受污染区域并存储，作为下一步指纹图像修补的输入图像。

3、图像修补

3.1图像修补的步骤如下：

（1）将待修复区域中的灰度用0-255的随机信息初始化，此时图像即为；

（2）将指纹图像分割成16*16的小块，对不包含待修补区域的小块用梯度估计法估计出该小块的方向。

（3）初步估计待修补区域的小块方向：利用第2步计算出的方向场，用上下左右四个相邻块的方向平均值作为该区域的临时方向。估算方法如下：

设待修补区域为，对待修补区域处的方向用上下左右四个相邻块的方向平均值作为该区域的临时方向：

。

（4）将第（3）步得到的图像方向场信息进行储存。

（5）将得出的（6）式引入方向信息的偏微分方程进行离散化，得出离散计算模型（7），用该模型迭代计算待修补区域的灰度值，迭代从开始，设局部方向，则第次迭代方程为：

（7）

设当前要计算的像素的坐标值为（i，j），将（i，j）平移到（0，0）点，下标和的像素则为其亚像素，具体含义见图4。（7）式中具体的计算以其中：

一项为例，其余类似。这里、的计算没有变化，所以只要说明和两项即可。其计算如下：

，

这里是空间离散尺度，一般取为1；亚像素点处的值取和的平均值。这样所有的计算就全部表示为原始的图像像素处的值了。在迭代过程中，对不同位置（i，j）进行计算时，由于亚像素点的计算有重复，所以在每次从计算时，可先计算并存储所有亚像素点的相应值以节省计算量。根据（7）式的计算影响范围，迭代也只需在包含待修补区域的最小矩形再向外扩展2-3个像素点的区域进行即可。迭代步骤如下：

a) 设n=0；

b) 计算并存储相应区域的亚像素值；

c) 根据（7）式在待修复区域中计算，若已收敛则算法结束；否则令n=n+1，转入步骤b）；

3.2这里说明几点：

1）算法的自动性：只要修复区域给定，方向场的估计和模型（5）的修复都是自动进行的；

2）算法的计算效率：由于方向场的估计及平衡方向场的计算复杂度低于迭代的计算复杂度，因此算法的计算效率与一般的偏微分方程模型类似；另一方面，由于本文作为参照比较的其他的算法对指纹图像并不能给出有意义的修补，因此详细的算法效率比较意义不大；

3）参数的选取：一般扩散方程的离散算法，为保证计算稳定性，通常取时间离散尺度。但在数值实验过程发现（7）式的离散迭代框架，对较大的时间尺度选取依然保持稳定性。如可取或5时迭代到800次结果仍是稳定的。较大的参数选取可有效地提高收敛速度。

4）收敛的判断是扩散迭代框架中的一个难题。这里根据数值实验的结果采用迭代50次数后的结果图作为最后收敛结果的近似。

3.3）迭代方程的具体计算：

完整的离散化基于方向场的扩散偏微分方程为：

，

，其中，曲率，，，，取，

，即为第二步得到的块方向场。具体离散计算时，以为例，上述的扩散偏微分方程离散为：

按上述差分格式，对于第一项的计算：

，

上式中。

对于第二项的计算：

，

上式中。

对于第三项的计算：

，

上式中。

对于第四项的计算：

，

上式中。

。

4．根据模型处理的结果，保存图像处理信息。

数值实验针对的是清晰的、能估计出方向场的、带缺失区域的指纹图像或具有类似模式的纹理图像；模糊以致不能估计出方向场的低质指纹图像的修补不在本方法的讨论范围内。

本发明的上述结果，具有高可靠性，可应用型和可采纳性。本发明解决了目前的指纹识别算法本身仍然存在着一些问题：对输入指纹图像的质量要求过高，无法识别一些噪声较大、纹理信息较弱和残缺不全的指纹图像。目前对指纹的司法鉴定还是采用人工鉴定办法，这种方法工作量特别大，对于有签字指纹的合同和借据文本识别难度高；公安刑事案件侦破虽然有指纹自动比对系统，但是由于从现场采集的指纹往往又残缺不全，模糊不清，这就给指纹自动识别带来了人为因素的影响。本发明作为指纹识别系统中的预处理方法，有利于提高指纹识别系统的鉴定准确度。特别是在刑侦现场采集指纹与合同、借据指纹质量不是很好情况下，本发明助于案情的侦破和做出正确司法鉴定。

Claims

1.一种基于方向场的指纹图像计算机自动化修补方法，其特征在于，该方法包括以下步骤：

(1)输入待修补指纹图像；

(2)分割受污染所在的区域：对于污染区域与指纹背景图像明显有色差的图像，采用基于方向的色差阈值分割法进行分割；对于污染区域与指纹背景图像没有明显色差的图像，采用多边形区域选择法进行分割；

(3)图像修补：通过以下子步骤来实现：

(a)将待修复区域中的灰度用0-255的随机信息初始化，此时图像即为φ⁽⁰⁾；

(b)将指纹图像分割成16*16的小块，对不包含待修补区域的小块用梯度估计法估计出该小块的方向，从而得到一个初步的不完整的方向场；

(c)初步估计待修补区域的小块方向：利用步骤(b)计算出的方向场，用上下左右四个相邻块的方向平均值作为该区域的临时方向；估算方法如下：

设待修补区域为(k,l)，对待修补区域(k,l)处的方向用上下左右四个相邻块的方向平均值作为该区域的临时方向：

θ^*(k,l)＝(θ(k+1,l)+θ(k-1,l)++θ(k,l+1)+θ(k,l-1))/4，

从而得到完整的方向场θ；

(d)将步骤(c)得到的图像方向场θ进行平滑处理；

令：

O(i,j)为最终方向场结果，并且存储到计算机内存当中；

(e)将得出的指纹图像修复模型引入方向信息的偏微分方程进行离散化，得出离散计算模型：

式中，φ表示图像梯度，表示图像梯度的模，φ_t中的t表示迭代时间参数；表示曲率；表示脊线方向；φ⁽ⁿ⁾表示第n次迭代的结果，φ⁽ⁿ⁺¹⁾表示第n+1次迭代的结果，Δ_t表示迭代的时间步长，

然后用该离散计算模型迭代计算待修补区域的灰度值；

(4)根据离散计算模型处理的结果，保存图像处理信息。

2.根据权利要求1所述基于方向场的指纹图像计算机自动化修补方法，其特征在于，所述步骤(2)中，所述对于污染区域与指纹背景图像明显有色差的图像，采用基于方向的色差阈值分割法进行分割，具体方法如下：

(A)得到污染区域所在区域的一点的信息，所述信息包括坐标和RGB值：用鼠标点击图像目的位置获取坐标值(x,y)，用以下MFC函数可获取R，G，B分量值：

CClientDC*pDC＝new CClientDC(this)；

clr＝::GetPixel(pDC->m_hDC,x,y)；

R＝GetRValue(clr)；

G＝GetGValue(clr)；

B＝GetBValue(clr)；

(B)估计所在位置的方向O(i,j)；在O(i,j)方向上进行中值滤波得到能代表受污染区域RGB特征的颜色RGB值；

(C)统计全图RGB三通道的直方图，以频率最高的通道作为提取模板的通道，将频率最高的通道的灰度值作为阈值与步骤(A)得到的相应通道的灰度值作比较，根据污染情况将高于或低于阈值的像素点作为分割的结果，从而得到受污染的区域，标记这些像素点的信息并存储，作为下一步指纹图像修补的输入图像。

3.根据权利要求1所述基于方向场的指纹图像计算机自动化修补方法，其特征在于，所述步骤(2)中，所述对于污染区域与指纹背景图像没有明显色差的图像，采用多边形区域选择法进行分割，具体方法如下：

(2.1)用鼠标点击图像目的位置获取坐标值(x1,y1)，(x2,y3)……(xn,yn)，直至形成多边形包含污染区域；

(2.2)计算并获取多边形内的像素：对于每一个图像像素点P(x，y)作水平向左的射线的话，如果P在多边形内部，那么这条射线与多边形的交点必为奇数，如果P在多边形外部，则交点个数必为偶数，0也在内；如果P在多边形内部则标记为受污染区域并存储，作为下一步指纹图像修补的输入图像。