CN112115848A

CN112115848A - 低质量指纹图像的残缺区域处理方法

Info

Publication number: CN112115848A
Application number: CN202010972255.XA
Authority: CN
Inventors: 张晓欢; 满俊缨
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2020-12-22
Anticipated expiration: 2040-09-16
Also published as: CN112115848B

Abstract

低质量指纹图像的残缺区域处理方法，属于图像处理技术领域。本发明所要解决的问题是指纹中残缺指纹图像的残缺区域脊线断裂和细节点缺失的问题。本发明包括步骤一.对低质量指纹图像残缺区域的方向场进行估计计算；步骤二.获取融合后的残缺区域方向场的估计结果；步骤三.对低质量指纹图像残缺区域的方向场的残缺区域修复。本发明针对低质量指纹中残缺指纹图像的残缺区域脊线断裂和细节点缺失的现象，提出从细节点和方向场两个方面对指纹残缺区域进行修复与重建，以更准确的提取指纹有效特征，进而提高后续匹配过程的准确率。

Description

低质量指纹图像的残缺区域处理方法

技术领域

本发明涉及属于图像处理技术领域，特别涉及指纹识别技术中的指纹图像处理技术。

背景技术

生物特征应用到身份识别技术以来，指纹识别技术已经发展成为一种较稳定、成熟及应用广泛的身份验证方式。目前，指纹识别技术的研究已经取得了较好成果并得到了广泛应用，但是在实际应用中对低质量指纹识别暴露出了诸多不足，低质量指纹主要是在采集过程中因设备问题或是手指状态不佳等原因而产生的，对于指纹图像中存在的缺失、断裂、污损的残缺区域的方向场很难仅通过局部细节点信息进行有效估计，尤其是在对低质量指纹中有较大残缺区域的指纹图像方向场进行估计时，由于细节点缺失可靠性较低，仅基于细节点信息进行估计是不够的，可能无法建立可靠的方向场。以此针对距离较远、方向偏差较大的脊线断裂点进行修复的方法，结果一般是不准确的。

发明内容

本发明研发的目的是针对低质量指纹中残缺指纹图像的残缺区域脊线断裂和细节点缺失的现象，提出残缺区域的重建，以更准确的提取指纹有效特征，进而提高后续匹配过程的准确率。

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。

低质量指纹图像的残缺区域处理方法，包括以下步骤：

步骤一.对低质量指纹图像残缺区域的方向场进行估计计算；

步骤二.获取融合后的残缺区域方向场的估计结果；

步骤三.对低质量指纹图像残缺区域的方向场的残缺区域修复。

优选的：步骤一中对低质量指纹图像残缺区域的方向场进行估计计算的具体方法是：

步骤1.从指纹图像中提取细节点集{x_i,y_i,θ_i},1≤i≤N_m，其中x_i,y_i分别表示第i个细节点的位置坐标，θ_i是第i个细节点的方向，N_m是整幅指纹图像的细节点总个数；

步骤2.将指纹的残缺区域划分成M×N个大小为ω×ω的不重叠方块，对以像素点(m,n)为中心的块，用其周围八个方向中最靠近块中心点的K(K≤8)个细节点信息来预测其方向，采用以下公式对细节点的残缺区域方向场估计进行计算：

其中，ω_k是权值函数，它的取值是细节点与(m,n)之间欧氏距离的倒数，细节点距离块中心越近，ω_k的值就越小，该点对所计算的块方向场的贡献就越大，利用细节点估计出的块(m,n)的方向为：

步骤3.对指纹图像中包含奇异点时细节点的残缺区域方向场估计进行计算：

按照Poincare索引的方法求出指纹图像中的N_s个奇异点，对于奇异点集

为第i个奇异点的位置坐标，

是它的类型，通过去除奇异点附近变化剧烈的方向值对采用细节点估计的方法进行修正；

步骤4.采用以下公式对邻域方向场的残缺区域方向场进行估计计算：

d＝(O(m',n')-O_ms(m,n)+360°)mod360°

其中，D表示块(m,n)的局部邻域，n_b是D中块的数目，C(m,n)是块(m,n)邻域方向场的一致性，O(m',n')是残缺区域中的块(m,n)局部邻域的方向场，O_ms(m,n)是使用步骤1、步骤2和步骤3中的方法利用细节点和奇异点估计出的方向场。

优选的：所述步骤二中，获取融合后的残缺区域方向场的估计结果的具体方法为：通过加权的方式融合利用两种信息算出的估计值，得到指纹中残缺区域的最终估计方向场为：

O_com(m,n)＝βO_ms(m,n)+(1-β)O_f(m,n)

其中，β是经验值，取值为0.7，O_ms(m,n)是基于细节点和奇异点信息估计出的方向场的值，O_f(m,n)是基于邻域方向场估计出的方向场值。

优选的：所述步骤三中，对低质量指纹图像残缺区域的方向场的残缺区域修复的具体方法为：

步骤a.断裂点配对

确定应该被重连的对应的断裂脊线，分别计算两边脊线在断裂点处的切线方向φ_Ti和φ_Bj，对于一个Q_Ti，分别计算它所对应的φ_Ti和每个Q_Bj所对应的φ_Bj之间的方向差Δφ_i,j，如果Δφ_i,j＜T_φ，则将Q_Bj加入候选重连断裂点集E_i，遍历所有的Q_Ti，获得多个候选重连点集合，其中T_φ是经验值；

步骤b.断裂点重连

对每个

与它的候选重连点集E_i中对应的

基于估计出的方向场信息，对

与残缺区域相交的块(m_i,n_j)，计算Δφ＝|ο_com(m_i,n_j)-Δφ_i,j|，如果Δφ≤T_φ，则经过点

以方向O_com(m_i,n_j)做穿过该方块的线段交下一个小块于点J_i1；否则，以方向Δφ_i,j做穿过该方块的直线，继续从交点出发做穿过小块的线段来修复脊线

直到到达残缺区域另一边；

步骤c.断裂脊线拟合

对重连脊线上的所有转折点，单独提取和标记，并在与该脊线相连的非残缺区域中脊线上采样4个离散点，会同转折点和脊线断裂点一起，引入一次和二次曲线做拟合

通过曲线拟合方法，最终得到一条拟合后的平滑脊线；

步骤d.重连脊线筛选

为每个Q_Ti找到了包含一个或多个Q_Bj的E_i，这样对于一个Q_Ti会得到一条或多条重连后的脊线。

本发明的技术方案，具有如下有益效果：本发明提供的低质量指纹图像的残缺区域处理方法通过指纹图像中残缺区域方向场的方向场的估计计算出可靠性较高的指纹残缺区域的方向场，通过假设的变化对残缺区域方向场增加细节点进对断裂的脊线进行拟合重连，从而得到对指纹图像中距离较远、方向偏差较大的残缺区域修复。

附图说明

图1细节点特征模版端点类型的示意图；

图2细节点特征模版分叉点类型的示意图

图3用来预测块方向的细节点的示意图；

图4指纹图像中奇异点的示意图；

图5、图6是指纹脊线断裂情况的示意图；

图7断裂脊线修复方法示意图；

图8原始的残缺指纹图像示意图

图9原始的残缺指纹图像的二值化图像示意图；

图10指纹残缺区域修复与重建后图像的示意图；

图11采集到的同手指源指纹完整图像；

图12是低质量指纹图像的残缺区域处理方法的流程图；

图4中delta是三角点，loop、whorl是中心点；图5是指纹脊线断裂距离较近的脊线断裂点的示意图，图6是指纹脊线断裂距离较远的脊线断裂点的示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1、图2所示，根据本发明低质量指纹图像的残缺区域处理方法，包括如下步骤：

步骤一、对低质量指纹图像残缺区域的方向场进行估计计算

步骤1.对细节点信息计算指纹方向场的估计的计算

从指纹图像中提取细节点集{x_i,y_i,θ_i},1≤i≤N_m，其中x_i,y_i分别表示第i个细节点的位置坐标，θ_i是它的方向，N_m是整幅指纹图像的细节点总个数。

步骤2.将指纹的残缺区域划分成M×N个大小为ω×ω的不重叠方块，对以像素点(m,n)为中心的块，用其周围八个方向中最靠近块中心点的K(K≤8)个细节点信息来预测其方向，如图2所示。细节点信息计算指纹方向场的估计采用以下公式进行计算：

其中，ω_k是权值函数，它的取值是细节点与(m,n)之间欧氏距离的倒数。建立它的目的是为了考虑细节点分布位置对所要估计的块方向场的影响程度。细节点距离块中心越近，ω_k的值就越小，该点对所计算的块方向场的贡献就越大。于是，利用细节点估计出的块(m,n)的方向为

奇异点是指纹图像中一类很重要的特征点，描述指纹的宏观走向。指纹图像中的奇异点一般包括两种：中心点和三角点，如图4所示。图中可以看出，在没有奇异点的邻域内，局部方向场是基本一致并且缓慢变化的；而在奇异点附近，指纹图像的方向场变化剧烈。

因此，在利用细节点信息对低质量指纹残缺区域方向场进行估计时，还应该考虑指纹图像中包含的奇异点情况，来避免因存在奇异点而导致估计出的方向场产生偏移的情况。

按照Poincare索引的方法求出指纹图像中的N_s个奇异点。对于奇异点集

为第i个奇异点的位置坐标，

是它的类型(中心点：

三角点：

)，通过去除奇异点附近变化剧烈的方向值对采用细节点估计的方法进行修正。

步骤4.对邻域方向场的残缺区域方向场进行估计进行计算：

上述的基于细节点的方向场估计方法，能够对指纹的方向场做出有效的估计。但是在低质量指纹图像中存在的缺失、断裂、污损的残缺区域的方向场则很难仅通过局部细节点信息进行有效估计。尤其是在对低质量指纹中有较大残缺区域的指纹图像方向场进行估计时，由于细节点缺失或是可靠性较低，仅基于细节点信息进行估计是不够的，可能无法建立可靠的方向场。

一幅指纹图像中，纹线的局部走向即脊线方向是基本一致的；同时，纹线的方向一般都是缓慢、连续变化的。因此指纹图像中相邻区域之间的方向具有良好的一致性。残缺区域由于噪声影响或是信息缺失而没有连续的方向场，但残缺区域周围的方向场应该是连续并且可靠的，同时与残缺区域内的方向保持连续和一致的关系。因此通过分析，我们同时考虑残缺区域邻域的方向场O_f(m,n)对其进行估计，使用下面的公式计算方向场：

d＝(O(m',n')-O_ms(m,n)+360°)mod360°

其中，D表示块(m,n)的局部邻域(本文设置为5*5)，n_b是D中块的数目，C(m,n)是块(m,n)邻域方向场的一致性，O(m',n')是残缺区域中的块(m,n)局部邻域的方向场。O_ms(m,n)是使用步骤1、步骤2和步骤3的方法利用细节点和奇异点估计出的方向场。

之所以引入这个值，是因为这样既可以通过衡量方向一致性来决定如何利用邻域方向信息，又可以对基于细节点估计出来的方向场做验证。通过所求出的块方向O_ms(m,n)和邻域块方向O(m',n')之间的差异可以算出块(m,n)邻域方向场的一致性C(m,n)，根据该一致性与设定好的经验阈值T_C作比较，从而选择是使用局部邻域方向场的和值来计算残缺区域的方向场，还是直接用最近邻域的方向场O_nearest(m',n')来作为方向场的值。

步骤二.获取融合后的残缺区域方向场的估计结果

上面分别从细节点和领域方向场两个方面估计了低质量指纹图像残缺区域的方向场，接下来将两个信息结合起来对低质量指纹图像残缺区域的方向场进行估计，并使用一定的准则来更好的利用这两方面的全面信息来对残缺区域的方向场进行估计。

首先，将残缺区域分成大小为ω×ω的不重叠的方块，按照由外至内的顺序计算每块的方向场。这样做是因为，在残缺区域中，越靠近周围非残缺邻域的块包含的信息越接近真实指纹，越能够得到好的估计值。因此最外围的这些块最先被估计，比较靠内的块方向是基于外围的块来计算的。通过加权的方式融合利用两种信息算出的估计值，得到指纹中残缺区域的最终估计方向场为：

O_com(m,n)＝βO_ms(m,n)+(1-β)O_f(m,n)

其中，β是经验值，通过实验，取值为0.7。O_ms(m,n)是基于细节点和奇异点信息估计出的方向场的值，O_f(m,n)是基于邻域方向场估计出的方向场值。

其中残缺区域的外侧更靠近用来进行估计的非残缺区域邻域块，计算出的方向场可靠性较高；而越靠近区域中心的块，由于距离可靠的用来估计的邻域块较远，其方向场越不容易通过周围区域的信息来预测。通过此方法初步估计出方向场，可以为后续极限修复过程提供丰富有效的信息，以得到准确全面的重建结果。

步骤三.对低质量指纹图像残缺区域的方向场的残缺区域修复

对指纹残缺区域的修复和重建大多是对细化指纹图像的断裂脊线修复方法，其中，针对距离较近、方向相似的脊线断裂点(如图5所示)进行修复的方法结果一般是不准确的。通过预处理得到的残缺指纹图像经常会包含距离较远、方向偏差较大的情况(如图6所示)。

如图7所示的残缺区域中，R_T1，R_T2，…是残缺区域一边的脊线，对应的脊线断裂点是Q_T1，Q_T2，…；R_B1，R_B2，…是残缺区域另一边的脊线，对应的脊线断裂点是Q_B1，Q_B2，…，每个小块中的方向O_com(m_i,n_j)由上一步的方法估计得出。在此我们提出一下算法进行断裂脊线细节点的修复：

步骤a.断裂点配对

首先需要对两边脊线的断裂点进行配对，确定对应的应该被重连的断裂脊线，具体的方法为：分别计算两边脊线在断裂点处的切线方向φ_Ti和φ_Bj。对于一个Q_Ti，分别计算它所对应的φ_Ti和每个Q_Bj所对应的φ_Bj之间的方向差Δφ_i,j，如果Δφ_i,j＜T_φ，则将Q_Bj加入候选重连断裂点集E_i。遍历所有的Q_Ti，获得多个候选重连点集合，其中T_φ是经验值。

步骤b.断裂点重连

对每个

与它的候选重连点集E_i中对应的

基于估计出的方向场信息，依照以下办法进行重连。对

与残缺区域相交的块(m_i,n_j)，计算Δφ＝|ο_com(m_i,n_j)-Δφ_i,j|，如果Δφ≤T_φ，则经过点Q_Ti，以方向O_com(m_i,n_j)做穿过该方块的线段交下一个小块于点J_i1；否则，以方向Δφ_i,j做穿过该方块的直线。继续从交点出发做穿过小块的线段来修复脊线

直到到达残缺区域另一边。

步骤c.断裂脊线拟合

至此，已获得图7中虚线表示的初步重连后的脊线。为了能够让其更加平滑而符合指纹脊线的特征，对重连脊线上的所有转折点，单独提取和标记，并在与该脊线相连的非残缺区域中脊线上采样4个离散点，会同转折点和脊线断裂点一起，引入一次和二次曲线做拟合

通过曲线拟合方法，最终得到一条拟合后的平滑脊线。运用上述办法，能够有效的去除两脊线断裂点的间距和方向偏差的限制，更加完善的修复指纹残缺区域的断裂脊线，提高后续的细节点弥补方法的性能。

步骤d.重连脊线筛选

为了使得脊线弥补鲁棒性更强，在符合残缺区域方向的前提下考虑多种重连情况，为每个Q_Ti找到了包含一个或多个Q_Bj的E_i，这样对于一个Q_Ti会得到一条或多条重连后的脊线。分析指纹图像脊线分布的特点，对这些脊线进行筛选，并同时合理加入细节点。筛选准则为：

(1)除了中心点或三角区域的分叉点，其他分叉点与邻近的脊线基本呈近似平行关系并保持不变。因此如果某个断点能同时与残缺区域另一边的两个断裂点重连，并能保证两条重连线和周围脊线平行，则可以利用这三条脊线加入一个分叉点。

(2)相邻脊线之间的距离应该保持不变，而端点的存在会打破这种规律。因此如果某个断裂点找不到任何的重连点，并能保证周围脊线平行时，则用该断裂点产生一个端点。

(3)区域两边断裂点的个数是对细节点的一种指示。如果区域两边断裂点数的和为偶数，则区域中可能没有细节点，或细节点数为偶数；如果和为奇数，则存在细节点，并且数目为奇数。

(4)如果相邻两个小块的方向差太大，则根据周围脊线分布的情况，直接终止脊线连接过程而产生的端点；或是将某个小块的方向看作估计错误的方向，利用周围小块的方向做出判断。

经过以上分析，我们对残缺区域增加细节点并进行修改脊线。由于假设的变化，可能会有几种情况被选为修复结果。为了合理的得出修复结果，我们在这一步中考虑所有可能的结果，然后通过将修复的指纹与同手指原始正常指纹做匹配计算匹配得分，分析他们的可能性并选出最优结果。除此之外，结束点和分叉点的位置不能精确的确定，所以我们把它们放在区域中央。

利用MATLAB2016a构建软件实验平台，对所提出的指纹残缺区域修复与重建算法的有效性和可靠性做出分析验证。首先，我们使用本发明提出的指纹残缺区域修复和重建算法对残缺指纹图像进行增强，以验证该算法的有效性。我们使用基于细节点和方向场信息的指纹残缺区域重建算法来对残缺指纹图像进行处理，仿真实验结果如图8-图11所示。从图10中可以看出，对残缺面积较大的指纹图像，经过本算法重建后，被修复的断裂脊线基本符合原始指纹中脊线的分布情况；对难以恢复的细节点进行重建时，如图9中的靠下的残缺区域也有比较令人满意的结果。

本实施方式只是对本专利的示例性说明，并不限定它的保护范围，本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精神实质，都在本专利的保护范围内。