CN103136517B - 一种基于关键列选择的滚动指纹图像序列实时拼接方法 - Google Patents

Abstract

一种基于关键列选择的滚动指纹图像序列实时拼接方法，包括以下步骤：1）指纹检测：1.1）指纹出现；1.2）指纹消失；2）指纹拼接，把图像看作由一列一列组成，检测最后拼接得到图像的每一列分别是来自哪一帧，最后根据这个列的选择方案进行拼接；3）指纹图像质量估计；4）方法优化：4.1）支持回滚；4.2）拼接方法加速4.3）拼接痕迹优化；4.4）残留指纹消除。本发明利用关键列选择方法进行图像拼接，并优化方法使其支持回滚，以达到滚动指纹图像序列实时拼接的目的。本发明提高指纹图像拼接的效率以及准确性、提升实时拼接效果。

Description

一种基于关键列选择的滚动指纹图像序列实时拼接方法

技术领域

本发明涉及图像处理和模式识别等技术领域，尤其是一种滚动指纹图像序列的拼接方法。

背景技术

随着计算机技术的发展，生物识别技术成为身份认证的首选方式，其中指纹认证方式最为普遍。市面上的指纹采集仪采集面积通常比较小，且大多采用平面按捺的方式进行采集，采集者很难每次都采集到相同的指纹区域，因而增加了指纹身份认证的拒识率。用同一手指滚动按捺采集指纹图像，并将多帧有重叠区域的图像拼接得到完整无缝的指纹图像，可以克服如上的缺陷，且增大指纹区域有效面积，提供更多的指纹特征信息，从而使身份认证更准确。

Duan等人提出了基于覆盖计算的拼接方法，将得到的有效的相邻两帧指纹图像进行像素覆盖处理，并通过低通滤波来消除错位重印，但是方法时间复杂度较高，无法实现实时拼接。WangPeng等人提出的方法从有效图像帧的二值化图像的参考区域提取图像波形信息，通过计算有效相邻图像帧之间的波形相似度来估计垂直和水平位移，从而根据位移量进行拼接，但这种方法容易产生明显的重印现象。JieZhou等人提出的方法将指纹看成是由圆柱面和圆锥面组成的，分别对圆柱面和圆锥面进行处理。由圆柱面确定两指纹帧的拼接点后进行初步拼接，之后对圆锥面进行一定角度的旋转处理得到最后完整的滚动拼接指纹帧，这种方法有明显的拼接错位痕迹，容易产生指纹伪特征点。本发明提出的基于列选择的滚动指纹图像序列实时方法不但能满足实时拼接的要求，不会产生明显的拼接痕迹和重影现象，且能支持回滚，实验证明该方法具有较高的准确性和实用性。

发明内容

为了克服现有的滚动指纹实时拼接技术仍不够成熟且实时拼接效果比较差的不足，本发明提供了一种提高指纹图像拼接的效率以及准确性、提升实时拼接效果的基于关键列选择的滚动指纹图像序列实时拼接方法。

为了解决上述技术问题，本发明采用如下技术方案：

一种基于关键列选择的滚动指纹图像序列实时拼接方法，所述拼接方法包括以下步骤：

1）指纹检测：包括指纹出现和指纹消失两个状态的检测；

1.1）指纹出现检测；

1.2）指纹消失检测；

2）指纹拼接：把图像看作由一列一列组成，检测最后拼接得到图像的每一列分别是来自哪一帧，最后根据这个列的选择方案进行拼接；拼接过程如下：

假设I＝{I₁,I₂,...,I_K}为采集得到的一个图像序列，I_K为当前帧，先定义两个参量：

以某一列为中心的三列的背景点个数C_i(j)：

$C_i\left(j\right)=\left|{\left\{(x,y)\right|I_i(x,y)>T_i\}}_{\underset{1\≤y\≤H}{j-1\≤x\≤}j+1}\right|---\left(1\right)$

其中T₁为给定的阈值；

以某一列为中心的三列的像素灰度值之和f_i(j)：

$f_i\left(j\right)=\underset{\underset{1\≤y\≤H}{j-1\≤}x\≤j+1}{\mathrm{\Σ}}{I}_i(x,y)---\left(2\right)$

分别定义两个概念中心帧和关键帧：

其中，为图像序列I的中心帧，中的第j₀列为中心列，其中“∧”表示逻辑与；选定中心帧和中心列后，继而选择中心列左边的列对应的帧，以及中心列右边的列对应的帧，被选定的列称为关键列，对应的帧称为关键帧；滚动指纹拼接的过程定义为拼接结果图像中的每一列对应关键帧的选择；

假如手指从左向右滚动，第i帧的第j列被选定为关键列，记为Ω(j)＝i，则拼接结果中关键列的前一列，应该来自于关键帧之前的一帧或者关键帧自身，选择规则如下：

如果C_i(j-1)＞C_i-1(j-1)，则第(i-1)帧的第(j-1)列被选定为关键列，记为Ω(j-1)＝i-1，否则第i帧的第(j-1)列被选定为关键列，记为Ω(j-1)＝i；

同理得到手指从右向左滚动时的计算方法，最后得到一个列的选择方案{Ω(j)}_1≤j≤W，拼接结果中的每一列都用对应的关键帧Ω(j)去填充，从而得到一幅完整的拼接图像；

3)指纹图像质量估计：

Q(I_R)＝α×A(I_R)+β×F(I_R)(4)

其中，I_R表示最后拼接得到的指纹图像，A(I_R)表示I_R的前景区域面积占图像总面积的百分比，F(I_R)表示归一化后的方差，α和β表示面积和方差的权重系数；如果Q(I_R)＜T₂，其中T₂为给定阈值，则重新进行拼接；

4)方法优化过程如下：

4.1）支持回滚：假如使用者滚动中发现拼接效果不满意，不拿起手指直接滚动回来，采集新的指纹图像。

进一步，所述步骤4）还包括以下步骤：

4.2）方法加速：当质心只是小幅度回滚，或者前进的幅度很小时不做任何处理，直接忽略；

4.3）拼接痕迹优化；

4.4）残留指纹消除。

更进一步，所述步骤1）中，指纹出现检测的过程为：

手指还未放到采集仪上时采集一帧作为背景帧，然后比较当前帧与背景帧中灰度差大于给定阈值T₃的像素个数N(I_i)：

$N\left(I_i\right)=\left|{\left\{(x,y)\right||I_i(x,y)-I_0(x,y)|>T_3\}}_{\underset{1\≤y\≤H}{1\≤x\≤W}}\right|---\left(5\right)$

其中I_i表示采集到的滚动指纹图像序列I＝{I₁,I₂,...,I_K}中第i帧图像，I_i(x,y)表示像素点(x,y)的灰度值，I₀表示背景帧，W和H分别表示图像的宽度和高度,|·|表示绝对值运算，|{·}|表示集合中像素点的个数，当N(I_i)＞T₄时，T₄为给定的阀值，即认为指纹出现，开始进入拼接阶段；

所述步骤1）中，指纹消失检测过程如下：

采用图像灰度分布直方图H的特征来检测这一变化，统计灰度值在区间[h₁,h₂]中的点数量Γ(h₁,h₂)：

$\mathrm{\Γ}(h_1,h_2)=\underset{h_1\≤h\≤h_2}{\mathrm{\Σ}}{H}_i\left(h\right)---\left(6\right)$

其中H_i(h)为I_i的灰度分布直方图，h₁、h₂为给定参数。如果Γ(h₁,h₂)＞T₅，T₅为给定阈值，则当前图像为指纹图像，否则为背景图像，即指纹消失。

所述步骤4）中，即支持回滚过程中，根据对质心(x_i,y_i)的比较，检测质心是否反向运动，假设当前从左向右滚动，那么有x_i＞x_m（其中1则满足下列两个不等式中的其中一个就认为手指回滚，清空当前的拼接结果重新开始拼接：

x_m-x_i＞γ×T₆(7)

x_m-x_i＞T₆∧x_m-x_i-1＞T₆∧x_m-x_i-2＞T₆(8)

其中γ为给定的系数，T₆为给定阀值。

所述步骤4）中，方法加速过程如下：当质心只是小幅度回滚，或者前进的幅度很小时，即：|x_i-x_k|＜T₇，则不对第k帧做任何处理，直接忽略；其中，T₇是给定的阈值，x_k为第k帧图像I_k的质心横坐标。

所述步骤4）中，拼接痕迹优化过程为：根据质心的y_i坐标作为分割线，将图像帧I_i分为上面部分和下面部分根据两个图像序列和可以产生相应的关键帧选择方案和

所述步骤5）中，残留指纹消除的过程为：比较拼接结果I_R和背景帧I₀对应的像素点(x,y)，将那些灰度值差别比较小的点都赋为理想背景帧I'₀（采集仪表面干净且无指纹图像时采集得到的图像帧）对应像素点(x,y)的灰度值，即当|I_R(x,y)-I₀(x,y)|＜I'₀(x,y)时，I_R(x,y)＝I'₀(x,y)。

本发明的技术构思为：首先检测到指纹出现，将指纹图像看成由一列一列组成，先选定中心帧和中心列，继而向左右两个方向从连续采集到的图像帧中根据列选择方案选出合适的关键帧中的关键列进行拼接，得到完整指纹图像；如果使用者在使用中对拼接效果不满意，可以直接回滚采集新的指纹图像。

滚动指纹图像拼接是指纹识别方法中最为基础和重要的领域之一，它能将手指滚动过程中采集到的多帧图像拼接起来，得到完整的指纹图像，提供更多的指纹信息。目前所存在的滚动指纹图像拼接方法大多不能实现实时拼接，本发明运用列选择方法进行中心帧、中心列、关键帧、关键列的选择并进行实时拼接，经大量实验验证，具有很高的拼接效率和实时操作性。

本发明的有益效果主要在于：一方面对于滚动指纹拼接提出列选择方法，将图像看成由一列一列组成，以列为单位进行拼接，提高了指纹图像拼接的效率以及准确性；另一方面对方法进行了优化，支持指纹回滚，减少拼接痕迹，以及消除残留指纹。

附图说明

图1是基于关键列选择的滚动指纹图像序列实时方法流程图。

图2是指纹图像的直方图和背景图像的直方图，其中，（a）为有指纹图像的灰度直方图，（b）为背景图像的灰度直方图。

图3是本方法拼接得到指纹图像及没有进行拼接痕迹优化和残留指纹消除的对比图，其中，（a）为本发明方法拼接得到的结果，（b）为本发明方法不进行拼接痕迹优化的结果，（c）为本发明方法不进行残留指纹去除的结果。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于关键列选择的滚动指纹图像序列实时拼接方法，所述方法包括以下步骤：

1）指纹检测：包括指纹出现和指纹消失两个状态的检测。

1.1）指纹出现检测

手指还未放到采集仪上时采集一帧作为背景帧，然后比较当前帧与背景帧中灰度差大于给定阈值T₁的像素个数N(I_i)：

$N\left(I_i\right)=\left|{\left\{(x,y)\right||I_i(x,y)-I_0(x,y)|>T_1\}}_{\underset{1\≤y\≤H}{1\≤x\≤W}}\right|---\left(1\right)$

其中I_i表示采集到的滚动指纹图像序列I＝{I₁,I₂,...,I_K}中第i帧图像，I_i(x,y)表示像素点(x,y)的灰度值，I₀表示背景帧，W和H分别表示图像的宽度和高度,|·|表示绝对值运算，|{·}|表示集合中像素点的个数。当N(I_i)＞T₂时，T₂为给定的阀值，即认为指纹出现，开始进入拼接阶段。

1.2）指纹消失检测

采用图像灰度分布直方图H的特征来检测这一变化，如图2所示。统计灰度值在区间[h₁,h₂]中的点数量Γ(h₁,h₂)：

$\mathrm{\Γ}(h_1,h_2)=\underset{h_1\≤h\≤h_2}{\mathrm{\Σ}}{H}_i\left(h\right)---\left(2\right)$

其中H_i(h)为I_i的灰度分布直方图，h₁、h₂为给定参数。如果Γ(h₁,h₂)＞T₃，T₃为给定阈值，则当前图像为指纹图像，否则为背景图像，即指纹消失。

2）指纹拼接

把图像看作由一列一列组成，检测最后拼接得到图像的每一列分别是来自哪一帧，最后根据这个列的选择方案进行拼接。假设I＝{I₁,I₂,...,I_K}为采集得到的一个图像序列，I_K为当前帧，先定义两个参量：

1.以某一列为中心的三列的背景点个数C_i(j)：

$C_i\left(j\right)=\left|{\left\{(x,y)\right|I_i(x,y)>T_4\}}_{\underset{1\≤y\≤H}{j-1\≤x\≤}j+1}\right|---\left(3\right)$

其中T₄为给定的阈值。

2.以某一列为中心的三列的像素灰度值之和f_i(j)：

$f_i\left(j\right)=\underset{\underset{1\≤y\≤H}{j-1\≤}x\≤j+1}{\mathrm{\Σ}}{I}_i(x,y)---\left(4\right)$

分别定义两个概念中心帧和关键帧：

其中，为图像序列I的中心帧，中的第j₀列为中心列，其中“∧”表示逻辑与。选定中心帧和中心列后，继而选择中心列左边的列对应的帧，以及中心列右边的列对应的帧，被选定的列称为关键列，对应的帧称为关键帧（中心帧是特殊的关键帧）。滚动指纹拼接的过程可定义为拼接结果图像中的每一列对应关键帧的选择。

假如手指从左向右滚动，第i帧的第j列被选定为关键列（记为Ω(j)＝i），则拼接结果中关键列的前一列，应该来自于关键帧之前的一帧或者关键帧自身，选择规则如下：

如果C_i(j-1)＞C_i-1(j-1)，则第(i-1)帧的第(j-1)列被选定为关键列（记为Ω(j-1)＝i-1），否则第i帧的第(j-1)列被选定为关键列（记为Ω(j-1)＝i）。

同理可得手指从右向左滚动时的计算方法，最后得到一个列的选择方案{Ω(j)}_1≤j≤W，拼接结果中的每一列都用对应的关键帧Ω(j)去填充，从而得到一幅完整的拼接图像。

3）指纹图像质量Q(I_R)估计

Q(I_R)＝α×A(I_R)+β×F(I_R)(6)

其中I_R表示最后拼接得到的指纹图像，A(I_R)表示I_R的前景区域面积占图像总面积的百分比，F(I_R)表示归一化后的方差，α和β表示面积和方差的权重系数。如果Q(I_R)＜T₅，其中T₅为给定阈值，则重新进行拼接。

4）方法优化，以提高方法的鲁棒性和实时性：

4.1）支持回滚：假如使用者滚动中发现拼接效果不满意，可以不拿起手指直接往回滚动。根据对质心(x_i,y_i)的比较，检测质心是否反向运动。假设当前从左向右滚动，那么有x_i＞x_m（其中），则满足下列两个不等式中的其中一个就认为手指回滚，清空当前的拼接结果重新开始拼接：

x_m-x_i＞γ×T₆(7)

x_m-x_i＞T₆∧x_m-x_i-1＞T₆∧x_m-x_i-2＞T₆(8)

其中γ为给定的系数，T₆为给定阀值。

4.2）方法加速：当质心只是小幅度回滚，或者前进的幅度很小时，即：

|x_i-x_k|＜T₇，则不对第k帧做任何处理，直接忽略。其中，T₇是给定的阈值，x_k为第k帧图像I_k的质心横坐标。这样不但能加快方法的处理速度，还能减少由于关键帧太聚集引起的拼接不连贯。

4.3）拼接痕迹优化：根据质心的y_i坐标作为分割线，将图像帧I_i分为上面部分和下面部分根据两个图像序列可以产生相应的关键帧选择方案和如图3所示，这一步骤可以去除由于手指在滚动过程中固有的弹性形变所引起的拼接缝隙。

4.4）残留指纹消除：比较拼接结果I_R和背景帧I₀对应的像素点(x,y)，将那些灰度值差别比较小的点都赋为理想背景帧I'₀（采集仪表面干净且无指纹图像时采集得到的图像帧）对应像素点(x,y)的灰度值，即当|I_R(x,y)-I₀(x,y)|＜I'₀(x,y)时，I_R(x,y)＝I'₀(x,y)，从而消除采集仪上残留指纹的干扰。如图3所示，残留指纹的消除能有效提供拼接指纹的质量。

Claims (8)

1.一种基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述拼接方法包括以下步骤：

1)指纹检测：包括指纹出现和指纹消失两个状态的检测；

1.1)指纹出现检测；

1.2)指纹消失检测；

2)指纹拼接：把图像看作由一列一列组成，检测最后拼接得到图像的每一列分别是来自哪一帧，最后根据这个列的选择方案进行拼接；拼接过程如下：

假设I＝{I₁,I₂,…,I_K}为采集得到的一个图像序列，I_K为当前帧，先定义两个参量：

以某一列为中心的三列的背景点个数C_i(j)：

其中T₁为给定的阈值，I_i(x,y)表示像素点(x,y)的灰度值,|·|表示绝对值运算，|{·}|表示集合中像素点的个数，W表示图像的宽度；

以某一列为中心的三列的像素灰度值之和f_i(j)：

其中，H表示图像的高度；

分别定义两个概念中心帧和关键帧：

其中，为图像序列I的中心帧，中的第j₀列为中心列，其中表示逻辑与；选定中心帧和中心列后，继而选择中心列左边的列对应的帧，以及中心列右边的列对应的帧，被选定的列称为关键列，对应的帧称为关键帧；滚动指纹拼接的过程定义为拼接结果图像中的每一列对应关键帧的选择；

假如手指从左向右滚动，第i帧的第j列被选定为关键列，记为Ω(j)＝i，则拼接结果中关键列的前一列，应该来自于关键帧之前的一帧或者关键帧自身，选择规则如下：

如果C_i(j-1)＞C_i-1(j-1)，则第(i-1)帧的第(j-1)列被选定为关键列，记为Ω(j-1)＝i-1，否则第i帧的第(j-1)列被选定为关键列，记为Ω(j-1)＝i；

同理得到手指从右向左滚动时的计算方法，最后得到了一个列的选择方案{Ω(j)}_1≤j≤W，拼接结果中的每一列都用对应的关键帧Ω(j)去填充，从而得到一幅完整的拼接图像；

3)指纹图像质量估计：

Q(I_R)＝α×A(I_R)+β×F(I_R)(4)

其中，I_R表示最后拼接得到的指纹图像，A(I_R)表示I_R的前景区域面积占图像总面积的百分比，F(I_R)表示归一化后的方差，α和β表示面积和方差的权重系数；如果Q(I_R)＜T₂，其中T₂为给定阈值，则重新进行拼接；

4)方法优化过程如下：

4.1)支持回滚：假如使用者滚动中发现拼接效果不满意，不拿起手指直接滚动回来，采集新的指纹图像。

2.如权利要求1所述的一种基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤4)还包括以下步骤：

4.2)方法加速：当质心只是小幅度回滚，或者前进的幅度很小时不做任何处理，直接忽略；

4.3)拼接痕迹优化；

4.4)残留指纹消除。

3.如权利要求1或2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤1)中，指纹出现检测的过程为：

手指还未放到采集仪上时采集一帧作为背景帧，然后比较当前帧与背景帧中灰度差大于给定阈值T₃的像素个数N(I_i)：

其中I_i表示采集到的滚动指纹图像序列I＝{I₁,I₂,…,I_K}中第i帧图像，I_i(x,y)表示像素点(x,y)的灰度值，I₀表示背景帧，W和H分别表示图像的宽度和高度,|·|表示绝对值运算，|{·}|表示集合中像素点的个数，当N(I_i)＞T₄时，T₄为给定的阀值，即认为指纹出现，开始进入拼接阶段。

4.如权利要求1或2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤1)中，指纹消失检测过程如下：

采用图像灰度分布直方图H的特征来检测这一变化，统计灰度值在区间[h₁,h₂]中的点数量Γ(h₁,h₂)：

其中H_i(h)为I_i的灰度分布直方图，h₁、h₂为给定参数，如果Γ(h₁,h₂)＞T₅，T₅为给定阈值，则当前图像为指纹图像，否则为背景图像，即指纹消失。

5.如权利要求1或2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤4)中，支持回滚过程中，根据对质心(x_i,y_i)的比较，检测质心是否反向运动，假设当前从左向右滚动，那么有x_i＞x_m，其中，则满足下列两个不等式中的其中一个就认为手指回滚，清空当前的拼接结果重新开始拼接：

x_m-x_i＞γ×T₆(7)

其中γ为给定的系数，T₆为给定阀值。

6.如权利要求2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤4)中，拼接方法加速过程如下：当质心只是小幅度回滚，或者前进的幅度很小时，即：|x_i-x_k|＜T₇，则不对第k帧做任何处理，直接忽略；其中，T₇是给定的阈值，x_k为第k帧图像I_k的质心横坐标。

7.如权利要求2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤4)中，拼接痕迹优化过程为：根据质心的y_i坐标作为分割线，将图像帧I_i分为上面部分和下面部分根据两个图像序列和可以产生相应的关键帧选择方案和

8.如权利要求2所述的基于关键列选择的滚动指纹图像序列实时拼接方法，其特征在于：所述步骤4)中，残留指纹消除的过程为：比较拼接结果I_R和背景帧I₀对应的像素点(x,y)，将那些灰度值差别比较小的点都赋为理想背景帧I′₀对应像素点(x,y)的灰度值，所述理想背景帧I′₀为采集仪表面干净且无指纹图像时采集得到的图像帧，即当|I_R(x,y)-I₀(x,y)|＜I'₀(x,y)时，I_R(x,y)＝I′₀(x,y)。