CN101533470A - 用于刮擦传感器图像拼接的方法及装置 - Google Patents

Abstract

本发明涉及用于刮擦传感器图像拼接的方法及装置。该方法包括：步骤10，提取指纹图像片段的背景；步骤20，将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。本发明解决了刮擦传感器采集拼接的图像前景背景分离困难的问题，该问题由于直接拼接图像中背景会产生类似于指纹的纹理这个现象导致。通过在图像拼接的过程中去除背景的方法，更准确的在拼接成的图像上去除背景，避免了拼接过程中在背景区域形成的上述的类似指纹的纹理干扰，改善了指纹特征提取和识别的效果。

Description

用于刮擦传感器图像拼接的方法及装置

技术领域

本发明涉及指纹传感器领域，尤其涉及用于刮擦传感器图像拼接的方法及装置。

背景技术

生物识别作为安全应用，由于其易用性和一定程度上的不可伪造性，很早便应用在刑侦领域。近年来身份认证的需求不断增长，随着公众的逐步接受和认可，自动指纹识别系统必将得到更广泛的应用。刮擦传感器，通过在条状传感器表面滑动手指以检测指纹，具有体积小、功耗低、价格便宜的优势，适于应用在手机、智能电话、PDA或移动存储设备等场合。

在指纹图像中，表现指纹的脊线谷线纹理的区域称之为前景，非指纹区域或者噪声严重以致无法识别指纹纹理的区域，称之为背景。刮擦式指纹传感器采集手指扫过传感器过程中的图像片段，再用软件重构指纹图像(如图2所示)。重构过程称为拼接。

指纹图像预处理是指纹识别的前提。在各种指纹识别设备的图像预处理中，需要对所获取的指纹图像实施特征提取，并通过使用所提取的特征信息来进行匹配以实现身份识别。指纹图像前景背景分离是指纹图像预处理的一部分，以避免在背景区域中提取特征，从而提高特征提取的准确性，同时节省处理时间，提高整个系统性能。

刮擦式指纹传感器由于其较小尺寸和较低成本，使得在采集指纹时图像出现各种噪声在确定方向上的增加。在为了较小尺寸而使用条状指纹传感器获取了指纹图像的情况下，当手指滑动并获取指纹图像时，诸如传感器上的污点，或者由于传感器本身在边缘处的频率影响产生的噪声，会在指纹背景中引入条状或者带状条纹。若这些条纹在拼接后的图像中仍然存在，则现有主要依据前景背景像素灰度方差的不同来分离背景的方法，难以有效分离背景。这使得指纹图像特征的提取，因背景中存在的类似于指纹纹理的图像而受不利影响。

发明内容

为了解决上述的技术问题，提供了用于刮擦传感器图像拼接的方法及装置，其目的在于，以更低的计算复杂度更准确的提取背景，更有利于指纹特征的提取。

本发明提供了用于刮擦传感器图像拼接的方法，其特征在于，

步骤10，提取指纹图像片段的背景；

步骤20，将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。

步骤10包括：

步骤A，采集指纹图像片段；

步骤B，计算所述当前采集的指纹图像片段与上一指纹图像片段的前景偏移量；

步骤C，判断当前采集的指纹图像片段与上一指纹图像片段前景偏移量是否小于第一阈值；如果小于第一阈值则舍去当前采集的指纹图像片段，执行步骤A，否则执行步骤D；

步骤D，将当前采集的指纹图像片段与上一指纹图像片段进行比较，识别出背景并从当前采集的指纹图像片段中去除。

步骤20中，将去除背景的指纹图像片段依据前景偏移量拼接为完整的去除了背景的指纹图像。

步骤B中，前景偏移量是含有指纹纹理的前景偏移量。

步骤B中，前景偏移量的计算通过相关性极值判定方法实现。

指纹图像片段为一帧采集的图像。

步骤C中，第一阈值根据手指滑动速率和传感器采集的指纹图像速率的相互关系计算得到。

步骤D中，背景的判定基于相邻两帧指纹图像片段原点处背景的互相关性。

步骤D中，原点处背景的互相关性判断通过互相关函数值与第二阈值的关系判定来实现；第二阈值根据传感器采集到的图像像素灰度范围计算得到。

步骤20中，在拼接指纹图像时采用中值滤波拼接法、小波变换拼接法或者加权平均拼接法进行拼接。

本发明提供了用于刮擦传感器图像拼接的装置，包括：背景提取装置和拼接装置；

背景提取装置，用于提取指纹图像片段的背景；

拼接装置，用于将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。

背景提取装置，还用于采集指纹图像片段；计算所述当前采集的指纹图像片段与上一指纹图像片段的前景偏移量；判断当前采集的指纹图像片段与上一指纹图像片段前景偏移量是否小于第一阈值；如果小于第一阈值则舍去当前采集的指纹图像片段并采集下一指纹图像片段，否则将当前采集的指纹图像片段与上一指纹图像片段进行比较，识别出背景并从当前采集的指纹图像片段中去除。

拼接装置，用于将去除背景的指纹图像片段依据前景偏移量拼接为完整的去除了背景的指纹图像。

前景偏移量是含有指纹纹理的前景偏移量。

前景偏移量的计算通过相关性极值判定方法实现。

指纹图像片段为一帧采集的图像。

第一阈值根据手指滑动速率和传感器采集的指纹图像速率的相互关系计算得到。

背景的判定基于相邻两帧指纹图像片段原点处背景的互相关性。

原点处背景的互相关性判断通过互相关函数值与第二阈值的关系判定来实现；第二阈值根据传感器采集到的图像像素灰度范围计算得到。

在拼接指纹图像时采用中值滤波拼接法、小波变换拼接法或者加权平均拼接法进行拼接。

本发明解决了刮擦传感器采集拼接的图像前景背景分离困难的问题，该问题由于直接拼接图像中背景会产生类似于指纹的纹理这个现象导致。通过在图像拼接的过程中去除背景的方法，更准确的在拼接成的图像上去除背景，避免了拼接过程中在背景区域形成的上述的类似指纹的纹理干扰，改善了指纹特征提取和识别的效果。

附图说明

图1是本发明工作流程图；

图2是刮擦传感器拼接原理示意图；

图3是前景偏移示意图；

图4是现有技术中正常拼接后图像；

图5是按本发明拼接后的图像。

具体实施方式

本发明利用的原理是：刮擦传感器对指纹图像的采集基于手指在传感器上的滑动，因此前后两次采集到的图像片段前景有一定的偏移，而背景则不存在偏移。

本发明提供的解决方案是：一种用于刮擦式传感器图像拼接的方法，将待拼接的指纹图像片段先进行去背景处理，再拼接成完整的指纹图像。

可包括如下步骤：

步骤1，计算所述当前待拼接指纹图像片段与上一指纹图像片段的前景偏移量；

步骤2，判断当前指纹图像片段与上一指纹图像片段前景偏移量是否小于阈值，如果小于阈值则舍去新指纹图像片段，取下一指纹图像片段，返回步骤1；大于阈值进入步骤3；

步骤3，将前后两图像片段进行比较，判断出背景块或列(n×1块就是列)并标记，以从指纹图像片段中去除；

步骤4，将去除了背景的图像片段拼接为完整的指纹图像。

步骤1所述的前后两幅图像的前景偏移量可通过多种相关性极值判定方法实现。

相关性判定方法有：差的绝对值和的极小值，差的方差的极小值，归一化相关函数的极大值，其他相关函数方法(如基于傅立叶变换的相位相关方法)求得的相关函数的极大值等。

步骤2中，偏移量小于阈值时，表明这两帧的间隔中，手指相对于传感器没有移动或移动量过小，新帧不包含有意义的新信息，故舍弃，回到步骤1，等待下一个图像片段输入。若偏移量大于阈值，表明这两帧间隔中手指相对于传感器发生了有效的移动，进入步骤3。

步骤3所述背景块或列(n×1块就是列)的判断，可使用多种方法：差的绝对值和小于阈值，差的方差小于阈值，归一化相关函数大于阈值，其他相关函数方法(如基于傅立叶变换的相位相关方法)求得的相关函数大于阈值等。

步骤4所述去除了背景的图像片段中，拼接方法可以采用多种方法，例如中值滤波拼接法，小波变换拼接法，加权平均拼接法等。

所述一个图像片段即是一帧采集的图像。

步骤2所述阈值的选取应根据手指滑动速率和传感器采集的图像速率的相互关系来计算。

现有的传感器点阵密度一般是a＝370～500dpi

若传感器采集相邻两帧时间间隔t，手指在传感器上滑动的速率为v，由于采集速率很快，因此，t时间内，滑动的距离s＝v*t会小于传感器采集阵列的宽度d，对应到像素坐标上就是前景偏移量W＝s*a，相应的采集帧的宽度在像素坐标下的值为D＝d*a.

现实中，时间间隔t和手指滑动速率v都是变量，依实际情况而定，但对应阈值则是对手指刮擦速率的约定，手指滑动速率过小时，会导致前景偏移量远远小于传感器采集阵列的宽度，即可认为手指无滑动，新帧不包含有效信息，因此，该阈值可依据采集阵列宽度值来限定，例如，可选定为1/10*D。

步骤3所述阈值的选取应根据传感器采集到的图像像素灰度范围来计算。

例如，可根据传感器采集到的图像像素灰度范围设定在1/8最大灰度范围，也可以根据情况人为设定(例如灰度范围在0-255的时候设定为32)。

本发明普遍适于市场上各类刮擦式指纹传感器采集到的指纹图像的背景提取，用于在刮擦式传感器采集的指纹数据的拼接过程中提取背景。如图1所示，本发明具体包括：

步骤101，开始；

步骤102，采集一帧图像片段；

步骤103，计算所述当前带拼接指纹图像片段与上一指纹图像片段的前景偏移量；

设采集图像的像素为M×N，f₁(x，y)和f₂(x，y)是相邻两帧指纹图像片段的像素的灰度值，若两帧间手指的平移在像素坐标下对应为(Δx，Δy)(如图3所示)，则两个图像片段的重叠区域为(M-Δx)*(N-Δy)，且在重叠区域内f₁(x，y)和f₂(x，y)有如下关系：

f₂(x，y)≈f₁(x+Δx，y+Δy)

由于指纹图像的自相关函数特性，在相关函数域上，相关函数的最大值的坐标正好对应了偏移量(Δx，Δy)。因此，求两幅图像相关函数的极值，即可得到偏移量(Δx，Δy)的值。

求两幅图像相关函数有多种方法和近似方法，例如：

方法一：求差的绝对值的和，由于f₂(x，y)≈f₁(x+Δx，y+Δy)，相关函数的最大值对应了差的绝对值的和最小值。通过求

$S(\mathrm{\Δx},\mathrm{\Δy})=\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}|f_1(x+\mathrm{\Δx},y+\mathrm{\Δy})-f_2(x,y)|---\left(1\right)$

找到最小的S_min所对应的(Δx，Δy)就是要求的前景偏移量。

方法二：求差的方差，由于f₂(x，y)≈f₁(x+Δx，y+Δy)，相关函数的最大值对应了差的方差的最小值。通过求

$S^2(\mathrm{\Δx},\mathrm{\Δy})=\frac{1}{(M-\mathrm{\Δx})*(N-\mathrm{\Δy})}\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}{(D(x,y)-E(x,y))}^2---\left(2\right)$

其中：

$D(x,y)=|f_1(x+\mathrm{\Δx},y+\mathrm{\Δy})-f_2(x,y)|,E(x,y)=\frac{\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}|f_1(x+\mathrm{\Δx},y+\mathrm{\Δy})-f_2(x,y)|}{(M-\mathrm{\Δx})*(N-\mathrm{\Δy})}$

找到最小的S² _min所对应的(Δx，Δy)就是要求的前景偏移量。

方法三：归一化的相关函数方法，求归一化的相关函数

$S(\mathrm{\Δx},\mathrm{\Δy})=\frac{\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}{f}_1(x+\mathrm{\Δx},y+\mathrm{\Δy})f_2(x,y)}{\sqrt{\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}{f_1}^2(x+\mathrm{\Δx},y+\mathrm{\Δy})\underset{x=1}{\overset{M-\mathrm{\Δx}}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-\mathrm{\Δy}}{\mathrm{\Σ}}}{f_2}^2(x,y)}}---\left(3\right)$

找到最大的S_max所对应的(Δx，Δy)就是要求的前景偏移量。

方法四：其他方法，例如基于傅立叶变换的相位相关方法等，求相关函数，找到最大值S_max所对应的(Δx，Δy)就是要求的前景偏移量。

此处基于背景相关函数的幅度小于指纹相关函数主峰与次峰的差的假设。当该假设不成立，背景的相关函数幅度会影响前景相关函数最大值的判决。如果假设不成立，需要先进行预处理，在满足上述假设之后求两幅图像相关函数。

步骤104，判断当前指纹图像片段与上一指纹图像片段前景偏移量是否小于阈值。th_offset为选定阈值。前景偏移量小于th_offset时，表明这两帧的间隔中，手指相对于传感器没有移动或移动很小，新帧不包含有效的新信息，故舍弃，回到步骤102，等待下一个图像输入；若偏移量大于th_offset，进入步骤105。

步骤105，将前后两图像片段进行比较，判断出背景块或列(n×1块就是列)并标记，以从指纹图像片段中去除；

设采集图像的像素为M×N，f₁(x，y)和f₂(x，y)是相邻两帧指纹图像片段的像素的灰度值，将前后两帧采集的图像分成若干的小块，每块像素为m×n

由于指纹图像原点处背景的互相关性，在相关函数域上，求两幅图像对应块的相关函数的值，即可判定背景。再将判定为相似的块或列去除(标记为0)。

指纹图像原点处对应的背景区块上，f₁(x，y)和f₂(x，y)有如下关系：

f₂(x，y)≈f₁(x，y)。th_back为选定阈值。

判定两幅图像块或列为背景并去除(标记为0)有多种方法和近似方法，例如：

方法一：求差的绝对值的和：

$\mathrm{Sub}(x,y)=\underset{x=1}{\overset{m}{\mathrm{\Σ}}}\underset{y=1}{\overset{n}{\mathrm{\Σ}}}|f_1(x,y)-f_2(x,y)|---\left(4\right)$

则：

$f_2(x,y)=\left\{\begin{array}{cc}0& \mathrm{Sub}(x,y)<\mathrm{th}\_\mathrm{back}\\ f_2(x,y)& \mathrm{else}\end{array}\right.$

方法二：求差的方差：

${\mathrm{Sub}}^2(x,y)=\frac{1}{m*n}\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}{(D(x,y)-E(x,y))}^2---\left(5\right)$

其中：

$D(x,y)=|f_1(x,y)-f_2(x,y)|,E(x,y)=\frac{\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}|f_1(x,y)-f_2(x,y)|}{m*n}$

则：

$f_2(x,y)=\left\{\begin{array}{cc}0& {\mathrm{Sub}}^2(x,y)<\mathrm{th}\_\mathrm{back}\\ f_2(x,y)& \mathrm{else}\end{array}\right.$

方法三：归一化的相关函数方法，求归一化的相关函数

$\mathrm{Sim}(x,y)=\frac{\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}{f}_1(x,y)f_2(x,y)}{\sqrt{\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}{f_1}^2(x,y)\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{n}{\mathrm{\&Sigma;}}}{f_2}^2(x,y)}}---\left(6\right)$

则：

$f_2(x,y)=\left\{\begin{array}{cc}0& \mathrm{Sim}(x,y)>\mathrm{th}\_\mathrm{back}\\ f_2(x,y)& \mathrm{else}\end{array}\right.$

方法四：其他方法，例如基于傅立叶变换的相位相关方法求得的相关函数大于阈值时将背景标记为0等。

步骤106，将去除背景后的图像片段进行拼接。

通过步骤103中计算出的偏移量(Δx，Δy)，将新的图像片段移动该偏移量后，在旧的图像片段的坐标系内，和旧的图像片段合并。旧图象片段不包含的部分由新图象片段替代；重叠部分，可取两幅图像片段对应像素的加权平均值，也可以利用中值滤波法，小波变换法等，避免拼接成的图像模糊或有明显拼接痕迹出现。

步骤107，判断拼接是否完成，如果是则结束108，否则执行步骤102。

图5给出了用本专利提供的方法拼接后的指纹图像，图4是传统的先拼接再对整幅图像去除背景的方法后的得到的指纹图像。通过比较，可以看到，图5背景被明显去除了。

本发明通过上述拼接过程中的方法，在拼接过程中更准确的去除了背景，提高了指纹图像特征提取的准确率。

本发明提供了用于刮擦传感器图像拼接的装置，包括：背景提取装置和拼接装置；

背景提取装置，用于提取指纹图像片段的背景；

拼接装置，用于将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。

背景提取装置，还用于采集指纹图像片段；计算所述当前采集的指纹图像片段与上一指纹图像片段的前景偏移量；判断当前采集的指纹图像片段与上一指纹图像片段前景偏移量是否小于阈值；如果小于阈值则舍去当前采集的指纹图像片段并采集下一指纹图像片段，否则将当前采集的指纹图像片段与上一指纹图像片段进行比较，取出背景并从当前采集的指纹图像片段中去除。

拼接装置，用于将去除背景的指纹图像片段依据前景偏移量拼接为完整的指纹图像。

前景偏移量是含有指纹纹理的前景偏移量。

前景偏移量的计算通过相关性极值判定方法实现。

指纹图像片段为一帧采集的图像。

阈值根据手指滑动速率和传感器采集的指纹图像速率的相互关系计算得到。

背景的判定基于指纹图像原点处背景的互相关性。

原点处背景的互相关性判断通过互相关函数值与选定阈值的关系判定来实现。

在拼接指纹图像时采用中值滤波拼接法、小波变换拼接法或者加权平均拼接法进行拼接。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (20)

1.用于刮擦传感器图像拼接的方法，其特征在于，

步骤10，提取指纹图像片段的背景；

步骤20，将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。

2.如权利要求1所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤10包括：

步骤A，采集指纹图像片段；

步骤B，计算所述当前采集的指纹图像片段与上一指纹图像片段的前景偏移量；

步骤C，判断当前采集的指纹图像片段与上一指纹图像片段前景偏移量是否小于第一阈值；如果小于第一阈值则舍去当前采集的指纹图像片段，执行步骤A，否则执行步骤D；

步骤D，将当前采集的指纹图像片段与上一指纹图像片段进行比较，识别出背景并从当前采集的指纹图像片段中去除。

3.如权利要求2所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤20中，将去除背景的指纹图像片段依据前景偏移量拼接为完整的去除了背景的指纹图像。

4.如权利要求2所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤B中，前景偏移量是含有指纹纹理的前景偏移量。

5.如权利要求2所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤B中，前景偏移量的计算通过相关性极值判定方法实现。

6.如权利要求1所述的用于刮擦传感器图像拼接的方法，其特征在于，指纹图像片段为一帧采集的图像。

7.如权利要求2所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤C中，第一阈值根据手指滑动速率和传感器采集的指纹图像速率的相互关系计算得到。

8.如权利要求2所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤D中，背景的判定基于相邻两帧指纹图像片段原点处背景的互相关性。

9.如权利要求8所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤D中，原点处背景的互相关性判断通过互相关函数值与第二阈值的关系判定来实现；第二阈值根据传感器采集到的图像像素灰度范围计算得到。

10.如权利要求3所述的用于刮擦传感器图像拼接的方法，其特征在于，步骤20中，在拼接指纹图像时采用中值滤波拼接法、小波变换拼接法或者加权平均拼接法进行拼接。

11.用于刮擦传感器图像拼接的装置，其特征在于，包括：背景提取装置和拼接装置；

背景提取装置，用于提取指纹图像片段的背景；

拼接装置，用于将去除背景的指纹图像片段进行拼接，得到已去除背景的指纹图像。

12.如权利要求11所述的用于刮擦传感器图像拼接的装置，其特征在于，背景提取装置，还用于采集指纹图像片段；计算所述当前采集的指纹图像片段与上一指纹图像片段的前景偏移量；判断当前采集的指纹图像片段与上一指纹图像片段前景偏移量是否小于第一阈值；如果小于第一阈值则舍去当前采集的指纹图像片段并采集下一指纹图像片段，否则将当前采集的指纹图像片段与上一指纹图像片段进行比较，识别出背景并从当前采集的指纹图像片段中去除。

13.如权利要求12所述的用于刮擦传感器图像拼接的装置，其特征在于，拼接装置，用于将去除背景的指纹图像片段依据前景偏移量拼接为完整的指纹图像。

14.如权利要求12所述的用于刮擦传感器图像拼接的装置，其特征在于，前景偏移量是含有指纹纹理的前景偏移量。

15.如权利要求12所述的用于刮擦传感器图像拼接的装置，其特征在于，前景偏移量的计算通过相关性极值判定方法实现。

16.如权利要求11所述的用于刮擦传感器图像拼接的装置，其特征在于，指纹图像片段为一帧采集的图像。

17.如权利要求11所述的用于刮擦传感器图像拼接的装置，其特征在于，第一阈值根据手指滑动速率和传感器采集的指纹图像速率的相互关系计算得到。

18.如权利要求11所述的用于刮擦传感器图像拼接的装置，其特征在于，背景的判定基于相邻两帧指纹图像片段原点处背景的互相关性。

19.如权利要求18所述的用于刮擦传感器图像拼接的装置，其特征在于，原点处背景的互相关性判断通过互相关函数值与第二阈值的关系判定来实现；第二阈值根据传感器采集到的图像像素灰度范围计算得到。

20.如权利要求11所述的用于刮擦传感器采集拼接的图像去除背景的装置，其特征在于，在拼接指纹图像时采用中值滤波拼接法、小波变换拼接法或者加权平均拼接法进行拼接。

Images