CN107958443B - 一种基于脊线特征和tps形变模型的指纹图像拼接方法 - Google Patents

一种基于脊线特征和tps形变模型的指纹图像拼接方法 Download PDF

Info

Publication number
CN107958443B
CN107958443B CN201711455021.2A CN201711455021A CN107958443B CN 107958443 B CN107958443 B CN 107958443B CN 201711455021 A CN201711455021 A CN 201711455021A CN 107958443 B CN107958443 B CN 107958443B
Authority
CN
China
Prior art keywords
ridge line
roi
point
fingerprint
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711455021.2A
Other languages
English (en)
Other versions
CN107958443A (zh
Inventor
赵恒�
吴优
陈炯
庞辽军
秦帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201711455021.2A priority Critical patent/CN107958443B/zh
Publication of CN107958443A publication Critical patent/CN107958443A/zh
Application granted granted Critical
Publication of CN107958443B publication Critical patent/CN107958443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于数字图像处理技术领域，公开了一种基于脊线特征和TPS形变模型的指纹图像拼接方法，分别提取两幅待拼接的小面积指纹图像中的细节点，细节点两两配准后，获得相似度分数最高的细节点对；计算获得初次配准的旋转平移参数，得到初次拼接的指纹图像；求取两幅待拼接的小面积指纹图像的细化图；通过N邻域块法寻找细化图的重叠区域的匹配脊线，寻找匹配的脊线对；引入TPS形变模型，从脊线对特征层面修正指纹图像的弹性形变，然后进行二次配准，得到二次拼接的指纹图像的最终结果。本发明利用细节点进行初次配准，通过N邻域块法寻找重叠区域的匹配脊线，从而减少错误匹配细节点带来的拼接误差。

Description

一种基于脊线特征和TPS形变模型的指纹图像拼接方法
技术领域
本发明属于数字图像处理技术领域，尤其涉及一种基于脊线特征和TPS形变模型的指纹图像拼接方法及自动指纹识别系统。
背景技术
在众多生物特征识别中，基于指纹的认证是一项重要的生物识别技术，在军事和民用领域都有广泛的应用，由于在实际应用中需要充分考虑可靠性和安全性，指纹识别在过去的几年中受到越来越多的关注。指纹识别普及的另外一个原因是指纹传感器的价格较低，可以很容易的集成到PC键盘、手机和各种智能卡中。在指纹识别领域，指纹细节点是最具差异性和可靠性的特征，也是指纹识别中最常用的特征，其中最突出的是脊线端点和分叉点。传统基于细节点模式的指纹配准算法对细节点的数量有一定要求，当指纹图像形变过大，或者有效匹配面积过小时会有较大的识别精度损失。小面积指纹只包含少量的细节点，将细节点作为指纹配准或者拼接的唯一信息时，识别精度会有较大幅度的降低；在指纹的采集过程中，指纹的3D表面需要被平压在传感器上，这种3D 转2D的方式会带来非线性失真，而且每次手指按压力度的大小都会造成不同程度的弹性形变。
目前已有小面积指纹拼接大多采用刚性变换进行处理，没有考虑指纹的弹性形变，而在小面积指纹图像中，指纹的弹性形变是影响最终识别率的重要因子，所以传统的未考虑弹性形变的小面积拼接算法难以得到准确的拼接结果及较高的识别率。因此，当前对于小面积指纹识别领域突出的问题在于：
1、小面积指纹图像包含的细节点数量少，传统的细节点匹配算法和拼接算法没有引入脊线特征，识别精度不高；
2、传统的细节点拼接算法没有纠正指纹非线性失真和弹性形变导致的误差，使得拼接效果差。
综上所述，现有技术没有考虑到指纹采集过程中的形变问题，且将细节点作为指纹配准或者拼接的唯一信息，造成拼接效果较差，当拼接图像用作后续指纹识别的模板时，识别率较低。本发明提出的方法考虑了指纹采集时带来的弹性形变问题，找到初步配准参数后进一步消除了形变，得到清晰度更高的拼接图像，同时提高了识别率。
发明内容
针对现有技术存在的问题，本发明提供了一种基于脊线特征和TPS形变模型的指纹图像拼接方法及自动指纹识别系统。
本发明是这样实现的，一种基于脊线特征和TPS形变模型的指纹图像拼接方法，所述基于脊线特征和TPS形变模型的指纹图像拼接方法，包括：
分别提取两幅待拼接的小面积指纹图像中的细节点，细节点两两配准后，获得相似度分数最高的细节点对；
计算获得初次配准的旋转平移参数，根据旋转平移参数得到初次拼接的指纹图像；
求取两幅待拼接的小面积指纹图像的细化图；
通过N邻域块法寻找细化图的重叠区域的匹配脊线，并分别对两幅细化图重叠区域的脊线进行编号，寻找匹配的脊线对；
引入TPS形变模型，从脊线对特征层面修正指纹图像的弹性形变，然后进行二次配准，得到二次拼接的指纹图像的最终结果。
进一步，所述基于脊线特征和TPS形变模型的指纹图像拼接方法具体包括：
步骤一，采集两幅待拼接的固定大小的小面积指纹图像I1(x,y)和I2(x,y)，并将其输入自动指纹识别系统，指纹图像大小均为h×w，其中(x,y)代表图像的像素点坐标；
步骤二，分别提取两幅待拼接的小面积指纹图像I1(x,y)和I2(x,y)中的细节点，构建每个细节点的MCC算子，计算两个指纹图像中所有细节点的MCC相似度，获得MCC相似度分数最高的细节点对
Figure BDA0001529110360000031
和
Figure BDA0001529110360000032
θk为纹图像I1(x,y)中第k个细节点的角度，θl为纹图像I2(x,y)中第l个细节点的角度， MCC为Cappilli提出的细节点柱形码匹配算子；
步骤三，计算获得初次配准的旋转平移参数，根据旋转平移参数得到初次拼接的指纹图像I0′(x,y)；
步骤四，求取两幅待拼接的小面积指纹图像I1(x,y)和I2′(x,y)的细化图像 TI1(x,y)和TI2′(x,y)；
步骤五，求细化图TI1(x,y)和TI2′(x,y)的重叠区域ROI1(x,y)和ROI2′(x,y)，对细化图的重叠区域的脊线进行编号：
步骤六，利用N邻域块法匹配脊线对，N邻域块是指以基准像素点为中心的边长为N的正方形内的所有像素值：
步骤七，用TPS模型进行二次配准，得到二次拼接的指纹图像I0(x,y)作为最终结果。
进一步，所述步骤三具体包括：
(一)根据步骤二得出的细节点对
Figure BDA0001529110360000033
和
Figure BDA0001529110360000034
求出初次匹配的旋转平移参数(Δx,Δy,Δθ)，其中Δx＝xk-xl是指纹图像沿x轴方向平移的量，Δy＝yk-yl是指纹图像沿y轴平移的量，Δθ＝θk-θl是指纹图像旋转的角度；
(二)将指纹图像I2(x,y)沿x轴和y轴分别平移Δx和Δy，然后将其中心点
Figure BDA0001529110360000035
作为基准点进行逆时针旋转，旋转角度为
Figure BDA0001529110360000036
得到I2′(x,y)；
(三)叠加指纹图像I1(x,y)和指纹图像I2′(x,y)在同一坐标下的像素值，得到初次拼接的指纹图像I0′(x,y)。
进一步，所述步骤四具体包括：
(A)分别得到两幅小面积指纹图像的二值图像BI1(x,y)和BI2′(x,y)，计算公式如下：
Figure BDA0001529110360000041
Figure BDA0001529110360000042
其中T是从灰度图像到二值图像的阈值，165≤T≤180，其中T＝175；
(B)用8邻域法将二值图像BI1(x,y)和BI2′(x,y)得到细化图像TI1(x,y)和 TI2′(x,y)；
所述步骤五具体包括：
(I)将细化图TI1(x,y)和TI2′(x,y)所有的像素值都设为1，得到图像TI1′(x,y)和TI2″(x,y)；
(II)叠加TI1′(x,y)和TI2″(x,y)在同一坐标下的像素值，则像素值为2的点即为重叠区域中的像素，得到重叠区域ROI1(x,y)和ROI2′(x,y)；
(III)以像素值为1的点为中心，建立3×3的搜索窗；
如果
Figure BDA0001529110360000043
则这个中心点是脊线端点；如果
Figure BDA0001529110360000044
则这个中心点是脊线分叉点；如果
Figure BDA0001529110360000045
则这个中心点是脊线上的点；
(IV)对整个重叠区域ROI1(x,y)和ROI2′(x,y)的脊线上的点按从左到右、从上到下进行搜索，分别获得重叠区域ROI1(x,y)和ROI2′(x,y)的脊线编号与坐标的集合Ridge1和Ridge2，其中
Figure BDA0001529110360000046
Figure BDA0001529110360000047
Figure BDA0001529110360000048
是重叠区域ROI1(x,y)上的第i条脊线，
Figure BDA0001529110360000049
是重叠区域ROI2′(x,y)上的第i条脊线，mr(x,y)是脊线上的第r条脊线，n是脊线的总脊线数，t是第i条脊线上的总像素值；
所述步骤六具体包括：
(1)遍历重叠区域ROI1(x,y)中脊线
Figure BDA00015291103600000410
上的像素点，在重叠区域ROI2′(x,y)中进行对应位置的搜索，找到匹配的脊线编号i：
(1a)以点(x,y)为中心在ROI2′(x,y)上搜索，搜索边长为N，如果有像素值为1 的点，记录该点在ROI2′(x,y)中所在脊线的编号，5≤N≤11，本发明中N＝7；
(1b)统计编号次数，将步骤(1a)中出现次数最多的编号i作为ROI1(x,y)脊线
Figure BDA0001529110360000051
上的点所匹配的脊线；
(2)找到重叠区域ROI1(x,y)中的所有脊线在ROI2′(x,y)中匹配的脊线：
将ROI1(x,y)中的每条脊线上的点重复步骤(1a)和(1b),将步骤(1b)中出现次数最多的编号作为脊线
Figure BDA0001529110360000052
在ROI2′(x,y)中的匹配的脊线；
所述步骤七具体包括：
第一步，分别从重叠区域ROI1(x,y)和ROI2′(x,y)每条脊线的起始位置开始采样，采样间距为脊线间的平均距离d，其中d＝5；得到ROI1(x,y)中的采样点集 Gi＝{Gp(xp,yp)|1≤p≤PG}，ROI2′(x,y)中的采样点集G′i＝{G'q(x'q,y'q)|1≤q≤QG}，其中,(xp,yp)和(x'q,y'q)表示采样点的横纵坐标，PG和QG分别表示重叠区域ROI1(x,y) 和ROI2′(x,y)采样点的总数；
第二步，将采样点的坐标代入到TPS模型中，得到形变后的指纹图像
Figure BDA0001529110360000053
第三步，叠加指纹图像I1(x,y)和
Figure BDA0001529110360000054
在同一像素下的坐标，得到二次拼接的指纹图像I0(x,y)。
进一步，所述步骤(B)中的得到细化图像TI1(x,y)和TI2′(x,y)的步骤包括：
以每个像素为中心，建立一个8邻域的点的集合，记中心的点为P0，其邻域的8个点顺时针绕中心点分别记为P1，P2，P3，P4，P5，P6，P7，P8；
删除的像素点应满足以下条件：
1＜n_sum(x,y)＜7
t_sum(x,y)＝2
P1×P5×P7＝0或者t_sum(x,y-1)≠2
P3×P5×P7＝0或者t_sum(x+1,y)≠2
其中n_sum(x,y)是指8邻域像素灰度之和，t_sum(x,y)是指8邻域内像素值的两两之差的绝对值之和；
遍历二值图像中的所有的点，得到细化图像TI1(x,y)和TI2′(x,y)。
进一步，步骤(IV)中，求得脊线编号和坐标的集合Ridge1和Ridge2步骤包括：
1)找到重叠区域ROI1(x,y)上的分叉点，将其像素值置为0，使分叉点的地方断开成3条脊线；
2)如果找到像素值为1的点并且是正常脊线上的点(非端点和分叉点)，从该点开始按照该点的方向搜索脊线上的下一个点，直到遇到端点就停止搜索，记录搜索到的点的坐标并且给这条脊线一个编号1；
3)找到一条脊线后将这条脊线上所有的像素值置为0，下一条脊线编号+1；
4)重复步骤2)～3)，直到重叠区域ROI1(x,y)上所有像素值都为0，得到 ROI1(x,y)中的脊线编号和坐标集合
Figure BDA0001529110360000061
5)对重叠区域ROI2′(x,y)上的点，重复1)～4)，得到ROI2′(x,y)中的脊线编号和坐标集合
Figure BDA0001529110360000062
所述第二步中，根据TPS模型求形变后的指纹图像
Figure BDA0001529110360000063
的步骤包括：
TPS模型由参数向量a和w决定，表达式为：
Figure BDA0001529110360000064
其中U(z)＝z2logz是一个基函数，a是线性形变系数，w是非线性形变系数，Gi是候选点的插值坐标，m是候选点的对数，其矩阵形式为：
Kw+Pa＝v
PTw＝0
其中，
w＝[wx(1)wx(2)...wx(n)]T
v＝[x′1x'2...x'n]T
a＝[ax(1)ax(2)...ax(n)]T
Figure BDA0001529110360000071
Figure BDA0001529110360000072
计算线性变换a和非线性变换的系数w：
定义M矩阵为：
Figure BDA0001529110360000073
定义L矩阵为：
Figure BDA0001529110360000074
则系数a和w的计算公式如下：
[w|a]＝L-1MT
求出变换系数后，将两组采样点的坐标代入到函数中，得到指纹图像I2(x,y) 形变后的图像
Figure BDA0001529110360000075
本发明的另一目的在于提供一种利用上述基于脊线特征和TPS形变模型的指纹图像拼接方法的自动指纹识别系统。
本发明利用细节点进行初次配准，找到图像间的初始对应关系，通过N邻域块法寻找重叠区域的匹配脊线，从而将错误匹配细节点带来的拼接误差减少 20％。同时，引入TPS形变模型，从脊线特征层面修正指纹图像的弹性形变从而得到更接近于原指纹的完整图像的指纹拼接图像。
附图说明
图1是本发明实施例提供的基于脊线特征和TPS形变模型的指纹图像拼接方法流程图。
图2是本发明实施例提供的基于脊线特征和TPS形变模型的指纹图像拼接方法实现流程图；
图3是本发明实施例提供的使用的同一根手指的两幅待拼接部分指纹图像示意图；
图4是本发明实施例提供的对应于图3的两幅指纹细化图示意图；
图5是本发明实施例提供的对应于图4的两幅指纹细化图的重叠区域示意图；
图6是本发明实施例提供的经过初次配准得到的指纹拼接图像示意图；
图7是本发明实施例提供的经过TPS二次配准得到的指纹拼接图像示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，小面积指纹采集仪采集到的指纹图像有效信息较少引起识别率低的问题。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
如图1所示，本发明实施例提供的基于脊线特征和TPS形变模型的指纹图像拼接方法包括以下步骤：
S101：输入两幅待拼接的小面积指纹图像并得到两幅图像的细化图像；
S102：提取两幅图像中的细节点，细节点两两匹配后获得相似度分数最高的细节点对；
S103：计算初次配准的旋转平移参数，并得到初次拼接的指纹图像；
S104：求细化图的重叠区域，同时分别对两幅细化图重叠区域的脊线进行编号，寻找匹配的脊线对；
S105：用TPS模型进行图像矫正，然后进行二次配准，得到二次拼接的指纹图像作为最终结果；
如图2所示，本发明实施例提供的基于脊线特征和TPS形变模型的指纹图像拼接方法具体包括以下步骤：
(1)采集两幅待拼接的固定大小的小面积指纹图像I1(x,y)和I2(x,y)，并将其输入自动指纹识别系统，指纹图像大小均为h×w，其中(x,y)代表图像的像素点坐标；
(2)分别提取两幅待拼接的小面积指纹图像I1(x,y)和I2(x,y)中的细节点，构建每个细节点的MCC算子，计算两个指纹图像中所有细节点的MCC相似度，获得MCC相似度分数最高的细节点对
Figure BDA0001529110360000091
和
Figure BDA0001529110360000092
θk是指纹图像 I1(x,y)中第k个细节点的角度，θl是指纹图像I2(x,y)中第l个细节点的角度，MCC 是指Cappilli提出的细节点柱形码匹配算子；
(3)计算获得初次配准的旋转平移参数，根据旋转平移参数得到初次拼接的指纹图像I0′(x,y):
(3.1)根据步骤(2)得出的细节点对
Figure BDA0001529110360000093
和
Figure BDA0001529110360000094
求出初次匹配的旋转平移参数(Δx,Δy,Δθ)，其中Δx＝xk-xl是指纹图像沿x轴方向平移的量，Δy＝yk-yl是指纹图像沿y轴平移的量，Δθ＝θk-θl是指纹图像旋转的角度；
(3.2)将指纹图像I2(x,y)沿x轴和y轴分别平移Δx和Δy，然后将其中心点
Figure BDA0001529110360000095
作为基准点进行逆时针旋转，旋转角度为
Figure BDA0001529110360000096
得到I2′(x,y)；
(3.3)叠加指纹图像I1(x,y)和指纹图像I2′(x,y)在同一坐标下的像素值，得到初次拼接的指纹图像I0′(x,y)；
(4)求取两幅待拼接的小面积指纹图像I1(x,y)和I2′(x,y)的细化图像TI1(x,y)和TI2′(x,y)：
(4.1)分别得到两幅小面积指纹图像的二值图像BI1(x,y)和BI2′(x,y)，其计算公式如下：
Figure BDA0001529110360000101
Figure BDA0001529110360000102
其中T是从灰度图像到二值图像的阈值，165≤T≤180，本发明中T＝175；
(4.2)用8邻域法将二值图像BI1(x,y)和BI2′(x,y)得到细化图像TI1(x,y)和 TI2′(x,y)；
(5)求细化图TI1(x,y)和TI2′(x,y)的重叠区域ROI1(x,y)和ROI2′(x,y)，对细化图的重叠区域的脊线进行编号：
(5.1)将细化图TI1(x,y)和TI2′(x,y)所有的像素值都设为1，得到图像TI1′(x,y)和 TI2″(x,y)；
(5.2)叠加TI1′(x,y)和TI2″(x,y)在同一坐标下的像素值，则像素值为2的点即为重叠区域中的像素，得到重叠区域ROI1(x,y)和ROI2′(x,y)；
(5.3)以像素值为1的点为中心，建立一个如下表 所示的3×3的搜索窗。
A8 A1 A2
A7 1 A3
A6 A5 A4
如果
Figure BDA0001529110360000103
则这个中心点是脊线端点；如果
Figure BDA0001529110360000104
则这个中心点是脊线分叉点；如果
Figure BDA0001529110360000105
则这个中心点是脊线上的点；
(5.4)对整个重叠区域ROI1(x,y)和ROI2′(x,y)的脊线上的点按从左到右、从上到下进行搜索，分别获得重叠区域ROI1(x,y)和ROI2′(x,y)的脊线编号与坐标的集合Ridge1和Ridge2，其中
Figure BDA0001529110360000106
Figure BDA0001529110360000107
Figure BDA0001529110360000108
是重叠区域ROI1(x,y)上的第i条脊线，
Figure BDA0001529110360000109
是重叠区域ROI2′(x,y)上的第i条脊线，mr(x,y)是脊线上的第r条脊线，n是脊线的总条数，t是第i条脊线上的总像素值；
(6)利用N邻域块法匹配脊线对，N邻域块是指以基准像素点为中心的边长为N的正方形内的所有像素值：
(6.1)遍历重叠区域ROI1(x,y)中脊线
Figure BDA0001529110360000111
上的像素点，在重叠区域 ROI2′(x,y)中进行对应位置的搜索，找到匹配的脊线编号i：
(6.1a)以点(x,y)为中心在ROI2′(x,y)上搜索，搜索边长为N，如果有像素值为1的点，记录该点在ROI2′(x,y)中所在脊线的编号，5≤N≤11，本发明中N＝7；
(6.1b)统计编号次数，将步骤(6.1a)中出现次数最多的编号i作为ROI1(x,y) 脊线
Figure BDA0001529110360000114
上的点所匹配的脊线；
(6.2)找到重叠区域ROI1(x,y)中的所有脊线在ROI2′(x,y)中匹配的脊线：
将ROI1(x,y)中的每条脊线上的点重复步骤(6.1a)和(6.1b),将步骤(6.1b) 中出现次数最多的编号作为脊线
Figure BDA0001529110360000115
在ROI2′(x,y)中的匹配的脊线；
(7)用TPS模型进行二次配准，得到二次拼接的指纹图像I0(x,y)作为最终结果：
(7.1)分别从重叠区域ROI1(x,y)和ROI2′(x,y)每条脊线的起始位置开始采样，采样间距为脊线间的平均距离d，本发明中d＝5。得到ROI1(x,y)中的采样点集 Gi＝{Gp(xp,yp)|1≤p≤PG}，ROI2′(x,y)中的采样点集G′i＝{G'q(x'q,y'q)|1≤q≤QG}，其中,(xp,yp)和(x'q,y'q)表示采样点的横纵坐标，PG和QG分别表示重叠区域ROI1(x,y) 和ROI2′(x,y)采样点的总数；
(7.2)将采样点的坐标代入到TPS模型中，得到形变后的指纹图像
Figure BDA0001529110360000112
(7.3)叠加指纹图像I1(x,y)和
Figure BDA0001529110360000113
在同一像素下的坐标，得到二次拼接的指纹图像I0(x,y)。
所述步骤(4.2)中的得到细化图像TI1(x,y)和TI2′(x,y)的步骤包括：
1)以每个像素为中心，建立一个8邻域的点的集合，记中心的点为P0，其邻域的8个点顺时针绕中心点分别记为P1，P2，P3，P4，P5，P6，P7，P8如下表所示：
P8 P1 P2
P7 P0 P3
P6 P5 P4
删除的像素点应满足以下条件：
1＜n_sum(x,y)＜7
t_sum(x,y)＝2
P1×P5×P7＝0或者t_sum(x,y-1)≠2
P3×P5×P7＝0或者t_sum(x+1,y)≠2
其中n_sum(x,y)是指8邻域像素灰度之和，t_sum(x,y)是指8邻域内像素值的两两之差的绝对值之和；
2)遍历二值图像中的所有的点，即可得到细化图像TI1(x,y)和TI2′(x,y)；
进一步，所述步骤(5.4)的求得脊线编号和坐标的集合Ridge1和Ridge2步骤包括：
1)找到重叠区域ROI1(x,y)上的分叉点，将其像素值置为0，使分叉点的地方断开成为3条脊线；
2)如果找到像素值为1的点并且是正常脊线上的点(非端点和分叉点)，从该点开始按照该点的方向搜索脊线上的下一个点，直到遇到端点就停止搜索，记录搜索到的点的坐标并且给这条脊线一个编号1；
3)找到一条脊线后将这条脊线上所有的像素值置为0，下一条脊线编号+1；
4)重复步骤2)～3)，直到重叠区域ROI1(x,y)上所有像素值都为0，得到 ROI1(x,y)中的脊线编号和坐标集合
Figure BDA0001529110360000121
5)对重叠区域ROI2′(x,y)上的点，重复1)～4)，得到ROI2′(x,y)中的脊线编号和坐标集合
Figure BDA0001529110360000122
所述步骤(7.2)的根据TPS模型求形变后的指纹图像
Figure BDA0001529110360000123
的步骤包括：
1)TPS模型由参数向量a和w决定，其表达式为：
Figure BDA0001529110360000131
其中U(z)＝z2logz是一个基函数，a是线性形变系数，w是非线性形变系数，Gi是候选点的插值坐标，m是候选点的对数，其矩阵形式为：
Kw+Pa＝v
PTw＝0
其中，
w＝[wx(1)wx(2)...wx(n)]T
v＝[x′1x'2...x'n]T
a＝[ax(1)ax(2)...ax(n)]T
Figure BDA0001529110360000132
Figure BDA0001529110360000133
2)计算线性变换a和非线性变换的系数w：
定义M矩阵为：
Figure BDA0001529110360000134
定义L矩阵为：
Figure BDA0001529110360000135
则系数a和w的计算公式如下：
[w|a]＝L-1MT
3)求出变换系数后，将两组采样点的坐标代入到函数中，得到指纹图像 I2(x,y)形变后的图像
Figure BDA0001529110360000136
下面结合仿真对本发明的应用效果作详细的描述。
1、仿真条件
仿真环境：PC机的Matlab2012a，PC机配置Core I7处理器，主频为3.4GHz。仿真指纹图像来自于西安电子科技大学生物特征识别小组的指纹数据库中的 16_3.bmp和16_5.bmp，指纹图像大小为256像素×256像素，其中有效指纹面积为192像素×192像素。
2、仿真内容与结果分析
采用本发明的方法对图3中的指纹图像进行指纹拼接，实验结果如图7所示。
图6是只采用细节点进行拼接后的指纹图像，图7与图6相比，说明本方法能够提高指纹图像拼接的配准精度，通过N邻域块法寻找匹配的脊线对，并引入TPS形变模型，从脊线特征层面修正指纹图像的弹性形变从而得到效果较好的指纹拼接的图像，可以很清楚的看出，本方法可以解决小面积指纹图像包含有效信息较少引起识别率低的问题。
实验表明，本发明能够准确的进行小面积指纹图像拼接。
在上述实施例中，可以全部或部分地应用于自动指纹识别系统。在采集完指纹后，使用所述实施例的方法或流程对采集的小面积指纹进行拼接，形成一个面积较大、图像较为完整的指纹模板，然后提取模板指纹的特征信息，最后通过匹配算法获得识别结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于脊线特征和TPS形变模型的指纹图像拼接方法，其特征在于，所述基于脊线特征和TPS形变模型的指纹图像拼接方法，包括：
步骤一，采集两幅待拼接的固定大小的小面积指纹图像I1(x,y)和I2(x,y)，并将其输入自动指纹识别系统，指纹图像大小均为h×w，其中(x,y)代表图像的像素点坐标；
步骤二，分别提取两幅待拼接的小面积指纹图像I1(x,y)和I2(x,y)中的细节点，构建每个细节点的MCC算子，计算两个指纹图像中所有细节点的MCC相似度，获得MCC相似度分数最高的细节点对
Figure FDA0003291735380000011
和
Figure FDA0003291735380000012
θk为纹图像I1(x,y)中第k个细节点的角度，θl为纹图像I2(x,y)中第l个细节点的角度，MCC为Cappilli提出的细节点柱形码匹配算子；
步骤三，计算获得初次配准的旋转平移参数，根据旋转平移参数得到初次拼接的指纹图像I0′(x,y)；
步骤四，求取两幅待拼接的小面积指纹图像I1(x,y)和I2′(x,y)的细化图像TI1(x,y)和TI2′(x,y)；
步骤五，求细化图TI1(x,y)和TI2′(x,y)的重叠区域ROI1(x,y)和ROI2′(x,y)，对细化图的重叠区域的脊线进行编号：
步骤六，利用N邻域块法匹配脊线对，N邻域块是指以基准像素点为中心的边长为N的正方形内的所有像素值：
步骤七，用TPS模型进行二次配准，得到二次拼接的指纹图像I0(x,y)作为最终结果；
所述步骤四具体包括：
(1)分别得到两幅小面积指纹图像的二值图像BI1(x,y)和BI2′(x,y)，计算公式如下：
Figure FDA0003291735380000013
Figure FDA0003291735380000021
其中T是从灰度图像到二值图像的阈值，165≤T≤180；
(2)用8邻域法将二值图像BI1(x,y)和BI2′(x,y)得到细化图像TI1(x,y)和TI2′(x,y)；
所述步骤五具体包括：
(1)将细化图TI1(x,y)和TI2′(x,y)所有的像素值都设为1，得到图像TI1′(x,y)和TI2″(x,y)；
(2)叠加TI1′(x,y)和TI2″(x,y)在同一坐标下的像素值，则像素值为2的点即为重叠区域中的像素，得到重叠区域ROI1(x,y)和ROI2′(x,y)；
(3)以像素值为1的点为中心，建立3×3的搜索窗；
如果
Figure FDA0003291735380000022
则所述中心是脊线端点；如果
Figure FDA0003291735380000023
则所述中心是脊线分叉点；如果
Figure FDA0003291735380000024
则所述中心是脊线上的点；
(4)对整个重叠区域ROI1(x,y)和ROI2′(x,y)的脊线上的点按从左到右、从上到下进行搜索，分别获得重叠区域ROI1(x,y)和ROI2′(x,y)的脊线编号与坐标的集合Ridge1和Ridge2，其中
Figure FDA0003291735380000025
Figure FDA0003291735380000026
Figure FDA0003291735380000027
是重叠区域ROI1(x,y)上的第i条脊线，
Figure FDA0003291735380000028
是重叠区域ROI2′(x,y)上的第i条脊线，mr(x,y)是第r条脊线，n是脊线的总脊线数，t是第i条脊线上的总像素值；
所述步骤六具体包括：
(1)遍历重叠区域ROI1(x,y)中脊线
Figure FDA0003291735380000029
上的像素点，在重叠区域ROI2′(x,y)中进行对应位置的搜索，找到匹配的脊线编号i：
(2)以点(x,y)为中心在ROI2′(x,y)上搜索，搜索边长为N，如果有像素值为1的点，记录该点在ROI2′(x,y)中所在脊线的编号，5≤N≤11；
(3)统计编号次数，将步骤六(a)中出现次数最多的编号i作为ROI1(x,y)脊线
Figure FDA0003291735380000031
上的点所匹配的脊线；
(4)找到重叠区域ROI1(x,y)中的所有脊线在ROI2′(x,y)中匹配的脊线：
将ROI1(x,y)中的每条脊线上的点重复,将出现次数最多的编号作为脊线
Figure FDA0003291735380000032
在ROI2′(x,y)中的匹配的脊线；
所述步骤七具体包括：
(1)分别从重叠区域ROI1(x,y)和ROI2′(x,y)每条脊线的起始位置开始采样，采样间距为脊线间的平均距离d，其中d＝5；得到ROI1(x,y)中的采样点集Gi＝{Gp(xp,yp)|1≤p≤PG}，ROI2′(x,y)中的采样点集G′i＝{G'q(x'q,y'q)|1≤q≤QG}，其中,(xp,yp)和(x'q,y'q)表示采样点的横纵坐标，PG和QG分别表示重叠区域ROI1(x,y)和ROI2′(x,y)采样点的总数；
(2)将采样点的坐标代入到TPS模型中，得到形变后的指纹图像
Figure FDA0003291735380000033
(3)叠加指纹图像I1(x,y)和
Figure FDA0003291735380000034
在同一像素下的坐标，得到二次拼接的指纹图像I0(x,y)。
2.如权利要求1所述的基于脊线特征和TPS形变模型的指纹图像拼接方法，其特征在于，所述步骤三具体包括：
(1)根据步骤二得出的细节点对
Figure FDA0003291735380000035
和
Figure FDA0003291735380000036
求出初次匹配的旋转平移参数(Δx,Δy,Δθ)，其中Δx＝xk-xl是指纹图像沿x轴方向平移的量，Δy＝yk-yl是指纹图像沿y轴平移的量，Δθ＝θk-θl是指纹图像旋转的角度；
(2)将指纹图像I2(x,y)沿x轴和y轴分别平移Δx和Δy，然后将其中心点
Figure FDA0003291735380000037
作为基准点进行逆时针旋转，旋转角度为
Figure FDA0003291735380000038
得到I2′(x,y)；
(3)叠加指纹图像I1(x,y)和指纹图像I2′(x,y)在同一坐标下的像素值，得到初次拼接的指纹图像I0′(x,y)。
3.如权利要求1所述的基于脊线特征和TPS形变模型的指纹图像拼接方法，其特征在于，所述得到细化图像TI1(x,y)和TI2′(x,y)包括：
以每个像素为中心，建立一个8邻域的点的集合，记中心的点为P0，其邻域的8个点顺时针绕中心点分别记为P1，P2，P3，P4，P5，P6，P7，P8；
删除的像素点应满足以下条件：
1＜n_sum(x,y)＜7
t_sum(x,y)＝2
P1×P5×P7＝0或者t_sum(x,y-1)≠2
P3×P5×P7＝0或者t_sum(x+1,y)≠2
其中n_sum(x,y)是指8邻域像素灰度之和，t_sum(x,y)是指8邻域内像素值的两两之差的绝对值之和；
遍历二值图像中的所有的点，得到细化图像TI1(x,y)和TI2′(x,y)。
4.如权利要求1所述的基于脊线特征和TPS形变模型的指纹图像拼接方法，其特征在于，求得脊线编号和坐标的集合Ridge1和Ridge2包括：
1)找到重叠区域ROI1(x,y)上的分叉点，将其像素值置为0，使分叉点的地方断开成3条脊线；
2)如果找到像素值为1的点并且是正常脊线上的点，从该点开始按照该点的方向搜索脊线上的下一个点，直到遇到端点就停止搜索，记录搜索到的点的坐标并且给这条脊线一个编号1；
3)找到一条脊线后将这条脊线上所有的像素值置为0，下一条脊线编号+1；
4)重复步骤2)～3)，直到重叠区域ROI1(x,y)上所有像素值都为0，得到ROI1(x,y)中的脊线编号和坐标集合
Figure FDA0003291735380000041
5)对重叠区域ROI2′(x,y)上的点，重复1)～4)，得到ROI2′(x,y)中的脊线编号和坐标集合
Figure FDA0003291735380000042
所述根据TPS模型求形变后的指纹图像
Figure FDA0003291735380000043
包括：
TPS模型由参数向量a和w决定，表达式为：
Figure FDA0003291735380000051
其中U(z)＝z2log z是一个基函数，a1,2,3是线性形变系数，wi是非线性形变系数，Gi是候选点的插值坐标，m是候选点的对数，其矩阵形式为：
Kw+Pa＝v
PTw＝0
其中，
w＝[wx(1)wx(2)...wx(n)]T
v＝[x′1 x'2 ... x'n]T
a＝[ax(1) ax(2) ... ax(n)]T
Figure FDA0003291735380000052
Figure FDA0003291735380000053
rij＝|Fi-Gi|
计算线性变换a和非线性变换的系数w：
定义M矩阵为：
Figure FDA0003291735380000054
定义L矩阵为：
Figure FDA0003291735380000055
则系数a和w的计算公式如下：
[w|a]＝L-1MT
求出变换系数后，将两组采样点的坐标代入到函数中，得到指纹图像I2(x,y)形变后的图像
Figure FDA0003291735380000056
5.一种利用权利要求1～4任意一项所述基于脊线特征和TPS形变模型的指纹图像拼接方法的基于脊线特征和TPS形变模型的自动指纹识别系统。
CN201711455021.2A 2017-12-28 2017-12-28 一种基于脊线特征和tps形变模型的指纹图像拼接方法 Active CN107958443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711455021.2A CN107958443B (zh) 2017-12-28 2017-12-28 一种基于脊线特征和tps形变模型的指纹图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711455021.2A CN107958443B (zh) 2017-12-28 2017-12-28 一种基于脊线特征和tps形变模型的指纹图像拼接方法

Publications (2)

Publication Number Publication Date
CN107958443A CN107958443A (zh) 2018-04-24
CN107958443B true CN107958443B (zh) 2021-12-28

Family

ID=61956321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711455021.2A Active CN107958443B (zh) 2017-12-28 2017-12-28 一种基于脊线特征和tps形变模型的指纹图像拼接方法

Country Status (1)

Country Link
CN (1) CN107958443B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710849B (zh) * 2018-05-16 2022-04-01 山东大学 一种指纹块拼接方法及系统
CN109101995A (zh) * 2018-07-06 2018-12-28 航天星图科技（北京）有限公司 一种基于融合局部特征的快速无人机图像匹配方法
CN109544447B (zh) * 2018-10-26 2022-10-21 广西师范大学 一种图像拼接方法、装置及存储介质
CN111652088B (zh) * 2020-05-15 2023-06-20 圣点世纪科技股份有限公司 一种基于视频选优机制的指静脉注册方法及注册装置
CN111612009B (zh) * 2020-05-21 2021-10-22 腾讯科技（深圳）有限公司 文本识别方法、装置、设备和存储介质
CN111753725A (zh) * 2020-06-24 2020-10-09 上海依图网络科技有限公司 一种指纹修复方法及装置
CN112329528A (zh) * 2020-09-29 2021-02-05 北京迈格威科技有限公司 指纹录入方法及装置、存储介质及电子设备
CN113066010B (zh) * 2021-04-06 2022-11-15 无锡安科迪智能技术有限公司 全景拼接图像的二次调整方法、装置、电子设备及存储介质
CN114491131B (zh) * 2022-01-24 2023-04-18 北京至简墨奇科技有限公司 对候选图像进行重新排序的方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117785A1 (en) * 2003-10-01 2005-06-02 Authentec, Inc. Methods for matching ridge orientation characteristic maps and associated finger biometric sensor
CN1818927A (zh) * 2006-03-23 2006-08-16 北京中控科技发展有限公司 指纹识别方法与系统
CN101276411A (zh) * 2008-05-12 2008-10-01 北京理工大学 指纹识别方法
CN101329727A (zh) * 2008-06-27 2008-12-24 哈尔滨工业大学 点线结合的指纹识别方法
US20100150411A1 (en) * 2004-07-22 2010-06-17 Richard S. Slevin System, method and computer program product for fingerprint verification
CN101751555A (zh) * 2009-09-25 2010-06-23 中国科学院自动化研究所 一种形变指纹识别方法及系统
US20160247012A1 (en) * 2015-02-19 2016-08-25 Persistent Systems Limited Method and a System for Matching Fingerprint Images Obtained From Different Fingerprint Image Capturing Devices
CN107392847A (zh) * 2017-06-07 2017-11-24 西安电子科技大学 一种基于细节点和距离图像的指纹图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117785A1 (en) * 2003-10-01 2005-06-02 Authentec, Inc. Methods for matching ridge orientation characteristic maps and associated finger biometric sensor
US20100150411A1 (en) * 2004-07-22 2010-06-17 Richard S. Slevin System, method and computer program product for fingerprint verification
CN1818927A (zh) * 2006-03-23 2006-08-16 北京中控科技发展有限公司 指纹识别方法与系统
CN101276411A (zh) * 2008-05-12 2008-10-01 北京理工大学 指纹识别方法
CN101329727A (zh) * 2008-06-27 2008-12-24 哈尔滨工业大学 点线结合的指纹识别方法
CN101751555A (zh) * 2009-09-25 2010-06-23 中国科学院自动化研究所 一种形变指纹识别方法及系统
US20160247012A1 (en) * 2015-02-19 2016-08-25 Persistent Systems Limited Method and a System for Matching Fingerprint Images Obtained From Different Fingerprint Image Capturing Devices
CN107392847A (zh) * 2017-06-07 2017-11-24 西安电子科技大学 一种基于细节点和距离图像的指纹图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fingerprint Image Mosaicking by Recursive Ridge Mapping;Kyoungtaek Choi;《IEEE 》;20071031;全文 *
Fingerprint matching by thin-plate spline modelling of elastic deformations;Asker M. Bazen3;《Pattern Recognition》;20021231;第1859-1867页 *

Also Published As

Publication number Publication date
CN107958443A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
CN107958443B (zh) 一种基于脊线特征和tps形变模型的指纹图像拼接方法
CN110097093B (zh) 一种异源图像精确匹配方法
CN100470579C (zh) 指纹识别中确定性编码方法与系统
CN110728232A (zh) 一种手部感兴趣区域的获取方法及手纹识别方法
CN101777128A (zh) 一种融入全局信息的指纹细节点匹配方法及系统
CN103793705B (zh) 基于迭代随机抽样一致性算法和局部掌纹描述符的非接触掌纹认证方法
WO2011022186A1 (en) A method for n-wise registration and mosaicing of partial prints
CN112150523B (zh) 一种低重叠率的三维点云配准方法
WO2018176514A1 (zh) 指纹配准方法及装置
Jayaraman et al. An efficient minutiae based geometric hashing for fingerprint database
CN107392847B (zh) 一种基于细节点和距离图像的指纹图像拼接方法
JPH0471079A (ja) 画像の位置合わせ方法
WO2015131468A1 (en) Method and system for estimating fingerprint pose
CN110738222B (zh) 图像匹配方法、装置、计算机设备和存储介质
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN107895166B (zh) 基于特征描述子的几何哈希法实现目标鲁棒识别的方法
Cui et al. Dense registration and mosaicking of fingerprints by training an end-to-end network
CN112487867A (zh) 基于增强三角剖分的视觉约束指纹识别方法
Maltoni et al. Fingerprint matching
Ahmed et al. An advanced fingerprint matching using minutiae-based indirect local features
Kumar et al. Kernel approach for similarity measure in latent fingerprint recognition
CN108710849B (zh) 一种指纹块拼接方法及系统
CN111242992B (zh) 一种图像配准方法
JP2008165445A (ja) 指紋照合システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant