CN109766850B - 基于特征融合的指纹图像匹配方法 - Google Patents

Abstract

本发明提出了一种基于特征融合的指纹图像匹配方法，旨在保证匹配速度的同时，提高指纹图像的匹配精度，实现步骤为：获取待匹配指纹图像的细节点特征和SIFT特征点特征；建立笛卡尔直角坐标系；获取每个细节点a_i的二进制序列值；构建三角形特征向量；获取每个三角形特征向量V_α的哈希桶W_α；获取匹配的指纹图像。本发明通过将细节点特征和SIFT特征点特征融合，构建三角形特征向量，提高了匹配准确率，可用于大规模指纹数据库下指纹图像的匹配。

Description

基于特征融合的指纹图像匹配方法

技术领域

本发明属于图像处理技术领域，涉及一种指纹图像匹配方法，具体涉及一种基于特征融合的指纹图像匹配方法，可用于大规模指纹数据库下指纹图像的匹配。

背景技术

图像匹配主要应用在计算机视觉、医学影像配准、遥感数据分析等多个领域，图像匹配是通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点，通过识别同名点寻求相似影像目标。

图像匹配方法可分为基于灰度的匹配方法和基于特征的匹配方法。其中基于灰度的匹配方法直接利用图像或者预设的模板窗口上的灰度信息作为基准进行匹配，而不考虑显著的特征。其主要思想是定义一个代价函数来度量相似度，计算图像中各个位置上的当前窗口和模板之间的相关函数完成图像匹配。该类方法在同源图像间具有有效性和准确性，但是对图像间的非线性灰度差异敏感，难以应用于异源图像之间的匹配。基于特征的匹配方法特征匹配是指通过分别提取两个或多个图像的特征，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。

指纹图像匹配对图像的图像变形以及污染有较高的要求，由于基于灰度的匹配方法只和图像灰度相关，不能解决图像灰度变换和污染的图像匹配问题，而基于特征的匹配方法表达了更高层的图像信息，对图像的灰度变换、图像变形以及遮挡都有较好的适应能力，所以指纹图像匹配方法更适合采用基于特征的匹配方法。常见应用于指纹图像的基于特征的匹配方法有基于特征点的匹配方法、基于多边形的匹配方法。基于特征点的匹配方法是将特征点进行逐点匹配，因为指纹数据库的指纹数目较大，所以逐点匹配的匹配方法匹配计算量大，匹配速度过慢。现有技术中存在基于多边形的指纹匹配方法来加快匹配速度，基于多边形的指纹匹配方法采用构建特征点多边形的方法来减少匹配特征的数目，从而减少匹配次数，加快了指纹图像的匹配速度。

例如授权公告号为CN104239871B，名称为“一种基于最优四边形的快速指纹匹配方法”的中国专利，公开了一种基于最优四边形的快速指纹匹配方法，该方法首先对模板指纹中提取出的特征点构造四边形并建立相应的查找表，同时提取待匹配指纹特征点，然后将待匹配指纹图像按区域划分并随机选取特征点构成四边形，在查找表中搜索与之匹配的四边形，以最优匹配四边形为基础获取有效特征点个数，根据指纹图像的特点设定合适的匹配区间，根据设定的匹配区间判断模板指纹和待匹配指纹是否匹配。该发明实现了较快的匹配速度，但存在的缺陷是由特征点构成的四边形结构具有鲁棒性弱和特异性低的特点，在大规模指纹数据库下容易出现匹配错误的情况，导致匹配准确率较低。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于特征融合的指纹图像匹配方法，旨在保证匹配速度的同时，提高指纹图像的匹配精度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取待匹配指纹图像的细节点特征和SIFT特征点特征：

(1.1)对待匹配指纹图像进行预处理，得到细节点特征集合{a₁(x₁,y₁,θ₁),a₂(x₂,y₂,θ₂),…,a_i(x_i,y_i,θ_i),…,a_n(x_n,y_n,θ_n)}，a_i表示第i个细节点，x_i和y_i分别表示第i个细节点对应像素的横坐标和纵坐标，θ_i表示第i个细节点对应像素的坐标方向，其中，n表示细节点特征的总数，n＞3；

(1.2)采用SIFT方法提取待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合{b₁(p₁,q₁),b₂(p₂,q₂),…,b_j(p_j,q_j),…,b_m(p_m,q_m)}，b_j表示第j个SIFT特征点，p_j和q_j分别表示第j个SIFT特征点对应像素的横坐标和纵坐标，m表示SIFT特征点特征的总数，m≥1；

(2)建立笛卡尔直角坐标系：

建立以待匹配指纹图像的每个细节点a_i为原点中心，方向θ_i为纵轴正方向，方向θ_i顺时针旋转90度的方向为横轴正方向的n个笛卡尔直角坐标系，并将所有SIFT特征点特征转换到每一个笛卡尔直角坐标系中，转换公式为：

其中，p_j'和q_j'分别表示笛卡尔直角坐标系中第j个特征点的横坐标和纵坐标；

(3)获取每个细节点a_i的二进制序列值：

(3.1)将以每个笛卡尔垂直坐标系中坐标(R,R)、(R,-R)、(-R,R)和(-R,-R)为顶点形成的正方形均匀划分为e×e个小正方形，并按照先行后列的顺序计算每个小正方形的中心点坐标，得到中心点坐标集合{g₁(h₁,w₁),g₂(h₂,w₂),…,g_o(h_o,w_o),…,g_e×e(h_e×e,w_e×e)}，其中R＞0，g_o表示第o个小正方形的中心点，h_o和w_o分别表示第o个小正方形中心点的横坐标和纵坐标；

(3.2)对每个小正方形的高斯累加和G_o进行二进制转化，得到e×e个二进制值，转化公式为：

其中，Ψ_o表示第o个小正方形的二进制值，

μ表示预设的阈值，σ表示高斯函数的标准差；

(3.3)每个笛卡尔垂直坐标系中按照先行后列的顺序对e×e个小正方形对应的二进制值进行排列，得到n个细节点的二进制序列值，其中细节点a_i的二进制序列值B_i的表达式为：

B_i＝(Ψ₁Ψ₂…Ψ_e×e)₂；

(4)构建三角形特征向量：

(4.1)以待匹配指纹图像中每任意三个细节点为顶点构造多个三角形，并计算每个三角形的边长；

(4.2)从所有三角形中筛选三条边长是否均大于预设的最小边长阈值L_min，且小于预设的最大边长阈值L_max的f个三角形，f≥2；

(4.3)以筛选出的每个三角形最大内角所对的细节点为起始点，按照顺时针的方向对三个细节点的二进制序列值进行排列，得到三角形特征向量集合{V₁,V₂,…,V_α,…,V_f}，其中，V_α表示第α个三角形特征向量；

(5)获取每个三角形特征向量V_α的哈希桶W_α：

采用局部敏感哈希函数对每个三角形特征向量V_α进行编码，得到f个哈希值，并在指纹数据库中查找每个哈希值对应的哈希桶W_α，得到f个哈希桶，其中，W_α表示三角形特征向量V_α对应的哈希桶；

(6)获取匹配的指纹图像：

(6.1)计算每个三角形特征向量V_α与其对应的哈希桶W_α包含的所有三角形特征向量的相似度，得到相似度集合{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}，其中Γ_αβ表示三角形特征向量V_α与其对应的哈希桶W_α中第β个三角形特征向量的相似度，l表示对应哈希桶中三角形特征向量的总数，l≥10；

(6.2)选取{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}中数值最大值的相似度

并在指纹数据库的哈希桶

中查找与

对应的三角形特征向量，并将该三角形特征向量对应的指纹图像作为与待匹配指纹图像相匹配的指纹图像。

本发明与现有技术相比，具有如下优点：

第一、本发明首先提取指纹图像的细节点特征和SIFT特征点特征，将细节点特征和SIFT特征点特征进行高斯变换，得到细节点的二进制序列值，然后对二进制序列值进行三角形构建，得到三角结构形向量，用三角形特征向量进行匹配，避免了现有技术中鲁棒性弱和特异性低的匹配特征导致的匹配准确率低的情况，有效地提高了指纹图像的匹配准确率；

第二、本发明采用局部敏感哈希函数对三角形特征向量进行编码，利用编码得到哈希值，通过指纹数据库查找得到对应的哈希桶，然后待匹配指纹图像的三角形特征向量只需要和对应哈希桶中的三角形特征向量匹配，缩小了匹配范围，极大程度上减少了匹配计算量，保证了在大规模指纹数据库下本发明匹配方法具有较快的匹配速度。

附图说明

图1为本发明的实现流程图；

图2为本发明笛卡尔垂直坐标系中划分的e×e小正方形的结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细的描述。

参照图1、本发明包括如下步骤：

步骤1)获取待匹配指纹图像的细节点特征和SIFT特征点特征：

步骤1.1)待匹配指纹图像进行预处理，得到细节点特征集合{a₁(x₁,y₁,θ₁),a₂(x₂,y₂,θ₂),…,a_i(x_i,y_i,θ_i),…,a_n(x_n,y_n,θ_n)}，a_i表示第i个细节点，x_i和y_i分别表示第i个细节点对应像素的横坐标和纵坐标，θ_i表示第i个细节点对应像素的坐标方向，其中，n表示细节点特征的总数，n＞3，本实例中，n＝7；

步骤1.1.1)采用Sobel算子对待匹配指纹图像进行卷积操作，得到待匹配指纹图像的梯度，并采用反正切函数对待匹配指纹图像的梯度进行反正切变换，得到待匹配指纹图像的每个像素的坐标方向；

步骤1.1.2)采用Gabor滤波器对待匹配指纹图像滤波，得到增强的待匹配指纹图像，并采用大津方法对该增强的待匹配指纹图像进行二值化，得到二值的待匹配指纹图像；

步骤1.1.3)采用OPTA细化模板对二值的待匹配指纹图像进行细化，得到细化的待匹配指纹图像，并将从该细化的待匹配指纹图像检测出的叉点、端点和中心点作为待匹配图像的细节点，再将每一个待匹配图像的细节点及其对应像素的坐标，以及每个细节点对应像素的坐标方向作为待匹配图像的细节点特征，得到细节点特征集合。

步骤1.2)采用SIFT方法提取待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合{b₁(p₁,q₁),b₂(p₂,q₂),…,b_j(p_j,q_j),…,b_m(p_m,q_m)}，b_j表示第j个SIFT特征点，p_j和q_j分别表示第j个SIFT特征点对应像素的横坐标和纵坐标，m表示SIFT特征点特征的总数，m≥1，本实例中m＝25；

步骤1.2.1)采用高斯函数将待匹配指纹图像进行尺度变换，得到待匹配指纹图像的尺度空间图像，变换公式如下：

L(s)＝G(s)*I

其中，s表示图像空间的尺度，L(s)表示尺度为s的尺度空间图像，G(s)表示尺度为s的高斯函数，I表示待匹配指纹图像，*表示尺度变换操作；

步骤1.2.2)对待匹配指纹图像的尺度空间图像进行差分，得到待匹配指纹图像的尺度空间差分图像，差分公式如下：

D(s)＝L(δs)-L(s)

其中，D(s)表示尺度为s的尺度空间差分图像，δ＞0，且δ为整数，本实例中，δ＝2；

步骤1.2.3)将从待匹配指纹图像的尺度空间差分图像检测出的局部极值点作为待匹配指纹图像的SIFT特征点，再将每个SIFT特征点及其对应像素的坐标作为待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合。

步骤2)建立笛卡尔直角坐标系：

建立以待匹配指纹图像的每个细节点a_i为原点中心，方向θ_i为纵轴正方向，方向θ_i顺时针旋转90度的方向为横轴正方向的n个笛卡尔直角坐标系，并将所有SIFT特征点特征转换到每一个笛卡尔直角坐标系中，转换公式为：

其中，p_j'和q_j'分别表示笛卡尔直角坐标系中第j个特征点的横坐标和纵坐标；

步骤3)获取每个细节点a_i的二进制序列值：

步骤3.1)将以每个笛卡尔垂直坐标系中坐标(R,R)、(R,-R)、(-R,R)和(-R,-R)为顶点形成的正方形均匀划分为e×e个小正方形，形成e行e列的小正方形矩阵，其结构如图2所示,每个小正方形边长为2R/e；

从第一行开始，从左到右进行计算每个小正方形的中心点坐标，第二行，从左到右进行计算每个小正方形的中心点坐标，以此类推，逐行从左到右进行计算每个小正方形的中心点坐标，得到中心点坐标集合{g₁(h₁,w₁),g₂(h₂,w₂),…,g_o(h_o,w_o),…,g_e×e(h_e×e,w_e×e)}，其中R＞0，g_o表示第o个小正方形的中心点，h_o和w_o分别表示第o个小正方形中心点的横坐标和纵坐标，本步骤中的先行后列的顺序是指从上到下，逐行从左到右的顺序，e×e小正方形划分示意图如图2所示,本实例中，R＝20，e＝5；

步骤3.2)对每个小正方形的高斯累加和G_o进行二进制转化，得到e×e个二进制值，转化公式为：

其中，Ψ_o表示第o个小正方形的二进制值，

μ表示预设的阈值，σ表示高斯函数的标准差，在本实例中，μ＝0.7，σ＝3；

步骤3.3)每个笛卡尔垂直坐标系中按照先行后列的顺序对e×e个小正方形对应的二进制值进行排列，得到n个细节点的二进制序列值，其中细节点a_i的二进制序列值B_i的表达式为：

B_i＝(Ψ₁Ψ₂…Ψ_e×e)₂；

步骤4)构建三角形特征向量：

步骤4.1)以待匹配指纹图像中每任意三个细节点为顶点构造多个三角形，并计算每个三角形的边长；

步骤4.2)从所有三角形中筛选三条边长是否均大于预设的最小边长阈值L_min，且小于预设的最大边长阈值L_max的f个三角形，f≥2，本实例中，L_min＝10，L_max＝30，f＝15；

步骤4.3)以筛选出的每个三角形最大内角所对的细节点为起始点，按照顺时针的方向对三个细节点的二进制序列值进行排列，得到三角形特征向量集合{V₁,V₂,…,V_α,…,V_f}，其中，V_α表示第α个三角形特征向量；

步骤5)获取每个三角形特征向量V_α的哈希桶W_α：

采用局部敏感哈希函数对每个三角形特征向量V_α进行编码，得到f个哈希值，并在指纹数据库中查找每个哈希值对应的哈希桶W_α，得到f个哈希桶，其中，W_α表示三角形特征向量V_α对应的哈希桶，其中指纹数据库的建立步骤如下：通过该发明的步骤1)到步骤4)对每个模板指纹图像进行建立相应的三角形特征向量，并通过局部敏感哈希函数编码得到对应的哈希值，然后将每个三角形特征向量根据哈希值分配到对应的哈希桶中，在对应的哈希桶中存储模板指纹图像及其对应三角形特征向量，建立指纹数据库；

步骤6)获取匹配的指纹图像：

步骤6.1)计算每个三角形特征向量V_α与其对应的哈希桶W_α包含的所有三角形特征向量的相似度，一个三角形特征向量与其对应的哈希桶包含的所有三角形特征向量相似度计算得到一个相似度的小集合，所有的三角形特征向量得到的小集合组成一个大的相似度集合，即相似度集合{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}，其中Γ_αβ表示三角形特征向量V_α与其对应的哈希桶W_α中第β个三角形特征向量的相似度，l表示对应哈希桶中三角形特征向量的总数，l≥10，在本实例中，l＝20；

步骤6.2)选取{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}中数值最大值的相似度

并在指纹数据库的哈希桶

中查找与

对应的三角形特征向量，并将该三角形特征向量对应的指纹图像作为与待匹配指纹图像相匹配的指纹图像。

Claims (3)

1.一种基于特征融合的指纹图像匹配方法，其特征在于，包括如下步骤：

(1)获取待匹配指纹图像的细节点特征和SIFT特征点特征：

(1.1)对待匹配指纹图像进行预处理，得到细节点特征集合{a₁(x₁,y₁,θ₁),a₂(x₂,y₂,θ₂),…,a_i(x_i,y_i,θ_i),…,a_n(x_n,y_n,θ_n)}，a_i表示第i个细节点，x_i和y_i分别表示第i个细节点对应像素的横坐标和纵坐标，θ_i表示第i个细节点对应像素的坐标方向，其中，n表示细节点特征的总数，n＞3；

(1.2)采用SIFT方法提取待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合{b₁(p₁,q₁),b₂(p₂,q₂),…,b_j(p_j,q_j),…,b_m(p_m,q_m)}，b_j表示第j个SIFT特征点，p_j和q_j分别表示第j个SIFT特征点对应像素的横坐标和纵坐标，m表示SIFT特征点特征的总数，m≥1；

(2)建立笛卡尔直角坐标系：

建立以待匹配指纹图像的每个细节点a_i为原点中心，方向θ_i为纵轴正方向，方向θ_i顺时针旋转90度的方向为横轴正方向的n个笛卡尔直角坐标系，并将所有SIFT特征点特征转换到每一个笛卡尔直角坐标系中，转换公式为：

其中，p_j'和q_j'分别表示笛卡尔直角坐标系中第j个特征点的横坐标和纵坐标；

(3)获取每个细节点a_i的二进制序列值：

(3.1)将以每个笛卡尔垂直坐标系中坐标(R,R)、(R,-R)、(-R,R)和(-R,-R)为顶点形成的正方形均匀划分为e×e个小正方形，并按照先行后列的顺序计算每个小正方形的中心点坐标，得到中心点坐标集合{g₁(h₁,w₁),g₂(h₂,w₂),…,g_o(h_o,w_o),…,g_e×e(h_e×e,w_e×e)}，其中R＞0，g_o表示第o个小正方形的中心点，h_o和w_o分别表示第o个小正方形中心点的横坐标和纵坐标；

(3.2)对每个小正方形的高斯累加和G_o进行二进制转化，得到e×e个二进制值，转化公式为：

其中，Ψ_o表示第o个小正方形的二进制值，

μ表示预设的阈值，σ表示高斯函数的标准差；

(3.3)每个笛卡尔垂直坐标系中按照先行后列的顺序对e×e个小正方形对应的二进制值进行排列，得到n个细节点的二进制序列值，其中细节点a_i的二进制序列值B_i的表达式为：

B_i＝(Ψ₁ Ψ₂ … Ψ_e×e)₂；

(4)构建三角形特征向量：

(4.1)以待匹配指纹图像中每任意三个细节点为顶点构造多个三角形，并计算每个三角形的边长；

(4.2)从所有三角形中筛选三条边长是否均大于预设的最小边长阈值L_min，且小于预设的最大边长阈值L_max的f个三角形，f≥2；

(4.3)以筛选出的每个三角形最大内角所对的细节点为起始点，按照顺时针的方向对三个细节点的二进制序列值进行排列，得到三角形特征向量集合{V₁,V₂,…,V_α,…,V_f}，其中，V_α表示第α个三角形特征向量；

(5)获取每个三角形特征向量V_α的哈希桶W_α：

采用局部敏感哈希函数对每个三角形特征向量V_α进行编码，得到f个哈希值，并在指纹数据库中查找每个哈希值对应的哈希桶W_α，得到f个哈希桶，其中，W_α表示三角形特征向量V_α对应的哈希桶；

(6)获取匹配的指纹图像：

(6.1)计算每个三角形特征向量V_α与其对应的哈希桶W_α包含的所有三角形特征向量的相似度，得到相似度集合{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}，其中Γ_αβ表示三角形特征向量V_α与其对应的哈希桶W_α中第β个三角形特征向量的相似度，l表示对应哈希桶中三角形特征向量的总数，l≥10；

(6.2)选取{Γ₁₁,Γ₁₂,…,Γ_αβ,…,Γ_fl}中数值最大值的相似度

并在指纹数据库的哈希桶

中查找与

对应的三角形特征向量，并将该三角形特征向量对应的指纹图像作为与待匹配指纹图像相匹配的指纹图像。

2.根据权利要求1所述的基于特征融合的指纹图像匹配方法，其特征在于，步骤(1.1)中所述对待匹配指纹图像进行预处理，得到细节点特征集合，实现步骤如下：

(1.1.1)采用Sobel算子对待匹配指纹图像进行卷积操作，得到待匹配指纹图像的梯度，并采用反正切函数对待匹配指纹图像的梯度进行反正切变换，得到待匹配指纹图像的每个像素的坐标方向；

(1.1.2)采用Gabor滤波器对待匹配指纹图像滤波，得到增强的待匹配指纹图像，并采用大津方法对该增强的待匹配指纹图像进行二值化，得到二值的待匹配指纹图像；

(1.1.3)采用OPTA细化模板对二值的待匹配指纹图像进行细化，得到细化的待匹配指纹图像，并将从该细化的待匹配指纹图像检测出的叉点、端点和中心点作为待匹配图像的细节点，再将每一个待匹配图像的细节点及其对应像素的坐标，以及每个细节点对应像素的坐标方向作为待匹配图像的细节点特征，得到细节点特征集合。

3.根据权利要求1所述的基于特征融合的指纹图像匹配方法，其特征在于，步骤(1.2)中所述采用SIFT方法提取待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合，实现步骤如下：

(1.2.1)采用高斯函数将待匹配指纹图像进行尺度变换，得到待匹配指纹图像的尺度空间图像，变换公式如下：

L(s)＝G(s)*I

其中，s表示图像空间的尺度，L(s)表示尺度为s的尺度空间图像，G(s)表示尺度为s的高斯函数，I表示待匹配指纹图像，*表示尺度变换操作；

(1.2.2)对待匹配指纹图像的尺度空间图像进行差分，得到待匹配指纹图像的尺度空间差分图像，差分公式如下：

D(s)＝L(δs)-L(s)

其中，D(s)表示尺度为s的尺度空间差分图像，δ＞0，且δ为整数；

(1.2.3)将从待匹配指纹图像的尺度空间差分图像检测出的局部极值点作为待匹配指纹图像的SIFT特征点，再将每个SIFT特征点及其对应像素的坐标作为待匹配指纹图像的SIFT特征点特征，得到SIFT特征点特征集合。

Images