CN103236068B - 一种局部图像匹配方法 - Google Patents

Abstract

本发明公开了一种用于融合多个局部图像特征描述子的图像匹配方法，包括：S1、对两个待匹配的局部图像，分别提取多种不同类型的局部图像特征描述子，然后将这些一维向量首尾相连，串联在一起，为每个局部图像得到一个描述向量；S2、对步骤S1得到的描述向量进行二值化，得到两个二值序列，其中每个二值序列称为其对应局部图像的混合特征描述子；S3、对步骤S2得到的两个混合特征描述子进行位异或操作，得到一个二值序列，作为差异向量；S4、根据步骤S3计算得到的差异向量，利用逻辑回归分析，计算所述两个局部图像属于匹配图像的概率。本发明的方法精度高、适用范围广、推广性强，可广泛应用于图像检索、物体识别、图像配准等系统中。

Description

一种局部图像匹配方法

技术领域

本发明涉及图像处理、计算机视觉、统计机器学习等技术领域，具体涉及一种用于融合多个局部图像特征描述子的局部图像匹配方法，特别是一种用于基于局部图像混合特征提取与逻辑回归分析的融合的局部图像匹配方法，用于鲁棒、可靠地进行局部图像匹配的方法。

背景技术

局部图像特征描述与匹配是计算机视觉技术的核心步骤，它广泛应用于许多计算机视觉应用之中，包括三维重建、物体识别、图像配准等等。局部图像特征描述的目的是用一个向量对输入的局部图像进行表达，通常将构建出的表示向量称为局部图像特征描述子。通过比较不同的局部图像之间的特征描述子的相似性/距离，就可以进行局部图像匹配，以期得到对应于同一物理场景的局部图像匹配关系。然而，由于待匹配图像成像条件的差异，使得同一片物理区域在不同图像中有不同的表观，也就是说待匹配图像中存在着几何变换和亮度差异。一方面，为了容易地匹配不同图像中对应的局部图像，要求局部图像特征描述子具有很强的区分能力，即区分不同局部图像的能力；另一方面，为了克服不同图像之间的几何形变和亮度变化，要求局部图像特征描述子具有很强的稳定性，即对于几何形变和亮度变化的不变性。这两方面的要求使得如何构建有效的局部图像特征描述子是一个极具挑战性的问题。

在过去的十多年里，研究者提出了各式各样的局部图像特征描述子。其中最著名的当属DavidLowe提出的SIFT(ScaleInvariantFeatureTransform)特征描述子，它通过在图像尺度空间中分块构造梯度方向直方图来建立一个128维的向量作为SIFT特征描述子，在计算机视觉和模式识别领域取得了巨大的成功。鉴于SIFT的成功，在它提出来之后，有许多研究者对其进行了改善。SURF(SpeededUpRobustFeatures)是利用积分图技术对SIFT的近似实现，可以取得与其相当的匹配性能，速度却提高了3-7倍。基于高斯卷积可以快速计算的特性，有研究者提出了可以进行快速稠密计算的特征描述子DAISY。这些特征描述子都是基于局部图像区域内像素点的梯度信息进行特征描述的，对于像素点灰度的线性变化具有不变性。由于像素点的相对灰度大小关系不会随着灰度值的单调变化而改变，具有比灰度线性变化更强的稳定性，因此有研究者提出了基于样本点相对灰度大小关系构建特征描述子来处理复杂/剧烈光照变化下的图像匹配问题。CSLBP特征描述子是利用中心对称的二值编码模式(CenterSymmetricLocalBinaryPattern)来代替SIFT中的梯度方向直方图，在4x4的分块区域内累加像素点的二值编码模式，最后将每个分块内得到的累加向量串联在一起得到CSLBP特征描述子。此外，还有研究者提出对局部图像区域内的像素灰度值进行排序，统计区域内像素点位置和灰度序的二维直方图来构建OSID特征描述子。MRRID特征描述子则是结合灰度序和中心对称的二值编码模式来构建的。同样利用像素点灰度序进行特征描述的方法还有LIOP。

目前这些局部图像特征描述子各有各的特色和侧重点，尽管它们切实解决了一些问题，然而依然存在缺陷，并没有一种特征描述子可以在普遍情况下都获得比较理想的匹配结果，那么，能否将这些局部图像特征描述子进行有效的融合，取长补短，提高其整体的性能呢？为此，有必要研究融合多种局部图像特征描述子的方法。目前也有一些研究者从事这方面的工作，但只是简单的将几种不同的特征描述子拼接在一起，并没有有效利用这些特征描述子的内在联系，因此获得的性能提升比较有限。这些工作包括：E.Mortensen等人将SIFT特征描述子和形状上下文(ShapeContext)描述子首尾相连串联在一起形成新的特征描述子；CanlinLi和LizhuangMa将SIFT、形状上下文和颜色不变量串联在一起形成新的特征描述子。

发明内容

(一)要解决的技术问题

本发明的目的是针对融合多种局部图像特征描述子进行局部图像匹配的问题，综合利用模式识别、特征提取、机器学习技术，提供一种有效的局部图像特征描述子的融合方法。

(二)技术方案

本发明提出一种用于融合多个局部图像特征描述子的方法，用于局部图像匹配，包括以下步骤：

步骤S1：对两个待匹配的局部图像，分别提取多种不同类型的局部图像特征描述子(每个特征描述子用一个一维向量表示)，然后将这些一维向量首尾相连，串联在一起，为每个局部图像得到一个描述向量；

步骤S2：对步骤S1得到的描述向量进行二值化，得到两个二值序列，其中每个二值序列称为其对应局部图像的混合特征描述子；

步骤S3：对步骤S2得到的两个混合特征描述子进行位异或操作，得到一个二值序列，作为差异向量；

步骤S4：根据步骤S3计算得到的差异向量，利用逻辑回归分析，计算所述两个局部图像属于匹配图像的概率。

根据本发明的一种具体实施方式，在步骤S1中，对所述局部图像提取的不同类型特征描述子包括SIFT、CSLBP、LIOP、ShapeContext、OSID等，其中每个特征描述子都可以用一个一维向量进行表示，将它们首尾相连串联在一起组成局部图像的描述向量[x₁，x₂，…，x_n]∈Rⁿ。

根据本发明的一种具体实施方式，在步骤S2，对步骤S1得到描述向量的每一维x_i，根据阈值t_i进行二值化，得到局部图像的混合特征描述子[b₁，b₂，…，b_n∈{0，1}ⁿ，即 $b_i=\left\{\begin{array}{c}0,x_i\≤t_i\\ 1,x_i>t_i\end{array}\right..$

根据本发明的一种具体实施方式，在步骤S2中的二值化阈值t_i通过在训练样本上最小化分类错误率求解得到。

根据本发明的一种具体实施方式，在步骤S4，利用逻辑回归分析对步骤S3得到的差异向量D∈{0，1}ⁿ进行综合推断，确定输入的两个局部图像属于匹配图像的概率P(D)： $P\left(D\right)=\frac{1}{1+\exp (-(W^{T}D+w_0))}.$

根据本发明的一种具体实施方式，在步骤S4，逻辑回归分析的参数W，w₀根据训练样本，通过极大似然估计求解得到。

(三)有益效果

一方面，本发明使用二值化技术提取由多个局部图像特征描述子组成的混合特征，不仅有效减少了混合特征的存储空间，加快了相应的匹配速度，而且可以提高混合特征的稳定性；

另一方面，本发明利用逻辑回归分析对差异向量进行融合，可以综合考虑不同局部图像特征描述子的不同分量对匹配性能的影响，将它们进行有效地结合，取长补短，从而提高局部图像匹配的精度以及对于图像几何变换和亮度变化的鲁棒性。

总之，本发明的方法精度高、适用范围广、推广性强，可广泛应用于图像检索、物体识别、图像配准等系统中。

附图说明

图1是本发明的用于局部图像匹配的基于局部图像混合特征提取与逻辑回归分析的融合方法的流程图；

图2是本发明的混合特征提取流程图；

图3是本发明的差异向量计算流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的局部图像匹配方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

图1是本发明的用于局部图像匹配的基于局部图像混合特征提取与逻辑回归分析的融合方法的流程图。

参照图1，本发明的基于局部图像特征描述子二值化与逻辑回归分析进行特征描述子融合的图像匹配方法包括：

步骤S1，对输入的两个待匹配的局部图像，分别提取SIFT、CSLBP、LIOP、ShapeContext、OSID等特征描述子，然后将这些特征描述子首尾相连串联在一起，则两幅局部图像可分别得到一个描述向量，记为X⁽¹⁾，X⁽²⁾∈Rⁿ，其中n为描述向量的维数。

步骤S2，对步骤S1得到的描述向量进行二值化，得到局部图像的混合特征描述子。

图2是本发明的混合特征提取流程图。如图2所示，给定一组二值化阈值：t₁，t₂，…，t_n，对于任意一个n维特征描述向量X，那么它的二值化过程可表示为：b_i(X)＝sign(x_i-t_i)，其中sign()是符号函数，当输入变量值大于0时，函数值为1，否则函数值为0。b_i是X二值化之后得到的混合特征描述子B的第i个分量，x_i是X的第i个分量。在这步中，需要给定n个二值化阈值，即：t₁，t₂，…，t_n。它们通过给定训练样本，最小化训练样本的分类错误率得到，所述分类错误率是指分类错误的训练样本与所有训练样本的比值。对于一对匹配样本，若二值化之后得到不同的值，则说明分类错误；对于一对不匹配样本，若二值化之后得到相同的值，则说明分类错误。具体方法如下：

一个训练样本指两张局部图像I⁽¹⁾，I⁽²⁾以及它们的标号l∈{0，1}，l＝1表示这两张局部图像是匹配图像(即图像内容对应于同一物理区域)，称为正样本，l＝0则表示这两张局部图像是不匹配图像，称为负样本。将训练样本集合记为：i＝1，2，…，N，N是训练样本的个数。对训练样本中的所有局部图像，根据步骤S1提取描述向量，可以得到：i＝1，2，…，N。假定第i个分量的二值化阈值为t_i，那么可计算其在训练样本上的正确率为：

$\mathrm{\ρ}\left(t_i\right)=\frac{\underset{l_i=1}{\mathrm{\Σ}}\mathrm{sign}(x_i^{\left(1\right)}-t_i)=\mathrm{sign}(x_i^{\left(2\right)}-t_i)}{\underset{l_i=1}{\mathrm{\Σ}}1}+\frac{\underset{l_i=0}{\mathrm{\Σ}}\mathrm{sign}(x_i^{\left(1\right)}-t_i)\≠\mathrm{sign}(x_i^{\left(2\right)}-t_i)}{\underset{l_i=0}{\mathrm{\Σ}}1}$

因此，可以通过指定不同的t_i，然后搜索使得ρ(t_i)最大的值作为第i个分量的最佳二值化阈值。在具体实施时，t_i的取值范围可以根据样本数据自适应地确定，例如，首先统计出所有的最大值和最小值，然后均匀划分它们得到t_i的备选值，再在这些备选值中选择使得错误率最低的一个作为输出结果。

步骤S3，比较步骤S2得到的两个混合特征描述子每一维上的相似性。由于步骤S2得到的混合特征描述子每一维是一个二值变量，因此通过位异或运算来计算它们每一维上的相似性，这样，可得到一个长度为n的二值序列，1表示两个混合特征描述子在这一维上不相同，0表示相同。这步得到的二值序列称为差异向量。差异向量的计算过程如图3所示。

步骤S4，对步骤S3得到的差异向量进行决策融合，计算得到一个概率值，表征输入的两个局部图像属于匹配图像的可能性大小。这个值越大，表明输入图像越可能是匹配图像；相反，表明输入图像越不可能是匹配图像。本发明使用逻辑回归进行决策融合，假定步骤S3得到的差异向量为D∈{0，1}ⁿ，那么根据逻辑回归的定义，可以得到如下概率值：

$p\left(1\right|D)=\frac{1}{1+\exp (-W^{T}D-w_0)}=\frac{1}{1+\exp (-(W^{T}D+w_0)\×1)}$

$p(-1|D)=1-p\left(1\right|D)=\frac{1}{1+\exp (-(W^{T}D+w_0)\×(-1))}$

其中α＝{W，w₀}是逻辑回归模型的参数，通过极大似然估计方法训练获得。具体如下：

首先，对给定训练样本集合i＝1，2，…，N的每个样本计算得到一个差异向量，得到差异向量训练集合：(D_i，l_i)，i＝1，2，…，N；其次，通过对数极大似然法，求解逻辑回归的参数即：

$\widehat{\mathrm{\α}}=\arg {\max }_{\mathrm{\α}}\ln \underset{i=1}{\overset{N}{\mathrm{\Π}}}p\left(l_i\right|D_i)$

$=\arg {\max }_{\mathrm{\α}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln \frac{1}{1+\exp (-(W^T{D}_i+w_0)l_i)}$

$=\arg {\min }_{\mathrm{\α}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\ln (1+\exp (-(W^T{D}_i+w_0)l_i))$

这个最优化问题可以通过梯度下降法求解。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种局部图像匹配的方法，用于融合多个局部图像特征描述子，其特征在于，包括以下步骤：

步骤S1：对两个待匹配的局部图像，分别提取多种不同类型的局部图像特征描述子，包括SIFT、CSLBP、LIOP、ShapeContext、OSID，每个特征描述子用一个一维向量表示，然后将这些一维向量首尾相连，串联在一起，为每个局部图像得到一个描述向量[x₁,x₂,…,x_n]∈Rⁿ；

步骤S2：对步骤S1得到描述向量的每一维x_i，根据阈值t_i进行二值化，得到局部图像的混合特征描述子[b₁,b₂,…,b_n]∈{0,1}ⁿ，即

步骤S3：对步骤S2得到的两个混合特征描述子进行位异或操作，得到一个二值序列，作为差异向量；

步骤S4：根据步骤S3计算得到的差异向量，利用逻辑回归分析，计算所述两个局部图像属于匹配图像的概率。

2.如权利要求1所述的局部图像匹配的方法，其特征在于，在步骤S2中的二值化阈值t_i通过在训练样本上最小化分类错误率求解得到。

3.如权利要求1所述的局部图像匹配的方法，其特征在于，在步骤S4，利用逻辑回归分析对步骤S3得到的差异向量D∈{0,1}ⁿ进行综合推断，确定输入的两个局部图像属于匹配图像的概率P(D)：

W,w₀是逻辑回归分析的参数。

4.如权利要求3所述的局部图像匹配的方法，其特征在于，在步骤S5，逻辑回归分析的参数W,w₀根据训练样本，通过极大似然估计求解得到。