CN104751470A - 一种图像快速匹配方法 - Google Patents

Abstract

本发明公开了一种图像快速匹配方法，属于数字图像处理技术领域。该方法包括以下步骤：步骤A、利用小波分解方法提取源图像的低频子图像，所述小波分解所使用的小波滤波器满足以下条件：其低通滤波器的系数之和为1；步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配，得到源图像中的粗匹配点；步骤C、从源图像中选取粗匹配点最集中的部分图像；步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配，得到最终的图像匹配结果。相比现有技术，本发明在保证匹配准确度的同时，大幅降低了计算量，提高了图像匹配的速度。

Description

一种图像快速匹配方法

技术领域

本发明涉及一种图像匹配方法，尤其涉及一种利用小波分解的方法缩小SIFT特征匹配的搜索范围、提高匹配速度的图像快速匹配方法，属于数字图像处理技术领域。

背景技术

在图像匹配领域，由于SIFT(Scale Invariant Feature Transform,尺度不变特征变换)算法对存在尺度、旋转、照度、视角、仿射变化等情况下的图像，都能够实现图像的准确匹配，因此它在图像匹配领域得到了广泛的应用。然而，由于SIFT算法本身所需的庞大计算量，其对于某些本身数据量较大或者具有较高实时性要求的场合，例如高分辨率遥感图像，则并不能很好地应用。

为了解决该问题，一些研究者提出了多种不同的方案，例如以提升算法效率为主的SURF[Bay H,Tuytelaars T,Van G L.SURF:Speeded up Robust Features[C]//9th EuropeanConference on Computer Vision,2006:404-417]和PCASIFT[Yan Ke,Rahul Sukthankar.PCA-SIFT:A More Distinctive Representation for Local Image Descriptors[C]//Proceedingsof the 2004IEEE Computer Society Conference on Computer Vision and PatternRecognition,2004,2:506-513]算法，虽然在匹配速度上，较SIFT算法相比已有了明显的提高，但在实际工程中，尤其在图像尺寸变大后，这种性能上的提高便被大幅地弱化。即使是近几年新提出的BIRSK[Leutenegger S,Chli M,Siegwart R Y.BRISK:BinaryRobust Invariant Scalable Keypoints[C]//IEEE International Conference on Computer Vision,2011:2548-2555]和FREAK[Alahi A.Ortiz R,Vandergheynst P.FREAK:Fast RetinaKeypoint[C]//IEEE Conference on Computer Vision and Pattern Recognition,2012:510-517]算法，当图像尺寸变大后，其匹配速度依然不能满足要求。而最重要的是，上述几种算法描述子的综合性能不如SIFT描述子稳定[Mikolajczyk K,Schmid C.A PerformanceEvaluation of Local Descriptors[J].IEEE Trans.on PAMI,2005,27(10):1615-1630]。文献[Xiong Zhi,Wang dan,Zhang dan,et al..Research on Improved SIFT Feature MatchingArithmetic in the SAR Vision Matching Aided Navigation[C].The 6th InternationalConference on Computer Science&Education,2011:909-914]提出用小波变换与SIFT算法联合来提高SAR图像的目标识别，但算法采用单一、固定的小波滤波器，没有具体分析小波变换对频谱的影响，没有给出选择小波滤波器的指导性原则或者公式，而实际仿真发现，并非所有的小波滤波器都适合与SIFT算法联合，以提高图像的匹配速度。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种适于实际应用的利用小波分解方法缩小SIFT特征匹配的搜索范围、提高匹配速度的图像快速匹配方法。

本发明具体采用以下技术方案解决上述技术问题：

一种图像快速匹配方法，包括以下步骤：

步骤A、利用小波分解方法提取源图像的低频子图像，所述小波分解所使用的小波滤波器满足以下条件：其低通滤波器的系数之和为1；

步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配，得到源图像中的粗匹配点；

步骤C、从源图像中选取粗匹配点最集中的部分图像；

步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配，得到最终的图像匹配结果。

进一步地，在步骤B与步骤C之间还包括对粗匹配点进行筛选的步骤：首先对以粗匹配点的坐标所构成的数据集进行聚类，在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除。

优选地，所述从源图像中选取粗匹配点最集中的部分图像，具体方法如下：以聚类所得到的各簇中心的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分图像。

优选地，所述从源图像中选取粗匹配点最集中的部分图像，具体方法如下：以各粗匹配点的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分图像。

优选地，从源图像中所选取的部分图像的大小按照以下方法确定：

式中，L、W分别为源图像的长度、宽度，l为所选取部分图像的边长，l、L、W的单位均为像素；表示向下取整运算。

相比现有技术，本发明具有以下有益效果：

本发明根据创新性的理论分析及实验，首次提出了能够使得小波分解与特征匹配相结合的对于小波滤波器的要求，从而使利用小波分解方法缩小SIFT特征匹配的搜索范围、提高匹配速度的思路真正具有了实用性，并可相应选择最佳的小波滤波器使得算法效果最优；

本发明在保证匹配准确度的同时，大幅降低了计算量，提高了图像匹配的速度。

附图说明

图1为本发明图像快速匹配方法一个优选实施例的流程示意图；

图2为二阶小波分解树；

图3为二阶小波分解树的频谱特性；

图4为三次小波变换过程中，SIFT特征点在频域中的范围变化；

图5为几种典型小波滤波器的低通滤波器幅频响应；

图6为同一幅遥感图像经不同小波滤波器处理得到的低频子图像的关键点数量对比；

图7为同一幅遥感图像经不同小波滤波器处理得到的低频子图像与原遥感图像之间准确SIFT匹配点的数量对比。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

在图像识别领域，SIFT算法有着其他方法难以替代的优点，比如其多量性的特点：即使少数的几个物体也能产生大量的SIFT特征向量。但对于某些数字图像，例如纹理信息很丰富的遥感图像，在实时性要求比较严格的场合，SIFT算法很难满足要求。为了保证图像匹配准确度的同时提高匹配速度，本发明提出了一种图像快速匹配方法，结合小波变换与SIFT算法，可大幅缩小SIFT特征匹配的搜索范围，提高匹配效率；并根据创新性的理论分析及实验，首次提出了能够使得小波分解与SIFT特征匹配相结合的对于小波滤波器的要求。

本发明的图像快速匹配方法，具体包括以下步骤：

步骤A、利用小波分解方法提取源图像的低频子图像，所述小波分解所使用的小波滤波器满足以下条件：其低通滤波器的系数之和为1。

步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配，得到源图像中的粗匹配点；为了提高粗匹配的准确性，本发明还可进一步采用聚类的方法对粗匹配得到的粗匹配点进行筛选，剔除其中的错误匹配点，具体方法如下：首先对以粗匹配点的坐标所构成的数据集进行聚类，在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除。

步骤C、从源图像中选取粗匹配点最集中的部分图像；

确定源图像中粗匹配点最集中的区域的具体方式可根据需要灵活确定，以下为几种可行方案：

如果通过聚类进行了粗匹配点的筛选，则可以聚类所得到的各簇中心的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分区域；或者，直接以最大簇的簇中心为中心从源图像中选取部分区域；还可以各粗匹配点的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分区域；又或者，以粗匹配点中横坐标极大值与极小值的均值、纵坐标极大值与极小值的均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分区域。所选取区域的部分图像即可与目标图像进行下一步的细匹配。

所选取区域的大小同样可根据实际需要确定，例如，可预先规定所选取区域为源图像大小的一定比例(例如1/2、1/4、1/8等)；或者，以粗匹配点之间的平均距离作为所选取区域的半径；再或者，以聚类所得到的各簇中心之间的平均距离作为所选取区域的半径；又或者，以最大簇中各元素之间的平均距离作为所选取区域的半径。为了避免区域大小选择的随意性，对于大小为L×W(L≥512,W≥512)像素的源图像，本发明优选采用以下经验公式确定所选区域的大小：

其中，l为所选取部分图像的边长，单位为像素；表示向下取整运算。

步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配，得到最终的图像匹配结果。

图1显示了采用本发明方法进行遥感图像匹配的一个具体实施例的算法流程。如图所示，该实施例中增加了将粗匹配点数量与一阈值K进行比较的步骤，如大于该阈值，则表明粗匹配点的数量足够，可根据当前的粗匹配点从源图像中确定进行细匹配的区域；如否，则表明当前粗匹配点数量不足以准确确定进行细匹配的区域，此时需要降低小波分解的层数并重新进行粗匹配。

为了使公众能够更深入地理解本发明技术方案，首先对本发明技术方案的理论基础进行详细说明。

多分辨率分析是构造离散小波基的基本框架，也是信号在小波基下进行分解和重构的基本理论保证，同时多分辨率分析也是SIFT算法构建高斯金字塔的理论基础。所以，多分辨率分析是实现小波变换与SIFT算法相结合的一座桥梁。由MRA知道，在小波变换中，尺度函数和小波函数ψ(t)都可以用一个基线性表示：

等式(1)和(2)被称为双尺度函数，它表明了小波变换与SIFT算法在实现上的一致：通过滤波和下采样实现。

对双尺度方程两边取Fourier变换，可得到频域上的双尺度关系：

这里：

$h\left(\mathrm{\ω}\right)=\frac{1}{2}\underset{k}{\mathrm{\Σ}}{h}_k{e}^{-\mathrm{k\ω}}---\left(5\right)$

$g\left(\mathrm{\ω}\right)=\frac{1}{2}\underset{k}{\mathrm{\Σ}}{g}_k{e}^{-\mathrm{ik\ω}}---\left(6\right)$

反复将等式(5)带入等式(3)，则对于n∈Z有

由等式(1)(2)、(3)、(7)，我们可得到图2所示的一个二阶小波分解树以及图3所示的其理想传递特性，其中h1和h0分别为半波带滤波器。第一阶滤波器组将V2的频谱分成低通带(V0+W0)和高通带(W1)，从而生成低尺度的尺度系数V1和小波系数W1；第二阶滤波器组将低通带进一步分成另外一个低通带(V0)和带通带(W0)。由此可知，对图像而言，每做一次小波变换，低频子带图像的大小便减小到原先的1/4，信号的带宽变为原先的1/2，这样便极大地减少了SIFT算法中特征点的数目，图4展示了三次小波变换过程中，频域中能够检测到SIFT特征点的范围变化。

文献[Run-hai J.,Yuan-cheng L.,Jing-biao H,“Remote sensing image compressionbased on vision model and image feature,”Journal of Beijing University of Aeronautics andAstronautics,vol.31,No.2,Feb,2005.]已经用统计的方法证明，沿着低频至最高频，遥感图像能量分布是先增加后减小，即遥感图像的中频信息较多。于是，通过对遥感图像做小波变换，既可以达到减少图像特征点数目，缩减图像匹配时间的目的；同时又不会因为小波变换后的低频子图像中的特征点数目极少而无法进行图像匹配。理论上，图像分解的最大尺度为其中，为向下取整操作。但实际处理时，J的取值要根据遥感图像的大小和纹理信息的丰富程度来确定，一个大小为1024×1024的纹理信息相对比较丰富的遥感图像，取J＝3一般是比较合适的。

SIFT算法进行匹配操作有两个最重要的过程：特征点的检测和关键点的描述。前者是提取图像中的相对不变点，比如角点、边缘点、亮区中的暗点等，这些点在频域中表现为中、高频信息；后者则是通过描述关键点周围局部邻域的梯度来实现，即主要通过低、中频信息的描述来实现关键点之间的辨识。

小波分解的实质就是让信号通过选定的低通和高通滤波器。对于第j+1层信号的分解就是将第j层的信号序列分别通过l(n)和h(n)两个滤波器，而离散信号通过滤波器可以利用卷积和的形式来描述，如下式所示：

$\left\{\begin{array}{c}{a}_{j+1}\left(n\right)=a_j\left(n\right)*l\left(n\right)=\underset{k}{\mathrm{\Σ}}l\left(k\right)a_j(2n-k)\\ d_{j+1}\left(n\right)=a_j\left(n\right)*h\left(n\right)=\underset{k}{\mathrm{\Σ}}h\left(k\right)a_j(2n-k)\end{array}\right.---\left(8\right)$

表1列出了几种典型的小波滤波器，而图5则显示了其低通滤波器的幅频响应，为了说明低通滤波器幅频曲线中低频区的不同而导致的算法性能的不同，我们将各个低通滤波器的幅频响应曲线的低频区放大，放于各自幅频曲线之下以做对比。

表1 滤波器及其系数

从滤波器的幅频曲线可以看出，虽然几种滤波器均能实现低通滤波的功能，但其对于低频区的影响却各不相同。其中，非规范的haar小波滤波器和B样条小波滤波器对整个频带信号没有增加信号幅值的作用；而规范的haar小波滤波器能增强低频区信号幅值；5-3小波滤波器则能够增强中频区信号幅值。用上述几种小波滤波器分别对一幅大小为1024×1024的遥感图像做4层小波分解，对分解后的每层低频子图像做关键点检测，得到关键点数目的对比曲线，如图6所示；将每层低频子图像与原图像做SIFT匹配，得到准确匹配到的关键点数目对比曲线，如图7所示。

根据图6、图7可以看出，规范的haar小波滤波器因为改变了图像的基频信息，从而使得准确检测到的关键点数目急剧减少；B样条小波滤波器因为跟高斯滤波器最为相似，所以B样条小波滤波器性能最好；非规范的haar小波滤波器性能要稍弱于B样条小波滤波器，但非规范的haar小波滤波器的系数要更加简单，通过硬件平台来实现滤波器功能时，非规范的haar小波滤波器更具优势。

由上可知，小波变换与SIFT相结合实现图像匹配的关键在于：低通滤波器不能改变图像的基频信息，由此可以得到选择小波滤波器的一个充分条件，即：

$\underset{k}{\mathrm{\Σ}}l\left(k\right)=1---\left(9\right)$

其中l(k)为低通滤波器系数。

本发明采用由粗到细的匹配思路，首先通过小波变换提取源图像在尺度空间里的高尺度表示，并将其与待匹配目标图像进行粗匹配，根据粗匹配的结果，从源图像中重新选取粗匹配点最密集的区域图像与待匹配目标图像进行细匹配，最终完成匹配操作。本发明可在保证匹配准确性的前提下大幅降低计算量，提高匹配速度。

为了验证本发明方法的效果，取图像大小为1024×1024的一幅遥感图像做为源图像，从源图像中取大小为512×512的一块区域作为待匹配的目标图像，分别用SIFT算法、SURF算法和本发明方法做图像匹配实验，每种算法完成图像匹配所花费的时间如表2所示。

表2 算法匹配时间对比

从表2可以看出，对于信息量相对比较丰富的遥感图像的匹配，SIFT算法还是很难满足实时性的要求，即使是在计算性能上优化了的SURF算法，其性能优势也不明显。而采用本发明方法，即使只将源图像进行1次小波分解，其匹配所花费的时间已经比SURF算法少了近40％，而将源图像进行3次小波分解，其匹配所花费的时间只是SIFT算法的25.04％、SURF算法的35.36％，可见本发明方法极大地提高了匹配速度。

Claims (8)

1.一种图像快速匹配方法，其特征在于，包括以下步骤：

步骤A、利用小波分解方法提取源图像的低频子图像，所述小波分解所使用的小波滤波器满足以下条件：其低通滤波器的系数之和为1；

步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配，得到源图像中的粗匹配点；

步骤C、从源图像中选取粗匹配点最集中的部分图像；

步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配，得到最终的图像匹配结果。

2.如权利要求1所述图像快速匹配方法，其特征在于，在步骤B与步骤C之间还包括对粗匹配点进行筛选的步骤：首先对以粗匹配点的坐标所构成的数据集进行聚类，在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除。

3.如权利要求2所述图像快速匹配方法，其特征在于，所述从源图像中选取粗匹配点最集中的部分图像，具体方法如下：以聚类所得到的各簇中心的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分图像。

4.如权利要求1所述图像快速匹配方法，其特征在于，所述从源图像中选取粗匹配点最集中的部分图像，具体方法如下：以各粗匹配点的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点，在源图像中选取以该点为中心的部分图像。

5.如权利要求1所述图像快速匹配方法，其特征在于，从源图像中所选取的部分图像的大小按照以下方法确定：

式中，L、W分别为源图像的长度、宽度，l为所选取部分图像的边长，l、L、W的单位均为像素；表示向下取整运算。

6.如权利要求1所述图像快速匹配方法，其特征在于，所述小波分解采用软件实现的B样条小波滤波器。

7.如权利要求1所述图像快速匹配方法，其特征在于，所述小波分解采用硬件实现的非规范的haar小波滤波器。

8.如权利要求1～7任一项所述图像快速匹配方法，其特征在于，源图像为遥感图像。