CN109598750B - 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法 - Google Patents

一种基于变形空间金字塔的大尺度差异图像特征点匹配方法 Download PDF

Info

Publication number
CN109598750B
CN109598750B CN201811491636.5A CN201811491636A CN109598750B CN 109598750 B CN109598750 B CN 109598750B CN 201811491636 A CN201811491636 A CN 201811491636A CN 109598750 B CN109598750 B CN 109598750B
Authority
CN
China
Prior art keywords
image
node
grid
pixel
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811491636.5A
Other languages
English (en)
Other versions
CN109598750A (zh
Inventor
张绪冰
陈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811491636.5A priority Critical patent/CN109598750B/zh
Publication of CN109598750A publication Critical patent/CN109598750A/zh
Application granted granted Critical
Publication of CN109598750B publication Critical patent/CN109598750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，以两幅分辨率尺度差异大的图像为对象，首先采用Dense SIFT算法以一个固定大小的网格或者边界框，固定的步长在图像上自左向右、从上到下的重叠方式提取特征点及其描述，然后采用变形空间金字塔算法进行特征点的匹配，最后运用RANSAC剔除误匹配点,获得最终的匹配结果。本文算法匹配效果非常好，能够为国土资源管理部门与生产单位进行国土资源动态遥感监测提供多源数据协同的技术支撑，可以运用到地质调查、矿山监测、农林调查、资源与环境遥感、灾害预警等多方面，具有较大的潜在社会、经济价值与效益。

Description

一种基于变形空间金字塔的大尺度差异图像特征点匹配方法
技术领域
本发明属于遥感图像处理数据预处理技术领域，是一种基于变形空间金字塔的大尺度差异图像特征点匹配方法。
背景技术
多源遥感影像的高精度配准是多源遥感数据融合的前提，也是多传感器协同进行国土资源调查与监测的必要手段，是遥感影像变化检测、目标提取、分类识别与理解的基础，在国土资源的动态遥感监测与调查方面，具有重要的科学研究与应用价值。分辨率、尺度差异较大的高、中分辨率影像的高精度配准方法成为当前研究的热点与难题。与中低分辨率遥感影像数据相比，高空间分辨率遥感影像数据能够表征同一地物内部丰富的细节，空间信息更加强大，但其光谱统计特性不如中低分辨率多光谱、高光谱影像稳定，类内光谱差异较大。在国土资源进行动态遥感监测和实地调查时,通常需要将中分辨率多光谱影像和高空间分辨率全色影像进行融合，以此来共同处理目标位置信息，将目标位置的结构、形状以及纹理信息等内容，完整而又清晰的表现出来。此时，多源数据融合及时空变量动态分布的同化，面临一个重要的困难是难以建立多源数据之间的配准，其困难表现在时相、分辨率、尺度差异较大；以及噪声干扰、几何形变、灰度变化等多种影响因素，造成很难构建对应的精确匹配关系。
由于遥感影像数据的多样性、国土资源动态监测具体应用需求的差异，难以找到适合各种场合的统一的影像配准方法，基于特征的影像配准方法常划分为区域特征、线特征与点特征的配准方法。其中，区域特征方法的配准精度受到分割算法精度的影响，并需要图像中有足够的同名区域；线特征的提取依赖于边缘检测的准确度和精度；基于特征点的遥感图像配准有相对优势，其应用最为广泛，但是在影像空间分辨率差异较大的情况下，易产生误匹配点对，导致配准误差。大尺度差异图像之间不易获得相同的直接特征，难以进行有效地匹配。为了解决这个问题，本技术引入了一个可变形的空间金字塔模型(DSP)快速密集匹配算法，将其用于大尺度差异图像的匹配，并取得了良好的效果。
发明内容
本发明的目的在于针对现有技术的缺点和不足，面向高分辨率和中分辨率遥感影像，提出了一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，本发明去除了原变形空间金字塔算法必须首先提取目标轮廓的步骤，直接以遥感影像为目标，采用DenseSIFT算法以一个固定大小的网格或者边界框，固定的步长在图像上自左向右、从上到下的重叠方式提取特征点，省略了计算高斯差分和局部极值的判断等过程，极大地降低计算复杂度。Dense SIFT采用固定网格和步长的滑动窗口方式对整幅图像进行扫描，每个网格内提取一个Dense SIFT特征，因而提取特征速度快。此外，该变形空间金字塔特征点匹配方法包括了从粗到精的两级匹配策略：网格层和像素层匹配。对于在网格层(传统的图像金字塔)，每个网格单元和像素是一个节点，连接所有相邻节点和边缘，以及在相邻水平上的父子节点。而变形空间金字塔模型在传统的图像金字塔模型(网格层)上进一步添加一个像素层，对于像素级层，此模型不连接相邻像素，每个像素只与它的父单元相连接。这种方法可以在多个空间范围内同时规范匹配的一致性，从整幅图像，到粗网格单元，到每一个像素，这种新颖的正则化方法大大提高了像素级图像匹配精度。匹配方法能够适用于高分辨率和中分辨率遥感影像处理领域。
本发明所采用的技术方案是一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，包括以下步骤：
步骤a，输入分辨率差异大的两幅影像；
步骤b，采用Dense SIFT特征提取方法分别提取两幅影像的特征点，并获得特征点描述符；
步骤c，构建变形空间金字塔模型，并利用变形空间金字塔模型对提取的两幅影像中的特征点进行匹配，获得初始匹配点对；
步骤d，采用RANSAC方法剔除误匹配点，并输出最终的匹配结果。
进一步的，步骤a中差异大的两幅影像包括，高分辨率影像和中分辨率影像，高分辨率影像和低分辨率影像，中分辨率影像和低分辨率影像。
进一步的，步骤b中Dense SIFT算法以一个固定大小的网格或者边界框，固定的步长在影像上自左向右、从上到下的重叠方式提取特征点，所有特征点均匀分布在影像的各个区域。
进一步的，步骤c的具体实现方式如下，
步骤c1，将两幅影像(参考影像和待匹配影像)分别分成m个矩阵网格单元；
步骤c2，将步骤c1中每个矩形网格进一步分成m×m矩形网格单元，直到达到预定数量的层次结构，以此得到网格层，网格层每个网格单元中的像素是一个节点，连接所有相邻节点和边缘，以及在相邻水平上的父子节点；
步骤c3，添加像素级层，像素级层中的像素之间不连接，每个像素只与它的父单元相连接；
步骤c4，计算网格层中每个网格单元的数据项Di以及最小化能量函数E(ti)，所述数据项Di代表节点i通过转移量ti从参考影像转移到相同尺度待参考影像的同一区域后，局部描述符与局部描述符之间的平均距离；所述能量函数E(ti)表示节点从参考影像平移到待匹配影像所产生的能量；
步骤c5，计算像素级层中每个像素的数据项Di(ti,si)及最小化能量函数E(ti,si)，si为尺度变量；
步骤c6，采用置信度传播算法寻找参考影像网格层中每个节点在待匹配影像中的最佳对应关系，使每一个节点从参考影像到待匹配影像达到最优平移，即能量函数E(ti)最小化，并使得两幅图像每个节点之间的局部描述符距离最小，获得初始匹配点对；
步骤c7，采用置信度传播算法寻找参考影像像素级层每个像素在待匹配影像中的最佳对应关系，使每一个像素从参考影像到待匹配影像达到最优平移，即能量函数E(ti,si)最小化，并使得两幅图像每个像素之间的局部描述符距离最小，获得初始匹配点对。
进一步的，步骤c4中数据项Di以及能量函数E(ti)的计算公式如下，
Figure BDA0001895827270000041
其中Di是数据项，Vij是平滑项，Vij＝min(||ti-tj||1,λ)，j表示与节点i相连的父节点，α是一个固定权重，N代表被图像边缘所连接的节点对个数，阈值λ用于规范描述符之间的距离；
Figure BDA0001895827270000042
其中q代表一个节点i所提取出局部描述子的像素中心坐标，z代表描述符的总量，ti＝(ui,vi)代表节点i从参考图像向待匹配图像平移的转移量，并且d1和d2分别表示在参考图像像素中心坐标q和待匹配图像像素中心坐标q+ti所在位置的描述符，阈值λ为常数；
进一步的，步骤c5中每个像素的数据项Di(ti,si)能量函数E(ti,si)的计算公式如下，
Figure BDA0001895827270000043
其中Wij＝||si-sj||1为尺度平滑项，β为权重常数，
Figure BDA0001895827270000044
其中si为尺度变量，是动态值，它是根据图像尺度变化的特定范围取相应的离散值。
本发明提供的技术方案的有益效果为：以高分辨率和中分辨率大尺度差异遥感影像为例，首先采用Dense SIFT算法提取影像的特征点及其描述，然后采用变形空间金字塔算法进行特征点的匹配，最后运用RANSAC剔除误匹配点,获得最终的匹配结果。与目前主流的特征点匹配算法相比，本文算法匹配效果非常好，能够为国土资源管理部门与生产单位进行国土资源动态遥感监测提供多源数据协同的技术支撑，可以运用到地质调查、矿山监测、农林调查、资源与环境遥感、灾害预警等多方面，具有较大的潜在社会、经济价值与效益。
附图说明
图1为本发明实施例的流程图；
图2Dense SIFT提取示意图；
图3为塔木地区某区域的Landsat-8和Wordview-2影像波段图；其中(a)参考影像Landsat-8波段1(分辨率30m)(b)待匹配影像Wordview-2波段1(分辨率2m)；
图4为塔木地区某区域Landsat-8和Wordview-2影像波段DoG算法特征点提取结果；其中(a)参考影像Landsat-8波段1(分辨率30m)SIFT算法提取特征点(174)，(b)待匹配影像Wordview-2波段1(分辨率2m)提取特征点(27796)；
图5为塔木地区某区域Landsat-8和Wordview-2影像波段特征点SIFT算法匹配结果；
图6塔木地区某区域Landsat-8和Wordview-2影像波段特征点SURF算法匹配结果；
图7为塔木地区某区域Landsat-8和Wordview-2影像波段DSP算法匹配结果。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。
步骤a：输入高分辨率影像和中分辨率影像；
本发明实施例主要以高分辨率和中分辨率遥感影像为例，也可以是高分辨率影像和低分辨率影像，中分辨率影像和低分辨率影像。
步骤b：采用Dense SIFT特征提取方法，并获得特征点描述符；
本发明使用Dense SIFT算法进行特征提取的，算法原理如图2所示。Dense SIFT算法以一个固定大小的网格或者边界框，固定的步长在图像上自左向右、从上到下的重叠方式提取特征点，省略了计算高斯差分和局部极值的判断等过程，极大地降低计算复杂度。Dense SIFT采用固定网格和步长的滑动窗口方式对整幅图像进行扫描，每个网格内提取一个Dense SIFT特征，因而提取特征速度快。
在寻找特征点时，Dense SIFT并不是使用一个分类器判断是否是特征点，而是为了简化，所有特征点是均匀分布在图像的各个区域的。此外，在采样时有个涉及不同尺度下采样步长是否应该相同的问题。在更大的尺度下，当窗口移动同样的步长，窗口要大些，这会使得相邻窗口的重叠区域面积比率变大，从而使得采样的冗余较小尺度下的冗余要大。因此，本发明实施中对参考影像(中分辨率影像)进行特征提取时采用的固定网格单元和步长分别是4×4和1。由于参考影像和待匹配影像(高分辨率影像)空间分辨率相差近15倍，实验表明，当对待匹配影像进行特征提取时采用的固定网格单元和步长均为参考影像的7倍，效果最佳，最终每个固定像素块提取一个128为SIFT的特征向量。
步骤c，采用基于变形空间金字塔模型对大尺度差异图像进行特征点匹配，获得初始匹配点对。
具体计算过程如下所示：
1)将整幅图像分成四个矩阵网格单元；
2)将步骤1)中每个矩形网格进一步分成4×4矩形网格单元，直此分块完毕，获得网格层。此步骤中每个网格单元中的像素为一个节点，连接所有相邻节点和边缘，以及在相邻水平上的父子节点；
3)在步骤2)基础上进一步添加一个层：像素级层，此步骤中的模型不连接相邻像素，每个像素只与它的父单元相连接；由于此模型提供更大的空间支持，网格层的单元能够在图像变化很大时提供快速可靠的初始对应。
4)计算网格层中每个网格单元的数据项Di以及能量函数E(ti)；
网格层中每个网格单元的数据项Di的计算属于固定尺度图像匹配数学模型，定义pi＝(xi,yi)代表节点i在金字塔图中的位置(节点的中心像素坐标)，ti＝(ui,vi)代表节点i从左图像(参考图像)向右图像(待匹配影像)平移，要使每一个节点从左图像到右图像达到最优平移，通过最小化能量函数来计算：
Figure BDA0001895827270000061
/>
其中Di是数据项，Vij是平滑项，j表示与节点i相连的父节点，α是一个固定权重，N代表被图像边缘所连接的节点对个数。在实际情况中，像素点的匹配代价并不能完全正确反应两幅图像中两个点匹配的正确性，为了衡量两个图像匹配的正确性，在最小化能量函数中引入了Vij平滑项，Vij＝min(||ti-tj||1,λ)，阈值λ(通常取0.5)代表是规范描述符之间的距离。
数据项Di代表出现匹配成本节点i转移量ti。它被定义为在左图像中节点i通过ti转移到相同尺度右图像的同一区域后，局部描述符与局部描述符之间的平均距离计算公式为：
Figure BDA0001895827270000071
其中q代表一个节点i所提取出局部描述子的像素中心坐标，z代表描述符的总量，并且d1和d2分别表示在左图像像素中心坐标q和右图像像素中心坐标q+ti所在位置的描述符。
5)计算像素级层中每个像素的数据项Di(ti,si)以及能量函数E(ti,si)；
上述方法假设匹配是在一个固定的尺度范围内完成：每个网格单元匹配同一尺度的另一个区域。
然而，本发明的重点是从固定尺度图像匹配模型扩展到多尺度图像匹配。
Figure BDA0001895827270000072
公式(3)是公式(1)多尺度的扩展。在这里为每个节点添加了一个尺度变量si，图像从固定尺度扩展到多尺度。并且引入了一个尺度平滑项Wij＝||si-sj||1以及相关权重常数β(设置为0.25)。这里的尺度变量si是定义一个变量，是一个动态的值并不是固定值，它是根据图像尺度变化的特定范围取相应的离散值。其中数据项也同样转变定义为一个多尺度函数：
Figure BDA0001895827270000073
从公式(式4)可以看到描述符d2和描述符d1相对应的位置是由尺度变量si和转移变量ti所确定的。
6)BP算法寻找网格层中每个节点的最佳对应关系，即通过BP算法最小化能量函数式(1)，并使得左右图像每个节点之间的局部描述符距离最小，获得初始匹配点对；
步骤4)计算完数据项(即计算完局部描述符和局部描述符之间的距离)后，下一步采用BP算法寻找每个节点的最佳对应。本发明算法中置信度传播算法(BeliefPropagation，BP)算法参数设置，变形系数为0.005，初始权值为0.25，最大迭代数为50。BP算法是这样来寻找每个节点的最佳对应的：首先通过置信度传播算法把图像中所有的节点构建起来(网格层)，通过迭代的方法来解决概率图模型的概率推断问题，经过多次迭代后，每个节点的概率分布将收敛于一个稳态，此时模型达到收敛状态，关键计算步骤总结为两步：一是通过加权乘积计算所有的局部消息；通过公式(5)计算：
Figure BDA0001895827270000081
其中bi(xi)为节点i的联合概率分布，mij(xi)代表隐含节点j传递给隐含节点i的消息，表明隐含节点i对隐含节点j当前状态的影响。φi(xi,yi)表示节点i的局部证据，表示节点i的联合相容度。节点i的置信度bi(xi)与i的邻域向i传递的所有消息的乘积成正比，同时也正比于φi(xi,yi)，1/zi为归一化常数，可使置信度的和为1，N(i)为节点i的马尔可夫随机场(MRF)一阶领域。
二是节点消息在随机场中的传递，通过以下公式(6)计算：
Figure BDA0001895827270000082
xi，yj代表为随机选择相邻的隐含节点，mij(xi)表示从xi向yj传递消息，φj(xj,yj)表示节点j的局部证据mij(xi)，ψji(xj,xi)为相邻节点之间的不连续代价，反映节点变量xi，xj之间的相容性，体现了随机场自身具备的约束条件，k为归一化约束项，N(j)\i表示节点j的MRF一阶邻域中删除点目标节点i的邻域。通过公式(5)(6)，可以先任意初始化每个bi(xi)，然后迭代的求解mij和bi(xi)直到收敛，也就是说mij不再发生变化。换句话说，就是首先对一些初始节点的消息赋初值，然后多次迭代消息传播和置信度更新直到它们稳定，最后从置信度中获取相应的概率
7)像素级层匹配：从粗到精的两级加速搜素，利用BP算法寻找像素级层中每个像素的最佳对应关系，即通过BP算法最小化能量函数式(3)，并使得左右图像每个像素之间的局部描述符距离最小，获得初始匹配点对；
网格层和像素级层匹配是一种从粗到精的两级分层优化匹配策略，这种匹配策略通过置信度传播(BP)算法来进行两级加速搜索。在实际运行中，通过置信度传播算法(BP)进行优化计算复杂度：一是在计算描述符之间距离时，m为提取的描述符数量，复杂度为ο(mlk)，l为描述符可能转移的数量，k为描述符维度，在网格层中通过置信度传播算法传播仅需要几十个数量节点，为数据项(公式(2)的描述符与描述符之间平均距离提供了一个可靠的匹配成本，在网格层无需计算数量密集的描述符，由此提取出的描述符数量m就大大减少了，同时也减少了计算时间。二是此外网格层不连接像素之间的边缘，像素层通过BP算法就可以以非迭代方式非常有效地进行计算。三是置信度传播算法中使用广义距离变换技术(即通常我们所说的欧式距离)来降低节点ο(l2)到节点ο(l)之间传递信息的时间。其中，置信度传播总运行时间为ο(nl)，其中n代表图像中节点的数量。n，m，和l为所有像素数量的量级。
步骤d，采用RANSAC方法剔除误匹配点。
RANSAC法由Fischler和Bolles于1981年提出，其本身是一种基于概率与统计学理论的数学方法。该算法能够分析和修正包含一定百分比粗差的数据。RANSAC法不同于传统的平差技术，其认为与其使用尽可能多的数据获得一个初始解，然后尝试剔除粗差点，不如先找到一个数据尽可能少而可行的初始数据集，然后用现有的合适的数据扩展这个集合。本发明采用经典的RANSAC剔除误匹配点。
1)随机选择步骤c的计算结果中4对同名点；
2)计算单应矩阵并获得一致集；
3)如果超过了设定的迭代次数，则选择元素最多的一致集计算基础矩阵，反之，返回步骤1)重新计算；
4)输出无粗差的匹配结果。
以下通过实验来验证本发明的有效性：
实验环境均为：CPU：Inter Core i5-3230M，主频2.6GHz，内存为4GB，操作系统：Windows 64，开发环境为VS2010和MATLAB R2014。
实验一：新疆西部塔木地区的Landsat-8影像和Wordview-2影像，实验结果如图3至5所示，其中图3(a)为截取的塔木地区某区域的Landsat-8影像的波段1数据，分辨率为30m，像素大小为168×169，波长范围为433～453nm。图3(b)为截取的对应区域的Worldview-2影像的波段1数据，分辨率为2m，像素大小为1190×1240，波长范围为450～510nm。图4所示为采用DoG算子在两幅影像波段上提取的特征点数量。图5所示为采用SIFT描述子对每个特征点进行特征向量提取，然后利用最近邻匹配算法获得的匹配特征点结果。图6所示为采用SURF算法的匹配结果图。从实验结果中我们可以看出，采用经典的SIFT和SURF算法，在Wordview-2影像和Landsat-8影像空间分辨率差别很大的情况下，很难获得正确的匹配点对，影像配准的精度下降，势必对后续的影像融合与岩石地物识别分类带来较大的误差。
采用变形空间金字塔算法进行实验，根据Dense SIFT算法原理，对参考影像进行特征提取时采用的固定网格单元和步长分别是4×4和1。由于参考影像和待配准影像空间分辨率相差近15倍，实验表明，当对待配准影像进行特征提取时采用的固定网格单元和步长均为参考影像的7倍时，最终每个固定像素块提取一个128为SIFT的特征向量(即特征点描述符)，通过调整描述符与描述符之间平均距离的匹配成本阈值D，其中当匹配成本阈值为143≤D≤214时，两幅影像存在有效匹配点对。
由图7、表1和表2可知，本文提出的算法获得的匹配对也远远多于SIFT和SURF的匹配结果，正确匹配率达到了100％，并且运行效率是它们的数倍之高。因此本文算法与经典SIFT和SURF算法有本质区别，无论在匹配点对数量、匹配正确率以及算法运行效率方面，本文算法优势十分明显。
表1 SIFT和SURF算法实验结果比较
Figure BDA0001895827270000101
表2 DSP算法实验结果
Figure BDA0001895827270000111
综上所述，针对大尺度差异影像，采用了基于变形空间金字塔的匹配方法进行特征点匹配。该方法构建了一个的变形金字塔图模型，可以在多个空间范围内同时规范匹配的一致性，从整幅图像，到粗网格单元，到每一个像素，这种新颖的正则化方法大大提高了像素级图像匹配精度。首先，采用Dense SIFT算法提取影像的特征点及其描述，然后采用变形空间金字塔算法进行特征点匹配。为了验证算法的可行性，在高分辨率遥感数据和中分辨率遥感数据进行了实验，并与经典的SIFT和SURF算法进行比较。实验结果证明，针对大尺度差异图像，采用经典SIFT算法与SURF算法完全失效，本算法无论在匹配点对数量、匹配正确率以及算法运行效率方面与经典SIFT、SURF算法相比，优势相当明显，是一种可行的大尺度差异图像匹配方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，其特征在于，包括以下步骤：
步骤a，输入分辨率差异大的两幅影像，两幅影像的空间分辨率相差14倍；
步骤a中差异大的两幅影像包括，高分辨率影像和中分辨率影像，高分辨率影像和低分辨率影像，中分辨率影像和低分辨率影像；
步骤b，采用DenseSIFT特征提取方法分别提取两幅影像的特征点，并获得特征点描述符；
所述DenseSIFT采用固定网格和步长的滑动窗口方式对整幅图像进行扫描，每个网格内提取一个DenseSIFT特征；对分辨率小的影像进行特征提取时采用的固定网格单元和步长分别是4
Figure QLYQS_1
4和1，对分辨率大的影像进行特征提取时采用的固定网格单元和步长均为分辨率小的影像的7倍，最终每个固定像素块提取一个128为SIFT的特征向量；
步骤c，构建变形空间金字塔模型，并利用变形空间金字塔模型对提取的两幅影像中的特征点进行匹配，获得初始匹配点对；
步骤c的具体实现方式如下，
步骤c1，将两幅影像，即参考影像和待匹配影像分别分成m个矩阵网格单元；
步骤c2，将步骤c1中每个矩形网格进一步分成m
Figure QLYQS_2
m矩形网格单元，直到达到预定数量的层次结构，以此得到网格层，网格层每个网格单元中的像素是一个节点，连接所有相邻节点和边缘，以及在相邻水平上的父子节点；
步骤c3，添加像素级层，像素级层中的像素之间不连接，每个像素只与它的父单元相连接；
步骤c4，计算网格层中每个网格单元的数据项
Figure QLYQS_3
以及最小化能量函数/>
Figure QLYQS_4
，所述数据项/>
Figure QLYQS_5
代表节点/>
Figure QLYQS_6
通过转移量/>
Figure QLYQS_7
从参考影像转移到相同尺度待参考影像的同一区域后，局部描述符与局部描述符之间的平均距离；所述最小化能量函数/>
Figure QLYQS_8
表示节点从参考影像到待匹配影像达到最优平移；
步骤c5，计算像素级层中每个像素的数据项
Figure QLYQS_9
及最小化能量函数/>
Figure QLYQS_10
，/>
Figure QLYQS_11
代表节点/>
Figure QLYQS_12
从参考图像向待匹配图像平移的转移量，/>
Figure QLYQS_13
为尺度变量；
步骤c6，采用置信度传播算法寻找参考影像网格层中每个节点在待匹配影像中的最佳对应关系，使每一个节点从参考影像到待匹配影像达到最优平移，即能量函数
Figure QLYQS_14
最小化，并使得两幅图像每个节点之间的局部描述符距离最小，获得初始匹配点对；
步骤c7，采用置信度传播算法寻找参考影像像素级层每个像素在待匹配影像中的最佳对应关系，使每一个像素从参考影像到待匹配影像达到最优平移，即能量函数
Figure QLYQS_15
最小化，并使得两幅图像每个像素之间的局部描述符距离最小，获得初始匹配点对；
步骤d，采用RANSAC方法剔除误匹配点，并输出最终的匹配结果。
2.如权利要求1所述的一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，其特征在于：步骤b中DenseSIFT算法以一个固定大小的网格或者边界框，固定的步长在影像上自左向右、从上到下的重叠方式提取特征点，所有特征点均匀分布在影像的各个区域。
3.如权利要求1所述的一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，其特征在于：步骤c4中数据项
Figure QLYQS_16
以及最小化能量函数/>
Figure QLYQS_17
的计算公式如下，
Figure QLYQS_18
式(1)
其中
Figure QLYQS_20
是数据项，/>
Figure QLYQS_21
是平滑项，/>
Figure QLYQS_22
，/>
Figure QLYQS_23
表示与节点/>
Figure QLYQS_24
相连的父节点，/>
Figure QLYQS_25
是一个固定权重，/>
Figure QLYQS_26
代表被图像边缘所连接的节点对个数，阈值/>
Figure QLYQS_19
用于规范描述符之间的距离；
Figure QLYQS_27
式(2)
其中
Figure QLYQS_29
代表一个节点/>
Figure QLYQS_31
所提取出局部描述子的像素中心坐标，/>
Figure QLYQS_32
代表描述符的总量，
Figure QLYQS_34
代表节点/>
Figure QLYQS_35
从参考图像向待匹配图像平移的转移量，并且/>
Figure QLYQS_36
和/>
Figure QLYQS_37
分别表示在参考图像像素中心坐标/>
Figure QLYQS_28
和待匹配图像像素中心坐标/>
Figure QLYQS_30
所在位置的描述符，阈值/>
Figure QLYQS_33
为常数。
4.如权利要求3所述的一种基于变形空间金字塔的大尺度差异图像特征点匹配方法，其特征在于：步骤c5中每个像素的数据项
Figure QLYQS_38
及最小化能量函数/>
Figure QLYQS_39
的计算公式如下，
Figure QLYQS_40
式(3)
其中
Figure QLYQS_41
为尺度平滑项，/>
Figure QLYQS_42
为权重常数，
Figure QLYQS_43
式(4)
其中
Figure QLYQS_44
为尺度变量，是动态值，它是根据图像尺度变化的特定范围取相应的离散值。/>
CN201811491636.5A 2018-12-07 2018-12-07 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法 Active CN109598750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811491636.5A CN109598750B (zh) 2018-12-07 2018-12-07 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811491636.5A CN109598750B (zh) 2018-12-07 2018-12-07 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法

Publications (2)

Publication Number Publication Date
CN109598750A CN109598750A (zh) 2019-04-09
CN109598750B true CN109598750B (zh) 2023-05-23

Family

ID=65961162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811491636.5A Active CN109598750B (zh) 2018-12-07 2018-12-07 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法

Country Status (1)

Country Link
CN (1) CN109598750B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147801B (zh) * 2019-05-30 2023-05-12 福建农林大学 一种基于向量的sift点集平滑匹配方法
CN111461196B (zh) * 2020-03-27 2023-07-21 上海大学 基于结构特征的快速鲁棒图像识别跟踪方法和装置
CN112085784A (zh) * 2020-09-15 2020-12-15 湖南华云数据湖信息技术有限公司 一种基于变形匹配能量函数的目标配准识别方法
CN112465714B (zh) * 2020-11-24 2024-05-07 航天科工(北京)空间信息应用股份有限公司 多时相遥感影像处理方法和装置及设备
CN112435207B (zh) * 2020-12-07 2024-04-09 深圳航天智慧城市系统技术研究院有限公司 一种基于天空地一体化的森林火灾监测预警方法
CN112396642B (zh) * 2020-12-08 2024-04-05 兰州交通大学 耦合点线特征的多模态亚米/米级卫星影像配准技术
CN113128433A (zh) * 2021-04-26 2021-07-16 刘秀萍 颜色迁移匹配特征的视频监控影像增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN107909018A (zh) * 2017-11-06 2018-04-13 西南交通大学 一种稳健的多模态遥感影像匹配方法和系统
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565015B2 (ja) * 2008-05-15 2010-10-20 シャープ株式会社 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体
CN103886611B (zh) * 2014-04-08 2018-04-27 西安煤航信息产业有限公司 一种适合于航空摄影飞行质量自动检查的影像匹配方法
US10062005B2 (en) * 2015-03-17 2018-08-28 Teledyne Scientific & Imaging, Llc Multi-scale correspondence point matching using constellation of image chips
CN105354841B (zh) * 2015-10-21 2019-02-01 武汉工程大学 一种快速遥感影像匹配方法及系统
CN105718947B (zh) * 2016-01-21 2018-12-21 吉林大学 基于lbp和小波矩融合特征的肺癌图像精细分类方法
CN106650744B (zh) * 2016-09-16 2019-08-09 北京航空航天大学 局部形状迁移指导的图像对象共分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN107909018A (zh) * 2017-11-06 2018-04-13 西南交通大学 一种稳健的多模态遥感影像匹配方法和系统
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Amin Sedaghat等.Distinctive Order Based Self-Similarity descriptor for multi-sensor remote sensing image matching.《ISPRS Journal of Photogrammetry and Remote Sensing》.2015,第108卷第62-71页. *
叶沅鑫等.面向遥感影像匹配的特征点检测算子性能评估.《西南交通大学学报》.2016,第51卷(第6期),第1170-1176页. *
陈德志等.基于改进SIFT算法的图像匹配方法.《计算机仿真》.2011,第28卷(第7期),第285-289页. *

Also Published As

Publication number Publication date
CN109598750A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109598750B (zh) 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法
CN112132006B (zh) 一种面向耕地保护的林地和建筑物智能提取方法
CN110969088B (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN109255781B (zh) 一种面向对象的多光谱高分辨率遥感影像变化检测方法
Sun et al. Multi-structure KELM with attention fusion strategy for hyperspectral image classification
Huang et al. Automatic extraction of urban impervious surfaces based on deep learning and multi-source remote sensing data
Chen et al. Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network
Huang et al. Automatic building change image quality assessment in high resolution remote sensing based on deep learning
CN115131674A (zh) 基于深度低秩网络的多时相光学遥感影像云检测方法
Sun et al. HRNet-and PSPNet-based multiband semantic segmentation of remote sensing images
Akbulut et al. Automatic building extraction from image and LiDAR data with active contour segmentation
Guo et al. Dual graph U-Nets for hyperspectral image classification
Fang et al. Towards the vectorization of hyperspectral imagery
CN111597943B (zh) 一种基于图神经网络的表格结构识别方法
Guo et al. CNN‐combined graph residual network with multilevel feature fusion for hyperspectral image classification
CN106384352A (zh) 基于融合策略和fcm的多时相遥感影像变化检测方法
Yang et al. Multi-Frequency Graph Convolutional Network with Cross-Modality Mutual Enhancement for Multisource Remote Sensing Data Classification
CN106373120A (zh) 基于非负矩阵分解和核fcm的多时相遥感影像变化检测方法
Wang et al. Dynamic super-pixel normalization for robust hyperspectral image classification
CN116597300A (zh) 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法
Wang et al. Change detection in bitemporal remote sensing images by using feature fusion and fuzzy C-means
Sonthi et al. Automated Telugu printed and handwritten character recognition in single image using Aquila Optimizer based deep learning model
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks
Tang et al. Hyperspectral classification of two-branch joint networks based on Gaussian pyramid multiscale and wavelet transform
Tang et al. Spectral–spatial hyperspectral classification based on multi-center SAM and MRF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant