CN112085772B - 一种遥感图像配准方法及装置 - Google Patents

一种遥感图像配准方法及装置 Download PDF

Info

Publication number
CN112085772B
CN112085772B CN202010854930.9A CN202010854930A CN112085772B CN 112085772 B CN112085772 B CN 112085772B CN 202010854930 A CN202010854930 A CN 202010854930A CN 112085772 B CN112085772 B CN 112085772B
Authority
CN
China
Prior art keywords
image
registered
mapping matrix
obtaining
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010854930.9A
Other languages
English (en)
Other versions
CN112085772A (zh
Inventor
吴建盛
吴星宇
胡海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010854930.9A priority Critical patent/CN112085772B/zh
Publication of CN112085772A publication Critical patent/CN112085772A/zh
Application granted granted Critical
Publication of CN112085772B publication Critical patent/CN112085772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种遥感图像配准方法及装置，所述方法包括如下步骤：通过采用选择性搜索算法分别提取参考图像B和配准图像A的显著图像块；经过采用非极大值抑制方法筛选后获得待配准图像和参考图像中显著区域；MatchNet进行配对，经过MatchNet的配对之后，获得待配准图像和参考图像中的未经匹配的图像块集合；通过采用尺度不变特征变换算法获得对图像块映射矩阵集合；使用随机抽样一致算法，求得映射矩阵的预测值；让该映射矩阵和待配准图像相乘得到配准后的图像，得到最终的配准图像。本发明提出图像‑特征‑特征点的匹配思想，参考图像的特征点的描述信息只在待匹配图像的配对图像块中的特征点的描述信息中进行匹配，降低了匹配错误率。

Description

一种遥感图像配准方法及装置
技术领域
本发明设计图像配准方法及装置，具体涉及一种遥感图像配准方法及装置。
背景技术
随着新型传感器的不断出现，人们获取到大量的来自不同空间分辨率、不同光谱分辨率的SAR、红外等数据，使得系统获得的信息量急剧增加，传统的信息处理方法已经不能满足需求，迫切需要研究新方法来解决人们所面临的新问题。图像配准是遥感图像处理研究中的热点和重点，也是遥感图像处理中的关键一步，它实现了不同时间、不同成像条件、不同成像机理下的遥感图像匹配。
由于遥感图像的数量越来越多，图像的类型也越来越复杂，同时图像配准在不同应用领域也存在着差异，再加上复杂的外界因素会对图像配准产生一定的影响，造成图像配准技术处理数据时有一定的困难，所以不断改进图像配准技术才能满足人类今后的发展需要。
目前用于遥感图像匹配的方法有很多种。这些方法通常分为两类：基于强度的方法和基于特征的方法。基于强度的方法通过使用具有指定的相似性度量的原始像素强度来找到匹配信息，其主要应用在医学领域。相比之下，基于特征的方法主要通过描述符相似性和/或空间几何关系来寻求局部特征(区域，线，点)之间的对应关系。使用局部显著特征使得基于特征的方法运行速度快，并且对噪声，复杂几何失真和显着的辐射测量差异具有鲁棒性。基于特征点的匹配由于其快速有效，最近一直是遥感图像匹配的主要研究方向。最近，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。通过学习，CNN可以自动获得比传统方法更具表现力的特征。近三年，受到Siamese网络的启发，一种关于描述符学习的双分支并行网络模型被提出用于遥感图像的图像块匹配。韩等设计了一个MatchNet，它依赖于连体结构之后的全连接层来学习特征比较功能。Simoserra等使用欧式距离来比较图像块来替换非线性匹配网络。Altwaijry等在Siamese结构中引入了注意机制，产生一组可能的匹配，从而进一步提高性能。这些方法的都是图像-特征点的匹配思想，流程为特征提取-特征描述-特征匹配的方式，即先在参考图像和待配准图像中直接提取特征点，然后通过各自的特征描述方法描述特征点，接着用参考图像中每个特征点的描述信息去匹配待配准图像中每个特征点的描述信息。
在上述流程中，用参考图像中每个特征点的描述信息去匹配待配准图像中每个特征点的描述信息是不合理的。因为用参考图像的特征点的描述信息去匹配待匹配图像的无关区域产生的特征点的描述信息是多余的，并且会有误匹配。本文提出图像-特征-特征点的匹配思想，不同于图像-特征点的匹配思想，用选择性搜索(Search Selective)算法提取两幅遥感图像的显著图像块，再将参考图像和待配准图像的显著图像块用MatchNet进行匹配，最后对配对成功的图像块使用尺度不变特征变换(SIFT)算法进行点匹配，这样参考图像的特征点的描述信息只在待匹配图像的配对图像块中的特征点的描述信息中进行匹配，降低了匹配错误率。
发明内容
发明目的：本发明的第一目的是提供一种遥感图像配准方法；
本发明的第二目的是提供一种遥感图像配准装置。
技术方案：本发明提供了一种遥感图像配准方法，所述方法包括如下步骤：
(1)通过采用选择性搜索算法分别提取参考图像B和配准图像A的显著图像块；
(2)经过采用非极大值抑制方法筛选后获得待配准图像和参考图像中显著区域；
(3)使用了MatchNet进行配对，经过MatchNet的配对之后，获得待配准图像和参考图像中的未经匹配的图像块集合；
(4)通过采用尺度不变特征变换算法获得对图像块映射矩阵集合；
(5)使用随机抽样一致算法，求得映射矩阵的预测值；
(6)让该映射矩阵和待配准图像相乘得到配准后的图像，得到最终的配准图像。
进一步地，步骤(1)包括如下步骤：
(1.1)通过根据配准图像A和参考图像B相应的规则生成一系列的区域集R；
(1.2)计算区域集R中每两两相邻区域之间的相似度，记为集合S，这里相似度计算一般需要计算颜色、纹理等特征的综合相似度；
(1.3)在区域集R中查找具有最高相似度的两个区域，将这两个区域合并为一个新的集合并添加到R中；
(1.4)从S中移除所有与步骤(1.2)操作中的相关子集；
(1.5)重新计算R中所有区域之间的相似度；
(1.6)再次进去步骤(1.2)，直至S为空，得到的区域集R就是所得到候选区域。
步骤(1)的另一种描述：步骤(1)包括：通过基于图的图像分割方法将输入图像进行分割，产生许多小的子区域；其次，根据这些子区域之间相似性进行区域合并，不断的进行区域迭代合并，求出候选区域。
优选地，上述直至S为空是指到不能再合并为止。
优选地，步骤(2)包括：
(2.1)待处理候选框的集合R，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集；
(2.2)将所有集合R中的框进行排序，选出分数最高的框m，从集合H移到集合M；
(2.3)遍历集合R中的框，分别与框m计算交并比，如果高于阈值，则认为此框与m重叠，将此框从集合R中去除；
(2.4)回到第(2.2)步进行迭代，直到集合R为空；
(2.5)经过NMS筛选后集合M就是我们获得待配准图像和参考图像中显著区域。
优选地，步骤(2)的另一种描述：所得到的候选区域之中有重复度较高的区域，采用非极大值抑制(Non-Maximum Suppression)的方法进行筛选，去除掉重复度高的区域。经过非极大值抑制(NMS)方法筛选后获得待配准图像和参考图像中显著区域。
其中步骤(2.3)中，所述交并比为Interection-over-union，IoU。
进一步地，所述阈值为0～0.5。
优选地，步骤(3)包括：将待配准图像和参考图像的图像块集合调整为统一大小后作为MatchNet的输入，网络的输出为2位，值在[0，1]之间，分别代表匹配概率和不匹配概率；经过MatchNet的配对之后，即得到待配准图像和参考图像匹配成功的图像块集合。
进一步地，所述MatchNet由特征网络和度量网络构成，特征网络与CNN的卷积层类似，其主要功能是提取图像的特征，两个特征网络所有的参数是共享的；度量网络由全连接层构成，用于判断特征网络输出的特征的相似度；
优选地，步骤(4)包括：获得待配准图像和参考图像匹配成功的图像块集合之后，在集合里的每一对图像块上使用SIFT算法，求出图像上的特征点，并进行特征匹配，求出待配准图像块相对于参考图像块的映射矩阵，由此得到配对图像块映射矩阵集合；
其中包括如下步骤：
(4.1)尺度空间极值点检测，计算出尺度空间的高斯差：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝S(x，y，kσ)-G(x，y，σ)
其中，I(x，y)为输入图像，k为相邻两尺度空间的因子差；
(4.2)特征点定位，
(4.3)剔除边缘点：
Figure GDA0003795803910000041
其中，主曲率的比值阈值为Tγ；H为Hessian矩阵H的特征值；α为H的最大特征值，β为H的最小特征值，
Figure GDA0003795803910000042
(4.4)确定关键点方向：
Figure GDA0003795803910000043
θ(x，y)＝tan-1(L(x+1，y)-L(x-1，y))/L(x，y+1)-L(x，y-1)
其中，θ(x，y)是梯度的方向，m(x，y)为梯度的幅值；直方图的峰值被设为特征点的主方向。
优选地，步骤(5)包括：求得映射矩阵的预测值，再求取映射矩阵集合相对于预测映射矩阵的欧式距离：
Figure GDA0003795803910000044
其中X3×3和Y3×3分别代表预测映射矩阵和映射矩阵集合中的每个映射矩阵。所求出的欧式距离表示预测矩阵和映射矩阵集合中的每个矩阵的相似度，距离越小，说明越相似。选取其中的最小值作为图像的映射矩阵。
本发明还提供了一种遥感图像配准装置，用选择性搜索Search Selective算法提取两幅遥感图像的显著图像块，再将参考图像和待配准图像的显著图像块用MatchNet进行匹配，最后对配对成功的图像块使用尺度不变特征变换(SIFT)算法进行点匹配，这样参考图像的特征点的描述信息只在待匹配图像的配对图像块中的特征点的描述信息中进行匹配，降低了匹配错误率。
有益效果：本发明提出图像-特征-特征点的匹配思想，不同于图像-特征点的匹配思想，用选择性搜索(Search Selective)算法提取两幅遥感图像的显著图像块，再将参考图像和待配准图像的显著图像块用MatchNet进行匹配，最后对配对成功的图像块使用尺度不变特征变换(SIFT)算法进行点匹配，这样参考图像的特征点的描述信息只在待匹配图像的配对图像块中的特征点的描述信息中进行匹配，降低了匹配错误率。
附图说明
图1为本方法实施例的系统框架图。
图2是图1中步骤101的流程图；
图3是图1中步骤102的流程图；
图4是图1中步骤103的流程图；
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
步骤1：通过采用选择性搜索(Search Selective)算法分别提取参考图像和待配准图像的显著图像块。给定待配准图像A和参考图像B，详细步骤如下：
通过根据A和B相应的规则生成一系列的区域集R。
计算区域集R中每两两相邻区域之间的相似度，记为集合S，这里相似度计算一般需要计算颜色、纹理等特征的综合相似度。
在区域集R中查找具有最高相似度的两个区域，将这两个区域合并为一个新的集合并添加到R中。
从S中移除所有与步骤三操作中的相关子集。
重新计算R中所有区域之间的相似度。
再次进去步骤三，直至S为空(到不能再合并时为止)。得到的区域集R就是所得到候选区域。
步骤2：进一步，上述步骤1中，所得到的候选区域之中有重复度较高的区域，采用非极大值抑制(Non-Maximum Suppression)的方法进行筛选，去除掉重复度高的区域。详细步骤如下：
待处理候选框的集合R，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集。
将所有集合R中的框进行排序，选出分数最高的框m，从集合H移到集合M；
遍历集合R中的框，分别与框m计算交并比(Interection-over-union，IoU)，如果高于某个阈值(一般为0～0.5)，则认为此框与m重叠，将此框从集合R中去除。
回到第2步进行迭代，直到集合R为空。
经过NMS筛选后集合M就是我们获得待配准图像和参考图像中显著区域。
步骤3：对于经过NMS筛选后获得待配准图像和参考图像中的未经匹配的图像块集合M，本发明选用了MatchNet进行配对。如图1所示，MatchNet由特征网络和度量网络构成，特征网络与CNN的卷积层类似，其主要功能是提取图像的特征，两个特征网络所有的参数是共享的。度量网络由全连接层构成，用于判断特征网络输出的特征的相似度。将待配准图像和参考图像的图像块集合调整为统一大小后作为MatchNet的输入，网络的输出为2位，值在[0，1]之间，分别代表匹配概率和不匹配概率。经过MatchNet的配对之后，得到了待配准图像和参考图像匹配成功的图像块集合。
步骤4：获得待配准图像和参考图像匹配成功的图像块集合之后，在集合里的每一对图像块上使用SIFT算法，求出图像上的特征点，其详细步骤如下：
尺度空间极值点检测。尺度空间的基本理论是通过不断地改变尺度参数，以获取不同尺度下的视觉处理信息。为实现尺度的变换，该算法采用了尺度空间核获取尺度模糊图像。尺度空间核fout可由式表示：
fout＝Kn*fin (1)
其中，Kn为线性核，fi，n为输入的信号，而*表示卷积运算。
根据式(1)，图像I(x，y)的尺度空间S(x，y，σ)可表示为：
S(x，y，σ)＝G(x，y，σ)*I(x，y) (2)
Figure GDA0003795803910000061
其中，G(x，y，σ)是二维高斯函数，(x，y)为空间坐标。σ是尺度空间因子，它是二维高斯函数的标准差，决定了图像的平滑程度。σ越大，图像会越模糊(平滑)。为能在尺度空间中高效地检测到稳定的特征点，Lowe定义了尺度空间的高斯差(Difference of Gaussian，DoG)，如式(3)所示：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝S(x，y，kσ)-G(x，y，σ) (4)
其中，I(x，y)为输入图像，k为相邻两尺度空间的因子差。借助DoG尺度空间，可以检测到大量特征点。
特征点定位。将检测到的候选特征点的集合记为X0，并非所有的极值点均可设定为特征点，应存在一种机制滤除不必要的点。因此要从中筛选出稳定的特征点集X作为该图像的特征点。
首先，剔除对比度较低的点。利用尺度空间DoG函数的泰勒二次展开式进行最小二乘拟合来确定图像关键点的精确位置和尺度。假设候选特征点x的偏移量为Δx，其对比度为D(x)的绝对值|D(x)|，对x的DoG函数D(x，y，σ)进行泰勒级数展开为：
Figure GDA0003795803910000071
式中，x为DoG函数的极值点，则
Figure GDA0003795803910000072
可得到
Figure GDA0003795803910000073
经过多次迭代找到最终候选点的精确位置及尺度
Figure GDA0003795803910000074
将其代入公式求得
Figure GDA0003795803910000075
进而求取
Figure GDA0003795803910000076
通过设置合适的阈值Tc，可以将低于阈值的低对比度的点去除，Lowe选取的阈值为0.03。低对比度候选点的剔除公式为：
Figure GDA0003795803910000077
其次，剔除边缘点。边缘方向的曲率较小，而边缘梯度方向上的主曲率值较大，在边缘上得到DoG函数的极值点的主曲率比非边缘区域的点的主曲率大，因此可以将主曲率值大于一定阈值的点视为位于边缘上的点从而将其剔除。候选点的DoG函数D(x)的主曲率与2×2的Hessian矩阵H的特征值成正比。
Figure GDA0003795803910000078
式中，Dxx，Dxy，Dyy为候选点领域对应位置的像素差分。令α为H的最大特征值，β为H的最小特征值，
Figure GDA0003795803910000079
则D(x)的主曲率比值与γ成正比。由H的迹和行列式的值可得：
Figure GDA00037958039100000710
其中：Tr(H)＝Dxx+Dxy＝α+β，Det(H)＝DxxDxy-(Dxy)2＝αβ，
Figure GDA00037958039100000711
与特征值自身的大小无关，仅与两个特征值的比值有关，当两个特征值相等时最小，且随着γ的增大而增大。假设主曲率的比值阈值为Tγ，则边缘点的剔除公式为：
Figure GDA0003795803910000081
确定关键点方向。利用关键点领域像素的梯度分布特性确定其方向。对于每个高斯图像，每个点L(x，y)的方向θ(x，y)与梯度模m(x，y)可以通过如下公式得到：
Figure GDA0003795803910000082
θ(x，y)＝tan-1(L(x+1，y)-L(x-1，y))/L(x，y+1)-L(x，y-1) (11)
其中，θ(x，y)是梯度的方向，m(x，y)为梯度的幅值。在获取梯度的方向和幅值之后，采用梯度直方图将360度方向范围分为36部分，每部分为10度。直方图的峰值被设为特征点的主方向。当存在另一峰值大小为主峰值的80％时，该方向将被选定为特征点的辅方向以提高该点的鲁棒性。在方向匹配结束之后，该点的位置、方向和尺度可被确定。
特征点描述。特征点描述是寻找特征点的局部图像描述子，描述子应具有较高的独立性，以保证匹配成功率。具体步骤为：第一步，在特征点的16×16邻域内计算尺度和方向；第二步，将16×16邻域分为4×4的子块。因此，每个特征点的邻域内有16个块并且每个4×4块的中心点有八个方向；第三步，由第二步可获得128个方向，并作为1×128特征点的方向矢量。为简化分析，假设特征点的8×8邻域被分为4×4的子块，那么应有四个子块。最后，将特征向量长度进行归一化。
然后进行特征匹配。目标的识别是通过特征点集X内关键点描述子的对比来完成的。具有128维的关键点描述子的相似性度量采用欧氏距离，公式如下：
Figure GDA0003795803910000083
求出待配准图像块相对于参考图像块的映射矩阵，由此得到配对图像块映射矩阵集合。
步骤5：为了确定待配准图像相对于参考图像的映射矩阵，在所获得的映射矩阵集合中使用随机抽样一致算法(RANSAC)算法，求得映射矩阵的预测值，再求取映射矩阵集合相对于预测映射矩阵的欧式距离：
Figure GDA0003795803910000091
其中X3×3和Y3×3分别代表预测映射矩阵和映射矩阵集合中的每个映射矩阵。所求出的欧式距离表示预测矩阵和映射矩阵集合中的每个矩阵的相似度，距离越小，说明越相似。选取其中的最小值作为图像的映射矩阵。
步骤6：让该映射矩阵和待配准图像相乘得到配准后的图像，得到最终的配准图像。

Claims (7)

1.一种遥感图像配准方法，其特征在于，所述方法包括如下步骤：
(1)通过采用选择性搜索算法分别提取参考图像B和配准图像A的显著图像块；
(2)经过采用非极大值抑制方法筛选后获得待配准图像和参考图像中显著区域；
(3)使用MatchNet进行配对，经过MatchNet的配对之后，获得待配准图像和参考图像中的未经匹配的图像块集合；
(4)通过采用尺度不变特征变换算法获得对图像块映射矩阵集合；
(5)使用随机抽样一致算法，求得映射矩阵的预测值；
(6)让该映射矩阵和待配准图像相乘得到配准后的图像，得到最终的配准图像，
步骤(4)包括：获得待配准图像和参考图像匹配成功的图像块集合之后，在集合里的每一对图像块上使用SIFT算法，求出图像上的特征点，并进行特征匹配，求出待配准图像块相对于参考图像块的映射矩阵，由此得到配对图像块映射矩阵集合；
其中包括如下步骤：
(4.1)尺度空间极值点检测，计算出尺度空间的高斯差：
D(x，yσ)＝[G(x，y，kσ)一G(x，yσ)]*I(x，y)＝S(x，ykσ)一G(x，y，σ)
其中，I(x，y)为输入图像，k为相邻两尺度空间的因子差；
(4.2)特征点定位，
(4.3)剔除边缘点：
Figure FDA0003815556460000011
其中，主曲率的比值阈值为Tγ；H为Hessian矩阵H的特征值；α为H的最大特征值，β为H的最小特征值，
Figure FDA0003815556460000012
(4.4)确定关键点方向：
Figure FDA0003815556460000013
θ(x，y)＝tan-1(L(x+1，y)-L(x-1，y))/L(x，y+1)-L(x，y-1)
其中，θ(x，y)是梯度的方向，m(x，y)为梯度的幅值；直方图的峰值被设为特征点的主方向；
步骤(5)包括：求得映射矩阵的预测值，再求取映射矩阵集合相对于预测映射矩阵的欧式距离：
Figure FDA0003815556460000021
其中X3×3和Y3×3分别代表预测映射矩阵和映射矩阵集合中的每个映射矩阵，所求出的欧式距离表示预测矩阵和映射矩阵集合中的每个矩阵的相似度，距离越小，说明越相似，选取其中的最小值作为图像的映射矩阵。
2.根据权利要求1所述的一种遥感图像配准方法，其特征在于，步骤(1)包括如下步骤：
(1.1)通过根据配准图像A和参考图像B相应的规则生成一系列的区域集R；
(1.2)计算区域集R中每两两相邻区域之间的相似度，记为集合S，这里相似度计算一般需要计算颜色、纹理等特征的综合相似度；
(1.3)在区域集R中查找具有最高相似度的两个区域，将这两个区域合并为一个新的集合并添加到R中；
(1.4)从S中移除所有与步骤(1.2)操作中的相关子集；
(1.5)重新计算R中所有区域之间的相似度；
(1.6)再次进去步骤(1.2)，直至S为空，得到的区域集R就是所得到候选区域。
3.根据权利要求1所述的一种遥感图像配准方法，其特征在于，步骤(2)包括：
(2.1)待处理候选框的集合R，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集；
(2.2)将所有集合R中的框进行排序，选出分数最高的框m，从集合H移到集合M；
(2.3)遍历集合R中的框，分别与框m计算交并比，如果高于阈值，则认为此框与m重叠，将此框从集合R中去除；
(2.4)回到第(2.2)步进行迭代，直到集合R为空；
(2.5)经过NMS筛选后集合M就是我们获得待配准图像和参考图像中显著区域。
4.根据权利要求3所述的一种遥感图像配准方法，其特征在于，所述阈值为0～0.5。
5.根据权利要求3所述的一种遥感图像配准方法，其特征在于，步骤(3)包括：将待配准图像和参考图像的图像块集合调整为统一大小后作为MatchNet的输入，网络的输出为2位，值在[0，1]之间，分别代表匹配概率和不匹配概率；经过MatchNet的配对之后，即得到待配准图像和参考图像匹配成功的图像块集合。
6.根据权利要求5所述的一种遥感图像配准方法，其特征在于，所述MatchNet由特征网络和度量网络构成，特征网络与CNN的卷积层类似，其主要功能是提取图像的特征，两个特征网络所有的参数是共享的；度量网络由全连接层构成，用于判断特征网络输出的特征的相似度。
7.根据权利要求1～6任一项所述的一种遥感图像配准方法，其特征在于，用选择性搜索Search Selective算法提取两幅遥感图像的显著图像块，再将参考图像和待配准图像的显著图像块用MatchNet进行匹配，最后对配对成功的图像块使用尺度不变特征变换(SIFT)算法进行点匹配，这样参考图像的特征点的描述信息只在待匹配图像的配对图像块中的特征点的描述信息中进行匹配，降低了匹配错误率。
CN202010854930.9A 2020-08-24 2020-08-24 一种遥感图像配准方法及装置 Active CN112085772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010854930.9A CN112085772B (zh) 2020-08-24 2020-08-24 一种遥感图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010854930.9A CN112085772B (zh) 2020-08-24 2020-08-24 一种遥感图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN112085772A CN112085772A (zh) 2020-12-15
CN112085772B true CN112085772B (zh) 2022-10-18

Family

ID=73729469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010854930.9A Active CN112085772B (zh) 2020-08-24 2020-08-24 一种遥感图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN112085772B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861672B (zh) * 2021-01-27 2022-08-05 电子科技大学 一种基于光学-sar异源遥感图像匹配方法
CN113223065B (zh) * 2021-03-30 2023-02-03 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法
CN113469003B (zh) * 2021-06-24 2023-03-14 上海电力大学 一种遥感图像的匹配方法
CN113537351B (zh) * 2021-07-16 2022-06-24 重庆邮电大学 面向移动设备拍摄的遥感图像坐标匹配方法
CN113642463B (zh) * 2021-08-13 2023-03-10 广州赋安数字科技有限公司 一种视频监控和遥感图像的天地多视图对齐方法
CN113689403B (zh) * 2021-08-24 2023-09-19 中国科学院长春光学精密机械与物理研究所 基于特征间方位距的特征描述系统
CN115018892A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感影像的自动配准方法及装置
CN115205558B (zh) * 2022-08-16 2023-03-24 中国测绘科学研究院 一种具有旋转和尺度不变性的多模态影像匹配方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法

Also Published As

Publication number Publication date
CN112085772A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112085772B (zh) 一种遥感图像配准方法及装置
Ma et al. A novel two-step registration method for remote sensing images based on deep and local features
CN109409292B (zh) 基于精细化特征优化提取的异源图像匹配方法
CN102663391B (zh) 一种图像的多特征提取与融合方法及系统
CN101980250B (zh) 基于降维局部特征描述子和隐条件随机场的目标识别方法
Bouchiha et al. Automatic remote-sensing image registration using SURF
Choi et al. Vehicle detection from aerial images using local shape information
CN103077512A (zh) 基于主成分析的数字图像的特征提取与匹配方法及装置
CN101650784B (zh) 一种利用结构上下文特征进行图像匹配的方法
US20130135301A1 (en) Efficient scale-space extraction and description of interest points
CN111242221A (zh) 基于图匹配的图像匹配方法、系统及存储介质
CN107862708A (zh) 一种sar与可见光图像配准方法
CN105787943B (zh) 基于多尺度图像块特征和稀疏表示的sar图像配准方法
Zhang Combination of SIFT and Canny edge detection for registration between SAR and optical images
CN107240130B (zh) 遥感影像配准方法、装置及系统
Li et al. Remote sensing image registration based on deep learning regression model
CN110443261A (zh) 一种基于低秩张量恢复的多图匹配方法
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
CN107644227A (zh) 一种用于商品图像搜索的融合多视角的仿射不变描述子
Gao et al. Multi-scale PIIFD for registration of multi-source remote sensing images
CN112308873A (zh) 多尺度Gabor小波PCA融合图像边缘检测方法
Xu et al. A robust deformed image matching method for multi-source image matching
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
Okorie et al. Region-based image registration for remote sensing imagery
CN104820992B (zh) 一种基于超图模型的遥感图像语义相似性度量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant