CN107563438A - 一种快速鲁棒的多模态遥感影像匹配方法和系统 - Google Patents

一种快速鲁棒的多模态遥感影像匹配方法和系统 Download PDF

Info

Publication number
CN107563438A
CN107563438A CN201710773285.6A CN201710773285A CN107563438A CN 107563438 A CN107563438 A CN 107563438A CN 201710773285 A CN201710773285 A CN 201710773285A CN 107563438 A CN107563438 A CN 107563438A
Authority
CN
China
Prior art keywords
mrow
pixel
msub
munder
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710773285.6A
Other languages
English (en)
Other versions
CN107563438B (zh
Inventor
叶沅鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201710773285.6A priority Critical patent/CN107563438B/zh
Publication of CN107563438A publication Critical patent/CN107563438A/zh
Priority to PCT/CN2018/102271 priority patent/WO2019042232A1/zh
Priority to US16/639,046 priority patent/US11244197B2/en
Application granted granted Critical
Publication of CN107563438B publication Critical patent/CN107563438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种快速鲁棒的多模态遥感影像匹配方法和系统，整合各种局部特征描述符进行多模态遥感影像自动匹配。首先对影像的每个像素提取局部特征描述符，形成逐像素的特征表达图，然后基于该特征表达图利用三维傅里叶变换在频率域建立一种快速的匹配相似性测度，最后采用模板匹配进行同名点识别。另外，本发明提出了一种新的逐像素特征表达技术梯度方向特征通道(CFOG)，它在匹配性能和计算效率方面要优于基于HOG、LSS和SURF等描述符的逐像素特征表达方式。本发明能有效克服可见光、红外、激光雷达、合成孔径雷达以及地图等多模态影像间的非线性辐射差异，在影像间快速、精确地识别出同名点，实现影像的自动匹配。

Description

一种快速鲁棒的多模态遥感影像匹配方法和系统
技术领域
本发明涉及卫星影像处理技术领域,尤其是一种多模态遥感影像匹配方法和系统，用于可见光、红外、激光雷达、合同孔径雷达以及地图等多模态影像的自动匹配。
背景技术
影像匹配是在两幅或多福影像间识别同名点的过程，它是诸多遥感影像分析如影像融合，变化检测，影像镶嵌等的基本预处理步骤，其匹配精度对后续的分析工作产生重要的影响。目前遥感卫星传感器装载有全球定位系统和惯性导航系统，可对遥感影像进行直接定位和粗匹配，消除影像间明显的旋转和尺度变化，使影像间仅存在一定量(如几十个像素内)的平移差异。尽管如此，由于影像的成像机理的不同，多模态遥感影像间(可见光，红外，激光雷达和合同孔径雷达等)存在显著的非线性辐射差异，导致同名点的自动匹配仍然非常具有挑战性。
目前多模态遥感影像的匹配方法主要可分为：特征匹配和区域匹配。特征匹配是通过影像间显著特征的相似性来实现影像的匹配。常用的特征包括了点特征的方法，线特征的方法和面特征。最近局部不变性特征如Scale Invariant Feature Transform(SIFT)，shape context等在遥感影像匹配中也得到了一定的应用。但这些方法通常需要在影像间提取出具有高重复率的特征，而对于具有显著辐射差异的多模态遥感而言，特征提取的重复率往往较低，因此它们对于多模态遥感影像的自动匹配还存在一定的局限性。
基于区域的方法主要是采用模板匹配的策略，以某种匹配相似性测度为准则，在影像间进行同名点识别。在此过程中，相似性测度的选择至关重要，直接影响到后续的匹配精度。常用的相似性测度包括了灰度差平方和、归一化相关系数和互信息等。但这些相似性测度都是利用影像间灰度的相似性进行同名点识别，而由于多模态遥感影像间的灰度信息存在较大的差异，所以它们无法较好适用于多模态遥感影像的自动匹配。相比于灰度信息，影像的结构和形状属性具有较高的相似性，而且相关研究利用梯度方向直方图(Histogramof Orientated Gradient,HOG)、局部自相似(Local Self-Similarity,LSS)等局部描述符提取影像的结构和形状特征，并在此基础上建立相似性测度进行影像匹配，提高了匹配性能。尽管如此，HOG和LSS只是在一个稀疏的采样格网(不是针对每个像素)内进行特征构建，或者利用所提取特征点的邻域信息计算特征，是一种相对稀疏的特征表达方式，难以很好地反映多模态影像间的共有属性，而且其计算效率较低。
鉴于此，本发明构建了一种快速、鲁棒的多模态遥感影像匹配框架，该框架可以整合各种局部特征描述符进行多模态遥感影像自动匹配。该框架首先对影像的每个像素提取HOG，LSS或Speeded-Up Robust Features(SURF)等局部特征描述符，形成稠密的逐像素特征表达图，来反映影像间共有的结构、形状和纹理等属性。然后基于该特征表达图，利用三维傅里叶变换在频率域建立一种快速的匹配相似性测度，并采用模板匹配的策略进行同名点识别，另外针对所发明的框架，构建了一种基于方向梯度特征的逐像素特征描述符，名为方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG)。它在匹配性能和计算效率方面要优于逐像素的HOG，LSS和SURF等特征表达技术。
发明内容
本发明的发明目的在于：克服传统匹配方法的不足，提供了一种快速鲁棒的多模态遥感影像匹配框架。该框架利用通过逐像素的特征表达技术来提取影像间共有的结构、形状和纹理等特征，并在其基础上建立了快速的匹配相似性测度，可在多模态遥感影像间快速、精确地获取大量分布均匀的同名点。另外针对所发明的框架，构建了一种新颖的逐像素特征表达技术，名为方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG)。
一方面，本发明提供了一种快速鲁棒的多模态遥感影像匹配方法，包括下列步骤：
A.判断参考影像和输入影像的分辨率信息，如果两幅影像具有相同的分辨率，则进行后续处理，如果分辨率不同，则将两幅影像采样为同样的分辨率；
B.采用分块的策略，在参考影像上检测出一系列分布均匀的特征点，记为P1i(i＝1,2,3,……,N)，以点P1i为中心选取模板区域AreaW1i；
C.根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,….,N)在输入影像上所对应的匹配区域AreaW2i；
D.在匹配区域内构建逐像素的特征表达图；
E.在逐像素的特征表达图的基础上，利用三维傅里叶变换建立一种快速的相似性测度进行同名点匹配；
F.对于获得的同名点，对其相似性图进行局部极值拟合，求解出匹配点的亚像素位置；
G.重复步骤(C)—(F),遍历P1i(i＝1,2,3,…,N)的每一个点，得到具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)；
H.剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
其中，所述步骤D包括以下步骤：对于匹配区域内的影像数据，计算每个像素的HOG、LSS或者SURF等局部特征描述符，将每个像素对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。
进一步的，所述步骤D还可以为在匹配区域内构建方向梯度通道特征(CFOG)，具体包括以下步骤：
D1.对于匹配区域内的影像数据，计算每个像素在各个方向的梯度信息，形成三维的方向梯度图；
D2.在水平X方向和垂直Y方向，利用高斯滤波器对三维的方向梯度图做卷积运算，得到获得特征图再利用一维滤波器[1,2,1]在Z方向对特征图进行卷积运算，得到特征图
D3.对特征图进行归一化操作，获得最终的方向梯度通道特征图。
其中所述步骤D为在匹配区域内构建方向梯度通道特征(CFOG)，具体计算过程包括如下步骤：
对于区域内的所有像素，分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平方向(X方向)和垂直方向(Y方向)的梯度gx和gy；
利用gx和gy计算它们在各个方向的梯度值gθ，计算公式如下：
式中，θ表示量化的梯度方向，abs表示取绝对值，符号表示值为正时取本身，否则取0；
将各个方向的gθ叠置在一起，形成三维方向梯度图go，然后在X和Y方向利用标准为σ的二维高斯滤波器对go进行卷积运算获得特征图再利用一维滤波器[1,2,1]在Z方向对进行卷积运算得到特征图
特征图中的每一个像素在Z方向上都对应了一个特征向量fi，遍历每个像素，对其特征向量vi进行归一化操作，得到最终的方向梯度通道特征图，归一化的计算公式如下：
式中，ε是一个避免除零的数。
其中，所述梯度方向在360°的范围内均匀划分为18个等份，每个等份的角度间隔为20°，θ的取值为{0°，20°，……，340°}。
进一步的，所述步骤E为利用三维快速傅里叶变换将方逐像素特征表达图转换到频率域，并进行相关运算获得相似性图，取相似性图最大值的位置为影像的匹配位置。
其中所述步骤E具体包括以下计算步骤：
经过步骤D后分别得到区域AreaW1i和AreaW2i的逐像素的特征表达图D1和D2，将D1作为模板在D2进行滑动，利用D1和D2之间的特征向量差平方和作为相似性测度进行匹配；
D1和D2之间的差平方和计算公式为：
式中，c表示特征表达图中的像素坐标，v表示D1和D2之间的偏移量，Si表示D1和D2之间的特征向量差平方和，当Si取得最小值时，将获得D1和D2之间的偏移量vi，即匹配位置，计算公式为：
对公式(4)进行展开得:
在公式(5)中，由于第一项和第二项的值接近于常数，所以当第三项的值最大时，公式(5)将获得最小值，因此，相似性函数可重新定义为：
式中，是一个卷积运算；
考虑到频率域下的点乘运算等同于空间域下的卷积运算，因此在频率域利用快速傅里叶变换来提高其计算效率，得到基于傅里叶变换的相似性函数为：
式中，F和F-1分别表示快速傅里叶正向变换和逆向变换，F*表示F的复数共轭。由于D1和D2是三维特征表达图，根据卷积的原理，需要利用三维快速傅里叶变换来计算公式(7)，得到最终的相似性函数为：
式中，3DF和3DF-1分别表示三维快速傅里叶正向变换和逆向变换，3DF*表示3DF的复数共轭。
另一方面，本发明还提供了一种快速鲁棒的多模态遥感影像匹配系统，该系统包括下列单元：
预处理单元，用于判断参考影像和输入影像的分辨率信息，如果两幅影像具有相同的分辨率，则进入后续单元，如果分辨率不同，则将两幅影像采样为同样的分辨率；
模板区域选取单元，用于采用分块的策略，在参考影像上检测出一系列分布均匀的特征点，记为P1i(i＝1,2,3,…,N)，以点P1i为中心选取模板区域AreaW1i；
匹配区域选取单元，用于根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i；
特征提取单元，用于在匹配区域内构建逐像素特征表达图；
初匹配单元，用于在逐像素特征表达图的基础上，利用三维傅里叶变换建立一种快速相似性测度进行同名点匹配；对于获得的同名点，对其相似性图进行局部极值拟合，求解出匹配点的亚像素位置；重复上述单元的操作,遍历P1i(i＝1,2,3,…,N)的每一个点，得到具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)；
匹配点筛选单元，用于剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
进一步的，所述特征提取单元用于对于匹配区域内的影像数据，计算每个像素的局部特征描述符，将每个像素所对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。
进一步的，所述初匹配单元是利用三维快速傅里叶变换将逐像素特征表达图转换到频率域，并进行相关运算获得相似性图，取相似性图最大值的位置为影像的匹配位置。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
(1)本发明构建了一种快速、鲁棒的多模态遥感影像匹配框架，通过提取每个像素的局部特征描述符(如HOG，LSS或者SURF等)，形成逐像素的特征表达图，能较好地反映多模态遥感影像间的共有结构、形状和纹理等属性，并在逐像素的特征表达图的基础上，利用三维傅里叶变换建立了一种快速的匹配相似性测度。该框架可以快速精确、自动的在多模态影像间获取大量分布均匀的同名点，可有效提高匹配的实际生产效率，满足业务化运行的需求，而且它是一种通用的框架，可以整合各种局部特征描述进行影像匹配(不局限于HOG，LSS或SURF等描述符)。
(2)在构建的框架中，逐像素的特征表达是通过计算每个像素的HOG，LSS或SURF等局部特征描述形成的，是一种稠密的特征表达技术。这不同于传统的HOG，LSS或SURF等描述符，它们只是在一个稀疏的采样格网(不是针对每个像素)内进行特征构建，或者利用所提取特征点的邻域信息计算特征，是一种相对稀疏的特征表达方式。相比而言，本发明的逐像素特征表达技术能更好，更精确地反映多模态遥感影像间的共有结构、形状和纹理等属性，匹配性能更稳健，而结合本方法提出的基于三维傅里叶变换的快速相似性测度，可实现多模态影像间的快速匹配。
(3)本发明针对所构建的框架，利用影像的方向梯度信息构建了一种新颖的逐像素特征描述符-方向梯度通道特征(CFOG)，它在匹配效率和精度方面都优于逐像素的HOG、LSS和SURF等特征表达方式。
(4)本发明在逐像素的特征表达基础上，利用三维傅里叶变换，在频率域建立了一种快速的匹配相似性测度。相比于空间域常用的相似性测度如灰度差平方和、归一化相关系数和互信息等，计算效率更高，计算效果更优。
(5)大量的实验结果表明，对于平坦地区的影像，匹配的总体精度可达到1个像素以内，而对于山区和城区的影像，匹配的总体精度可达到2.5个像素以内。对于大尺寸的遥感影像(超过20000×20000像素)，可在30秒内完成影像匹配。而且与目前流行的商业遥感影像软件(ENVI和ERDAS)相比，所发明的方法在匹配精度和计算效率都具有优势。
附图说明
图1是本发明的整体流程图。
图2是本发明的逐像素特征表达示意图。
图3是本发明中方向梯度通道特征(CFOG)的构建过程。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
如图1，为一种快速鲁棒的多模态遥感影像匹配方法，包括以下步骤：
步骤A，根据参考影像和输入影像的分辨率信息，判断两幅影像的分辨率是否一致，一致则进行后续处理，不一致则将这两幅影像按照同样分辨率的进行采样处理。
步骤B，采用分块的策略，利用Harris或Forstner算子，在参考影像上提取大量的分布均匀的特征点，具体包括：
将参考影像划分为n×n个互不重叠的方形格网，在每个格网内，计算每个像素点的Harris或Forstner特征值，并将特征值进行从大到小排序，选取特征值较大的k个像素作为特征点。这样可以在每个格网内检测出k个特征点，整幅影像上则拥有n×n×k个特征点。n和k的值可根据实际需求进行设定。记参考影像上检测的特征点集为P1i(i＝1,2,3,….,N)。
在其他实施例中也可以采用其他算子进行图像的特征提取，本发明对此不进行限定。
步骤C，根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,….,N)在输入影像上所对应的匹配搜索区域，具体包括以下步骤：
(1)提取P1i(i＝1,2,3,….,N)的一个点P1i(x,y)，x和y表示点P1i的图像坐标，以点P1i(x,y)为中心选取大小为M×M的模板区域AreaW1i，并获取该点所对应的地理坐标Geoi；
(2)根据地理坐标Geoi并结合输入影像的地理坐标信息，计算其在输入影像上所对应的图像坐标P2i(x,y)，并以P2i(x,y)为中心确定一个大小也为M×M的方形窗口作为匹配搜索区域AreaW2i。
步骤D，在区域AreaW1i和AreaW2i内构建逐像素的特征表达图，参见图2。
在一个实施例中，步骤D包括以下步骤：
计算对于区域内的每个像素的HOG、LSS或者SURF等局部特征描述符，将每个像素所对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。对于使用何种具体的局部特征描述符，本实施例中对此不做限定。
在另一个实施例中，步骤D为在区域AreaW1i和AreaW2i内构建方向梯度通道特征(Channel Feature of Orientated Gradient,CFOG)，参见图3，具体包括以下步骤：
(1)对于区域内的所有像素，分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平方向(X方向)和垂直方向(Y方向)的梯度gx和gy.
(2)利用gx和gy计算它们在各个方向的梯度值gθ，计算公式如下：
式中，θ表示量化的梯度方向，这里将梯度方向在360°的范围内均匀划分为18个等份，每个等份的角度间隔为20°，因此θ的取值为{0°，20°，……，340°}。abs表示取绝对值，其目的是将梯度方向为[180°，360°)的梯度信息转换到[0°，180°)之间，这样可以减少由于多模态影像间梯度反向所造成的匹配影响。符号表示值为正时取本身，否则取0。
(3)将各个方向的gθ叠置在一起，形成是三维的方向梯度图go。然后在X和Y方向利用标准为σ的二维高斯滤波器对go进行卷积运算获得特征图再利用一维滤波器[1,2,1]在Z方向对进行卷积运算得到特征图
(4)特征图中的每一个像素在Z方向上都对应了一个特征向量fi。遍历每个像素，对其特征向量vi进行归一化操作，进一步消除光照变化的影响，得到最终的CFOG特征图。归一化的计算公式如下：
式中，ε是一个避免除零的数。
步骤E，在逐像素特征表达图的基础上，利用三维傅里叶变换建立一种快速的相似性测度进行同名点匹配，具体包括以下步骤：
(1)经过步骤D后，可以分别得到区域AreaW1i和AreaW2i对应的逐像素特征表达图D1和D2，将D1作为模板在D2进行滑动，可利用它们之间的特征向量差平方和作为相似性测度进行匹配。下面将差平方和的公式进行简化，并利用三维快速傅里叶变换加速其匹配过程。
D1和D2之间的差平方和计算公式为：
式中，c表示特征表达图中的像素坐标，v表示D1和D2之间的偏移量，Si表示D1和D2之间的特征向量差平方和。当Si取得最小值时，将获得D1和D2之间的偏移量vi，即匹配位置，计算公式为：
对公式(4)进行展开得：
在式(5)中，由于第一项和第二项的值接近于常数，所以当第三项的值最大时，式(5)将获得最小值。因此，相似性函数可重新定义为：
式中，是一个卷积运算。
考虑到频率域下的点乘运算等同于空间域下的卷积运算，这里在频率域利用快速傅里叶变换来提高其计算效率。基于傅里叶变换的相似性函数为：
式中，F和F-1分别表示快速傅里叶正向变换和逆向变换，F*表示F的复数共轭。
由于D1和D2是三维特征表达图，根据卷积的原理，需要利用三维快速傅里叶变换来计算公式(7)。最终的相似性函数为：
式中，3DF和3DF-1分别表示三维快速傅里叶正向变换和逆向变换，3DF*表示3DF的复数共轭；
(2)利用公式(8)进行匹配的过程为，首先对D1进行三维傅里叶变换得到3DF(D1)，并对D2进行三维傅里叶变换并取复数共轭得到3DF*(D2)，然后将3DF(D1)和3DF*(D2)进行点乘运算，并对运算结果进行三维傅里叶逆变换将获得D1和D2之间的相似性图，相似性图最大值的位置则对应了D1和D2之间的偏移量vi，也就是点P1i(x,y)和点P2i(x,y)之间的偏移量。将vi在X和Y方向上的偏移量记为(Δx,Δy)，则与点P1i(x,y)对应的同名点为P2i(x-Δx,y-Δy)，记为P* 2i(x,y)，获得的同名点对则为{P1i(x,y)，P* 2i(x,y)}。
步骤F，对以上的同名点对{P1i(x,y)，P*2i(x,y)}，利用二元二次多项式进行局部插值获取亚像素精度，具体包括以下步骤：
(1)以点P*2i(x,y)为中心选取3×3像素的局部小窗口，并统计窗口内所有像素的相似性值，然后根据最小二乘的原理，采用二元二次多项式建立相似性值与像素位置的对应关系；
(2)对二元二次多项式求偏导，求解出偏导为0的位置，即获得亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}；
步骤G，重复步骤C-F，遍历P1i(i＝1,2,3,….,N)中的每一个点，获得具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,….,N)。
步骤H，剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,….,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)，并用于进行匹配，具体包括以下步骤：
(1)基于最小二乘的原理，利用{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,….,N)的坐标建立投影变换模型。
(2)计算同名点对的均方根误差和残差，并剔除残差最大的同名点对。
(3)重复以上两个步骤，直到均方根误差小于1.5个像素，得到最终的具有亚像素精度的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
在另一个实施例中，本发明还提供了一种快速鲁棒的多模态遥感影像匹配系统，该系统包括下列单元：
预处理单元，用于判断参考影像和输入影像的分辨率信息，如果两幅影像具有相同的分辨率，则进入后续单元，如果分辨率不同，则将两幅影像采样为同样的分辨率；
模板区域选取单元，用于采用分块的策略，在参考影像上检测出一系列分布均匀的特征点，记为P1i(i＝1,2,3,…,N)，以点P1i为中心选取模板区域AreaW1i；
匹配区域选取单元，用于根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i；
特征提取单元，用于在匹配区域内构建逐像素特征表达图；
初匹配单元，用于在逐像素特征表达图的基础上，利用三维傅里叶变换建立一种快速相似性测度进行同名点匹配；对于获得的同名点，对其相似性图进行局部极值拟合，求解出匹配点的亚像素位置；重复上述单元的操作,遍历P1i(i＝1,2,3,…,N)的每一个点，得到具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)；
匹配点筛选单元，用于剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
进一步的，所述特征提取单元用于对于匹配区域内的影像数据，计算每个像素的局部特征描述符，将每个像素所对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。
进一步的，所述初匹配单元是利用三维快速傅里叶变换将逐像素特征表达图转换到频率域，并进行相关运算获得相似性图，取相似性图最大值的位置为影像的匹配位置。
以上为本发明具体实施方式的说明，通过本发明所构建的匹配框架，可利用各种局部特征描述符(如HOG、LSS或SURF等)进行有效的逐像素特征表达，从而有效地反映影像间共有结构、形状以及纹理等属性，并在此基础上利用三维傅里叶变换，在频率域建立了一种快速的匹配相似性测度，相比于空间域常用的相似性测度如归一化相关系数和互信息等，计算效率更高。另外，本发明所构建的方向梯度通道特征(CFOG)，是一种新颖的逐像素特征表达技术，它在匹配效率和精度上都优于基于HOG、LSS和SURF等描述符的逐像素特征表达技术。本发明的技术方案能弥补传统匹配方法对于多模态影像间非线性辐射差异较为敏感的不足，可有效地解决了可见光、红外、激光雷达、合成孔径雷达以及地图等多模态遥感数据的匹配难题。
本发明所提出的技术方案是一种通用的技术框架，可以整合各种局部特征描述符(不限于CFOG、HOG，LSS和SURF等)进行影像匹配。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种快速鲁棒的多模态遥感影像匹配方法，其特征在于包括下列步骤：
A.判断参考影像和输入影像的分辨率信息，如果两幅影像具有相同的分辨率，则进行步骤B，如果分辨率不同，则将两幅影像采样为同样的分辨率；
B.采用分块的策略，在参考影像上检测出一系列分布均匀的特征点，记为P1i(i＝1,2,3,…,N)，以点P1i为中心选取模板区域AreaW1i；
C.根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i；
D.在匹配区域内构建逐像素特征表达图；
E.在逐像素特征表达图的基础上，利用三维傅里叶变换建立一种快速相似性测度进行同名点匹配；
F.对于获得的同名点，对其相似性图进行局部极值拟合，求解出匹配点的亚像素位置；
G..重复步骤C-F,遍历P1i(i＝1,2,3,…,N)的每一个点，得到具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)；
H.剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
2.如权利要求1所述的多模态遥感影像匹配方法，其特征在于，所述步骤D包括如下步骤：
对于匹配区域内的影像数据，计算每个像素的局部特征描述符，将每个像素对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。
3.如权利要求2所述的多模态遥感影像匹配方法，其特征在于，所述局部特征描述符为HOG、LSS或SURF的一种。
4.如权利要求1所述的多模态遥感影像匹配方法，其特征在于，所述步骤D为在匹配区域内构建方向梯度通道特征，具体包括以下步骤：
D1.对于匹配区域内的影像数据，计算每个像素在各方向的梯度信息，形成三维的方向梯度图；
D2.在水平X方向和垂直Y方向，利用高斯滤波器对三维的方向梯度图做卷积运算，得到获得特征图再利用一维滤波器[1,2,1]在Z方向对特征图进行卷积运算，得到特征图
D3.对特征图进行归一化操作，获得最终的方向梯度通道特征图。
5.如权利要求4所述的多模态遥感影像匹配方法，其特征在于，所述步骤D中的构建方向梯度通道特征，具体包括以下计算步骤：
对于区域内的所有像素，分别利用一维滤波器[-1,0,1]和[-1,0,1]T计算它们在水平方向(X方向)和垂直方向(Y方向)的梯度gx和gy；
利用gx和gy计算它们在各个方向的梯度值gθ，计算公式如下：
式中，θ表示量化的梯度方向，abs表示取绝对值，符号表示值为正时取本身，否则取0；
将各个方向的gθ叠置在一起，形成三维方向梯度图go，然后在X和Y方向利用标准为σ的二维高斯滤波器对go进行卷积运算获得特征图再利用一维滤波器[1,2,1]在Z方向对进行卷积运算得到特征图
特征图中的每一个像素在Z方向上都对应了一个特征向量fi，遍历每个像素，对其特征向量vi进行归一化操作，得到最终的方向梯度通道特征图，归一化的计算公式如下：
<mrow> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>f</mi> <mi>i</mi> </msub> <msqrt> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </msqrt> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式中，ε是一个避免除零的数。
6.如权利要求1所述的多模态遥感影像匹配方法，其特征在于，所述步骤E是利用三维快速傅里叶变换将逐像素特征表达图转换到频率域，并进行相关运算获得相似性图，取相似性图最大值的位置为影像的匹配位置。
7.如权利要求6所述的多模态遥感影像匹配方法，其特征在于，所述步骤E具体包括以下计算步骤：
经过步骤D后分别得到区域AreaW1i和AreaW2i的逐像素特征表达图D1和D2，将D1作为模板在D2进行滑动，利用D1和D2之间的特征向量差平方和作为相似性测度进行匹配；
D1和D2之间的差平方和计算公式为：
<mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>c</mi> </munder> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>D</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式中，c表示特征表达图中的像素坐标，v表示D1和D2之间的偏移量，Si表示D1和D2之间的特征向量差平方和，当Si取得最小值时，将获得D1和D2之间的偏移量vi，即匹配位置，计算公式为：
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mi>argmin</mi> <mi>v</mi> </munder> <mo>{</mo> <munder> <mo>&amp;Sigma;</mo> <mi>c</mi> </munder> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>D</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
对公式(4)进行展开得:
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>v</mi> </munder> <mo>{</mo> <munder> <mo>&amp;Sigma;</mo> <mi>c</mi> </munder> <msubsup> <mi>D</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>c</mi> </munder> <msubsup> <mi>D</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>c</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>-</mo> <mn>2</mn> <munder> <mo>&amp;Sigma;</mo> <mi>c</mi> </munder> <msub> <mi>D</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>c</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
在公式(5)中，由于第一项和第二项的值接近于常数，所以当第三项的值最大时，式(5)将获得最小值，因此，相似性函数可重新定义为：
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>max</mi> </mrow> <mi>v</mi> </munder> <mo>&amp;lsqb;</mo> <munder> <mo>&amp;Sigma;</mo> <mi>x</mi> </munder> <msub> <mi>D</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
式中，是一个卷积运算；
考虑到频率域下的点乘运算等同于空间域下的卷积运算，因此在频率域利用快速傅里叶变换来提高其计算效率，得到基于傅里叶变换的相似性函数为：
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>max</mi> </mrow> <mi>v</mi> </munder> <mo>{</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;lsqb;</mo> <mi>F</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>c</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msup> <mi>F</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mo>(</mo> <mrow> <mi>c</mi> <mo>-</mo> <mi>v</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
式中，F和F-1分别表示快速傅里叶正向变换和逆向变换，F*表示F的复数共轭。由于D1和D2是三维特征图，根据卷积的原理，需要利用三维快速傅里叶变换来计算公式(7)，得到最终的相似性函数为：
<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>max</mi> </mrow> <mi>v</mi> </munder> <mo>{</mo> <mn>3</mn> <msup> <mi>DF</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;lsqb;</mo> <mn>3</mn> <mi>D</mi> <mi>F</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mn>1</mn> </msub> <mo>(</mo> <mi>c</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mn>3</mn> <msup> <mi>DF</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mn>2</mn> </msub> <mo>(</mo> <mrow> <mi>c</mi> <mo>-</mo> <mi>v</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式中，3DF和3DF-1分别表示三维快速傅里叶正向变换和逆向变换，3DF*表示3DF的复数共轭。
8.一种快速鲁棒的多模态遥感影像匹配系统，其特征在于包括下列单元：
预处理单元，用于判断参考影像和输入影像的分辨率信息，如果两幅影像具有相同的分辨率，则进入后续单元，如果分辨率不同，则将两幅影像采样为同样的分辨率；
模板区域选取单元，用于采用分块的策略，在参考影像上检测出一系列分布均匀的特征点，记为P1i(i＝1,2,3,…,N)，以点P1i为中心选取模板区域AreaW1i；匹配区域选取单元，用于根据遥感影像自身提供的地理坐标信息，预测点集P1i(i＝1,2,3,…,N)在输入影像上所对应的匹配区域AreaW2i；
特征提取单元，用于在匹配区域内构建逐像素特征表达图；
初匹配单元，用于在逐像素特征表达图的基础上，利用三维傅里叶变换建立一种快速相似性测度进行同名点匹配；对于获得的同名点，对其相似性图进行局部极值拟合，求解出匹配点的亚像素位置；重复上述单元的操作,遍历P1i(i＝1,2,3,…,N)的每一个点，得到具有亚像素精度的同名点对{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)；
匹配点筛选单元，用于剔除{PD1i(x,y)，PD2i(x,y)}(i＝1,2,3,…,N)中误差较大的同名点对，获取最终的同名点对{PID1i(x,y)，PID2i(x,y)}(i＝1,2,3,…,S)。
9.如权利要求8所述的多模态遥感影像匹配系统，其特征在于，所述特征提取单元用于对于匹配区域内的影像数据，计算每个像素的局部特征描述符，将每个像素对应的特征向量在Z方向进行排列，形成三维的逐像素特征表达图。
10.如权利要求8所述的多模态遥感影像匹配方法，其特征在于，所述初匹配单元是利用三维快速傅里叶变换将逐像素特征表达图转换到频率域，并进行相关运算获得相似性图，取相似性图最大值的位置为影像的匹配位置。
CN201710773285.6A 2017-08-31 2017-08-31 一种快速鲁棒的多模态遥感影像匹配方法和系统 Active CN107563438B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710773285.6A CN107563438B (zh) 2017-08-31 2017-08-31 一种快速鲁棒的多模态遥感影像匹配方法和系统
PCT/CN2018/102271 WO2019042232A1 (zh) 2017-08-31 2018-08-24 一种快速鲁棒的多模态遥感影像匹配方法和系统
US16/639,046 US11244197B2 (en) 2017-08-31 2018-08-24 Fast and robust multimodal remote sensing image matching method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710773285.6A CN107563438B (zh) 2017-08-31 2017-08-31 一种快速鲁棒的多模态遥感影像匹配方法和系统

Publications (2)

Publication Number Publication Date
CN107563438A true CN107563438A (zh) 2018-01-09
CN107563438B CN107563438B (zh) 2019-08-30

Family

ID=60978464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710773285.6A Active CN107563438B (zh) 2017-08-31 2017-08-31 一种快速鲁棒的多模态遥感影像匹配方法和系统

Country Status (3)

Country Link
US (1) US11244197B2 (zh)
CN (1) CN107563438B (zh)
WO (1) WO2019042232A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537833A (zh) * 2018-04-18 2018-09-14 昆明物理研究所 一种红外图像快速拼接方法
WO2019042232A1 (zh) * 2017-08-31 2019-03-07 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN110163896A (zh) * 2019-03-29 2019-08-23 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar图像匹配方法
CN111190151A (zh) * 2020-01-14 2020-05-22 中国石油大学(华东) 扫描模式下多模态小卫星sar的系统参数设计及发射功率优化方法
CN112149728A (zh) * 2020-09-22 2020-12-29 成都智遥云图信息技术有限公司 一种快速的多模态图像模板匹配方法
CN112258561A (zh) * 2019-07-22 2021-01-22 复旦大学 针对图像拼接的匹配点获取方法
CN112634335A (zh) * 2020-12-25 2021-04-09 清华大学 面向非线性辐射畸变的稳健遥感影像特征点对提取方法
CN113034556A (zh) * 2021-03-19 2021-06-25 南京天巡遥感技术研究院有限公司 一种频域相关半稠密遥感影像匹配方法
CN113313002A (zh) * 2021-05-24 2021-08-27 清华大学 一种基于神经网络的多模态遥感影像特征提取方法
CN113343747A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态图像鲁棒匹配vns的方法
CN114119686A (zh) * 2021-11-24 2022-03-01 刘文平 空间布局相似计算的多源遥感影像配准方法
CN116091706A (zh) * 2023-04-07 2023-05-09 山东建筑大学 多模态遥感影像深度学习匹配的三维重建方法
CN116521927A (zh) * 2023-06-30 2023-08-01 成都智遥云图信息技术有限公司 基于网络地图瓦片的遥感影像匹配方法与系统
CN117761695A (zh) * 2024-02-22 2024-03-26 中国科学院空天信息创新研究院 基于自适应分区sift的多角度sar三维成像方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2555675B (en) * 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
US11164015B2 (en) * 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
CN112633304B (zh) * 2019-09-23 2023-07-25 中国科学院沈阳自动化研究所 一种鲁棒的模糊图像匹配方法
CN111091133B (zh) * 2019-11-05 2023-05-30 西安建筑科技大学 一种基于sift算法的青铜器金文图像识别方法
CN111666858A (zh) * 2020-05-29 2020-09-15 中国科学院地理科学与资源研究所 基于单木识别的森林遥感图像配准方法及系统
CN111797744B (zh) * 2020-06-28 2022-06-10 武汉大学 一种基于共现滤波算法的多模态遥感图像匹配方法
CN112070745B (zh) * 2020-09-08 2022-11-22 中国科学院空天信息创新研究院 一种快速有效的遥感影像分割非监督评价方法
CN112183585A (zh) * 2020-09-08 2021-01-05 西安建筑科技大学 一种基于多特征测度的青铜器铭文相似性度量方法
CN112241957A (zh) * 2020-11-03 2021-01-19 南京多基观测技术研究院有限公司 一种仿生高分遥感影像变化检测方法
CN112381748A (zh) * 2020-11-16 2021-02-19 上海亨临光电科技有限公司 基于纹理特征点的太赫兹与可见光图像配准方法及装置
CN112396643A (zh) * 2020-12-08 2021-02-23 兰州交通大学 一种尺度不变特征与几何特征融合的多模态高分影像配准方法
CN112381864A (zh) * 2020-12-08 2021-02-19 兰州交通大学 一种基于对极几何的多源多尺度高分辨率遥感影像自动配准技术
CN112559534B (zh) * 2020-12-24 2021-11-26 山东省国土测绘院 一种遥感影像数据归档管理系统及方法
CN112883850B (zh) * 2021-02-03 2023-06-09 湖北工业大学 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112950680B (zh) * 2021-02-20 2022-07-05 哈尔滨学院 一种卫星遥感图像配准方法
CN113344030B (zh) * 2021-05-11 2023-11-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
CN113256653B (zh) * 2021-05-25 2023-05-09 南京信息工程大学 一种面向高层地物的异源高分遥感影像配准方法
CN113408615B (zh) * 2021-06-16 2022-04-12 中国石油大学(华东) 一种基于光学卫星遥感影像的船只自动匹配方法
CN113591933B (zh) * 2021-07-07 2024-04-09 中国人民解放军海军航空大学 一种基于相关性度量的遥感图像变化检测方法及系统
CN113763274B (zh) * 2021-09-08 2023-06-06 湖北工业大学 一种联合局部相位锐度定向描述的多源图像匹配方法
CN115953600B (zh) * 2023-03-08 2023-07-21 中国测绘科学研究院 基于多方向滤波通道特征的多模态影像匹配方法及系统
CN116049482B (zh) * 2023-03-31 2023-10-20 北京数慧时空信息技术有限公司 基于时空域的遥感影像统筹方法
CN116343051B (zh) * 2023-05-29 2023-07-28 山东景闰工程研究设计有限公司 一种基于遥感影像的地质环境监测方法及系统
CN117076704B (zh) * 2023-10-16 2024-01-23 北京中遥数创科技有限公司 一种图像质量分析评价方法及系统
CN117237684B (zh) * 2023-11-13 2024-01-16 人工智能与数字经济广东省实验室(深圳) 一种像素级别的区域匹配方法及装置
CN117689658B (zh) * 2024-02-02 2024-05-10 珠江水利委员会珠江水利科学研究院 遥感影像变化检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN104021556A (zh) * 2014-06-13 2014-09-03 西南交通大学 一种基于几何结构相似性的异源遥感影像配准方法
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2303513B (en) * 1995-07-21 1999-09-29 Innovision Res Ltd Improved correlation processing for motion estimation
US7471086B2 (en) * 2007-04-20 2008-12-30 General Electric Company Magnetic resonance imaging visualization method and system
US8537337B2 (en) * 2009-12-22 2013-09-17 Weyerhaeuser Nr Company Method and apparatus for analyzing tree canopies with LiDAR data
US8712156B2 (en) * 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
US9390327B2 (en) * 2013-09-16 2016-07-12 Eyeverify, Llc Feature extraction and matching for biometric authentication
US20170243084A1 (en) * 2015-11-06 2017-08-24 The Regents Of The University Of California Dsp-sift: domain-size pooling for image descriptors for image matching and other applications
JP6245590B1 (ja) * 2016-06-20 2017-12-13 公立大学法人大阪市立大学 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
GB2555675B (en) * 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
US20180053040A1 (en) * 2016-08-19 2018-02-22 Umm Al-Qura University System and method for 3d local surface matching
CN106971404A (zh) 2017-03-20 2017-07-21 西北工业大学 一种鲁棒surf无人机彩色遥感图像配准方法
CN107563438B (zh) * 2017-08-31 2019-08-30 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
US10607364B2 (en) * 2017-10-31 2020-03-31 Honeywell International Inc. Position and attitude determination method and system using edge images
CN107909018B (zh) 2017-11-06 2019-12-06 西南交通大学 一种稳健的多模态遥感影像匹配方法和系统
CN112243463A (zh) * 2018-04-09 2021-01-19 小利兰·斯坦福大学托管委员会 原位基因测序方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104867126A (zh) * 2014-02-25 2015-08-26 西安电子科技大学 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN104021556A (zh) * 2014-06-13 2014-09-03 西南交通大学 一种基于几何结构相似性的异源遥感影像配准方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019042232A1 (zh) * 2017-08-31 2019-03-07 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
US11244197B2 (en) 2017-08-31 2022-02-08 Southwest Jiaotong University Fast and robust multimodal remote sensing image matching method and system
CN108537833A (zh) * 2018-04-18 2018-09-14 昆明物理研究所 一种红外图像快速拼接方法
CN110163896A (zh) * 2019-03-29 2019-08-23 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar图像匹配方法
CN110163896B (zh) * 2019-03-29 2023-02-03 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar图像匹配方法
CN112258561B (zh) * 2019-07-22 2023-08-25 复旦大学 针对图像拼接的匹配点获取方法
CN112258561A (zh) * 2019-07-22 2021-01-22 复旦大学 针对图像拼接的匹配点获取方法
CN111190151B (zh) * 2020-01-14 2021-10-08 中国石油大学(华东) 扫描模式下多模态小卫星sar的系统参数设计及发射功率优化方法
CN111190151A (zh) * 2020-01-14 2020-05-22 中国石油大学(华东) 扫描模式下多模态小卫星sar的系统参数设计及发射功率优化方法
CN112149728A (zh) * 2020-09-22 2020-12-29 成都智遥云图信息技术有限公司 一种快速的多模态图像模板匹配方法
CN112149728B (zh) * 2020-09-22 2023-11-17 成都智遥云图信息技术有限公司 一种快速的多模态图像模板匹配方法
CN112634335A (zh) * 2020-12-25 2021-04-09 清华大学 面向非线性辐射畸变的稳健遥感影像特征点对提取方法
CN113034556A (zh) * 2021-03-19 2021-06-25 南京天巡遥感技术研究院有限公司 一种频域相关半稠密遥感影像匹配方法
CN113034556B (zh) * 2021-03-19 2024-04-16 南京天巡遥感技术研究院有限公司 一种频域相关半稠密遥感影像匹配方法
CN113343747A (zh) * 2021-03-30 2021-09-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态图像鲁棒匹配vns的方法
CN113313002A (zh) * 2021-05-24 2021-08-27 清华大学 一种基于神经网络的多模态遥感影像特征提取方法
CN114119686A (zh) * 2021-11-24 2022-03-01 刘文平 空间布局相似计算的多源遥感影像配准方法
CN116091706A (zh) * 2023-04-07 2023-05-09 山东建筑大学 多模态遥感影像深度学习匹配的三维重建方法
CN116091706B (zh) * 2023-04-07 2023-06-20 山东建筑大学 多模态遥感影像深度学习匹配的三维重建方法
CN116521927A (zh) * 2023-06-30 2023-08-01 成都智遥云图信息技术有限公司 基于网络地图瓦片的遥感影像匹配方法与系统
CN116521927B (zh) * 2023-06-30 2024-02-13 成都智遥云图信息技术有限公司 基于网络地图瓦片的遥感影像匹配方法与系统
CN117761695A (zh) * 2024-02-22 2024-03-26 中国科学院空天信息创新研究院 基于自适应分区sift的多角度sar三维成像方法
CN117761695B (zh) * 2024-02-22 2024-04-30 中国科学院空天信息创新研究院 基于自适应分区sift的多角度sar三维成像方法

Also Published As

Publication number Publication date
US11244197B2 (en) 2022-02-08
WO2019042232A1 (zh) 2019-03-07
CN107563438B (zh) 2019-08-30
US20200226413A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
CN107563438A (zh) 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN107909018A (zh) 一种稳健的多模态遥感影像匹配方法和系统
Yang et al. Automated registration of dense terrestrial laser-scanning point clouds using curves
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN105139412A (zh) 一种高光谱图像角点检测方法与系统
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN103761739B (zh) 一种基于半全局能量优化的影像配准方法
CN103914847A (zh) 基于相位一致性和sift的sar图像配准方法
CN105427298A (zh) 基于各向异性梯度尺度空间的遥感图像配准方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN105844587A (zh) 一种低空无人机载高光谱遥感影像自动拼接方法
Zhu et al. Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features
CN105069811A (zh) 一种多时相遥感图像变化检测方法
CN101957916B (zh) 使用m进小波提取图像仿射不变特征的方法
Fang et al. SAR-optical image matching by integrating Siamese U-Net with FFT correlation
CN109523585A (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
CN105550994A (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN109100719A (zh) 基于星载sar影像与光学影像的地形图联合测图方法
Gonçalves et al. CHAIR: Automatic image registration based on correlation and Hough transform
Xiang et al. A robust two-stage registration algorithm for large optical and SAR images
CN105279522A (zh) 一种基于sift的场景物体实时配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant