CN113781532A - Sar卫星图像与光学图像自动匹配检索方法 - Google Patents

Sar卫星图像与光学图像自动匹配检索方法 Download PDF

Info

Publication number
CN113781532A
CN113781532A CN202111012832.1A CN202111012832A CN113781532A CN 113781532 A CN113781532 A CN 113781532A CN 202111012832 A CN202111012832 A CN 202111012832A CN 113781532 A CN113781532 A CN 113781532A
Authority
CN
China
Prior art keywords
sar
matching
image
optical
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111012832.1A
Other languages
English (en)
Other versions
CN113781532B (zh
Inventor
葛雨辰
熊召龙
赖作镁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Electronic Technology Institute No 10 Institute of Cetc
Original Assignee
Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Electronic Technology Institute No 10 Institute of Cetc filed Critical Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority to CN202111012832.1A priority Critical patent/CN113781532B/zh
Publication of CN113781532A publication Critical patent/CN113781532A/zh
Application granted granted Critical
Publication of CN113781532B publication Critical patent/CN113781532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种SAR卫星图像与光学图像自动匹配检索方法，鲁棒性好，匹配精度高，计算速度快，本发明通过下述技术方案实现：首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样；采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果，以及所有SAR图像序列向光学模板图像的匹配结果，合并两条循环匹配支路的SAR图像块序列结果至全图；并送入筛选模块，筛选各自分支的距离度量矩阵结果符合门限的特征点对，组成有效匹配点对集合；然后利用获取的相关矩阵，计算出SAR特征点坐标和光学特征点坐标，合并两组坐标结果，筛选距离最小的N组匹配点对；采用RANSAC算法将异常值筛除，获得自动匹配检索结果。

Description

SAR卫星图像与光学图像自动匹配检索方法
技术领域
本发明涉及图像处理技术领域，光学图像匹配SAR卫星图像的方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)图像与光学图像配准是图像融合、目标变化检测、自然灾害评估等应用的前提，属于多模态图像配准范畴。光学图像通常采用中心投影面域成像或推帚式扫描获取数据，其成像结果符合人眼的视觉特征，具有较高成像分辨率，易辨识，但光学传感器容易受到物候天象与光照条件的影响，易产生模糊的图像噪声，因而工作效率受到一定的限制。合成孔径雷达(SAR)技术作为一种主动的成像系统，SAR不仅能高分辨率成像，而且具有全天候工作能力，且能够提供高分辨率图像数据。SAR图像属于斜距投影的相干成像，由合成孔径雷达(SAR)系统产生，是一种主动式的对地观测系统，能够全天时、全天候对地实施观测、具备一定的地表穿透能力，且具备其他传感器无法获取的特有的相位信息。然而，相较于光学图像而言，SAR图像的分辨率和信噪比均较低，其成像结果存在相干斑噪声，以及停留、透视和雷达阴影等造成的几何畸变。因此，在光学与SAR卫星图像的异源匹配过程中，面临着如何处理两种数据源显著的几何与辐射差异的问题。目前，在图像匹配过程中，由于现有技术条件限制，通常采用卫星SAR图像与实时光学图像进行匹配，由于光学图像往往包含显著的地理位置误差，因此不能直接依赖地理编码来提供与卫星SAR卫星图像的准确匹配，需要依赖异源图像匹配技术进行修订。然而，受限于光学图像与SAR图像的成像机理不同，光学与SAR图像间往往存在较大的灰度差异，传统的在单源图像上发展起来的匹配方法不能取得满意的结果。
实际生产过程中，一种常见的使用场景是将一幅局部视野的光学图像设为目标模板，在大范围的SAR图像中进行检索匹配的问题。常用的大图检索匹配有两类主流方法。一类是基于SAR与光学图像共有图像信息进行边缘、纹理等特征提取，采用相关性热力图峰值响应的方式进行滤波，直接获取光学模板小图在SAR大图中的全局最优位置。然而基于相关性热力图匹配的方法存在较大的应用场景的限制，只适用于具有平移差异的图像对，对于存在地理编码信息缺失、精度不佳的光学图像，由于无法与SAR图像进行先验的预缩放和旋转匹配，该方法不具备使用前提。另一类常用方法是基于稀疏特征点的匹配方法，先提取光学和SAR图像各自的特征点与描述子，再进行特征点之间的匹配。较相关性热力图而言，特征点的匹配方法具备解决包含旋转、缩放问题的图像对的能力，然而由于光学与SAR图像的异源匹配过程中，面临着如何处理两种数据源显著的几何与辐射差异的问题。SAR图像中存在如停留、透视和雷达阴影等造成的几何畸变，而光学图像会受到如云层、物体阴影等光照效果的影响，因此两幅图像提取的特征点往往具有较大差异，例如一些在光学图像中显著的特征点在SAR图像中并不明显，反之，一些在光SAR图像中显著的特征点在光学图像中也并不明显，此时对图像直接采取稀疏匹配将会造成许多误匹配对。
发明内容
为实现SAR图像与光学图像的匹配，本发明的目的是针对现有技术存在的问题，提供一种鲁棒性好，匹配精度高，计算速度快，具有循环验证机制的SAR卫星图像与光学图像自动匹配检索方法，以解决或者至少部分解决现有技术中的方法存在光学图像与SAR卫星图像的在强光照变化与强辐射差异场景匹配效果不佳的技术问题。
本发明提供一种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样，收集与光学模板图像尺寸大小一致的SAR图像块序列；采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果，以及所有SAR图像序列向光学模板图像的匹配结果，并根据循环匹配的距离误差合并两条循环匹配支路的SAR图像块序列结果至全图，分别得到光学模板图像向SAR全图的匹配结果；以及SAR全图向光学模板图像的匹配结果；随后将由上述两条循环匹配支路获取的匹配结果送入筛选模块，筛选各自分支的距离度量矩阵结果符合门限的特征点对，组成有效匹配点对集合；然后利用由上述两条循环匹配支路获取的相关矩阵，计算出由光学有效匹配点出发匹配得到的SAR特征点坐标和由SAR有效匹配点出发匹配得到的光学特征点坐标，合并两组坐标结果并计算其与有效匹配点对集合的距离，筛选距离最小的N组匹配点对；最后采用随机采样一致算法RANSAC将异常值筛除，获得自动匹配检索结果。
本发明相比于现有技术具有如下有益效果：
本发明针对现有技术中的缺陷，采用滑窗的手段对待检索的SAR图像进行重叠等间隔采样，可以保证相同位置的全局特征点在不同子图像视野获得不同的显著性效果，从而使得子图像能够获取更加丰富多样的局部特征，并在全局特征合并阶段给予更加准确的结果，同时提高计算速度，在保证配准速度的同时提高了配准的精度。
本发明采用两次循环匹配机制分别计算SAR图像向光学模板图像的匹配结果以及光学模板图像向SAR图像的匹配结果，能够适应SAR与光学图像强光照变化与强辐射差异场景提取共有特征，保证所获取特征点的共有性与可回溯性，以实现鲁棒的异源图像匹配。
本发明通过RANSAC算法，清除异常值，不需要过多的参数调优，且不需要预配准信息，还可以检查模型是否是线性的，以及误差是否随机分布。最终，能够解决或者至少部分解决现有技术中的方法存在光学图像与SAR卫星图像的在强光照变化与强辐射差异场景匹配效果不佳的技术问题。
附图说明
图1为本发明光学图像和SAR图像匹配算法流程图；
图2为本发明循环匹配机制的实施例示意图；
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
具体实施方式
参阅图1。根据本发明，首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样，收集与光学模板图像尺寸大小一致的SAR图像块序列；采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果，以及所有SAR图像序列向光学模板图像的匹配结果，并根据循环匹配的距离误差合并两条循环匹配支路的SAR图像块序列结果至全图，分别得到光学模板图像向SAR全图的匹配结果；以及SAR全图向光学模板图像的匹配结果；随后将由上述两条循环匹配支路获取的匹配结果送入筛选模块，筛选各自分支的距离度量矩阵结果符合门限的特征点对，组成有效匹配点对集合；然后利用由上述两条循环匹配支路获取的相关矩阵，计算出由光学有效匹配点出发匹配得到的SAR特征点坐标和由SAR有效匹配点出发匹配得到的光学特征点坐标，合并两组坐标结果并计算其与有效匹配点对集合的距离，筛选距离最小的N组匹配点对；最后采用随机采样一致算法RANSAC将异常值筛除，获得自动匹配检索结果。
具体步骤包括：
1)在采用滑窗的手段对待检索的SAR图像进行重叠等间隔采样中，按照既定窗口大小W光学×h光学与步长s(s＜min(W光学,h光学))进行截取，获得长度为M的SAR图像块序列[Isar1,Isar2......IsarM]，同时记录每一个图像块坐标位置并与光学图像I光学配对，最终获得的图像块候选序列为[(I光学,Isar1),(I光学,Isar2),......(I光学,IsarM)]，其中，W光学，h光学分别为光学图像I光学的长宽尺寸大小。
2)将待检索SAR图像切块与光学图像分为循环匹配分支A、循环匹配分支B两条循环匹配分支，其中，循环匹配分支A采用循环匹配机制计算光学模板图像向所有SAR图像序列的匹配结果，循环匹配分支B采用循环匹配机制计算所有SAR图像序列对向光学模板图像的匹配结果。
3)根据循环匹配的距离误差合并两条支路中SAR图像坐标重叠区域的匹配点，将SAR图像块序列结果合并至全图，分别得到光学模板图像向SAR全图的匹配结果：光学-SAR方向的匹配点对、距离度量矩阵、相关矩阵，SAR全图向光学模板图像的匹配结果：SAR-光学方向的匹配点对、距离度量矩阵、相关矩阵。
4)光学图像点向SAR图像点循环匹配分支，SAR图像点向光学图像点循环匹配分支，筛选模块筛选各自分支的距离度量矩阵符合门限的点，组成有效匹配点对集合(Xall 光学，Xall SAR)；根据循环匹配分支A的相关矩阵获得光学图像有效匹配点Xall 光学到SAR图像Xresult SAR的匹配输出和循环匹配分支B的相关矩阵获得SAR图像有效匹配点Xall SAR到光学图像Xresult 光学的匹配输出；合并两条分支输出结果(Xall 光学，Xresult SAR)和(Xresult 光学,Xall SAR)，并筛选出合并结果中与有效匹配点对集合(Xall 光学，Xall SAR)距离差最小的N对匹配点对(XN 光学，XN SAR)。
5)最后将筛选出匹配距离最近的N个点送入异常值排除模块，采用RANSAC一致性算法排除匹配点对(XN 光学，XN SAR)中的异常进行异常值筛除，得到并输出最终的匹配结果。
参阅图2。首先提取光学图像全图所有像素点的稠密特征描述子集合Pin 光学：Pin 光学＝{(x,fx),x∈I光学}以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]，再提取光学图像全图所有像素点的稠密特征描述子集合Pin 光学：Pin 光学＝{(x,fx),x∈I光学}以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]，其次从光学图像稠密特征描述子集合Pin 光学出发，求得向所有SAR图像块序列成员对应匹配的特征点描述子集。本实施例以第i个图像块Isari为例：其对应匹配特征点描述子集Pmiddle SARi＝{(x',fx'),x'∈Isari}，其中，I光学为光学图像，Isari为第i个SAR图像块，x为图像中的像素，fx为像素x的特征描述子，x'为从I光学中像素x出发，在Isari中求得的对应匹配的像素坐标，fx'为其特征描述子。
然后，循环匹配分支A从Pmiddle SARi出发，采用同样的匹配算法返回求得对应的光学图像块序列匹配结果Pout 光学＝{(x”,fx”),x”∈I光学}，采用的距离函数d，计算Pin 光学与Pout 光学之间所有光学图像素坐标距离度量矩阵DSARi：DSARi＝{d(x-x”)|x',x∈I光学，x”∈I光学，x'∈Isari}。其中，x”为从Isari中像素x'出发，在I光学中求得的对应匹配的像素坐标，fx”为其特征描述子。上述采用的距离函数d包括但不限于L1距离、L2距离、余弦距离等。
上述采用的特征描述子提取方法包括但不限于传统方法sift、surf以及深度学习网络特征resnet、vgg、hardnet、lisrd等；上述采用的特征描述子提取方法包括但不限于传统方法sift、surf以及深度学习网络特征resnet、vgg、hardnet、lisrd等；上述采用的匹配方法包括但不限于传统匹配方法Flann、暴力匹配以及深度学习cnn网络、superglue、transformer等。
通过合并模块，根据[DSAR1,DSAR2,...DSARM]值，以及每个像素点对应的原图坐标，将所有SAR切块匹配结果按置信度最小值合并到大图，合并出SAR原图完整的匹配结果(X光学，XSAR)，以及合并后的距离矩阵Dcompose SAR，光学模板图像向SAR图像重叠区域相同原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标，最后根据(X光学，XSAR)获得光学图像向SAR图像的相关矩阵Cor光学-SAR。
循环匹配分支B提取循环匹配分支A中已获得的光学模板图像的全图所有像素点的稠密特征描述子集合Pin 光学＝{(x,fx),x∈I光学}，以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR：Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]，且Pin SARi＝{(x,fx),x∈Isari}；从SAR图像块序列稠密特征描述子集合Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]出发，采用与循环匹配分支A相同的特征匹配方法，求得每一个SAR图像块特征子集合Pin SARi对应的光学图像块特征点集，本实施例以第i个图像块Isari为例，其对应的Pmiddle 光学i＝{(x',fx'),x'∈I光学}，其中，I光学为光学图像，Isari为第i个SAR图像块，x为图像中的像素，fx为像素x的特征描述子，x'为从Isari中像素x出发，在I光学中求得的对应匹配的像素坐标，fx'为其特征描述子。然后，循环匹配分支B从Pmiddle 光学i出发，采用同样的匹配算法返回求得对应的SAR图像块序列匹配结果Pout SARi＝{(x”,fx”),x”∈Isari}，采用的距离函数d，计算Pin SARi与Pout SARi之间所有光学图像素坐标距离度量矩阵DSARi：DSARi＝{d(x-x”)|x',x∈Isari，x”∈Isari，x'∈I光学}
合并模块根据[DSAR1,DSAR2,...DSARM]值，以及每个像素点对应的原图坐标，将所有SAR切块匹配结果按置信度最小值合并到大图，合并出SAR原图完整的匹配结果(XSAR，X光学)，以及合并后的距离矩阵Dcompose SAR，SAR图像重叠区域向光学模板图像匹配时，原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标，最后根据(XSAR，X光学)获得SAR图像向光学图像的相关矩阵CorSAR-光学
筛选模块筛选各自分支的循环匹配结果符合门限的点，形成匹配点对，从出发源图像点x出发，计算得到的目的源图像的匹配点x'，再反向匹配到出发源图像特征点x”，最终获取x与x”距离的过程；筛选模块设定门限Th，筛选回溯距离小于门限的特征点，分别从(X光学,XSAR)和(XSAR,X光学)获取更加优质的匹配特征点对(X1 光学，X1 SAR)与(X2 SAR,X2 光学)
合并模块合并筛选模块中两条循环匹配分支获取的优质的匹配特征点对组成有效匹配点对集合：将(X2 SAR,X2 光学)点对顺序对调为(X2 光学，X2 SAR)并与(X1 光学，X1 SAR)合并，结果命名为(Xall 光学，Xall SAR)。
筛选模块根据采用与循环匹配分支A循环匹配机制，获得的光学图像向SAR图像的相关矩阵Cor光学-SAR，输入Xall 光学特征点集，得到输出特征点集Xresult SAR：Xresult SAR＝Xall 光学·Cor光学-SAR；根据获得的SAR图像向光学图像的相关矩阵CorSAR-光学，输入Xall SAR特征点集，得到输出特征点集Xresult 光学：Xresult 光学＝Xall SAR·CorSAR-光学。
筛选模块合并循环匹配分支输出结果(Xall 光学，Xresult SAR)和(Xresult 光学,Xall SAR)并计算与(Xall 光学，Xall SAR)距离差最小的N对匹配点对(XN 光学，XN SAR)：由于SAR图像与光学图像的匹配点应具备统计学的一致性，因此采用RANSAC一致性算法排除异常，得到最终的匹配结果。
以上所述为本发明较佳实施例，应该注意的是上述实施例对本发明进行说明，然而本发明并不局限于此，并且本领域技术人员在脱离所附权利要求的范围情况下可设计出替换实施例。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样，收集与光学模板图像尺寸大小一致的SAR图像块序列；采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果，以及所有SAR图像序列向光学模板图像的匹配结果，并根据循环匹配的距离误差合并两条循环匹配支路的SAR图像块序列结果至全图，分别得到光学模板图像向SAR全图的匹配结果；以及SAR全图向光学模板图像的匹配结果；随后将由上述两条循环匹配支路获取的匹配结果送入筛选模块，筛选各自分支的距离度量矩阵结果符合门限的特征点对，组成有效匹配点对集合；然后利用由上述两条循环匹配支路获取的相关矩阵，计算出由光学有效匹配点出发匹配得到的SAR特征点坐标和由SAR有效匹配点出发匹配得到的光学特征点坐标，合并两组坐标结果并计算其与有效匹配点对集合的距离，筛选距离最小的N组匹配点对；最后采用随机采样一致算法RANSAC将异常值筛除，获得自动匹配检索结果。
2.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：在采用滑窗的手段对待检索的SAR图像进行重叠等间隔采样中，按照既定窗口大小W光学×h光学与步长s(s＜min(W光学,h光学))进行截取，获得长度为M的SAR图像块序列[Isar1,Isar2......IsarM]，同时记录每一个图像块坐标位置并与光学图像I光学配对，最终获得的图像块候选序列为[(I光学,Isar1),(I光学,Isar2),......(I光学,IsarM)]，其中，W光学，h光学分别为光学图像I光学的长宽尺寸大小。
3.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：将待检索SAR图像切块与光学图像分为循环匹配分支A、循环匹配分支B两条循环匹配分支，其中，循环匹配分支A采用循环匹配机制计算光学模板图像向所有SAR图像序列的匹配结果，循环匹配分支B采用循环匹配机制计算所有SAR图像序列对向光学模板图像的匹配结果。
4.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：根据循环匹配的距离误差合并两条支路中SAR图像坐标重叠区域的匹配点，将SAR图像块序列结果合并至全图，分别得到光学模板图像向SAR全图的匹配结果：光学-SAR方向的匹配点对、距离度量矩阵、相关矩阵，SAR全图向光学模板图像的匹配结果：SAR-光学方向的匹配点对、距离度量矩阵、相关矩阵。
5.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：光学图像点向SAR图像点循环匹配分支，SAR图像点向光学图像点循环匹配分支，筛选模块筛选各自分支的距离度量矩阵符合门限的点，组成有效匹配点对集合；根据循环匹配分支A的相关矩阵获得光学图像有效匹配点到SAR图像的匹配输出和循环匹配分支B的相关矩阵获得SAR图像有效匹配点到光学图像的匹配输出；合并两条分支输出结果和，并筛选出合并结果中与有效匹配点对集合距离差最小的N对匹配点对；最后将筛选出匹配距离最近的N个点送入异常值排除模块，采用RANSAC一致性算法排除匹配点对中的异常进行异常值筛除，得到并输出最终的匹配结果。
6.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：光学图像点向SAR图像点循环匹配分支，SAR图像点向光学图像点循环匹配分支，筛选模块筛选各自分支的距离度量矩阵符合门限的点，组成有效匹配点对集合(Xall 光学，Xall SAR)；根据循环匹配分支A的相关矩阵获得光学图像有效匹配点Xall 光学到SAR图像Xresult SAR的匹配输出和循环匹配分支B的相关矩阵获得SAR图像有效匹配点Xall SAR到光学图像Xresult 光学的匹配输出；合并两条分支输出结果(Xall 光学，Xresult SAR)和(Xresult 光学,Xall SAR)，并筛选出合并结果中与有效匹配点对集合(Xall 光学，Xall SAR)距离差最小的N对匹配点对(XN 光学，XN SAR)；最后将筛选出匹配距离最近的N个点送入异常值排除模块，采用RANSAC一致性算法排除匹配点对(XN 光学，XN SAR)中的异常进行异常值筛除，得到并输出最终的匹配结果。
7.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：首先提取光学图像全图所有像素点的稠密特征描述子集合Pin 光学：Pin 光学＝{(x,fx),x∈I光学}以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]，
从光学图像稠密特征描述子集合Pin 光学出发，求得向所有SAR图像块序列成员对应匹配的特征点描述子集：Pmiddle SARi＝{(x',fx'),x'∈Isari}，其中，I光学为光学图像，Isari为第i个SAR图像块，x为图像中的像素，fx为像素x的特征描述子，x'为从I光学中像素x出发，在Isari中求得的对应匹配的像素坐标，fx'为其特征描述子。
8.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：循环匹配分支A从Pmiddle SARi出发，采用同样的匹配算法返回求得对应的光学图像块序列匹配结果Pout 光学＝{(x”,fx”),x”∈I光学}，采用的距离函数d，计算Pin 光学与Pout 光学之间所有光学图像素坐标距离度量矩阵DSARi：DSARi＝{d(x-x”)|x',x∈I光学，x”∈I光学，x'∈Isari}，合并模块根据[DSAR1,DSAR2,...DSARM]值，以及每个像素点对应的原图坐标，将所有SAR切块匹配结果按置信度最小值合并到大图，合并出SAR原图完整的匹配结果(X光学，XSAR)，以及合并后的距离矩阵Dcompose SAR，光学模板图像向SAR图像重叠区域相同原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标，最后根据(X光学，XSAR)获得光学图像向SAR图像的相关矩阵Cor光学-SAR，其中，x”为从Isari中像素x'出发，在I光学中求得的对应匹配的像素坐标，fx”为其特征描述子。
9.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：循环匹配分支B提取循环匹配分支A中已获得的光学模板图像的全图所有像素点的稠密特征描述子集合Pin 光学＝{(x,fx),x∈I光学}，以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR：Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]，且Pin SARi＝{(x,fx),x∈Isari}；从SAR图像块序列稠密特征描述子集合Pin SAR＝[Pin SAR1,Pin SAR2,...,Pin SAR3]出发，采用与循环匹配分支A相同的特征匹配方法，求得每一个SAR图像块特征子集合Pin SARi对应的光学图像块特征点集Pmiddle 光学i＝{(x',fx'),x'∈I光学}，其中，I光学为光学图像，Isari为第i个SAR图像块，其中，x为图像中的像素，fx为像素x的特征描述子，x'为从Isari中像素x出发，在I光学中求得的对应匹配的像素坐标，fx'为其特征描述子。
10.如权利要求1所述的种SAR卫星图像与光学图像自动匹配检索方法，其特征在于：循环匹配分支B从Pmiddle 光学i出发，采用同样的匹配算法返回求得对应的SAR图像块序列匹配结果Pout SARi＝{(x”,fx”),x”∈Isari}，采用的距离函数d，计算Pin SARi与Pout SARi之间所有光学图像素坐标距离度量矩阵DSARi：DSARi＝{d(x-x”)|x',x∈Isari，x”∈Isari，x'∈I光学}，合并模块根据[DSAR1,DSAR2,...DSARM]值，以及每个像素点对应的原图坐标，将所有SAR切块匹配结果按置信度最小值合并到大图，合并出SAR原图完整的匹配结果(XSAR，X光学)，以及合并后的距离矩阵Dcompose SAR，SAR图像重叠区域向光学模板图像匹配时，原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标，最后根据(XSAR，X光学)获得SAR图像向光学图像的相关矩阵CorSAR-光学；筛选模块筛选各自分支的循环匹配结果符合门限的点，形成匹配点对，从出发源图像点x出发，计算得到的目的源图像的匹配点x'，再反向匹配到出发源图像特征点x”，最终获取x与x”距离的过程；筛选模块设定门限Th，筛选回溯距离小于门限的特征点，分别从(X光学,XSAR)和(XSAR,X光学)获取更加优质的匹配特征点对(X1 光学，X1 SAR)与(X2 SAR,X2 光学)；合并模块合并筛选模块中两条循环匹配分支获取的优质的匹配特征点对组成有效匹配点对集合：将(X2 SAR,X2 光学)点对顺序对调为(X2 光学，X2 SAR)并与(X1 光学，X1 SAR)合并，结果命名为(Xall 光学，Xall SAR)；筛选模块根据循环匹配分支A获得的光学图像向SAR图像的相关矩阵Cor光学-SAR，输入Xall 光学特征点集，得到输出特征点集Xresult SAR：
Xresult SAR＝Xall 光学·Cor光学-SAR；根据循环匹配分支B获得的SAR图像向光学图像的相关矩阵CorSAR-光学，输入Xall SAR特征点集，得到输出特征点集Xresult 光学：Xresult 光学＝Xall SAR·CorSAR-光学；筛选模块合并循环匹配分支输出结果(Xall 光学，Xresult SAR)和(Xresult 光学,Xall SAR)并计算与(Xall 光学，Xall SAR)距离差最小的N对匹配点对(XN 光学，XN SAR)：采用RANSAC一致性算法排除异常，得到最终的匹配结果。
CN202111012832.1A 2021-08-31 2021-08-31 Sar卫星图像与光学图像自动匹配检索方法 Active CN113781532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111012832.1A CN113781532B (zh) 2021-08-31 2021-08-31 Sar卫星图像与光学图像自动匹配检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111012832.1A CN113781532B (zh) 2021-08-31 2021-08-31 Sar卫星图像与光学图像自动匹配检索方法

Publications (2)

Publication Number Publication Date
CN113781532A true CN113781532A (zh) 2021-12-10
CN113781532B CN113781532B (zh) 2023-02-28

Family

ID=78840457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111012832.1A Active CN113781532B (zh) 2021-08-31 2021-08-31 Sar卫星图像与光学图像自动匹配检索方法

Country Status (1)

Country Link
CN (1) CN113781532B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457222A (zh) * 2022-09-14 2022-12-09 北京建筑大学 一种在地理信息系统中地理配准三维模型的方法
CN115932823A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于异源区域特征匹配的飞行器对地面目标定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447016A (zh) * 2018-02-05 2018-08-24 西安电子科技大学 基于直线交点的光学图像和sar图像的匹配方法
CN113223065A (zh) * 2021-03-30 2021-08-06 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447016A (zh) * 2018-02-05 2018-08-24 西安电子科技大学 基于直线交点的光学图像和sar图像的匹配方法
CN113223065A (zh) * 2021-03-30 2021-08-06 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王新华等: "多探测器拼接成像系统实时图像配准", 《中国光学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457222A (zh) * 2022-09-14 2022-12-09 北京建筑大学 一种在地理信息系统中地理配准三维模型的方法
CN115932823A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于异源区域特征匹配的飞行器对地面目标定位方法

Also Published As

Publication number Publication date
CN113781532B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
Feng et al. 2d3d-matchnet: Learning to match keypoints across 2d image and 3d point cloud
Parmehr et al. Automatic registration of optical imagery with 3D LiDAR data using statistical similarity
CN113781532B (zh) Sar卫星图像与光学图像自动匹配检索方法
Misra et al. Feature based remote sensing image registration techniques: a comprehensive and comparative review
Brejcha et al. Landscapear: Large scale outdoor augmented reality by matching photographs with terrain models using learned descriptors
Zhao et al. Double propagation stereo matching for urban 3-d reconstruction from satellite imagery
Tatar et al. Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix
CN113223065B (zh) Sar卫星图像与光学图像自动匹配方法
CN111626307A (zh) 一种基于l-orb算法的植株图像实时拼接方法
Parmehr et al. Automatic registration of optical imagery with 3d lidar data using local combined mutual information
Fan et al. A robust oriented filter-based matching method for multisource, multitemporal remote sensing images
Maiwald et al. Solving photogrammetric cold cases using AI-based image matching: New potential for monitoring the past with historical aerial images
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
Arth et al. Full 6dof pose estimation from geo-located images
Duan et al. A combined image matching method for Chinese optical satellite imagery
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
Pan et al. Multisource data registration based on NURBS description of contours
Zhu et al. Fast and Robust Registration of Aerial Images and LiDAR data Based on Structrual Features and 3D Phase Correlation
Maltezos et al. Building Change Detection Using Semantic Segmentation on Analogue Aerial Photos
Wang et al. Fast and accurate satellite multi-view stereo using edge-aware interpolation
Meddeber et al. Efficient photometric and geometric stitching approach for remote sensing images based on wavelet transform and local invariant
Lin et al. An uncertainty aware method for geographic data conflation
Liu et al. Superpixel segmentation of high-resolution remote sensing image based on feature reconstruction method by salient edges
Schwind et al. Evaluating the applicability of BRISK for the geometric registration of remote sensing images
Tang et al. MU-NET: A multiscale unsupervised network for remote sensing image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant