CN117291790A - 一种sar图像配准方法、装置、设备及介质 - Google Patents
一种sar图像配准方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117291790A CN117291790A CN202311204834.XA CN202311204834A CN117291790A CN 117291790 A CN117291790 A CN 117291790A CN 202311204834 A CN202311204834 A CN 202311204834A CN 117291790 A CN117291790 A CN 117291790A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- super
- region
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 230000001131 transforming effect Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种SAR图像配准方法、装置、设备及介质。该方法包括如下步骤：对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；对参考图像进行超像素分割，并基于第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；分别确定每个对应区域之间的映射关系，基于映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。本发明将有效增益整个基于超像素分割的大畸变SAR图像配准系统的配准精度和配准效率，使得配准结果更好。
Description
技术领域
本发明涉及图像配准技术领域，尤其涉及一种SAR图像配准方法、装置、设备及介质。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)具备全天候能力、高空间分辨率等优势，使其成为许多领域中不可或缺的遥感技术工具。因此它具备很强的应用能力，在地质勘探、环境监测、土地利用与城市规划、水资源管理、森林管理以及灾害监测与应急响应等领域都有广泛的应用。图像配准是指将多个图像或图像中的不同部分在空间上对齐的过程。它是遥感、医学影像、计算机视觉等领域中重要的图像处理技术。图像配准的目标是使不同图像之间的特征点或像素点对应起来，以实现图像的对比分析、融合、变形分析等应用。
目前大多数图像配准方法是通过基于区域的方法或基于特征的方法，选择数量质量合格的关键点，并根据变换模型得到两幅图像特征点匹配对集之间的变换关系，然后将两幅图像对齐到同一个参考坐标系中。
然而SAR系统采用侧视成像方式，由于图像采集的角度、时刻不同，在一些大高差区域，会导致图像中有较大几何畸变和形状差异，从而影响配准的精度和稳定性，导致配准困难。现有方法大多忽略畸变较大的区域，而仅在平坦的小畸变区域采集关键点，导致大畸变区域出现严重失配，极大制约了SAR图像在景象匹配、末端制导等任务中的应用。
发明内容
为了解决上述技术问题，本发明提出一种SAR图像配准方法、装置、设备及介质中，有效增益整个基于超像素分割的大畸变SAR图像配准系统的配准精度和配准效率，使得配准结果更好。
为了达到上述目的，本发明的技术方案如下：
一种SAR图像配准方法，包括如下步骤：
对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
优选地，所述对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像，具体包括如下步骤：
通过ENVI软件对导入的参考图像和待配准图像添加控制点对集；
基于控制点对集之间的地理坐标位置关系确定参考图像和待配准图像间的变换矩阵，并利用变换矩阵对待配准图像进行变换获得初配准图像。
优选地，所述对参考图像进行超像素分割，具体包括如下步骤：
使用Gaussian-Gamma双窗提取参考图像的边缘特征和边缘强度值ESM；
根据所述边缘特征和边缘强度值使用ESOC算法对参考图像进行超像素分割。
优选地，所述计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域，具体包括如下步骤：
将初配准图像的超像素在上下左右各N个像素的范围内进行移动，计算每个移动位置后初配准图像的超像素与参考图像的超像素的NCC值，记录最大NCC值初配准图像的超像素和平移位置，所述N为7-15之间的数值；
分别将最大NCC值超过预设阈值的参考图像和初配准图像的超像素归为对应的第一区域图像和第二区域图像，分别将最大NCC值不超过预设阈值的参考图像和初配准图像的超像素归为对应的第三区域图像和第四区域图像。
优选地，所述将初配准图像的超像素在上下左右各N个像素的范围内进行移动之前，还包括如下步骤：遍历参考图像的每一个超像素，将像素为空的超像素进行清除，更新参考图像的超像素分割结果。
优选地，所述分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像，具体包括如下步骤：
分别提取第一区域图像和第二区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第一特征点匹配对集，基于第一特征点匹配对集确定第一区域图像和第二区域图像间的第二变换矩阵，根据所述第二变换矩阵对初配准图像的第二区域图像进行变换，获得第一融合图像；
分别提取第三区域图像和第四区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第二特征点匹配对集，基于第二特征点匹配对集确定第三区域图像和第四区域图像间的第三变换矩阵，根据所述第三变换矩阵对初配准图像的第四区域图像进行变换，获得第二融合图像；
将所述第一融合图像和第二融合图像进行融合得到最终配准图像。
优选地，所述剔除错误匹配点，具体包括如下步骤：
提取第一区域图像和第二区域图像中对应超像素的几何中心点对；提取第三区域图像和第四区域图像中对应超像素的几何中心点对；
根据所述第一变换矩阵将第一区域图像和第三区域图像中超像素的几何中心点对映射到第二区域图像和第四区域图像对应的超像素上，获得第二区域图像和第四区域图像的中心对应点；
计算第二区域图像和第四区域图像中超像素的几何中心点到中心对应点的误差量以及平均误差；
若平均误差不小于预设误差阈值，则将误差量最大的第二区域图像和第四区域图像的几何中心点以及对应的第一区域图像和第三区域图像的几何中心点剔除，并置零重新计算平均误差，直至平均误差小于预设误差阈值。
基于上述内容，本发明还公开了一种SAR图像配准装置，包括粗配准模块、分割模块、分类模块和精配准模块，其中，
所述粗配准模块，用于对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
所述分割模块，用于对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
所述分类模块，用于计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
所述精配准模块，用于分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
基于上述内容，本发明还公开了一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一所述的方法。
基于上述内容，本发明还公开了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的方法。
基于上述技术方案，本发明的有益效果是：
1)本发明通过对两幅SAR图像超像素的灰度相关相似性设定阈值，找出几何畸变程度较大的区域，分别对几何畸变较大和剩余区域计算超像素灰度相关性，得到匹配的超像素对，从而得到匹配的特征点对计算变换关系进行配准，将两个配准结果融合得到最终配准结果。这样可以进行分区域且更有针对性的图像配准，从而提高配准精度；
2)本发明通过超像素分割处理参考图像和待配准图像，一方面可以增强超像素内部的灰度相似性，使得超像素的区域相较像素更有意义，使得关键点质量高且减少计算量；另一方面，选择的关键点为每个超像素的几何中心，使得关键点分布较为均匀；
3)本发明通过地理坐标参考配合配准，使得模板匹配部分能够在粗配准后的初配准图像上搜索上下左右10像素范围的图像，优于传统的模板匹配，减少了计算量，提高了配准速度。
附图说明
图1是一个实施例中一种SAR图像配准方法的应用环境图；
图2是一个实施例中一种SAR图像配准方法流程图；
图3是一个实施例中一种SAR图像配准方法中灰度相关性配准示意图；
图4是一个实施例中一种SAR图像配准方法中几何畸变较大区域示意图；
图5是一个实施例中一种SAR图像配准装置的结构框图；
图6是一个实施例中计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述区域图像，但这些区域图像不受这些术语限制。这些术语仅用于将第一个区域图像与另一个区域图像区分。举例来说，在不脱离本申请的范围的情况下，可以将第一区域图像称为第二区域图像，且类似地，可将第二区域图像称为第一区域图像。第一区域图像和第二区域图像两者都是区域图像，但其不是同一图像。
本申请实施例提供的一种SAR图像配准方法，可以应用于如图1所示的应用环境中。如图1所示，该应用环境包括计算机设备110。计算机设备110可以对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；计算机设备110可以对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；计算机设备110可以计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；计算机设备110可以分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。其中，计算机设备110可以但不限于是各种个人计算机、笔记本电脑、机器人、平板电脑等设备。
在一个实施例中，如图2所示，本实施例提供一种SAR图像配准方法，包括如下步骤：
步骤210，对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像。
本实施例的参考图像和待配准图像均为SAR图像。粗配准得到的变换矩阵和变换后的待配准图像用于后续做下一步的配准。
首先，对参考图像和待配准图像进行粗配准。具体来说，使用ENVI软件，导入参考图像和待配准图像，通过目视效果直接筛选出几何畸变较大和较小的区域，将两个控制点选在几何畸变较小的区域，两个控制点选在几何畸变较大的区域，选择4个控制点进行图像配准，地理坐标参考进行粗配准目的是为了大致找到两幅图像的对应位置从而减少后面超像素移动的计算量。将数据以txt文件的格式导出，去掉文件中每行最后四个数字，只保留每个控制点的横、纵坐标。
同时，得到第一变换矩阵和变换后的初配准图像。具体来说，将txt文件读入程序中，使用这4个控制点进行投影变换，得到第一变换矩阵和变换后的初配准图像。
步骤220，对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割。
以参考图像为例，超像素分割具体包括如下步骤：
首先，对参考图像使用Gaussian-Gamma双窗提取边缘特征。具体来说，窗口函数沿着边缘方向是Gauss形的，垂直边缘方向是Gamma形的，能有效抑制斑噪的不良影响。同时，为进行边缘检测需要使用两个矩形在不同方向上的均值之比构建基于比率的边缘强度值ESM。具体来说，逆时针旋转得到指定方向角的双窗函数，使用不同方向角的窗口卷积统计不同方向像素点的局部均值信息，使用均值比检测统计确定边缘强度值ESM。
最后，根据所述边缘特征和边缘强度值使用ESOC算法将参考图像进行超像素分割。
待配准图像的超像素分割过程具体包括如下步骤：根据参考图像的超像素分割结果及粗配准的第一变换矩阵，映射在变换后的待配准图像上找到对应位置的超像素，完成待配准图像的超像素分割。
步骤230，计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域。
图3是本发明实施例提供的一种灰度相关性配准示意图。参考图3，对于参考图像的每一个超像素，在初配准图像中找到粗配准后对应的超像素，然后将初配准图像的超像素在上下左右各10像素的范围内进行移动，计算每个位置与参考图像的超像素的NCC值，记录下NCC值的最大值及超像素移动的位置大小。
具体来说，首先，遍历参考图像的每一个超像素，对像素为空的孤立超像素进行清除，更新分割结果。同时，取参考图像所有的超像素的几何中心作为参考图像的特征点。
接着，遍历参考图像所有的超像素，找到初配准图像对应超像素，初配准图像的超像素需要上下左右各移动10个像素，即参考图像的每个像素需要与初配准图像的441个超像素分别计算NCC值，使用公式为：
其中，I1和I2分别为参考图像和初配准图像，n为窗口的大小，σ为图像像素的标准差，μ为图像像素的均值，x、y分别表示图像的横、纵坐标。
NCC值表示两个数据之间的灰度相关性，因此对于参考图像每个超像素，需要找出初配准图像NCC值最高的对应超像素，并记录其平移方向和大小。其中，要剔除掉在图像边缘位置移动后出界的结果。
对于NCC值，预设一个阈值，高于预设阈值的超像素为灰度相似度较高的几何畸变小的区域，低于阈值的超像素为灰度相似度较低的几何畸变大的区域。图4是本发明实施例提供的几何畸变较大区域示意图即第四区域图像示意图。
具体地，分别将最大NCC值超过预设阈值的参考图像和初配准图像的超像素归为对应的第一区域图像和第二区域图像，分别将最大NCC值不超过预设阈值的参考图像和初配准图像的超像素归为对应的第三区域图像和第四区域图像。
步骤240，分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
本实施例中，对于参考图像和初配准图像每个对应区域的超像素，均取其几何中心点作为特征点。通过剔除可能的错误匹配点，分别确定参考图像和初配准图像每个对应区域之间的映射关系，进行仿射变换并融合初配准图像多个区域的变换结果得到最终配准图像，具体的：
分别提取第一区域图像和第二区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第一特征点匹配对集，基于第一特征点匹配对集确定第一区域图像和第二区域图像间的第二变换矩阵，根据所述第二变换矩阵对初配准图像的第二区域图像进行变换，获得第一融合图像；
分别提取第三区域图像和第四区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第二特征点匹配对集，基于第二特征点匹配对集确定第三区域图像和第四区域图像间的第三变换矩阵，根据所述第三变换矩阵对初配准图像的第四区域图像进行变换，获得第二融合图像；
将所述第一融合图像和第二融合图像进行融合得到最终配准图像。
在一个实施例中的一种SAR图像配准方法中还提供使用Gaussian-Gamma双窗提取参考图像的边缘特征和边缘强度值ESM；根据所述边缘特征和边缘强度值使用ESOC算法对参考图像进行超像素分割的具体过程：
一、使用Gaussian-Gamma双窗提取参考图像的边缘特征和边缘强度值ESM，具体包括如下步骤：
步骤221，采用一种基于比率的边缘检测器对参考图像进行处理。
基于比率的边缘检测器提取合成孔径雷达(SAR)图像的细边缘，利用Gaussian-Gamma双窗对基于比率的ESM进行非极大值抑制和迟滞阈值处理，可以得到SAR图像的细边缘。每个窗口公式如下所示：
其中，(x、y)为像素的坐标位置，W(x、y)表示窗口函数，Γ表示伽马函数，σx为沿着边缘方向的Gauss尺度因子，主要作用在于调节窗口长度；α、β均为垂直边缘方向的Gamma函数的参数，α的作用是调整双窗间距，β则用于控制窗口宽度，使得Gaussian-Gamma双窗的局部聚焦性更好，有助于算子对于非理想边缘的提取。
步骤222，逆时针旋转得到指定方向角的双窗函数，使用不同方向角的窗口卷积统计不同方向像素点的局部均值信息，如下所示：
W(x,y∣θ)＝W(x cosθ-y sinθ,x sinθ+y sinθ)
其中，(x、y)为像素的坐标位置，W(x、y)表示窗口函数。
采用均值比检测统计确定图像边缘强度值(edge strength map，ESM)，梯度模值为最小均值比取反，计算如下所示：
其中，m1(x、y|θ)为θ方向的上半窗口卷积得到的局部均值信息，m2(x、y|θ)为θ方向的下半窗口卷积得到的局部均值信息。
二、使用ESOC算法进行超像素分割
可选地，对所述参考图像进行预处理，以减少计算量和提高算法的鲁棒性。预处理包括降采样、去噪等操作。然后使用ESOC算法进行超像素分割，具体包括如下步骤：
步骤223，构建所述参考图像的带权无向图。
ESOC算法将预处理后的图像转化为一个带权无向图。图中的每个节点表示图像中的一个像素点，节点之间的边表示像素之间的相似度。常用的相似度度量包括颜色相似度、纹理相似度等。边的权重根据像素间的灰度相似性计算得到。
步骤224，对所述参考图像的超像素初始化。
在ESOC算法中，每个像素被视为一个初始的超像素。每个超像素具有一个特征向量，其中包括像素的位置、颜色、纹理等信息。可以使用以下公式计算每个超像素的特征向量：
特征向量＝[位置特征，颜色特征，纹理特征，...]
具体的特征提取方法根据实际需求选择，例如，位置特征用像素的坐标表示，颜色特征使用RGB值表示，纹理特征使用局部二值模式(Local Binary Patterns，LBP)等。
步骤225，对所述参考图像使用基于经典超像素分割方法ESOC。
ESOC算法对参考图像进行分割，将参考图像划分为一组超像素。ESOC算法的目标是在保留图中相似像素连接的前提下，最小化超像素之间的边界代价。常用的ESOC算法是基于最小割的算法，可以通过最大流最小割定理来求解。
在ESOC算法中，可以定义一个代价函数，用于衡量超像素之间的连接代价和边界代价。该代价函数可以表示为：
E(S)＝E_connect(S)+λ*E_boundary(S)
其中，E_connect(S)表示超像素内部的连接代价，E_boundary(S)表示超像素之间的边界代价，λ是平衡参数用于调节两者之间的权重。
ESOC算法的目标是最小化代价函数E(S)，通过最大流最小割算法可以得到最优的超像素分割结果。
步骤226，对所述参考图像进行超像素合并。
在得到初始的超像素分割后，可以对相邻的超像素进行合并，以进一步提高分割结果的质量。合并的依据是超像素之间的相似度、颜色一致性等。
在一个实施例的一种SAR图像配准方法中还提供剔除错误匹配点的步骤：
提取第一区域图像和第二区域图像中对应超像素的几何中心点对；提取第三区域图像和第四区域图像中对应超像素的几何中心点对；
根据所述第一变换矩阵将第一区域图像和第三区域图像中超像素的几何中心点对映射到第二区域图像和第四区域图像对应的超像素上，获得第二区域图像和第四区域图像的中心对应点；
计算第二区域图像和第四区域图像中超像素的几何中心点到中心对应点的误差量以及平均误差，平均误差计算公式如下所示：
其中，为输入几何中心点的个数，Δx为初配准图像上的几何中心点与初配准图像上的中心对应点的x方向偏移量，Δy为初配准图像上的几何中心点与初配准图像上的中心对应点的y方向偏移量，norm表示计算二范数；
若平均误差不小于预设误差阈值，则将误差量最大的第二区域图像和第四区域图像的几何中心点以及对应的第一区域图像和第三区域图像的几何中心点剔除，并置零重新计算平均误差，直至平均误差小于预设误差阈值。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图5所示，在一个实施例中提供一种SAR图像配准装置300，包括粗配准模块310、分割模块320、分类模块330和精配准模块340，其中，
粗配准模块310，用于对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
分割模块320，用于对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
分类模块330，用于计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
精配准模块340，用于分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种SAR图像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种SAR图像配准方法，其特征在于，包括如下步骤：
对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
2.根据权利要求1所述的一种SAR图像配准方法，其特征在于，所述对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像，具体包括如下步骤：
通过ENVI软件对导入的参考图像和待配准图像添加控制点对集；
基于控制点对集之间的地理坐标位置关系确定参考图像和待配准图像间的变换矩阵，并利用变换矩阵对待配准图像进行变换获得初配准图像。
3.根据权利要求1所述的一种SAR图像配准方法，其特征在于，所述对参考图像进行超像素分割，具体包括如下步骤：
使用Gaussian-Gamma双窗提取参考图像的边缘特征和边缘强度值ESM；
根据所述边缘特征和边缘强度值使用ESOC算法对参考图像进行超像素分割。
4.根据权利要求1所述的一种SAR图像配准方法，其特征在于，所述计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域，具体包括如下步骤：
将初配准图像的超像素在上下左右各N个像素的范围内进行移动，计算每个移动位置后初配准图像的超像素与参考图像的超像素的NCC值，记录最大NCC值初配准图像的超像素和平移位置，所述N为7-15之间的数值；
分别将最大NCC值超过预设阈值的参考图像和初配准图像的超像素归为对应的第一区域图像和第二区域图像，分别将最大NCC值不超过预设阈值的参考图像和初配准图像的超像素归为对应的第三区域图像和第四区域图像。
5.根据权利要求4所述的一种SAR图像配准方法，其特征在于，所述将初配准图像的超像素在上下左右各N个像素的范围内进行移动之前，还包括如下步骤：遍历参考图像的每一个超像素，将像素为空的超像素进行清除，更新参考图像的超像素分割结果。
6.根据权利要求5所述的一种SAR图像配准方法，其特征在于，所述分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像，具体包括如下步骤：
分别提取第一区域图像和第二区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第一特征点匹配对集，基于第一特征点匹配对集确定第一区域图像和第二区域图像间的第二变换矩阵，根据所述第二变换矩阵对初配准图像的第二区域图像进行变换，获得第一融合图像；
分别提取第三区域图像和第四区域图像中对应超像素的几何中心点对并剔除错误匹配点，生成第二特征点匹配对集，基于第二特征点匹配对集确定第三区域图像和第四区域图像间的第三变换矩阵，根据所述第三变换矩阵对初配准图像的第四区域图像进行变换，获得第二融合图像；
将所述第一融合图像和第二融合图像进行融合得到最终配准图像。
7.根据权利要求6所述的一种SAR图像配准方法，其特征在于，所述剔除错误匹配点，具体包括如下步骤：
提取第一区域图像和第二区域图像中对应超像素的几何中心点对；提取第三区域图像和第四区域图像中对应超像素的几何中心点对；
根据所述第一变换矩阵将第一区域图像和第三区域图像中超像素的几何中心点对映射到第二区域图像和第四区域图像对应的超像素上，获得第二区域图像和第四区域图像的中心对应点；
计算第二区域图像和第四区域图像中超像素的几何中心点到中心对应点的误差量以及平均误差；
若平均误差不小于预设误差阈值，则将误差量最大的第二区域图像和第四区域图像的几何中心点以及对应的第一区域图像和第三区域图像的几何中心点剔除，并置零重新计算平均误差，直至平均误差小于预设误差阈值。
8.一种SAR图像配准装置，其特征在于，包括粗配准模块、分割模块、分类模块和精配准模块，其中，
所述粗配准模块，用于对参考图像和待配准图像通过地理坐标参考进行粗配准，得到第一变换矩阵和初配准图像；
所述分割模块，用于对参考图像进行超像素分割，并基于所述第一变换矩阵将参考图像的超像素映射于初配准图像上，对初配准图像进行超像素分割；
所述分类模块，用于计算参考图像和初配准图像对应超像素间的灰度相似性，基于灰度相似性将参考图像和初配准图像分为对应的多个区域；
所述精配准模块，用于分别确定参考图像和初配准图像每个对应区域之间的映射关系，基于每个对应区域之间的映射关系对初配准图像的多个区域进行变换，融合多个区域的变换结果得到最终配准图像。
9.一种计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204834.XA CN117291790B (zh) | 2023-09-19 | 2023-09-19 | 一种sar图像配准方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204834.XA CN117291790B (zh) | 2023-09-19 | 2023-09-19 | 一种sar图像配准方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117291790A true CN117291790A (zh) | 2023-12-26 |
| CN117291790B CN117291790B (zh) | 2024-06-25 |
Family
ID=89238257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311204834.XA Active CN117291790B (zh) | 2023-09-19 | 2023-09-19 | 一种sar图像配准方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117291790B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117647801A (zh) * | 2024-01-30 | 2024-03-05 | 中国科学院空天信息创新研究院 | 一种光学和合成孔径雷达互馈三维成像方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239384B1 (en) * | 2014-10-21 | 2016-01-19 | Sandia Corporation | Terrain detection and classification using single polarization SAR |
| CN106228510A (zh) * | 2016-08-11 | 2016-12-14 | 中国电子科技集团公司第三十八研究所 | 基于畸变程度分割的无人机载实时sar图像配准方法 |
| CN107194917A (zh) * | 2017-05-15 | 2017-09-22 | 西安电子科技大学 | 基于dap和arelm的在轨sar图像变化检测方法 |
| CN109166077A (zh) * | 2018-08-17 | 2019-01-08 | 广州视源电子科技股份有限公司 | 图像对齐方法、装置、可读存储介质及计算机设备 |
| CN116051415A (zh) * | 2023-01-31 | 2023-05-02 | 西安电子科技大学杭州研究院 | 一种基于超像素分割的视频sar序贯图像相干斑滤波方法 |
-
2023
- 2023-09-19 CN CN202311204834.XA patent/CN117291790B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239384B1 (en) * | 2014-10-21 | 2016-01-19 | Sandia Corporation | Terrain detection and classification using single polarization SAR |
| CN106228510A (zh) * | 2016-08-11 | 2016-12-14 | 中国电子科技集团公司第三十八研究所 | 基于畸变程度分割的无人机载实时sar图像配准方法 |
| CN107194917A (zh) * | 2017-05-15 | 2017-09-22 | 西安电子科技大学 | 基于dap和arelm的在轨sar图像变化检测方法 |
| CN109166077A (zh) * | 2018-08-17 | 2019-01-08 | 广州视源电子科技股份有限公司 | 图像对齐方法、装置、可读存储介质及计算机设备 |
| CN116051415A (zh) * | 2023-01-31 | 2023-05-02 | 西安电子科技大学杭州研究院 | 一种基于超像素分割的视频sar序贯图像相干斑滤波方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张明哲;张红;王超;刘萌;谢镭;: "基于超像素分割和多方法融合的SAR图像变化检测方法", 遥感技术与应用, no. 03, 15 June 2016 (2016-06-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117647801A (zh) * | 2024-01-30 | 2024-03-05 | 中国科学院空天信息创新研究院 | 一种光学和合成孔径雷达互馈三维成像方法 |
| CN117647801B (zh) * | 2024-01-30 | 2024-04-09 | 中国科学院空天信息创新研究院 | 一种光学和合成孔径雷达互馈三维成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117291790B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Robust registration for remote sensing images by combining and localizing feature-and area-based methods | |
| CN112446327B (zh) | 一种基于无锚框的遥感图像目标检测方法 | |
| CN109409292B (zh) | 基于精细化特征优化提取的异源图像匹配方法 | |
| CN109359602B (zh) | 车道线检测方法和装置 | |
| CN104867126B (zh) | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN109712071B (zh) | 基于航迹约束的无人机图像拼接与定位方法 | |
| CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
| CN117291790B (zh) | 一种sar图像配准方法、装置、设备及介质 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN111767960A (zh) | 一种应用于图像三维重建的图像匹配方法及系统 | |
| Wang et al. | Noise-robust color edge detector using gradient matrix and anisotropic Gaussian directional derivative matrix | |
| Fan et al. | Registration of multiresolution remote sensing images based on L2-siamese model | |
| CN108401565B (zh) | 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法 | |
| CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
| CN106295657A (zh) | 一种视频数据结构化过程中提取人体高度特征的方法 | |
| Li et al. | 3DCentripetalNet: Building height retrieval from monocular remote sensing imagery | |
| WO2021092797A1 (zh) | 图像的配准方法、终端以及计算机存储介质 | |
| Xiang et al. | Two-Stage Registration of SAR Images with Large Distortion Based on Superpixel Segmentation | |
| CN114463503A (zh) | 三维模型和地理信息系统的融合方法及装置 | |
| CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
| Zuo et al. | Explicit modeling on depth-color inconsistency for color-guided depth up-sampling | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及系统 | |
| He et al. | Whole-pixel registration of non-rigid images using correspondences interpolation on sparse feature seeds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |