CN114972451A - 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 - Google Patents

一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 Download PDF

Info

Publication number
CN114972451A
CN114972451A CN202111472104.9A CN202111472104A CN114972451A CN 114972451 A CN114972451 A CN 114972451A CN 202111472104 A CN202111472104 A CN 202111472104A CN 114972451 A CN114972451 A CN 114972451A
Authority
CN
China
Prior art keywords
image
matching
points
registered
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111472104.9A
Other languages
English (en)
Inventor
余美
刘华
叶子君
王更
邹昊
刘波
杨普发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Institute of Technology
Original Assignee
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Institute of Technology filed Critical East China Institute of Technology
Priority to CN202111472104.9A priority Critical patent/CN114972451A/zh
Publication of CN114972451A publication Critical patent/CN114972451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及遥感图像处理领域，具体涉及一种基于旋转不变的SuperGlue匹配的遥感影像配准方法，在旋转不变的SuperGlue中，采用自适应中值匹配置信度准则(MMC)和几何约束自适应迭代精化，确定遥感图像配准控制点RCP，实现高精度遥感影像变换模型参数估计。该方法采用MMC自适应测度，避免了SuperGlue在确定匹配时对旋转畸变敏感和阈值依赖的缺点，并采用几何约束自适应迭代精化方法提高了匹配点精度，实现了鲁棒性匹配。实验结果表明，该方法对平移、旋转和仿射等不同类型的几何畸变具有较好的鲁棒性。也可以应用于SAR、无人机和高分辨率卫星影像。

Description

一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
技术领域
本发明涉及遥感图像处理领域，具体涉及一种基于旋转不变的SuperGlue匹配的遥感影像配准方法。
背景技术
随着信息技术的不断发展，互联网技术的不断进步，遥感技术进入一个全新的时代。例如：遥感技术在农业、林业、水文、气象、军事、自然灾害等方面发挥重要作用，影像是通过视觉观察事物，并获取信息的重要途径。不同时刻、不同角度、或不同传感器获取的遥感影像之间存在明显的几何和辐射畸变，寻找合适的配准方法，建立空间和影像特征的对应关系是遥感影像应用的关键步骤。
上世纪七十年代，美国首次提出影像配准技术，到了八十年代，影像融合配准技术受到很多研究学者的关注。1970年P.E.Anuta利用FFT技术提出互相关影像检测计算的影像配准，提高配准的速率；Albert Arcese通过卷积计算得出具有连续正负数值的双极参考概念；D.I.Bamae等利用模板子影像检测算法为基础提出两个结构化数据集之间融合；1989年H.Maitre等提出自回归模型的方法，通过调整摄像机的参考来实现对应，主要应用于畸变较大的影像配准；1992年Flussr提出自适应映射融合解决影像变形的问题，先按照影像分级要求分别分割影像，分割后的影像它们两者内部有较强的相似度，然后利用分割后影像间的空间位置关系来实现融合；在2004年D.C.Lowe教授提出尺度特征和噪声有较好鲁棒性的SIFT(Scale Invariant Feature Transform)算法；2006年Herbert Bay等提出了SURF(Speeded Up Robust Features)算法。SIFT算法与SURF算法是目前使用最为广泛的影像自动匹配算法，均在遥感影像配准领域发挥着重要作用。
经过多年的发展，影像配准技术已经取得很大进步，并改善了遥感卫星基础影像的数据质量。但由于遥感影像局部光谱特征特殊性，受外部环境影响，影像配准问题还是具有一定的不确定性和不可靠性，因此实现“高精度、高效率、智能化”影像配准技术仍然在路上。
影像配准是遥感图像处理中的一个关键问题，现有的方法通常对图像畸变很敏感。一般通过手工或学习方法提取的局部特征进行匹配来估计同名的点。例如：(1)Harris检测器用于提取图像上的角点，对于一般的平移、旋转和小范围的光照变化具有良好的重复性，然而，Harris点检测器不具备尺度和仿射变形不变性，因此仅能用于无尺度和视点变换的影像对配准。(2)SIFT算法通过DOG算法提取具有尺度不变性的局部特征点，具有很好的尺度不变性。然而遥感影像通常存在较明显的视点变化，导致影像存在严重仿射变形，此时SIFT算法难以获得可靠的同名点。(3)为了处理包含视点变化的图像，常使用最大稳定极值区域(MSER)进行特征检测，MSER特征区域具有较好的仿射不变性，能够在宽基线影像对中获得较高复检率的特征。然而，基于MSER的方法存在特征点定位不准确，特征点数量少，甚至对一些纹理较差的图像无法估计变换参数的问题，难以广泛的应用在遥感影像配准算法中。
发明内容
图像配准是遥感图像处理中的一个关键问题。现有的方法通常对图像畸变很敏感。针对现有技术的不足，本发明提出了一种匹配精度高、鲁棒性好的基于旋转不变SuperGlue匹配的遥感影像配准方法。
为实现上述目的，本发明采用以下技术方案。
一种基于旋转不变的SuperGlue匹配的遥感影像配准方法，在旋转不变的SuperGlue中，采用自适应中值匹配置信度准则(MMC)和自适应迭代求精，确定遥感图像配准变换模型求解配准控制点(RCP)，实现图像模型参数估计的高精度对应；具体包括以下步骤：
S1.在不同的旋转角度下获得一组模拟影像：将[0,360°]按每间隔30°进行划分确定一组旋转角度，将待配准影像按旋转角进行变换生成一组模拟影像；
S2.模拟影像匹配：采用SuperPoints模型提取参考影像和模拟影像的图像特征并用SuperGlue预训练模型对参考影像和模拟影像进行匹配，获取每对图像的特征点匹配置信度矩阵；SuperGlue是一种以局部特征作为输入，特征点匹配置信度作为输出的神经网络，在极宽基线的室内和室外图像对上实现了高精度和召回率；
S3.MMC自适应判据，根据MMC确定最优匹配：取模拟影像与参考影像匹配点置信度的中值记为cmmc，对比不同模拟影像的cmmc的值，以cmmc值最大的模拟影像作为参考影像的最佳匹配影像；
S4.自适应迭代求精，在极线几何约束下，通过迭代求精得到显著的对应；
S5.图像配准，通过单应模型将待配准影像转换为参考影像的坐标，利用显著的对应关系计算参数，实现图像配准。
其中，步骤S3.MMC自适应判据的具体步骤如下：
MMC为中值匹配置信度准则，它可从序列影像中自动确定最优匹配影响对和对应的模拟影像；对于参考影像与模拟影像的匹配，中值匹配置信度计算方法为：
cmmc＝median(C)
其中，C表示参考影像与模拟影像中特征点匹配置信度，MMC自适应准则值cmmc值越大越好；根据此准则，确定cmmc值最高的最优匹配影像对，最优匹配影像对中对应的模拟影像即为最优模拟影像；
将位于最优模拟影像上的匹配点
Figure BDA0003392892860000031
的坐标变换至待配准影像，获得参考影像与待配准影像的最优匹配点集，计算公式如下：
Figure BDA0003392892860000032
其中，A-1为待配准影像到模拟影像变换矩阵的逆，
Figure BDA0003392892860000033
为模拟影像上的第i个匹配点位置，
Figure BDA0003392892860000034
为待配准影像上的第i个匹配点位置。
步骤S4.自适应迭代求精的具体步骤如下：
经过上述处理后，已获得大量参考影像与待配准影像上的匹配点。然而由于影像畸变及匹配误差影像，匹配点集中不可避免地会出现误匹配，这可能会严重影响配准模型参数的估计精度。消除误差匹配以获得高精度的变换模型是图像配准的关键步骤，具体包括以下步骤：
1)利用RANSAC算法计算参考影像与待配准影像间的基本矩阵F；
2)计算匹配点在基础矩阵F约束下的投影误差，剔除投影误差值大于3.0像素的外点；
3)判断去除外点后的匹配点数量与去除前的匹配点数量，如果去除外点后的匹配点数小于之前的匹配点数，则跳回第一步，以去除外点后的匹配点集为基础，重新计算基本矩阵；否则终止循环，输出最终匹配点集。
步骤S5.图像配准的具体步骤如下：
全局透视投影模型可以描述物体在传感器不同距离上投影到像面上所产生的畸变(Zitováand Flusser,2003)。本发明采用全局透视投影模型建立参考影像与待配准影像之间的映射函数；以上一步获取的最终匹配点集作为配准控制点(RCP)，利用LSM算法计算投影变换H＝{h0,h1,...h7,1}的参数；然后采用双线性插值对I’进行重采样，实现两幅影像的配准。
本发明的有益效果：
本发明提出的基于旋转不变SuperGlue匹配的遥感影像配准方法采用MMC自适应准则，避免了SuperGlue在确定匹配时对旋转畸变敏感和阈值依赖的缺点，并采用自适应迭代细化方法提高了匹配精度，实现了鲁棒性匹配。实验结果表明，该方法对平移、旋转和仿射等不同类型的几何畸变具有较好的鲁棒性。也可以应用于SAR、无人机和卫星图像。
附图说明
图1为本发明的基于旋转不变的SuperGlue匹配的遥感影像配准方法的流程图。
图2为本发明的遥感影像配准方法中基于自适应迭代几何约束的匹配点优化的流程图。
图3中(a)为本发明实施例中对第一组实验影像获取的匹配点，(b)为本发明实施例中第一组实验影像的配准结果。
图4中(a)为本发明实施例中对第二组实验影像获取的匹配点，(b)为本发明实施例中第二组实验影像的配准结果。
图5中(a)为本发明实施例中对第三组实验影像获取的匹配点，(b)为本发明实施例中第三组实验影像的配准结果。
图6中(a)为本发明实施例中对第四组实验影像获取的匹配点，(b)为本发明实施例中第四组实验影像的配准结果。
图7中(a)为本发明实施例中对第五组实验影像获取的匹配点，(b)为本发明实施例中第五组实验影像的配准结果。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
本发明通过基于深度学习的影像特征匹配自动获取影像配准控制点，以实现两幅遥感影像(参考影像、待配准影像)的自动配准，实施流程参见附图1，通过以下步骤实现：
步骤一：以30°间隔，对待配准影像进行旋转，获取12幅模拟影像。因此，模拟影像与待配准影像间存在不同程度的旋转变换。
步骤二：将模拟影像与参考影像组成待匹配影像对，获得12组影像对。采用SuperPoint预训练模型，对每幅影像，包括参考影像和模拟影像提取特征点，并用SuperGlue预训练模型对12组影像对进行匹配，获得每对影像特征点匹配置信度。以每对影像的匹配置信度最高值作为候选匹配点。
步骤三：计算每对影像中候选匹配点的中值匹配置信度值cmmc＝median(C)，选取12组影像中cmmc值最大的影像对做为最优匹配影像对，最优匹配影像对中的匹配点作为最优匹配点，最优影像匹配对中的模拟影像作为最优模拟影像，最优模拟影像与待配准影像之间的旋转角度为最优旋转角，其对应旋转矩阵为最优旋转矩阵。根据最优旋转矩阵，将最优匹配点对中，位于最优模拟影像上的匹配点变换至待配准影像，获得参考影像与待配准影像的最优匹配点集S1，其对应匹配点数量为n1。
步骤四：以核线约束为基础，迭代求解基础矩阵并剔除误匹配点，其流程如图2所示，具体实现如下：
(1)以步骤三中获取的参考影像与待配准影像的最优匹配点为基础，通过RANSAC算法解算参考影像与待配准影像间的基础矩阵F。
(2)以F矩阵计算每对匹配点对应的极线l,l’，计算公式如下：
l＝Fx
l′＝FTx′
式中，x是参考影像上的匹配点；x′是待配准影像上的匹配点；FT为F的转置。
以及匹配点到对应极线上的距离d1,d2，计算公式如下：
Figure BDA0003392892860000051
Figure BDA0003392892860000052
式中，xi与x′i分别为匹配点在参考影像与待配准影像上的坐标向量；
Figure BDA0003392892860000053
和
Figure BDA0003392892860000054
分别是Fxi的第一和第二要素。
取每对d1和d2中的最大值作为投影误差，判断配对匹配点投影误差是否大于3.0像素，若大于3.0像素则认为该匹配点为误匹配，将其剔除，否则保留。因此，剔除误匹配点后可获取新的匹配点集S2，其对应匹配点数量为n2。
(3)对比剔除误匹配点后获取的新的匹配点集S2中的匹配点数量n2与剔除误匹配点前的匹配点数量n1，若n2<n1则返回(1)，以新的匹配点集S2为基础，计算新的基础矩阵，并执行(1)～(3)步骤的循环，否则输出最终匹配点集S3。
步骤五：以步骤四获取的最终匹配点集S3作为配准控制点，通过LSM算法，计算参考影像与待配准影像之间的投影变换模型的参数，获取参考影像与待配准影像之间的几何变换模型。
步骤六：根据参考影像与待配准影像之间的几何变换模型对待配准影像进行几何变换，并采用双线性插值对待配准影像进行重采样，以获得待配准影像的纠正影像。此时待配准影像已经被转换到参考影像坐标系下，实现了两幅影像配准。为了更好地观察配准结果，采用灰度值加权平均方法将两幅影像融合，输出最终配准影像。灰度值加权平均的计算公式如下：
Figure BDA0003392892860000061
式中，I为参考影像的灰度值；I′为待配准影像的灰度值。
选取五组不同遥感影像进行实验。五组影像分别为存在平移变换的SAR影像，存在视角和旋转变换的UAV影像，存在视角变换且纹理缺乏的UAV影像，存在压缩和旋转的高分辨率遥感影像，以及存在大视角变换的高分辨率遥感影像。
采用本发明方法获取的匹配点和配准结果如图3～7所示。从图3～7中可以直观地看出，所提出的方法提取了所有影像对均匀分布的匹配点，并实现了图像配准。这意味着该方法对包括平移、旋转和仿射在内的各种几何畸变具有较强的鲁棒性，可以应用于SAR、无人机和高分辨率卫星图像。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于旋转不变的SuperGlue匹配的遥感影像配准方法，其特征在于，在旋转不变的SuperGlue匹配中，采用自适应中值匹配置信度准则MMC和几何约束自适应迭代精化，获取高精度遥感影像配准控制点，实现投影变换模型可靠估计，具体包括以下步骤：
S1.在基于不同的旋转角度构建的仿射变换模型，对待配准影像进行几何变换，获得一组模拟影像，并分别以参考影像与一幅模拟影像构建模拟影像对；
S2.采用SuperPoints提取参考影像及模拟影像的局部特征，再采用SuperGlue预训练模型计算模拟影像对中特征点匹配置信度，并获取模拟影像对间的候选匹配点；
S3.计算模拟影像对中匹配候选点的中值匹配置信度，根据MMC准则确定最优模拟影像对，最优模拟影像，最优旋转角以及最优候选匹配点；并将最优候选匹配点变换至待配准影像坐标系下，获取最优匹配点集；
S4.对最优匹配点集进行自适应迭代求精，在极线几何约束下，通过迭代求精得到最终同名点对，作为配准控制点；
S5.图像配准，基于配准控制点计算参考影像与待配准影像间的几何变换模型，并基于此将待配准影像变换至参考影像的坐标系下，对待配准影像重采样，并与参考影像叠加，实现影像配准。
2.根据权利要求1所述的基于旋转不变的SuperGlue匹配的遥感影像配准方法，其特征在于，步骤S3中，对于参考影像与模拟影像的匹配，中值匹配置信度计算方法为：
cmmc＝median(C)
式中，C表示参考影像与模拟影像中特征点匹配置信度，MMC的自适应准则值是cmmc值越大越好；根据此准则，确定cmmc值最高的最优匹配影像对和对应的模拟影像，将匹配到的模拟影像上匹配点的坐标转换为待配准影像上匹配点的坐标如下：
Figure FDA0003392892850000011
式中，A-1为待配准影像到模拟影像变换矩阵的逆，
Figure FDA0003392892850000012
为模拟影像上的第i个匹配点位置，
Figure FDA0003392892850000013
为待配准影像上的第i个匹配点位置；获得参考影像与待配准影像的最优匹配点集。
3.根据权利要求2所述的基于旋转不变的SuperGlue匹配的遥感影像配准方法，其特征在于，步骤S4的自适应迭代求精的具体步骤如下：
1)根据步骤S3中获取的参考影像与待配准影像的最优匹配点集，利用RANSAC算法计算参考影像与待配准影像间的基本矩阵F；
2)计算匹配点在基础矩阵F约束下的投影误差，剔除投影误差值大于3.0像素的外点；
3)判断去除外点后的匹配点数量与去除前的匹配点数量，如果去除外点后的匹配点数小于之前的匹配点数，则循环执行跳回第一步，以去除外点后的匹配点集为基础，重新计算基本矩阵；否则终止循环，输出最终匹配点集。
4.根据权利要求3所述的基于旋转不变的SuperGlue匹配的遥感影像配准方法，其特征在于，步骤S5的图像配准的具体步骤如下：
采用全局透视投影模型建立参考影像与待配准影像之间的映射函数；以步骤S4中获取的最终匹配点集作为配准控制点，利用LSM算法计算投影变换H＝{h0,h1,...h7,1}的参数；然后采用双线性插值对I’进行重采样，实现两幅影像的配准。
CN202111472104.9A 2021-12-06 2021-12-06 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 Pending CN114972451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111472104.9A CN114972451A (zh) 2021-12-06 2021-12-06 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111472104.9A CN114972451A (zh) 2021-12-06 2021-12-06 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法

Publications (1)

Publication Number Publication Date
CN114972451A true CN114972451A (zh) 2022-08-30

Family

ID=82974400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111472104.9A Pending CN114972451A (zh) 2021-12-06 2021-12-06 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法

Country Status (1)

Country Link
CN (1) CN114972451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474906A (zh) * 2023-12-26 2024-01-30 合肥吉麦智能装备有限公司 脊柱x光图像匹配方法及术中x光机复位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474906A (zh) * 2023-12-26 2024-01-30 合肥吉麦智能装备有限公司 脊柱x光图像匹配方法及术中x光机复位方法
CN117474906B (zh) * 2023-12-26 2024-03-26 合肥吉麦智能装备有限公司 基于脊柱x光图像匹配的术中x光机复位方法

Similar Documents

Publication Publication Date Title
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN107980150B (zh) 对三维空间建模
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
JP2004516533A (ja) 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法
CN109523585A (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN108447092B (zh) 视觉定位标识物的方法及装置
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
CN114120013A (zh) 一种红外与rgb跨模态特征点匹配方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization
Rathnayake et al. An efficient approach towards image stitching in aerial images
Lohani et al. An evaluation of intensity augmented ICP for terrestrial LiDAR data registration
Arevalo et al. Improving piecewise linear registration of high-resolution satellite images through mesh optimization
CN113012298A (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN113256693A (zh) 基于K-means与正态分布变换的多视角配准方法
CN117475091B (zh) 高精度3d模型生成方法和系统
CN109902555B (zh) 一种基于对象的多尺度层次表达学习的变化检测方法
WO2023241372A1 (zh) 相机内参标定方法及相关设备
Cao et al. Make object connect: A pose estimation network for UAV images of the outdoor scene
CN113706620B (zh) 一种基于参照对象的定位方法、定位装置、可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination