CN113592924B - 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法 - Google Patents

基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法 Download PDF

Info

Publication number
CN113592924B
CN113592924B CN202110780465.3A CN202110780465A CN113592924B CN 113592924 B CN113592924 B CN 113592924B CN 202110780465 A CN202110780465 A CN 202110780465A CN 113592924 B CN113592924 B CN 113592924B
Authority
CN
China
Prior art keywords
image
control points
cps
structural
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110780465.3A
Other languages
English (en)
Other versions
CN113592924A (zh
Inventor
吕国华
李小西
闻雨琪
池强
刘晓睿
董可举
陈保佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Protection Bureau'er Biotechnology Jinan Co ltd
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202110780465.3A priority Critical patent/CN113592924B/zh
Publication of CN113592924A publication Critical patent/CN113592924A/zh
Application granted granted Critical
Publication of CN113592924B publication Critical patent/CN113592924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法。本发明包括以下步骤：1）给定两幅待配准的图像，通过HOPC算法检测控制点CPs，查询图像与目标图像的控制点形成成对特征点三元组；步骤2）：判断检测到的三组控制点CPs之间的几何相似性；步骤3）：根据查询图像与目标图像之间的相似程度对三组进行升序排序，使用一组排序靠前的控制点利用Matlab内置函数cp2tform来估计两个图像之间的空间变换；用Te表示两幅图像之间的空间变换，εp表示变换坐标和地面真值之间可接受的像素误差，该变换用于评估HOPC算法获得的匹配结果在可接受的像素误差内就被认定为正确匹配，从而生成最终的匹配控制点。

Description

基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法
技术领域
本发明涉及卫星图像配准技术领域，具体涉及一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法。
背景技术
图像配准是计算机视觉和图像处理应用中的一项基本任务。随着计算机、成像技术等的发展，图像配准技术也迅速发展。图像配准是将不同时间、不同成像设备或不同成像条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配。图像配准广泛应用于计算机视觉、医学图像处理、遥感等领域。目前的配准方法可以分为基于灰度的配准与基于特征的配准两大类。
卫星图像配准广泛应用于气象观测、海岸线标点等领域，卫星技术的发展需要更高精度的卫星图像，但高精度卫星图像会存在容易产生误配的相似内容。在多模态遥感图像配准的实际应用中，图像之间显著的非线性灰度差异是一个很大的挑战，然而，人工选择控制点进行匹配是不可行的，因此，如何精准地对此类图像进行自动配准是遥感领域的一个难点课题。
由于信号的相位一致性独立于信号的幅值，所以，图像中的相位一致性针对照明和对比度的变化具有不变性。现有技术HOPC的提出正是基于这一点。然而，HOPC主要有以下两方面的缺点。首先，当同一图像中出现相似结构时，HOPC的有效性会受到影响，从而降低配准精度。其次，HOPC描述子仅仅从图像的频域中获取结构属性，而没有考虑图像空间域的特征。因此，能够开发出一种对多光谱卫星图像间的非线性灰度差异具有鲁棒性的有效配准技术是十分重要的。
发明内容
为了弥补现有技术的不足，本发明提供了一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法。本发明的目的是开发出一种对多光谱卫星图像间的非线性灰度差异具有鲁棒性的有效配准技术，能够有效地抵抗多光谱卫星图像之间的显著和非线性灰度差异，实现稳健的图像配准。
本发明的技术方案为：
一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，包括以下步骤：
步骤1)：给定两幅待配准的图像，通过HOPC算法检测控制点CPs，查询图像与目标图像的控制点形成成对特征点三元组；
步骤2)：判断检测到的三组控制点CPs之间的几何相似性；所述三组控制点之间的几何相似性是指：特征点三元组构成的三角形顶点之间的角度差(ADTV)、特征点三元组构成的三角形中线段的长度比(LRLS)、特征点三元组构成的三角形中任意两条线段及其交角(LSIA)以及特征点三元组构成的三角形中成对控制点的方向(OPCP)；其中，LSTA必须满足以下两个条件：一、表示对应线段的长度比应接近，二、表示对应三角形顶点之间的角度差应相当小这两个条件；
步骤3)：根据查询图像与目标图像之间的相似程度对三组CPs进行排序，相似程度越高排序越靠前，使用一组排序靠前的控制点CPs利用Matlab内置函数cp2tform来估计两个图像之间的空间变换；用Te表示两幅图像之间的空间变换，εp表示变换坐标和地面真值之间可接受的像素误差，该变换用于评估HOPC算法获得的匹配结果在可接受的像素误差内就被认定为正确匹配，从而生成最终的匹配控制点。
优选地，步骤1)中，利用HOPC算法检测控制点CPs的步骤为：选出具有一定大小的模板窗口计算每个像素的相位一致性幅值和方向，将窗口划分为重叠的块，在每个块的单位内的所有像素上累积相位一致性方向的局部直方图，然后，使用三线性插值方法，通过相位一致振幅对直方图进行加权，每个块中的单元的直方图通过L2范数进行归一化。
优选地，步骤1)中，在HOPC算法中，一对匹配点被认为是CPs，通过HOPC算法检测出的查询图像和目标图像中的CPs均为N个；对应于这N个点对， 用于表示查询图像与目标图像之间的点匹配，/>和/>(1≤i≤N)分别代表正在登记的查询图像和目标图像中的一对CPs；对于N个点匹配，查询图像和目标图像中都存在/>个点三元组的组合。
优选地，步骤1)中，HOPC算法中使用基于块的Harris算子对兴趣点的数量施加了合理的限制。
优选地，步骤1)中，使用基于块的Harris算子对兴趣点的数量施加合理限制的步骤为：图像首先被分成n×n非重叠块，并为每个块计算Harris值；对每个块的Harris值从大到小进行排序，并选取前k个点作为兴趣点；基于块的Harris算法将主、副图像通过导航数据进行地理参考，然后通过兴趣点检测、基于HOPCnce的CP检测，消除不匹配的CP，接着将图像配准通过PL变换。
优选地，步骤2)中，特征点三元组构成的三角形顶点之间的角度差(ADTV)通过式(1)计算：
式(1)中，和/>表示查询图像中每个三角形顶点处的角度，/>和/>表示目标图像中每个三角形顶点处的角度，ε1是对应三角形顶点之间角度差的预定义误差阈值，实验默认值是5。
优选地，步骤2)中，特征点三元组构成的三角形中直线段的长度比(LRLS)通过式(2)计算：
式(2)中，表示查询图像中特征点三元组构成的三角形中三条线段的长度，/>表示目标图像中特征点三元组构成的三角形中三条线段的长度，σ用于计算相应线段长度比的标准差，ε2是这个标准差的一个预先定义的误差阈值，实验默认值是0.05。
优选地，步骤2)中，特征点三元组构成的三角形中线段及其交角(LSIA)通过式(3)计算：
式(3)中，表示查询图像中线段，/>表示目标图像中相应的线段；式(3)所示的关系式中，第一个条件表示对应线段的长度比应接近，第二个条件表示对应三角形顶点之间的角度差应相当小，必须同时满足这两个条件，并且ε3和ε4分别是该线段的预定义误差阈值，实验默认值分别是0.05和5。
优选地，步骤2)中，特征点三元组构成的三角形中两两控制点(OPCP)的方向通过式(4)计算：
式(4)中，表示查询图像中成对控制点的方向，/>和/>表示目标图像中成对控制点的方向，σ是计算对应成对控制点方向差的标准差，ε5是这个标准差的一个预先定义的误差阈值，实验默认值是0.05。
优选地，步骤3)中，从排名列表中，选择Nt对排名靠前的特征点三元组，而后，利用Matlab内置函数cp2tform针对这Nt对排名靠前的特征点三元组进行变换估计。
优选地，步骤3)中，使用Matlab内置函数cp2tform估计得出的变换用于评估HOPC算法获得的匹配结果的正确性，从而生成最终的匹配CPs；本发明通过式(5)、式(6)对HOPC算法获得的匹配结果的正确性进行评估：
和
式(5)中，Te表示两幅图像之间估计的空间变换，(xq,yq)→(xt,yt)表示由HOPC算法确定的从查询图像到目标图像的点匹配；(xq,yq)→(xt,yt)的正确性可由以式(5)和式(6)进行计算；式(5)中，(xte,yte)是(xq,yq)的变换坐标，εp表示变换坐标和地面真值之间可接受的像素误差阈值，经验值是4，如果(xte,yte)满足式(6)，那么(xq,yq)→(xt,yt)被确定为正确匹配。
与现有技术相比，本发明的有益效果如下：
⑴本发明利用图像的结构和几何相似性，提出了一种基于特征的图像配准技术SGS。本发明将多模态遥感图像的几何相似度与结构相似度相结合，其中，结构相似部分利用HOPC描述符对频域中的结构信息进行编码，而几何相似部分则与空间域中属于图像信息的特征点的三元组有关，具体来说，本发明中几何相似部分利用了三组特征点之间的四种几何相似策略，具体来说，这四种几何相似策略分别为对应三角顶点的角度差、对应线段的长度比、对应线段的长度与相交角的差以及对应线段之间的方向差，本发明式(1)至式(4)表示了查询图像与目标图像当中特征点三元组之间的几何相似性，式(1)至式(4)中小于等于号左边的表达式计算结果越小，特征点三元组在几何上就越相似。
⑵实验结果表明，本发明所述的配准方法对多光谱卫星图像之间的显著非线性灰度差异具有较强的鲁棒性，在匹配精度和召回率方面均达到了最新的性能。
附图说明
图1为从查询图像到目标图像的点三元组。
图2为一对典型的多光谱卫星图像。
图3为样本图像对匹配结果的比较；
图4为样本图像对绘制的recall vs 1-precision精度曲线。
其中，图2(a)、图2(b)分别为查询图像和目标图像的多光谱卫星图像；图3(a)和3(b)中，绿色(实线)和红色(虚线)分别表示正确和不正确的匹配；图3(a)中，HOPC:158/200＝79.00％。图3(b)中，SGS:143/146＝97.95％。
具体实施方式
本发明中术语解释：
1、SIFT，即尺度不变特征变换，是一种局部特征描述子，具有良好的稳定性和不变性，识别力强，可扩展性强。
2、HOPC，即带方向的相位一致直方图，是一种表示几何特征的描述子，在配准遥感图像时，能很大程度上解决图像间显著的非线性灰度差异带来的挑战。
3、SGS，一种基于结构和几何相似性的图像配准技术，通过算法检测控制点探讨其相似性，评估HOPC算法匹配结果的准确性。
一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，包括以下步骤：
步骤1)：给定两幅待配准的图像，其中，一个图像为查询图像，另一个图像为目标图像；然后通过HOPC算法检测控制点CPs，而利用HOPC算法检测控制点CPs的具体步骤为：选出具有一定大小的模板窗口计算每个像素的相位一致性幅值和方向，将窗口划分为重叠的块，在每个块的单位内所有像素上累积相位一致性方向的局部直方图，然后，使用三线性插值方法，通过相位一致振幅对直方图进行加权，每个块中的单元的直方图通过L2范数进行归一化。在HOPC算法中，一对匹配点被认为是CPs，通过HOPC算法检测出的查询图像和目标图像中的CPs均为N个；对应于这N个点对，用于表示查询图像与目标图像之间的点匹配，/>和/>(1≤i≤N)分别代表正在登记的查询图像和目标图像中的一对CPs。对于N个点匹配，查询图像和目标图像中都存在/>个点三元组的组合。随着N的增加，特征点三元组/>的数目急剧增加。为了确保所提出的技术的计算成本是可接受的关键是限制特征点三元组的数量。
为了均匀地检测CPs，HOPC算法中使用了基于块的Harris算子对兴趣点的数量施加了合理的限制。本发明中使用基于块的Harris算子对兴趣点的数量施加合理限制的步骤为：图像首先被分成n×n非重叠块，并为每个块计算Harris值。对每个块的Harris值从大到小进行排序，并选取前k个点作为兴趣点。为了保证较低的计算成本，对基于块的Harris算子的参数进行了微调。基于块的Harris算法将主、副图像通过导航数据进行地理参考，然后通过兴趣点检测、基于HOPCnce的CP检测，消除不匹配的CP，接着将图像配准通过PL变换。而本发明为了保证较低的计算成本，选取三个点匹配。基于HOPC匹配结果，三个点匹配，如第i个、第j个和第k个匹配，产生一对特征点三元组。为了便于参考，这对点三元组从查询图像到目标图像被表示为 图1示出了这样一对特征点三元组。
步骤2)：判断检测到的三组控制点CPs之间的几何相似性；其中，所述的几何相似性是指：特征点三元组构成的三角形顶点之间的角度差、特征点三元组构成的三角形中线段的长度比、特征点三元组构成的三角形中任意两条线段及其交角以及特征点三元组构成的三角形中成对控制点的方向。本实施例中，利用步骤1)中生成的点三元组，分别对每一组CPs之间的几何相似性(即三角形顶点间的角度差、线段的长度比、线段及其交角、两两控制点的方向等四种几何相似性)进行判断。
本发明中，特征点三元组构成的三角形顶点之间的角度差(ADTV)通过式(1)计算：
式(1)中，和/>表示查询图像中每个三角形顶点处的角度，/>和/>表示目标图像中每个三角形顶点处的角度，ε1是对应三角形顶点之间角度差的预定义误差阈值，实验默认值是5。在图1中，每个三角形顶点处的角度由相关线段之间的蓝色弧标记。
本发明中，特征点三元组构成的三角形中直线段的长度比(LRLS)通过式(2)计算：
式(2)中，表示查询图像中特征点三元组构成的三角形中三条线段的长度，/>表示目标图像中特征点三元组构成的三角形中三条线段的长度，σ用于计算相应线段长度比的标准差，ε2是这个标准差的一个预先定义的误差阈值，实验默认值是0.05。
本发明中，特征点三元组构成的三角形中线段及其交角(LSIA)通过式(3)计算：
式(3)中，表示查询图像中线段，/>表示目标图像中相应的线段。式(3)所示的关系式中，第一个条件表示对应线段的长度比应接近，第二个条件表示对应三角形顶点之间的角度差应相当小，必须同时满足这两个条件，并且ε3和ε4分别是该线段的预定义误差阈值，实验默认值分别是0.05和5。在实践中，如图1所示，还有另外两种选择用于选择线段：/>和/>
本发明中，特征点三元组构成的三角形中两两控制点(OPCP)的方向通过式(4)计算：
式(4)中，和/>表示查询图像中成对控制点的方向，/>和/>表示目标图像中成对控制点的方向，σ是计算对应成对控制点方向差的标准差，ε5是这个标准差的一个预先定义的误差阈值，实验默认值是0.05。在图1中，沿着每个线段的箭头指示相关联的成对控制点的方向。步骤(2)中，式(1)至式(4)反应了查询图像与目标图像的几何相似性，式(1)至式(4)中小于等于号左边的表达式计算结果越小，特征点三元组在几何上就越相似。
3)根据查询图像与目标图像之间的相似程度对三组CPs进行排序，相似程度越高排序越靠前，使用一组排序靠前的CPs来估计两个图像之间的空间变换。具体来说，根据式(1)至式(4)中的具体定义，所有比较点三元组按照相似性进行升序排列，越相似，排名越靠前。从排名列表中，选择Nt对排名靠前的特征点三元组，这些特征点三元组对意味着相关的三个点对可能正确匹配。这些排名靠前的点三元组对应于一组控制点，因此被用于估计正在注册的两个图像之间的空间变换。而后，利用Matlab内置函数cp2tform针对这Nt对排名靠前的特征点三元组进行变换估计。应该注意的是，在该空间变换中，本发明使用了投影变换(如果第一幅图像中的一条直线经过变换后映射到第二幅图像上仍然为直线，但第一幅图像中直线间的平行关系不会保持)，这种变换适用于在我们的实验中测试的卫星图像。
上面使用Matlab内置函数cp2tform估计得出的变换用于评估HOPC算法获得的匹配结果的正确性，从而生成最终的匹配CPs。本发明通过式(5)、式(6)对HOPC算法获得的匹配结果的正确性进行评估。
和
具体来说，式(5)中，Te表示两幅图像之间估计的空间变换，(xq,yq)→(xt,yt)表示由HOPC算法确定的从查询图像到目标图像的点匹配。(xq,yq)→(xt,yt)的正确性可由以式(5)和式(6)进行计算。
此外，式(5)中，(xte,yte)是(xq,yq)的变换坐标，εp表示变换坐标和地面真值之间可接受的像素误差阈值，实验默认值是4。如果(xte,yte)满足式(6)，那么(xq,yq)→(xt,yt)被确定为正确匹配。
本发明的评估指标：
据我们所知，两种类型的梯度信息：梯度幅度(GM)和梯度发生(GO)，在2015年发表的“用于多模式图像配准的稳健有效技术”博士学位论文中已经被用于图像配准。在2016年12月发表的“通过构建和选择高度区分的描述符来增强基于SIFT的图像配准性能，”Pattern Recognit.Lett.(PRL)，第84卷，第156-162页中，分析了GM和GO的互补性，提出了一种结合这两种梯度信息的策略，称为梯度大小和梯度出现次数(MOG)。
SIFT作为检测和描述局部图像特征最常用的技术，自提出以来得到了广泛的应用和研究，然而，SIFT在配准多模态图像时通常表现不好，因为对应部分之间的灰度变化通常是显著的且非线性的。在对称SIFT(S-SIFT)和改进的对称SIFT(IS-SIFT)中讨论了多模态图像中普遍存在的梯度反转和区域反转现象。
MOG可与IS-SIFT结合，称为MOG-IS-SIFT。同时，该文献中也提出了更高的判别(HD)来提高SIFT-like描述子的判别能力，这是通过根据最近邻和第二最近邻之间的距离比对关键点匹配进行排序来实现的。HD与MOG-IS-SIFT结合，自然形成HD-MOG-IS-SIFT。SIFT、MOG-IS-SIFT和HD-MOG-IS-SIFT将用于性能评估。
由于图像配准技术的精度在很大程度上取决于匹配精度。匹配精度越高，最终配准应该越准确。因此，本发明通过式(7)计算了本发明所述配准方法的精确度。
此外，本发明还使用了1-precision与recall的关系进行了绩效评估。值得注意的是，这里的precision等同于公式(7)中的accuracy。Recall的计算如公式(8)所示，实验结果表明：由1-precision与recall的关系评估出的精度与公式(7)中定义的精度相当。
此外，本发明还比较了SIFT、MOG-IS-SIFT、HD-MOG-IS-SIFT、HOPC和SGS的效率。
本发明附图中，图1(a)、图1(b)分别为查询图像和目标图像的绘制。三角形顶点表示控制点。两条线段之间的圆弧表示每个三角形顶点处的角度。成对控制点的方向由相关线段旁边的箭头指示。
图3中绿色(实线)和红色(虚线)分别表示正确和不正确的匹配。由图3中的(a)可得HOPC:158/200＝79.00％，由(b)可得SGS:143/146＝97.95％。通过计算发现，HOPC算法的准确率进一步提高到79.00％。与HOPC算法相比，本发明所述的SGS配准方法的准确度相较于HOPC算法的准确度提高了18.95％。
通过对比图4中示出的图2所示样本图像对的1-precision与recall关系的精度曲线，可以得出以下结论：
1)SIFT、MOG-IS-SIFT和HD-MOG-IS-SIFT的1-precision vs recall的结果几乎处于同一水平。
2)HOPC和SGS的性能远远优于SIFT、MOG-IS-SIFT和HD-MOG-IS-SIFT。而且，与HOPC相比，本发明提出的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法也就是SGS配对方法具有更好的查全率和查准率。

Claims (10)

1.一种基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：包括以下步骤：
步骤1)：给定两幅待配准的图像，通过HOPC算法检测控制点CPs，查询图像与目标图像的控制点形成成对特征点三元组；
步骤2)：判断检测到的三组控制点CPs之间的几何相似性；所述三组控制点之间的几何相似性是指：特征点三元组构成的三角形顶点之间的角度差ADTV、特征点三元组构成的三角形中线段的长度比LRLS、特征点三元组构成的三角形中任意两条线段及其交角LSIA以及特征点三元组构成的三角形中成对控制点的方向OPCP；其中，LSTA必须满足以下两个条件：一、表示对应线段的长度比接近，二、表示对应三角形顶点之间的角度差小；
步骤3)：根据查询图像与目标图像之间的相似程度对三组CPs进行排序，相似程度越高排序越靠前，使用一组排序靠前的控制点CPs利用Matlab内置函数cp2tform来估计两个图像之间的空间变换；用Te表示两幅图像之间的空间变换，εp表示变换坐标和地面真值之间可接受的像素误差，该变换用于评估HOPC算法获得的匹配结果在可接受的像素误差内就被认定为正确匹配，从而生成最终的匹配控制点。
2.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤1)中，利用HOPC算法检测控制点CPs的步骤为：选出具有一定大小的模板窗口计算每个像素的相位一致和方向，将窗口划分为重叠的块，在每个块的单位内的所有像素上累积相位一致性方向的局部直方图，然后，使用三线性插值方法，通过相位一致振幅对直方图进行加权，每个块中的单元的直方图通过L2范数进行归一化。
3.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤1)中，在HOPC算法中，一对匹配点被认为是CPs，通过HOPC算法检测出的查询图像和目标图像中的CPs均为N个；对应于这N个点对，用于表示查询图像与目标图像之间的点匹配，/>和Pt i(1≤i≤N)分别代表正在登记的查询图像和目标图像中的一对CPs；对于N个点匹配，查询图像和目标图像中都存在/>个点三元组的组合。
4.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤1)中，HOPC算法中使用基于块的Harris算子对兴趣点的数量施加限制。
5.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤1)中，使用基于块的Harris算子对兴趣点的数量施加限制的步骤为：图像首先被分成n×n非重叠块，并为每个块计算Harris值；对每个块的Harris值从大到小进行排序，并选取前k个点作为兴趣点；基于块的Harris算法将主、副图像通过导航数据进行地理参考，然后通过兴趣点检测、基于HOPCnce的CP检测，消除不匹配的CP，接着将图像配准通过PL变换。
6.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤2)中，特征点三元组构成的三角形顶点之间的角度差ADTV通过式(1)计算：
式(1)中，和/>表示查询图像中每个三角形顶点处的角度，/>和/>表示目标图像中每个三角形顶点处的角度，ε1是对应三角形顶点之间角度差的预定义误差阈值。
7.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤2)中，特征点三元组构成的三角形中直线段的长度比LRLS通过式(2)计算：
式(2)中，表示查询图像中特征点三元组构成的三角形中三条线段的长度，/>表示目标图像中特征点三元组构成的三角形中三条线段的长度，σ用于计算相应线段长度比的标准差，ε2是这个标准差的一个预先定义的误差阈值。
8.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤2)中，特征点三元组构成的三角形中线段及其交角LSIA通过式(3)计算：
式(3)中，表示查询图像中线段，/>表示目标图像中相应的线段；式(3)所示的关系式中，第一个条件表示对应线段的长度比应接近，第二个条件表示对应三角形顶点之间的角度差小，必须同时满足这两个条件，并且ε3和ε4分别是该线段的预定义误差阈值。
9.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤2)中，特征点三元组构成的三角形中两两控制点OPCP的方向通过式(4)计算：
式(4)中，和/>表示查询图像中成对控制点的方向，/>和表示目标图像中成对控制点的方向，σ是计算对应成对控制点方向差的标准差，ε5是这个标准差的一个预先定义的误差阈值。
10.根据权利要求1所述的基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法，其特征在于：步骤3)中，从排名列表中，选择Nt对排名靠前的特征点三元组，而后，利用Matlab内置函数cp2tform针对这Nt对排名靠前的特征点三元组进行变换估计。
CN202110780465.3A 2021-07-09 2021-07-09 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法 Active CN113592924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110780465.3A CN113592924B (zh) 2021-07-09 2021-07-09 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110780465.3A CN113592924B (zh) 2021-07-09 2021-07-09 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法

Publications (2)

Publication Number Publication Date
CN113592924A CN113592924A (zh) 2021-11-02
CN113592924B true CN113592924B (zh) 2023-07-18

Family

ID=78246894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110780465.3A Active CN113592924B (zh) 2021-07-09 2021-07-09 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法

Country Status (1)

Country Link
CN (1) CN113592924B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN108346162A (zh) * 2018-03-26 2018-07-31 西安电子科技大学 基于结构信息和空间约束的遥感图像配准方法
CN109509216A (zh) * 2018-10-31 2019-03-22 中国科学院遥感与数字地球研究所 一种Landsat与SPOT卫星影像自动配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418468B2 (en) * 2013-01-07 2016-08-16 Centralesupelec Method and device for elastic registration between a two-dimensional digital image and a slice of a three-dimensional volume with overlapping content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN108230375A (zh) * 2017-12-27 2018-06-29 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN108346162A (zh) * 2018-03-26 2018-07-31 西安电子科技大学 基于结构信息和空间约束的遥感图像配准方法
CN109509216A (zh) * 2018-10-31 2019-03-22 中国科学院遥感与数字地球研究所 一种Landsat与SPOT卫星影像自动配准方法

Also Published As

Publication number Publication date
CN113592924A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113076802B (zh) 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
WO2008020068A1 (en) Method of image processing
Yang et al. Learning deep feature correspondence for unsupervised anomaly detection and segmentation
CN106981077A (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN107862708A (zh) 一种sar与可见光图像配准方法
CN109101981A (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN101650784A (zh) 一种利用结构上下文特征进行图像匹配的方法
US9747521B2 (en) Frequency domain interest point descriptor
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
CN103761768A (zh) 一种三维重建的立体匹配方法
CN102521597A (zh) 一种基于分级策略的影像直线特征匹配方法
Huang et al. SAR and optical images registration using shape context
Ye et al. Robust optical and SAR image matching using attention-enhanced structural features
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
CN113592924B (zh) 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法
Priyanka et al. Tetrakis square tiling-based triangulated feature descriptor aiding shape retrieval
Huang et al. Robust registration of multimodal remote sensing images with spectrum congruency
CN116468760A (zh) 一种基于各向异性扩散描述的多源遥感图像配准方法
Gao et al. Image matching method based on multi-scale corner detection
CN105825504B (zh) 一种基于mscr区域特征的图像复制检测方法
Ren et al. SAR image matching method based on improved SIFT for navigation system
Mao et al. Patch-based object tracking using corner and color with partial occlusion handling
Guo-Rong et al. Automatic registration of remote sensing images based on SIFT and fuzzy block matching for change detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 250000 science and Technology Park of Western Xincheng University, Changqing District, Jinan City, Shandong Province

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Country or region after: China

Address before: 250000 Science and Technology Park of Xincheng University in the West of Jinan City, Changqing District, Jinan City, Shandong Province

Patentee before: Qilu University of Technology

Country or region before: China

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20240731

Address after: 103, Jinan International Talent Innovation Center, podium building 9, Zhongrun Century City, 13777 Jingshi Road, Lixia District, Jinan City, Shandong Province, 250000

Patentee after: China Science and technology protection bureau'er Biotechnology (Jinan) Co.,Ltd.

Country or region after: China

Address before: 250000 science and Technology Park of Western Xincheng University, Changqing District, Jinan City, Shandong Province

Patentee before: Qilu University of Technology (Shandong Academy of Sciences)

Country or region before: China

TR01 Transfer of patent right