CN111582296A - 一种遥感图像综合匹配方法、装置、电子设备及存储介质 - Google Patents

一种遥感图像综合匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111582296A
CN111582296A CN201911326992.6A CN201911326992A CN111582296A CN 111582296 A CN111582296 A CN 111582296A CN 201911326992 A CN201911326992 A CN 201911326992A CN 111582296 A CN111582296 A CN 111582296A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
matching
matched
matching point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911326992.6A
Other languages
English (en)
Other versions
CN111582296B (zh
Inventor
邓练兵
逯明
邹纪升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201911326992.6A priority Critical patent/CN111582296B/zh
Publication of CN111582296A publication Critical patent/CN111582296A/zh
Application granted granted Critical
Publication of CN111582296B publication Critical patent/CN111582296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像综合匹配方法、装置、电子设备及存储介质，该方法包括：基于基准遥感图像，对待匹配遥感图像进行纠正；确定待匹配遥感图像与基准遥感图像之间的匹配区域；使用Harris‑Affine算法分别对待匹配遥感图像中和基准遥感图像中的匹配区域进行特征提取，并得到第一匹配点对；根据第一匹配点对计算待匹配遥感图像和基准遥感图像之间的单应矩阵；使用SIFT算法分别对待匹配遥感图像和基准遥感图像中的匹配区域进行特征提取，并根据单应矩阵以及提取到的SIFT特征得到第二匹配点对；将第一匹配点对和第二匹配点作为图像匹配结果。通过实施该方法，能够较准确匹配低空飞行器拍摄的遥感图像。

Description

一种遥感图像综合匹配方法、装置、电子设备及存储介质
技术领域
本发明涉及多媒体信息处理技术领域，尤其涉及到一种遥感图像综合匹配方法、装置、电子设备及存储介质。
背景技术
低空飞行器遥感是近年来兴起的一种新型遥感系统，因具有快速、灵活、低成本、高影像分辨率等特点，正日益成为一项空间数据获取的重要手段，在农作物监测、国土资源监测、灾害应急、灾害评估、战场侦察、火灾监测等领域发挥重要的作用。由于低空飞行器遥感具有广阔的应用前景，相应的图像处理技术也得到了广泛的关注和重视，大范围地形复杂区域(山区、丘陵等)低空飞行器序列影像拼接就是其中的一个研究热点。
现有的影像拼接主要包括影像配准和影像融合两个关键环节。在国内外影像拼接技术研究中，主要的重点都放在了影像配准这一核心环节上。但是，由于低空飞行器受自身的操控特性和风力的影响，导致飞行平台稳定性差，难以按预定的航线飞行，使得低空遥感影像全自动匹配存在以下难点：第一，相邻影像间的旋偏角大，难以直接进行灰度相关匹配；第二，飞行器的飞行高度、横滚角和俯仰角变化大，从而导致影像间的比例尺差异大，降低了灰度相关匹配的成功率和可靠性；第三，相邻影像间的左右重叠度和上下重叠度变化大，加上低空遥感影像摄影比例尺较大，造成表面不连续地物(如高楼)在影像上的投影差较大，因而无法确定匹配的搜索范围。直接应用摄影测量中灰度相关的匹配方法很难胜任低空遥感影像的全自动匹配。
因此，提供一种可以适用于低空飞行器的遥感图像的匹配方法，成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种遥感图像综合匹配方法、装置、电子设备及可读存储介质，以解决现有图像匹配方法直接适用于低空飞行器的遥感图像时的匹配效果较差的问题。
根据第一方面，本发明实施例提供了一种遥感图像综合匹配方法，包括如下步骤：基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异；确定待匹配遥感图像与基准遥感图像之间的匹配区域；匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域；使用Harris-Affine算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取；基于提取到的Harris-Affine特征计算基准遥感图像和待匹配遥感图像中的第一匹配点对；根据第一匹配点对计算待匹配遥感图像和基准遥感图像之间的单应矩阵；使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取；根据单应矩阵计算提取到的基准遥感图像中的SIFT特征点在待匹配遥感图像中的对应点，并在待匹配遥感图像中的预设区域内计算与基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对；预设区域为以对应点为中心的预设大小的区域；将第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
通过基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异，能够消除低空飞行器图像由于飞行器的旋转偏角、飞行高度以及俯仰角等情况对飞行器图像的影响；而由于飞行器处于不断飞行移动的状态，飞行器的拍摄对象是不断变化的，在进行图像匹配时，具有匹配意义的仅为基准遥感图像和待匹配遥感图像之间的重叠区域，因此，待匹配遥感图像与基准遥感图像之间的匹配区域仅为该重叠区域，从而能够排除基准遥感图像和待匹配遥感图像中没有必要进行特征提取以及特征匹配的区域，提高该遥感图像综合匹配方法的匹配效率；而通过使用具有互补性的Harris-Affine算法以及SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取，同时通过根据第一匹配点对(Harris-Affine特征匹配点对)计算待匹配遥感图像和基准遥感图像之间的单应矩阵，并在根据单应矩阵计算得到一个基准遥感图像中的SIFT特征点在特征匹配的待匹配遥感图像中的(用以进行特征匹配的)预设区域后，再计算得到第一匹配点对(SIFT特征匹配点对)，实现了基于Harris-Affine特征和SIFT特征对待匹配遥感图像和基准遥感图像的综合匹配，从而能够提高最终得到的图像匹配结果的准确性。
结合第一方面，在第一方面第一实施方式中，遥感图像综合匹配方法还包括：提取第一匹配点对和第二匹配点中的若干个匹配点对作为初始匹配点对，并根据初始匹配点对计算待匹配遥感图像和基准遥感图像之间的映射矩阵；计算初始匹配点对相对于映射矩阵的映射误差的平均值；映射误差为一个初始匹配点对中从基准遥感图像中提取到的特征点作为映射矩阵的输入得到的预定特征点，与一个初始匹配点对中从待匹配遥感图像中提取到的特征点之间的误差；依次计算第一匹配点对和第二匹配点中除初始匹配点对以外的各个匹配点对相对于映射矩阵的映射误差，并剔除映射误差大于平均值的匹配点对；将剔除后的第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
结合第一方面第一实施方式，在第一方面第二实施方式中，映射矩阵为使用最小二乘法拟合得到。
结合第一方面，在第一方面第三实施方式中，确定待匹配遥感图像与基准遥感图像之间的匹配区域的步骤，包括：根据基准遥感图像和待匹配遥感图像的拍摄角度以及拍摄位置，计算基准遥感图像和待匹配遥感图像的重叠区域；分别提取基准遥感图像和待匹配遥感图像中包含重叠区域的最小矩形区域，得到基准遥感图像中的匹配区域以及待匹配遥感图像中的匹配区域。
结合第一方面第三实施方式，在第一方面第四实施方式中，遥感图像为无人机遥感图像，拍摄角度以及拍摄位置均为从无人机的POS信息中获取。
根据第二方面，本发明实施例提供了一种遥感图像综合匹配装置，包括：图像纠正模块，用于基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异；区域确定模块，用于确定待匹配遥感图像与基准遥感图像之间的匹配区域；匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域；第一特征提取模块，用于使用Harris-Affine算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取；第一匹配模块，用于基于提取到的Harris-Affine特征计算基准遥感图像和待匹配遥感图像中的第一匹配点对；第一矩阵计算模块，用于根据第一匹配点对计算待匹配遥感图像和基准遥感图像之间的单应矩阵；第二特征提取模块，用于使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取；第二匹配模块，用于根据单应矩阵计算提取到的基准遥感图像中的SIFT特征点在待匹配遥感图像中的对应点，并在待匹配遥感图像中的对应区域内计算与基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对；将第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果；对应区域为以对应点为中心的预设大小的区域。
结合第二方面，在第二方面第一实施方式中，遥感图像综合匹配装置，其特征在于，还包括：第二矩阵计算模块，用于提取第一匹配点对和第二匹配点中的若干个匹配点对作为初始匹配点对，并根据初始匹配点对计算待匹配遥感图像和基准遥感图像之间的映射矩阵；平均误差计算模块，用于计算初始匹配点对相对于映射矩阵的映射误差的平均值；映射误差为一个初始匹配点对中从基准遥感图像中提取到的特征点作为映射矩阵的输入得到的预定特征点，与一个初始匹配点对中从待匹配遥感图像中提取到的特征点之间的误差；匹配优化模块，用于依次计算第一匹配点对和第二匹配点中除初始匹配点对以外的各个匹配点对相对于映射矩阵的映射误差，并剔除映射误差大于平均值的匹配点对；将剔除后的第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的遥感图像综合匹配方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的遥感图像综合匹配方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种遥感图像综合匹配方法的一种方法流程图；
图2为本发明实施例提供的一种遥感图像综合匹配方法的另一种方法流程图；
图3为图1和图2中步骤S102的一种具体实施方式流程图；
图4为本发明实施例提供的匹配区域的确定方式的示例图；
图5为本发明实施例提供的一种遥感图像综合匹配装置的原理框图；
图6为本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
实施例1
图1示出了本发明实施例的遥感图像综合匹配方法的流程图，如图1所示，该方法可以包括如下步骤：
S101：基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异。
在本发明实施例中，基准图像是指两个或多个待匹配图像中，拍摄视角与垂直于被拍摄地面的拍摄视角最接近的图像。
在本发明实施例中，遥感图像可以为无人机等低空飞行器拍摄的遥感图像，相应地，可以根据无人机POS系统中记录的影像外方位元素，基于基准遥感图像，对待匹配遥感图像进行纠正，或者根据其他飞行器中记录了飞行器飞行中的角度、位置等信息的文件，基于基准遥感图像，对待匹配遥感图像进行纠正，具体纠正方式均属于现有技术，在此不再赘述。
S102：确定待匹配遥感图像与基准遥感图像之间的匹配区域。在本发明实施例中，匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域。
在本发明实施例中，重叠区域的计算仍为根据飞行器拍摄待匹配遥感图像和基准遥感图像的位置信息(包括经纬度信息和高度信息等)，以及拍摄角度(包括旋转角以及俯仰角等)进行计算得到，具体地，可以根据经纬度信息得到待匹配遥感图像和基准遥感图像的中心点距离信息，根据旋转角信息确定待匹配遥感图像和基准遥感图像之间的旋转角度，并根据俯仰角信息以及高度信息计算得到两图片之间的大小，从而计算得到待匹配遥感图像与基准遥感图像之间的重叠区域，当然，上述重叠区域的计算过程，待匹配遥感图像的相关信息以步骤S101中纠正后的待匹配遥感图像的信息为准。
S103：使用Harris-Affine算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取。
在本发明实施例中，提取到的Harris-Affine特征的特征描述子为SIFT描述子。
S104：基于提取到的Harris-Affine特征计算所述基准遥感图像和所述待匹配遥感图像中的第一匹配点对。
在本发明实施例中，可以通过计算待匹配遥感图像中的匹配区域中的提取到的特征点以及基准遥感图像中的匹配区域中的提取到的Harris-Affine特征点之间的欧式距离，得到基准遥感图像和待匹配遥感图像中的第一特征匹配点对，具体地，可以计算待匹配遥感图像中提取到的Harris-Affine特征点(假设为第一特征点)与各个基准遥感图像中提取到的Harris-Affine特征点之间的距离，从而得到与该第一特征点欧式距离最近的Harris-Affine特征点(假设为第二特征点)，并将该最近距离与预设距离阈值进行比较，当该最近距离小于预设距离阈值时，则确定上述两个欧式距离最近的Harris-Affine特征点(第一特征点和第二特征点)为第一特征匹配点对；还可以通过计算待匹配遥感图像中提取到的Harris-Affine特征点(假设为第三特征点)与各个基准遥感图像中提取到的Harris-Affine特征点之间的欧式距离，从而得到距离该第三特征点欧式距离最近的Harris-Affine特征点(假设为第四特征点)和欧式距离次近的Harris-Affine特征点，并将该最近距离和次近距离进行比较，当最近距离和次近距离之间的差值大于预设差值阈值时，则确定上述两个欧式距离最近的Harris-Affine特征点(第三特征点和第四特征点)为第一特征匹配点对；当然，也可以通过上述两种方式的结合进行第一特征匹配点对的确定，在此不再赘述。
在本发明实施例中，还可以通过计算待匹配遥感图像中的匹配区域中的提取到的Harris-Affine特征点以及基准遥感图像中的匹配区域中的提取到的Harris-Affine特征点之间的马氏距离的方式，得到基准遥感图像和待匹配遥感图像中的第一特征匹配点对，使基于马氏距离的计算得到第一特征匹配点对的具体方式，可以参照上述基于欧式距离的计算得到第一特征匹配点对的具体方式来理解，在此不再赘述。
S105：根据第一匹配点对计算待匹配遥感图像和基准遥感图像之间的单应矩阵。
在本发明实施例中，在执行该步骤S105之前，也可以先对步骤S104中得到的第一匹配点对进行误匹配点对的删除，具体地，可以使用RANSAC算法消除误匹配点对，当然，也可以使用其他任意一种误匹配点对的删除方式进行删除，在此不做任何限制；相应地，该步骤S105中的第一匹配点对为进行删除误匹配点对之后的第一匹配点对。
S106：使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取。
在本发明实施例中，提取到的SIFT特征的特征描述子也为SIFT描述子。
S107：根据单应矩阵计算提取到的基准遥感图像中的SIFT特征点在待匹配遥感图像中的对应点，并在待匹配遥感图像中的预设区域内计算与基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对。
在本发明实施例中，对应点为将一个提取到的基准遥感图像中的SIFT特征点(假设为特征点A)的坐标作为单应矩阵的输入，计算得到的待匹配遥感图像中预计与特征点A相配的点的坐标，预设区域则为待匹配图像中以对应点为中心的预设大小的区域(一般为圆形区域，该圆形区域的圆心为上述对应点)，该预设区域为对特征点A进行特征匹配时的搜索空间，具体地，通过计算特征点A与预设区域内的各个SIFT特征点之间距离，当预设区域内存在与特征点A之间的距离满足预设条件的SIFT特征点(具体匹配方法可以参照步骤S104中的匹配方法来理解，在此不再赘述)，则可以得到与特征点A相匹配的SIFT特征点，从而得到一个第二匹配点对。重复上述内容，直到完成对基准遥感图像中的所有SIFT特征点的匹配，即可得到所有第二匹配点对。
在本发明实施例中，将第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
在本发明实施例中，通过基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异，能够消除低空飞行器图像由于飞行器的旋转偏角、飞行高度以及俯仰角等情况对飞行器图像的影响；而由于飞行器处于不断飞行移动的状态，飞行器的拍摄对象是不断变化的，在进行图像匹配时，具有匹配意义的仅为基准遥感图像和待匹配遥感图像之间的重叠区域，因此，待匹配遥感图像与基准遥感图像之间的匹配区域仅为该重叠区域，从而能够排除基准遥感图像和待匹配遥感图像中没有必要进行特征提取以及特征匹配的区域，提高该遥感图像综合匹配方法的匹配效率；而通过使用具有互补性的Harris-Affine算法以及SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取，同时通过根据第一匹配点对(Harris-Affine特征匹配点对)计算待匹配遥感图像和基准遥感图像之间的单应矩阵，并在根据单应矩阵计算得到一个基准遥感图像中的SIFT特征点在特征匹配的待匹配遥感图像中的(用以进行特征匹配的)预设区域后，再计算得到第一匹配点对(SIFT特征匹配点对)，实现了基于Harris-Affine特征和SIFT特征对待匹配遥感图像和基准遥感图像的综合匹配，从而能够提高最终得到的图像匹配结果的准确性。
作为本实施例的一种可选实施方式，如图2所示，本发明实施例中的遥感图像综合匹配方法还可以包括如下步骤：
S108：提取第一匹配点对和第二匹配点中的若干个匹配点对作为初始匹配点对，并根据初始匹配点对计算待匹配遥感图像和基准遥感图像之间的映射矩阵。
在本发明实施例中，该映射矩阵为将待匹配遥感图像映射至基准遥感图像的映射矩阵，具体地，该映射矩阵的计算方法可以为现有的任意一种映射矩阵计算方法计算得到，例如，该映射矩阵可以通过最小二乘法拟合计算得到。
S109：计算初始匹配点对相对于映射矩阵的映射误差的平均值。
在本发明实施例中，映射误差为一个初始匹配点对中从基准遥感图像中提取到的特征点作为映射矩阵的输入得到的预定特征点，与一个初始匹配点对中从待匹配遥感图像中提取到的特征点之间的误差，具体地，假设一个初始匹配点对B:(B1,B2)，其中，B1是指从基准遥感图像中提取到的特征点，B2是指从基准遥感图像中提取到的特征点，则将B2的坐标点输入映射矩阵中，得到基准遥感图像预计为与B2相匹配的点B1′，则点B1与点B1′之间的距离即为初始匹配点对B的映射误差；重复上述步骤，计算得到所有初始匹配点对的映射误差，然后计算上述映射误差的平均值，即可得到初始匹配点对相对于映射矩阵的映射误差的平均值。
S110：依次计算第一匹配点对和第二匹配点中除初始匹配点对以外的各个匹配点对相对于映射矩阵的映射误差，并剔除映射误差大于平均值的匹配点对。
在本发明实施例中，第一匹配点对和第二匹配点中除初始匹配点对以外的各个匹配点对相对于映射矩阵的映射误差的具体计算方式，可以参照上述步骤S109中初始匹配点对相对于映射矩阵的映射误差的具体计算方式来理解，在此不再赘述。
在本发明实施例中，将剔除后的第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
在本发明实施例中，重复执行上述步骤S108-步骤S110，对第一匹配点对和第二匹配点进行多次剔除，直到最终得到的图像匹配结果的数量满足预设数量要求。
作为本实施例的一种可选实施方式，如图3所示，步骤S102可以包括如下步骤：
S301：根据基准遥感图像和待匹配遥感图像的拍摄角度以及拍摄位置，计算基准遥感图像和待匹配遥感图像的重叠区域。
在本发明实施例中，该步骤的具体内容可以参照上述步骤S102的具体内容来理解。
S302：分别提取基准遥感图像和待匹配遥感图像中包含重叠区域的最小矩形区域，得到基准遥感图像中的匹配区域以及待匹配遥感图像中的匹配区域。
在本发明实施例中，由于步骤S301中得到的重叠区域有较大可能性为非矩形区域，而在图像处理中，最常见以及最容易进行处理的图像为矩形图像，因此，通过执行该步骤S302，使最终得到的匹配区域为矩形，具体地，如图4所示，若步骤S301中得到的基准遥感图像和待匹配遥感图像的重叠区域为区域S，则基准遥感图像中的匹配区域为矩形区域S1，待匹配遥感图像中的匹配区域为矩形区域S2。
实施例2
图5示出了本发明实施例的一种遥感图像综合匹配装置的原理框图，该装置可以用于实现实施例1或者其任意可选实施方式所述的遥感图像综合匹配法。如图5所示，该装置包括：图像纠正模块10，区域确定模块20，第一特征提取模块30，第一匹配模块40，第一矩阵计算模块50，第二特征提取模块60和第二匹配模块70。其中，
图像纠正模块10用于基于基准遥感图像，对待匹配遥感图像进行纠正，以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异；
区域确定模块20用于确定待匹配遥感图像与基准遥感图像之间的匹配区域。在本发明实施例中，匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域。
第一特征提取模块30用于使用Harris-Affine算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取。
第一匹配模块40用于基于提取到的Harris-Affine特征计算基准遥感图像和待匹配遥感图像中的第一匹配点对。
第一矩阵计算模块50用于根据第一匹配点对计算待匹配遥感图像和基准遥感图像之间的单应矩阵。
第二特征提取模块60用于使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取。
第二匹配模块70用于根据单应矩阵计算提取到的基准遥感图像中的SIFT特征点在待匹配遥感图像中的对应点，并在待匹配遥感图像中的对应区域内计算与基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对。在本发明实施例中，将第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。在本发明实施例中，对应区域为以对应点为中心的预设大小的区域。
在本发明实施例中，通过执行上述遥感图像匹配装置中各个模块对应的程序或者指令，能够准确高效的实现对低空飞行器的遥感图像的匹配。
作为本发明实施例的一种可选实施方式，本发明实施例中的遥感图像综合匹配装置还可以包括：
第二矩阵计算模块80用于提取第一匹配点对和第二匹配点中的若干个匹配点对作为初始匹配点对，并根据初始匹配点对计算待匹配遥感图像和基准遥感图像之间的映射矩阵。
平均误差计算模块90用于计算初始匹配点对相对于映射矩阵的映射误差的平均值。在本发明实施例中，映射误差为一个初始匹配点对中从基准遥感图像中提取到的特征点作为映射矩阵的输入得到的预定特征点，与一个初始匹配点对中从待匹配遥感图像中提取到的特征点之间的误差。
匹配优化模块100用于依次计算第一匹配点对和第二匹配点中除初始匹配点对以外的各个匹配点对相对于映射矩阵的映射误差，并剔除映射误差大于平均值的匹配点对。在本发明实施例中，将剔除后的第一匹配点对和第二匹配点对作为待匹配遥感图像和基准遥感图像的图像匹配结果。
实施例3
本发明实施例提供了一种电子设备，如图6所示，该电子设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的遥感图像综合匹配方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的遥感图像综合匹配方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中，当被所述处理器61执行时，执行如图1-图4所示实施例中的遥感图像综合匹配方法。
上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种遥感图像综合匹配方法，其特征在于，包括如下步骤：
基于基准遥感图像，对待匹配遥感图像进行纠正，以消除所述待匹配遥感图像与所述基准遥感图像之间的几何形变、尺度以及旋转差异；
确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域；所述匹配区域是指所述待匹配遥感图像与所述基准遥感图像之间的重叠区域；
使用Harris-Affine算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取；
基于提取到的Harris-Affine特征计算所述基准遥感图像和所述待匹配遥感图像中的第一匹配点对；
根据所述第一匹配点对计算所述待匹配遥感图像和所述基准遥感图像之间的单应矩阵；
使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取；
根据所述单应矩阵计算提取到的所述基准遥感图像中的SIFT特征点在所述待匹配遥感图像中的对应点，并在所述待匹配遥感图像中的预设区域内计算与所述基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对；所述预设区域为以所述对应点为中心的预设大小的区域；将所述第一匹配点对和所述第二匹配点对作为所述待匹配遥感图像和所述基准遥感图像的图像匹配结果。
2.根据权利要求1所述的遥感图像综合匹配方法，其特征在于，还包括：
提取所述第一匹配点对和所述第二匹配点中的若干个匹配点对作为初始匹配点对，并根据所述初始匹配点对计算所述待匹配遥感图像和所述基准遥感图像之间的映射矩阵；
计算所述初始匹配点对相对于所述映射矩阵的映射误差的平均值；所述映射误差为一个初始匹配点对中从所述基准遥感图像中提取到的特征点作为所述映射矩阵的输入得到的预定特征点，与所述一个初始匹配点对中从所述待匹配遥感图像中提取到的特征点之间的误差；
依次计算所述第一匹配点对和所述第二匹配点中除所述初始匹配点对以外的各个匹配点对相对于所述映射矩阵的映射误差，并剔除映射误差大于所述平均值的匹配点对；将所述剔除后的第一匹配点对和所述第二匹配点对作为所述待匹配遥感图像和所述基准遥感图像的图像匹配结果。
3.根据权利要求2所述的遥感图像综合匹配方法，其特征在于，所述映射矩阵为使用最小二乘法拟合得到。
4.根据权利要求1所述的遥感图像综合匹配方法，其特征在于，所述确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域的步骤，包括：
根据所述基准遥感图像和所述待匹配遥感图像的拍摄角度以及拍摄位置，计算所述基准遥感图像和所述待匹配遥感图像的重叠区域；
分别提取所述基准遥感图像和所述待匹配遥感图像中包含所述重叠区域的最小矩形区域，得到所述基准遥感图像中的匹配区域以及所述待匹配遥感图像中的匹配区域。
5.根据权利要求4所述的遥感图像综合匹配方法，其特征在于，所述遥感图像为无人机遥感图像，所述拍摄角度以及拍摄位置均为从无人机的POS信息中获取。
6.一种遥感图像综合匹配装置，其特征在于，包括：
图像纠正模块，用于基于基准遥感图像，对待匹配遥感图像进行纠正，以消除所述待匹配遥感图像与所述基准遥感图像之间的几何形变、尺度以及旋转差异；
区域确定模块，用于确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域；所述匹配区域是指所述待匹配遥感图像与所述基准遥感图像之间的重叠区域；
第一特征提取模块，用于使用Harris-Affine算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取；
第一匹配模块，用于基于提取到的Harris-Affine特征计算所述基准遥感图像和所述待匹配遥感图像中的第一匹配点对；
第一矩阵计算模块，用于根据所述第一匹配点对计算所述待匹配遥感图像和所述基准遥感图像之间的单应矩阵；
第二特征提取模块，用于使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取；
第二匹配模块，用于根据所述单应矩阵计算提取到的所述基准遥感图像中的SIFT特征点在所述待匹配遥感图像中的对应点，并在所述待匹配遥感图像中的对应区域内计算与所述基准遥感图像中的SIFT特征点相匹配的SIFT特征点，得到第二匹配点对；将所述第一匹配点对和所述第二匹配点对作为所述待匹配遥感图像和所述基准遥感图像的图像匹配结果；所述对应区域为以所述对应点为中心的预设大小的区域。
7.根据权利要求6所述的遥感图像综合匹配装置，其特征在于，还包括：
第二矩阵计算模块，用于提取所述第一匹配点对和所述第二匹配点中的若干个匹配点对作为初始匹配点对，并根据所述初始匹配点对计算所述待匹配遥感图像和所述基准遥感图像之间的映射矩阵；
平均误差计算模块，用于计算所述初始匹配点对相对于所述映射矩阵的映射误差的平均值；所述映射误差为一个初始匹配点对中从所述基准遥感图像中提取到的特征点作为所述映射矩阵的输入得到的预定特征点，与所述一个初始匹配点对中从所述待匹配遥感图像中提取到的特征点之间的误差；
匹配优化模块，用于依次计算所述第一匹配点对和所述第二匹配点中除所述初始匹配点对以外的各个匹配点对相对于所述映射矩阵的映射误差，并剔除映射误差大于所述平均值的匹配点对；将所述剔除后的第一匹配点对和所述第二匹配点对作为所述待匹配遥感图像和所述基准遥感图像的图像匹配结果。
8.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5任一项所述的遥感图像综合匹配方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任一项所述的遥感图像综合匹配方法。
CN201911326992.6A 2019-12-20 2019-12-20 一种遥感图像综合匹配方法、装置、电子设备及存储介质 Active CN111582296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911326992.6A CN111582296B (zh) 2019-12-20 2019-12-20 一种遥感图像综合匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911326992.6A CN111582296B (zh) 2019-12-20 2019-12-20 一种遥感图像综合匹配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111582296A true CN111582296A (zh) 2020-08-25
CN111582296B CN111582296B (zh) 2021-02-05

Family

ID=72120483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911326992.6A Active CN111582296B (zh) 2019-12-20 2019-12-20 一种遥感图像综合匹配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111582296B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419375A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 特征点的匹配方法及装置、存储介质、电子装置
CN113837246A (zh) * 2021-09-06 2021-12-24 广州极飞科技股份有限公司 图像的匹配方法及其匹配装置、无人设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
CN110443776A (zh) * 2019-08-07 2019-11-12 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于无人机吊舱的数据配准融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088569A (zh) * 2010-10-13 2011-06-08 首都师范大学 低空无人飞行器序列图像拼接方法和系统
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
CN110443776A (zh) * 2019-08-07 2019-11-12 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于无人机吊舱的数据配准融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOBIAO YAO ET AL.: "Registrating Oblique SAR Images Based on Complementary Integrated Filtering and Multilevel Matching", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
孙奎奎: "基于多立体SGM的航空倾斜影像DSM自动提取技术研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419375A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 特征点的匹配方法及装置、存储介质、电子装置
CN113837246A (zh) * 2021-09-06 2021-12-24 广州极飞科技股份有限公司 图像的匹配方法及其匹配装置、无人设备

Also Published As

Publication number Publication date
CN111582296B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN108230379B (zh) 用于融合点云数据的方法和装置
EP3581890B1 (en) Method and device for positioning
CN110969145B (zh) 一种遥感图像匹配优化方法、装置、电子设备及存储介质
US20180300549A1 (en) Road detecting method and apparatus
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN110930428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111582296B (zh) 一种遥感图像综合匹配方法、装置、电子设备及存储介质
CN110910432A (zh) 一种遥感图像匹配方法、装置、电子设备及可读存储介质
WO2022213632A1 (zh) 用于标定毫米波雷达的方法、装置、电子设备及路侧设备
CN111652915A (zh) 一种遥感图像的重叠区域计算方法、装置及电子设备
CN114419590B (zh) 高精地图的验证方法、装置、设备以及存储介质
CN111639662A (zh) 一种遥感图像双向匹配方法、装置、电子设备及存储介质
CN114648709A (zh) 一种确定图像差异信息的方法与设备
WO2019242392A1 (zh) 一种数据库构建方法、一种定位方法及其相关设备
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN115112100B (zh) 遥感控制系统及方法
CN109034214B (zh) 用于生成标记的方法和装置
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
JP7258101B2 (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
CN112163562B (zh) 一种影像重叠区域计算方法、装置、电子设备及存储介质
CN115375774A (zh) 确定相机外参的方法、装置、设备及存储介质
CN111583312A (zh) 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN111640142A (zh) 一种遥感图像多特征匹配方法、装置及电子设备
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质
CN111695396A (zh) 一种遥感图像匹配方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant