CN110969145B - 一种遥感图像匹配优化方法、装置、电子设备及存储介质 - Google Patents

一种遥感图像匹配优化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110969145B
CN110969145B CN201911320771.8A CN201911320771A CN110969145B CN 110969145 B CN110969145 B CN 110969145B CN 201911320771 A CN201911320771 A CN 201911320771A CN 110969145 B CN110969145 B CN 110969145B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
matching
matched
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911320771.8A
Other languages
English (en)
Other versions
CN110969145A (zh
Inventor
邓练兵
邹纪升
逯明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201911320771.8A priority Critical patent/CN110969145B/zh
Publication of CN110969145A publication Critical patent/CN110969145A/zh
Application granted granted Critical
Publication of CN110969145B publication Critical patent/CN110969145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像匹配优化方法、装置、电子设备及存储介质,该方法包括:基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异;确定待匹配遥感图像与基准遥感图像之间的匹配区域;使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点;基于提取到的特征计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到初始匹配结果;使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和基准遥感图像的图像匹配结果。通过实施该方法,能够较准确且以较高效率实现对低空飞行器拍摄的遥感图像的匹配。

Description

一种遥感图像匹配优化方法、装置、电子设备及存储介质
技术领域
本发明涉及多媒体信息处理技术领域,尤其涉及到一种遥感图像匹配优化方法、装置、电子设备及存储介质。
背景技术
近年来,从无人机遥感应用于钓鱼岛地形测绘、到四川芦山地震进行灾害遥感监测与灾情评估,再到国家海洋资源的常态监测,低空遥感技术凸显了它在地形测绘、灾害应急监测与灾情评估、环境监测等众多领域的优势和应用价值,低空遥感数据处理技术也迅速成为研究的热点。影像匹配是低空遥感数据处理的关键技术之一,其匹配质量直接影响到后续成果的优劣。
由于低空飞行器处于不断飞行移动的状态,因此相对于普通图像匹配,低空飞行器遥感图像匹配存在以下技术难点:第一,相邻影像间的旋偏角大,难以直接进行灰度相关匹配;第二,飞行器的飞行高度、横滚角和俯仰角变化大,从而导致影像间的比例尺差异大,降低了灰度相关匹配的成功率和可靠性;第三,相邻影像间的左右重叠度和上下重叠度变化大,加上低空遥感影像摄影比例尺大,造成表面不连续地物(如高楼)在影像上的投影差大,因而无法确定匹配的搜索范围。
因此,如何实现对低空飞行器遥感图像的准确高效的匹配成为亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种遥感图像匹配优化方法、装置、电子设备及存储介质,以解决现有普通图像的图像匹配方法直接适用于低空飞行器的遥感图像时的匹配效果较差的问题。
根据第一方面,本发明实施例提供了一种遥感图像匹配优化方法,包括如下步骤:基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异;确定待匹配遥感图像与基准遥感图像之间的匹配区域;匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域;使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点;基于提取到的特征点计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到初始匹配结果;使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
通过基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异,能够消除低空飞行器图像由于飞行器的旋转偏角、飞行高度以及俯仰角等情况对飞行器图像的影响;而由于飞行器处于不断飞行移动的状态,飞行器的拍摄对象是不断变化的,在进行图像匹配时,具有匹配意义的仅为基准遥感图像和待匹配遥感图像之间的重叠区域,因此,待匹配遥感图像与基准遥感图像之间的匹配区域仅为该重叠区域,从而能够排除基准遥感图像和待匹配遥感图像中没有必要进行特征提取以及特征匹配的区域,提高该遥感图像匹配优化方法的匹配效率;同样由于飞行器处于不断飞行移动的状态,飞行器的飞行高度、横滚角和俯仰角变化大,从而导致影像间的比例尺差异大,因而使用SIFT算法对待匹配遥感图像中的匹配区域以及基准遥感图像中的匹配区域进行特征提取,能够提高特征点的提准确性,从而提高最终的图像匹配结果的准确性;同时,通过使用RANSAC算法对初始匹配结果进行优化后得到的匹配结果作为待匹配遥感图像和基准遥感图像的最终图像匹配结果,能够进一步提高最终的图像匹配结果的准确性。
此外,通过将提取到的极值点中大于极值点阈值的点作为提取到的特征点,能够减小使用SIFT算法提取到的特征点的数量,从而能够减小后续进行特征点匹配时的时间开销,提高该遥感图像匹配优化方法的匹配效率。
结合第一方面,在第一方面第一实施方式中,使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和基准遥感图像的图像匹配结果的步骤,包括:使用RANSAC算法对初始匹配结果进行优化,得到初始优化匹配结果;判断初始优化匹配结果中的特征匹配点对的数量是否大于预设阈值;当初始优化匹配结果中的特征匹配点对的数量大于预设阈值时,使用最小二乘方法剔除初始优化匹配结果中拟合残差大于√2的特征匹配点对,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
结合第一方面,在第一方面第二实施方式中,极值点阈值为10。
结合第一方面,在第一方面第三实施方式中,通过计算待匹配遥感图像中的匹配区域中的提取到的特征点以及基准遥感图像中的匹配区域中的提取到的特征点之间的128维欧式距离,得到基准遥感图像和待匹配遥感图像中的特征匹配点对。
结合第一方面或者第一方面第一实施方式中,在第一方面第四实施方式中,确定待匹配遥感图像与基准遥感图像之间的匹配区域的步骤,包括:根据基准遥感图像和待匹配遥感图像的拍摄角度以及拍摄位置,计算基准遥感图像和待匹配遥感图像的重叠区域;分别提取基准遥感图像和待匹配遥感图像中包含重叠区域的最小矩形区域,得到基准遥感图像中的匹配区域以及待匹配遥感图像中的匹配区域。
结合第一方面第四实施方式,在第一方面第五实施方式中,在确定待匹配遥感图像与基准遥感图像之间的匹配区域的步骤之后,还包括:分别将待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域分为多个匹配块;使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点的步骤,包括:使用SIFT算法依次对各个匹配块进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点。
通过在确定待匹配遥感图像与基准遥感图像之间的匹配区域之后,分别将待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域分为多个匹配块,能够配合执行该遥感图像匹配优化方法的计算装置的运算能力进行分块,从而使匹配区域中的每一块的特征提取均能够较快执行,从而也能够提高整个匹配区域的特征提取效率;此外,也能够降低该遥感图像匹配优化方法对其执行装置的性能要求。
根据第二方面,本发明实施例提供了一种遥感图像匹配优化装置,包括:图像纠正模块,用于基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异;区域确定模块,用于确定待匹配遥感图像与基准遥感图像之间的匹配区域;匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域;特征提取模块,用于使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点;图像匹配模块,用于基于提取到的特征点计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到初始匹配结果;匹配优化模块,用于使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的遥感图像匹配优化方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的遥感图像匹配优化方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种遥感图像匹配优化方法的一种方法流程图;
图2为图1中步骤S102的一种具体实施方式流程图;
图3为本发明实施例1提供的匹配区域的确定方式的示例图;
图4为本发明实施例1提供的一种遥感图像匹配优化方法的另一种方法流程图;
图5为本发明实施例2提供的一种遥感图像匹配优化装置的原理框图;
图6为本发明实施例3提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
实施例1
图1示出了本发明实施例的遥感图像匹配优化方法的流程图,如图1所示,该方法可以包括如下步骤:
S101:基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异。
在本发明实施例中,基准遥感图像是指两个或多个待匹配图像中,拍摄视角与垂直于被拍摄地面的拍摄视角最接近的图像。
在本发明实施例中,遥感图像可以为无人机等低空飞行器拍摄的遥感图像,相应地,可以根据无人机POS系统中记录的影像外方位元素,基于基准遥感图像,对待匹配遥感图像进行纠正,或者根据其他飞行器中记录了飞行器飞行中的角度、位置等信息的文件,基于基准遥感图像,对待匹配遥感图像进行纠正,具体纠正方式均属于现有技术,在此不再赘述。
S102:确定待匹配遥感图像与基准遥感图像之间的匹配区域。
在本发明实施例中,匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域。
在本发明实施例中,重叠区域的计算仍为根据飞行器拍摄待匹配遥感图像和基准遥感图像的位置信息(包括经纬度信息和高度信息等),以及拍摄角度(包括旋转角以及俯仰角等)进行计算得到,具体地,可以根据经纬度信息得到待匹配遥感图像和基准遥感图像的中心点距离信息,根据旋转角信息确定待匹配遥感图像和基准遥感图像之间的旋转角度,并根据俯仰角信息以及高度信息计算得到两图片之间的大小,从而计算得到待匹配遥感图像与基准遥感图像之间的重叠区域,当然,上述重叠区域的计算过程,待匹配遥感图像的相关信息以步骤S101中纠正后的待匹配遥感图像的信息为准。
S103:使用SIFT算法对待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点。
在本发明实施例中,由于在不断的飞行移动拍摄的过程中,低空飞行器的飞行高度、拍摄角度(横滚角)以及俯仰角度也不断变化,因此,待匹配遥感图像和基准遥感图像之间的比例差异较大,因而,本发明实施例中使用具有康旋转、尺度不变等特性的SIFT算法对待匹配遥感图像中的匹配区域以及基准遥感图像中的匹配区域进行特征提取。
在本发明实施例中,由于使用SIFT算法进行特征提取时,提取到的特征点一般数量均较多,因此,为了减少最终提取得到的特征点的数量,将提取到的极值点中大于极值点阈值的点作为提取到的特征点,具体地,极值点阈值可以根据待匹配遥感图像中的匹配区域以及基准遥感图像中的匹配区域的大小进行设置,当上述匹配区域均较大(提取到的极值点数量一般也较多)时,可以将极值点阈值也设置的较大,例如,可以将极值点阈值设置为10或者13等,从而较大程度的减少极值点的最终提取到的特征点的数量;当上述匹配区域均较小(提取到的极值点数量一般也较少)时,可以将极值点阈值也设置的较小,例如,可以将极值点阈值设置为5或者8等,从而保留较多的极值点作为提取到的特征点,保证用以进行特征点匹配的特征点的数量。
S104:基于提取到的特征计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到初始匹配结果。
在本发明实施例中,可以通过计算待匹配遥感图像中的匹配区域中的提取到的特征点以及基准遥感图像中的匹配区域中的提取到的特征点之间的128维欧式距离,得到基准遥感图像和待匹配遥感图像中的特征匹配点对,具体地,可以计算待匹配遥感图像中提取到的特征点(假设为第一特征点)与各个基准遥感图像中提取到的特征点之间的距离,从而得到与该第一特征点欧式距离最近的特征点(假设为第二特征点),并将该最近距离与预设距离阈值进行比较,当该最近距离小于预设距离阈值时,则确定上述两个欧式距离最近的特征点(第一特征点和第二特征点)为特征匹配点对;还可以通过计算待匹配遥感图像中提取到的特征点(假设为第三特征点)与各个基准遥感图像中提取到的特征点之间的距离,从而得到距离该第三特征点欧式距离最近的特征点(假设为第四特征点)和欧式距离次近的特征点,并该最近距离和次近距离进行比较,当最近距离和次近距离之间的差值大于预设差值阈值时,则确定上述两个欧式距离最近的特征点(第三特征点和第四特征点)为特征匹配点对;当然,也可以通过上述两种方式的结合进行特征匹配点对的确定,在此不再赘述。
在本发明实施例中,还可以通过计算待匹配遥感图像中的匹配区域中的提取到的特征点以及基准遥感图像中的匹配区域中的提取到的特征点之间的128维马氏距离,得到基准遥感图像和待匹配遥感图像中的特征匹配点对,使基于马氏距离的计算得到特征匹配点对的具体方式,可以参照上述基于欧式距离的计算得到特征匹配点对的具体方式来理解,在此不再赘述。
S105:使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和所述基准遥感图像的图像匹配结果。
在本发明实施例中,为了使最终得到的图像匹配结果中的特征匹配点对的数量,保证进行后续图像匹配以及图像拼接时的时间开销,步骤S105还可以包括如下步骤:
步骤A:使用RANSAC算法对初始匹配结果进行优化,得到初始优化匹配结果。
步骤B:判断初始优化匹配结果中的特征匹配点对的数量是否大于预设阈值。在本发明实施例中,当初始优化匹配结果中的特征匹配点对的数量大于预设阈值时,则执行步骤C;当初始优化匹配结果中的特征匹配点对的数量小于或者等于预设阈值时,则直接将初始优化匹配结果作为待匹配遥感图像和基准遥感图像的图像匹配结果。
在本发明实施例中,预设阈值的具体数值可以根据后续的图像匹配以及图像拼接的具体的时间开销以及拼接精度的要求进行确定,例如,该预设阈值可以为7、8或者10等,在此不做任何限制。
步骤C:使用最小二乘方法剔除初始优化匹配结果中拟合残差大于√2的特征匹配点对,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
在本发明实施例中,通过基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异,能够消除低空飞行器图像由于飞行器的旋转偏角、飞行高度以及俯仰角等情况对飞行器图像的影响;而由于飞行器处于不断飞行移动的状态,飞行器的拍摄对象是不断变化的,在进行图像匹配时,具有匹配意义的仅为基准遥感图像和待匹配遥感图像之间的重叠区域,因此,待匹配遥感图像与基准遥感图像之间的匹配区域仅为该重叠区域,从而能够排除基准遥感图像和待匹配遥感图像中没有必要进行特征提取以及特征匹配的区域,提高该遥感图像匹配优化方法的匹配效率;同样由于飞行器处于不断飞行移动的状态,飞行器的飞行高度、横滚角和俯仰角变化大,从而导致影像间的比例尺差异大,因而使用SIFT算法对待匹配遥感图像中的匹配区域以及基准遥感图像中的匹配区域进行特征提取,能够提高特征点的提准确性,从而提高最终的图像匹配结果的准确性;同时,通过使用RANSAC算法对初始匹配结果进行优化后得到的匹配结果作为待匹配遥感图像和基准遥感图像的最终图像匹配结果,能够进一步提高最终的图像匹配结果的准确性。
同时,通过将提取到的极值点中大于极值点阈值的点作为提取到的特征点,能够减小使用SIFT算法提取到的特征点的数量,从而能够减小后续进行特征点匹配时的时间开销,提高该遥感图像匹配优化方法的匹配效率。
作为本实施例的一种可选实施方式,如图2所示,步骤S102可以包括如下步骤:
S201:根据基准遥感图像和待匹配遥感图像的拍摄角度以及拍摄位置,计算基准遥感图像和待匹配遥感图像的重叠区域。
在本发明实施例中,该步骤S201的具体内容可以参照上述步骤S102的具体内容来理解。
S202:分别提取基准遥感图像和待匹配遥感图像中包含重叠区域的最小矩形区域,得到基准遥感图像中的匹配区域以及待匹配遥感图像中的匹配区域。
在本发明实施例中,由于步骤S201中得到的重叠区域有较大可能性为非矩形区域,而在图像处理中,最常见以及最容易进行处理的图像为矩形图像,因此,通过执行该步骤S202,使最终得到的匹配区域为矩形,具体地,如图3所示,若步骤S201中得到的基准遥感图像和待匹配遥感图像的重叠区域为区域S,则基准遥感图像中的匹配区域为矩形区域S1,待匹配遥感图像中的匹配区域为矩形区域S2。
作为本实施例的一种可选实施方式,本发明实施例提供了遥感图像匹配优化方法的另一种具体实施方式,如图4所示,包括如下步骤:
S401:基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异。
S402:确定待匹配遥感图像与基准遥感图像之间的匹配区域。
在本发明实施例中,匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域。
S403:分别将待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域分为多个匹配块。
在本发明实施例中,分别将待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域分成的匹配块的数量,可以根据相应的匹配区域的大小以及用以执行本发明实施例中的遥感图像匹配优化方法的计算装置的运算能力来确定,在此不做任何限制。
S404:使用SIFT算法依次对各个匹配块进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点。
S405:基于提取到的特征计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
本发明实施例的具体内容可以参照步骤S101-S104的具体内容来理解。
在本发明实施例中,通过在确定待匹配遥感图像与基准遥感图像之间的匹配区域之后,分别将待匹配遥感图像中的匹配区域和基准遥感图像中的匹配区域分为多个匹配块,能够配合执行该遥感图像匹配优化方法的计算装置的运算能力进行分块,从而使匹配区域中的每一块的特征提取均能够较快执行,从而也能够提高整个匹配区域的特征提取效率;此外,也能够降低该遥感图像匹配优化方法对其执行装置的性能要求。
实施例2
图5示出了本发明实施例的一种遥感图像匹配优化装置的原理框图,该装置可以用于实现实施例1或者其任意可选实施方式所述的遥感图像匹配优化法。如图5所示,该装置包括:图像纠正模块10,区域确定模块20,特征提取模块30和图像匹配模块40。其中,
图像纠正模块10用于基于基准遥感图像,对待匹配遥感图像进行纠正,以消除待匹配遥感图像与基准遥感图像之间的几何形变、尺度以及旋转差异。
区域确定模块20用于确定待匹配遥感图像与基准遥感图像之间的匹配区域。在本发明实施例中,匹配区域是指待匹配遥感图像与基准遥感图像之间的重叠区域。
特征提取模块30用于使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点。
图像匹配模块40用于基于提取到的特征计算基准遥感图像和待匹配遥感图像中的特征匹配点对,得到初始匹配结果。
匹配优化模块50用于使用RANSAC算法对初始匹配结果进行优化,得到待匹配遥感图像和基准遥感图像的图像匹配结果。
在本发明实施例中,通过执行上述遥感图像匹配优化装置中各个模块对应的程序或者指令,能够准确高效的实现对低空飞行器的遥感图像的匹配。
实施例3
本发明实施例提供了一种电子设备,如图6所示,该电子设备可以包括处理器61和存储器62,其中处理器61和存储器62可以通过总线或者其他方式连接,图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit,CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的遥感图像匹配优化方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的遥感图像匹配优化方法。
存储器62可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器61所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器62可选包括相对于处理器61远程设置的存储器,这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中,当被所述处理器61执行时,执行如图1-图4所示实施例中的遥感图像匹配优化方法。
上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种遥感图像匹配优化方法,其特征在于,包括如下步骤:
基于基准遥感图像,对待匹配遥感图像进行纠正,以消除所述待匹配遥感图像与所述基准遥感图像之间的几何形变、尺度以及旋转差异,其中,所述基准遥感图像是指两个或多个待匹配图像中,拍摄视角与垂直于被拍摄地面的拍摄视角最接近的图像;
确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域;所述匹配区域是指所述待匹配遥感图像与所述基准遥感图像之间的重叠区域;
使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点;
基于所述提取到的特征点计算所述基准遥感图像和所述待匹配遥感图像中的特征匹配点对,得到初始匹配结果;
使用RANSAC算法对所述初始匹配结果进行优化,得到所述待匹配遥感图像和所述基准遥感图像的图像匹配结果;
其中,所述确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域,包括:
根据所述基准遥感图像和所述待匹配遥感图像的拍摄角度以及拍摄位置,计算所述基准遥感图像和所述待匹配遥感图像的重叠区域;
分别提取所述基准遥感图像和所述待匹配遥感图像中包含所述重叠区域的最小矩形区域,得到所述基准遥感图像中的匹配区域以及所述待匹配遥感图像中的匹配区域。
2.根据权利要求1所述的遥感图像匹配优化方法,其特征在于,所述使用RANSAC算法对所述初始匹配结果进行优化,得到所述待匹配遥感图像和所述基准遥感图像的图像匹配结果的步骤,包括:
使用RANSAC算法对所述初始匹配结果进行优化,得到初始优化匹配结果;
判断所述初始优化匹配结果中的特征匹配点对的数量是否大于预设阈值;
当所述初始优化匹配结果中的特征匹配点对的数量大于所述预设阈值时,使用最小二乘方法剔除所述初始优化匹配结果中拟合残差大于
Figure FDA0002556033960000021
的特征匹配点对,得到所述待匹配遥感图像和所述基准遥感图像的图像匹配结果。
3.根据权利要求1所述的遥感图像匹配优化方法,其特征在于,所述极值点阈值为10。
4.根据权利要求1所述的遥感图像匹配优化方法,其特征在于,通过计算所述待匹配遥感图像中的匹配区域中的提取到的特征点以及所述基准遥感图像中的匹配区域中的提取到的特征点之间的128维欧式距离,得到所述基准遥感图像和所述待匹配遥感图像中的特征匹配点对。
5.根据权利要求1所述的遥感图像匹配优化方法,其特征在于,在所述确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域的步骤之后,还包括:
分别将所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域分为多个匹配块;
所述使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点的步骤,包括:
使用SIFT算法依次对各个匹配块进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点。
6.一种遥感图像匹配优化装置,其特征在于,包括:
图像纠正模块,用于基于基准遥感图像,对待匹配遥感图像进行纠正,以消除所述待匹配遥感图像与所述基准遥感图像之间的几何形变、尺度以及旋转差异,其中,所述基准遥感图像是指两个或多个待匹配图像中,拍摄视角与垂直于被拍摄地面的拍摄视角最接近的图像;
区域确定模块,用于确定所述待匹配遥感图像与所述基准遥感图像之间的匹配区域;所述匹配区域是指所述待匹配遥感图像与所述基准遥感图像之间的重叠区域,其中,所述区域确定模块具体用于:根据所述基准遥感图像和所述待匹配遥感图像的拍摄角度以及拍摄位置,计算所述基准遥感图像和所述待匹配遥感图像的重叠区域;
分别提取所述基准遥感图像和所述待匹配遥感图像中包含所述重叠区域的最小矩形区域,得到所述基准遥感图像中的匹配区域以及所述待匹配遥感图像中的匹配区域;
特征提取模块,用于使用SIFT算法对所述待匹配遥感图像中的匹配区域和所述基准遥感图像中的匹配区域进行特征提取,并将提取到的极值点中大于极值点阈值的点作为提取到的特征点;
图像匹配模块,用于基于所述提取到的特征点计算所述基准遥感图像和所述待匹配遥感图像中的特征匹配点对,得到初始匹配结果;
匹配优化模块,用于使用RANSAC算法对所述初始匹配结果进行优化,得到所述待匹配遥感图像和所述基准遥感图像的图像匹配结果。
7.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-5任一项所述的遥感图像匹配优化方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-5任一项所述的遥感图像匹配优化方法。
CN201911320771.8A 2019-12-19 2019-12-19 一种遥感图像匹配优化方法、装置、电子设备及存储介质 Active CN110969145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911320771.8A CN110969145B (zh) 2019-12-19 2019-12-19 一种遥感图像匹配优化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911320771.8A CN110969145B (zh) 2019-12-19 2019-12-19 一种遥感图像匹配优化方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110969145A CN110969145A (zh) 2020-04-07
CN110969145B true CN110969145B (zh) 2020-08-28

Family

ID=70035311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911320771.8A Active CN110969145B (zh) 2019-12-19 2019-12-19 一种遥感图像匹配优化方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110969145B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163562B (zh) * 2020-10-23 2021-10-22 珠海大横琴科技发展有限公司 一种影像重叠区域计算方法、装置、电子设备及存储介质
CN112330727A (zh) * 2020-11-02 2021-02-05 珠海大横琴科技发展有限公司 图像匹配方法、装置、计算机设备及存储介质
CN112258395A (zh) * 2020-11-12 2021-01-22 珠海大横琴科技发展有限公司 一种无人机拍摄的影像拼接方法及装置
CN114511448B (zh) * 2022-04-19 2022-07-26 深圳思谋信息科技有限公司 拼接图像的方法、装置、设备和介质
CN116503756B (zh) * 2023-05-25 2024-01-12 数字太空(北京)科技股份公司 基于地面控制点数据库建立地表纹理基准面的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493891A (zh) * 2009-02-27 2009-07-29 天津大学 基于sift的具有镜面翻转不变性的特征提取和描述方法
CN101957916A (zh) * 2010-02-11 2011-01-26 中国人民解放军国防科学技术大学 使用m进小波提取图像仿射不变特征的方法
CN103218783A (zh) * 2013-04-17 2013-07-24 国家测绘地理信息局卫星测绘应用中心 基于控制点影像数据库的卫星遥感图像快速几何纠正方法
CN104156968A (zh) * 2014-08-19 2014-11-19 山东临沂烟草有限公司 大面积地形复杂区域无人机序列影像快速无缝拼接方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN109163718A (zh) * 2018-09-11 2019-01-08 江苏航空职业技术学院 一种面向建筑群的无人机自主导航方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811771B2 (en) * 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
CN102354422B (zh) * 2011-10-19 2013-09-25 北京国创科视科技有限公司 一种面向周界防护的可疑目标监测方法
CN110286091B (zh) * 2019-06-11 2021-08-31 华南农业大学 一种基于无人机的近地遥感图像采集方法
CN110503760B (zh) * 2019-08-27 2021-06-01 海信集团有限公司 门禁控制方法及门禁系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493891A (zh) * 2009-02-27 2009-07-29 天津大学 基于sift的具有镜面翻转不变性的特征提取和描述方法
CN101957916A (zh) * 2010-02-11 2011-01-26 中国人民解放军国防科学技术大学 使用m进小波提取图像仿射不变特征的方法
CN103218783A (zh) * 2013-04-17 2013-07-24 国家测绘地理信息局卫星测绘应用中心 基于控制点影像数据库的卫星遥感图像快速几何纠正方法
CN104156968A (zh) * 2014-08-19 2014-11-19 山东临沂烟草有限公司 大面积地形复杂区域无人机序列影像快速无缝拼接方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法
CN109163718A (zh) * 2018-09-11 2019-01-08 江苏航空职业技术学院 一种面向建筑群的无人机自主导航方法

Also Published As

Publication number Publication date
CN110969145A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969145B (zh) 一种遥感图像匹配优化方法、装置、电子设备及存储介质
US11209837B2 (en) Method and device for generating a model of a to-be reconstructed area and an unmanned aerial vehicle flight trajectory
CN112257698B (zh) 环视图车位检测结果的处理方法、装置、设备和存储介质
CN108021886B (zh) 一种无人机重复纹理影像局部显著特征点匹配方法
CN111433780A (zh) 车道线检测方法、设备、计算机可读存储介质
CN114730472A (zh) 车载相机的外部参数的标定方法及相关装置
CN110910432A (zh) 一种遥感图像匹配方法、装置、电子设备及可读存储介质
US20220254062A1 (en) Method, device and storage medium for road slope predicating
CN113945937A (zh) 精度检测方法、装置及存储介质
CN111652915A (zh) 一种遥感图像的重叠区域计算方法、装置及电子设备
CN111383246A (zh) 条幅检测方法、装置及设备
CN111582296B (zh) 一种遥感图像综合匹配方法、装置、电子设备及存储介质
WO2021056339A1 (zh) 定位方法、系统及可移动平台
CN109691185B (zh) 一种定位方法、装置、终端和可读存储介质
CN111639662A (zh) 一种遥感图像双向匹配方法、装置、电子设备及存储介质
CN112163562B (zh) 一种影像重叠区域计算方法、装置、电子设备及存储介质
CN113673288A (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN112435299B (zh) 一种机载点云辅助的卫星影像立体匹配点云定向方法
CN111695396A (zh) 一种遥感图像匹配方法、装置、电子设备及可读存储介质
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN115311624A (zh) 一种边坡位移监测方法、装置、电子设备及存储介质
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN112258395A (zh) 一种无人机拍摄的影像拼接方法及装置
CN111640142A (zh) 一种遥感图像多特征匹配方法、装置及电子设备
CN111583312A (zh) 一种遥感图像精准匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant