CN114998629A - 卫星地图与航拍图像模板匹配方法、无人机定位方法 - Google Patents

卫星地图与航拍图像模板匹配方法、无人机定位方法 Download PDF

Info

Publication number
CN114998629A
CN114998629A CN202210722561.7A CN202210722561A CN114998629A CN 114998629 A CN114998629 A CN 114998629A CN 202210722561 A CN202210722561 A CN 202210722561A CN 114998629 A CN114998629 A CN 114998629A
Authority
CN
China
Prior art keywords
image
satellite map
matching degree
image blocks
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210722561.7A
Other languages
English (en)
Inventor
梁文斌
李元贵
彭怡
寇康健
杜沛卿
吕佳飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tengdun Technology Co Ltd
Original Assignee
Sichuan Tengdun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tengdun Technology Co Ltd filed Critical Sichuan Tengdun Technology Co Ltd
Priority to CN202210722561.7A priority Critical patent/CN114998629A/zh
Publication of CN114998629A publication Critical patent/CN114998629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种卫星地图与航拍图像模板匹配方法、无人机定位方法，属于图像匹配领域，包括步骤：S1，在得到一个航拍图像和卫星地图的图像对之后，将两幅图像按照不同的方式分割为等面积的多个图像块；S2，对于每种分割方式，计算两幅图像对应图像块之间的归一化信息距离；S3，对于每种分割方式的多个图像块的匹配结果，舍弃误差高于设定值图像块，用剩余图像块的平均值作为该分割方式的最终匹配度；S4，对每种分割方式得到的最终匹配度，选择匹配度最高的结果作为两幅图像最终的匹配度。本发明可以提高航拍图像和卫星地图的图像匹配精度，提高基于模板匹配方法的无人机定位精度。

Description

卫星地图与航拍图像模板匹配方法、无人机定位方法
技术领域
本发明涉及图像匹配领域，更为具体的，涉及一种卫星地图与航拍图像模板匹配方法、无人机定位方法。
背景技术
卫星地图是由卫星拍摄地面的图像拼接而成的地面，卫星地图的每个像素都可以通过固定的公式计算出相应的经纬度。无人机用垂直向下的相机拍摄的图像与卫星地图进行匹配，可以计算出自身的经纬度。模板匹配是一类重要的图像匹配方法，这类方法通过统计图像中不同强度的像素的数量关系，比较两幅图像的相似度。
现有技术存在如下问题：卫星地图更新的时间间隔很大，导致一些地面场景已经发生变化，而卫星地图上还是旧的场景，比如新修建的建筑物。这会造成无人机航拍图像与卫星地图差异较大，影响图像匹配和无人机定位精度。
发明内容
本发明的目的在于克服现有技术的不足，提供一种卫星地图与航拍图像模板匹配方法、无人机定位方法，可以提高航拍图像和卫星地图的图像匹配精度，提高基于模板匹配方法的无人机定位精度。
本发明的目的是通过以下方案实现的：
一种卫星地图与航拍图像模板匹配方法，包括步骤：
S1，在得到一个航拍图像和卫星地图的图像对之后，将两幅图像按照不同的方式分割为等面积的多个图像块；
S2，对于每种分割方式，计算两幅图像对应图像块之间的归一化信息距离；
S3，对于每种分割方式的多个图像块的匹配结果，舍弃误差高于设定值图像块，用剩余图像块的平均值作为该分割方式的最终匹配度；
S4，对每种分割方式得到的最终匹配度，选择匹配度最高的结果作为两幅图像最终的匹配度。
进一步地，在步骤S1中，所述多个图像块为四个图像块。
进一步地，在步骤S3中，当在步骤S1中将两幅图像按照不同的方式分割为等面积的四个图像块后，则所述舍弃误差高于设定值图像块包括子步骤：在四个图像块中，舍弃误差较大的两块，用剩余两个图像块的平均值作为该分割方式的最终匹配度。
进一步地，所述航拍图像为无人机航拍图像。
一种无人机定位方法，包括步骤：
步骤1，无人机在初始位姿假设下，通过投影得到卫星地图上的理论观测图像；
步骤2，用如权利要求1～4任一所述的模板匹配方法，计算航拍图像与理论观测图像之间的匹配度；
步骤3，在初始位姿附近进行搜索，重复步骤1、步骤2，直到找到匹配度最高的理论观测图像，对应的位姿即为定位结果。
进一步地，在步骤S2中，所述卫星地图为针对实际场景发生局部变化的卫星地图。
本发明的有益效果包括：
本发明提出了一种新的模板匹配方法，可以有效避免卫星地图的局部场景发生变化对匹配精度的影响，从而提高航拍图像和卫星地图的图像匹配精度，提高基于模板匹配方法的无人机定位精度。
在无人机航拍图像与卫星地图进行匹配时，卫星地图中的局部场景发生变化，导致无人机拍摄到的实际场景与卫星地图不一致。一般的模板匹配方法面对这种情况，匹配结果会存在很大的误差，误差可能达到十几个甚至几十个像素长度。本发明实施例提出的方法可以减小场景变化对最终匹配结果的影响，匹配误差在五个像素以内。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为四种分割方式的示意图；
图2为两幅图像计算匹配度的步骤流程；
图3为基于本发明实施例匹配方法的无人机定位方法流程图；
图4为基于本发明实施例匹配方法的无人机定位示意图；
图中，1-航拍图像，2-局部卫星地图，3-理论观测图像，4-卫星地图中场景发生变化的局部区域。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
作为本发明实施例之一，提供了一种新的不受局部场景变化影响的航拍图像和卫星地图的模板匹配方法，在得到一个航拍图像和卫星地图的图像对之后，将两幅图像按照不同的方式分割为等面积的四个图像块，分割方式如图1所示。对于每种分割方式，计算两幅图像对应图像块之间的归一化信息距离。对于每种分割方式的四个图像块的匹配结果，舍弃误差最大的两块，用剩余两个块的平均值作为该分割方式的最终匹配度。对每种分割方式得到的最终匹配度，选择匹配度最高的结果作为两幅图像最终的匹配度。
作为本发明实施例之二，提供了一种上述基于新模板匹配方法的无人机定位方法，无人机在初始位姿假设下，通过投影得到卫星地图上的理论观测图像。用所提出的新模板匹配方法计算航拍图像与理论观测图像之间的匹配度。在初始位姿附近进行搜索，重复第1、2步，找到匹配度最高的理论观测图像，对应的位姿即为定位结果。定位过程的示意图如图3所示。
图4是无人机定位的示意图。图4中1表示航拍图像，2表示局部卫星地图，在本实施例中为在初始位置附近提取的局部卫星地图，虚线框3表示理论观测图像，在本实施例中表示无人机在当前位姿假设下，通过图像投影得到的卫星地图上的理论观测图像，黑色块4表示卫星地图中场景发生变化的局部区域。若直接使用整幅图像计算匹配度，卫星地图中场景发生变换的区域就会影响两幅图像的匹配度，降低本应该为正确匹配的两个图像的匹配度。利用本实施例的方法，理论观测图像中的场景变化区域会在图1所示的四种分割方式中被分割到几个局部图像块中。这些包含场景变化区域的局部图像块之间的匹配度会非常低，在所提出的模板匹配方法中会被舍弃掉，那些不包含或者包含少量场景变化区域的图像块之间的匹配度将会被保留。因此，采用本实施例的匹配方法，可以有效避免场景变化区域对匹配结果造成的负面影响。
实施例1
一种卫星地图与航拍图像模板匹配方法，包括步骤：
S1，在得到一个航拍图像和卫星地图的图像对之后，将两幅图像按照不同的方式分割为等面积的多个图像块；
S2，对于每种分割方式，计算两幅图像对应图像块之间的归一化信息距离；
S3，对于每种分割方式的多个图像块的匹配结果，舍弃误差高于设定值图像块，用剩余图像块的平均值作为该分割方式的最终匹配度；
S4，对每种分割方式得到的最终匹配度，选择匹配度最高的结果作为两幅图像最终的匹配度。
实施例2
在实施例1的基础上，在步骤S1中，所述多个图像块为四个图像块。
实施例3
在实施例2的基础上，在步骤S3中，当在步骤S1中将两幅图像按照不同的方式分割为等面积的四个图像块后，则所述舍弃误差高于设定值图像块包括子步骤：在四个图像块中，舍弃误差较大的两块，用剩余两个图像块的平均值作为该分割方式的最终匹配度。
实施例4
在实施例1的基础上，所述航拍图像为无人机航拍图像。
实施例5
一种无人机定位方法，包括步骤：
步骤1，无人机在初始位姿假设下，通过投影得到卫星地图上的理论观测图像；
步骤2，用如实施例1～实施例4任一所述的模板匹配方法，计算航拍图像与理论观测图像之间的匹配度；
步骤3，在初始位姿附近进行搜索，重复步骤1、步骤2，直到找到匹配度最高的理论观测图像，对应的位姿即为定位结果。
实施例6
在实施例5的基础上，在步骤S2中，所述卫星地图为针对实际场景发生局部变化的卫星地图。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种卫星地图与航拍图像模板匹配方法，其特征在于，包括步骤：
S1，在得到一个航拍图像和卫星地图的图像对之后，将两幅图像按照不同的方式分割为等面积的多个图像块；
S2，对于每种分割方式，计算两幅图像对应图像块之间的归一化信息距离；
S3，对于每种分割方式的多个图像块的匹配结果，舍弃误差高于设定值图像块，用剩余图像块的平均值作为该分割方式的最终匹配度；
S4，对每种分割方式得到的最终匹配度，选择匹配度最高的结果作为两幅图像最终的匹配度。
2.根据权利要求1所述的卫星地图与航拍图像模板匹配方法，其特征在于，在步骤S1中，所述多个图像块为四个图像块。
3.根据权利要求2所述的卫星地图与航拍图像模板匹配方法，其特征在于，在步骤S3中，当在步骤S1中将两幅图像按照不同的方式分割为等面积的四个图像块后，则所述舍弃误差高于设定值图像块包括子步骤：在四个图像块中，舍弃误差较大的两块，用剩余两个图像块的平均值作为该分割方式的最终匹配度。
4.根据权利要求1所述的卫星地图与航拍图像模板匹配方法，其特征在于，所述航拍图像为无人机航拍图像。
5.一种无人机定位方法，其特征在于，包括步骤：
步骤1，无人机在初始位姿假设下，通过投影得到卫星地图上的理论观测图像；
步骤2，用如权利要求1～4任一所述的模板匹配方法，计算航拍图像与理论观测图像之间的匹配度；
步骤3，在初始位姿附近进行搜索，重复步骤1、步骤2，直到找到匹配度最高的理论观测图像，对应的位姿即为定位结果。
6.根据权利要求5所述的无人机定位方法，其特征在于，在步骤S2中，所述卫星地图为针对实际场景发生局部变化的卫星地图。
CN202210722561.7A 2022-06-24 2022-06-24 卫星地图与航拍图像模板匹配方法、无人机定位方法 Pending CN114998629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210722561.7A CN114998629A (zh) 2022-06-24 2022-06-24 卫星地图与航拍图像模板匹配方法、无人机定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210722561.7A CN114998629A (zh) 2022-06-24 2022-06-24 卫星地图与航拍图像模板匹配方法、无人机定位方法

Publications (1)

Publication Number Publication Date
CN114998629A true CN114998629A (zh) 2022-09-02

Family

ID=83037862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210722561.7A Pending CN114998629A (zh) 2022-06-24 2022-06-24 卫星地图与航拍图像模板匹配方法、无人机定位方法

Country Status (1)

Country Link
CN (1) CN114998629A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664684A (zh) * 2022-12-13 2023-08-29 荣耀终端有限公司 定位方法、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664684A (zh) * 2022-12-13 2023-08-29 荣耀终端有限公司 定位方法、电子设备及计算机可读存储介质
CN116664684B (zh) * 2022-12-13 2024-04-05 荣耀终端有限公司 定位方法、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11042966B2 (en) Method, electronic device, and storage medium for obtaining depth image
CN110567469A (zh) 视觉定位方法、装置、电子设备及系统
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN115329111B (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
CN114998773B (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN114565863A (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
CN114998629A (zh) 卫星地图与航拍图像模板匹配方法、无人机定位方法
US9232128B2 (en) Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program
CN109691185B (zh) 一种定位方法、装置、终端和可读存储介质
WO2019242392A1 (zh) 一种数据库构建方法、一种定位方法及其相关设备
CN116824463B (zh) 视频的关键帧提取方法、计算机可读存储介质及电子设备
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN112613372B (zh) 一种室外环境视觉惯性slam方法及装置
CN115049792B (zh) 一种高精度地图构建处理方法及系统
CN114283081B (zh) 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN114331919B (zh) 深度恢复方法、电子设备及存储介质
CN113379816B (zh) 结构变动检测方法、电子设备及存储介质
CN110245674A (zh) 模板匹配方法、装置、设备及计算机存储介质
CN113379787B (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法
CN113808269A (zh) 地图生成方法、定位方法、系统及计算机可读存储介质
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
US20240046495A1 (en) Method for training depth recognition model, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination