CN114201633B - 一种用于无人机视觉定位的自适应卫星图像生成方法 - Google Patents

一种用于无人机视觉定位的自适应卫星图像生成方法 Download PDF

Info

Publication number
CN114201633B
CN114201633B CN202210146240.7A CN202210146240A CN114201633B CN 114201633 B CN114201633 B CN 114201633B CN 202210146240 A CN202210146240 A CN 202210146240A CN 114201633 B CN114201633 B CN 114201633B
Authority
CN
China
Prior art keywords
satellite
image
real
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210146240.7A
Other languages
English (en)
Other versions
CN114201633A (zh
Inventor
徐宇
夏炎杰
陈姝婷
王逸涛
李嘉坤
周永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tengdun Technology Co Ltd
Original Assignee
Sichuan Tengdun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tengdun Technology Co Ltd filed Critical Sichuan Tengdun Technology Co Ltd
Priority to CN202210146240.7A priority Critical patent/CN114201633B/zh
Publication of CN114201633A publication Critical patent/CN114201633A/zh
Application granted granted Critical
Publication of CN114201633B publication Critical patent/CN114201633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开了一种用于无人机视觉定位的自适应卫星图像生成方法，其包括：根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。本发明能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。

Description

一种用于无人机视觉定位的自适应卫星图像生成方法
技术领域
本发明涉及遥感图像技术领域，特别是一种用于无人机视觉定位的自适应卫星图像生成方法。
背景技术
近年来，随着无人机相关产业的快速发展，各种类型的无人机开始广泛运用于航拍、遥测、侦察、精准打击等民用或军事领域。在正常情况下，无人机依靠GPS信号进行自身定位，但是无人机在任务过程中往往会遇到GPS信号暂时不可用的情况，比如无人机所在区域GPS信号较差或GPS信号受干扰，在这种情形下，基于光学图像匹配的视觉定位方法能够接替GPS为无人机持续提供定位信息。
目前主流的视觉定位方法如ORB SLAM、VINS MONO等都基于视觉里程计（VisualOdometry,VO）或视觉惯性融合里程计（Visual Inertial Odometry，VIO）。从实现原理上来看，无论是VO还是VIO都是通过无人机在飞行过程中拍摄的实时图像两两匹配来计算无人机的相对位姿变化，但是无法计算出无人机在空间中的绝对位置，在长时间的运行后会产生较大的累积误差，因此无法应用于长航时的无人机平台。
为了能在无人机飞行任务中实时估计无人机的绝对位置，需要将无人机拍摄的实时图像与已知绝对位置的参考图像进行在线匹配，并且根据匹配结果计算出无人机实拍图像相对于卫星图像的偏移量，从而求解出无人机在惯性空间下的绝对位置估计。
考虑到卫星图像本身具有绝对位置信息，又能比较好地反映现实景物特征，是目前能够获取到的最理想的参考图像。
使用卫星图像参与视觉定位过程中的图像匹配需要解决两方面问题：
1.卫星图像的实时在线生成。目前的视觉定位研究中，卫星图像的生成往往是依赖人工离线进行地图截取，这种方法制备的离线地图库难以适应任务过程中遇到的变化（如无人机航迹变更或航迹偏移）。
2.卫星图像与无人机实拍图像在尺度等方面的差异。图像特征匹配是视觉定位过程中的关键一环，特征匹配的优劣对定位精度有极大的影响。原始的卫星图像在角度、视场、尺度、大小等方面与无人机的实拍图像往往都存在着较大的差异，在进行图像特征匹配时往往不能获得理想的匹配结果。
发明内容
鉴于此，本发明提供一种用于无人机视觉定位的自适应卫星图像生成方法，能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。
本发明公开了一种用于无人机视觉定位的自适应卫星图像生成方法，包括：
根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；
根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；
根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；
将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。
优选地，所述根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为
Figure 506010DEST_PATH_IMAGE001
和无人机当前实拍图像的地图层级为
Figure 443879DEST_PATH_IMAGE002
，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure DEST_PATH_IMAGE003
其中，
Figure 738594DEST_PATH_IMAGE004
为实拍图像的中心点在
Figure DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 244662DEST_PATH_IMAGE006
为实拍图像的中心点在
Figure DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 493503DEST_PATH_IMAGE008
为向下取整运算。
优选地，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，所述无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，所述无人机的当前位置估计均由其上一帧的视觉定位信息给出。
优选地，所述根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为
Figure DEST_PATH_IMAGE009
；卫星地图中单个像素的经纬跨度为
Figure 235063DEST_PATH_IMAGE010
；则实拍图像相对于卫星地图瓦片的尺度倍率在
Figure 790809DEST_PATH_IMAGE005
方向为
Figure DEST_PATH_IMAGE011
，在
Figure 592412DEST_PATH_IMAGE012
方向为
Figure DEST_PATH_IMAGE013
；其中，
Figure 92664DEST_PATH_IMAGE014
为无人机实拍图像中单个像素的经度跨度，
Figure DEST_PATH_IMAGE015
为无人机实拍图像中单个像素的纬度跨度，
Figure 88781DEST_PATH_IMAGE016
为卫星地图中单个像素的经度跨度，
Figure DEST_PATH_IMAGE017
为卫星地图中单个像素的纬度跨度。
优选地，所述根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
优选地，所述根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围，包括：
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在
Figure 30192DEST_PATH_IMAGE005
、
Figure 737117DEST_PATH_IMAGE007
方向上分别截取
Figure 865610DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
个像素的区域：
Figure 152235DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
、
Figure 338366DEST_PATH_IMAGE022
分别为无人机当前实拍图像的宽分辨率、高分辨率；
Figure 825979DEST_PATH_IMAGE023
为在
Figure 67867DEST_PATH_IMAGE005
方向上的尺度倍率，
Figure DEST_PATH_IMAGE024
为在
Figure 830286DEST_PATH_IMAGE007
方向上的尺度倍率。
优选地，所述根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
设总共需要在
Figure 605344DEST_PATH_IMAGE005
，
Figure 263859DEST_PATH_IMAGE007
两个方向拼接
Figure 491578DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
个瓦片，则可计算得：
Figure 792109DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE028
为卫星地图中从
Figure 156094DEST_PATH_IMAGE005
方向应当截取的像素数量，
Figure 611609DEST_PATH_IMAGE029
为卫星地图中从
Figure 201990DEST_PATH_IMAGE007
方向应当截取的像素数量，
Figure DEST_PATH_IMAGE030
为向上取整运算；
进一步求得瓦片索引范围
Figure 430846DEST_PATH_IMAGE031
，
Figure DEST_PATH_IMAGE032
Figure 383758DEST_PATH_IMAGE033
其中，
Figure DEST_PATH_IMAGE034
为实拍图像的中心点在
Figure 915234DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 117545DEST_PATH_IMAGE035
为实拍图像的中心点在
Figure 228721DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 334342DEST_PATH_IMAGE008
为向下取整运算，
Figure DEST_PATH_IMAGE036
为向上取整运算。
优选地，所述将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
优选地，所述将该重合区域从底图中截取出来，具体为：
以
Figure 36719DEST_PATH_IMAGE037
为中心，在所述底图上截取宽高为
Figure DEST_PATH_IMAGE038
个像素的区域；其中：
Figure 929589DEST_PATH_IMAGE039
其中，
Figure 234668DEST_PATH_IMAGE037
为所述重合区域的中心点在所述底图中的像素位置，
Figure DEST_PATH_IMAGE040
、
Figure 834277DEST_PATH_IMAGE041
分别为在
Figure 301030DEST_PATH_IMAGE005
、
Figure 353300DEST_PATH_IMAGE007
两个方向拼接的瓦片数量，
Figure DEST_PATH_IMAGE042
、
Figure 229114DEST_PATH_IMAGE043
分别为无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 417650DEST_PATH_IMAGE005
、
Figure 55305DEST_PATH_IMAGE007
方向上的像素位置，
Figure DEST_PATH_IMAGE044
为向下取整运算。
优选地，所述无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 188346DEST_PATH_IMAGE005
、
Figure 507332DEST_PATH_IMAGE007
方向上的像素位置具体为：
Figure 815953DEST_PATH_IMAGE045
。
由于采用了上述技术方案，本发明具有如下的优点：本发明能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种用于无人机视觉定位的自适应卫星图像生成方法的流程示意图；
图2为本发明实施例的卫星地图瓦片示意图；
图3为本发明实施例的无人机实拍图像示意图；
图4为本发明实施例的瓦片拼接后的卫星图底图示意图；
图5(a)为本发明实施例的一种无人机实拍图像示意图；
图5(b)是图5(a)对应生成的自适应卫星图像示意图；
图5(c)为本发明实施例的又一种无人机实拍图像示意图；
图5(d)是图5(c)对应生成的自适应卫星图像示意图；
图6(a)是图5(a)和图5(b)的图像特征匹配结果示意图；
图6(b)是图5(c)和图5(d)的图像特征匹配结果示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
参见图1，本发明提供了一种用于无人机视觉定位的自适应卫星图像生成方法的实施例，该方法包括：
S101：根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号。
参见图2，其示意性给出了一张卫星地图瓦片，参见图3，其示意性给出了无人机实拍图像示意图。
S102：根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率。
S103：根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
S104：将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。
本实施例中，根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为
Figure 890088DEST_PATH_IMAGE001
和无人机当前实拍图像的地图层级为
Figure 651371DEST_PATH_IMAGE002
，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure 337830DEST_PATH_IMAGE003
其中，
Figure 500958DEST_PATH_IMAGE004
为实拍图像的中心点在
Figure 683677DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 56890DEST_PATH_IMAGE006
为实拍图像的中心点在
Figure 655361DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 63209DEST_PATH_IMAGE008
为向下取整运算。
本实施例中，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，无人机的当前位置估计均由其上一帧的视觉定位信息给出。
本实施例中，根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为
Figure 151251DEST_PATH_IMAGE009
；卫星地图中单个像素的经纬跨度为
Figure 887126DEST_PATH_IMAGE010
；则实拍图像相对于卫星地图瓦片的尺度倍率在
Figure 679501DEST_PATH_IMAGE005
方向为
Figure 551642DEST_PATH_IMAGE011
，在
Figure 639946DEST_PATH_IMAGE012
方向为
Figure 659855DEST_PATH_IMAGE013
；其中，
Figure 865708DEST_PATH_IMAGE014
为无人机实拍图像中单个像素的经度跨度，
Figure 716989DEST_PATH_IMAGE015
为无人机实拍图像中单个像素的纬度跨度，
Figure 615675DEST_PATH_IMAGE016
为卫星地图中单个像素的经度跨度，
Figure 122880DEST_PATH_IMAGE017
为卫星地图中单个像素的纬度跨度。
本实施例中，根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
本实施例中，根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围，包括：
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在
Figure 991479DEST_PATH_IMAGE005
、
Figure 103791DEST_PATH_IMAGE007
方向上分别截取
Figure DEST_PATH_IMAGE046
、
Figure 235695DEST_PATH_IMAGE019
个像素的区域：
Figure 230196DEST_PATH_IMAGE020
其中，
Figure 403951DEST_PATH_IMAGE021
、
Figure 105191DEST_PATH_IMAGE022
分别为无人机当前实拍图像的宽分辨率、高分辨率；
Figure 470313DEST_PATH_IMAGE047
为在
Figure 889793DEST_PATH_IMAGE005
方向上的尺度倍率，
Figure DEST_PATH_IMAGE048
为在
Figure 631353DEST_PATH_IMAGE007
方向上的尺度倍率。
本实施例中，根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
设总共需要在
Figure 452678DEST_PATH_IMAGE005
，
Figure 723123DEST_PATH_IMAGE007
两个方向拼接
Figure 629899DEST_PATH_IMAGE025
，
Figure 133737DEST_PATH_IMAGE026
个瓦片，则可计算得：
Figure 871886DEST_PATH_IMAGE027
其中，
Figure 454177DEST_PATH_IMAGE028
为卫星地图中从
Figure 707304DEST_PATH_IMAGE005
方向应当截取的像素数量，
Figure 400454DEST_PATH_IMAGE029
为卫星地图中从
Figure 727530DEST_PATH_IMAGE007
方向应当截取的像素数量，
Figure 605356DEST_PATH_IMAGE030
为向上取整运算；
进一步求得瓦片索引范围
Figure 486724DEST_PATH_IMAGE031
，
Figure 842619DEST_PATH_IMAGE032
Figure 493043DEST_PATH_IMAGE033
其中，
Figure 948295DEST_PATH_IMAGE034
为实拍图像的中心点在
Figure 943059DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 712431DEST_PATH_IMAGE035
为实拍图像的中心点在
Figure 607575DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 436991DEST_PATH_IMAGE008
为向下取整运算，
Figure 89689DEST_PATH_IMAGE036
为向上取整运算。
参见图4，本实施例中，将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
图5(a)和图5(c)分别为两次不同飞行任务中的无人机实拍图像，图5(b)和图5(d)分别为本方法无人机实拍图像对应生成的自适应卫星图像。
参见图5(b)和图5(d)，给出了将重合区域从底图中截取出来的示意图，其中，截取出来的自适应卫星图像的大小与其对应的实拍图像大小相同。
本实施例中，将该重合区域从底图中截取出来，具体为：
以
Figure 52966DEST_PATH_IMAGE037
为中心，在底图上截取宽高为
Figure 146824DEST_PATH_IMAGE038
个像素的区域；其中：
Figure 537354DEST_PATH_IMAGE039
其中，
Figure 615031DEST_PATH_IMAGE037
为重合区域的中心点在底图中的像素位置，
Figure 54103DEST_PATH_IMAGE049
、
Figure DEST_PATH_IMAGE050
分别为在
Figure 362987DEST_PATH_IMAGE005
、
Figure 924418DEST_PATH_IMAGE007
两个方向拼接的瓦片数量，
Figure 489392DEST_PATH_IMAGE051
、
Figure 466575DEST_PATH_IMAGE043
分别为无人机当前实拍图像的中心点在卫星地图瓦片中所处的
Figure 925238DEST_PATH_IMAGE005
、
Figure 267358DEST_PATH_IMAGE007
方向上的像素位置，
Figure 444261DEST_PATH_IMAGE044
为向下取整运算。
本实施例中，无人机当前实拍图像的中心点在卫星地图瓦片中所处的
Figure 959556DEST_PATH_IMAGE005
、
Figure 413671DEST_PATH_IMAGE007
方向上的像素位置具体为：
Figure 818370DEST_PATH_IMAGE045
。
本方法通过当前无人机偏航角
Figure DEST_PATH_IMAGE052
的大小判断是否需要对实拍图像进行图像扩充与旋转，原则上只对偏航角较大的实拍图像进行扩充和旋转操作，从而在保持较高的旋转一致性的情况下能减少算法运行时间开销。
具体的，在根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号之前，本方法还包括：
当无人机偏航角大于10度，则扩充并旋转实拍图像；
当无人机偏航角小于10度，则不进行扩充和旋转实拍图像。
在拍摄时对应的偏航角很小时，参见图5(a)，因此直接使用该实拍图像进行后续的相关计算；在拍摄时偏航角较大时，参见图5(c)，因此将该实拍图像进行了扩充和旋转。
参见图6(a)和图6(b)，本实施例中，在生成自适应卫星图像之后，该方法还可包括：
将无人机当前位置的实拍图像与其对应的自适应卫星图像进行特征匹配。
可以发现，本方法最终生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像保持了较高的一致性，并且将该卫星图像与无人机实拍图像进行特征匹配能够获得较理想的结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种用于无人机视觉定位的自适应卫星图像生成方法，其特征在于，包括：
根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；
根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；
根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；
将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像；
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在X、Y方向上分别截取satellite_resX、satellite_resY个像素的区域：
Figure FDA0003570205400000011
其中，Width、Height分别为无人机当前实拍图像的宽分辨率、高分辨率；flight_PERX/satellite_PERX为在X方向上的尺度倍率，flight_PERY/satellite_PERY为在Y方向上的尺度倍率；
设总共需要在X，Y两个方向拼接tileNumX，tileNumY个瓦片，则可计算得：
Figure FDA0003570205400000021
其中，satellite_resX为卫星地图中从X方向应当截取的像素数量，satellite_resY为卫星地图中从Y方向应当截取的像素数量，ceil为向上取整运算；
进一步求得瓦片索引范围(tileStartX，tileStartY)，(tileEndX，tileEndY)
Figure FDA0003570205400000022
其中，tileX为实拍图像的中心点在X方向上对应的瓦片索引号，tileY为实拍图像的中心点在Y方向上对应的瓦片索引号，floor为向下取整运算，ceil为向上取整运算。
2.根据权利要求1所述的方法，其特征在于，所述根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为(lon，lat)和无人机当前实拍图像的地图层级为z，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure FDA0003570205400000031
其中，tileX为实拍图像的中心点在X方向上对应的瓦片索引号，tileY为实拍图像的中心点在Y方向上对应的瓦片索引号，floor为向下取整运算。
3.根据权利要求1所述的方法，其特征在于，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，所述无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，所述无人机的当前位置估计均由其上一帧的视觉定位信息给出。
4.根据权利要求1所述的方法，其特征在于，所述根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为(flight_PERX，flight_PERY)；卫星地图中单个像素的经纬跨度为(satellite_PERX，satellite_PERY)；则实拍图像相对于卫星地图瓦片的尺度倍率在X方向为flight_PERX/satellite_PERX，在Y方向为flight_PERY/satellite_PERY；其中，flight_PERX为无人机实拍图像中单个像素的经度跨度，flight_PERY为无人机实拍图像中单个像素的纬度跨度，satellite_PERX为卫星地图中单个像素的经度跨度，satellite_PERY为卫星地图中单个像素的纬度跨度。
5.根据权利要求1所述的方法，其特征在于，所述根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
6.根据权利要求1所述的方法，其特征在于，所述将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
7.根据权利要求6所述的方法，其特征在于，所述将该重合区域从底图中截取出来，具体为：
以(posX_inMerge，posY_inMerge)为中心，在所述底图上截取宽高为(satellite_resX，satellite_resY)个像素的区域；其中：
Figure FDA0003570205400000051
其中，(posX_inMerge，posY_inMerge)为所述重合区域的中心点在所述底图中的像素位置，tileNumX、tileNumY分别为在X、Y两个方向拼接的瓦片数量，pixelX、pixelY分别为无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的X、Y方向上的像素位置，floor为向下取整运算。
8.根据权利要求7所述的方法，其特征在于，所述无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的X、Y方向上的像素位置具体为：
Figure FDA0003570205400000052
CN202210146240.7A 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法 Active CN114201633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210146240.7A CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146240.7A CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Publications (2)

Publication Number Publication Date
CN114201633A CN114201633A (zh) 2022-03-18
CN114201633B true CN114201633B (zh) 2022-05-17

Family

ID=80645610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146240.7A Active CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Country Status (1)

Country Link
CN (1) CN114201633B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430572B (zh) * 2023-06-15 2023-08-29 海狸文创科技(深圳)有限公司 基于望远镜的自动聚焦搜星方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250481B2 (en) * 2008-10-16 2012-08-21 The Curators Of The University Of Missouri Visualizing geographic-area change detected from high-resolution, remotely sensed imagery
CN102254312A (zh) * 2011-07-08 2011-11-23 国电南瑞科技股份有限公司 地理瓦片图拼接方法
CN106844537B (zh) * 2016-12-30 2020-11-17 重庆大学 一种时空地图瓦片数据的组织管理方法
CN107240153B (zh) * 2017-06-16 2020-09-22 千寻位置网络有限公司 基于dsm的无人机飞行安全区域计算显示方法
WO2019041276A1 (zh) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles
CN110390721A (zh) * 2018-04-20 2019-10-29 曜宇航空科技（上海）有限公司 一种均匀分布绘制实时实景地图的方法及系统
CN109242862B (zh) * 2018-09-08 2021-06-11 西北工业大学 一种实时的数字表面模型生成方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN109612445B (zh) * 2018-12-17 2021-04-30 中国水利水电第十四工程局有限公司 一种基于无人机的WebGIS平台下高精度地形建立方法
RU2019123395A (ru) * 2019-05-24 2022-02-21 А^3 Бай Эйрбас Ллк Оценка рисков для беспилотных летательных транспортных средств
CN110223233B (zh) * 2019-06-11 2022-04-05 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110310248B (zh) * 2019-08-27 2019-11-26 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统
CN110966991B (zh) * 2019-11-21 2021-07-02 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN111078814B (zh) * 2019-12-10 2023-06-20 孝感科先电力工程咨询设计有限责任公司 一种基于瓦片地图的地图绘制方法
CN111784585B (zh) * 2020-09-07 2020-12-15 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112419374B (zh) * 2020-11-11 2022-12-27 北京航空航天大学 一种基于图像配准的无人机定位方法
CN113012094B (zh) * 2020-11-30 2022-12-20 中国科学院空天信息创新研究院 一种卫星遥感数据的处理方法及相关装置
CN112665554B (zh) * 2020-12-29 2022-11-11 杭州今奥信息科技股份有限公司 一种正射影像的生成方法与系统
CN113012084A (zh) * 2021-03-04 2021-06-22 中煤(西安)航测遥感研究院有限公司 无人机影像实时拼接方法、装置及终端设备
CN113340307A (zh) * 2021-05-31 2021-09-03 南通大学 一种基于田块划分的无人机路径规划方法

Also Published As

Publication number Publication date
CN114201633A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
EP3454008B1 (en) Survey data processing device, survey data processing method, and survey data processing program
EP3665440B1 (en) Image geo-registration for absolute navigation aiding using uncertainy information from the on-board navigation system
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及系统
CN109710724B (zh) 一种构建点云地图的方法和设备
Bolkas Assessment of GCP number and separation distance for small UAS surveys with and without GNSS-PPK positioning
US11508030B2 (en) Post capture imagery processing and deployment systems
CN104835115A (zh) 用于航空相机的图像成像方法及系统
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN107917699B (zh) 一种用于提高山区地貌倾斜摄影测量空三质量的方法
US8994821B2 (en) Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
JP2019035670A (ja) 自機位置計測装置、自機位置計測方法及び自機位置計測プログラム
CN116883251B (zh) 基于无人机视频的图像定向拼接与三维建模方法
CN115326084A (zh) 车辆定位方法、装置、计算机设备、存储介质
CN114201633B (zh) 一种用于无人机视觉定位的自适应卫星图像生成方法
KR100446195B1 (ko) 3차원 위치 측정 장치 및 그 방법
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
Burkard et al. User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality
CN112750075A (zh) 一种低空遥感影像拼接方法以及装置
CN112665554B (zh) 一种正射影像的生成方法与系统
RU2640944C2 (ru) Способ определения с космического аппарата координат источника кольцевых волн на водной поверхности
Kusuno et al. A method localizing an omnidirectional image in pre-constructed 3D wireframe map
CN114026386A (zh) 确定包含在卫星中的传感器访问目标区域的可能性的方法及卫星访问系统
CN110887475A (zh) 一种基于偏振北极点及偏振太阳矢量的静基座粗对准方法
Bettemir Error Analysis of Visual Odometry for a Small Size Unmanned Aerial Vehicle
JP2004127322A (ja) ステレオ画像形成方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant