CN114201633A - 一种用于无人机视觉定位的自适应卫星图像生成方法 - Google Patents

一种用于无人机视觉定位的自适应卫星图像生成方法 Download PDF

Info

Publication number
CN114201633A
CN114201633A CN202210146240.7A CN202210146240A CN114201633A CN 114201633 A CN114201633 A CN 114201633A CN 202210146240 A CN202210146240 A CN 202210146240A CN 114201633 A CN114201633 A CN 114201633A
Authority
CN
China
Prior art keywords
image
satellite
unmanned aerial
aerial vehicle
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210146240.7A
Other languages
English (en)
Other versions
CN114201633B (zh
Inventor
徐宇
夏炎杰
陈姝婷
王逸涛
李嘉坤
周永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tengdun Technology Co Ltd
Original Assignee
Sichuan Tengdun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tengdun Technology Co Ltd filed Critical Sichuan Tengdun Technology Co Ltd
Priority to CN202210146240.7A priority Critical patent/CN114201633B/zh
Publication of CN114201633A publication Critical patent/CN114201633A/zh
Application granted granted Critical
Publication of CN114201633B publication Critical patent/CN114201633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Abstract

本发明公开了一种用于无人机视觉定位的自适应卫星图像生成方法，其包括：根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。本发明能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。

Description

一种用于无人机视觉定位的自适应卫星图像生成方法
技术领域
本发明涉及遥感图像技术领域，特别是一种用于无人机视觉定位的自适应卫星图像生成方法。
背景技术
近年来，随着无人机相关产业的快速发展，各种类型的无人机开始广泛运用于航拍、遥测、侦察、精准打击等民用或军事领域。在正常情况下，无人机依靠GPS信号进行自身定位，但是无人机在任务过程中往往会遇到GPS信号暂时不可用的情况，比如无人机所在区域GPS信号较差或GPS信号受干扰，在这种情形下，基于光学图像匹配的视觉定位方法能够接替GPS为无人机持续提供定位信息。
目前主流的视觉定位方法如ORB SLAM、VINS MONO等都基于视觉里程计（VisualOdometry,VO）或视觉惯性融合里程计（Visual Inertial Odometry，VIO）。从实现原理上来看，无论是VO还是VIO都是通过无人机在飞行过程中拍摄的实时图像两两匹配来计算无人机的相对位姿变化，但是无法计算出无人机在空间中的绝对位置，在长时间的运行后会产生较大的累积误差，因此无法应用于长航时的无人机平台。
为了能在无人机飞行任务中实时估计无人机的绝对位置，需要将无人机拍摄的实时图像与已知绝对位置的参考图像进行在线匹配，并且根据匹配结果计算出无人机实拍图像相对于卫星图像的偏移量，从而求解出无人机在惯性空间下的绝对位置估计。
考虑到卫星图像本身具有绝对位置信息，又能比较好地反映现实景物特征，是目前能够获取到的最理想的参考图像。
使用卫星图像参与视觉定位过程中的图像匹配需要解决两方面问题：
1.卫星图像的实时在线生成。目前的视觉定位研究中，卫星图像的生成往往是依赖人工离线进行地图截取，这种方法制备的离线地图库难以适应任务过程中遇到的变化（如无人机航迹变更或航迹偏移）。
2.卫星图像与无人机实拍图像在尺度等方面的差异。图像特征匹配是视觉定位过程中的关键一环，特征匹配的优劣对定位精度有极大的影响。原始的卫星图像在角度、视场、尺度、大小等方面与无人机的实拍图像往往都存在着较大的差异，在进行图像特征匹配时往往不能获得理想的匹配结果。
发明内容
鉴于此，本发明提供一种用于无人机视觉定位的自适应卫星图像生成方法，能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。
本发明公开了一种用于无人机视觉定位的自适应卫星图像生成方法，包括：
根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；
根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；
根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；
将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。
优选地，所述根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为
Figure 506010DEST_PATH_IMAGE001
和无人机当前实拍图像的地图层级为
Figure 443879DEST_PATH_IMAGE002
，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure DEST_PATH_IMAGE003
其中，
Figure 738594DEST_PATH_IMAGE004
为实拍图像的中心点在
Figure DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 244662DEST_PATH_IMAGE006
为实拍图像的中心点在
Figure DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 493503DEST_PATH_IMAGE008
为向下取整运算。
优选地，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，所述无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，所述无人机的当前位置估计均由其上一帧的视觉定位信息给出。
优选地，所述根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为
Figure DEST_PATH_IMAGE009
；卫星地图中单个像素的经纬跨度为
Figure 235063DEST_PATH_IMAGE010
；则实拍图像相对于卫星地图瓦片的尺度倍率在
Figure 790809DEST_PATH_IMAGE005
方向为
Figure DEST_PATH_IMAGE011
，在
Figure 592412DEST_PATH_IMAGE012
方向为
Figure DEST_PATH_IMAGE013
；其中，
Figure 92664DEST_PATH_IMAGE014
为无人机实拍图像中单个像素的经度跨度，
Figure DEST_PATH_IMAGE015
为无人机实拍图像中单个像素的纬度跨度，
Figure 88781DEST_PATH_IMAGE016
为卫星地图中单个像素的经度跨度，
Figure DEST_PATH_IMAGE017
为卫星地图中单个像素的纬度跨度。
优选地，所述根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
优选地，所述根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围，包括：
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在
Figure 30192DEST_PATH_IMAGE005
、
Figure 737117DEST_PATH_IMAGE007
方向上分别截取
Figure 865610DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
个像素的区域：
Figure 152235DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
、
Figure 338366DEST_PATH_IMAGE022
分别为无人机当前实拍图像的宽分辨率、高分辨率；
Figure 825979DEST_PATH_IMAGE023
为在
Figure 67867DEST_PATH_IMAGE005
方向上的尺度倍率，
Figure DEST_PATH_IMAGE024
为在
Figure 830286DEST_PATH_IMAGE007
方向上的尺度倍率。
优选地，所述根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
设总共需要在
Figure 605344DEST_PATH_IMAGE005
，
Figure 263859DEST_PATH_IMAGE007
两个方向拼接
Figure 491578DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
个瓦片，则可计算得：
Figure 792109DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE028
为卫星地图中从
Figure 156094DEST_PATH_IMAGE005
方向应当截取的像素数量，
Figure 611609DEST_PATH_IMAGE029
为卫星地图中从
Figure 201990DEST_PATH_IMAGE007
方向应当截取的像素数量，
Figure DEST_PATH_IMAGE030
为向上取整运算；
进一步求得瓦片索引范围
Figure 430846DEST_PATH_IMAGE031
，
Figure DEST_PATH_IMAGE032
Figure 383758DEST_PATH_IMAGE033
其中，
Figure DEST_PATH_IMAGE034
为实拍图像的中心点在
Figure 915234DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 117545DEST_PATH_IMAGE035
为实拍图像的中心点在
Figure 228721DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 334342DEST_PATH_IMAGE008
为向下取整运算，
Figure DEST_PATH_IMAGE036
为向上取整运算。
优选地，所述将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
优选地，所述将该重合区域从底图中截取出来，具体为：
以
Figure 36719DEST_PATH_IMAGE037
为中心，在所述底图上截取宽高为
Figure DEST_PATH_IMAGE038
个像素的区域；其中：
Figure 929589DEST_PATH_IMAGE039
其中，
Figure 234668DEST_PATH_IMAGE037
为所述重合区域的中心点在所述底图中的像素位置，
Figure DEST_PATH_IMAGE040
、
Figure 834277DEST_PATH_IMAGE041
分别为在
Figure 301030DEST_PATH_IMAGE005
、
Figure 353300DEST_PATH_IMAGE007
两个方向拼接的瓦片数量，
Figure DEST_PATH_IMAGE042
、
Figure 229114DEST_PATH_IMAGE043
分别为无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 417650DEST_PATH_IMAGE005
、
Figure 55305DEST_PATH_IMAGE007
方向上的像素位置，
Figure DEST_PATH_IMAGE044
为向下取整运算。
优选地，所述无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 188346DEST_PATH_IMAGE005
、
Figure 507332DEST_PATH_IMAGE007
方向上的像素位置具体为：
Figure 815953DEST_PATH_IMAGE045
。
由于采用了上述技术方案，本发明具有如下的优点：本发明能够实时在线生成卫星图像，且生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像具有较高的一致性，能够为无人机的全局视觉定位算法提供有力的支持。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种用于无人机视觉定位的自适应卫星图像生成方法的流程示意图；
图2为本发明实施例的卫星地图瓦片示意图；
图3为本发明实施例的无人机实拍图像示意图；
图4为本发明实施例的瓦片拼接后的卫星图底图示意图；
图5(a)为本发明实施例的一种无人机实拍图像示意图；
图5(b)是图5(a)对应生成的自适应卫星图像示意图；
图5(c)为本发明实施例的又一种无人机实拍图像示意图；
图5(d)是图5(c)对应生成的自适应卫星图像示意图；
图6(a)是图5(a)和图5(b)的图像特征匹配结果示意图；
图6(b)是图5(c)和图5(d)的图像特征匹配结果示意图。
具体实施方式
结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
参见图1，本发明提供了一种用于无人机视觉定位的自适应卫星图像生成方法的实施例，该方法包括：
S101：根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号。
参见图2，其示意性给出了一张卫星地图瓦片，参见图3，其示意性给出了无人机实拍图像示意图。
S102：根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率。
S103：根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
S104：将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。
本实施例中，根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为
Figure 890088DEST_PATH_IMAGE001
和无人机当前实拍图像的地图层级为
Figure 651371DEST_PATH_IMAGE002
，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure 337830DEST_PATH_IMAGE003
其中，
Figure 500958DEST_PATH_IMAGE004
为实拍图像的中心点在
Figure 683677DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 56890DEST_PATH_IMAGE006
为实拍图像的中心点在
Figure 655361DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 63209DEST_PATH_IMAGE008
为向下取整运算。
本实施例中，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，无人机的当前位置估计均由其上一帧的视觉定位信息给出。
本实施例中，根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为
Figure 151251DEST_PATH_IMAGE009
；卫星地图中单个像素的经纬跨度为
Figure 887126DEST_PATH_IMAGE010
；则实拍图像相对于卫星地图瓦片的尺度倍率在
Figure 679501DEST_PATH_IMAGE005
方向为
Figure 551642DEST_PATH_IMAGE011
，在
Figure 639946DEST_PATH_IMAGE012
方向为
Figure 659855DEST_PATH_IMAGE013
；其中，
Figure 865708DEST_PATH_IMAGE014
为无人机实拍图像中单个像素的经度跨度，
Figure 716989DEST_PATH_IMAGE015
为无人机实拍图像中单个像素的纬度跨度，
Figure 615675DEST_PATH_IMAGE016
为卫星地图中单个像素的经度跨度，
Figure 122880DEST_PATH_IMAGE017
为卫星地图中单个像素的纬度跨度。
本实施例中，根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
本实施例中，根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围，包括：
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在
Figure 991479DEST_PATH_IMAGE005
、
Figure 103791DEST_PATH_IMAGE007
方向上分别截取
Figure DEST_PATH_IMAGE046
、
Figure 235695DEST_PATH_IMAGE019
个像素的区域：
Figure 230196DEST_PATH_IMAGE020
其中，
Figure 403951DEST_PATH_IMAGE021
、
Figure 105191DEST_PATH_IMAGE022
分别为无人机当前实拍图像的宽分辨率、高分辨率；
Figure 470313DEST_PATH_IMAGE047
为在
Figure 889793DEST_PATH_IMAGE005
方向上的尺度倍率，
Figure DEST_PATH_IMAGE048
为在
Figure 631353DEST_PATH_IMAGE007
方向上的尺度倍率。
本实施例中，根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
设总共需要在
Figure 452678DEST_PATH_IMAGE005
，
Figure 723123DEST_PATH_IMAGE007
两个方向拼接
Figure 629899DEST_PATH_IMAGE025
，
Figure 133737DEST_PATH_IMAGE026
个瓦片，则可计算得：
Figure 871886DEST_PATH_IMAGE027
其中，
Figure 454177DEST_PATH_IMAGE028
为卫星地图中从
Figure 707304DEST_PATH_IMAGE005
方向应当截取的像素数量，
Figure 400454DEST_PATH_IMAGE029
为卫星地图中从
Figure 727530DEST_PATH_IMAGE007
方向应当截取的像素数量，
Figure 605356DEST_PATH_IMAGE030
为向上取整运算；
进一步求得瓦片索引范围
Figure 486724DEST_PATH_IMAGE031
，
Figure 842619DEST_PATH_IMAGE032
Figure 493043DEST_PATH_IMAGE033
其中，
Figure 948295DEST_PATH_IMAGE034
为实拍图像的中心点在
Figure 943059DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 712431DEST_PATH_IMAGE035
为实拍图像的中心点在
Figure 607575DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 436991DEST_PATH_IMAGE008
为向下取整运算，
Figure 89689DEST_PATH_IMAGE036
为向上取整运算。
参见图4，本实施例中，将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
图5(a)和图5(c)分别为两次不同飞行任务中的无人机实拍图像，图5(b)和图5(d)分别为本方法无人机实拍图像对应生成的自适应卫星图像。
参见图5(b)和图5(d)，给出了将重合区域从底图中截取出来的示意图，其中，截取出来的自适应卫星图像的大小与其对应的实拍图像大小相同。
本实施例中，将该重合区域从底图中截取出来，具体为：
以
Figure 52966DEST_PATH_IMAGE037
为中心，在底图上截取宽高为
Figure 146824DEST_PATH_IMAGE038
个像素的区域；其中：
Figure 537354DEST_PATH_IMAGE039
其中，
Figure 615031DEST_PATH_IMAGE037
为重合区域的中心点在底图中的像素位置，
Figure 54103DEST_PATH_IMAGE049
、
Figure DEST_PATH_IMAGE050
分别为在
Figure 362987DEST_PATH_IMAGE005
、
Figure 924418DEST_PATH_IMAGE007
两个方向拼接的瓦片数量，
Figure 489392DEST_PATH_IMAGE051
、
Figure 466575DEST_PATH_IMAGE043
分别为无人机当前实拍图像的中心点在卫星地图瓦片中所处的
Figure 925238DEST_PATH_IMAGE005
、
Figure 267358DEST_PATH_IMAGE007
方向上的像素位置，
Figure 444261DEST_PATH_IMAGE044
为向下取整运算。
本实施例中，无人机当前实拍图像的中心点在卫星地图瓦片中所处的
Figure 959556DEST_PATH_IMAGE005
、
Figure 413671DEST_PATH_IMAGE007
方向上的像素位置具体为：
Figure 818370DEST_PATH_IMAGE045
。
本方法通过当前无人机偏航角
Figure DEST_PATH_IMAGE052
的大小判断是否需要对实拍图像进行图像扩充与旋转，原则上只对偏航角较大的实拍图像进行扩充和旋转操作，从而在保持较高的旋转一致性的情况下能减少算法运行时间开销。
具体的，在根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号之前，本方法还包括：
当无人机偏航角大于10度，则扩充并旋转实拍图像；
当无人机偏航角小于10度，则不进行扩充和旋转实拍图像。
在拍摄时对应的偏航角很小时，参见图5(a)，因此直接使用该实拍图像进行后续的相关计算；在拍摄时偏航角较大时，参见图5(c)，因此将该实拍图像进行了扩充和旋转。
参见图6(a)和图6(b)，本实施例中，在生成自适应卫星图像之后，该方法还可包括：
将无人机当前位置的实拍图像与其对应的自适应卫星图像进行特征匹配。
可以发现，本方法最终生成的卫星图像在视场、角度、尺度、大小等方面与实拍图像保持了较高的一致性，并且将该卫星图像与无人机实拍图像进行特征匹配能够获得较理想的结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种用于无人机视觉定位的自适应卫星图像生成方法，其特征在于，包括：
根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号；
根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率；
根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片；
将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像。
2.根据权利要求1所述的方法，其特征在于，所述根据无人机的当前位置估计，计算出无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号，包括：
设无人机当前实拍图像的中心点的经纬度坐标为
Figure 251490DEST_PATH_IMAGE001
和无人机当前实拍图像的地图层级为
Figure 861463DEST_PATH_IMAGE002
，计算得到无人机当前实拍图像的中心点所处的卫星地图中的瓦片索引号：
Figure 156178DEST_PATH_IMAGE003
其中，
Figure 193404DEST_PATH_IMAGE004
为实拍图像的中心点在
Figure 144043DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 557706DEST_PATH_IMAGE006
为实拍图像的中心点在
Figure 208393DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 416520DEST_PATH_IMAGE008
为向下取整运算。
3.根据权利要求1所述的方法，其特征在于，在实际飞行任务过程中，当无人机处于GPS失效后的飞行初始状态时，所述无人机的当前位置估计为GPS失效前的最后一次定位信息；当无人机处于飞行初始状态之后的飞行状态时，所述无人机的当前位置估计均由其上一帧的视觉定位信息给出。
4.根据权利要求1所述的方法，其特征在于，所述根据当前实拍图像和卫星地图中像素的经纬度跨度，计算实拍图像相对于卫星地图瓦片的尺度倍率，具体为：
设无人机实拍图像中单个像素的经纬跨度为
Figure 588876DEST_PATH_IMAGE009
；卫星地图中单个像素的经纬跨度为
Figure 806230DEST_PATH_IMAGE010
；则实拍图像相对于卫星地图瓦片的尺度倍率在
Figure 809958DEST_PATH_IMAGE005
方向为
Figure 454566DEST_PATH_IMAGE011
，在
Figure 114218DEST_PATH_IMAGE012
方向为
Figure 869684DEST_PATH_IMAGE013
；其中，
Figure 993498DEST_PATH_IMAGE014
为无人机实拍图像中单个像素的经度跨度，
Figure 809007DEST_PATH_IMAGE015
为无人机实拍图像中单个像素的纬度跨度，
Figure 690376DEST_PATH_IMAGE016
为卫星地图中单个像素的经度跨度，
Figure 750998DEST_PATH_IMAGE017
为卫星地图中单个像素的纬度跨度。
5.根据权利要求1所述的方法，其特征在于，所述根据瓦片索引号、尺度倍率、当前实拍图像的视场，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围；
根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片。
6.根据权利要求5所述的方法，其特征在于，所述根据尺度倍率和当前实拍图像的视场，计算区域瓦片搜索范围，包括：
为了保证生成的卫星图像与无人机的当前实拍图像的视场相同，需要从卫星地图中在
Figure 729318DEST_PATH_IMAGE005
、
Figure 715729DEST_PATH_IMAGE007
方向上分别截取
Figure 349972DEST_PATH_IMAGE018
、
Figure 447241DEST_PATH_IMAGE019
个像素的区域：
Figure 280068DEST_PATH_IMAGE020
其中，
Figure 437380DEST_PATH_IMAGE021
、
Figure 293341DEST_PATH_IMAGE022
分别为无人机当前实拍图像的宽分辨率、高分辨率；
Figure 194300DEST_PATH_IMAGE023
为在
Figure 147213DEST_PATH_IMAGE005
方向上的尺度倍率，
Figure 976891DEST_PATH_IMAGE024
为在
Figure 320148DEST_PATH_IMAGE007
方向上的尺度倍率。
7.根据权利要求6所述的方法，其特征在于，所述根据瓦片索引号、区域瓦片搜索范围，计算得到当前实拍图像对应区域中包含的全部卫星地图瓦片，包括：
设总共需要在
Figure 759219DEST_PATH_IMAGE005
，
Figure 566638DEST_PATH_IMAGE007
两个方向拼接
Figure 65753DEST_PATH_IMAGE025
，
Figure 896305DEST_PATH_IMAGE026
个瓦片，则可计算得：
Figure 139068DEST_PATH_IMAGE027
其中，
Figure 66573DEST_PATH_IMAGE028
为卫星地图中从
Figure 736588DEST_PATH_IMAGE005
方向应当截取的像素数量，
Figure 788858DEST_PATH_IMAGE029
为卫星地图中从
Figure 835311DEST_PATH_IMAGE007
方向应当截取的像素数量，
Figure 853208DEST_PATH_IMAGE030
为向上取整运算；
进一步求得瓦片索引范围
Figure 959705DEST_PATH_IMAGE031
，
Figure 296008DEST_PATH_IMAGE032
Figure 83835DEST_PATH_IMAGE033
其中，
Figure 454774DEST_PATH_IMAGE034
为实拍图像的中心点在
Figure 732171DEST_PATH_IMAGE005
方向上对应的瓦片索引号，
Figure 821350DEST_PATH_IMAGE035
为实拍图像的中心点在
Figure 944027DEST_PATH_IMAGE007
方向上对应的瓦片索引号，
Figure 638313DEST_PATH_IMAGE008
为向下取整运算，
Figure 86612DEST_PATH_IMAGE036
为向上取整运算。
8.根据权利要求1所述的方法，其特征在于，所述将全部卫星地图瓦片进行拼接、截取、放缩，生成自适应卫星图像，包括：
将全部卫星瓦片进行图像拼接构成一幅完整的底图，该底图的视场范围是当前实拍图像视场范围的父集，因此还需要根据当前实拍图像的视场范围、当前实拍图像中心点所在位置、尺度倍率共同计算出底图与当前实拍图像的重合区域，并将该重合区域从底图中截取出来；
截取后的卫星图像在视场、角度方面已经与当前实拍图像保持一致，最后将卫星图像放缩至与实拍图像大小即可保证尺度一致。
9.根据权利要求8所述的方法，其特征在于，所述将该重合区域从底图中截取出来，具体为：
以
Figure 898973DEST_PATH_IMAGE037
为中心，在所述底图上截取宽高为
Figure 28603DEST_PATH_IMAGE038
个像素的区域；其中：
Figure 374134DEST_PATH_IMAGE039
其中，
Figure 993334DEST_PATH_IMAGE040
为所述重合区域的中心点在所述底图中的像素位置，
Figure 791525DEST_PATH_IMAGE041
、
Figure 724846DEST_PATH_IMAGE042
分别为在
Figure 924884DEST_PATH_IMAGE005
、
Figure 714985DEST_PATH_IMAGE007
两个方向拼接的瓦片数量，
Figure 473DEST_PATH_IMAGE043
、
Figure 737485DEST_PATH_IMAGE044
分别为无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 792028DEST_PATH_IMAGE005
、
Figure 254496DEST_PATH_IMAGE007
方向上的像素位置，
Figure 27280DEST_PATH_IMAGE045
为向下取整运算。
10.根据权利要求9所述的方法，其特征在于，所述无人机当前实拍图像的中心点在所述卫星地图瓦片中所处的
Figure 302403DEST_PATH_IMAGE005
、
Figure 211454DEST_PATH_IMAGE007
方向上的像素位置具体为：
Figure 608937DEST_PATH_IMAGE046
。
CN202210146240.7A 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法 Active CN114201633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210146240.7A CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146240.7A CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Publications (2)

Publication Number Publication Date
CN114201633A true CN114201633A (zh) 2022-03-18
CN114201633B CN114201633B (zh) 2022-05-17

Family

ID=80645610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146240.7A Active CN114201633B (zh) 2022-02-17 2022-02-17 一种用于无人机视觉定位的自适应卫星图像生成方法

Country Status (1)

Country Link
CN (1) CN114201633B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430572A (zh) * 2023-06-15 2023-07-14 海狸文创科技(深圳)有限公司 基于望远镜的自动聚焦搜星方法及装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100100539A1 (en) * 2008-10-16 2010-04-22 Curators Of The University Of Missouri Identifying geographic-areas based on change patterns detected from high-resolution, remotely sensed imagery
CN102254312A (zh) * 2011-07-08 2011-11-23 国电南瑞科技股份有限公司 地理瓦片图拼接方法
CN106844537A (zh) * 2016-12-30 2017-06-13 重庆知行地理信息咨询服务有限公司 一种时空地图瓦片数据的组织管理方法
CN107240153A (zh) * 2017-06-16 2017-10-10 千寻位置网络有限公司 基于dsm的无人机飞行安全区域计算显示方法
CN108702444A (zh) * 2017-08-31 2018-10-23 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
CN109242862A (zh) * 2018-09-08 2019-01-18 西北工业大学 一种实时的数字表面模型生成方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN109612445A (zh) * 2018-12-17 2019-04-12 中国水利水电第十四工程局有限公司 一种基于无人机的WebGIS平台下高精度地形建立方法
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统
CN110390721A (zh) * 2018-04-20 2019-10-29 曜宇航空科技（上海）有限公司 一种均匀分布绘制实时实景地图的方法及系统
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles
CN110966991A (zh) * 2019-11-21 2020-04-07 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN111078814A (zh) * 2019-12-10 2020-04-28 孝感科先电力工程咨询设计有限责任公司 一种基于瓦片地图的地图绘制方法
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112419374A (zh) * 2020-11-11 2021-02-26 北京航空航天大学 一种基于图像配准的无人机定位方法
CN112665554A (zh) * 2020-12-29 2021-04-16 杭州今奥信息科技股份有限公司 一种正射影像的生成方法与系统
CN113012094A (zh) * 2020-11-30 2021-06-22 中国科学院空天信息创新研究院 一种卫星遥感数据的处理方法及相关装置
CN113012084A (zh) * 2021-03-04 2021-06-22 中煤(西安)航测遥感研究院有限公司 无人机影像实时拼接方法、装置及终端设备
CN113340307A (zh) * 2021-05-31 2021-09-03 南通大学 一种基于田块划分的无人机路径规划方法
US20210358310A1 (en) * 2019-05-24 2021-11-18 A^3 By Airbus Llc Risk assessment for unmanned aerial vehicles

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100100539A1 (en) * 2008-10-16 2010-04-22 Curators Of The University Of Missouri Identifying geographic-areas based on change patterns detected from high-resolution, remotely sensed imagery
CN102254312A (zh) * 2011-07-08 2011-11-23 国电南瑞科技股份有限公司 地理瓦片图拼接方法
CN106844537A (zh) * 2016-12-30 2017-06-13 重庆知行地理信息咨询服务有限公司 一种时空地图瓦片数据的组织管理方法
CN107240153A (zh) * 2017-06-16 2017-10-10 千寻位置网络有限公司 基于dsm的无人机飞行安全区域计算显示方法
CN108702444A (zh) * 2017-08-31 2018-10-23 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
US10515458B1 (en) * 2017-09-06 2019-12-24 The United States Of America, As Represented By The Secretary Of The Navy Image-matching navigation method and apparatus for aerial vehicles
CN110390721A (zh) * 2018-04-20 2019-10-29 曜宇航空科技（上海）有限公司 一种均匀分布绘制实时实景地图的方法及系统
CN109242862A (zh) * 2018-09-08 2019-01-18 西北工业大学 一种实时的数字表面模型生成方法
CN109374003A (zh) * 2018-11-06 2019-02-22 山东科技大学 一种基于ArUco码的移动机器人视觉定位与导航方法
CN109612445A (zh) * 2018-12-17 2019-04-12 中国水利水电第十四工程局有限公司 一种基于无人机的WebGIS平台下高精度地形建立方法
US20210358310A1 (en) * 2019-05-24 2021-11-18 A^3 By Airbus Llc Risk assessment for unmanned aerial vehicles
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110310248A (zh) * 2019-08-27 2019-10-08 成都数之联科技有限公司 一种无人机遥感影像实时拼接方法及系统
CN110966991A (zh) * 2019-11-21 2020-04-07 中国人民解放军国防科技大学 一种无控制点下的单幅无人机影像定位方法
CN111078814A (zh) * 2019-12-10 2020-04-28 孝感科先电力工程咨询设计有限责任公司 一种基于瓦片地图的地图绘制方法
CN111784585A (zh) * 2020-09-07 2020-10-16 成都纵横自动化技术股份有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN112419374A (zh) * 2020-11-11 2021-02-26 北京航空航天大学 一种基于图像配准的无人机定位方法
CN113012094A (zh) * 2020-11-30 2021-06-22 中国科学院空天信息创新研究院 一种卫星遥感数据的处理方法及相关装置
CN112665554A (zh) * 2020-12-29 2021-04-16 杭州今奥信息科技股份有限公司 一种正射影像的生成方法与系统
CN113012084A (zh) * 2021-03-04 2021-06-22 中煤(西安)航测遥感研究院有限公司 无人机影像实时拼接方法、装置及终端设备
CN113340307A (zh) * 2021-05-31 2021-09-03 南通大学 一种基于田块划分的无人机路径规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晰 等: "利用并行技术的海量数据瓦片快速构建", 《测绘科学》 *
蓝朝桢 等: "基于图像匹配的航拍图像定位研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430572A (zh) * 2023-06-15 2023-07-14 海狸文创科技(深圳)有限公司 基于望远镜的自动聚焦搜星方法及装置
CN116430572B (zh) * 2023-06-15 2023-08-29 海狸文创科技(深圳)有限公司 基于望远镜的自动聚焦搜星方法及装置

Also Published As

Publication number Publication date
CN114201633B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及系统
EP3665440B1 (en) Image geo-registration for absolute navigation aiding using uncertainy information from the on-board navigation system
US10565730B2 (en) Survey data processing device, survey data processing method, and survey data processing program
CN102741706B (zh) 地理参照图像区域的方法
US10789673B2 (en) Post capture imagery processing and deployment systems
CN105352509B (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
US8547375B2 (en) Methods for transferring points of interest between images with non-parallel viewing directions
CN109710724A (zh) 一种构建点云地图的方法和设备
US8994821B2 (en) Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN116883251B (zh) 基于无人机视频的图像定向拼接与三维建模方法
CN114201633B (zh) 一种用于无人机视觉定位的自适应卫星图像生成方法
KR100446195B1 (ko) 3차원 위치 측정 장치 및 그 방법
CN115326084A (zh) 车辆定位方法、装置、计算机设备、存储介质
Burkard et al. User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality
RU2640944C2 (ru) Способ определения с космического аппарата координат источника кольцевых волн на водной поверхности
CN106871908B (zh) 星上自然地标库优化选择策略
Lourakis et al. Pose estimation of a moving camera with low-cost, multi-GNSS devices
CN104378552A (zh) 面向连续监视任务的视频卫星摄像机最优指向角控制方法
CN112750075A (zh) 一种低空遥感影像拼接方法以及装置
CN110148205B (zh) 一种基于众包影像的三维重建的方法和装置
KR101948792B1 (ko) 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
JP5761554B2 (ja) 移動体姿勢の決定方法、移動体姿勢の決定プログラム、及び移動体姿勢の決定装置
Lee et al. Autonomous Airborne Video‐Aided Navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant