CN114842220A - 基于多源影像匹配的无人机视觉定位方法 - Google Patents

基于多源影像匹配的无人机视觉定位方法 Download PDF

Info

Publication number
CN114842220A
CN114842220A CN202210321285.3A CN202210321285A CN114842220A CN 114842220 A CN114842220 A CN 114842220A CN 202210321285 A CN202210321285 A CN 202210321285A CN 114842220 A CN114842220 A CN 114842220A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
image
convolutional layer
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210321285.3A
Other languages
English (en)
Other versions
CN114842220B (zh
Inventor
袁媛
刘赶超
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210321285.3A priority Critical patent/CN114842220B/zh
Publication of CN114842220A publication Critical patent/CN114842220A/zh
Application granted granted Critical
Publication of CN114842220B publication Critical patent/CN114842220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多源影像匹配的无人机视觉定位方法。首先，分别利用已有的多源匹配图像和真实无人机场景影像对特征提取网络进行训练；然后，利用训练好的网络对无人机影像进行特征提取，并利用位置点信息对无人机进行位置估计，减小定位搜索范围；接着，对估计位置范围内的卫星图像进行特征提取，并利用相似性度量对无人机影像与卫星图像进行特征匹配，得到无人机定位结果。本发明能够较好地解决卫星图像与无人机影像之间的异质性匹配问题，可用于多种应用场景，且计算量小，能够较好地满足无人机平台的实时性定位需求。

Description

基于多源影像匹配的无人机视觉定位方法
技术领域
本发明属多源遥感匹配技术领域，具体涉及一种基于多源影像匹配的无人机视觉定位方法。
背景技术
无人机定位通常使用卫星导航来实现，然而作为一种被动的信号接收方式，导航信号在特殊场景下容易被干扰。当失去信号时，随着时间的推移，惯性测量单元的累积误差会越来越大。计算机视觉通过计算机系统对视觉信息进行处理、分析，实现对目标的检测、识别、跟踪、定位等功能，具有较强的抗干扰能力。因此，基于视觉匹配的无人机定位可以很好地解决卫星拒止条件下的无人机定位问题。
无人机视觉定位方法大致分为三种：无地图定位方法(如视觉里程法)、基于构建地图的定位方法(如同步定位与构图方法)和基于已有地图的定位方法(如影像匹配方法)。这三种视觉定位方法各有优缺点和适用范围：基于构建地图和无地图定位的方法只需要安装在UAV(Unmanned Aerial Vehicle，无人驾驶空中飞行器)上的摄像头，但帧间运动的估计误差会严重累积；基于影像匹配方法需要额外的预先记录的地理参考图像库，但可以获得UAV的绝对位置，且不会累积误差。
基于影像匹配方法主要分为传统方法和深度学习方法。传统方法基于人工设计的描述符提取特征来实现遥感影像匹配，主要通过描述符相似性和/或空间几何关系来寻求局部特征(区域、线、点)之间的对应关系。局部显著特征的使用使这类方法可以快速运行，并且对噪声、复杂的几何变形和显著的辐射度差异具有鲁棒性。但是，由于更高分辨率和更大尺寸数据的普及，方法无法满足更多对应性、更高准确性和更灵活应用的要求。随着大量的标记数据集的提出，深度学习方法，特别是卷积神经网络(CNN)，在图像匹配领域取得了非常好的效果。CNN的主要优点是其在标签数据的引导下，能够自动学习有利于影像匹配的特征。与人工设计的描述符相比，基于深度学习的特征不仅包含低级空间信息，还包含高级语义信息。由于强大的自动提取特征的能力，深度学习方法能获得较高的匹配准确率。
尽管基于影像匹配的无人机视觉定位方法具有显著的优势，但仍有一些问题需要解决：首先，带有地理信息的参考图像和无人机图像成像条件不同，而这种多源影像匹配存在异质性问题；另外，难以利用少量的标注数据适应丰富多样的应用场景；最后，无人机的平台也对实时性提出了严苛的要求。
发明内容
为了克服现有技术的不足，本发明提供一种基于多源影像匹配的无人机视觉定位方法。首先，分别利用已有的多源匹配图像和真实无人机场景影像对特征提取网络进行训练；然后，利用训练好的网络对无人机影像进行特征提取，并利用位置点信息对无人机进行位置估计，减小定位搜索范围；接着，对估计位置范围内的卫星图像进行特征提取，并利用相似性度量对无人机影像与卫星图像进行特征匹配，得到无人机定位结果。本发明能够较好地解决卫星图像与无人机影像之间的异质性匹配问题，可用于多种应用场景，且计算量小，能够较好地满足无人机平台的实时性定位需求。
一种基于多源影像匹配的无人机视觉定位方法，其特征在于步骤如下：
步骤1：采用Google Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取的孪生网络进行训练，保存网络参数；利用带标签的真实场景无人机起飞位置影像对网络进行再训练，得到训练好的适应现实无人机工作场景的特征提取网络；所述的用于特征提取的孪生网络包括顺序连接的卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3、卷积层4、卷积层5、最大池化层3、卷积层6和卷积层7，其中，卷积层1的卷积核大小为7×7×24，步长为1，卷积层2的卷积核大小为5×5×24，步长为1，卷积层3和卷积层4的卷积核大小为3×3×96，步长为1，卷积层5的卷积核大小为3×3×64，步长为1，卷积层6的卷积核大小为3×3×128，步长为1，卷积层7的卷积核大小为8×8×128，步长为1，最大池化层1和最大池化层2的核大小为3×3，最大池化层3的核大小为6×6；
步骤2：将无人机影像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，提取的9个特征共同构成整张无人机图像的描述I'k；
步骤3：取无人机当前时刻最近的前n个定位位置点进行位置估计，根据这些位置点所处的经纬度和每两个位置点之间的飞行时长，分别计算无人机在经纬两个方向的n-1个位置区间内的飞行速度，记在经度方向的n-1个位置区间内的飞行速度序列为Vlong，在纬度方向的n-1个位置区间内的飞行速度序列为Vlat，将无人机的运动轨迹视为匀速运动，序列Vlong和Vlat内的速度均值服从t分布，在经度或纬度方向上的速度范围为
Figure BDA0003563943980000031
其中，
Figure BDA0003563943980000032
和S*2分别代表经度或纬度方向速度的均值和方差，α是t分布的置信度参数，tα/2(n-2)表示在置信度为1-α的情况下利用n-1个采样区间的t分布侧分位数，通过查t分布表得到，n的取值范围为3～6，α的取值为0.005；初始时刻的前n个定位位置点利用起飞位置进行初始化；
以速度范围乘以当前时刻与上述第n个位置点飞行时刻的时间差，得到在该时段内的位移范围，如果得到的位移范围小于20m，保留其为20m，再与第n个位置点的坐标相加，得到无人机当前所处的位置范围；
步骤4：对步骤3得到的位置范围内的卫星图像每10m进行一次切割，每次将卫星图像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，将提取的每张卫星图像的9个特征及其位置标签放入待匹配库；
步骤5：遍历待匹配库，计算每张卫星图像的9个特征与步骤2得到的无人机图像上九宫格对应位置的特征之间的L2范数，以得到的9个L2范数值的和作为整张图像的相似性度量值，如此待匹配库中每张卫星图像得到一个与无人机图像的相似性度量值，将相似性度量值最小的卫星图像的位置标签作为当前无人机定位结果；如果最小的两个相似性度量值之差大于阈值β，认为当前定位结果可信，将当前无人机定位结果作为一个定位位置点；所述的阈值β的取值为0.25；
步骤6：重复执行步骤2到步骤5，直到视觉导航飞行任务结束。
本发明的有益效果是：由于采用虚拟数据集图像和真实场景图像对网络分别进行训练的方式，使网络能够更好地用于提取全局高阶语义特征，解决多源图像之间存在的异质性问题；由于采用位置估计方法，能够有效的缩小匹配搜索范围，提高定位的精度的同时保证系统的实时性。
附图说明
图1是本发明基于多源影像匹配的无人机视觉定位方法流程图；
图2是本发明位置估计流程图；
图3是采用本发明方法在西北工业大学长安校区进行无人机视觉定位的结果图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种基于多源影像匹配的无人机视觉定位方法，其具体实现过程如下：
步骤1：采用Google Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取的孪生网络进行训练，保存网络参数；利用带标签的真实场景无人机起飞位置影像对网络进行再训练，得到训练好的适应现实无人机工作场景的特征提取网络；所述的用于特征提取的孪生网络的具体结构如表1所示，其中，Conv表示卷积层名称，Pooling表示池化层名称，C代表卷积操作，MP代表最大池化操作。
表1
结构 类型 输出尺寸 核尺寸 步幅
Conv1 C 128×128×24 7×7×24 1
Pooling1 MP 64×64×24 3×3 2
Conv2 C 64×64×64 5×5×24 1
Pooling2 MP 32×32×64 3×3 2
Conv3 C 32×32×96 3×3×96 1
Conv4 C 32×32×96 3×3×96 1
Conv5 C 32×32×64 3×3×64 1
Pooling3 MP 8×8×64 6×6 4
Conv6 C 8×8×128 3×3×128 1
Conv7 C 1×1×128 8×8×128 1
步骤2：将无人机影像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，提取的9个特征共同构成整张无人机图像的描述I'k。
步骤3：取无人机当前时刻最近的前n个可信的定位位置点进行位置估计(无人机在放飞位置默认已知该区域的位置信息，可以在起飞位置直接初始化最早的n个位置点，后期将通过飞行匹配不断迭代更新这n个可信的位置点)，根据这些位置点所处的经纬度和每两个位置点之间的飞行时长分别计算无人机在经纬两个方向的n-1个位置区间内的飞行速度，记在经度方向的n-1个位置区间内的飞行速度序列为Vlong，在纬度方向的n-1个位置区间内的飞行速度序列为Vlat，将无人机的运动轨迹视为匀速运动，序列Vlong和Vlat内的速度均值服从t分布，在经度或纬度方向上的速度范围为
Figure BDA0003563943980000051
其中，
Figure BDA0003563943980000052
和S*2分别代表经度或纬度方向速度的均值和方差，α是t分布的置信度参数，tα/2(n-2)表示在置信度为1-α的情况下利用n-1个采样区间的t分布侧分位数，通过查t分布表得到，n的取值范围为3～6，α的取值为0.005；
以速度范围乘以当前时刻与上述第n个位置点飞行时刻的时间差，得到在该时段内的位移范围，当得到的位移范围值小于20m时，保留其值为20m，再与第n个位置点的坐标相加，得到无人机当前所处的位置范围；
上述位置估计过程如图2所示。
步骤4：对步骤3得到的位置范围内的卫星图像每10m进行一次切割，每次将卫星图像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，将提取的每张卫星图像的9个特征及其位置标签放入待匹配库。
步骤5：遍历待匹配库，计算每张卫星图像的9个特征与步骤2得到的无人机图像上九宫格对应位置的特征之间的L2范数，以得到的9个L2范数值的和作为整张图像的相似性度量值，如此待匹配库中每张卫星图像得到一个与无人机图像的相似性度量值，将相似性度量值最小的卫星图像的位置标签作为当前无人机定位结果。如果最小的两个相似性度量值之差大于阈值β，则认为当前匹配结果有较高的可信度，在序列末尾加入更新步骤3所述的n个可信的定位位置；所述的阈值β的取值为0.25。
步骤6：重复执行步骤2到步骤5，直到视觉导航飞行任务结束。
为验证本发明方法的有效性，在中央处理器为
Figure BDA0003563943980000053
E5-2680 v4 2.40GHz CPU、内存64G、显卡NVIDIA RTX 3090，Ubuntu16.04操作系统上，基于Pytorch1.7.1、Python3.8.5语言环境进行仿真实验。以Google Earth Pro软件的3D建模功能构建虚拟数据中洛杉矶的中心部分作为实验区域，面积为4942×3408m2。区域内有典型的城市景观，有连栋房屋、街道和车辆，并且在郊区也较为空旷。以此获得无人机仿真影像。对于转化好的航空图像和切割好的卫星图片，利用各个图片的坐标标记图片的位置，生成两种异源图像的匹配对，虚拟数据共10000张。同时利用航拍获得无人机真实影像，并进行人工标注，生成对应匹配的卫星图像。真实数据各个场景共600对样本，同时模拟实际的应用场景，对一段长距离的无人机视频进行标注，时长4分钟，飞行距离2公里，无人机飞行高度为170m，视频质量为1920x1080，每秒30帧。
使用随机梯度下降法Stochastic Gradient Descent(SGD)作为优化器来优化网络参数，优化器SGD的参数为：学习率0.01，冲量为0.9，共学习50个epoch。虚拟数据训练阶段每隔20个epoch学习率减小10倍，微调阶段取30张影像通过旋转进行数据增强，学习率不变。
表2给出了分别采用Google Earth Pro制作的虚拟数据和真实航拍数据对网络进行训练后得到的匹配精度计算结果。可以看出，在虚拟数据上进行训练后网络已经具备了初步的异源匹配能力，但是直接迁移到真实数据上效果较低，只有36.4％；网络模型经过在真实数据再训练微调之后，匹配效果得到了显著的提升，在真实数据上的表现有了大幅度的提升，达到61.5％。表3给出了加入对图像进行九宫格切割处理后的计算结果。可以看出，加入九宫格之后各个阶段的测试精度都有了显著的提高。图3给出了该方法在西北工业大学长安校区进行视觉定位的结果图像，图中，灰色实心位置点代表实际飞行位置，白色空心为支点表示该位置视觉定位结果。可以看出，视觉定位的结果基本在真实位置的周围，具备较好的定位精度。
表2
虚拟数据训练 虚拟数据训练+真实数据微调后
虚拟数据测试 66.3％ 48.7％
真实数据测试 36.4％ 61.5％
表3
虚拟数据训练后测试 虚拟数据训练+真实数据微调后测试
不采用9宫格 66.3％ 61.5％
采用9宫格 75.4％ 69.7％

Claims (1)

1.一种基于多源影像匹配的无人机视觉定位方法，其特征在于步骤如下：
步骤1：采用Google Earth Pro上采集的卫星和虚拟无人机匹配图像对用于特征提取的孪生网络进行训练，保存网络参数；利用带标签的真实场景无人机起飞位置影像对网络进行再训练，得到训练好的适应现实无人机工作场景的特征提取网络；所述的用于特征提取的孪生网络包括顺序连接的卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3、卷积层4、卷积层5、最大池化层3、卷积层6和卷积层7，其中，卷积层1的卷积核大小为7×7×24，步长为1，卷积层2的卷积核大小为5×5×24，步长为1，卷积层3和卷积层4的卷积核大小为3×3×96，步长为1，卷积层5的卷积核大小为3×3×64，步长为1，卷积层6的卷积核大小为3×3×128，步长为1，卷积层7的卷积核大小为8×8×128，步长为1，最大池化层1和最大池化层2的核大小为3×3，最大池化层3的核大小为6×6；
步骤2：将无人机影像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，提取的9个特征共同构成整张无人机图像的描述I'k；
步骤3：取无人机当前时刻最近的前n个定位位置点进行位置估计，根据这些位置点所处的经纬度和每两个位置点之间的飞行时长，分别计算无人机在经纬两个方向的n-1个位置区间内的飞行速度，记在经度方向的n-1个位置区间内的飞行速度序列为Vlong，在纬度方向的n-1个位置区间内的飞行速度序列为Vlat，将无人机的运动轨迹视为匀速运动，序列Vlong和Vlat内的速度均值服从t分布，在经度或纬度方向上的速度范围为
Figure FDA0003563943970000011
其中，
Figure FDA0003563943970000012
和S*2分别代表经度或纬度方向速度的均值和方差，α是t分布的置信度参数，tα/2(n-2)表示在置信度为1-α的情况下利用n-1个采样区间的t分布侧分位数，通过查t分布表得到，n的取值范围为3～6，α的取值为0.005；初始时刻的前n个定位位置点利用起飞位置进行初始化；
以速度范围乘以当前时刻与上述第n个位置点飞行时刻的时间差，得到在该时段内的位移范围，如果得到的位移范围小于20m，保留其为20m，再与第n个位置点的坐标相加，得到无人机当前所处的位置范围；
步骤4：对步骤3得到的位置范围内的卫星图像每10m进行一次切割，每次将卫星图像在横向和纵向分别均匀切成三份，形成九宫格，将每一小格下采样到128×128，并利用步骤1训练好的网络进行特征提取，将提取的每张卫星图像的9个特征及其位置标签放入待匹配库；
步骤5：遍历待匹配库，计算每张卫星图像的9个特征与步骤2得到的无人机图像上九宫格对应位置的特征之间的L2范数，以得到的9个L2范数值的和作为整张图像的相似性度量值，如此待匹配库中每张卫星图像得到一个与无人机图像的相似性度量值，将相似性度量值最小的卫星图像的位置标签作为当前无人机定位结果；如果最小的两个相似性度量值之差大于阈值β，认为当前定位结果可信，将当前无人机定位结果作为一个定位位置点；所述的阈值β的取值为0.25；
步骤6：重复执行步骤2到步骤5，直到视觉导航飞行任务结束。
CN202210321285.3A 2022-03-24 2022-03-24 基于多源影像匹配的无人机视觉定位方法 Active CN114842220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210321285.3A CN114842220B (zh) 2022-03-24 2022-03-24 基于多源影像匹配的无人机视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210321285.3A CN114842220B (zh) 2022-03-24 2022-03-24 基于多源影像匹配的无人机视觉定位方法

Publications (2)

Publication Number Publication Date
CN114842220A true CN114842220A (zh) 2022-08-02
CN114842220B CN114842220B (zh) 2024-02-27

Family

ID=82563377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210321285.3A Active CN114842220B (zh) 2022-03-24 2022-03-24 基于多源影像匹配的无人机视觉定位方法

Country Status (1)

Country Link
CN (1) CN114842220B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
CN113361508A (zh) * 2021-08-11 2021-09-07 四川省人工智能研究院(宜宾) 一种基于无人机-卫星的跨视角地理定位方法
WO2022022695A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 图像识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
WO2022022695A1 (zh) * 2020-07-31 2022-02-03 华为技术有限公司 图像识别方法和装置
CN113239952A (zh) * 2021-03-30 2021-08-10 西北工业大学 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法
CN113361508A (zh) * 2021-08-11 2021-09-07 四川省人工智能研究院(宜宾) 一种基于无人机-卫星的跨视角地理定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张岩;李建增;李德良;杜玉龙;: "基于POS与图像匹配的无人机目标定位方法研究", 军械工程学院学报, no. 01, 15 February 2015 (2015-02-15) *
蓝朝桢;施群山;崔志祥;秦剑琪;徐青;: "无人机影像与卫星影像配准的卷积神经网络方法", 测绘科学技术学报, no. 01, 15 February 2020 (2020-02-15) *

Also Published As

Publication number Publication date
CN114842220B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US11244500B2 (en) Map feature extraction using overhead view images
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN104200523A (zh) 一种融合附加信息的大场景三维重建方法
CN113593017A (zh) 露天矿地表三维模型构建方法、装置、设备及存储介质
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN113903011B (zh) 一种适用于室内停车场的语义地图构建及定位方法
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
AU2020375559B2 (en) Systems and methods for generating annotations of structured, static objects in aerial imagery using geometric transfer learning and probabilistic localization
CN111950561A (zh) 一种基于语义分割的剔除语义slam动态点的方法
CN113052106A (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN116448100A (zh) 一种多传感器融合的近岸无人船slam方法
CN116310128A (zh) 基于实例分割与三维重建的动态环境单目多物体slam方法
CN114842220B (zh) 基于多源影像匹配的无人机视觉定位方法
CN116563553A (zh) 一种基于深度学习的无人机图像分割方法和系统
CN116184431A (zh) 无人机自主导航定位地图构建方法、装置及系统
CN110706327A (zh) 针对三维云建模的目标区域计算方法
Shi et al. Lane-level road network construction based on street-view images
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge
CN110826432B (zh) 一种基于航空图片的输电线识别方法
US10373004B1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
CN112069997A (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
Liu et al. VL-MFL: UAV Visual Localization Based on Multi-Source Image Feature Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant