CN114202583A - 一种无人机的视觉定位方法和系统 - Google Patents
一种无人机的视觉定位方法和系统 Download PDFInfo
- Publication number
- CN114202583A CN114202583A CN202111530035.2A CN202111530035A CN114202583A CN 114202583 A CN114202583 A CN 114202583A CN 202111530035 A CN202111530035 A CN 202111530035A CN 114202583 A CN114202583 A CN 114202583A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- remote sensing
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机的视觉定位方法和系统,涉及无人机定位领域。该方法包括:将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像,将所述第一图像与所述第一遥感图像进行特征点匹配,根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息,根据所述位置信息获得无人机的定位信息,本方案基于深度学习的图像匹配算法对无人机图像与遥感图像进行精准匹配,实现无人机的视觉定位,在不依靠GPS的情况下也能实现对无人机高精准定位。
Description
技术领域
本发明涉及无人机定位领域,尤其涉及一种无人机的视觉定位方法和系统。
背景技术
随着无人机技术的不断发展,无人机定位技术受到了广泛的关注。无人机定位一般使用GPS为主要手段,然而在远距离导航中遇到GPS信号失灵或天气原因时,系统会较难判别无人机所处的位置。
现有的无人机视觉定位方案可以是基于改进SIFT匹配的方法来实现,基于SIFT算法的定位方法精度较低,难以满足精准定位需求;基于图像配准的算法难以处理地面信息匮乏的场景,稳定性较差。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种无人机的视觉定位方法和系统。
本发明解决上述技术问题的技术方案如下:
一种无人机的视觉定位方法,包括:
S1,将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
S2,将所述第一图像与所述第一遥感图像进行特征点匹配;
S3,根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
S4,根据所述位置信息获得无人机的定位信息。
本发明的有益效果是:本方案通过将多个无人机图像与多个遥感图像进行场景匹配定位,获得第一无人机图像经场景匹配定位后的第一遥感图像,对第一遥感图像进行特征点匹配,计算出第一无人机图像的中心点在遥感图中的位置信息,从而获得第一无人机的定位信息,基于深度学习的图像匹配算法对无人机图像与遥感图像进行精准匹配,实现无人机的视觉定位,在不依靠GPS的情况下也能实现对无人机高精准定位。
进一步地,所述S1具体包括:
利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
采用上述进一步方案的有益效果是:本方案通过预设图像提取算法进行特征提取,并根据所述特征对所述无人机图和遥感图进行分类,根据分类结果获得每个无人机图相匹配的遥感图像;通过本方案即使地面信息匮乏的场景也能满足精准定位需求。
进一步地,所述利用预设图像提取算法对无人机拍摄的第一图像和多个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像具体包括:
将所述第一图像和任一个遥感图像经过卷积神经网络,得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
采用上述进一步方案的有益效果是:通过本方案遥感图像的场景匹配方法,即使在远距离导航中遇到GPS信号失灵或天气原因时,也能高精度场景匹配,实现高精度视觉定位。
进一步地,所述S2具体包括:
采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
采用上述进一步方案的有益效果是:本方案通过采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配,实现深度匹配特征点,减小定位估计误差,提高定位精度。
进一步地,所述采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配具体包括:
提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
采用上述进一步方案的有益效果是:本方案通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配,对初步匹配结果经过分层细化算法进行精细特征点匹配,来精炼匹配结果,基于最深层得到的粗糙的匹配,实现最深层逐步精炼到高分辨率的卷积层,达到高精度定位。
本发明解决上述技术问题的另一种技术方案如下:
一种无人机的视觉定位系统,包括:场景匹配模块、特征点匹配模块、中心点计算模块和定位信息获取模块;
所述场景匹配模块用于将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
所述特征点匹配模块用于将所述第一图像与所述第一遥感图像进行特征点匹配;
所述中心点计算模块用于根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
所述定位信息获取模块用于根据所述位置信息获得无人机的定位信息。
本发明的有益效果是:本方案通过将多个无人机图像与多个遥感图像进行场景匹配定位,获得第一无人机图像经场景匹配定位后的第一遥感图像,对第一遥感图像进行特征点匹配,计算出第一无人机图像的中心点在遥感图中的位置信息,从而获得第一无人机的定位信息,基于深度学习的图像匹配算法对无人机图像与遥感图像进行精准匹配,实现无人机的视觉定位,在不依靠GPS的情况下也能实现对无人机高精准定位。
进一步地,所述场景匹配模块具体用于利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
采用上述进一步方案的有益效果是:本方案通过预设图像提取算法进行特征提取,并根据所述特征对所述无人机图和遥感图进行分类,根据分类结果获得每个无人机图相匹配的遥感图像;通过本方案即使地面信息匮乏的场景也能满足精准定位需求。
进一步地,所述场景匹配模块具体用于所述场景匹配模块具体用于将所述第一图像和任一个遥感图像经过卷积神经网络得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
采用上述进一步方案的有益效果是:通过本方案遥感图像的场景匹配方法,即使在远距离导航中遇到GPS信号失灵或天气原因时,也能高精度场景匹配,实现高精度视觉定位。
进一步地,所述特征点匹配模块具体用于采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
采用上述进一步方案的有益效果是:本方案通过采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配,实现深度匹配特征点,减小定位估计误差,提高定位精度。
进一步地,所述特征点匹配模块具体用于提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
采用上述进一步方案的有益效果是:本方案通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配,对初步匹配结果经过分层细化算法进行精细特征点匹配,来精炼匹配结果,基于最深层得到的粗糙的匹配,实现最深层逐步精炼到高分辨率的卷积层,达到高精度定位。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种无人机的视觉定位方法的流程示意图;
图2为本发明的实施例提供的一种无人机的视觉定位系统的结构框图;
图3为本发明的其他实施例提供的LPN算法结构示意图;
图4为本发明的其他实施例提供的DFM算法的结构示意图;
图5为本发明的其他实施例提供的HRA算法结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实施例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明实施例提供的一种无人机的视觉定位方法,包括:
S1,将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
在某一实施例中,利用LPN算法对无人机图及遥感图提取特征并进行分类,为每一张无人机图寻找最佳匹配的遥感图,实现场景定位。
在另一实施例中,场景定位可以包括:首先输入的无人机图片和遥感图片经过一个卷积神经网络ResNet-50,得到特征图,每个分支输出的特征图根据特征分区策略被切割成四部分。其中,特征分区策略通过对提取的特征图进行环状切割,得到四个分区,之后分区后的特征块通过平均池化得到特征描述子,之后被传送到分类模块;其中分类模块包括:一个全连接层、BN层、Dropout层和分类层。在某一实施例中,其中分支指的是LPN算法中的分支,包括无人机图像分支,遥感图像分支及地面图像分支(未使用),可参考LPN算法结构图;特征图即为神经网络获得的。
在训练过程中,通过分类模块预测每个部分的标签,之后通过交叉熵损失函数优化参数。在测试过程中,在分类模块中的分类层之前得到分块级的图像表示,之后将四部分连接起来作为输入图片的最终描述子,描述子最相似的图像则认为匹配成功。
S2,将所述第一图像与所述第一遥感图像进行特征点匹配;
S3,根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
S4,根据所述位置信息获得无人机的定位信息。
在某一实施例中,获取无人机的定位信息可以包括:基于LPN算法的匹配结果,采用DFM算法对匹配图像对进行特征点匹配,进而求解无人机图像中心点在遥感图像中的位置,实现精细定位。需要说明的是,是对“匹配图像对”进行特征点匹配,“匹配图像对”是由场景匹配得到的所述第一图像及对应的所述第一遥感图像,即图像匹配对。
在另一实施例中,获取无人机的定位信息可以分为两个阶段:DFM算法包括初步配准及精细匹配。在初步配准中,首先使用一个现有的预训练好的深度神经网络对输入图片提取深度特征,其中深度神经网络可以是VGG或ResNet,之后在terminal layer中低空间分辨率下使用DNNS(Dense Nearest Neighbor Search)对特征做匹配,可计算出一个粗略的转换矩阵,并通过该矩阵将其中一张输入图片进行变换,需要说明的是,输入图片可以是无人机拍摄图或遥感图片。在精细匹配中,首先使用DNNS(Dense Nearest Neighbor Search)在最后层对A图及变换后的B图匹配,需要说明的是,DFM算法输入为一张无人机图及一张与之对应的遥感图(经过场景匹配得到的“图像匹配对”),即A图及B图;基于这些粗糙的匹配,在逐渐移动到更精细的分辨率的过程中,使用层次细化HRA(Hierarchical RefinementAlgorithm)精炼匹配结果,需要说明的是,HRA,算法输入为第n-1层的特征图以及第n层的匹配点对集合,对于集合中的每一对匹配点,算法首先建立匹配点的感受野,之后在感受野中做DNNS算法,得到n-1层的匹配点对集合。经过逐层迭代,算法最终可以获得精确的匹配结果。最后可以得到匹配的无人机图与遥感图及其中的匹配点对及转换矩阵,进而可以确定无人机图中心点在遥感图中的绝对位置。其中,HRA则是用来精炼匹配结果,基于最深层得到的粗糙的匹配,从最深层逐步精炼到高分辨率的卷积层。
在某一实施例中,DNNS可以用来匹配提取到的深度特征,给定从图A及图B中提取的特征图F_A及F_B,DNNS旨在从F_B中为F_A中的每个元素寻找最佳匹配。根据l2distance,如果F_A中的点p_A与F_B中的点p_B之间的距离比低于给定的阈值,则被认为是最佳匹配,且匹配对必须是相互的。
需要说明的是,DNNS算法具体处理过程可以包括:从图A及图B中提取的特征图F_A及F_B,DNNS旨在从F_B中为F_A中的每个元素寻找最佳匹配。根据l2 distance,如果F_A中的点p_A与F_B中的点p_B之间的距离比低于给定的阈值,则被认为是最佳匹配,且匹配对必须是相互的。
本方案通过将多个无人机图像与多个遥感图像进行场景匹配定位,获得第一无人机图像经场景匹配定位后的第一遥感图像,对第一遥感图像进行特征点匹配,计算出第一无人机图像的中心点在遥感图中的位置信息,从而获得第一无人机的定位信息,基于深度学习的图像匹配算法对无人机图像与遥感图像进行精准匹配,实现无人机的视觉定位,在不依靠GPS的情况下也能实现对无人机高精准定位。
优选地,在上述任意实施例中,所述S1具体包括:
利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
在某一实施例中,预设图像提取算法可以为LPN算法,LPN算法结构图如图3所示,LPN算法结构的文字说明:LPN算法包括三个部分:特征提取、特征分区以及分类模块。
1)特征提取:输入图片来源于不同的平台(无人机图、遥感图及街景图),首先输入图片经过一个卷积神经网络ResNet-50,得到feature maps。
(2)特征分区:每个分支输出的feature maps根据特征分区策略被切割成四部分。其中,特征分区策略通过对提取的特征图进行环状切割,得到四个分区,之后分别对分区进行下一步操作。由于采用特征分区策略,图片旋转过后,各个区域中的特征还是在其所属区域中,因此拥有旋转不变性。
(3)分类模块:分区后的特征块通过平均池化得到feature descriptors,之后被传送到分类模块,分类模块由一个全连接层、BN层、Dropout层及分类层组成。在训练过程中,通过分类模块预测每个部分的label,之后通过交叉熵损失函数优化参数。在测试过程中,在分类模块中的分类层之前得到分块级的图像表示,之后将四部分连接起来作为输入图片的final descriptor,描述子最相似的图像则认为匹配成功。
本方案通过预设图像提取算法进行特征提取,并根据所述特征对所述无人机图和遥感图进行分类,根据分类结果获得每个无人机图相匹配的遥感图像;通过本方案即使地面信息匮乏的场景也能满足精准定位需求。
优选地,在上述任意实施例中,所述利用预设图像提取算法对无人机拍摄的第一图像和多个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像具体包括:
将所述第一图像和任一个遥感图像经过卷积神经网络得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
通过本方案遥感图像的场景匹配方法,即使在远距离导航中遇到GPS信号失灵或天气原因时,也能高精度场景匹配,实现高精度视觉定位。
优选地,在上述任意实施例中,所述S2具体包括:
采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
在某一实施例中,深特征匹配算法可以是DFM算法,DFM算法的结构如图4所示,DFM算法结构可以包括:算法采用two-stage结构,输入为两张待匹配的图片,在stage0首先使用一个现成的预训练好的深度神经网络(VGG或ResNet)对输入图片提取深度特征,之后在低空间分辨率下(terminal layer中)使用DNNS对特征做匹配,并计算出一个粗略的转换矩阵H_BA,使用该矩阵将B图变换。在stage1中,首先使用DNNS(Dense Nearest NeighborSearch)在最后层对A图及变换后的B图匹配,基于这些粗糙的匹配,在逐渐移动到更精细的分辨率的过程中,使用层次细化(Hierarchical refinement)精炼匹配结果。
本方案通过采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配,实现深度匹配特征点,减小定位估计误差,提高定位精度。
优选地,在上述任意实施例中,所述采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配具体包括:
提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
在某一实施例中,分层细化算法可以是HRA算法,HRA算法结构如图5所示,HRA结构可以包括:算法输入为第n-1层的特征图以及第n层的匹配点对集合,对于集合中的每一对匹配点,算法首先建立匹配点的感受野,之后在感受野中做DNNS算法,得到n-1层的匹配点对集合。经过逐层迭代,算法最终可以获得精确的匹配结果。补充附图文字说明,说明HRA算法结构。
本方案通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配,对初步匹配结果经过分层细化算法进行精细特征点匹配,来精炼匹配结果,基于最深层得到的粗糙的匹配,实现最深层逐步精炼到高分辨率的卷积层,达到高精度定位。
在某一实施例中,如图2所示,一种无人机的视觉定位系统,包括:场景匹配模块、特征点匹配模块、中心点计算模块和定位信息获取模块;
所述场景匹配模块用于将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
所述特征点匹配模块用于将所述第一图像与所述第一遥感图像进行特征点匹配;
所述中心点计算模块用于根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
所述定位信息获取模块用于根据所述位置信息获得无人机的定位信息。
本发明的有益效果是:本方案通过将多个无人机图像与多个遥感图像进行场景匹配定位,获得第一无人机图像经场景匹配定位后的第一遥感图像,对第一遥感图像进行特征点匹配,计算出第一无人机图像的中心点在遥感图中的位置信息,从而获得第一无人机的定位信息,基于深度学习的图像匹配算法对无人机图像与遥感图像进行精准匹配,实现无人机的视觉定位,在不依靠GPS的情况下也能实现对无人机高精准定位。
优选地,在上述任意实施例中,所述场景匹配模块具体用于利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
本方案通过预设图像提取算法进行特征提取,并根据所述特征对所述无人机图和遥感图进行分类,根据分类结果获得每个无人机图相匹配的遥感图像;通过本方案即使地面信息匮乏的场景也能满足精准定位需求。
优选地,在上述任意实施例中,所述场景匹配模块具体用于将所述第一图像和任一个遥感图像经过卷积神经网络得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
通过本方案遥感图像的场景匹配方法,即使在远距离导航中遇到GPS信号失灵或天气原因时,也能高精度场景匹配,实现高精度视觉定位。
优选地,在上述任意实施例中,所述特征点匹配模块具体用于采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
本方案通过采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配,实现深度匹配特征点,减小定位估计误差,提高定位精度。
优选地,在上述任意实施例中,所述特征点匹配模块具体用于提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
本方案通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配,对初步匹配结果经过分层细化算法进行精细特征点匹配,来精炼匹配结果,基于最深层得到的粗糙的匹配,实现最深层逐步精炼到高分辨率的卷积层,达到高精度定位。
可以理解,在一些实施例中,可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是,上述各实施例是与在先方法实施例对应的产品实施例,对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明,在此不再赘述。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种无人机的视觉定位方法,其特征在于,包括:
S1,将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
S2,将所述第一图像与所述第一遥感图像进行特征点匹配;
S3,根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
S4,根据所述位置信息获得无人机的定位信息。
2.根据权利要求1所述的一种无人机的视觉定位方法,其特征在于,所述S1具体包括:
利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
3.根据权利要求2所述的一种无人机的视觉定位方法,其特征在于,所述利用预设图像提取算法对无人机拍摄的第一图像和多个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像具体包括:
将所述第一图像和任一个遥感图像经过卷积神经网络,得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
4.根据权利要求1所述的一种无人机的视觉定位方法,其特征在于,所述S2具体包括:
采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
5.根据权利要求4所述的一种无人机的视觉定位方法,其特征在于,所述采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配具体包括:
提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
6.一种无人机的视觉定位系统,其特征在于,包括:场景匹配模块、特征点匹配模块、中心点计算模块和定位信息获取模块;
所述场景匹配模块用于将无人机拍摄的第一图像与多个遥感图像进行场景匹配定位,获得第一图像经场景匹配定位后对应的第一遥感图像;
所述特征点匹配模块用于将所述第一图像与所述第一遥感图像进行特征点匹配;
所述中心点计算模块用于根据特征点匹配结果计算出所述第一图像的中心点在所述第一遥感图像中的位置信息;
所述定位信息获取模块用于根据所述位置信息获得无人机的定位信息。
7.根据权利要求6所述的一种无人机的视觉定位系统,其特征在于,所述场景匹配模块具体用于利用预设图像提取算法对无人机拍摄的第一图像和每个遥感图像分别提取特征,并根据提取到的多个特征点对所述第一图像和多个遥感图像进行分类匹配,根据分类匹配结果获得与所述第一图像相匹配的第一遥感图像,完成场景匹配定位。
8.根据权利要求7所述的一种无人机的视觉定位系统,其特征在于,所述场景匹配模块具体用于将所述第一图像和任一个遥感图像经过卷积神经网络得到特征图;
根据预设特征分区策略将所述特征图切割出多个分区,获得多个特征块;
通过卷积神经网络将所有特征块连接起来获得包括多个特征点的目标描述子,当所述目标描述子满足预设条件时,则所述目标描述子对应的遥感图像为所述第一图像经场景匹配定位后对应的所述第一遥感图像。
9.根据权利要求6所述的一种无人机的视觉定位系统,其特征在于,所述特征点匹配模块具体用于采用深特征匹配算法将所述第一图像与所述第一遥感图像进行特征点匹配。
10.根据权利要求9所述的一种无人机的视觉定位系统,其特征在于,所述特征点匹配模块具体用于提取所述第一图像和所述第一遥感图像的深度特征;
通过密集最近邻搜索算法对所述深度特征进行初步特征点匹配;
对初步匹配结果经过分层细化算法进行精细特征点匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111530035.2A CN114202583A (zh) | 2021-12-10 | 2021-12-10 | 一种无人机的视觉定位方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111530035.2A CN114202583A (zh) | 2021-12-10 | 2021-12-10 | 一种无人机的视觉定位方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114202583A true CN114202583A (zh) | 2022-03-18 |
Family
ID=80653710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111530035.2A Pending CN114202583A (zh) | 2021-12-10 | 2021-12-10 | 一种无人机的视觉定位方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114202583A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
CN111256696A (zh) * | 2020-02-24 | 2020-06-09 | 武汉大学 | 多特征多层次景象匹配的飞行器自主导航方法 |
-
2021
- 2021-12-10 CN CN202111530035.2A patent/CN114202583A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103822635A (zh) * | 2014-03-05 | 2014-05-28 | 北京航空航天大学 | 基于视觉信息的无人机飞行中空间位置实时计算方法 |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
CN110058602A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度视觉的多旋翼无人机自主定位方法 |
CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
CN111256696A (zh) * | 2020-02-24 | 2020-06-09 | 武汉大学 | 多特征多层次景象匹配的飞行器自主导航方法 |
Non-Patent Citations (2)
Title |
---|
TINGYU WANG ET AL: "Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization", 《ARXIV:2008.11646V3 [CS.CV]》 * |
UFUK EFE ET AL: "DFM: A Performance Baseline for Deep Feature Matching", 《ARXIV:2106.07791V1 [CS.CV]》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8798357B2 (en) | Image-based localization | |
US20190226851A1 (en) | Driver assistance system for determining a position of a vehicle | |
CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
CN111652934A (zh) | 定位方法及地图构建方法、装置、设备、存储介质 | |
CN104794219A (zh) | 一种基于地理位置信息的场景检索方法 | |
CN101470896A (zh) | 基于视频分析的机动目标飞行模式预测方法 | |
Tran et al. | On-device scalable image-based localization via prioritized cascade search and fast one-many ransac | |
CN101839722A (zh) | 一种中低空下目标自动识别及载体高精度定位方法 | |
CN108921850B (zh) | 一种基于图像分割技术的图像局部特征的提取方法 | |
CN112580546B (zh) | 一种用于无人机图像和卫星图像跨视角图像匹配方法 | |
CN111323024A (zh) | 定位方法及装置、设备、存储介质 | |
Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
CN111583332A (zh) | 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置 | |
CN106777350B (zh) | 一种基于卡口数据的以图搜图方法和装置 | |
CN108875828A (zh) | 一种相似图像的快速匹配方法和系统 | |
KR20190124436A (ko) | 영상 기반 건물 검색 방법 및 장치 | |
Jiang et al. | Leveraging vocabulary tree for simultaneous match pair selection and guided feature matching of UAV images | |
CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
CN114202583A (zh) | 一种无人机的视觉定位方法和系统 | |
Li et al. | Road-network-based fast geolocalization | |
Abdel-Wahab et al. | Efficient reconstruction of large unordered image datasets for high accuracy photogrammetric applications | |
Wong et al. | Single camera vehicle localization using feature scale tracklets | |
CN107341151B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
CN114691911A (zh) | 一种基于信息瓶颈变分蒸馏的跨视角地理图像检索方法 | |
CN113865581B (zh) | 基于多层级地图的封闭场景定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220318 |
|
RJ01 | Rejection of invention patent application after publication |