CN111829532A - 一种飞行器重定位系统和重定位方法 - Google Patents
一种飞行器重定位系统和重定位方法 Download PDFInfo
- Publication number
- CN111829532A CN111829532A CN201910313948.5A CN201910313948A CN111829532A CN 111829532 A CN111829532 A CN 111829532A CN 201910313948 A CN201910313948 A CN 201910313948A CN 111829532 A CN111829532 A CN 111829532A
- Authority
- CN
- China
- Prior art keywords
- yaw angle
- key frame
- aircraft
- points
- angle theta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 47
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004094 surface-active agent Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明涉及一种飞行器重定位系统和重定位方法，所述飞行器重定位方法，包括：图像采集单元，配置用于采集当前图像；关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
能够在无GPS信号、外在环境变化的情况下，基于特征点地图采用图像匹配技术和重投影误差优化技术对飞行器进行重定位。
Description
技术领域
本发明涉及飞行器领域，尤其涉及一种飞行器重定位系统和重定位方法。
背景技术
无人机航线定位常使用卫星导航信息(如GPS、北斗导航等)或者图像技术进行定位。在依靠卫星导航信息定位时，当卫星导航信号丢失、被干扰、精度较低情况下，会导致无人机导航过程中出现跟丢等情况。然而，单纯依靠图像进行定位，会出现尺度漂移、姿态估计不准确等情况，而且在光线变化剧烈、季节变化等情况下，定位效果不好，并且只能得到无人机相对于采集得到离线地图的姿态，无法得到无人机相对于起降场、或者经纬度信息。
本发明提出了一套结合视觉特征点信息和导航信息的特征点地图的建立和重定位方法，能够在无卫星导航信号、外在环境变化的情况下，基于特征点地图采用图像匹配技术和重投影误差优化技术实现飞行器快速准确定位。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种飞行器重定位系统和重定位方法。
根据本发明的一个方面，提供了一种飞行器重定位系统，包括：
图像采集单元，配置用于采集当前图像；
关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
进一步的，所述关键帧匹配单元，包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
进一步的，所述yaw角选取单元，包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
进一步的，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
进一步的，所述相对位姿计算单元，包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
平移向量计算模块，配置用于
将所有的3D内点
进行旋转，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
根据本发明的另一个方面，提供了一种飞行器重定位方法，包括：
采集当前图像；
获取历史导航信息，提取若干候选关键帧；
基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
对目标关键帧Ft进行重投影，选取最优yaw角θ；
基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
进一步的，基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，包括：
提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
进一步的，对目标关键帧Ft进行重投影，选取最优yaw角θ，包括：
获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算所述特征点匹配对的yaw角θ及其对应的平移向量；
选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
进一步的，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
进一步的，基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
包括：
获取关键帧Ft的导航位姿
将所有的3D内点
进行旋转，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
根据本发明的另一个方面，提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。
根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明示例的飞行器重定位系统，不依赖外部导航，通过关键帧提取单元从采集当前图像中提取若干候选关键帧,选取目标关键帧Ft后,通过yaw角选取单元筛选出最优yaw角θ,相对位姿计算单元根据最优yaw角θ计算当前图像相对于目标关键帧Ft的位姿关系
根据位姿关系
计算当前时刻飞行器在导航坐标系下的相对位姿
对飞行器进行定位，能够应用于各种类型飞行器上，能够在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)时,不依赖外部导航对飞行器进行定位，触发重定位系统对飞行器进行重定位。
2、本发明飞行器重定位方法，能够在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)，基于历史导航信息、预先建立的特征点地图以及采集的当前图像选取目标关键帧Ft，对目标关键帧Ft进行重投影选取最优yaw角θ，根据最优yaw角θ计算当前时刻飞行器在导航坐标系下的相对位姿
对飞行器进行定位，在外部导航环境发生变化的情况下(比如卫星导航信息丢失或者导航计算姿态发散)时,不依赖外部导航对飞行器进行定位，通过飞行器重定位方法对飞行器进行重定位。
附图说明
图1为本发明流程图；
图2为重投影示意图；
图3为是本发明的计算机系统的结构示意图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。
以下为本发明中出现的名词的解释：
特征点：同一个物体或场景，从不同的角度采集多幅图片，如果相同的地方能够被识别出来是相同的，这些些具有‘尺度不变性的点或块’称为特征点”；2D特征点是图像像素坐标系内的特征点；3D特征点是欧式空间坐标系后的特征点。
本实施例提供一种飞行器重定位系统，包括：
图像采集单元，配置用于采集当前图像信息，可以是下视相机，安装时相机安装于无人机下方，z轴朝地面；
信息提取单元，配置用于获取历史导航信息，并通过得到的历史导航信息提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，本实施例以GPS导航为例建立离线地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，可通过得到的导航信息进行一系列候选关键帧用于和当前时刻场景进行匹配，能够增加最后定位的准确性。具体包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ，具体包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点：根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点；重投影误差：3D特征点投影到2D平面，和当前图像上匹配上的2D特征点在图像像素偏移距离即重投影误差(如图2所示)。
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
具体包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
平移向量计算模块，配置用于
将所有的3D内点
进行旋转yaw角θ，yaw角θ对应的内点最多，能够根据尽可能多3D特征点进行定位，进一步减小定位误差，增加定位的准确性，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
不依赖外部导航，能够在外在环境变化的情况下，如卫星导航信息丢失或者导航计算姿态发散时，触发重定位系统，对飞行器进行重定位。
作为可选方案，本发明可以应用于各种类型的无人机上，根据GPS定位信息制定以下定位方案选择：
a.如果GPS定位能够成功，则只是用GPS定位
b.如果GPS丢失，使用基于离线特征点GPS地图定位方案
c.如果两套两套定位方案都失败,飞机垂直降落.
上述飞行器重定位系统对应的重定位方法，包括：
步骤S1：以GPS导航为例建立离线地图，步骤如下：
第1步：在GPS导航信息稳定的情况下，飞行器在航线飞行，通过无人机下的下视相机、GPS和IMU完成航线上图像数据、速度
位置
和飞行器位姿
融合后的导航信息，并通过时间戳进行同步；
第2步：构建相机与机体系的外参
GPS与IMU融合关键帧信息(速度、位置和位姿)
之间的导航系模型：
得到相机系在导航系下的3D位姿
第3步：在飞机运行过程中t时刻对应的下视图像It上进行ORB特征点提取，得到Nt组2D图像特征点坐标
构建2D特征点
相机内参K及导航高度信息
的相机模型(假设所有特征点都在一个平面)；将所述2D特征点转换到相机系下的3D特征点
相机模型关系为：
第4步：根据所述导航系与相机系的对应关系，将所述相机系下的3D特征点转换为导航系下的3D坐标：
第5步：提取关键帧对应的导航信息(速度
位置
和姿态
)和导航系下的3D坐标
并存储，建立特征点地图。
步骤S2：采集当前图像信息，可以是下视相机，相机安装于无人机下方Z轴朝向地面；
步骤S3：获取历史导航信息，提取若干候选关键帧；
步骤S4：基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，具体的，
步骤S4-1：提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
步骤S4-2：选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
步骤S5：对目标关键帧Ft进行重投影，选取最优yaw角θ，具体的，
步骤S5-1：获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对
步骤S5-2：计算所述特征点匹配对的yaw角θ及其对应的平移向量：
随机选取两对特征点匹配对
分别构建所述3D特征点向量
和所述2D特征点向量
计算所述3D特征点向量和所述2D特征点向量之间的yaw角θ：
将所述3D特征点向量
旋转θ，得到与所述2D特征点向量
平行的重投影向量
构建所述重投影向量
与所述2D特征点向量
的平移向量
其中，
步骤S5-3：选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
步骤S6：基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
包括：
步骤S6-1：获取关键帧Ft的导航位姿
步骤S6-2：将所有的3D内点
进行旋转，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
步骤S6-3：位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
步骤S6-4：将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
不依赖外部导航，能够在外在环境变化的情况下，如卫星导航信息丢失或者导航计算姿态发散时，触发重定位系统，对飞行器进行重定位。
本实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法，通过处理器执行飞行器重定位方法，在无GPS信号、外在环境变化的情况下，采用图像匹配技术和重投影误差优化技术对飞行器进行重定位。
本实施例提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法，便于飞行器重定位系统的使用及推广。进一步介绍如下：
计算机系统包括中央处理单元(CPU)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储部分加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM103中，还存储有系统操作所需的各种程序和数据。CPU 101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口105。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。
特别地，根据本发明的实施例，上文参考流程图3描述的过程可以被实现为计算机软件程序。例如，本发明的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)101执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例1的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像采集单元、关键帧提取单元、关键帧匹配单元、yaw角选取单元和相对位姿计算单元，其中，这些单元的名称在某种情况下并不构成对该单元或模块本身的限定，例如，图像采集单元还可以被描述为“用于采集当前图像的图像采集单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的飞行器重定位方法。
例如，所述电子设备可以实现如图1中所示的：步骤S1：采集当前图像；步骤S2：获取历史导航信息，提取若干候选关键帧；步骤S3：基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；步骤S4：对目标关键帧进行重投影，选取最优yaw角θ；步骤S5：基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。
Claims (10)
1.一种飞行器重定位系统，其特征在于，包括：
图像采集单元，配置用于采集当前图像；
关键帧提取单元，配置用于获取历史导航信息，提取若干候选关键帧；
关键帧匹配单元，配置用于基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
yaw角选取单元，配置用于对目标关键帧Ft进行重投影，选取最优yaw角θ；
相对位姿计算单元，配置用于基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
2.根据权利要求1所述的飞行器重定位系统，其特征在于，所述关键帧匹配单元，包括：
描述向量计算模块，配置用于提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
目标关键帧选取模块，配置用于选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
3.根据权利要求2所述的飞行器重定位系统，其特征在于，所述yaw角选取单元，包括：
描述子匹配模块，配置用于获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算模块，配置用于计算所述特征点匹配对的yaw角θ及其对应的平移向量；
内点选取模块，配置用于选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
4.根据权利要求3所述的飞行器重定位系统，其特征在于，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
5.根据权利要求3所述的飞行器重定位系统，其特征在于，所述相对位姿计算单元，包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
平移向量计算模块，配置用于
将所有的3D内点
进行旋转，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
6.一种飞行器重定位方法，其特征在于，包括：
采集当前图像；
获取历史导航信息，提取若干候选关键帧；
基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft；
对目标关键帧Ft进行重投影，选取最优yaw角θ；
基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
7.根据权利要求6所述的飞行器重定位方法，其特征在于，基于预先建立的特征点地图，将候选关键帧与当前图像进行匹配，选取目标关键帧Ft，包括：
提取当前图像的2D特征点，对所述当前图像的2D特征点的描述向量计算欧式距离；
选取描述向量与当前图像欧式距离最小的候选关键帧作为当前图像的目标关键帧Ft。
8.根据权利要求7所述的飞行器重定位方法，其特征在于，对目标关键帧Ft进行重投影，选取最优yaw角θ，包括：
获取目标关键帧Ft在导航坐标系中的3D坐标并提取3D特征点，对所述3D特征点与当前图像的2D特征点进行描述子匹配，得到若干特征点匹配对；
计算所述特征点匹配对的yaw角θ及其对应的平移向量；
选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点。
9.根据权利要求8所述的飞行器重定位方法，其特征在于，所述选取最优yaw角θ，并基于所述最优yaw角θ进行重投影选取内点，包括：
根据所述特征点匹配对的yaw角θ，对每个所述3D特征点进行重投影，计算重投影误差，重投影误差小于预设阈值的所述3D特征点为投影点；
选取内点最多的为最优yaw角θ，最优yaw角θ所对应的投影点为内点。
10.根据权利要求8所述的飞行器重定位方法，其特征在于，基于所述最优yaw角θ计算当前时刻飞行器在导航坐标系中的相对位姿
包括：
导航位姿获取模块，配置用于获取关键帧Ft的导航位姿
平移向量计算模块，配置用于
将所有的3D内点
进行旋转，得到新坐标：
根据新坐标
构建矩阵A′和b′：
对应平移向量
位姿关系计算模块，配置用于根据最优yaw角θ和平移向量
计算当前时刻相对于目标关键帧Ft的位姿关系：
相对位姿计算模块，配置用于将目标关键帧Ft对应的导航位姿
结合估算得到的
可以得到当前时刻飞机在导航系下的相对位姿：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313948.5A CN111829532B (zh) | 2019-04-18 | 2019-04-18 | 一种飞行器重定位系统和重定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313948.5A CN111829532B (zh) | 2019-04-18 | 2019-04-18 | 一种飞行器重定位系统和重定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111829532A true CN111829532A (zh) | 2020-10-27 |
| CN111829532B CN111829532B (zh) | 2022-05-17 |
Family
ID=72914945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910313948.5A Active CN111829532B (zh) | 2019-04-18 | 2019-04-18 | 一种飞行器重定位系统和重定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111829532B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907657A (zh) * | 2021-03-05 | 2021-06-04 | 科益展智能装备有限公司 | 一种机器人重定位方法、装置、设备及存储介质 |
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114387341A (zh) * | 2021-12-16 | 2022-04-22 | 四川腾盾科技有限公司 | 通过单张航拍观测图像计算飞行器六自由度位姿的方法 |
| CN115630532A (zh) * | 2022-12-19 | 2023-01-20 | 安胜（天津）飞行模拟系统有限公司 | 一种全动飞行模拟机的快速重定位方法 |
| CN115729269A (zh) * | 2022-12-27 | 2023-03-03 | 深圳市逗映科技有限公司 | 一种基于机器视觉的无人机智能识别系统 |
| WO2023056698A1 (zh) * | 2021-10-09 | 2023-04-13 | 广东汇天航空航天科技有限公司 | 飞行器的定位导航方法、系统及计算设备 |
| CN115979262A (zh) * | 2023-03-21 | 2023-04-18 | 峰飞航空科技(昆山)有限公司 | 飞行器的定位方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857778A (zh) * | 2012-09-10 | 2013-01-02 | 海信集团有限公司 | 3d视频转换系统和方法及其选择关键帧的方法和装置 |
| CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
| WO2017022033A1 (ja) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US20170169300A1 (en) * | 2015-12-15 | 2017-06-15 | Honda Motor Co., Ltd. | System and method for image based vehicle localization |
| CN107677279A (zh) * | 2017-09-26 | 2018-02-09 | 上海思岚科技有限公司 | 一种定位建图的方法及系统 |
| CN108596976A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN108917753A (zh) * | 2018-04-08 | 2018-11-30 | 中国人民解放军63920部队 | 基于从运动恢复结构的飞行器位置确定方法 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| CN109154501A (zh) * | 2016-06-09 | 2019-01-04 | 高通股份有限公司 | 视觉导航系统中的几何匹配 |
-
2019
- 2019-04-18 CN CN201910313948.5A patent/CN111829532B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857778A (zh) * | 2012-09-10 | 2013-01-02 | 海信集团有限公司 | 3d视频转换系统和方法及其选择关键帧的方法和装置 |
| CN104537709A (zh) * | 2014-12-15 | 2015-04-22 | 西北工业大学 | 一种基于位姿变化的实时三维重建关键帧确定方法 |
| WO2017022033A1 (ja) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US20170169300A1 (en) * | 2015-12-15 | 2017-06-15 | Honda Motor Co., Ltd. | System and method for image based vehicle localization |
| CN109154501A (zh) * | 2016-06-09 | 2019-01-04 | 高通股份有限公司 | 视觉导航系统中的几何匹配 |
| CN107677279A (zh) * | 2017-09-26 | 2018-02-09 | 上海思岚科技有限公司 | 一种定位建图的方法及系统 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
| CN108917753A (zh) * | 2018-04-08 | 2018-11-30 | 中国人民解放军63920部队 | 基于从运动恢复结构的飞行器位置确定方法 |
| CN108615246A (zh) * | 2018-04-19 | 2018-10-02 | 浙江大承机器人科技有限公司 | 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法 |
| CN108596976A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GAO BINGSHU， LIU SHIRONG， ZHANG JUNJIE ETC.: "Pose Estimation Algorithm Based on Improved RANSAC with an RGB-D Camera", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 * |
| 王 民钢， 孙传新: "基 于图 像匹配的飞行器导航定位算法及仿真", 《计算机仿真》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907657A (zh) * | 2021-03-05 | 2021-06-04 | 科益展智能装备有限公司 | 一种机器人重定位方法、装置、设备及存储介质 |
| WO2023056698A1 (zh) * | 2021-10-09 | 2023-04-13 | 广东汇天航空航天科技有限公司 | 飞行器的定位导航方法、系统及计算设备 |
| CN114387341A (zh) * | 2021-12-16 | 2022-04-22 | 四川腾盾科技有限公司 | 通过单张航拍观测图像计算飞行器六自由度位姿的方法 |
| CN114088103A (zh) * | 2022-01-19 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN114088103B (zh) * | 2022-01-19 | 2022-05-20 | 腾讯科技（深圳）有限公司 | 车辆定位信息的确定方法和装置 |
| CN115630532A (zh) * | 2022-12-19 | 2023-01-20 | 安胜（天津）飞行模拟系统有限公司 | 一种全动飞行模拟机的快速重定位方法 |
| CN115729269A (zh) * | 2022-12-27 | 2023-03-03 | 深圳市逗映科技有限公司 | 一种基于机器视觉的无人机智能识别系统 |
| CN115729269B (zh) * | 2022-12-27 | 2024-02-20 | 深圳市逗映科技有限公司 | 一种基于机器视觉的无人机智能识别系统 |
| CN115979262A (zh) * | 2023-03-21 | 2023-04-18 | 峰飞航空科技(昆山)有限公司 | 飞行器的定位方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111829532B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
| US10339387B2 (en) | Automated multiple target detection and tracking system | |
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
| US8213706B2 (en) | Method and system for real-time visual odometry | |
| US9766075B2 (en) | Registration for vehicular augmented reality using auto-harmonization | |
| CN107478220B (zh) | 无人机室内导航方法、装置、无人机及存储介质 | |
| US11906983B2 (en) | System and method for tracking targets | |
| CN109461208B (zh) | 三维地图处理方法、装置、介质和计算设备 | |
| CN112567201A (zh) | 距离测量方法以及设备 | |
| US20160283774A1 (en) | Cloud feature detection | |
| KR20190030474A (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
| CN108520559B (zh) | 一种基于双目视觉的无人机定位导航的方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN108917753B (zh) | 基于从运动恢复结构的飞行器位置确定方法 | |
| US20140286537A1 (en) | Measurement device, measurement method, and computer program product | |
| US10642272B1 (en) | Vehicle navigation with image-aided global positioning system | |
| Miller et al. | UAV navigation based on videosequences captured by the onboard video camera | |
| CN113932796A (zh) | 高精地图车道线生成方法、装置和电子设备 | |
| CN109341685A (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
| CN109003295B (zh) | 一种无人机航空影像快速匹配方法 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN110554420A (zh) | 设备轨迹获取方法、装置、计算机设备及存储介质 | |
| CN113011212B (zh) | 图像识别方法、装置及车辆 | |
| CN112902957A (zh) | 一种弹载平台导航方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210721 Address after: 518063 5th floor, block B, building 1, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Fengyi Technology (Shenzhen) Co.,Ltd. Address before: 518061 Intersection of Xuefu Road (south) and Baishi Road (east) in Nanshan District, Shenzhen City, Guangdong Province, 6-13 floors, Block B, Shenzhen Software Industry Base Applicant before: SF TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |