CN110887486A - 一种基于激光线辅助的无人机视觉导航定位方法 - Google Patents

一种基于激光线辅助的无人机视觉导航定位方法 Download PDF

Info

Publication number
CN110887486A
CN110887486A CN201910992046.9A CN201910992046A CN110887486A CN 110887486 A CN110887486 A CN 110887486A CN 201910992046 A CN201910992046 A CN 201910992046A CN 110887486 A CN110887486 A CN 110887486A
Authority
CN
China
Prior art keywords
moment
aerial vehicle
unmanned aerial
variation
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910992046.9A
Other languages
English (en)
Other versions
CN110887486B (zh
Inventor
吕品
杨子寒
赖际舟
蔡小飞
闫洪林
石庆仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sensi Technology Co ltd
Nanjing University of Aeronautics and Astronautics
Original Assignee
NANJING PENGCHANG TECHNOLOGY INDUSTRIAL Co Ltd
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING PENGCHANG TECHNOLOGY INDUSTRIAL Co Ltd, Nanjing University of Aeronautics and Astronautics filed Critical NANJING PENGCHANG TECHNOLOGY INDUSTRIAL Co Ltd
Priority to CN201910992046.9A priority Critical patent/CN110887486B/zh
Publication of CN110887486A publication Critical patent/CN110887486A/zh
Application granted granted Critical
Publication of CN110887486B publication Critical patent/CN110887486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G01C15/004—Reference lines, planes or sectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于激光线辅助的无人机视觉导航定位方法，该方法首先利用激光发射器射出具有规则形状的激光线，投影于建筑体表面，然后通过无人机搭载的双目视觉传感器对其进行观测，并依此为特征进行视觉导航，从而为无人机提供导航信息。传统的视觉导航方法对环境的特征、光线有较高要求，本发明通过激光线辅助的方式，可以提高在特征稀疏、光线暗环境下的视觉导航精度。

Description

一种基于激光线辅助的无人机视觉导航定位方法
技术领域
本发明涉及一种基于激光线辅助的无人机视觉导航定位方法，属于视觉导航技术领域。
背景技术
一般地，无人机在特征稀疏、光线较暗环境下进行导航定位最常规的方式是基于惯性传感器，通过加速度计和陀螺仪的数据估计无人机的导航信息，然而惯性导航系统的误差会随时间积累，长时间工作后导航精度会变得很差。
为了解决上述问题，现有的改进后的无人机在特征稀疏、光线较暗环境下的导航定位方法有三种：
方法1：在无人机上增加全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)模块，利用GNSS定位精度高的特点，修正惯性导航系统的误差。
方法2：在无人机上搭载激光雷达传感器，使用激光雷达进行导航定位，激光雷达不受光照和环境纹理特征的影响，通过激光雷达导航算法得到无人机的导航信息。
方法3：在无人机上搭载视觉传感器，视觉传感器可以抑制惯性传感器的漂移误差，惯性传感器可以弥补视觉传感器受光照、环境特征影响的不足。通过融合视觉传感器和惯性传感器信息，得到较高精度的无人机导航信息。
然而，方法1存在的缺点是GNSS只适用于GNSS信号较强的开阔场景中，无法在室内环境中使用；方法2存在的缺点是激光雷达体积较大，无法安装在小型无人机上，且激光雷达价格昂贵；方法3存在的缺点是视觉和惯性传感器组合导航算法复杂，运算量大，对于性能不好的处理器不能实时运行，且长时间在光照、纹理特征不足的环境下工作，导航精度也会变差。综上所述，现有技术中在特征稀疏、光线较暗环境下的无人机导航定位方法适用性较弱。
发明内容
本发明所要解决的技术问题是：提供一种基于激光线辅助的无人机视觉导航定位方法，通过激光发射器发射预先编码的激光线投影于建筑体表面，进而使用视觉导航方法对无人机的导航信息进行估计，从而解决环境纹理特征稀少、光线较暗情况下视觉导航方法受限的问题，且适用性强。
本发明为解决上述技术问题采用以下技术方案：
一种基于激光线辅助的无人机视觉导航定位方法，包括如下步骤：
步骤1，利用激光发射器发射预先编码的激光线，激光线投影于建筑体表面，并在建筑体表面形成均匀分布的激光线，激光线在建筑体表面的分布范围大于无人机上搭载的双目视觉传感器的视野范围；
步骤2，通过无人机上搭载的双目视觉传感器，对投影于建筑体表面的激光线进行观测并拍摄图像，根据拍摄的图像判断是否需要移动激光发射器，使得无人机在飞行过程中其搭载的双目视觉传感器能够一直观测到激光线；
步骤3，通过k-1与k时刻拍摄的图像信息，求解k-1与k时刻之间即k-1与k帧之间无人机的位姿变化量；
步骤4，通过视觉导航方法，对无人机k时刻的导航信息进行估计；
步骤5，通过无人机上搭载的惯性传感器数据递推无人机k-1与k时刻的位姿变化量；
步骤6，根据步骤3求解的位姿变化量和步骤5递推的位姿变化量，判断从k-1时刻到k时刻这段时间内，是否移动了激光发射器，若没有移动激光发射器，则将步骤4得到的导航信息作为无人机k时刻的导航信息；若移动了激光发射器，则将步骤5递推的位姿变化量加到无人机k-1时刻的导航信息上，作为无人机k时刻的导航信息；具体为：
6.1，将步骤3求解的k-1时刻到k时刻机体位姿变化量的变换矩阵中包含的旋转矩阵R转化为欧拉角：
Figure BDA0002238590530000031
其中，
Figure BDA0002238590530000032
的计算公式如下：
Figure BDA0002238590530000033
Figure BDA0002238590530000034
Figure BDA0002238590530000035
Figure BDA0002238590530000036
为步骤3求解的k-1时刻到k时刻机体位置变化量；
其中，
Figure BDA0002238590530000037
为求解的无人机姿态角变化量、位置变化量，
Figure BDA0002238590530000038
为
Figure BDA0002238590530000039
在k-1时刻机体系X、Y、Z轴上的分量，
Figure BDA00022385905300000310
t为步骤3求解的k-1时刻到k时刻机体位姿变化量的变换矩阵中包含的平移向量；
6.2，将6.1得到的无人机姿态角变化量
Figure BDA00022385905300000311
与步骤5递推得到的姿态角变化量
Figure BDA00022385905300000312
做差，将6.1得到的无人机位置变化量
Figure BDA00022385905300000313
与步骤5递推得到的位置变化量
Figure BDA00022385905300000314
做差，若姿态角变化量的差值或者位置变化量的差值超过了设定阈值，则认为移动了激光发射器，否则认为没有移动；
6.3，若没有移动激光发射器，则将步骤4估计的导航信息转换为机体系在导航系下的导航信息，得到无人机k时刻的导航信息，具体公式为：
Figure BDA00022385905300000315
Figure BDA00022385905300000316
其中，
Figure BDA00022385905300000317
分别为k时刻导航系下无人机的姿态、位置，
Figure BDA00022385905300000318
分别为步骤4得到的k时刻相机在导航系下的姿态、位置，
Figure BDA00022385905300000319
分别为机体系到相机系的旋转矩阵、平移向量；
若移动了激光发射器，则将步骤5递推的位姿变化量加到无人机k-1时刻的导航信息上，得到无人机k时刻的导航信息，具体公式为：
Figure BDA00022385905300000320
Figure BDA00022385905300000321
其中，
Figure BDA0002238590530000041
分别为k-1时刻导航系下无人机的姿态、位置，
Figure BDA0002238590530000042
由步骤5递推得到的姿态角变化量
Figure BDA0002238590530000043
位置变化量
Figure BDA0002238590530000044
确定，具体公式如下：
Figure BDA0002238590530000045
Figure BDA0002238590530000046
其中，
Figure BDA0002238590530000047
Figure BDA0002238590530000048
分别为无人机在k-1时刻机体系下绕X、Y、Z轴的姿态角变化量，
Figure BDA0002238590530000049
分别为k时刻机体系到k-1时刻机体系的旋转矩阵、平移向量。
作为本发明的一种优选方案，步骤1所述激光发射器安装于地面上或者搭载在另一架无人机上。
作为本发明的一种优选方案，步骤2所述根据拍摄的图像判断是否需要移动激光发射器，具体为：判断拍摄的图像上激光线占据的范围，若激光线占据的范围大于等于图像的1/3，则不需要移动激光发射器；若激光线占据的范围小于图像的1/3，则需要移动激光发射器。
作为本发明的一种优选方案，所述步骤3的具体过程为：
3.1，获取k-1时刻拍摄的图像信息，包括左目图像和右目图像，利用KLT稀疏光流法对k-2时刻得到的特征点进行跟踪，同时对k-1时刻左目图像进行ORB特征点检测，使每张图像的特征点数量保持为定值；利用KLT稀疏光流法跟踪k-1时刻左目图像的特征点，得到k-1时刻右目图像匹配成功的特征点，利用双目视觉的视差，得到匹配成功的特征点的深度信息，进而得到匹配成功的特征点在相机坐标系下的坐标；
3.2，获取k时刻拍摄的图像信息，包括左目图像和右目图像，利用KLT稀疏光流法对k-1时刻左、右目图像匹配成功的特征点进行跟踪，得到k时刻左目图像上对应的特征点在像素坐标系下的坐标；
3.3，根据k-1时刻左、右目图像匹配成功的特征点在在相机坐标系下的坐标以及k时刻左目图像上对应的特征点在像素坐标系下的坐标，构建k-1与k帧之间的重投影误差，使用非线性优化方法，得到使重投影误差最小的相机位姿变换矩阵，进一步得到k-1与k时刻无人机位姿变化量的变换矩阵。
作为本发明的一种优选方案，所述步骤4的具体过程为：
4.1，根据判断条件判断第k帧是否为关键帧，判断条件有两个，若满足至少一个判断条件，则将第k帧设置为关键帧，判断条件为：
条件1，从上一关键帧跟踪到第k帧的特征点在像素平面上的平均距离大于10像素；
条件2，从上一关键帧跟踪到第k帧的特征点数量小于20；
4.2，构建第k帧与第k帧之前的所有关键帧之间的重投影误差，使用非线性优化方法，得到使重投影误差最小的相机位姿，从而得到第k帧相机的姿态、位置。
作为本发明的一种优选方案，所述步骤5的具体过程为：
5.1，无人机k-1与k时刻的姿态角变化量
Figure BDA0002238590530000051
预测公式为：
Figure BDA0002238590530000052
其中，
Figure BDA0002238590530000053
分别为无人机在k-1时刻机体系下绕X、Y、Z轴的姿态角变化量，Δt为从k-1时刻到k时刻的时间，
Figure BDA0002238590530000054
为k-1时刻不包含陀螺仪零偏的角速度值，
Figure BDA0002238590530000055
通过下式计算：
Figure BDA0002238590530000056
其中，
Figure BDA0002238590530000057
为k-1时刻陀螺仪输出的角速度在机体系X、Y、Z轴上的分量，
Figure BDA0002238590530000058
为k-1时刻陀螺仪的零偏在机体系X、Y、Z轴上的分量；
5.2，无人机k-1与k时刻的位置变化量
Figure BDA0002238590530000059
预测公式为：
Figure BDA00022385905300000510
其中，
Figure BDA00022385905300000511
为k-1时刻载体速度在机体系下的值，
Figure BDA00022385905300000512
为k-1时刻加速度计输出的加速度在机体系下的值，
Figure BDA0002238590530000061
为k-1时刻加速度计的零偏在机体系下的值，
Figure BDA0002238590530000062
为k-1时刻导航坐标系到机体坐标系的旋转矩阵，gw是导航坐标系下的重力向量。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明通过激光发射器发射预先编码的激光线，激光线投影于建筑体表面，进而通过无人机搭载的双目视觉传感器，使用视觉导航方法对无人机的导航信息进行估计，从而解决特征稀疏、光线暗环境下视觉导航方法受限的问题，提高在该类环境下的视觉导航精度，且比现有方法适用性强。
附图说明
图1是本发明基于激光线辅助的无人机视觉导航定位方法的流程示意图。
图2是本发明方法实施例一的结构示意图。
图3是本发明方法实施例二的结构示意图。
图4是本发明方法实施例三的结构示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明方法的流程如图1所示，其具体步骤如下：
步骤一：通过激光发射器发射预先编码的激光线，激光线投影于建筑体表面，激光发射器可以安装于地面或者由另一架无人机搭载。例如，图2和图3中激光发射器安装于地面，图4中激光发射器搭载在另一架无人机上。并且激光发射器射出的激光线投影到建筑表面后可以在较大范围内形成均匀分布的激光线。例如，图2和图4中激光线投影到建筑表面后在较大范围内形成了均匀分布的网格，图3中激光线投影到建筑表面后在较大范围内形成了均匀分布的线段。
步骤二：通过无人机搭载的双目视觉传感器，对投影于建筑体表面的激光线进行观测，且在无人机飞行过程中拍摄周围的环境信息。例如，图2、图3和图4中的无人机搭载双目视觉传感器观测激光线并拍摄周围的环境信息。
步骤三：通过步骤二无人机拍摄的图像信息(左目和右目图像)，判断是否需要移动激光发射器。若左目和右目图像上激光线均占据了相机大部分视野范围，则不需要移动激光发射器；否则需要移动激光发射器，以保证无人机在飞行过程中其搭载的双目视觉传感器可以一直观察到激光线。例如，可以将阈值设置为1/3。
步骤四：通过视觉信息求解相邻两帧图像之间无人机的位姿变化量。
1)获取k-1时刻的视觉信息，包括左目图像和右目图像。使用KLT稀疏光流法对现有特征进行跟踪，同时对左目图像进行新的ORB特征检测，使每张图像中的特征点数目保持在一定值。例如，可设置特征点数量为100。使用KLT稀疏光流法跟踪左目图像特征，得到右目图像对应的匹配点。利用双目视觉的视差，可以得到匹配成功的特征点的深度信息，进而得到特征点在相机坐标系下的坐标：
Figure BDA0002238590530000071
其中，
Figure BDA0002238590530000072
为特征点
Figure BDA0002238590530000073
在相机坐标系下X、Y、Z轴的坐标值，其中i表示第i个特征点。
2)获取k时刻的视觉信息，包括左目图像和右目图像。使用KLT稀疏光流法对k-1时刻左右目图像匹配成功的ORB特征点进行跟踪，得到k时刻左目图像上对应的特征点
Figure BDA0002238590530000074
Figure BDA0002238590530000075
其中，
Figure BDA0002238590530000076
为特征点
Figure BDA0002238590530000077
在像素坐标系下u、v轴的坐标值，其中j表示第j个特征点。
3)构建第k-1帧和第k帧之间的重投影误差，误差项是将跟踪成功的特征点的3D坐标按照当前的位姿估计进行投影得到的位置与像素坐标相比较得到的误差，
Figure BDA0002238590530000078
为跟踪成功的特征点在k-1时刻相机坐标系下的坐标，n为跟踪成功的特征点数量，ξ为k-1时刻到k时刻相机位姿变换的李代数，exp(ξ^)＝T，ξ*表示重投影误差达到最小时ξ的值，sj为第j个特征点在k-1时刻相机坐标系下的深度，
Figure BDA0002238590530000081
公式如下：
Figure BDA0002238590530000082
使用非线性优化方法，不断优化相机位姿变化矩阵使重投影误差最小化，得到变换矩阵
Figure BDA0002238590530000083
通过进一步计算可以得到从k-1时刻到k时刻机体位姿的变换矩阵
Figure BDA0002238590530000084
Figure BDA0002238590530000085
上式中
Figure BDA0002238590530000086
表示从k-1时刻到k时刻机体位姿变化量的变换矩阵，包含一个旋转矩阵R，其中包含9个旋转元素，同时还包含一个平移向量t，其中包含三个平移元素。
步骤五：通过视觉导航方法，对无人机的导航信息进行估计。
1)判断步骤四中的第k帧是否为关键帧，有两个判断条件，满足其一即将该帧设置为关键帧，具体判断条件如下：
条件1：跟踪特征点的平均视差大于某个阈值。即从上一关键帧跟踪到当前帧(第k帧)的特征点在像素平面上的平均距离大于某一像素值。例如，可将像素阈值设置为10像素。
条件2：跟踪的特征点数量小于某个阈值。即从上一关键帧跟踪到当前帧的特征点数量小于某一值。例如，可将特征点数量阈值设置为20个。
2)构建当前帧与全局关键帧之间的重投影误差，误差项是对当前帧上所有跟踪得到的特征点P，对于第l个特征点Pl，将Pl从第一次观看到它的第m个相机坐标系，转换到当前的第k个相机坐标系下的坐标，与当前帧观测值
Figure BDA0002238590530000087
之间的差，公式如下：
Figure BDA0002238590530000088
其中，
Figure BDA0002238590530000089
为第l个特征点在第m帧相机坐标系下的观测值，λl为特征点Pl的逆深度，观测值计算公式如下：
Figure BDA0002238590530000091
其中，K为相机的内参矩阵。使用非线性优化方法，不断优化相机位姿使重投影误差最小化，可以得到
Figure BDA0002238590530000092
和
Figure BDA0002238590530000093
为第m帧相机的姿态、位置，
Figure BDA0002238590530000094
为第k帧相机的姿态、位置。
步骤六：通过惯性传感器数据递推无人机的位姿变化量。
1)姿态角变化量预测公式如下：
Figure BDA0002238590530000095
其中，
Figure BDA0002238590530000096
分别为无人机在k-1时刻机体系下绕X、Y、Z轴的姿态角变化量，Δt为从k-1时刻到k时刻的时间，
Figure BDA0002238590530000097
通过下式计算：
Figure BDA0002238590530000098
其中，
Figure BDA0002238590530000099
为k-1时刻陀螺仪输出的角速度在机体系X、Y、Z轴上的分量，
Figure BDA00022385905300000910
为k-1时刻陀螺仪的零偏在机体系X、Y、Z轴上的分量。
2)位置变化量预测公式如下：
Figure BDA00022385905300000911
其中，
Figure BDA00022385905300000912
为k-1时刻载体速度在机体系下的值，
Figure BDA00022385905300000913
为k-1时刻加速度计输出的加速度在机体系下的值，
Figure BDA00022385905300000914
为k-1时刻加速度计的零偏在机体系下的值，
Figure BDA00022385905300000915
为k-1时刻导航坐标系到机体坐标系的旋转矩阵，gw是导航坐标系下的重力向量，Δt为从k-1时刻到k时刻的时间。
步骤七：根据步骤四视觉求解的无人机位姿变化量和步骤六惯性递推的位姿变化量，判断在这段时间内是否移动了激光发射器，并更新导航信息。若没有移动激光发射器，则将步骤五视觉求得的导航信息作为无人机当前的导航信息；若移动了激光发射器，则将步骤六惯性递推的位姿变化量加到上一时刻无人机的导航信息上，作为当前时刻无人机的导航信息。
1)将步骤四中得到的k-1时刻到k时刻机体姿态变化量的旋转矩阵R转化为欧拉角：
Figure BDA0002238590530000101
其中，
Figure BDA0002238590530000102
的计算公式如下：
Figure BDA0002238590530000103
Figure BDA0002238590530000104
Figure BDA0002238590530000105
Figure BDA0002238590530000106
为视觉求解的k-1时刻到k时刻机体位置变化量。
2)将视觉求解的无人机位姿变化量
Figure BDA0002238590530000107
与惯性递推的位姿变化量
Figure BDA0002238590530000108
Figure BDA0002238590530000109
分别做差，如果姿态角变化量或者位置变化量的差超过了设定阈值，则认为移动了激光发射器，否则认为没有移动激光发射器。其中，阈值的大小与惯性传感器的精度有关，具体设置方法如下：
设视觉求解无人机位姿变化量的周期为Δτ，ggyr、aacc分别为陀螺仪和加速度计单位时间内产生的误差，那么在Δτ时间内惯性器件递推姿态、位置产生的误差分别为θerror＝ggyr·Δτ、terror＝aacc·Δτ，设定的阈值为Lθ＝2θerror、Lt＝2terror。也可以将阈值设为其它值，例如，Lθ＝1.5θerror、Lt＝1.5terror等。
3)根据判断结果更新无人机导航信息，如果没有移动激光发射器，则将步骤五求得的当前时刻相机在导航系下的姿态
Figure BDA00022385905300001010
位置
Figure BDA00022385905300001011
转换为机体系在导航系下的姿态、位置，得到
Figure BDA00022385905300001012
该信息即为无人机当前的导航信息。具体公式如下：
Figure BDA00022385905300001013
Figure BDA00022385905300001014
其中，
Figure BDA00022385905300001015
分别为机体系到相机系的旋转矩阵与平移向量。
如果移动了激光发射器，则将步骤六惯性递推的无人机位姿变化量加到上一时刻无人机的导航信息
Figure BDA00022385905300001016
上，得到当前时刻无人机的导航信息
Figure BDA00022385905300001017
具体公式如下：
Figure BDA0002238590530000111
Figure BDA0002238590530000112
其中，
Figure BDA0002238590530000113
可由步骤六中得到的
Figure BDA0002238590530000114
确定，具体公式如下：
Figure BDA0002238590530000115
Figure BDA0002238590530000116
其中，
Figure BDA0002238590530000117
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于激光线辅助的无人机视觉导航定位方法，其特征在于，包括如下步骤：
步骤1，利用激光发射器发射预先编码的激光线，激光线投影于建筑体表面，并在建筑体表面形成均匀分布的激光线，激光线在建筑体表面的分布范围大于无人机上搭载的双目视觉传感器的视野范围；
步骤2，通过无人机上搭载的双目视觉传感器，对投影于建筑体表面的激光线进行观测并拍摄图像，根据拍摄的图像判断是否需要移动激光发射器，使得无人机在飞行过程中其搭载的双目视觉传感器能够一直观测到激光线；
步骤3，通过k-1与k时刻拍摄的图像信息，求解k-1与k时刻之间即k-1与k帧之间无人机的位姿变化量；
步骤4，通过视觉导航方法，对无人机k时刻的导航信息进行估计；
步骤5，通过无人机上搭载的惯性传感器数据递推无人机k-1与k时刻的位姿变化量；
步骤6，根据步骤3求解的位姿变化量和步骤5递推的位姿变化量，判断从k-1时刻到k时刻这段时间内，是否移动了激光发射器，若没有移动激光发射器，则将步骤4得到的导航信息作为无人机k时刻的导航信息；若移动了激光发射器，则将步骤5递推的位姿变化量加到无人机k-1时刻的导航信息上，作为无人机k时刻的导航信息；具体为：
6.1，将步骤3求解的k-1时刻到k时刻机体位姿变化量的变换矩阵中包含的旋转矩阵R转化为欧拉角：
Figure FDA0002238590520000011
其中，
Figure FDA0002238590520000012
的计算公式如下：
Figure FDA0002238590520000013
Figure FDA0002238590520000014
Figure FDA0002238590520000015
Figure FDA0002238590520000021
为步骤3求解的k-1时刻到k时刻机体位置变化量；
其中，
Figure FDA0002238590520000022
为求解的无人机姿态角变化量、位置变化量，
Figure FDA0002238590520000023
为
Figure FDA0002238590520000024
在k-1时刻机体系X、Y、Z轴上的分量，
Figure FDA0002238590520000025
t为步骤3求解的k-1时刻到k时刻机体位姿变化量的变换矩阵中包含的平移向量；
6.2，将6.1得到的无人机姿态角变化量
Figure FDA0002238590520000026
与步骤5递推得到的姿态角变化量
Figure FDA0002238590520000027
做差，将6.1得到的无人机位置变化量
Figure FDA0002238590520000028
与步骤5递推得到的位置变化量
Figure FDA0002238590520000029
做差，若姿态角变化量的差值或者位置变化量的差值超过了设定阈值，则认为移动了激光发射器，否则认为没有移动；
6.3，若没有移动激光发射器，则将步骤4估计的导航信息转换为机体系在导航系下的导航信息，得到无人机k时刻的导航信息，具体公式为：
Figure FDA00022385905200000210
Figure FDA00022385905200000211
其中，
Figure FDA00022385905200000212
分别为k时刻导航系下无人机的姿态、位置，
Figure FDA00022385905200000213
分别为步骤4得到的k时刻相机在导航系下的姿态、位置，
Figure FDA00022385905200000214
分别为机体系到相机系的旋转矩阵、平移向量；
若移动了激光发射器，则将步骤5递推的位姿变化量加到无人机k-1时刻的导航信息上，得到无人机k时刻的导航信息，具体公式为：
Figure FDA00022385905200000215
Figure FDA00022385905200000216
其中，
Figure FDA00022385905200000217
分别为k-1时刻导航系下无人机的姿态、位置，
Figure FDA00022385905200000218
由步骤5递推得到的姿态角变化量
Figure FDA00022385905200000219
位置变化量
Figure FDA00022385905200000220
确定，具体公式如下：
Figure FDA00022385905200000221
Figure FDA00022385905200000222
其中，
Figure FDA0002238590520000031
Figure FDA0002238590520000032
分别为无人机在k-1时刻机体系下绕X、Y、Z轴的姿态角变化量，
Figure FDA0002238590520000033
分别为k时刻机体系到k-1时刻机体系的旋转矩阵、平移向量。
2.根据权利要求1所述基于激光线辅助的无人机视觉导航定位方法，其特征在于，步骤1所述激光发射器安装于地面上或者搭载在另一架无人机上。
3.根据权利要求1所述基于激光线辅助的无人机视觉导航定位方法，其特征在于，步骤2所述根据拍摄的图像判断是否需要移动激光发射器，具体为：判断拍摄的图像上激光线占据的范围，若激光线占据的范围大于等于图像的1/3，则不需要移动激光发射器；若激光线占据的范围小于图像的1/3，则需要移动激光发射器。
4.根据权利要求1所述基于激光线辅助的无人机视觉导航定位方法，其特征在于，所述步骤3的具体过程为：
3.1，获取k-1时刻拍摄的图像信息，包括左目图像和右目图像，利用KLT稀疏光流法对k-2时刻得到的特征点进行跟踪，同时对k-1时刻左目图像进行ORB特征点检测，使每张图像的特征点数量保持为定值；利用KLT稀疏光流法跟踪k-1时刻左目图像的特征点，得到k-1时刻右目图像匹配成功的特征点，利用双目视觉的视差，得到匹配成功的特征点的深度信息，进而得到匹配成功的特征点在相机坐标系下的坐标；
3.2，获取k时刻拍摄的图像信息，包括左目图像和右目图像，利用KLT稀疏光流法对k-1时刻左、右目图像匹配成功的特征点进行跟踪，得到k时刻左目图像上对应的特征点在像素坐标系下的坐标；
3.3，根据k-1时刻左、右目图像匹配成功的特征点在在相机坐标系下的坐标以及k时刻左目图像上对应的特征点在像素坐标系下的坐标，构建k-1与k帧之间的重投影误差，使用非线性优化方法，得到使重投影误差最小的相机位姿变换矩阵，进一步得到k-1与k时刻无人机位姿变化量的变换矩阵。
5.根据权利要求1所述基于激光线辅助的无人机视觉导航定位方法，其特征在于，所述步骤4的具体过程为：
4.1，根据判断条件判断第k帧是否为关键帧，判断条件有两个，若满足至少一个判断条件，则将第k帧设置为关键帧，判断条件为：
条件1，从上一关键帧跟踪到第k帧的特征点在像素平面上的平均距离大于10像素；
条件2，从上一关键帧跟踪到第k帧的特征点数量小于20；
4.2，构建第k帧与第k帧之前的所有关键帧之间的重投影误差，使用非线性优化方法，得到使重投影误差最小的相机位姿，从而得到第k帧相机的姿态、位置。
6.根据权利要求1所述基于激光线辅助的无人机视觉导航定位方法，其特征在于，所述步骤5的具体过程为：
5.1，无人机k-1与k时刻的姿态角变化量
Figure FDA0002238590520000041
预测公式为：
Figure FDA0002238590520000042
其中，
Figure FDA0002238590520000043
分别为无人机在k-1时刻机体系下绕X、Y、Z轴的姿态角变化量，Δt为从k-1时刻到k时刻的时间，
Figure FDA0002238590520000044
为k-1时刻不包含陀螺仪零偏的角速度值，
Figure FDA0002238590520000045
通过下式计算：
Figure FDA0002238590520000046
其中，
Figure FDA0002238590520000047
为k-1时刻陀螺仪输出的角速度在机体系X、Y、Z轴上的分量，
Figure FDA0002238590520000048
为k-1时刻陀螺仪的零偏在机体系X、Y、Z轴上的分量；
5.2，无人机k-1与k时刻的位置变化量
Figure FDA0002238590520000049
预测公式为：
Figure FDA00022385905200000410
其中，
Figure FDA00022385905200000411
为k-1时刻载体速度在机体系下的值，
Figure FDA00022385905200000412
为k-1时刻加速度计输出的加速度在机体系下的值，
Figure FDA00022385905200000413
为k-1时刻加速度计的零偏在机体系下的值，
Figure FDA00022385905200000414
为k-1时刻导航坐标系到机体坐标系的旋转矩阵，gw是导航坐标系下的重力向量。
CN201910992046.9A 2019-10-18 2019-10-18 一种基于激光线辅助的无人机视觉导航定位方法 Active CN110887486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910992046.9A CN110887486B (zh) 2019-10-18 2019-10-18 一种基于激光线辅助的无人机视觉导航定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910992046.9A CN110887486B (zh) 2019-10-18 2019-10-18 一种基于激光线辅助的无人机视觉导航定位方法

Publications (2)

Publication Number Publication Date
CN110887486A true CN110887486A (zh) 2020-03-17
CN110887486B CN110887486B (zh) 2022-05-20

Family

ID=69746278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910992046.9A Active CN110887486B (zh) 2019-10-18 2019-10-18 一种基于激光线辅助的无人机视觉导航定位方法

Country Status (1)

Country Link
CN (1) CN110887486B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111442756A (zh) * 2020-04-07 2020-07-24 北京邮电大学 一种基于激光阵列测量无人机抖动角的方法及装置
CN111486841A (zh) * 2020-05-19 2020-08-04 西安因诺航空科技有限公司 一种基于激光定位系统的无人机导航定位方法
CN113091627A (zh) * 2021-04-26 2021-07-09 吉林大学 一种基于主动双目视觉的黑暗环境下车辆高度的测量方法
CN114485629A (zh) * 2021-12-16 2022-05-13 广州极飞科技股份有限公司 无人设备导航方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842101B1 (ko) * 2007-06-15 2008-06-30 주식회사 대한항공 영상정보를 이용한 무인항공기 자동회수 방법
CN103424112A (zh) * 2013-07-29 2013-12-04 南京航空航天大学 一种基于激光平面辅助的运动载体视觉导航方法
CN105222724A (zh) * 2015-09-10 2016-01-06 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN107991680A (zh) * 2017-11-21 2018-05-04 南京航空航天大学 动态环境下基于激光雷达的slam方法
US20180257780A1 (en) * 2017-03-09 2018-09-13 Jeffrey Sassinsky Kinetic unmanned aerial vehicle flight disruption and disabling device, system and associated methods
CN108827287A (zh) * 2018-04-10 2018-11-16 南京航空航天大学 一种复杂环境下的鲁棒视觉slam系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842101B1 (ko) * 2007-06-15 2008-06-30 주식회사 대한항공 영상정보를 이용한 무인항공기 자동회수 방법
CN103424112A (zh) * 2013-07-29 2013-12-04 南京航空航天大学 一种基于激光平面辅助的运动载体视觉导航方法
CN105222724A (zh) * 2015-09-10 2016-01-06 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
US20180257780A1 (en) * 2017-03-09 2018-09-13 Jeffrey Sassinsky Kinetic unmanned aerial vehicle flight disruption and disabling device, system and associated methods
CN107991680A (zh) * 2017-11-21 2018-05-04 南京航空航天大学 动态环境下基于激光雷达的slam方法
CN108827287A (zh) * 2018-04-10 2018-11-16 南京航空航天大学 一种复杂环境下的鲁棒视觉slam系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
崔海华等: "一种单双目视觉结合的实时激光三维测量方法", 《光学与光电技术》 *
王云舒等: "结构光辅助的惯性/视觉室内导航三维环境重构方法", 《中国惯性技术学报》 *
石鹏等: "复杂环境下微小飞行器惯性／激光雷达", 《导航定位与授时》 *
赵春晖: "无人机景象匹配视觉导航技术综述", 《中国科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111442756A (zh) * 2020-04-07 2020-07-24 北京邮电大学 一种基于激光阵列测量无人机抖动角的方法及装置
CN111442756B (zh) * 2020-04-07 2021-05-14 北京邮电大学 一种基于激光阵列测量无人机抖动角的方法及装置
CN111486841A (zh) * 2020-05-19 2020-08-04 西安因诺航空科技有限公司 一种基于激光定位系统的无人机导航定位方法
CN111486841B (zh) * 2020-05-19 2022-04-05 西安因诺航空科技有限公司 一种基于激光定位系统的无人机导航定位方法
CN113091627A (zh) * 2021-04-26 2021-07-09 吉林大学 一种基于主动双目视觉的黑暗环境下车辆高度的测量方法
CN114485629A (zh) * 2021-12-16 2022-05-13 广州极飞科技股份有限公司 无人设备导航方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110887486B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110887486B (zh) 一种基于激光线辅助的无人机视觉导航定位方法
CN109887057B (zh) 生成高精度地图的方法和装置
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
US10630962B2 (en) Systems and methods for object location
CN111024066A (zh) 一种无人机视觉-惯性融合室内定位方法
CN110033480B (zh) 基于航摄测量的机载光电系统目标运动矢量估计方法
CN107390704B (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN111966133A (zh) 一种云台视觉伺服控制系统
EP4155873A1 (en) Multi-sensor handle controller hybrid tracking method and device
CN106468547A (zh) 利用多个光学传感器的用于自导飞行器的不依赖全球定位系统（“gps”）的导航系统
CN113551665B (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN109520476B (zh) 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN111932616B (zh) 一种利用并行计算加速的双目视觉惯性里程计方法
CN114719848B (zh) 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN112556574A (zh) 一种水空协同的渡槽裂缝检测定位方法
CN111504323A (zh) 基于异源图像匹配与惯性导航融合的无人机自主定位方法
CN106296718A (zh) 基于立体视觉导航系统的相机阵列快速标定方法
CN112136137A (zh) 一种参数优化方法、装置及控制设备、飞行器
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
CN112945233B (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN113240813A (zh) 三维点云信息确定方法及装置
CN112444245A (zh) 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231128

Address after: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Patentee after: Nanjing University of Aeronautics and Astronautics

Patentee after: Nanjing sensi Technology Co.,Ltd.

Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Patentee before: Nanjing University of Aeronautics and Astronautics

Patentee before: NANJING PENGCHANG TECHNOLOGY INDUSTRIAL Co.,Ltd.

TR01 Transfer of patent right