CN109540126B - 一种基于光流法的惯性视觉组合导航方法 - Google Patents

一种基于光流法的惯性视觉组合导航方法 Download PDF

Info

Publication number
CN109540126B
CN109540126B CN201811466639.3A CN201811466639A CN109540126B CN 109540126 B CN109540126 B CN 109540126B CN 201811466639 A CN201811466639 A CN 201811466639A CN 109540126 B CN109540126 B CN 109540126B
Authority
CN
China
Prior art keywords
coordinate system
unmanned aerial
aerial vehicle
matrix
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811466639.3A
Other languages
English (en)
Other versions
CN109540126A (zh
Inventor
白成超
郭继峰
张文苑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201811466639.3A priority Critical patent/CN109540126B/zh
Publication of CN109540126A publication Critical patent/CN109540126A/zh
Application granted granted Critical
Publication of CN109540126B publication Critical patent/CN109540126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

一种基于光流法的惯性视觉组合导航方法，本发明涉及惯性视觉组合导航方。本发明的目的是为了解决现有惯性导航长时间工作会有累积误差，导航信息不准确；现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大；以及现有视觉导航算法较为复杂，且易受相机姿态、光照变化、图像噪声等影响的问题。过程为：一、定义坐标系；二、在无人机上搭载IMU、相机和高度计三种传感器，得到二维光流数据；三、得到无人机在世界坐标系下的位置；四、根据IMU测量信息进行惯性导航，解算出无人机在世界坐标系下的位置和姿态；五、得到融合后的无人机在世界坐标系下的位置及姿态信息。本发明用于无人机自主导航技术领域。

Description

一种基于光流法的惯性视觉组合导航方法
技术领域
本发明涉及无人机自主导航技术领域，特别是涉及在无GPS时的小型无人机复杂环境中的自主导航。
背景技术
目前，微型无人机常用的导航方式有惯性导航，卫星导航，视觉导航等。给定初始条件后，惯性导航可实现完全自主的导航，不依赖外部信号，也不受外部环境干扰，但是长时间工作会有累积误差，导航信息不准确。卫星导航中最常见的是GPS导航，具有全球性和高精度等特点，但是GPS导航受人为因素影响较大，且在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大。视觉导航是一种自主导航方式，通过相机在运动过程中采集的图像变化信息，来确定机体相对于场景的位置。相比较而言，视觉导航可以在复杂的环境中实现导航定位和感知避障，无需过多的外部信号，还能再现环境的形状、颜色等信息，为飞行器控制和路径规划提供了依据。但视觉导航算法较为复杂，且易受相机姿态、光照变化、图像噪声等影响。
综上，现有导航方式在一定程度上有缺陷：1)现有惯性导航长时间工作会有累积误差，导航信息不准确；2)现有卫星导航受人为因素影响较大，且在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大；3)现有视觉导航算法较为复杂，且易受相机姿态、光照变化、图像噪声等影响。
发明内容
本发明的目的是为了解决现有惯性导航导航信息不准确；现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大；以及现有视觉导航算法较为复杂，且易受相机姿态、光照变化、图像噪声等影响的问题，而提出一种基于光流法的惯性视觉组合导航方法。
一种基于光流法的惯性视觉组合导航方法具体过程为：
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv；
步骤二、在无人机上搭载IMU、相机和高度计三种传感器，通过相机采集图像，将采集到的图像按照如图2的流程进行金字塔LK解算，得到二维光流数据；
IMU由陀螺仪和加速度计组成；
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置；
步骤四、根据IMU测量信息进行惯性导航，解算出无人机在世界坐标系下的位置和姿态；
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF，得到融合后的无人机在世界坐标系下的位置及姿态信息。
本发明的有益效果为：
为了解决在复杂环境中微型无人机GPS导航失效的问题
本发明所采用的技术方案是：在无人机上搭载惯性测量单元(IMU)、相机和高度计三种传感器，IMU用来进行惯性导航并为光流法视觉导航提供角速度信息，相机结合高度计提供高度信息进行光流法视觉导航。首先使用金字塔策略的Lucas-Kanade算法对相机拍摄的图片进行光流解算，并结合角速度、高度和相机参数等信息，将二维的导航数据映射到三维环境中，解算出无人机在世界坐标系下的位置和速度信息；同时使用IMU进行位姿解算；最后将两种导航方法获得的信息进行扩展卡尔曼滤波融合(EKF)，得出更为精确的位置信息，即可求得无人机在空间中的方位，解决了现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大的问题，以及现有视觉导航算法较为复杂的问题。
本发明方法通过两者融合减小单一惯导的累计误差，解决了现有惯性导航长时间工作会有累积误差，导航信息不准确的问题；
本发明方法提高对环境变化(如光照)的适应能力，现有技术单一视觉导航，光照变化时导航会失效，本发明即使面对全黑，因为有惯导在，导航也不会失效，为无人机提供准确的位置信息；解决了现有卫星导航易受相机姿态、光照变化、图像噪声等影响的问题。
附图说明
图1为光流法视觉惯性导航整体思想流程图；
图2为金字塔策略的Lucas-Kanade算法程序框图；
图3为二维图像信息与三维导航信息转换的程序框图；
图4为扩展卡尔曼滤波融合的程序框图。
具体实施方式
具体实施方式一：本实施方式具体过程为：一种基于光流法的惯性视觉组合导航方法具体过程为：
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv；
步骤二、在无人机上搭载IMU、相机和高度计三种传感器，通过相机采集图像，将采集到的图像按照如图2的流程进行金字塔LK解算，得到二维光流数据；
IMU由陀螺仪和加速度计组成；
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置；
步骤四、根据IMU测量信息进行惯性导航，解算出无人机在世界坐标系下的位置和姿态；
IMU为惯性测量单元，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。
光流信息是传感器获得的，是在相机坐标系下，需要通过相机坐标系到世界系的转化才可以统一应用；
而步骤四IMU获得的数据是无人机本体系，同样需要利用本体系到世界系的转化，才能统一使用；
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF，得到融合后的无人机在世界坐标系下的位置及姿态信息。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv；具体为：
a.世界坐标系OwXwYwZw：
使用北-东-地坐标系作为世界坐标系，世界坐标系原点Ow为无人机初始位置在地面的投影，坐标轴OwXw指向地球北，OwYw指向地球东，OwZw垂直于地球表面并指向下；世界坐标系是固定坐标系；
b.无人机机体坐标系ObXbYbZb：
机体坐标系原点Ob取在无人机的质心上，ObXb平行于无人机桨盘平面并指向前，ObYb平行于无人机桨盘平面并指向右，ObZb垂直于无人机桨盘平面并指向下；机体坐标系是动坐标系；
c.相机坐标系OcXcYcZc：
假设相机固连于无人机质心，相机镜头垂直于无人机机身向下安装，则相机坐标系的原点Oc取在无人机的质心上，OcXc轴与无人机纵轴ObXb重合，指向无人机头部为正；OcZc轴与相机的光轴重合，指向目标为正；OcYc轴垂直于OcXcZc平面，方向按右手直角坐标系确定；相机坐标系是动坐标系；
d.物理成像坐标系O1xy：
相机内在成像过程中所形成的像平面坐标系，以米为单位，用(x,y)表示；
e.像素图像平面坐标系Ouv：
相机采集的数字图像在计算机内以M×N数组的形式存在，数组中的每一个元素称为像素，M代表像素的行数，N代表像素的列数，每个像素的值表示该点在图像中的亮度，在图像上定义了直角坐标系Ouv作为像素图像平面坐标系。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二中在无人机上搭载IMU、相机和高度计三种传感器，通过相机采集图像，将采集到的图像按照如图2的流程进行金字塔LK解算，得到二维光流数据；具体过程为：
步骤2-1、将相机采集到的彩色图像的前后两帧转换为灰度图像；
步骤2-2、在前一帧中使用Shi-Tomasi角点检测法找到一定数量的特征点，并将前一帧特征点坐标精确到亚像素精度；
步骤2-3、采用金字塔思想的LK算法检测出前一帧识别出来的特征点在后一帧中的位置并确定特征点在后一帧中坐标；
步骤2-4、最后根据特征点在前后两帧的坐标信息画出当前帧即后一帧所对应的光流示意图，得到二维光流数据；
步骤2-5、重复步骤2-1至步骤2-3，直至处理完采集到的图像的所有帧。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤三中将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置，如图3所示；具体过程为：
步骤3-1、首先确定相机参数和初始位姿参数，然后读取高度计、陀螺仪和光流数据；
步骤3-2、根据3-1中读取的数据信息计算初始无人机在世界坐标系下的欧拉角及姿态旋转矩阵；
步骤3-3、根据相机的内参矩阵，将像素图像平面坐标系上的特征点坐标和光流数据转换到物理成像坐标系平面上：
计算特征点坐标转换公式为：
Figure BDA0001889969580000051
其中，K是相机的内参矩阵，x,y表示特征点在物理成像坐标系平面上的坐标，u,v表示特征点在像素图像平面坐标系上的坐标；f为相机的焦距，fx为x方向上缩放比例，fy为y方向上缩放比例，cx为x方向原点平移距离，cy为y方向原点平移距离；
计算图像上的特征点在相机坐标系下的平移速度即光流信息，公式为：
Figure BDA0001889969580000052
Tx＝(ωxy-ωyx)xZc/f2+xTz/f-(vx-ωzy)Zc/f-Zcωx
Ty＝(ωxy-ωyx)yZc/f2+yTz/f-(vy+ωzx)Zc/f+Zcωy
其中，Tz为图像上的特征点在相机坐标系下Zc轴方向上的平移速度，
Figure BDA0001889969580000053
为滚转角，θ为俯仰角；
Figure BDA0001889969580000054
为相机坐标系质心坐标值；
Tx为图像上的特征点在相机坐标系下Xc轴方向的平移速度，ωx为Xc轴方向角速度，ωy为Yc轴方向角速度，vx为Xc轴方向的速度，ωz为Zc轴方向角速度；
Ty为图像上的特征点在相机坐标系下Yc轴方向的平移速度，vy为Yc方向的速度；
步骤3-4、通过步骤一中各坐标系的定义可以得到相机坐标系与无人机机体坐标系之间转换关系，根据两个坐标系之间的转换矩阵计算无人机在世界坐标系下的平移速度：
Figure BDA0001889969580000061
其中，
Figure BDA0001889969580000062
表示相机坐标系到世界坐标系之间的转换矩阵，Tw为无人机在世界坐标系下的平移速度，Tc为相机坐标系下的平移速度；
步骤3-5、对无人机在世界坐标系下的平移速度进行一步积分，得到无人机在世界坐标系下的位置信息。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤五中将步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF，得到融合后的无人机在世界坐标系下的位置及姿态信息；如图4所示；具体过程为：
步骤5-1、读取步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息，判断是否处理完所有光流数据、IMU数据(即步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息，通过步骤二相机测得的光流数据，和步骤二IMU测得的IMU数据获得)，若是，结束；若否，进行步骤5-2；
步骤5-2、进行时间更新，求解姿态旋转矩阵R、连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、离散时间系统矩阵Fd、计算先验误差状态向量
Figure BDA0001889969580000063
先验状态向量
Figure BDA0001889969580000064
Figure BDA0001889969580000065
和先验误差协方差阵P(k+1|k)；执行步骤5-3；
步骤5-3、判断是否有时间更新后的光流数据、IMU数据(即步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息，通过步骤二相机测得的光流数据，和步骤二IMU测得的IMU数据获得)，是进行步骤5-4，否重新执行步骤5-2；
步骤5-4、进行测量更新，求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量
Figure BDA0001889969580000071
后验状态向量
Figure BDA0001889969580000072
和后验误差协方差阵P(k+1|k+1)；执行步骤5-5；
步骤5-5、将当前时刻后验值赋值为后一时刻先验值；执行步骤5-6；
所述当前时刻后验值为后验误差状态向量、后验状态向量和后验误差协方差阵；
所述当前时刻后验值作为后一时刻先验值(当前时刻后验值作为后一时刻预测值)
所述先验值为后验误差状态向量、后验状态向量和后验误差协方差阵；
步骤5-6、将所有的后验误差状态向量、后验状态向量和后验误差协方差阵保存至文件，执行步骤5-1。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤5-2中进行时间更新，求解姿态旋转矩阵R，连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、Fd、先验误差状态向量
Figure BDA0001889969580000073
先验状态向量
Figure BDA0001889969580000074
和先验误差协方差阵P(k+1|k)；
具体过程为：
时间更新：根据步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息求解姿态旋转矩阵R，将姿态旋转矩阵R转换为时间更新中所需状态向量；
状态向量是：无人机在世界坐标系中的三个方向的位移p＝(px,py,pz)、三个方向的速度v＝(vx,vy,vz)、描述由世界坐标系转换到机体坐标系的姿态四元数q＝(q1,q2,q3,q4)、加速度计的零偏ba＝(bax,bay,baz)和陀螺仪的零偏bω＝(bωx,bωy,bωz)；
得到16维的状态向量：
Figure BDA0001889969580000075
在误差状态模型中，用角度代替四元数；假定旋转非常小，可以使用小角度假设近似的方法来计算δq：
Figure BDA0001889969580000076
其中，δφ为误差角向量；δq为误差姿态四元数；
Figure BDA0001889969580000081
为四元数的乘法矩阵；
Figure BDA0001889969580000082
为克罗内克积；上角标T为求转置；
对于其他误差状态向量，用
Figure BDA0001889969580000083
表示估计值
Figure BDA0001889969580000084
和真实值X之间的偏差：
Figure BDA0001889969580000085
这样，15维误差状态向量写作
Figure BDA0001889969580000086
其中，Δp为无人机在世界坐标系中的三个方向的位移误差；Δv为无人机在世界坐标系中的三个方向的速度误差；δφ为误差角向量误差；Δbω为陀螺仪的零偏误差；Δba为加速度计的零偏误差；
误差状态方程的微分形式可表示为
Figure BDA0001889969580000087
Figure BDA0001889969580000088
Figure BDA0001889969580000089
Figure BDA00018899695800000810
Figure BDA00018899695800000811
其中，
Figure BDA00018899695800000812
为Δp的一阶导数，
Figure BDA00018899695800000813
为Δv的一阶导数，
Figure BDA00018899695800000814
为δφ的一阶导数，
Figure BDA00018899695800000815
为Δbω的一阶导数，
Figure BDA00018899695800000816
为Δba的一阶导数，
Figure BDA00018899695800000817
为世界坐标系到机体坐标系(惯性系)的旋转矩阵，am为测量加速度值，
Figure BDA00018899695800000818
为加速度偏差，na为加速度计噪声向量，ωm为测量角速度值，bω为陀螺仪偏差，nω为陀螺仪噪声向量，
Figure BDA00018899695800000819
为陀螺仪偏差bω的随机过程量，
Figure BDA00018899695800000820
为加速度偏差ba的随机过程量；
误差状态向量归结为线性连续时间误差状态方程
Figure BDA00018899695800000821
其中，
Figure BDA00018899695800000822
为噪声向量，Fc为连续时间系统矩阵，Gc为连续时间噪声矩阵，
Figure BDA00018899695800000823
为
Figure BDA00018899695800000824
的一阶导数，
Figure BDA00018899695800000825
为误差状态向量；
连续时间系统矩阵Fc表示为
Figure BDA0001889969580000091
其中，
Figure BDA0001889969580000092
为世界坐标系到本体坐标系的旋转矩阵，I为单位矩阵；
Figure BDA0001889969580000093
为加速度偏差估计值，
Figure BDA0001889969580000094
为陀螺仪偏差估计值；
连续时间噪声矩阵Gc表示为
Figure BDA0001889969580000095
连续时间噪声协方差写作
Figure BDA0001889969580000096
其中，σa为加速度高斯白噪声，
Figure BDA0001889969580000097
为加速度偏差高斯白噪声，σω为陀螺仪高斯白噪声，
Figure BDA0001889969580000098
为陀螺仪偏差高斯白噪声；
则离散时间过程噪声协方差矩阵为
Figure BDA0001889969580000099
其中，Fd(τ)为离散时间系统矩阵函数，I16为单位矩阵，Fd≈I16+FcΔt，τ为时间变量，Δt为积分时间周期变量；
令M＝GcQcGc T，上式简化为
Figure BDA00018899695800000910
其中，M为中间变量；
则时间更新方程写作：
Figure BDA0001889969580000101
其中，
Figure BDA0001889969580000102
为先验位置状态向量，
Figure BDA0001889969580000103
为k时刻的后验位置状态向量，
Figure BDA0001889969580000104
为
Figure BDA0001889969580000105
的一阶导数；
Figure BDA0001889969580000106
其中，
Figure BDA0001889969580000107
为先验速度状态向量，
Figure BDA0001889969580000108
为k时刻的后验速度状态向量，
Figure BDA0001889969580000109
为世界坐标系到本体坐标系的转换矩阵，
Figure BDA00018899695800001010
为k时刻后验陀螺仪零偏向量，g为加速度值；
Figure BDA00018899695800001011
其中，
Figure BDA00018899695800001012
为先验姿态四元数状态向量，
Figure BDA00018899695800001013
为k时刻的后验姿态四元数状态向量，
Figure BDA00018899695800001014
为k时刻后验陀螺仪零偏向量；
Figure BDA00018899695800001015
其中，
Figure BDA00018899695800001016
为先验陀螺仪零偏向量；
Figure BDA00018899695800001017
其中，
Figure BDA00018899695800001018
为先验加速度计零偏向量；
更新误差状态向量
其中，
Figure BDA00018899695800001020
为先验误差状态向量，
Figure BDA00018899695800001021
为k时刻的误差状态向量，Fd≈I16+FcΔt，I16为单位矩阵；
计算预测误差协方差矩阵
P(k+1|k)＝FdP(k|k)Fd T+Qd
其中，P(k+1|k)为先验误差协方差矩阵，P(k|k)为k时刻的误差协方差矩阵。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤5-4中进行测量更新，求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量
Figure BDA0001889969580000111
后验状态向量
Figure BDA0001889969580000112
和后验误差协方差阵P(k+1|k+1)；
具体过程为：
测量更新：观测量是来自相机、高度计和陀螺仪结合算得的光流信息，即无人机的位置pcx,pcy,pcz和速度vpx,vpy,vpz；组合得到了6维观测向量Z:
Figure BDA0001889969580000113
其中，zp＝[pcx,pcy,pcz]，zv＝[vpx,vpy,vpz]；
定义测量误差模型为
Figure BDA0001889969580000114
其中，
Figure BDA0001889969580000115
为k时刻对k+1时刻的预测后验值；
Figure BDA0001889969580000116
关于
Figure BDA0001889969580000117
的雅可比矩阵为
Figure BDA0001889969580000118
测量残差协方差阵
S＝HP(k+1|k)HT+Rm
其中，Rm为测量噪声协方差矩阵；
计算卡尔曼滤波增益
K＝HP(k+1|k)HTS-1
后验误差状态向量：
Figure BDA0001889969580000119
其中，
Figure BDA00018899695800001110
为后验误差状态向量；
除四元数不进行状态更新外，其他后验状态估计值按下式进行更新：
后验状态向量：
Figure BDA00018899695800001111
计算后验误差协方差矩阵
P(k+1|k+1)＝[I-KH]P(k+1|k)[I-KH]T+KRKT
其中，P(k+1|k+1)为后验误差协方差阵，R为姿态旋转矩阵。
由于IMU的更新频率和相机的更新频率不一致(通常IMU的频率比相机频率高)，因此当测量更新中没有新的光流测量量到来时，跳过测量更新步骤，仅用惯性导航方法进行导航。
与现有技术相比，本发明的有益效果是，在无法使用GPS的情况下也可以进行准确导航，大大减小了累积误差和环境因素的影响。
其它步骤及参数与具体实施方式一至六之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本实施例具体是按照以下步骤制备的：
本发明以微型无人机为对象，在其上搭载IMU、相机和高度计三种传感器。在前期准备工作中，对机体、IMU和相机进行联合标定，获取它们之间的相对位置关系，并获得相机的内部参数和畸变参数。同时，确定世界坐标系中的原点，设置状态向量等物理量的初始值。
第一步，将相机传来的图像利用金字塔Lucas-Kanade算法程序解算出特征点位置和光流，并保存在文件《Picture_pv.txt》中。这一解算结果是在图像坐标系上表示的，以像素和像素每秒为单位。
第二步，从高度计和IMU中得到与每帧图片对应时刻的高度值和角速度，连同第一步中得到的特征点位置和光流文件，输入到第二个程序中，根据小孔成像原理和相机内参转换关系，输出光流法视觉导航方法得到的世界坐标系中无人机的位置和速度并保存至文件《OpticalFlow_pv.txt》中。
第三步，把IMU测得的数据作为时间更新、第二步中输出的值为测量更新进行扩展卡尔曼滤波融合。其中时间更新和测量更新有一定的频率比，当有时间更新输入而没有测量更新输入时，导航方式仅为惯性导航；有测量更新输入时，导航方式为惯性视觉导航。二者的频率比、步长等根据传感器参数确定。最终输出的文件为融合之后的准确值，保存到文件《rst.txt》中。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于光流法的惯性视觉组合导航方法，其特征在于：所述方法具体过程为：
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv；
步骤二、在无人机上搭载IMU、相机和高度计三种传感器，通过相机采集图像，将采集到的图像进行金字塔LK解算，得到二维光流数据；
IMU由陀螺仪和加速度计组成；
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置；
步骤四、根据IMU测量信息进行惯性导航，解算出无人机在世界坐标系下的位置和姿态；
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合，得到融合后的无人机在世界坐标系下的位置及姿态信息；
所述步骤一中定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv；具体为：
a.世界坐标系OwXwYwZw：
使用北-东-地坐标系作为世界坐标系，世界坐标系原点Ow为无人机初始位置在地面的投影，坐标轴OwXw指向地球北，OwYw指向地球东，OwZw垂直于地球表面并指向下；世界坐标系是固定坐标系；
b.无人机机体坐标系ObXbYbZb：
机体坐标系原点Ob取在无人机的质心上，ObXb平行于无人机桨盘平面并指向前，ObYb平行于无人机桨盘平面并指向右，ObZb垂直于无人机桨盘平面并指向下；机体坐标系是动坐标系；
c.相机坐标系OcXcYcZc：
假设相机固连于无人机质心，相机镜头垂直于无人机机身向下安装，则相机坐标系的原点Oc取在无人机的质心上，OcXc轴与无人机纵轴ObXb重合，指向无人机头部为正；OcZc轴与相机的光轴重合，指向目标为正；OcYc轴垂直于OcXcZc平面，方向按右手直角坐标系确定；相机坐标系是动坐标系；
d.物理成像坐标系O1xy：
相机内在成像过程中所形成的像平面坐标系，以米为单位，用(x,y)表示；
e.像素图像平面坐标系Ouv：
相机采集的数字图像在计算机内以M×N数组的形式存在，数组中的每一个元素称为像素，M代表像素的行数，N代表像素的列数，每个像素的值表示该点在图像中的亮度，在图像上定义了直角坐标系Ouv作为像素图像平面坐标系；
所述步骤二中在无人机上搭载IMU、相机和高度计三种传感器，通过相机采集图像，将采集到的图像进行金字塔LK解算，得到二维光流数据；具体过程为：
步骤2-1、将相机采集到的彩色图像的前后两帧转换为灰度图像；
步骤2-2、在前一帧中使用Shi-Tomasi角点检测法找到特征点，并将前一帧特征点坐标精确到亚像素精度；
步骤2-3、采用金字塔思想的LK算法检测出前一帧识别出来的特征点在后一帧中的位置并确定特征点在后一帧中坐标；
步骤2-4、最后根据特征点在前后两帧的坐标信息画出当前帧即后一帧所对应的光流示意图，得到二维光流数据；
步骤2-5、重复步骤2-1至步骤2-3，直至处理完采集到的图像的所有帧；
所述步骤三中将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置；具体过程为：
步骤3-1、首先确定相机参数和初始位姿参数，然后读取高度计、陀螺仪和光流数据；
步骤3-2、根据3-1中读取的数据信息计算初始无人机在世界坐标系下的欧拉角及姿态旋转矩阵；
步骤3-3、根据相机的内参矩阵，将像素图像平面坐标系上的特征点坐标和光流数据转换到物理成像坐标系平面上：
计算特征点坐标转换公式为：
Figure FDA0002468175280000031
其中，K是相机的内参矩阵，x,y表示特征点在物理成像坐标系平面上的坐标，u,v表示特征点在像素图像平面坐标系上的坐标；f为相机的焦距，fx为x方向上缩放比例，fy为y方向上缩放比例，cx为x方向原点平移距离，cy为y方向原点平移距离；
计算图像上的特征点在相机坐标系下的平移速度即光流信息，公式为：
Figure FDA0002468175280000032
Tx＝(ωxy-ωyx)xZc/f2+xTz/f-(vx-ωzy)Zc/f-Zcωx
Ty＝(ωxy-ωyx)yZc/f2+yTz/f-(vy+ωzx)Zc/f+Zcωy
其中，Tz为图像上的特征点在相机坐标系下Zc轴方向上的平移速度，
Figure FDA0002468175280000033
为滚转角，θ为俯仰角；
Figure FDA0002468175280000034
为相机坐标系质心坐标值；
Tx为图像上的特征点在相机坐标系下Xc轴方向的平移速度，ωx为Xc轴方向角速度，ωy为Yc轴方向角速度，vx为Xc轴方向的速度，ωz为Zc轴方向角速度；
Ty为图像上的特征点在相机坐标系下Yc轴方向的平移速度，vy为Yc方向的速度；
步骤3-4、通过步骤一中各坐标系的定义得到相机坐标系与无人机机体坐标系之间转换关系，根据两个坐标系之间的转换矩阵计算无人机在世界坐标系下的平移速度：
Figure FDA0002468175280000035
其中，
Figure FDA0002468175280000036
表示相机坐标系到世界坐标系之间的转换矩阵，Tw为无人机在世界坐标系下的平移速度，Tc为相机坐标系下的平移速度；
步骤3-5、对无人机在世界坐标系下的平移速度进行一步积分，得到无人机在世界坐标系下的位置信息。
2.根据权利要求1所述一种基于光流法的惯性视觉组合导航方法，其特征在于：所述步骤五中将步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF，得到融合后的无人机在世界坐标系下的位置及姿态信息；具体过程为：
步骤5-1、读取步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息，判断是否处理完所有光流数据、IMU数据，若是，结束；若否，进行步骤5-2；
步骤5-2、进行时间更新，求解姿态旋转矩阵R、连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、离散时间系统矩阵Fd、计算先验误差状态向量
Figure FDA0002468175280000041
先验状态向量
Figure FDA0002468175280000042
Figure FDA0002468175280000043
和先验误差协方差阵P(k+1|k)；执行步骤5-3；
步骤5-3、判断是否有时间更新后的光流数据、IMU数据，是进行步骤5-4，否重新执行步骤5-2；
步骤5-4、进行测量更新，求测量噪声协方差矩阵Rm、卡尔曼增益K′、后验误差状态向量
Figure FDA0002468175280000044
后验状态向量
Figure FDA0002468175280000045
和后验误差协方差阵P(k+1|k+1)；执行步骤5-5；
步骤5-5、将当前时刻后验值赋值为后一时刻先验值；执行步骤5-6；
步骤5-6、将所有的后验误差状态向量、后验状态向量和后验误差协方差阵保存至文件，执行步骤5-1。
3.根据权利要求2所述一种基于光流法的惯性视觉组合导航方法，其特征在于：所述步骤5-2中进行时间更新，求解姿态旋转矩阵R，连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、Fd、先验误差状态向量
Figure FDA0002468175280000046
先验状态向量
Figure FDA0002468175280000047
和先验误差协方差阵P(k+1|k)；
具体过程为：
时间更新：根据步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息求解姿态旋转矩阵R；
状态向量是：无人机在世界坐标系中的三个方向的位移p＝(px,py,pz)、三个方向的速度v＝(vx,vy,vz)、描述由世界坐标系转换到机体坐标系的姿态四元数q＝(q1,q2,q3,q4)、加速度计的零偏ba＝(bax,bay,baz)和陀螺仪的零偏bω＝(bωx,bωy,bωz)；
得到16维的状态向量：
Figure FDA0002468175280000051
计算δq：
Figure FDA0002468175280000052
其中，δφ为误差角向量；δq为误差姿态四元数；
Figure FDA0002468175280000053
为四元数的乘法矩阵；
Figure FDA0002468175280000054
为克罗内克积；上角标T为求转置；
用
Figure FDA0002468175280000055
表示估计值
Figure FDA0002468175280000056
和真实值X之间的偏差：
Figure FDA0002468175280000057
这样，15维误差状态向量写作
Figure FDA0002468175280000058
其中，Δp为无人机在世界坐标系中的三个方向的位移误差；Δv为无人机在世界坐标系中的三个方向的速度误差；δφ为误差角向量误差；Δbω为陀螺仪的零偏误差；Δba为加速度计的零偏误差；
误差状态方程的微分形式表示为
Figure FDA0002468175280000059
Figure FDA00024681752800000510
Figure FDA00024681752800000511
Figure FDA00024681752800000512
Figure FDA00024681752800000513
其中，
Figure FDA00024681752800000514
为Δp的一阶导数，
Figure FDA00024681752800000515
为Δv的一阶导数，
Figure FDA00024681752800000516
为δφ的一阶导数，
Figure FDA00024681752800000517
为Δbω的一阶导数，
Figure FDA00024681752800000518
为Δba的一阶导数，
Figure FDA00024681752800000519
为世界坐标系到机体坐标系的旋转矩阵，am为测量加速度值，
Figure FDA00024681752800000520
为加速度偏差，na为加速度计噪声向量，ωm为测量角速度值，bω为陀螺仪偏差，nω为陀螺仪噪声向量，
Figure FDA00024681752800000521
为陀螺仪偏差bω的随机过程量，
Figure FDA00024681752800000522
为加速度偏差ba的随机过程量；
误差状态向量归结为线性连续时间误差状态方程
Figure FDA0002468175280000061
其中，
Figure FDA0002468175280000062
为噪声向量，Fc为连续时间系统矩阵，Gc为连续时间噪声矩阵，
Figure FDA0002468175280000063
为
Figure FDA0002468175280000064
的一阶导数，
Figure FDA0002468175280000065
为误差状态向量；
连续时间系统矩阵Fc表示为
Figure FDA0002468175280000066
其中，
Figure FDA0002468175280000067
为世界坐标系到本体坐标系的旋转矩阵，I为单位矩阵；
Figure FDA0002468175280000068
为加速度偏差估计值，
Figure FDA0002468175280000069
为陀螺仪偏差估计值；
连续时间噪声矩阵Gc表示为
Figure FDA00024681752800000610
连续时间噪声协方差写作
Figure FDA00024681752800000611
其中，σa为加速度高斯白噪声，
Figure FDA00024681752800000612
为加速度偏差高斯白噪声，σω为陀螺仪高斯白噪声，
Figure FDA00024681752800000613
为陀螺仪偏差高斯白噪声；
则离散时间过程噪声协方差矩阵为
Figure FDA00024681752800000614
其中，Fd(τ)为离散时间系统矩阵函数，Fd≈I16+FcΔt，I16为单位矩阵，τ为时间变量，Δt为积分时间周期变量；
令M＝GcQcGc T，上式简化为
Figure FDA0002468175280000071
其中，M为中间变量；
则时间更新方程写作：
Figure FDA0002468175280000072
其中，
Figure FDA0002468175280000073
为先验位置状态向量，
Figure FDA0002468175280000074
为k时刻的后验位置状态向量，
Figure FDA0002468175280000075
为
Figure FDA0002468175280000076
的一阶导数；
Figure FDA0002468175280000077
其中，
Figure FDA0002468175280000078
为先验速度状态向量，
Figure FDA0002468175280000079
为k时刻的后验速度状态向量，
Figure FDA00024681752800000710
为世界坐标系到本体坐标系的转换矩阵，
Figure FDA00024681752800000711
为k时刻后验陀螺仪零偏向量，g为加速度值；
Figure FDA00024681752800000712
其中，
Figure FDA00024681752800000713
为先验姿态四元数状态向量，
Figure FDA00024681752800000714
为k时刻的后验姿态四元数状态向量，
Figure FDA00024681752800000715
为k时刻后验陀螺仪零偏向量；
Figure FDA00024681752800000716
其中，
Figure FDA00024681752800000717
为先验陀螺仪零偏向量；
Figure FDA00024681752800000718
其中，
Figure FDA00024681752800000719
为先验加速度计零偏向量；
更新误差状态向量
Figure FDA00024681752800000720
其中，
Figure FDA0002468175280000081
为先验误差状态向量，
Figure FDA0002468175280000082
为k时刻的误差状态向量，Fd≈I16+FcΔt，I16为单位矩阵；
计算预测误差协方差矩阵
P(k+1|k)＝FdP(k|k)Fd T+Qd
其中，P(k+1|k)为先验误差协方差矩阵，P(k|k)为k时刻的误差协方差矩阵。
4.根据权利要求3所述一种基于光流法的惯性视觉组合导航方法，其特征在于：所述步骤5-4中进行测量更新，求测量噪声协方差矩阵Rm、卡尔曼增益K′、后验误差状态向量
Figure FDA0002468175280000083
后验状态向量
Figure FDA0002468175280000084
和后验误差协方差阵P(k+1|k+1)；
具体过程为：
测量更新：观测量是无人机的位置pcx,pcy,pcz和速度vpx,vpy,vpz；
组合得到了6维观测向量Z:
Figure FDA0002468175280000085
其中，zp＝[pcx,pcy,pcz]，zv＝[vpx,vpy,vpz]；
定义测量误差模型为
Figure FDA0002468175280000086
其中，
Figure FDA0002468175280000087
为k时刻对k+1时刻的预测后验值；
Figure FDA0002468175280000088
关于
Figure FDA0002468175280000089
的雅可比矩阵为
Figure FDA00024681752800000810
测量残差协方差阵
S＝HP(k+1|k)HT+Rm
其中，Rm为测量噪声协方差矩阵；
计算卡尔曼滤波增益
K′＝HP(k+1|k)HTS-1
后验误差状态向量：
Figure FDA0002468175280000091
其中，
Figure FDA0002468175280000092
为后验误差状态向量；
后验状态向量：
Figure FDA0002468175280000093
计算后验误差协方差矩阵
P(k+1|k+1)＝[I-KH]P(k+1|k)[I-KH]T+KRKT
其中，P(k+1|k+1)为后验误差协方差阵，R为姿态旋转矩阵。
CN201811466639.3A 2018-12-03 2018-12-03 一种基于光流法的惯性视觉组合导航方法 Active CN109540126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811466639.3A CN109540126B (zh) 2018-12-03 2018-12-03 一种基于光流法的惯性视觉组合导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811466639.3A CN109540126B (zh) 2018-12-03 2018-12-03 一种基于光流法的惯性视觉组合导航方法

Publications (2)

Publication Number Publication Date
CN109540126A CN109540126A (zh) 2019-03-29
CN109540126B true CN109540126B (zh) 2020-06-30

Family

ID=65852531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811466639.3A Active CN109540126B (zh) 2018-12-03 2018-12-03 一种基于光流法的惯性视觉组合导航方法

Country Status (1)

Country Link
CN (1) CN109540126B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
CN110017809B (zh) * 2019-04-03 2021-08-27 北京理工大学 利用地磁信息和光流传感器解算飞行器姿态的方法
CN109916394A (zh) * 2019-04-04 2019-06-21 山东智翼航空科技有限公司 一种融合光流位置和速度信息的组合导航算法
CN110032201A (zh) * 2019-04-19 2019-07-19 成都飞机工业（集团）有限责任公司 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN110068335B (zh) * 2019-04-23 2021-07-30 中国人民解放军国防科技大学 一种gps拒止环境下无人机集群实时定位方法及系统
CN110673627A (zh) * 2019-09-16 2020-01-10 广东工业大学 一种森林无人机搜寻方法
CN110598370B (zh) * 2019-10-18 2023-04-14 太原理工大学 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111024067B (zh) * 2019-12-17 2021-09-28 国汽(北京)智能网联汽车研究院有限公司 一种信息处理方法、装置、设备及计算机存储介质
CN111156998B (zh) * 2019-12-26 2022-04-15 华南理工大学 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111024072B (zh) * 2019-12-27 2021-06-11 浙江大学 一种基于深度学习的卫星地图辅助导航定位方法
CN110986939B (zh) * 2020-01-02 2022-06-28 东南大学 一种基于imu预积分的视觉惯性里程计方法
CN111207734B (zh) * 2020-01-16 2022-01-07 西安因诺航空科技有限公司 一种基于ekf的无人机组合导航方法
CN111895997B (zh) * 2020-02-25 2022-10-25 哈尔滨工业大学 一种无需标准矫正姿势的基于惯性传感器的人体动作采集方法
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN112197761B (zh) * 2020-07-24 2022-07-19 北京理工大学 一种高精度多旋翼机协同定位方法及系统
CN111880573B (zh) * 2020-07-31 2022-09-06 电子科技大学 一种基于视觉惯导融合的四旋翼自主导航方法
CN112033400B (zh) * 2020-09-10 2023-07-18 西安科技大学 一种基于捷联惯导与视觉组合的煤矿移动机器人智能定位方法及系统
CN112188037B (zh) * 2020-09-24 2023-03-24 影石创新科技股份有限公司 生成陀螺仪旋转方向的方法及计算机设备
CN112363528B (zh) * 2020-10-15 2022-06-14 北京理工大学 基于机载视觉的无人机抗干扰集群编队控制方法
CN112254721A (zh) * 2020-11-06 2021-01-22 南京大学 一种基于光流相机的姿态定位方法
CN112444245B (zh) * 2020-11-17 2023-06-09 大连理工大学 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN112565725B (zh) * 2020-12-09 2022-09-13 成都极米科技股份有限公司 一种投影画面防抖方法、装置、投影设备及存储介质
CN112507885B (zh) * 2020-12-10 2023-07-21 国网江西省电力有限公司南昌供电分公司 一种巡线无人机识别侵扰的方法
CN113124906A (zh) * 2021-05-06 2021-07-16 苏州挚途科技有限公司 基于在线标定的测距方法、装置及电子设备
CN113325865B (zh) * 2021-05-10 2024-05-28 哈尔滨理工大学 一种无人机控制方法、控制装置及控制系统
CN113362388A (zh) * 2021-06-03 2021-09-07 安徽芯纪元科技有限公司 一种用于目标定位和姿态估计的深度学习模型
CN114216454B (zh) * 2021-10-27 2023-09-08 湖北航天飞行器研究所 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法
CN114485574B (zh) * 2021-12-21 2023-03-21 武汉大学 基于卡尔曼滤波模型的三线阵影像pos辅助对地定位方法
CN114842056A (zh) * 2022-04-19 2022-08-02 深圳鳍源科技有限公司 多机位第一机器视角追随方法、系统、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196443A (zh) * 2013-04-09 2013-07-10 王宁羽 基于光流和附加信息的飞行体姿态测量方法与系统
CN104359482A (zh) * 2014-11-26 2015-02-18 天津工业大学 基于lk光流算法的视觉导航方法
CN105929844A (zh) * 2016-04-26 2016-09-07 哈尔滨工业大学 一种地外天体软着陆多障碍约束环境下避障方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108827313A (zh) * 2018-08-10 2018-11-16 哈尔滨工业大学 基于扩展卡尔曼滤波器的多模式旋翼飞行器姿态估计方法
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180112985A1 (en) * 2016-10-26 2018-04-26 The Charles Stark Draper Laboratory, Inc. Vision-Inertial Navigation with Variable Contrast Tracking Residual

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196443A (zh) * 2013-04-09 2013-07-10 王宁羽 基于光流和附加信息的飞行体姿态测量方法与系统
CN104359482A (zh) * 2014-11-26 2015-02-18 天津工业大学 基于lk光流算法的视觉导航方法
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
CN105929844A (zh) * 2016-04-26 2016-09-07 哈尔滨工业大学 一种地外天体软着陆多障碍约束环境下避障方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108827313A (zh) * 2018-08-10 2018-11-16 哈尔滨工业大学 基于扩展卡尔曼滤波器的多模式旋翼飞行器姿态估计方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"MAV indoor navigation based on a closed-form solution for absolute scale velocity estimation using Optical Flow and inertial data";Lippiello等;《Decision and Control and European Control Conference (CDC-ECC)》;20111231;全文 *
"Metric visual-inertial navigation system using single optical flow feature";Omari等;《Control Conference (ECC), 2013 European》;20131231;全文 *
"基于Sigma-point卡尔曼滤波的INS/Vision相对导航方法研究";崔乃刚等;《宇航学报》;20091130;第30卷(第6期);2220-2225 *
"基于四旋翼平台的融合单目视觉与惯性传感的里程计方法研究";叶波;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170815(第08期);2.1相机投影模型，4.2.1特征点深度估计，5.1.1状态量解释和前提条件，图5.1，图3.7-3.9 *
"多旋翼无人机光流/惯性组合导航技术研究";邓一民;《中国优秀硕士学位论文全文数据库工程科技II辑》;20170315;2.3基于LK金字塔光流的特征点位置估计算法研究 *
"无人机室内视觉/惯导组合导航方法";王亭亭;《北京航空航天大学学报》;20180131;第44卷(第1期);176-186 *
"面向四轴飞行器的视觉-惯性组合导航";党蒙等;《计算机应用》;20171231;第2卷(第37期);134-136,140 *
叶波."基于四旋翼平台的融合单目视觉与惯性传感的里程计方法研究".《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第08期),2.1相机投影模型，4.2.1特征点深度估计，5.1.1状态量解释和前提条件，图5.1，图3.7-3.9. *

Also Published As

Publication number Publication date
CN109540126A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109540126B (zh) 一种基于光流法的惯性视觉组合导航方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
CN109887057B (zh) 生成高精度地图的方法和装置
TWI397671B (zh) 定位載體、估測載體姿態與建地圖之系統與方法
CN111811506A (zh) 视觉/惯性里程计组合导航方法、电子设备及存储介质
CN111161337B (zh) 一种动态环境下的陪护机器人同步定位与构图方法
CN114216454B (zh) 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN109520476B (zh) 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN113551665B (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
CN112577493B (zh) 一种基于遥感地图辅助的无人机自主定位方法及系统
CN110207693B (zh) 一种鲁棒立体视觉惯性预积分slam方法
CN110865650A (zh) 基于主动视觉的无人机位姿自适应估计方法
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
CN110736457A (zh) 一种基于北斗、gps和sins的组合导航方法
CN111504323A (zh) 基于异源图像匹配与惯性导航融合的无人机自主定位方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN112444245A (zh) 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN111539982B (zh) 一种移动平台中基于非线性优化的视觉惯导初始化方法
TW202138755A (zh) 圖像校正之方法
CN117073720A (zh) 弱环境与弱动作控制下快速视觉惯性标定与初始化方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant