CN109540126A - 一种基于光流法的惯性视觉组合导航方法 - Google Patents
一种基于光流法的惯性视觉组合导航方法 Download PDFInfo
- Publication number
- CN109540126A CN109540126A CN201811466639.3A CN201811466639A CN109540126A CN 109540126 A CN109540126 A CN 109540126A CN 201811466639 A CN201811466639 A CN 201811466639A CN 109540126 A CN109540126 A CN 109540126A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- unmanned aerial
- aerial vehicle
- matrix
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003287 optical effect Effects 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 title claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 91
- 239000013598 vector Substances 0.000 claims description 81
- 238000005259 measurement Methods 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000004907 flux Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
一种基于光流法的惯性视觉组合导航方法,本发明涉及惯性视觉组合导航方。本发明的目的是为了解决现有惯性导航长时间工作会有累积误差,导航信息不准确;现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大;以及现有视觉导航算法较为复杂,且易受相机姿态、光照变化、图像噪声等影响的问题。过程为:一、定义坐标系;二、在无人机上搭载IMU、相机和高度计三种传感器,得到二维光流数据;三、得到无人机在世界坐标系下的位置;四、根据IMU测量信息进行惯性导航,解算出无人机在世界坐标系下的位置和姿态;五、得到融合后的无人机在世界坐标系下的位置及姿态信息。本发明用于无人机自主导航技术领域。
Description
技术领域
本发明涉及无人机自主导航技术领域,特别是涉及在无GPS时的小型无人机复杂环境中的自主导航。
背景技术
目前,微型无人机常用的导航方式有惯性导航,卫星导航,视觉导航等。给定初始条件后,惯性导航可实现完全自主的导航,不依赖外部信号,也不受外部环境干扰,但是长时间工作会有累积误差,导航信息不准确。卫星导航中最常见的是GPS导航,具有全球性和高精度等特点,但是GPS导航受人为因素影响较大,且在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大。视觉导航是一种自主导航方式,通过相机在运动过程中采集的图像变化信息,来确定机体相对于场景的位置。相比较而言,视觉导航可以在复杂的环境中实现导航定位和感知避障,无需过多的外部信号,还能再现环境的形状、颜色等信息,为飞行器控制和路径规划提供了依据。但视觉导航算法较为复杂,且易受相机姿态、光照变化、图像噪声等影响。
综上,现有导航方式在一定程度上有缺陷:1)现有惯性导航长时间工作会有累积误差,导航信息不准确;2)现有卫星导航受人为因素影响较大,且在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大;3)现有视觉导航算法较为复杂,且易受相机姿态、光照变化、图像噪声等影响。
发明内容
本发明的目的是为了解决现有惯性导航导航信息不准确;现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大;以及现有视觉导航算法较为复杂,且易受相机姿态、光照变化、图像噪声等影响的问题,而提出一种基于光流法的惯性视觉组合导航方法。
一种基于光流法的惯性视觉组合导航方法具体过程为:
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv;
步骤二、在无人机上搭载IMU、相机和高度计三种传感器,通过相机采集图像,将采集到的图像按照如图2的流程进行金字塔LK解算,得到二维光流数据;
IMU由陀螺仪和加速度计组成;
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置;
步骤四、根据IMU测量信息进行惯性导航,解算出无人机在世界坐标系下的位置和姿态;
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF,得到融合后的无人机在世界坐标系下的位置及姿态信息。
本发明的有益效果为:
为了解决在复杂环境中微型无人机GPS导航失效的问题
本发明所采用的技术方案是:在无人机上搭载惯性测量单元(IMU)、相机和高度计三种传感器,IMU用来进行惯性导航并为光流法视觉导航提供角速度信息,相机结合高度计提供高度信息进行光流法视觉导航。首先使用金字塔策略的Lucas-Kanade算法对相机拍摄的图片进行光流解算,并结合角速度、高度和相机参数等信息,将二维的导航数据映射到三维环境中,解算出无人机在世界坐标系下的位置和速度信息;同时使用IMU进行位姿解算;最后将两种导航方法获得的信息进行扩展卡尔曼滤波融合(EKF),得出更为精确的位置信息,即可求得无人机在空间中的方位,解决了现有卫星导航在室内或有建筑物遮挡时会发生屏蔽中断或动态误差过大的问题,以及现有视觉导航算法较为复杂的问题。
本发明方法通过两者融合减小单一惯导的累计误差,解决了现有惯性导航长时间工作会有累积误差,导航信息不准确的问题;
本发明方法提高对环境变化(如光照)的适应能力,现有技术单一视觉导航,光照变化时导航会失效,本发明即使面对全黑,因为有惯导在,导航也不会失效,为无人机提供准确的位置信息;解决了现有卫星导航易受相机姿态、光照变化、图像噪声等影响的问题。
附图说明
图1为光流法视觉惯性导航整体思想流程图;
图2为金字塔策略的Lucas-Kanade算法程序框图;
图3为二维图像信息与三维导航信息转换的程序框图;
图4为扩展卡尔曼滤波融合的程序框图。
具体实施方式
具体实施方式一:本实施方式具体过程为:一种基于光流法的惯性视觉组合导航方法具体过程为:
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv;
步骤二、在无人机上搭载IMU、相机和高度计三种传感器,通过相机采集图像,将采集到的图像按照如图2的流程进行金字塔LK解算,得到二维光流数据;
IMU由陀螺仪和加速度计组成;
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置;
步骤四、根据IMU测量信息进行惯性导航,解算出无人机在世界坐标系下的位置和姿态;
IMU为惯性测量单元,惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
光流信息是传感器获得的,是在相机坐标系下,需要通过相机坐标系到世界系的转化才可以统一应用;
而步骤四IMU获得的数据是无人机本体系,同样需要利用本体系到世界系的转化,才能统一使用;
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF,得到融合后的无人机在世界坐标系下的位置及姿态信息。
具体实施方式二:本实施方式与具体实施方式一不同的是,所述步骤一中定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv;具体为:
a.世界坐标系OwXwYwZw:
使用北-东-地坐标系作为世界坐标系,世界坐标系原点Ow为无人机初始位置在地面的投影,坐标轴OwXw指向地球北,OwYw指向地球东,OwZw垂直于地球表面并指向下;世界坐标系是固定坐标系;
b.无人机机体坐标系ObXbYbZb:
机体坐标系原点Ob取在无人机的质心上,ObXb平行于无人机桨盘平面并指向前,ObYb平行于无人机桨盘平面并指向右,ObZb垂直于无人机桨盘平面并指向下;机体坐标系是动坐标系;
c.相机坐标系OcXcYcZc:
假设相机固连于无人机质心,相机镜头垂直于无人机机身向下安装,则相机坐标系的原点Oc取在无人机的质心上,OcXc轴与无人机纵轴ObXb重合,指向无人机头部为正;OcZc轴与相机的光轴重合,指向目标为正;OcYc轴垂直于OcXcZc平面,方向按右手直角坐标系确定;相机坐标系是动坐标系;
d.物理成像坐标系O1xy:
相机内在成像过程中所形成的像平面坐标系,以米为单位,用(x,y)表示;
e.像素图像平面坐标系Ouv:
相机采集的数字图像在计算机内以M×N数组的形式存在,数组中的每一个元素称为像素,M代表像素的行数,N代表像素的列数,每个像素的值表示该点在图像中的亮度,在图像上定义了直角坐标系Ouv作为像素图像平面坐标系。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是,所述步骤二中在无人机上搭载IMU、相机和高度计三种传感器,通过相机采集图像,将采集到的图像按照如图2的流程进行金字塔LK解算,得到二维光流数据;具体过程为:
步骤2-1、将相机采集到的彩色图像的前后两帧转换为灰度图像;
步骤2-2、在前一帧中使用Shi-Tomasi角点检测法找到一定数量的特征点,并将前一帧特征点坐标精确到亚像素精度;
步骤2-3、采用金字塔思想的LK算法检测出前一帧识别出来的特征点在后一帧中的位置并确定特征点在后一帧中坐标;
步骤2-4、最后根据特征点在前后两帧的坐标信息画出当前帧即后一帧所对应的光流示意图,得到二维光流数据;
步骤2-5、重复步骤2-1至步骤2-3,直至处理完采集到的图像的所有帧。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是,所述步骤三中将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置,如图3所示;具体过程为:
步骤3-1、首先确定相机参数和初始位姿参数,然后读取高度计、陀螺仪和光流数据;
步骤3-2、根据3-1中读取的数据信息计算初始无人机在世界坐标系下的欧拉角及姿态旋转矩阵;
步骤3-3、根据相机的内参矩阵,将像素图像平面坐标系上的特征点坐标和光流数据转换到物理成像坐标系平面上:
计算特征点坐标转换公式为:
其中,K是相机的内参矩阵,x,y表示特征点在物理成像坐标系平面上的坐标,u,v表示特征点在像素图像平面坐标系上的坐标;f为相机的焦距,fx为x方向上缩放比例,fy为y方向上缩放比例,cx为x方向原点平移距离,cy为y方向原点平移距离;
计算图像上的特征点在相机坐标系下的平移速度即光流信息,公式为:
Tx=(ωxy-ωyx)xZc/f2+xTz/f-(vx-ωzy)Zc/f-Zcωx
Ty=(ωxy-ωyx)yZc/f2+yTz/f-(vy+ωzx)Zc/f+Zcωy
其中,Tz为图像上的特征点在相机坐标系下Zc轴方向上的平移速度,为滚转角,θ为俯仰角;为相机坐标系质心坐标值;
Tx为图像上的特征点在相机坐标系下Xc轴方向的平移速度,ωx为Xc轴方向角速度,ωy为Yc轴方向角速度,vx为Xc轴方向的速度,ωz为Zc轴方向角速度;
Ty为图像上的特征点在相机坐标系下Yc轴方向的平移速度,vy为Yc方向的速度;
步骤3-4、通过步骤一中各坐标系的定义可以得到相机坐标系与无人机机体坐标系之间转换关系,根据两个坐标系之间的转换矩阵计算无人机在世界坐标系下的平移速度:
其中,表示相机坐标系到世界坐标系之间的转换矩阵,Tw为无人机在世界坐标系下的平移速度,Tc为相机坐标系下的平移速度;
步骤3-5、对无人机在世界坐标系下的平移速度进行一步积分,得到无人机在世界坐标系下的位置信息。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是,所述步骤五中将步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF,得到融合后的无人机在世界坐标系下的位置及姿态信息;如图4所示;具体过程为:
步骤5-1、读取步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息,判断是否处理完所有光流数据、IMU数据(即步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息,通过步骤二相机测得的光流数据,和步骤二IMU测得的IMU数据获得),若是,结束;若否,进行步骤5-2;
步骤5-2、进行时间更新,求解姿态旋转矩阵R、连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、离散时间系统矩阵Fd、计算先验误差状态向量先验状态向量 和先验误差协方差阵P(k+1|k);执行步骤5-3;
步骤5-3、判断是否有时间更新后的光流数据、IMU数据(即步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息,通过步骤二相机测得的光流数据,和步骤二IMU测得的IMU数据获得),是进行步骤5-4,否重新执行步骤5-2;
步骤5-4、进行测量更新,求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量后验状态向量和后验误差协方差阵P(k+1|k+1);执行步骤5-5;
步骤5-5、将当前时刻后验值赋值为后一时刻先验值;执行步骤5-6;
所述当前时刻后验值为后验误差状态向量、后验状态向量和后验误差协方差阵;
所述当前时刻后验值作为后一时刻先验值(当前时刻后验值作为后一时刻预测值)
所述先验值为后验误差状态向量、后验状态向量和后验误差协方差阵;
步骤5-6、将所有的后验误差状态向量、后验状态向量和后验误差协方差阵保存至文件,执行步骤5-1。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是,所述步骤5-2中进行时间更新,求解姿态旋转矩阵R,连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、Fd、先验误差状态向量先验状态向量和先验误差协方差阵P(k+1|k);
具体过程为:
时间更新:根据步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息求解姿态旋转矩阵R,将姿态旋转矩阵R转换为时间更新中所需状态向量;
状态向量是:无人机在世界坐标系中的三个方向的位移p=(px,py,pz)、三个方向的速度v=(vx,vy,vz)、描述由世界坐标系转换到机体坐标系的姿态四元数q=(q1,q2,q3,q4)、加速度计的零偏ba=(bax,bay,baz)和陀螺仪的零偏bω=(bωx,bωy,bωz);
得到16维的状态向量:
在误差状态模型中,用角度代替四元数;假定旋转非常小,可以使用小角度假设近似的方法来计算δq:
其中,δφ为误差角向量;δq为误差姿态四元数;为四元数的乘法矩阵;为克罗内克积;上角标T为求转置;
对于其他误差状态向量,用表示估计值和真实值X之间的偏差:
这样,15维误差状态向量写作
其中,Δp为无人机在世界坐标系中的三个方向的位移误差;Δv为无人机在世界坐标系中的三个方向的速度误差;δφ为误差角向量误差;Δbω为陀螺仪的零偏误差;Δba为加速度计的零偏误差;
误差状态方程的微分形式可表示为
其中,为Δp的一阶导数,为Δv的一阶导数,为δφ的一阶导数,为Δbω的一阶导数,为Δba的一阶导数,为世界坐标系到机体坐标系(惯性系)的旋转矩阵,am为测量加速度值,为加速度偏差,na为加速度计噪声向量,ωm为测量角速度值,bω为陀螺仪偏差,nω为陀螺仪噪声向量,为陀螺仪偏差bω的随机过程量,为加速度偏差ba的随机过程量;
误差状态向量归结为线性连续时间误差状态方程
其中,为噪声向量,Fc为连续时间系统矩阵,Gc为连续时间噪声矩阵,为的一阶导数,为误差状态向量;
连续时间系统矩阵Fc表示为
其中,为世界坐标系到本体坐标系的旋转矩阵,I为单位矩阵;为加速度偏差估计值,为陀螺仪偏差估计值;
连续时间噪声矩阵Gc表示为
连续时间噪声协方差写作
其中,σa为加速度高斯白噪声,为加速度偏差高斯白噪声,σω为陀螺仪高斯白噪声,为陀螺仪偏差高斯白噪声;
则离散时间过程噪声协方差矩阵为
其中,Fd(τ)为离散时间系统矩阵函数,I16为单位矩阵,Fd≈I16+FcΔt,τ为时间变量,Δt为积分时间周期变量;
令M=GcQcGc T,上式简化为
其中,M为中间变量;
则时间更新方程写作:
其中,为先验位置状态向量,为k时刻的后验位置状态向量,为的一阶导数;
其中,为先验速度状态向量,为k时刻的后验速度状态向量,为世界坐标系到本体坐标系的转换矩阵,为k时刻后验陀螺仪零偏向量,g为加速度值;
其中,为先验姿态四元数状态向量,为k时刻的后验姿态四元数状态向量,为k时刻后验陀螺仪零偏向量;
其中,为先验陀螺仪零偏向量;
其中,为先验加速度计零偏向量;
更新误差状态向量
其中,为先验误差状态向量,为k时刻的误差状态向量,Fd≈I16+FcΔt,I16为单位矩阵;
计算预测误差协方差矩阵
P(k+1|k)=FdP(k|k)Fd T+Qd
其中,P(k+1|k)为先验误差协方差矩阵,P(k|k)为k时刻的误差协方差矩阵。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七:本实施方式与具体实施方式一至六之一不同的是,所述步骤5-4中进行测量更新,求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量后验状态向量和后验误差协方差阵P(k+1|k+1);
具体过程为:
测量更新:观测量是来自相机、高度计和陀螺仪结合算得的光流信息,即无人机的位置pcx,pcy,pcz和速度vpx,vpy,vpz;组合得到了6维观测向量Z:
其中,zp=[pcx,pcy,pcz],zv=[vpx,vpy,vpz];
定义测量误差模型为
其中,为k时刻对k+1时刻的预测后验值;
关于的雅可比矩阵为
测量残差协方差阵
S=HP(k+1|k)HT+Rm
其中,Rm为测量噪声协方差矩阵;
计算卡尔曼滤波增益
K=HP(k+1|k)HTS-1
后验误差状态向量:
其中,为后验误差状态向量;
除四元数不进行状态更新外,其他后验状态估计值按下式进行更新:
后验状态向量:
计算后验误差协方差矩阵
P(k+1|k+1)=[I-KH]P(k+1|k)[I-KH]T+KRKT
其中,P(k+1|k+1)为后验误差协方差阵,R为姿态旋转矩阵。
由于IMU的更新频率和相机的更新频率不一致(通常IMU的频率比相机频率高),因此当测量更新中没有新的光流测量量到来时,跳过测量更新步骤,仅用惯性导航方法进行导航。
与现有技术相比,本发明的有益效果是,在无法使用GPS的情况下也可以进行准确导航,大大减小了累积误差和环境因素的影响。
其它步骤及参数与具体实施方式一至六之一相同。
采用以下实施例验证本发明的有益效果:
实施例一:
本实施例具体是按照以下步骤制备的:
本发明以微型无人机为对象,在其上搭载IMU、相机和高度计三种传感器。在前期准备工作中,对机体、IMU和相机进行联合标定,获取它们之间的相对位置关系,并获得相机的内部参数和畸变参数。同时,确定世界坐标系中的原点,设置状态向量等物理量的初始值。
第一步,将相机传来的图像利用金字塔Lucas-Kanade算法程序解算出特征点位置和光流,并保存在文件《Picture_pv.txt》中。这一解算结果是在图像坐标系上表示的,以像素和像素每秒为单位。
第二步,从高度计和IMU中得到与每帧图片对应时刻的高度值和角速度,连同第一步中得到的特征点位置和光流文件,输入到第二个程序中,根据小孔成像原理和相机内参转换关系,输出光流法视觉导航方法得到的世界坐标系中无人机的位置和速度并保存至文件《OpticalFlow_pv.txt》中。
第三步,把IMU测得的数据作为时间更新、第二步中输出的值为测量更新进行扩展卡尔曼滤波融合。其中时间更新和测量更新有一定的频率比,当有时间更新输入而没有测量更新输入时,导航方式仅为惯性导航;有测量更新输入时,导航方式为惯性视觉导航。二者的频率比、步长等根据传感器参数确定。最终输出的文件为融合之后的准确值,保存到文件《rst.txt》中。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种基于光流法的惯性视觉组合导航方法,其特征在于:所述方法具体过程为:
步骤一、定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv;
步骤二、在无人机上搭载IMU、相机和高度计三种传感器,通过相机采集图像,将采集到的图像进行金字塔LK解算,得到二维光流数据;
IMU由陀螺仪和加速度计组成;
步骤三、将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置;
步骤四、根据IMU测量信息进行惯性导航,解算出无人机在世界坐标系下的位置和姿态;
步骤五、将步骤四解算出的无人机位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合,得到融合后的无人机在世界坐标系下的位置及姿态信息。
2.根据权利要求1所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤一中定义世界坐标系OwXwYwZw、无人机机体坐标系ObXbYbZb、相机坐标系OcXcYcZc、物理成像坐标系O1xy和像素图像平面坐标系Ouv;具体为:
a.世界坐标系OwXwYwZw:
使用北-东-地坐标系作为世界坐标系,世界坐标系原点Ow为无人机初始位置在地面的投影,坐标轴OwXw指向地球北,OwYw指向地球东,OwZw垂直于地球表面并指向下;世界坐标系是固定坐标系;
b.无人机机体坐标系ObXbYbZb:
机体坐标系原点Ob取在无人机的质心上,ObXb平行于无人机桨盘平面并指向前,ObYb平行于无人机桨盘平面并指向右,ObZb垂直于无人机桨盘平面并指向下;机体坐标系是动坐标系;
c.相机坐标系OcXcYcZc:
假设相机固连于无人机质心,相机镜头垂直于无人机机身向下安装,则相机坐标系的原点Oc取在无人机的质心上,OcXc轴与无人机纵轴ObXb重合,指向无人机头部为正;OcZc轴与相机的光轴重合,指向目标为正;OcYc轴垂直于OcXcZc平面,方向按右手直角坐标系确定;相机坐标系是动坐标系;
d.物理成像坐标系O1xy:
相机内在成像过程中所形成的像平面坐标系,以米为单位,用(x,y)表示;
e.像素图像平面坐标系Ouv:
相机采集的数字图像在计算机内以M×N数组的形式存在,数组中的每一个元素称为像素,M代表像素的行数,N代表像素的列数,每个像素的值表示该点在图像中的亮度,在图像上定义了直角坐标系Ouv作为像素图像平面坐标系。
3.根据权利要求1或2所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤二中在无人机上搭载IMU、相机和高度计三种传感器,通过相机采集图像,将采集到的图像进行金字塔LK解算,得到二维光流数据;具体过程为:
步骤2-1、将相机采集到的彩色图像的前后两帧转换为灰度图像;
步骤2-2、在前一帧中使用Shi-Tomasi角点检测法找到特征点,并将前一帧特征点坐标精确到亚像素精度;
步骤2-3、采用金字塔思想的LK算法检测出前一帧识别出来的特征点在后一帧中的位置并确定特征点在后一帧中坐标;
步骤2-4、最后根据特征点在前后两帧的坐标信息画出当前帧即后一帧所对应的光流示意图,得到二维光流数据;
步骤2-5、重复步骤2-1至步骤2-3,直至处理完采集到的图像的所有帧。
4.根据权利要求3所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤三中将步骤二中得到的二维光流数据信息转换为三维导航信息即无人机在世界坐标系下的位置;具体过程为:
步骤3-1、首先确定相机参数和初始位姿参数,然后读取高度计、陀螺仪和光流数据;
步骤3-2、根据3-1中读取的数据信息计算初始无人机在世界坐标系下的欧拉角及姿态旋转矩阵;
步骤3-3、根据相机的内参矩阵,将像素图像平面坐标系上的特征点坐标和光流数据转换到物理成像坐标系平面上:
计算特征点坐标转换公式为:
其中,K是相机的内参矩阵,x,y表示特征点在物理成像坐标系平面上的坐标,u,v表示特征点在像素图像平面坐标系上的坐标;f为相机的焦距,fx为x方向上缩放比例,fy为y方向上缩放比例,cx为x方向原点平移距离,cy为y方向原点平移距离;
计算图像上的特征点在相机坐标系下的平移速度即光流信息,公式为:
Tx=(ωxy-ωyx)xZc/f2+xTz/f-(vx-ωzy)Zc/f-Zcωx
Ty=(ωxy-ωyx)yZc/f2+yTz/f-(vy+ωzx)Zc/f+Zcωy
其中,Tz为图像上的特征点在相机坐标系下Zc轴方向上的平移速度,为滚转角,θ为俯仰角;为相机坐标系质心坐标值;
Tx为图像上的特征点在相机坐标系下Xc轴方向的平移速度,ωx为Xc轴方向角速度,ωy为Yc轴方向角速度,vx为Xc轴方向的速度,ωz为Zc轴方向角速度;
Ty为图像上的特征点在相机坐标系下Yc轴方向的平移速度,vy为Yc方向的速度;
步骤3-4、通过步骤一中各坐标系的定义得到相机坐标系与无人机机体坐标系之间转换关系,根据两个坐标系之间的转换矩阵计算无人机在世界坐标系下的平移速度:
其中,表示相机坐标系到世界坐标系之间的转换矩阵,Tw为无人机在世界坐标系下的平移速度,Tc为相机坐标系下的平移速度;
步骤3-5、对无人机在世界坐标系下的平移速度进行一步积分,得到无人机在世界坐标系下的位置信息。
5.根据权利要求4所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤五中将步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息进行扩展卡尔曼滤波融合EKF,得到融合后的无人机在世界坐标系下的位置及姿态信息;具体过程为:
步骤5-1、读取步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息,判断是否处理完所有光流数据、IMU数据,若是,结束;若否,进行步骤5-2;
步骤5-2、进行时间更新,求解姿态旋转矩阵R、连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、离散时间系统矩阵Fd、计算先验误差状态向量先验状态向量 和先验误差协方差阵P(k+1|k);执行步骤5-3;
步骤5-3、判断是否有时间更新后的光流数据、IMU数据,是进行步骤5-4,否重新执行步骤5-2;
步骤5-4、进行测量更新,求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量后验状态向量和后验误差协方差阵P(k+1|k+1);执行步骤5-5;
步骤5-5、将当前时刻后验值赋值为后一时刻先验值;执行步骤5-6;
步骤5-6、将所有的后验误差状态向量、后验状态向量和后验误差协方差阵保存至文件,执行步骤5-1。
6.根据权利要求5所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤5-2中进行时间更新,求解姿态旋转矩阵R,连续时间系统矩阵Fc、连续时间噪声矩阵Gc、连续时间噪声协方差Qc、离散时间过程噪声协方差矩阵Qd、Fd、先验误差状态向量先验状态向量和先验误差协方差阵P(k+1|k);
具体过程为:
时间更新:根据步骤四解算出的无人机在世界坐标系下的位置、姿态信息和步骤三得到的无人机在世界坐标系下的位置信息求解姿态旋转矩阵R;
状态向量是:无人机在世界坐标系中的三个方向的位移p=(px,py,pz)、三个方向的速度v=(vx,vy,vz)、描述由世界坐标系转换到机体坐标系的姿态四元数q=(q1,q2,q3,q4)、加速度计的零偏ba=(bax,bay,baz)和陀螺仪的零偏bω=(bωx,bωy,bωz);
得到16维的状态向量:
计算δq:
其中,δφ为误差角向量;δq为误差姿态四元数;为四元数的乘法矩阵;为克罗内克积;上角标T为求转置;
用表示估计值和真实值X之间的偏差:
这样,15维误差状态向量写作
其中,Δp为无人机在世界坐标系中的三个方向的位移误差;Δv为无人机在世界坐标系中的三个方向的速度误差;δφ为误差角向量误差;Δbω为陀螺仪的零偏误差;Δba为加速度计的零偏误差;
误差状态方程的微分形式表示为
其中,为Δp的一阶导数,为Δv的一阶导数,为δφ的一阶导数,为Δbω的一阶导数,为Δba的一阶导数,为世界坐标系到机体坐标系的旋转矩阵,am为测量加速度值,为加速度偏差,na为加速度计噪声向量,ωm为测量角速度值,bω为陀螺仪偏差,nω为陀螺仪噪声向量,为陀螺仪偏差bω的随机过程量,为加速度偏差ba的随机过程量;
误差状态向量归结为线性连续时间误差状态方程
其中,为噪声向量,Fc为连续时间系统矩阵,Gc为连续时间噪声矩阵,为的一阶导数,为误差状态向量;
连续时间系统矩阵Fc表示为
其中,为世界坐标系到本体坐标系的旋转矩阵,I为单位矩阵;为加速度偏差估计值,为陀螺仪偏差估计值;
连续时间噪声矩阵Gc表示为
连续时间噪声协方差写作
其中,σa为加速度高斯白噪声,为加速度偏差高斯白噪声,σω为陀螺仪高斯白噪声,为陀螺仪偏差高斯白噪声;
则离散时间过程噪声协方差矩阵为
其中,Fd(τ)为离散时间系统矩阵函数,Fd≈I16+FcΔt,I16为单位矩阵,τ为时间变量,Δt为积分时间周期变量;
令M=GcQcGc T,上式简化为
其中,M为中间变量;
则时间更新方程写作:
其中,为先验位置状态向量,为k时刻的后验位置状态向量,为的一阶导数;
其中,为先验速度状态向量,为k时刻的后验速度状态向量,为世界坐标系到本体坐标系的转换矩阵,为k时刻后验陀螺仪零偏向量,g为加速度值;
其中,为先验姿态四元数状态向量,为k时刻的后验姿态四元数状态向量,为k时刻后验陀螺仪零偏向量;
其中,为先验陀螺仪零偏向量;
其中,为先验加速度计零偏向量;
更新误差状态向量
其中,为先验误差状态向量,为k时刻的误差状态向量,Fd≈I16+FcΔt,I16为单位矩阵;
计算预测误差协方差矩阵
P(k+1|k)=FdP(k|k)Fd T+Qd
其中,P(k+1|k)为先验误差协方差矩阵,P(k|k)为k时刻的误差协方差矩阵。
7.根据权利要求6所述一种基于光流法的惯性视觉组合导航方法,其特征在于:所述步骤5-4中进行测量更新,求测量噪声协方差矩阵Rm、卡尔曼增益K、后验误差状态向量后验状态向量和后验误差协方差阵P(k+1|k+1);
具体过程为:
测量更新:观测量是无人机的位置pcx,pcy,pcz和速度vpx,vpy,vpz;
组合得到了6维观测向量Z:
其中,zp=[pcx,pcy,pcz],zv=[vpx,vpy,vpz];
定义测量误差模型为
其中,为k时刻对k+1时刻的预测后验值;
关于的雅可比矩阵为
测量残差协方差阵
S=HP(k+1|k)HT+Rm
其中,Rm为测量噪声协方差矩阵;
计算卡尔曼滤波增益
K=HP(k+1|k)HTS-1
后验误差状态向量:
其中,为后验误差状态向量;
后验状态向量:
计算后验误差协方差矩阵
P(k+1|k+1)=[I-KH]P(k+1|k)[I-KH]T+KRKT
其中,P(k+1|k+1)为后验误差协方差阵,R为姿态旋转矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811466639.3A CN109540126B (zh) | 2018-12-03 | 2018-12-03 | 一种基于光流法的惯性视觉组合导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811466639.3A CN109540126B (zh) | 2018-12-03 | 2018-12-03 | 一种基于光流法的惯性视觉组合导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109540126A true CN109540126A (zh) | 2019-03-29 |
CN109540126B CN109540126B (zh) | 2020-06-30 |
Family
ID=65852531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811466639.3A Active CN109540126B (zh) | 2018-12-03 | 2018-12-03 | 一种基于光流法的惯性视觉组合导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109540126B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109916394A (zh) * | 2019-04-04 | 2019-06-21 | 山东智翼航空科技有限公司 | 一种融合光流位置和速度信息的组合导航算法 |
CN110017809A (zh) * | 2019-04-03 | 2019-07-16 | 北京理工大学 | 利用地磁信息和光流传感器解算飞行器姿态的方法 |
CN110032201A (zh) * | 2019-04-19 | 2019-07-19 | 成都飞机工业(集团)有限责任公司 | 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法 |
CN110068335A (zh) * | 2019-04-23 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种gps拒止环境下无人机集群实时定位方法及系统 |
CN110598370A (zh) * | 2019-10-18 | 2019-12-20 | 太原理工大学 | 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计 |
CN110673627A (zh) * | 2019-09-16 | 2020-01-10 | 广东工业大学 | 一种森林无人机搜寻方法 |
CN110866927A (zh) * | 2019-11-21 | 2020-03-06 | 哈尔滨工业大学 | 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法 |
CN110986939A (zh) * | 2020-01-02 | 2020-04-10 | 东南大学 | 一种基于imu预积分的视觉惯性里程计方法 |
CN111024067A (zh) * | 2019-12-17 | 2020-04-17 | 国汽(北京)智能网联汽车研究院有限公司 | 一种信息处理方法、装置、设备及计算机存储介质 |
CN111024072A (zh) * | 2019-12-27 | 2020-04-17 | 浙江大学 | 一种基于深度学习的卫星地图辅助导航定位方法 |
CN111156998A (zh) * | 2019-12-26 | 2020-05-15 | 华南理工大学 | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 |
CN111207734A (zh) * | 2020-01-16 | 2020-05-29 | 西安因诺航空科技有限公司 | 一种基于ekf的无人机组合导航方法 |
CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
CN111880573A (zh) * | 2020-07-31 | 2020-11-03 | 电子科技大学 | 一种基于视觉惯导融合的四旋翼自主导航方法 |
CN111895997A (zh) * | 2020-02-25 | 2020-11-06 | 哈尔滨工业大学 | 一种无需标准矫正姿势的基于惯性传感器的人体动作采集方法 |
CN112033400A (zh) * | 2020-09-10 | 2020-12-04 | 西安科技大学 | 一种基于捷联惯导与视觉组合的煤矿移动机器人智能定位方法及系统 |
CN112197761A (zh) * | 2020-07-24 | 2021-01-08 | 北京理工大学 | 一种高精度多旋翼机协同定位方法及系统 |
CN112254721A (zh) * | 2020-11-06 | 2021-01-22 | 南京大学 | 一种基于光流相机的姿态定位方法 |
CN112363528A (zh) * | 2020-10-15 | 2021-02-12 | 北京理工大学 | 基于机载视觉的无人机抗干扰集群编队控制方法 |
CN112444245A (zh) * | 2020-11-17 | 2021-03-05 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN112507885A (zh) * | 2020-12-10 | 2021-03-16 | 国网江西省电力有限公司南昌供电分公司 | 一种巡线无人机识别侵扰的方法 |
CN112565725A (zh) * | 2020-12-09 | 2021-03-26 | 成都极米科技股份有限公司 | 一种投影画面防抖方法、装置、投影设备及存储介质 |
CN113124906A (zh) * | 2021-05-06 | 2021-07-16 | 苏州挚途科技有限公司 | 基于在线标定的测距方法、装置及电子设备 |
CN113325865A (zh) * | 2021-05-10 | 2021-08-31 | 哈尔滨理工大学 | 一种无人机控制方法、控制装置及控制系统 |
CN113362388A (zh) * | 2021-06-03 | 2021-09-07 | 安徽芯纪元科技有限公司 | 一种用于目标定位和姿态估计的深度学习模型 |
CN114216454A (zh) * | 2021-10-27 | 2022-03-22 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
WO2022063221A1 (zh) * | 2020-09-24 | 2022-03-31 | 影石创新科技股份有限公司 | 生成陀螺仪旋转方向的方法及计算机设备 |
CN114266826A (zh) * | 2021-12-23 | 2022-04-01 | 北京航空航天大学 | 一种动态场景下基于闪烁光信号的定位定姿算法 |
CN114485574A (zh) * | 2021-12-21 | 2022-05-13 | 武汉大学 | 基于卡尔曼滤波模型的三线阵影像pos辅助对地定位方法 |
CN114842056A (zh) * | 2022-04-19 | 2022-08-02 | 深圳鳍源科技有限公司 | 多机位第一机器视角追随方法、系统、装置及设备 |
US11644839B2 (en) * | 2017-04-27 | 2023-05-09 | SZ DJI Technology Co. Ltd. | Systems and methods for generating a real-time map using a movable object |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103196443A (zh) * | 2013-04-09 | 2013-07-10 | 王宁羽 | 基于光流和附加信息的飞行体姿态测量方法与系统 |
CN104359482A (zh) * | 2014-11-26 | 2015-02-18 | 天津工业大学 | 基于lk光流算法的视觉导航方法 |
CN105929844A (zh) * | 2016-04-26 | 2016-09-07 | 哈尔滨工业大学 | 一种地外天体软着陆多障碍约束环境下避障方法 |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
US20180112985A1 (en) * | 2016-10-26 | 2018-04-26 | The Charles Stark Draper Laboratory, Inc. | Vision-Inertial Navigation with Variable Contrast Tracking Residual |
CN108827313A (zh) * | 2018-08-10 | 2018-11-16 | 哈尔滨工业大学 | 基于扩展卡尔曼滤波器的多模式旋翼飞行器姿态估计方法 |
US10132933B2 (en) * | 2016-02-02 | 2018-11-20 | Qualcomm Incorporated | Alignment of visual inertial odometry and satellite positioning system reference frames |
-
2018
- 2018-12-03 CN CN201811466639.3A patent/CN109540126B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103196443A (zh) * | 2013-04-09 | 2013-07-10 | 王宁羽 | 基于光流和附加信息的飞行体姿态测量方法与系统 |
CN104359482A (zh) * | 2014-11-26 | 2015-02-18 | 天津工业大学 | 基于lk光流算法的视觉导航方法 |
US10132933B2 (en) * | 2016-02-02 | 2018-11-20 | Qualcomm Incorporated | Alignment of visual inertial odometry and satellite positioning system reference frames |
CN105929844A (zh) * | 2016-04-26 | 2016-09-07 | 哈尔滨工业大学 | 一种地外天体软着陆多障碍约束环境下避障方法 |
US20180112985A1 (en) * | 2016-10-26 | 2018-04-26 | The Charles Stark Draper Laboratory, Inc. | Vision-Inertial Navigation with Variable Contrast Tracking Residual |
CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
CN108827313A (zh) * | 2018-08-10 | 2018-11-16 | 哈尔滨工业大学 | 基于扩展卡尔曼滤波器的多模式旋翼飞行器姿态估计方法 |
Non-Patent Citations (7)
Title |
---|
LIPPIELLO等: ""MAV indoor navigation based on a closed-form solution for absolute scale velocity estimation using Optical Flow and inertial data"", 《DECISION AND CONTROL AND EUROPEAN CONTROL CONFERENCE (CDC-ECC)》 * |
OMARI等: ""Metric visual-inertial navigation system using single optical flow feature"", 《CONTROL CONFERENCE (ECC), 2013 EUROPEAN》 * |
党蒙等: ""面向四轴飞行器的视觉-惯性组合导航"", 《计算机应用》 * |
叶波: ""基于四旋翼平台的融合单目视觉与惯性传感的里程计方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
崔乃刚等: ""基于Sigma-point卡尔曼滤波的INS/Vision相对导航方法研究"", 《宇航学报》 * |
王亭亭: ""无人机室内视觉/惯导组合导航方法"", 《北京航空航天大学学报》 * |
邓一民: ""多旋翼无人机光流/惯性组合导航技术研究"", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11644839B2 (en) * | 2017-04-27 | 2023-05-09 | SZ DJI Technology Co. Ltd. | Systems and methods for generating a real-time map using a movable object |
CN110017809A (zh) * | 2019-04-03 | 2019-07-16 | 北京理工大学 | 利用地磁信息和光流传感器解算飞行器姿态的方法 |
CN110017809B (zh) * | 2019-04-03 | 2021-08-27 | 北京理工大学 | 利用地磁信息和光流传感器解算飞行器姿态的方法 |
CN109916394A (zh) * | 2019-04-04 | 2019-06-21 | 山东智翼航空科技有限公司 | 一种融合光流位置和速度信息的组合导航算法 |
CN110032201A (zh) * | 2019-04-19 | 2019-07-19 | 成都飞机工业(集团)有限责任公司 | 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法 |
CN110068335A (zh) * | 2019-04-23 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种gps拒止环境下无人机集群实时定位方法及系统 |
CN110068335B (zh) * | 2019-04-23 | 2021-07-30 | 中国人民解放军国防科技大学 | 一种gps拒止环境下无人机集群实时定位方法及系统 |
CN110673627A (zh) * | 2019-09-16 | 2020-01-10 | 广东工业大学 | 一种森林无人机搜寻方法 |
CN110598370A (zh) * | 2019-10-18 | 2019-12-20 | 太原理工大学 | 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计 |
CN110598370B (zh) * | 2019-10-18 | 2023-04-14 | 太原理工大学 | 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计 |
CN110866927A (zh) * | 2019-11-21 | 2020-03-06 | 哈尔滨工业大学 | 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法 |
CN111024067B (zh) * | 2019-12-17 | 2021-09-28 | 国汽(北京)智能网联汽车研究院有限公司 | 一种信息处理方法、装置、设备及计算机存储介质 |
CN111024067A (zh) * | 2019-12-17 | 2020-04-17 | 国汽(北京)智能网联汽车研究院有限公司 | 一种信息处理方法、装置、设备及计算机存储介质 |
CN111156998B (zh) * | 2019-12-26 | 2022-04-15 | 华南理工大学 | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 |
CN111156998A (zh) * | 2019-12-26 | 2020-05-15 | 华南理工大学 | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 |
CN111024072A (zh) * | 2019-12-27 | 2020-04-17 | 浙江大学 | 一种基于深度学习的卫星地图辅助导航定位方法 |
CN110986939A (zh) * | 2020-01-02 | 2020-04-10 | 东南大学 | 一种基于imu预积分的视觉惯性里程计方法 |
CN111207734B (zh) * | 2020-01-16 | 2022-01-07 | 西安因诺航空科技有限公司 | 一种基于ekf的无人机组合导航方法 |
CN111207734A (zh) * | 2020-01-16 | 2020-05-29 | 西安因诺航空科技有限公司 | 一种基于ekf的无人机组合导航方法 |
CN111895997A (zh) * | 2020-02-25 | 2020-11-06 | 哈尔滨工业大学 | 一种无需标准矫正姿势的基于惯性传感器的人体动作采集方法 |
CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
CN112197761B (zh) * | 2020-07-24 | 2022-07-19 | 北京理工大学 | 一种高精度多旋翼机协同定位方法及系统 |
CN112197761A (zh) * | 2020-07-24 | 2021-01-08 | 北京理工大学 | 一种高精度多旋翼机协同定位方法及系统 |
CN111880573B (zh) * | 2020-07-31 | 2022-09-06 | 电子科技大学 | 一种基于视觉惯导融合的四旋翼自主导航方法 |
CN111880573A (zh) * | 2020-07-31 | 2020-11-03 | 电子科技大学 | 一种基于视觉惯导融合的四旋翼自主导航方法 |
CN112033400A (zh) * | 2020-09-10 | 2020-12-04 | 西安科技大学 | 一种基于捷联惯导与视觉组合的煤矿移动机器人智能定位方法及系统 |
WO2022063221A1 (zh) * | 2020-09-24 | 2022-03-31 | 影石创新科技股份有限公司 | 生成陀螺仪旋转方向的方法及计算机设备 |
CN112363528A (zh) * | 2020-10-15 | 2021-02-12 | 北京理工大学 | 基于机载视觉的无人机抗干扰集群编队控制方法 |
CN112254721A (zh) * | 2020-11-06 | 2021-01-22 | 南京大学 | 一种基于光流相机的姿态定位方法 |
CN112444245B (zh) * | 2020-11-17 | 2023-06-09 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN112444245A (zh) * | 2020-11-17 | 2021-03-05 | 大连理工大学 | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 |
CN112565725A (zh) * | 2020-12-09 | 2021-03-26 | 成都极米科技股份有限公司 | 一种投影画面防抖方法、装置、投影设备及存储介质 |
CN112507885A (zh) * | 2020-12-10 | 2021-03-16 | 国网江西省电力有限公司南昌供电分公司 | 一种巡线无人机识别侵扰的方法 |
CN112507885B (zh) * | 2020-12-10 | 2023-07-21 | 国网江西省电力有限公司南昌供电分公司 | 一种巡线无人机识别侵扰的方法 |
CN113124906A (zh) * | 2021-05-06 | 2021-07-16 | 苏州挚途科技有限公司 | 基于在线标定的测距方法、装置及电子设备 |
CN113325865B (zh) * | 2021-05-10 | 2024-05-28 | 哈尔滨理工大学 | 一种无人机控制方法、控制装置及控制系统 |
CN113325865A (zh) * | 2021-05-10 | 2021-08-31 | 哈尔滨理工大学 | 一种无人机控制方法、控制装置及控制系统 |
CN113362388A (zh) * | 2021-06-03 | 2021-09-07 | 安徽芯纪元科技有限公司 | 一种用于目标定位和姿态估计的深度学习模型 |
CN114216454B (zh) * | 2021-10-27 | 2023-09-08 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
CN114216454A (zh) * | 2021-10-27 | 2022-03-22 | 湖北航天飞行器研究所 | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 |
CN114485574A (zh) * | 2021-12-21 | 2022-05-13 | 武汉大学 | 基于卡尔曼滤波模型的三线阵影像pos辅助对地定位方法 |
CN114266826A (zh) * | 2021-12-23 | 2022-04-01 | 北京航空航天大学 | 一种动态场景下基于闪烁光信号的定位定姿算法 |
CN114842056A (zh) * | 2022-04-19 | 2022-08-02 | 深圳鳍源科技有限公司 | 多机位第一机器视角追随方法、系统、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109540126B (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109540126B (zh) | 一种基于光流法的惯性视觉组合导航方法 | |
CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
CN111811506B (zh) | 视觉/惯性里程计组合导航方法、电子设备及存储介质 | |
CN110243358B (zh) | 多源融合的无人车室内外定位方法及系统 | |
CN106052584B (zh) | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 | |
CN111161337B (zh) | 一种动态环境下的陪护机器人同步定位与构图方法 | |
CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
CN114216454B (zh) | 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法 | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
CN109520476B (zh) | 基于惯性测量单元的后方交会动态位姿测量系统及方法 | |
CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
CN112577493A (zh) | 一种基于遥感地图辅助的无人机自主定位方法及系统 | |
CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
CN111504323A (zh) | 基于异源图像匹配与惯性导航融合的无人机自主定位方法 | |
CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
CN114964276A (zh) | 一种融合惯导的动态视觉slam方法 | |
CN114690229A (zh) | 一种融合gps的移动机器人视觉惯性导航方法 | |
CN112284381B (zh) | 视觉惯性实时初始化对准方法及系统 | |
CN114018291A (zh) | 一种惯性测量单元参数的标定方法、装置 | |
CN111539982B (zh) | 一种移动平台中基于非线性优化的视觉惯导初始化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |