CN102538781B - 基于机器视觉和惯导融合的移动机器人运动姿态估计方法 - Google Patents

基于机器视觉和惯导融合的移动机器人运动姿态估计方法 Download PDF

Info

Publication number
CN102538781B
CN102538781B CN201110417967.6A CN201110417967A CN102538781B CN 102538781 B CN102538781 B CN 102538781B CN 201110417967 A CN201110417967 A CN 201110417967A CN 102538781 B CN102538781 B CN 102538781B
Authority
CN
China
Prior art keywords
inertial navigation
attitude
robot
estimation
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110417967.6A
Other languages
English (en)
Other versions
CN102538781A (zh
Inventor
路丹晖
马丽莎
杨飞
刘济林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201110417967.6A priority Critical patent/CN102538781B/zh
Publication of CN102538781A publication Critical patent/CN102538781A/zh
Application granted granted Critical
Publication of CN102538781B publication Critical patent/CN102538781B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,其步骤为:同步采集移动机器人双目相机图像及三轴惯导数据;提取前后帧图像特征并匹配估计运动姿态;利用惯导计算俯仰角和横滚角;建立卡尔曼滤波器模型融合视觉和惯导姿态估计;根据估计方差自适应调整滤波器参数;姿态修正的累积航位推算。本发明提出实时扩展卡尔曼滤波器姿态估计模型,利用惯导结合重力加速度方向作为补充,对视觉里程计三个方向姿态估计进行解耦,修正姿态估计的累积误差;根据运动状态采用模糊逻辑调整滤波器参数,实现自适应的滤波估计,降低加速度噪声的影响,有效的提高了视觉里程计的定位精度和鲁棒性。

Description

基于机器视觉和惯导融合的移动机器人运动姿态估计方法
技术领域
本发明涉及一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,适用于自主机器人移动姿态估计及定位。
背景技术
精确的陆地定位系统在移动机器人的自主导航,路径规划,地形重建等方向都具有很重要的应用。传统的机器人定位方法包括GPS,惯性导航定位等。GPS广泛应用于车辆定位,但遮挡区域和室内无法应用;惯导(inertial measurementunit,IMU)通过积分角速度和线加速度实现航位推算,却易受到噪声影响导致定位结果“漂移”。此外,越来越多的研究将视觉定位方法作为传统定位方法的补充。例如视觉里程计(visual odometry,VO),通过跟踪前后帧图像上的相同特征点,估计车体运动姿态的六个自由度。它适用于室内外、陆地及星际等多种环境,且定位精度高。但对图像序列质量要求高,图像中的移动物体、阴影都会影响其运动估计的准确性。
发明内容
本发明的目的是提供一种精度高、鲁棒,适用性广的基于机器视觉和惯导融合的移动机器人运动姿态估计方法。克服了传统航位推算由于累积误差造成的精度问题。
基于机器视觉和惯导融合的移动机器人运动姿态估计方法的步骤如下:
(1)同步采集移动机器人双目相机图像及三轴惯导数据;
(2)提取前后帧图像特征并匹配估计运动姿态;
(3)利用惯导计算俯仰角和横滚角;
(4)建立卡尔曼滤波器模型融合视觉和惯导姿态估计;
(5)根据估计方差自适应调整滤波器参数;
(6)姿态修正的累积航位推算。
所述步骤(1)为:机器人为通用轮式移动机器人,采用捷联式惯性导航仪,其输出为三维线加速度和角速度,采样频率100Hz,置于机器人几何中心位置,惯性导航仪坐标系以垂直地面向下为Z轴方向,机器人行进正前方为X轴方向,机器人正右侧且同时垂直于X轴方向和Z轴方向为Y轴方向,双目立体相机置于机器人正前方中心且无遮挡,俯仰角为30-45度,相机采样频率为1Hz。
所述步骤(2)为:对双目相机采集的左、右图,提取尺度不变性转换特征,对特征向量匹配后利用视差计算特征点的三维坐标,再通过匹配前后帧的尺度不变性转换特征得到同组特征点帧间的运动三维坐标变化,去除离群值,用最小二乘法求解这组特征点运动方程,得到旋转矩阵R和平移向量T。
所述步骤(3)为:利用惯性导航仪测量自身坐标系下3个轴向的加速度ax,ay,az,当无其他明显外力作用时,即机器人处于匀速运动或者静止等稳定状态时,得到
a x a y a z = - g - sin θ sin φ cos θ cos φ cos θ .
其中g为重力加速度,根据惯导输出的加速度ax,ay,az,可计算机器人实时的俯仰角θ和侧倾角φ。
所述步骤(4)为:利用扩展卡尔曼滤波对视觉运动估计和惯导计算的姿态进行信息融合,定义状态向量x为机器人当前的四元数[e0,e1,e2,e3]表征的姿态:
x=[e0,e1,e2,e3]T.
卡尔曼滤波预测模型是根据前后帧的图像计算的机器人姿态变化更新机器人运动姿态并用四元数表征
xk=q*xk-1+w(k).
其中xk、xk-1分别表示机器人第k帧与第k-1帧的姿态,即对初始位置的旋转,q表示k-1帧到第k帧机器人的旋转,由图像特征点估计的两帧间的旋转矩阵R得到,*为四元数乘法,表示旋转的累积,w(k)表示预测过程的噪声,卡尔曼滤波观测模型根据惯导处于稳定状态时,加速度计输出计算实时的俯仰角θ和侧倾角φ,此外,对航向角的估计,考虑降低累积误差,仅在两图像帧间对惯性导航仪中陀螺输出的角速度积分,得到航向角变化Δψ,再利用姿态角和四元数的转换关系得到测量变量与过程状态的关系即观测模型方程
z k = φ θ Δψ = h ( x k ) = arctan [ 2 ( e 0 e 1 + e 2 e 3 ) e 0 2 - e 1 2 - e 2 2 + e 3 2 ] arcsin [ 2 ( e 0 e 2 - e 3 e 1 ) ] arctan [ 2 ( e 0 e 3 + e 1 e 2 ) e 0 2 + e 1 2 - e 2 2 - e 3 2 ] - ψ k - 1 + v ( k ) .
其中v(k)表示观测过程的高斯噪声。
所述步骤(5)为:采用模糊自适应的卡尔曼滤波器参数是根据机器人运行的状态,有导向性的调整观测噪声的协方差矩阵,从而使滤波结果不发生偏移,判断机器人动态的标准为惯性导航仪输出的角速度和线加速度,定义归一化的加速度α和角速率β如下
α=(‖a‖-g)/g,β=‖ω‖.
其中g为重力加速度,a为惯性导航仪输出的线加速度向量,ω为输出的角速度向量,定义以下3个模糊规则,α和β的阈值确定一组模糊集,反映车体状态,考虑陀螺和加速度计的噪声影响,本方法中α、β的阈值分别为2mg、0.2°/s:
1.α≤Threshold(α)且β≤Threshold(β),则z=0
2.α>Threshold(α)或β>Threshold(β),则z=a1α+a2β
3.α>Threshold(α)且β>Threshold(β),则z=1
a1,a2为表征归一化的加速度和角速度的权重系数,用以上的模糊规则,定义如下观测噪声v(k)的协方差矩阵R
R = ( k 1 z + k 2 ) σ φ 2 0 0 0 ( k 1 z + k 2 ) σ θ 2 0 0 0 σ ψ 2 .
σθσψ为俯仰角θ、侧倾角φ和航向角变化Δψ的观测噪声方差,k1和k2为经验值,且k1,k2∈(0,1),式中k1=0.7,k2=0.5,归一化的加速度和角速度的权重系数a1=3.5,a2=8,当车体加速度或者角速度超过阈值时,系统认为车体处于非平稳状态,从而调整观测值θ和φ的方差增加,卡尔曼增益随之降低,达到滤波器参数自适应的目的。
所述步骤(6)为:根据计算前后帧姿态变化的旋转矩阵R和平移矩阵T估计机器人在任意时刻的位置姿态信息,经过卡尔曼滤波用惯导数据融合更新的R矩阵解决了因航位推算中姿态累积误差问题,继而用下式对机器人当前位置进行推算:
P n 1 = - Σ k = 1 n - 1 ( Π m = 1 k - 1 ( R m ) - 1 ) T k .
式中,若以相机初始坐标系为导航坐标系,则表示第n帧的相机坐标,Rm、Tm分别表示相机第m到第m+1帧的旋转和平移矩阵。
本发明通过利用惯导以重力加速度作为参考,建立卡尔曼滤波器模型对视觉运动姿态估计进行修正,降低了姿态估计的累积误差,提供了一种精确的机器人定位方法。能够广泛应用于机器人局部定位,尤其是GPS遮挡区以及室内环境。本发明与一些传统的惯性导航和里程计算技术相比,具有定位精度高,实时性强,实用和推广性高等特点。
附图说明
图1是基于机器视觉和惯导融合的移动机器人运动姿态估计方法的流程图;
图2是本发明实施例中用于室外机器人定位的一组轨迹图;
图3是本发明实施例中用于室外机器人定位的误差分析图。
具体实施方式
以下结合实施例进一步说明本发明方法。
基于机器视觉和惯导融合的移动机器人运动姿态估计方法的步骤如下:
(1)同步采集移动机器人双目相机图像及三轴惯导数据;
(2)提取前后帧图像特征并匹配估计运动姿态;
(3)利用惯导计算俯仰角和横滚角;
(4)建立卡尔曼滤波器模型融合视觉和惯导姿态估计;
(5)根据估计方差自适应调整滤波器参数;
(6)姿态修正的累积航位推算。
所述步骤(1)为:机器人为通用轮式移动机器人,采用捷联式惯性导航仪,其输出为三维线加速度和角速度,采样频率100Hz,置于机器人几何中心位置,惯性导航仪坐标系以垂直地面向下为Z轴方向,机器人行进正前方为X轴方向,机器人正右侧且同时垂直于X轴方向和Z轴方向为Y轴方向,双目立体相机置于机器人正前方中心且无遮挡,俯仰角为30-45度,相机采样频率为1Hz。
所述步骤(2)为:对双目相机采集的左、右图,提取尺度不变性转换特征,对特征向量匹配后利用视差计算特征点的三维坐标,再通过匹配前后帧的尺度不变性转换特征得到同组特征点帧间的运动三维坐标变化,去除离群值,用最小二乘法求解这组特征点运动方程,得到旋转矩阵R和平移向量T。
所述步骤(3)为:利用惯性导航仪测量自身坐标系下3个轴向的加速度ax,ay,az,当无其他明显外力作用时,即机器人处于匀速运动或者静止等稳定状态时,得到
a x a y a z = - g - sin θ sin φ cos θ cos φ cos θ .
其中g为重力加速度,根据惯导输出的加速度ax,ay,az,可计算机器人实时的俯仰角θ和侧倾角φ。
所述步骤(4)为:利用扩展卡尔曼滤波对视觉运动估计和惯导计算的姿态进行信息融合,定义状态向量x为机器人当前的四元数[e0,e1,e2,e3]表征的姿态:
x=[e0,e1,e2,e3]T.
卡尔曼滤波预测模型是根据前后帧的图像计算的机器人姿态变化更新机器人运动姿态并用四元数表征
xk=q*xk-1+w(k).
其中xk、xk-1分别表示机器人第k帧与第k-1帧的姿态,即对初始位置的旋转,q表示k-1帧到第k帧机器人的旋转,由图像特征点估计的两帧间的旋转矩阵R得到,*为四元数乘法,表示旋转的累积,w(k)表示预测过程的噪声,卡尔曼滤波观测模型根据惯导处于稳定状态时,加速度计输出计算实时的俯仰角θ和侧倾角φ,此外,对航向角的估计,考虑降低累积误差,仅在两图像帧间对惯性导航仪中陀螺输出的角速度积分,得到航向角变化Δψ,再利用姿态角和四元数的转换关系得到测量变量与过程状态的关系即观测模型方程
z k = φ θ Δψ = h ( x k ) = arctan [ 2 ( e 0 e 1 + e 2 e 3 ) e 0 2 - e 1 2 - e 2 2 + e 3 2 ] arcsin [ 2 ( e 0 e 2 - e 3 e 1 ) ] arctan [ 2 ( e 0 e 3 + e 1 e 2 ) e 0 2 + e 1 2 - e 2 2 - e 3 2 ] - ψ k - 1 + v ( k ) .
其中v(k)表示观测过程的高斯噪声。
所述步骤(5)为:采用模糊自适应的卡尔曼滤波器参数是根据机器人运行的状态,有导向性的调整观测噪声的协方差矩阵,从而使滤波结果不发生偏移,判断机器人动态的标准为惯性导航仪输出的角速度和线加速度,定义归一化的加速度α和角速率β如下
α=(‖a‖-g)/g,β=‖ω‖.
其中g为重力加速度,a为惯性导航仪输出的线加速度向量,ω为输出的角速度向量,定义以下3个模糊规则,α和β的阈值确定一组模糊集,反映车体状态,考虑陀螺和加速度计的噪声影响,本方法中α、β的阈值分别为2mg、0.2°/s:
1.α≤Threshold(α)且β≤Threshold(β),则z=0
2.α>Threshold(α)或β>Threshold(β),则z=a1α+a2β
3.α>Threshold(α)且β>Threshold(β),则z=1
a1,a2为表征归一化的加速度和角速度的权重系数,用以上的模糊规则,定义如下观测噪声v(k)的协方差矩阵R
R = ( k 1 z + k 2 ) σ φ 2 0 0 0 ( k 1 z + k 2 ) σ θ 2 0 0 0 σ ψ 2 .
σθσψ为俯仰角θ、侧倾角φ和航向角变化Δψ的观测噪声方差,k1和k2为经验值,且k1,k2∈(0,1),式中k1=0.7,k2=0.5,归一化的加速度和角速度的权重系数a1=3.5,a2=8,当车体加速度或者角速度超过阈值时,系统认为车体处于非平稳状态,从而调整观测值θ和φ的方差增加,卡尔曼增益随之降低,达到滤波器参数自适应的目的。
所述步骤(6)为:根据计算前后帧姿态变化的旋转矩阵R和平移矩阵T估计机器人在任意时刻的位置姿态信息,经过卡尔曼滤波用惯导数据融合更新的R矩阵解决了因航位推算中姿态累积误差问题,继而用下式对机器人当前位置进行推算:
P n 1 = - Σ k = 1 n - 1 ( Π m = 1 k - 1 ( R m ) - 1 ) T k .
式中,若以相机初始坐标系为导航坐标系,则表示第n帧的相机坐标,Rm、Tm分别表示相机第m到第m+1帧的旋转和平移矩阵。
实施例
1.同步采集移动机器人双目相机图像及三轴惯导数据
采用移动机器人先锋3(Pioneer 3)、耐威NV100型捷联式惯性导航仪和Bumblebee2双目立体相机。其中惯导采样频率为100Hz,置于机器人几何中心位置,以垂直地面向下为Z轴方向,机器人行进正前方为X轴方向,机器人正右侧且同时垂直于X、Z轴的方向为Y轴方向;双目立体相机置于机器人正前方,俯仰角为45度,相机采样频率为1Hz。
2.提取前后帧图像对特征并匹配估计运动姿态
对双目相机采集的左、右图,提取尺度不变性转换(scale-invariant featuretransform,SIFT)特征,包括尺度空间求极值,确定特征点位置和尺度,计算特征点方向,生成特征点描述符。再根据提取出的描述符进行特征匹配,用特征向量的欧式距离来判定特征间的相似性,即对于一幅图像中的某个特征点,找出另一幅图像中与其欧氏距离最近的前两个特征点,如果最近距离与次近距离之比少于某个阈值,则接受这一对匹配点。降低这个比例阈值,匹配点数目会减少,但更加稳定。欧氏距离最近点的查找可以使用k-d树算法。匹配后利用视差原理计算特征点的三维坐标,再通过匹配前后帧的SIFT特征得到同组特征点帧间的运动三维坐标变化,用Ransac去除离群值,结合最小二乘法求解得到旋转和平移等运动参数。
3.利用惯导计算俯仰角和横滚角
由于三维惯导中陀螺估计的姿态角受到累积误差的影响,因此仅利用惯导测量自身坐标系下3个方向的加速度,当仅重力作用时,得到
a x a y a z = - g - sin θ sin φ cos θ cos φ cos θ .
根据惯导输出的加速度ax,ay,az以重力加速度作为垂直方向参考,计算机器人实时的俯仰角θ和侧倾角φ。
4.建立卡尔曼滤波器模型融合视觉和惯导姿态估计
利用扩展卡尔曼滤波对视觉运动估计和惯导计算的姿态进行信息融合。定义状态向量为机器人当前的姿态四元数:
x=[e0,e1,e2,e3]T.
卡尔曼滤波预测模型是根据当前后帧的图像对计算的旋转和平移更新机器人运动姿态并用用四元数表征
xk=q*xk-1+w(k).
其中xk、xk-1分别表示机器人第k帧与第k-1帧的姿态(即对初始位置的旋转),q表示k-1帧到第k帧机器人的旋转,由估计的两帧间的旋转矩阵得到。*为四元数乘法,表示旋转的累积。w(k)表示预测过程的噪声。卡尔曼滤波观测模型根据惯导处于稳定状态时,加速度计输出计算实时的俯仰角θ和侧倾角φ。此外,对航向角的估计,考虑降低累积误差,仅在两图像帧间对陀螺输出的角速度积分,得到航向角变化Δψ,再利用姿态角和四元数的转换关系得到测量变量与过程状态的关系即观测模型方程
z k = φ θ Δψ = h ( x k ) = arctan [ 2 ( e 0 e 1 + e 2 e 3 ) e 0 2 - e 1 2 - e 2 2 + e 3 2 ] arcsin [ 2 ( e 0 e 2 - e 3 e 1 ) ] arctan [ 2 ( e 0 e 3 + e 1 e 2 ) e 0 2 + e 1 2 - e 2 2 - e 3 2 ] - ψ k - 1 + v ( k ) .
其中v(k)表示观测过程的高斯噪声。
5.根据估计方差自适应调整滤波器参数
采用模糊自适应的卡尔曼滤波器参数是根据机器人运行的状态,有导向性的调整观测噪声的协方差矩阵,从而使滤波结果不发生偏移。判断机器人动态的标准为IMU输出的角速度和线加速度。定义归一化的加速度α和角速率β如下
α=(‖a‖-g)/g,β=‖ω‖.
定义以下3个模糊规则(Fuzzy rules),α和β的阈值确定一组模糊集,反映车体状态,考虑陀螺和加速度计的噪声影响,实验中α、β的阈值分别为2mg、0.2°/s:
1.α≤Threshold(α)且β≤Threshold(β),则z=0
2.α>Threshold(α)或β>Threshold(β),则z=a1α+a2β
3.α>Threshold(α)且β>Threshold(β),则z=1
a1,a2为表征归一化的加速度和角速度的权重系数,用以上的模糊规则,定义如下观测噪声协方差矩阵
R = ( k 1 z + k 2 ) σ φ 2 0 0 0 ( k 1 z + k 2 ) σ θ 2 0 0 0 σ ψ 2 .
σθσψ为对应的观测噪声方差,k1和k2为经验值,且k1,k2∈(0,1),本方法中k1=0.7,k2=0.5,归一化的加速度和角速度的权重系数a1=3.5,a2=8。σψ由于不受到加速度计测量的影响,无需调整。当移动机器人加速度或者角速度超过阈值时,系统认为车体处于非平稳状态,从而调整观测值θ和φ的方差增加,卡尔曼增益随之降低,达到滤波器参数自适应的目的。
6.姿态修正的累积航位推算
根据计算前后帧姿态变化的旋转矩阵R和平移矩阵T估计机器人在任意时刻的位置姿态信息,经过卡尔曼滤波用惯导数据融合更新的R矩阵解决了因航位推算中姿态累积误差问题,继而用下式对机器人当前位置进行推算:
P n 1 = - Σ k = 1 n - 1 ( Π m = 1 k - 1 ( R m ) - 1 ) T k .
式中,若以相机初始坐标系为导航坐标系,则表示第n帧的相机坐标,Rm、Tm分别表示相机第m到第m+1帧的旋转和平移矩阵。如图2,移动机器人移动一个环形区域,总共采集图像帧218帧,航位推算得到的轨迹图,包括仅利用视觉方法定位(VO)的结果以及本方法的定位轨迹图(VO+IMU)。并且实施例中用毫米级定位精度的全站仪(Total Station)作为定位真值参考验证本方法的精度,如图3的误差分析图。

Claims (4)

1.一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,其特征在于它的步骤如下:
(1)同步采集移动机器人双目相机图像及三轴惯导数据;
(2)提取前后帧图像特征并匹配估计运动姿态;
(3)利用惯导计算俯仰角和横滚角;
(4)建立卡尔曼滤波器模型融合视觉和惯导姿态估计;
(5)根据估计方差自适应调整滤波器参数;
(6)姿态修正的累积航位推算;
所述步骤(4)为:利用扩展卡尔曼滤波对视觉运动估计和惯导计算的姿态进行信息融合,定义状态向量x为机器人当前的四元数[e0,e1,e2,e3]表征的姿态:
x=[e0,e1,e2,e3]T
卡尔曼滤波预测模型是根据前后帧的图像计算的机器人姿态变化更新机器人运动姿态并用四元数表征
xk=q*xk-1+w(k)
其中xk、xk-1分别表示机器人第k帧与第k-1帧的姿态,即对初始位置的旋转,q表示k-1帧到第k帧机器人的旋转,由图像特征点估计的两帧间的旋转矩阵R1得到,*为四元数乘法,表示旋转的累积,w(k)表示预测过程的噪声,卡尔曼滤波观测模型根据惯导处于稳定状态时,加速度计输出计算实时的俯仰角θ和侧倾角φ,此外,对航向角的估计,考虑降低累积误差,仅在两图像帧间对惯性导航仪中陀螺输出的角速度积分,得到航向角变化Δψ,再利用姿态角和四元数的转换关系得到测量变量与过程状态的关系即观测模型方程
z k = φ θ Δψ = h ( x k ) = arctan [ 2 ( e 0 e 1 + e 2 e 3 ) e 0 2 - e 1 2 - e 2 2 + e 3 1 ] arcsin [ 2 ( e 0 e 2 - e 3 e 1 ) ] arctan [ 2 ( e 0 e 3 + e 1 e 2 ) e 0 2 + e 1 2 - e 2 2 - e 3 2 ] - ψ k - 1 + v ( k )
其中v(k)表示观测过程的高斯噪声。
2.根据权利要求1所述的一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,其特征在于,所述步骤(1)为:机器人为通用轮式移动机器人,采用捷联式惯性导航仪,其输出为三维线加速度和角速度,采样频率100Hz,置于机器人几何中心位置,惯性导航仪坐标系以垂直地面向下为Z轴方向,机器人行进正前方为X轴方向,机器人正右侧且同时垂直于X轴方向和Z轴方向为Y轴方向,双目立体相机置于机器人正前方中心且无遮挡,俯仰角为30-45度,相机采样频率为1Hz。
3.根据权利要求1所述的一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,其特征在于,所述步骤(2)为:对双目相机采集的左、右图,提取尺度不变性转换特征,对特征向量匹配后利用视差计算特征点的三维坐标,再通过匹配前后帧的尺度不变性转换特征得到同组特征点帧间的运动三维坐标变化,去除离群值,用最小二乘法求解这组特征点运动方程,得到旋转矩阵R1和平移向量T。
4.根据权利要求1所述的一种基于机器视觉和惯导融合的移动机器人运动姿态估计方法,其特征在于,所述步骤(3)为:利用惯性导航仪测量自身坐标系下3个轴向的加速度ɑxyz,当无其他明显外力作用时,即机器人处于匀速运动或者静止稳定状态时,得到
a x a y a z = - g - sin sin φ cos θ cos φ cos θ
其中g为重力加速度,根据惯导输出的加速度ɑxyz,可计算机器人实时的俯仰角θ和侧倾角φ。
CN201110417967.6A 2011-12-14 2011-12-14 基于机器视觉和惯导融合的移动机器人运动姿态估计方法 Expired - Fee Related CN102538781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110417967.6A CN102538781B (zh) 2011-12-14 2011-12-14 基于机器视觉和惯导融合的移动机器人运动姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110417967.6A CN102538781B (zh) 2011-12-14 2011-12-14 基于机器视觉和惯导融合的移动机器人运动姿态估计方法

Publications (2)

Publication Number Publication Date
CN102538781A CN102538781A (zh) 2012-07-04
CN102538781B true CN102538781B (zh) 2014-12-17

Family

ID=46346272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110417967.6A Expired - Fee Related CN102538781B (zh) 2011-12-14 2011-12-14 基于机器视觉和惯导融合的移动机器人运动姿态估计方法

Country Status (1)

Country Link
CN (1) CN102538781B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
CN103033189B (zh) * 2012-12-26 2015-05-20 北京航空航天大学 一种深空探测巡视器惯性/视觉组合导航方法
CN103206954A (zh) * 2013-04-25 2013-07-17 佳木斯大学 一种基于ukf的移动机器人多传感器信息融合方法
CN103292804B (zh) * 2013-05-27 2015-07-15 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103442175A (zh) * 2013-09-02 2013-12-11 百度在线网络技术(北京)有限公司 移动终端的拍照控制方法、装置和移动终端
CN103438887B (zh) * 2013-09-18 2015-08-05 上海海事大学 用于移动机器人定位与环境重构的绝对坐标获取方法
CN103644904A (zh) * 2013-12-17 2014-03-19 上海电机学院 一种基于sift算法的视觉导航方法
CN103900473A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN103954283B (zh) * 2014-04-01 2016-08-31 西北工业大学 基于景象匹配/视觉里程的惯性组合导航方法
GB2525232A (en) * 2014-04-17 2015-10-21 Nokia Technologies Oy A device orientation correction method for panorama images
CN104121905B (zh) * 2014-07-28 2017-02-22 东南大学 一种基于惯性传感器的航向角获取方法
CN104501814B (zh) * 2014-12-12 2017-05-10 浙江大学 一种基于视觉和惯性信息的姿态与位置估计方法
CN104635233B (zh) * 2015-02-17 2017-12-26 苏州安智汽车零部件有限公司 基于车载毫米波雷达的前方物体运动状态估计及分类方法
CN104848861B (zh) * 2015-05-28 2017-12-08 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
CN104913783B (zh) * 2015-07-09 2018-01-23 上海华测导航技术股份有限公司 基于自适应滤波算法实现车辆自动导航的方法
CN105259904B (zh) * 2015-10-15 2018-01-30 山东科技大学 基于模型预测控制的多操纵面无人机纵向解耦控制方法
EP3365631A4 (en) * 2015-10-19 2019-06-26 Nokia Technologies OY NAVIGATION DEVICE AND RELATED METHODS
CN106597843B (zh) * 2015-10-20 2019-08-09 沈阳新松机器人自动化股份有限公司 一种前驱动轮式机器人安全控制方法及系统
CN105371840B (zh) * 2015-10-30 2019-03-22 北京自动化控制设备研究所 一种惯性/视觉里程计/激光雷达的组合导航方法
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
CN106225775A (zh) * 2016-07-14 2016-12-14 吉林大学 基于田间图像特征点匹配的农业装备横滚角获取方法
CN106153037B (zh) * 2016-07-21 2019-09-03 北京航空航天大学 一种机器人的室内定位方法、装置及系统
CN107796417B (zh) * 2016-09-06 2021-02-05 北京自动化控制设备研究所 一种自适应估计景象匹配与惯导安装误差的方法
CN107966147B (zh) * 2016-10-20 2021-02-05 北京自动化控制设备研究所 一种大机动情况下景象匹配的方法
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN106324285A (zh) * 2016-11-11 2017-01-11 苏州工讯科技有限公司 一种针对工业产品物流过程中平稳水平的测试装置及方法
CN106679648B (zh) * 2016-12-08 2019-12-10 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106780699B (zh) * 2017-01-09 2020-10-16 东南大学 一种基于sins/gps和里程计辅助的视觉slam方法
CN106705965A (zh) * 2017-01-12 2017-05-24 苏州中德睿博智能科技有限公司 场景三维数据配准方法及导航系统误差校正方法
CN106908853B (zh) * 2017-03-15 2018-09-18 中国人民解放军国防科学技术大学 基于相关分析与经验模分解的捷联式重力仪误差矫正方法
CN109682371A (zh) * 2017-10-18 2019-04-26 苏州宝时得电动工具有限公司 自动行走设备及其定位方法及装置
CN109115232B (zh) * 2017-06-22 2021-02-23 华为技术有限公司 导航的方法和装置
CN107340298B (zh) * 2017-06-29 2020-01-31 广西师范大学 基于摄像头路面检测的平衡车系统测控方法
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN107607110A (zh) * 2017-07-29 2018-01-19 刘儿兀 一种基于图像和惯导技术的定位方法及系统
CN107314778B (zh) * 2017-08-04 2023-02-10 广东工业大学 一种相对姿态的标定方法、装置及系统
CN107516327B (zh) * 2017-08-21 2023-05-16 腾讯科技(上海)有限公司 基于多层滤波确定相机姿态矩阵的方法及装置、设备
CN107941217B (zh) * 2017-09-30 2020-05-22 杭州迦智科技有限公司 一种机器人定位方法、电子设备、存储介质、装置
CN107796391A (zh) * 2017-10-27 2018-03-13 哈尔滨工程大学 一种捷联惯性导航系统/视觉里程计组合导航方法
CN110520694A (zh) * 2017-10-31 2019-11-29 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108036789B (zh) * 2017-11-29 2020-01-31 安徽省一一通信息科技有限公司 一种野外机器人航迹推算方法
CN108253963B (zh) * 2017-12-20 2021-04-20 广西师范大学 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统
CN108225302B (zh) * 2017-12-27 2020-03-17 中国矿业大学 一种石化工厂巡检机器人定位系统和方法
CN108344412A (zh) * 2018-01-26 2018-07-31 上海深视信息科技有限公司 一种移动机器人导航系统和方法
CN108399641B (zh) * 2018-03-12 2019-10-11 北京华捷艾米科技有限公司 重新检测地面的判定方法及装置
CN108436333B (zh) * 2018-03-22 2020-07-10 广州中设机器人智能装备股份有限公司 基于机器视觉的焊接机器人
CN108680159A (zh) * 2018-04-03 2018-10-19 中科微至智能制造科技江苏有限公司 一种基于数据融合的机器人定位方法
CN108520571B (zh) * 2018-04-10 2020-12-01 陈重奋 利用加速度计判断车辆行驶状态的算法和装置
CN108717298B (zh) * 2018-04-25 2020-10-20 华南农业大学 多体机械系统的动态定位方法
CN110207687B (zh) * 2018-04-25 2022-08-23 腾讯科技(深圳)有限公司 物体姿态测量方法、测量装置、电子设备及存储介质
CN108981687B (zh) * 2018-05-07 2021-01-15 清华大学 一种视觉与惯性融合的室内定位方法
CN108731670B (zh) * 2018-05-18 2021-06-22 南京航空航天大学 基于量测模型优化的惯性/视觉里程计组合导航定位方法
CN110542415A (zh) * 2018-05-28 2019-12-06 北京京东尚科信息技术有限公司 用于导航系统的导航方法和装置
CN109116845B (zh) * 2018-08-17 2021-09-17 华晟(青岛)智能装备科技有限公司 自动导引运输车定位方法、定位系统及自动导引运输系统
CN109405829A (zh) * 2018-08-28 2019-03-01 桂林电子科技大学 基于智能手机音视频多源信息融合的行人自定位方法
CN109358745B (zh) * 2018-08-31 2022-07-19 青岛小鸟看看科技有限公司 交互式手柄的位置滤波方法、装置及计算机存储介质
CN109085840B (zh) * 2018-09-21 2022-05-27 大连维德集成电路有限公司 一种基于双目视觉的车辆导航控制系统及控制方法
CN109676604B (zh) * 2018-12-26 2020-09-22 清华大学 机器人曲面运动定位方法及其运动定位系统
CN109631887B (zh) * 2018-12-29 2022-10-18 重庆邮电大学 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN110132271B (zh) * 2019-01-02 2022-04-12 中国船舶重工集团公司第七0七研究所 一种自适应卡尔曼滤波姿态估计算法
CN109741372A (zh) * 2019-01-10 2019-05-10 哈尔滨工业大学 一种基于双目视觉的里程计运动估计方法
CN109827569A (zh) * 2019-02-21 2019-05-31 奇瑞汽车股份有限公司 无人车定位方法及系统
CN110006423B (zh) * 2019-04-04 2020-11-06 北京理工大学 一种自适应惯导和视觉组合导航方法
FI128483B (en) * 2019-04-25 2020-06-15 Novatron Oy Measuring arrangement for measuring the three-dimensional position and orientation of the central axis of the first axis with respect to the central axis of the second axis
CN110075525B (zh) * 2019-05-07 2023-01-24 网易(杭州)网络有限公司 游戏中虚拟物体的控制方法及装置、电子设备
CN111998870B (zh) * 2019-05-26 2022-08-26 北京魔门塔科技有限公司 一种相机惯导系统的标定方法和装置
CN112179336B (zh) * 2019-07-02 2023-08-18 南京理工大学 基于双目视觉和惯导组合定位的自动行李运输方法
CN110702091B (zh) * 2019-07-24 2022-08-30 武汉大学 一种沿地铁轨道移动机器人的高精度定位方法
CN110366109B (zh) * 2019-08-01 2021-04-02 厦门大学 一种用于室内目标的定位方法及系统
CN110472585B (zh) * 2019-08-16 2020-08-04 中南大学 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法
CN110595434B (zh) * 2019-09-10 2021-09-03 兰州交通大学 基于mems传感器的四元数融合姿态估计方法
CN111121768B (zh) * 2019-12-23 2021-10-29 深圳市优必选科技股份有限公司 一种机器人位姿估计方法、装置、可读存储介质及机器人
CN111148058A (zh) * 2019-12-31 2020-05-12 武汉工程大学 室内环境下移动目标的定位方法、系统及移动机器人
CN111044054B (zh) * 2020-01-06 2023-02-03 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法
CN113532455B (zh) * 2020-04-17 2023-03-31 北京三快在线科技有限公司 视觉融合定位方法、装置、电子设备和可读存储介质
CN112161639B (zh) * 2020-07-29 2022-08-23 河海大学 一种基于角度光流法的垂直双目惯导里程计及其计算方法
WO2022027611A1 (zh) * 2020-08-07 2022-02-10 苏州珊口智能科技有限公司 移动机器人的定位方法、构建地图的方法及移动机器人
CN112417948B (zh) * 2020-09-21 2024-01-12 西北工业大学 一种基于单目视觉的水下航行器精确导引入环的方法
CN112729294B (zh) * 2021-04-02 2021-06-25 北京科技大学 适用于机器人的视觉和惯性融合的位姿估计方法及系统
CN113296139B (zh) * 2021-05-27 2022-05-03 桂林电子科技大学 一种自适应图像光流与rtk融合测姿方法
CN113551665B (zh) * 2021-06-25 2023-08-11 中国科学院国家空间科学中心 一种用于运动载体的高动态运动状态感知系统及感知方法
CN113442171B (zh) * 2021-07-01 2022-06-24 南京蔚蓝智能科技有限公司 一种机器人动态稳定判别方法和动态自适应姿态控制方法
WO2023082050A1 (zh) * 2021-11-09 2023-05-19 浙江大学 一种基于双层滤波框架的高精度里程估计方法
CN114147717A (zh) * 2021-12-09 2022-03-08 乐聚(深圳)机器人技术有限公司 机器人运动轨迹估计方法、装置、控制器及存储介质
CN114625121A (zh) * 2022-01-24 2022-06-14 成都理工大学 基于多传感器融合的自主巡检探索小车系统及导航方法
CN115790401B (zh) * 2023-02-09 2023-06-16 西北工业大学 一种基于视觉测量的位移测量方法及相关设备
CN116252581B (zh) * 2023-03-15 2024-01-16 吉林大学 直线行驶工况车身垂向及俯仰运动信息估算系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397671B (zh) * 2009-12-16 2013-06-01 Ind Tech Res Inst 定位載體、估測載體姿態與建地圖之系統與方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Algorithm for monocular visual Odometry/SINS integrated navigation;FENG Guo-hu, et al.;《JOURNAL OF CHINESE INERTIAL TECHNOLOGY》;20110630;第19卷(第3期);302-306 *
基于惯性传感器和视觉里程计的机器人定位;夏凌楠等;《仪器仪表学报》;20130131;第34卷(第1期);166-172 *
路丹晖等.视觉和IMU融合的移动机器人运动解耦估计.《浙江大学学报(工学版)》.2012,第46卷(第6期), *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108036785A (zh) * 2017-11-24 2018-05-15 浙江大学 一种基于直接法与惯导融合的飞行器位姿估计方法
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统

Also Published As

Publication number Publication date
CN102538781A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN102538781B (zh) 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN108731670B (zh) 基于量测模型优化的惯性/视觉里程计组合导航定位方法
CN103777220B (zh) 基于光纤陀螺、速度传感器和gps的实时精确位姿估计方法
CN109991636A (zh) 基于gps、imu以及双目视觉的地图构建方法及系统
CN104061899B (zh) 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法
CN101846734B (zh) 农用机械导航定位方法、系统及农用机械工控机
CN112639502A (zh) 机器人位姿估计
CN107402012A (zh) 一种车辆的组合导航方法
CN111426320B (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
CN112697138B (zh) 一种基于因子图优化的仿生偏振同步定位与构图的方法
Randeniya et al. Vision–IMU integration using a slow-frame-rate monocular vision system in an actual roadway setting
CN105318876A (zh) 一种惯性里程计组合高精度姿态测量方法
TWI522258B (zh) Based on electronic map, global navigation satellite system and vehicle motion detection technology Lane identification method
Wang et al. Vehicle localization at an intersection using a traffic light map
Kang et al. Vins-vehicle: A tightly-coupled vehicle dynamics extension to visual-inertial state estimator
CN108387236B (zh) 一种基于扩展卡尔曼滤波的偏振光slam方法
Jung et al. Monocular visual-inertial-wheel odometry using low-grade IMU in urban areas
CN106840211A (zh) 一种基于kf和stupf组合滤波的sins大方位失准角初始对准方法
CN107490378A (zh) 一种基于mpu6050与智能手机的室内定位与导航的方法
Lu et al. Hybrid navigation method of INS/PDR based on action recognition
CN110412596A (zh) 一种基于图像信息和激光点云的机器人定位方法
CN107702712A (zh) 基于惯性测量双层wlan指纹库的室内行人组合定位方法
CN107600073A (zh) 一种基于多源信息融合的车辆质心侧偏角估计系统及方法
CN115930977A (zh) 特征退化场景的定位方法、系统、电子设备和可读存介质
CN109387198A (zh) 一种基于序贯检测的惯性/视觉里程计组合导航方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141217

Termination date: 20211214

CF01 Termination of patent right due to non-payment of annual fee