CN106595640A - 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统 - Google Patents

基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统 Download PDF

Info

Publication number
CN106595640A
CN106595640A CN201611228449.9A CN201611228449A CN106595640A CN 106595640 A CN106595640 A CN 106595640A CN 201611228449 A CN201611228449 A CN 201611228449A CN 106595640 A CN106595640 A CN 106595640A
Authority
CN
China
Prior art keywords
imu
measurement
moving
vision
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611228449.9A
Other languages
English (en)
Inventor
孙长库
郭肖亭
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201611228449.9A priority Critical patent/CN106595640A/zh
Publication of CN106595640A publication Critical patent/CN106595640A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明涉及多传感器融合相对姿态测量,尤其涉及一种基于双IMU和视觉融合的动基座上物体相对姿态测量方法,包括:低精度IMU偏差补偿、双IMU动基座上物体相对姿态测量、视觉物体相对姿态测量、多传感器时间同步以及基于IEKF的视觉和双IMU数据融合五大步骤。本发明克服动基座上单个IMU无法测量运动物体相对姿态问题以及惯性测量中角度积分误差随时间无约束发散以及因视线遮挡等造成的特征标示点难以识别使得姿态输出频率变低。

Description

基于双IMU和视觉融合的动基座上物体相对姿态测量方法及 系统
技术领域
本发明涉及多传感器融合相对姿态测量,尤其涉及一种基于双IMU和视觉融合的动基座上物体相对姿态测量方法及系统。
背景技术
在运动目标物体相对参考物体的空间姿态测量中,可使用的测量方法有惯性法,视觉法等方法。其中视觉姿态测量方法优点是精度高、稳定性好。视觉姿态测量过程中,摄像机的视场必须覆盖整个物体的运动范围,或者在测量的整个过程中摄像机都能够拍摄到足够多的定位特征点。如果要求摄像机视场覆盖物体的整个运动范围,就存在测量范围与测量精度要求之间的矛盾,为了保证姿态测量精度,被测物体需在小范围内运动,这在一定程度上限制了视觉姿态测量方法的应用。视觉姿态测量拍摄靶标定位特征点,通过对特征点图像坐标变化进行分析计算,求解姿态。拍摄图像过程中环境光干扰、目标物体快速运动造成的图像模糊等原因会造成定位特征点识别困难。
惯性方法具有测量速度快、不受空间约束、没有距离限制、不受视线遮挡等优点。惯性测量方法中使用的传感器为惯性测量单元(Inertial Measurement Unit,IMU),惯性测量单元通常由三轴垂直正交的角速率陀螺仪和三轴垂直正交的加速度计组成。惯性传感器测量输出以空间惯性坐标系为基准不向外发射信号,隐蔽性比较好。惯性测量单元的角速率陀螺仪输出值为相对空间惯性坐标系的角速率,将角度率积分,可以进行角度计算。由于陀螺仪零位偏差以及测量过程中的漂移误差等误差在积分计算过程中会造成积分计算角度无约束随时间漂移。角度漂移与陀螺仪自身精度有很大关系,低精度的MEMS-IMU角度漂移尤其明显。但MEMS-IMU由于其质量轻、体积小的特点适用于对传感器重量和体积有严格要求的场合。因此在使用低精度的IMU时通常的做法是,将IMU和其他测量方法如视觉方法相融合,发挥两种测量方法的优点,扬长避短,优势互补,实现快速、高精度的姿态测量目的。
传感器融合姿态算法可以分为两类,一类是确定性算法如TRIAD算法和基于求解Wahba问题产生的QUEST、SVD等算法,这类算法可以利用两个或多个观测矢量直接确定空间相对姿态。另一类算法称为状态估计法,其中最常用的技术就是扩展卡尔曼滤波(EKF),状态估计法采用动力学模型(或运动学模型)对姿态参数及其误差参数进行实时估计。在使用EKF进行姿态计算时,首先需要对非线性系统进行线性化。非线性化过程会带来截断误差,对于非线性特征较强的系统,一阶线性化造成的截断误差往往使得用EKF得到的融合结果难以满足测量需求。改进和提高的方法有无迹卡尔曼滤波(UKF),粒子滤波(PF),容积卡尔曼滤波(CKF)以及通用的改进方法,如强跟踪滤波(STF)、自适应滤波(AKF)、迭代滤波(IKF)等。其中将IKF和EKF结合的IEKF在滤波过程中进行迭代,可以极大地减少EKF对非线性化系统线性化带来的截断误差。
在视觉测量中,运动目标物体以摄像机坐标系为基准,姿态测量结果只与摄像机和目标物体之间的相对运动有关,而与摄像机和目标物体整体相对空间其他参考系的绝对运动无关。而在惯性测量中,惯性测量单元以空间惯性坐标系为基准,在目标物体相对参考物体的空间姿态测量中,载体IMU固定在运动目标物体上,当参考系统和目标物体整体相对空间惯性坐标系非静止或非匀速直线运动时即有相对空间惯性坐标系的绝对运动,此运动就破坏了参考系统和空间惯性坐标系之间的惯性关系,使得参考系统相对于空间惯性坐标系变化为非惯性坐标系。此时载体IMU测量输出包含两部分,一部分是目标物体相对参考系统的运动,另一部分是参考系统相对空间惯性坐标系的运动。求解目标物体和参考系统之间的相对姿态时,需要提取载体IMU中目标物体相对参考系统的运动分量,除去参考系统相对空间惯性坐标系的运动部分。
发明内容
本发明目的在于克服现有技术不足,提供一种基于双IMU和视觉融合的动基座上物体相对姿态测量方法及系统,本发明方法增加一个参考IMU,与参考系统固定连接,用于测量参考系统相对空间惯性坐标系的运动。当目标物体和参考系统整体相对空间惯性坐标系有绝对运动时,使用该参考IMU测量值补偿修正载体IMU中参考系统相对空间惯性坐标系的运动部分,实现用惯性方法进行动基座上物体相对姿态测量。视觉更新频率低,惯性测量更新频率高,在视觉测量间隙使用惯性测量信息进行姿态解算;在视觉测量数据可用时将两种测量输出进行融合计算融合姿态,采用间接IEKF融合方法,融合过程中对滤波器的输入量和输出量不断进行反馈校正和输出校正,从而实现快速、高精度的相对姿态测量的目的。
本发明的基于双IMU和视觉融合的动基座上物体相对姿态测量方法,包括以下步骤:
步骤一:低精度IMU偏差补偿;
步骤二:双IMU动基座上物体相对姿态测量;
步骤三:视觉物体相对姿态测量;
步骤四:多传感器时间同步;
步骤五:基于IEKF的视觉和双IMU数据融合;
所述步骤二包括:
a)IMU数据采集;
b)测量系统旋转矩阵标定;
c)基于旋转四元数的姿态解算;
所述步骤一具体:标定零位偏差系数,使用此零位偏差系数对陀螺仪原始测量输出值中的零位偏差进行补偿;在滤波过程中陀螺仪的动态漂移采用反馈校正的方法进行补偿。
所述零位偏差系数标定方法及其对陀螺仪原始测量输出值的校正方法为,保持载体IMU和参考IMU相对空间惯性坐标系静止,采集多组两个IMU在该静止状态下的输出值,确定陀螺仪关于时间的非线性模型,并用一元多次函数对该非线性模型进行求解。
所述步骤二具体为惯性器件测量输出以空间惯性坐标系为基准,载体IMU的输出是待测运动物体相对空间惯性坐标系的测量输出,使用参考IMU对载体IMU中的有害测量部分进行修正,滤除掉载体IMU测量中动基座相对空间惯性坐标系的运动分量,保留其输出中待测运动物体相对动基座的运动分量,完成双IMU动基座上运动物体相对姿态测量。
所述步骤三视觉测量使用由外向内的结构,摄像机和动基座固定连接,靶标和待测运动物体固定连接;
具体为:在待测运动物体相对动基座运动过程中,待测运动物体带动携带的靶标运动,摄像机拍摄运动的靶标特征标示点,待测物体的运动表现为拍摄的靶标图像中特征点图像坐标的变化,对拍摄图像进行处理,并将特征点的图像坐标值和世界坐标值进行正确的匹配,根据匹配好的图像坐标值和世界坐标值使用通用的视觉姿态测量方法,进行姿态计算,完成视觉姿态测量。
所述步骤四具体为:使用系统计数时间将各个传感器的输出值统一在同一个时间系统内。
所述步骤五数据融合使用输出校正用滤波器输出不断对姿态进行修正;使用反馈校正通过对陀螺仪测量输出不断进行校正,达到对滤波器的输入量校正目的;形成了滤波器的反馈校正部分。
本发明的另一技术方案是基于双IMU和视觉融合的动基座上物体相对姿态测量方法的测量系统,包括相对放置的参考IMU和载体IMU,所述参考IMU与摄像机固定连接,两者都固定于动基座上组成参考系统;所述载体IMU和靶标固定连接且两者都置于转台上组成目标系统,并由转台带动进行相对于参考系统的运动,所述转台底座固定在动基座上并可相对动基座做旋转运动;
所述转台由控制器控制运转,所述摄像机、靶标、参考IMU、载体IMU和控制器均与处理器连接,所述处理器进行图像采集、IMU数据采集、转台运动模式控制并完成图像处理、数据计算;
所述转台为运动目标物体。
本发明的有益效果:
1、本发明基于双IMU和视觉融合的动基座上物体相对姿态测量方法,将惯性测量的快速、不受空间范围约束、没有测量距离限制、不存在视线遮挡问题的特点和视觉测量的高精度、稳定性好等特点相结合,以克服惯性测量中角度积分误差随时间无约束发散以及因视线遮挡等造成的特征标示点难以识别使得姿态输出频率变低。
2、本发明动基座上物体相对姿态测量技术广泛应用于头盔瞄准定位、飞行模拟训练器、虚拟现实环境模拟、医疗仪器、工业零件装配等领域,在工程实践和科学研究中有重要的理论和实践意义。
双IMU和视觉融合动基座上物体相对姿态测量问题,使用两个IMU的测量输出值计算运动目标物体和运动参考系统之间的相对角速率,在目标物体和参考系统相对空间惯性坐标系整体绝对运动时,求解动基座上运动物体相对姿态。
3、本发明提出的方法用参考IMU将载体IMU中参考系统相对空间惯性坐标系的运动分量分离出来,使得载体IMU测量输出中只有目标物体相对参考系统的运动分量,得出目标物体和参考系统之间的相对角度率;使用IEKF在迭代化中可以极大地减少EKF中非线性化系统带来的截断误差。使用间接滤波方法即滤波状态量使用的是误差量,而不是直接使用待测量作为状态量;间接滤波方法在滤波失败时,惯性方法或视觉方法仍可以进行姿态计算输出,不会造成系统崩溃。
4、在使用四元数进行姿态更新时,四元数是单位长度的约束条件使得四元数存在一个冗余度,在四元数规范化过程中往往会造成误差协方差矩阵奇异,因此使用误差四元数作为状态量可以避免四元数规范化这一条件的限制。
5、本发明设计并搭建了基于上述测量方法的测量系统,整体结构相对简单,传感器易于安装和移动。
附图说明
图1为本发明方法流程图。
图2为陀螺仪输出三轴角速度值偏差补偿前后的对比图:
(a)、俯仰轴补偿前;(b)、横滚轴补偿前;(c)、方位轴补偿前;
(d)、俯仰轴补偿后;(e)、横滚轴补偿后;(f)、方位轴补偿后。
图3为陀螺仪三轴偏差补偿前后角度漂移的对比图:
(a)、俯仰轴补偿前;(b)、横滚轴补偿前;(c)、方位轴补偿前;
(d)、俯仰轴补偿后;(e)、横滚轴补偿后;(f)、方位轴补偿后。
图4为本发明坐标系统示意图。
图5为本发明视觉和惯性测量融合示意图。
图6为间接滤波和输出校正、反馈校正示意图。
图7本发明测量系统示意图。
图8为滤波融合更新过程代码流程图。
具体实施方式
下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明,并不对本发明作任何的限制。
如图1所示,本发明的基于双IMU和视觉融合的动基座上物体相对姿态测量方法,包括如下步骤:
步骤一:低精度IMU偏差补偿
惯性传感器中的陀螺仪测量输出存在零位偏差、动态漂移等,对零位偏差在初始标定阶段进行标定并给出标定系数。在测量过程中用标定的零位偏差系数,对陀螺仪原始测量输出值中的零位偏差进行补偿;陀螺仪的漂移误差在滤波过程中,采用反馈校正的方法进行补偿。其中零位偏差系数标定方法及其对陀螺仪原始测量输出值的校正方法为:保持载体IMU和参考IMU相对空间惯性坐标系静止,采集多组两个IMU在该静止状态下的输出值,确定陀螺仪关于时间的非线性模型,并用一元多次函数对该非线性模型进行求解:
式(1)中m=1,2,…,M表示共有M组数据,每组数据中有i=1,2,…,n个测量值, 分别为X、Y、Z轴第m组数据第i个测量输出值,为X、Y、Z轴第m组数据第j个系数,为X、Y、Z轴第m组数据第i个自变量,k为自变量阶数,其决定了系数的项数。m组数据系数取均值计算陀螺仪静态补偿系数。
其中M表示总共进行了M次实验,为X、Y、Z轴第m组数据第j个系数,分别为取均值后的X、Y、Z轴陀螺仪补偿系数
在测量阶段用标定系数对陀螺仪原始输出值中的零位偏差进行补偿:
式(3)中为分别为陀螺仪X、Y、Z轴原始测量输出,ωX、ωY、ωZ为X、Y、Z轴补偿过零位偏差后的测量值,为求取的补偿系数,tk为离散后的时间点。图2为陀螺仪输出三轴角速度值偏差补偿前后的对比图,而图3为陀螺仪三轴偏差补偿前后角度漂移的对比图。陀螺仪的动态漂移补偿在滤波过程中进行,动态漂移误差作为滤波状态量的一部分,在滤波过程中不断更新的漂移误差对陀螺仪原始输出量进行校正形成了滤波器对滤波输入量的反馈校正。
步骤二:双IMU动基座上物体相对姿态测量
在动基座相对空间惯性坐标系保持非静止或进行非匀速直线运动时,动基座和空间惯性坐标系之间的惯性关系被破坏。而惯性器件测量输出以空间惯性坐标系为基准,载体IMU的输出是待测运动物体相对空间惯性坐标系的测量输出,使用参考IMU对载体IMU中的有害测量部分进行修正,滤除掉载体IMU测量中动基座相对空间惯性坐标系的运动分量,保留其输出中待测运动物体相对动基座的运动分量,完成双IMU相对姿态测量。
在双IMU进行物体相对姿态测量过程中,基座处于非静止或非匀速直线运动状态,使用参考IMU补偿修正载体IMU运动输出量中动基座相对空间惯性坐标系的运动分量;使得载体IMU的测量输出量剩余为单纯的载体IMU相对参考系统的运动部分。由两个IMU的陀螺仪测量输出量计算两个IMU之间的相对角速率的方法是:
式(4)中小写字母表示矢量,大写字母表示矩阵;分别为载体IMU、参考IMU相对空间惯性坐标系的测量输出量,上标表示的是对应量所处的坐标系。为参考IMU和摄像机之间的旋转矩阵是一个与时间无关的固定值;为转台和载体IMU之间的旋转矩阵是一个与时间无关的固定值;为转台坐标系与摄像机坐标之间的旋转矩阵是一个随时间不断更新的量。为摄像机坐标系下载体IMU和参考IMU之间的相对角速率。在惯性测量中,随时间变化的两个量为且两个量均转换到了摄像机坐标系中。由两个量的含义可知,两个量表示的是不同的旋转姿态,因此需将其进行归一化处理,转换为相同的变化量,归一化采用的方法是将两个IMU之间的姿态矩阵向转台相对摄像机坐标系的旋转矩阵进行转化如图4所示,
式(5)中上标T表示矩阵转置,这样就完成了惯性姿态测量中两个随时间变化量的归一化。
两个IMU之间的相对角速率确定之后,在视觉测量值不可用时,使用惯性测量值计算运动目标物体相对参考系统姿态,其计算方法为,
式(6)中为摄像机坐标系下两个IMU之间的相对角速率;表示对应矢量的斜对称矩阵;q为两个IMU之间相对姿态的四元数表示,其初值由系统初始标定给出,其和两个IMU之间的初始旋转矩阵可以互相转化。初始姿态四元数,初始旋转矩阵,不断更新的相对角速率以及测量时间间隔,惯性测量姿态不断更新。
步骤三:视觉物体相对姿态测量
视觉测量与设定的靶标坐标系和摄像机坐标系有关,与空间惯性坐标系无关;因此在动基座上物体相对姿态的测量中,基座运动与否几乎不对视觉测量过程造成影响。在本方案中,视觉测量使用由外向内的结构,摄像机和运基座固定连接,靶标和待测运动物体固定连接。在待测运动物体相对动基座运动过程中,待测运动物体带动携带的靶标特征点运动,摄像机拍摄运动的靶标特征标示点,待测物体的运动表现为拍摄的靶标图像中特征点图像坐标的变化,对拍摄图像进行处理,并将特征点的图像坐标值和世界坐标值进行正确的匹配,根据匹配好的图像坐标值和世界坐标值使用通用的视觉姿态测量方法,进行姿态计算,完成视觉姿态测量。
步骤四:多传感器时间同步
在统一各个传感器的测量输出时,使用系统计数时间将各个传感器的输出值统一在同一个时间系统内。系统运行开始对系统本身以及视觉传感器输出量和惯性传感器输出量进行计时,记录各个测量输出值相对系统开始计时时间的增量。system_time表示系统计数时间,vision_time表示视觉计数时间,imub_time和imun_time分别表示载体IMU和参考IMU计数时间。当视觉测量数据不可用时,用两个IMU的输出量进行姿态计算,用系统计数时间判断两个IMU采样数据是否同步,判定的条件是,两个IMU计数时间的差值小于M倍IMU更新周期即dt=(imub_time-imun_time)<M·imu_T,其中0.01<M<1,此时认为两个IMU采样数据是同步的。当视觉测量数据可用需要将视觉测量值和惯性测量值进行融合时,由于惯性更新频率远高于视觉更新频率fimu≥10fvision,需要找到与当前视觉采样输出时刻对应的惯性采样时刻,才能进一步将两者进行正确的融合,因此使用的采样是否同步的判定条件是,dt=(vision_time-imun_time/imub_time)<N·imu_T,其中0.1<N<1。视觉测量和同步化处理后的惯性测量的时间匹配过程如图5所示。
步骤五:基于IEKF的视觉和双IMU数据融合
使用基于IEKF的多传感器融合方法将两种测量技术进行融合,在融合过程中,使用输出校正用滤波器输出不断对姿态进行修正;使用反馈校正通过对陀螺仪测量输出不断进行校正,达到对滤波器的输入量校正目的;形成了滤波器的反馈校正部分。
两个IMU之间的相对角速率确定之后,在视觉测量输出可用时,使用迭代扩展卡尔曼滤波方法将视觉测量和惯性测量融合计算相对姿态,减少非线性化系统线性化、系统初始状态不确定性等带来的误差,使用间接滤波方法即误差量作为滤波状态量,并采用输出校正和反馈校正相结合的方式对融合计算过程不断进行校正,如图6所示。滤波融合更新过程代码流程图如图8所示,其中xk=[qk;bk]T是名义上的状态量,实际滤波过程中的状态量是[δqv;b]T,δqv是误差四元数中的矢量部分,和误差角δθ有关系式δqv=0.5δθ。是滤波量对滤波输入量的校正是反馈校正部分,此处对的校正是滤波过程中动态校正;qk=S(qe)qk|k-1是滤波量对滤波输出量的校正是输出校正部分;S(·)表示对应向量的斜对称矩阵;Φk,pk,hk,kk分别为状态转移矩阵,误差协方差矩阵,观测矩阵和滤波增益矩阵;qv为视觉测量姿态四元数。IEKF部分i表示迭代次数,d,b为迭代调节系数其中0<b<1。IEKF迭代终止判定条件,tr[deltq(deltq)T]<ε其中ε为阈值。因为用误差四元数的矢量部分计算的矩阵的特征值反映了特征向量误差的大小,故用矩阵的迹作为判定量。
视觉测量更新频率低,惯性测量更新频率高。在相对姿态测量过程中,以惯性姿态测量为基准,当视觉测量数据可用时,用滤波方法将视觉和惯性数据融合,计算融合姿态。当视觉测量数据不可用时,用惯性数据计算姿态;根据系统时间变化,输出融合姿态和纯惯性姿态,得到目标物体相对参考系统的总体姿态变化。其中视觉数据不可用时刻包含惯性测量输出值可得的视觉测量间隙,目标物体特征点在摄像机视场内显示不完整或特征点图像模糊等原因造成的特征点难以识别时刻。
如图7所示,本发明的基于双IMU和视觉融合的动基座上物体相对姿态测量系统,包括相对放置的参考IMU和载体IMU,所述参考IMU与摄像机固定连接,两者都固定于动基座上组成参考系统;所述载体IMU和靶标固定连接且都置于转台上组成目标系统,并由转台带动进行相对于参考系统的运动,本发明的转台为运动目标物体,所述转台底座固定在动基座上并可相对动基座做旋转运动;所述转台由控制器控制运转,所述摄像机、靶标、参考IMU、载体IMU和控制器均与处理器连接,所述处理器进行图像采集、IMU数据采集、转台运动模式控制并完成图像处理、数据计算。
视觉测量可采用由内向外结构或由外向内结构;当使用由内向外结构时,摄像机和待测运动物体固定连接,靶标和运动基座固定连接;当使用由外向内结构时,摄像机和动基座固定连接,靶标和待测运动物体连接,本发明实施例是以由外向内结构为例进行说明。其中摄像机和参考IMU均需要和动基座固定连接,可将两者固定连接后安装在运动基座上。IMU测量输出以空间惯性坐标系为基准,在动基座上,为了补偿掉载体IMU中的有害运动部分。
应当理解的是,这里所讨论的实施方案及实例只是为了说明,对本领域技术人员来说,可以加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.基于双IMU和视觉融合的动基座上物体相对姿态测量方法,其特征在于,包括以下步骤:
步骤一:低精度IMU偏差补偿;
步骤二:双IMU动基座上物体相对姿态测量;
步骤三:视觉物体相对姿态测量;
步骤四:多传感器时间同步;
步骤五:基于IEKF的视觉和双IMU数据融合;
所述步骤二包括:
a)IMU数据采集;
b)测量系统旋转矩阵标定;
c)基于旋转四元数的惯性姿态解算。
2.根据权利要求1所述的方法,其特征在于,所述步骤一具体:标定零位偏差系数,使用此零位偏差系数对陀螺仪原始测量输出值中的零位偏差进行补偿;在滤波过程中陀螺仪的动态漂移采用反馈校正的方法进行补偿。
3.根据权利要求2所述的方法,其特征在于,所述零位偏差系数标定方法及其对陀螺仪原始测量输出值的校正方法为保持载体IMU和参考IMU相对空间惯性坐标系静止,采集多组两个IMU在该静止状态下的输出值,确定陀螺仪关于时间的非线性模型,并用一元多次函数对该非线性模型进行求解。
4.根据权利要求1所述的方法,其特征在于,所述步骤二具体为惯性器件测量输出以空间惯性坐标系为基准,载体IMU的输出是待测运动物体相对空间惯性坐标系的测量输出,使用参考IMU对载体IMU中的有害测量部分进行修正,滤除掉载体IMU测量中动基座相对空间惯性坐标系的运动分量,保留其输出中待测运动物体相对动基座的运动分量,完成双IMU动基座上运动物体相对姿态测量。
5.根据权利要求1所述的方法,其特征在于,所述步骤三视觉测量使用由外向内的视觉测量结构,摄像机和动基座固定连接,靶标和待测运动物体固定连接;具体为:在待测运动物体相对动基座运动过程中,待测运动物体带动携带的靶标运动,摄像机拍摄运动的靶标特征标示点,待测物体的运动表现为拍摄的靶标图像中特征点图像坐标的变化,对拍摄图像进行处理,并将特征点的图像坐标值和世界坐标值进行正确的匹配,根据匹配好的图像坐标值和世界坐标值使用通用的视觉姿态测量方法,进行姿态计算,完成视觉姿态测量。
6.根据权利要求1所述的方法,其特征在于,所述步骤四具体为:使用系统计数时间将各个传感器的输出值统一在同一个时间系统内。
7.根据权利要求1所述的方法,其特征在于,所述步骤五数据融合使用输出校正用滤波器输出不断对姿态进行修正;使用反馈校正通过对陀螺仪测量输出不断进行校正,达到对滤波器的输入量校正目的;形成了滤波器的反馈校正部分。
8.根据权利要求1所述的基于双IMU和视觉融合的动基座上物体相对姿态测量方法的测量系统,其特征在于,包括相对放置的参考IMU和载体IMU,所述参考IMU与摄像机固定连接,两者都固定于动基座上组成参考系统;所述载体IMU和靶标固定连接且两者都置于转台上组成目标系统,并由转台带动进行相对于参考系统的运动,所述转台底座固定在动基座上并可相对动基座做旋转运动;
所述转台由控制器控制运转,所述摄像机、靶标、参考IMU、载体IMU和控制器均与处理器连接,所述处理器进行图像采集、IMU数据采集、转台运动模式控制并完成图像处理、数据计算;所述转台为运动目标物体。
CN201611228449.9A 2016-12-27 2016-12-27 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统 Pending CN106595640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611228449.9A CN106595640A (zh) 2016-12-27 2016-12-27 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611228449.9A CN106595640A (zh) 2016-12-27 2016-12-27 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统

Publications (1)

Publication Number Publication Date
CN106595640A true CN106595640A (zh) 2017-04-26

Family

ID=58602559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611228449.9A Pending CN106595640A (zh) 2016-12-27 2016-12-27 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统

Country Status (1)

Country Link
CN (1) CN106595640A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及系统
CN107782309A (zh) * 2017-09-21 2018-03-09 天津大学 非惯性系视觉和双陀螺仪多速率ckf融合姿态测量方法
CN107990871A (zh) * 2017-09-05 2018-05-04 北京航空航天大学 一种基于多传感信息融合的相对位姿测量装置与方法
CN108375382A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 基于单目视觉的位置姿态测量系统精度检校方法和装置
CN108803861A (zh) * 2017-04-28 2018-11-13 广东虚拟现实科技有限公司 一种交互方法、设备及系统
CN109459004A (zh) * 2018-12-11 2019-03-12 湖南云中赛博信息科技有限公司 一种可扩展陀螺仪测量范围的测量系统及方法
CN109490907A (zh) * 2017-09-11 2019-03-19 深圳灵喵机器人技术有限公司 一种手持式同步定位与地图构建设备与方法
CN109520476A (zh) * 2018-10-24 2019-03-26 天津大学 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN109631875A (zh) * 2019-01-11 2019-04-16 京东方科技集团股份有限公司 一种对传感器姿态融合测量方法进行优化的方法和系统
CN109781139A (zh) * 2017-11-13 2019-05-21 中航通飞华南飞机工业有限公司 惯性基准系统校准标定方法
CN110147164A (zh) * 2019-05-22 2019-08-20 京东方科技集团股份有限公司 头部运动跟踪方法、设备、系统及存储介质
CN111238529A (zh) * 2018-11-28 2020-06-05 北京航天计量测试技术研究所 一种基于星光测量的姿态测量仪精度校准装置及方法
CN107316319B (zh) * 2017-05-27 2020-07-10 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN111486867A (zh) * 2020-03-19 2020-08-04 天津大学 一种视觉和惯性混合跟踪组件安装参数的标定装置及方法
CN111489399A (zh) * 2020-03-19 2020-08-04 天津大学 一种视觉跟踪组件安装参数标定装置和方法
CN112697143A (zh) * 2021-03-23 2021-04-23 中国人民解放军国防科技大学 高精度载体动态姿态测量方法及系统
CN113167585A (zh) * 2018-11-20 2021-07-23 赛峰电子与防务公司 惯性测量装置
CN113237475A (zh) * 2021-05-13 2021-08-10 北京中科深智科技有限公司 一种基于视觉和惯性测量单元的姿态估计方法及装置
CN113325920A (zh) * 2020-02-28 2021-08-31 阿里巴巴集团控股有限公司 数据处理方法、行进数据融合方法、设备及存储介质
CN114199239A (zh) * 2022-01-05 2022-03-18 中国兵器工业计算机应用技术研究所 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统
CN114323011A (zh) * 2022-01-05 2022-04-12 中国兵器工业计算机应用技术研究所 一种适用于相对位姿测量的卡尔曼滤波方法
CN114383612A (zh) * 2022-01-05 2022-04-22 中国兵器工业计算机应用技术研究所 一种视觉辅助惯性差分位姿测量系统
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置
CN115046490A (zh) * 2022-04-24 2022-09-13 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115120967A (zh) * 2022-07-20 2022-09-30 Oppo广东移动通信有限公司 目标定位方法、装置、存储介质及终端
CN116394265A (zh) * 2023-06-08 2023-07-07 帕西尼感知科技(张家港)有限公司 一种姿态传感器标定方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655361A (zh) * 2009-08-31 2010-02-24 中国人民解放军国防科学技术大学 基于双相机的不稳定基准平台姿态测量方法
US20110218733A1 (en) * 2010-03-04 2011-09-08 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
CN102506857A (zh) * 2011-11-28 2012-06-20 北京航空航天大学 一种基于双imu/dgps组合的相对姿态测量实时动态滤波方法
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104501814A (zh) * 2014-12-12 2015-04-08 浙江大学 一种基于视觉和惯性信息的姿态与位置估计方法
CN105698765A (zh) * 2016-02-22 2016-06-22 天津大学 双imu单目视觉组合测量非惯性系下目标物位姿方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655361A (zh) * 2009-08-31 2010-02-24 中国人民解放军国防科学技术大学 基于双相机的不稳定基准平台姿态测量方法
US20110218733A1 (en) * 2010-03-04 2011-09-08 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
CN102506857A (zh) * 2011-11-28 2012-06-20 北京航空航天大学 一种基于双imu/dgps组合的相对姿态测量实时动态滤波方法
CN103983263A (zh) * 2014-05-30 2014-08-13 东南大学 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN104501814A (zh) * 2014-12-12 2015-04-08 浙江大学 一种基于视觉和惯性信息的姿态与位置估计方法
CN105698765A (zh) * 2016-02-22 2016-06-22 天津大学 双imu单目视觉组合测量非惯性系下目标物位姿方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AGOSTINO MARTINELLI: "Vision and IMU Data Fusion: Closed-Form Solutions for Attitude, Speed, Absolute Scale, and Bias Determination", 《IEEE TRANSACTIONS ON ROBOTICS》 *
姜广浩 等: "基于EKF的摄像机-IMU相对姿态标定方法", 《计算机应用与软件》 *
孙长库 等: "基于IMU与单目视觉融合的姿态测量方法", 《天津大学学报(自然科学与工程技术版)》 *
董春梅 等: "基于三轴转台误差分析的IMU标定方法", 《系统工程与电子技术》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803861A (zh) * 2017-04-28 2018-11-13 广东虚拟现实科技有限公司 一种交互方法、设备及系统
CN108803861B (zh) * 2017-04-28 2021-01-12 广东虚拟现实科技有限公司 一种交互方法、设备及系统
CN107316319B (zh) * 2017-05-27 2020-07-10 北京小鸟看看科技有限公司 一种刚体追踪的方法、装置和系统
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及系统
CN107314778B (zh) * 2017-08-04 2023-02-10 广东工业大学 一种相对姿态的标定方法、装置及系统
CN107990871A (zh) * 2017-09-05 2018-05-04 北京航空航天大学 一种基于多传感信息融合的相对位姿测量装置与方法
CN109490907A (zh) * 2017-09-11 2019-03-19 深圳灵喵机器人技术有限公司 一种手持式同步定位与地图构建设备与方法
CN107782309A (zh) * 2017-09-21 2018-03-09 天津大学 非惯性系视觉和双陀螺仪多速率ckf融合姿态测量方法
CN109781139A (zh) * 2017-11-13 2019-05-21 中航通飞华南飞机工业有限公司 惯性基准系统校准标定方法
CN108375382A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 基于单目视觉的位置姿态测量系统精度检校方法和装置
CN109520476A (zh) * 2018-10-24 2019-03-26 天津大学 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN109520476B (zh) * 2018-10-24 2021-02-19 天津大学 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN113167585A (zh) * 2018-11-20 2021-07-23 赛峰电子与防务公司 惯性测量装置
CN113167585B (zh) * 2018-11-20 2022-07-01 赛峰电子与防务公司 惯性测量装置
CN111238529A (zh) * 2018-11-28 2020-06-05 北京航天计量测试技术研究所 一种基于星光测量的姿态测量仪精度校准装置及方法
CN111238529B (zh) * 2018-11-28 2023-06-02 北京航天计量测试技术研究所 一种基于星光测量的姿态测量仪精度校准装置及方法
CN109459004A (zh) * 2018-12-11 2019-03-12 湖南云中赛博信息科技有限公司 一种可扩展陀螺仪测量范围的测量系统及方法
CN109459004B (zh) * 2018-12-11 2022-07-26 湖南云中赛博信息科技有限公司 一种可扩展陀螺仪测量范围的测量系统及方法
CN109631875A (zh) * 2019-01-11 2019-04-16 京东方科技集团股份有限公司 一种对传感器姿态融合测量方法进行优化的方法和系统
CN110147164A (zh) * 2019-05-22 2019-08-20 京东方科技集团股份有限公司 头部运动跟踪方法、设备、系统及存储介质
CN113325920A (zh) * 2020-02-28 2021-08-31 阿里巴巴集团控股有限公司 数据处理方法、行进数据融合方法、设备及存储介质
CN111486867B (zh) * 2020-03-19 2023-08-11 天津大学 一种视觉和惯性混合跟踪组件安装参数的标定装置及方法
CN111489399B (zh) * 2020-03-19 2023-04-14 天津大学 一种视觉跟踪组件安装参数标定装置和方法
CN111489399A (zh) * 2020-03-19 2020-08-04 天津大学 一种视觉跟踪组件安装参数标定装置和方法
CN111486867A (zh) * 2020-03-19 2020-08-04 天津大学 一种视觉和惯性混合跟踪组件安装参数的标定装置及方法
CN112697143B (zh) * 2021-03-23 2021-06-01 中国人民解放军国防科技大学 高精度载体动态姿态测量方法及系统
CN112697143A (zh) * 2021-03-23 2021-04-23 中国人民解放军国防科技大学 高精度载体动态姿态测量方法及系统
CN113237475A (zh) * 2021-05-13 2021-08-10 北京中科深智科技有限公司 一种基于视觉和惯性测量单元的姿态估计方法及装置
CN114323011B (zh) * 2022-01-05 2024-04-23 中国兵器工业计算机应用技术研究所 一种适用于相对位姿测量的卡尔曼滤波方法
CN114323011A (zh) * 2022-01-05 2022-04-12 中国兵器工业计算机应用技术研究所 一种适用于相对位姿测量的卡尔曼滤波方法
CN114199239A (zh) * 2022-01-05 2022-03-18 中国兵器工业计算机应用技术研究所 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统
CN114383612A (zh) * 2022-01-05 2022-04-22 中国兵器工业计算机应用技术研究所 一种视觉辅助惯性差分位姿测量系统
CN114383612B (zh) * 2022-01-05 2024-04-12 中国兵器工业计算机应用技术研究所 一种视觉辅助惯性差分位姿测量系统
CN114199239B (zh) * 2022-01-05 2024-04-16 中国兵器工业计算机应用技术研究所 结合北斗导航的双视觉辅助惯性差分座舱内头部测姿系统
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置
CN115046490A (zh) * 2022-04-24 2022-09-13 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115046490B (zh) * 2022-04-24 2023-03-31 同济大学 一种基于数据融合的结构层间变形监测装置及方法
CN115120967A (zh) * 2022-07-20 2022-09-30 Oppo广东移动通信有限公司 目标定位方法、装置、存储介质及终端
CN116394265A (zh) * 2023-06-08 2023-07-07 帕西尼感知科技(张家港)有限公司 一种姿态传感器标定方法、装置、设备及存储介质
CN116394265B (zh) * 2023-06-08 2023-11-07 帕西尼感知科技(张家港)有限公司 一种姿态传感器标定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106595640A (zh) 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统
CN107525503B (zh) 基于双天线gps和mimu组合的自适应级联卡尔曼滤波方法
CN103630137B (zh) 一种用于导航系统的姿态及航向角的校正方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN107270891B (zh) 基于抗差估计的惯性地磁匹配定位方法
CN111189442B (zh) 基于cepf的无人机多源导航信息状态预测方法
CN105910602B (zh) 一种组合导航方法
CN110567461B (zh) 一种考虑无陀螺仪的非合作航天器姿态和参数估计方法
JP2020528553A (ja) 磁力計を較正する方法
CN109238277B (zh) 视觉惯性数据深度融合的定位方法及装置
CN104697523A (zh) 基于迭代计算的惯性/地磁匹配定位方法
CN114485641B (zh) 一种基于惯导卫导方位融合的姿态解算方法及装置
CN107621266B (zh) 基于特征点跟踪的空间非合作目标相对导航方法
Sun et al. Adaptive sensor data fusion in motion capture
CN110044385B (zh) 一种大失准角情况下的快速传递对准方法
CN116817896B (zh) 一种基于扩展卡尔曼滤波的姿态解算方法
CN111189474A (zh) 基于mems的marg传感器的自主校准方法
CN108917772A (zh) 基于序列图像的非合作目标相对导航运动估计方法
CN107782309A (zh) 非惯性系视觉和双陀螺仪多速率ckf融合姿态测量方法
CN107192375A (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
CN115143954A (zh) 一种基于多源信息融合的无人车导航方法
CN114383605A (zh) 基于mems传感器和稀疏地标点的室内定位及优化方法
CN115046545A (zh) 一种深度网络与滤波结合的定位方法
CN114018254B (zh) 一种激光雷达与旋转惯导一体化构架与信息融合的slam方法
CN108416387A (zh) 基于gps与气压计融合数据的高度滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210101

AD01 Patent right deemed abandoned