CN107341831B - 一种imu辅助的视觉特征鲁棒跟踪方法及装置 - Google Patents
一种imu辅助的视觉特征鲁棒跟踪方法及装置 Download PDFInfo
- Publication number
- CN107341831B CN107341831B CN201710544553.7A CN201710544553A CN107341831B CN 107341831 B CN107341831 B CN 107341831B CN 201710544553 A CN201710544553 A CN 201710544553A CN 107341831 B CN107341831 B CN 107341831B
- Authority
- CN
- China
- Prior art keywords
- imu
- camera
- data
- image
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明公开一种IMU辅助的对视觉特征进行鲁棒跟踪的技术,并公开相应的实现装置,实现步骤。具体技术包括:(1)相机标定,图像特征提取方法;(2)IMU数据建模及滤波方法;(3)多传感器坐标系姿态标定;(4)IMU辅助视觉特征跟踪建模。本发明相比目前传统的单纯的视觉特征跟踪技术,具有鲁棒性好,抗干扰能力更强,精度更高,同时节省缩小特征搜索范围,缩短特征搜寻时间等优势,适用于图像退化,少纹理区域等无法进行纯图像特征跟踪的场景。
Description
技术领域
本发明涉及一种图像特征追踪方法和装置,具体涉及一种IMU辅助的视觉特征鲁棒跟踪方法及装置。
背景技术
在移动机器人相关技术研究中,导航技术属于其核心技术,也是实现智能化和自主移动的关键技术,其中基于视觉传感器的机器人导航技术是目前国内外应用比较普遍导航技术,而图像特征跟踪的准确度直接决定着视觉导航的精确度。随着应用场景越来越复杂,导航精度要求越来越高,仅仅依靠视觉传感器已难以满足处理速度以及系统鲁棒性的要求:在少纹理区域场景,高速运动或抖动引起图像模糊场景因无法进行有效的特征跟踪而使视觉导航表现不佳。随着低成本微机电惯性测量模块的出现,使解决上述问题成为了可能。
发明内容
本发明的目的是针对现有技术中的不足,提供一种IMU辅助的视觉特征鲁棒跟踪方法及装置,其与纯视觉特征跟踪技术相比鲁棒性更高,特征跟踪速度更快,相同帧特征跟踪数量提高20%到30%;系统构造简洁,在成本增加较低的情况下,极大的提高了系统的抗干扰能力,适用于少纹理区域以及高速运动,抖动等纯视觉特征跟踪无法使用的场景。
为实现上述目的,本发明公开了如下技术方案:
一种IMU辅助的视觉特征鲁棒跟踪方法,包括如下步骤:
S1图像特征提取及相机标定:
S101制作已知尺寸的标定板,高和宽大小分别为11*9个2cm正方格;
S102不同姿态下静止拍摄至少13张照片;
S103提取图像的good feature/corner特征;
S104同时标定出相机各个姿态下的相机内参和相机外参;
S2IMU数据建模及滤波;
S201对IMU数据进行预处理:处理掉极大值和极小值,中间大幅度跃变野值;静止状态获取零飘值,所有有效数据减去零飘;
S202对预处理后的IMU数据进行滤波:利用一阶AR模型对数据进行建模,使用卡尔曼滤波器进行数据处理;
S3多传感器坐标系姿态标定;
S301标定板竖直放置,使用IMU_CAM装置中的相机,在至少十个不同位姿下静止拍下至少十张照片;
S302在拍摄每一张照片的静止位置,记录下至少十组IMU_CAM装置IMU的加速度数据,并进行相应的数据滤波;
S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标和相机坐标系之间的姿态关系;
S4 IMU辅助视觉特征跟踪建模:
S401使用IMU_CAM装置中的相机拍摄自然场景,获取相机图片,提取出该帧图片中的KLT特征;
S402记录下连续两帧之间IMU的数据,并进行数据滤波,计算出连续两帧图像间IMU姿态改变;
S403根据IMU的姿态改变,已知相机和IMU之间固定的姿态关系,求得相机的姿态改变;利用相机和图像之间的投影关系,换算出图像KLT特征变化后的新坐标,以此新坐标作为下一帧图像该KLT特征的起始点进行搜索,最终获得KLT的新坐标。
进一步的,所述步骤S1中,相机使用Ueyes工业相机,分辨率为640×480,帧率为25帧每秒;特征使用GoodFeature,每一帧都要把所有特征提取到,并将特征的图片坐标精确到亚像素。
进一步的,所述步骤S2中,IMU使用MTI系列产品,数据输出频率在60-120帧每秒,帧率是相机帧率的2-4倍;数据包括加速度,平移速度,旋转角速度;原始数据处理包括最大最小值屏蔽,中间大野值丢弃;静态零飘获取,零飘消除;数据的一阶AR建模以及卡尔曼滤波。
进一步的,所述步骤S3中,标定板跟相机的标定板相同尺寸,同时保持竖直放置于一个固定位置;在每一个静态位置,使用该装置中的相机拍摄一张照片,同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波;利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标系和相机坐标系之间的姿态关系。
本发明还公开一种IMU辅助的视觉特征鲁棒跟踪装置,包括:
IMU惯性数据采集模块,由一系列惯性数据测量单元组成,能够实时感应IMU的旋转角度信息,加速度信息以及平移速度信息;
CAM图像处理模块,由一个工业摄像头组成,以25帧每秒的实时速率进行图像捕捉,在获取的图像上进行KLT特征提取;
数据通信融合模块,各个传感器和主控模块的通信,其接口包括网口、USB和串口,由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐,包括时间戳插值和平滑;
CAM/IMU姿态标定模块,使用固定尺寸的相机标定板,竖直固定放置,获取到重力加速度在相机坐标系和IMU坐标系的分量后,计算出CAM和IMU之间的姿态关系;
KLT特征追踪模块,从当前获取的图像中提取KLT特征;计算当前帧到下一帧图像之间IMU的旋转累积和平移累积,把这种旋转平移关系转换到相机坐标系下,再映射到图像坐标系中获取KLT特征的预测坐标,把此预测坐标作为KLT特征的初始搜索值进行全局搜索,获取到该KLT特征的精确像素坐标。
本发明公开的一种IMU辅助的视觉特征鲁棒跟踪方法及装置,具有以下有益效果:
1.本发明对比传统的纯视觉特征跟踪,具有特征搜索速度更快,精度更高,鲁棒性更强的特点:通过融合IMU的惯性信息,可以对图像特征的初始定位进行预判,从而减少搜索区域,减少搜索时间,提高特征定位精度以及帧间特征追踪的稳定性,实验表明每帧跟踪数量普遍提高20%以上。
2.本发明提出一种有效的处理IMU数据的方法,既IMU数据滤波方法,每6帧处理一次,去除最大最小值,滤除野值,消去零飘,之后对数据进行一阶AR建模,最后进行卡尔曼滤波;静态实验结果显示,此滤波后的惯性数据比原数据更接近真实数据,零飘消除同时方差缩小10倍。
3.本发明装置构造简单,标定工具仅使用相机标定板,制作简单;使用重力在两个坐标系的投影的姿态标定方法简洁明了,能满足实际上需要。本装置模块与主机间的通讯使用成熟的USB,232串口,网口等标准工业接口,便于移植和拓展。
附图说明
图1为本发明的特征跟踪系统整体功能模块图;
图2为本发明装置中IMU的功能模块示意图;
图3为本发明中IMU姿态推演和显示框图;
图4为本发明中KLT特征跟踪的算法执行流程图;
图5为本发明中IMU惯性数据辅助的KLT特征跟踪原理演示图;
图6为本发明中IMU数据处理结果演示图;
图7为本发明特征追踪与纯视觉特征追踪横摆运动效果对比图;
图8为本发明特征追踪与纯视觉特征追踪俯仰运动效果对比图;
图9为本发明特征追踪与纯视觉特征追踪旋转运动效果对比图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的核心是提供一种IMU辅助的视觉特征鲁棒跟踪方法及装置,其与纯视觉特征跟踪技术相比鲁棒性更高,特征跟踪速度更快,相同帧特征跟踪数量提高20%到30%;系统构造简洁,在成本增加较低的情况下,极大的提高了系统的抗干扰能力,适用于少纹理区域以及高速运动,抖动等纯视觉特征跟踪无法使用的场景。
一种IMU辅助的视觉特征鲁棒跟踪方法,包括如下步骤:
S1图像特征提取及相机标定:
S101制作已知尺寸的标定板,高和宽大小分别为11*9个2cm正方格;
S102不同姿态下静止拍摄至少13张照片;
S103提取图像的good feature/corner特征;
S104同时标定出相机各个姿态下的相机内参和相机外参;
S2 IMU数据建模及滤波;
S201对IMU数据进行预处理:处理掉极大值和极小值,中间大幅度跃变野值;静止状态获取零飘值,所有有效数据减去零飘;
202对预处理后的IMU数据进行滤波:利用一阶AR模型对数据进行建模,使用卡尔曼滤波器进行数据处理;
S3多传感器坐标系姿态标定;
S301标定板竖直放置,使用IMU_CAM装置中的相机,在至少十个不同位姿下静止拍下至少十张照片;
S302在拍摄每一张照片的静止位置,记录下至少十组IMU_CAM装置IMU的加速度数据,并进行相应的数据滤波;
S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标和相机坐标系之间的姿态关系;
S4 IMU辅助视觉特征跟踪建模:
S401使用IMU_CAM装置中的相机拍摄自然场景,获取相机图片,提取出该帧图片中的KLT特征;
S402记录下连续两帧之间IMU的数据,并进行数据滤波,计算出连续两帧图像间IMU姿态改变;
S403根据IMU的姿态改变,已知相机和IMU之间固定的姿态关系,求得相机的姿态改变;利用相机和图像之间的投影关系,换算出图像KLT特征变化后的新坐标,以此新坐标作为下一帧图像该KLT特征的起始点进行搜索,最终获得KLT的新坐标。
在本发明的一种实施例中,所述步骤S1中,相机使用Ueyes工业相机,分辨率为640×480,帧率为25帧每秒;特征使用GoodFeature,每一帧都要把所有特征提取到,并将特征的图片坐标精确到亚像素。
在本发明的一种实施例中,所述步骤S2中,IMU使用MTI系列产品,数据输出频率在60-120帧每秒,帧率是相机帧率的2-4倍;IMU数据包括加速度,平移速度,旋转角速度;IMU原始数据处理包括最大最小值屏蔽,中间大野值丢弃;静态零飘获取,零飘消除;数据的一阶AR建模以及卡尔曼滤波。
在本发明的一种实施例中,所述步骤S3中,标定板跟相机的标定板相同尺寸,同时保持竖直放置于一个固定位置;在每一个静态位置,使用该装置中的相机拍摄一张照片,同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波;利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标系和相机坐标系之间的姿态关系。
见图1,本发明还公开一种IMU辅助的视觉特征鲁棒跟踪装置,包括:
IMU惯性数据采集模块,由一系列惯性数据测量单元组成,能够实时感应IMU的旋转角度信息,加速度信息以及平移速度信息;
CAM图像处理模块,由一个工业摄像头组成,以25帧每秒的实时速率进行图像捕捉,在获取的图像上进行KLT特征提取;
数据通信融合模块,各个传感器和主控模块的通信,其接口包括网口、USB和串口,由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐,包括时间戳插值和平滑;
CAM/IMU姿态标定模块,使用固定尺寸的相机标定板,竖直固定放置,获取到重力加速度在相机坐标系和IMU坐标系的分量后,计算出CAM和IMU之间的姿态关系;
KLT特征追踪模块,从当前获取的图像中提取KLT特征;计算当前帧到下一帧图像之间IMU的旋转累积和平移累积,把这种旋转平移关系转换到相机坐标系下,再映射到图像坐标系中获取KLT特征的预测坐标,把此预测坐标作为KLT特征的初始搜索值进行全局搜索,获取到该KLT特征的精确像素坐标。
硬件支持模块,为上述硬件提供相应支持。
如图2,本发明中的IMU惯性数据采集模块具体包括3D陀螺、3D加速度/磁强测量模块、A/D模数转换模块、DSP数据融合模块,存储模块和通讯接口模块。与外部主机连接。
如图3,本发明中的IMU惯性数据的姿态处理主要包括如下步骤:
第一步:确定一个初始姿态矩阵,之后把姿态的矩阵表达转换为四元数表达;
第二步:实时监测IMU的角速度数据,累积角度并转换为四元数进行推演;
第三步:已知上一个时刻姿态的四元数表达,经过累加角度的四元数转换得到当前时刻的姿态四元数,并转化为姿态矩阵输出当前姿态。
如图5,本发明IMU惯性数据辅助的KLT特征跟踪过程如下:同一物体在相邻两幅图的投影,特征点Pt由于相机的大尺度运动而落在了收敛区域外从而导致KLT跟踪失败;在相机内参和IMU_CAM相对位姿已标定的情况下,可以利用陀螺仪角速度数据计算出此时的单应性矩阵,再求得仿射变换模型参数的近似预测值,从而获得KLT跟踪模型新的搜索起始点通常情况下默认的搜索起始点是上一帧最后迭代的结果Pt。蓝色部分是搜索收敛域,相机位姿大尺度变化时,可能导致搜索起始点Pt不在收敛域内,使用陀螺仪数据使搜索起始点修正为该点在收敛区域Ct+1内,从而得到更好的跟踪效果。
如图4,IMU辅助的视觉特征鲁棒跟踪方法流程主要包括如下步骤:
第一步:配置IMU_CAM装置中相机参数和IMU的参数,主要包括相机帧率和分辨率,IMU的数据输出频率和数据格式;使用标定板完成相机内参标定;初始化一个初始位姿,使用装置中的相机拍摄自然场景,获取相机图片,提取出该帧图片中的KLT特征。
第二步:在相机两帧之间实时获取IMU数据,并进行数据处理,主要进行大野值滤除,零飘消除,以及基于一阶AR模型的卡尔曼滤波,处理结果参阅附图6,其中Z-Original为原始数据,Z-Zeroshift为野值和零飘滤除后的结果,Z-Kalman为AR建模及卡尔曼滤波后的结果。滤波后的IMU数据根据附图3所示原理逻辑计算出连续两帧图像间IMU的姿态改变。
第三步:依附图5所示IMU惯性数据辅助的KLT特征跟踪原理:根据IMU的姿态改变,已知相机和IMU之间固定的姿态关系,求得相机的姿态改变;利用相机和图像之间的投影关系,换算出图像KLT特征变化后的新坐标,以此新坐标作为下一帧图像该KLT特征的起始点进行搜索,最终精确获得KLT的新坐标。
由附图7,附图8,附图9,本发明与纯视觉跟踪结果对比可知,跟踪的鲁棒性大幅提高。
以上所述仅是本发明的优选实施方式,而非对其限制;应当指出,尽管参照上述各实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,其依然可以对上述各实施例所记载的技术方案进行修改,或对其中部分或者全部技术特征进行等同替换;而这些修改和替换,并不使相应的技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种IMU辅助的视觉特征鲁棒跟踪方法,其特征在于,包括如下步骤:
S1图像特征提取及相机标定:
S101制作已知尺寸的标定板,高和宽大小分别为11*9个2cm正方格;
S102不同姿态下静止拍摄至少13张照片;
S103提取图像的good feature/corner特征;
S104同时标定出相机各个姿态下的相机内参和相机外参;
S2IMU数据建模及滤波;
S201对IMU数据进行预处理:处理掉极大值和极小值,中间大幅度跃变野值;静止状态获取零飘值,所有有效数据减去零飘;
S202对预处理后的IMU数据进行滤波:利用一阶AR模型对数据进行建模,使用卡尔曼滤波器进行数据处理;
S3多传感器坐标系姿态标定;
S301标定板竖直放置,使用IMU_CAM装置中的相机,在至少十个不同位姿下静止拍下至少十张照片;
S302在拍摄每一张照片的静止位置,记录下至少十组IMU_CAM装置IMU的加速度数据,并进行相应的数据滤波;
S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标和相机坐标系之间的姿态关系;
S4IMU辅助视觉特征跟踪建模:
S401使用IMU_CAM装置中的相机拍摄自然场景,获取相机图片,提取出图片中的KLT特征;
S402记录下连续两帧之间IMU的数据,并进行数据滤波,计算出连续两帧图像间IMU姿态改变;
S403根据IMU的姿态改变,已知相机和IMU之间固定的姿态关系,求得相机的姿态改变;利用相机和图像之间的投影关系,换算出图像KLT特征变化后的新坐标,以此新坐标作为下一帧图像该KLT特征的起始点进行搜索,最终获得KLT的新坐标。
2.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法,其特征在于,所述步骤S1中,相机使用Ueyes工业相机,分辨率为640×480,帧率为25帧每秒;特征使用GoodFeature,每一帧都要把所有特征提取到,并将特征的图片坐标精确到亚像素。
3.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法,其特征在于,所述步骤S2中,IMU使用MTI系列产品,数据输出频率在60-120帧每秒,帧率是相机帧率的2-4倍;数据包括加速度,平移速度,旋转角速度;原始数据处理包括最大最小值屏蔽,中间大野值丢弃;静态零飘获取,零飘消除;数据的一阶AR建模以及卡尔曼滤波。
4.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法,其特征在于,所述步骤S3中,标定板跟相机的标定板相同尺寸,同时保持竖直放置于一个固定位置;在每一个静态位置,使用该装置中的相机拍摄一张照片,同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波;利用竖直分量在相机坐标系和在IMU坐标系中的数值关系,计算出IMU坐标系和相机坐标系之间的姿态关系。
5.一种IMU辅助的视觉特征鲁棒跟踪装置,其特征在于,包括:
IMU惯性数据采集模块,由一系列惯性数据测量单元组成,能够实时感应IMU的旋转角度信息,加速度信息以及平移速度信息;
CAM图像处理模块,由一个工业摄像头组成,以25帧每秒的实时速率进行图像捕捉,在获取的图像上进行KLT特征提取;
数据通信融合模块,各个传感器和主控模块的通信,其接口包括网口、USB和串口,由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐,包括时间戳插值和平滑;
CAM/IMU姿态标定模块,使用固定尺寸的相机标定板,竖直固定放置,获取到重力加速度在相机坐标系和IMU坐标系的分量后,计算出CAM和IMU之间的姿态关系;
KLT特征追踪模块,从当前获取的图像中提取KLT特征;计算当前帧到下一帧图像之间IMU的旋转累积和平移累积,把这种旋转平移关系转换到相机坐标系下,再映射到图像坐标系中获取KLT特征的预测坐标,把此预测坐标作为KLT特征的初始搜索值进行全局搜索,获取到该KLT特征的精确像素坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710544553.7A CN107341831B (zh) | 2017-07-06 | 2017-07-06 | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710544553.7A CN107341831B (zh) | 2017-07-06 | 2017-07-06 | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341831A CN107341831A (zh) | 2017-11-10 |
CN107341831B true CN107341831B (zh) | 2020-10-27 |
Family
ID=60218714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710544553.7A Active CN107341831B (zh) | 2017-07-06 | 2017-07-06 | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341831B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021509214A (ja) * | 2017-12-18 | 2021-03-18 | エーエルティー リミティッド ライアビリティ カンパニー | 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム |
US10970425B2 (en) * | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
CN110057352B (zh) | 2018-01-19 | 2021-07-16 | 北京图森智途科技有限公司 | 一种相机姿态角确定方法及装置 |
CN108510550A (zh) * | 2018-03-29 | 2018-09-07 | 轻客智能科技(江苏)有限公司 | 一种双目摄像头自动标定方法及装置 |
CN108898590B (zh) * | 2018-06-22 | 2022-03-29 | 浙江大学 | 一种应用于产品外形视觉检测的自身特征提取方法 |
CN109544638B (zh) * | 2018-10-29 | 2021-08-03 | 浙江工业大学 | 一种用于多传感器融合的异步在线标定方法 |
CN111723597B (zh) * | 2019-03-18 | 2023-07-14 | 深圳市速腾聚创科技有限公司 | 跟踪算法的精度检测方法、装置、计算机设备和存储介质 |
CN111723826B (zh) * | 2019-03-18 | 2023-08-29 | 深圳市速腾聚创科技有限公司 | 跟踪算法的精度检测方法、装置、计算机设备和存储介质 |
CN110378968B (zh) * | 2019-06-24 | 2022-01-14 | 奥比中光科技集团股份有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
CN110910423B (zh) * | 2019-11-15 | 2022-08-23 | 小狗电器互联网科技(北京)股份有限公司 | 一种目标跟踪方法及存储介质 |
CN112949342B (zh) * | 2019-11-26 | 2022-06-10 | 华方信息技术有限公司 | 人员滞留时长测量平台及方法 |
CN111145267B (zh) * | 2019-12-25 | 2023-09-05 | 重庆自行者科技有限公司 | 基于imu辅助的360度全景视图多相机标定方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345751A (zh) * | 2013-07-02 | 2013-10-09 | 北京邮电大学 | 一种基于鲁棒特征跟踪的视觉定位方法 |
EP2434256A3 (en) * | 2010-09-24 | 2014-04-30 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9303999B2 (en) * | 2013-12-30 | 2016-04-05 | Google Technology Holdings LLC | Methods and systems for determining estimation of motion of a device |
-
2017
- 2017-07-06 CN CN201710544553.7A patent/CN107341831B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2434256A3 (en) * | 2010-09-24 | 2014-04-30 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
CN103345751A (zh) * | 2013-07-02 | 2013-10-09 | 北京邮电大学 | 一种基于鲁棒特征跟踪的视觉定位方法 |
CN105606127A (zh) * | 2016-01-11 | 2016-05-25 | 北京邮电大学 | 一种双目立体相机与惯性测量单元相对姿态标定方法 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
Non-Patent Citations (4)
Title |
---|
《Inertial-aided KLT feature tracking for a moving camera》;Myung Hwangbo,et al;《The 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20091015;第1909-1916页 * |
《增强现实摄像机-IMU相对姿态的自动标定研究》;姜广浩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);第I136-649页 * |
《摄像机与惯性测量单元的相对位姿标定方法》;杨浩等;《机器人》;20110731;第33卷(第4期);第419-426页 * |
《融合IMU与Kinect的机器人定位算法研究》;杨杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);第I140-463页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107341831A (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341831B (zh) | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 | |
CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
CN110880189B (zh) | 联合标定方法及其联合标定装置和电子设备 | |
WO2018023492A1 (zh) | 一种云台控制方法及系统 | |
CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
WO2021043213A1 (zh) | 标定方法、装置、航拍设备和存储介质 | |
US10825249B2 (en) | Method and device for blurring a virtual object in a video | |
CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
CN107369181B (zh) | 基于双处理器结构的点云数据采集及处理方法 | |
CN111028267B (zh) | 一种移动机器人单目视觉跟随系统及跟随方法 | |
CN111968228B (zh) | 一种基于航空装配的增强现实自定位方法 | |
CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
CN111882602A (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
CN114608561A (zh) | 一种基于多传感器融合的定位与建图方法及系统 | |
CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
Li et al. | A binocular MSCKF-based visual inertial odometry system using LK optical flow | |
CN115218906A (zh) | 面向室内slam的视觉惯性融合定位方法及系统 | |
CN111179309A (zh) | 一种跟踪方法及设备 | |
WO2023160445A1 (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
CN102890821A (zh) | 红外摄像机标定方法及系统 | |
CN111260725A (zh) | 一种面向动态环境的轮速计辅助的视觉里程计方法 | |
CN112767482B (zh) | 一种多传感器融合的室内外定位方法及系统 | |
CN110415329B (zh) | 三维建模装置及应用于其的校准方法 | |
CN113379850A (zh) | 移动机器人控制方法、装置、移动机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |