CN107341831A - 一种imu辅助的视觉特征鲁棒跟踪方法及装置 - Google Patents

Abstract

本发明公开一种IMU辅助的对视觉特征进行鲁棒跟踪的技术，并公开相应的实现装置，实现步骤。具体技术包括：(1)相机标定，图像特征提取方法；(2)IMU数据建模及滤波方法；(3)多传感器坐标系姿态标定；(4)IMU辅助视觉特征跟踪建模。本发明相比目前传统的单纯的视觉特征跟踪技术，具有鲁棒性好，抗干扰能力更强，精度更高，同时节省缩小特征搜索范围，缩短特征搜寻时间等优势，适用于图像退化，少纹理区域等无法进行纯图像特征跟踪的场景。

Description

一种IMU辅助的视觉特征鲁棒跟踪方法及装置

技术领域

本发明涉及一种图像特征追踪方法和装置，具体涉及一种IMU辅助的视觉特征鲁棒跟踪方法及装置。

背景技术

在移动机器人相关技术研究中，导航技术属于其核心技术，也是实现智能化和自主移动的关键技术，其中基于视觉传感器的机器人导航技术是目前国内外应用比较普遍导航技术，而图像特征跟踪的准确度直接决定着视觉导航的精确度。随着应用场景越来越复杂，导航精度要求越来越高，仅仅依靠视觉传感器已难以满足处理速度以及系统鲁棒性的要求：在少纹理区域场景，高速运动或抖动引起图像模糊场景因无法进行有效的特征跟踪而使视觉导航表现不佳。随着低成本微机电惯性测量模块的出现，使解决上述问题成为了可能。

发明内容

本发明的目的是针对现有技术中的不足，提供一种IMU辅助的视觉特征鲁棒跟踪方法及装置，其与纯视觉特征跟踪技术相比鲁棒性更高，特征跟踪速度更快，相同帧特征跟踪数量提高20％到30％；系统构造简洁，在成本增加较低的情况下，极大的提高了系统的抗干扰能力，适用于少纹理区域以及高速运动，抖动等纯视觉特征跟踪无法使用的场景。

为实现上述目的，本发明公开了如下技术方案：

一种IMU辅助的视觉特征鲁棒跟踪方法，包括如下步骤：

S1图像特征提取及相机标定：

S101制作已知尺寸的标定板，高和宽大小分别为11*9个2cm正方格；

S102不同姿态下静止拍摄至少13张照片；

S103提取图像的good feature/corner特征；

S104同时标定出相机各个姿态下的相机内参和相机外参；

S2IMU数据建模及滤波；

S201对IMU数据进行预处理：处理掉极大值和极小值，中间大幅度跃变野值；静止状态获取零飘值，所有有效数据减去零飘；

S202对预处理后的IMU数据进行滤波：利用一阶AR模型对数据进行建模，使用卡尔曼滤波器进行数据处理；

S3多传感器坐标系姿态标定；

S301标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；

S302在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；

S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标和相机坐标系之间的姿态关系；

S4 IMU辅助视觉特征跟踪建模：

S401使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片中的KLT特征；

S402记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU姿态改变；

S403根据IMU的姿态改变，已知相机和IMU之间固定的姿态关系，求得相机的姿态改变；利用相机和图像之间的投影关系，换算出图像KLT特征变化后的新坐标，以此新坐标作为下一帧图像该KLT特征的起始点进行搜索，最终获得KLT的新坐标。

进一步的，所述步骤S1中，相机使用Ueyes工业相机，分辨率为640×480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素。

进一步的，所述步骤S2中，IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；数据包括加速度，平移速度，旋转角速度；原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。

进一步的，所述步骤3中，标定板跟相机的标定板相同尺寸，同时保持竖直放置于一个固定位置；在每一个静态位置，使用该装置中的相机拍摄一张照片，同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波；利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系。

本发明还公开一种IMU辅助的视觉特征鲁棒跟踪装置，包括：

IMU惯性数据采集模块，由一系列惯性数据测量单元组成，能够实时感应IMU的旋转角度信息，加速度信息以及平移速度信息；

CAM图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行KLT特征提取；

数据通信融合模块，各个传感器和主控模块的通信，其借款包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐，包括时间戳插值和平滑；

CAM/IMU姿态标定模块，使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系；

KLT特征追踪模块，从当前获取的图像中提取KLT特征；计算当前帧到下一帧图像之间IMU的旋转累积和平移累积，把这种旋转平移关系转换到相机坐标系下，再映射到图像坐标系中获取KLT特征的预测坐标，把此预测坐标作为KLT特征的初始搜索值进行全局搜索，获取到该KLT特征的精确像素坐标。

本发明公开的一种IMU辅助的视觉特征鲁棒跟踪方法及装置，具有以下有益效果：

1.本发明对比传统的纯视觉特征跟踪，具有特征搜索速度更快，精度更高，鲁棒性更强的特点：通过融合IMU的惯性信息，可以对图像特征的初始定位进行预判，从而减少搜索区域，减少搜索时间，提高特征定位精度以及帧间特征追踪的稳定性，实验表明每帧跟踪数量普遍提高20％以上。

2.本发明提出一种有效的处理IMU数据的方法，既IMU数据滤波方法，每6帧处理一次，去除最大最小值，滤除野值，消去零飘，之后对数据进行一阶AR建模，最后进行卡尔曼滤波；静态实验结果显示，此滤波后的惯性数据比原数据更接近真实数据，零飘消除同时方差缩小10倍。

3.本发明装置构造简单，标定工具仅使用相机标定板，制作简单；使用重力在两个坐标系的投影的姿态标定方法简洁明了，能满足实际上需要。本装置模块与主机间的通讯使用成熟的USB，232串口，网口等标准工业接口，便于移植和拓展。

附图说明

图1为本发明的特征跟踪系统整体功能模块图；

图2为本发明装置中IMU的功能模块示意图；

图3为本发明中IMU姿态推演和显示框图；

图4为本发明中KLT特征跟踪的算法执行流程图；

图5为本发明中IMU惯性数据辅助的KLT特征跟踪原理演示图；

图6为本发明中IMU数据处理结果演示图；

图7为本发明特征追踪与纯视觉特征追踪横摆运动效果对比图；

图8为本发明特征追踪与纯视觉特征追踪俯仰运动效果对比图；

图9为本发明特征追踪与纯视觉特征追踪旋转运动效果对比图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种IMU辅助的视觉特征鲁棒跟踪方法及装置，其与纯视觉特征跟踪技术相比鲁棒性更高，特征跟踪速度更快，相同帧特征跟踪数量提高20％到30％；系统构造简洁，在成本增加较低的情况下，极大的提高了系统的抗干扰能力，适用于少纹理区域以及高速运动，抖动等纯视觉特征跟踪无法使用的场景。

一种IMU辅助的视觉特征鲁棒跟踪方法，包括如下步骤：

S1图像特征提取及相机标定：

S101制作已知尺寸的标定板，高和宽大小分别为11*9个2cm正方格；

S102不同姿态下静止拍摄至少13张照片；

S103提取图像的good feature/corner特征；

S104同时标定出相机各个姿态下的相机内参和相机外参；

S2 IMU数据建模及滤波；

S201对IMU数据进行预处理：处理掉极大值和极小值，中间大幅度跃变野值；静止状态获取零飘值，所有有效数据减去零飘；

S202对预处理后的IMU数据进行滤波：利用一阶AR模型对数据进行建模，使用卡尔曼滤波器进行数据处理；

S3多传感器坐标系姿态标定；

S301标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；

S302在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；

S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标和相机坐标系之间的姿态关系；

S4 IMU辅助视觉特征跟踪建模：

S401使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片中的KLT特征；

S402记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU姿态改变；

S403根据IMU的姿态改变，已知相机和IMU之间固定的姿态关系，求得相机的姿态改变；利用相机和图像之间的投影关系，换算出图像KLT特征变化后的新坐标，以此新坐标作为下一帧图像该KLT特征的起始点进行搜索，最终获得KLT的新坐标。

在本发明的一种实施例中，所述步骤S1中，相机使用Ueyes工业相机，分辨率为640×480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素。

在本发明的一种实施例中，所述步骤S2中，IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。

在本发明的一种实施例中，所述步骤3中，标定板跟相机的标定板相同尺寸，同时保持竖直放置于一个固定位置；在每一个静态位置，使用该装置中的相机拍摄一张照片，同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波；利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系。

见图1，本发明还公开一种IMU辅助的视觉特征鲁棒跟踪装置，包括：

IMU惯性数据采集模块，由一系列惯性数据测量单元组成，能够实时感应IMU的旋转角度信息，加速度信息以及平移速度信息；

CAM图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行KLT特征提取；

数据通信融合模块，各个传感器和主控模块的通信，其借款包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐，包括时间戳插值和平滑；

CAM/IMU姿态标定模块，使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系；

KLT特征追踪模块，从当前获取的图像中提取KLT特征；计算当前帧到下一帧图像之间IMU的旋转累积和平移累积，把这种旋转平移关系转换到相机坐标系下，再映射到图像坐标系中获取KLT特征的预测坐标，把此预测坐标作为KLT特征的初始搜索值进行全局搜索，获取到该KLT特征的精确像素坐标。

硬件支持模块，为上述硬件提供相应支持。

如图2，本发明中的IMU惯性数据采集模块具体包括3D陀螺、3D加速度/磁强测量模块、A/D模数转换模块、DSP数据融合模块，存储模块和通讯接口模块。与外部主机连接。

如图3，本发明中的IMU惯性数据的姿态处理主要包括如下步骤：

第一步：确定一个初始姿态矩阵，之后把姿态的矩阵表达转换为四元数表达；

第二步：实时监测IMU的角速度数据，累积角度并转换为四元数进行推演；

第三步：已知上一个时刻姿态的四元数表达，经过累加角度的四元数转换得到当前时刻的姿态四元数，并转化为姿态矩阵输出当前姿态。

如图5，本发明IMU惯性数据辅助的KLT特征跟踪过程如下：同一物体在相邻两幅图的投影，特征点P_t由于相机的大尺度运动而落在了收敛区域外从而导致KLT跟踪失败；在相机内参和IMU_CAM相对位姿已标定的情况下，可以利用陀螺仪角速度数据计算出此时的单应性矩阵，再求得仿射变换模型参数的近似预测值，从而获得KLT跟踪模型新的搜索起始点通常情况下默认的搜索起始点是上一帧最后迭代的结果P_t。蓝色部分是搜索收敛域，相机位姿大尺度变化时，可能导致搜索起始点P_t不在收敛域内，使用陀螺仪数据使搜索起始点修正为该点在收敛区域C_t+1内，从而得到更好的跟踪效果。

如图4，IMU辅助的视觉特征鲁棒跟踪方法流程主要包括如下步骤：

第一步：配置IMU_CAM装置中相机参数和IMU的参数，主要包括相机帧率和分辨率，IMU的数据输出频率和数据格式；使用标定板完成相机内参标定；初始化一个初始位姿，使用装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片中的KLT特征。

第二步：在相机两帧之间实时获取IMU数据，并进行数据处理，主要进行大野值滤除，零飘消除，以及基于一阶AR模型的卡尔曼滤波，处理结果参阅附图6，其中Z-Original为原始数据，Z-Zeroshift为野值和零飘滤除后的结果，Z-Kalman为AR建模及卡尔曼滤波后的结果。滤波后的IMU数据根据附图3所示原理逻辑计算出连续两帧图像间IMU的姿态改变。

第三步：依附图5所示IMU惯性数据辅助的KLT特征跟踪原理：根据IMU的姿态改变，已知相机和IMU之间固定的姿态关系，求得相机的姿态改变；利用相机和图像之间的投影关系，换算出图像KLT特征变化后的新坐标，以此新坐标作为下一帧图像该KLT特征的起始点进行搜索，最终精确获得KLT的新坐标。

由附图7，附图8，附图9，本发明与纯视觉跟踪结果对比可知，跟踪的鲁棒性大幅提高。

以上所述仅是本发明的优选实施方式，而非对其限制；应当指出，尽管参照上述各实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，其依然可以对上述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改和替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种IMU辅助的视觉特征鲁棒跟踪方法，其特征在于，包括如下步骤：

S1图像特征提取及相机标定：

S101制作已知尺寸的标定板，高和宽大小分别为11*9个2cm正方格；

S102不同姿态下静止拍摄至少13张照片；

S103提取图像的good feature/corner特征；

S104同时标定出相机各个姿态下的相机内参和相机外参；

S2IMU数据建模及滤波；

S201对IMU数据进行预处理：处理掉极大值和极小值，中间大幅度跃变野值；静止状态获取零飘值，所有有效数据减去零飘；

S202对预处理后的IMU数据进行滤波：利用一阶AR模型对数据进行建模，使用卡尔曼滤波器进行数据处理；

S3多传感器坐标系姿态标定；

S301标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；

S302在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；

S303利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标和相机坐标系之间的姿态关系；

S4IMU辅助视觉特征跟踪建模：

S401使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片中的KLT特征；

S402记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU姿态改变；

S403根据IMU的姿态改变，已知相机和IMU之间固定的姿态关系，求得相机的姿态改变；利用相机和图像之间的投影关系，换算出图像KLT特征变化后的新坐标，以此新坐标作为下一帧图像该KLT特征的起始点进行搜索，最终获得KLT的新坐标。

2.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法，其特征在于，所述步骤S1中，相机使用Ueyes工业相机，分辨率为640×480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素。

3.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法，其特征在于，所述步骤S2中，IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；数据包括加速度，平移速度，旋转角速度；原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。

4.根据权利要求1所述的一种IMU辅助的视觉特征鲁棒跟踪方法，其特征在于，所述步骤3中，标定板跟相机的标定板相同尺寸，同时保持竖直放置于一个固定位置；在每一个静态位置，使用该装置中的相机拍摄一张照片，同时使用该装置中的IMU获取此姿态下的十组加速度数据并进行IMU数据滤波；利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系。

5.一种IMU辅助的视觉特征鲁棒跟踪装置，其特征在于，包括：

IMU惯性数据采集模块，由一系列惯性数据测量单元组成，能够实时感应IMU的旋转角度信息，加速度信息以及平移速度信息；

CAM图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行KLT特征提取；

数据通信融合模块，各个传感器和主控模块的通信，其借款包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后进行时间戳对齐，包括时间戳插值和平滑；

CAM/IMU姿态标定模块，使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系；

KLT特征追踪模块，从当前获取的图像中提取KLT特征；计算当前帧到下一帧图像之间IMU的旋转累积和平移累积，把这种旋转平移关系转换到相机坐标系下，再映射到图像坐标系中获取KLT特征的预测坐标，把此预测坐标作为KLT特征的初始搜索值进行全局搜索，获取到该KLT特征的精确像素坐标。