CN107504969A - 基于视觉和惯性组合的四旋翼室内导航方法 - Google Patents

Abstract

本发明公开了一种基于视觉和惯性组合的四旋翼室内导航方法，该方法在室内无外界导航信息的下，依靠安装在四旋翼电机底座下的四个相机和惯性元件组合提供导航信息；本发明采用的技术方案是：基于视觉和惯性组合的四旋翼室内导航方法，包括如下步骤：首先，提取并匹配四旋翼电机底座下的四个相机同步采集四个方位的图像的特征点，获取特征点匹配组，预积分相邻图像帧间四旋翼的惯性信息；其次，并行利用优化方法将四个方向单目视觉与惯性预积分信息紧耦合，获得四组四旋翼的导航信息；最后，融合四组导航信息获取高精度、强鲁棒的室内导航信息。

Description

基于视觉和惯性组合的四旋翼室内导航方法

技术领域

本发明涉及一种四旋翼室内导航方法，特别是在室内没有任何外部导航信息的情况下基于自身携带的相机与惯性元件组合的室内导航方法。

技术背景

四旋翼是一种结构简单、机动性强、起飞条件要求低、能够悬停的微小型无人机，能够方便出入各种环境复杂的场景执行搜救、侦查、偷袭等高难度任务。高精度、强稳定的导航方法是保证四旋翼完成任务的前提保障，而在城市建筑物密集、深林植被密集、深山以及室内GPS等外界导航信息缺失情况下，四旋翼将会失去导航能力，就像人被蒙上了眼睛。相机能够采集到丰富的环境信息，通过搭载相机能够在外界导航信息缺失下为四旋翼提供导航信息。但是采用单目相机进行导航时，提供的导航位置信息缺乏尺度信息，而惯性能够弥补单目导航的尺度问题。单目相机和惯性元件不仅尺寸小、重量轻，而且他俩组合导航能够提供精度高于纯视觉的导航信息。室内和走廊存在大量的环境信息不丰富的墙面，采用四个方向的同时采集环境信息对四旋翼的三维位置和姿态信息进行计算，能够利用更多、更丰富的室内环境信息为四旋翼提供导航，能够获取精度更高的四旋翼室内导航信息。

发明内容

本发明所要解决的技术问题是，提供一种基于视觉和惯性组合的四旋翼室内导航方法，实现在室内无GPS信号环境下，依靠自身携带的相机和惯性元件获取四旋翼的姿态和位置信息。

本发明采用的技术方案是：基于视觉和惯性组合的四旋翼室内导航方法，包括如下步骤：首先，提取并匹配四旋翼电机底座下的四个相机同步采集四个方位的图像特征点，获取特征点匹配组，预积分相邻图像帧间四旋翼的惯性信息；其次，并行利用优化的方法将四个方向单目视觉与惯性预积分信息紧耦合，获得四组四旋翼的导航信息；最后，融合四组导航信息获取高精度、强鲁棒的室内导航信息。

所述的获取特征点匹配组是：采用四旋翼电机底座下安装的四个普通微型相机同步获取实时图像信息，然后采用机载嵌入式处理器对四个方向上相机采集图像并行运行特征像素点的提取与匹配算法。通过对时间连续的相邻图像帧中特征点的提取与匹配，获取四个方向上对应的图像特征点匹配组。

所述的并行利用优化方法将四个方向单目视觉与惯性预积分信息紧耦合是：采用优化相关的软件库的对视觉与惯性紧耦合系统的状态进行求解。其中系统状态求解，通过求解视觉和惯性预积分误差模型的如下非线性最小二乘问题获取。

其中∑_I和∑_C分别为惯性测量单元和相机的噪声协方差矩阵，系统在j时刻的惯性误差模型和视觉误差模型分别为：

其中为实现j时刻的状态向量，R为世界坐标系下的四旋翼姿态，P为世界坐标系下的四旋翼三维位置向量，V为世界坐标系下的四旋翼无人机三维速度向量，为j时刻与j-1时刻间惯性信息，为j时刻相机观测到的特征点信息，为惯性元件六维加速度与角速度偏差向量。

所述预积分相邻图像帧间四旋翼的惯性信息是：采用预积分将相邻两帧图像间的多个连续惯性约束积分成一个整体惯性约束，使得相机信息和惯性信息更新频率同步，相邻图像帧间惯性预积分误差模型和视觉误差模型为：

其中，l为相邻图像匹配组中的特征点坐标，为相机坐标系到惯性元件坐标系转换的旋转平移参数，为相机采用间隔，为对应下角标关于上角标的雅可比矩阵，上角标g为角速度偏差，a为加速度偏差。

最后对四组导航信息进行融合，以四方向的相机图中特征点匹配数量为权值，融合四个方向的导航信息，权重计算如下：其中为第i个方向的图像特征点匹配数量，为第i 个方向导航信息的权值。融合后的导航信息为，为第i个方向的三维欧拉角、三维位置、三维速度组成的导航信息向量。

本发明可以带来如下技术效果：

本发明采用提取并匹配四旋翼电机底部的四个相机同步采集四个方向的图像信息的方法，能够利用更丰富的环境信息，提高了室内导航信息的精确性和鲁棒性。在此基础上采用优化方法对视觉信息和惯性预积分信息进行紧密耦合，获取了高精度的导航参数估计。最后，融合了四组导航信息近一步提高了系统导航精度。

附图说明

图1是本发明基于视觉和惯性组合的四旋翼室内导航流程图；

图2是本发明采用的四旋翼整体结构图；

1：机载微型相机 2：嵌入式处理器

3：惯性元件 4：四旋翼本体

具体实施方式

下面结合实施例和附图对本发明的基于视觉和惯性组合的四旋翼室内导航方法做出详细说明。

针对在室内无外界导航信息的下，依靠四旋翼安装的相机和惯性元件组合提供导航信息；本发明设计了一种基于视觉和惯性组合的四旋翼室内导航方法，包括如下步骤：首先，提取并匹配四旋翼电机底座下的四个相机同步采集四个方位的图像特征点，获取特征点匹配组，预积分相邻图像帧间四旋翼的惯性信息；其次，并行利用优化方法将四个方向单目视觉与惯性预积分信息紧耦合，获得四组四旋翼的导航信息；最后，融合四组导航信息获取高精度、强鲁棒的室内导航信息。

如图1所示，本发明基于视觉和惯性组合的无人机室内导航方法，包括以下步骤。

（1）提取并匹配四旋翼电机底座下的四个相机同步采集四个方位的图像获取特征点匹配组，预积分相邻图像帧间四旋翼的惯性信息：

如图2所示，在四旋翼四个电机底座下安装四个微型机载相机，相机的镜头方向与所在机臂平行且向外。通过机载嵌入式处理器并行提取图像中的特征点并匹配相邻帧的特征点。该方法能够获取更多的环境信息，在面对墙面和走廊时四面采集的图像能够获取更加丰富特征信息，克服了一个方向图像中特征信息缺失引起的导航精度极度下降问题。

采用ORB（Oriented FAST and Rotated BRIEF）提取图像中的特征点，并采用RANSAC（随机采样一致性，Random sample consensus）算法移除匹配中的异常点，得到匹配准确的特征点匹配组。

（2）并行利用优化方法将四个方向单目视觉与惯性预积分信息紧耦合，获得四组四旋翼的导航信息。

视觉与惯性紧组合系统为非线性系统，其系统状态的解为视觉和惯性误差模型构成的非线性如下最小二乘问题的解。

通常采用高斯牛顿法求解系统状态，高斯牛顿通过多次线性化来近似非线性系统，能够获取准确率更高的系统状态估计。本发明采用GTSAM（Georgia Tech Smoothingand Mapping library）优化库中的增量平滑的方法更新系统状态，增量平滑充分利用系统历史状态能够更加精准的获取导航信息，并能够克服视觉和惯性异常情况。其中j时刻的视觉和惯性误差模型为：

其中为实现j时刻的状态向量，R为世界坐标系下的四旋翼姿态，P为世界坐标系下的四旋翼三维位置向量，V为世界坐标系下的四旋翼无人机三维速度向量，为j时刻与j-1时刻间惯性信息，为j时刻相机观测到的特征点信息，为惯性元件六维加速度与角速度偏差向量。

所述预积分相邻图像帧间四旋翼的惯性信息是：采用预积分将相邻两帧图像间的多个连续惯性约束积分成一个整体惯性约束，使得相机信息和惯性信息更新频率同步，相邻图像帧间惯性预积分误差模型为：

其中，l为相邻图像匹配组中的特征点坐标，为相机坐标系到惯性元件坐标系转换的旋转平移参数，通过测量标定获取，为相机采用间隔，为对应下角标关于上角标的雅可比矩阵，上角标g为角速度偏差，a为加速度偏差。

（3）最后对四组导航信息进行融合，以四方向的相机图中特征点匹配数量为权值，融合四个方向的导航信息，权重计算如下：其中为第i个方向的图像特征点匹配数量，为第i 个方向导航信息的权值。融合后的导航信息为，为第i个方向的三维欧拉角、三维位置、三维速度组成的导航信息向量。

Claims (4)

1.一种基于视觉和惯性组合的四旋翼室内导航方法，其特征在于，所述方法包括如下步骤：首先，提取并匹配四旋翼电机底座下的四个相机同步采集四个方位的图像的特征点，获取特征点匹配组，预积分相邻图像帧间四旋翼的惯性信息；其次，并行利用优化方法将四个方向单目视觉与惯性预积分信息紧耦合，获得四组四旋翼的导航信息；最后，融合四组导航信息获取高精度、强鲁棒的室内导航信息。

2.根据权利要求书1所述基于视觉和惯性组合的四旋翼室内导航方法，其特征在于所述的获取特征点匹配组，采用提取并匹配四旋翼电机底部的四个相机同步采集四个方向的图像特征点信息的方法，能够利用更丰富的环境信息，使得导航信息精度更高、鲁棒性更强。

3.根据权利要求书1所述基于视觉和惯性组合的无人机室内导航方法，其特征在于所述的四个方向单目视觉与惯性预积分信息紧耦合，采用优化的方式对四个方向的视觉与惯性进行并行紧耦合。

4.根据权利要求书1所述基于视觉和惯性组合的无人机室内导航方法，其特征在于所述的融合四组导航信息，采用的方法为：以四方向的相机图中特征点匹配数量为权值，融合四个方向的导航信息，权重计算如下：其中为第i个方向的图像特征点匹配数量， 为第i 个方向导航信息的权值；融合后的导航信息为，为第i个方向的三维欧拉角、三维位置、三维速度组成的导航信息向量。