CN110849351A - 一种利用深度相机和双目相机构建栅格地图的方法 - Google Patents

Abstract

本发明公开了一种利用深度相机和双目相机构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用多模态传感器，算法鲁棒性强精度高。

Description

一种利用深度相机和双目相机构建栅格地图的方法

技术领域

本发明属于图像处理和计算机视觉领域。涉及一种利用深度相机和双目相机构建栅格地图的方法。

背景技术

近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且不适合在规模较小的环境使用。

发明内容

为解决上述问题本发明提出使用深度相机和双目相机构建栅格地图的方法，深度相机测距范围有限但是精度高可以弥补双目相机在近处的测量误差，双目相机测距范围大可以获取远处的信息。两者结合克服无纹理区域、光照影响等问题。但是数据融合依然影响算法的执行效率，本发明提出的权值状态更新方法融合数据可以提升算法效率。本发明提出一种高效的利用深度相机和双目相机构建栅格地图的方法。具体技术方案的步骤如下：

1)传感器配准

在两传感器测距范围内选取8个以上的位置，使用标定物在公共视野内拍摄8个以上图像。令深度相机深度图转换的点云为

对应的双目相机的点云为

迭代求解位姿T，T是满足

和中最多对点

的位姿关系，即

在不同深度位置传感器位姿会有所不同所以在标定后得到的是传感器位姿序列，并且会记录计算位姿时点云的包围框，用于指导点云分区域配准。

2)更新测量值权重

本发明的融合策略是根据不同场景，不同范围和不同传感器精度赋予测量值权值w。由于传感器视角和场景原因会导致某一传感器在某些区域不会产生测量数据，此时将完全信赖产生测量数据的传感器。另外深度传感器普遍不适用于室外测距，在算法中存在场景判别机制，当在室外时会降低权值；

3)分区域配准

在对点云

和

配准时，会判断三维点存在于位姿序列的哪一个包围框中，并采用对应的位姿进行配准T_j。如果重叠则使用重叠位姿的均值

如果不在任何包围框中，则判断三维点到各包围框中心的距离如果大于阈值则剔除

否则使用位姿序列平均位姿进行配准，配准后的点云为P_c。

4)筛选视线

构建栅格地图时要对点云P_c进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

5)更新栅格状态

在遍历投影线的过程中会以权值更新投影线经过的栅格的状态。在更新栅格状态时，以贝叶斯推断方式融合更新。具体指的是在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得出本次测量后的栅格状态。

算法中ε和h为设定的阈值。

进一步地，上述步骤2)更新测量值权重，具体步骤如下：

设深度传感器精度曲线为f_d，双目相机的精度曲线为f_s，在两者的公共测距范围内对精度做归一化处理作为权值w_d，w_s；在深度相机和双目相机各自独有测距范围内以精度作为其权值；将双目相机采集的场景图像作为场景判别的输入，场景判断是否发生变化，如果权值表示为室内而场景为室外则认为发生变化，反之则不发生变化；用室外系数因子α或室内系数因子β调节深度传感器测量值权值，并与双目相机权值重新归一化；实际情况中如果在公共测距范围内一方没有测量值，则以另一方的精度作为权值；所述α和β为设定的值。

本发明的有益效果是：

本发明设计了一种利用多传感器构建栅格地图的方法。利用各传感器的特性，利用图像融合技术结合各传感优势相互弥补缺陷。具有以下特点：

1、程序简单，易于实现；

2、算法效率高，实时性强；

3、栅格地图的精度更高。

附图说明

图1是系统架构。

图2是传感器配准的算法流程。

图3是多传感器构建栅格地图的算法流程。

图4为双目相机左、右场景图。

图5为双目相机深度图。

图6为仿真深度相机深度图。

图7为栅格地图。

具体实施方式

本发明提出了一种利用深度相机和双目相机构建栅格地图的方法，结合附图及实施例详细说明如下：

总体流程如图1，首先从传感器中获得场景深度图如图5和6，然后在GPU上执行算法融合深度测量结果并构建栅格地图，最后进入栅格地图可视化程序。本发明所述的方法包括下列步骤：

1)传感器配准

传感器配准流程如图2。在两传感器的公共测距范围选取8个以上位置使用标定物在公共视野内拍摄8个以上图像。如图2传感器获得是深度图需要使用相机内参矩阵得到三维点云。令深度相机深度图转换的点云为

对应的双目相机的点云为

迭代求解位姿T，T是满足

和

中最多对点

的位姿关系，即

在全部标定后得到的是传感器位姿序列T₁，T₂，…，T_n，并且会记录计算位姿时点云的包围框B₁，B₂，…，B_n，用于指导点云分区域配准。

2)更新测量值权重

设深度传感器精度曲线为f_d，双目相机的精度曲线为f_s，在两者的公共测距范围内对精度做归一化处理作为权值w_d，w_s。在深度相机和双目相机各自独有测距范围内以精度作为其权值。更新测量值权重如图3上部，将双目相机采集的场景图像，如图4作为场景判别的输入。当场景判断是否发生变化，如果权值表为室内而场景为室外则认为发生变化，反之亦然。此时会用室外系数因子α或室内系数因子β调节深度传感器测量值权值，并与双目相机权值重新归一化。实际情况中如果在公共测距范围内一方没有测量值，则以另一方的精度作为权值。

图3下部是传感器融合构建栅格地图的算法流程包含的步骤有3)4)5)。

3)分区域配准

如图3获得传感器深度图并转换为点云后进入配准环节。在对点云

和

配准时，如果三维点q存在于包围框B_j中会使用T_j进行配准；如果不在任何包围框中，则判断三维点q到每个框中心的距离d_j，如果距离大于τ则剔除，否则使用序列位姿平均位姿

进行配准；如果重叠则使用重叠位姿的均值进行配准

配准后的点云为P_c。

4)筛选视线

如图3首先对配准后的点云P_c进行视线筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

5)更新栅格状态

在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得出本次测量后的栅格状态。栅格已有的状态x_t，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为x_t+1＝-w_q+x_t。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为x_t+1＝w_q+x_t，示意图7表示栅格地图的预期可视化结果，其中将不同的栅格用黑线分隔。

算法中ε、α、β、τ和h为设定的值。

Claims (2)

1.一种利用深度相机和双目相机构建栅格地图的方法，其特征在于，包括以下步骤：

1)传感器配准

在两传感器测距范围内选取8个以上位置，使用标定物在公共视野内拍摄8个以上图像；令深度相机深度图转换的点云为

对应的双目立体相机的点云为

迭代求解位姿T，T是满足

和

中最多对点

的位姿关系，即

在不同深度位置传感器位姿会有所不同所以在标定后得到的是传感器位姿序列，并且会记录计算位姿时点云的包围框；

2)更新测量值权重

根据不同场景，不同范围和不同传感器精度赋予测量值权值w；由于传感器视角和场景原因会导致某一传感器在某些区域不会产生测量数据，此时将完全信赖产生测量数据的传感器；

3)分区域配准

在对点云

和

配准时，如果三维点q存在于包围框B_j中，使用T_j进行配准；如果不在任何包围框中，则判断三维点q到每个框中心的距离d_j，如果距离大于τ则剔除，否则使用序列位姿平均位姿

进行配准；如果重叠则使用重叠位姿的均值进行配准

配准后的点云为P_c；

4)筛选视线

构建栅格地图时对点云P_c进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

5)更新栅格状态

栅格已有的状态x_t，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为x_t+1＝-w_q+x_t；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为x_t+1＝w_q+x_t；

步骤1)-步骤5)中ε、τ和h为设定的阈值。

2.根据权利要求1所述的利用深度相机和双目相机构建栅格地图的方法，其特征在于，步骤2)更新测量值权重，具体步骤如下：

设深度传感器精度曲线为f_d，双目相机的精度曲线为f_s，在两者的公共测距范围内对精度做归一化处理作为权值w_d，w_s；在深度相机和双目相机各自独有测距范围内以精度作为其权值；将双目相机采集的场景图像作为场景判别的输入，场景判断是否发生变化，如果权值表示为室内而场景为室外则认为发生变化，反之则不发生变化；用室外系数因子α或室内系数因子β调节深度传感器测量值权值，并与双目相机权值重新归一化；实际情况中如果在公共测距范围内一方没有测量值，则以另一方的精度作为权值；所述α和β为设定的值。

Images