CN110849352B - 一种利用红外、深度和双目相机融合构建栅格地图的方法 - Google Patents

Abstract

本发明公开了一种利用红外、深度和双目相机融合构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用红外相机，深度相机和双目相机融合构建地图，可以全天候使用，而且算法鲁棒性强精度高。

Description

一种利用红外、深度和双目相机融合构建栅格地图的方法

技术领域

本发明属于图像处理和计算机视觉领域。利用红外，深度和双目相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。

背景技术

近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建栅格地图不能完整准确的反映出场景的结构。因此传感器融合成为一种趋势，现阶段存在的融合方案有双目相机和雷达，使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确数据修正双目相机的粗略数据，最终构建可较好反映场景深度图，然后可利用生成的深度图构建栅格地图。但是这样的方案设备成本高，算法中数据融合消耗资源多、实时性较差，而且在夜晚中由于双目相机无法使用该方案会失效。

发明内容

为解决现有技术中的问题，本发明提出使用利用红外、深度和双目相机融合构建栅格地图的方法，红外相机可以感受物体发散的红外线，在夜晚或大雾时依然可以使用，深度相机测距范围有限但是精度高可以弥补双目相机在近处的测量误差，双目相机测距范围大获取可以获取远处的信息。三者结合可以克服无纹理区域、光照影响等问题。但是数据融合依然影响算法的执行效率，本发明提出的权值状态更新方法融合数据可以提升算法效率。

具体技术方案的步骤如下：

1)多传感器配准

多传感器配准旨在标定传感器位姿，在硬件层次减少软件的计算量提升系统执行效率。首先采用混合材料的标定板进行红外相机和双目相机器位姿标定。标定的方法采取张正友标定法，得到传感器位姿为T，传感器配准之后两种图像会实现理论上的像素级对准。之后对拍摄标定物后得到的点云P_i和P_s对齐矫正进一步修正位姿，要使点对

满足

且点对的数量达到最大，得到位姿为T₁。

其次标定深度相机和双目相机的位姿，在两传感器测距范围内选取8个以上位置，使用标定物在两个传感器的公共视野内拍摄8个以上图像。令深度相机获得点云为P_d，对应的双目立体相机获得的点云为P_s，使用计算T₁的方法得位姿T₂。

2)深度权值更新

三种传感器生成的深度图分别为D_i，D_d和D_s，精度分别为w_i，w_d和w_s。其中D_i在黑夜或亮度较低的情况下精度w_i较高，D_d在室内近处的精度w_d较高，D_s在白天或亮度高的室外情况下精度w_s较高。为了区分这些情况更好的应用传感器特性，在融合之前使用三种传感器的原始图像进行场景判别，根据场景情况适当调节深度图的精度。

3)筛选视线

由深度图D_i，D_d和D_s变换成点云并用位姿T₁和T₂配准得到点云P_f，对点云进行筛选。连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

4)更新栅格状态

在遍历投影线的过程中会更新投影线经过的栅格的状态。在更新栅格状态时，根据栅格已有状态以及测量值的权值以贝叶斯推断方式融合更新。具体指的是在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得出本次测量后的栅格状态。栅格已有的状态x_t，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为x_t+1＝-w_q+x_t；如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为x_t+1＝w_q+x_t。

所述步骤1)～4)中的ε和h为设定的阈值。

进一步地，所述步骤2)设三种传感器生成的深度图分别为D_i，D_d和D_s，精度为传感器的特性分别为w_i，w_d和w_s；使用三种传感器的原始图像进行场景判别；首先判断场景的亮度，如果场景的亮度低于I_min则用系数因子α_i，α_d，α_s分别乘以三种传感器精度；其次判断室内室外，如果场景为室内则用系数因子β_i，β_d，β_s分别乘以三种传感器精度；系数因子均为大于0且小于1的数；最后得到精度w_i′，w_d′和w_s′。

步骤1)-4)中ε和h为设定的值；ε为传感器之间的距离，可由位姿T₁分解得出；h可任意设置为大于0的实数，实验时设置为栅格的边长。

本发明的有益效果是：

本发明设计了一种利用红外，深度和双目相机融合构建栅格地图的方法。利用三种传感器的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。具有以下特点：

1、程序简单，易于实现；

2、算法效率高，实时性强；

3、可以全天候全场景使用，构建栅格地图更精细更准确。

附图说明

图1是系统架构。

图2是传感器配准的算法流程，前者为红外相机与双目相机配准，后者为深度相机和双目相机配准。

图3是传感器融合构建栅格地图的算法流程。

图4为双目可见光图像。

图5为双目相机深度图。

图6为红外相机深度图。

图7为仿真深度相机深度图。

具体实施方式

本发明提出了一种利用红外、深度和双目相机融合构建栅格地图方法，结合附图及实施例详细说明如下：

总体流程如图1，首先获得三种传感器的深度图，如图5、6和7，然后在GPU中更新深度值的权值，并且融合深度值构建栅格地图，最后在PC上显示栅格地图。本发明所述的方法包括下列步骤：

1)传感器配准

如图2前者，首先使用混合材料的标定板，红外相机和双目相相机采集足够的图像数据，然后采取张正友标定法得到传感器位姿为T。然后使用标定物进一步修正T，使用两种传感器拍摄标定物后获得深度图，然后室内相机内参矩阵得到点云P_i和P_s对齐矫位姿，要使点对

满足

且点对的数量达到最大，得到位姿为T₁。

其次标定深度相机和双目相机的位姿，如图2后者。在两传感器测距范围内选取8个以上位置，使用规则形状的标定物在两个传感器的公共视野内拍摄8个以上图像。令深度相机获得点云为P_d，对应的双目立体相机获得的点云为P_s，使用最大一致集算法计算传感器位姿，要使点对

满足

且点对的数量达到最大，得到位姿为T₂。

2)深度权值更新

设三种传感器生成的深度图分别为D_i，D_d和D_s，精度为传感器的特性分别为w_i，w_d和w_s。

如图3上部，使用双目场景图像，如图4进行场景判别；首先判断场景的亮度，如果场景的亮度低于I_min则用系数因子α_i，α_d，α_s分别乘以三种传感器精度；其次判断室内室外，如果场景为室外则用系数因子β_i，β_d，β_s分别乘以三种传感器精度；系数因子均为大于0且小于1的数；最后得到精度w_i′，w_d′和w_s′；

3)筛选视线

如图3下部由深度图D_i，D_d和D_s变换可得到点云，经过位姿T₁和T₂配准融合后得到点云P_f。然后再对对点云进行筛选，连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′。从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

4)更新栅格状态

如图3下部在算法最后使用测量值的权值更新栅格状态，测量值的权值即为精度。在更新栅格状态时，根据栅格已有状态以及测量值的权值以贝叶斯推断方式融合更新。栅格已有的状态x_t，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为x_t+1＝-w_q+x_t。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为x_t+1＝w_q+x_t，栅格地图预期可视化效果如图7。

Claims (2)

1.一种利用红外、深度和双目相机融合构建栅格地图的方法，其特征在于，包括以下步骤：

1)多传感器配准

首先采用混合材料的标定板进行红外相机和双目相机位姿标定；标定的方法采取张正友标定法，得到传感器位姿为T；之后对拍摄标定物后得到的点云P_i和P_s对齐矫正进一步修正位姿，要使点对

满足

且点对的数量达到最大，得到位姿为T₁；

其次标定深度相机和双目相机的位姿，在两传感器测距范围内选取8个以上位置，使用标定物在两个传感器的公共视野内拍摄8个以上图像；令深度相机获得点云为P_d，对应的双目相机获得的点云为P_s，使用计算T₁的方法得到位姿T₂；

2)深度权值更新

三种传感器生成的深度图分别为D_i，D_d和D_s，精度分别为w_i，w_d和w_s；在融合之前使用三种传感器的原始图像进行场景判别，根据场景情况调节深度图的精度；

使用双目场景图像进行场景判别；首先判断场景的亮度，如果场景的亮度低于I_min则用系数因子α_i,α_d,α_s分别乘以三种传感器精度；其次判断室内室外，如果场景为室外则用系数因子β_i,β_d,β_s分别乘以三种传感器精度；系数因子均为大于0且小于1的数；最后得到精度w_i′,w_d′和w_s′；

3)筛选视线

由深度图D_i，D_d和D_s变换成点云并用位姿T₁和T₂配准得到点云P_f，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

4)更新栅格状态

栅格已有的状态为x_t，如果栅格在O与Q之间说明此时栅格中没有障碍物，则根据更新的权值表更新栅格的状态为x_t+1＝-w_q+x_t；如果栅格在Q的位置说明此时栅格中存在障碍物，则更新栅格的状态为x_t+1＝w_q+x_t；

所述步骤1)～4)中的ε和h为设定的阈值。

2.根据权利要求1所述的一种利用红外、深度和双目相机融合构建栅格地图的方法，其特征在于，步骤1)-4)中ε和h为设定的值；ε为传感器之间的距离，由位姿T₁分解得出；h任意设置为大于0的实数，实验时设置为栅格的边长。

Images