CN109186586A - 一种面向动态泊车环境的同时定位及混合地图构建方法 - Google Patents

Abstract

本发明公开了一种面向动态泊车环境的同时定位及混合地图构建方法，通过引入环境的语义信息进行数据关联，将用于定位的特征点地图中的动态目标进行剔除，同时在定位时引入停车位等静态语义信息，从而提高在动态环境下的定位精度；使用全景立体视觉平台作为系统唯一环境感知来源，结合全景相机及视觉的优点，不经具有环境准确的尺度信息，同时由于视野广，特征点在地图中停留时间长，因此可以提高定位精度；可以将停车位等语义信息与环境中的拓扑路网结构进行融合，可以有效提高路径规划的效率，从而进一步提高自主泊车系统的实时性。

Description

一种面向动态泊车环境的同时定位及混合地图构建方法

技术领域

本发明属于无人驾驶方面的自主泊车领域，涉及地面无人移动平台在动态变化的停车场中通过同时定位与地图构建方法完成准确定位及混合地图构建。

背景技术

近年来，随着社会的发展和科学技术的进步，全球汽车保有量及汽车产量不断攀升。汽车的普及引发了交通拥堵以及停车困难等问题。此外，由于停车场的空间一般都比较拥挤狭窄，由于人为操作失误导致在泊车过程中发生剐蹭乃至造成伤亡事故的案例也层出不穷。

目前智能泊车系统主要分为被动式泊车辅助、半自主式泊车以及全自主泊车。被动式泊车辅助系统通过倒车雷达、摄像头、超声波等低成本传感器为驾驶员提供泊车环境影像等信息。半自主式泊车在此基础上添加了局部路径规划功能，驾驶员只需要负责油门及刹车控制。而全自主泊车需要车辆主动寻找可用车位并完成泊车操作。

本发明针对全自主泊车系统进行展开。由于泊车环境存在动态变化的特点，现有的环境感知系统并不能满足全自主泊车系统的需求，构建的停车场地图往往由于环境变化无法重复使用，因此车辆必须在每次泊车操作时重新构建环境地图，泊车效率极低。因此，本发明提出使用全景立体视觉感知系统对停车场环境进行感知，同时准确高效的实现车辆定位与混合地图构建，具有重要的研究意义和应用前景。

发明内容

有鉴于此，本发明针对停车场环境动态变化的特点以及自主泊车对环境感知方面的需求，通过车载全景立体视觉全面的对停车场环境进行感知并构建混合地图，同时引入环境语义信息将地图中动态的特征点进行处理，实现车辆在动态环境中的准确定位。此外，本发明构建的混合地图具有拓扑结构及丰富的语义信息，可用于无人车定位、导航及路径规划等操作。

本发明的一种面向动态泊车环境的同时定位与混合地图构建方法，使用全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧双目全景图像，采用如下步骤进行处理：

步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点赋予语义信息，并将属于动态语义目标的特征点剔除；最后，使用数据关联后的特征地图进行匹配获得车辆位姿；

步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图；

步骤S3：针对当前帧的双目全景图像，提取停车场环境的语义信息，并结合所述车辆位姿构建语义地图；将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建用于车辆路径规划及导航的拓扑-语义混合地图。

较佳的，在步骤S3中构建拓扑-语义混合地图时，将语义地图中的停车位信息作为拓扑地图中的节点，与拓扑地图中的路网结构进行连通，从而构建拓扑-语义混合地图。

较佳的，步骤S1中，基于视觉SLAM方法进行相机位姿估计及环境特征点地图构建的具体方法为：对图像进行ORB特征提取、特征匹配、相邻帧间匹配、后端优化以及回环检测。

本发明具有如下有益效果：

1、本发明针对自主泊车中环境动态变化影响无人平台定位精度的问题，通过引入环境的语义信息进行数据关联，将用于定位的特征点地图中的动态目标进行剔除，同时在定位时引入停车位等静态语义信息，从而提高在动态环境下的定位精度。

2、本发明中使用全景立体视觉平台作为系统唯一环境感知来源，结合全景相机及视觉的优点，不经具有环境准确的尺度信息，同时由于视野广，特征点在地图中停留时间长，因此可以提高定位精度。

3、本发明提出的语义-拓扑混合地图构建方法，可以将停车位等语义信息与环境中的拓扑路网结构进行融合，可以有效提高路径规划的效率，从而进一步提高自主泊车系统的实时性。

附图说明

图1为本发明系统整体框架示意图；

图2为本发明实施例1中视觉SLAM算法流程图；

图3为本发明实施例2中的输入图像及视差图；

图4为本发明实施例2中的三维稠密点云地图；

图5为本发明实施例2中的三维栅格地图(八叉树地图)；

图6为本发明实施例3中的语义分割结果；

图7为本发明实施例3中的拓扑-语义混合地图；

图8为本发明实施例3中的混合地图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，本发明提出一种面向动态泊车环境的同时定位与混合地图构建方法，使用基于全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧实时双目全景图像，采用如下步骤进行处理：

步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点进行数据关联，并将属于动态语义目标的特征点剔除，从而在重定位时定位精度不受动态物体干扰；最后，使用数据关联后的特征地图进行匹配获得车辆实时位姿；具体内容如下文实施例1所示。

步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图(例如八叉树地图等)；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图，具体内容如下文实施例2所示。

步骤S3：针对当前帧的双目全景图像，通过语义分割、目标检测等深度学习算法提取停车场环境的语义信息，并构建语义地图，本帧图像获得的语义信息将被用于下一阵图像获取的特征点地图中数据融合及动态目标的剔除；最后将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建可以用于车辆路径规划及导航的拓扑-语义混合地图，具体内容如下文实施例3所示。

下面结合附图分别对以上三个实时例进行详细说明。

实施例1、面向动态泊车环境的全景立体视觉SLAM方法。

图2为目前主流SLAM方法得系统架构，分为数据图像、视觉里程计、后端优化、地图构建以及回环检测模块。在数据输入方面，目前主要使用单目相机、双目相机、RGB-D相机，其中双目相机由于具有准确得尺度信息而在无人驾驶技术中广泛应用；在视觉里程计模块，根据实现方法得不同可以分为两类，一类是基于图像特征提取的特征点法，另一类是基于图像灰度变化的直接法。特征点法会对图像中灰度变化较为明显的角点或斑点进行提取并计算出其对应的描述子，然后使用对极几何或者射影几何对相机位姿和特征点的三维坐标进行计算。该类方法较为著名的工作包括牛津大学的PTAM、西班牙学者Rául等提出的ORB-SLAM等。直接法是一种根据图像中像素灰度的变化来对相机进行定位的方法。基于灰度不变假设，该类算法构造了一个光度误差方程，然后直接使用非线性优化的方法对其进行求解，从而获取相机的六自由度位姿。经典的直接法SLAM系统有：基于稠密直接法的DTAM、基于半稠密直接法的LSD-SLAM以及基于稀疏直接法的DSO等；在后端优化模块分为卡尔曼、扩展卡尔曼、粒子滤波等滤波方法以及光束平差法、图优化等优化方法；在回环检测方面，目前的主流方法是采用BagofWord(BoW)词袋模型进行场景重识别，然后通过光束平差法进行全局优化；在地图构建方面，目前目前的SLAM方法构建的地图有稀疏点云地图以及稠密点云地图两种。

本发明通过使用omni全景立体相机，提出一种全景立体视觉SLAM方法，本发明中的SLAM方法与图1中的系统架构相似，不同的是使用全景立体相机作为环境感知的传感器，而且在建立稀疏点云地图时，引入环境的语义信息进行数据关联，将属于静态语义信息的特征点赋予相关语义信息，如停车位、墙壁等，将属于动态语义信息的特征点进行剔除，如车辆，行人等，从而在特征点地图中消除动态障碍物对车辆重定位带来的影响。具体来讲有以下三个步骤：

步骤S11：在地面无人平台上搭建全景立体视觉系统，可以全方位的对停车场环境进行感知，相比于单独使用全景相机和单目相机或者双目相机，本发明中使用的全景立体相机不仅具有视角广，精度高的优点，而且更容易获得图像的深度信息，从而完成场景的三维稠密重建。

步骤S12：使用输入的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图构建。具体方法为对图像进行ORB特征提取、特征匹配、相邻帧间匹配(位姿估计)、后端优化、回环检测(全局优化)。

步骤S13：利用实施例3中利用上一帧图像得到的图像语义信息进行数据关联，通过将特征点地图中属于动态语义目标的点进行剔除，从而在重定位时定位精度不受动态物体干扰。

实施例2、一种停车场环境的拓扑地图构建方法。

图3为使用omni全景立体相机获得的全景图像及其视差图，由于双目相机可以直接根据双目稠密匹配方法获得环境中三维物体的实际坐标，所以很容易构建图4中所示的三维稠密点云地图，三维稠密点云地图是将图像中的每一个像素点对应的三维空间中的位置均进行计算得到。但是，由于原始的三维占据栅格占用空间大且存储效率低，很多学者将一些高效的数据结构在构图过程中加以应用，较为有名的工作包括使用八叉树结构的Octomap。图5中所示的地图即为八叉树地图，栅格地图是通过对三维稠密点云地图进行栅格化得到的。

进一步的，获得栅格地图之后，即可获得环境中的自由空间进行划分，本发明中通过体素扩展和融合算法将自由空间进行聚类，得到停车场环境的多个凸集，在此基础上进一步将凸集进行拓扑路网提取，最终获得拓扑地图的边。拓扑地图的节点是根据实施例3中的语义分割部分提取的停车场环境中的停车位进行选取。图6所示为最终构建的环境拓扑-语义地图，其中黑色的框为停车位节点，白色部分为路网拓扑结构。

具体的讲分为以下三个步骤：

步骤S21：通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图。

步骤S22：通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图(例如八叉树地图等)。

步骤S23：通过体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图。

实施例3、一种停车场环境的语义信息提取及混合地图构建方法。

图7中为通过语义分割、目标检测等深度学习算法提取的停车场的语义信息，可以采用不同颜色表示建筑物、道路、车辆、停车位或者车道线。利用此语义信息结合之前获得的车辆位姿、环境视差图等即可构建环境的语义地图。语义信息同时将被用于特征点地图中数据融合及动态目标的剔除。最后将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建可以用于车辆路径规划及导航的拓扑-语义混合地图。

目前使用深度学习架构提取语义信息的方法主要有目标识别及语义分割两种，目标识别是指将图像中特殊目标与其物体进行区分，语义分割是指对图像中的每一个像素都进行分类。目前主流的深度学习框架有mask-RCNN、SegNet等。实际环境中的物体通常分为三种：静态物体，例如停车位、墙、天花板等；动态物体，例如行人、行驶中的车辆等；半动态物体，例如停泊的车辆、可以开关的门等。本发明面向自主泊车应用场景，主要涉及的语义信息有：停车位、车道线等静态语义以及车辆等半动态语义，通过在特征点地图中关联静态语义并剔除动态语义减少半动态语义对于车辆定位造成的影响。语义地图中主要体现停车位等静态语义信息。

地图融合模块通过将带有度量信息的3D栅格地图、拓扑地图以及具有停车位信息的语义地图进行融合生成混合地图。将语义地图中的停车位信息作为拓扑地图中的节点，与拓扑地图中的路网结构进行连通，从而构建拓扑-语义混合地图，该地图不仅拥有丰富的语义信息，同时可以更加高效快速的实现车位查找、路径规划等后续操作。

图8所示为本发明构建的混合地图示意图，其中包含以下信息：

1)稀疏特征点地图，特征点地图通过实施例1中所示的方法进行数据关联后可以在动态的泊车环境中实现准确定位。

2)三维栅格地图，三维栅格地图中就有环境的障碍物及其位置信息，可以用于车辆导航时进行避障。

3)拓扑地图，拓扑地图的优点在于可以高效的进行路径规划，车辆在进行自主泊车时，在拓扑地图中完成全局路径规划。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种面向动态泊车环境的同时定位与混合地图构建方法，其特征在于，使用全景立体视觉系统获得环境的实时双目全景图像，针对获得的每一帧双目全景图像，采用如下步骤进行处理：

步骤S1：针对当前帧的双目全景图像，基于视觉SLAM方法进行相机位姿估计及环境特征点地图的构建；在环境特征点地图中，基于步骤S3利用上一帧双目全景图像获得的图像语义信息对特征点赋予语义信息，并将属于动态语义目标的特征点剔除；最后，使用数据关联后的特征地图进行匹配获得车辆位姿；

步骤S2：利用当前帧的双目全景图像通过双目稠密匹配算法完成停车场环境的三维稠密重建，构建三维稠密点云地图；再通过栅格化方法对三维稠密点图地图进行处理，获得停车场环境的三维栅格地图；最后使用体素扩展和融合算法将栅格地图中的自由空间聚类成多个凸集，以此提取环境拓扑路网结构，构建环境的拓扑地图；

步骤S3：针对当前帧的双目全景图像，提取停车场环境的语义信息，并结合所述车辆位姿构建语义地图；将三维栅格地图、拓扑地图以及语义地图进行地图融合，构建用于车辆路径规划及导航的拓扑-语义混合地图。

2.如权利要求1所述的一种面向动态泊车环境的同时定位与混合地图构建方法，其特征在于，在步骤S3中构建拓扑-语义混合地图时，将语义地图中的停车位信息作为拓扑地图中的节点，与拓扑地图中的路网结构进行连通，从而构建拓扑-语义混合地图。

3.如权利要求1或2所述的一种面向动态泊车环境的同时定位与混合地图构建方法，其特征在于，步骤S1中，基于视觉SLAM方法进行相机位姿估计及环境特征点地图构建的具体方法为：对图像进行ORB特征提取、特征匹配、相邻帧间匹配、后端优化以及回环检测。