CN105015419A - 基于立体视觉定位与建图的自动泊车系统及方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉定位与建图的自动泊车系统及方法，其中系统包括图像采集模块，SLAM(同步定位与建图)模块，路径规划模块；图像采集模块将事先标定过的双目摄像头采集回来的图像进行矫正，并获取视差图，从而得到车与周围物体之间的距离信息，并且通过前后两帧图像匹配实现场景流运动检测，获得图像中的动态点；SLAM模块将采集到的彩色图像以及获取的三维信息进行整合，定位车辆自身的位置建立地图；路径规划模块根据建立的地图，规划路径寻找停车位，在获得车辆自身位置以及目标位置后，先判断泊车位置的空间是否足够，若满足停泊条件后，规划一条最优的泊车轨迹来控制车辆实现自动泊车，本发明操作流程简单、易于实施、成本低、使用范围广。

Description

基于立体视觉定位与建图的自动泊车系统及方法

技术领域

本发明涉及一种基于立体视觉定位与建图的自动泊车系统及方法。

背景技术

随着我国经济水平和人们生活水平的提高，汽车拥有量也逐渐增多，停车难题日益受到人们的关注。车辆数目日益增多也使得泊车困难加大，对于经验不足的驾驶员而言，想要一次性泊车入库相对比较困难，操作不当甚至容易引起车身受损造成经济损失。

虽然很多中高端汽车上都配置有自动泊车系统，但是大多数的自动泊车系统都是基于雷达实现的。雷达主要用于探测车辆与周围障碍物间的距离，其成本较高，而且获取的数据有限，在实际采集中也有可能存在盲点。部分车辆还配有红外摄像头，用于采集车辆周围的图像信息，试图更全面地展示车辆周围环境。然而这也提升了制造成本。

即便有自动泊车系统帮助驾驶员正确将车倒入库中，寻找车位停车也是一个难题。停车场车位有限而车辆的数目却日益增多，造成了车位难求的局面。驾驶员开车进入停车场后还需要花时间在停车场内寻找车位。而目前已有的自动泊车系统虽然能帮驾驶人自动泊车入库，但是却不能自动寻找停车位，还需要驾驶员自己找好车位后将车开到指定位置进行泊车。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于立体视觉定位与建图的自动泊车系统及方法，通过摄像头采集车辆周围图像信息进行处理获取距离信息，替代了雷达从而降低了成本，并实现定位与建图，记录并保持停车场内的位置信息，从而实现自动巡航寻找车位功能。为了达到上述目 的本发明采用如下技术方案：

一种基于立体视觉定位与建图的自动泊车系统，包括：

图像采集模块:采集车辆周围环境的图像信息并进行处理，将得到的带有深度信息的图像和处理后得到的动态点输出给SLAM模块，而将实时处理得到的距离信息和实时图像输出给路径规划模块；

SLAM模块:根据图像采集模块输入的信息，将带有深度信息的图像进行处理，去除掉图像中的动态点得到静态点后，计算前后两帧的三维匹配点P1，P2，通过RANSAC计算出P1，P2之间的变换矩阵并将变换后的匹配点整合到同一坐标系下，开始建图，并将建好的地图与车辆自身的定位信息输出给路径规划模块；

路径规划模块:根据获得的地图与车身的定位信息，开始规划路径，借助图像采集模块实时传输的图像信息进行分析以寻找停车位，找到停车位后根据自身的定位与停车位所在的相应位置规划出一条停车路径，并借助图像采集模块得到的距离信息及时调整。

可选的，所述图像采集模块包括四个摄像头，其中两个摄像头拍摄车前的路面场景，另两个摄像头拍摄车后的路面场景。

可选的，所述摄像头为广角摄像头。

可选的，所述图像采集模块包括两组双目摄像头，其中一组双目摄像头拍摄车前的路面场景，另一组双目摄像头拍摄车后的路面场景。

一种基于立体视觉定位与建图的自动泊车方法，包括以下步骤：

步骤1、所述图像采集模块包括双目摄像头，基于立体视觉技术中的极线约束，对摄像头进行配置，使用棋盘格对双目摄像头进行标定，获取摄像头的内外参数，对双目摄像头采集到的图像，通过事先获得的内外参数进行矫正；

步骤2、对于前后时刻用双目摄像头拍摄的左右图片，基于双目匹配以及光流的方式，对4张图片中的同名点进行匹配，并且通过双向校验的方式，提取出鲁棒性强的场景流匹配点；

步骤3、得到了稀疏场景匹配点后，首先对左图进行超像素分割，地面分割，联通区域提取，最后通过追踪滤除，这样就能够得到运动物体的三维信息及相对运动趋势，从而获得动态点；

步骤4、SLAM模块将步骤3得到的动态点去除后，将图像中前后两帧匹配的静态点P1，P2做随机抽样一致性(RANSAC)算法，计算P1，P2之间的变换矩阵后，将变换后的P1，P2整合到同一坐标系下，基于该坐标系下得到的所有的静态点建图，得到停车场的地图信息；

步骤5、路径规划模块将根据SLAM模块建立的地图，规划在停车场中的行走路径；

步骤6、路径规划模块不断从图像采集模块获取障碍物的距离信息，以便其可以实时调整规划的路径；

步骤7、当图像采集模块识别到有空的停车位出现时，及时将停车位的位置信息反馈给路径规划模块；

步骤8、路径规划模块根据停车位所处的位置以及附近的障碍物情况，规划出一条最优化的泊车路径，同时根据双目摄像头实时采集的距离信息及时调整，使车辆安全入库。

与现有技术相比，本发明具有以下优点和有益效果：

1、本发明的双目摄像头相比于雷达成本节省很多，而且相比于雷达不仅能获得距离信息，而且能获取车辆周围场景的图像色彩信息，使得信息量更加丰富，便于处理且能够更直观形象地将数据可视化；

2、本发明操作流程简单、易于实施、成本低、适用范围广，高中低档车辆的需求皆能满足。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为本发明中系统的结构简图；

图2为本发明中方法的流程图；

图3为本发明中车辆摄像头布置示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例：

如图1～3所示，一种基于立体视觉定位与建图的自动泊车系统，包括图像采集模块，SLAM(同步定位与建图)模块，路径规划模块；图像采集模块采集车辆周围环境的图像信息并进行处理，将得到的带有深度信息的图像和处理后得到的动态点输出给SLAM(同步定位与建图)模块，而将实时处理得到的距离信息和实时图像输出给路径规划模块；SLAM(同步定位与建图)模块将带有深度的信息图像进行处理，去除掉图像中的动态点得到静态点后，计算前后两帧的三维匹配点P1，P2，通过RANSAC计算出P1，P2之间的变换矩阵并将变换后的匹配点整合到同一坐标系下，开始建图，并将建好的地图与车辆自身的定位信息输出给路径规划模块；路径规划模块根据获得的地图与车身的定位信息，开始规划路径，借助图像采集模块实时传输的图像信息进行分析以寻找停车位，找到停车位后根据自身的定位与停车位所在的相应位置规划出一条停车路径，并借助图像采集模块得到的距离信息及时调整。

本系统的应用场景为室内或室外的车库，因此在摄像头的配置上有一定的讲究。首先摄像头需要有合适的焦距，能够清晰地拍摄10～20米以外的场景；为了确保系统能够检测到自身两旁的障碍物，需要广角摄像头；摄像头需要良好的自适应调整曝光能力，以缓解光照对双目匹配的影响；最后，双目摄像头在架设上需要有合适的水平距离，并且同向平行，水平放置。如附图3所示，本系统需要四个摄像头，两个摄像头拍摄车前的路面场景，两个摄像头拍摄车后的路面场景，尽可能地获取更多车辆周围的信息。

为了更好的说明本发明具体实施方案，下面将结合图2以及具体的实施方式对上述技术方案进行详细的说明：

步骤1、所述图像采集模块包括双目摄像头。基于立体视觉技术中的极线约束，对摄像头进行配置，使用棋盘格对双目摄像头进行标定，获取摄像头的内外参数。对双目摄像头采集到的图像，通过事先获得的内外参数进行校正。

步骤2、对于前后时刻用双目摄像头拍摄的左右图片，基于双目匹配以及光流的方式，对4张图片中的同名点进行匹配，并且通过双向校验的方式，提取出鲁棒性强的场景流匹配点。

步骤3、得到了稀疏场景匹配点后，首先对左图进行超像素分割，地面分割，联通区域提取，最后通过追踪滤除，这样就能够得到运动物体的三维信息及相对运动趋势，从而获得动态点。

步骤4、SLAM模块将步骤3得到的动态点去除后，将图像中前后两帧匹配的静态点P1，P2做随机抽样一致性算法，计算P1，P2之间的变换矩阵后，将变换后的P1，P2整合到同一坐标系下，基于该坐标系下得到的所有的静态点建图，得到停车场的地图信息。

步骤5、路径规划模块将根据SLAM(同步定位与建图)模块建立的地图，规划在停车场中的行走路径。

步骤6、路径规划模块不断从图像采集模块获取障碍物的距离信息，以便其可以实时调整规划的路径。

步骤7、当图像采集模块识别到有空的停车位出现时，及时将停车位的位置信息反馈给路径规划模块。

步骤8、路径规划模块根据停车位所处的位置以及附近的障碍物情况，规划出一条最优化的泊车路径，同时根据双目摄像头实时采集的距离信息及时调整，使车辆安全入库。

其中，所述图像采集模块包括四个摄像头，两个用于拍摄车前场景，两个用于拍摄车后场景，从而可以获得车辆前后方的路面状况，以及车辆周围 的障碍物距离信息，如图3所示。

其中，所述图像采集模块自启用该系统开始将不停地采集图像并对图像进行处理，并根据当前所处的阶段以及各个模块的需求将相应的处理信息及时反馈给SLAM(同步定位与建图)模块和路径规划模块，直至完成系统工作。

其中，所述SLAM(同步定位与建图)模块中的建图功能用于车辆首次进入停车场，以便建立该停车场的地图获取停车场内部的方位信息。以后车辆进入该停车场会使用之前建立好的地图。

其中，所述SLAM(同步定位与建图)模块中，除首次车辆进入该停车场需要建图外，其后每次车辆进入该停车场所拍摄到的图像信息将作为参考对地图进行修正。

其中，所述SLAM(同步定位与建图)模块中，从建图开始到泊车结束都会对车辆进行定位，并将定位信息及时反馈给路径规划模块，以便路径规划模块更加精确的为车辆规划行驶路线。

其中，所述路径规划模块，是实时地为车辆规划路线，并借助图像采集模块得到的障碍物距离信息进行实时调整，即车辆每行驶一步都有相应的路径规划提供。

本发明所提供的一种基于立体视觉定位与建图的自动泊车系统包含模块有：图像采集模块，所述图像采集模块用于实时获取车辆周围环境的图像信息并进行处理，将得到的带有深度信息的图像和处理后得到的动态点输出给SLAM(同步定位与建图)模块，而将实时处理得到的距离信息和实时图像输出给路径规划模块；SLAM(同步定位与建图)模块，所述SLAM(同步定位与建图)模块将带有深度的信息图像进行处理，去除掉图像中的动态点得到静态点后，计算前后两帧的三维匹配点P1，P2，通过RANSAC计算出P1，P2之间的变换矩阵并将经过变换后的匹配点整合到同一坐标系下，开始建图，并将建好的地图与车辆自身的定位信息输出给路径规划模块；路径规划模块，所述路径规划模块根据获得的地图与车身的定位信息，开始规划路径，借助 图像采集模块实时传输的图像信息进行分析以寻找停车位，找到停车位后根据自身的定位与停车位所在的相应位置规划出一条停车路径，并借助图像采集模块得到的距离信息及时调整。

即要求驾驶员在第一次开入一停车场时，需要在停车场中行驶一圈以便SLAM(同步定位与建图)模块建好该停车场的地图，记录相应信息并记录保存；驾驶员在第二次行驶入同一停车场时，即可开启自动驾驶模式，SLAM(同步定位与建图)模块将调用相应的停车场地图信息传送给路径规划模块，规划相应的路径以便车辆在停车场内自动驾驶并搜寻停车位。由于图像采集模块对采集得到的图像进行处理将得到三维信息，并区分动态点与静态点，因此在车辆行驶过程中能识别出运动的物体，并及时将该运动物体所在距离传送给路径规划模块，路径规划模块会根据所得的信息及时调整规划的路径。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于立体视觉定位与建图的自动泊车系统，其特征在于包括：

图像采集模块：采集车辆周围环境的图像信息并进行处理，将得到的带有深度信息的图像和处理后得到的动态点输出给SLAM模块，而将实时处理得到的距离信息和实时图像输出给路径规划模块；

SLAM模块：根据图像采集模块输入的信息，将带有深度信息的图像进行处理，去除掉图像中的动态点得到静态点后，计算前后两帧的三维匹配点P1，P2，通过RANSAC计算出P1，P2之间的变换矩阵并将变换后的匹配点整合到同一坐标系下，开始建图，并将建好的地图与车辆自身的定位信息输出给路径规划模块；

路径规划模块：根据获得的地图与车身的定位信息，开始规划路径，借助图像采集模块实时传输的图像信息进行分析以寻找停车位，找到停车位后根据自身的定位与停车位所在的相应位置规划出一条停车路径，并借助图像采集模块得到的距离信息及时调整。

2.如权利要求1所述的基于立体视觉定位与建图的自动泊车系统，其特征在于：所述图像采集模块包括四个摄像头，其中两个摄像头拍摄车前的路面场景，另两个摄像头拍摄车后的路面场景。

3.如权利要求2所述的基于立体视觉定位与建图的自动泊车系统，其特征在于：所述摄像头为广角摄像头。

4.如权利要求1所述的基于立体视觉定位与建图的自动泊车系统，其特征在于：所述图像采集模块包括两组双目摄像头，其中一组双目摄像头拍摄车前的路面场景，另一组双目摄像头拍摄车后的路面场景。

5.一种基于立体视觉定位与建图的自动泊车方法，其特征在于包括以下步骤：

步骤1、所述图像采集模块包括双目摄像头，基于立体视觉技术中的极线约束，对摄像头进行配置，使用棋盘格对双目摄像头进行标定，获取摄像头的内外参数，对双目摄像头采集到的图像，通过事先获得的内外参数进行矫正；

步骤2、对于前后时刻用双目摄像头拍摄的左右图片，基于双目匹配以及光流的方式，对4张图片中的同名点进行匹配，并且通过双向校验的方式，提取出鲁棒性强的场景流匹配点；

步骤3、得到了稀疏场景匹配点后，首先对左图进行超像素分割，地面分割，联通区域提取，最后通过追踪滤除，这样就能够得到运动物体的三维信息及相对运动趋势，从而获得动态点；

步骤4、SLAM模块将步骤3得到的动态点去除后，将图像中前后两帧匹配的静态点P1，P2做随机抽样一致性(RANSAC)算法，计算P1，P2之间的变换矩阵后，将经过变换后的P1，P2整合到同一坐标系下，基于该坐标系下得到的所有的静态点建图，得到停车场的地图信息；

步骤5、路径规划模块将根据SLAM模块建立的地图，规划在停车场中的行走路径；

步骤6、路径规划模块不断从图像采集模块获取障碍物的距离信息，以便其可以实时调整规划的路径；

步骤7、当图像采集模块识别到有空的停车位出现时，及时将停车位的位置信息反馈给路径规划模块；

步骤8、路径规划模块根据停车位所处的位置以及附近的障碍物情况，规划出一条最优化的泊车路径，同时根据双目摄像头实时采集的距离信息及时调整，使车辆安全入库。