CN109725640A - 一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法 - Google Patents

Abstract

本发明涉及一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法，方法中需要设置两个相机且对称设置在激光栅格生成器的左、右两侧，激光栅格生成器与两个相机光轴平行，激光栅格生成器和双目相机都由中央控制模块控制，相机的图像信号由链路通信传送到中央控制处理模块中。本发明提出采用立体视觉和激光栅格投影相结合的方法实时获取地面的地形特征，为自动驾驶或者辅助驾驶中路径规划与决策提供实时数据，及时躲避道路坑洞、障碍等危险，极大的提高驾驶安全性。

Description

一种基于立体视觉与激光光栅的自动驾驶中三维道路重建 方法

技术领域

本发明属于智能服务系统领域，涉及汽车驾驶辅助技术，尤其是一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法。

背景技术

道路环境感知是实现自动驾驶的基础，它是利用车辆搭载的传感器主动获取道路、行人、车辆、障碍物等交通相关状态信息，为自动驾驶或者辅助驾驶的路径规划提供基础数据，保障行车安全。

目前使用的环境感知传感器主要包括机器视觉、激光雷达、毫米波雷达、超声波雷达等。机器视觉是利用计算机和相机代替人眼对目标进行识别、跟踪和测量的一种方法，它具有检测信息大、价格低廉等优点。但是由于涉及图像的复杂运算，其计算量很大、且算法不易实现。相对于机器视觉而言，激光雷达受外界环境影响很小，在深度信息的获取上，其可靠性和精确性要高于机器视觉，但是其制造工艺复杂，成本高昂。毫米波雷达工作在毫米波波段，其频率介于30～300GHz之间，兼有微波制导和光电制导的优点。毫米波穿透雾、烟、灰尘的能力强，但易受雨雾的影响。而且毫米波是重要的雷达频段，在多种场合易受干扰。超声波测距具有穿透性强、衰减小、反射能力强等特点，而且其原理简单、成本低、制作方便。但超声波测距的速度与毫米波雷达测距的速度无法相比，且超声波具有一定的扩散角，便于测量距离，但难以准确测量方位。

在使用双目相机构建的立体视觉系统中，相机视场内的物体随机，识别特征多样，如何寻找合适的识别物体及其对应的特征点对，是三维重建的核心问题。在汽车行驶过程中，路况复杂，天气、光线多变，更是增加了寻找合适识别目标及其特征点的难度。在计算过程中，虽然可以采用极线约束等以简化运算，减小其运算量，但整个三维重建的运算量依旧非常大，算法复杂度高，难以满足自动驾驶过程中的对于实时性的要求，严重影响了其在自动驾驶中的应用。

本发明提出了一种采用立体视觉与激光扫描光栅结合的方法，构建道路环境的三维测量系统，可以对结构化、非结构化甚至越野道路状况等进行实时三维测量，获取道路路面情况的三维数据信息，为自动驾驶或者辅助驾驶中的路径规划和决策提供实时的基础数据，极大地提高自动驾驶的安全性。

发明内容

本发明的目的在于克服现有技术不足，提供一种使用便捷、易于交互的基于立体视觉与激光光栅的自动驾驶中三维道路重建方法。

本发明采用的技术方案是：

一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法，方法中需要设置两个相机且对称设置在激光栅格生成器的左、右两侧，激光栅格生成器与两个相机光轴平行，激光栅格生成器和双目相机都由中央控制模块控制，相机的图像信号由链路通信传送到中央控制处理模块中，其重建方法的步骤是：

(1)以激光栅格生成器中心为坐标原点建立坐标系，支架为X轴、相机光轴为Y轴、Z轴垂直于地面，经过标定后，确定左、右相机的坐标位置；

(2)系统开始工作时，处于初始状态，激光栅格生成器发出激光栅格在地面上形成激光栅格投影区域，在待测量地面上形成一块明亮的“激光网格”，相对于背景亮度突出，该网格就是相机检测时的标准参照物；

(3)测量过程开始时，在中央控制处理系统驱动下，激光栅格控制器向地面投射激光栅格，在地面上形成一块明亮的“激光栅格”区域；同时给左、右相机发出触发信号，通知其分别采集一帧图像，生成相互关联的左、右两幅图像，传送至中央处理系统中，开始检测；

(4)中央处理系统收到左、右两幅相关图像后，开始进行检测，首先检测左图像。对图像进行滤波、去燥处理后，对根据图像亮度分布对其进行二值化处理。由于激光栅格所在位置为图像中的最亮区域，作为前景图像，置为“1”；其他部分亮度远低于光栅所在位置，作为背景，置为“0”。对二值化后的图像安装激光栅格的几何特征进行三维重建，获得激光栅格在图像中的位置参数；

(5)以和左图同样方法处理右图，获得激光栅格在右图中的位置参数；

(6)根据左图和右图中激光栅格的位置参数，以及左右相机之间距离，即可根据激光栅格的几何参数信息进行三维重建计算，获取激光栅格映射区域的三维信息；

(7)通过激光光栅扫描器控制激光光栅由左到右按照固定步进角度，逐线扫描，在每个步进角度下重复(4)、(5)、(6)的计算过程，由此获得激光栅格投影区域对应的三维信息；

(8)获取激光栅格投影区域对应的三维信息后，融合后即可得到映射地面的三维信息。该信息通过高速通讯链路，发送给自动驾驶或辅助驾驶单元，用于路径规划和导航。

而且，所述两个相机、一个激光栅格生成器以及中央控制处理系统均安装在一个壳体内，两个相机对称设置在激光栅格生成器的左、右两侧的壳体位置上。

一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法的应用，将壳体固装于汽车的前端大灯或者保险杠位置，调整使其Y轴沿着车辆的纵向轴线方向；X轴为车辆横向方向；Z轴垂直于地面。调整激光栅格的映射区域面积，使其覆盖待行驶的前方道路区域。安装位置如图2所示。其应用方式为：

(1)调整好本装置后，中央控制处理系统进行初始化，配置相关参数，测试通讯链路、左右相机、激光栅格发生器等是否正常；

(2)一切正常后，收到自动驾驶控制系统等发送来的开始工作命令后，本装置开始工作；

(3)中央控制系统给激光栅格发生器发送指令，控制其在预定位置投射激光栅格，投影到被测量道路上作为识别标识；

(4)中央控制处理系统分别给左、右相机发送触发信号，分别采集左图和右图两帧图像，并把图像传递到中央控制处理系统中；

(5)在中央控制处理系统中分别对左图和右图进行处理，进行处理。对图像进行滤波、去噪处理后，进行二值化处理，然后计算获得激光栅格在图像中的位置参数；

(6)根据左图和右图中激光栅格对应点的位置信息，以及左右相机之间距离，即可按照激光栅格几何参数信息的进行三维重建计算，获取激光栅格投影区域的三维地形曲线信息；

(7)控制激光光栅由左到右按照固定步进角度进行扫描，分别计算每个步进角度下的三维地形曲线信息，对其进行融合后即可得到扫描视场内地面的道路地形三维曲面信息；

(8)把该曲面信息通过高速通讯链路，发送给自动驾驶或辅助驾驶控制单元，用于路径规划和导航；

(9)汽车运行过程中，本装置持续的进行计算与重建工作，即可把道路地形信息源源不断的发送给自动驾驶控制单元，控制车辆按照规划的路径安全行驶。

本发明优点和积极效果为：

1、本发明提出了一种新的自动驾驶环境感知方法及装置，采用立体视觉与激光扫描光栅相结合的方法对道路路面状况进行三维实时测量，适用于结构化、非结构化和越野道路等多种复杂路况，实时获取道路路面的三维数据信息，为自动驾驶或者辅助驾驶系统提供路径规划基础数据，极大地提高自动驾驶的安全性。同目前自动驾驶中使用的激光雷达、毫米波雷达等环境感知技术相比，本发明具有分辨率高、实时性好、成本低等显著优点。

2、本发明基于立体视觉技术构建，传统的立体视觉系统多采用双目相机结构，两只相机之间相距一定距离，相机光轴呈平行方向安装。在计算机或者处理器中分别采集两只相机的图像数据，进行运算和处理。由于两个相机之间存在位置偏差，在图像上也存在一定的视差，在拍摄同一物体时，两幅图像之间存在一定的位置不同所造成的偏差，据此在两幅图像中寻找到相同的物体特征点，利用其相关性进行检测和计算，获得对应的特征点对。然后利用找到的特征点对和两只相机之间的几何位置关系进行计算，即可获得特征点的三维坐标，从而实现三维环境的重建。

3、本发明采用立体视觉技术和激光光栅扫描技术相结合，利用快速扫描的激光光栅人为的为双目立体视觉“构建”一个确定的参照物。在左、右相机的对应图像中，激光光栅是一个显著的高亮度区域，沿着光栅所在的位置，可以很容易的找到对应特征，获取对应的特征点对。直接沿着光栅方向进行特征计算和三维重建，即可获取光栅所处位置的信息；利用控制系统，驱动激光光栅快速在视场区域中左右扫描，同时同步处理相机中所获取的图像。每个扫描周期中，光栅从左到右按照固定的步进角度扫描一遍，就可以获得视场内的三维道路信息。调整光栅扫描密度，就可以调整所获得三维曲面的分辨率，以满足测量要求。由于本方法每次仅处理光栅所在直线上的图像信息，可以极大简化算法，减少运算量，提高系统实时性。

附图说明

图1是本发明的系统原理框图；

图2是本发明应用在汽车上的安装位置示意图。

具体实施方式

下面通过附图结合具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于激光网格的道路地面三维特征采集装置，包括壳体5，在壳体内安装有两个相机3和6、一个激光栅格生成器4以及中央控制处理系统，其中两个相机对称设置在激光栅格生成器的左、右两侧的壳体位置上，激光栅格生成器与两个相机光轴平行，激光栅格生成器和双目相机都由中央控制模块控制，相机的图像信号由链路通信传送到中央控制处理模块中。其工作过程为：

1、以激光栅格生成器中心为坐标原点建立坐标系，支架为X轴、相机光轴为Y轴、Z轴垂直于地面，经过标定后，确定左、右相机的坐标位置。

2、系统开始工作时，处于初始状态，激光栅格生成器发出激光栅格在地面上形成激光栅格投影区域，在待测量地面上形成一块明亮的“激光网格”，相对于背景亮度突出，该网格就是相机检测时的标准参照物。

3、测量过程开始时，在中央控制处理系统驱动下，激光栅格控制器向地面投射激光栅格，在地面上形成一块明亮的“激光栅格”区域；同时给左、右相机发出触发信号，通知其分别采集一帧图像，生成相互关联的左、右两幅图像，传送至中央处理系统中，开始检测。

4、中央处理系统收到左、右两幅相关图像后，开始进行检测，首先检测左图像。对图像进行滤波、去燥处理后，对根据图像亮度分布对其进行二值化处理。由于激光栅格所在位置为图像中的最亮区域，作为前景图像，置为1；其他部分亮度远低于光栅所在位置，作为背景，置为0。对二值化后的图像安装激光栅格的几何特征进行三维重建，获得激光栅格在图像中的位置参数。

5、以和左图同样方法处理右图，获得激光栅格在右图中的位置参数。

6、根据左图和右图中激光栅格的位置参数，以及左右相机之间距离，即可根据激光栅格的几何参数信息进行三维重建计算，获取激光栅格映射区域的三维信息。

7、通过激光光栅扫描器控制激光光栅由左到右按照固定步进角度，逐线扫描，在每个步进角度下重复4、5、6的计算过程，由此获得激光栅格投影区域对应的三维信息；

8、获取激光栅格投影区域对应的三维信息后，融合后即可得到映射地面的三维信息。该信息通过高速通讯链路，发送给自动驾驶或辅助驾驶单元，用于路径规划和导航。

根据本方法构建的装置整体固定安装于汽车1的前端大灯或者保险杠2位置，调整使其Y轴沿着车辆的纵向轴线方向；X轴为车辆横向方向；Z轴垂直于地面。调整激光栅格的映射区域面积，使其覆盖待行驶的前方道路区域。安装位置如图2所示。

1、调整好本装置后，中央控制处理系统进行初始化，配置相关参数，测试通讯链路、左右相机、激光栅格发生器等是否正常。

2、一切正常后，收到自动驾驶控制系统等发送来的开始工作命令后，本装置开始工作。

3、中央控制系统给激光栅格发生器发送指令，控制其在预定位置投射激光栅格，投影到被测量道路上作为识别标识。

4、中央控制处理系统分别给左、右相机发送触发信号，分别采集左图和右图两帧图像，并把图像传递到中央控制处理系统中。

5、在中央控制处理系统中分别对左图和右图进行处理，进行处理。对图像进行滤波、去噪处理后，进行二值化处理，然后计算获得激光栅格在图像中的位置参数。

6、根据左图和右图中激光栅格对应点的位置信息，以及左右相机之间距离，即可按照激光栅格几何参数信息的进行三维重建计算，获取激光栅格投影区域的三维地形曲线信息。

7、控制激光光栅由左到右按照固定步进角度进行扫描，分别计算每个步进角度下的三维地形曲线信息，对其进行融合后即可得到扫描视场内地面的道路地形三维曲面信息。

8、把该曲面信息通过高速通讯链路，发送给自动驾驶或辅助驾驶控制单元，用于路径规划和导航。

9、汽车运行过程中，本装置持续的进行计算与重建工作，即可把道路地形信息源源不断的发送给自动驾驶控制单元，控制车辆按照规划的路径安全行驶。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (3)

1.一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法，其特征在于：方法中需要设置两个相机且对称设置在激光栅格生成器的左、右两侧，激光栅格生成器与两个相机光轴平行，激光栅格生成器和双目相机都由中央控制模块控制，相机的图像信号由链路通信传送到中央控制处理模块中，其重建方法的步骤是：

(1)以激光栅格生成器中心为坐标原点建立坐标系，支架为X轴、相机光轴为Y轴、Z轴垂直于地面，经过标定后，确定左、右相机的坐标位置；

(2)系统开始工作时，处于初始状态，激光栅格生成器发出激光栅格在地面上形成激光栅格投影区域，在待测量地面上形成一块明亮的“激光网格”，相对于背景亮度突出，该网格就是相机检测时的标准参照物；

(3)测量过程开始时，在中央控制处理系统驱动下，激光栅格控制器向地面投射激光栅格，在地面上形成一块明亮的“激光栅格”区域；同时给左、右相机发出触发信号，通知其分别采集一帧图像，生成相互关联的左、右两幅图像，传送至中央处理系统中，开始检测；

(4)中央处理系统收到左、右两幅相关图像后，开始进行检测，首先检测左图像。对图像进行滤波、去燥处理后，对根据图像亮度分布对其进行二值化处理。由于激光栅格所在位置为图像中的最亮区域，作为前景图像，置为“1”；其他部分亮度远低于光栅所在位置，作为背景，置为“0”。对二值化后的图像安装激光栅格的几何特征进行三维重建，获得激光栅格在图像中的位置参数；

(5)以和左图同样方法处理右图，获得激光栅格在右图中的位置参数；

(6)根据左图和右图中激光栅格的位置参数，以及左右相机之间距离，即可根据激光栅格的几何参数信息进行三维重建计算，获取激光栅格映射区域的三维信息；

(7)通过激光光栅扫描器控制激光光栅由左到右按照固定步进角度，逐线扫描，在每个步进角度下重复(4)、(5)、(6)的计算过程，由此获得激光栅格投影区域对应的三维信息；

(8)获取激光栅格投影区域对应的三维信息后，融合后即可得到映射地面的三维信息。该信息通过高速通讯链路，发送给自动驾驶或辅助驾驶单元，用于路径规划和导航。

2.根据权利要求1所述的基于激光网格的道路地面三维特征采集装置基于立体视觉与激光光栅的自动驾驶中三维道路重建方法，其特征在于：所述两个相机、一个激光栅格生成器以及中央控制处理系统均安装在一个壳体内，两个相机对称设置在激光栅格生成器的左、右两侧的壳体位置上。

3.一种基于立体视觉与激光光栅的自动驾驶中三维道路重建方法的应用，其特征在于：将壳体固装于汽车的前端大灯或者保险杠位置，调整使其Y轴沿着车辆的纵向轴线方向；X轴为车辆横向方向；Z轴垂直于地面。调整激光栅格的映射区域面积，使其覆盖待行驶的前方道路区域。安装位置如图2所示。其应用方式为：

(1)调整好本装置后，中央控制处理系统进行初始化，配置相关参数，测试通讯链路、左右相机、激光栅格发生器等是否正常；

(2)一切正常后，收到自动驾驶控制系统等发送来的开始工作命令后，本装置开始工作；

(3)中央控制系统给激光栅格发生器发送指令，控制其在预定位置投射激光栅格，投影到被测量道路上作为识别标识；

(4)中央控制处理系统分别给左、右相机发送触发信号，分别采集左图和右图两帧图像，并把图像传递到中央控制处理系统中；

(5)在中央控制处理系统中分别对左图和右图进行处理，进行处理。对图像进行滤波、去噪处理后，进行二值化处理，然后计算获得激光栅格在图像中的位置参数；

(6)根据左图和右图中激光栅格对应点的位置信息，以及左右相机之间距离，即可按照激光栅格几何参数信息的进行三维重建计算，获取激光栅格投影区域的三维地形曲线信息；

(7)控制激光光栅由左到右按照固定步进角度进行扫描，分别计算每个步进角度下的三维地形曲线信息，对其进行融合后即可得到扫描视场内地面的道路地形三维曲面信息；

(8)把该曲面信息通过高速通讯链路，发送给自动驾驶或辅助驾驶控制单元，用于路径规划和导航；

(9)汽车运行过程中，本装置持续的进行计算与重建工作，即可把道路地形信息源源不断的发送给自动驾驶控制单元，控制车辆按照规划的路径安全行驶。