CN106646474A - 一种非结构化道路凹凸障碍物检测装置 - Google Patents

Abstract

本发明提供了一种非结构化道路凹凸障碍物检测装置，所述装置针对无人化装备在非结构化道路环境下移动和作业过程中，单一传感器可靠性低、有效探测范围小，无法对凹凸障碍物进行有效的感知和探测的问题，通过采集激光雷达、毫米波雷达和CCD彩色摄像机，并输入计算机处理终端对非结构化道路凹凸障碍物进行检测，检测结果能够弥补激光雷达精度较低的不足。本发明能够提高非结构化道路凹凸障碍物实时检测的精度和可靠性，降低系统的误差和不确定性。

Description

一种非结构化道路凹凸障碍物检测装置

技术领域

本发明涉及一种障碍物检测系统，特别涉及一种基于CCD彩色摄像机、激光雷达及毫米波雷达多传感器融合的非结构化道路凹凸障碍物检测装置。

背景技术

无人化装备要在陌生复杂的非结构化道路环境下移动和作业，就必须能够实时检测到各种地表障碍物的几何特征和空间三维信息，明确判断出可通行区域与障碍区域，障碍物检测的性能是影响判断的关键因素。由于非结构化道路种类繁多、复杂多变且随机出现的特点，使广泛用于结构化道路条件下的地平面假设和检测方法已不适用。应用于无人化装备障碍物检测的传感器信息获取，除满足实时性的要求外，更要满足可靠性。迄今为止，没有任何一种传感器能够独立保证在任何时刻提供完全可靠的信息，如激光雷达或毫米波雷达的线扫特性及其精度因素，导致无法完整准确地检测出障碍物的外形特征；又如单一的通过CCD摄像机进行检测无法准确获取障碍物的深度信息，同时易受环境因素的影响等。采用多传感器信息融合技术，可以有效地克服单一传感器可靠性低、有效探测范围小的缺点。对多传感器的信息进行融合，可以降低系统的误差和不确定性，同时扩展了空间和时间的覆盖度，增加了测量维数及置信度。

发明内容

本发明的主要目的是提供一种多传感器融合的非结构化道路凹凸障碍物检测系统，构建满足无人化装备在非结构化道路下进行移动和作业要求的凹凸障碍物检测装置，解决因单一传感器探测精度低、范围小而无法完整准确地检测出障碍物外形特征的问题。

本发明的一种非结构化道路凹凸障碍物检测装置，其特点是，所述的装置设备包括环境感知传感器、工业交换机、计算机处理终端及显示传输装置；环境感知传感器包括用于环境感知的激光雷达、毫米波雷达、CCD彩色摄像机；环境感知传感器的数据通过工业交换机传输至计算机处理终端；计算机处理终端通过处理功能模块对获取的数据进行处理，处理功能模块包括雷达点云数据采集模块、障碍物导引信息生成模块、CCD摄像机图像采集模块、多传感器融合模块、处理结果显示输出模块。用于本发明装置的计算机处理终端对数据的处理主要执行步骤如下：

（a）雷达点云数据采集模块采集激光雷达和毫米波雷达的数据，障碍物导引信息生成模块将接收的数据处理得到导引信息，其中，导引信息包括障碍物位置、凹凸性和大小范围，并将其传输至多传感器融合模块；

（b）CCD摄像机图像采集模块对CCD彩色摄像机的图像数据进行编码采集，并将数据传输至多传感器融合模块；

（c）多传感器融合模块对接收到的雷达数据和图像数据进行融合处理，处理得到的障碍物精确的位置和大小信息，并在视频图像上叠加目标大小、轮廓、外接矩形信息，最后将视频和数据传输至处理结果显示输出模块分别进行显示和输出。

用于本发明装置的计算机处理终端处理功能模块的多传感器融合模块对接收的雷达数据和图像数据进行融合和处理，主要执行步骤如下：

（1）对CCD彩色摄像机的参数进行初始化，进而获取视频帧图像；

（2）对图像处理相关参数及变量进行初始化；

（3）接收并处理激光雷达导引数据并得到障碍物信息，信息主要包括目标总数、目标序号、目标宽度、目标高度、目标方位、目标距离，由于接收到的数据单位是米，因此必须将其转换为像素单位，才能用来表示目标在实际视场中的位置和尺寸；

（4）当存在目标时，对激光雷达导引的区域逐一进行障碍物检测，直到所有目标区域处理完成；

（5）对导引区域进行图像处理，主要滤除噪声、平滑图像，在此采用高斯低通滤波方法；（6）根据对激光雷达数据的处理结果分析障碍物是“凸障碍”还是“凹障碍”，凸障碍，则跳转至（7），如果为凹障碍，则跳转至（8）；

（7）以接收到的激光雷达目标方位值为种子点进行区域生长，同时对每一个凸障碍区域分别进行轮廓提取，并对所提取的轮廓做筛选和剔除，最后结合生长的区域和边缘确定目标，处理完成跳转至（9）；

（8）对每一个凹障碍区域计算OSTU阈值，再结合分水岭算法进行凹障碍提取，处理完成跳转至（9）；

（9）对每一个已检测的目标做连通域标记，分别得到每个障碍物的中心点及在视场中的尺寸大小；

（10）在视频帧图像中叠加当前所有目标信息及位置；

（11）判断是否检测完所有导引区域，若“是”则转（12），若“否”则转（5）继续循环；

（12）输出结果和显示图像。

本发明所述的基于多传感器融合的非结构化道路凹凸障碍物检测装置在以上述的方式运行时，将提高非结构化道路凹凸障碍物实时检测的精度和可靠性，降低系统的误差和不确定性。

附图说明

下面结合附图对本发明作进一步说明：

图1 是本发明装置系统结构框图；

图2 是本发明中计算机处理终端功能模块的结构框图；

图3 本发明中计算处理终端的多传感器融合模块的算法流程图。

具体实施方式

图1 是本发明装置系统结构框图，图1中本发明所述的装置包括环境感知传感器100、工业交换机120、计算机处理终端130及显示传输装置140，其中：环境感知传感器100采集激光雷达101、毫米波雷达102、CCD彩色摄像机103的数据，采集的数据通过工业交换机120传输至计算机处理终端130，计算机处理终端130对获取的数据进行处理，处理的结果传输至处理结果显示输出装置140进行显示或输出。

所述计算机处理终端130选用自主研制的加固型计算机ITA-5730，采用Intel®Core^TM i7-3555LE 2.5GHz处理器，4G内存，集成视频、千兆以太网、USB、串口、CAN、A/D等接口；激光雷达101选用HDL-32E 32，具有32个激光器，可达到+10°到-30°的垂直视场角，旋转头在水平360°视场角内持续旋转，每秒可输出高达700,000个测量点，测量范围可达100m，在10Hz的更新率下测量精度为±2cm；CCD彩色摄像机（103）选用德国AVT公司生产的120万像素千兆网接口数字摄像机GT1290C，采用高品质的Sony ICX445 Exview CCD传感器，镜头选择H0514-MP。

图2 是本发明中计算机处理终端功能模块的结构框图；如图2所示，它包括雷达点云数据采集模块205、障碍物导引信息生成模块207、CCD摄像机图像采集模块206、多传感器融合模块208、处理结果显示输出模块209。雷达点云数据采集模块205获取激光雷达数据201和毫米波雷达点云数据202，并将数据传输至障碍物导引信息生成模块207；CCD摄像机图像采集模块206采集CCD彩色摄像机图像；障碍物导引信息生成模块207与CCD摄像机图像采集模块206分别将得到的障碍物导引信息和采集的视频图像发送至多传感器融合模块208；多传感器融合模块208对各传感器的数据进行融合处理，从而得到了精细化以后的凹凸障碍物尺寸，最后，将计算得到的障碍物信息发送至处理结果显示输出模块209进行显示和传输。

图3 本发明中计算处理终端的多传感器融合模块的算法流程图。如图3所示，步骤300为初始流程，实现参数和接口的初始化。步骤301进行CCD彩色摄像机的参数初始化，并经过步骤302获取图像帧图像，由步骤303完成图像处理参数的初始化。步骤304接收激光雷达导引数据，并采用步骤305标定后的参数将导引数据的距离信息转换为图像坐标下的像素信息。从步骤306开始进入基于图像处理的凹凸障碍物检测流程，步骤307判断雷达导引的障碍物数目总数是否大于当前所处理目标的序号，若是，则首先进入步骤308对图像进行预处理，然后以激光雷达提供的目标位置为种子点，执行步骤309进行区域生长；然后，步骤310对生长出的区域分别依次进行连通域标记，步骤311获取导引数据中的轮廓信息，步骤312目标剔除与合并。最后，执行步骤313进行帧图像信息叠加，再分别执行步骤315和步骤316进行视频输出显示和结果输出。

Claims (3)

1.一种非结构化道路凹凸障碍物检测装置，其特征在于，所述的凹凸障碍物检测装置包括环境感知传感器（100）、工业交换机（120）、计算机处理终端（130）及显示传输装置（140），所述的环境感知传感器（100）采集激光雷达（101）、毫米波雷达（102）、CCD彩色摄像机（103）的数据，采集的数据通过工业交换机（120）传输至计算机处理终端（130），计算机处理终端（130）对获取的数据进行处理，处理的结果传输至处理结果显示输出装置（140）进行显示或输出。

2.根据权利要求1所述的凹凸障碍物检测装置，其特征在于：所述计算机处理终端（130）对数据的处理执行步骤如下：

（a）雷达点云数据采集模块（205）采集激光雷达和毫米波雷达的数据，障碍物导引信息生成模块（207）将接收的数据处理得到导引信息障碍物位置、凹凸性和大小范围，并将其传输至多传感器融合模块（208）；

（b）CCD摄像机图像采集模块（206）对CCD彩色摄像机图像数据进行编码采集，并将数据传输至多传感器融合模块（208）；

（c）多传感器融合模块（208）对接收到的雷达数据和图像数据进行融合处理，处理得到的障碍物精确的位置和大小信息，并在视频图像上叠加目标大小、轮廓、外接矩形信息，最后将视频和数据传输至处理结果显示输出模块（209）分别进行显示和输出。

3.根据权利要求1或2所述的凹凸障碍物检测装置，其特征在于：所述多传感器融合模块（208）对接收到的雷达数据和图像数据进行融合处理，执行步骤如下：

（1）对CCD彩色摄像机的参数进行初始化，进而获取视频帧图像；

（2）对图像处理相关参数及变量进行初始化；

（3）接收并处理激光雷达导引数据并得到障碍物信息，信息包括目标总数、目标序号、目标宽度、目标高度、目标方位、目标距离，由于接收到的数据单位是米，因此必须将其转换为像素单位，才能用来表示目标在实际视场中的位置和尺寸；

（4）当存在目标时，对激光雷达导引的区域逐一进行障碍物检测，直到所有目标区域处理完成；

（5）对导引区域进行图像处理，滤除噪声、平滑图像，在此采用高斯低通滤波方法；

（6）根据对激光雷达数据的处理结果分析障碍物是“凸障碍”还是“凹障碍”，凸障碍，则跳转至（7），如果为凹障碍，则跳转至（8）；

（7）以接收到的激光雷达目标方位值为种子点进行区域生长，同时对每一个凸障碍区域分别进行轮廓提取，并对所提取的轮廓做筛选和剔除，最后结合生长的区域和边缘确定目标，处理完成跳转至（9）；

（8）对每一个凹障碍区域计算OSTU阈值，再结合分水岭算法进行凹障碍提取，处理完成跳转至（9）；

（9）对每一个已检测的目标做连通域标记，分别得到每个障碍物的中心点及在视场中的尺寸大小；

（10）在视频帧图像中叠加当前所有目标信息及位置；

（11）判断是否检测完所有导引区域，若“是”则转（12），若“否”则转（5）继续循环；

（12）输出结果和显示图像。