CN115755094A - 障碍物检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种障碍物检测方法、装置、设备及存储介质，涉及轨道交通技术领域，该方法包括：获取轨道区域的检测数据，并基于检测数据确定轨道区域内的轨道位置信息和初始障碍物信息；该检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；对图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；对图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得轨道目标位置区域内的目标障碍物信息；其中，目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。采用多种数据融合提高了障碍物检测的准确性和可靠性。

Description

障碍物检测方法、装置、设备及存储介质

技术领域

本申请涉及轨道交通技术领域，具体而言，涉及一种障碍物检测方法、装置、设备及存储介质。

背景技术

列车和机车的无人驾驶系统在运输，特别是铁路系统中逐渐被广泛应用。为实现这套系统，需要实现对运输区域所有列车和机车进行无人驾驶方面的改造。在无人驾驶的相关设备和控制方法中，精确地检测出罐车、机车前方轨道内的障碍物，提前预知轨道内潜在的危险是至关重要的。通过对障碍物的精确识别与判断可为罐车、机车的无人驾驶保驾护航，提升无人驾驶的安全性。

目前，基于视觉、激光雷达、视觉和激光雷达混合的障碍物检测方案在光照、能见度等良好的条件下能取得比较理想的检测效果，但是在能见度比较低的情况，例如傍晚、夜晚或是极端天气下，会产生障碍物误报的情况，无法准确识别出列车和机车运行的前方存在的潜在危险。

发明内容

有鉴于此，本申请实施例的目的在于提供一种障碍物检测方法、装置、设备及存储介质，为提高列车和机车在能见度比较低的情况无人驾驶的安全性，引了入毫米波雷达传感器，并结合视觉相机和激光雷达等多传感器的检测手段，将三者数据进行融合处理得到最终的障碍物检测结果，可实时、快速、精准地提前预知轨道内潜在的危险，从而解决了钢厂在光照条件不好、能见度低等复杂光照或天气情况下列出、罐车、机车前方感知障碍物困难的问题。

第一方面，本申请实施例提供一种障碍物检测方法，所述方法包括：获取轨道区域的检测数据，并基于所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息；其中，所述检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；所述初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；对所述图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；对所述图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息；其中，所述目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

在上述实现过程中，通过利用多个不同种传感器实时采集生成的检测数据，将各种检测数据按照一定规则进行融合，多传感器融合的算法框架能够显著提高环境感知系统的冗余度和容错性，能够对障碍物类型、数量、位置等做出精准识别，多种传感器信息数据优势互补，可靠性高，鲁棒性强，提高了障碍物检测的准确性和可靠性。

可选地，所述获取轨道区域的检测数据，并基于所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息，包括获取图像采集设备在轨道区域拍摄的图像数据，基于所述图像数据确定所述图像数据中的轨道位置信息、初始障碍物的第一类型和初始障碍物的第一数量；获取激光雷达在轨道区域采集的激光雷达数据，基于所述激光雷达数据确定所述激光雷达数据中的初始障碍物的第二类型和初始障碍物的第二位置；获取毫米波雷达在轨道区域采集的毫米波雷达数据，基于所述毫米波雷达数据确定所述毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型和初始障碍物的第三位置。

在上述实现过程中，通过引入毫米波雷达传感器，结合视觉相机和激光雷达等多传感器融合的检测手段，能够实时、快速、精准的提前预知轨道内潜在的危险，有效解决了钢厂在铁水运输过程中的光照条件不好、雨雪等能见度低的情况下罐车、机车前方感知障碍物困难的问题，提高了障碍物的检测准确率。

可选地，所述获取毫米波雷达在轨道区域采集的毫米波雷达数据，基于所述毫米波雷达数据确定所述毫米波雷达数据中的轨道位置信息和初始障碍物类型、初始障碍物位置，包括：获取毫米波雷达在轨道区域采集的毫米波雷达数据；基于轨道空间位置，筛选所述毫米波雷达数据中的左轨道数据、右轨道数据，并拟合出左轨道、右轨道确定的轨道区域；对所述轨道区域内的毫米波雷达数据进行聚类，以确定出所述毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型、初始障碍物的第三位置。

在上述实现过程中，通过采用毫米波雷达检测轨道前方区域获取具体的障碍物信息，使得本申请的障碍物检测方法不受光照、极端天气的影响，可实现全天候条件下准确的轨道识别和障碍物检测，提高了障碍物检测的适用范围。

可选地，所述对所述图像数据、激光雷达数据、毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息，包括：对初始障碍物的所述第一类型、第二类型、第三类型进行融合，获得所述轨道目标位置区域内的目标障碍物类型；对所述图像数据中的第一数量、激光雷达数据中的第二位置、毫米波雷达数据中的第三位置进行融合，获得所述轨道目标位置区域内的目标障碍物数量、目标障碍物位置。

在上述实现过程中，通过利用多个不同感知传感器检测生成的初始障碍物信息，将各种初始障碍物信息按照一定规则进行融合得到最终的障碍物类型、数量、位置，提高了环境感知系统的冗余度和容错性，同时多种传感器信息数据优势互补，可靠性高，鲁棒性强。

可选地，所述方法还包括：判断所述第一类型、第二类型、第三类型是否相同；若所述第一类型、第二类型、第三类型相同，在转换到毫米波雷达坐标系下将所述第一类型、第二类型、第三类型中的任意一种初始障碍物类型确定为目标障碍物类别、将所述图像数据中的第一数量确定为目标障碍物数量、以及将激光雷达数据中的第二位置确定为目标障碍物位置；若所述第一类型、第二类型、第三类型不相同，将毫米波雷达数据中的第三类型、第三位置确定为目标障碍物类型、目标障碍物位置。

在上述实现过程中，通过利用多个不同感知传感器检测生成的初始障碍物信息，将各种初始障碍物信息根据障碍物类型是否相同的融合规则进行对应融合，进而得到最终的障碍物类型、数量、位置，提高了环境感知系统的冗余度和容错性，同时多种传感器信息数据优势互补，可靠性高，鲁棒性强。

可选地，所述对所述图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置，包括：将所述图像数据中轨道区域的像素点投影到毫米波雷达坐标系中；基于所述图像数据中的轨道区域，确定三维融合空间区域的预设阈值；所述预设阈值包括：轨道宽度阈值，轨道高度阈值、轨道长度阈值；根据与所述图像数据同一时刻采集的毫米波雷达数据，在所述三维融合空间区域拟合出轨道融合区域；基于所述轨道融合区域内的轨道数据，确定轨道目标位置。

在上述实现过程中，通过将图像数据和毫米波雷达中的轨道位置信息基于障碍物类型是否相同的融合规则进行对应不同的融合，进而得到最终的轨道位置信息，提高了环境感知系统的冗余度和容错性，提高了后续障碍物检测的准确性。

可选地，所述基于所述轨道平面融合区域内的轨道数据，确定轨道目标位置，包括：判断所述图像数据是否为图像采集设备在极端天气下拍摄；若所述图像数据为图像采集设备在极端天气下拍摄，则根据所述轨道融合区域内的毫米波雷达数据中的轨道位置信息，确定轨道目标位置；若所述图像数据不为图像采集设备在极端天气下拍摄，则根据所述轨道融合区域内的图像数据中的轨道位置信息，确定轨道目标位置。

在上述实现过程中，基于图像数据和毫米波雷达数据，实现了钢厂内铁水运输过程中不受极端天气影响的铁路轨道位置识别，提高了障碍物检测的准确性和可靠性。

第二方面，本申请实施例提供了一种障碍物检测装置，所述装置包括：图像采集设备、激光雷达、毫米波雷达以及控制器；所述图像采集设备、激光雷达、毫米波雷达与所述控制器电连接；所述图像采集设备、激光雷达、毫米波雷达用于获取轨道区域的检测数据；所述控制器用于根据所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息；对所述图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；以及对所述图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息；其中，所述检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；所述初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；所述目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

在上述实现过程中，通过基于图像采集设备、激光雷达和毫米波雷达，实现了无人驾驶时的铁路轨道识别，同时检测罐车、机车前方轨道内的障碍物。本发明利用多种传感器信息数据优势互补，设计出了适应钢厂全天候生产需要的罐车、机车感知系统，为无人驾驶的系统提供了全天候安全、可靠、精准的感知环境。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种障碍物检测方法的流程图；

图2为本申请实施例提供的一种毫米波雷达检测障碍物的流程图；

图3为本申请实施例提供的一种融合算法流程图；

图4为本申请实施例提供的障碍物检测装置的示意图；

图5为本申请实施例提供障碍物检测装置的电子设备的方框示意图。

图标：300-电子设备；311-存储器；312-存储控制器；313-处理器；314-外设接口；315-输入输出单元；316-显示单元。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请发明人注意到，现有常见的三种障碍物检测方案：(1)基于视觉的机车前方轨道内的障碍物检测方案。该方案首先采集机车行驶实时图像，然后采用基于中值滤波和灰度直方图均衡化处理实时视频图像序列，接着利用Scharr边缘检测算子和Canny边缘检测算子识别直线或曲线轨道区域边界，标识出图像中的轨道区域边缘，最后识别出的直线或曲线轨道区域边缘，将障碍物的检测范围限定于该区域内，在实时图像中标识出障碍物。基于视觉的轨道内障碍物检测方法在光照优良、天气晴朗的条件下具有良好的效果，但是在夜晚光照条件差，雨、雪天气等能见度比较低的条件下，难以通过视频图像获取到轨道区域，因此该方法只适合在光照和能见度良好的环境。(2)基于激光雷达的机车前方轨道内的障碍物检测方案。该方案首先获取激光雷达当前帧的点云数据，然后从点云数据中提取出超过预设高度的障碍物点云数据，接着利用上一帧中确定的左右轨道点，获得所述当前帧的左右轨道线；最后在左右轨道线的范围内确定障碍物点云数据，以此得到当前帧的轨道内障碍物。基于激光雷达的轨道内障碍物检测方法在地面平坦且具有明显障碍物的情况下能取得比较理想的滤波效果，但是在路面崎岖不平或具有一定坡度的情况下，难以通过计算高度差来确定某一点是否为地面。因此，该类算法仅适用于城市道路平坦环境。(3)基于视觉和激光雷达的机车前方轨道内的障碍物检测方案。通过激光雷达对基本原始点云数据特征进行采集，点云栅格化，拟合出地面模型的参数，计算地面模型参数，获取图像及图像预处理，基于YOLO的检测网络对物体进行检测识别和地面模型判断。基于视觉和激光雷达的轨道内障碍物检测方法在光照条件好，良好天气下有理想的检测效果，但是针对寒冷冬季的大雪天气，大雨天气等极端天气下该检测方法就发生误识别，所以该方法不适用于全天候的障碍物检测情景。

有鉴于此，本申请实施例提供了一种如下介绍的障碍物检测方法。

请参阅图1，图1为本申请实施例提供的一种障碍物检测方法的流程图。该方法包括：步骤100、步骤120和步骤140。

步骤100：获取轨道区域的检测数据，并基于检测数据确定轨道区域内的轨道位置信息和初始障碍物信息；其中，检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；

步骤120：对图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；

步骤140：对图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得轨道目标位置区域内的目标障碍物信息；其中，目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

示例性地，轨道区域可以是列车、罐车、机车行进方向的车前方的轨道及其附近一定范围的区域。检测数据可以来源于安装在罐车、机车等车辆车头位置的感知相机、激光雷达、毫米波雷达等感知传感器实时采集的轨道相关数据。例如：感知相机、激光雷达、毫米波雷达安装在罐车、机车行进方向的车前方采集外部信息，通过以太网网线连接放置于车内的车载感知控制器，车载感知控制器处理后可得到检测数据中特定的轨道、障碍物信息。轨道位置信息融合可以是将多种检测数据中通过某种数据处理算法识别出的原始轨道位置信息(轨道位置信息)进行融合得到的最终更准确的轨道具体位置。初始障碍物信息融合可以是将多种检测数据中通过某种数据处理算法识别出的原始障碍物信息(初始障碍物信息)进行融合得到的最终更准确的障碍物具体的类型、数量、位置。

可选地，在列车、罐车、机车的车头前身上安装感知相机、激光雷达和毫米波雷达等三种感知传感器。感知相机获取罐车、机车前方的图像数据，激光雷达和毫米波雷达获取列车、罐车、机车前方的不同点云数据，通过将点云数据和图像数据按照一定规则进行融合，融合处理得到最终实际的轨道目标位置、目标障碍物类型、目标障碍物数量、目标障碍物位置，实现快速、准确、全天候地得到列车、罐车、机车前方轨道内的障碍物信息。

通过利用多个不同种传感器实时采集生成的检测数据，将各种检测数据按照一定规则进行融合，多传感器融合的算法框架能够显著提高环境感知系统的冗余度和容错性，能够对障碍物类型、数量、位置等做出精准识别，多种传感器信息数据优势互补，可靠性高，鲁棒性强，提高了障碍物检测的准确性和可靠性。

在一个实施例中，步骤100可以包括：步骤101、步骤102和步骤103。

步骤101：获取图像采集设备在轨道区域拍摄的图像数据，基于图像数据确定图像数据中的轨道位置信息、初始障碍物的第一类型和初始障碍物的第一数量；

步骤102：获取激光雷达在轨道区域采集的激光雷达数据，基于激光雷达数据确定激光雷达数据中的初始障碍物的第二类型和初始障碍物的第二位置；

步骤103：获取毫米波雷达在轨道区域采集的毫米波雷达数据，基于毫米波雷达数据确定毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型和初始障碍物的第三位置。

示例性地，针对步骤101：图像采集设备可以是感知相机、工业相机、摄像机、扫描仪等任意能够实时采集图像数据的视觉设备。可选地，在罐车、机车前方安装的感知传感器中，工业相机将罐车、机车前方的摄取目标转换成图像信号后，传送给专用的图像处理系统，图像处理系统首先根据图像处理算法识别出图像中的铁轨，然后再应用图像处理算法识别出铁轨内是否存在障碍物以及障碍物的类别等信息。具体过程可以是：读取工业相机视频流的轨道图像，并对图像进行图像灰度化、去噪、增强等预处理；对图像进行分割、边缘检测、以及轨道区域边界线提取；利用滑动窗口进行搜索，拟合轨道边缘并建立铁轨轨道区域，从而得到图像数据中的轨道位置信息；基于轨道区域内Yolov5目标检测算法进行障碍物检测，并输出视觉检测算法结果，即轨道区域内是否存在障碍物及障碍物的类别、数量，从而得到初始障碍物的第一类型和初始障碍物的第一数量。

针对步骤102：在列车、罐车、机车前方安装的感知传感器中，激光雷达对罐车、机车前方进行实时扫描，实时采集获取高精度三维点云数据。通过欧几里得聚类算法，将列车、罐车、机车前方同一个物体的点云簇合并为一类。钢铁厂轨道内的障碍物的类别有限，同时考虑罐车、机车在工作中的安全问题，不管遇到任何类别障碍物都要停车，因此本发明将点云簇的长宽高等物理信息作为障碍物的点云判别依据，判断列车、罐车、机车前方是否存在人、车、物等障碍物，确定其方向和位置。具体过程可以是：获取激光雷达采集的原始点云数据；过滤激光点云数据，并分割轨道地面类点云；对点云数据欧式距离聚类，根据不同点云簇的物理信息判别障碍物类别；输出激光点云检测算法结果，轨道区域内是否存在障碍物及障碍物的类别，从而得到初始障碍物的第二类型和初始障碍物的第二位置。

针对步骤103：由于钢铁厂的铁水运输是全天候、全流程的生产作业模式，因此在光照条件差、大雨、大雪、暴雨夜晚、大雾、雨雾等极端天气条件下，工业相机的轨道识别及障碍物检测，激光雷达的障碍物检测识别难度加大，经常会出现误识别情况。毫米波雷达则不受光照、极端天气的影响，可实现全天候条件下的轨道识别和障碍物检测，因此利用毫米波雷达识别钢铁厂的轨道和轨道内的障碍物，实现全天候条件下的感知系统。在罐车、机车前方安装的感知传感器中，毫米波雷达对罐车、机车前方进行实时扫描，实时采集获取三维点云数据，对毫米波雷达点云数据进行处理，可以识别出轨道的位置、障碍物的位置(第三位置)、类别(第三类型)等轨道内障碍物信息。

通过引入毫米波雷达传感器，结合视觉相机和激光雷达等多传感器融合的检测手段，能够实时、快速、精准的提前预知轨道内潜在的危险，有效解决了钢厂在铁水运输过程中的光照条件不好、雨雪等能见度低的情况下罐车、机车前方感知障碍物困难的问题，提高了障碍物的检测准确率。

在一个实施例中，请参阅图2，步骤103可以包括：步骤1031、步骤1032和步骤1033。

步骤1031：获取毫米波雷达在轨道区域采集的毫米波雷达数据；

步骤1032：基于轨道空间位置，筛选毫米波雷达数据中的左轨道数据、右轨道数据，并拟合出左轨道、右轨道确定的轨道区域；

步骤1033：对轨道区域内的毫米波雷达数据进行聚类，以确定出毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型、初始障碍物的第三位置。

示例性地，图2示出了一种毫米波雷达轨道识别及目标检测流程图，采用毫米波雷达采集钢铁厂的轨道和轨道内障碍物的相关点云数据；对获取的毫米波雷达数据进行解析，可以是CAN总线数据的形式，可获得Clusters模式报文数据；根据轨道的空间位置关系，筛选Clusters模式报文数据中的左、右铁轨轨道的轨道数据；利用左、右铁轨轨道的轨道数据，采用滑动窗口搜索并拟合左、右轨道位置，识别出轨道区域，从而得到毫米波雷达数据中的轨道位置信息；将在轨道区域中的Clusters模式报文数据进行聚类，利用聚类后数据中的相对距离、角度和速度信息，判断铁轨内障碍物的位置及类别(第三类型、第三位置)。

通过采用毫米波雷达检测轨道前方区域获取具体的障碍物信息，使得本申请的障碍物检测方法不受光照、极端天气的影响，可实现全天候条件下准确的轨道识别和障碍物检测，提高了障碍物检测的适用范围。

在一个实施例中，请参阅图3，步骤140可以包括：步骤141和步骤142。

步骤141：对初始障碍物的第一类型、第二类型、第三类型进行融合，获得轨道目标位置区域内的目标障碍物类型；

步骤142：对图像数据中的第一数量、激光雷达数据中的第二位置、毫米波雷达数据中的第三位置进行融合，获得轨道目标位置区域内的目标障碍物数量、目标障碍物位置。

示例性地，如图3所示，融合算法过程可对两种信息进行分别融合，轨道位置信息融合和初始障碍物信息(障碍物数量、位置、类型)融合。初始障碍物的第一类型、第一数量可以通过步骤101中的图像轨道识别及目标检测流程确定，初始障碍物的第二类型、第二位置可以通过步骤102中的激光雷达点云目标检测流程确定，初始障碍物的第三类型、第三位置可以通过步骤103或步骤1031-步骤1033中的毫米波雷达轨道识别及目标检测流程确定。根据工业相机与激光雷达、毫米波雷达在罐车、机车的实际安装位置，标定得到工业相机的内参和外参，进而建立激光雷达、毫米波雷达投影坐标系到图像坐标系的转换关系；分别获取图像、激光点云和毫米波雷达检测到的障碍物类别数据、数量数据、位置数据，通过坐标转换关系将图像、激光点云检测到的障碍物类别数据、数量数据、位置数据转换到毫米波雷达坐标系；根据预设的融合规则，对三种类别数据、一种数量数据、两种位置数据进行融合输出最终的目标障碍物类型、数量、位置。

通过利用多个不同感知传感器检测生成的初始障碍物信息，将各种初始障碍物信息按照一定规则进行融合得到最终的障碍物类型、数量、位置，提高了环境感知系统的冗余度和容错性，同时多种传感器信息数据优势互补，可靠性高，鲁棒性强。

在一个实施例中，请继续参看图3，步骤140还可以包括：步骤141、步骤142和步骤143。

步骤141：判断第一类型、第二类型、第三类型是否相同；

步骤142：若第一类型、第二类型、第三类型相同，在转换到毫米波雷达坐标系下将第一类型、第二类型、第三类型中的任意一种初始障碍物类型确定为目标障碍物类别、将图像数据中的第一数量确定为目标障碍物数量、以及将激光雷达数据中的第二位置确定为目标障碍物位置；

步骤143：若第一类型、第二类型、第三类型不相同，将毫米波雷达数据中的第三类型、第三位置确定为目标障碍物类型、目标障碍物位置。

示例性地，对于障碍物信息的类型融合：初始障碍物的第一类型可以通过步骤101中的图像轨道识别及目标检测流程确定，初始障碍物的第二类型可以通过步骤102中的激光雷达点云目标检测流程确定，初始障碍物的第三类型可以通过步骤103或步骤1031-步骤1033中的毫米波雷达轨道识别及目标检测流程确定。通过构建的坐标转换关系将图像、激光点云检测到的障碍物类别数据、数量数据、位置数据转换到毫米波雷达坐标系下，在毫米波雷达坐标系下，判断三种感知传感器检测的障碍物类型是否完全相同，例如：三种感知传感器都检测出前方轨道区域都存在人、车，即三种感知传感器检测的障碍物类别相同，则融合结果输出该障碍物类别为人、车；若三种感知传感器检测的障碍物类别不同，例如激光雷达、相机都检测出前方轨道区域都存在人，而毫米波雷达检测出前方轨道区域存在人、车，则融合结果以毫米波雷达检测到的障碍物类别为主，防止在极端天气下图像、激光雷达发生误识别，影响机车、罐车正常的无人化任务。

对于障碍物信息的位置、数量融合：在图像检测障碍物输出结果中，输出有障碍物数量数据；在激光点云检测障碍物输出结果中，输出有障碍物位置数据。以上两种数据在融合过程中，采用障碍物类别融合策略规则：若三个感知传感器检测的障碍物类别相同，融合结果输出障碍物数量(第一数量)和障碍物位置(第二位置)；若三个感知传感器检测的障碍物类别不同，融合结果仅输出最终障碍物位置(第三位置)。

通过利用多个不同感知传感器检测生成的初始障碍物信息，将各种初始障碍物信息根据障碍物类型是否相同的融合规则进行对应不同的融合，进而得到最终的障碍物类型、数量、位置，提高了环境感知系统的冗余度和容错性，同时多种传感器信息数据优势互补，可靠性高，鲁棒性强。

在一个实施例中，步骤120可以包括：步骤121、步骤122、步骤123和步骤124。

步骤121：将图像数据中轨道区域的像素点投影到毫米波雷达坐标系中；

步骤122：基于图像数据中的轨道区域，确定三维融合空间区域的预设阈值；预设阈值包括：轨道宽度阈值，轨道高度阈值、轨道长度阈值；

步骤123：根据与图像数据同一时刻采集的毫米波雷达数据，在三维融合空间区域拟合出轨道融合区域；

步骤124：基于轨道融合区域内的轨道数据，确定轨道目标位置。

示例性地，对于轨道位置信息的融合：根据工业相机与激光雷达、毫米波雷达在罐车、机车的实际安装位置，标定得到工业相机的内参和外参，同时建立毫米波雷达投影坐标系到图像坐标系的转换关系；获取图像识别到的轨道数据，通过坐标转换关系将轨道的像素点投影到毫米波雷达坐标系，实现从相机坐标系到毫米波雷达坐标系的转换；由于图像是二维数据，需设置构建轨道区域的三维空间区域的预设阈值，该预设阈值可以包括：根据图像中轨道的像素距离确定轨道宽度阈值，根据机车、罐车等车头实际高度设置的轨道高度阈值，任意设置的轨道长度阈值，利用轨道图像上的坐标，在阈值范围内找出拟实现轨道融合的三维空间区域；获取与轨道图像同一时刻的左、右铁轨轨道的毫米波雷达点云数据，在三维空间区域内根据左、右铁轨轨道的毫米波雷达点云数据拟合得到的左、右轨道位置，基于轨道融合区域内的轨道数据，确定轨道目标位置。

通过将图像数据和毫米波雷达中的轨道位置信息基于障碍物类型是否相同的融合规则进行对应不同的融合，进而得到最终的轨道位置信息，提高了环境感知系统的冗余度和容错性，提高了后续障碍物检测的准确性。

在一个实施例中，步骤124可以包括：步骤1241、步骤1242和步骤1243。

步骤1241：判断图像数据是否为图像采集设备在极端天气下拍摄；

步骤1242：若图像数据为图像采集设备在极端天气下拍摄，则根据轨道融合区域内的毫米波雷达数据中的轨道位置信息，确定轨道目标位置；

步骤1243：若图像数据不为图像采集设备在极端天气下拍摄，则根据轨道融合区域内的图像数据中的轨道位置信息，确定轨道目标位置。

示例性地，在三维空间区域内根据左、右铁轨轨道的毫米波雷达点云数据拟合得到的左、右轨道位置后，若图像数据未受天气影响，毫米波雷达坐标系下融合图像二维铁轨数据，直接将图像数据中的轨道位置信息作为铁轨的左右轨道具体位置；若遇到极端天气影响图像无法识别轨道的情况，毫米波雷达可在极端天气下继续识别出左、右铁轨轨道，直接利用输出左、右铁轨轨道的融合结果，以此保障全天候的轨道识别结果。基于图像数据和毫米波雷达数据，实现了钢厂内铁水运输过程中不受极端天气影响的铁路轨道位置识别，提高了障碍物检测的准确性和可靠性。

请参阅图4，图4为本申请实施例提供的一种障碍物检测装置的示意图。该装置包括：图像采集设备、激光雷达、毫米波雷达以及控制器；该图像采集设备、激光雷达、毫米波雷达与控制器电连接；图像采集设备、激光雷达、毫米波雷达用于获取轨道区域的检测数据；控制器用于根据检测数据确定轨道区域内的轨道位置信息和初始障碍物信息；对图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；以及对图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得轨道目标位置区域内的目标障碍物信息；

其中，检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

示例性地，图像采集设备可以是图4中的工业相机，控制器可以是图4中车载感知处理器。工业相机、激光雷达与车载感知处理器通过以太网建立连接，毫米波雷达通过CAN总线与车载感知处理器建立有线电连接，车载感知处理器放置于车内可对外输出相关信息。感知相机、激光雷达、毫米波雷达安装在罐车、机车行进方向的车前方采集外部信息，通过以太网网线连接车载感知处理器。

在罐车、机车上安装工业相机、激光雷达和毫米波雷达三种感知传感器。工业相机获取罐车、机车前方的图像数据；激光雷达和毫米波雷达获取罐车、机车前方的不同点云数据，按照融合规则处理点云数据和图像数据，融合处理结果，快速、准确、全天候地得到不受极端天气影响的罐车、机车前方轨道内的目标障碍物信息。具体地，如图4中所示的障碍物检测装置可结合本申请第一方面所提供的障碍物检测方法对轨道上的障碍物信息进行检测，也可以结合其他障碍物检测方法实现对轨道上的障碍物信息进行检测。

通过基于工业相机、激光雷达和毫米波雷达，实现了钢厂内铁水运输过程中的铁路轨道识别，同时检测罐车、机车前方轨道内的障碍物。本发明利用多种传感器信息数据优势互补，设计出了适应钢厂全天候生产需要的罐车、机车感知系统，为钢厂铁水运输无人化系统提供了全天候安全、可靠、精准的感知环境。

请参阅图4，图4是电子设备的方框示意图。电子设备300可以包括存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。

上述的存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。

其中，存储器311可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。

上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口314将各种输入/输出装置耦合至处理器313以及存储器311。在一些实施例中，外设接口314，处理器313以及存储控制器312可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元315用于提供给用户输入数据。所述输入输出单元315可以是，但不限于，鼠标和键盘等。

上述的显示单元316在电子设备300与用户之间提供一个交互界面(例如用户操作界面)给用户参考。在本实施例中，所述显示单元316可以是液晶显示器或触控显示器。液晶显示器或触控显示器可以对处理器执行所述程序的过程进行显示。

本实施例中的电子设备300可以用于执行本申请实施例提供的各个方法中的各个步骤。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的步骤。

本申请实施例所提供的上述方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：

获取轨道区域的检测数据，并基于所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息；其中，所述检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；所述初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；

对所述图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；

对所述图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息；其中，所述目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

2.根据权利要求1所述的方法，其特征在于，所述获取轨道区域的检测数据，并基于所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息，包括：

获取图像采集设备在轨道区域拍摄的图像数据，基于所述图像数据确定所述图像数据中的轨道位置信息、初始障碍物的第一类型和初始障碍物的第一数量；

获取激光雷达在轨道区域采集的激光雷达数据，基于所述激光雷达数据确定所述激光雷达数据中的初始障碍物的第二类型和初始障碍物的第二位置；

获取毫米波雷达在轨道区域采集的毫米波雷达数据，基于所述毫米波雷达数据确定所述毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型和初始障碍物的第三位置。

3.根据权利要求2所述的方法，其特征在于，所述获取毫米波雷达在轨道区域采集的毫米波雷达数据，基于所述毫米波雷达数据确定所述毫米波雷达数据中的轨道位置信息和初始障碍物类型、初始障碍物位置，包括：

获取毫米波雷达在轨道区域采集的毫米波雷达数据；

基于轨道空间位置，筛选所述毫米波雷达数据中的左轨道数据、右轨道数据，并拟合出左轨道、右轨道确定的轨道区域；

对所述轨道区域内的毫米波雷达数据进行聚类，以确定出所述毫米波雷达数据中的轨道位置信息和初始障碍物的第三类型、初始障碍物的第三位置。

4.根据权利要求2所述的方法，其特征在于，所述对所述图像数据、激光雷达数据、毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息，包括：

对初始障碍物的所述第一类型、第二类型、第三类型进行融合，获得所述轨道目标位置区域内的目标障碍物类型；

对所述图像数据中的第一数量、激光雷达数据中的第二位置、毫米波雷达数据中的第三位置进行融合，获得所述轨道目标位置区域内的目标障碍物数量、目标障碍物位置。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

判断所述第一类型、第二类型、第三类型是否相同；

若所述第一类型、第二类型、第三类型相同，在转换到毫米波雷达坐标系下将所述第一类型、第二类型、第三类型中的任意一种初始障碍物类型确定为目标障碍物类别、将所述图像数据中的第一数量确定为目标障碍物数量、以及将激光雷达数据中的第二位置确定为目标障碍物位置；

若所述第一类型、第二类型、第三类型不相同，将毫米波雷达数据中的第三类型、第三位置确定为目标障碍物类型、目标障碍物位置。

6.根据权利要求1所述的方法，其特征在于，所述对所述图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置，包括：

将所述图像数据中轨道区域的像素点投影到毫米波雷达坐标系中；

基于所述图像数据中的轨道区域，确定三维融合空间区域的预设阈值；所述预设阈值包括：轨道宽度阈值，轨道高度阈值、轨道长度阈值；

根据与所述图像数据同一时刻采集的毫米波雷达数据，在所述三维融合空间区域拟合出轨道融合区域；

基于所述轨道融合区域内的轨道数据，确定轨道目标位置。

7.根据权利要求6所述的方法，其特征在于，所述基于所述轨道融合区域内的轨道数据，确定轨道目标位置，包括：

判断所述图像数据是否为图像采集设备在极端天气下拍摄；

若所述图像数据为图像采集设备在极端天气下拍摄，则根据所述轨道融合区域内的毫米波雷达数据中的轨道位置信息，确定轨道目标位置；

若所述图像数据不为图像采集设备在极端天气下拍摄，则根据所述轨道融合区域内的图像数据中的轨道位置信息，确定轨道目标位置。

8.一种障碍物检测装置，其特征在于，所述装置包括：图像采集设备、激光雷达、毫米波雷达以及控制器；所述图像采集设备、激光雷达、毫米波雷达与所述控制器电连接；

所述图像采集设备、激光雷达、毫米波雷达用于获取轨道区域的检测数据；

所述控制器用于根据所述检测数据确定所述轨道区域内的轨道位置信息和初始障碍物信息；对图像数据和毫米波雷达数据进行轨道位置信息融合，获得轨道目标位置；以及对所述图像数据、激光雷达数据以及毫米波雷达数据进行初始障碍物信息融合，获得所述轨道目标位置区域内的目标障碍物信息；

其中，所述检测数据包括：图像数据、激光雷达数据以及毫米波雷达数据；

所述初始障碍物信息包括：初始障碍物类型、初始障碍物数量以及初始障碍物位置；

所述目标障碍物信息包括：目标障碍物类型、目标障碍物数量、目标障碍物位置。

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。

Images