CN109765571B - 一种车辆障碍物检测系统及方法 - Google Patents

Abstract

本发明提供一种车辆障碍物检测系统及方法，所述车辆障碍物检测方法包括，利用激光雷达单元对所述车辆前方预设范围的场景进行扫描；利用图像识别单元对所述车辆前方的特定影像(包括人的影像)的特征进行识别；根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态。利用本发明，可以使得车辆在低照度环境下的行车安全得以保证。

Description

一种车辆障碍物检测系统及方法

技术领域

本发明涉及车辆障碍物检测技术领域，特别是一种车辆障碍物检测系统及方法。

背景技术

矿井机车无人驾驶机车系统的研发和运行，有助于降低因调度、操作失误而发生运输事故的概率；同时，矿井无人机车系统的使用，能减少井下人员的数量，可以大幅度减少运输事故发生，从而也能减少因其它矿井事故引发的伤亡人数，具有巨大的经济效益和社会效益。

实现无人驾驶机车系统安全运行的一个重要前提是：机车能够自动识别行驶前方的各类障碍，包括行人，现有技术中识别障碍物的方法是视频图像识别，通过对比视频中的元素与典型障碍物特征进行比对从而识别，但矿井下低照度的照明特点会大大削弱图像识别的效率，同时由于其它非人员类的障碍物，种类太多，特征又各异，容易引起误判，避障检测效果差。

因此，开发一种避障检测效果良好的车辆障碍物检测系统及方法，成为本领域技术人员亟需解决的一个重要技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车辆障碍物检测系统及方法，用于解决现有技术中车辆障碍物检测系统中在低照度环境下避障检测效果差的技术问题。

为实现上述目的及其他相关目的，本发明提供一种车辆障碍物检测方法，所述车辆障碍物检测方法包括以下步骤：

利用激光雷达单元对所述车辆前方预设范围的场景进行扫描；

利用图像识别单元对所述车辆前方的特定影像的特征进行识别；

根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态。

可选地，根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制车辆的运行状态的步骤包括：当所述图像识别单元未识别到所述特定影像的特征时，则对所述激光雷达单元的扫描结果进行分析，以判别所述车辆的前方是否存在障碍物，用以控制所述车辆的运行状态。

可选地，当所述车辆的前方存在障碍物时，则判断所述车辆当前行车位置是否处于直道区域。

可选地，当所述车辆当前行车位置处于直道区域时，计算出所述障碍物到所述车辆的运行轨道的垂直距离；当所述障碍物到所述车辆的运行轨道的垂直距离大于等于预设安全距离时，控制所述车辆正常行车，同时进行预警；当所述障碍物到所述车辆的运行轨道的垂直距离小于预设安全距离，则控制所述车辆安全制动停车。

可选地，当所述车辆当前行车位置未处于直道区域时，则控制所述车辆进行安全制动停车。

可选地，根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制车辆的运行状态的步骤包括，当所述图像识别单元识别到所述特定影像的特征时，则控制所述车辆进行安全制动停车。

可选地，所述特征影像包括人的影像。

为实现上述目的及其他相关目的，本发明还提供一种车辆障碍物检测系统，所述车辆障碍物检测系统包括：

激光雷达单元，安装在所述车辆上，用以对所述车辆前方预设范围的场景进行扫描；

图像识别单元，安装在所述车辆上，用以对所述车辆前方的特定影像的特征进行识别；以及

车载控制单元，安装于所述车辆上，分别与所述激光雷达单元和所述图像识别单元通信连接，所述车载控制单元根据所述激光雷达单元的扫描数据和图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态。

可选地，所述车辆障碍物检测系统还包括换机，所述交换机与所述激光雷达单元和所述图像识别单元通过所述交换机与所述车载控制单元通信连接。

可选地，所述图像识别单元包括摄像头和图像处理模块；所述摄像头与所述图像处理模块相连；所述图像处理模块与所述车载控制单元相连，所述图像处理模块将图像识别结果上报给车载控制单元。

可选地，所述摄像头包括一远焦摄像头和一近焦摄像头，所述远焦摄像头和所述近焦摄像头安装固定在所述车辆的车头正前方。

可选地，所述激光雷达单元包括二维单线雷达和二维多线雷达。

可选地，所述二维单线雷达安装在车辆正前方，所述二维单线雷达与地面的距离介于20cm-30cm之间。

利用本发明，可以使得车辆在低照度环境下的行车安全得以保证；

利用本发明，可以适用于低照度环境下矿井无人机车运行前方的障碍物检测，使得无人机车运输过程中的行车安全得以保证，提高了矿井无人机车运输的效率，同时使得矿井下运输作业人员得以减少，实现“减员增效”。

附图说明

图1显示为本发明的车辆障碍物检测系统的结构示意图。

图2显示为本发明的车载控制单元障碍判定处理逻辑流程图。

图3显示为本发明的车辆障碍物检测系统中的车载控制单元以1m步进记录激光雷达单元的测距距离处理过程的示意图。

图4显示为本发明的机车处于直道时，激光雷达单元扫描巷道时障碍物处于安全警戒线之内的示意图。

图5显示为本发明的机车处于直道时，激光雷达单元扫描巷道时障碍物处于安全警戒线之外的示意图。

元件标号说明

10 车载控制单元

20 激光雷达单元

30 图像识别单元

40 交换机

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1-5。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明提供一种车辆障碍物检测系统，所述车辆障碍物检测系统包括，安装在所述车辆上的车载控制单元10，激光雷达单元20以及图像识别单元30，其中，所述激光雷达单元20和所述图像识别单元30分别与所述车载控制单元10通信连接。本发明的车辆障碍物检测系统即可应用于普通车辆，例如汽车在低照度的环境下的障碍物检测，也可应用于机车，例如矿井机车(单轨机车，多轨机车)在低照度环境下(例如巷道中)的障碍物检测，所述矿井机车又可分为无人(驾驶)机车和有人(驾驶)机车。

下文将所述车辆障碍物检测系统应用于矿井机车为例进行说明。

激光雷达单元20是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对障碍物等目标进行探测。

在本发明中，所述激光雷达单元20用于完成对机车前方一定视角范围内的场景(例如二维场景，或者三维场景)扫描并将扫描所得距离信息上报车载控制单元10，所述激光雷达单元20包括但不限于二维单线雷达，二维多线雷达和三维雷达，可以根据实际的应用环境以及成本考虑来选择。

在一实施例中，所述激光雷达单元20可采用二维单线雷达，所述二维单线雷达安装在机车的正前方。所述二维单线雷达与地面的距离可根据实际情况进行调整，作为示例，所述二维单线雷达与地面的距离介于20cm-30cm之间。

所述二维单线雷达对所述机车前方预设范围的场景进行扫描时，有扫描角度和扫描角度分辨率两项主要参数，例如扫描角度180度，分辨率0.5度即为雷达扫描角度为从机车正右方(正左方)为扫描0度角，逆时针旋转(顺时针)一定角度扇形面，每相邻两条扫描线束的夹角为0.5度。扫描扇形面角度和角度分辨率可调节，扫描角度越大所能监测的前方范围越大，角度分辨率越小，同等距离下可监测的障碍物范围越小，但是雷达上报的数据量也会越大，可以根据车载控制单元10的处理能力及应用场景确定。二维单线雷达工作时会获得每个扫描线束所返回的最远前方障碍距离，一个扫描周期后可将这些距离数据上报到车载控制单元10供分析。

所述图像识别单元30可由专门的特征识别算法来针对机车前方的特定影像(例如人影像)的特征(例如佩戴安全帽、照明矿灯、特定工作服等)进行识别并将结果上报车载控制单元10；在一实施例中，所述图像识别单元30包括摄像头和图像处理模块，所述摄像头与所述图像处理模块相连，所述图像处理模块通过所述车载控制单元10相连，所述图像处理模块用于识别所述摄像头获取的影像中的特定影像的特征并通过以太网通信接口将图像识别结果上报给车载控制单元10。

作为示例，所述摄像头包括一远焦摄像头和一近焦摄像头，所述远焦摄像头和所述近焦摄像头安装固定在所述机车的车头正前方，所述远焦摄像头用于获取机车前方较远距离的影像，所述近焦摄像头用于获取机车前方较近距离影像。

以矿井内的低照度环境为例，由于矿井内能见度比较低，为了能提高摄像头的获取的影像的质量，所述远焦摄像头和所述近焦摄像头可采用低照度的摄像头，当然也可通过在机车上增加照明设施来辅助摄像头以提高摄像头获取的影像的质量。

需要说明的是，在一实施例中，为了降低误识别率，所述图像识别单元30可只针对特定影像(例如人员影像、动物影像或车辆影像)的特征进行识别，例如可根据人员影像中的一些特征，如佩戴安全帽、照明矿灯、特定工作服来确定车辆前方是否有人，而不对其它障碍物进行识别。

所述车载控制单元10(内嵌有相应的处理软件)接收所述激光雷达单元20扫描所得距离信息合特殊的矿井巷道模型(巷道的基准面数据，详见下文相关部分描述)进行算法分析，以判别障碍物存在与否，并结合图像识别单元30的识别结果做一个融合判断，给出适当的行车预警和控制，详见下文中车辆障碍物检测方法部分。

在一实施例中，所述车辆障碍物检测系统还包括交换机，所述激光雷达单元20和所述图像识别单元30通过所述交换机40与所述车载控制单元10通信连接，为了提高数据通信的速度，所述交换机40例如可采用千兆以太网交换机；当然也可以采用其它合适传输速率的以太网交换机，或者FDDI交换机、ATM交换机和令牌环交换机。

需要说明的是，对于驾驶员驾驶的普通机车也可采用本发明的车辆障碍物检测系统来辅助驾驶员来控制机车的运行状态。

本发明提供一种利用上述车辆障碍物检测系统进行障碍物检测的方法，具体包括以下步骤，利用激光雷达单元20对所述车辆前方预设范围的场景进行扫描；利用图像识别单元30对所述车辆前方的特定影像的特征进行识别；根据所述激光雷达单元20的扫描数据并结合图像识别单元30的识别结果做融合判断，用以控制所述车辆的运行状态。利用本发明，可以使得车辆在低照度环境下的行车安全得以保证。

下面将以矿井机车，例如无人机车在巷道中运行时的障碍物检测方法为例阐述本发明的技术方案。

在进行障碍物检测前，需要先获取机车运行巷道的基准面数据，获得所述巷道的基准面数据的步骤包括，所述车载控制单元10在开启所述激光雷达单元20的情况下，控制所述机车在无人无障碍物的所述巷道中运行，录入基准雷达扫描数据，并将所述基准雷达扫描数据与对应行车过程中的行车位置数据进行一一映射，并将这种映射关系存储起来作为今后整个行车进路下任意位置所述巷道的基准面数据。

具体地，录入的基准面数据从发车点开始，以一定步进为单位，每隔一个步进偏移都有一对行车位置点和雷达扫描数据的映射，然后通过一定的算法，可以得出整个行车进路下从发车点到进站点间任意位置的基准面数据。

作为示例，如图3所示，在无人机车正式投入线路运营前，车载控制单元10会搭载激光雷达单元20先试运行，主要就是记录在无人无障碍物的巷道中的行车进路的雷达扫描数据，记录这些雷达扫描数据是以1m为步进单位，每隔1m记录下所有行车进路的雷达扫描距离数据(每个扫描线束所返回的最远前方巷道距离)，这样得到整个行车进路下一系列离散点的基准面数据。由于井下巷道环境的相对单一性，其在较短路程内(1个步进路程)的雷达扫描距离也不具有很大的突变性，因此可以借助相邻两个离散点位置基准面雷达距离数据来推算出这两个位置点间任意一点的基准面数据。这样，可以得到整个行车进路下任一位置点的基准面数据。

作为一个非限定性示例，假设雷达扫描角度为60度，扫描分辨率为0.5度，也就是说在一个扫描周期内共121个扫描线束。以1m为步进，记录一组机车的位置信息及其对应扇形扫描线束的距离数据如表1所示：

表1一组机车位置信息及其对应扇形扫描线束距离数据

注：位置单位：米；测距单位：厘米。

如表1，在位置偏移0m和1m下，第0个扫描点的测距由500变成510，对于矿井下的封闭巷道环境，其环境相对单一，在1m步进长的线段上可以近似认为该扫描角度下的距离是线性变化的。

因此根据上表中50组离散点的雷达距离数据，可以推算出这50m区间内任意一点的参考距离数据。如1.2m位置处，根据线性关系，可以根据1m和2m处实测的雷达距离数据510和520来估算出1.2m处的参考距离应该是514，也即1.2m处的基准面距离数据。

需要指出的是，存储的映射数据的位置步进越小，上述处理误差越小，但是步进越小，同一线路下的基准面数据量越大，给存储和计算也提出了更高的要求，可根据实际情况确定位置步进。

线路正式运营之后，无人机车行车时，进行障碍物检测包括以下步骤：

首先，无人机车行车过程中，激光雷达单元20对所述机车前方预设范围的场景进行扫描，并将雷达扫描数据上报车载控制单元10，图像识别单元30对所述车辆前方的人影像(特定影像)的特征进行识别，并将识别结果上报给车载控制单元10。

具体地，激光雷达单元20对所述机车前方预设范围的场景进行扫描，调控激光雷达的扫描角度和扫描角度分辨率，激光雷达工作时会获得每个扫描线束所返回的最远前方障碍距离，一个扫描周期后可将这些距离数据上报到车载控制单元10供分析，并将雷达扫描数据上报车载控制单元10，所述机车在一个位置点完成机车前方预设范围(扫描角度)的场景扫描为一个扫描周期。

具体地，所述图像识别单元30包括摄像头和图像处理模块。作为示例，所述摄像头包括一远焦摄像头和一近焦摄像头，先利用所述远焦摄像头和所述所述近焦摄像头分别获取机车前方较远距离和较近距离影像，然后所述图像处理模块对获取的影像中的人的影像的特征进行识别，例如根据人影像中的一些特征，如佩戴安全帽、照明矿灯、特定工作服来确定车辆前方是否有人，并并通过以太网通信接口将图像识别结果上传到车载控制单元10中。

接着，所述车载控制单元10根据接收到的所述激光雷达单元20的扫描数据和巷道的基准面数据进行分析，以判别所述机车的前方是否存在障碍物，并结合图像识别单元30的识别结果做融合判断；所述车载控制单元10根据所述融合判断结果来控制所述机车的运行状态。

障碍物的判定方法如下：车载控制单元10接收激光雷达单元20的扫描数据(例如，测距数据)并根据当前实时机车位置来推算该位置的基准面数据，并将当前实施机车位置的测距数据与该位置的基准面数据作对比分析，进而来判断所述机车当前位置的前方是否存在障碍物。作为示例，在机车正常行车时，实时获取机车当前位置的雷达扫描数据(例如，测距数据)，再结合机车当前所在的位置信息推算出机车当前位置的基准面数据，并将机车当前位置实时扫描数据和基准面数据进行一一对比，若当前实时扫描数据小于基准面数据超过一定阈值时，则判定当前位置前方有障碍物(包括人)，反之，若当前实时扫描数据和基准面数据相差不大，换句话说，当前实时扫描数据和基准面数据的差值处于一定阈值范围时，则判定当前位置前方无障碍物(包括人)。

作为示例，如图4所示，OC为该扫描线束下基准面数据，OB为实际行车下该扫描线束测量数据，在如果OB会明显小于OC，则说明机车当前位置的前方有障碍物。假如如果OB和OC相差不大，则判断机车当前位置的前方没有障碍物。

如图2所，示给出了车载控制单元10障碍判定处理逻辑流程图，从图2中可以得出融合分析判断的总体思路为：

若所述图像识别单元30识别到所述机车的前方有人时，则无论当前激光雷达的扫描(检测)运算结果如何，所述车载控制单元10控制所述机车进行安全制动停车，这是因为无人机车运营时，整个巷道封闭管理，不允许有人闯入，因此只要检测机车前方有人，都视为紧急情况，需制动停车处理。

当所述图像识别单元30未识别到所述机车的前方有人时，则看所述车载控制单元10对所述雷达数据的分析结果，若未检测到任何障碍物，则所述车载控制单元10控制机车安全行车；若检测到所述机车当前位置的前方存在障碍物，则根据机车当前的位置来结合巷道地图来判断所述机车当前行车位置是否处于直道区域，根据判定结果做出相应的处理结果。

当所述图像识别单元30未识别到所述机车的前方有人且所述机车当前行车位置处于弯道区域时，则所述车载控制单元10控制所述机车进行安全制动停车。

当所述图像识别单元30未识别到所述机车的前方有人且所述机车当前行车位置处于直道区域时，为了提高行车效率避免一些不必要的制动停车，所述车载控制单元10根据三角形投影法计算出所述障碍物到轨道的垂直距离，当所述障碍物到轨道的垂直距离大于等于预设安全距离-也即机车前方的障碍物在轨道两侧安全距离以内时，所述车载控制单元10控制所述机车正常行车，同时进行预警(例如鸣笛等)，以减少此类情形的不必要的制动停车；当所述障碍物到轨道的垂直距离小于预设安全距离，则所述车载控制单元10控制所述机车安全制动停车。

作为示例，图4和图5分别显示为当所述图像识别单元30未识别到所述机车的前方有人且所述机车当前行车位置处于直道区域时，激光雷达单元20扫描巷道时障碍物处于和不处于安全警戒线之内的示意图。如图4所示，线段OB为扫描线束实测的障碍物距离，基准距离线段为OC，OB小于基准距离OC，且OB到轨道的垂直距离OA小于预设安全距离x₀，说明障碍物在安全警戒线之内，需要实施安全制动停车。但对于图5所示情形，虽然扫描距离OB也小于基准距离OC，但是OB到轨道的垂直距离OA大于预设安全距离x₀，说明障碍物在安全警戒线之外，此类情况可以不制动，但加预警行车。

综上所述，本发明提供一种车辆障碍物检测系统及方法，所述车辆障碍物检测方法包括，利用激光雷达单元对所述车辆前方预设范围的场景进行扫描；利用图像识别单元对所述车辆前方的特定影像的特征进行识别；根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态。利用本发明，基于激光雷达和图像识别融合的障碍物检测系统及方法可以适用于低照度环境下矿井无人车辆障碍检测，使得矿井下运输作业人员得以减少；同时，本发明的障碍物检测系统具备的障碍检测功能使得车辆运输过程中的行车安全得以保证，总体提高了矿井车辆运输的效率，实现“减员增效”。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种车辆障碍物检测方法，其特征在于，包括：

利用激光雷达单元对所述车辆前方预设范围的场景进行扫描；

利用图像识别单元对所述车辆前方的特定影像的特征进行识别，所述特定影像为人员影像，所述特定影像的特征包括安全帽、照明矿灯以及特定工作服；

根据所述激光雷达单元的扫描数据并结合图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态：当所述图像识别单元识别到所述特定影像的特征时，则控制所述车辆进行安全制动停车；当所述图像识别单元未识别到所述特定影像的特征时，则根据所述激光雷达单元的扫描数据和巷道基准面数据来分析判别所述车辆的前方是否存在障碍物；

当所述车辆的前方不存在障碍物时，则控制所述车辆安全行车；当所述车辆的前方存在障碍物时，则判断所述车辆当前行车位置是否处于直道区域；当所述车辆当前行车位置处于直道区域时，计算出所述障碍物到所述车辆的运行轨道的垂直距离；当所述障碍物到所述车辆的运行轨道的垂直距离大于等于预设安全距离时，控制所述车辆正常行车，同时进行预警；当所述障碍物到所述车辆的运行轨道的垂直距离小于预设安全距离，则控制所述车辆安全制动停车；

其中，所述车辆为无人矿井机车。

2.一种车辆障碍物检测系统，其特征在于，包括：

激光雷达单元，安装在所述车辆上，用以对所述车辆前方预设范围的场景进行扫描；

图像识别单元，安装在所述车辆上，用以对所述车辆前方的特定影像的特征进行识别，所述特定影像为人员影像，所述特定影像的特征包括安全帽、照明矿灯以及特定工作服；以及

车载控制单元，安装于所述车辆上，分别与所述激光雷达单元和所述图像识别单元通信连接，所述车载控制单元根据所述激光雷达单元的扫描数据和图像识别单元的识别结果做融合判断，用以控制所述车辆的运行状态；当所述图像识别单元识别到所述特定影像的特征时，则控制所述车辆进行安全制动停车；当所述图像识别单元未识别到所述特定影像的特征时，则根据所述激光雷达单元的扫描数据和巷道基准面数据来分析判别所述车辆的前方是否存在障碍物；若未检测到存在障碍物，则控制所述车辆安全行车；若检测到存在障碍物，则判断所述车辆当前行车位置是否处于直道区域；当所述车辆当前行车位置处于直道区域时，计算出所述障碍物到所述车辆的运行轨道的垂直距离；当所述障碍物到所述车辆的运行轨道的垂直距离大于等于预设安全距离时，控制所述车辆正常行车，同时进行预警；当所述障碍物到所述车辆的运行轨道的垂直距离小于预设安全距离，则控制所述车辆安全制动停车；

其中，所述车辆为无人矿井机车。

3.根据权利要求2所述的车辆障碍物检测系统，其特征在于，所述车辆障碍物检测系统还包括交换机，所述交换机与所述激光雷达单元和所述图像识别单元通过所述交换机与所述车载控制单元通信连接。

4.根据权利要求2所述的车辆障碍物检测系统，其特征在于，所述图像识别单元包括摄像头和图像处理模块；所述摄像头与所述图像处理模块相连；所述图像处理模块与所述车载控制单元相连，所述图像处理模块将图像识别结果上报给车载控制单元。

5.根据权利要求4所述的车辆障碍物检测系统，其特征在于，所述摄像头包括一远焦摄像头和一近焦摄像头，所述远焦摄像头和所述近焦摄像头安装固定在所述车辆的车头正前方。

Images