CN115985109B - 一种无人驾驶矿车环境感知方法和系统 - Google Patents

Abstract

本申请针对现有技术中对点云数据进行环境感知时时延较大，且没有参考速度对时延影响的情况，在对激光雷达采集的点云数据进行环境感知时，将所述点云数据根据距离的不同划分成若干个点云数据片段，达到了环境感知准确度与时延的平衡；为了增加上述方法的适用性，根据无人驾驶矿车的速度不同，将点云数据划分为不同数量的片段，同时，当无人驾驶矿车速度较快时，划分的点云片段较多，使得时延最小，当无人驾驶速度较慢时，划分的点云片段较少，避免遗漏过多的有用信息，使得上述方法的适用性更强。

Description

一种无人驾驶矿车环境感知方法和系统

技术领域

本发明属于无人驾驶技术领域，尤其涉及一种无人驾驶矿车环境感知方法和系统。

背景技术

现如今，劳动力成本越来越贵，致使矿场运营成本逐年增加，目前，招聘难喝成本高成了矿场面临的严重的问题，据统计，我国露天矿山使用的百吨级以上矿用自卸卡车超过2000台，按照劳动法规定每周工作不超40小时计算，每台卡车按照配备4.2名司机计算，全国2000辆车需要司机为8400人。由于大多矿山均远离市区，加之矿区运输工作环境恶劣，且现有司机老龄化严重，社会人员从业意愿低，即便招工培养出徒也需要一定的周期，导致矿车司机非常紧缺，基于此，大力发展矿车无人驾驶技术具有重要的现实意义。

作为无人驾驶技术的一个重要研究分支，无人驾驶车辆的环境感知总体技术流程如图1所示，无人驾驶车辆集感知、决策于一体，可以利用车辆中配备的感知传感器来获取车辆信息参数以及驾驶环境信息、周边障碍物信息，并通过特定算法对传感器收集的信息进行分析处理，以从数量繁杂的信息中获取决策所需的有效信息，最后依据环境数据的分析结果(即环境感知结果)做出相应的决策规划，继而实现车辆运动控制。这一套完备的信息处理以及传递过程使得无人驾驶车辆具有自主行驶的能力。

现有技术中对无人驾驶车辆的环境感知方法进行了深入的研究，例如，公开号为（CN113884090A）的中国发明专利中提出了一种智能平台车环境感知系统，包括设置在车辆本体上的相机、激光雷达、毫米波雷达、GPS定位系统、超声波雷达以及惯性导航系统，其中：相机用于车道线、交通标示牌、红绿灯以及车辆、行人检测；激光雷达用于与相机融合3D场景识别；毫米波雷达用于辅助场景识别；超声波雷达用于识别车辆四周近距离障碍物；GPS定位系统用于定位；惯性导航系统用于高精度地图建模。本发明解决了智能车感知能力不足与传感器价格昂贵的矛盾，使智能汽车可以利用更低的成本达到较好的感知能力；然而，上述模型仅考虑到了无人驾驶车辆的成本，而无人驾驶车辆由于对时延有极高的要求，上述方法并未考虑如何去减小无人驾驶矿车感知环境和决策的时延，也没有考虑无人驾驶车速不同时，对时延的要求不同。

发明内容

本发明要解决的技术问题是针对上述技术方案的不足，提供一种无人驾驶矿车环境感知方法和装置，在对激光雷达采集的点云数据进行环境感知时，将所述点云数据根据距离的不同划分成若干个点云数据片段，距离无人驾驶矿车最近的点云数据片段采用精确的模型获取精细的信息，距离无人驾驶矿车最远的点云数据片段采用响应快的模型获取粗略信息，从而，减少了模型运算的时延，达到了环境感知准确度与时延的平衡，同时，为了增加上述方法的适用性，根据无人驾驶矿车的速度不同，将点云数据划分为不同数量的片段，使得上述方法的实用性更强。

根据本发明的一个方面，本申请请求保护一种无人驾驶矿车环境感知方法，包括以下步骤：

步骤1：利用无人驾驶矿车的激光雷达传感器实时采集环境数据；

步骤2：将所述步骤1获取的实时环境数据上传到云端服务器；

步骤3：所述云端服务器对所述实时环境数据进行预处理操作；

步骤4：所述云端服务器根据所述无人驾驶矿车行驶速度将所述步骤3获得的点云数据分成若干段；其中，所述点云数据按照与所述无人驾驶矿车的距离以及无人驾驶矿车的行驶速度不同划分为不同数量的等距区段，然后对每段点云数据采用不同的环境感知模型进行环境感知；

步骤5：根据所述步骤4的环境感知结果对所述无人驾驶矿车行走参数进行决策。

进一步的，所述步骤1中，对多个激光雷达传感器分别从多个方位进行环境感知，从而得到更加丰富和立体的环境数据。

进一步的， 所述步骤2中，为减小传输时延，采用5G通讯技术或边缘通讯节点实现所述实时环境数据的上传。

进一步的， 所述步骤3中，所述预处理操作具体包括将所述实时环境数据转换成点云数据，并对所述点云数据进行滤波操作。

进一步的，采用卡尔曼滤波方式去除点云数据中不完整和抖动的数据。

进一步的，所述步骤4中，所述无人驾驶矿车的速度对点云数据分段数量S的影响公式如下表示：

进一步的，当所述无人驾驶矿车行驶速度为[30km/h，60km/h)区间时，根据和所述激光雷达距离的不同，将所述点云数据等距离分成三段，分别为片段1，片段2和片段3，其中，片段1为距离所述激光雷达传感器的距离在[0,10m）区间内的点云数据，片段2为距离所述激光雷达传感器的距离为[10m，20m)区间内的点云数据，片段3为距离所述激光雷达传感器为[20m，30m]区间内的点云数据，对所述片段1采用最高准确度的环境感知模型以期获得最多的细节信息，对所述片段2采用处理时间居中且准确度居中的环境感知模型以期获得较多的细节信息，对所述片段3采用响应灵敏的环境感知模型获取该片段的粗略环境感知信息。

进一步的，当所述无人驾驶矿车行驶速度为[60km/h，120km/h)区间时，根据和所述激光雷达距离的不同，将所述点云数据等距离分成5段，分别为片段1-5，其中，所述片段1为距离所述激光雷达传感器的距离在[0,6m）区间内的点云数据，所述片段2为距离所述激光雷达传感器的距离为[6m，12m)区间内的点云数据，所述片段3为距离所述激光雷达传感器为[12m，18m）区间内的点云数据，所述片段4为距离所述激光雷达传感器为[18m，24m）区间内的点云数据，所述片段5为距离所述激光雷达传感器为[24m，30m]区间内的点云数据。

进一步的，所述步骤4具体包括：对不同片段的点云数据采用不同数量卷积层的卷积神经网络模型进行环境感知。

另外一个方面，本申请还请求保护一种无人驾驶矿车环境感知的系统，包括：

激光雷达传感器，实时采集环境数据；

传输模块，用于将所述激光雷达传感器实时采集的环境数据上传到云端服务器；

云端服务器，用于执行上述任一项所述的无人驾驶环境感知方法，得到环境感知信息。

基于上述技术方案，本申请提供的一种无人驾驶矿车的数据分级上传方法及装置，具有如下技术效果：

1、在对激光雷达采集的点云数据进行环境感知时，将所述点云数据根据距离的不同划分成若干个点云数据片段，距离无人驾驶矿车最近的点云数据片段采用精确的模型获取精细的信息，距离无人驾驶矿车最远的点云数据片段采用响应快的模型获取粗略信息，从而，相对于对整个点云数据采用精确模型进行环境感知时，减少了模型运算的时延，另外，由于对距离无人驾驶矿车最近的点云片段采用了精确的感知模型进行了运算，得到的感知数据更为细节和精确，这部分感知数据对无人驾驶的决策影响最大，因此，也保证了环境感知的准确度；也就是说达到了环境感知准确度与时延的平衡；

2、为了增加上述方法的适用性，根据无人驾驶矿车的速度不同，将点云数据划分为不同数量的片段，当无人驾驶矿车速度较快时，划分的点云片段较多，使得时延最小，当无人驾驶速度较慢时，划分的点云片段较少，避免遗漏过多的有用信息，使得，上述方法的适用性更强。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请现有技术中无人驾驶车辆的环境感知总体技术流程图；

图2为本申请实施例中提供的无人驾驶矿车环境感知方法流程图；

图3为本申请实施例中提供的点云数据的不同片段示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。

在本实施例的实例中，本发明提供了由一个或多个激光雷达传感器产生的点云数据用于进行无人驾驶场景的环境感知的方法和系统，在下面描述的示例中，本申请描述了用于从由一个或多个激光雷达传感器产生的点云数据执行环境感知技术的技术和系统，在本申请的上下文中，环境感知技术可以包括为矿山运输作业道路的检测，对行驶前方对象的检测和/或分中的一个或多个，通过感知的环境信息，无人驾驶矿车的控制系统可对该无人驾驶矿车的行走参数进行控制。

如图2所示，一种无人驾驶矿车的环境感知方法，包括：

步骤1：利用无人驾驶矿车的激光雷达传感器实时采集环境数据；

由于矿场运输道路大多为非结构化道路，路灯较少，扬尘较多，工作环境视野较差，导致车载摄像头传感器等在环境感知方面程度较差，可能存在无法准确感知路况信息的情况从而影响无人驾驶矿车的决策，而，激光由于穿透性强，分辨率高且能够获取高精度的检测图像，因此，本申请主要采用激光雷达作为矿场环境感知的主传感器；更近一步地，所述激光雷达传感器一般为多个，在本实施例中，出于论述的便利性，以单个激光雷达传感器进行论述，在具体进行环境感知时，可以对多个激光雷达传感器分别从多个方位进行环境感知，从而得到更加丰富和立体的环境数据；

步骤2：将所述步骤1获取的实时环境数据上传到云端服务器；

一般地，环境感知需要用到复杂的数学模型进行计算，而车载计算机由于车辆成本的限制，在运行复杂的数学模型方面并不擅长，因此，本申请将获取的实时环境数据上传到云端服务器，云端服务器配置高，可以再较短的时间内通过模型运算进行环境感知；具体地，为减小传输时延，采用5G通讯技术或边缘通讯节点实现所述实时环境数据的上传；

步骤3：所述云端服务器对所述实时环境数据进行预处理操作；

具体地，所述预处理操作具体包括将所述实时环境数据转换成点云数据，并对所述点云数据进行滤波操作；

矿场道路一般地属于非结构化道路，道路上都含有碎石，泥土，以及运输车辆经过时洒落的矿石等，无人驾驶矿车在矿场道路上行驶时，晃动和冲击会相对于城市道路这种结构化道路多很多，面对如此的非结构化道路，集成在无人驾驶矿车上的传感器、摄像头、激光雷达等都会因矿车晃动而产生晃动，从而使采集的数据也会随之发生变化，因此，需要对无人驾驶矿车上的传感器进行滤波操作以减少晃动等干扰的影响，更进一步地，本实施例优先采用卡尔曼滤波方式去除点云数据中不完整和抖动的数据；

步骤4：所述云端服务器根据所述无人驾驶矿车行驶速度将所述步骤3获得的点云数据分成若干段；所述点云数据按照与所述无人驾驶矿车的距离以及无人驾驶矿车的行驶速度不同划分为不同数量的等距区段，然后对每段点云数据采用不同的环境感知模型进行环境感知；

当无人驾驶矿车以较快速度行驶时，无人驾驶控制系统对时延的容忍度较低，因此，本申请在对所述点云数据进行分段时，分段数量可适当增加，这样，每个片段包含的点云数据量则会减小，使得对整个点云数据的运算时间更短，但是，这样存在一个弊端，若需要被感知的信息（比如说前方车辆，障碍物）被分在不同的片段在，则在对不同片段进行运算时，该感知信息有可能不能被感知模型识别出，从而影响无人驾驶控制系统的决策，因此，也并不是将所述点云数据分段越多越好，总体上，应该兼顾识别准确和时延的平衡；

具体地，所述无人驾驶矿车的速度对点云数据分段数量S的影响公式如下表示：

示例性地，当所述无人驾驶矿车行驶速度为[30km/h，60km/h)区间时，如图3所示，以所述激光雷达传感器的探测距离为30m举例，根据和所述激光雷达距离的不同，将所述附图3中的点云数据等距离分成三段，分别为片段1，片段2和片段3，其中，片段1为距离所述激光雷达传感器的距离在[0,10m）区间内的点云数据，片段2为距离所述激光雷达传感器的距离为[10m，20m)区间内的点云数据，片段3为距离所述激光雷达传感器为[20m，30m]区间内的点云数据，由于片段1距离所述激光雷达传感器也就是所述无人驾驶矿车距离最近，因此应采用最高准确度的环境感知模型以期获得最多的细节信息，而片段2距离所述激光雷达传感器也就是所述无人驾驶矿车的距离居中，因此应采用处理时间居中且准确度居中的环境感知模型以期获得较多的细节信息，由于片段3距离所述激光雷达传感器也就是所述无人驾驶矿车距离最远，其得到的环境感知结论对无人驾驶矿车的决策影响相较于片段1和片段2的环境感知结论对所述无人驾驶矿车的决策影响较少，因此，其处于减少时延的目的，其优先采用响应灵敏的环境感知模型获取该片段的粗略环境感知信息；

当所述无人驾驶矿车行驶速度为[60km/h，120km/h)区间时，根据和所述激光雷达距离的不同，将所述点云数据等距离分成5段，分别为片段1-5，其中，片段1为距离所述激光雷达传感器的距离在[0,6m）区间内的点云数据，片段2为距离所述激光雷达传感器的距离为[6m，12m)区间内的点云数据，片段3为距离所述激光雷达传感器为[12m，18m）区间内的点云数据，片段4为距离所述激光雷达传感器为[18m，24m）区间内的点云数据，片段5为距离所述激光雷达传感器为[24m，30m]区间内的点云数据；

具体地，本实施例采用设置不同数量卷积层的卷积神经网络模型用于进行环境感知；

卷积神经网络通常由卷积层，激活函数以及池化层组成；卷积层主要采用卷积运算对输入的点云图像进行特征提取，卷积运算可有效提取输入点云图像的特征，在预先确定卷积核的尺寸和步长的基础上，经过卷积操作，利用激活函数进行转换输出特征图，一般地，出于识别准确度的考量，会设置多个卷积层，将上各卷积层的输出作为下一个卷积层的输入，从而实现多次识别，这种操作再特征识别过程中确实提高了识别的准确率，但同时，也增加了特征识别的时间，因此，本实施例在设置环境感知模型时，多不同的点云片段设置不同数量卷积层的卷积神经网络模型；作为优选的实施例，在片段1中使用8个卷积层的卷积神经网络，在片段2中使用6个卷积层的卷积神经网络模型，在片段3中使用2个卷积层的卷积神经网络模型；这样，相对于对整个点云数据采用8个卷积层的卷积神经网络模型来说，减少了模型运算的时间，达到了环境感知准确度和时延的平衡。

步骤5：根据所述步骤4的环境感知结果对所述无人驾驶矿车行走参数进行决策。

虽然在本公开中描述了激光雷达传感器，但是本文描述的用于环境感知的技术可以与在低光下工作和/或输出点云数据的任何传感器的输出一起使用，示例性地，可以与本公开的技术一起使用的附加传感器类型可以包括例如雷达、超声波、相机/成像传感器和/或声纳传感器。

根据本发明的另外一个实施例，提供一种无人驾驶矿车环境感知的系统，包括：

激光雷达传感器，实时采集环境数据；

传输模块，用于将所述激光雷达传感器实时采集的环境数据上传到云端服务器；

云端服务器，用于执行上述的无人驾驶环境感知方法，得到环境感知信息。

以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。

Claims (8)

1.一种无人驾驶矿车环境感知方法，其特征在于，包括以下步骤：

步骤1：利用无人驾驶矿车的激光雷达传感器实时采集环境数据；

步骤2：将所述步骤1获取的实时环境数据上传到云端服务器；

步骤3：所述云端服务器对所述实时环境数据进行预处理操作；

步骤4：所述云端服务器根据所述无人驾驶矿车行驶速度将所述步骤3获得的点云数据分成若干段；其中，所述点云数据按照与所述无人驾驶矿车的距离以及无人驾驶矿车的行驶速度不同划分为不同数量的等距区段，然后对每段点云数据采用不同的环境感知模型进行环境感知；

所述步骤4中，所述无人驾驶矿车的速度对点云数据分段数量S的影响公式如下表示：

当所述无人驾驶矿车行驶速度为[30km/h，60km/h)区间时，根据和所述激光雷达距离的不同，将所述点云数据等距离分成三段，分别为片段1，片段2和片段3，其中，片段1为距离所述激光雷达传感器的距离在[0,10m)区间内的点云数据，片段2为距离所述激光雷达传感器的距离为[10m，20m)区间内的点云数据，片段3为距离所述激光雷达传感器为[20m，30m]区间内的点云数据，对所述片段1采用最高准确度的环境感知模型以期获得最多的细节信息，对所述片段2采用处理时间居中且准确度居中的环境感知模型以期获得较多的细节信息，对所述片段3采用响应灵敏的环境感知模型获取该片段的粗略环境感知信息；

步骤5：根据所述步骤4的环境感知结果对所述无人驾驶矿车行走参数进行决策。

2.根据权利要求1所述的无人驾驶矿车环境感知方法，其特征在于，所述步骤1中，对多个激光雷达传感器分别从多个方位进行环境感知，从而得到更加丰富和立体的环境数据。

3.根据权利要求1所述的无人驾驶矿车环境感知方法，其特征在于，所述步骤2中，为减小传输时延，采用5G通讯技术或边缘通讯节点实现所述实时环境数据的上传。

4.根据权利要求1所述的无人驾驶矿车环境感知方法，其特征在于，所述步骤3中，所述预处理操作具体包括将所述实时环境数据转换成点云数据，并对所述点云数据进行滤波操作。

5.根据权利要求4所述的无人驾驶矿车环境感知方法，其特征在于，采用卡尔曼滤波方式去除点云数据中不完整和抖动的数据。

6.根据权利要求1所述的无人驾驶矿车环境感知方法，其特征在于，当所述无人驾驶矿车行驶速度为[60km/h，120km/h)区间时，根据和所述激光雷达距离的不同，将所述点云数据等距离分成5段，分别为片段1-5，其中，所述片段1为距离所述激光雷达传感器的距离在[0,6m)区间内的点云数据，所述片段2为距离所述激光雷达传感器的距离为[6m，12m)区间内的点云数据，所述片段3为距离所述激光雷达传感器为[12m，18m)区间内的点云数据，所述片段4为距离所述激光雷达传感器为[18m，24m)区间内的点云数据，所述片段5为距离所述激光雷达传感器为[24m，30m]区间内的点云数据。

7.根据权利要求1所述的无人驾驶矿车环境感知方法，其特征在于，所述步骤4具体包括：对不同片段的点云数据采用不同数量卷积层的卷积神经网络模型进行环境感知。

8.一种无人驾驶矿车环境感知系统，包括：

激光雷达传感器，实时采集环境数据；

传输模块，用于将所述激光雷达传感器实时采集的环境数据上传到云端服务器；

云端服务器，用于执行权利要求1-7任一项所述的无人驾驶环境感知方法，得到环境感知信息。