CN113378947A - 一种面向露天矿区无人运输的车路云融合感知系统及方法 - Google Patents

Abstract

本发明公开了一种面向露天矿区无人运输的车路云融合感知系统及方法，本系统包括实现数据交互的车辆端、路侧系统和V2X云平台；车辆端用于对车辆感知数据进行融合处理，获取障碍物信息；路侧系统用于对接收的车辆端数据和路侧感知数据进行处理，形成装卸载区和关键交叉路口的局部地图并进行实时更新；V2X云平台用于根据从车辆端接收的车辆信息数据和从路侧系统接收的实时局部地图，对所储存的高精地图进行扩展维护和信息融合处理，并将处理后的高精地图、动态行车许可和动态行驶路段下发至车辆端进行局部路径规划的调整。本发明将感知系统中各模块通过消息交互连接，提高了车辆端的全息感知与智能处理能力，提升了露天矿区作业交通安全水平。

Description

一种面向露天矿区无人运输的车路云融合感知系统及方法

技术领域

本发明属于自动驾驶领域，特别涉及一种面向露天矿区无人运输的车、路、云融合感知系统及方法。

背景技术

自动驾驶代表了未来汽车的发展方向，近些年发展迅猛，单车智能的无人驾驶成为研究焦点。在自动驾驶环境下，车辆在道路行驶中会遇到各种障碍物信息，为了保证车辆行驶安全，需要使用多种传感器来组成感知系统。单车感知系统通常包括多种传感器，每种传感器均可以从自己的角度获取得到障碍物信息。虽然这些信息是冗余的并且具有不同的可靠性，但通过信息融合处理，可以从中提取出更加准确和可靠的信息，为决策规划控制提供可靠的道路行驶信息。

将自动驾驶完全建立在单车智能上，对感知、决策和控制提出了极高的要求。随着智能等级提高，技术难度会呈指数级上升，成本也会显著增加。即使能够实现 L4 甚至 L5级自动驾驶，但因其自身感知和决策的局限性（如视野被遮挡、意图误判等）依然无法应对各类突发事件，导致安全事故发生。此外，道路拥堵、通行效率不高问题依然无法解决。在这种情况下，使车与车（vehicle to vehicle，V2V）、车与设施（vehicle to infrastructure，V2I）、车与网（vehicle to network，V2N）等及时通信协商，不仅会降低智能驾驶难度，而且驾驶将会更安全，交通效率也会更高。因此车联网技术应运而生，在国内外都受到高度的重视。业界已经达成共识，基于车联网的车路协同，可大大弥补单车智能感知和决策上的不足，推动自动驾驶早日落地。

基于V2X（vehicle to everything）和单车感知融合的车辆协同整体方案，可以实现更大范围和更复杂的业务，能从感知角度扩大车辆感知范围、深度和广度，减少单车智能面向的问题数量和难度。后续随着业务场景的丰富，将会有更多的增强业务出现。

中国专利CN 207852108U提供了一种车路协同系统及其车路协同路侧感知设备，该车路协同路侧感知设备能够将交通环境信息进行广播，解决现有无人驾驶车辆在自动驾驶过程中安全性差的问题。但是该方案没有涉及到路侧设备提供的信息和单车探测设备信息的关联和融合方法。中国专利CN107742432A公开了一种基于车路协同的高速公路运行车速主动预警系统及方法，主要针对路侧单元的传感器给车载单元提供道路预警信息，实现不同天气和路段下的车速引导。然而，该预警系统中的路侧单元和车载单元的数据传输为单向传输，数据形式较为单一且没有和云端进行大数据量的交互。中国专利CN109859472A涉及车辆行驶路障感知系统、方法、车辆及车路协同主动安全系统和方法，其中的系统为辅助驾驶，运行过程中仍然需要人工参与上传路况信息，处理突发情况等操作，并且在车载单元中感知模块只进行测距防撞，没有进行深入的感知融合处理。

此外，现有融合技术主要集中在车载传感器数据的融合，感知范围普遍在200m范围内，且在灰尘或极端天气等恶劣环境下稳定性较差，再加上露天矿区道路岔口多、盲区大，因此现有方案均难以支撑业务复杂且对稳定性要求比较高的矿区自动驾驶运输场景。另外，现有的车路协同技术还缺少车载模块的感知融合技术，但例如在露天矿区矿坑下或者有山体遮挡、信号较差的场景又非常依赖车载模块的功能。

发明内容

针对上述问题，本发明将车载单元感知融合和V2V，V2I，V2N的交互数据在无人矿卡车端进行深度融合，提出了一种面向露天矿区无人运输的基于车、路、云融合的感知系统，其中各单元通过消息交互连接，以提高终端的全息感知与智能处理能力和系统感知的可靠性与环境适应性，从而提升交通安全水平。本发明还提出了一种针对露天矿区的无人驾驶多源信息融合方法，该方法适用于矿区无人驾驶环境，可融合多个模块不同形式的信息来源（包括毫米波雷达、激光雷达、相机、基于V2V通信的其他车辆信息、云端通过V2N网络输入的调度，预警等信息），使用多个模块不同形式的信息来保障自动驾驶系统在各种工况和路段的稳定运行。

为实现上述目的，本发明提供了一种面向露天矿区无人运输的车路云融合感知系统，包括两两之间均实现数据交互的车辆端、路侧系统和V2X云平台；

所述车辆端用于对自身传感器的车辆感知数据进行融合处理，获取障碍物信息；用于与其他车辆进行数据共享，实现可行驶区域预测并基于路侧系统发送的实时局部地图进行局部路径规划，并根据所述V2X云平台发送的实时高精地图、作业任务及系统调度任务对局部路径规划进行调整，对车辆执行控制动作；以及用于向所述路侧系统发送车辆端数据和向所述V2X云平台发送车辆信息数据，所述车辆端数据包括车辆感知数据、障碍物信息、车辆运动参数、车辆自身参数以及时间戳；所述车辆信息数据包括车辆定位数据、传感器反馈的图像和点云数据、车端状态参数数据；

所述路侧系统用于对接收的车辆端数据和路侧感知数据进行处理，形成装卸载区和关键交叉路口的局部地图并进行实时更新，并将实时局部地图发送至所述车辆端和所述V2X云平台；

所述V2X云平台用于根据从车辆端接收的车辆信息数据和从路侧系统接收的实时局部地图，生成整个矿区的无人运输车辆的作业任务及系统调度任务，并实时对所储存的高精地图进行扩展维护和信息融合处理，之后将实时高精地图、作业任务及系统调度任务下发至所述车辆端进行局部路径规划的调整。

进一步，所述车辆端包括多源传感器模块、单车中央计算模块、单车中央控制模块、用于与其他车辆端通信的V2V模块、用于和所述路侧系统通信的V2I模块和用于与所述V2X云平台通信的V2N模块；

所述多源传感器模块用于提供原始感知数据；

所述单车中央计算模块用于对原始感知数据进行融合处理，获取障碍物信息，并用于下发控制指令；

所述单车中央控制模块用于根据控制指令对本车辆执行控制动作；

车辆端之间通过各自的V2V模块共享数据，实现车辆的可行驶区域预测，所述共享数据包括障碍物信息、车辆运动参数、车辆自身参数以及时间戳；所述车辆端通过V2I模块向所述路侧系统发送车辆端数据，并且从所述路侧系统接收局部地图和装卸区内的作业信息和预警信息，实现局部轨迹规划；所述车辆端通过V2N模块向V2X云平台发送车辆信息数据。

进一步，所述多源传感器模块包括毫米波雷达、激光雷达和相机。

进一步，所述路侧系统包括路侧通信单元、路侧感知单元和路侧计算单元；

所述路侧通信单元用于接收车辆端发送的车辆端数据，以及向车辆端发送实时局部地图和装卸区内的作业信息与预警信息，向所述V2X云平台上传局部区域内的车辆信息和实时局部地图；

所述路侧感知单元用于提供路侧感知数据；所述路侧计算单元用于对接收的车辆端数据和路侧感知数据进行处理，形成装卸载区域或者路口关键区域的局部地图并通过路侧通信单元分别传送至所述车辆端和所述V2X云平台。

进一步，所述路侧感知单元包括雷达和摄像头。

进一步，所述路侧感知单元包括交通信号灯、指示牌、气象环境感知单元中的一种或多种。

进一步，所述局部地图包括局部区域内的关键障碍物信息和不可行驶区域的分割标注。

进一步，所述其他车辆包括矿区内的各种作业车辆。

本发明还提供了一种利用上述感知系统的面向露天矿区无人运输的基于车路云融合的感知方法，包括如下步骤：

S1：每个车辆的车辆端将自身各个传感器的车辆感知数据进行时空对准后，在每一个传感器信息数据发生更新时，通过匹配算法把该传感器所检测出来的障碍物信息进行关联，实时维护检测到的目标障碍物；

S2：每个车辆会不断向外广播自己的位置，当本车辆与其他车辆的距离小于阈值后通过各自的车辆端建立通信通道，实现本车辆与该其他车辆共享数据，所述共享数据包括障碍物信息、车辆运动参数、车辆自身参数以及时间戳；各车辆端基于所述共享数据，利用分离轴定律进行两个车辆的实时碰撞预测；

S3：在装卸载区和关键交叉路口设置路侧系统，车辆在进入这些区域时，会向路侧系统申请下发局部地图并建立通信通道，路侧系统通过不间断的通信实时更新局部地图并发送至车辆端，车辆端根据实时局部地图对车辆的局部路径规划进行调整；

S4：车辆端将车辆信息数据发送至V2X云平台，路侧系统将实时局部地图发送至V2X云平台，V2X云平台根据这些数据对整个矿区的无人矿卡进行作业任务及系统调度任务的下发和指挥，并实时对所存储的高精地图进行更新。

进一步，步骤S4中，车辆端向V2X云平台发送数据频率大于等于1s。

本发明的有益效果：

本发明综合利用了多种途径获取的数据融合处理，提出了一种针对矿区复杂路段和坑下特殊工况的环境感知和车辆决策方法，保证露天矿区自动驾驶系统在复杂恶劣的矿区环境可以稳定运行：

1）本发明对车端lidar和radar的数据进行处理融合，使车辆具备单车感知智能，可以应对一般的路况和作业环境；

2）本发明基于V2V和V2I通信将车端的感知融合结果进行了车车之间的共享，各自动驾驶车辆对共享数据进行时间和空间的对准之后作融合处理，扩宽了单车在视野上的盲区，丰富了对车辆周围环境的感知数据，使矿区自动驾驶车辆可以适应更多的作业场景，如小规模车队编组作业；此外，在矿区作业环境复杂，信号较弱的特殊路段上增加路侧系统，收集预设距离自动驾驶车辆的车辆数据之后，进行统一的融合处理建立特殊区域的局部地图，下发给驶入车辆并上传云端；

3）本发明在云端收到车端上传的环境信息和路侧系统上传的局部地图后，经过计算服务器的融合处理，对高精地图进行了更新和扩展，并对无人驾驶系统的运行状态进行监测；车端整合云端或者路侧系统下发的分阶段路径信息和行车许可，使车辆能够保持沿着最优路径行驶并且随时接受平台的零时调度，并且在车端进行可行驶行驶区域的判定和筛选，为规划和控制提供更多参考依据；

4）本发明通过车端、路侧系统和云端，提升了自动驾驶车辆的感知广度和深度，不仅能够提高驾驶的智能性和安全性，而且能够整体提升交通效率。与此同时，基于车、路、云融合的感知策略减少了单车智能遇到很多问题、降低了成本、减少了事故、提升了效率，更快速的实现了矿区自动驾驶的全面落地运行。

附图说明

图1是本发明实施例的面向露天矿区无人运输的基于车路云融合的感知系统整体框架图；

图2是本发明实施例的目标车辆1和车辆2的示意图；

图3是本发明实施例的RSS工作场景示意图；

图4是本发明实施例的车辆端和路侧系统数据在云端和高精地图融合示意图；

图5是本发明实施例的云端和路侧系统对车辆进行调度和引导示意图。

具体实施方式

下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本实施例的面向露天矿区无人运输的基于车、路、云融合的感知系统包括车辆端、路侧系统RSS和V2X云平台。车辆端包括车辆1和车辆2，V2X云平台包括现场调度室、远程控制中心和云端数据处理服务器。

车辆1和车辆2均包括多源传感器模块、单车中央计算模块、单车中央控制模块、用于与其他车辆通信的V2V模块、用于和路侧系统通信的V2I模块和用于和V2X云平台通信的V2N模块。多源传感器模块用于提供原始感知数据。单车中央计算模块用于对多源传感器模块提供的原始感知数据进行融合处理，获取障碍物信息，并用于下发控制指令。单车中央控制模块用于根据单车中央计算模块下发的控制指令对本车辆执行控制动作。车辆1与车辆2通过各自的V2V模块共享数据，实现各自车辆的可行驶区域预测，其中共享数据包括障碍物信息、车辆运动参数、车辆自身参数以及时间戳。同时，车辆1与车辆2通过各自V2I模块向路侧系统发送车辆端数据，并且从路侧系统接收局部地图和装卸区内的作业信息和预警信息，实现局部轨迹规划；以及通过各自V2N模块向V2X云平台发送车辆信息数据，包括车辆定位数据、传感器反馈的图像和点云数据、车端状态参数数据等。

特别地，车辆端原始感知数据的来源主要包括毫米波雷达、激光雷达和相机。单车中央计算模块对原始感知数据的融合方式为松耦合模型，可以直接使用各传感器的数据直接进行融合。此融合方式计算速度快，适用于检测车辆行驶路径上出现的临时障碍物，在其行驶过程中车辆响应实时性要求较高。此外，在利用此融合方式对各传感器数据进行融合之前，需要将各传感器数据进行空间和时间的对准，具体过程如下：

首先，由于从传感器获取到的数据是基于当前传感器坐标系的，需要对该数据进行空间对准到车辆质心坐标系中。空间对准包括坐标系的旋转和平移，定义坐标系的旋转矩阵为

，坐标系的平移矩阵为

，则有

，其中，

为车辆质心坐标系中量测结果，

为传感器坐标系中的量测结果，

为状态对应时间，k指k时刻，

为变化时间间隔。

然后，根据传感器的融合周期时间序列，在

时刻对传感器的信息做融合处理。由于获取到的传感器数据的时刻并非

时刻，而是

，因此需要把量测结果

同步到

时刻。计算时间差如下：

，

其中，

是融合时刻（

时刻）与对应传感器的量测数据更新时刻（

时刻）的时间差。

基于上述时间差来对量测信息进行时间对准，得到在

时刻的预估量测结果：

，B为传感器的量测预估转移矩阵。

之后，维护所检测到的目标障碍物，具体过程为：在各传感器数据发生更新时，按照上述融合方式对数据经过上述空间和时间的对准、融合之后，通过匹配算法把该传感器所检测出来的障碍物信息进行关联，进而通过卡尔曼滤波算法使用信息来源数据对上一时刻的滤波后数据进行更新，得到目标障碍物的最优估计。

特别地，车辆1与车辆2通过各自的V2V模块进行数据共享的过程主要包括如下三步：

1）车辆1与车辆2各自不断向外广播自己的位置；本实施例为了满足露天矿区作业要求，基于V2V的车辆间智能交互，至少每隔每200ms广播一次数据。

2）当两个车辆距离小于预设要求时通过申请和授权建立通信通道，然后进行数据共享，具体共享数据除了每个车辆通过自身的多元传感器和融合之后计算出来的障碍物信息之外，至少还需要包括各个车辆的运动参数、车辆自身参数和发送时间戳。

当车辆1通过V2V模块接收到车辆2的数据后，仍然需要进行数据的时间和空间对准，然后将车辆2探测计算到的障碍物信息转换到车辆1的坐标系下，并且将车辆2的位置信息加入到车辆1的障碍物信息中进行车辆1的运动预测。车辆2坐标系到车辆1坐标系的变换矩阵为：

其中，θ为车辆2朝向与车辆1朝向的航向角度差的负值，如图2所示。

特别地，例如车辆1，对于基于V2V通信传输过来的车辆2的运动信息（包括经纬度、速度等），还需要根据车辆的运动信息2以及自身车辆的运动信息进行计算得到车辆2相对于自身车辆的运动信息。

3）当两个车辆距离超过预设要求时申请断开通信通道。

在本实施例中，具备V2V车车数据共享功能的主体可以包括：矿区内各种作业车辆，如挖机、装载机、各种型号卡车、洒水车等。

在车辆间进行数据共享后，各车辆要基于实时障碍物信息数据进行碰撞预测，此过程主要包括两步：

步骤1：进行快速碰撞检测；

基于车辆和障碍物都以多变形的形式输出，首先利用分离轴定律（两个凸多边形物体，如果能找到一个轴，使得两个物体在该轴上的投影互不重叠，则这两个物体之间没有碰撞发生，以该轴为分割轴（Separating Axis）进行快速碰撞检测，具体实现过程如下：

1）从需要检测的多边形中取出一条边，并找出该条边的法向量（垂直于该条边的向量），这个向量将会是一个“投影轴”；

2）循环获取上述需要检测的多边形的每个点，并将它们投影到这个“投影轴”上，记录这个多边形投影到“投影轴”上的最高点和最低点；

3）按照1）和2）对第二个待测的多边形做同样的处理；

4）分别得到两个多边形的投影，并检测得到的两段投影是否重叠。

步骤2：进行具体碰撞点计算，具体过程如下：

基于步骤1解算出两个多边形是否相交，如果相交则通过直线的相交原理，通过以下方法算出交点的坐标值。

两条线段的位置关系大体上可以分为三类：有重合部分、无重合部分但有交点（相交）、无交点。为避免精度问题，首先要将所有存在重合的情况排除。重合可分为：完全重合、一端重合、部分重合三种情况。显然，两条线段的起止点都相同即为完全重合；只有起点相同或只有终点相同的为一端重合。应该注意，坐标较小的一条线段的终点与坐标较大的一条线段的起点相同时应判定为相交。要判断是否部分重合，必须先判断是否平行。设线段L1(p1->p2)（表示起点为p1到终点为p2的线段）和L2(p3->p4)（表示起点为p3到终点为p4的线段），其中，p1(x1, y1)为线段L1的起点，p2(x2, y2)为线段L1的终点，p3(x3, y3)为线段L2的起点，p4(x4, y4)为线段L2的终点，由此可构造两个向量：

v1(x2-x1, y2-y1)，v2(x4-x3, y4-y3)

若v1与v2的外积v1×v2为0，则判断L1和L2两线段平行且有可能存在部分重合。接着判断两条平行线段是否共线：限定线段L1的一端和线段L2的一端构成向量vs并与v2作外积，如果结果显示vs与v2也平行则L1和L2两线段共线（三点共线）。在共线的前提下，若起点较小的线段终点大于起点较大的线段起点，则判定这两线段为部分重合。

当判定两条线段相交后，求解交点。当然，求交点可以用平面几何方法，列点斜式方程来完成。但这样会难以处理斜率为0的特殊情况，且运算中会出现多次除法，很难保证精度。本实施例使用如下向量法对交点进行求解：

设交点为(x0, y0)，则下列方程组必然成立：

x0-x1=k1(x2-x1)

y0-y1=k1(y2-y1)

x0-x3=k2(x4-x3)

y0-y3=k2(y4-y3)

其中，k1和k2为任意不为0的常数（若为0，则说明有重合的端点，这种情况在上面已经被排除了）。

进一步得到：

x0(y2-y1)-x1(y2-y1)=y0(x2-x1)-y1(x2-x1)

x0(y4-y3)-x3(y4-y3)=y0(x4-x3)-y3(x4-x3)

将含有未知数x0和y0的项移到左边，常数项移动到右边，得：

(y2-y1)x0+(x1-x2)y0=(y2-y1)x1+(x1-x2)y1

(y4-y3)x0+(x3-x4)y0=(y4-y3)x3+(x3-x4)y3

设两个常数项分别为b1和b2：

b1=(y2-y1)x1+(x1-x2)y1

b2=(y4-y3)x3+(x3-x4)y3

系数行列式为D，用b1和b2替换x0的系数所得系数行列式为D1，替换y0的系数所得系数行列式为D2，则有：

|D|=(x2-x1)(y4-y3)-(x4-x3)(y2-y1)

|D1|=b2(x2-x1)-b1(x4-x3)

|D2|=b2(y2-y1)-b1(y4-y3)

由此，可求得交点坐标为：

x0=|D1|/|D|, y0=|D2|/|D|

通过上述方法，车辆1和车辆2之间共享用于作运动预测的障碍物信息，并配合快速高效的碰撞检测算法进行车辆的可行使区域预测，扩大了矿区无人驾驶车辆的决策范围，可在一定程度上减少矿区道路落差大，转弯盲区大引起自动驾驶车辆行驶风险。

无人驾驶矿山运载装备在矿山的主要任务是实现固定路线上的矿石运输，过程涉及倒车入位、挖机转载、重载爬坡、精度停靠、自动排卸、轨迹规划和自主避障等场景。这些场景既不同于无人驾驶的城市轨道交通车辆的场景，也不同与公路上行驶的自动驾驶乘用车的场景。虽然任务路线相对固定，但是矿区道路没有车道线、没有路口标识、且行驶道路和交叉路口经常会由于开采进行变更。尤其在装载区和卸载区，由于物料的开采和堆积、各种作业车辆的聚集和位置变化，几乎没有办法采用固定路线进行自动驾驶车辆的引导。且车辆行驶到矿坑底部或者处于遮挡或者尘土非常严重的路段，经常出现定位信息的偏差。综合考虑上述原因，本发明采用了在装卸载区和关键交叉路口设立路侧系统RSS，提供冗余的定位数据和环境信息进行数据处理计算，增加自动驾驶车辆装卸载区和复杂路口的运行效率，降低安全隐患。

现有公开道路的路侧系统更倾向于加装了感知传感器的通信基站，数据交互量比较大。本实施例的路侧系统RSS包括路侧通信单元RSU（road side unit）、路侧感知单元和路侧计算单元MEC。路侧通信单元RSU用于接收车辆端发送的车辆端数据，以及向车辆端发送实时局部地图和装卸区内的作业信息与预警信息，同时向V2X云平台上传局部区域内的车辆信息和实时局部地图。RSU接收车辆端频率和向车辆端发送数据的频率相同，本实施例的发送间隔为200ms。RSU向V2X云平台发送数据频率可根据实际场景复杂度进行调节，但频率最好不低于1s。特别地，车辆端向路侧系统发送的数据类型和车车数据交互有所差别，除了车车共享数据之外还应包括车端传感器的原始感知数据。

所述路侧感知单元用于提供路侧感知数据，至少需要包括具有很好互补性的雷达和相机。雷达能够准确地感知到目标的速度与位置信息，但目标分辨能力不足，相机能准确感知目标（人、车辆属性、非机动车、事件等），无法准确感知位置和速度。将雷达和视频融合，需要将两个不同视野下的目标对齐，将两个传感器下同一目标对准，即实现同一目标的融合，这样就可准确识别目标和目标的位置、速度。此外，路侧感知单元还可以包括交通信号灯与指示牌、气象环境感知单元等。

所述路侧计算单元MEC用于对接收的车辆端数据和路侧感知数据进行综合分析处理，形成装卸载区域或者路口关键区域的局部地图并通过RSU分别传送至车辆1、车辆2和V2X云平台。特别地，所形成的局部地图包含局部区域内的关键障碍物信息和不可行驶区域的分割标注。

对于局部地图上不可行使区域的分割标注，本实施例采用2d/3d信息融合方法进行操作。MEC收集到车辆端和路侧感知单元反馈的图像和点云数据，和相应的局部定位关系信息，将采集到的点云和图像进行融合，通过机器视觉深度学习方法在图像上识别到炮眼、挖机线缆等关键物体，然后在点云信息中找到对应的位置深度。最后通过若干组转换到路侧系统坐标系下的数据可以勾勒出不可行使区域的位置和应该建立的局部地图。之后MEC根据收到车辆端和路侧感知单元的信息数据不断的维护局部地图的完整性和精确度。

图3示出了RSS工作场景图。当车辆1和2进入和RSS预设距离范围内（大虚线方框内），RSS会向车辆1和2一次性发送建立好的局部地图，并且以200ms为周期向两车辆发送装卸载区内的各种作业信息（例如内部作业车辆种类和数量和状态、尘雾风向等气象信息）和预警信息（例如落石预警、塌方预警等）。而对于车辆1和2，其在进入RSS预设距离范围内时会向RSS一次性申请下发局部地图，之后车辆端通过和RSS的不间断的通信得到实时变化的局部地图信息，对车辆运行状态进行调整，并进行实时的局部轨迹规划，以控制车辆稳定安全的进行装载作业。

特别地，和RSS的数据交互的车辆不限于无人驾驶卡车，还可以包括进入预设距离内的挖机、装载机和其他工程作业车辆。

在矿区的实际作业环境中，V2X云平台基于V2N模块实时接收车辆数据，对车辆进行实时监控，同时对整个矿区的无人矿卡进行作业任务及系统调度任务的下发和指挥。搭建V2X云平台时，可以根据矿区实际场地布局，依据矿坑全面覆盖的原则，在矿山高处进行基站组件覆盖搭架，在现场调度室安装云端数据处理服务器，云端数据处理服务器使用无线微波连接基站网络系统，在远程控制中心统一监控管理宽带无线网络的基站与车载终端。

矿区内自动驾驶车辆通多V2N模块传到V2X云平台的障碍物信息经过云端数据处理服务器的处理之后，结合到全局高精地图中，同时MEC与路侧感知单元协作实时感知路侧的整体状况，将路侧信息与V2X云平台的全局高精地图结合。上述信息在V2X云平台的融合处理后可以提供融合实时的高精地图服务。

车辆端通过V2N模块和V2X云平台按照一定的周期进行数据交互，将车端的数据上传，主要包括车端的定位信息、点云、图像信息、车辆状态参数信息，同时从V2X云平台获得更及时的高精度地图服务。

RSS通过RSU和V2X云平台按照一定周期进行数据交互，将RSS探测到的局部区域内的车辆信息和建立好的实时局部地图上传，同时和处在路侧系统探测范围内的车辆数据进行整合，不断优化局部地图的建图精度。另外，为了适应矿区路段和装卸载区的频繁变动，减少由于部署RSS暂停矿区作业造成的生产效率损失，将RSS部署到一台可通过RSU和V2X云平台连接，进行远程遥控驾驶的移动车辆上面。这样可以更加灵活地实现环境部署，减少人工的现场参与次数。特别地，为了满足上述部署方式，RSS可以采用电池和线充两种形式供电。

V2X云平台接收车端和RSS的数据,主要包括感知数据、点云、图像等、车端和RSS定位和状态参数数据、以及RSS处理计算后的增加关键物体标签的局部地图。对于车量端发送的数据，V2X云平台将其探测区域的障碍物状态在高精地图中进行标注，并对依据每个车辆上传的大量点云数据进行后端的点云拼接，持续优化更新高精地图的道路边界信息。对于RSS上传的局部地图信息，V2X云平台通过各RSS的定位关系将各局部地图通过后端捆绑约束优化的方式融入到高精地图中，修正已经建好的高精地图,在其中增加关键的实时路况和高精地图关键点标签，为矿区车辆统一的调度和规划提供更多信息。从而避免了矿区道路频繁更替，相应重新采集高精地图造成的效率减低和人员消耗。图4示出了车辆端和路侧系统数据在云端和高精地图融合示意图。

综上，V2X云平台对车端和RSU发送的数据进行处理后对已经做好的高精地图进行持续扩展维护和信息的融合。之后车辆端在矿区的任意位置都能都得到V2X云平台或者RSS的数据信息。具体地，在已经建立了高精地图和全局行车路径的道路上，车辆端分段接收V2X云平台下发的动态行车许可和动态的行驶路段，这可以增加矿区自动驾驶系统对矿区突发情况的应对速度，提高了系统运行的稳定性和安全性。图5示出了V2X云平台和RSS对车辆进行调度和引导的示意图。在引导过程中，V2X云平台和RSS会不断地和车辆端进行交互，基于车辆的当前位置依据全局的矿区无人驾驶系统运行状态对单车进行引导，如前方落石预警、事故预警、动态的行车许可发送、动态的可行驶路段下发等，使矿区自动驾驶车辆能够依靠最优的道路信息进行矿区作业。

综上，本发明将系统中各模块通过消息交互连接，提高了车辆端的全息感知与智能处理能力，提升了露天矿区作业交通安全水平；路侧系统和V2X云平台接收车辆端信息之后，通过数据分析和人工智能算法，优化调度提高系统的交通效率，为车辆端提供了全面的信息服务。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例做出若干变型和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种面向露天矿区无人运输的车路云融合感知系统，其特征在于，包括两两之间均实现数据交互的车辆端、路侧系统和V2X云平台；

所述车辆端用于对自身传感器的车辆感知数据进行融合处理，获取障碍物信息；用于与其他车辆进行数据共享，实现可行驶区域预测并基于路侧系统发送的实时局部地图进行局部路径规划，并根据所述V2X云平台发送的实时高精地图、作业任务及系统调度任务对局部路径规划进行调整，对车辆执行控制动作；以及用于向所述路侧系统发送车辆端数据和向所述V2X云平台发送车辆信息数据，所述车辆端数据包括车辆感知数据、障碍物信息、车辆运动参数、车辆自身参数以及时间戳；所述车辆信息数据包括车辆定位数据、传感器反馈的图像和点云数据、车端状态参数数据；

所述路侧系统用于对接收的车辆端数据和路侧感知数据进行处理，形成装卸载区和关键交叉路口的局部地图并进行实时更新，并将实时局部地图发送至所述车辆端和所述V2X云平台；

所述V2X云平台用于根据从车辆端接收的车辆信息数据和从路侧系统接收的实时局部地图，生成整个矿区的无人运输车辆的作业任务及系统调度任务，并实时对所储存的高精地图进行扩展维护和信息融合处理，之后将实时高精地图、作业任务及系统调度任务下发至所述车辆端进行局部路径规划的调整。

2.根据权利要求1所述的感知系统，其特征在于，所述车辆端包括多源传感器模块、单车中央计算模块、单车中央控制模块、用于与其他车辆端通信的V2V模块、用于和所述路侧系统通信的V2I模块和用于与所述V2X云平台通信的V2N模块；

所述多源传感器模块用于提供原始感知数据；

所述单车中央计算模块用于对原始感知数据进行融合处理，获取障碍物信息，并用于下发控制指令；

所述单车中央控制模块用于根据控制指令对本车辆执行控制动作；

车辆端之间通过各自的V2V模块共享数据，实现车辆的可行驶区域预测，所述共享数据包括障碍物信息、车辆运动参数、车辆自身参数以及时间戳；所述车辆端通过V2I模块向所述路侧系统发送车辆端数据，并且从所述路侧系统接收局部地图和装卸区内的作业信息和预警信息，实现局部轨迹规划；所述车辆端通过V2N模块向V2X云平台发送车辆信息数据。

3.根据权利要求2所述的感知系统，其特征在于，所述多源传感器模块包括毫米波雷达、激光雷达和相机。

4.根据权利要求1所述的感知系统，其特征在于，所述路侧系统包括路侧通信单元、路侧感知单元和路侧计算单元；

所述路侧通信单元用于接收车辆端发送的车辆端数据，以及向车辆端发送实时局部地图和装卸区内的作业信息与预警信息，向所述V2X云平台上传局部区域内的车辆信息和实时局部地图；

所述路侧感知单元用于提供路侧感知数据；所述路侧计算单元用于对接收的车辆端数据和路侧感知数据进行处理，形成装卸载区域或者路口关键区域的局部地图并通过路侧通信单元分别传送至所述车辆端和所述V2X云平台。

5.根据权利要求4所述的感知系统，其特征在于，所述路侧感知单元包括雷达和摄像头。

6.根据权利要求4或5所述的感知系统，其特征在于，所述路侧感知单元包括交通信号灯、指示牌、气象环境感知单元中的一种或多种。

7.根据权利要求1-5之一所述的感知系统，其特征在于，所述局部地图包括局部区域内的关键障碍物信息和不可行驶区域的分割标注。

8.根据权利要求1-5之一所述的感知系统，其特征在于，所述其他车辆包括矿区内的各种作业车辆。

9.一种利用根据权利要求1-8之一所述感知系统的面向露天矿区无人运输的车路云融合感知方法，其特征在于，包括如下步骤：

S1：每个车辆的车辆端将自身各个传感器的车辆感知数据进行时空对准后，在每一个传感器信息数据发生更新时，通过匹配算法把该传感器所检测出来的障碍物信息进行关联，实时维护检测到的目标障碍物；

S2：每个车辆会不断向外广播自己的位置，当本车辆与其他车辆的距离小于阈值后通过各自的车辆端建立通信通道，实现本车辆与该其他车辆共享数据，所述共享数据包括障碍物信息、车辆运动参数、车辆自身参数以及时间戳；各车辆端基于所述共享数据，利用分离轴定律进行两个车辆的实时碰撞预测；

S3：在装卸载区和关键交叉路口设置路侧系统，车辆在进入这些区域时，会向路侧系统申请下发局部地图并建立通信通道，路侧系统通过不间断的通信实时更新局部地图并发送至车辆端，车辆端根据实时局部地图对车辆的局部路径规划进行调整；

S4：车辆端将车辆信息数据发送至V2X云平台，路侧系统将实时局部地图发送至V2X云平台，V2X云平台根据这些数据对整个矿区的无人矿卡进行作业任务及系统调度任务的下发和指挥，并实时对所存储的高精地图进行更新。

10.根据权利要求9所述的感知方法，其特征在于，步骤S4中，车辆端向V2X云平台发送数据频率大于等于1s。

Images