CN113777975A - 一种自动驾驶车辆的远程辅助系统及方法 - Google Patents

Abstract

本发明提出了一种自动驾驶车辆的远程辅助系统，包括远程辅助模块、无线通信模块、车载控制中枢、车载传感器和车载感知中枢，所述无线通信模块包括无线通信模块中心设备和无线通信模块车载设备，所述远程辅助模块与无线通信模块中心设备位于所述监控中心内，所述车载控制中枢、车载传感器、车载感知中枢和无线通信模块车载设备位于所述待控车辆内部，本发明提供了一种自动驾驶车辆的远程辅助系统方法，车辆发送环境信息到监测中心，远程驾驶者根据提供的三维环境信息绘制行驶轨迹并发送给待控车辆，车辆根据感知到的车辆环境信息，生成控制指令完成循迹行驶。从而解决了现有自动驾驶车辆的远程驾驶方案因数据时效性和充分性而存在的安全问题。

Description

一种自动驾驶车辆的远程辅助系统及方法

技术领域

本发明涉及自动驾驶技术领域，特别涉及一种自动驾驶车辆的远程辅助系统及方法。

背景技术

自动驾驶车辆是一种能够通过多种设备感知环境、精确定位的机动车辆，在没有人工操作的情况下，车辆可以自主规划路径、自主避障，并行驶至目标地点。但道路工况的复杂，使得自动驾驶车辆不可避免会遇到无法应对的场景，进而车辆无法规划安全合理的行驶轨迹，这就需要远程驾驶来辅助。

目前，远程驾驶技术多通过实时采集视频并实时控制的方式实现，这对数据时效性和数据的充分性具有较高要求，但会遭遇视频存在时间差、视频中断丢失、视野盲区等情况，具有重大安全隐患。对于远程驾驶的核心需求在于，自动驾驶车辆需要得到有经验的驾驶人员的行车决策辅助，而不一定为实时控制。

发明内容

远程驾驶的核心在于将控制中心远程驾驶人员的行车决策传输给待控车辆。为此，本发明提供一种自动驾驶车辆的远程辅助系统及方法，通过将远程驾驶人员所设计的行车轨迹发送给待控车辆去执行，以克服现有自动驾驶车辆的远程驾驶方案因数据时效性和充分性而存在的安全问题。

为实现上述目的，本发明提供如下技术方案：

本申请公开了一种自动驾驶车辆的远程辅助系统，包括监控中心和待控车辆，还包括远程辅助模块、无线通信模块、车载控制中枢、车载传感器和车载感知中枢，所述无线通信模块包括无线通信模块中心设备和无线通信模块车载设备，所述远程辅助模块与无线通信模块中心设备位于所述监控中心内，所述车载控制中枢、车载传感器、车载感知中枢和无线通信模块车载设备位于所述待控车辆内部，所述远程辅助模块与无线通信模块中心设备之间通过线路连接，所述无线通信模块中心设备和无线通信模块车载设备之间通过数据信号连接，所述车载传感器的信号发送端与车载感知中枢的信号接收端相连接，所述车载感知中枢的信号发送端与无线通信模块连接，所述车载控制中枢的信号接收端分别连接无线通信模块车载设备的信号发送端与车载感知中枢的信号发送端，所述车载控制中枢的信号发送端与车辆ECU相连接。

作为优选，所述车载传感器至少包含一个用于获取车辆行驶方向上的视频数据的前视角视频采集相机、用于获取车辆周围的环境点云数据的激光雷达和一个高精度卫星定位模块。

作为优选，所述无线通信模块中心设备可配置为电信运营商的调制解调器或WI-FI路由器，所述无线通信模块车载设备可配置为4G无线路由器、5G无线路由器或WI-FI路由器。

一种自动驾驶车辆的远程辅助方法，包括以下步骤：

S1、车载传感器获取待控静止车辆的实时环境数据，并将实时环境数据发送到车载感知中枢；

S2、车载感知中枢从传感器原始数据解析提取环境障碍信息，在同一车辆坐标系下融合多个传感器的数据得到融合数据，将融合数据发送到远程辅助模块和车载控制中枢；

S3、远程辅助模块接收车辆发送的融合数据，并以三维数据形式展现给远程驾驶员；远程驾驶员在俯视投影图上绘制车辆行驶轨迹；远程辅助模块将远程驾驶员绘制的车辆行驶轨迹发送给车载控制中枢；

S4、车载控制中枢接收车辆行驶轨迹和融合数据，将接收的车辆行驶轨迹替换为待控车辆的目标行驶轨迹，结合环境融合数据生成连续控制指令，依次发送给车辆ECU，完成车辆循迹。

作为优选，所述步骤S3中远程驾驶员根据呈现的车辆环境信息和道路条件，绘制车辆行驶轨迹具体包含如下子步骤：

S31、由车辆融合数据生成环境三维点云场景供远程驾驶员直观浏览，生成车辆俯视平面图供远程驾驶员绘制轨迹；

S32、远程驾驶员在车辆俯视平面图上由起点依次选择轨迹关键点坐标，形成连续折线；

S33、远程辅助模块依据连续折线和车辆控制参数生成连续轨迹曲线并离散化为轨迹点，构成车辆行驶轨迹；

作为优选，所述轨迹点包括但不限于点的绝对位置、点的速度、点的加速度、点的曲率、点的曲率方向。

作为优选，所述步骤S4中车载控制中枢将接收的车辆行驶轨迹替换为待控车辆的目标行驶轨迹，结合环境融合数据生成连续控制指令，具体包含如下子步骤：

S41、车载控制中枢接收车辆行驶轨迹；

S42、车载控制中枢将接收的车辆行驶轨迹设定为待控车辆的目标轨迹；

S43、车载控制中枢获取当前的环境障碍信息和车辆状态信息，所述车辆状态信息包括但不限于定位信息、车辆行驶信息；

S44、车载控制中枢根据当前位置和目标轨迹，生成未来T时间的车辆控制指令，发送给车辆的ECU；

作为优选，所述连续控制指令包括但不限于油门控制量、转向控制量、制动控制量、灯光控制量。

作为优选，所述实时环境数据包括但不限于包含车载相机的图像数据、激光雷达的点云数据、定位模块的卫星定位数据。

作为优选，所述融合数据为同一坐标系下的多种传感器数据。

作为优选，所述融合数据包括但不限于点云数据、图像数据以及解析的障碍物的种类、方位和速度信息。

本发明的有益效果：与现有技术相比，本发明提供了一种自动驾驶车辆的远程辅助系统及方法，远程驾驶员在得到车辆的环境数据后，绘制车辆的行驶轨迹，并发送到待控静止车辆；待控静止车辆根据接收的行驶轨迹生成控制指令。本发明的远程辅助方式可以非实时实现，从而解决了现有远程驾驶技术对通信数据时效性和充分性而存在的依赖问题。

本发明的特征及优点将通过实施例结合附图进行详细说明。

附图说明

图1是本发明一种自动驾驶车辆的远程辅助系统的结构示意图；

图2是本发明一种自动驾驶车辆的远程辅助方法的整体流程图；

图3是本发明的远程辅助模块绘制轨迹的流程图；

图4是本发明的车载控制中枢处理接收轨迹的流程图；

图5是本发明监控中心呈现的车辆俯视平面图及远程驾驶员绘制的轨迹图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明实施例的自动驾驶车辆要求能够由自动驾驶系统完成驾驶操作，一般要求具备L3级别及以上（优选为L4级别及以上）的能力。需要具备环境感知、决策规划、高精度地图及定位等功能，配备摄像头、激光雷达等传感设备卫星定位设备以及无线联网设备。

作为本发明的第一方面，提供了一种自动驾驶车辆的远程辅助系统，如图1所示，该系统包括车载传感器、车载感知中枢、无线通信模块、远程辅助模块和车载控制中枢。各单元之间通信地耦合。该远程辅助系统的单元模块需要分别部署于监控中心和待控车辆。

车载传感器部署于待控车辆上，配备为用于获取待控车辆的环境信息。所述环境信息包含场景中的三维点云、二维影像、方位信息，相应地，所述车载传感器可附加地进行以下一种或多种配置：

车载传感器被配置为适于获取车辆环境全景视频的摄像头。例如，摄像头具有120度的广角视野，固定于车辆前部，经由高速网线传输；

车载传感器被配置为适于获取车辆环境高精度三维点云数据的激光雷达设备，例如32线机械旋转雷达、固体雷达，经由高速网线传输；

车载传感器被配置为适于获取全球定位信息卫星定位设备，例如GPS（全球定位系统）、RTK（实时差分定位系统），经由串口传输。

车载传感器被配置为毫米波雷达设备，可利用毫米波探测车辆环境障碍方位和速度。

如能理解的，所述车载传感器为至少包含以上激光雷达和卫星定位设备的一组设备。

车载感知中枢，配置为具有较高计算能力的高性能计算设备，部署有数据处理算法，完成传感器原始数据的解析提取。

在一种实施例中，车载感知中枢的典型硬件配置为包含GPU并行计算能力的工控机，或具有并行计算能力的嵌入式计算单元，具备多种传感设备数据接口，例如USB3.0、RJ45网口、RS232串口。

所述数据处理算法可附加地进行以下一种或多种配置：

数据处理算法被配置为以点云数据为输入的深度神经网络模型（如LidarSegment），以三维激光点云数据为输入，经过模型的前向计算，得到数据中车辆、行人的方位和三维尺寸信息。

数据处理算法被配置为以二维图像为输入的物体检测深度神经网络模型（如YOLO，Faster RCNN），能够由图像数据识别出车辆、行人的方位和尺寸信息、道路的可行驶区域。

数据处理算法可进一步被配置为数据融合算法，能够通过前期的传感器标定数据，将不同传感器坐标系下的数据融合为统一坐标系的数据。例如，将二维图像像素点通过反投影变换参数映射到三维点云数据上，完成数据匹配。又例如，将二维图新检测的物体框投影到三维物体上，实现对三维物体的语义标注。最后，输出各个数据在统一坐标系下的融合数据。

所述统一坐标系，被配置为以车辆中心为原点，以1米为单位长度的三维坐标系，与激光三维点云的原始坐标系有平移旋转的变换关系。

所述融合数据，被配置包含激光点云数据，二维相机图像，障碍物在统一坐标系下的位置坐标、运动速度、障碍物种类，道路可行驶区域。

无线通信模块配备为车载设备和中心设备。中心设备与远程辅助模块通过通信线缆连接，部署于监控中心，为车载数据接收和远程辅助信息发送提供链路支持；车载设备部署于待控车辆上，为车载数据外传以及远程信息接收提供链路支持。

在一种实施例中，所述无线通信模块可经由电信运营商的公共网络通信，无线通信模块可配置为移动运营商的公共网络接口设备，例如固定宽带的调制解调器或移动网络4G网卡。优选的，为实现更可靠的网络通信和更低的延迟，公共网络接口可选用千兆网口和5G网卡。

在另一种实施例中，所述无线通信模块可经由局部网络通信，无线通信模块可配置为无线WI-FI路由器。中心设备和车载设备通过配置，实现在同一局部网络中的通信。优选的，WI-FI路由器可配备为千兆、高功率的无线WI-FI路由器，可提供更高带宽、更广覆盖的通信网络。

远程辅助模块部署于监控中心，被配备为接收车辆发送来的融合数据和车辆信息并呈现，呈现车辆信息并接收远程辅助人员指示信息。

在一种实施例中，远程辅助模块，可配备为具备显示器、键盘、鼠标的计算机设备。所述显示器可显示车载传感器采集的激光三维点云数据、视频图像数据以及车辆的运行速度、车辆定位、模块工作状态信息，也可显示三维数据的俯视二维图像；所述键盘和鼠标可协助远程驾驶员在图像上绘制轨迹曲线。

所述显示器可进一步配备为多台显示器，以同时呈现以上多种信息。

优选地，在另一种实施例中，显示设备和人机交互设备可整体配置为支持屏幕触控操作的平板电脑或笔记本电脑。

车载控制中枢，被配置为具有计算能力的工控机，典型配置为8G内存、8核CPU，能够与车辆ECU连接通信，车载控制中枢能够通过车载无线通信模块与监控中心通信，车载控制中枢与感知中枢通信连接。

车载控制中枢，被配置为接收车辆融合数据和车辆行驶信息。

在一种实施例中，车辆融合数据至少包括车辆行驶环境的障碍信息、道路信息。所述障碍信息是指车辆所在行驶环境中的其他机动车、非机动车、行人、固定障碍物的方位和速度信息，所述道路信息是指所在道路的可行驶区域。所述行驶信息是指待控车辆本身的位置信息、速度信息、姿态信息。所述融合数据由车载感知中枢经过算法解析从感知数据中提取，所述行驶信息由车辆底盘以及卫星定位设备发出。

车载控制中枢，被配置为接收远程辅助信息。

在一种实施例中，远程辅助信息包括规划的车辆行驶轨迹以及行驶速度。具体地，车辆行驶轨迹以待控车辆当前静止位置为起点，以要行驶的目的地点为终点。行驶轨迹为远程人工绘制的轨迹点组成，每个轨迹点有相应的行驶速度和行驶方向。

车载控制中枢，被配置为具有循迹控制功能。

在一种实施例中，所述循迹控制功能，以接收的远程辅助信息为依据，生成行驶轨迹以及相应的控制信息。所述行驶轨迹与上述远程辅助信息的行驶轨迹一致；所述控制信息，是指由目标轨迹点的位置、行驶速度以及待控车辆自身的行驶信息计算得到的油门、刹车、转向的控制量。

例如，车辆目标点速度v1，当前速度v0，目标点距离x，则当前需要给车辆提供a=(v1*v1-v0*v0)/2x的加速度，经过查表，确定对应的油门控制量和刹车控制量。

作为本发明的第二方面，提供了一种自动驾驶车辆的远程辅助方法，如图2所示，包含S1、S2、S3、S4四个步骤，一种实施例如下：

本发明实施例的自动驾驶车辆在运行本方法前处于静止状态。

S1、如第一方面所述，工业视觉摄像头以固定件的行驶刚性连接在车身，实时以30FPS、200万像素获取车辆环境视频数据；16线机械式激光雷达刚性固定于车顶，实时以10HZ获取车辆环境三维点云数据；高精度差分定位设备，固定于车辆，实时以100HZ获取车辆位置信息和姿态信息。相机和激光雷达的数据量较大，需要通过网线传输至感知中枢，定位数据通过串口传输至感知中枢。

所述车辆位置信息，配备为获取的厘米级精度的经纬度信息，也可经转换为东北天平面坐标系，用于后续车辆的定位显示。

所述姿态信息，配备为车辆在东北天坐标系下的朝向角度。

S2、车载感知中枢被配置通过IP网络连接获取传感设备采集的三维点云数据和高清视频数据，通过串口连接获取定位设备的定位数据。

所述S2步骤如第一方面所述，被配置包含通过深度神经网络模型处理激光数据，经过预训练模型的实时前向计算，可提取出数据中车辆、行人的坐标和三维尺寸信息。

另外，所述S2步骤，被配置为包含以二维图像为输入，使用端到端物体检测深度神经网络模型YOLO实时前向计算，得到图像中车辆、行人的方位和尺寸信息、道路的可行驶区域。

所述S2步骤，被配置为包含数据融合算法，如第一方面所述，将不同传感器坐标系下的数据以及上述数据处理结果融合为统一坐标系的数据。具体地，以车辆中心为原点，以车辆正前方为X正方向，以车辆左侧为Y正方向，以车辆朝天空为Z正方向，以1米为单位长度构建统一三维坐标系。其次，通过激光雷达标定，确定激光雷达局部坐标系到统一坐标系的平移变换、旋转变换、尺度变换矩阵；通过相机标定，确定相机与统一坐标系的投影变换矩阵。最后，输出各个数据在统一坐标系下的融合数据，并发送给车载控制中枢和监控中心的远程辅助模块。

S3、远程驾驶员根据监控中心呈现的待控车辆的三维环境数据规划合理路线，并在车辆俯视平面图上绘制行驶轨迹，发送到车载控制中枢，整体流程如图3所示：

S31、远程辅助单元接收车辆发送的融合数据，由三维点云数据、识别的车辆数据、识别的行人数据、识别的障碍数据、道路可行驶区域通过QT渲染三维场景供远程驾驶员直观查看行驶环境；由识别的车辆数据、识别的行人数据、识别的障碍数据、道路可行驶区域绘制车辆俯视平面图供远程驾驶员绘制轨迹；车辆俯视平面图如图5所示。

S32、远程驾驶员在车辆俯视平面图上通过交互设备，由起点依次选择轨迹关键点坐标并自动连接，形成连续多段折线；在实施例中，所选轨迹关键点为行驶中必须覆盖的转折点、途经点；所述起点为车辆当前静止所在的位置，所述轨迹的终点为远程驾驶员判定为可由车辆自动驾驶程序接管的位置；在实施例中，轨迹关键点的数量需大于3。

S33、在一种实施例中，远程辅助模块运用二次拟合方法由多段的折线生成拟合曲线，以使行驶轨迹更平滑；其次，所生成的连续曲线以0.1米的离散距离生成离散化的轨迹点，并在每个离散点的位置计算点的曲率和方向，10米的轨迹曲线可生成100个离散轨迹点。可选的，每个离散点可由远程驾驶员指定车辆行驶至该点的行驶速度，起点和终点的速度不可指定，必须为0。

S4、车载控制中枢将接收的车辆行驶轨迹设定为待控车辆的目标轨迹，同时获取车辆环境和车辆状态信息。车载控制中枢根据当前位置，计算目标轨迹最近的距离和方向，并由此生成未来T时间的车辆控制指令，时间T可定为2秒；具体包含如下子步骤：

S41、远程驾驶员绘制的车辆行驶轨迹离散点，以二进制TCP数据包的形式，经过无线通信模块发送到车载控制中枢，车载控制中枢解析数据包得到轨迹数据；

S42、车载控制中枢将接收的车辆行驶轨迹设数据点，并以车辆当前位置为起点，以轨迹的起点为目标开始循迹，在临近目标点后，依次设定后续轨迹点为待控车辆的目标循迹点。

S43、车载感知中枢将融合数据发送到车载控制中枢，在一种实施例中，车载控制中枢解析其中的环境障碍信息和车辆行驶信息，包含车辆、行人、固定障碍、车辆定位信息、车辆速度信息。车辆车体信息，包含轮距、车体尺寸、转向参数，内置于车载控制中枢。车载控制中枢，根据轨迹是否与障碍交叠，判定是否可执行，若可执行则执行下一步，若不可执行，则反馈远程驾驶员失败信息。

S44、车载控制中枢根据当前位置和目标循迹点的位置和目标速度，计算车辆所需的横纵向加速度，并进一步由目标速度和加速度经查表获取未来T时间的车辆控制指令，在一种实施例中，T为2秒。所述车辆控制指令，包含车辆油门的开合度、方向盘转向的角度、刹车的力度。

车载控制中枢将生成的控制指令发送到车辆ECU，车辆执行动作，若车辆位置与目标位置小于0.05米时，判定当前循迹点完成。若目标循迹点不是终点，则获取下一个循迹点，继续S43步骤；若目标循迹点事终点则结束远程辅助，并反馈远程驾驶员成功信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种自动驾驶车辆的远程辅助系统，包括监控中心和待控车辆，其特征在于：还包括远程辅助模块、无线通信模块、车载控制中枢、车载传感器和车载感知中枢，所述无线通信模块包括无线通信模块中心设备和无线通信模块车载设备，所述远程辅助模块与无线通信模块中心设备位于所述监控中心内，所述车载控制中枢、车载传感器、车载感知中枢和无线通信模块车载设备位于所述待控车辆内部，所述远程辅助模块与无线通信模块中心设备之间通过线路连接，所述无线通信模块中心设备和无线通信模块车载设备之间通过数据信号连接，所述车载传感器的信号发送端与车载感知中枢的信号接收端相连接，所述车载感知中枢的信号发送端与无线通信模块连接，所述车载控制中枢的信号接收端分别连接无线通信模块车载设备的信号发送端与车载感知中枢的信号发送端，所述车载控制中枢的信号发送端与车辆ECU相连接。

2.如权利要求1所述的一种自动驾驶车辆的远程辅助系统，其特征在于：所述车载传感器至少包含一个用于获取车辆行驶方向上的视频数据的前视角视频采集相机、一个用于获取车辆周围的环境点云数据的激光雷达、一个用于获取车辆高精度位置的卫星定位设备。

3.如权利要求1所述的一种自动驾驶车辆的远程辅助系统，其特征在于：所述无线通信模块中心设备可配置为电信运营商的调制解调器或WI-FI路由器，所述无线通信模块车载设备可配置为4G无线路由器、5G无线路由器或WI-FI路由器。

4.一种自动驾驶车辆的远程辅助系统方法，其特征在于，包括以下步骤： S1、车载传感器获取待控车辆的实时环境数据，并将实时环境数据发送到车载感知中枢； S2、车载感知中枢从实时环境数据解析提取环境障碍信息，在同一车辆坐标系下融合多个传感器的数据得到融合数据，将融合数据发送到远程辅助模块和车载控制中枢； S3、远程辅助模块接收车辆发送的融合数据，并以三维数据形式展现给远程驾驶员；远程驾驶员在俯视投影图上绘制车辆行驶轨迹；远程辅助模块将远程驾驶员绘制的车辆行驶轨迹发送给车载控制中枢；

S4、车载控制中枢接收车辆行驶轨迹和融合数据，将接收的车辆行驶轨迹替换为待控车辆的目标行驶轨迹，结合环境融合数据生成连续控制指令，依次发送给车辆ECU，完成车辆循迹。

5.如权利要求4所述的一种自动驾驶车辆的远程辅助方法，其特征在于，所述步骤S3中远程驾驶员在俯视投影图上绘制车辆行驶轨迹具体包含如下子步骤： S31、由车辆融合数据生成环境三维点云场景供远程驾驶员直观浏览，生成车辆俯视平面图供远程驾驶员绘制轨迹； S32、远程驾驶员在车辆俯视平面图上由起点依次选择轨迹关键点坐标，形成连续折线； S33、远程辅助模块依据连续折线和车辆控制参数生成连续轨迹曲线并离散化为轨迹点，构成车辆行驶轨迹。

6.如权利要求5所述的一种自动驾驶车辆的远程辅助方法，其特征在于，所述轨迹点包括但不限于点的绝对位置、点的速度、点的加速度、点的曲率、点的曲率方向。

7.如权利要求4所述的一种自动驾驶车辆的远程辅助方法，其特征在于，所述步骤S4具体包含如下子步骤：

S41、车载控制中枢接收车辆行驶轨迹；

S42、车载控制中枢将接收的车辆行驶轨迹设定为待控车辆的目标轨迹；

S43、车载控制中枢获取当前的环境障碍信息和车辆状态信息，所述车辆状态信息包括但不限于定位信息、车体信息；

S44、车载控制中枢根据当前位置和目标轨迹，生成未来T时间的车辆控制指令，发送给车辆的ECU。

8.如权利要求4所述的一种自动驾驶车辆的远程辅助方法，其特征在于，所述融合数据包括但不限于点云数据、图像数据以及解析的障碍物的种类、方位和速度信息。

9.如权利要求4所述的一种自动驾驶车辆的远程辅助方法，其特征在于，所述环境障碍信息包括但限于障碍物的种类、方位和速度信息。

Images