CN110228484A - 一种具有辅助驾驶功能的低时延智能远程驾驶系统 - Google Patents

Abstract

本发明涉及一种具有辅助驾驶功能的低时延智能远程驾驶系统，包括系统前端、系统后端和辅助驾驶子系统；系统前端采集驾驶工具周围环境信息并回传到系统后端，使驾驶员对驾驶工具周围发生的事件进行观察并远程控制驾驶工具；系统前端将采集的驾驶工具周围环境图像信息发送到辅助驾驶子系统，辅助驾驶子系统对驾驶工具周围环境进行分析，当辅助驾驶子系统分析出可能出现危险情形时，将以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作或辅助驾驶子系统直接发出命令控制驾驶工具做出避险动作。本发明增加了辅助驾驶子系统，可以实时处理采集到的信息；通过5G网络作为其载体，使信息回传和控制信号发送这一环路的整体时延保持在极低的水平。

Description

一种具有辅助驾驶功能的低时延智能远程驾驶系统

技术领域

本发明涉及远程信息传输和智能辅助驾驶领域，特别是一种具有辅助驾驶功能的低时延智能远程驾驶系统。

背景技术

通过远程控制方式驾驶机械进行作业拥有极广的应用领域，如现已面世的各型无人机、无人船只、遥控机器人等。但目前的远程驾驶方式具有较大的局限性，比如控制距离有限、只能通过肉眼观察周围环境、仅依靠驾驶员的个人经验控制驾驶工具、前端到后端的整个系统时延大、受网络传输带宽影响严重等缺陷，这严重制约了远程驾驶系统在安全性要求高、时延小的场景的应用，比如远程控制环卫车、汽车、地铁、轻轨列车、整车测试等。另一方面，目前一些远程驾驶的系统只有将车辆的视频信息传回后端给操控员观看，而后端的操控员只能根据现有传感器的安装位置，无法通过调整座椅或通过身体移动获取更多信息，可能会漏掉一些重要信息，因此具有人工智能算法的辅助驾驶系统对后端操控员很有帮助。

以往的广域网信息传输会有较大的时延。在日常生活场景中这些网络时延不会造成太大影响，但对于远程驾驶这类应用，其对网络时延的要求极为苛刻。随着5G技术的日趋成熟，5G网络低时延的特点也逐渐凸显，这很好地满足了远程驾驶对低时延网络的要求，但是5G网络与之前几代无线网络类似，也存在信道不稳定的问题，这导致网络的带宽存在波动的现象。如何保证远程驾驶系统数据传输的稳定性、从前端信息采集到后端视频显示整个链路的低时延、对驾驶工具周围环境的充分感知与分析，是保障远程驾驶安全性的关键。

发明内容

有鉴于此，本发明的目的是提出一种具有辅助驾驶功能的低时延智能远程驾驶系统，增加了辅助驾驶子系统，可以实时处理采集到的信息以可视化的形式呈现给驾驶员以帮助分析决策；同时，当系统判断遇到危险情况时，其还可直接操控驾驶工具进行紧急避险，大大提高安全系数。

本发明采用以下方案实现：一种具有辅助驾驶功能的低时延智能远程驾驶系统，包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。

进一步地，所述系统前端包括信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块和基于CAN总线的机械控制模块；所述机械控制模块与所述控制信号接收模块电性相连；所述信息采集模块与所述信息发送模块连接，用以发送所述信息采集模块采集到的无需编码的数据；所述信源编码器分别与所述信息采集模块和所述信道编码器电性相连，用以将所述信息采集模块采集的驾驶工具周围的环境信息通过信源编码器进行压缩编码并发送到所述信道编码器；所述信道编码器还与所述信息发送模块电性相连，用以将所述信道编码器进行冗余编码处理后的信息通过所述信息发送模块发送到所述系统后端。

进一步地，所述系统后端包括控制信号发送模块、控制模块、信息接收模块、信道解码器、信源解码器和信息显示模块；所述控制模块与所述控制信号发送模块连接；所述控制信号发送模块还与所述控制信号接收模块连接；所述信息接收模块与所述信息发送模块连接，用以接收所述信息发送模块发送的信息；所述信息接收模块还与所述信息显示模块连接用以发送系统前端中无需编码的数据；所述信道解码器分别与所述信息接收模块和信源解码器连接，所述信源解码器还与所述信息显示模块连接，用以通过所述信道解码器进行去冗余并传输到所述信源解码器进行数据解码还原最后通过所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于预先设定的安全距离及车辆自身姿态是否安全；驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具。

进一步地，所述辅助驾驶子系统包括目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块和整合模块；所述辅助驾驶子系统中的各个模块均分别与所述信息采集模块和信息接收模块连接并获取信息；所述目标检测模块与所述目标识别模块连接，用以对所述信息采集模块传递的驾驶工具周围环境图像信息进行检测，并将检测信息中出现的各类目标传输到所述目标识别模块进行目标分类；所述目标识别模块与所述目标跟踪模块连接，用以对信息中出现的目标进行跟踪；所述语义分割模块用以对所述信息采集模块传输的环境信息中出现的目标进行轮廓勾勒；所述道路检测模块采用全卷积神经网络对所述信息采集模块传输的图像信息中的道路进行分割与标注；所述道路线识别模块用以检测进行分割与标注后的图像信息中的车道线，并获取车道线的位置信息；所述道路面方程模块通过车辆和路面接触点在平面方程中的距离计算出视野内车辆、障碍物、标志物在三维空间中的具体位置；所述测距模块用以测量图像信息中出现的目标的最终距离，整合模块分别与所述目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块连接，用以整合所有信息的图像发送到所述信息显示模块，用以便于驾驶员进行查看；当所述辅助驾驶系统在紧急的情况下时则直接通过控制所述机械装置对所述驾驶工具进行控制。

进一步地，所述系统前端与所述系统后端通过5G网络进行通信。

进一步地，本发明还提供一种具有辅助驾驶功能的低时延智能远程驾驶系统的工作方法，具体包括以下步骤：

步骤S1：所述信息采集模块采集驾驶工具周围的环境图像信息和视频信息通过所述信源编码器进行压缩编码处理和所述信道编码器进行冗余编码处理后传输到所述信息发送模块，并由所述信息发送模块传输至所述信息接收模块；无需编码的信息由所述信息采集模块直接传输到所述信息发送模块，并通过所述信息发送模块传输到所述信息接收模块；

步骤S2：所述信息接收模块对接收到的图像信息通过所述信道解码器进行去冗余处理和所述信源解码器进行数据解码还原处理后传输到所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于安全距离及车辆自身姿态是否安全；

步骤S3：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内即为危险情形，则驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具；

步骤S4：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内则为紧急情况，此时所述辅助驾驶子系统直接发出命令至机械控制模块进而控制驾驶工具做出避险动作。

与现有技术相比，本发明有以下有益效果：

本发明增加了辅助驾驶子系统，该系统可以实时处理采集到的信息，标注关键区域，识别并跟踪感兴趣物体，计算其距离，并采用基于卷积神经网络的深度学习算法判别姿态并预测其动向，其中部分模块将关注道路本身，识别视野中的道路线并建立道路面方程。这些信息将以可视化的形式呈现给驾驶员以帮助分析决策；同时，当系统判断遇到危险情况时，其还可直接操控驾驶工具进行紧急避险，大大提高安全系数。

本发明通过各个模块间的紧密配合，同时结合探测到的信道质量参数，动态地调整各个模块的工作方式，又通过5G网络作为其载体，使信息回传和控制信号发送这一环路的整体时延保持在极低的水平，满足了远程驾驶的要求。

附图说明

图1为本发明实施例的结构框图。

图2为本发明实施例的智能远程驾驶画面的实拍效果图。

图3为本发明实施例的目标检测模块、道路线检测模块的实拍效果图。

图4为本发明实施例的目标识别、语义分割模块的实拍效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供了一种具有辅助驾驶功能的低时延智能远程驾驶系统，包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。

在本实施例中，所述系统前端包括信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块和基于CAN总线的机械控制模块；所述机械控制模块与所述控制信号接收模块电性相连；所述信息采集模块与所述信息发送模块连接，用以发送所述信息采集模块采集到的无需编码的数据；所述信源编码器分别与所述信息采集模块和所述信道编码器电性相连，用以将所述信息采集模块采集的驾驶工具周围的环境信息通过信源编码器进行压缩编码并发送到所述信道编码器；所述信道编码器还与所述信息发送模块电性相连，用以将所述信道编码器进行冗余编码处理后的信息通过所述信息发送模块发送到所述系统后端。

在本实施例中，所述系统后端包括控制信号发送模块、控制模块、信息接收模块、信道解码器、信源解码器和信息显示模块；所述控制模块与所述控制信号发送模块连接；所述控制信号发送模块还与所述控制信号接收模块连接；所述信息接收模块与所述信息发送模块连接，用以接收所述信息发送模块发送的信息；所述信息接收模块还与所述信息显示模块连接用以发送系统前端中无需编码的数据；所述信道解码器分别与所述信息接收模块和信源解码器连接，所述信源解码器还与所述信息显示模块连接，用以通过所述信道解码器进行去冗余并传输到所述信源解码器进行数据解码还原最后通过所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于预先设定的安全距离（如在时速百公里以上的高速公路上，本实施例设置安全距离为100米，如果同时有降雨，这一距离会上升到150米）及车辆自身姿态是否安全；驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具。

在本实施例中，所述辅助驾驶子系统包括目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块和整合模块；所述辅助驾驶子系统中的各个模块均分别与所述信息采集模块和信息接收模块连接并获取信息；所述目标检测模块与所述目标识别模块连接，用以对所述信息采集模块传递的驾驶工具周围环境图像信息进行检测，并将检测信息中出现的各类目标传输到所述目标识别模块进行目标分类；所述目标识别模块与所述目标跟踪模块连接，用以对信息中出现的目标进行跟踪；所述语义分割模块用以对所述信息采集模块传输的环境信息中出现的目标进行轮廓勾勒；所述道路检测模块采用全卷积神经网络对所述信息采集模块传输的图像信息中的道路进行分割与标注；所述道路线识别模块用以检测进行分割与标注后的图像信息中的车道线，并获取车道线的位置信息；所述道路面方程模块通过车辆和路面接触点在平面方程中的距离计算出视野内车辆、障碍物、标志物在三维空间中的具体位置；所述测距模块用以测量图像信息中出现的目标的最终距离，整合模块分别与所述目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块连接，用以整合所有信息的图像发送到所述信息显示模块，用以便于驾驶员进行查看；当所述辅助驾驶系统在紧急的情况下时则直接通过控制所述机械装置对所述驾驶工具进行控制。

在本实施例中，所述系统前端与所述系统后端通过5G网络进行通信。

较佳的，本实施例还提供一种具有辅助驾驶功能的低时延智能远程驾驶系统的工作方法，具体包括以下步骤：

步骤S1：所述信息采集模块采集驾驶工具周围的环境图像信息和视频信息通过所述信源编码器进行压缩编码处理和所述信道编码器进行冗余编码处理后传输到所述信息发送模块，并由所述信息发送模块传输至所述信息接收模块；无需编码的信息由所述信息采集模块直接传输到所述信息发送模块，并通过所述信息发送模块传输到所述信息接收模块；

步骤S2：所述信息接收模块对接收到的图像信息通过所述信道解码器进行去冗余处理和所述信源解码器进行数据解码还原处理后传输到所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于安全距离及车辆自身姿态是否安全；

步骤S3：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内（如在时速百公里以上的高速公路上，本实施例设置安全距离为100米，如果同时有降雨，这一距离会上升到150米）即为危险情形，则驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具；

步骤S4：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内（如在时速百公里以上的高速公路上，本实施例设置安全距离为20米，如果同时有降雨，这一距离会上升到50米）则为紧急情况，此时所述辅助驾驶子系统直接发出命令至机械控制模块进而控制驾驶工具做出避险动作。

较佳的，本实施例通过各种传感器感知驾驶工具周围环境，并将采集到的各类周围环境信息实时回传到后端，使后端的驾驶员有身临其境之感，以对驾驶工具周围发生的各种事件做出准确地判断。同时辅助驾驶子系统可以实时处理采集到的信息，其通过深度学习和SLAM技术对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出可能出现的危险情形时，将以警报的方式提示驾驶员，在特别紧急的情况下，辅助驾驶子系统还可直接控制驾驶工具做出避险动作。通过使用具有辅助驾驶功能的低时延智能远程驾驶系统，驾驶员可以精准地控制驾驶工具，更加安全地完成复杂的驾驶任务。

较佳的，本实施例通过各个模块间的紧密配合，同时结合探测到的信道质量参数，动态地调整各个模块的工作方式，使信息回传和控制信号发送这一环路的整体时延保持在极低的水平，以满足远程驾驶的要求。在此过程中，辅助驾驶子系统还将实时处理采集到的信息，标注关键区域，识别跟踪感兴趣物体、计算其距离、姿态并预测其动向，识别视野中的道路线并建立道路面方程。辅助驾驶子系统内的整合模块将整合好后的信息在信息显示模块输出以帮助驾驶员提前规避潜在的危险。

特别的，在本实施例中，所述信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块、机械控制模块组成系统前端；

其中，信息采集模块、信源编码器、信道编码器和信息发送模块串联，形成信息前端；控制信号接收模块和机械控制模块串联组成控制前端。

所述控制模块、控制信号发送模块、信息接收模块、信道解码器、信源解码器、信息显示模块组成系统后端；

信息接收模块、信道解码器、信源解码器和信息显示模块串联，组成信息后端；

控制模块和控制信号发送模块串联组成控制后端。前后端间通过无线网络（比如5G网络）进行通信。

所述目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块和测距模块组成辅助驾驶子系统，用于处理信息采集模块获取的信息。

该低时延智能远程驾驶系统适用于不同的驾驶工具，如飞行器、各型船舶、各型车辆、机器人等。

所述信息采集模块包含雷达、激光雷达、毫米波雷达、超声波雷达、深度摄像头、红外摄像头、环视摄像头、GPS/北斗、里程计、车辆状态信息采集模块等硬件，可以采集视野内物体的外观、姿态、距离、速度等信息，并通过USB、串口、PCIE总线、视频信号线、网线等链路并行传输给计算机。其中数据量较小、无需压缩的信息可以直接传递给信息发送模块发送。

所述信源编码器采用了混合编码框架，通过去除信息的时空冗余以压缩其体积。通过预测、变换、量化、去块滤波和熵编码来去除视频冗余。根据信道反馈回来的实时信道质量，自适应地调整编码器的量化参数（QP）从而改变编码器的输出码率，使其能够在规定时延内稳定传输高质量的视频信号。

所述信道编码器通过增加冗余来降低传输时误码对信息造成的影响。可以根据实时信道质量自适应地改变编码冗余率，以保证在规定时延内传递高完整度的信息。其主要采用了前向纠错技术，基于LDPC码型进行改进，从原始应用在物理层进行比特级的编译码转变为在应用层以包为单位进行编译码，同时根据I、P、B帧大小自适应调整冗余率，最大化节省带宽资源，同时能够保证传输的可靠性。在丢包率低时，无须完整接收编码后一帧数据便可译码成功。

所述控制信号接收模块接收系统后端传递的控制信号并传递给机械控制模块。可以实时探测控制链路是否连接，若控制链路断开，则指示机械控制模块将驾驶工具调整至安全状态。

所述辅助驾驶子系统（含目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块和测距模块）可分别与系统前端或系统后端相连，与系统前端相连，通信链路中仅传递处理过后的数据，降低链路和系统后端的负载；与系统后端相连，系统后端可以获得信息采集模块获取的所有信息，以做出更准确的判断。

所述辅助驾驶子系统在检测到极危险情况时，可以直接控制驾驶工具做出规避动作。

所述辅助驾驶子系统中的目标检测模块用于检测图像中的目标，目标可以根据需要进行设定；目标识别模块用于识别图像中的目标，语义分割模块用于将识别出来的目标在图像中分割出其轮廓。目标检测模块、目标识别模块和语义分割模块可用设计的卷积神经网络来实现。

所述辅助驾驶子系统中的目标跟踪模块是根据目标检测模块输出的目标检测结果，融合目标的空间位置信息和外观深度特征信息，跟踪每帧图像中同一个目标。

所述辅助驾驶子系统中的道路检测模块可用全卷积神经网络对图像中的道路部分进行分割与标注，该网络前半部分使用主流的网络进行逐像素的类别预测，获得粗略的道路分割结果图。最后可以进行后处理，对道路分割图进行精修，获得最终的道路分割结果。

所述辅助驾驶子系统中的道路线识别模块用于检测图像中的车道线，获取车道线的位置信息。本模块利用结构化车道线宽度、亮度、固有属性来实现车道线检测，自适应车道线宽度信息来做车道特征提取的初步提取，然后考虑车道线具有的多种不同的属性（车道块面积，线段长度和宽度的比例，车道方向，车道垂直）的情况来做车道线的精细化提取，同时结合感兴趣ROI实时检测车道线。

所述辅助驾驶子系统中的道路面方程模块通过图像和道路检测模块估计三维空间中地面的平面方程。该模块通过视觉SLAM根据静态背景的特征点估计出两帧之间相机相对运动，包括相机旋转R和位移t。图像中位于地面上的特征点在三维中处于同一个平面上，根据平面单应性质，优化两帧之间的重投影误差，估计地面方程平面模型的法向量和截距。建立道路面方程后，可以据此计算出视野内其它车辆、障碍物、标志物在三维空间中的具体位置。

所述辅助驾驶子系统中的测距模块通过摄像机采集标定物的图像，并从图像中提取出棋盘格角点；求出单应矩阵，保留单应矩阵与棋盘原点和摄像机的距离就能通过相机投影几何关系对路面目标物进行测距。

所述信息发送模块可以将一段信息分多条链路发送，可以探测各链路的信道质量，并依此动态分配各链路的负载，将一段信息分多条链路发送出去。

所述信息接收模块可以从多条链路接收信息，并将这些信息整合成一段完整的信息。其中无需解码的信息可直接传递给信息显示模块显示。

机械控制模块根据控制信号接收模块接收到的控制信号控制驾驶工具。

系统后端用于解压系统前端回传的信息并显示，同时采集控制模块的信号并将其发送给系统前端。

信息接收模块可以正确接收一条乃至多条链路回传的信息，并将信息传递给信道解码器。其中无需解码的信息可直接传递给信息显示模块显示。

信道解码器去除信道编码加入的冗余，从中还原出正确数据，并将数据传递给信源解码器。

信源解码器从压缩数据中还原出原始信息，并将原始信息传递给信息显示模块和辅助驾驶子系统。如图2中模拟驾驶舱左、中两块屏幕显示的就是信源解码后获取到的画面。

信息显示模块显示原始信息和辅助驾驶子系统处理过后的提示信息。即图2中的显示器。

控制模块模拟驾驶工具内的各种控制器，并接受驾驶员的动作，采集控制信号并传递给控制信号发送模块。如图2所示，当智能远程辅助驾驶的载体为车辆时，模拟驾驶舱内的方向盘、油门和档位即为控制模块。

控制信号发送模块将采集到的控制信号通过5G信道发送给系统前端。

辅助驾驶子系统用于处理采集到的数据，并输出辅助信息。包括8个子模块，各子模块分别为：

目标检测模块检测信息中出现的各类目标，图3、图4画面中的方框即该模块的输出结果。

目标识别模块分类信息中出现的各类目标。图4画面中位于方框外部左上角的文字即该模块的输出结果。

目标跟踪模块跟踪信息中出现的目标、获取其姿态、预测其接下来的动向。

语义分割模块在画面中勾勒出各个目标的轮廓，图4精确覆盖各个目标的深色区域即该模块的输出结果。

道路检测模块使用全卷积神经网络对图像中的道路部分进行分割与标注。

道路线识别模块用于检测图像中的车道线，获取车道线的位置信息。图3中标识出车道线的线条即为该模块的输出结果。

计算机可以跟据道路面方程模块的处理结果计算出视野内其它车辆、障碍物、标志物在三维空间中的具体位置。

测距模块测量信息中出现的目标的距离图3中各个目标左上角出现的距离指示即为该模块的输出结果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：包括系统前端、系统后端和辅助驾驶子系统；所述系统前端分别与所述系统后端和所述辅助驾驶子系统通信相连；所述系统后端还与所述辅助驾驶子系统通信相连；所述系统前端采集驾驶工具周围1000米视距范围内的环境信息，并回传到所述系统后端，用以使驾驶员对驾驶工具周围发生的事件进行观察；所述系统前端还将采集的驾驶工具周围环境图像信息发送到所述辅助驾驶子系统，所述辅助驾驶子系统采用基于卷积神经网络的深度学习算法和SLAM方法对驾驶工具周围环境进行分析，并将分析结果以视频的方式呈现出来，当辅助驾驶子系统分析出现危险情形时，将在信息显示模块上以警报的方式提示驾驶员远程控制驾驶工具做出相应的规避动作；所述辅助驾驶子系统还与所述机械控制模块连接，在紧急的情况下辅助驾驶子系统直接发出命令至所述机械控制模块控制驾驶工具做出避险动作；所述环境信息包括图像和激光点云数据。

2.根据权利要求1所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述系统前端包括信息采集模块、信源编码器、信道编码器、信息发送模块、控制信号接收模块和基于CAN总线的机械控制模块；所述机械控制模块与所述控制信号接收模块电性相连；所述信息采集模块与所述信息发送模块连接，用以发送所述信息采集模块采集到的无需编码的数据；所述信源编码器分别与所述信息采集模块和所述信道编码器电性相连，用以将所述信息采集模块采集的驾驶工具周围的环境信息通过信源编码器进行压缩编码并发送到所述信道编码器；所述信道编码器还与所述信息发送模块电性相连，用以将所述信道编码器进行冗余编码处理后的信息通过所述信息发送模块发送到所述系统后端。

3.根据权利要求2所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述系统后端包括控制信号发送模块、控制模块、信息接收模块、信道解码器、信源解码器和信息显示模块；所述控制模块与所述控制信号发送模块连接；所述控制信号发送模块还与所述控制信号接收模块连接；所述信息接收模块与所述信息发送模块连接，用以接收所述信息发送模块发送的信息；所述信息接收模块还与所述信息显示模块连接用以发送系统前端中无需编码的数据；所述信道解码器分别与所述信息接收模块和信源解码器连接，所述信源解码器还与所述信息显示模块连接，用以通过所述信道解码器进行去冗余并传输到所述信源解码器进行数据解码还原最后通过所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于预先设定的安全距离及车辆自身姿态是否安全；驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具。

4.根据权利要求2所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述辅助驾驶子系统包括目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块和整合模块；所述辅助驾驶子系统中的各个模块均分别与所述信息采集模块和信息接收模块连接并获取信息；所述目标检测模块与所述目标识别模块连接，用以对所述信息采集模块传递的驾驶工具周围环境图像信息进行检测，并将检测信息中出现的各类目标传输到所述目标识别模块进行目标分类；所述目标识别模块与所述目标跟踪模块连接，用以对信息中出现的目标进行跟踪；所述语义分割模块用以对所述信息采集模块传输的环境信息中出现的目标进行轮廓勾勒；所述道路检测模块采用全卷积神经网络对所述信息采集模块传输的图像信息中的道路进行分割与标注；所述道路线识别模块用以检测进行分割与标注后的图像信息中的车道线，并获取车道线的位置信息；所述道路面方程模块通过车辆和路面接触点在平面方程中的距离计算出视野内车辆、障碍物、标志物在三维空间中的具体位置；所述测距模块用以测量图像信息中出现的目标的最终距离；整合模块分别与所述目标检测模块、目标识别模块、目标跟踪模块、语义分割模块、道路检测模块、道路线识别模块、道路面方程模块、测距模块连接，用以整合所有信息的图像发送到所述信息显示模块，用以便于驾驶员进行查看；当所述辅助驾驶系统在紧急的情况下时则直接通过控制所述机械装置对所述驾驶工具进行控制。

5.根据权利要求1所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统，其特征在于：所述系统前端与所述系统后端通过5G网络进行通信。

6.根据权利要求1-5任一项所述的一种具有辅助驾驶功能的低时延智能远程驾驶系统的工作方法，其特征在于：具体包括以下步骤：

步骤S1：所述信息采集模块采集驾驶工具周围的环境图像信息和视频信息通过所述信源编码器进行压缩编码处理和所述信道编码器进行冗余编码处理后传输到所述信息发送模块，并由所述信息发送模块传输至所述信息接收模块；无需编码的信息由所述信息采集模块直接传输到所述信息发送模块，并通过所述信息发送模块传输到所述信息接收模块；

步骤S2：所述信息接收模块对接收到的图像信息通过所述信道解码器进行去冗余处理和所述信源解码器进行数据解码还原处理后传输到所述信息显示模块进行显示，使驾驶员能够实时了解驾驶工具周围的环境并判断周围行人、车辆、障碍物与驾驶工具的距离是否处于安全距离及车辆自身姿态是否安全；

步骤S3：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内即为危险情形，则驾驶员根据显示的驾驶工具周围的环境信息，操作控制模块并通过所述控制信号发送模块将控制信号发送到所述控制信号接收模块；所述控制信号接收模块将接收到的控制信号发送到所述机械控制模块，所述机械控制模块根据接收到的控制信号控制驾驶工具；

步骤S4：若行人、车辆或障碍物与驾驶工具的距离在预先设定的范围内则为紧急情况，此时所述辅助驾驶子系统直接发出命令至机械控制模块进而控制驾驶工具做出避险动作。