CN113022540B - 一种用于多车状态监控的实时远程驾驶系统及方法 - Google Patents

Abstract

本发明公开了一种用于多车状态监控的实时远程驾驶系统，包括：多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；云端仿真平台，其用于根据运行状态信息和环境感知结果信息，分别生成针对每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示。本发明实现了同时对多车进行监控的要求，对带宽需求小，普及率高，成本低，排除人为判断障碍物特性的环节，具有较高的安全性和可靠性。

Description

一种用于多车状态监控的实时远程驾驶系统及方法

技术领域

本发明涉及矿山自动驾驶技术领域，尤其是涉及一种用于多车状态监控的实时远程驾驶系统及方法。

背景技术

近年来，自动驾驶技术发展迅速。由于车辆本身计算资源、功耗的限制，单体车辆难以实时高效的处理传感器数据与进行自动驾驶决策规划计算，导致自动驾驶功能的发展受限，远程驾驶的提出可以解决部分问题；另一方面，利用自动驾驶仿真技术所构建的虚拟环境与车辆模型逼真的还原了自动驾驶场景，为自动驾驶提供了安全保障。

现有技术中公开的远程遥控驾驶方法，常将车辆实时回传的视频显示在具有驾驶控制能力的云端和/或驾驶模拟器端，作为远程遥控驾驶的依据，实时回传的视频占用带宽较大，对网络通信提出了较高的要求，推广性差、成本较高。其次，驾驶回传的视频只能显示车辆前方、左、右和后方的环境情况，以及车辆总线协议的解析数据，并不包含障碍物大小、形状、位置、速度、类型等感知结果信息，需要远程端人类驾驶员通过人眼在回传的视频上进行判定，具有较强的主观性，安全性较低。此外，人为操作驾驶模拟器一般情况下，同一时刻只能对一辆自动驾驶车辆进行远程驾驶控制，难以进行对多个车辆的同时控制与监管。

因而，针对现有技术中上述三种存在的技术问题来看，本发明需要对上述三种问题逐一进行解决。

发明内容

为了解决上述技术问题，本发明提供了一种用于多车状态监控的实时远程驾驶系统，所述系统包括：多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；云端仿真平台，其用于根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示。

优选地，所述系统，还包括：远程驾驶装置，其与所述云端仿真平台进行无线通讯，用于接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。

优选地，所述车端装置，其与所述远程驾驶装置进行无线通讯，还用于在接收到所述紧急接管指令时，控制自身从自动驾驶模式转换为远程驾驶模式，以及在远程驾驶模式下，接收来自所述远程驾驶装置发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得所述车端装置按照相应的控制量数据控制当前车辆的驾驶行为。

优选地，在进行模型数据融合处理过程中，进一步，所述云端仿真平台，其用于将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆与其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，所述云端仿真平台，其用于通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。

优选地，所述车端装置包括：环境信息采集模块，其具备深度相机、激光雷达和毫米波雷达，用于实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；障碍物感知模块，其用于利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；车辆控制器模块，其具备车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，用于实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。

优选地，所述远程驾驶装置，其包括多套驾驶遥控装置，其中，每个所述驾驶遥控装置用于接收并解析针对自身的所述紧急接管指令，确定当前装置需要远程控制的车辆，并根据所述数据融合视频内针对当前车辆的所述运行状态信息和所述环境感知结果信息，对指定车辆进行远程驾驶控制，从而实现针对多个具有紧急接管需求的车辆的并行远程驾驶控制。

另一方面，本发明还提供了一种用于多车状态监控的实时远程驾驶方法，所述方法利用上述所述的实时远程驾驶系统，实现同时对多个自动驾驶车辆的行驶状态进行监控，所述方法包括：步骤一、每个车端装置生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；步骤二、云端仿真平台根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型；步骤三、所述云端仿真平台将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境内行驶的数据融合视频，并进行显示。

优选地，所述方法，还包括：远程驾驶装置接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。

优选地，在所述步骤三中，包括：所述云端仿真平台将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，所述云端仿真平台通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。

优选地，在所述步骤一中，包括：环境信息采集模块利用内部的深度相机、激光雷达和毫米波雷达，实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；障碍物感知模块利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；车辆控制器模块利用内部的车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明提出了一种用于多车状态监控的实时远程驾驶系统及方法。该方法及系统不需要传输车端感知到的如视频或点云在内的原始信息，而只需要传输车辆状态信息(位置、速度、方向)以及障碍物感知结果(障碍物类型、大小、位置、形状、速度)，对带宽需求小，对多种无线网络适应度高，普及率高，成本低，特别适用于在矿山、港口等场景，解决了基站安装成本大及供电难的问题，突破了现有技术方案中回传视频占用带宽大、使用成本高的限制。其次，相比于获取多种类传感器的原始数据的远程驾驶方法，云端仿真平台基于获取的真实车辆状态信息和多传感器感知结果，对车辆和环境进行建模，并标注障碍物距离、类型、大小等信息，将精确仿真视频界面与感知数据融合显示，排除人为判断障碍物特性的环节，具有较高的安全性和可靠性。此外，通过拼接屏幕技术显示仿真平台中多辆车的行驶状态，并通过远程驾驶装置实现了对多车的实时监测与控制。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本申请实施例的现有远程驾驶控制系统的结构图。

图2是本申请实施例的用于多车状态监控的实时远程驾驶系统的整体结构图。

图3是本申请实施例的用于多车状态监控的实时远程驾驶系统的具体结构图。

图4是本申请实施例的用于多车状态监控的实时远程驾驶系统中某个车辆模型与场景模型进行融合的效果示意图。

图5是本申请实施例的用于多车状态监控的实时远程驾驶方法的步骤图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

近年来，自动驾驶技术发展迅速。由于车辆本身计算资源、功耗的限制，单体车辆难以实时高效的处理传感器数据与进行自动驾驶决策规划计算，导致自动驾驶功能的发展受限，远程驾驶的提出可以解决部分问题；另一方面，利用自动驾驶仿真技术所构建的虚拟环境与车辆模型逼真的还原了自动驾驶场景，为自动驾驶提供了安全保障。

图1是本申请实施例的现有远程驾驶控制系统的结构图。如图1所示，该系统包括：车端装置、云端管理装置和驾驶遥控器。其中，驾驶遥控器的所在位置作为自动驾驶测试的测试员所在位置，通过从自动驾驶车辆获取的前视、左后视、右后视的视频回传至驾驶遥控器，遥控端的人类驾驶员能够遥控不同的自动驾驶车辆，以完成在车辆自动驾驶情况下的远程遥控行驶任务。

但现有技术中公开的远程遥控驾驶方法，常将车辆实时回传的视频显示在具有驾驶控制能力的云端和/或驾驶模拟器端，作为远程遥控驾驶的依据，实时回传的视频占用带宽较大，对网络通信提出了较高的要求，推广性差、成本较高。其次，驾驶回传的视频只能显示车辆前方、左、右和后方的环境情况，以及车辆总线协议的解析数据，并不包含障碍物大小、形状、位置、速度、类型等感知结果信息，需要远程端人类驾驶员通过人眼在回传的视频上进行判定，具有较强的主观性，安全性较低。此外，人为操作驾驶模拟器一般情况下，同一时刻只能对一辆自动驾驶车辆进行远程驾驶控制，难以进行对多个车辆的同时控制与监管。

因此，为了解决上述技术问题，本发明提出了一种用于多车状态监控的实时远程驾驶系统及方法。该系统及方法通过建立云端仿真平台，接收车端多种类传感器采集的环境感知结果信息(例如：每个周身障碍物的名称类型、大小、形状、位置和速度)、以及车辆控制器模块输出的信息(车辆运行状态信息，如车辆位置、速度、方向)，把真实世界投影到虚拟仿真世界，建立针对各车辆的虚拟环境模型和车辆模型，在包含各车辆的虚拟环境模型和车辆模型信息的仿真场景模型中复现各个车辆在真实驾驶场景中的情形，输出与真实环境和真实车辆运行相对应的仿真视频界面(数据融合视频)，而后，将障碍物相关信息显示标记在仿真视频界面(数据融合视频)中，通过屏幕显示给远程驾驶操作区域(驾驶模拟器端)的驾驶员，驾驶员通过驾驶模拟器对车辆进行远程控制，远程驾驶控制命令通过无线网络链路传输至车端控制器。

这样，本发明一方面能够实现将回传至云端的视频数据转换为包括车辆运行状态信息和感知到的障碍物识别结果信息，对带宽需求小，对多种无线网络适应度高，普及率高，成本低，特别适合于在矿山等场景，解决了基站安装成本大及供电难的问题，突破了目前方案回传视频占用带宽大，使用成本高的限制。另一方面，相比于获取多传感器的原始数据的远程驾驶方法，仿真平台获取真实车辆的状态与多传感器的感知结果，对车辆和环境进行建模，并标注障碍物距离、类型、大小等信息，将精确仿真视频界面与感知数据融合显示，排除从视频数据中人为判断障碍物特性的环节，具有较高的安全性。此外，通过拼接屏幕显示仿真平台中多辆车的虚拟环境模型和车辆模型，并通过远程驾驶器实现了对多车的实时监测。

另外，本发明利用云端仿真平台所传输的数据融合视频占用带宽小的特点，在远程驾驶装置中设置多个驾驶遥控装置，数据融合视频分别对应传输至多个驾驶遥控装置，从而实现多个驾驶遥控装置对多个车辆的远程控制。

图2是本申请实施例的用于多车状态监控的实时远程驾驶系统的系统结构图。如图2所述，本发明所述的实时远程驾驶系统至少包括：多个车端装置100、和云端仿真平台200。其中，云端仿真平台200通过无线通讯链路，分别与多个自动驾驶车辆进行通讯。车端装置100安装于相应的自动驾驶车辆中，每辆自动驾驶车辆配备有一个车端装置100。通过车端装置100与云端仿真平台200之间的无线通讯过程，使得当前车端装置100所属的车辆能够与云端仿真平台200进行通讯。

其中，每个车端装置100用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将关于自身车辆的运行状态信息和环境感知结果信息进行整合后，通过无线通信链路发送至云端仿真平台200。云端仿真平台200用于接收来自多个车端装置100的相应的运行状态信息和环境感知结果信息，根据接收到的来自多个车端装置100的运行状态信息和环境感知结果信息，分别生成针对每个车端装置100的车辆模型和虚拟环境模型，基于此，将所有车端装置100的模型数据(车辆模型和虚拟环境模型)进行融合，得到包括所有车端装置100在相应驾驶环境内行驶的数据融合视频，最后，通过屏幕拼接技术，将已生成的数据融合视频进行显示。

需要说明的是，在本发明实施例中，多辆自动驾驶车辆优选为处于同一场景区域内的车辆，例如：同一矿山区域内多辆自动驾驶矿车、城市街道中处于同一区内的多辆自动驾驶车辆、同一游园区域内多辆自动驾驶游园车、同一港口区域内多辆自动驾驶运输车等情景。更进一步地说，本发明实施例中生成的数据融合视频指的是同一场景区域内的对于多辆自动驾驶车辆的驾驶行为、驾驶线路、车辆运行状态、自动驾驶场景环境、自动驾驶车辆周身所有障碍物等各方面进行呈现的融合性视频，从而将该视频以屏幕拼接方式进行展示的结果，来实现对该场景区域内所有自动驾驶车辆行驶过程的监管。

进一步，上述车辆的运行状态信息包括但不限于：车辆实时运行过程中的位置(定位)信息、速度信息、方向信息、方向盘数据、油门踏板数据和制动踏板等。环境感知结果信息为当前车辆周围所有障碍物(如包括背景植物、障碍物行人、障碍物车辆、行驶道路、背景动物、道路边界、道路标识或指示物、红绿灯、隔离带、隔离墩、防护栏等等)对应的障碍物信息，每种障碍物所对应的障碍物信息包括但不限于：障碍物名称类型、运动速度、障碍物形状(轮廓)、障碍物位置(定位)和障碍物大小(体积)等。需要说明的是，在本发明实施例中，车端装置100不会将车端装置100内的各类传感器采集到的原始数据传输至云端仿真平台200，而是在车端装置100处直接对当前采集到的各类传感器原始数据进行感知识别，将识别结果作为被传输数据上传至云端，从而大大降低了车端与云端无线通信链路的带宽占用率，无线网络带宽需求小，更适合于通信质量稳定不是很理想的矿区场景。

进一步，由于每个车端装置100的内部结构和功能都相同，故本发明以一个车端装置100为例对其进行具体说明。图3是本申请实施例的用于多车状态监控的实时远程驾驶系统的具体结构图。如图3所述，车端装置100包括但不限于：环境信息采集模块110、障碍物感知模块120、车辆控制器模块130和车端无线传输模块140。

环境信息采集模块110用于实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据。环境信息采集模块110包括但不限于：深度相机111、多个激光雷达112和多个毫米波雷达113。其中，深度相机111安装在车辆前端，用于采集表征当前车辆在行驶过程中车身周围环境的深度图像。多个激光雷达112分别安装于当前车辆正前方、前方左侧、前方右侧，用于采集表征当前车辆在行驶过程中车身前方周围环境的激光雷达传感数据。多个毫米波雷达113分别安装于当前车辆正前方、前方左侧、前方右侧、以及车辆正后方，用于采集表征当前车辆在行驶过程中车身各方位周围环境的毫米波雷达传感数据。

障碍物感知模块120用于实时接收深度相机111、多个激光雷达112和多个毫米波雷达113分别采集到的深度图像、激光雷达传感数据和毫米波雷达传感数据，利用传感器融合算法，将深度图像、激光雷达传感数据和毫米波雷达传感数据进行融合，基于融合后的信息，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，在经过实时标记时间戳和车辆识别码后，得到含有所有障碍物对应的障碍物信息的环境感知结果信息。这样，车端装置100利用内部的环境信息采集模块110和障碍物感知模块120在车端本地即可实时生成当前车辆在行驶过程中的全方位周身环境内的所有障碍物的感知与识别结果，而无需将深度图像、和各类雷达传感器数据的原始数据传输到云端，而占用过多的带宽资源。

进一步，车辆控制器模块130用于实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的运行状态信息。车辆控制器模块130包括但不限于：车辆状态控制器131、方向盘控制器132、油门踏板控制器133和制动踏板控制器134。方向盘控制器132、油门踏板控制器133和制动踏板控制器134分别用于实时采集当前车辆在运行过程中的方向盘(位置状态)数据、油门踏板(位置状态)数据和制动踏板(位置状态)数据。车辆状态控制器131通过车辆总线(如CAN总线)与各类车辆操纵部件控制器(其中，各类车辆操纵部件控制器包括但不限于方向盘控制器132、油门踏板控制器133和制动踏板控制器134)连接。车辆状态控制器131一方面用于实时收集从方向盘控制器132、油门踏板控制器133和制动踏板控制器134采集到的方向盘数据、油门踏板数据和制动踏板数据，还用于收集车辆状态数据(车辆状态数据包括但不限于当前车辆、速度、方向及位置等)，最后将实时获取到的方向盘数据、油门踏板数据、制动踏板数据和车辆状态数据进行整合，并实时标记时间戳和车辆识别码，得到当前车辆的运行状态信息。

进一步，车端无线传输模块140与云端仿真平台120进行通讯，用于将接收到的当前车辆的运行状态信息和环境感知结果信息，通过无线传输链路发送至云端仿真平台120。这样，通过上述车端装置100内的环境信息采集模块110、障碍物感知模块120、车辆控制器模块130和车端无线传输模块140完成了车端信息采集和上传过程。

继续参考图3，下面对上述云端仿真平台200的具体结构和功能进行说明。云端仿真平台200包括但不限于：云端输入模块210、融合数据生成模块220、云端显示模块230和云端无线传输模块240。其中，云端无线传输模块240与各个车端装置100进行通讯，用于接收来自各个车端装置100的运行状态信息和环境感知结果信息，并将这些信息转发至云端输入模块210。

云端输入模块210用于接收来自各个车端装置100的运行状态信息和环境感知结果信息，识别发送方身份(车辆识别码)和信息类别，并将同一车辆的运行状态信息和环境感知结果信息同时分发给融合数据生成模块220内的车辆模型构建单元222和虚拟环境模型构建单元221。

融合数据生成模块220用于根据每个车端装置的运行状态信息和环境感知结果信息，分别生成针对每个车端装置的车辆模型和虚拟环境模型，基于此，将同一时间戳标记下的所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频。进一步，融合数据生成模块220包括虚拟环境模型构建单元221、车辆模型构建单元222、融合处理单元223和标记信息生成单元224。

虚拟环境模型构建单元221能够针对同一时间戳下的接收到的各个车端装置100的环境感知结果信息，并行的生成针对每个车端装置100的虚拟环境模型。由于每个车端装置100的虚拟环境模型的构建过程所涉及的方法都类似，故本发明实施例以一个车端装置100的虚拟环境模型的构建过程为例进行说明。其中，虚拟环境模型构建单元221用于接收并解析某个车端装置100的环境感知结果信息，并得到当前车辆的环境感知结果信息内的每个障碍物对应的障碍物信息，利用三维建模技术，根据每个障碍物的障碍物信息生成针对每个障碍物的障碍物三维模型，进一步，根据各个障碍物的运动速度和位置，将针对当前车端装置100的所有障碍物的障碍物三维模型进行融合，形成为针对当前车端装置100的虚拟环境模型。

进一步，车辆模型构建单元222也能够针对同一时间戳下的接收到的各个车端装置100的运行状态信息，并行的生成针对每个车端装置100的车辆模型。由于每个车端装置100的车辆模型的构建过程所涉及的方法都类似，故本发明实施例以一个车端装置100的车辆模型的构建过程为例进行说明。其中，车辆模型构建单元222用于接收并解析来自各个车端装置100的运行状态信息，根据其中的车辆识别码从预设的车辆数据库中，调取该车辆对应的车辆型号的三维立体模型，并将当前车辆的车辆状态数据(如：位置、方向和速度)、方向盘数据、油门踏板数据和制动踏板数据标记在当前车辆的三维立体模型中，从而生成表征当前车辆在行驶过程中的行驶状态的车辆模型。

需要说明的是，在本发明实施例中，车辆模型构建单元222存储有车辆数据库。车辆数据库包括不同车辆型号的三维立体模型。更进一步地说，车辆数据库存储有已登记在案的所有车辆识别码(其中，车辆识别码可以是发动机号等能够具有识别当前车辆身份的具有唯一性的编号)对应的车辆型号的三维立体模型。其中，本发明实施例中的云端仿真平台200与车管所、车辆运营商等不同机构服务器联网，用于定期获取和/或更新车辆数据库内的所需的各类型号车辆的三维立体模型信息。

融合处理单元223用于将(同一时间戳下的)所有车端装置100对应生成的车辆模型和虚拟环境模型进行信息融合处理，生成当前场景下包括所有车辆在相应驾驶环境中行驶的数据融合视频，即上述仿真视频界面。由此，云端仿真平台200内的融合处理单元223能够复现各个车辆在当前真实驾驶场景中的情形，输出与真实环境和真实车辆运行相对应的仿真视频界面(数据融合视频)。在本发明实施例中，数据融合视频的生成可以包括两种方法：其一是提前对车辆驾驶环境(场景环境)进行采图、测绘等，建立对应于真实场景环境的虚拟模型；也可以直接通过深度相机和雷达传感器设备采集到的数据对环境进行实时的三维重建。

第一个示例，融合处理单元223用于将各个车端装置100的车辆模型和虚拟环境模型定位到预设的场景模型中，生成初始的数据融合视频。而后，标记信息生成单元224用于对初始的数据融合视频中每个车端装置100所属的车辆(不包括障碍物车辆)与其最近的障碍物的距离，并同时标记出最近障碍物，得到需要展示的数据融合视频，即上述仿真视频界面。在这一实施例中，融合处理单元223存储有通过采图、测绘等技术来预先构建好的场景模型。场景模型为当前实时远程驾驶系统内多个车端装置100所属的车辆所在的驾驶场景(例如：某矿山区域、城市街道中的某区、游园区域、某港口区域等场景)的三维地图模型。其中，根据每个车端装置100对应的车辆模型中的车辆定位位置信息，将每个车端装置所属的车辆定位到三维地图场景模型中，以及根据每个车端装置100对应的虚拟环境模型中所包括的各个障碍物定位位置信息，将每个车端装置对应的车身周围所有障碍物一一定位到三维地图场景模型中。

第二个示例，融合处理单元223用于根据每个车端装置100对应的虚拟环境模型中所包括的各个障碍物信息(名称类型、速度、轮廓形状、定位位置和体积大小)，通过三维重建技术，将各个车端装置100的虚拟环境模型，融合成描述同一场景环境的场景模型。在这一实施例中，场景模型为当前实时远程驾驶系统内多个车端装置100所属的车辆所在的驾驶场景(例如：某矿山区域、城市街道中的某区、游园区域、某港口区域等场景)的三维地图模型。根据实时获取到的每个车端装置100对应的虚拟环境模型来进行实时的三维重建并进行实时更新。这样，便能够生成表征当前实时远程驾驶系统内多个车端装置100所属的车辆所在的驾驶环境场景的全部动态和静态障碍物信息。图4是本申请实施例的用于多车状态监控的实时远程驾驶系统中某个车辆模型与场景模型进行融合的效果示意图。而后，参考图4，融合处理单元223用于根据每个车端装置100对应的车辆模型中的车辆定位位置信息，将各个车端装置对应的车辆模型定位到上述已生成的三维地图场景模型中，得到初始的数据融合视频。接着，标记信息生成单元224用于对初始的数据融合视频中每个车端装置100所属的车辆(不包括障碍物车辆)与其最近的障碍物的距离，并同时标记出最近障碍物，得到需要展示的数据融合视频，即上述仿真视频界面。

这样，融合数据生成模块220利用内部的虚拟环境模型构建单元221、车辆模型构建单元222、融合处理单元223和标记信息生成单元224得到了需要展示的数据融合视频。

进一步，云端显示模块230用于通过屏幕拼接技术将从融合数据生成模块220获得的数据融合视频实时展示在云端屏幕上。这样，云端处的工作人员可实时对当前场景中的多个自动驾驶车辆的驾驶行为、驾驶线路、运行状态等方面进行监控。

继续参考图2，本发明所述的实时远程驾驶系统还包括：远程驾驶装置300。远程驾驶装置300为自动驾驶车辆测试过程中的配备有人类驾驶员的模拟驾驶器端设备，以为当前实时远程驾驶系统所处场景内的各个自动驾驶车辆的自动驾驶行为提供紧急情况下的人工驾驶接管后备保障。

如图2所述，远程驾驶装置300通过无线通信链路与云端仿真平台进行通讯。远程驾驶装置300，用于接收并显示云端仿真平台200实时发送并更新的数据融合视频，根据数据融合视频内标记的每个车端装置100对应的运行状态信息、环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断当前场景内是否存在具有紧急接管需求的自动驾驶车辆(车端装置)，若存在，则生成紧急接管指令，并将该指令向指定的车端装置100发送。参考图3，远程驾驶装置300包括但不限于：多车状态监控模块310、驾驶遥控装置320、应急接管监控模块330与模拟器端无线传输模块340。

其中，模拟器端无线传输模块340与上述云端仿真平台200内的云端无线传输模块240进行通讯，用于接收云端仿真平台200实时发送并更新的数据融合视频，并将实时变化的数据融合视频转发至多车状态监控模块310。多车状态监控模块310用于通过屏幕拼接技术在模拟驾驶器端显示数据融合视频，将视频中的每个车端装置100所属自动驾驶车辆对应的运行状态信息、环境感知结果信息、以及每个车端装置100所属自动驾驶车辆与其最近障碍物的距离信息进行相应的显示展示。应急接管监控模块330用于对每个车端装置100所属的自动驾驶车辆与其最近障碍物的距离进行检测，判断当前是否存在某一个或多个车端装置100所属的自动驾驶车辆对应的距离信息超过预设的安全距离阈值，当存在时，确定当前超过安全距离阈值的车端装置100所属的自动驾驶车辆的车辆识别码，并生成针对当前具有紧急接管需求的车辆的紧急接管指令(其中，紧急接管指令至少包括含有当前具有紧急接管需求的自动驾驶车辆的车辆识别码)。

另外，如图2所述，模拟器端无线传输模块340分别与各个车端装置100内的车端无线传输模块140进行通讯，用于接收紧急接管指令，并将该指令发送到当前具有紧急接管需求的车辆对应的车端装置100内。

进一步，每个车端装置100还用于在接收到针对自身的紧急接管指令时，控制自身从自动驾驶模式切换为远程驾驶模式。具体的，每个车端装置100内的车端无线传输模块140还用于将接收到的紧急接管指令转发至车辆控制器模块130。每个车端装置100内的车辆控制器模块130还用于在紧急接管指令的控制下，将自身由自动驾驶模式转换为远程驾驶模式。

而后，如图2所述，远程驾驶装置300在生成紧急接管指令后，远程驾驶装置300内的驾驶遥控装置320用于生成由模拟器端驾驶员对模拟器内的各操作部件(模拟器端方向盘、模拟器端油门踏板、模拟器端制动踏板)进行操纵的远程驾驶控制指令，以使得当前具有紧急接管需求的车辆内的车端装置100按照相应的控制量数据控制当前车辆的驾驶行为。需要说明的是，当前模拟器端驾驶员的操纵行为是根据数据融合视频，在观测到具有紧急接管需求的车辆对应的(实时更新的)运行状态信息和环境感知结果信息后所实施的针对当前具有紧急接管需求的自动驾驶车辆的远程驾驶操纵控制。

此时，远程驾驶装置300内的模拟器端无线传输模块340还用于将接收到的远程驾驶控制指令转发至当前具有紧急接管需求的车辆对应的车端装置100内。其中，远程驾驶控制指令包括：方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据。

进一步，每个车端装置100还用于在远程驾驶模式下，接收来自远程驾驶装置300发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得车端装置100按照相应的控制量数据控制当前车辆的驾驶行为。具体的，每个车端装置100内的车端无线传输模块140还用于将接收到的远程驾驶控制指令转发至车辆控制器模块130。每个车端装置100内的车辆控制器模块130还用于接收并解析远程驾驶控制指令，得到针对各类驾驶操纵部件的控制量数据(方向盘转角控制量数据、油门踏板行程控制量数据和制动踏板行程控制量数据)，并将其发送至对应的操纵部件的控制器(方向盘控制器132、油门踏板控制器133和制动踏板控制器134)中，以通过各类控制器驱动相应的驾驶操纵部件，按照相应控制量数据操纵当前车辆。

此外，在实际应用过程中，由于远程驾驶装置300与云端仿真平台200进行无线通讯，能够接收并显示上述数据融合视频(数据融合视频包括：每个车端装置的运行状态信息、环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息)，相比于传统的远程驾驶装置300与云端仿真平台200之间需要传输环境感知到的原始视频或雷达数据来说，占用带宽小，所以可以实现对接入的多套驾驶遥控装置320对应的接入与传输，从而实现对多辆车的远程控制。

进一步，远程驾驶装置300包括：多个驾驶遥控装置320。每个驾驶遥控装置320用于接收并解析针对自身的紧急接管指令，确定当前装置需要远程控制的车辆，并根据上述获取到的数据融合视频内针对当前车辆的运行状态信息和环境感知结果信息，对指定车辆进行远程驾驶控制，从而实现针对多个具有紧急接管需求的车辆的并行远程驾驶控制。具体地，应急接管监控模块330用于在生成一个或多个紧急接管指令后，将一个或多个紧急接管指令分配给指定的驾驶遥控装置320，使得一个驾驶遥控装置320至多接收到一个紧急接管指令。此时，每个驾驶遥控装置320用于在接收到关于自身的紧急接管指令后，解析相应的紧急接管指令，并确定当前驾驶遥控装置320需要远程遥控的具有紧急接管需求的车辆(根据当前车辆的车辆识别码来确定)，根据上述数据融合视频，对应接收(接入)指定当前车辆对应的运行状态信息、环境感知结果信息、以及当前车端装置所属车辆与其最近障碍物距离信息，由当前驾驶遥控装置320向指定控制的车辆对应的车端装置100发送相应的远程驾驶控制指令。这样，本发明实施例能够对多个同时具有紧急接管需求的车辆，实现同时段的并行的远程驾驶控制。

另一方面，基于上述用于多车状态监控的实时远程驾驶系统，本发明还提出了一种用于多车状态监控的实时远程驾驶方法，该方法利用上述事实远程驾驶系统实现同时对多个自动驾驶车辆的行驶状态进行监控的功能。

图5是本申请实施例的用于多车状态监控的实时远程驾驶方法的步骤图。如图5所示，本发明所述的实时远程驾驶方法包括如下步骤：步骤S510每个车端装置100生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；步骤S520云端仿真平台200根据接收到的来自多个车端装置100的运行状态信息和环境感知结果信息，分别生成针对每个车端装置100的车辆模型和虚拟环境模型；步骤S530云端仿真平台200将所有车端装置100的模型数据进行融合，得到包括所有车辆在相应驾驶环境内行驶的数据融合视频，并通过屏幕拼接技术进行显示。

另外，本发明所述的实时远程驾驶方法，还包括：步骤S540。步骤S540远程驾驶装置300接收并显示步骤S530生成的数据融合视频，根据当前数据融合视频内标记的每个车端装置的运行状态信息、环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的车端装置100。

接下来，在远程驾驶装置300生成相应的紧急接管指令后，进入到步骤S550中。步骤S550车端装置100在接收到紧急接管指令时，控制自身从自动驾驶模式转换为远程驾驶模式，以及在远程驾驶模式下，接收来自远程驾驶装置200发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得当前车端装置100按照相应的控制量数据控制当前车辆的驾驶行为。

进一步，在上述步骤S510中，每个车端装置100内的环境信息采集模块110利用内部的深度相机111、激光雷达112和毫米波雷达113，实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；每个车端装置100内的障碍物感知模块120利用传感器融合算法，将深度图像、激光雷达传感数据和毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的环境感知结果信息；每个车端装置100内的车辆控制器模块130利用内部的车辆状态控制器131、方向盘控制器132、油门踏板控制器133和制动踏板控制器134实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的运行状态信息。

本发明公开了一种用于多车状态监控的实时远程驾驶系统及方法。该方法及系统不需要传输车端感知到的如视频或点云在内的原始信息，而只需要传输车辆状态信息(位置、速度、方向)以及障碍物感知结果(障碍物类型、大小、位置、形状、速度)，对带宽需求小，对多种无线网络适应度高，普及率高，成本低，特别适用于在矿山、港口等场景，解决了基站安装成本大及供电难的问题，突破了现有技术方案中回传视频占用带宽大、使用成本高的限制。其次，相比于获取多种类传感器的原始数据的远程驾驶方法，云端仿真平台基于获取的真实车辆状态信息和多传感器感知结果，对车辆和环境进行建模，并标注障碍物距离、类型、大小等信息，将精确仿真视频界面与感知数据融合显示，排除人为判断障碍物特性的环节，具有较高的安全性和可靠性。此外，通过拼接屏幕技术显示仿真平台中多辆车的行驶状态，并通过远程驾驶装置实现了对多车的实时监测与控制。

虽然本发明所披露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种用于多车状态监控的实时远程驾驶系统，其特征在于，所述系统包括：

多个车端装置，每个车端装置用于生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；

云端仿真平台，其用于根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型，基于此，将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境中行驶的数据融合视频，并进行显示；

远程驾驶装置，其与所述云端仿真平台进行无线通讯，用于接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。

2.根据权利要求1所述的实时远程驾驶系统，其特征在于，

所述车端装置，其与所述远程驾驶装置进行无线通讯，还用于在接收到所述紧急接管指令时，控制自身从自动驾驶模式转换为远程驾驶模式，以及在远程驾驶模式下，接收来自所述远程驾驶装置发送的含有方向盘控制量数据、油门踏板控制量数据和制动踏板控制量数据在内的远程驾驶控制指令，以使得所述车端装置按照相应的控制量数据控制当前车辆的驾驶行为。

3.根据权利要求1或2所述的实时远程驾驶系统，其特征在于，在进行模型数据融合处理过程中，进一步，

所述云端仿真平台，其用于将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆与其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，

所述云端仿真平台，其用于通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。

4.根据权利要求1或2所述的实时远程驾驶系统，其特征在于，所述车端装置包括：

环境信息采集模块，其具备深度相机、激光雷达和毫米波雷达，用于实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；

障碍物感知模块，其用于利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；

车辆控制器模块，其具备车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，用于实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。

5.根据权利要求1所述的实时远程驾驶系统，其特征在于，

所述远程驾驶装置，其包括多套驾驶遥控装置，其中，每个所述驾驶遥控装置用于接收并解析针对自身的所述紧急接管指令，确定当前装置需要远程控制的车辆，并根据所述数据融合视频内针对当前车辆的所述运行状态信息和所述环境感知结果信息，对指定车辆进行远程驾驶控制，从而实现针对多个具有紧急接管需求的车辆的并行远程驾驶控制。

6.一种用于多车状态监控的实时远程驾驶方法，其特征在于，所述方法利用权利要求1～5中任一项所述的实时远程驾驶系统，实现同时对多个自动驾驶车辆的行驶状态进行监控，所述方法包括：

步骤一、每个车端装置生成针对当前车辆的运行状态信息和表示当前车辆周身各障碍物识别结果的环境感知结果信息，并将其通过无线通信链路输出；

步骤二、云端仿真平台根据所述运行状态信息和所述环境感知结果信息，分别生成针对所述每个车端装置的车辆模型和虚拟环境模型；

步骤三、所述云端仿真平台将所有车端装置的模型数据进行融合，得到包括所有车辆在相应驾驶环境内行驶的数据融合视频，并进行显示；

远程驾驶装置接收并显示所述数据融合视频，根据所述数据融合视频内标记的所述每个车端装置的所述运行状态信息、所述环境感知结果信息和当前车端装置所属车辆与其最近障碍物距离信息，判断是否存在具有紧急接管需求的车辆，若存在，则生成紧急接管指令，并将该指令发送至指定的所述车端装置。

7.根据权利要求6所述的实时远程驾驶方法，其特征在于，在所述步骤三中，包括：

所述云端仿真平台将各个车端装置的所述车辆模型和所述虚拟环境模型定位到预设的场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频；或者，

所述云端仿真平台通过三维重建技术，将各个车端装置的所述虚拟环境模型融合成描述同一场景环境的场景模型，而后将各个车端装置的所述车辆模型定位到所述场景模型中，并标记出每个车辆距离其最近的障碍物及相应的距离信息，得到所述数据融合视频。

8.根据权利要求6或7所述的实时远程驾驶方法，其特征在于，在所述步骤一中，包括：

环境信息采集模块利用内部的深度相机、激光雷达和毫米波雷达，实时采集表征当前车辆在行驶过程中车身周围环境的深度图像、激光雷达传感数据和毫米波雷达传感数据；

障碍物感知模块利用传感器融合算法，将所述深度图像、所述激光雷达传感数据和所述毫米波雷达传感数据进行融合，识别当前车辆周围环境中的每个障碍物的名称类型、速度、形状、位置和大小，得到含有所有障碍物信息的所述环境感知结果信息；

车辆控制器模块利用内部的车辆状态控制器、方向盘控制器、油门踏板控制器和制动踏板控制器，实时采集当前车辆在运行过程中的车辆状态数据、方向盘数据、油门踏板数据和制动踏板数据，并生成相应的所述运行状态信息。

Images