CN112415904A - 一种自动驾驶车辆的远程控制方法、装置及系统 - Google Patents

Abstract

本发明涉及一种自动驾驶车辆的远程控制方法、装置及系统，属于自动驾驶控制技术领域。本发明通过在远端对自动驾驶车辆进行实时跟踪采集，获取自动驾驶车辆所处的环境和车辆状态数据，并根据上述数据确定对应的远程控制操作指令，在自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行，避免了只在紧急情况下生成远程控制指令导致的驾驶安全问题，提高了自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时行驶的安全性。

Description

一种自动驾驶车辆的远程控制方法、装置及系统

技术领域

本发明涉及一种自动驾驶车辆的远程控制方法、装置及系统，属于自动驾驶控制技术领域。

背景技术

自动驾驶车辆融合了传感器、雷达、GPS定位、人工智能等技术，使车辆具备智能环境感知能力，能够自动分析车辆形式的安全及危险状态，使车辆按照人的意志到达目的地，最终实现替代人来操作。从技术发展角度看，目前的自动驾驶车辆的研发还处于初级阶段，即半自动驾驶，在某些驾驶交通环境下驾驶员完全不用控制车辆，实现完全的自动驾驶。但是如遇到感知受限、硬件模块故障、或驾驶环境超出ODD(Operational Design Domain，即设计适用范围)等无法处理的情况时，需要人类驾驶员紧急切换，接管车辆，即需要将车辆由自动驾驶模式切换人工驾驶模式。研究和实际测试表明，由于自动驾驶车辆的可靠性，容易让驾驶员或安全员分心，很难快速从“乘客”转变为“司机”角色，以至于在紧急切换时下司机难以成功接管，即便在发出提示音或请求后让驾驶员接手，驾驶员也很难实现对车辆的安全控制。

为此，目前的自动驾驶车辆都配备有远程控制系统，但是目前的远程控制系统仅在需要切换时才进行远程控制指令的生成，很难要求等待远程接管或远程控制的驾驶员在紧急情况下发出准确的远程控制指令，无法保证行车安全。

发明内容

本发明的目的是提供一种自动驾驶车辆的远程控制方法、装置及系统，以解决目前车辆由自动驾驶模式紧急切换到人工驾驶模式时车辆行驶安全性低的问题。

本发明为解决上述技术问题而提供自动驾驶车辆的远程控制方法，该远程控制方法包括以下步骤：

1)实时检测自动驾驶车辆当前的环境数据、车辆状态数据和车辆控制数据，并将其发送给远端；

2)远端将接收到车辆当前的环境数据和车辆状态数据与远端上存储的不同场景下的历史驾驶数据，确定与车辆当前的环境数据和车辆状态数据相对应的人类驾驶操作建议，并将其作为远程控制操作指令；

3)当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行。

本发明通过在远端对自动驾驶车辆进行实时跟踪采集，获取自动驾驶车辆所处的环境和车辆状态数据，并根据上述数据确定对应的远程控制操作指令，在自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行，避免了只在紧急情况下生成远程控制指令导致的驾驶安全问题，提高了自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时行驶的安全性。

进一步地，为了保证得到的远程控制操作指令的准确性，所述步骤2)中确定的远程控制操作指令是通过将车辆当前的环境数据和车辆状态数据输入到决策模型中预测得到，所述决策模型的确定过程如下：

A.远端对存储的历史驾驶数据进行降维处理，确定影响驾驶员操作的若干个参数，所述的历史驾驶数据包括环境数据、车辆状态数据、驾驶员所采取的操作数据；

B.对降维处理后的数据进行聚类；

C.将聚类后的数据集作为训练集，利用该训练集对机器学习模型进行训练，得到决策模型。

进一步地，为了保证对远程控制自动驾驶车辆的准确性，该方法还包括根据实时采集到的车辆当前环境数据和车辆状态数据进行场景重建，并将场景呈现给远程驾驶员，使远程驾驶员根据当前车辆所处环境给出控制指令，得到远程驾驶员控制指令。

进一步地，为了保证远程控制的精准性，当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，比较远程控制操作指令和远程驾驶员控制指令，若不一致，则经远程驾驶员再次确认后，按照远程驾驶员控制指令控制车辆。

进一步地，为了保证决策模型能够实时更新，提高预测精准度，所述远端还用于将远程控制操作指令与对应的车辆控制数据进行比较，根据两者之间的误差对决策模型进行修正。

本发明还提供了一种自动驾驶车辆的远程控制装置，该远程控制装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现上述自动驾驶车辆的远程控制方法。

本发明还提供了一种自动驾驶车辆的远程控制系统，该远程控制系统包括云端平台和云端虚拟控制器，所述云端平台用于与设置在自动驾驶车辆上的远程监控系统通讯，以获取自动驾驶车辆的当前的环境数据、车辆状态数据和车辆控制数据，所述云端平台上存储有不同场景下的历史驾驶数据，所述云端虚拟控制器用于根据云端平台上存储的历史驾驶数据确定与车辆当前的环境数据和车辆状态数据相对应的人类驾驶操作建议，并将其作为远程控制操作指令；所述云端平台还用于在自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照所述远程控制操作指令控制车辆运行。

本发明通过在云端对自动驾驶车辆进行实时跟踪采集，获取自动驾驶车辆所处的环境和车辆状态数据，并根据上述数据确定对应的远程控制操作指令，在自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行，避免了只在紧急情况下生成远程控制指令导致的驾驶安全问题，提高了自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时行驶的安全性。

进一步地，为了保证对远程控制自动驾驶车辆的准确性，所述的远程控制系统还包括驾驶模拟器，所述驾驶模拟器与云端平台通讯连接，用于根据云端平台实时获取到的车辆当前环境数据和车辆状态数据进行场景重建，并将场景呈现给远程驾驶员，使远程驾驶员根据当前车辆所处环境给出控制指令，得到远程驾驶员控制指令。

进一步地，为了保证远程控制的精准性，当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，比较远程控制操作指令和远程驾驶员控制指令，若不一致，则经远程驾驶员再次确认后，按照远程驾驶员控制指令控制车辆。

进一步地，为了保证得到的远程控制操作指令的准确性，所述的远程控制操作指令是通过将车辆当前的环境数据和车辆状态数据输入到决策模型中预测得到，所述决策模型的确定过程如下：

A.云端平台对存储的历史驾驶数据进行降维处理，确定影响驾驶员操作的若干个参数，所述的历史驾驶数据包括环境数据、车辆状态数据、驾驶员所采取的操作数据；

B.云端虚拟控制器对降维处理后的数据进行聚类；

C.云端虚拟控制器将聚类后的数据集作为训练集，利用该训练集对机器学习模型进行训练，得到决策模型。

附图说明

图1是本发明自动驾驶车辆的远程控制原理示意图；

图2是本发明中云端虚拟控制器中远程控制指令生成流程图；

图3是本发明中驾驶模拟器中控制指令生成流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步地说明。

系统实施例

自动驾驶车辆一般包括有感知系统、决策系统和执行系统，其中感知系统负责用于感知车辆当前所处的环境，可以采用图像、点云、数据等形式获取，对获取的环境信息进行识别和分析，并将其作为决策系统的部分输入信息，车辆感知系统包括但不限于光学摄像头、激光雷达(LiDAR)、微波雷达、导航系统、V2X设备等，获取包括但不限于障碍物及其他交通参与者的大小、位置、速度、方向等；决策系统用于根据感知系统获取的自动驾驶车辆的当前环境信息以及自动驾驶车辆当前的车辆状态信息，利用内置的控制策略，负责路径规划和导航，发出合适的决策控制命令，控制自动驾驶车辆的行驶，车辆状态数据包括但不限于：电池、电机、电控，相应的数据包含但不限于电池总电压、电池总电流、电池容量SOC、电池容量SOH、电池高压正/负极绝缘电阻、电池单体的最高/低温度、电池单体的最高/低电压、驱动电机状态、电机控制器温度、电机转速、电机目标转矩、电机温度、电机当前输出转矩、电机控制器温度、电机控制器直流母线电流、车速、档位、驾驶模式等，可通过车辆自身的传感器或从整车CAN总线上获取；执行系统为自动驾驶车辆的底层系统，用于接收决策系统的控制命令，并执行相应的控制命令，包括但不限于加速踏板开度、制动踏板开度、转向角度和转向角速度等信息，实现车辆的加速、制动和转向。

为了实现自动驾驶车辆的远程控制，需要在自动驾驶车辆上设置远程监控系统，远程监控系统用于采集自动驾驶车辆的感知系统获取的车辆环境信息、车辆状态信息、执行系统的状态以及决策系统发出的控制命令，并将其获取的上述数据实时传递给远程控制系统中的云端平台，通过接收云端平台下发的反馈或者控制指令。本发明的自动驾驶车辆的远程控制系统如图1所示，包括云端平台和云端虚拟控制器，其中云端平台与设置在自动驾驶车辆上的远程监控系统通讯，以获取自动驾驶车辆的环境数据、车辆状态数据和车辆控制数据。本实施例中设置在车辆的远程监控系统为车载T-BOX，车载T-BOX中设置有安全芯片，车载T-BOX通过CAN总线和/或以太网与所在车辆的关键零部件(如整车控制器、电机、电池等)通信，采集车辆信息并上传值云端平台。云端平台上存储有大量各种场景下历史驾驶数据，历史驾驶数据包括环境数据、车辆状态数据和对应的人类驾驶员的操作数据(车辆控制数据)，云端平台存储的历史驾驶数据也是通过多辆车上的车载T-BOX与所在车辆的关键零部件(如整车控制器、电机、电池)通信所得。云端虚拟控制器用于根据云端平台上存储的上述大量数据，采用机器学习的方法进行数据挖掘，得到决策模型，并利用决策模型对云端平台获取的自动驾驶车辆的当前环境数据和车辆状态数据进行预测，得到相对应的人类驾驶操作建议，并将其作为远程控制操作指令。云端虚拟控制器得到远程控制操作指令的过程如图2所示，具体步骤如下：

1.云端平台对存储的历史驾驶数据进行降维处理。

由于历史驾驶数据中包含的数据太多，其中有些数据对驾驶员操作影响不大，若直接将所有的历史驾驶数据进行训练，一方面数据处理效率低，另一方面有些数据作用不大，反而会在后续的决策模型生成后形成干扰，导致决策模型不准确，影响最终远程控制操作指令的准确性。为此，本发明需要对历史驾驶数据进行降维处理，具体方式是进行主成分分析，确定不同场景下对驾驶员操作影响最大的几个参数，从多个变量选取对结果达到99％贡献率的几个主要成分。将经过降维处理的历史驾驶数据作为训练数据集。

2.利用云端虚拟控制器生成决策模型。

本实施例采用DBSCAN(Density-Based Spatial Clustering of Applicationwith Noise,基于密度的噪声应用空间聚类),这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。

聚类的目的有两个：①找出人类驾驶员面对各场景时采取的措施种类，即人类驾驶员的响应的所有类型,各种响应发生次数在总样本中的占比,值得注意的是，即便是发生次数较少的驾驶员响应也不要作为离群点舍弃或者并入其他分类；②为后续的训练学习提供分类标签，方便对这些数据进行训练，得出训练模型。

对聚类后的数据集进行训练，训练算法可采用目前的机器学习算法，如基于用户行为的协同过滤算法、k近邻算法、决策树、SVM等算法。

3.利用决策模型确定远程控制操作指令。

将实时采集到的自动驾驶车辆的环境数据、车辆状态数据输入到决策模型中进行预测，预测得到的指令即为远程控制操作指令。

4.决策模型的进一步优化。

由于决策模型的生成都是基于云端平台存储的历史驾驶数据，为了保证决策模型生成的远程控制操作指令更加准确，需要利用自动驾驶车辆的实时数据对决策模型进行优化，具体而言，是将得到的远程控制操作指令与对应的自动驾驶车辆上的决策系统生成指令之间的差异形成数据集，并将其输送到决策模型中进行训练，逐渐减小两者之间出现差异的概率，提升云端虚拟控制器的预测准确度。

云端模拟控制器能够根据自动驾驶车辆的实时数据生成相应的远程控制操作指令，若自动驾驶车辆没有发生自动驾驶模式紧急切换到人工驾驶模式的情况时，云端模拟控制器得到远程控制操作指令不用发送给自动驾驶车辆，此时自动驾驶车辆仍按照自身决策系统的命令进行控制或者由人工驾驶进行操作控制；只有当自动驾驶车辆发生自动驾驶模式紧急切换到人工驾驶模式的情况时，需要将云端模拟控制器生成的远程控制操作指令通过云端平台发送给自动驾驶车辆的远程监控系统，远程监控系统根据收到的远程控制操作指令对自动驾驶车辆进行控制，从而避免了直接切换到人工驾驶，保证了自动驾驶车辆的安全性。

为了进一步提高远程控制的准确性，本发明的远程控制系统还包括驾驶模拟器，驾驶模拟器包括视频流通信接口、场景呈现界面、执行部件、信号采集模块和远程通信模块，其中远程通信模块与云端平台通信连接，通过远程通信模块获取云端平台上接收到的自动驾驶车辆当前的环境数据、车辆状态数据和车辆控制数据，场景呈现界面用于对自动驾驶车辆当前所处的环境进行重建，使远程驾驶员能够直观地了解当前无人驾驶车辆所处环境情况。流程如图3所示，具体实现过程如下

1.场景重建

首先驾驶模拟器通过视频流通信接口获取当前自动驾驶车辆环境信息中的视频信息，并将其提供给场景呈现界面，场景呈现界面根据收到的视频信息进行场景重建，并将其他环境数据、车辆状态数据和远程控制操作指令移动呈现给远程驾驶员。场景重建具体而言就是根据实车全景视频信息以远程在线播放视频方式，重建车辆当前所处场景；并在视频上叠加感知数据，如障碍物或其他交通参与者的大小、位置、速度、方向等，避免视频传递过程中的失真、比例变化，清晰直观准确的呈现车辆周边障碍物的大小、车辆与障碍物或其他交通参与者的距离、障碍物及其他交通参与者的速度及运动方向，使得远程驾驶员可以在较短的时间内全面了解车辆当前情况，尽快做出判断。为了避免远程驾驶员在某些极端情况下发出的指令超出车辆的正常响应能力，相应带来的负面影响，还需要将自动驾驶车辆关键部件的状态及数据发送给驾驶模拟器，主要是呈现关键部件的故障码、运行状态及峰值。

2.由远程驾驶员根据所重建的场景和当前车辆状态数据给出控制指令。

具体的是远程驾驶员通过操作执行部件或者人际交互界面得到，远程驾驶员通过操作执行部件或人际交互界面得到的控制指令包含但不限于加速踏板开度、制动踏板开度、手刹、转向、档位、转向灯/雾灯/双闪灯、雨刮、除霜/除雾、车门、发动机舱门/行李舱门、空调制冷/制热、驾驶模式等信号的状态变化。

3.自动驾驶远程控制的确定。

信号采集模块实时采集远程驾驶员发出的控制指令，通过远程通信模块发送至云端平台，并将远程驾驶员给出的控制指令和和远程控制操作指令进行比较，若一致，则直接将远程控制操作指令发送给自动驾驶车辆上的远程监控系统，由云端模拟控制器实现对无法驾驶车辆的控制，若不一致，则需远程驾驶员对其给出的控制指令进行再次确认，若远程驾驶员再次确认后还不一致，则将远程驾驶员的控制指令发送无法驾驶车辆上的远程监控系统，由远程驾驶员实现对自动驾驶车辆的控制。其中两种指令的判断过程可由云端平台实现，也可以由驾驶模拟器实现。

当驾驶员主动进行状态切换，即车上有驾驶员接管车辆时，不需要进行远程控制。

方法实施例

本发明的自动驾驶车辆的远程控制方法包括以下步骤：1)实时检测自动驾驶车辆当前的环境数据、车辆状态数据和车辆控制数据，并将其发送给远端；2)远端将接收到车辆当前的环境数据和车辆状态数据与远端上存储的不同场景下的历史驾驶数据，确定与车辆当前的环境数据和车辆状态数据相对应的人类驾驶操作建议，并将其作为远程控制操作指令；3)当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行。该方法具体实现过程已在系统实施例中进行了详述，这里不再赘述。

装置实施例

本发明的自动驾驶车辆的远程控制装置包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器执行计算机程序时实现上述自动驾驶车辆的远程控制方法。具体实现过程已在系统实施例中进行了详述，这里不再赘述。

Claims (10)

1.一种自动驾驶车辆的远程控制方法，其特征在于，该远程控制方法包括以下步骤：

1)实时检测自动驾驶车辆当前的环境数据、车辆状态数据和车辆控制数据，并将其发送给远端；

2)远端将接收到车辆当前的环境数据和车辆状态数据与远端上存储的不同场景下的历史驾驶数据，确定与车辆当前的环境数据和车辆状态数据相对应的人类驾驶操作建议，并将其作为远程控制操作指令；

3)当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照远程控制操作指令控制车辆运行。

2.根据权利要求1所述的自动驾驶车辆的远程控制方法，其特征在于，所述步骤2)中确定的远程控制操作指令是通过将车辆当前的环境数据和车辆状态数据输入到决策模型中预测得到，所述决策模型的确定过程如下：

A.远端对存储的历史驾驶数据进行降维处理，确定影响驾驶员操作的若干个参数，所述的历史驾驶数据包括环境数据、车辆状态数据、驾驶员所采取的操作数据；

B.对降维处理后的数据进行聚类；

C.将聚类后的数据集作为训练集，利用该训练集对机器学习模型进行训练，得到决策模型。

3.根据权利要求1所述的自动驾驶车辆的远程控制方法，其特征在于，该方法还包括根据实时采集到的车辆当前环境数据和车辆状态数据进行场景重建，并将场景呈现给远程驾驶员，使远程驾驶员根据当前车辆所处环境给出控制指令，得到远程驾驶员控制指令。

4.根据权利要求3所述的自动驾驶车辆的远程控制方法，其特征在于，当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，比较远程控制操作指令和远程驾驶员控制指令，若不一致，则经远程驾驶员再次确认后，按照远程驾驶员控制指令控制车辆。

5.根据权利要求2所述的自动驾驶车辆的远程控制方法，其特征在于，所述远端还用于将远程控制操作指令与对应的车辆控制数据进行比较，根据两者之间的误差对决策模型进行修正。

6.一种自动驾驶车辆的远程控制装置，其特征在于，该远程控制装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述的自动驾驶车辆的远程控制方法。

7.一种自动驾驶车辆的远程控制系统，其特征在于，该远程控制系统包括云端平台和云端虚拟控制器，所述云端平台用于与设置在自动驾驶车辆上的远程监控系统通讯，以获取自动驾驶车辆的当前的环境数据、车辆状态数据和车辆控制数据，所述云端平台上存储有不同场景下的历史驾驶数据，所述云端虚拟控制器用于根据云端平台上存储的历史驾驶数据确定与车辆当前的环境数据和车辆状态数据相对应的人类驾驶操作建议，并将其作为远程控制操作指令；所述云端平台还用于在自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，按照所述远程控制操作指令控制车辆运行。

8.根据权利要求7所述的自动驾驶车辆的远程控制系统，其特征在于，所述的远程控制系统还包括驾驶模拟器，所述驾驶模拟器与云端平台通讯连接，用于根据云端平台实时获取到的车辆当前环境数据和车辆状态数据进行场景重建，并将场景呈现给远程驾驶员，使远程驾驶员根据当前车辆所处环境给出控制指令，得到远程驾驶员控制指令。

9.根据权利要求8所述的自动驾驶车辆的远程控制系统，其特征在于，当自动驾驶车辆由自动驾驶状态向人工驾驶状态紧急切换时，比较远程控制操作指令和远程驾驶员控制指令，若不一致，则经远程驾驶员再次确认后，按照远程驾驶员控制指令控制车辆。

10.根据权利要求7-9中任一项所述的自动驾驶车辆的远程控制系统，其特征在于，所述的远程控制操作指令是通过将车辆当前的环境数据和车辆状态数据输入到决策模型中预测得到，所述决策模型的确定过程如下：

A.云端平台对存储的历史驾驶数据进行降维处理，确定影响驾驶员操作的若干个参数，所述的历史驾驶数据包括环境数据、车辆状态数据、驾驶员所采取的操作数据；

B.云端虚拟控制器对降维处理后的数据进行聚类；

C.云端虚拟控制器将聚类后的数据集作为训练集，利用该训练集对机器学习模型进行训练，得到决策模型。

Images