CN117950408B - 自动驾驶方法、系统、介质、场端服务器及智能设备 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，具体提供一种自动驾驶方法、系统、介质、场端服务器及智能设备，旨在解决如何在降低单车成本，并避免车端资源浪费的前提下，实现鲁棒的自动驾驶能力的问题。为此目的，本申请基于场端设置的多种类型的传感器采集的数据进行多模态感知融合，获得场端目标感知结果，将场端目标感知结果与环境地图进行环境融合，获得场端环境融合结果，根据场端环境融合结果获得智能设备的轨迹规划结果。智能设备根据轨迹规划结果和安全守卫决策结果实现行驶控制，实现在智能设备端实现部署轻量化，也确保了智能设备端的安全防护，适用于多种不同类型的智能设备以及各种低算力的智能设备，使得获得轨迹规划结果具有更高的鲁棒性。

Description

自动驾驶方法、系统、介质、场端服务器及智能设备

技术领域

本申请涉及自动驾驶技术领域，具体提供一种自动驾驶方法、系统、介质、场端服务器及智能设备。

背景技术

自动驾驶的分场景落地方案越来越受到大家的关注。现有技术中，通过纯车端部署的方案，往往容易增加单车成本，同时也会存在着计算资源和传感器在很多时候闲置和浪费的情况。

相应地，本领域需要一种新的自动驾驶方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何在降低单车成本，并避免车端资源浪费的前提下，实现鲁棒的自动驾驶能力的问题。

在第一方面，本申请提供一种自动驾驶方法，所述方法应用于场端，所述方法包括：

基于所述场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果；其中，所述场端目标感知结果中包含待进行轨迹规划的智能设备；所述智能设备与所述场端通信连接；

根据所述场端目标感知结果和环境地图进行环境融合，获得场端环境融合结果；

根据所述场端环境融合结果，对所述智能设备进行轨迹规划，获得所述智能设备的轨迹规划结果；

将所述轨迹规划结果发送至所述智能设备，以使得所述智能设备的根据所述轨迹规划结果实现自动驾驶功能。

在上述自动驾驶方法的一个技术方案中，所述根据所述场端环境融合结果，对智能设备进行轨迹规划，获得所述智能设备的轨迹规划结果，包括：

获取所述智能设备的状态数据和调度数据；

根据所述状态数据、所述调度数据和所述场端环境融合结果，对所述智能设备进行轨迹规划，获得所述轨迹规划结果。

在上述自动驾驶方法的一个技术方案中，所述获得所述轨迹规划结果，包括：

获得所述智能设备的规划轨迹和实时位姿。

在上述自动驾驶方法的一个技术方案中，所述方法还包括：

通过无线链路，实现所述场端与所述智能设备的通信连接；

其中，所述无线链路具有时间同步能力。

在上述自动驾驶方法的一个技术方案中，所述无线链路为冗余无线链路；所述方法还包括：

根据多种不同类型的无线通信协议，实现所述冗余无线链路。

在上述自动驾驶方法的一个技术方案中，所述多模态感知融合由多模态感知融合模块实现；所述环境融合由环境融合模块实现；所述轨迹规划由轨迹规划模块实现；所述方法还包括：

对所述传感器、所述多模态感知融合模块、所述环境融合模块和所述轨迹规划模块进行故障监控；

当所述传感器、所述多模态感知融合模块、所述环境融合模块和所述轨迹规划模块至少其中之一出现故障时，进行故障自校正机制响应，并保存所述故障对应的故障信息。

在上述自动驾驶方法的一个技术方案中，所述传感器包括第一传感器和第二传感器，所述第一传感器和所述第二传感器的数量均为多个；

所述基于所述场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果，包括：

基于所述第一传感器采集的数据，获取第一感知特征；

基于所述第二传感器采集的数据，获取第二感知特征；

基于所述第一感知特征和所述第二感知特征，进行特征融合，获得感知融合特征；

根据所述感知融合特征，获得所述场端目标感知结果。

在上述自动驾驶方法的一个技术方案中，所述获得所述场端目标感知结果，包括：

根据所述感知融合特征，获取所述环境动态目标感知结果、静态障碍物占据结果和所述智能设备的定位结果。

在上述自动驾驶方法的一个技术方案中，所述方法还包括根据以下步骤获取所述环境地图：

基于所述传感器采集的数据，获取所述场端的场端环境数据；

基于所述场端环境数据，获取静态障碍物占据数据；

根据所述静态障碍物占据数据，获取所述环境地图。

在上述自动驾驶方法的一个技术方案中，所述方法还包括：

根据回流数据，更新所述环境地图；

其中，所述回流数据是基于预设规则触发回流的所述场端或所述智能设备的传感器采集的数据。

在上述自动驾驶方法的一个技术方案中，所述方法还包括：

对所述传感器进行落站标定或在线标定，获取所述传感器的外参标定结果；

其中，所述外参标定结果用于所述多模态感知融合和/或所述环境融合。

在第二方面，本申请提供一种自动驾驶方法，所述方法应用于智能设备，所述方法包括：

获取场端发送的所述智能设备的轨迹规划结果；其中，所述场端与所述智能设备通信连接；

根据所述轨迹规划结果和所述智能设备的安全守卫决策结果，对所述智能设备进行行驶控制，以实现所述智能设备的自动驾驶功能；

其中，所述安全守卫决策结果为所述智能设备对所述轨迹规划结果进行安全控制的评估和校验后获得的结果。

在上述自动驾驶方法的一个技术方案中，所述根据所述轨迹规划结果和所述智能设备的安全守卫决策结果，对所述智能设备进行行驶控制，包括：

根据所述轨迹规划结果和所述智能设备的安全守卫决策结果进行优先级判断，获得优先级判断结果；

根据所述优先级判断结果和所述智能设备的里程计融合定位数据，对所述智能设备进行行驶控制。

在上述自动驾驶方法的一个技术方案中，所述根据所述优先级判断结果和所述智能设备的里程计融合定位数据，对所述智能设备进行行驶控制，包括：

当所述轨迹规划结果的优先级高于所述安全守卫决策结果的优先级时，根据所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制；

当所述安全守卫决策结果的优先级高于所述轨迹规划结果的优先级时，根据所述安全守卫决策结果和所述里程计融合定位数据，对所述智能设备进行行驶控制。

在上述自动驾驶方法的一个技术方案中，所述智能设备与所述场端通过无线链路通信连接，所述无线链路具有时间同步能力；

所述根据所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制，包括：

通过所述无线链路对所述轨迹规划结果进行时间同步；

基于时间同步后的所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制。

在上述自动驾驶方法的一个技术方案中，所述轨迹规划结果包括所述智能设备的规划轨迹和实时位姿；

所述基于时间同步后的所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制，包括：

根据所述里程计融合定位数据时间同步后的所述实时位姿进行运动补偿，获得补偿后的实时位姿；

基于所述补偿后的实时位姿和时间同步后所述规划轨迹，对所述智能设备进行行驶控制。

在上述自动驾驶方法的一个技术方案中，所述无线链路为冗余无线链路；所述方法还包括：

根据多种不同类型的无线通信协议，实现所述冗余无线链路。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述自动驾驶方法的技术方案中任一项技术方案所述的自动驾驶方法。

在第四方面，提供一种场端服务器，所述场端服务器包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述自动驾驶方法的技术方案中任一项技术方案所述的自动驾驶方法。

在第五方面，提供一种智能设备，所述智能设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述自动驾驶方法的技术方案中任一项技术方案所述的自动驾驶方法。

在第六方面，提供一种自动驾驶系统，上述场端服务器技术方案中的场端服务器和智能设备技术方案中的智能设备，所述场端服务器与所述智能设备通信连接。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请的技术方案中，本申请基于场端设置的多种类型的传感器采集的数据进行多模态感知融合，获得场端目标感知结果，根据场端目标感知结果与环境地图进行环境融合，获得场端环境融合结果，根据场端环境融合结果实现对智能设备的轨迹规划，获得智能设备的轨迹规划结果，并下发至智能设备，从而实现智能设备根据轨迹规划结果实现自动驾驶功能。通过上述配置方式，本申请能够实现通过场端进行自动驾驶的感知、融合、规划等功能，无需智能设备进行复杂的感知、融合、规则等功能的部署，即可实现智能设备的自动驾驶功能，避免了智能设备端的一些计算资源和传感器在自动驾驶功能不使用时的闲置和浪费的情况，能够降低单车成本，适用于多种不同类型的智能设备以及各种低算力的智能设备。同时由于场端是基于多个类型的传感器采集的数据实现多模态感知融合的，结合了多种传感器的优势，能够适应多种不同的天气和环境条件，使得获得轨迹规划结果具有更高的鲁棒性。同时，智能设备是基于场端下发的轨迹规划结果和安全守卫决策结果实现行驶控制的，能够在智能设备端实现部署轻量化的同时，也确保了智能设备端的安全防护。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：

图1是根据本申请的一个实施例的自动驾驶方法的主要步骤流程示意图；

图2是根据本申请的另一个实施例的自动驾驶方法的主要步骤流程示意图；

图3是根据本申请实施例的一个实施方式的场端与智能设备之间的主要硬件拓扑结构示意图；

图4是根据是本申请实施例的一个实施方式的换电站的主要软件架构示意图；

图5是根据是本申请实施例的一个实施方式的车端的主要软件架构示意图；

图6是根据本申请实施例的一个实施方式的获取环境地图的主要框架示意图。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

参阅附图1，图1是根据本申请的一个实施例的自动驾驶方法的主要步骤流程示意图。如图1所示，本申请实施例中的自动驾驶方法应用于场端，自动驾驶方法主要包括下列步骤S101-步骤S104。

步骤S101：基于场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果；其中，场端目标感知结果中包含待进行轨迹规划的智能设备；智能设备与场端通信连接。

在本实施例中，场端可以设置有多种不同类型的传感器，传感器用于进行环境数据采集，可以基于多种不同类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果。场端目标感知结果中包含待进行轨迹规划的智能设备，智能设备与场端通信连接。

一个实施方式中，场端可以为换电站、充电站、智能停车场等能够安装部署传感器的空间。

一个实施方式中，智能设备可以为驾驶设备、智能车、机器人等设备。

一个实施方式中，待进行轨迹规划的智能设备可以待换电的车辆、待泊车的车辆等。

一个实施方式中，传感器可以包括激光雷达、相机、毫米波雷达等。

一个实施方式中，可以根据场端的功能需求和覆盖范围，结合不同传感器的性能，部署多种传感器，每种传感器部署多个。基于多种类型的传感器进行多模态感知融合，能够提升针对复杂天气进行环境感知的鲁棒性，强化场端环境内的感知目标的语义识别效果，降低误检漏检等感知性能风险。

一个实施方式中，场端目标感知结果可以包括环境动态目标感知结果、静态障碍物占据结果和智能设备的定位结果。

步骤S102：根据场端目标感知结果和环境地图进行环境融合，获得场端环境融合结果。

在本实施例中，可以根据场端目标感知结果和环境地图进行环境融合，从而获得场端环境融合结果。

一个实施方式中，场端环境融合结果可以包括环境动态目标感知结果和智能设备的定位结果与环境进行融合的结果。

步骤S103：根据场端环境融合结果，对智能设备进行轨迹规划，获得智能设备的轨迹规划结果。

在本实施例中，可以基于场端环境融合结果，来对智能设备进行轨迹规划，从而获得智能设备的轨迹规划结果。

一个实施方式中，轨迹规划结果可以包括智能设备的规划轨迹和实时位姿（EgoMotion）。

步骤S104：将轨迹规划结果发送至智能设备，以使得智能设备的根据轨迹规划结果实现自动驾驶功能。

在本实施方式中，场端可以将获得的轨迹规划结果发送至与场端通信连接的智能设备，从而实现智能设备根据轨迹规划结果实现自动驾驶功能。

基于上述步骤S101-步骤S104，本申请实施例基于场端设置的多种类型的传感器采集的数据进行多模态感知融合，获得场端目标感知结果，根据场端目标感知结果与环境地图进行环境融合，获得场端环境融合结果，根据场端环境融合结果实现对智能设备的轨迹规划，获得智能设备的轨迹规划结果，并下发至智能设备，从而实现智能设备根据轨迹规划结果实现自动驾驶功能。通过上述配置方式，本申请实施例能够实现通过场端进行自动驾驶的感知、融合、规划等功能，无需智能设备进行复杂的感知、融合、规则等功能的部署，即可实现智能设备的自动驾驶功能，避免了智能设备端的一些计算资源和传感器在自动驾驶功能不使用时的闲置和浪费的情况，能够降低单车成本，适用于多种不同类型的智能设备以及各种低算力的智能设备。同时由于场端是基于多个类型的传感器采集的数据实现多模态感知融合的，结合了多种传感器的优势，能够适应多种不同的天气和环境条件，使得获得轨迹规划结果具有更高的鲁棒性。

下面分别对步骤S101、步骤S102和步骤S103作进一步地说明。

在申请实施例的一个实施方式中，传感器可以包括第一传感器和第二传感器；步骤S101可以进一步包括以下步骤S1011至步骤S1014：

步骤S1011：基于第一传感器采集的数据，获取第一感知特征。

步骤S1012：基于第二传感器采集的数据，获取第二感知特征。

步骤S1013：基于第一感知特征和第二感知特征，进行特征融合，获得感知融合特征。

步骤S1014：根据感知融合特征，获得场端目标感知结果。

在本实施方式中，可以基于第一传感器采集的数据获得第一感知特征；基于第二传感器采集的数据获得第二感知特征获得第二鸟瞰图特征。将第一感知特征和第二感知特征进行特征融合，从而获得感知融合特征，进而根据感知融合特征获得场端目标感知结果。其中，第一传感器和第二传感器可以为相机、激光雷达、毫米波雷达等传感器中的一种，只要第一传感器和第二传感器的类型不同即可。

一个实施方式中，可以基于神经网络模型来实现第一感知特征和第二感知特征之间的特征融合。

一个实施方式中，神经网络模型可以为基于Transformer BEV架构构建的模型、基于mono 3D构建的模型、基于occ网络构建的模型等。

一个实施方式中，可以根据感知融合特征和智能设备的状态信息，获得场端目标感知结果。其中，状态信息可以包括形状参数、速度等物理状态数据。

在本申请实施例的一个实施方式中，可以基于步骤S201至步骤S203获得环境地图：

步骤S201：基于传感器采集的数据，获取场端的场端环境数据。

步骤S202：基于场端环境数据，获取静态障碍物占据数据。

步骤S203：根据静态障碍物占据数据，获取环境地图。

一个实施方式中，还可以根据以下步骤S204对环境地图进行更新：

步骤S204：根据回流数据，更新环境地图；其中，回流数据是基于预设规则触发回流的场端或智能设备的传感器采集的数据。

下面结合图6对获取和更新环境地图的过程进行说明，图6是根据本申请实施例的一个实施方式的获取环境地图的主要框架示意图。如图6所示，场端设置的传感器包括相机和激光雷达，如可以设置N个相机和N个激光雷达，可以根据相机采集的原始图像数据和激光雷达采集的原始点云数据，获得场端环境数据，根据场端环境数据，进行基于感知算法的环境感知，从而获得静态障碍物占据数据。其中，感知算法可以为基于神经网络的感知算法。感知算法具体为，基于原始点云数据进行激光雷达目标检测，获得体素化特征，基于原始图像数据进行相机目标检测，获得相机特征，将体素化特征和相机特征通过神经网络进行特征融合，获得静态障碍物占据数据。其中，静态障碍物占据数据可以包括马路牙子、墙壁、树桩等不可以移动的静态障碍物的占据数据。可以基于静态障碍物占据数据，获得环境地图。环境地图表达了静态障碍物的边界。其中，环境地图的构建可以由云端来实现。由感知云端大模型，输出对应的静态障碍物占据数据；云端的环境地图云端管理平台实现环境地图检查、环境地图中的静态障碍物占据数据标注，并实现环境地图的下发触发。场端与云端通信连接，可以通过4G 路由器（router）实现通信连接。场端的环境融合模块从云端获得环境地图或进行环境地图的更新和替换，进而根据环境地图实现环境建模，进行环境融合。同时场端还设置有数据挖掘模块，数据挖掘模块用于基于预设规则触发回流数据，回流场端或智能设备的传感器采集的数据，传输至云端用于更新环境地图。云端与场端结合的环境地图构建和更新机制能够提升环境融合的鲁棒性。

在本申请实施例的一个实施方式中，步骤S103可以进一步包括以下步骤S1031和步骤S1032：

步骤S1031：获取智能设备的状态数据和调度数据。

步骤S1032：根据状态数据、调度数据和场端环境融合结果，对智能设备进行轨迹规划，获得轨迹规划结果。

在本实施方式中，可以获取智能设备的状态数据和调度数据，基于状态数据、调度数据以及场端环境融合结果，来对智能设备进行轨迹规划，获得轨迹规划结果。智能设备的状态数据可以包括智能设备的功能状态机数据和形状参数、速度等物理状态数据。

其中，可以使用本领域常用的规划控制算法（PNC，Planing and Controlling）进行轨迹规划，本申请对此不做限定。

在本申请实施例的一个实施方式中，可以通过无线链路来实现场端与智能设备的通信连接。其中，无线链路具有时间同步能力，可以便于通过无线链路实现场端与智能设备之间的时间同步，降低无线链路对传输过程，以及后续的控制过程的影响，提升场端与智能设备端的一致性表现。

一个实施方式中，无线链路为冗余无线链路，即通过多种不同类型的无线通信协议，实现多种无线链路。无线通信协议可以包括WiFi、4G/5G、V2X等。通过冗余无线链路的设置，能够进一步强化场端与智能设备端进行通信的鲁棒性和实时性。

在本申请实施例的一个实施方式中，多模态感知融合可以由多模态感知融合模块实现；环境融合可以由环境融合模块实现；轨迹规划可以由轨迹规划模块实现。场端还可以实现对场端设置的传感器、多模态感知融合模块、环境融合模块和轨迹规划模型进行故障监控，当传感器、多模态感知融合模块、环境融合模块和轨迹规划模型至少其中之一出现故障，进行故障自校正机制（failsafe）响应，能够支持场端的稳定性监控和运维，并保存故障对应的故障信息。如，可以将故障信息上传至云端进行统一管理，可以与场端的其他服务能力（如，换电运维等）进行闭环，用于提升用户体验。其中，故障自校正机制是指在场端运行完整的全覆盖的健康监控、故障诊断和故障处理的机制，其可以包括及时发现故障并进行警报处理、对发生故障的原因进行分析诊断、根据分析诊断结果进行有针对性的故障处理以及将故障信息对应的数据上传至云端等功能。

在本申请实施例的一个实施方式中，场端还具备传感器的标定能力。即，可以对场端设置的传感器进行落站标定或在线标定，从而获得传感器的外参标定结果，以将外参标定结果用于多模态感知融合和环境融合。场端具备传感器标定能力，能够避免传感器受到支架受热形变、大风等因素影响导致传感器外参变化的情况，可以针对上述情况进行有效修正和超差保护，进而能够确保多模态感知融合和环境融合的鲁棒性。

一个实施方式中，场端还能够实现对离线点云地图与实时采集的点云数据之间的配准计算，以修正采集的点云数据的时刻与当前时刻之间的外参变化误差，从而获得更为准确的场端目标感知结果。

一个实施方式中，可以通过云端管理设备实现场端的软件的OTA升级、故障运维管理、离线环境地图的升级和管理、关键数据回传、模型的云端训练等。

进一步，本申请提供另一种自动驾驶方法。

参阅附图2，图2是根据本申请的另一个实施例的自动驾驶方法的主要步骤流程示意图。如图2所述，在本实施例中自动驾驶方法应用于智能设备，自动驾驶方法可以包括以下步骤S301至步骤S302：

步骤S301：获取场端发送的智能设备的轨迹规划结果；其中，场端与智能设备通信连接。

在本实施方式中，智能设备可以直接获取场端下发的轨迹规划结果。

步骤S302：根据轨迹规划结果和智能设备的安全守卫决策结果，对智能设备进行行驶控制，以实现智能设备的自动驾驶功能；其中，安全守卫决策结果为智能设备端对轨迹规划结果进行安全控制的评估和校验后获得的结果。

在本实施方式中，智能设备端可以部署安全守卫（safety guard）算法，来实现智能设备端的安全防护处理，从而根据场端下发的轨迹规划结果和基于安全守护算法获得的安全守护决策结果，来进行行驶控制。其中，安全守护算法是用于对轨迹规划结果进行安全控制的评估和校验的算法，如果轨迹规划结果不符合智能设备端的安全控制指令要求，则会屏蔽轨迹规划结果，进行智能设备的安全防护处理；如果轨迹规划结果符合智能设备端的安全控制指令要求，则根据轨迹规划结果进行行驶控制。安全防护处理可以包括紧急制动，紧急避障等。

一个实施方式中，安全守护算法可以为RSS（Responsibility Sensitive Safety，责任敏感安全模型）算法或SFF（Safety Force Field，安全力场）算法，可以基于RSS算法或SFF算法获得智能设备的安全守卫决策结果。

基于上述步骤S301-步骤S302，本申请实施例中的智能设备进需要部署可以获取安全守卫决策结果的安全守卫模块，并获取场端下发的轨迹规划结果，即可实现自动驾驶功能，能够有效实现智能设备端资源和算法部署的轻量化的同时，也确保了智能设备端的安全防护。

下面对步骤S302作进一步地说明。

在本申请实施例的一个实施方式中，步骤S302可以进一步包括以下步骤S3021和步骤S3022：

步骤S3021：根据轨迹规划结果和智能设备的安全守卫决策结果进行优先级判断，获得优先级判断结果。

在本实施方式中，可以对轨迹规划结果和安全守卫决策结果进行优先级判断。

步骤S3022：根据优先级判断结果和智能设备的里程计融合定位数据，对智能设备进行行驶控制。

在本实施方式中，步骤S3022可以进一步包括以下步骤S30221和步骤S30222：

步骤S30221：当轨迹规划结果的优先级高于安全守卫决策结果的优先级时，根据轨迹规划结果和里程计融合定位数据，对智能设备进行行驶控制。

在本实施方式中，智能设备与场端通过无线链路通信连接，无线链路具有时间同步能力。当轨迹规划结果的优先级高于安全守卫决策结果的优先级时，则说明场端发送的轨迹规划结果通过了智能设备端的安全控制的评估和校验，可以基于轨迹规划结果进行智能设备的行驶控制。可以基于无线链路对轨迹规划结果进行时间同步，实现场端与智能设备端的一致性表现，进而根据时间同步后的轨迹规划结果和里程计融合定位数据，进行行驶控制。其中，里程计融合定位数据为将场端观测的智能设备的定位结果与通过轮速、IMU获得的局部里程计（local odometry）进行融合获得的。

一个实施方式中，轨迹规划结果可以包括智能设备的规划轨迹和实时位姿。可以根据里程计融合定位数据对时间同步后的实时位姿进行运动补偿，获得补偿后的规划轨迹；基于补偿后的实时位姿和时间同步后的规划轨迹，对智能设备进行行驶控制。通过时间同步和运动补偿，能够使得智能设备的行驶控制过程更为精确，从而实现高性能的自动驾驶能力。

步骤S30222：当安全守卫决策结果的优先级高于轨迹规划结果的优先级时，根据安全守卫决策结果和里程计融合定位数据，对智能设备进行行驶控制。

在本实施方式中，当安全守卫决策结果的优先级高于轨迹规划结果的优先级时，则说明轨迹规划结果未通过智能设备端的安全控制的评估和校验，不能基于轨迹规划结果进行智能设备的行驶控制，可能存在着轨迹规划结果失效等情况，此时则需要根据安全守卫决策结果和里程计融合定位数据，对智能设备进行行驶控制，如对智能设备进行紧急制动等。

下面结合图3至图5，以场端为换电站，智能设备为车辆为例，对本申请的自动驾驶方法进行说明。图3是根据本申请实施例的一个实施方式的场端与智能设备之间的主要硬件拓扑结构示意图；图4是根据是本申请实施例的一个实施方式的换电站的主要软件架构示意图；图5是根据是本申请实施例的一个实施方式的车端的主要软件架构示意图。

如图3所示，换电站可以部署传感器A和传感器B，通过传感器A和传感器B采集的数据，经过高性能计算平台，获得车辆的轨迹规划结果，通过无线链路发送至车端。

如图4所示，换电站的高性能计算平台可以包括标定模块、多模态感知融合模块、环境融合模块、轨迹规划模块、故障监控模块和站端通信模块。

多模态感知融合模块根据换电站设置的n个激光雷达采集的原始点云进行激光雷达目标检测，获得体素化特征；根据换电站设置的n个相机，采集的原始图像数据进行相机目标检测，获得相机特征；将体素化特征和相机特征通过神经网络进行特征融合，并进行后处理后获得场端目标感知结果。其中，场端目标感知结果可以包括环境动态目标感知结果、静态障碍物占据结果和待换电车辆的定位结果。

环境融合模块根据环境地图和场端目标感知结果进行环境融合，获得场端环境融合结果。其中，场端环境融合结果可以包括动态目标和待换电车辆的定位结果。

轨迹规划模块根据场端环境融合结果、车辆的功能状态机和车辆的状态信息、车辆的调度信息进行轨迹规划，获得轨迹规划结果。其中，轨迹规划结果可以包括待换电车辆的规划轨迹和实时位姿。

站端通信模块包括信息安全SDK、车场时间同步和链路协议层。站端通信模块基于冗余无线链路，实现与车辆的通信连接，冗余无线链路可以为基于wifi、4G、V2X等通信协议实现的通信链路。车场时间同步用于实现换电站与车辆之间的时间同步。

故障监控模块用于对传感器、高性能计算平台的硬件、算法、架构进行故障诊断。

标定模块用于实现传感器（相机、激光雷达等）的标定。

如图5所示，车端的自动驾驶域控制器（ADC）包括车端通信模块、控制、冲裁、补偿算法模块和里程计。

车端通信模块包括信息安全SDK、车场时间同步、链路协议层。车端通信模块与站端通信模块通过冗余通信链路通信连接，从换电站获得轨迹规划结果，发送给控制、冲裁、补偿算法模块，并获取车辆调度信息，车辆功能状态机和车辆的状态信息发送至换电站。其中，轨迹规划结果可以包括待换电车辆的规划轨迹和实时位姿。

里程计基于车辆的IMU和轮速计数据，对车辆进行相对定位，获得车辆的里程计融合定位数据。

控制、冲裁、补偿算法模块中包括安全守护决策处理模块和控制模块。基于轨迹规划结果、安全守护决策结果和里程计融合定位数据来对车辆进行行驶控制。

车辆的行驶控制可以通过业务逻辑模块（功能状态机等），经过车端通信模块向换电站进行反馈，如反馈车辆的功能状态机和车辆的状态信息。同时站端的故障诊断指令也能够通过车端通信模块发送至业务逻辑模块。业务逻辑模块可以基于触屏交互设备（CDC）进行显示交互。

车辆的行驶控制指令可以通过控制指令输出将控制信号发送至车辆的横向控制接口以及纵向控制接口，横向控制接口与VCU（电子助力转向系统）连接，纵向控制接口与EPS（电子助力转向系统）连接。

VCU、EPS均通过BGW（中央网关）与车端通信模块连接。CDC也与车端通信模块连接。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。

进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的自动驾驶方法的程序，该程序可以由处理器加载并运行以实现上述自动驾驶方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本申请提供一种场端服务器，场端服务器可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。

在本申请的一些实施例中，场端服务器与场端设置多个传感器连接，传感器用于感知信息。传感器与场端服务器的任何一种类型的处理器通信连接。

一个实施方式中，场端服务器的存储器和处理器通过总线通信连接。

进一步，本申请提供一种智能设备，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。

在本申请的一些实施例中，智能设备还包括至少一个传感器，传感器用于感知信息。传感器与智能设备的任何一种类型的处理器通信连接。可选地，智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

一个实施方式中，智能设备的存储器和处理器通过总线通信连接。

进一步，本申请还包括一种自动驾驶系统，自动驾驶系统包括场端服务器实施例中的场端服务器和智能设备实施例中的智能设备。场端服务器和智能设备通信连接。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (20)

1.一种自动驾驶方法，其特征在于，所述方法应用于场端，所述方法包括：

基于所述场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果；其中，所述场端目标感知结果中包含待进行轨迹规划的智能设备；所述智能设备与所述场端通信连接；

根据所述场端目标感知结果和环境地图进行环境融合，获得场端环境融合结果；

根据所述场端环境融合结果，对所述智能设备进行轨迹规划，获得所述智能设备的轨迹规划结果；

将所述轨迹规划结果发送至所述智能设备，以使得所述智能设备的根据所述轨迹规划结果实现自动驾驶功能；

其中，所述根据所述轨迹规划结果实现自动驾驶功能，包括：

根据所述轨迹规划结果和所述智能设备的安全守卫决策结果进行优先级判断，获得优先级判断结果；

根据所述优先级判断结果和所述智能设备的里程计融合定位数据，对所述智能设备进行行驶控制。

2.根据权利要求1所述的自动驾驶方法，其特征在于，

所述根据所述场端环境融合结果，对智能设备进行轨迹规划，获得所述智能设备的轨迹规划结果，包括：

获取所述智能设备的状态数据和调度数据；

根据所述状态数据、所述调度数据和所述场端环境融合结果，对所述智能设备进行轨迹规划，获得所述轨迹规划结果。

3.根据权利要求2所述的自动驾驶方法，其特征在于，

所述获得所述轨迹规划结果，包括：

获得所述智能设备的规划轨迹和实时位姿。

4.根据权利要求1所述的自动驾驶方法，其特征在于，所述方法还包括：

通过无线链路，实现所述场端与所述智能设备的通信连接；

其中，所述无线链路具有时间同步能力。

5.根据权利要求4所述的自动驾驶方法，其特征在于，所述无线链路为冗余无线链路；所述方法还包括：

根据多种不同类型的无线通信协议，实现所述冗余无线链路。

6.根据权利要求1所述的自动驾驶方法，其特征在于，所述多模态感知融合由多模态感知融合模块实现；所述环境融合由环境融合模块实现；所述轨迹规划由轨迹规划模块实现；所述方法还包括：

对所述传感器、所述多模态感知融合模块、所述环境融合模块和所述轨迹规划模块进行故障监控；

当所述传感器、所述多模态感知融合模块、所述环境融合模块和所述轨迹规划模块至少其中之一出现故障时，进行故障自校正机制响应，并保存所述故障对应的故障信息。

7.根据权利要求1所述的自动驾驶方法，其特征在于，所述传感器包括第一传感器和第二传感器，所述第一传感器和所述第二传感器的数量均为多个；

所述基于所述场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果，包括：

基于所述第一传感器采集的数据，获取第一感知特征；

基于所述第二传感器采集的数据，获取第二感知特征；

基于所述第一感知特征和所述第二感知特征，进行特征融合，获得感知融合特征；

根据所述感知融合特征，获得所述场端目标感知结果。

8.根据权利要求7所述的自动驾驶方法，其特征在于，

所述获得所述场端目标感知结果，包括：

根据所述感知融合特征，获取环境动态目标感知结果、静态障碍物占据结果和所述智能设备的定位结果。

9.根据权利要求1所述的自动驾驶方法，其特征在于，

所述方法还包括根据以下步骤获取所述环境地图：

基于所述传感器采集的数据，获取所述场端的场端环境数据；

基于所述场端环境数据，获取静态障碍物占据数据；

根据所述静态障碍物占据数据，获取所述环境地图。

10.根据权利要求9所述的自动驾驶方法，其特征在于，所述方法还包括：

根据回流数据，更新所述环境地图；

其中，所述回流数据是基于预设规则触发回流的所述场端或所述智能设备的传感器采集的数据。

11.根据权利要求1至10中任一项所述的自动驾驶方法，其特征在于，所述方法还包括：

对所述传感器进行落站标定或在线标定，获取所述传感器的外参标定结果；

其中，所述外参标定结果用于所述多模态感知融合和/或所述环境融合。

12.一种自动驾驶方法，其特征在于，所述方法应用于智能设备，所述方法包括：

获取场端发送的所述智能设备的轨迹规划结果；其中，所述场端与所述智能设备通信连接；所述轨迹规划结果是所述场端基于所述场端设置的至少两种类型的传感器采集的数据，进行多模态感知融合，获得场端目标感知结果；其中，所述场端目标感知结果中包含待进行轨迹规划的智能设备；根据所述场端目标感知结果和环境地图进行环境融合，获得场端环境融合结果；根据所述场端环境融合结果，对所述智能设备进行轨迹规划获得的；

根据所述轨迹规划结果和所述智能设备的安全守卫决策结果，对所述智能设备进行行驶控制，以实现所述智能设备的自动驾驶功能；

其中，所述安全守卫决策结果为所述智能设备对所述轨迹规划结果进行安全控制的评估和校验后获得的结果；

所述根据所述轨迹规划结果和所述智能设备的安全守卫决策结果，对所述智能设备进行行驶控制，包括：

根据所述轨迹规划结果和所述智能设备的安全守卫决策结果进行优先级判断，获得优先级判断结果；

根据所述优先级判断结果和所述智能设备的里程计融合定位数据，对所述智能设备进行行驶控制。

13.根据权利要求12所述的自动驾驶方法，其特征在于，

所述根据所述优先级判断结果和所述智能设备的里程计融合定位数据，对所述智能设备进行行驶控制，包括：

当所述轨迹规划结果的优先级高于所述安全守卫决策结果的优先级时，根据所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制；

当所述安全守卫决策结果的优先级高于所述轨迹规划结果的优先级时，根据所述安全守卫决策结果和所述里程计融合定位数据，对所述智能设备进行行驶控制。

14.根据权利要求13所述的自动驾驶方法，其特征在于，

所述智能设备与所述场端通过无线链路通信连接，所述无线链路具有时间同步能力；

所述根据所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制，包括：

通过所述无线链路对所述轨迹规划结果进行时间同步；

基于时间同步后的所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制。

15.根据权利要求14所述的自动驾驶方法，其特征在于，

所述轨迹规划结果包括所述智能设备的规划轨迹和实时位姿；

所述基于时间同步后的所述轨迹规划结果和所述里程计融合定位数据，对所述智能设备进行行驶控制，包括：

根据所述里程计融合定位数据对时间同步后的所述实时位姿进行运动补偿，获得补偿后的实时位姿；

基于所述补偿后的实时位姿和时间同步后所述规划轨迹，对所述智能设备进行行驶控制。

16.根据权利要求14或15所述的自动驾驶方法，其特征在于，

所述无线链路为冗余无线链路；所述方法还包括：

根据多种不同类型的无线通信协议，实现所述冗余无线链路。

17.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至11中任一项所述的自动驾驶方法或权利要求12至16中任一项所述的自动驾驶方法。

18.一种场端服务器，其特征在于，所述场端服务器包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至11中任一项所述的自动驾驶方法。

19.一种智能设备，其特征在于，所述智能设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求12至16中任一项所述的自动驾驶方法。

20.一种自动驾驶系统，其特征在于，所述自动驾驶系统包括权利要求18所述的场端服务器和权利要求19所述的智能设备，所述场端服务器与所述智能设备通信连接。