CN116776151A - 可与车外人员进行自主交互的自动驾驶模型和训练方法 - Google Patents

Abstract

本公开提供了一种可与车外人员进行自主交互的自动驾驶模型和训练方法。本公开涉及自动驾驶技术领域。自动驾驶模型包括用于连接组成端到端神经网络模型的多模态编码层和决策控制层，决策控制层基于多模态编码层的输出获取自动驾驶策略信息，多模态编码层的第一输入信息包括车辆的导航信息和利用传感器所获得的车辆周围环境的感知信息，多模态编码层用于获取与第一输入信息相对应的隐式表示，决策控制层用于至少基于交互信息和感知信息的隐式表示获取自动驾驶策略信息。自动驾驶模型可以基于周围环境，以及交互信息的内容确定自动驾驶策略信息，从而使得车辆的驾驶行为能够适应车辆外部的人员的要求。

Description

可与车外人员进行自主交互的自动驾驶模型和训练方法

技术领域

本公开涉及计算机技术领域，尤其涉及自动驾驶和人工智能技术领域，具体涉及一种可与车外人员进行自主交互的自动驾驶模型、利用自动驾驶模型实现的自动驾驶方法、自动驾驶模型的训练方法、基于自动驾驶模型的自动驾驶装置、一种自动驾驶模型的训练装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

自动驾驶技术融合了识别、决策、定位、通信安全和人机交互等诸多方面的技术。通过人工智能学习能够辅助生成自动驾驶策略。

高精地图也称高精度地图，是由自动驾驶汽车使用的地图。高精地图拥有精确的车辆位置信息和丰富的道路元素数据信息，可以帮助汽车预知路面复杂信息，如坡度、曲率、航向等，从而更好地规避潜在的风险。换言之，自动驾驶技术强依赖于高精地图。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种自动驾驶模型、利用自动驾驶模型实现的自动驾驶方法、自动驾驶模型的训练方法、基于自动驾驶模型的自动驾驶装置、一种自动驾驶模型的训练装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。

根据本公开的一方面，提供了一种自动驾驶模型，包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息，其中，所述多模态编码层的第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在车辆的行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息，所述多模态编码层被配置用于获取与所述第一输入信息相对应的隐式表示，所述决策控制层的第二输入信息包括所述隐式表示，所述决策控制层被配置用于基于所述第二输入信息获取目标自动驾驶策略信息，其中，所述第二输入信息包括与所述目标车辆外部的人员的交信息。

根据本公开的另一方面，提供了一种利用自动驾驶模型实现的自动驾驶方法，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息。所述方法包括：获取所述多模态编码层的第一输入信息，所述第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在所述车辆行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息；将所述第一输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的与所述第一输入信息相对应的隐式表示；以及将包括所述隐式表示的第二输入信息输入所述决策控制层，以获取所述决策控制层所输出的目标自动驾驶策略信息，其中，所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

根据本公开的另一方面，提供了一种自动驾驶模型的训练方法，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络基础模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息，所述训练方法包括：获取样本输入信息和所述样本输入信息相对应的真实自动驾驶策略信息，所述样本输入信息包括样本车辆的样本导航信息和针对所述样本车辆周围环境的样本感知信息，所述样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；将所述样本输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的样本隐式表示；将包括所述样本隐式表示的中间样本输入信息输入所述决策控制层，以获取所述决策控制层所输出的预测自动驾驶策略信息，其中所述中间样本输入信息包括与所述样本车辆外部的人员的样本交互信息；以及至少基于所述预测自动驾驶策略信息和真实自动驾驶策略信息，调整所述多模态编码层和决策控制层的参数。

根据本公开的另一方面，提供了一种基于自动驾驶模型的自动驾驶装置，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息。所述装置包括：输入信息获取单元，被配置为获取所述多模态编码层的第一输入信息，所述第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在所述车辆行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息；多模态编码单元，被配置为将所述第一输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的与所述第一输入信息相对应的隐式表示；以及决策控制单元，被配置为将包括所述隐式表示的第二输入信息输入所述决策控制层，以获取所述决策控制层所输出的目标自动驾驶策略信息，其中所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

根据本公开的另一方面，提供了一种自动驾驶模型的训练装置，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息，所述装置用于对所述多模态编码层和决策控制层进行训练。该装置包括：样本信息获取单元，被配置为获取样本输入信息和所述样本输入信息相对应的真实自动驾驶策略信息，所述样本输入信息包括样本车辆的样本导航信息和针对所述样本车辆周围环境的样本感知信息，所述样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；多模态编码层训练单元，被配置为将所述样本输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的样本隐式表示；决策控制层训练单元，被配置为将包括所述样本隐式表示的中间样本输入信息输入所述决策控制层，以获取所述决策控制层所输出的预测自动驾驶策略信息，其中所述中间样本输入信息包括与所述样本车辆外部的人员的样本交互信息；以及参数调整单元，被配置为至少基于所述预测自动驾驶策略信息和真实自动驾驶策略信息，调整所述多模态编码层和决策控制层的参数。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括：根据本公开实施例的自动驾驶装置、自动驾驶模型的训练装置、以及电子设备中的一者。

根据本公开的实施例，自动驾驶模型可以基于周围环境以及交互信息的内容确定自动驾驶策略信息，从而使得车辆的驾驶行为能够适应车辆外部的人员的要求。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；

图2示出了根据本公开的实施例的自动驾驶模型的示意图；

图3示出了根据本公开的实施例的利用自动驾驶模型实现的自动驾驶方法的流程图；

图4示出了根据本公开的实施例的自动驾驶模型的训练方法的流程图；

图5示出了根据本公开的实施例的基于自动驾驶模型的自动驾驶装置的结构框图；

图6示出了根据本公开的实施例的自动驾驶模型的训练装置的结构框图；以及

图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

在相关技术中，自动驾驶技术中以优化和规则为主的算法通常依赖高精地图和针对不同场景的算法优化。高精地图也称高精度地图，主要包括两类信息：一是道路信息，包括高速公路等车道的位置、类别、宽度、坡度和曲率等信息；二是与车道相关的附属设施及构造物等信息，包括交通标志、交通信号灯、过街天桥、交通监视点(电子眼、测速雷达)、路侧设施、障碍物等道路细节和基础设施信息，包括车道限制场景(如车道上某一时段限行)和车道限制信息(如车辆类型、天气状况、通行时间)等。通过这些数据，自动驾驶车辆的导航系统可以完成准确定位，判断哪些道路可以行驶，为车辆提供指引。

在相关技术中，无人驾驶技术主要依赖于感知模块和规划控制模块的协同作用。自动驾驶的工作过程包括两个阶段：第一，将摄像头或雷达等传感器获得的非结构化信息转换为结构化信息(结构化的信息包括障碍物信息、其他车辆信息、行人和非机动车信息、车道线信息、红绿灯信息、其他静态路面信息等)。这些信息可以和高精地图结合匹配，从而精准获得高精地图上的位置信息。第二，基于结构化信息以及相关观测历史进行预测和决策。其中，预测包括预测未来一段时间内周边结构化环境的变化情况；决策包括生成一些可用于后续轨迹规划使用的结构化信息(例如变道加塞、等待)。第三，基于结构化的决策信息和周边结构化环境的变化，对目标车辆的未来一段时间的轨迹进行规划，例如规划轨迹或控制信息(例如规划速度和位置)。

经过研究发现，基于感知-预测-规划的自动驾驶技术可能面临一些技术问题。首先是误差累积的问题，因为感知不能直接对决策负责，这使得感知不一定能捕捉对于决策起到关键作用的信息，此外，因为感知的错误难以在后续流程中进行弥补(例如，区域内的障碍物可能没有被识别出来)，后续的流程可能难以在丢失关键障碍物的情况下做出正确决策。其次是不能解决预测和规划之间的耦合问题，周围障碍物、尤其是与目标车辆互动的关键障碍物的行为可能会受到目标车辆的影响。换言之，在自动驾驶模型的运行过程中，预测和规划这两个模块之间存在耦合，使得流式决策对最终自动驾驶效果产生影响。此外，还存在结构化信息的表示缺陷的问题，结构化信息完全受限于人工预定义好的标准，一旦遇到未明确定义的新的范式(例如出现未知障碍物、车辆行人未知的状态等等)，算法很容易失败。最后是对高成本地图(例如高精度地图)的依赖问题，相关技术主要依赖于高精地图点云等信息来进行车辆定位，然而在实践中，高精地图仅在有限的区域可获得，这限制了自动驾驶的实际应用区域；此外，高精地图的更新成本巨大，一旦地图和实际道路发生不匹配，容易造成决策失败。

基于此，本公开提供了一种自动驾驶模型、利用自动驾驶模型实现的自动驾驶方法、自动驾驶模型的训练方法、基于自动驾驶模型的自动驾驶装置、一种自动驾驶模型的训练装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆，采用感知-决策一体化的自动驾驶技术，使得感知直接对决策负责，有利于感知捕捉对决策起到关键作用的信息，减少误差累积，解决相关技术中预测和决策之间的耦合问题。另外感知直接对决策负责还能够克服结构化的信息受限于人工预定义好的标准而导致算法容易失败的问题，实现重感知轻地图的自动驾驶技术，进而能够克服高精地图更新不及时和区域受限而导致决策失败的问题，由于摆脱了对高精地图的依赖，能够节省高精地图的更新成本。

下面将结合附图详细描述本公开的实施例。

图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括机动车辆110、服务器120以及将机动车辆110耦接到服务器120的一个或多个通信网络130。

在本公开的实施例中，机动车辆110可以包括根据本公开实施例的计算设备和/或被配置以用于执行根据本公开实施例的方法。

服务器120可以运行使得能够实现自动驾驶的一个或多个服务或软件应用。在某些实施例中，服务器120还可以提供其他服务或软件应用，这些服务或软件应用可以包括非虚拟环境和虚拟环境。在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。机动车辆110的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。

服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。

服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。

在一些实施方式中，服务器120可以包括一个或多个应用程序，以分析和合并从机动车辆110接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序，以经由机动车辆110的一个或多个显示设备来显示数据馈送和/或实时事件。

网络130可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例，一个或多个网络130可以是卫星通信网络、局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、区块链网络、公共交换电话网(PSTN)、红外网络、无线网络(包括例如蓝牙、WiFi)和/或这些与其他网络的任意组合。

系统100还可以包括一个或多个数据库150。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库150中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据存储库150可以驻留在各种位置。例如，由服务器120使用的数据存储库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据存储库150可以是不同的类型。在某些实施例中，由服务器120使用的数据存储库可以是数据库，例如关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。

在某些实施例中，数据库150中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。

机动车辆110可以包括传感器111用于感知周围环境。传感器111可以包括下列传感器中的一个或多个：视觉摄像头、红外摄像头、超声波传感器、毫米波雷达以及激光雷达(LiDAR)。不同的传感器可以提供不同的检测精度和范围。摄像头可以安装在车辆的前方、后方或其他位置。视觉摄像头可以实时捕获车辆内外的情况并呈现给驾驶员和/或乘客。此外，通过对视觉摄像头捕获的画面进行分析，可以获取诸如交通信号灯指示、交叉路口情况、其他车辆运行状态等信息。红外摄像头可以在夜视情况下捕捉物体。超声波传感器可以安装在车辆的四周，用于利用超声波方向性强等特点来测量车外物体距车辆的距离。毫米波雷达可以安装在车辆的前方、后方或其他位置，用于利用电磁波的特性测量车外物体距车辆的距离。激光雷达可以安装在车辆的前方、后方或其他位置，用于检测物体边缘、形状信息，从而进行物体识别和追踪。由于多普勒效应，雷达装置还可以测量车辆与移动物体的速度变化。

机动车辆110还可以包括通信装置112。通信装置112可以包括能够从卫星141接收卫星定位信号(例如，北斗、GPS、GLONASS以及GALILEO)并且基于这些信号产生坐标的卫星定位模块。通信装置112还可以包括与移动通信基站142进行通信的模块，移动通信网络可以实施任何适合的通信技术，例如GSM/GPRS、CDMA、LTE等当前或正在不断发展的无线通信技术(例如5G技术)。通信装置112还可以具有车联网或车联万物(Vehicle-to-Everything，V2X)模块，被配置用于实现例如与其它车辆143进行车对车(Vehicle-to-Vehicle，V2V)通信和与基础设施144进行车辆到基础设施(Vehicle-to-Infrastructure，V2I)通信的车与外界的通信。此外，通信装置112还可以具有被配置为例如通过使用IEEE802.11标准的无线局域网或蓝牙与用户终端145(包括但不限于智能手机、平板电脑或诸如手表等可佩戴装置)进行通信的模块。利用通信装置112，机动车辆110还可以经由网络130接入服务器120。

机动车辆110还可以包括控制装置113。控制装置113可以包括与各种类型的计算机可读存储装置或介质通信的处理器，例如中央处理单元(CPU)或图形处理单元(GPU)，或者其他的专用处理器等。控制装置113可以包括用于自动控制车辆中的各种致动器的自动驾驶系统。自动驾驶系统被配置为经由多个致动器响应来自多个传感器111或者其他输入设备的输入而控制机动车辆110(未示出的)动力总成、转向系统以及制动系统等以分别控制加速、转向和制动，而无需人为干预或者有限的人为干预。控制装置113的部分处理功能可以通过云计算实现。例如，可以使用车载处理器执行某一些处理，而同时可以利用云端的计算资源执行其他一些处理。控制装置113可以被配置以执行根据本公开的方法。此外，控制装置113可以被实现为根据本公开的机动车辆侧(客户端)的计算设备的一个示例。

图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。

根据本公开的一方面，提供了一种自动驾驶模型。图2示出了根据本公开的实施例的自动驾驶模型200的示意图。

如图2所示，自动驾驶模型200包括多模态编码层210和决策控制层220，多模态编码层210和决策控制层220连接组成端到端的神经网络模型，以使得决策控制层220基于多模态编码层210的输出获取自动驾驶策略信息。多模态编码层210的第一输入信息包括目标车辆的导航信息In1和利用传感器所获得的目标车辆周围环境的感知信息(例如可以但不限于包括In2、In3和In4，下面内容中以感知信息包括In2、In3和In4为例来描述)，感知信息包括在目标车辆的行驶过程中针对目标车辆周围环境的当前感知信息和历史感知信息。多模态编码层210被配置用于获取与第一输入信息In1至In4相对应的隐式表示e_t。决策控制层220的第二输入信息包括所述隐式表示e_t，决策控制层220被配置用于基于第二输入信息获取目标自动驾驶策略信息。

如上所述，相关技术中可以先基于感知信息进行预测以获得未来预测信息，决策控制层再基于未来预测信息进行规划，也就是说，决策控制层220不直接基于感知信息进行规划，而是直接基于未来预测信息进行规划。而本申请实施例中决策控制层220可以直接基于多模态编码层210的输出获取自动驾驶策略信息，多模态编码层210用于对感知信息进行编码计算，相当于决策控制层220可以直接基于感知信息进行规划，获取自动驾驶策略信息。换言之，本申请实施例中感知直接对决策负责。

在示例中，自动驾驶模型200可以采用具有编码器(Encoder)和解码器(Decoder)的Transformer网络结构。可以理解的是，自动驾驶模型200还可以是其他的基于Transformer网络结构的神经网络模型，在此不作限定。Transformer架构可以通过自注意力机制来计算模型输入与输出的隐含表示。换言之，Transformer架构可以是基于这种自注意力机制而构建的Encoder-Decoder模型。

在示例中，第一输入信息中的目标车辆的导航信息In1可以包括矢量化的导航信息和矢量化的地图信息，矢量化的导航信息和矢量化的地图信息可以是对车道级、或道路级导航信息以及粗定位信息中的一者或多者进行矢量化运算所获得的。

根据本申请的一些实施例中，目标车辆周围环境的感知信息In2、In3和In4可以包括一个或多个摄像机的感知信息In2、一个或多个激光雷达的感知信息In3、以及一个或多个毫米波雷达的感知信息In4。可以理解的是，目标车辆周围环境的感知信息并不局限于上述一种形式，例如可以仅包括多个摄像机的感知信息In2，而不包括一个或多个激光雷达的感知信息In3以及一个或多个毫米波雷达的感知信息In4。通过摄像机获取到的感知信息In2可以是图片或视频形式的感知信息，通过激光雷达所获取到的感知信息In3可以是雷达点云(例如三维点云)形式的感知信息。在示例中，上述不同形式的信息(图片、视频、点云)等可以直接输入到多模态编码层210而无需进行预处理。此外，感知信息包括在车辆的行驶过程中针对目标车辆周围环境的当前感知信息x_t和多个历史时刻对应的历史感知信息x_t-Δt，这里，t与Δt之间可以具有预设时长的时间跨度。

在示例中，多模态编码层210可以对第一输入信息进行编码计算，生成相对应的隐式表示e_t。隐式表示e_t例如可以是鸟瞰图(BEV)空间中的隐式表示。例如，可以先将摄像机的感知信息In2输入到共享的骨干网络(Backbone)，提取每个摄像机的数据特征。然后，对多个的摄像机的感知信息In2进行融合，并转换到BEV空间。接着，可以在BEV空间内进行跨模态融合，将像素级的视觉数据和激光雷达点云进行融合。最后进行时序融合，形成BEV空间的隐式表示e_t。

在一个示例中，可以利用融合时空信息的Transformer Encoder结构，实现多摄像头的输入信息到BEV空间的隐式表示e_t的投影。例如，可以通过预先设置参数的网格划分的BEV查询机制(BEV queries)来利用时空信息。利用空间交叉注意力机制(即BEV查询机制从多相机特征中通过注意力机制提取所需的空间特征)，让BEV查询机制能从其感兴趣的多相机视角中提取特征，从而聚合空间信息；此外，通过时序自注意力机制(即每一时刻生成的BEV特征都从上一时刻的BEV特征获取所需的时序信息)来融合历史信息，从而聚合时序信息。

相应地，决策控制层220基于输入的隐式表示e_t，获取目标自动驾驶策略信息。目标自动驾驶策略信息例如可以包括规划轨迹Out1或针对车辆的控制信号Out2(例如控制油门、刹车、转向幅度等的信号)。在示例中，可以利用自动驾驶车辆中的控制策略模块对轨迹规划Out1进行解释，以获取针对车辆的控制信号Out2；或者可以利用神经网络基于隐式表示e_t直接输出针对车辆的控制信号Out2。

在示例中，决策控制层220可以包括Transformer中的解码器。

在图2中，多模态编码层210至决策控制层220、决策控制层220至轨迹规划Out1之间的实线箭头表示可微分的运算，换言之，在进行模型训练时，梯度可以通过上述实线箭头进行反向回传。

可见，在根据本公开实施例的自动驾驶模型200中，多模态编码层210和决策控制层220连接组成端到端的神经网络模型，因此感知信息能够直接对决策负责，可以解决预测与规划之间的耦合问题。此外，隐式表示的引入可以克服结构化信息的表示缺陷而导致算法容易失败的问题。另外，由于感知直接对决策负责，使得感知能够捕捉对于决策较为关键的信息，减少感知错误导致的误差累积。再者，由于感知直接对决策负责，实现了重感知轻地图的自动驾驶技术，进而能够克服高精地图更新不及时和区域受限而导致决策失败的问题，由于摆脱了对高精地图的依赖，能够节省高精地图的更新成本。

根据一些实施例，继续参考图2，自动驾驶模型200还可以包括未来预测层230，未来预测层230被配置用于基于输入的隐式表示e_t预测针对目标车辆周围环境的未来预测信息Out3，并且决策控制层220的第二输入信息还可以包括未来预测信息Out3的至少一部分。例如，未来预测信息Out3可以包括基于隐式表示e_t所预测的在未来时刻的障碍物位置或未来时刻的传感器输入信息。未来预测信息Out3中的至少一部分可以作为辅助信息A输入到决策控制层220中，决策控制层220可以基于隐式表示e_t和辅助信息A来预测目标自动驾驶策略信息。

在示例中，未来预测层230可以是Transformer中的解码器。

在示例中，未来预测信息Out3可以输出结构化的预测信息，相应地，未来预测信息Out3至辅助信息A、辅助信息A至决策控制层220之间的虚线箭头表示不可微分的运算，换言之，在进行模型训练时，梯度不可以通过上述虚线箭头进行反向回传。然而，由于多模态编码层210至未来预测层230、未来预测层230至未来预测信息Out3之间是可微分的运算，因此仍可以通过实线箭头所指示的方向进行梯度的反向回传，换言之，也可以对未来预测层230进行单独的训练。

由此，通过在自动驾驶模型200中引入未来预测层230，未来预测层230所预测的至少一部分信息作为辅助信息输入到决策控制层220中以辅助决策，可以提升决策的准确性和安全性。此外，在进行模型训练时，可以在决策控制层220的基础上，进一步通过未来预测层230对多模态编码层210进行训练，从而使得多模态编码层210的编码更加准确，从而使得决策控制层220可以预测得到更加优化的目标自动驾驶策略信息。

根据一些实施例，未来预测信息Out3可以包括以下各项中的至少一者：针对目标车辆周围环境的未来预测感知信息(例如未来某个时刻的传感器信息未来某个时刻的传感器信息包括未来某个时刻的摄像机输入信息或雷达输入信息)、与未来预测感知信息相对应的未来预测隐式表示/>(例如未来某个时刻的传感器信息相对应的在BEV空间的隐式表示)、以及针对目标车辆周围环境的未来预测检测信息(例如未来某个时刻的障碍物位置/>)。而且未来预测检测信息可以包括目标车辆周围环境中的多个障碍物的类型及其未来预测状态信息(包括障碍物的大小和各种长尾信息)。

根据一些实施例，继续参考图2，自动驾驶模型200还可以包括感知检测层240，感知检测层240可以被配置用于基于输入的隐式表示e_t获取针对目标车辆周围环境的目标检测信息Out4，目标检测信息Out4包括当前检测信息和历史检测信息，当前检测信息包括目标车辆周围环境中的多个路面元素和障碍物的类型及其当前状态信息，历史检测信息包括目标车辆周围环境中的多个障碍物的类型及其历史状态信息。并且决策控制层220的第二输入信息还可以包括目标检测信息Out4的至少一部分。

路面元素可以为静止对象，而障碍物可以为运动对象，所以可以不检测路面元素的历史状态信息。

在示例中，目标检测信息Out4可以是针对障碍物的三维空间中的包围框，并且可以指示包围框中相应的障碍物的分类、状态等。例如可以指示包围框中障碍物的大小、位置、以及车辆类型、车辆当前状态(例如是否打开了转向灯、远光灯等长尾信息)、车道线的位置和长度等。将理解的是，针对包围框中相应的障碍物的分类可以是预先定义的多个类别中的一个或多个类别。

此外，目标检测信息Out4(当前检测信息和历史检测信息)可以是结构化信息。相应地，目标检测信息Out4至辅助信息A、辅助信息A至决策控制层220之间的虚线箭头表示不可微分的运算，换言之，在进行模型训练时，梯度不可以通过上述虚线箭头进行反向回传。然而，由于多模态编码层210至感知检测层240、感知检测层240至目标检测信息Out4之间是可微分的运算，因此仍可以通过实线箭头所指示的方向进行梯度的反向回传，换言之，也可以对感知检测层240进行单独的训练。

在示例中，感知检测层240可以包括Transformer中的解码器。

由此，通过在自动驾驶模型200中引入感知检测层240，感知检测层240所预测的至少一部分信息作为辅助信息输入到决策控制层220中以辅助决策，可以使得针对车辆周围环境的当前和历史一段时间的检测信息能够用于辅助决策，从而提升决策的准确性和安全性。此外，在进行模型训练时，可以在决策控制层220的基础上，进一步通过感知检测层240对多模态编码层210进行训练，从而使得多模态编码层210的编码更加准确，从而使得决策控制层220可以预测得到更加优化的目标自动驾驶策略信息。

根据一些实施例，继续参考图2，自动驾驶模型200还可以包括评价反馈层250，评价反馈层250可以被配置用于基于输入的隐式表示e_t获取针对目标自动驾驶策略信息的评价反馈信息Out5。

在示例中，评价反馈层250可以是Transformer中的解码器。

由此，通过在自动驾驶模型200中引入评价反馈层250，可以指示当前驾驶行为来源于人类司机还是模型、当前驾驶是否舒适、当前驾驶是否违反交通规则、以及当前驾驶是否属于危险驾驶等，从而提升用户体验。

将理解的是，多模态编码层210至评价反馈层250、评价反馈层250至评价反馈信息Out5之间的实线箭头表示可微分的运算，换言之，在进行模型训练时，梯度可以通过上述实线箭头进行反向回传。由此，在进行模型训练时，可以在决策控制层220的基础上，进一步通过评价反馈层250对多模态编码层210进行训练，从而使得多模态编码层210的编码更加准确，从而使得决策控制层220可以预测得到更加优化的目标自动驾驶策略信息。

根据一些实施例，如图2中包括未来预测信息Out3和目标检测信息Out4在内的辅助信息A指向评价反馈层250的虚线箭头所示，当自动驾驶模型200包括未来预测层230和感知检测层240时，评价反馈层250可以被配置用于基于输入的未来预测信息Out3和目标检测信息Out4中一者或两者的至少一部分、以及隐式表示e_t获取针对目标自动驾驶策略信息的评价反馈信息Out5。由此，使得针对车辆周围环境的当前和历史一段时间的检测信息和未来预测信息能够用于辅助评价，提升评价的准确性。

根据一些实施例，评价反馈层250可以被配置用于基于输入的隐式表示e_t和目标自动驾驶策略信息(例如规划轨迹Out1)获取针对目标自动驾驶策略信息的评价反馈信息。由此，基于自动驾驶策略信息来辅助进行评价反馈，可以进一步提升评价的准确性。

根据本申请的另一些实施例，评价反馈层250可以被配置用于输入的未来预测信息Out3和目标检测信息Out4中一者或两者的至少一部分、目标自动驾驶策略信息以及隐式表示e_t获取针对目标自动驾驶策略信息的评价反馈信息Out5，从而能够进一步提升评价的准确性。

根据一些实施例，进一步参考图2，自动驾驶模型200还可以包括解释层260，解释层260可以被配置用于基于输入的隐式表示e_t获取针对目标自动驾驶策略信息的解释信息Out6，解释信息Out6能够表征目标自动驾驶策略信息的决策分类。由此，在自动驾驶过程中，可以向乘客提供与目标自动驾驶策略信息相关的解释信息，提升了自动驾驶策略的可解释性，从而提升了用户体验。

在示例中，解释层260可以针对目标自动驾驶策略信息进行分类，每个分类可以映射到一个预设的自然语言语句。例如，解释信息Out6可以包括：当前需要变道、前方有红绿灯因此需要减速行驶、周围车辆可能需要加塞等自然语言语句。此外，解释层260可以包括Transformer中的解码器从而解码得到自然语言以用于驾驶策略的解释。

根据一些实施例，当自动驾驶模型200包括未来预测层230和感知检测层240时，解释层260可以被配置用于基于输入的未来预测信息和目标检测信息中一者或两者的至少一部分、以及隐式表示e_t获取针对目标自动驾驶策略信息的解释信息Out6。由此，可以使得针对车辆周围环境的当前和历史一段时间的目标检测信息和未来预测信息能够用于辅助解释，从而进一步提升解释的准确性和合理性。

根据一些实施例，继续参考图2，解释层260可以被配置用于基于输入的隐式表示e_t和目标自动驾驶策略信息(例如规划轨迹Out1)获取针对目标自动驾驶策略信息的解释信息。由此，将自动驾驶策略信息用于辅助解释，可以进一步提升解释的准确性。

根据本申请的另一些实施例，解释层260可以被配置用于输入的未来预测信息Out3和目标检测信息Out4中一者或两者的至少一部分、目标自动驾驶策略信息以及隐式表示e_t获取针对目标自动驾驶策略信息的解释信息Out6，从而能够进一步提升解释的准确性。

根据一些实施例，传感器可以包括摄像机，感知信息可以包括摄像机采集的二维图像。并且，多模态编码层210可以被进一步配置用于：基于包括二维图像、以及摄像机的内参和外参的第一输入信息，获取与第一输入信息相对应的隐式表示e_t。

在示例中，摄像机的内参(即，与摄像机自身特性相关的参数，例如摄像机的焦距、像素大小等)和外参(即，在世界坐标系中的参数，例如摄像机的位置、旋转方向等)可以作为自动驾驶模型200的超参数而被输入到模态编码层210中。摄像机的内参和外参可以用于进行输入的二维图像到例如BEV空间的转换。

此外，感知信息可以是多个摄像机分别采集的二维图像的序列。

根据一些实施例，第一输入信息还可以包括车道级地图，并且导航信息可以包括道路级导航信息和/或车道级导航信息。与高精地图不同，车道级地图具有更好的易获得性和更小的空间占用。由此，通过使用车道级地图和车道级导航信息，能够克服对高精地图的依赖。

导航地图可以包括道路级地图(SD Map)、车道级地图(LD Map)、高精地图(HDMap)。道路级地图主要由粒度的道路拓扑信息构成，导航定位精确度较低(例如精度大约为15米左右)，主要用于帮助司机进行导航，不能满足自动驾驶的需求。而车道级地图和高精地图可以用于自动驾驶。车道级地图加入了车道级的拓扑信息，相较于道路级地图具有更高的精度，精度一般在亚米级，并且可以包括道路信息(例如车道线)和与车道相关的附属设施信息(例如交通信号灯、路牌、停车位等)，可以用于辅助自动驾驶。与车道级地图相比，高精地图具有更高的地图数据精度(精度达到了厘米级)、更丰富地图数据类型、更高的地图更新频率，可以用于自动驾驶。这三种导航地图中高精地图的信息最丰富、精度最高，使用和更新成本也更高。由于本申请实施例的方案中感知直接对决策负责，能够实现重感知轻地图的自动驾驶技术，因此可以摆脱对高精地图的依赖，并保证高效的决策。进一步地，使用车道级地图作为辅助信息来进行决策能够提升决策效果。

根据一些实施例，感知信息可以包括以下各项中的至少一者：摄像机采集的图像、激光雷达采集的信息和毫米波雷达采集的信息。将理解的是，通过摄像机获取到的图像可以是图片或视频形式，通过激光雷达所获取到的信息可以是雷达点云(例如三维点云)。

根据一些实施例，多模态编码层210被配置用于将第一输入信息映射至预设空间以获得中间表示，并且利用时序注意力机制和/或空间注意力机制对中间表示进行处理，以获得与第一输入信息相对应的隐式表示e_t。

在示例中，预设空间可以是BEV空间。因为感知、预测、决策和规划等过程均是在三维空间内进行的，而摄像机所捕获的图像信息只是真实物理世界在透视视图下的投影，从图像得到的信息需要经过复杂的处理才能使用，因此会存在一定的信息损失，而将视觉信息映射至BEV空间能够较为方便地连接感知与规划控制。

在示例中，可以先将第一输入信息(例如第一输入信息中的图像信息)输入到骨干网络(例如ResNet、EfficientNet等骨干网络)，提取多层图像特征作为中间表示。此外，激光雷达和毫米波雷达的数据可以直接转换到BEV空间。随后，可以利用空间自注意力机制从图像特征中提取所需的空间特征，从而聚合空间信息；此外，可以利用时序自注意力机制来融合历史信息，从而聚合时序信息。

由此，通过时序和空间融合使得隐式表示e_t能够表征丰富的时序和空间信息，从而进一步提升决策的准确性和安全性。

根据一些实施例，目标自动驾驶策略信息可以包括目标规划轨迹Out1。

在自动驾驶车辆的驾驶过程中，除了针对道路上障碍物和路面元素的状态或移动轨迹进行感知以外，自动驾驶车辆还可以和车外环境进行交互，并基于来自车辆外部的人员的交互信息来确定自动驾驶策略信息。在一些实施例中，决策控制层220的第二输入信息包括与目标车辆外部的人员的交互信息。这里所说的目标车辆外部的人员可以是对目标车辆的驾驶行为产生影响的人员，如交通管制人员(如交警)、在目标车辆周围的行人、目标车辆周围的其他机动车或非机动车的驾驶员等等。上述人员能够与目标车辆进行语言和/或手势的交互，并且目标车辆可以根据与上述人员的交互信息进行驾驶策略的决策。

在一些示例中，与目标车辆外部的人员的交互信息可以包括动作交互信息和语言交互信息中的至少一项。其中，动作交互信息可以包括交通管制人员的指挥手势，如停止、继续行驶、直行、左转、右转等。动作交互信息也可以包括行人的示意手势，如举手表示需要车辆让行，摇手表示不需要车辆让行，等等。语言交互信息可以包括车辆外部的人员的语言，例如交通管制人员、行人或其他驾驶员可以通过喊话的方式来对车辆的驾驶行为进行干预。当车辆外部的人员发出此类交互信息时，自动驾驶模型可以基于周围环境以及交互信息的内容确定自动驾驶策略信息，从而使得车辆的驾驶行为能够适应车辆外部的人员的要求。其中，动作交互信息可以由摄像头采集，语言交互信息可以由麦克风采集。

在一些实现方式中，车辆外部的人员的交互信息中的至少一部分可以被包括在输入多模态编码层210的感知信息中。例如，动作交互信息可以由摄像头采集并被包括在摄像头采集的周围环境的感知信息中。利用本公开提供的自动驾驶模型，无需从所获得的图像中单独识别动作交互信息并对所识别的动作交互信息进行响应，而是由多模态编码层210对包括交互信息在内的感知信息进行处理来得到感知信息的隐式表示。其中，第二输入信息中的交互信息的内容可以被包括在隐式表示中。

在另一些实现方式中，第一输入信息可以包括周围环境的感知信息和与目标车辆外部的人员的交互信息两者。可以将与目标车辆外部的人员的交互信息与传感器采集到的目标车辆周围环境的感知信息一起输入多模态编码层。

在一些示例中，交互信息可以被包括在多模态编码层输出的隐式表示中。例如，在交互信息是由摄像头采集的动作交互信息的情况下，多模态编码层可以将动作交互信息的图像映射为例如BEV空间的隐式表示。在另一些示例中，交互信息可以被编码为与隐式表示不同的其他形式。在这种情况下，第二输入信息可以包括隐式表示和交互信息(或编码后的交互信息)两者。例如，在交互信息时语言交互信息的情况下，可以利用多模态编码层可以将语言交互信息映射为对应的符号串(token)。可以将token的向量形式{c₁……c_N}与隐式表示一起输入决策控制层。在这种情况下，决策控制层可以被实现为编解码一体的transformer网络结构，其中编码和解码都使用单向的自注意力机制。利用上述方法，决策控制层可以同时考虑与感知信息有关的输入信息(如感知信息对应的隐式表示)以及来自车辆外部的人员的语言交互信息两者来获取目标自动驾驶策略信息。

在另一些实现方式中，车辆外部的人员的交互信息也可以不包括在第一输入信息中。可以利用任何其他能够处理交互信息的模型对交互信息进行处理，以得到编码后的能够由决策控制层处理的交互信息。并将编码后的交互信息、多模态编码层输出的隐式表示以及任何其他辅助信息一起作为第二输入信息输入决策控制层。在又一些实现方式中，当决策控制层被配置为能够直接处理交互信息时，也可以将交互信息与隐式表示一起作为第二输入信息输入决策控制层。

在第二输入信息包括隐式表示和交互信息两者的情况下，第二输入信息还可以包括交互信息的时间标识、交互信息的类型标识、隐式表示的时间标识和隐式表示的类型标识。通过将交互信息的类型标识和隐式表示的类型标识赋以不同的值来使得模型能够分辨所输入的信息中哪一部分属于不包括在感知信息中的交互信息，哪一部分属于感知信息。

在一些实施例中，决策控制层220还可以被配置用于基于第二输入信息生成目标交互信息。在利用决策控制层220进行输出时，可以将所生成的上一个向量作为输入来产生下一个向量。例如，当决策控制层220输出目标自动驾驶策略信息后，可以将目标自动驾驶策略信息作为输入来产生后续输出。利用这种方法，可以基于所生成的自动驾驶策略信息来生成交互内容，使得自动驾驶模型与用户之间的交互与当前驾驶行为是相关的。

在一些实现方式中，目标交互信息可以包括交互反馈标识，当交互反馈标识为真时，目标交互信息还包括交互内容。在一些示例中，交互内容可以包括自然语言信息。利用上述方法，本公开的实施例提供的自动驾驶模型能够识别需要输出交互内容的时机，并适应性地在需要的时候输出目标交互信息。由此，可以利用单个模型同时实现自动驾驶策略的决策以及和用户的交互，并且自动驾驶模型与用户的历史交互内容将会帮助自动驾驶模型实现自动驾驶策略的决策。

根据本公开的另一方面，提供了一种利用自动驾驶模型实现的自动驾驶方法。图3示出了根据本公开的实施例的利用自动驾驶模型实现的自动驾驶方法300的流程图。所利用的自动驾驶模型包括多模态编码层和决策控制层，多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息。例如，可以利用如上文描述的自动驾驶模型200实现方法300。

如图3所示，自动驾驶方法300包括：

步骤S310、获取多模态编码层的第一输入信息，第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，感知信息包括在车辆行驶过程中针对目标车辆周围环境的当前感知信息和历史感知信息；

步骤S320、将第一输入信息输入多模态编码层，以获取多模态编码层所输出的与第一输入信息相对应的隐式表示；以及

步骤S330、将包括隐式表示的第二输入信息输入决策控制层，以获取决策控制层所输出的目标自动驾驶策略信息，其中，第二输入信息包括与目标车辆外部的人员的交互信息。

利用本公开提供的方法，自动驾驶模型可以基于周围环境以及交互信息的内容确定自动驾驶策略信息，从而使得车辆的驾驶行为能够适应车辆外部的人员的要求。

在一些实施例中，来自目标车辆外部的交互信息可以包括动作交互信息和语言交互信息中的至少一项。

在示例中，车辆外部的人员的交互信息中的至少一部分可以被包括在输入多模态编码层的感知信息中。相应地，第二输入信息中的交互信息的内容可以被包括在隐式表示中。在示例中，车辆外部的人员的交互信息中的至少一部分可以与隐式表示一起被包括在用于确定目标自动驾驶策略信息的第二输入信息中。

在第二输入信息包括隐式表示和交互信息两者的情况下，第二输入信息还可以包括交互信息的时间标识、交互信息的类型标识、隐式表示的时间标识和隐式表示的类型标识。

在一些实施例中，决策控制层还可以被配置用于基于第二输入信息生成目标交互信息。在利用决策控制层进行输出时，可以将所生成的上一个向量作为输入来产生下一个向量。例如，当决策控制层输出目标自动驾驶策略信息后，可以将目标自动驾驶策略信息作为输入来产生后续输出。

在一些实现方式中，目标交互信息可以包括交互反馈标识，当交互反馈标识为真时，目标交互信息还包括交互内容。在一些示例中，交互内容可以包括自然语言信息。

根据本公开的另一方面，提供了一种自动驾驶模型的训练方法。图4示出了根据本公开的实施例的自动驾驶模型的训练方法的流程图。自动驾驶模型包括多模态编码层和决策控制层，多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得决策控制层基于多模态编码层的输出获取自动驾驶策略信息。在示例中，待训练的自动驾驶模型可以采用具有编码器和解码器的Transformer网络结构。可以理解的是，待训练的自动驾驶模型还可以是其他的基于Transformer网络结构的神经网络模型，在此不作限定。例如，自动驾驶模型可以是上文描述的自动驾驶模型200。

如图4所示，训练方法400包括：

步骤S410、获取样本输入信息和样本输入信息相对应的真实自动驾驶策略信息，样本输入信息包括样本车辆的样本导航信息和针对样本车辆周围环境的样本感知信息，样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；

步骤S420、将样本输入信息输入多模态编码层，以获取多模态编码层所输出的样本隐式表示；

步骤S430、将包括样本隐式表示的中间样本输入信息输入决策控制层，以获取决策控制层所输出的预测自动驾驶策略信息，其中中间样本输入信息包括与样本车辆外部的人员的样本交互信息；以及

步骤S440、至少基于预测自动驾驶策略信息和真实自动驾驶策略信息，调整多模态编码层和决策控制层的参数。

由于待训练的模型的多模态编码层和决策控制层连接组成端到端的神经网络模型，因此样本信息中的感知信息能够直接对决策负责，可以解决训练得到的自动驾驶模型的预测与规划之间的耦合问题。此外，隐式表示的引入可以克服结构化信息的表示缺陷而导致算法容易失败的问题。另外，由于样本信息中的感知信息能够直接对决策负责，使得感知能够捕捉对于决策较为关键的信息，减少训练得到的模型中感知错误导致的误差累积。通过在训练过程中引入样本车辆外部的样本交互信息，自动驾驶模型可以基于周围环境以及交互信息的内容确定自动驾驶策略信息，从而使得车辆的驾驶行为能够适应车辆外部的人员的要求。

在示例中，样本输入信息可以是在实车行驶过程中采集的，例如是由人工驾驶的带有自动驾驶传感器的车辆在真实道路场景中收集的，并且真实自动驾驶策略信息可以是该车辆在真实道路场景的行驶过程中的行车轨迹数据(包括行驶过程中所记录的针对车辆的控制信号)。此外，在示例中，样本输入信息可以包括实车在真实道路场景行驶过程中采集的样本数据和仿真车在仿真道路场景行驶过程中得到的样本数据。在一些实现方式中，样本输入信息还可以包括样本交互信息的时间标识、样本交互信息的类型标识、样本隐式表示的时间标识和样本隐式表示的类型标识。

其中样本交互信息可以包括目标车辆外部的人员的动作交互信息和语言交互信息中的至少一项。其中，动作交互信息可以包括外部人员的指挥手势，如停止、继续行驶、直行、左转、右转等。动作交互信息也可以包括外部人员的示意手势，如举手表示需要车辆让行，摇手表示不需要车辆让行，等等。语言交互信息可以包括外部人员的语言，例如可以通过喊话的方式来对车辆的驾驶行为进行指挥。

在一些实施例中，可以基于下式(1)中的目标函数来调整多模态编码层和决策控制层的参数：

其中，D表示用于确定两个变量之间的差异的函数，如均方误差函数、交叉熵函数、KL散度函数等。y_t表示t时刻自动驾驶模型输出的预测自动驾驶策略信息、表示t时刻的真实驾驶策略信息。

在基于监督学习的方式对自动驾驶模型进行训练之后，可以将自动驾驶模型部署在实车上，并在实车驾驶的过程中利用强化学习的方式调整多模态编码层和决策控制层的参数。例如，可以基于预测自动驾驶策略信息(y₁,…,y_t)、真实自动驾驶策略信息以及样本评价反馈信息(r₁,…,r_t)进行强化学习。其中样本评价反馈信息是利用人工评价或评价模型对当前驾驶策略信息的评价结果。

在示例中，可以采用PPO算法或SAC算法进行该强化学习。

在示例中，可以采用如下等式(2)中的目标函数来调整多模态编码层和决策控制层的参数：

其中，A_t可以指示时间t的优势函数(Advantage Function)，并且A_t可以基于样本评价反馈信息(r₁,…,r_t)得到。α可以是用于调整损失值大小的超参数。

在一些实施例中，决策控制层可以被配置成基于样本输入信息生成预测自动驾驶策略信息，并基于预测自动驾驶策略信息生成预测交互信息。

在一些实施例中，真实自动驾驶策略信息可以包括真实人工驾驶策略信息，真实交互信息可以包括真实人工交互信息。可以通过收集人驾车的真实数据来得到上述真实人工驾驶策略信息(例如人工驾驶的车辆轨迹、控制数据)以及司机与外部人员的真实人工交互信息。其中，真实人工交互信息可以包括真实交互反馈标识和真实自然语言内容。在司机的对话发生时刻，交互反馈标识的值被确定为真(如为1)，其余时刻交互反馈标识的值被确定为假(如为0)。

步骤S440可以包括：利用监督学习的方式，基于预测自动驾驶策略信息和真实人工驾驶策略信息之间的第一差异以及预测交互信息和真实人工交互信息之间的第二差异调整自动驾驶模型的参数。

可以基于等式(3)确定用于监督学习的目标函数：

其中，L2为监督学习的目标函数。D表示用于确定两个变量之间的差异的函数，如均方误差函数、交叉熵函数、KL散度函数等。y_t表示t时刻自动驾驶模型输出的预测自动驾驶策略信息、表示t时刻的真实人工驾驶策略信息、g_t表示t时刻自动驾驶模型输出的交互反馈标识、/>表示t时刻真实数据中的交互反馈标识的值、r_t表示t时刻自动驾驶模型输出的预测交互信息中的预测自然语言内容，/>表示t时刻真实人工交互信息中的真实自然语言内容。

在一些实施例中，真实自动驾驶策略信息可以包括真实模型驾驶策略信息，真实交互信息可以包括真实模型交互信息。

在实车上进行强化学习训练时，可能需要自动驾驶模型预测一些错误或失败的结果，甚至可能需要目标车辆与周围障碍物发生碰撞来基于错误或碰撞经验进行学习。然而，基于成本和安全的考虑，在实车训练时无法让自动驾驶车辆发生真实的碰撞。

根据一些实施例，样本输入信息可以包括干预标识，干预标识能够表征真实自动驾驶策略信息是否为存在人为干预的自动驾驶策略信息。

步骤S440可以包括：基于样本评价反馈信息(r₁,…,r_t)、干预标识(i₁,…,i_T)、预测自动驾驶策略信息(y₁,…,y_t)和真实自动驾驶策略信息调整多模态编码层和决策控制层的参数。

在实车训练过程中，安全员可以在危急时刻随时介入，夺取自动驾驶车辆的控制权。在危机过去之后，再将控制权交还给自动驾驶车辆。干预标识用于表征第一真实自动驾驶策略信息是否为存在人为干预的自动驾驶策略信息。换言之，通过引入干预标识，可以避免实车训练时可能出现的碰撞所带来的不可接收的模型训练成本。强化学习能够逐渐学会避免干预出现的不利情况。通过这种机制，一方面可以提升强化学习的效率，另一方面也可以减少劣势经验对学习过程的影响，从而进一步提升训练得到的模型的鲁棒性。

在示例中，可以利用反馈强化学习以及人在回路学习的方式调整多模态编码层和决策控制层的参数。例如，可以基于包括样本评价反馈信息(r₁,…,r_t)、干预标识(i₁,…,i_t)、预测自动驾驶策略信息(y₁,…,y_t)、真实自动驾驶策略信息以及第一样本输入信息(x₁,…,x_t)在内的五元组数据进行学习。

其中，当干预标识(i₁,…,i_T)为真值时，表示自动驾驶车辆由人工操控而不再受到自动驾驶模型发出的控制信号的操控；当干预标识(i₁,…,i_T)为非真值时，表示自动驾驶车辆由自动驾驶模型发出的控制信号的操控而非受人工/>操控。

在示例中，可以采用如下等式(4)中的目标函数来调整多模态编码层和评价反馈层的参数：

其中，λ₁和λ₂可以分别是指示相应分量加权的超参数。其中，干预标识(i₁,…,i_T)的为真值1，非真值为0。

在自动驾驶模型还能够输出预测交互信息的情况下，模型上车测试阶段收集的数据可以包括由模型输出的真实模型驾驶策略信息和真实模型交互信息。可以获取针对真实模型驾驶策略信息的第一评价反馈信息和针对真实模型交互信息的第二评价反馈信息。可以利用人工评价的方式或利用训练好的评价模型来获取第一评价反馈信息和第二评价反馈信息。

步骤S440可以包括：利用强化学习的方试，基于第一评价反馈信息、第二评价反馈信息、预测自动驾驶策略信息和真实模型驾驶策略信息之间的第三差异以及预测交互信息和真实模型交互信息之间的第四差异调整自动驾驶模型的参数。

可以基于等式(5)确定用于监督学习的目标函数：

其中，L2为强化学习的目标函数。D表示用于确定两个变量之间的差异的函数，如均方误差函数、交叉熵函数、KL散度函数等。y_t表示t时刻自动驾驶模型输出的预测自动驾驶策略信息，表示t时刻的真实模型驾驶策略信息、r_t表示t时刻自动驾驶模型输出的预测交互信息中的预测自然语言内容，/>表示t时刻真实模型交互信息中的真实自然语言内容。/>表示t时刻基于第一评价反馈信息计算的优势函数、/>表示t时刻基于第二评价反馈信息计算的优势函数。

图5示出了根据本公开的实施例的基于自动驾驶模型的自动驾驶装置500的结构框图。如图5所示，装置500包括：

输入信息获取单元510，被配置为获取多模态编码层的第一输入信息，第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，感知信息包括在车辆行驶过程中针对目标车辆周围环境的当前感知信息和历史感知信息；

多模态编码单元520，被配置为将第一输入信息输入多模态编码层，以获取多模态编码层所输出的与第一输入信息相对应的隐式表示；以及

决策控制单元530，被配置为将包括隐式表示的第二输入信息输入决策控制层，以获取决策控制层所输出的目标自动驾驶策略信息，其中所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

图6示出了根据本公开的实施例的自动驾驶模型的训练装置600的结构框图。如图6所示，装置600包括：

样本信息获取单元610，被配置为获取样本输入信息和所述样本输入信息相对应的真实自动驾驶策略信息，所述样本输入信息包括样本车辆的样本导航信息和针对所述样本车辆周围环境的样本感知信息，所述样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；

多模态编码层训练单元620，被配置为将所述样本输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的样本隐式表示；

决策控制层训练单元630，被配置为将包括所述样本隐式表示的中间样本输入信息输入所述决策控制层，以获取所述决策控制层所输出的预测自动驾驶策略信息，其中所述中间样本输入信息包括与所述样本车辆外部的人员的样本交互信息；以及

参数调整单元640，被配置为至少基于所述预测自动驾驶策略信息和真实自动驾驶策略信息，调整所述多模态编码层和决策控制层的参数。

应当理解，图5中所示装置500的各个模块或单元可以与参考图3描述的方法300中的各个步骤相对应。由此，上面针对方法300描述的操作、特征和优点同样适用于装置500及其包括的模块以及单元；并且图6中所示装置600的各个模块或单元可以与参考图4描述的方法400中的各个步骤相对应。由此，上面针对方法400描述的操作、特征和优点同样适用于装置600及其包括的模块以及单元。为了简洁起见，某些操作、特征和优点在此不再赘述。

虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个单元的功能可以分为多个单元，和/或多个单元的至少一些功能可以组合成单个单元。

还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图5和图6描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些单元可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些单元可以被实现为硬件逻辑/电路。例如，在一些实施例中，单元510至530、以及单元610至640中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。

根据本公开的另一方面，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开实施例的自动驾驶方法或自动驾驶模型的训练方法。

根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使所述计算机执行根据本公开实施例的自动驾驶方法或自动驾驶模型的训练方法。

根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现根据本公开实施例的自动驾驶方法或自动驾驶模型的训练方法。

根据本公开的另一方面，还提供了一种自动驾驶车辆，包括根据本公开实施例的自动驾驶装置500、自动驾驶模型的训练装置600、以及上述的电子设备中的一者。

参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口1705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法(或过程)300至400。例如，在一些实施例中，方法(或过程)300至400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的方法(或过程)300至400的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法(或过程)300至400。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (23)

1.一种自动驾驶模型，包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得所述决策控制层基于所述多模态编码层的输出获取自动驾驶策略信息，

其中，所述多模态编码层的第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在目标车辆的行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息，所述多模态编码层被配置用于获取与所述第一输入信息相对应的隐式表示，

所述决策控制层的第二输入信息包括所述隐式表示，所述决策控制层被配置用于基于所述第二输入信息获取目标自动驾驶策略信息，其中，所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

2.如权利要求1所述的自动驾驶模型，其中所述来自所述目标车辆外部的交互信息包括动作交互信息和语言交互信息中的至少一项。

3.如权利要求2所述的自动驾驶模型，其中，所述第二输入信息中的交互信息被包括在所述隐式表示里。

4.如权利要求2所述的自动驾驶模型，所述第二输入信息还包括所述交互信息的时间标识、所述交互信息的类型标识、所述隐式表示的时间标识和所述隐式表示的类型标识。

5.如权利要求1所述的自动驾驶模型，其中所述决策控制层还被配置用于基于所述第二输入信息生成目标交互信息。

6.如权利要求5所述的自动驾驶模型，其中所述目标交互信息包括交互反馈标识，当所述交互反馈标识为真时，所述目标交互信息还包括交互内容。

7.一种利用自动驾驶模型实现的自动驾驶方法，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得所述决策控制层基于所述多模态编码层的输出获取自动驾驶策略信息，所述方法包括：

获取所述多模态编码层的第一输入信息，所述第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在所述车辆行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息；

将所述第一输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的与所述第一输入信息相对应的隐式表示；以及

将包括所述隐式表示的第二输入信息输入所述决策控制层，以获取所述决策控制层所输出的目标自动驾驶策略信息，其中，所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

8.如权利要求7所述的自动驾驶方法，其中所述来自所述目标车辆外部的交互信息包括动作交互信息和语言交互信息中的至少一项。

9.如权利要求8所述的自动驾驶方法，其中，所述第二输入信息中的动作交互信息被包括在所述隐式表示里。

10.如权利要求8所述的自动驾驶方法，所述第二输入信息还包括所述语言交互信息的时间标识、所述语言交互信息的类型标识、所述隐式表示的时间标识和所述隐式表示的类型标识。

11.如权利要求7所述的自动驾驶方法，其中所述决策控制层还被配置用于基于所述第二输入信息生成目标交互信息。

12.如权利要求11所述的自动驾驶方法，其中所述目标交互信息包括交互反馈标识，当所述交互反馈标识为真时，所述目标交互信息还包括交互内容。

13.一种自动驾驶模型的训练方法，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络基础模型，以使得所述决策控制层基于所述多模态编码层的输出获取自动驾驶策略信息，所述训练方法包括：

获取样本输入信息和所述样本输入信息相对应的真实自动驾驶策略信息，所述样本输入信息包括样本车辆的样本导航信息和针对所述样本车辆周围环境的样本感知信息，所述样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；

将所述样本输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的样本隐式表示；

将包括所述样本隐式表示的中间样本输入信息输入所述决策控制层，以获取所述决策控制层所输出的预测自动驾驶策略信息，其中所述中间样本输入信息包括与所述样本车辆外部的人员的样本交互信息；以及

至少基于所述预测自动驾驶策略信息和真实自动驾驶策略信息，调整所述多模态编码层和决策控制层的参数。

14.如权利要求13所述的方法，其中所述样本输入信息还包括所述样本交互信息的时间标识、所述样本交互信息的类型标识、所述样本隐式表示的时间标识和所述样本隐式表示的类型标识。

15.如权利要求13所述的方法，其中，所述决策控制层被配置成基于所述样本输入信息生成预测自动驾驶策略信息，并基于所述预测自动驾驶策略信息生成所述预测交互信息。

16.如权利要求13所述的方法，其中，所述真实自动驾驶策略信息包括真实人工驾驶策略信息，真实交互信息包括真实人工交互信息，

基于所述预测自动驾驶策略信息和所述真实自动驾驶策略信息之间的第一差异以及所述预测交互信息和所述真实交互信息之间的第二差异调整所述自动驾驶模型的参数包括：

利用监督学习的方式，基于所述预测自动驾驶策略信息和所述真实人工驾驶策略信息之间的第一差异以及所述预测交互信息和所述真实人工交互信息之间的第二差异调整所述自动驾驶模型的参数。

17.如权利要求13-16中任一项所述的方法，其中所述真实自动驾驶策略信息包括真实模型驾驶策略信息，所述真实交互信息包括真实模型交互信息，所述方法还包括：

获取针对所述真实模型驾驶策略信息的第一评价反馈信息和针对所述真实模型交互信息的第二评价反馈信息；

利用强化学习的方式，基于所述第一评价反馈信息、所述第二评价反馈信息、所述预测自动驾驶策略信息和所述真实模型驾驶策略信息之间的第三差异以及所述预测交互信息和所述真实模型交互信息之间的第四差异调整所述自动驾驶模型的参数。

18.一种基于自动驾驶模型的自动驾驶装置，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得所述决策控制层基于所述多模态编码层的输出获取自动驾驶策略信息，所述装置包括：

输入信息获取单元，被配置为获取所述多模态编码层的第一输入信息，所述第一输入信息包括目标车辆的导航信息和利用传感器所获得的目标车辆周围环境的感知信息，所述感知信息包括在所述车辆行驶过程中针对所述目标车辆周围环境的当前感知信息和历史感知信息；

多模态编码单元，被配置为将所述第一输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的与所述第一输入信息相对应的隐式表示；以及

决策控制单元，被配置为将包括所述隐式表示的第二输入信息输入所述决策控制层，以获取所述决策控制层所输出的目标自动驾驶策略信息，其中所述第二输入信息包括与所述目标车辆外部的人员的交互信息。

19.一种自动驾驶模型的训练装置，所述自动驾驶模型包括多模态编码层和决策控制层，所述多模态编码层和决策控制层连接组成端到端的神经网络模型，以使得所述决策控制层基于所述多模态编码层的输出获取自动驾驶策略信息，所述装置用于对所述多模态编码层和决策控制层进行训练，并且包括：

样本信息获取单元，被配置为获取样本输入信息和所述样本输入信息相对应的真实自动驾驶策略信息，所述样本输入信息包括样本车辆的样本导航信息和针对所述样本车辆周围环境的样本感知信息，所述样本感知信息包括针对样本车辆周围环境的当前样本感知信息和历史样本感知信息；

多模态编码层训练单元，被配置为将所述样本输入信息输入所述多模态编码层，以获取所述多模态编码层所输出的样本隐式表示；

决策控制层训练单元，被配置为将包括所述样本隐式表示的中间样本输入信息输入所述决策控制层，以获取所述决策控制层所输出的预测自动驾驶策略信息，其中所述中间样本输入信息包括与所述样本车辆外部的人员的样本交互信息；以及

参数调整单元，被配置为至少基于所述预测自动驾驶策略信息和真实自动驾驶策略信息，调整所述多模态编码层和决策控制层的参数。

20.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7-17中任一项所述的方法。

21.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求7-17中任一项所述的方法。

22.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求7-17中任一项所述的方法。

23.一种自动驾驶车辆，包括：

根据权利要求18所述的自动驾驶装置、根据权利要求19所述的自动驾驶模型的训练装置、以及根据权利要求20所述的电子设备中的一者。