CN116909202B - 车云协同自动驾驶车辆控制方法、装置、设备及介质 - Google Patents

Abstract

本申请属于自动驾驶技术领域，尤其涉及车云协同自动驾驶车辆控制方法、装置、设备及介质，方法包括：获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；本申请通过具有更高的算力储备的云端设备获得第一控制信息更为快速地计算得到更为准确的结果，并进一步引入了基于获取频率和/或获取延迟的第一控制信息的参考权重，在参考权重的基础上将第一控制信息与第二控制信息结合，生成用于控制所述车辆的第三控制信息，从而提高车辆的自动驾驶水平和驾驶安全性。

Description

车云协同自动驾驶车辆控制方法、装置、设备及介质

技术领域

本申请属于自动驾驶技术领域，尤其涉及车云协同自动驾驶车辆控制方法、装置、设备及介质。

背景技术

随着自动驾驶技术的不断发展，更高级别（例如L4或L5）自动驾驶功能的实现对车辆设备的算力提出了较高的挑战，这些挑战包括：

传感器数据处理：自动驾驶系统需要实时处理来自多个传感器（如激光雷达、摄像头、毫米波雷达等）的大量数据。这些数据需要进行感知、目标检测、跟踪和环境建模等复杂算法处理，以实现车辆的感知和决策。由于数据量庞大且需要实时响应，对计算资源提出了很高的要求。

环境感知和决策：自动驾驶车辆需要实时感知和理解复杂的道路环境，包括车辆、行人、交通标志和信号等。同时，它们还需要进行决策，例如路径规划、障碍物避让和交通流调节等。这些高级感知和决策算法需要强大的计算能力来处理复杂的情况和大规模的数据。

为了克服上述算力不足的问题，现有技术提供了一些基于硬件改进（例如采用性能更强的图形处理器，即GPU，或者使用专用的AI加速器，如TPU，这些硬件能够提供更高的并行计算能力，加速传感器数据处理和高级算法运算）和/或算法改进（优化模型以提高计算效率、减少运算参数）的解决方案，然而这些方案仍然受到能源消耗和散热的限制，即：

高性能计算设备通常会消耗大量电能并产生大量热量。在自动驾驶车辆中，计算设备需要在车辆的有限空间内工作，并且需要适应车辆电源和散热系统的限制。

因此，现有技术的改进方案仍然存在着理论上的算力瓶颈，如何提供一种具有更高性能的自动驾驶车辆控制方法成为了业内亟需解决的技术问题。

发明内容

本申请实施例提供了自动驾驶车辆控制方法、装置、设备及介质，可以解决现有自动驾驶架构性能瓶颈的问题。

第一方面，本申请实施例提供了一种车云协同自动驾驶车辆控制方法，包括：

获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

上述方法通过云端设备获得第一控制信息，不同于车辆本地设备，云端设备不受能源消耗、散热、安装空间等限制，具有更高的算力储备，因此其计算得到的第一控制信息对于自动驾驶而言具有更好的适应性，对于相同的算法而言，云端设备能够更为快速地计算得到更为准确的结果；

进一步地，考虑到第一控制信息的获取有赖于车云间的通信，相比于车辆本地设备的计算过程，具有额外的通信耗时，虽然通过具有更高算力的云端设备能够更为快速地得出计算结果，从而在通信条件较好的情况下，第一控制信息的获取延迟可能低于第二控制信息的计算延迟，达到较好的自动驾驶控制效果，但车辆行驶过程中，通信条件存在波动，可能存在第一控制信息获取延迟较高的情况，而自动驾驶控制对于实时性的要求使得这种较高延迟的第一控制信息无法很好地完成车辆的控制，故上述方法还引入了基于获取频率和/或获取延迟的第一控制信息的参考权重，在参考权重的基础上将第一控制信息与第二控制信息结合，生成用于控制所述车辆的第三控制信息，从而提高车辆的自动驾驶水平和驾驶安全性。

在第一方面的一种可能的实现方式中，所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；

所述根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息的步骤包括：

基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

根据所述结果队列，生成所述第三控制信息。

上述方法引入了第一控制信息和第二控制信息的置信度参数，考虑到云端设备和本地设备计算得到的第一控制信息和第二控制信息均可能有多个的情况，置信度参数的引入能够为2个及以上（即第一控制信息和第二控制信息的集合至少存在两个车辆控制序列）的车辆控制序列进行排序（当然，对于第一控制信息而言，还需考虑其参考权重），并在结果队列的基础上融合和/或筛选得到第三控制信息，从而得到更优的自动驾驶控制策略。

在第一方面的一种可能的实现方式中，所述第一控制信息是基于所述车载传感器信息运行部署在所述云端设备上的第一模型得到的带有置信度的车辆控制序列；所述第二控制信息是基于所述车载传感器信息运行部署在所述本地设备上的第二模型得到的带有置信度的车辆控制序列；

所述第一模型和所述第二模型均为通过样本训练得到的机器学习模型，且所述第一模型的参数量大于所述第二模型，且所述第一模型输出的置信度和所述第二模型输出的置信度具有相同的数据口径。

上述方法通过机器学习模型实现自动驾驶策略的获取，使得置信度参数的输出能够更为快速准确，同时，通过控制第一模型和第二模型的训练过程，能够使得两者输出的参数（车辆控制序列和置信度）具有相同的数据口径，能够在同一尺度量纲下进行比较、融合，进一步加快了第三控制信息的生成速度，减少了自动驾驶的控制延迟。

在第一方面的一种可能的实现方式中，所述云端设备和/或所述本地设备上还部署有前融合模型，所述前融合模型是经过样本训练得到的机器学习模型，且所述前融合模型用于以所述传感器信息为输入，得到融合信息，所述融合信息用于作为输入参数运行所述第一模型和/或所述第二模型。

上述方法通过引入前融合模型，将车载传感器信息中包括的多种传感器数据，例如激光雷达、毫米波雷达、视觉传感器等，进行融合/提取特征，从而加快模型的推理速度，更为及时地得到第一控制信息和第二控制信息。

在第一方面的一种可能的实现方式中，所述获取第一控制信息的步骤前，还包括：

经由异步通信信道发送所述车载传感器信息至所述云端设备。

上述方法采用异步通信架构，将车辆和云端之间的通信分离，以实现高效的数据传输和实时响应。通过异步通信，车辆可以随时向云端发送数据请求，而云端也可以及时响应车辆请求，从而保证了自动驾驶控制的高效性和实时性。

在第一方面的一种可能的实现方式中，所述获取第一控制信息的步骤前，还包括：

获取车载传感器信息，所述车载传感器信息包括本车速度，且所述车载传感器信息还包括激光雷达信号、视觉信号以及毫米波雷达信号中的至少一个；

所述参考权重与所述本车速度负相关。

上述方法考虑车速对于自动驾驶控制实时性要求的影响，使得具有更高速度的车辆具有更低的控制延迟容忍度，即更高速度的车辆中，同样延迟的第一控制信息的参考权重更小；具有更低速度的车辆具有更高的控制延迟容忍度，即更低速度的车辆中，同样延迟的第一控制信息的参考权重更大，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

在第一方面的一种可能的实现方式中，所述参考权重是根据所述车辆所在的道路类型、所述本车速度以及所述第一控制信息的参考信息确定的。

上述方法进一步考虑道路类型对于自动驾驶控制实时性要求的影响，封闭道路、高速、城市道路、乡村道路等不同类型的道路中，同样延迟的第一控制信息的参考权重不同，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

第二方面，本申请实施例提供了一种车云协同自动驾驶车辆控制装置，包括：

获取模块，用于获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

生成模块，用于根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的车云协同自动驾驶车辆控制方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的车云协同自动驾驶车辆控制方法的流程示意图；

图2是本申请实施例提供的车云协同自动驾驶车辆控制装置的结构示意图；

图3是本申请实施例提供的终端设备的结构示意图；

图4是本申请实施例提供的车云异步协同架构的设计示意图。

附图标记：

终端设备30；

处理器301；

存储器302；

计算机程序303。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供一种车云协同自动驾驶车辆控制方法，如图1所示，包括：

步骤102，获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

步骤104，根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

本实施例的可选执行主体为指定车辆上的自动驾驶处理器，这一示例中，步骤102中的车辆为该指定车辆，车载传感器信息对应的传感器部署在该指定车辆上，第三控制信息用于控制该指定车辆，车辆本地设备是指部署于该车辆的本地设备，这一本地设备既可以集成在所述自动驾驶处理器中，也可是单独部署计算设备，如GPU、TPU。

本实施例中，车云协同是指利用互联网和云计算技术，将车辆和云端进行连接和协同，实现基础设施提供计算服务，以便辅助计算、控车的效果，从而提升行车安全、交通效率和用户体验的技术。

具体地，第一控制信息是云端设备输出的车辆控制序列，也就是说，部署于指定车辆上的传感器采集传感器信号（即车载传感器信息）后，经过预处理或不经预处理地发送至云端，云端设备基于该车载传感器信息进行计算，得到自动驾驶的控制策略，该策略可以是特定时刻油门（电门）/刹车开度、方向盘旋转角度、车辆灯光控制拨杆位置等，形成的按时间排序的序列，形成上述的车辆控制序列，也可以是在上一序列（例如，第三控制信息）的基础上进行修改得到的车辆控制序列。

值得说明的是，本实施例提供的步骤102、步骤104可以理解为自动驾驶控制中，单帧的控制策略获取方法，其中，帧是指：

自动驾驶感知硬件会按照特定频率来采集信号，采集到的信号以帧为单位进行传输，每一帧信号包括物理世界在单位时间切片内的所有信息。

对应地，每一帧信号可以对应输出一个第三控制信息，第三控制信息中的车辆控制序列可以是该帧时刻后的指定数量和间隔的时间点的控制操作。

此外，相邻帧之间可以具有交互，即第i+1帧的第一控制信息和/或第二控制信息的计算基础包括车载传感器信息和第i帧的第三控制信息。

本实施例中，参考权重的定义基础为第一控制信息的获取频率和/或获取延迟。

其中，获取频率可以理解为自动驾驶处理器发送车辆传感器信息至云端后，返回信息的频率，这一频率与自动驾驶处理器发送车辆传感器信息至云端的频率相关，还与指定车辆与云端之间的通信延迟相关，值得说明的是，自动驾驶处理器发送车辆传感器信息至云端的频率在一些可选的实施方式中是可调变量。

在一个可选的实施方式中，获取延迟可以理解为指定车辆与云端间的通信时间，即自动驾驶处理器发送车辆传感器信息至云端所需的时间与云端将第一控制信息发送至指定车辆所需的时间之和；

在另一个可选的实施方式中，获取延迟可以理解为：

将指定车辆与云端间的通信时间，即自动驾驶处理器发送车辆传感器信息至云端所需的时间与云端将第一控制信息发送至指定车辆所需的时间之和，记为第一时间；

将云端设备根据车辆传感器信息计算得到第一控制信息所需的时间与本地设备根据车辆传感器信息计算得到第二控制信息所需的时间之差即为第二时间；

则第一时间与第二时间之和即为本实施方式中获取延迟的定义，这一定义考虑了本地设备根据车辆传感器信息计算得到第二控制信息所需的时间这一不可忽略的计算用时，并在此基础上评判云端信息的获取延迟，能够更好地考虑云端设备计算可能更快的优势。

本实施例的有益效果在于：

通过云端设备获得第一控制信息，不同于车辆本地设备，云端设备不受能源消耗、散热、安装空间等限制，具有更高的算力储备，因此其计算得到的第一控制信息对于自动驾驶而言具有更好的适应性，对于相同的算法而言，云端设备能够更为快速地计算得到更为准确的结果；

进一步地，考虑到第一控制信息的获取有赖于车云间的通信，相比于车辆本地设备的计算过程，具有额外的通信耗时，虽然通过具有更高算力的云端设备能够更为快速地得出计算结果，从而在通信条件较好的情况下，第一控制信息的获取延迟可能低于第二控制信息的计算延迟，达到较好的自动驾驶控制效果，但车辆行驶过程中，通信条件存在波动，可能存在第一控制信息获取延迟较高的情况，而自动驾驶控制对于实时性的要求使得这种较高延迟的第一控制信息无法很好地完成车辆的控制，故上述方法还引入了基于获取频率和/或获取延迟的第一控制信息的参考权重，在参考权重的基础上将第一控制信息与第二控制信息结合，生成用于控制所述车辆的第三控制信息，从而提高车辆的自动驾驶水平和驾驶安全性。

根据上述实施例，在又一实施例中：

所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；

所述根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息的步骤包括：

基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

根据所述结果队列，生成所述第三控制信息。

对于云端设备和本地设备而言，虽然第一控制信息/第二控制信息的输入参数仅有一个（即车辆传感器信息），但其输出的车辆控制序列可能不止一个，即面临相同的情况（指定车辆速度、所处车道，障碍物所处车道、速度，交通标识、指示灯等），可选的驾驶策略不止一种，这种情况下，多个可选驾驶策略间如何确定优先级，以更好地生成第三控制信息成为了需要解决的问题。

进一步地，对于云端设备和本地设备计算得到的车辆控制序列而言，其可靠性也不尽相同，仍然存在着较小概率的输出错误控制（例如，可能造成交通事故的控制，或者，可能导致违反交通规则的控制）的可能。

因此，本实施例通过引入置信度参数，实现针对多个控制策略的排序，值得说明的是，即使云端设备和本地设备均只输出了一个控制策略结果，那么一个第一控制信息和一个第二控制信息这两者之间，仍然存在着可靠性上的差别，此外，由于自动驾驶实时性的要求，第一控制信息的延迟因素也应当在排序中予以考虑，故本实施例采用了参考权重和置信度这两个参数作为排序基础，获得结果队列。

值得说明的是，由于参考权重的概念是针对第一控制信息而言的，故第二控制信息的排序位置需要额外的规则予以确定，在一个可选的实施方式中，对应于第一控制信息通过获取延迟确定参考权重，可以将第二控制信息的“获取延迟”设定为零，并在此基础上计算第二控制信息的参考权重；在另一个可选的实施方式中，可以定义一个“排序参数”并将第二控制信息的排序参数定义为与第二控制信息的置信度和预设常数正相关的量，将第一控制信息的排序参数定义为与第一控制信息的置信度和参考权重正相关的量，并依照排序参数的大小对第一控制信息和第二控制信息进行排序，这一实施方式中，预设常数可以是考虑参考权重范围的经验参数。

本实施例中，对于结果队列中的数个控制策略而言，第三控制信息的生成具有多种可选的执行方式，例如，选取排序第一的控制策略作为第三控制信息，又如，取排序在前N（N为预设整数）位的控制策略进行融合，再如，取参考权重大于预设值的控制策略进行融合，这些示例中的方式可以进行组合使用。

作为示例而非限定，本实施例中的置信度定义可以为依照第一控制信息或者第二控制信息控制指定车辆安全行驶（不发生事故、不违反交规等）的概率，还可以为依照第一控制信息或者第二控制信息控制指定车辆完成目标动作（例如超车、下匝道等）的概率，也可以为依照第一控制信息或者第二控制信息控制指定车辆实现紧急避险操作成功的概率，或者这些示例的组合。

本实施例的有益效果在于：

引入了第一控制信息和第二控制信息的置信度参数，考虑到云端设备和本地设备计算得到的第一控制信息和第二控制信息均可能有多个的情况，置信度参数的引入能够为2个及以上（即第一控制信息和第二控制信息的集合至少存在两个车辆控制序列）的车辆控制序列进行排序（当然，对于第一控制信息而言，还需考虑其参考权重），并在结果队列的基础上融合和/或筛选得到第三控制信息，从而得到更优的自动驾驶控制策略。

根据上述任一实施例，在又一实施例中：

所述第一控制信息是基于所述车载传感器信息运行部署在所述云端设备上的第一模型得到的带有置信度的车辆控制序列；所述第二控制信息是基于所述车载传感器信息运行部署在所述本地设备上的第二模型得到的带有置信度的车辆控制序列；

所述第一模型和所述第二模型均为通过样本训练得到的机器学习模型，且所述第一模型的参数量大于所述第二模型，且所述第一模型输出的置信度和所述第二模型输出的置信度具有相同的数据口径。

本实施例提供了一种基于机器学习模型的自动驾驶控制方法，在上述实施例提供的车云协同以解决算力问题的架构的基础上，部署在云端设备上的机器学习模型可以相当重型（当然，模型重型并不意味着决策精准，但具有更多参数量的重型模型的精准决策上限通常高于具有更少参数量的轻型模型），并在此基础上具有较快的计算速度，从而更准确、更快速地响应车端发送的传感器数据，生成车辆控制序列。

对应地，部署于本地设备的第二模型受限于车辆设备算力、能源、散热等原因，将相对轻型，其存在的目的之一在于为通信状况较差的情况提供自动驾驶控制策略输出的托底，极端情况下，云端与车端间的通信断开，则车辆仅能够依靠第二模型输出的车辆控制序列进行自动驾驶控制。

因此可以理解，在一个可选的实施方式中，第二模型的构建和训练过程将更多的考虑在已有算力的基础上进行效率优化，第一模型的构建和训练过程将更多的考虑推理速度、准确率以及召回率的优化，而一定程度上忽略算力的限制。

在上述方案的基础上，本实施例的一个优选实施方式中，考虑到第一模型和第二模型的输出结构需要协同融合后实现对指定车辆的控制，因此第一模型和第二模型的架构和训练过程中，需要考虑二者的联动，即，第一模型和第二模型输出的车辆控制序列和置信度具有相同的数据口径。

其中，数据口径相同是指第一模型输出的车辆控制序列和第二模型输出的车辆控制序列中，具体参数的量纲相同，

例如，车辆控制序列中可能包含多个时刻&操作对，则不论是第一模型还是第二模型，其输出的车辆控制序列中的时刻均是同一时区下的24小时制，其输出的相同类型的操作，例如油门（电门）开度，应当具有相同的量纲，例如同为开度百分比，或者同为油门（电门）响应角度。

又如，不论是第一模型还是第二模型，其输出的置信度参数均指依照第一控制信息或者第二控制信息控制指定车辆安全行驶（不发生事故、不违反交规等）的概率，或者依照第一控制信息或者第二控制信息控制指定车辆完成目标动作（例如超车、下匝道等）的概率。

则，本优选实施方式中，第一模型和第二模型输出的数据可以直接交互而无需进行额外的转换，从而提升了决策效率。

为了实现上述功能，一个可选的方式是将第一模型和第二模型构建为架构相同或相似的模型，例如同时为生成式对抗模型，并在训练过程中通过样本和标签的设置使得模型输出的数据口径一致，随后通过诸如剪枝、增加分支、知识蒸馏等方式针对第一模型和第二模型进行参数量上的调整以分别体现各自的决策优势；另一个可选的方式是选用不同结构的模型，以分别体现云端设备和本地设备的决策优势，通过训练过程中样本、标签、批次的设置，使得不同结构的模型能够输出口径一致的数据。

本实施例的有益效果在于：

通过机器学习模型实现自动驾驶策略的获取，使得置信度参数的输出能够更为快速准确，同时，通过控制第一模型和第二模型的训练过程，能够使得两者输出的参数（车辆控制序列和置信度）具有相同的数据口径，能够在同一尺度量纲下进行比较、融合，进一步加快了第三控制信息的生成速度，减少了自动驾驶的控制延迟。

根据上述任一实施例，在又一实施例中：

所述云端设备和/或所述本地设备上还部署有前融合模型，所述前融合模型是经过样本训练得到的机器学习模型，且所述前融合模型用于以所述传感器信息为输入，得到融合信息，所述融合信息用于作为输入参数运行所述第一模型和/或所述第二模型。

本实施例中，前融合模型属于感知融合算法的一部分，感知融合算法具体分为前融合与后融合两种，前融合是指输入多个信源给感知融合模型，如图像（视觉传感器）、点云（激光雷达、毫米波雷达）等，输出文本信息（例如，特征矩阵），后融合是指每个信源用一个感知模型处理，之后融合多个感知模型的结果，再统一输出（例如，基于第一模型和第二模型的结果进行融合后输出）。

此外，感知融合算法中的感知部分可以对应一类机器学习算法，将摄像头、激光雷达、毫米波雷达等硬件捕捉的图像、点云信号转为结构化文本信息，模拟人的五种感觉器官，例如：

输入图像，输出图像中车辆的长宽高及位置的文本信息。

在本实施例提供的感知融合算法的基础上，前融合模型输出的结果可以进一步通过认知算法、预测算法、决策规划算法、控制算法等实现第一控制信息和/或第二控制信息的生成，也就是说，认知算法、预测算法、决策规划算法、控制算法中的任一者或任多者组合构成第一模型或者第二模型的至少一部分。

下面将提供一些关于认知算法、预测算法、决策规划算法、控制算法的说明。

认知算法：主要指一类算法，输入感知融合后的文本信息，能输出自动驾驶车辆（自车）未来一段时间内的行驶轨迹，以及障碍物的行驶轨迹和车辆控制信号，主要模拟人脑中的认知决策部分，包括预测算法、决策规划算法及控制算法。

预测算法：主要指一类算法，输入感知融合后的文本信息，输出障碍物未来一段时间的运行轨迹。

决策规划算法：主要指一类算法，输入感知融合后的文本信息，输出自车未来一段时间的运行轨迹。

控制算法：主要指一类算法，输入自车未来一段时间内的行驶轨迹，输出具体的横纵向车辆控制参数，如：油门（电门）开度、方向盘转角等。

轨迹：用于描述车辆行驶路径的一串连续的轨迹点，每个轨迹点由车辆坐标、方向盘转角、速度、加速度等文本信息构成。

本实施例的有益效果在于：

通过引入前融合模型，将车载传感器信息中包括的多种传感器数据，例如激光雷达、毫米波雷达、视觉传感器等，进行融合/提取特征，从而加快模型的推理速度，更为及时地得到第一控制信息和第二控制信息。

根据上述任一实施例，在又一实施例中：

所述获取第一控制信息的步骤前，还包括：

经由异步通信信道发送所述车载传感器信息至所述云端设备。

本实施例中，异步通信指的是在通信过程中，发送方和接收方不需要同步地进行操作，而是在不同的时间段内进行交互。在异步通信中，发送方发送完消息后不必等待接收方响应，而是可以继续执行其他任务，接收方在接收到消息后进行响应并继续自己的工作。

也就是说，对应自动驾驶处理器而言，将车载传感器信息发送至云端后，仍然可以通过车辆到车辆通信（也叫V2V，指车辆之间通过无线通信技术相互交换信息，例如车辆位置、速度、方向等，以实现协同和协调）将车载传感器信息传输至本地设备，以完成第二控制信息的计算，第一控制信息和第二控制信息的计算在忽略通信时间差异后同步进行。

故本实施例能够解决自动驾驶算法系统通常部署在车端嵌入式平台上，无法利用云端服务器集群的大算力进行计算的问题。

本实施例提供的车、云协同的异步通信架构，使得自动驾驶车辆可以异步请求云端高性能计算服务，实时计算推理以便更好地做出控车决策，由于该方法使用异步通信方式，在网络延迟较大或请求失败时，也可以继续使用车端算法结果控车，使得车、云两套系统在性能与效果上互补结合，有云端结果时则使用云端结果控车，没有时则使用车端本地算法控车，从而达到高性能集群与低算力平台相结合的控车效果。

本实施例的有益效果在于：

采用异步通信架构，将车辆和云端之间的通信分离，以实现高效的数据传输和实时响应。通过异步通信，车辆可以随时向云端发送数据请求，而云端也可以及时响应车辆请求，从而保证了自动驾驶控制的高效性和实时性。

根据上述任一实施例，在又一实施例中：

所述获取第一控制信息的步骤前，还包括：

获取车载传感器信息，所述车载传感器信息包括本车速度，且所述车载传感器信息还包括激光雷达信号、视觉信号以及毫米波雷达信号中的至少一个；

所述参考权重与所述本车速度负相关。

虽然自动驾驶的决策实时性要求较高，但对于不同的驾驶情形，实时性要求将在较高的标准内产生波动，一个较为直接的例子是，对于时速120公里的车辆而言，100ms的延迟意味着车辆运动了3.33米，而对于时速30公里的车辆而言，100ms的延迟意味着车辆运动了0.83米，显然，同样的100ms延迟对于两种情况而言具有着不同的意义，后者的情形下，100ms的延迟相对于前者更易被接收，因此，本实施例提供了基于本车速度的参考权重确定方案。

本实施例的有益效果在于：

考虑车速对于自动驾驶控制实时性要求的影响，使得具有更高速度的车辆具有更低的控制延迟容忍度，即更高速度的车辆中，同样延迟的第一控制信息的参考权重更小；具有更低速度的车辆具有更高的控制延迟容忍度，即更低速度的车辆中，同样延迟的第一控制信息的参考权重更大，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

在本实施例的基础上，一个可选的实施方式中，所述参考权重是根据所述车辆所在的道路类型、所述本车速度以及所述第一控制信息的参考信息确定的。

类似于关于本车速度的延迟容忍度说明，道路类型对于延迟容忍度的影响同样存在，例如，对于事故多发路段、学校路段，其延迟容忍度相对较低，对于封闭道路，例如城市快速路、高架桥等不存在行人的路段，其延迟容忍度相对较高，对于普通路段，其延迟容忍度一般。

故可以将车辆所在道路类型分别赋予量化延迟容忍度，并作为参考权重的一个计算因子，作为示例而非限定，学校路段、事故多发路段、普通路段、封闭道路的延迟容忍度依次升高，且参考权重与该延迟容忍度成正比。

此外，一些可选的实施方式中，自动驾驶处理器还存在着与基础设施间的交互，即车辆到基础设施通信（也叫V2I，指车辆和道路设施之间通过无线通信技术相互交换信息，例如交通信号灯、路况信息、道路施工等，以实现更高效、更安全的交通流动）。

基础设施通信的结果同样对延迟容忍度有所影响，例如，红灯等待时的延迟容忍度较高。

本实施方式的有益效果在于：

进一步考虑道路类型对于自动驾驶控制实时性要求的影响，封闭道路、高速、城市道路、乡村道路等不同类型的道路中，同样延迟的第一控制信息的参考权重不同，从而使得自动驾驶控制中，对于具有延迟的车辆控制序列的管理更为灵活和贴近实际需求。

下面将结合上述各实施例，提供一更为具体的实施例，以更好地说明本申请方案。

首先将对本实施例中可能涉及的一些术语进行说明。

车辆到云端：也叫V2C，车辆通过互联网和云计算技术与云端进行连接，将车辆信息、路况信息、用户信息等上传到云端，以实现车辆之间、车辆与基础设施之间的信息共享和协同。

车辆到行人：也叫V2P，车辆和行人之间通过无线通信技术相互交换信息，例如行人位置、行走方向等，以实现更安全、更智能的行车体验。

Batch：代表一批次的数据，用于机器学习训练时批量训练的一种数据批处理方式。

下面将对本实施例解决的技术问题进行介绍。

首先，本实施例属于车辆到云端（V2C）的范畴，与车辆到车辆（V2V）、车辆到基础设施（V2I）、车辆到行人（V2P）研究范围不同。

其次，传统车云协同方案主要解决全局信息共享、宏观规划方面的问题，例如：路口红绿灯状态、车道拥挤程度下发等信息共享层面的问题，而没有利用云端高性能服务器以及大模型推理能力，去提升自动驾驶感知、认知决策等控车算法效果。

而车端嵌入式平台的性能、算力又极其有限，感知、认知算法无法进行大规模并行计算，因此本方案着重提出了一种异步通信架构，能利用云端大规模算力弥补车端算力不足的问题，从而提升自动驾驶系统的控车安全性、效率及舒适度。

图4示出了本实施例中车云异步协同架构设计图，参照图4，本实施例的具体步骤包括：

1）环境及车辆信息采集

在这个步骤中，车辆会通过各种传感器来采集自车及周围的环境信息，例如激光雷达、摄像头、毫米波雷达等。这些传感器会不断地向车载计算机发送数据，以便进行后续的感知和决策。

2）云端计算

在云端计算环节中，主要包括三个方面的计算：缓存服务、感知算法和认知算法。

缓存服务主要是用来保存历史数据，以便后续的感知和决策。感知算法主要是针对车辆周围的环境信息进行处理，包括目标检测、跟踪、语义分割等，以便得到更加准确的环境信息。而认知算法则主要是用来进行车辆的决策和规划，例如路径规划、速度规划等。

3）车端本地计算

在车端本地计算中，主要是使用车载芯片设备对采集信息进行感知、认知计算，与云端计算方式雷同，只是算力依赖于车载设备。

4）异步通信模块

异步通信模块主要是用来实现车云之间的通信，包括数据传输和指令下发等。在这个模块中，会采用异步通信的方式来提高通信的效率和稳定性，例如使用消息队列、事件驱动等方式。

5）结果综合排序

在结果综合排序中，主要是将车端本地计算和云端计算得到的结果进行汇总和排序，以便得到最终的决策结果。这个步骤需要考虑到各个结果的权重和置信度等因素，以确保最终决策的准确性和稳定性。

6）融合结果控车

最后，在融合结果控车中，会根据最终的决策结果来控制车辆的行驶。这个步骤需要考虑到车辆的动力学和环境因素等因素，以确保车辆的行驶安全和稳定。

本实施例的有益效果包括：

1.异步通信架构

本技术方案采用异步通信架构，将车辆和云端之间的通信分离，以实现高效的数据传输和实时响应。通过异步通信，车辆可以随时向云端发送数据请求，而云端也可以及时响应车辆请求，从而保证了控制系统的高效性和实时性。

2.车云协同控制

本技术方案实现了车云协同控制，即车辆与云端之间的实时通信和数据共享。通过车辆传感器采集数据并传输到云端，云端进行实时处理后再传输回车辆进行控制。这种协同控制方式可以提高车辆的自动驾驶水平和驾驶安全性。

3.实时优化控制

本技术方案可以提高自动驾驶车辆的控制精度和安全性。该方法可以根据车辆的实时状态和环境信息，通过车云结合的方式，保证了最优结果，使其更加符合实际驾驶情况。同时，该方法还可以实现车云协同的动态规划，以避免车辆发生危险情况。

4.提高行驶效率

本技术方案还可以提高车辆行驶的效率和节能性。通过云端的数据处理和优化控制方法，可以实现更加精准的路线规划和节能驾驶策略。这不仅可以降低车辆的能耗，还可以减少拥堵和交通事故的发生率，提高整个交通系统的效率。

总之，本技术方案采用异步通信架构和车云协同控制方式，实现了高效、实时的自动驾驶车辆控制。同时，实时优化控制方法和节能驾驶策略还可以提高车辆的控制精度和行驶效率，使得自动驾驶技术更加实用化和可靠化。

此外，对于基于同步通信架构的控制方法而言，虽然可以在控制时保持更好的实时性和精度，但也可能会增加通信延迟和系统复杂度。

相对于基于车辆本地计算的控制方法而言，本实施例采用了车辆与云端之间的通信，而基于车辆本地计算的控制方法则可以避免通信延迟和不稳定性。该方法通过将传感器数据和控制算法全部放在车辆本地进行计算，从而实现自主的控制和决策。但是，这种方法可能会受到计算能力和存储空间的限制，影响控制精度和可靠性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的车云协同自动驾驶车辆控制方法，图2示出了本申请实施例提供的车云协同自动驾驶车辆控制装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图2，该装置包括：

获取模块201，用于获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

生成模块202，用于根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆。

在一个可选的实施方式中，所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；所诉生成模块202包括：

排序单元，用于基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

队列生成单元，用于根据所述结果队列，生成所述第三控制信息。

在一个可选的实施方式中，所述第一控制信息是基于所述车载传感器信息运行部署在所述云端设备上的第一模型得到的带有置信度的车辆控制序列；所述第二控制信息是基于所述车载传感器信息运行部署在所述本地设备上的第二模型得到的带有置信度的车辆控制序列；

所述第一模型和所述第二模型均为通过样本训练得到的机器学习模型，且所述第一模型的参数量大于所述第二模型，且所述第一模型输出的置信度和所述第二模型输出的置信度具有相同的数据口径。

在一个可选的实施方式中，所述云端设备和/或所述本地设备上还部署有前融合模型，所述前融合模型是经过样本训练得到的机器学习模型，且所述前融合模型用于以所述传感器信息为输入，得到融合信息，所述融合信息用于作为输入参数运行所述第一模型和/或所述第二模型。

在一个可选的实施方式中，所述装置还包括异步通信模块，用于经由异步通信信道发送所述车载传感器信息至所述云端设备。

在一个可选的实施方式中，所述装置还包括环境信息获取模块，用于获取车载传感器信息，所述车载传感器信息包括本车速度，且所述车载传感器信息还包括激光雷达信号、视觉信号以及毫米波雷达信号中的至少一个；

所述参考权重与所述本车速度负相关。

在一个可选的实施方式中，所述参考权重是根据所述车辆所在的道路类型、所述本车速度以及所述第一控制信息的参考信息确定的。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，如图3所示，该终端设备30包括：至少一个处理器301、存储器302以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序303，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种车云协同自动驾驶车辆控制方法，其特征在于，包括：

获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆；

所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；

所述根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息的步骤包括：

基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

根据所述结果队列，生成所述第三控制信息。

2.如权利要求1所述的车云协同自动驾驶车辆控制方法，其特征在于，所述第一控制信息是基于所述车载传感器信息运行部署在所述云端设备上的第一模型得到的带有置信度的车辆控制序列；所述第二控制信息是基于所述车载传感器信息运行部署在所述本地设备上的第二模型得到的带有置信度的车辆控制序列；

所述第一模型和所述第二模型均为通过样本训练得到的机器学习模型，且所述第一模型的参数量大于所述第二模型，且所述第一模型输出的置信度和所述第二模型输出的置信度具有相同的数据口径。

3.如权利要求2所述的车云协同自动驾驶车辆控制方法，其特征在于，所述云端设备和/或所述本地设备上还部署有前融合模型，所述前融合模型是经过样本训练得到的机器学习模型，且所述前融合模型用于以所述传感器信息为输入，得到融合信息，所述融合信息用于作为输入参数运行所述第一模型和/或所述第二模型。

4.如权利要求1至3中任一项所述的车云协同自动驾驶车辆控制方法，其特征在于，所述获取第一控制信息的步骤前，还包括：

经由异步通信信道发送所述车载传感器信息至所述云端设备。

5.如权利要求1至3中任一项所述的车云协同自动驾驶车辆控制方法，其特征在于，所述获取第一控制信息的步骤前，还包括：

获取车载传感器信息，所述车载传感器信息包括本车速度，且所述车载传感器信息还包括激光雷达信号、视觉信号以及毫米波雷达信号中的至少一个；

所述参考权重与所述本车速度负相关。

6.如权利要求5所述的车云协同自动驾驶车辆控制方法，其特征在于，所述参考权重是根据所述车辆所在的道路类型、所述本车速度以及所述第一控制信息的参考信息确定的。

7.一种车云协同自动驾驶车辆控制装置，其特征在于，包括：

获取模块，用于获取第一控制信息，并根据所述第一控制信息的参考信息得到所述第一控制信息的参考权重；其中，所述第一控制信息是云端设备根据车载传感器信息得到的车辆控制序列，所述参考信息包括获取频率和/或获取延迟；

生成模块，用于根据所述第一控制信息的参考权重、所述第一控制信息以及第二控制信息生成第三控制信息；其中，所述第二控制信息是车辆本地设备根据车载传感器信息得到的车辆控制序列，所述第三控制信息用于控制所述车辆；

所述第一控制信息和所述第二控制信息为带有置信度的车辆控制序列；所述生成模块包括：

排序单元，用于基于所述置信度和所述参考权重排序所述第一控制信息和所述第二控制信息，得到结果队列；

队列生成单元，用于根据所述结果队列，生成所述第三控制信息。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。