CN114970303A

CN114970303A - 一种模型自动化迭代方法、设备及存储介质

Info

Publication number: CN114970303A
Application number: CN202111106600.2A
Authority: CN
Inventors: 张放; 徐成; 赵勍; 刘涛; 夏洋; 李晓飞; 王肖; 张德兆; 霍舒豪
Original assignee: Beijing Idriverplus Technologies Co Ltd
Current assignee: Beijing Idriverplus Technologies Co Ltd
Priority date: 2021-09-22
Filing date: 2021-09-22
Publication date: 2022-08-30
Also published as: WO2023045936A1

Abstract

本发明公开一种模型自动化迭代方法、设备及存储介质，所述方法包括：使用车端计算资源通过车端模型获得推理结果；根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；使用云端计算资源，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；将车端计算资源正在使用的车端模型迭代为训练后的车端模型。本发明采用车端推理‑‑云端训练的模式，有针对性地自动采集有价值数据，并自动化完成数据优化，充分发挥了云端的资源优势，提高了自动驾驶车端模型迭代的效率。

Description

一种模型自动化迭代方法、设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种模型自动化迭代方法、设备及存储介质。

背景技术

自动驾驶长尾场景是指突发的、低概率的、不可预知的场景，比如交通信号灯故障的路口、醉驾的车辆、路中央的气球等。怎样应对长尾场景一直是行业难题，已逐渐成为制约自动驾驶发展的关键，要解决这些问题，自动驾驶系统需要积累大量的数据，持续优化模型。

据统计，全球汽车保有量超过10亿辆，但平均每30s发生一起事故，说明交通事故属于低频出现的事件。要实现自动驾驶落地，就要解决这些低频发生的问题，至少要做到现有人类驾驶员的安全驾驶水平甚至全面超越人类驾驶员。

根据以上数据，为了充分测试自动驾驶系统安全性，至少需要进行上亿公里的道路测试，这意味着数万乃至几十万辆车24小时不间断运行几百天，同时，测试过程中产生有效问题数据的效率很低，导致模型的迭代和验证的成本越来越高。

发明内容

传统的模型迭代验证采用以功能测试驱动模型迭代的方式，在开发端以需求和问题驱动数据采集，然后人工分析标注数据并设计优化方案，在测试端人工搭建场景进行测试或实车随机测试，最终形成标注、开发、测试的串行迭代流程，这种方法对于软件功能开发是有效的，有限的人力解决有限的问题，实现特定范围内的功能。

但传统的模型迭代验证方式难以让自动驾驶真正落地，使整个行业做到全时段全工况的安全运行。一方面，传统问题驱动的方式是依靠串行的开发模式对模型进行优化，开发和测试的周期长，无法并行开展。另一方面，人工标注数据的方式耗时长，标注效率低；第三方面，测试大多通过人工搭建典型场景或随机测试对模型进行验证，对于实际运行场景的覆盖率较低。以上几个方面说明问题驱动的方式已经无法满足解决真实场景中海量问题的需求，不能自动化的解决绝大部分的问题，无法高效的实现自动驾驶落地目标。

在上述背景下，开发一种快速模型优化和验证的方法以有效解决模型迭代周期长、验证效率低等现实问题，成为本领域亟待解决的技术问题。

本发明实施例旨在至少解决上述技术问题之一。

第一方面，本发明实施例提供一种模型自动化迭代方法，包括：

使用车端计算资源通过车端模型获得推理结果；

根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；

使用云端计算资源，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；

将车端计算资源正在使用的车端模型迭代为训练后的车端模型。

第二方面，本发明实施例提供一种车端模型自动化迭代方法，包括：

通过车端模型获得推理结果；

与云端计算资源相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；

与云端计算资源相配合，将正在使用的车端模型迭代为训练后的车端模型；其中，所述训练后的车端模型是由云端计算资源通过对所述对车端模型性能提升有价值的数据进行优化、并利用优化结果对车端模型进行训练得到的模型。

第三方面，本发明实施例提供一种云端模型自动化迭代方法，包括：

与车端计算资源相配合，根据车端计算资源通过车端模型推理的结果，采集对车端模型性能提升有价值的数据；

对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；

与车端计算资源相配合，将车端计算资源正在使用的车端模型迭代为训练后的车端模型

第四方面，本发明实施例提供一种车端执行设备，包括：

车端计算模块，配置有车端模型，通过车端模型推理得到结果；

车端采集模块，用于与云端执行设备相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；其中，所述云端执行设备对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；

所述车端计算模块还用于与云端执行设备相配合，将配置的车端模型迭代为训练后的车端模型

第五方面，本发明实施例提供一种云端执行设备，包括：

云端采集模块，用于与车端执行设备相配合，根据车端执行设备通过车端模型推理的结果，采集对车端模型性能提升有价值的数据；

数据优化模块，用于对所述对车端模型性能提升有价值的数据进行优化；

训练模块，用于利用优化结果训练车端模型；

迭代模块，用于与车端执行设备相配合，将车端执行设备正在使用的车端模型迭代为训练后的车端模型。

第六方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述车端模型自动化迭代方法的步骤。

第七方面，本发明实施例提供一种自动驾驶车辆，包括前述电子设备。

第八方面，本发明实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述车端模型自动化迭代方法的步骤。

第九方面，本发明实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述云端模型自动化迭代方法的步骤。

第十方面，本发明实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述云端模型自动化迭代方法的步骤。

本发明提供的模型自动化迭代方法采用车端推理--云端训练的模式，即在车端部署多任务、轻量级的车端模型，基于车端模型推理的结果自动地、有针对性地采集对车端模型的性能提升有价值的数据，再利用云端强大的计算能力和数据存储能力，实时地、自动地完成训练数据集生成、模型训练、模型迭代等一系列操作；这种车端推理--云端训练的模式充分发挥了云端的资源优势，提高了自动驾驶车辆模型迭代的效率；

该方法在车端至云端通信资源有限的环境下，自动采集对车端模型的性能提升有价值的数据，该自动采集过程不仅效率高，而且涵盖了罕见、异常、突发的长尾场景，屏蔽了重复数据和垃圾数据，保证了所采集数据的有效性、多样性和完整性，为云端自动化完成模型训练和模型迭代提供了充足、高质、多样、有效、可靠的数据基础；

该方法自动化地基于对车端模型的性能提升有价值的数据生成训练数据集，数据优化模块可利用单任务、深层次的数据驱动模型自动化完成数据标注获得训练数据集，也可利用数学规划模型快速、有效地得到满足要求的训练数据集，这种自动生成训练数据集的方式大大减少了人工标注工作，明显有助于解决因为标注效率低导致的模型迭代耗时长、速度慢的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的模型自动化迭代系统的种系统架构图；

图2为本申请实施例提供的模型自动化迭代方法的一种流程示意图；

图3为车端采集模块采集对车端模型性能提升有价值的数据的一种示例；

图4为场景所包含要素类型的一种示例；

图5为车端采集模块采集对车端模型性能提升有价值的数据的一种示例；

图6为行为预测模型的推理结果及其期望值的一种示意图；

图7为自动驾驶车辆的一种结构示意图；

图8为自动驾驶车辆和车载执行设备的一种可能的示例；

图9为云端执行设备一种结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

在对本申请实施例提供的模型自动化迭代方法进行详细介绍之前，先结合图1对本申请实施例提供的模型自动化迭代系统进行介绍。请先参阅图1，图1为本申请实施例提供的模型自动化迭代系统的一种系统架构图，在图1中，模型自动化迭代系统包括：车端执行设备、车端数据存储单元、云端执行设备和云端数据库。

车端执行设备包括：车端采集模块、车端计算模块。车端计算模块中配置有车端模型。

车端执行设备可应用于自动驾驶车辆中，其中，自动驾驶车辆设置有至少一种传感器，如车载雷达(如毫米波雷达、红外雷达、激光雷达、多普勒雷达等)、光量传感器、雨量传感器、视觉传感器(如摄像头、行车记录仪)、车姿传感器(如陀螺仪)、速度传感器(如多普勒雷达)、惯性测量单元IMU等。

车端采集模块具有数据采集功能，并将采集的数据发送给上位机进行分析、处理，可用于采集自动驾驶车辆上设置的各类传感器采集的模拟或数字信号，也可用于采集车端计算模块通过车端模型推理的结果，也可以用于采集车辆状态数据、地图数据、驾驶员操作数据等。车端采集模块内置数据采集卡(即实现数据采集功能的计算机扩展卡)，可以通过USB、PXI、PCI、PCI Express、火线(1394)、PCMCIA、ISA、 Compact Flash、485、232、以太网、各种无线网络等总线采集和发送数据。

车端采集模块还具有数据处理功能，具体为与云端采集模块相配合，从采集的数据中提取对车端模型性能提升有价值的数据。

车端数据存储单元具有数据存储功能，可用于存储前述各类传感器采集的信号、车端模型推理的结果、车辆状态数据、地图数据、驾驶员操作数据，还可用于存储操作系统、应用程序等。在一种可能的设计中，车端数据存储单元可采用嵌入式多媒体卡(eMMC)、单层单元闪存(SLC NAND)、通用闪存(UFS)固态硬盘(SSD) 等实现。在一种可能的设计中，车端数据存储单元可以设置于车端执行设备中，也可以是车端执行设备以外的外部设备。

车端模型具有推理功能，可用于为自动驾驶车辆实现目标检测、行为预测、决策规划等功能。在一种可能的设计中，车端模型可以是神经网络类型的模型或非神经网络类型的模型，本申请实施例中仅以车端模型为神经网络类型的模型为例。

车端计算模块获取传感器数据、车辆状态数据、地图数据、驾驶员操作数据等，然后将这些数据作为车端模型的输入数据，利用车端模型进行推理，实现自动驾驶车辆的目标检测、行为预测、决策规划等功能。

云端执行设备包括：云端采集模块、数据优化模块、训练模块、迭代模块。

云端执行设备可由云服务器实现。车端执行设备与云端执行设备之间通过通信接口实现数据传输，该通信接口可以采用车用无线通信技术V2X、车载以太网、3G/4G/5G 移动通信技术等进行通信。

云端采集模块具有数据采集功能，并将采集的数据发送给上位机进行分析、处理。云端采集模块与车端采集模块之间具有数据传输关系，云端采集模块根据需求从车端采集模块获取数据。云端采集模块内置数据采集卡，可以通过USB、PXI、PCI、PCI Express、火线(1394)、PCMCIA、ISA、Compact Flash、485、232、以太网、各种无线网络等总线采集和发送数据。

云端采集模块还具有数据处理功能，具体为与车端采集模块相配合，采集对车端模型性能提升有价值的数据。

云端数据库具有数据存储功能，可采用云存储技术、云数据库技术等实现。

数据优化模块具有数据处理功能，可实现数据标注、数据拟合、数据降噪等数据处理功能。

训练模块利用数据优化模块处理得到的优化结果训练车端模型。

迭代模块利用训练模块训练后的车端模型，对车端执行设备正在使用的车端模型进行迭代更新。

本申请实施例所称的“车端计算资源”包括但不限于车端执行设备、车端数据存储单元，还可以包括其他设置于自动驾驶车辆上的计算资源。本申请实施例所称的“云端计算资源”包括但不限于云端执行设备和云端数据库，还可以包括其他基于云计算技术的资源。

结合上述描述可知，下面开始对本申请实施例提供的模型自动化迭代方法的具体实现流程进行描述。

具体的，请参阅图2，图2为本申请实施例提供的模型自动化迭代方法的一种流程示意图，本申请实施例提供的模型自动化迭代方法可以包括：

201，使用车端计算资源通过车端模型获得推理结果。

具体的，车端计算模块将传感器数据、车辆状态数据、地图数据、驾驶员操作数据等作为车端模型的输入数据，利用车端模型进行推理，实现自动驾驶车辆的目标检测、行为预测、决策规划等功能，得到目标检测结果、行为预测结果、决策规划结果等。

此后，车端模型推理的结果被存储至车端数据存储单元中，并被车端采集模块获取。在一种可能的设计中，车端采集模块可以直接从车端计算模块获得车端模型推理的结果，也可以从车端数据存储单元中获得车端模型推理的结果。

根据车端模型对应于不同的功能，车端模型推理的结果可以具有如下形式：

(A)目标检测结果，可以包括：基于图像或激光点云的目标检测框、目标类型、置信度等。

(B)行为预测结果，可以包括：目标行为、目标意图、运动轨迹等；其中，目标行为可以是变道、超车、加减速、左转、右转、掉头、泊车等；目标意图可以是换道、直行、超车、横穿马路、泊车等；运动轨迹可以是目标在未来多个时间点的位置。

(C)决策规划结果，可以包括：自车行为决策、自车轨迹规划等；自车行为决策可以是变道、超车、加减速、循迹、左转、右转、掉头、模式切换、泊车等；自车轨迹规划可以是路径规划、速度规划、纵横向耦合规划；轨迹跟踪、跟车规划、换道轨迹规划、掉头轨迹规划、原地转向轨迹规划、脱困轨迹规划等。

考虑到车端计算资源具有成本高、算力有限、推理速度快等特点，车端模型可采用具有多任务、轻量级等特征的网络结构。其中，多任务是指网络结构具有共享参数、共享任务的特点，轻量级是指网络结构具有在有限存储空间和功耗限制的情况下满足计算效率和能力的特点。

例如：

当车端模型是基于视觉的目标检测模型，多任务是指可以复用图像的特征信息，通过一次模型推理得到多种任务所需的结果，例如同时检测行人、车辆和信号灯等；轻量级可以适配车端有限的算力，并满足车端推理效率；

当车端模型是基于激光点云的目标检测模型，多任务是指可以复用点云的特征信息，通过一次模型推理得到多种任务所需的结果，例如同时检测行人、车辆类别和障碍物动静态属性等；轻量级可以适配车端有限的算力，并满足车端推理效率；

当车端模型是行为预测模型，多任务是指可以复用感知融合结果和地图的特征信息，通过一次模型推理得到多种任务所需的结果，例如同时预测障碍物行为类别、未来路径形状和未来速度变化趋势等；轻量级可以适配车端有限的算力，并满足车端推理效率；

当车端模型是决策规划模型，多任务是指可以复用感知融合结果、地图和行为预测的特征信息，通过一次模型推理得到多种任务所需的结果，例如同时给出期望行为类别、期望路径形状和期望速度配置等；轻量级可以适配车端有限的算力，并满足车端推理效率。

此外，车端模型还可以采用具有多维度特点的网络结构，例如当车端模型是基于视觉的目标检测模型，多维度的网络结构可实现挖掘多目标之间内在联系的目的。

202，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据。

具体的，车端采集模块与云端采集模块相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据。

目前自动驾驶领域常用的模型训练迭代方式是将模型推理的结果全部用于后续的模型训练中去，这种方式并不分辨模型对于场景的推理效果(学习效果)，也就是不论模型对某一场景的推理效果是否足够好或者还不够好，都统一将推理结果继续用于模型训练，这种不区分重点的训练，不能快速、有针对性地实现训练目的。对于常见的典型场景还能适应，但对于罕见、突发、异常的长尾场景，这种模型迭代方式就会很难适应。

为了克服常规模型训练迭代方式的缺陷，本申请有针对性地采集对车端模型性能提升有价值的数据，再利用这些对车端模型性能提升有价值的数据对车端模型进行训练和迭代，这种方式可根据训练目的有针对性地提取有价值数据，从而快速、有效地达到训练目标。

具体的，对车端模型性能提升有价值的数据，不仅包括车端模型推理结果本身，还应包括与车端模型推理结果在时间及空间上存在同步关系的环境数据、地图数据、车身状态数据、驾驶员操作数据等时空同步信息，这些信息与车端模型推理的结果结合在一起，能够全面地反映自动驾驶车辆所处的场景，对于训练模型也更有意义。

其中，环境数据可以包括：静态环境(固定障碍物、建筑设施、交通设施、道路)、动态环境(动态交通信号灯、交通警察)、通信环境(信号强度、信号延迟时间、电磁干扰强度)、交通参与者(行人、机动车辆、非机动车辆、动物)、气象环境(温度、湿度、光照条件、天气情况)等；

地图数据可以包括：高精地图、交通管制信息、导航信息等；

车辆状态数据可以包括：车辆基础属性(如车身重量、几何尺寸、基本性能)、车辆位置(坐标、车道位置)、运动状态(横向运动状态、纵向运动状态)、人机交互(娱乐、驾驶任务)等；

驾驶员操作数据可以包括：是否接管车辆、驾驶员具体动作等。

根据不同的训练目的，采集对车端模型性能提升有价值的数据，可以包括如下几种情况：

(1)训练目的为令车端模型涵盖(适应)尽可能多的场景

如图3所示，车端采集模块利用车端模型推理的结果及其时空同步信息构建场景，并上传给云端，云端采集模块确定已有场景库中缺少车端采集模块上传的场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

在自动驾驶测试领域，场景是指在一定的时间和空间范围内，自动驾驶车辆与行驶环境中的其它车辆、道路、交通设施、气象条件等元素综合交互过程的总体动态描述，是自动驾驶车辆的驾驶情景与行驶环境的有机组合，既包括各类实体元素，也涵盖了实体执行的动作及实体之间的连接关系。图4所示为一种场景所包含要素类型的实施例。

具体的，云端数据库中存储有场景库，其中包含有车端模型涵盖(适应)的各种场景，若云端采集模块将车端采集模块上传的场景与场景库中已有的场景进行比对后发现场景库中没有该场景，则说明车端模型还不能涵盖(适应)这一场景，需要将这一场景其加入到场景库中去，此时，云端采集模块下发命令，车端采集模块收到命令后，即将这一场景对应的车端模型推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

在一种可能的设计中，云端采集模块将车端采集模块上传的场景与场景库进行比对时，如果有如下两种情况出现，均可以算作场景库中缺少该场景：

(1.1)已有场景库中缺少该场景对应的类别

这种情况直接表明场景库还没涵盖该场景对应的类别，例如，场景库中道路类型下涵盖城市道路、高速公路、园区道路三个类别，而车端采集模块上传的场景类别为农村道路，此时，就可以确定场景库中缺少该场景；

(1.2)已有场景库中存在该场景对应的类别，但已有场景库中该类别下的数据量未达到预定数量

这种情况表明虽然场景库中已经涵盖了该场景，但是该场景对应的数据量还较少，而模型训练需要足够多的数据量，这时仍然需要认为场景库中缺少该场景，需要将场景对应的车端模型推理结果及其时空同步信息作为对车端模型性能提升有价值的数据上传给云端采集模块。例如，场景库中道路类型下的农村道路这一类别仅有10 条数据，还远达不到有效训练模型的目标，因此，如果再有农村道路场景上传时，还需要继续记录到场景库中。

考虑到场景包含的信息量较大，完整上传场景要不仅浪费通信资源，还会影响采集效率，然而实际上并非所有场景都是对车端模型性能提升有价值的(场景库中可能已经包含有该场景)，这种情况下，为了节省通信资源、加快数据采集效率，可以由车端采集模块对场景进行编码，并上传场景编码给云端，而云端数据库中除了存储有场景库之外，还可以存储场景库对应的编码库(其中包含有场景库中每个场景对应的场景编码)，云端采集模块将车端采集模块上传的场景编码与编码库进行比对，当确定编码库中没有该场景编码时，就可以确定车端模型还不能涵盖(适应)这一场景，需要将这一场景其加入到场景库中去，此时，云端采集模块下发命令，车端采集模块接收命令后，即将对应的车端模型推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

具体的，车端采集模块应按照预定的编码规则对场景进行编码，在一种可能的设计中，预定的编码规则可以是按照场景要素编码。

例如，针对图4所示的场景，对场景要素按照在父节点要素中的排序进行编码，对于每个具体的要素，#后面的数字表示当前要素在其父节点要素中的排序：

若场景包含行人，则按照从左往右，外部环境要素对应的编码为2，交通参与者对应的编码为3，行人对应的编码为2，则场景编码相应的包含数字232；

若场景包含横向运动状态，则按照从左往右，车辆自身要素对应的编码为1，运动状态对应的编码为3，横向运动状态对应的编码为1，则场景编码相应的包含数字 131；

若场景同时包含行人、横向运动状态，则场景编码相应的包含数据组(232、131)。

(2)训练目的为令车端模型涵盖(适应)罕见、突发、异常等长尾场景

如图5所示，车端采集模块监测到车端模型推理的结果和/或时空同步信息不属于常规场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

这里的常规场景是指物理世界中普遍存在的、常见的交通场景，例如车辆在道路上正常行驶，道路中出现交通信号灯、交通指示牌、车道线、路肩等常规交通设施。与之相反的是长尾场景，即鲜少或几乎不可能在物理世界中出现的、罕见、突发、异常的交通场景，例如，车辆在天空\花坛\建筑物上行驶，道路中突然出现野兽\建筑物\ 大型漂浮物(例如气球)等。长尾场景对于自动驾驶车辆来说，常常意味着危险系数高、操作处理复杂，要想应对长尾场景，就需要提升车端模型面对长尾场景时的推理能力，相应的，长尾场景对应的各种信息就属于对车端模型性能提升有价值的数据。

当监测到车端模型推理的结果和/或时空同步信息不属于常规场景时，说明自动驾驶车辆处于罕见的、或者突发的、或者异常的长尾场景中，需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

在一种可能的设计中，基于激光点云的目标检测模型推理的结果为目标车辆从某一帧开始在道路一侧的建筑物上行驶，并且这种情况持续多帧，而在这帧之前的监测结果一直是目标车辆在道路上行驶的，这一推理结果(车辆在建筑物上行驶)不属于常规场景(车辆在道路上行驶)，这种情况的出现可能是基于激光点云的目标检测模型的推理出现了错误，也有可能是激光雷达故障，甚至也可能是目标车辆真的在花坛上行驶等，这些异常或罕见场景都属于长尾场景，需要车端模型去涵盖，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

在另一种可能的设计中，车辆行驶过程中，突然出现一群大象要横穿道路，或者道路上飘来一个气球，或者道路中央有一个房子(例如钉子户)，这些车辆行驶中遇到的突发情况作为时空同步信息(环境信息)被记录下来，并被判断为不属于常规场景，而是罕见的、异常的场景(长尾场景)，需要车端模型去涵盖，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

(3)训练目的为令车端模型在自身推理效果不够好的场景中具备更好的推理能力

具体的，如图5所示，如下两种情况均表明车端模型的推理效果不够好，需要提升车端模型面对相应场景时的推理能力：

(3.1)车端模型推理的结果与期望值不匹配

如图6所示，在一种可能的设计中，具体示例为行为预测模型对目标在未来某一时间段的预测轨迹为图中虚线，而当该时间段经过后，基于多传感器(视觉传感器、激光雷达、毫米波雷达等)的融合结果显示目标的真实轨迹是图中实线，将图中实线作为期望值，根据图6可知，行为预测模型的推理结果与期望值不够匹配(实线与虚线的重叠度较低)，这种情况表明行为预测模型的推理结果出现异常，有可能是行为预测模型对过去一段时间内目标行为的学习效果(推理)不够好，还需要训练车端模型对这些目标行为的适应能力，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

在另一种可能的设计中，决策规划模型的推理结果为控制车辆继续直行，然而驾驶员却突然接管车辆并控制车辆换道，这种情况很可能是决策规划模型推理的结果出现异常，不符合人类驾驶员在相同场景下的常见操作，说明决策规划模型对这种场景的学习效果还不够好，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

在另一种可能的设计中，对决策规划模型的推理结果进行评价，其评价结果显示驾乘人员舒适度低于预定的舒适度阈值(期望值)，或者安全风险指数高于预定的风险阈值(期望值)，这种情况表明决策规划模型对当前场景的学习效果还不够好，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

(3.2)对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，检验结果未达到预定的一致性下限

在一种可能的设计中，基于图像进行的目标检测结果显示障碍物为动态障碍物，而基于激光点云和毫米波点云进行的目标检测结果均显示障碍物为静态障碍物，对这三种算法逻辑得到的结果进行一致性检验，检验结果为三者的一致性并不好(基于图像的是动态障碍物，基于激光点云和毫米波雷达的是静态障碍物)，没有达到预定的一致性下限(例如要求三者必须完全一致)，这种情况有可能是基于图像的目标检测模型的推理结果不够准确，也可能是基于激光点云和/或毫米波点云的目标检测模型的推理结果不够准确，这说明这三类算法逻辑的目标检测模型中，至少有一种目标检测模型对当前场景的推理效果不够好，需要提升该目标检测模型在当前场景中的推理能力，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

在另一种可能的设计中，基于深度学习的决策规划给出的结果是控制车辆向左换道，但是基于规则的决策规划给出的结果是控制车辆向右换道，对这两种算法逻辑得到的结果进行一致性检验，检验结果为两者的一致性并不好，没有达到预定的一致性下限(例如要求二者必须完全一致)，这种情况有可能是基于深度学习的决策规划推理结果不够准确，也可能是基于规则的决策规划结果不够准确，这说明这两类算法逻辑的决策规划模型中，至少有一种决策规划模型对当前场景的推理效果不够好，需要提升该决策规划模型在当前场景中的推理能力，因此需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

(4)训练目的为令车端模型在自身推理效果非常好的场景中持续优良表现

具体的，如下两种情况下，均表明车端模型的推理效果非常好，需要继续保持这种推理能力：

(4.1)车端模型推理的结果与期望值相匹配，且匹配度达到预定的匹配阈值

这种情况需要令场景库中涵盖更多车端模型推理效果非常好的场景，例如，对于行为预测模型，若推理得出的目标预测轨迹与多传感器融合结果显示的目标真实轨迹重叠度相当好，其中，基于多传感器融合的目标真实轨迹为期望值，即行为预测模型对目标行为的推理结果与期望值的匹配度达到了较好的水平(例如达到了预定的匹配阈值)，这说明预测模型对目标行为的推理效果(学习效果)非常好，需要行为预测模型继续保持这种良好的推理能力，因此也需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

(4.2)对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，检验结果达到预定的一致性上限

在一种可能的设计中，基于图像进行的目标检测结果、基于激光点云进行的目标检测结果、基于毫米波点云进行的目标检测结果均显示障碍物为静态障碍物，对这三种算法逻辑得到的结果进行一致性检验，检验结果显示三者完全一致(均为静态障碍物)，达到了预定的一致性上限，这种情况就表明基于这三类算法逻辑的目标检测模型的推理效果很好，需要目标检测模型继续保持这种良好的推理能力，因此也需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

基于深度学习的决策规划给出的结果是控制车辆向左换道，但是基于规则的决策规划给出的结果是控制车辆向右换道，对这两种算法逻辑得到的结果进行一致性检验，检验结果为两者完全一致，达到了预定的一致性上限，这种情况就表明基于深度学习的决策规划和基于规则的决策规划的推理效果很好，需要决策规划模型继续保持这种良好的推理能力，因此也需要将此时的推理结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，用于后续的模型训练。

本申请提供的实施例，通过车端计算资源与云端计算资源的相互配合，实现自动化采集有利于车端模型性能提升的数据，该数据采集方式不仅速度快，而且有针对性，能够在车端与云端通信资源有限的情况下，更高效地采集有用数据，为后续训练车端模型提供有效、可靠的数据基础。

203，使用云端计算资源，对有价值数据(对车端模型性能提升有价值的数据) 进行优化，并利用优化结果训练车端模型。

具体的，该步骤是由数据优化模块对有价值数据进行优化，获得有效、可靠的训练数据集(优化结果)，为下一步训练车端模型做准备。

在不同的设计中，数据优化模块可采用不同的算法处理方式优化有价值数据：

(1)数据优化模块利用数据驱动模型对有价值数据标注标签，再利用标注数据集对车端模型进行训练从而提升其推理能力。

本申请实施例所称的“数据驱动模型”是指基于数据驱动的模型，例如可以是深度学习模型、传统机器学习模型等。

在一种可能的设计中，数据驱动模型是传统机器学习模型，可以采用支持向量机算法(SVM)、Adaboost算法、逻辑回归算法、隐马尔可夫算法、K近邻算法(KNN)、三层人工神经网络算法、贝叶斯算法、决策树算法等任意一种传统机器学习算法。

在一种可能的设计中，上述传统机器学习模型(如SVM或Adaboost)基于人为定义的方向梯度直方图(HOG)特征进行计算，实现对有价值数据标注标签的目的。

具体的，数据优化模块采用数据驱动模型对有价值数据进行自动化标注，获得有效、可靠的标注数据集，再利用标注数据集训练车端模型。

针对不同功能的车端模型，标签有不同的定义。例如，当车端模型为用于目标检测的模型，标签包括特定目标的检测框、类别、置信度等信息。

以车端模型为用于目标检测的模型为例，利用云端计算资源强大的运算能力和数据存储能力，在云端设置目标检测能力远高于车端模型的数据驱动模型，然后利用数据驱动模型识别有价值数据中的特定目标(如：行人、机动车、非机动车、交通标志牌、交通信号灯、车道线等)，由于数据驱动模型的识别能力远远高于车端模型，其识别结果相对车端模型的推理能力就可以作为标签用来训练车端模型。这种自动标注方式可节省大量的人工标注工作量，显著提升数据标注效率，加快模型迭代速度。

为了充分利用云端计算资源，获得能够有效训练车端模型的标注数据集，可将数据驱动模型设置为多个具有单任务、深层次特征网络结构的深度学习模型。其中，单任务特征是指单个模型仅用于执行单个任务，且模型与模型之间相互独立，并不共享参数，利用模型的单任务特征可最大程度挖掘个体目标召回与识别精度；深层次特征是指具有模型具有多个隐藏层，能够对输入特征进行多层次的抽象，更好的划分不同类型的数据，利用模型的深层次特征可提升个体目标在复杂路况下的目标召回与识别精度。

在上述用于目标检测的模型实施例中，可根据具体场景需要感知的特定目标设置多个单任务、深层次的数据驱动模型，例如，设置多个数据驱动模型，每个数据驱动模型分别用于检测行人、机动车、非机动车、交通标志牌、交通信号灯、车道线等。

(2)数据优化模块采用数学规划模型对有价值数据进行优化以获得期望值，再利用期望值对车端模型进行训练从而提升其推理能力。

具体的，数学规划模型采用的优化方法可以是线性规划、整数线性规划、非线性规划、多目标规划、动态规划等。

以车端模型为行为预测模型为例，如图6所示，行为预测模型对目标在未来某一时间段的预测轨迹为图中虚线，而当该时间段经过后，基于多传感器(视觉传感器、激光雷达、毫米波雷达等)感知融合的结果为图中实线，为了提升行为预测模型的推理能力(尽量与实际感知结果一致)，可将多传感器感知融合的结果作为期望值用来训练车端模型；然而基于多传感器感知融合的结果也是检测得到的，有可能与目标在真实世界中的表现有差异，例如，图6所示的实线由多个离散的轨迹点组成，其中的 M点与其他各轨迹点连成的轨迹线相隔较远，属于跳变点，然而目标在真实世界中的轨迹一般都是平滑的，不会出现跳变点，这种情况就需要将M点剔除，将剩余各个轨迹点组成的轨迹作为期望值来训练车端模型。该过程中，剔除M点的过程即为对有价值数据优化的过程，可以采用线性规划、非线性规划对离散的轨迹点进行处理，具体，可以采用最小二乘法、模拟退火算法等能够达到数据拟合、数据降噪目的的算法。

再以车端模型为决策规划模型为例，假设期望值为人工驾驶员在某场景中的操作表现，然而具体的某个人工驾驶员的操作表现可能是不符合操作规范\交通规则的，这种情况就需要将其中不符合操作规范\交通规则的的操作数据剔除，实现对有价值数据的优化。这一优化过程可将符合操作规范\交通规则作为约束条件，有价值数据中不符合操作规范\交通规则的数据即为不满足约束条件的数据，在数据优化中需要剔除这类数据。

在一种可能的设计中，训练模块利用数据驱动模型得到的标注数据集来训练车端模型。

在另一种可能的设计中，训练模块利用数学规划模型对有价值数据进行优化后的结果来训练车端模型。

204，将车端计算资源正在使用的车端模型迭代为训练后的车端模型。

具体的，迭代模块确定训练模块训练后的车端模型对应的模型参数，并将模型参数下发给车端计算模块，车端计算模块利用下发的模型参数将正在使用的车端模型迭代为训练后的车端模型。

在一种可能的设计中，迭代模块在对训练后的车端模型进行测试，当测试结果达到迭代要求(表明训练后的车端模型的推理能力明显优于正在使用的车端模型)时，才会将模型参数下发给车端计算模块，完成车端模型迭代操作。

在数据优化模块具有数据驱动模型的实施例中，有可能存在车端模型在某些方面的推理能力优于数据驱动模型的情况，这种情况下，训练模块就可以利用优化结果对数据驱动模型进行训练，提升数据驱动模型在这类相比车端目标检测模型较为劣势的方面的推理能力。该实施例中，迭代模块将训练后的数据驱动模型对应的模型参数发送给数据优化模块，将正在使用的数据驱动模型迭代为训练后的数据驱动模型。

在一种可能的设计中，迭代模块还可以对训练后的数据驱动模型进行测试，当测试结果达到迭代要求(表明训练后的数据驱动模型的推理能力明显优于正在使用的数据驱动模型)时，才会将模型参数下发给数据优化模块，完成数据驱动模型迭代操作。

本申请实施例提供的模型自动化迭代方法，首先自动采集对车端模型的性能提升有价值的数据，然后自动对有价值数据进行优化，最后利用优化结果训练车端模型并完成迭代：

(1)该方法采用车端推理--云端训练的模式，即在车端部署多任务、轻量级的车端模型，基于车端模型推理的结果自动地、有针对性地采集对车端模型的性能提升有价值的数据，再利用云端强大的计算能力和数据存储能力，实时地、自动地完成训练数据集生成、模型训练、模型迭代等一系列操作；这种车端推理--云端训练的模式充分发挥了云端的资源优势，提高了自动驾驶车辆模型迭代的效率；

(2)该方法在车端至云端通信资源有限的环境下，自动采集对车端模型的性能提升有价值的数据，该自动采集过程不仅效率高，而且涵盖了罕见、异常、突发的长尾场景，屏蔽了重复数据和垃圾数据，保证了所采集数据的有效性、多样性和完整性，为云端自动化完成模型训练和模型迭代提供了充足、高质、多样、有效、可靠的数据基础；

(3)该方法自动化地基于对车端模型的性能提升有价值的数据生成训练数据集，数据优化模块可利用单任务、深层次的数据驱动模型自动化完成数据标注获得训练数据集，也可利用数学规划模型快速、有效地得到满足要求的训练数据集，这种自动生成训练数据集的方式大大减少了人工标注工作，明显有助于解决因为标注效率低导致的模型迭代耗时长、速度慢的问题。

基于相同的发明思想，本申请实施例提供一种自动驾驶车辆。如图7所示，自动驾驶车辆ADV可以是利用自动驾驶技术实现的具有载人功能(如家用轿车、公共汽车等类型)、载货功能(如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等类型)、工具功能(如物流配送车、巡逻车、环卫车、吸尘车、洗地车、扫地机器人、割草机、高尔夫球车)、娱乐功能 (如娱乐车、游乐场自动驾驶装置)或者特殊救援功能(如消防车、救护车等类型) 的车辆。

图7示出根据本申请实施例的一种自动驾驶车辆ADV的结构。自动驾驶车辆ADV 包括动力系统V-110、传感器系统V-120、致动系统V-130、外围设备系统V-140、车辆计算系统V-150。在一些可能的设计中，自动驾驶车辆ADV车辆可以包括更多、更少或不同的单元，并且每个单元可以包括更多、更少或不同的组件。在一些可能的设计中，图7所示单元和组件还可以以任意的数量进行组合或划分。

动力系统V-110可以被配置为为车辆提供运动动力。动力系统V-110包括引擎 V-111、能量源V112、变速器V113和车轮V114中的一个或多个。

引擎V-111可以是内燃机、电机马达、蒸汽机和斯特林引擎的任何组合，也可以是其它马达和引擎。在一些可能的设计中，动力系统V-110可以包括多种类型的引擎和/或马达。例如，气电混合动力车可以包括汽油引擎和电动马达。

能量源V112可以是全部或部分地为引擎V-111提供动力的能量源V112。引擎 V-111可以被配置为将能量源V112转换成机械能。能量源V112可以包括汽油、柴油、丙烷、其它基于压缩气体的燃料、乙醇、太阳能电池板、电池和其它电力源。能量源 V112可以附加或可替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。在一些可能的设计中，能量源V112也可以为车辆的其它单元提供能量。

变速器V113可以被配置为将机械动力从引擎V-111发送到车轮V114。为此，变速器V113可以包括变速箱、离合器、差速器、驱动轴和/或其它原件。在变速器V113 包括驱动轴的实施例中，驱动轴可以包括被配置为耦合到车轮V114的一个或多个轮轴。

车轮V114可以被配置为任何形式，包括单轮、双轮、三轮、四轮、六轮等形式。其它车轮V114形式也是可能的，例如包括八个或更多车轮的形式。在任何情况下，车轮V114可以被配置为相对于其他车轮V114差速地旋转。在一些可能的设计中，车轮V114可以包括固定地附接到变速器V113的至少一个车轮，以及可以与路面面接触的、耦合到车辆的轮辋的至少一个轮胎。车轮V114可以包括金属和橡胶的任何组合，或者其它材料的组合。

动力系统V-110可以附加或可替换地包括除了前述组件之外的其它组件。

传感器系统V-120可以包括外部传感器V-121和内部传感器V-122。

外部传感器V-121可以包括被配置为感测车辆所处环境的信息的多个传感器，以及被配置为修改传感器的位置和/或方向的一个或多个致动器V1216。例如，外部传感器V-121可以包括位置传感器V1217、惯性传感器V1211、物体传感器V1212、图像传感器V1213中的一个或多个。

位置传感器V1217可以是估计车辆的地理位置的任何传感器，例如，全球定位系统GPS定位设备、载波相位差分RTK定位设备、北斗卫星定位系统定位设备、 GLONASS定位系统定位设备、Galileo定位系统定位设备、全球导航卫星系统GNSS 定位设备。位置传感器V1217可以包括估计车辆相对于地球的位置的收发器。

惯性传感器V1211可以是被配置为根据惯性加速度来感测车辆的位置和方向改变的任何传感器组合，例如惯性测量单元IMU。在一些可能的设计中，惯性传感器V1211 可以包括加速计和陀螺仪。

物体传感器V1212可以是使用无线电信号或激光信号来感测车辆所处环境中的物体的任何传感器，例如雷达、激光测距仪、激光雷达。在一些可能的设计中，除了感测物体之外，雷达和激光雷达还可以附加地感测物体的速度和/或行驶方向。在一些可能的设计中，物体传感器V1212可以包括发射无线电信号或激光信号的发射器以及检测无线电信号或激光信号的检测器。

图像传感器V1213可以包括任何相机(例如静态相机、视频相机等)，用于拍摄车辆所处环境的图像。

此外，外部传感器V-121还可以包括其它的传感器，例如用于检测物体距离的任何传感器，例如，声呐V1214、超声波传感器V-1216等。

内部传感器V-122可以包括被配置为检测与车辆的行驶状态相应的信息的多个传感器。例如，内部传感器V-122可以包括车速传感器V-1221、加速度传感器V-1222 以及横摆率传感器V-1223中的一个或多个。

车速传感器V-1221可以是检测车辆的速度的任何传感器。

加速度传感器V-1222可以是检测车辆的加速度的任何传感器。

横摆率传感器V-1223可以是检测车辆绕重心的铅垂轴的横摆率(旋转角速度)的任何传感器，例如，陀螺仪传感器。

在一些可能的设计中，为检测驾驶操作信息，内部传感器V-122还可以包括加速器踏板传感器V-1224、制动器踏板传感器V-1225以及方向盘传感器V-1226中的一个或多个。

加速器踏板传感器V-1224可以是检测加速器踏板的踩踏量的任何传感器，加速器踏板传感器V-1224例如设置于车辆的加速器踏板的轴部分。

制动器踏板传感器V-1225可以是检测制动器踏板的踩踏量的任何传感器，制动器踏板传感器V-1225例如设置于制动器踏板的轴部分。制动器踏板传感器V-1225也可以检测制动器踏板的操作力(对制动器踏板的踏力、主缸的压力等)。

方向盘传感器V-1226可以是检测方向盘的旋转状态的任何传感器，旋转状态的检测值例如是操舵转矩或舵角，方向盘传感器V-1226例如设置于车辆的转向轴。

此外，内部传感器V-122还可以包括其它的传感器，例如监测车辆内部各个组件的传感器(例如氧气监测器、燃油表、引擎油温度计等)。

在一些示例中，传感器系统V-120可以实施为多个传感器组合，每个传感器组合被配置为安装在车辆的相应位置上(例如，顶部、底部、前侧、后侧、左侧、右侧等)。

致动系统V-130可以被配置为控制车辆的驾驶行为。致动系统V-130可以包括转向模块V-131、节气门模块V-132、制动模块V-133中的一个或多个。

转向模块V-131可以是控制车辆的转向转矩(或操舵转矩)的任何设备组合。

节气门模块V-132可以是通过调整发动机的空气供给量(节气门开度)来达到控制引擎V-111的操作速度和控制车辆的速度的任何设备组合。

制动模块V-133可以是使车辆减速的任何设备组合，例如，制动模块V-133可以利用摩擦力来使车轮V114减速。

外围设备系统V-140可以被配置为使车辆与外部传感器V-121、其它车辆、外部计算设备和/或用户进行交互。例如，外围设备系统V-140可以包括无线通信装置 V-141、有线通信接口V-142、触屏显示器V-143、麦克风V-144和扬声器V-145中的一个或多个。

无线通信装置V-141可以被配置为直接地或无线地连接到动力系统V-110、传感器系统V-120、致动系统V-130、外围设备系统V-140和车辆计算系统V-150包括的一个或多个设备，以及直接地或无线地连接其它车辆、中控系统、枢纽服务区中的实体中的一种或多种。无线通信装置V-141可以包括基于无线通信技术通信的天线和芯片组，其中，无线通信技术可以包括全球移动通讯系统(Global System for Mobile Communications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(Code DivisionMultiple Access，CDMA)，宽带码分多址(Wideband Code Division Multiple Access，WCDMA)，时分码分多址(Time-Division Code Division Multiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，蓝牙(Blue Tooth， BT)，全球导航卫星系统(GlobalNavigation Satellite System，GNSS)，调频(Frequency Modulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术 (Infrared，IR)。GNSS可以包括全球卫星定位系统(Global Positioning System，GPS)，全球导航卫星系统(GlobalNavigation Satellite System，GLONASS)，北斗卫星导航系统(Beidou NavigationSatellite System，BDS)，准天顶卫星系统(Quasi-zenith Satellite System，QZSS)和/或星基增强系统(Satellite Based Augmentation Systems，SBAS)。

有线通信接口V-142可以被配置为直接地连接动力系统V-110、传感器系统V-120、致动系统V-130、外围设备系统V-140和车辆计算系统V-150包括的一个或多个设备，以及直接地连接其它车辆、中控系统、枢纽服务区中的实体中的一种或多种。有线通信接口V-142可以包括集成电路(Inter-Integrated Circuit，I2C)接口，集成电路内置音频(Inter-Integrated Circuit Sound，I2S)接口，脉冲编码调制(Pulse Code Modulation， PCM)接口，通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART) 接口，移动产业处理器接口(Mobile Industry Processor Interface，MIPI)，通用输入输出(General-Purpose Input/Output，GPIO)接口，用户标识模块(Subscriber IdentityModule， SIM)接口，和/或通用串行总线(Universal Serial Bus，USB)接口等。

触屏显示器V-143可以被用户用来向车辆输入命令。触屏显示器V-143可以被配置为通过电容感测、电阻感测或表面声波处理来感测用户手指的位置和、或位置的移动。触屏显示器V-143能够感测在平行或共面与触摸屏表面的方向、垂直与触摸屏表面的方向或者两个方向上的手指移动，并且还能够感测施加到触摸屏表面的压力水平。触屏显示器V-143可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触屏显示器V-143也可以被配置为其它形式。

麦克风V-144可以被配置为用于接收声音信号(例如，语音命令或其它音频输入)并将声音信号转换为电信号。

扬声器V-145可以被配置为输出音频。

外围设备系统V-140可以进一步或可替换地包括其他组件。

车辆计算系统V-150可以包括处理器V-151和数据存储装置V-152。

处理器V-151可以被配置为用于运行存储于数据存储装置V-152中的指令以执行各种功能，这些功能包括但不限于如下所述的定位融合模块V-1501、感知模块V-1502、行驶状态确定模块V-1503、导航模块V-1504、决策模块V-1505、行驶控制模块V-1506、任务接收模块V-1507对应的功能。处理器V-151可以包括通用处理器(例如CPU、 GPU)、专用处理器(例如专用集成电路(Application-specific integrated circuit，ASIC))、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、集成电路、微控制器等一个或多个的组合。在处理器V-151包括多个处理器V-151的情况下，这些处理器V-151 能够单独或组合地工作。

数据存储装置V-152可以包括一个或多个易失性计算机可读存储介质和/或一个或多个非易失性计算机可读存储介质，诸如光学、磁性和/或有机存储介质。数据存储装置V-152可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、电可编程存储器(EPROM)、电可编程和可擦除存储器(EEPROM)、嵌入式多媒体卡(eMMC)、硬盘驱动器或任何易失性或非易失性介质等中的一个或多个的组合。数据存储装置V-152可以整体或部分地与处理器V-151集成。数据存储装置V-152可以被配置为存储可由处理器V-151运行以执行各种功能的指令，其中，这些功能包括但不限于如下所述的定位融合模块V-1501、感知模块V-1502、行驶状态确定模块 V-1503、导航模块V-1504、决策模块V-1505、行驶控制模块V-1506、任务接收模块 V-1507对应的功能。

定位融合模块V-1501可以被配置为接收来自传感器系统V-120感测到的环境数据、位置数据或其他类型的数据，通过对这些数据进行时间戳对齐、融合计算等处理，得到融合后的环境数据和车辆位置数据。定位融合模块V-1501可以包括例如卡尔曼滤波器、贝叶斯网络，以及实现其它功能的算法。

感知模块V-1502可以被配置为接收定位融合模块V-1501计算的融合后的环境数据，并对其进行计算机视觉处理以识别车辆所处环境中的物体和/或特征，该物体和/ 或特征包括例如车道线、行人、其他车辆、交通信号、基础交通设施等。感知模块 V-1502可以使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪或其它计算机视觉技术。在一些可能的设计中，感知模块V-1502可以进一步地配置为对环境进行地图绘制、跟踪物体、估计物体的速度等。

行驶状态确定模块V-1503基于传感器系统V-120中的内部传感器V-122得到的数据识别车辆的行驶状态，例如包括车速、加速度或者横摆率。

任务接收模块V-1507可以被配置为接收任务，解析任务包含的装卸货地址、货物品类、装卸货时间等信息，并将这些信息发送给导航模块V-1504。

导航模块V-1504可以被配置为确定车辆的驾驶路径的任何单元。导航模块V-1504可以进一步地被配置为在车辆的操作时动态地更新驾驶路径。在一些可能的设计中，导航模块V-1504可以被配置为根据来自定位融合模块V-1501、定位传感器、物体传感器V1212、任务接收模块V-1507的处理结果和一个或多个预存的高精地图数据，为车辆确定行驶路径。

决策模块V-1505可以被配置为基于导航模块V-1504计算出的行驶路径、定位融合模块V-1501计算得到的车辆位置数据、以及感知模块V-1502识别出的车辆所处环境中的物体和/或特征，生成车辆的路点信息，路点信息中的路点是在行驶路径中车辆前进的轨迹点。

行驶控制模块V-1506可以被配置为接收决策模块V-1505产生的路点信息，并根据路点信息控制致动系统V-130，以使得车辆按照路点信息行驶。

数据存储装置V-152还可以被配置为存储其他的指令，包括将数据发送到动力系统V-110、传感器系统V-120、致动系统V-130和/或外围设备系统V-140中的一个或多个，从其中接收数据，与其交互，和/或对其进行控制的指令。数据存储装置V-152 还可以被配置为存储其他的指令。例如，数据存储装置V-152可以存储用于控制变速器V113的操作以改善燃料效率的指令，可以存储用于控制图像传感器V1213拍摄环境图像的指令，可以存储用于根据物体传感器V1212感测的数据生成车辆所处环境的三维图像的指令，以及，可以存储用于将麦克风V-144转换得到的电信号识别成语音命令的指令。

数据存储装置V-152还可以被配置为存储其他的指令。除存储指令之外，数据存储装置V-152还可以被配置为存储多种信息，例如图像处理参数、训练数据、高精地图、路径信息等。在车辆以自动模式、半自动模式、手动模式运行的期间，这些信息可以被动力系统V-110、传感器系统V-120、致动系统V-130和外围设备系统V-140、车辆计算系统V-150中的一个或多个所使用。

车辆计算系统V-150可以通过系统总线、网络和/或其它连接机制通信连接到动力系统V-110、传感器系统V-120、致动系统V-130和外围设备系统V-140中的一个或多个。

车辆计算系统V-150可以通过数据线直接地或通过无线通信技术无线地连接外围设备系统V-140中的无线通信装置V-141，然后通过无线通信装置V-141无线地连接枢纽服务区和/或中控系统。

车辆计算系统V-150也可以是多个计算装置，这些计算装置分布式地控制车辆的个别组件或者个别系统。

车辆计算系统V-150可以附加地或可替换地包括其它的组件。

图7介绍了自动驾驶车辆100的功能框图，下面介绍自动驾驶车辆100中的车辆计算系统V-150。

车辆计算系统V-150包括处理器E-100，处理器E-100和系统总线E-000耦合。处理器E-100可以是任何传统处理器，包括精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器或上述的组合。可选的，处理器E-100可以是诸如专用集成电路(ASIC)的专用装置。处理器E-100可以是一个或者多个处理器，其中，每个处理器都可以包括一个或多个处理器核。

系统内存E-900和系统总线E-000耦合。运行在系统内存E-900的数据可以包括车辆计算系统V-150的操作系统E-901和应用程序E-904。

操作系统E-901包括壳(Shell)E-902和内核(kernel)E-903。壳E-902是介于用户和操作系统之内核E-903间的一种接口，是操作系统最外面的一层。壳E-902管理用户与操作系统之间的交互，等待用户的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。

内核E-903由操作系统E-901中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、I/O管理等等。

应用程序E-904包括自动驾驶相关程序E-905，例如管理自动驾驶车辆100和路上障碍物交互的程序，控制自动驾驶装置的行车路线或者速度的程序，控制自动驾驶车辆100和路上其他自动驾驶装置交互的程序。应用程序E-904也存在于软件部署服务器的系统上。当需要执行应用程序E-904时，车辆计算系统V-150可以从软件部署服务器下载应用程序E-904。

系统总线E-000通过总线桥E-200和I/O总线E-300耦合。I/O总线E-300与I/O 接口E-400耦合。I/O接口E-400连接有USB接口E-500和多种I/O设备进行通信，这些I/O设备例如是输入设备、媒体盘、收发器、摄像头、传感器等。其中，输入设备例如是键盘、鼠标、触摸屏等；媒体盘例如是CD-ROM、多媒体接口等；收发器用于发送和/或接受无线电通信信号；摄像头用于捕捉景田和动态数字视频图像；传感器可以是图7中传感系统包含的各类传感器，用于探测车辆计算系统V-150周围的环境，并将所感测的信息提供给车辆计算系统V-150。

硬盘驱动器E-800通过硬盘驱动器接口和系统总线E-000耦合。

显示适配器E-700与系统总线E-000耦合，用以驱动显示器。

车辆计算系统V-150可以通过网络接口E-600和软件部署服务器通信。网络接口E-600是硬件网络接口，例如网卡。网络可以是外部网络，例如因特网，也可以是内部网络，例如以太网或者虚拟私人网络(VPN)，还可以是无线网络，例如WiFi网络，蜂窝网络等。

车辆计算系统V-150可以包括车载执行设备，该车载执行设备可以包括一个或多个第一处理器、一个或多个第一存储器、以及存储在第一存储器上并可在第一处理器上运行的计算机指令。当第一处理器在运行第一存储器中的计算机指令时，执行本申请提供的各种实施例中车载执行设备对应的功能。其中，第一处理器可以被配置为处理器V-151中的一个或多个通用处理器(例如CPU、GPU)，一个或多个专用处理器 (例如ASIC)，一个或多个现场可编程门阵列(FPGA)，一个或多个数字信号处理器(DSP)，一个或多个集成电路，和/或，一个或多个微控制器等。第一存储器可以被配置为数据存储装置V-152中的一个或多个只读存储器(ROM)，一个或多个随机存取存储器(RAM)，一个或多个闪速存储器，一个或多个电可编程存储器(EPROM)，一个或多个电可编程和可擦除存储器(EEPROM)，一个或多个嵌入式多媒体卡 (eMMC)，和/或，一个或多个硬盘驱动器等。车载执行设备对应的功能可以实现为一种计算机程序产品，当该计算机程序产品在计算机上运行时，实现车载执行设备对应的功能。

图8所示为自动驾驶车辆和车载执行设备的一种可能的示例，如图8所示，该自动驾驶车辆中配置有车载执行设备，该车载执行设备包括第一处理器，第一存储器，以及存储在第一存储器上并可在第一处理器上运行的计算机指令。当第一处理器在运行第一存储器中的计算机指令时，执行如下步骤对应的方法：S91，通过车端模型获得推理结果；S92，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据；S93，将正在使用的车端模型迭代为训练后的车端模型；其中，所述训练后的车端模型是由云端执行设备通过对所述对车端模型性能提升有价值的数据进行优化、并利用优化结果对车端模型进行训练得到的模型。

基于相同的发明思想，本申请实施例还提供一种云端执行设备，图9所示，云端执行设备可以包括一个或多个第二处理器、一个或多个第二存储器、以及存储在第二存储器上并可在第二处理器上运行的计算机指令。当第二处理器在运行第二存储器中的计算机指令时，执行本申请提供的各种实施例中云端执行设备对应的功能。其中，第二处理器可以被配置为一个或多个通用处理器(例如CPU、GPU)，一个或多个专用处理器(例如ASIC)，一个或多个现场可编程门阵列(FPGA)，一个或多个数字信号处理器(DSP)，一个或多个集成电路，和/或，一个或多个微控制器等。第二存储器可以被配置为一个或多个只读存储器(ROM)，一个或多个随机存取存储器 (RAM)，一个或多个闪速存储器，一个或多个电可编程存储器(EPROM)，一个或多个电可编程和可擦除存储器(EEPROM)，一个或多个嵌入式多媒体卡(eMMC)，和/或，一个或多个硬盘驱动器等。云端执行设备对应的功能可以实现为一种计算机程序产品，当该计算机程序产品在计算机上运行时，实现云端执行设备对应的功能。

图9所示为云端执行设备的一种可能的示例，包括第二处理器，第二存储器，以及存储在第二存储器上并可在第二处理器上运行的计算机指令。当第二处理器在运行第二存储器中的计算机指令时，执行如下步骤对应的方法：S101，采集对车端模型性能提升有价值的数据；S102，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型；S103，将车载执行设备正在使用的车端模型迭代为训练后的车端模型。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种模型自动化迭代方法，其特征在于，包括：

使用车端计算资源通过车端模型获得推理结果；

2.根据权利要求1所述的方法，其特征在于，所述车端模型包括如下一种或多种：

用于目标检测的模型；

用于行为预测的模型；

用于决策规划的模型。

3.根据权利要求1所述的方法，其特征在于，所述车端模型采用具有多任务、轻量级特征的网络结构。

4.根据权利要求1所述的方法，其特征在于，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据，包括：

根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据；

其中，所述时空同步信息包括与车端模型推理的结果在时间及空间上存在同步关系的环境数据、地图数据、车身状态数据、驾驶员操作数据中的一种或多种。

5.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

利用车端模型推理的结果及其时空同步信息构建场景；

确定已有场景库中缺少所述场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

6.根据权利要求5所述的方法，其特征在于，确定已有场景库中缺少所述场景时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：

使用车端计算资源，按照预定的编码规则对所述场景进行编码；

使用云端计算资源将场景编码与已有场景库对应的编码库进行比对；

根据比对结果确定已有场景库的编码库中缺少所述场景编码时，命令车端计算资源将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据上传给云端计算资源。

7.根据权利要求5所述的方法，其特征在于，确定已有场景库中缺少所述场景，包括：

确定已有场景库中缺少所述场景对应的类别；或者，

确定已有场景库中存在所述场景对应的类别，但已有场景库中该类别下的数据量未达到预定数量。

8.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

9.根据权利要求8所述的方法，其特征在于，监测到车端模型推理的结果和/或时空同步信息存在异常，包括下述至少一种：

确定车端模型推理的结果和/或时空同步信息不属于常规场景；

对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果未达到预定的一致性下限；

确定车端模型推理的结果与期望值不匹配。

10.根据权利要求8所述的方法，其特征在于，监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：

使用车端计算资源监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息上传给云端计算资源。

11.根据权利要求4所述的方法，其特征在于，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

确定车端模型推理的结果与期望值相匹配，且匹配度达到预定的匹配阈值时，或者，对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果达到预定的一致性上限时；

将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集。

12.根据权利要求11所述的方法，其特征在于，确定车端模型推理的结果与期望值相匹配，且匹配度达到预定匹配阈值时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，包括：

使用车端计算资源确定车端模型推理的结果与期望值相匹配，且匹配度达到预定匹配阈值时，将车端模型推理的结果及其时空同步信息上传给云端计算资源。

13.根据权利要求1所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：

使用云端计算资源通过数据驱动模型对所述对车端模型性能提升有价值的数据进行标注，并利用标注结果训练车端模型；其中，所述数据驱动模型为深度学习模型或传统机器学习模型。

14.根据权利要求1所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：

使用云端计算资源，利用数学规划模型对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型。

15.根据权利要求13所述的方法，其特征在于，所述数据驱动模型包括包括如下一种或多种：

用于目标检测的模型；

用于行为预测的模型；

用于决策规划的模型。

16.根据权利要求13所述的方法，其特征在于，所述数据驱动模型为具有单任务、深层次特征的网络结构的深度学习模型。

17.根据权利要求13所述的方法，其特征在于，所述方法还包括：

利用优化结果训练数据驱动模型；

将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型。

18.根据权利要求1所述的方法，其特征在于，将车端计算资源正在使用的车端模型迭代为训练后的车端模型，包括：

对训练后的车端模型进行测试；

确定训练后的车端模型的测试指标高于车端计算资源正在使用的车端模型的测试指标时，将车端计算资源正在使用的车端模型迭代为训练后的车端模型。

19.根据权利要求16所述的方法，其特征在于，将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型，包括：

对训练后的数据驱动模型进行测试；

确定训练后的数据驱动模型的测试指标高于云端计算资源正在使用的数据驱动模型的测试指标时，将云端计算资源正在使用的数据驱动模型迭代为训练后的数据驱动模型。

20.一种车端模型自动化迭代方法，其特征在于，包括：

通过车端模型获得推理结果；

21.根据权利要求20所述的方法，其特征在于，所述车端模型包括如下一种或多种：

用于目标检测的模型；

用于行为预测的模型；

用于决策规划的模型。

22.根据权利要求20所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果，采集对车端模型性能提升有价值的数据，包括：

与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据；

23.根据权利要求22所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

利用车端模型推理的结果及其时空同步信息构建场景，并将所述场景上传给云端计算资源；

接收到云端计算资源下发的命令时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，并上传给云端计算资源，其中，云端计算资源在确定已有场景库中缺少所述场景时下发所述命令。

24.根据权利要求23所述的方法，其特征在于，

将所述场景上传给云端计算资源，包括：

按照预定的编码规则对所述场景进行编码，并将场景编码上传给云端计算资源；

接收到云端计算资源下发的命令时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，并上传给云端计算资源，其中，云端计算资源在确定已有场景库中缺少所述场景时下发所述命令，包括：

接收到云端计算资源下发的命令时，将车端模型推理的结果及其时空同步信息上传给云端计算资源；其中，云端计算资源在将所述场景编码与已有场景库对应的编码库进行比对后，确定已有场景库中缺少所述场景编码时，发送所述命令。

25.根据权利要求22所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定对车端模型性能提升有价值的数据并进行采集，包括：

监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，并上传给云端计算资源。

26.根据权利要求25所述的方法，其特征在于，监测到车端模型推理的结果和/或时空同步信息存在异常，包括：

对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果未达到预定的一致性要求时；

确定车端模型推理的结果与期望值不匹配。

27.根据权利要求25所述的方法，其特征在于，与云端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定对车端模型性能提升有价值的数据并进行采集，包括：

确定车端模型推理的结果与期望值相匹配，且匹配度达到预定的匹配阈值时，或者，对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果达到预定的一致性要求时；

将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集，并上传给云端计算资源。

28.一种云端模型自动化迭代方法，其特征在于，包括：

与车端计算资源相配合，将车端计算资源正在使用的车端模型迭代为训练后的车端模型。

29.根据权利要求28所述的方法，其特征在于，与车端计算资源相配合，根据车端计算资源通过车端模型推理的结果，采集对车端模型性能提升有价值的数据，包括：

与车端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据；

30.根据权利要求29所述的方法，其特征在于，与车端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

接收车端计算资源上传的场景，其中，车端计算资源利用车端模型推理的结果及其时空同步信息构建所述场景；

确定已有场景库中缺少所述场景时，命令车端计算资源将车端模型推理的结果及其时空同步信息作为对车端模型性能提升有价值的数据进行采集并上传。

31.根据权利要求29所述的方法，其特征在于，

接收车端计算资源上传的场景，包括：

接收车端计算资源上传的场景编码，所述场景编码是车端计算资源按照预定的编码规则对所述场景进行编码得到的；

确定已有场景库中缺少所述场景，包括：

确定已有场景库对应的编码库中缺少所述场景编码。

32.根据权利要求29所述的方法，其特征在于，与车端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

接收车端计算资源上传的车端模型推理的结果及其时空同步信息，其中，车端计算资源在监测到车端模型推理的结果和/或时空同步信息存在异常时，将车端模型推理的结果及其时空同步信息作为所述对车端模型性能提升有价值的数据进行上传。

33.根据权利要求29所述的方法，其特征在于，与车端计算资源相配合，根据车端模型推理的结果及其时空同步信息，确定并采集对车端模型性能提升有价值的数据，包括：

接收车端计算资源上传的车端模型推理的结果及其时空同步信息，其中，车端计算资源在确定车端模型推理的结果与期望值相匹配，且匹配度达到预定的匹配阈值时，或者，对基于不同算法逻辑得到的车端模型推理的结果进行一致性检验，确定检验结果达到预定的一致性上限时，将车端模型推理的结果及其时空同步信息作为所述对车端模型性能提升有价值的数据进行上传。

34.根据权利要求28所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：

通过数据驱动模型对所述对车端模型性能提升有价值的数据进行标注，并利用标注结果训练车端模型；其中，所述数据驱动模型为深度学习模型或传统机器学习模型。

35.根据权利要求28所述的方法，其特征在于，对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型，包括：

利用数据规划模型对所述对车端模型性能提升有价值的数据进行优化，并利用优化结果训练车端模型。

36.一种车端执行设备，其特征在于，包括：

所述车端计算模块还用于与云端执行设备相配合，将配置的车端模型迭代为训练后的车端模型。

37.一种云端执行设备，其特征在于，包括：

训练模块，用于利用优化结果训练车端模型；

38.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求20-27中任意一项所述方法的步骤。

39.一种自动驾驶车辆，其特征在于，包括根据权利要求38所述的电子设备。

40.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求20-27中任意一项所述方法的步骤。

41.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求28-35中任意一项所述方法的步骤。

42.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求28-35中任意一项所述方法的步骤。