CN112712608B - 用于通过车辆收集性能数据的系统和方法 - Google Patents

Abstract

本申请涉及用于通过车辆收集性能数据的系统和方法。提供了系统地识别和收集可操作的车辆数据以选择性传输到非本地存储位置以供进一步分析和在训练自主和半自主车辆中使用的系统和方法。所提供的系统和方法通过仅选择性地存档需要进一步分析的收集的驾驶数据来克服收集的数据的存储和传输中的限制。

Description

用于通过车辆收集性能数据的系统和方法

技术领域

本公开涉及数据收集和处理，更特别地涉及基于预测的模型中的性能测量的通过自主或半自主车辆的数据收集。

背景技术

自主和半自主车辆生成并收集大量数据。审查由这种车辆收集的数据以审查由该车辆采取的重要动作以及采取这些动作的原因可以是有利的。但是，车辆可能没有本地资源来存储所有这种数据并将所有这种数据提供给云服务器以供审查。即，由于车辆的存储限制、传输限制(诸如不可用的传输连接或到云服务器的低带宽传输)或所需要的传输的高成本，不能将由车辆生成的数据量高效地并且准确地传输到非本地服务器。

发明内容

本公开的各方面提供了系统地识别和收集可操作的车辆数据以选择性地传输到非本地存储位置以供进一步分析以及在训练自主和半自主车辆中使用的系统和方法。根据一个方面，提出了一种测量车辆的性能的方法。可以将预定义的模型应用于车辆的操作。可以从车辆收集操作数据，并且可以从操作数据生成性能测量结果。可以基于性能测量结果确定增益，如果增益满足阈值，那么可以将操作数据存档。

根据本公开的另一方面，公开了一种用于测量车辆的性能的系统。该系统可以包括被配置为生成预测的模型的预测器和被配置为检测来自车辆的操作数据的检测器。处理器可以被配置为将预测的模型应用于车辆的操作、从操作数据生成性能测量结果并基于性能测量结果确定增益。数据收集器可以被配置为如果增益满足阈值就将操作数据存档。

根据另一方面，公开了一种其上记录有用于确定车辆的性能测量结果的程序代码的非暂态计算机可读介质。该程序代码可以由处理器执行，并且包括用于将预定义的模型应用于车辆的操作的程序代码、用于从车辆收集操作数据的程序代码，以及用于从操作数据生成性能测量结果的程序代码。非暂态计算机可读介质还可以包括用于基于性能测量结果确定增益的程序代码；以及用于如果增益满足阈值就将操作数据存档的程序代码。

这已经相当广泛地概述了本公开的特征和技术优点，以便可以更好地理解以下的详细描述。下面将描述本公开的附加特征和优点。本领域技术人员应该理解的是，本公开可以容易地用作修改或设计用于执行本公开的相同目的的其它结构的基础。本领域技术人员还应该认识到，这样的等同构造没有脱离所附权利要求中阐述的本公开的教导。当结合附图考虑时，将从以下描述中更好地理解就其组织和操作方法而言被认为是本公开的特性的新颖特征以及进一步的目的和优点。但是，应当明确地理解，提供附图中的每个图仅出于说明和描述的目的，并且不旨在作为对本公开的限制的定义。

附图说明

当结合附图时，根据下面阐述的详细描述，本公开的特征、性质和优点将变得更加明显，在附图中，相同的附图标记通篇对应地识别。

图1描绘了根据本公开的一方面的生成性能测量结果的方法；

图2描绘了根据本公开的一方面的生成预测的轨迹的性能测量结果的方法；

图3描绘了根据本公开的各方面的用于动态地图生成系统的硬件实现。

具体实施方式

结合附图，以下阐述的详细描述旨在作为各种配置的描述，而并非旨在表示其中可以实践本文描述的概念的唯一配置。详细描述包括用于提供对各种概念的透彻理解的具体细节。但是，对于本领域技术人员而言明显的是，可以在没有这些具体细节的情况下实践这些概念。在一些情况下，以框图形式示出了众所周知的结构和组件，以避免使这些概念模糊。

本公开的各方面提供了系统和方法，该系统和方法通过选择性地仅将需要进一步分析(例如，为了确定自我车辆是否未正确理解环境、自我车辆(即使对环境有正确的了解)是否执行了错误的操作或做出了错误的预测，或者另一个道路代理的驾驶员是否做出了意外操纵)的收集的行驶数据存档来克服收集的数据的存储和传输的限制。

根据本公开的一个方面，车辆中的系统(在本文中称为自我车辆)可以基于模型(诸如轨迹预测或路线计划模型)的生成的性能测量结果来识别和选择收集的用于存档的驾驶数据。图1描绘了根据本公开的一个方面的识别和收集用于存档的数据的示例性方法100。

如框102中所示，系统可以生成并应用基于来自数据源(诸如本地或非本地数据存储库104)的收集的数据而被训练的操作模型。数据存储库104可以是驻留在自我车辆上的本地数据存储库、诸如云服务器之类的远程数据存储库，或者与自我车辆系统通信的其它存储设备。数据存储库104还可以包括组合或者任何本地或远程分布式数据存储库。通过将生成的模型应用于车辆的操作环境，如本文中更详细描述的车载传感器可以收集与在车辆操作或被操作时的车辆性能相关的操作和环境数据。

系统可以基于收集的操作和环境数据来生成性能测量结果，如框108中所示。例如，性能测量结果可以被定义为在先前收集的驾驶数据上训练的模型的信息增益。代表已经已知的环境和行为的数据对人工智能系统和过程几乎没有价值。已知数据可能已内置到现有模型中，并且自我车辆可能已经根据该数据进行了操作。因此，相同或基本相似的数据的收集和分析可以是重复的，并且对于再次保存、传输和分析而言在计算上可以是昂贵的。

另一方面，实质上不同或新的数据给模型和训练系统带来更大的价值，因为新数据可以向训练系统提供附加数据，可以在该附加数据上训练人工智能系统以用于在后续操作和车辆中的未来部署。如框110和112中所示，系统可以确定信息的增益并将该增益与预定义的阈值进行比较。如果收集的操作和环境数据导致足够的估计的信息增益，那么系统可以选择收集的数据进行存档。该阈值可以指示收集的数据与未基于收集的数据进行训练的模型的已知数据之间的差异是否足以保证车外存档和传输以供以后使用的成本以及计算工作量是正当的。

如框114中所示，如果收集的数据不超过阈值，那么可以允许该数据到期。数据的到期可以是系统为了从本地存储装置或缓冲区中删除数据而采取的肯定动作，或者它可以通过允许在存储装置或缓冲区中覆写数据而采取更被动的方法。如果收集的数据确实指示足够的信息增益(即，达到或超过阈值)，那么系统可以选择或标记此类数据以进行存档，如框118中所示。一旦已经识别出数据并将数据标记为要存档的数据，系统就可以将选择的数据传输到非本地数据存储库(诸如云服务器或其它远程数据存储位置)。选择的数据的传输可以与将其标识为可存档的数据基本同时进行，如果存在用于这样做的资源的话。可替代地，该系统可以被配置为在本地存储数据，直到指示检索操作为止(诸如该系统可以访问必要网络资源或者它是从自我车辆手动下载并上传到服务器的)。

根据本公开的另一方面，在自我车辆处定义和生成的性能测量结果可以包括车辆(自我车辆或其它道路代理)的预测的轨迹与该车辆的实际轨迹之间的差异。如果预测的轨迹与实际轨迹之间的差异超过阈值差异，那么自我车辆可以识别收集的用于存档的驾驶数据。图2描绘了根据一个这样的性能测量结果来生成存档数据的方法200。自我车辆可以包括轨迹预测器、轨迹检测器和数据收集器。

如框202中所示，预测的轨迹模型可以被生成并被应用于自我车辆的车载系统。该模型可以从来自本地或非本地数据存储库204的数据获得或使用该数据生成，如本文所述。可以基于先前收集的驾驶数据、环境数据以及在自我车辆上或外部生成的其它模型来生成自我车辆的预测的轨迹。轨迹预测器被配置为生成车辆的预测的轨迹，其可以是自我车辆或另一个道路代理，并且可以生成指示车辆将采用该预测的轨迹的概率的概率水平。根据一个方面，轨迹预测器可以计算多个预测的轨迹和相应的概率水平，并且生成的预测的轨迹可以采取(具有相应的概率水平的)计算出的预测的轨迹之一的形式。

如框206中所示，当自我车辆根据预测的轨迹模型进行操作时，自我车辆可以开始收集车辆数据。自我车辆可以并发地或随后将与自我车辆采取的实际轨迹相关联的收集的车辆数据与模型的预测的轨迹进行比较，如框208中所示。轨迹检测器可以被配置为确定车辆采取的实际轨迹。检测器可以包括一个或多个传感器，诸如本文所述的LIDAR、RADAR、相机、光电传感器。检测器可以被配置为基于由传感器提供的信息来确定轨迹。

如框208中所示，系统可以将预测的轨迹与车辆实际采取的轨迹进行比较，并且如框210中所示，确定轨迹之间的差异。根据一个方面，数据收集器被配置为基于生成的预测的轨迹与实际轨迹之间的差异水平来选择获得的驾驶数据以进行收集，并且收集选择的驾驶数据。数据收集器可以基于预测的轨迹的差异水平和概率水平两者来选择获得的驾驶数据以进行收集。如本文所述，收集选择的数据可以包括将驾驶数据存储在自我车辆的数据存储装置上、将驾驶数据(例如，经由无线传输)发送到云服务器或这些的任意组合，以及其它可能性。

在一个实施例中，如果差异水平超过阈值量，那么数据收集器选择获得的驾驶数据以进行收集，如框212中所示。例如，预测的轨迹可以是概率预测，其概率水平指示车辆将采用预测的轨迹的高概率。如框214中所示，如果数据收集器确定高概率轨迹与实际轨迹之间的差异水平超过阈值量(指示高概率轨迹与实际轨迹之间的相对相异性)，那么数据收集器可以响应性地选择获得的驾驶数据并存储它以供检索或传输，如框216和218中所示。如果数据未超出阈值，如框220中所示，那么如本文所述可以允许它到期。

根据另一方面，如果差异水平低于阈值量，那么数据收集器可以选择获得的驾驶数据以进行收集。例如，预测的轨迹可以是概率预测，其概率水平指示车辆将采用预测的轨迹的低概率。如果数据收集器确定低概率轨迹与实际轨迹之间的差异水平低于阈值量(指示低概率轨迹与实际轨迹之间的相对相似性)，那么数据收集器可以响应性地选择获得的驾驶数据。

根据一个方面，由轨迹预测器生成预测的轨迹的时间可以与由轨迹检测器确定实际轨迹的时间不同。因而，差异水平可以反映(例如)刚采取的实际轨迹与几秒钟前(或者可能另一个指定的时间之前)预测的轨迹之间的差异。

根据一个方面，数据收集器可以基于差异水平来选择要收集获得的驾驶数据中的哪一个。例如，如果差异水平指示预测的轨迹与实际轨迹之间的相对大的差异，那么数据收集器可以选择较大量的获得的数据以进行收集。如果差异水平指示相对小的差异，那么数据收集器可以选择较少量的数据以进行收集。因而，收集的数据量可以与确定预测的轨迹与实际轨迹为何不同所需的数据量成比例。

图3是图示根据本公开的各方面的用于性能测量系统300的硬件实现的示例的图。性能测量系统300可以是车辆的组件、机器人设备或其它设备。例如，如图3所示，性能测量系统300可以是汽车328的组件。本公开的各方面不限于性能测量系统300作为汽车328的组件，因为还预期其它设备，诸如公共汽车、船、无人机、模拟器或机器人来使用性能测量系统300。汽车328可以是自主的或半自主的。

性能测量系统300可以用通常由总线330表示的总线体系架构来实现。总线330可以包括任意数量的互连总线和桥接器，这取决于性能测量系统300的特定应用和总体设计约束。总线330可以将包括一个或多个处理器和/或硬件模块的各种电路链接在一起，这些处理器和/或硬件模块由处理器320、通信模块322、定位模块318、传感器模块302、运动(locomotion)模块326、计划模块324和计算机可读介质314代表。总线330还可以链接各种其它电路，诸如定时源、外围设备、电压调节器和电源管理电路，这些在本领域中是众所周知的，因此将不再赘述。

性能测量系统300可以包括耦合到处理器320的收发器316、传感器模块302、性能测量模块308、数据收集器312、通信模块322、定位模块318、运动模块326、计划模块324和计算机可读介质314。收发器316耦合到天线334。收发器316通过传输介质与各种其它设备通信。例如，收发器316可以经由传输从用户或远程设备接收命令。作为另一个示例，收发器316可以将驾驶统计数据和信息从地图生成器308传输到服务器(未示出)。

性能测量模块308可以包括耦合到计算机可读介质314的处理器320。处理器320可以执行处理，包括执行存储在提供根据本公开的功能的计算机可读介质314上的软件。该软件在由处理器320执行时使性能测量系统300执行针对特定设备(诸如汽车328或模块302、308、314、316、318、320、322、324、326中的任何一个)描述的各种功能。计算机可读介质314还可以用于存储在执行软件时由处理器320操纵的数据。

传感器模块302可以用于经由不同的传感器(诸如第一传感器306、第二传感器304和第三传感器310)获得测量结果。第一传感器306可以是用于捕获2D图像的视觉传感器，诸如立体相机或红绿蓝(RGB)相机。第二传感器304可以是测距传感器，诸如光检测和测距(LIDAR)传感器或无线电检测和测距(RADAR)传感器。第三传感器310可以包括用于捕获汽车328的内部环境的原始视频或图像的车内(in-cabin)相机。当然，本公开的各方面不限于上述传感器，因为对于传感器304、306中的任一个，其它类型的传感器也是预期的，诸如例如，热、声纳和/或激光传感器。传感器304、306、310、306的测量结果可以由处理器320、传感器模块302、性能测量模块308、通信模块322、定位模块318、运动模块326、计划模块324结合计算机可读介质314进行处理，以实现本文描述的功能。在一种配置中，由第一传感器306和第二传感器304捕获的数据可以经由收发器316传输到外部设备。传感器304、306、310可以耦合到汽车328或者可以与汽车328通信。

定位模块318可以用于确定汽车328的位置。例如，定位模块318可以使用全球定位系统(GPS)来确定汽车328的位置。通信模块322可以用于促进经由收发器316的通信。例如，通信模块322可以被配置为经由诸如WiFi、长期演进(LTE)、3G等之类的不同无线协议来提供通信能力。通信模块322还可以用于与汽车328的不是性能测量模块308的模块的其它组件通信。

运动模块326可以用于促进汽车328的运动。作为示例，运动模块326可以控制车轮的移动。作为另一个示例，运动模块326可以与汽车328的动力源(诸如发动机或电池)通信。当然，本公开的各方面不限于经由车轮来提供运动，并且预期用于提供运动的其它类型的组件，诸如螺旋桨、踏板、翅片和/或喷气发动机。

性能测量系统300还可以包括计划模块324，该计划模块324用于计划预测的路线或轨迹或经由运动模块326控制汽车328的运动。在一种配置中，当预计(例如，预测)用户输入引起碰撞时，计划模块324覆盖用户输入。这些模块可以是运行在处理器320中、驻留/存储在计算机可读介质314中的软件模块、耦合到处理器320的一个或多个硬件模块或其某种组合。

性能测量模块可以与传感器模块302、收发器316、处理器320、通信模块322、定位模块318、运动模块326、计划模块324和计算机可读介质314通信。在一种配置中，性能测量模块308可以从传感器模块302接收传感器数据。传感器模块302可以从传感器304、306、310接收传感器数据。根据本公开的各方面，传感器模块302可以对数据进行过滤以去除噪声、对数据进行编码、对数据进行解码、对数据进行合并、提取帧或执行其它功能。在替代配置中，地图生成器308可以直接从传感器304、306、310接收传感器数据。

如图3中所示，性能管理模块308可以与计划模块324和运动模块326通信，以生成路线图、计划预测的路线并根据预测路线或轨迹来操作汽车328。如本文所述，性能测量模块308可以分析来自传感器模块302和其它模块的数据，以确定可以由数据收集器312选择和存档哪些数据(如果有的话)，以进行检索以及后续的分析和使用。性能测量模块308可以将来自传感器模块302的传感器数据与已知数据集进行比较，该已知数据集包括汽车328当前正按照其操作的模型或轨迹。如果数据收集器312和性能测量模块308根据系统获得或计算出的性能测量结果确定收集的数据是重要的，那么数据收集器312可以标记或以其它方式指示要对数据进行存档以卸载(offload)系统，如本文所述。

基于这些教导，本领域的技术人员应该认识到的是，本公开的范围旨在覆盖本公开的任何方面，无论是独立于本公开的任何其它方面实现还是与本公开的任何其它方面组合地实现。例如，可以使用阐述的方面中的任何数量的方面来实现一种装置或实践一种方法。另外，本公开的范围旨在覆盖使用附加于所阐述的本公开的各个方面或不同于所阐述的本公开的各个方面的其它结构、功能、或结构和功能来实践的装置或方法。应该理解的是，本公开的任何方面可以通过权利要求的一个或多个要素来实施。

词“示例性”在本文中用来表示“用作示例、实例或图示”。本文中被描述为“示例性”的任何方面不必被解释为比其它方面优选或有利。

虽然本文描述了特定方面，但是这些方面的许多变化和置换都落入本公开的范围内。虽然提到了优选方面的一些益处和优点，但是本公开的范围并不旨在限于特定的益处、用途或目的。相反，本公开的各方面旨在广泛地适用于不同的技术、系统配置、网络和协议，这些中的一些以示例的方式在各图和以下优选方面的描述中示出。详细描述和附图仅是本公开的说明而不是限制，本公开的范围由所附权利要求及其等同物限定。

如本文所使用，术语“确定”涵盖各种各样的动作。例如，“确定”可以包括演算(calculating)、计算(computing)、处理、推导、调查、查找(例如，在表、数据库或另一个数据结构中查找)、确认等。另外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选取(selecting)、选择(choosing)、建立等。

如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。

结合本公开描述的各种说明性逻辑块、模块和电路可以用专门被配置为执行本公开中讨论的功能的处理器来实现或执行。处理器可以是神经网络处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑器件(PLD)、离散门或晶体管逻辑、被设计为执行本文描述的功能的分立硬件组件或其任何组合。替代地，处理系统可以包括一个或多个神经形态处理器，用于实现本文描述的神经元模型和神经系统模型。处理器可以是如本文所述特别配置的微处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器，或者这样的其它特殊配置，如本文所描述的。

结合本公开描述的方法或算法的步骤可以直接实施在硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在存储装置或机器可读介质中，包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储设备、或可以用于以指令或数据结构形式携带或存储期望的程序代码并且可以由计算机访问的任何其它介质。软件模块可以包括单条指令或多条指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨多个存储介质分布。存储介质可以耦合到处理器，使得处理器可以从存储介质读取信息，并且可以向存储介质写入信息。替代地，存储介质可以与处理器集成在一起。

本文公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非指定了步骤或动作的特定顺序，否则可以修改特定步骤和/或动作的顺序和/或使用而不脱离权利要求的范围。

可以用硬件、软件、固件或其任何组合来实现所描述的功能。如果用硬件实现，那么示例硬件配置可以包括设备中的处理系统。处理系统可以用总线体系架构来实现。总线可以包括任意数量的互连总线和桥接器，这取决于处理系统的具体应用和总体设计约束。总线可以将包括处理器、机器可读介质和总线接口的各种电路链接在一起。总线接口可以用于经由总线将网络适配器等连接到处理系统。网络适配器可以用于实现信号处理功能。对于某些方面，用户接口(例如，小键盘、显示器、鼠标、操纵杆等)也可以连接到总线。总线也可以链接各种其它电路，诸如定时源、外围设备、电压调节器、电源管理电路等，这些在本领域中是众所周知的，因此不再赘述。

处理器可以负责管理总线和处理，包括执行存储在机器可读介质上的软件。软件应被解释为表示指令、数据或其任何组合，无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它。

在硬件实施方式中，机器可读介质可以是与处理器分离的处理系统的一部分。但是，如本领域技术人员将容易理解的，机器可读介质或其任何部分可以在处理系统外部。举例来说，机器可读介质可以包括传输线、由数据调制的载波和/或与设备分开的计算机产品，所有这些都可以由处理器通过总线接口来访问。替代地或附加地，机器可读介质或其任何部分可以被集成到处理器中，诸如这种情况可以是具有高速缓存和/或专用寄存器文件的情况。虽然所讨论的各种组件可能被描述为具有特定位置，诸如本地组件，但是它们也可以以各种方式配置，诸如某些组件被配置为分布式计算系统的一部分。

机器可读介质可以包括多个软件模块。软件模块可以包括传输模块和接收模块。每个软件模块可以驻留在单个存储设备中，也可以分布在多个存储设备中。举例来说，当触发事件发生时，软件模块可以从硬盘驱动器加载到RAM中。在软件模块的执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。然后可以将一个或多个高速缓存行加载到专用寄存器文件中，以供处理器执行。当参考下面的软件模块的功能时，将理解，这种功能由处理器在执行来自该软件模块的指令时实现。此外，应当认识到的是，本公开的各方面使得实现这些方面的处理器、计算机、机器或其它系统的功能得到改进。

如果用软件实现，那么功能可以作为在计算机可读介质上的一条或多条指令或代码被存储或传输。计算机可读介质包括计算机存储介质和通信介质，通信介质包括促进将计算机程序从一个地方转移到另一个地方的任何存储介质。

另外，应该认识到的是，可以由用户终端和/或基站在适当时下载和/或以其它方式获得用于执行本文描述的方法和技术的模块和/或其它适当的部件。例如，这样的设备可以耦合到服务器以促进用于执行本文描述的方法的部件的转移。替代地，可以经由存储部件来提供本文描述的各种方法，使得用户终端和/或基站可以在将存储部件耦合或提供给设备时获得各种方法。而且，可以利用用于将本文描述的方法和技术提供给设备的任何其它合适的技术。

应该理解的是，权利要求书不限于以上示出的精确配置和组件。在不脱离权利要求的范围的情况下，可以对上述方法和装置的布置、操作和细节进行各种修改、改变和变化。

Claims (14)

1.一种测量车辆的性能的方法，所述方法包括：

将预定义的模型应用于车辆的操作；

从车辆收集操作数据；

根据操作数据生成性能测量结果；

基于操作数据相对于先前收集的用于训练预定义的模型的驾驶数据的性能测量结果确定操作数据的信息增益；

如果信息增益满足阈值，则将操作数据存档；以及

如果信息增益不满足阈值就使操作数据到期。

2.如权利要求1所述的方法，其中所述预定义的模型是车辆的预测的轨迹。

3.如权利要求2所述的方法，其中所述操作数据包括车辆采取的实际轨迹。

4.如权利要求3所述的方法，其中所述性能测量结果表示实际轨迹与预测的轨迹之间的差异。

5.如权利要求4所述的方法，其中所述阈值包括预测的轨迹和实际轨迹之间的距离。

6.如权利要求1所述的方法，还包括将存档的操作数据传输到非本地数据存储库。

7.如权利要求1所述的方法，其中使操作数据到期包括删除操作数据。

8.如权利要求1所述的方法，其中使操作数据到期包括覆写操作数据。

9.一种用于测量车辆的性能的系统，所述系统包括：

预测器，被配置为生成预测的模型；

检测器，被配置为检测来自车辆的操作数据；

处理器，被配置为：

将预测的模型应用于车辆的操作；

根据操作数据生成性能测量结果；

基于操作数据相对于先前收集的用于训练预定义的模型的驾驶数据的性能测量结果确定操作数据的信息增益；以及

数据收集器，被配置为如果信息增益满足阈值就将操作数据存档，以及如果信息增益不满足阈值就使操作数据到期。

10.如权利要求9所述的系统，其中所述预测的模型是预测的轨迹。

11.如权利要求10所述的系统，其中所述操作数据包括实际轨迹数据。

12.如权利要求11所述的系统，其中所述性能测量结果包括预测的轨迹与实际轨迹数据之间的差异。

13.一种用于测量车辆的性能的系统，所述系统包括：

非暂态计算机可读介质，其上记录有程序代码；以及

处理器，其中所述程序代码当由所述处理器执行时使得所述处理器执行如权利要求1-8中任一项所述的方法。

14.一种非暂态计算机可读介质，其上记录有用于确定车辆的性能测量结果的程序代码，所述程序代码当由处理器执行时使得所述处理器执行如权利要求1-8中任一项所述的方法。