CN110103983A - 用于端对端自主车辆验证的系统和方法 - Google Patents

Abstract

提供用于评估自主车辆的控制特征以实现开发或验证目的的系统和方法。真实世界传感器数据集由具有传感器的自主车辆生成。感测和感知模块生成真实世界传感器数据集的扰动。发生器模块从真实世界传感器数据集生成三维对象数据集。规划和行为模块生成三维对象数据集的扰动。测试模块使用三维对象数据集测试诸如算法或软件之类的控制特征。控制模块执行来自控制特征的指令输出以进行评估。

Description

用于端对端自主车辆验证的系统和方法

技术领域

本发明总体上涉及自主车辆，并且更具体地说涉及用于使用真实世界和虚拟数据源开发和验证自动车辆操作的系统和方法。

背景技术

自主车辆是能够在较少或没有用户输入的情形下感测其环境和导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器之类的感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(GPS)技术、地图、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驱动系统的信息以导航车辆。

车辆自动化已分类成范围从零到五的数值等级，零对应于在在完全人为控制情况下的无自动化，五对应于在不具有人为控制的情况下的全自动化。诸如巡航控制、自适应巡航控制以及停车辅助系统之类的各种自动驾驶员辅助系统对应于较低的自动化等级，而完全“无人驾驶”车辆对应于较高的自动化等级。

为了实现高级别的自动化，车辆通常装配有越来越多的不同类型装置，用于分析车辆周围的环境，例如捕获环境的图像的照相机或其他成像装置、用于测量或检测环境内特征的雷达或其他测距装置等等。此外，各种致动器用于响应于多种程序和算法来控制车辆。在产品开发期间评估和验证自主车辆控制和操作包含高级别的复杂度。

因此，期望在合理的时间范围内进行验证以将产品带至市场。从结合附图和前文技术领域和背景技术的后续具体实施方式和所附权利要求中，本发明的其他期望特征和特点会变得显而易见。

发明内容

提供用于开发和验证自主车辆的系统和方法。在一个实施例中，方法包括由具有传感器系统和致动器的自主车辆收集真实世界传感器数据集。计算机系统的融合模块将来自多个传感器和地图的真实世界数据融合。转换器模块将融合的真实世界传感器数据集转换成通用表示数据集形式。扰动(模糊)模块从转换的真实世界传感器数据集生成扰动。发生器模块从真实世界传感器数据集的通用表示数据集形式中生成三维对象数据集。三维对象数据集用于评估自主车辆的规划、行为、决策作出以及诸如算法和软件之类的控制特征。

在另一个实施例中，方法包括由具有传感器系统和致动器的自主车辆收集真实世界传感器数据集。发生器模块从真实世界传感器数据集中生成三维对象数据集。规划和行为模块的扰动(模糊)模块生成三维数据集的扰动，以创建额外的交通场景。为了进行评估，规划和行为模块通过使用三维数据库来执行诸如算法或软件之类的控制特征，该三维数据库包括执行控制特征中的扰动。

在另一实施例中，系统使用由具有传感器的自主车辆生成的真实世界传感器数据集。感测和感知模块生成真实世界传感器数据集的扰动。发生器模块从真实世界传感器数据集中生成三维对象数据集。规划和行为模块生成三维对象数据集的扰动。测试模块使用三维对象数据集评估诸如算法或软件之类的控制特征。控制模块执行来自控制特征的指令输出以进行评估。

在一些实施例中，系统使用由高保真传感器模型使用虚拟环境生成的合成数据集。虚拟场景发生器模块从虚拟传感器生成三维对象数据集，以创建大量交通场景、道路和环境状况。此种对象数据集用在规划和行为模块的扰动模块中，以生成三维数据集的扰动，从而创建额外的交通场景。为了进行评估，规划和行为模块通过使用三维数据库来执行诸如算法或软件之类的控制特征，该三维数据库包括执行控制特征中的扰动。

在另一实施例中，方法包括：由传感器模型仿真器生成虚拟传感器(合成)数据集，在融合模块中融合虚拟传感器数据集，由转换器模块将融合的虚拟传感器数据集转换成通用表示数据集形式(例如体素数据集)，以及由发生器模块从虚拟传感器数据集的通用表示数据集形式中生成三维对象数据集。

在另一实施例中，方法包括通过将真实世界传感器数据集转换成体素数据集而转换成通用表示数据集形式。

在另一实施例中，方法包括将三维数据集存储在测试数据库中，以及生成三维数据集的扰动来创建交通场景，例如将额外的和新的车辆、对象以及其他实体增加至交通场景。

在另一实施例中，方法包括由规划和行为模块通过在执行算法时使用三维数据库来评估算法。

在另一实施例中，方法包括在控制模块中执行来自控制特征的指令输出，该控制模块模拟自主车辆(例如包括自主车辆的致动器的一个自主车辆)，以评估他们的操作。指令输出的评估也可相对于评分指标由评估发动机执行。

在另一实施例中，方法包括从转换的真实世界传感器数据集中生成第二扰动。

在另一实施例中，系统的控制模块包括自主车辆的响应于指令输出的致动器。

在另一实施例中，系统包括传感器和感知模块，该传感器和感知模块由计算机系统的融合模块来融合真实世界传感器数据集。在生成三维对象数据集之前，转换器模块将融合的真实世界传感器数据集转换成通用表示数据集形式。

在另一实施例中，系统包括传感器模型仿真器，该传感器模型仿真器构造成从传感器模型中生成虚拟传感器数据集(合成数据集)。规划和行为模块构造成相对于评分指标在评估发动机中评估针对性能的指令输出。真实世界传感器数据集可包括来自基于基础设施的传感器以及基于移动平台的传感器的数据。

在另一实施例中，系统包括至少一个处理器，该至少一个处理器构造成以超过每秒30帧的帧速率处理数据，以足以评估至少数百万车辆里程而用于开发和验证。

附图说明

之后会结合以下附图来描述示例性实施例，其中，类似的附图标记指代类似的元件，且附图中：

图1是说明根据各种实施例的用于收集数据的自主车辆的功能性框图；

图2是说明根据各种实施例的用于自主车辆开发和验证的系统的功能性框图，该系统具有感测和感知模块以及规划和行为模块；

图3是根据各种实施例的图2的系统的示意框图；

图4是根据各种实施例的图3的系统的感测和感知模块的功能性框图；

图5是根据各种实施例的图3的系统的规划和行为模块的功能性框图；以及

图6是说明根据一个或多个示例性实施例的用于自主车辆开发和验证过程的流程图。

具体实施方式

以下具体实施方式在本质上仅是示例性的，并不旨在限制应用和使用。此外，并不旨在受任何上述技术领域、背景技术、发明内容或下文具体实施部分提供的任何明确或暗示的理论所限制。如这里所使用的是，术语模块个别地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或集群)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能性的其他合适部件。

本发明的实施例在本文中可依照功能和/或逻辑方框部件和多种处理步骤予以描述。应当认识到，这些方框部件可由构造成执行特定功能的任意数量的硬件、软件和/或固件部件来实现。例如，本发明的一个实施例可采用诸如存储器元件、数字信号处理元件、逻辑元件、查询表等等的各种集成电路部件，这些集成电路部件可在一个或多个微处理器或其他控制装置的控制下执行多种功能。此外，本领域技术人员会意识到的是，本发明的实施例可结合任何数量的系统来实践，且这里描述的系统仅仅是本发明的示例性实施例。

出于简化起见，此处可能并不详细描述与信号处理、数据传输、信令、成像、测距、合成、校准、控制系统以及系统的其他功能性方面(以及这些系统的各个操作部件)相关联的传统技术。此外，此处包含的各个附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意到的是，在本发明的各实施例中可提供很多替代或附加功能关系或物理连接。

在与自主车辆相关联并且例如这里描述的一个或多个示例性实施例中，系统和方法通常包括从真实世界和/或模拟源收集数据。数据可从诸如车辆车队的多个自主车辆中收集，可从包括传感器和无线装置的基础设施源中收集，并且可从诸如空中交通工具的其他移动平台中收集。属于后方情况的数据和/或那些难以在真实世界中收集的数据在模拟环境中利用高保真传感器模型合成地生成。这些源增强特定场景的收集，这些特定场景可能稀少或者难以从道路车辆收集。该数据可包括关于诸如交通标志/交通信号、道路几何形状、气候以及其他源之类的车辆环境的信息。该数据可包括关于车辆的操作的信息，该操作例如是控制车辆的功能的致动器的操作。该数据还可包括对象特性，例如位置、大小、类型、速度、加速度、航向、轨迹、表面反射性、材料特性以及其他细节。此外，该数据可包括事件细节，例如车道变化、速率变化、方向变化、停止以及其他细节。例如通过使用模糊来生成扰动以扩展数据库大小。扰动可在各个阶段处执行。所收集的数据转换为通用表示格式，并且可进一步处理为优选格式以便于进一步使用。算法和软件可参考针对可能需要定制行为的场景的数据库来评估。相当大量的场景可用于评估算法。例如，可以评估数千个模拟，并且可以模拟相当于数十亿的车辆里程。算法/软件性能相对于指标并且也在自主车辆的控制中评估。算法/软件可作为开发活动的一部分而评估和改进，并且经开发的算法/算计可使用这里描述的系统和方法来验证。

例如能意识到的是，这里公开的主题为自主车辆开发和验证提供某些增强的特征和功能性。为此，自主车辆和自主车辆开发和验证系统以及方法可得以修改、增强或以其他方式补充，以提供下文更详细描述的附加特征。

现参照图1，示例性自主车辆10包括控制系统100，该控制系统确定沿着路线自主地操作车辆10的运动计划，以考虑由车载传感器28、40检测的对象或障碍物，例如下文更详细描述的是。在这点上，自主车辆10装载的控制模块使用不用类型的车载传感器28、40，并且使得来自那些不同类型的车载传感器28、40的数据能在空间上或以其他方式彼此相关联，以便于车辆10的对象检测、对象分类以及产生的自主操作。车辆10的各方面(例如，包括算法和软件的控制特征)可使用这里描述的系统和方法来开发和验证。那些系统和方法使用从自主车辆的车队(例如，车辆10)中收集的真实世界数据。因此，在一些实施例中，车辆10可以是那些系统和过程的一体部分，因而这里详细地描述车辆10。

如图1中所示，车辆10通常包括底盘、车体14以及前后车轮16、18，该前后车轮在车体14的相应角部附近旋转地联接于底盘。车体14设置在底盘上并且基本上封围车辆10的部件，且车体14和底盘可共同地形成车架。

车辆10是自主车辆，且控制系统100包含到自主车辆10中。车辆10例如是自动地受控以将乘客从一个位置运送至另一个位置的车辆。车辆10在所说明的实施例中示作乘用汽车，但应意识到的是，也可使用任何其他交通工具，包括摩托车、卡车、运动型多功能车辆(SUV)、娱乐车辆(RV)、海洋船只、飞行器等等。在一示例性实施例中，自主车辆10是所谓的级别四或级别五自动化系统。级别四系统指示“高自动化”，其指代这样的驾驶模式，即使人类驾驶员并未适当地响应于干预请求，专门由自动驾驶系统执行动态驾驶任务的所有方面。级别五系统指示“全自动化”，这指代在能由人类驾驶员管理的所有道路和环境条件下全部时间均由自动驾驶系统执行动态驾驶任务的所有方面。

如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动器系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可包括内燃机、诸如牵引电机的电动机器和/或燃料电池推进系统。变速器系统22构造成根据可选择的速度比来将动力从推进系统20传递至车辆车轮16、18。根据各种实施例，变速器系统22可包括步进比率自动变速器、无级变速器或其他合适的变速器。制动器系统26构造成将制动转矩提供给车辆车轮16、18。在各种实施例中，制动器系统26可包括摩擦制动器、线控制动器、诸如电动机器的再生制动系统和/或其他合适的制动系统。转向系统24影响车辆车轮16、18的位置。虽然出于说明的目的示作包括方向盘，但在本发明范围内所设想的一些实施例中，转向系统24可并不包括方向盘。

传感器系统28包括一个或多个感测装置40a-40n，这些感测装置感测自主车辆10的外部环境和/或内部环境的可观测状况。感测装置40a-40n可包括但不限于雷达、激光雷达、全球定位系统、光学照相机、热照相机、超声波传感器、转向角传感器、节气门传感器、车轮速度传感器、温度传感器和/或其他传感器，包括车辆到车辆、车辆到人以及车辆到基础设施通信装置。致动器系统30包括一个或多个致动器装置42a-42n，这些致动器装置控制一个或多个车辆特征件，例如但不限于推进系统20、变速器系统22、转向系统24以及制动器系统26。在各种实施例中，车辆特征件可进一步包括内部和/或外部车辆特征件，例如但不限于车门、后备箱以及诸如空气、音乐、照明等的舱室特征(未作标示)。

数据存储装置32存储用于自动地控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的限定地图。在各种实施例中，限定地图可由远程系统预先限定以及从远程系统获得。例如，限定地图可由远程系统组装并且通信至自主车辆10(无线地和/或以有线的方式)并存储在数据存储装置32中。例如能意识到的是，数据存储装置32可以是控制器34的一部分、与控制器34分开、或者是控制器34的一部分以及是单独系统的一部分。数据存储装置32还可存储在车辆10的操作期间收集的信息，包括来自传感器28、40以及来自致动器30、42的操作的数据，并且数据存储装置可以是车辆的记录系统的一部分。这样，数据表示实际场景、对象、功能和操作的真实世界信息。

控制器34包括至少一个处理器44以及计算机可读存储装置或介质46。处理器44可以是任何客户定制或市场上可购得的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、微处理器、其任何组合或者通常是用于执行指令的任何装置。计算机可读存储装置或介质46可例如包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是持久或非易失性存储器，其可用于在处理器44断电的同时存储各种操作变量。计算机可读存储装置或介质46可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电、磁性、光学或组合存储器装置的多个已知存储器装置的任何一个来实施，上述数据中的一些表示由控制器34用来控制自主车辆10的可执行指令。

这些指令可包括一个或多个分开的程序，每个程序均包括用于实施逻辑功能的可执行指令的有序列表。这些指令在由处理器44执行时、接收并处理来自传感器系统28的信号，执行逻辑、计算、方法和/或算法来用于自动地控制自主车辆10的部件，并且基于逻辑、计算、方法和/或算法生成控制信号，这些控制信号发送至致动器系统30，以自动地控制自主车辆10的各部件。虽然在图1中仅仅示出一个控制器34，但自主车辆10的实施例可包括任何数量的控制器34，这些控制器经由任何合适的通信介质或通信介质的组合来通信，并且协配以处理传感器信号、执行逻辑、计算、方法和/或算法，且生成控制信号来自动地控制自主车辆10的特征。

在各个实施例中，控制器34的一个或多个指令体现在控制系统100中(例如，数据存储元件46中)，并且当由处理器44执行时，致使处理器44能基于来自一个或多个车辆传感器40(例如，速度传感器、定位传感器等等)的输出数据监测或识别车辆10的静止或移动状况，获得从成像和测距装置捕获或生成的数据。之后，处理器44可在数据集或车辆参考帧之间建立关联性和变换，以将属性从一个数据集分配给另一数据集，且由此改进对象检测、对象分类、对象预测等等。产生的对象及其分类和预测行为影响自主地操作车辆10的行驶计划，这进而影响由处理器44所生成或另外提供的控制致动器42的指令。在数据被捕获或生成时，记录该数据并且该数据可存储在数据存储装置32中或者车辆10的其他装置中。

控制系统100合成并且处理传感器数据，并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。控制系统100处理传感器数据连同其他数据一起，以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路的车道的精确位置、车辆航向、速率等等)。控制系统100处理传感器数据连同其他数据，以确定车辆10所要遵循的路径。车辆控制系统100根据所确定的路径来生成用于控制车辆10的控制信号。

仍参照图1，在示例性实施例中，通信系统36构造成将信息无线地通信至具有通信装置48的其他实体以及从其他实体通信信息，这些实体例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人装置。在一示例性实施例中，通信系统36是无线通信系统，该无线通信系统构造成经由使用IEEE 802.11标准的无线局域网(WLAN)或者通过使用蜂窝数据通信来进行通信。然而，诸如专用短距离通信(DSRC)信道的附加或替代的通信方法也被认为落在本发明的范围内。DSRC信道指代专门针对汽车用途设计的单向或双向短距离至中距离无线通信信道以及对应的一组协议和标准。通信系统36可用于将记录在数据存储装置中的数据通信至这里描述的系统或多个系统，以在开发和验证活动中使用真实世界数据。

现参照图2，根据各个实施例，验证系统200与代表性自主车辆10相关联，该代表性自主车辆可能只是诸如自主车辆车队的多个自主车辆的一个。验证系统200通过计算机202实施，该计算机包括构造成执行其方法、过程和/或操作的一个或多个计算机。计算机202通常包括通信结构，该通信结构在系统和诸如处理器的装置之间以及其他系统和装置之间通信信息。计算机202可包括诸如人机界面装置的输入/输出装置以及其他装置，以将信息提供给计算机202以及从计算机提供信息。在当前实施例中，计算机202包括通信装置，该通信装置包括具有上文描述的通信装置48的其他实体的远程系统，用于与车辆10的通信系统36通信。计算机202经由执行存储在存储器中的指令的一个或多个处理器执行操作。存储器可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电、磁性、光学或组合存储器装置的多个已知存储器装置的任何一个来实施，上述数据中的一些表示由计算机202使用的可执行指令。在各个实施例中，计算机202构造成实施例如下文详细讨论的车辆开发和验证系统。计算机202构造有例如上文限定的操作系统、应用软件以及模块。通常，该模块包括感测和感知模块204以及规划和行为模块206。计算机202与控制模块210对接，该控制模块在一些实施例中是车辆10，在其他实施例中是车辆10的传感器和致动器的硬件模型件，而在其他实施例中是车辆10的传感器和致动器的基于计算机模型。这样，控制模块210可驻留在计算机202中或其外部。计算机202还可包括一个或多个数据库212、214或者与该一个或多个数据库相关联，该一个或多个数据库可驻留在计算机202中或者可与其通信。在当前实施例中，数据库212以策展的方式接收并存储来自自主车辆的车队(例如，车辆10)的真实世界数据。验证系统200可与车辆10无线地联网，以便于通过通信装置48传输数据，或者数据可通过任何其他适用方法传输。数据库212还可包含在针对车辆10的模型的模拟环境中虚拟地生成的数据。

例如下文进一步详述的是，验证系统200的感测和感知模块204可生成从车辆10收集的数据和/或虚拟地生成的数据的扰动，以增多数据库212中的场景数量。所收集的数据在感测和感知模块204中转换成通用表示格式，并且可进一步处理为优选格式以便于进一步用在规划和行为模块206中。算法可使用测试数据库214通过可能需要定制行为的场景来评估。例如下文进一步详述的是，验证系统200的规划和行为模块206可使用测试数据库214中的数据来生成额外的扰动，以增多存储的场景数量。规划和行为模块206使用这些场景来评估诸如算法和软件之类的控制特征，这些控制特征控制车辆10或其元件。在规划和行为模块206中，算法/软件性能例如相对于指标来评估，并且在控制模块210中通过控制自主车辆或者其模型件或模型而评估。通过验证系统200，控制算法/软件的超实时评估通过算法/软件的并行和分布式实施方式来实现。真实世界数据由模拟生成数据并且通过创建扰动而补充。真实世界数据的使用提高了用于评估性能的事件场景的真实性。验证系统200也可用于评估控制模块210中的硬件。

参照图3连同图1一起，说明针对用于端对端自主车辆开发和验证的系统300的示例性体系结构。系统300在许多方面与图2的验证系统200一致，但具有额外的细节。数据由包括车辆10的车辆车队例如从包括感测装置40a-40n的传感器系统28中收集，这些感测装置感测自主车辆10的外部环境和/或内部环境的可观测状况及其操作。这包括来自车辆10的环境上的传感器40a-40n(例如来自照相机、激光雷达、雷达、GPS、车辆到车辆/人/基础设施以及其他传感器)的原始数据，连同来自监控车辆状态(包括致动器42的致动)的车载传感器40a-40n的数据，这些车载传感器例如是速度传感器、转向角传感器、制动施加传感器、惯性测量单元以及其他传感器。数据由车载处理器44的记录系统所捕获，并且保持在数据存储装置32和/或计算机可读存储装置或介质46中。传感器数据例如通过无线通信连接、临时有线连接或经由可读介质而从车辆10提取出302。如上所述，通信系统36可用于此目的。该数据表示关于车辆10的信息的整体状态的真实世界数据。数据也可从基于基础设施的传感器304和其他移动源传感器306提取出302。例如，传感器304可利用诸如照相机的现有基础设施传感器，和/或可部署为捕获诸如交叉口、U形转弯位置、合并点、弯道、瓶颈路段以及其他之类的特定场景情况，以补充由车辆10收集的数据。此外，传感器306可部署在诸如飞行器的其他移动平台上，以获得交通模式、长期行为以及其他信息的全局视图。来自源10、304和/或306的数据以策展形式保持在数据库212中，并且用作向感测和感知模块204的输入。

来自数据库212的数据在融合模块308中合成并处理，以表示车辆10的环境和由传感器304、306捕获的场景的对象和特征的存在、位置、分类和/或路径。融合模块308包含来自多个传感器的寄存器类型同步形式的信息。例如，如图4中所示，来自车辆10的数据可用于从车辆的角度再现例如图像310中所示的场景。例如，可表示道路312、其他车辆314、对象316以及标记318。还可使用对传感器40a-40n建模的模拟虚拟传感器集而从传感器模型仿真器320包括数据。这可包括具有所有传感器40a-40n的车辆10的模型。针对各种场景生成数据可脚本化或被手动地提示，以生成合成数据。传感器模型仿真器320可在验证系统200中或其他计算机或多个计算机中运行。场景可创建有多个其他参与物，包括道路变化、行人、其他车辆以及其他对象。来自传感器模型仿真器320的数据可存储在数据库212中，或者可直接地供给至融合模块308，在此，该数据连同真实世界数据一起融合。传感器模型仿真器与虚拟世界渲染器322协调，该虚拟世界渲染器使用来自传感器模型仿真器320的虚拟生成数据创建道路和对象的三维表示。例如，虚拟世界的环境方面可包括诸如交通信号、交通标记、交通标志以及其他之类的基础设施细节。此外，虚拟世界的对象方面可包括对象的识别以及该对象是移动还是静止，以及时间戳、位置、大小、速度、加速度、航向、轨迹、表面反射率和材料特性。事件信息可例如包括车道变化、速度变化、停止、转弯以及其他。

感测和感知模块204包括转换器模块324，该转换器模块使用来自虚拟世界渲染器322的结果将来自融合模块308的融合的传感器数据转换成环境的通用表示形式，其中，真实车辆10和由传感器模型仿真器320表示的模拟车辆同时操作。例如，在当前实施例中，针对来自车辆10的真实世界数据和来自传感器模型仿真器320的虚拟数据两者的通用表示形式，转换器模块324将数据转换为体素数据(例如，RGB、XYZ)。每个体素均包含颜色和/或亮度(RGB)以及深度XYZ信息。例如在图像326中示出的转换的体素数据在示出道路312、车辆314以及对象316的通用立体图中表示。体素数据在全局参考系中表示并且可通过诸如摄影测量法之类的任何合适方法来转换。转换包括将场景位置变换为通用维度模型(坐标系XYZ)、通用颜色空间(颜色模型RGB)和时序对齐。在该示例中，车辆314和对象316在图像326中示出的边框中示出。3D体素数据分段成包含车辆、行人、交通信号灯、标志、车道以及其他可在3D空间中扰动和处理的对象和特征的体素。例如来自车辆10的真实世界数据的扰动在扰动模块334中创建。扰动模块334可在验证系统200或其他计算机中运行。扰动可包括数据上的验证，例如通过将相邻车辆314移动至各个其他位置而在车辆314和对象316的位置和/或移动中创建额外的场景。扰动还可以包括向数据引入/增加新车辆314、对象316和其他实体，其可以具有逼真的表面反射率和其他材料特性以类似于在现实世界中捕获的车辆、对象和其他实体。更确切地说，示例包括使得对象的移动延迟一段时间、将对象的行为从真实世界场景A复制到真实世界场景B等等。提示扰动的创建，以增多可用于系统300的数据集中的场景的数量和变化。例如，数据的数量可增多一个数量级。因此，在真实世界中收集数据的限制通过将新的数据创建为真实世界数据的变化来克服。例如，可以创建未出现的场景，例如另一参与物的出现、标志放置、交通信号操作等等，以用于评估。由于扰动基于真实世界数据，因而他们具有高度的有效性并且是逼真的。结果是虚拟和真实元素相融合。例如，真实世界感知元素存在于虚拟世界中。示例包括使用具有虚拟传感器输出的真实世界道路环境方面。通过创建真实世界数据的扰动，避免在纯虚拟世界中产生现实行为的挑战。在其他实施例中，也可从传感器模型仿真器320中创建虚拟数据的扰动。

然后，来自转换器模块324的体素数据在发生器模块336中变换为三维(3D)对象数据。例如由图4的图像338所示，3D对象数据可用于生成场景的自定义帧并且可看起来更真实，并且提供环境的近实际表示，在该环境内，评估的算法/软件会在系统300中执行。例如，以高精度示出其他车辆314和对象316的位置以及他们相对于主车辆的定向和移动。3D对象数据包括真实世界数据和虚拟生成数据两者，并且输送至规划和行为模块206。确切地说，3D对象数据存储在测试数据库214中。在其他实施例中，可包括或替代地使用将融合的传感器数据变换成3D对象数据的其他机构和算法，例如由图3中示出的变换模块340所示。例如，可使用例如用在自主车辆中的典型感知系统之类的机构，该机构识别车辆、道路、对象、行人、标志和信号以及他们的属性。

通常，规划和行为模块206使用3D对象数据，包括关于其他车辆及其相对于主车辆和前方计划的移动的信息，在多种情况下模拟主车辆的操作以评估用于控制车辆的算法的性能。参照图3和5，扰动模块342包括在规划和行为模块206中，该扰动模块生成测试数据库214中数据的扰动，该测试数据库从感测和感知模块204中接收。具体地说，使得真实世界数据扰动以增多数据中的变化，例如创建额外的交通情况，包括少见的事件(例如，快速减速的车辆)。例如在图像344中示出的是，创建新的交通模式，其可包括额外的车辆314、额外的对象316、道路312中的变化以及移动变化。场景由真实和自定义行为致动，包括那些为主车辆作出响应和导航带来挑战的行为。例如，扰动可由与主车辆的轨迹相交的其他车辆或对象(产生接近碰撞)以及其他挑战事件而创建。

在扰动增加至测试数据库214的情形下，将用于控制车辆10的一些方面的诸如算法/软件之类的控制特征加载到测试模块346中。算法/软件使用来自测试数据库214的基于传感器的输入，处理这些输入并且创建输出，例如针对其意图控制的功能的指令。输出348输送至评估发动机350并且输送至控制模块210。在评估发动机350处，评估输出以便于稳健、安全且舒适的操作(包括相对于评分指标)。正评估的算法/软件使用数据输入来确定行动方案并且输送输出。例如，利用控制转向角的算法(例如路径寻找算法)，可以将模拟操纵期间产生的横向加速度与诸如0.5g的目标值进行比较，并且基于从测试中记录的加速度进行评分。在控制模块210处，输出在车辆10的实际或模拟控制中执行。在一些示例中，控制模块210可以是车辆10。在其他实施例中，控制模块210可以是车辆10的相关部分的硬件模型件，例如传感器28、40和致动器42。硬件在环(HIL)仿真测试可用于测试基于计算机的控制的硬件和算法/软件。他也可用于评估硬件。在附加的实施例中，控制模块210可以是车辆10的虚拟模型。模型在环(MIL)或软件在环(SIL)测试具有这样的益处，例如甚至在硬件可用之前允许在开发阶段期间进行早期评估。从控制模块210中，可观测到车辆10在评估下执行算法/软件的指令中的响应。控制模块210可在规划和行为模型206内，或者可在与之分开的链接计算机中。规划和行为模块206在算法/软件开发和算法/软件验证两者中均是有用的。例如，可评估算法，可对其做出改变且然后可对其再次评估(包括通过多次迭代)，以使得可在算法开发期间对该算法做出改进。此外，在开发中，算法可在许多不同的情况下评估。此外，所开发的算法可针对验证目的而评估。通过系统300，可以在合理的时间范围内在相当于数十亿道路里程上的数千个场景中评估自主车辆的控制和操作。

参照图6，以流程图形式说明使用系统300的过程400。过程400以401开始，并且以从真实世界源进行数据收集402继续，这些真实世界源包括诸如车辆10的自主车辆、基础设施源304以及其他移动平台源306。所收集的数据在存储数据处以策展形式例如存储404在测试数据库214中。虚拟/合成数据生成406用于补充数据收集402。在该实施例中，数据在数据融合408处融合并且转换成体素数据410。过程400从数据收集402中生成扰动412，以利用现实的变化来扩展数据集，且在414处将所生成的扰动数据增加至融合的数据。3D对象数据在416处从体素数据中生成，并且在418处例如存储在测试数据库214中。测试数据库214由扰动模块342中在420处生成的扰动补充，例如由额外的交通场景补充。算法/软件在422处加载至测试模块346，并且使用来自测试数据库214的数据而在424处执行算法/软件。在426处，例如在评估发动机350处评估来自执行424的指令输出。评估可包括评分指标并且可评估多个因素。来自执行424的指令输出也在车辆环境中利用实际或建模硬件执行，例如在控制模块210处在硬件/模型428的控制下执行，且过程400在430处终止。

通过前述系统200/300和过程400，真实世界数据和虚拟数据的组合用于在非常大量和类型的场景和距离上快速地模拟自主车辆或其系统的操作。在各个阶段使用扰动来增加可用于测试目的的数据并创建更多事件的用例。相同的系统200/300框架可用于开发和验证目的两者。虽然在前文详细描述中已呈现了至少一个示例性实施例，但应意识到的是存在各种各样变型。还应注意的是，对自主车辆感知、计划行为以及控制算法/软件的超实时评估通过计算机中的一个或多个处理器使用与现有技术的并行和/或分布式计算集群和/或超级计算机相比以较高帧速率(例如，＞30帧每秒)馈送的大量数据来实现。还应意识到的是，示例性实施例或多个示例性实施例仅仅是示例，但并不旨在以任何方式限制本发明的范围、可适用性或构造。而是，前文详细描述会为本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便利指引图。应理解的是，可对元件的功能和结构做出各种改变，而不会偏离在所附权利要求及其法律等同物中阐述的本发明范围。

Claims (10)

1.一种方法，包括：

由具有传感器系统和致动器的自主车辆收集真实世界传感器数据集；

由计算机系统的融合模块来融合所述真实世界传感器数据集；

由转换器模块将所述融合的真实世界传感器数据集转换成通用表示数据集形式；

由扰动模块从所述转换的真实世界传感器数据集中生成扰动；

由发生器模块从所述真实世界传感器数据集的通用表示数据集形式中生成三维对象数据集；以及

使用所述三维对象数据集来评估所述自主车辆的控制特征。

2.根据权利要求1所述的方法，进一步包括：

由传感器模型仿真器生成虚拟传感器数据集；

由所述融合模块来融合所述虚拟传感器数据集；

由所述转换器模块将所述融合的虚拟传感器数据集转换成所述通用表示数据集形式；以及

由所述发生器模块从所述虚拟传感器数据集的通用表示数据集形式中生成所述三维对象数据集。

3.根据权利要求1所述的方法，其中，转换成通用表示数据集形式包括将所述真实世界传感器数据集转换成体素数据集。

4.根据权利要求3所述的方法，进一步包括：

由传感器模型仿真器生成虚拟传感器数据集；

由所述融合模块来融合所述虚拟传感器数据集；以及

将所述虚拟传感器数据集转换成所述体素数据集。

5.根据权利要求1所述的方法，进一步包括：

将所述三维数据集存储在测试数据库中；以及

生成所述三维数据集的扰动以创建交通场景。

6.根据权利要求5所述的方法，其中，生成所述三维数据集的扰动包括将额外的车辆增加至所述交通场景。

7.根据权利要求5所述的方法，进一步包括：

由规划和行为模块通过在执行算法时使用所述三维数据库来评估所述算法。

8.一种系统，包括：

由具有传感器的自主车辆生成的真实世界传感器数据集；

由虚拟世界模型和高保真传感器模型生成的虚拟世界数据集；

感测和感知模块，所述感测和感知模块配置成：

在第一扰动模块中生成所述真实世界传感器数据集的第一扰动；

在发生器模块中从所述真实世界传感器数据集中生成三维对象数据集；以及

规划和行为模块，所述规划和行为模块配置成：

在第二扰动模块中生成所述三维对象数据集的第二扰动；

在测试模块中使用包括所述第二扰动的所述三维对象数据集测试控制特征；以及

在控制模块中执行来自所述控制特征的指令输出。

9.根据权利要求8所述的系统，其中，所述控制模块包括所述自主车辆的响应于所述指令输出的致动器。

10.根据权利要求8所述的系统，进一步包括：

传感器模型仿真器，所述传感器模型仿真器配置成从传感器模型生成虚拟传感器数据集；

其中，所述规划和行为模块配置成相对于评分指标在评估发动机中评估针对性能的指令输出；以及

其中，所述真实世界传感器数据集包括来自基于基础设施的传感器以及基于移动平台的传感器的数据。