CN113156911A - 用于自动驾驶汽车规划和控制测试的组合的虚拟和现实环境 - Google Patents

Abstract

本发明涉及一种用于自动驾驶汽车计划和控制测试的组合的虚拟和现实环境。自动驾驶汽车是在现实环境中运行的，在其中计划模块和控制模块运行来计划和执行车辆导航。雷达，激光雷达，摄像机和任何其他汽车感知系统可检测的模拟的环境元件(包括模拟的图像和视频检测的物体，模拟的雷达检测的物体，模拟的车道线和其他模拟的元件)与现实世界检测的元件一起接收。所述模拟的和现实世界元件是通过所述自动驾驶汽车数据处理系统进行组合和处理的。一旦处理后，所述自动驾驶汽车基于混合的现实世界和模拟的数据以相同的方式计划和执行导航。通过将模拟的数据增加到现实数据中，所述自动驾驶汽车系统可以在现实世界环境和状况的假设情形中进行测试。

Description

用于自动驾驶汽车规划和控制测试的组合的虚拟和现实环境

技术领域

背景技术

自动驾驶技术正在快速增长，并且其中许多特征在自动驾驶汽车中得到了应用。测试自动化汽车昂贵且低效。因为完全在一个或多个计算机上进行，在完全模拟环境中测试自动化汽车系统很方便，但是完全模拟的环境将不能完美匹配在现实世界环境中所获得的结果。虽然存在着用于测试自动驾驶汽车的一些位置，但是非常昂贵且可利用性有限。需要一种用于测试自动驾驶汽车的改进方法。

发明内容

概括来说，本发明提供了一种用于自动驾驶汽车计划和控制测试的组合的虚拟和现实环境。自动驾驶汽车是在现实环境中运行的，在其中计划模块和控制模块运行来计划和执行汽车导航。雷达，激光雷达，摄像机和任何其他汽车感知系统可检测的模拟的环境元件(包括模拟的图像和视频检测的物体，模拟的雷达检测的物体，模拟的车道线和其他模拟的元件)与现实世界检测的元件一起接收。模拟和现实世界元件通过自动驾驶汽车数据处理系统来进行组合和处理。一旦处理后，则自动驾驶汽车基于混合的现实世界和模拟数据以相同的方式计划和执行导航。通过将模拟的数据增加到现实数据中，自动驾驶汽车系统可以在现实世界环境和状况下的假设情形中进行测试。

在实施方案中，一种基于现实世界和虚拟感知数据来运行自动驾驶汽车的系统，其包括：数据处理系统，包含一个或多个的处理器、存储器、计划模块和控制模块。数据处理系统接收来自于现实感知传感器的现实世界感知数据，接收模拟的感知数据，组合现实世界感知数据和模拟的感知数据，和基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制汽车，在现实世界环境中，汽车基于由现实世界感知数据和模拟的感知数据所产生的计划来运行。

在实施方案中，一种非瞬时性计算机可读存储介质包括程序，程序可以通过处理器执行，基于现实世界和虚拟感知数据来运行自动驾驶汽车的方法。方法包括接收来自于现实感知传感器的现实世界感知数据；接收模拟的感知数据；组合现实世界感知数据和模拟的感知数据；和基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制汽车，在现实世界环境中，汽车基于由现实世界感知数据和模拟的感知数据所产生的计划来运行。

在实施方案中，公开了一种基于现实世界和虚拟感知数据，来运行自动驾驶汽车的方法。方法包括，通过存储在存储器中，并且通过一个或多个处理器来执行的数据处理系统，接收来自于现实感知传感器的现实世界感知数据；通过数据处理系统接收模拟的感知数据。组合现实世界感知数据和模拟的感知数据；和基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制汽车，其中在现实世界环境中，汽车基于由所现实世界感知数据和模拟的感知数据所产生的计划来运行。

附图说明

图1是一种自动驾驶汽车的框图。

图2A是一种现实自动驾驶汽车内的数据处理系统的框图。

图2B是一种虚拟自动驾驶汽车的数据处理系统的框图。

图2C是一种虚拟环境模块的框图。

图3是一种基于现实世界和虚拟环境数据，来运行自动驾驶汽车的方法。

图4是一种接收现实世界感知数据的方法。

图5是一种接收虚拟环境感知数据的方法。

图6是一种组合和处理现实世界和虚拟环境数据的方法。

图7是一种用于计划从当前位置移动到目标位置的方法。

图8是一种用于评估和评级产生的轨迹的方法。

图9是一种进行安全检查的方法。

图10显示了一种汽车，其具有由现实世界感知数据所确定的元件，并示出了当前车道线中的中心参考线。

图11显示了图10的汽车，其具有由现实世界感知数据和虚拟环境感知数据所确定的元件。

图12是一种用于执行数据处理系统的计算环境的框图。

具体实施方式

概括来说，本发明提供了一种用于自动驾驶汽车计划和控制测试的组合的虚拟和现实环境。自动驾驶汽车是在现实环境中运行的，其中计划模块和控制模块用来计划和执行汽车导航。雷达、激光雷达、摄像机和任何其他汽车感知系统可检测的模拟的环境元件(包括模拟的图像和视频检测的物体，模拟的雷达检测的物体，模拟的车道线和其他模拟的元件)与现实世界检测的元件一起接收。所述模拟和现实世界元件通过所述自动驾驶汽车数据处理系统来组合和处理。一旦处理后，基于混合的现实世界和模拟的数据，自动驾驶汽车以相同的方式计划和执行导航。通过将模拟的数据添加到现实数据中，所述自动驾驶汽车系统可以在现实世界环境和状况的假设情形中进行测试。

所述现实世界感知数据和虚拟世界感知数据的组合，通过植入在所述自动驾驶汽车的数据管理系统来进行和处理。在一些情况中，虚拟环境元件不向运行过程中汽车内的个人显示。而是，响应所述组合的现实世界和虚拟环境感知数据的汽车的导航和控制的计划，来进行存储和分析，来确定所述数据管理系统的运行和调节所述数据管理系统的计划和控制模块的精度。

本发明要解决的技术问题包括以有效和准确方式安全和连续地测试自动驾驶汽车。在完全模拟的环境中测试自动驾驶汽车导致结果和模拟不精确。对于调节自动驾驶汽车系统通常所需的测试量来说，在定制构建的现实世界环境中测试自动驾驶汽车昂贵且不切实际。

通过在现实环境中，基于现实世界感知数据和虚拟世界感知数据来运行自动驾驶汽车，本发明提供了技术解决方案，解决了测试和调节自动驾驶汽车的计划和控制模块的技术问题。分析响应所述组合的感知数据的现实世界，并且反馈给所述系统来调节所述计划和控制模块，提供安全和有效的方法来进行自动驾驶汽车计算系统的精确测试。

图1是一种自动驾驶汽车的框图。图1的自动驾驶汽车110包括数据处理系统125，数据处理系统125与惯性测量单元(IMU)105、摄像机110、雷达115和激光雷达120通讯。数据处理系统125也可以与加速系统130、操控系统135、制动系统140、电池系统145和推进系统150通讯。所述数据处理系统和与之通讯的部件目的是示例性，以用于讨论的目的，并非限制，如本领域技术人员理解的那样，其他自动驾驶汽车元件也可以用于本发明的系统中。

IMU 105可以追踪和测量所述自动驾驶汽车的加速度、偏航速率和其他测量值，并且将所述数据提供到数据处理系统125。

摄像机110、雷达115和激光雷达120可以形成自动驾驶汽车110的全部或者部分的现实世界感知部件。所述自动驾驶汽车可以包括一个或多个摄像机110来捕捉自动驾驶汽车内外的视觉数据。在所述自动驾驶汽车的外面，可以使用多个摄像机。例如位于所述车辆外侧上的摄像机可以捕捉前向视图、后向视图和任选的其他视图。可以处理来自于所述摄像机的图像，用来检测物体例如街灯、停车标志、道路的一个或多个车道的车道线或者边界，和所述环境的其他方面，为此，与雷达相比，图像可以用于更好地区分物体的属性。为了检测物体，处理图像的像素以识别物体、单个图像和一系列图像。所述处理可以通过图像和视频检测算法、机器学习模块(其被训练来检测关注的特定对象)和其他技术来进行。

雷达115可以包括多个雷达传感系统和装置，来检测所述自动驾驶汽车周围的物体。在一些情况中，雷达系统可以用于下面的一个或多个：汽车四个角中的每一个、汽车前面、汽车后面、和所述汽车的左侧和右侧上。所述雷达元件可以用于检测固定和移动的物体，所述物体位于相邻车道中以及自动驾驶汽车的前面和后面的当前车道中。激光雷达也可以用于检测在相邻车道中以及当前汽车的前面和后面的物体。

数据处理系统125可以包括一个或多个处理器、存储器和指令，所述指令存储在存储器中，并且可以通过一个或多个处理器执行此处所述功能。在一些情况中，所述数据处理系统可以包括计划模块、控制模块和线控驱动模块，以及用于组合现实世界感知数据和虚拟环境感知数据的模块。所述模块彼此通讯，以接收来自于现实世界感知部件和虚拟环境感知部件的数据，计划动作例如变道、停车、加速、制动、路线导航和其他动作，以及产生命令来执行所述动作。在下面参考图2A的系统中将更详细地讨论数据处理系统125。

加速系统130可以接收来自于所述数据处理系统的命令来加速。加速系统130可以作为一个或多个机构实施，来施加加速度到推进系统150。操控系统135控制了所述汽车的操控，并且可以接收来自于数据处理系统135的命令，以操控所述汽车。制动系统140可以处理施加到自动驾驶汽车110的轮子上的制动，以及接收来自于数据处理系统125的命令。电池系统145可以包括电池、充电控制、电池管理系统和涉及自动驾驶汽车上的电池系统的其他模块和部件。推进系统150可以管理和控制汽车的推进，并且可以包括内燃机、电动机、动力传动系统的部件，以及推进系统的其他部件，所述其他部件使用了电动机，具有或者不具有内燃机。

图2A是一种现实自动驾驶汽车内的数据处理系统的框图。数据处理系统210提供了关于图1的系统的数据处理系统125的更多的细节。数据处理系统可以接收来自于现实世界感知模块220和模拟环境225的数据和信息。现实世界感知模块220可以包括雷达和摄像机元件、逻辑元件，车道线和其他元件，所述逻辑元件用于处理所述雷达和摄像机输出，以识别关注的物体。

模拟环境225可以提供模拟的，例如诸如合成产生的，模拟的或者生成的感知数据。所述感知数据可以包括物体，检测的车道和其他数据。所述提供的数据格式可以与现实世界感知模块220所提供的数据相同。

来自于所述现实世界感知模块220和模拟环境225的数据通过感知数据组合器211来接收。所述现实和模拟的感知数据组合器可以接收来自于现实世界感知模块220的现实世界感知数据和来自于模拟的环境225的模拟的感知数据。组合器211可以组合所述数据和处理所述数据，以产生物体列表和收集检测的车道线，以及提供所述数据到计划模块212。在一些情况中，一旦所述物体列表和检测的车道线被计划模块212接收，则所述数据进行相同处理，并且在包括现实世界元件(物体，车道线，车道边界等)或者虚拟环境元件的处理之间不存在区别。

计划模块212可以接收和处理接收自感知数据组合器211的组合的现实世界和虚拟环境数据和信息来计划所述自动驾驶汽车的动作。所述动作可以包括从车道中心导航到相邻车道、从当前车道导航到相邻车道、停止、加速、转向和进行其他动作。计划模块212可以产生两个线或者点之间的轨迹示例，分析和选择最佳轨迹，以及提供最佳轨迹到控制模块214，所述最佳轨迹用于从一点导航到另一点。

控制模块可以从计划模块接收信息，例如所选择的轨迹，在轨迹上对车道改变应当进行导航。控制模块214可以产生要执行的命令，来沿着所选择的轨迹导航现实汽车。所述命令可以包括用于加速、断开和转向来完成沿着最佳轨迹的导航的指令。

线控驱动模块216可以从控制模块214接收命令和基于所述命令来启动所述自动驾驶汽车导航部件。具体地，线控驱动模块216可以控制自动驾驶汽车的加速器、操控轮、离合器、转向信号和其他任选的其他现实世界汽车部件230。

图2A的系统涉及一种数据处理系统，其处理了现实和模拟的感知数据来控制现实自动驾驶汽车。所述现实汽车在现实世界中响应计划模块所计划的动作而行进，通过控制模块来进行。在一些情况中，所述组合的现实世界感知数据和模拟的感知数据可以处理和用于计划动作和控制模拟的汽车，而非现实汽车。

图2B是一种虚拟自动驾驶汽车内的数据处理系统的框图。类似于图2的系统，图2B的系统包括多个元件，包括现实世界感知模块220、模拟的环境模块225、现实和模拟感知数据组合器211、计划模块212和控制模块214。这些元件可以以类似的方式，在现实汽车和模拟的汽车二者的系统中运行。在一些情况中，图2A的数据处理系统可以用于现实汽车上，而图2B的数据处理系统可以用于实验室、办公室或者任何其他位置，并且不限于用于实际的汽车上。现实世界感知模块220可以从现实汽车上的现实传感器捕集。但是，来自于所述现实传感器的数据如果不在现实汽车上处理，而是在别处，诸如办公室中的桌面计算机。

在图2C中，线控驱动模块216可以是模拟的模块，因为模拟的汽车260不具有现实的操控、加速和制动机构。而是所述操控、加速和制动机构是模拟的。此外，所述IMU模块(其提供了加速和偏航速率)提供了模拟数据，而非现实汽车的数据。

图2C是一种虚拟环境模块的框图。图2C的模拟环境包括HD地图数据252、用户定义的模拟的车道254、记录的GPS路线数据256和障碍物258。高清晰度(HD)地图数据可以包括数据例如车道线、道路边界、绘图数据，和其他道路数据。在一些情况中，一组或多组HD地图数据可以生成车道地面实况HD地图数据(现实车道地图)和/或产生以模拟道路和车道，其不存在于现实世界中(虚构车道地图)，而是其可以产生模拟的道路边界和检测的车道线。所述记录的GPS路线可以包括用于虚拟路线的不同部分的GPS数据，此处模拟的车道254和障碍物258是在HD地图数据252的具体位置上被发现。所述用户定义的模拟车道线可以包括模拟车道检测数据。障碍物258可以包括用于模拟物体例如汽车、卡车、行人、动物、交通灯、停车信号和其他物体的数据。数据部件252-258可以与其他数据组合(例如来指示地图上的位置和物体的GPS位置)或者单独提供到组合器211。

图3是一种基于现实世界和虚拟环境数据，来运行自动驾驶汽车的方法。所述自动驾驶汽车在步骤310进行初始化。初始化所述自动驾驶汽车可以包括启动所述自动驾驶汽车、进行初始系统检查、将所述汽车校正到当前的环境温度和天气、和根据启动的需要校正任何系统。

在步骤320接收现实世界感知数据。所述现实世界感知数据可以包括通过现实摄像机、雷达、激光雷达和其他感知传感器所提供的数据。接收现实世界数据的更多细节参考图4来讨论。在步骤330接收虚拟感知数据。所述虚拟感知数据可以包括虚拟物体、虚拟车道检测数据和其他虚拟数据，例如关于图2B讨论的数据。图5讨论了关于接收虚拟环境感知数据的更多的细节。所述虚拟环境和现实世界感知数据在步骤340进行组合和处理，来产生物体列表和车道检测数据。感知数据可以包括来自于一个或多个摄像机的图像数据、接收自一个或多个雷达和激光雷达的数据和其他数据。所述虚拟环境和现实世界感知数据可以通过组合器211来接收，并且可以通过与组合器211相关联的逻辑元件来处理。图6讨论了组合和处理所述现实世界感知数据和模拟的环境数据。一旦产生了物体列表和车道检测数据，则将数据提供到数据处理系统的计划模块。

在步骤350，为了接收所述物体和车道检测数据，所述数据处理系统可以计划从当前位置变到目标位置。计划从当前位置变到目标位置可以包括产生多个轨迹示例、分析每个轨迹来确定最佳的一个，和选择最佳轨迹。关于计划从当前位置变到目标位置的更多细节将在图7的方法中来讨论。

在步骤360进行安全检查。安全检查可以包括确认沿着所选择的轨迹存在的全部障碍物，沿着所选择的轨迹将不发生碰撞，并且所述自动驾驶汽车可以沿着所选择的轨迹来物理导航。

一旦所述计划模块产生了所选择的轨迹并进行了安全检查，则将所述轨迹路线提供到控制模块。在步骤370所述控制模块产生命令来将所述自动驾驶汽车沿着所选择的轨迹进行导航。所述命令可以包括如何及何时加速汽车、通过汽车施加制动、和施加到汽车的操控角以及何时进行。在步骤380通过控制模块提供所述命令到线控驱动模块来执行。所述线控驱动模块可以基于接收自所述控制模块的命令，来控制现实自动驾驶汽车的制动、加速和操控轮。通过执行所述命令，所述线控驱动模块使得现实自动驾驶汽车从当前位置行进到目标位置，例如沿着所选择的轨迹从道路中当前车道的中心参考线到相邻车道的中心参考线、驶出坡道、坡道行驶或者其他快速道路。

在步骤390将反馈提供到自动驾驶汽车，其涉及到基于所述现实世界和虚拟环境感知数据来计划和控制所述汽车。所述反馈可以用于比较实际输出与预期输出，反过来也可以用于调节所述自动驾驶汽车计划和命令模块。

图4是一种接收现实世界感知数据的方法。图4的方法提供了图3的步骤320更多的细节。首先，现实世界摄像机图像数据是在步骤410接收的。所述摄像机图像数据可以包括所述自动驾驶汽车行进穿过其中的环境的图像和/或视频。现实世界雷达和激光雷达数据在步骤440接收。所述雷达和激光雷达数据可以用于检测物体的附近，例如其他汽车和道路上的行人和所述自动驾驶汽车。

图4是一种接收虚拟环境感知数据的方法。图4的方法提供了图3的方法的步骤330更多的细节。HD地图数据在步骤510接收。用户定义的模拟的车道线在步骤520接收。记录的GPS路线在步骤530接收，并且虚拟障碍物数据在步骤540接收。

图6是一种组合和处理现实世界和虚拟环境数据的方法。图6的方法为图3的方法的步骤340提供了更多的细节。在步骤610所关注的现实物体可以从现实摄像机图像和/或视频数据来识别。所关注的物体可以包括停车灯、停车信号、其他信号，和所关注的其他物体(其可以通过所述数据处理系统来识别和处理)。在一些情况中，可以使用像素簇算法处理图像数据，来识别某些物体。在一些情况中，像素数据可以通过一个或多个机器学习模块来处理，其被训练来识别图像中的物体，例如交通灯物体、停车信号物体、其他信号物体和所关注的其他物体。

在步骤620，从现实摄像机图像数据中检测现实道路车道。道路车道检测可以包括识别具体道路、路线或者其他快速道路的边界。所述道路边界和车道线可以使用像素簇算法识别某些物体，一个或多个机器学习模块被训练来识别图像内的道路边界和车道线物体，或者通过其他物体检测方法。

在步骤630，现实雷达和激光雷达数据可以处理来确定自动驾驶汽车附近的现实物体，例如在自动驾驶汽车的零到几百英尺内。所述处理的雷达和激光雷达数据可以指示自动驾驶汽车附近的物体的速率、轨迹、速度和物体位置。雷达和激光雷达可检测的物体的例子包括轿车、卡车、人和动物。

可以在步骤640接收用户定义的模拟车道线，且可以在步骤650访问虚拟物体。由雷达和激光雷达数据(现实和虚拟)确定的物体的位置、轨迹、速度和加速度是在步骤660确定的。

在步骤670产生了经由雷达、激光雷达检测的现实和虚拟物体，以及来自于所述摄像机图像数据和虚拟感知数据的所关注的物体列表。对于所述列表中的每个物体，信息可以包括例如物体的标识符，物体的分类、位置、轨迹、速度、物体加速度和在一些情况中其他数据例如所述物体是现实还是虚拟物体。在步骤480，提供所述物体列表、道路边界和检测的车道线到计划模块。

在一些情况中，模拟的感知数据可以产生来操控、改变或者补充特定现实世界感知数据元件。例如如果现实世界物体例如轿车在相邻车道线中检测，则模拟的环境模块225可以接收现实世界数据元件和响应，产生一个或多个虚拟感知元件(例如免费虚拟感知元件)例如人工延迟、人工移动历史来指示物体可以领先的方向、与所述元件相关的人造灯和/或声音(例如来使得正常现实世界轿车看起来像消防车或者救护车)，以及其他虚拟元件。模拟的环境模块225可以接收现实世界感知数据和产生模拟的感知数据来操控所述现实世界数据。通过这种操控方法，本发明的数据处理系统可以增加变量来测试更多的例子和情形，特别是与单独的现实世界数据相比的极端情况，并以非常有效的方式进行。

在一些情况中，模拟的环境模块225可以产生这样的内容，其不会直接影响汽车传感器的模拟的感知，而是会影响路线计划。例如交通状况模拟可以通过模拟的环境模块225来产生，其包括内容例如道路施工、交通堵塞、暗淡的交通灯等。通过模拟的环境模块225所产生的这些类型的模拟内容可以用于测试本发明系统的计划模块和控制模块。

组合现实世界感知数据和模拟的感知数据的结果是感知数据的集合，其提供了更丰富的环境，在所述环境中训练和调节所述数据处理系统计划模块和控制模块。例如，现实世界感知数据可以包括单个车道道路，模拟的感知数据可以包括两个另外的车道和在所述现实世界车道线和虚拟车道线中行进的一个或多个虚拟汽车。在另一例子中，所述现实世界感知数据可以包括单向道路，所述虚拟感知数据可以包括在虚拟十字街口的非工作交通信号，来确定所述计划模块是否可以基于在虚拟十字街口的非工作交通信号的虚拟元件，来计划在道路上所采用的正确的动作。现实世界感知数据和模拟的感知数据可能的组合是无穷的，并且可以组合来提供丰富、灵活和有用的训练环境。所述现实世界感知数据和模拟的感知数据可以彼此组合和填充不同的空隙，来调节和训练自动驾驶汽车的计划模块和控制模块。

图7是一种计划从当前位置变到目标位置的方法。图7的方法为图3的方法的步骤350提供了更多的细节。虽然其他移动例如从第一车道线移动到停车点也可以以类似方式来进行，为了讨论的目的，将讨论从第一车道线移动到第二车道线。

在步骤710处产生用于当前车道线的第一中心参考线。所述第一中心参考线通过检测当前车道线的中心来产生，所述第一中心参考线由现实或者虚拟摄像机图像数据检测。在步骤720处激活转向信号。然后在步骤730产生第二中心参考线。所述第二参考中心线是所述自动驾驶汽车将被导航进入的相邻车道。

在步骤740处产生了从当前车道线的中心参考线到相邻车道线的中心参考线的轨迹示例。所述轨迹示例可以包括沿着相邻车道线参考线中的中心参考线从目前车道线的中心参考线到不同点的多个轨迹。在步骤750处评价和评级了每个产生的轨迹。评价多个样品轨迹线内的每个轨迹包括确定每个轨迹中的物体、确定约束事项和确定每个轨迹的成本。评价和评级所产生的轨迹是在下面涉及图8的方法来更详细讨论的。在步骤760选择了最高评级的轨迹，并且通过运动模块提供到控制模块。

图8是一种评价和评级所产生的轨迹的方法。图8的方法为图7的方法的步骤750提供了更多的细节。对于轨迹评级中的每个因素，基于所述测定的结果来提高或者降低所述评级。例如，如果测定表明轨迹是不安全的，则所述评级会减半或者减少某些百分比。在一些情况中，一些测定会比其他测定具有更高的权重，例如诸如检测的物体处于具体轨迹中。

在步骤810确定任何被测定为处于轨迹中的物体。当物体被测定处于具体轨迹中时，降低所述电池的评级，来避免在具体轨迹中导航的同时与所述物体碰撞。每个轨迹的约束事项是在步骤820确定的。在一些情况中，每个轨迹可以考虑一个或多个约束。所述约束可以包括横向边界、横向偏移、横向速度、横向加速度、横向加速度率，和车道线曲率。基于约束值和与每个具体约束相关的阈值，每个约束可以提高或者降低具体轨迹的评级。

在步骤830测定每个示例轨迹的成本。成本的例子包括端部抵消成本、平均抵消成本、车道改变时间持续成本、横向加速成本和侧撞成本。当测定成本时，如果具体成本高于阈值或者超出范围，则所述评级会下降，而如果成本低于阈值，或者处于期望的范围中，则所述评级会上升。在步骤840，基于轨迹中物体的分析、轨迹的约束事项和与每个轨迹相关的成本，给每个轨迹赋予得分。

图9是一种进行安全检查的方法。图9的进行安全检查的方法为图3的方法的步骤360提供了更多的细节。首先，在步骤910，所述数据处理系统确认沿着所选择的轨迹不存在障碍物。所述系统可以确认所述轨迹中没有所述物体列表中的物体，以及通过雷达、激光雷达或者摄像机数据所检测的任何新物体。在步骤920确认了不会发生碰撞。如果在道路中发生了意外的曲率、检测到道路内意外的边界，或者在所选择的轨迹中出现了一些其他无法预料的障碍物，则可以检测为发生了碰撞。

本发明组合现实世界感知数据和模拟的环境感知数据和处理所组合的数据，来计划动作和控制采用所计划的动作的自动驾驶汽车。所述虚拟环境感知数据可以提供另外的元件到所感知的环境和/或提出到计划模块。

图10显示了一种汽车，其具有由现实世界感知数据所确定的元件。如图10所示，汽车1010检测了现实世界车道边界1020和1030，和在现实世界车道中产生的中心参考线1040。

图11显示了图10的汽车，具有由现实世界感知数据和虚拟环境感知数据所确定的元件。如图11所示，除了现实世界车道边界之外，所述虚拟环境感知数据包括在与汽车1010在相同车道的虚拟汽车1060，和在具有虚拟边界1050的相邻虚拟车道中的虚拟汽车1020、1030和1040中。所述计划模块和控制模块以相同方式处理图10的现实世界元件和图11的虚拟元件来计划动作和控制执行所述动作的汽车1010。

图12是一种用于执行数据处理系统的计算环境的框图。图12的系统1200可以在上下文中在这样的机器中来执行的，其执行了自动驾驶汽车上的数据处理系统125。图12的计算系统1200包括一个或多个处理器1210和存储器1220。主存储器1220部分地存储了处理器1210要执行的指令和数据。当运行时主存储器1220可以存储可执行代码。图12的系统1200进一步包括大容量存储装置1230、便携式存储介质驱动器1240、输出装置1250、用户输入装置1260、图形显示器1270和外围装置1280。

图12所示部件显示为是经由单总线1290连接的。但是，所述部件可以通过一个或多个数据传送装置来连接。例如处理器1210和主存储器1220可以经由本地微处理器总线来连接，以及所述大容量存储装置1230、外围装置1280、便携式存储装置1240和显示系统1270可以经由一个或多个输入/输出(I/O)总线连接。

大容量存储装置1230(其可以体现为磁盘驱动器、光盘驱动器、闪盘驱动器或者其他装置)是非易失性存储装置，用于存储处理器1210所用的数据和指令。大容量存储装置1230可以存储系统软件来用于执行本发明的实施方案，以达到将所述软件装入主存储器1220的目的。

便携式存储装置1240与便携式非易失性存储介质例协作，如闪盘，USB驱动器，存储器卡或者棒，或者其他便携式或者可去除存储器，来将数据和代码输入和输出到图12的计算机系统1200。所述用于执行本发明实施方案的系统软件可以存储在这样的便携式介质上，并且经由便携式存储装置1240输入到计算机系统1200。

输入装置1260提供了用户界面的一部分。输入装置1260可以包括字母数字键区，例如键盘，来输入文字数字和其他信息，指向装置，例如鼠标、跟踪球、铁笔、光标方向键，麦克风、触摸屏、加速计、经由无线电频率连接的无线装置、运动传感装置和其他输入装置。此外，图12所示的系统1200包括输出装置1250。合适的输出装置的例子包括扬声器、打印机、网络界面、扬声器和监控器。

显示系统1270可以包括液晶显示器(LCD)或者其他合适的显示装置。显示系统1270接收了文字和图形信息和处理所述信息，以输出到显示装置。显示系统1270还可以作为触摸屏来接收输入。

外围装置1280可以包括任何类型的计算机支持装置，来为计算机系统增加另外的功能。例如外围装置1280可以包括调制解调器或者路由器，打印机和其他装置。

在一些实施方案中，系统1200还可以包括天线、无线发射器和无线接收器1290。所述天线和无线设备可以用于装置例如智能手机，写字板和其他可以无线通讯的装置。一个或多个天线可以在这样的一个或多个无线频率运行，其适于在蜂窝网络、Wi-Fi网络、商业装置网络例如蓝牙装置，和其他无线频率网络中发送和接收数据。所述装置可以包括一个或多个无线发射器和接收器，来处理使用天线所发送和接收的信号。

图12的计算机系统1200中包含计算机系统中通常存在的那些的部件，其可以适用于本发明的实施方案，并且旨在代表本领域公知的的计算机部件的广泛类别。因此，图12的计算机系统1200可以是个人计算机、手持计算装置、智能手机、可移动计算装置、工作站、服务器、小型计算机、大型计算机或者任何其他计算装置。所述计算机还可以包括不同的总线配置、网络化平台、多处理器平台等。可以使用不同的操作系统和语言，操作系统包括Unix、Linux、Windows、Macintosh OS、Android，语言包括Java、.NET、C、C++、Node，JS和其他合适的语言。

已经给出了本发明的前述详细说明，来用于说明和描述的目的。并非穷举或者将本发明限制到所公开的精确形式。根据上述教导，许多改变和变化是可能的。选择所述的实施方案来最佳地解释本发明的原理及其实践应用，由此使得本领域技术人员能够将本发明最佳地用于不同的实施方案以及进行不同的改变，来适于所预期的具体用途。其目的是通过附加的权利要求来定义本发明的范围。

Claims (25)

1.一种基于现实世界和虚拟感知数据来运行自动驾驶汽车的系统，所述系统包含：

数据处理系统，所述数据处理系统包含：一个或多个处理器、存储器、计划模块和控制模块，所述数据处理系统用于：

接收来自于现实感知传感器的现实世界感知数据；

接收模拟的感知数据；

将现实世界感知数据和模拟的感知数据组合；和

基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制所述汽车，所述汽车基于由所述现实世界感知数据和模拟的感知数据所产生的计划，在现实世界环境中运行。

2.根据权利要求1所述的系统，其中组合包括产生现实世界物体和虚拟物体的列表。

3.根据权利要求1所述的系统，其中组合包括检测现实世界车道线和虚拟车道线。

4.根据权利要求1所述的系统，其中所述模拟的感知数据包括记录的GPS路线。

5.根据权利要求1所述的系统，其中所述计划包括产生多个轨迹，所述轨迹在现实世界车道和虚拟车道之间延伸。

6.根据权利要求1所述的系统，其中产生计划包括在所述现实世界环境中基于虚拟物体和现实世界物体来计划动作。

7.根据权利要求1所述的系统，在所述自动驾驶汽车执行所述计划之后，所述数据处理系统提供反馈到所述自动驾驶汽车。

8.根据权利要求7所述的系统，其中所述反馈包括汽车计划模块和控制模块的运行。

9.根据权利要求1所述的系统，其中所述模拟数据包括高清晰度地图。

10.根据权利要求9所述的系统，其中所述高清晰度地图包括在所述现实世界中不存在的模拟的车道。

11.根据权利要求1所述的系统，所述系统还包含接收免费虚拟感知数据，所述免费虚拟感知数据是响应检测所述现实世界感知数据的一部分而产生的，所述免费虚拟感知数据操控所述现实世界感知数据的被检测部分的一个方面。

12.根据权利要求1所述的系统，所述系统还包含接收模拟的交通状况模拟，其中控制汽车的计划至少部分地根据所接收的模拟的交通状况产生。

13.一种基于现实世界和虚拟感知数据来测试模拟的自动驾驶汽车的系统，所述系统包含：

数据处理系统，所述数据处理系统包含：一个或多个处理器、存储器、计划模块和控制模块，所述数据处理系统用于：

接收来自于现实感知传感器的现实世界感知数据；

接收模拟的感知数据；

将现实世界感知数据和模拟的感知数据组合；和

基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制所述模拟的汽车，所述模拟的汽车基于由所述现实世界感知数据和模拟的感知数据所产生的计划，在模拟环境中运行。

14.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质具有植入其上的程序，所述程序可通过处理器执行，来进行基于现实世界和虚拟的感知数据运行自动驾驶汽车的方法，所述方法包含：

接收来自于现实感知传感器的现实世界感知数据；

接收模拟的感知数据；

将现实世界感知数据和模拟的感知数据组合；和

基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制所述汽车，所述汽车基于由所述现实世界感知数据和模拟的感知数据所产生的计划，在现实世界环境中运行。

15.根据权利要求14所述的非瞬时性计算机可读存储介质，其中组合包括产生现实世界物体和虚拟物体的列表。

16.根据权利要求14所述的非瞬时性计算机可读存储介质，其中组合包括检测现实世界车道线和虚拟车道线。

17.根据权利要求14所述的非瞬时性计算机可读存储介质，其中所述模拟的感知数据包括记录的GPS路线。

18.根据权利要求14所述的非瞬时性计算机可读存储介质，其中所述计划包括产生多个轨迹，所述轨迹在现实世界车道和虚拟车道之间延伸。

19.根据权利要求14所述的非瞬时性计算机可读存储介质，其中产生计划包括在所述现实世界环境中基于虚拟物体和现实世界物体来计划动作。

20.根据权利要求14所述的非瞬时性计算机可读存储介质，在所述自动驾驶汽车执行所述计划之后，所述数据处理系统提供反馈到所述自动驾驶汽车。

21.根据权利要求20所述的非瞬时性计算机可读存储介质，其中所述反馈包括汽车计划模块和控制模块的运行。

22.一种基于现实世界和虚拟感知数据来运行自动驾驶汽车的方法，所述方法包含：

通过存储在存储器中并且由一个或多个处理器执行的数据处理系统，接收来自于现实感知传感器的现实世界感知数据；

通过所述数据处理系统接收模拟的感知数据；

将所述现实世界感知数据和模拟的感知数据组合；和

基于组合的现实世界感知数据和模拟的感知数据，产生计划来控制所述汽车，所述汽车基于由所述现实世界感知数据和模拟的感知数据所产生的计划，在现实世界环境中运行。

23.根据权利要求22所述的方法，其中组合包括产生现实世界物体和虚拟物体的列表。

24.根据权利要求22所述的方法，其中组合包括检测现实世界车道线和虚拟车道线。

25.根据权利要求22所述的方法，其中所述模拟的感知数据包括记录的GPS路线。

Images