CN106598695A - 用于虚拟驾驶环境中的车道边界检测的试验台 - Google Patents

Abstract

提供了涉及用于虚拟驾驶环境中的车道边界检测的试验台的方法和装置。该方法可以包含由处理器生成虚拟驾驶环境，该虚拟驾驶环境包含一个或多个行车车道、虚拟车辆以及安装在虚拟车辆上被配置为当虚拟车辆穿过虚拟环境内时生成模拟的数据的一个或多个虚拟传感器。该方法还可以包含执行算法以处理模拟的数据以检测一个或多个行车车道。该方法可以进一步包含记录算法的输出。此外，该方法可以包含为模拟的数据注释算法的输出。

Description

用于虚拟驾驶环境中的车道边界检测的试验台

技术领域

本发明总体上涉及车辆系统，并且更具体地涉及用于提供用于开发、训练和验证用于检测驾驶环境中的车道边界的算法的测试和验证环境的试验台(testbed)。

背景技术

一般来说，具有用于解读传感器以便提供、启用或以其他方式支持例如驾驶员辅助、控制车辆动力学、和/或自主驾驶的功能的已充分证实的算法是必要的。特别是，用于检测行车车道的边界的算法是至关重要的。目前，依赖于真实世界传感器数据和地面实况信息进行开发、训练、测试和验证这样的算法。然而，获得大量有用的真实世界数据和地面实况信息就时间、金钱和资源而言是昂贵的。

发明内容

根据本发明，提供一种方法，包含：

由处理器生成虚拟驾驶环境，该虚拟驾驶环境包含一个或多个行车车道、虚拟车辆以及安装在虚拟车辆上的一个或多个虚拟传感器，该一个或多个虚拟传感器被配置为当虚拟车辆穿过虚拟环境内时生成模拟的数据；

由处理器执行算法以处理模拟的数据以检测一个或多个行车车道；以及

由处理器记录算法的输出。

根据本发明的一个实施例，该方法进一步包含：

为模拟的数据注释算法的输出。

根据本发明的一个实施例，其中虚拟驾驶环境进一步包含对应于一个或多个行车车道的多个车道标记和相对于虚拟驾驶环境静止或移动的多个虚拟对象，多个车道标记中的每一个和多个虚拟对象中的每一个可被一个或多个虚拟传感器感测到，并且其中模拟的数据表征由感测多个车道标记和多个虚拟对象的一个或多个虚拟传感器感知到的虚拟驾驶环境。

根据本发明的一个实施例，其中一个或多个虚拟传感器包含虚拟摄像机，并且其中模拟的数据包含由虚拟摄像机感知到的虚拟驾驶环境的一个或多个虚拟图像。

根据本发明的一个实施例，该方法进一步包含：

为模拟的数据注释算法的输出；以及

在一个或多个虚拟图像上显示多个覆盖的标记，多个覆盖的标记指示一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。

根据本发明的一个实施例，其中算法的输出包含一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。

根据本发明的一个实施例，其中一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置包含多个点，每一个点在虚拟驾驶环境内具有各自的空间坐标，多个点共同对应于一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。

根据本发明的一个实施例，该方法进一步包含：

为模拟的数据注释多个点的空间坐标。

根据本发明的一个实施例，该方法进一步包含：

生成一个或多个行车车道中的至少一个的地面实况信息，该地面实况信息表示在虚拟驾驶环境内一个或多个行车车道中的至少一个的一个或多个边界的一个或多个实际位置。

根据本发明的一个实施例，该方法进一步包含：

记录地面实况信息与算法的输出之间的差异。

根据本发明的一个实施例，该方法进一步包含：

为模拟的数据注释地面实况信息。

根据本发明的一个实施例，其中记录包含记录算法的输出的时间戳。

根据本发明的一个实施例，其中一个或多个虚拟传感器根据车辆静止模型被安装在虚拟车辆上，车辆静止模型模拟一个或多个虚拟传感器相对于虚拟车辆的位置，并且其中虚拟车辆根据车辆动态模型穿过虚拟环境内，车辆动态模型模拟虚拟车辆的运动。

根据本发明，提供一种车道边界检测试验台，包含：

被配置为执行车道边界检测算法的一个或多个处理器；以及

可操作地连接到一个或多个处理器的存储器，存储器存储一个或多个处理器可执行的多个代码，多个代码包含：

虚拟驾驶环境模块，该虚拟驾驶环境模块被编程以生成虚拟驾驶环境，该虚拟驾驶环境包含一个或多个行车车道、与一个或多个行车车道相关联的多个车道标记以及多个虚拟对象的定义；

被编程以模拟传感器的第一软件模型；

被编程以模拟承载传感器的车辆的静止特性的第二软件模型；

被编程以模拟承载传感器的车辆的动态特性的第三软件模型；以及

模拟模块，该模拟模块被编程以使一个或多个处理器利用虚拟驾驶环境模块、第一软件模型、第二软件模型和第三软件模型来产生数据，该数据模拟在传感器被安装在车辆上、当车辆在类似于或匹配虚拟驾驶环境的实际驾驶环境中行驶时的真实世界情况下传感器的输出，

其中，车道边界检测算法被编程以便一旦被一个或多个处理器执行，就使一个或多个处理器确定一个或多个行车车道的一个或多个边界的一个或多个位置。

根据本发明的一个实施例，其中模拟模块被进一步编程以使一个或多个处理器为数据注释一个或多个行车车道的一个或多个边界的一个或多个位置。

根据本发明的一个实施例，其中模拟模块被进一步编程以使一个或多个处理器为数据注释地面实况信息，该地面实况信息表征根据一个或多个行车车道的定义的一个或多个行车车道的位置。

根据本发明的一个实施例，其中模拟模块包含一组偏置参数，该组偏置参数被编程以使一个或多个处理器偏置数据以至少应对天气条件、一天中的时间、传感器老化和车辆老化。

根据本发明的一个实施例，其中传感器包含虚拟摄像机，并且其中数据包含由虚拟摄像机感知到的虚拟驾驶环境的一个或多个虚拟图像。

根据本发明的一个实施例，其中传感器包含虚拟光探测和测距(LIDAR)设备，并且其中数据包含表示由虚拟LIDAR设备感知到的一个或多个车道边界的信息。

根据本发明的一个实施例，其中存储器进一步存储数据和带时间戳的一个或多个行车车道的一个或多个边界的一个或多个位置。

附图说明

本发明的非限制性和非穷尽性实施例参照以下附图进行描述，其中贯穿各个附图，相同的附图标记指代相同的部件，除非另有规定。

图1是描绘可以实施本发明的示例实施例的示例环境的视图；

图2是根据本发明的实施例描绘示例装置的框图；

图3是根据本发明说明标记有一个或多个注释(annotation)的传感器数据的一个实施例的视图；

图4是根据本发明的实施例的示例过程的流程图；

图5是根据本发明的实施例的另一个示例过程的流程图。

具体实施方式

在以下说明中，参考形成说明书的一部分的附图，在附图中通过例证示出可以实践本发明的特定示例性实施例。这些实施例被足够详细地描述以使本领域技术人员能够实践本文所公开的构思，并且可以理解的是，在不脱离本发明的范围的前提下，可以对各个所公开的实施例进行修改，并且可以利用其他实施例。因此，以下具体实施方式不应被视为具有限制意义。

在检测具有各种标记或没有标记的车道边界的车道边界检测算法的开发中，需要多组传感器数据来训练、开发、测试和验证车道边界检测算法和与该算法相关联的附加下游功能。然而，获得真实世界传感器数据通常需要大量的金钱、时间和资源。例如，为了获得真实世界传感器数据，传感器需要被物理地安装在车辆上，并且需要在各种类型的道路上和针对各种交通条件进行实际驾驶运行(driving run)以使传感器收集每种情况下的传感器数据。此外，环境变量，例如天气、温度、风、光条件和其他天气相关的因素，倾向于将待收集的传感器数据组的数量增加多个数量级。一般情况下，需要数千英里的道路的传感器数据来开发车道边界检测算法，并且因此需要大量的时间、金钱和资源来获得这样的数据。

当考虑具有装备在车辆的不同位置处的不同种类的传感器的不同类型的车辆(例如不同的品牌/型号)时，情况被进一步复杂化，并且待收集的传感器数据被进一步增加。此外，特定车辆的特性以及安装在其上的各种传感器的特性可能由于例如老化或里程计里程的累积以及其他因素而随时间变化或漂移。换句话说，为具有低里程的新车开发和良好训练的车道边界检测算法在车辆被投入使用几年之后可能不会那么有效或准确。

此外，不是所有类型的传感器产生相互兼容的格式的数据。因此，在采集到可以被车道边界检测算法使用的格式之后，需要显著的努力对大量真实世界传感器数据进行后处理。另外，在开发具有嵌入的内置监督学习功能的算法时，为这样的算法提供实际车道边界信息——在此也被称为“地面实况信息”——是需要的，以便算法可以将其自身的车道边界指示与真正的或已知正确的车道边界位置进行比较，从而通过机器学习的方式改善算法的检测能力。获得地面实况信息的这种需要进一步使利用真实世界数据进行开发车道边界检测算法的负担加重。

本发明提供了一种通过利用虚拟环境生成传感器数据来克服困难并且降低获得车道边界检测算法所需的传感器数据的成本的解决方案。该解决方案也通过算法自训练使地面实况信息的产生相对容易。在获得传感器数据时，以上提到的各种情况、条件和参数在虚拟环境中可以很容易地虚拟设置，并且配备有虚拟传感器的虚拟车辆可以穿过或行驶通过模拟的虚拟环境并且虚拟收集(即，由模拟生成)车道边界检测算法所需的传感器数据。虚拟环境、虚拟车辆和虚拟传感器被建模以接近匹配相应的真实环境、真实世界车辆和真实世界传感器，使得模拟生成的虚拟传感器数据可以大体上表示在真实世界环境中由真实世界传感器收集到的相同的信息。由于地面实况车道边界信息被定义为虚拟环境的一部分，所以其是现成的。

图1说明了示例环境100，示例环境100是可以实施本发明的示例实施例的虚拟环境。在示例环境100中，路面105可以被设计为允许单向或双向机动车交通在其上行驶。每一个方向上的交通可以具有一个或多个行车车道(driving lane)115。路面105可以设置有一条或多条线，例如线110和线120，例如，作为识别或以其他方式指定路面105上的行车车道115的车道标记。在一些实施例中，路面105可以包括其他标记作为车道标记，诸如，例如，多个表面反射器(surface reflector)130。线110和120中的一条或两条可以是实线、虚线或其它图案，并且可以是任何颜色和任何纹理。为了说明的目的而不是限制本发明的范围，在图1中，线110被示为实线并且线120被示为虚线。在一些实施例中，路面105可以具有其它种类的标记，诸如，例如，喷涂或设置在路面105上的箭头符号140或其它符号或文字。在一些实施例中，以上提到的标记和线中的一个或多个或全部可以不存在于路面105上以模拟某些种类的路面，诸如，例如，乡村道路、土路、未铺路面的道路、私人道路和覆盖有碎片、泥或雪的道路。

在一些实施例中，路面105可以设置有一个或多个道路结构，例如将行车车道与另一个行车车道分开的交通分割物。在一些实施例中，一个或多个路边结构，例如路肩、侧轨或路缘150，可以沿着路面105在平行于机动车交通的方向上设置在路面105的任一侧或两侧上。在一些实施例，对象例如交通标志160、商业标志或广告牌也可以沿着路面105设置在平行于机动车交通的方向上。交通标志或其它标志也可以被设置在路面105上方不影响机动车交通的地方。

在一些环境中，对象例如灌木、树木或其他植物170，以及其他结构例如路灯、电源柱(power post)、电线杆或建筑物，可以沿着路面105设置在平行于机动车交通的方向上。

具有安装在其上的一个或多个虚拟传感器的虚拟车辆可以被用于在环境100中生成传感器数据。例如，如图1所示的车辆190可以通过在路面105上的行车车道115内行驶而穿过环境100。一个或多个传感器，例如传感器191、192和193，可以被安装在车辆190上并且当车辆190穿过路面105时被用于通过根据传感器191、192和193中的每一个的特定特性生成某些传感器数据来表征环境100。传感器数据可以被记录并且随后被用于开发被编程以识别或以其他方式确定环境100内一个或多个行车车道115的车道边界的车道边界检测算法、软件程序。例如，安装在车辆190上的传感器191、192和193可以通过识别和/或记录以上提到的存在于环境100中的对象、结构、标记和线中的一些或全部——包括线110和120、表面反射器130、标记或文字140、路肩或侧轨150、标志160、以及树木或其它植物170——的某些特性来表征环境100。此外，安装在车辆190上的传感器191、192和193也可以表征和记录存在于环境100中在车辆190相同或相反的方向上移动的其他车辆，例如如图1所示的车辆181、182和183。对应于其他车辆——例如车辆181、182和183——的特性的传感器数据可以被车道边界检测算法使用以帮助识别或以其他方式确定车道边界。

本发明采用的实现传感器数据的获得的低成本且有效的解决方案的方法是通过从真实世界大体上变换为图1所示的虚拟空间物体和对象，以及承载传感器的车辆的穿过和环境的特性。也就是说，图1所描绘的每一个物体被建模以表示真实世界中的实际对象，并且还可以表示虚拟空间中的虚拟对象。一般情况下，执行真实世界到虚拟空间变换以及虚拟传感器数据生成的这样的系统是通过利用计算设备或一个或多个处理器实现的。

图2说明了可以实施本发明的示例实施例的示例车道边界检测试验台200。车道边界检测试验台200可以执行一个或多个模拟以便产生适用于开发、测试、和/或训练各种车道边界检测算法的传感器数据250。车道边界检测试验台200可以被配置为以任何合适的方式实现这样的目的。例如，车道边界检测试验台200可以被实施为硬件、软件或它们的一些组合。

在一些实施例中，车道边界检测试验台200可以包括计算机硬件和计算机软件。车道边界检测试验台200的计算机硬件可以包括一个或多个处理器202、存储器290、用户界面204、其它硬件206(例如，现场可编程门阵列(FPGA)或图形处理单元(GPU))、或诸如此类或它们的组合或子组合。存储器290可以被可操作地连接到一个或多个处理器202或以其它方式可由一个或多个处理器202访问，并且可以被配置为存储由一个或多个处理器202执行的计算机软件。

在一些实施例中，一个或多个处理器202可以执行车道边界检测算法270以生成算法输出280。车道边界检测算法270可以使一个或多个处理器202通过接收和分析由模拟一个或多个关注的真实世界传感器的虚拟传感器模型220产生的传感器数据250来确定车道边界可以存在的“最可能的”或“最有可能的”位置。

用户界面204可以允许用户——例如，工程师、技术人员或诸如此类——与车道边界检测试验台200交互、运行、定制或控制车道边界检测试验台200的各个方面。在一些实施例中，用户界面204可以包括一个或多个小键盘、键盘、触摸屏、定点设备、或诸如此类或它们的组合或子组合。

在一些实施例中，存储器290可以存储与一个或多个虚拟驾驶环境210有关或以其他方式限定一个或多个虚拟驾驶环境210的数据、代码和/或指令。一个或多个虚拟驾驶环境210可以包含图1所示的各种虚拟对象、结构和标记。存储器290还可以存储一个或多个传感器模型220、一个或多个车辆模型230、模拟模块240、传感器数据250、算法输出280、其它数据或软件260(例如从虚拟驾驶环境210或编程以通过用户界面204虚拟显示传感器数据250的代码中提取的“地面实况”信息)或诸如此类、或它们的组合或子组合。

在一些实施例中，虚拟驾驶环境210可以包括以存在于图1所示的环境100中的静止对象、结构、标记和线——包括线110和120、表面反射器130、标记或文字140、路肩或侧轨150、标志160、以及树木或其它植物170——中的一些或全部的虚拟空间位置、方向、尺寸、形状、颜色、表面反射性和其他特性限定的三维网格。在一些实施例中，虚拟驾驶环境210还可以限定其他移动对象——例如如图1所示的车辆181、182和183——的特性，包括但不限于其它移动对象中的每一个的速度、移动方向、加速度/减速度和转弯。

在一些实施例中，每一个传感器模型220可以是定义或预测某些情况或查看相应的真实世界传感器的输出的软件模型。在某些实施例中，每一个传感器模型220可以提供有表征路面——例如，路面105——的各个视图的信息(例如，来自虚拟驾驶环境210的数据)。通过该信息，每一个传感器模型220可以预测真实世界中呈现有这些视图的实际传感器将输出的内容。

在一些实施例中，关注的真实世界传感器可以包括感测或检测环境的某些特性并提供定义该特性的相应的输出(例如，电或光信号或图像)的换能器(transducer)。例如，关注的一个或多个真实世界传感器可以是输出经历适当加速特有的电信号的加速度计。这样的加速度计可以被用于确定车辆行驶的方向、加速度、速度、和/或距离。关注的其他真实世界传感器可以包括摄像机、激光扫描仪、光探测和测距(LIDAR)扫描仪、超声换能器、雷达设备、陀螺仪、惯性测量单元、转速计或传感器、应变仪、温度传感器、或诸如此类。

每一个传感器模型220可以被用于模拟由关注的真实世界传感器产生的输出。例如，传感器模型220可以被用于模拟如图1所示安装在车辆190上的传感器191、192和193。由于对于不同的真实世界传感器，输出可以是不同的，因此，在一些实施例中，给定的传感器模型220可以对应于特定类型的真实世界传感器。就是说，一个传感器模型220可以适合于模拟特定类型的传感器(例如，特定类型的摄像机)的输出，而另一个传感器模型220可以适合于模拟另一种类型的传感器(例如，特定的雷达扫描仪)的输出。

每一个传感器模型220可以产生任何合适的格式的输出。例如，在一些实施例中，传感器模型220可以输出相应的真实世界传感器将产生的模拟信号。可选择地，传感器模型220可以输出经处理的信号，例如模拟信号的数字化并滤波的版本。例如，传感器模型220可以输出经处理的信号，例如由数据采集系统输出的经处理的信号。因此，在一些实施例中，传感器模型220的输出可以是相应的真实世界传感器将产生的信号的受制约的数字版本。

一个或多个车辆模型230中的每一个被配置为模拟在驾驶环境中穿过路面的相应的安装传感器的车辆，例如图1的车辆190。类似于传感器模型220，对于不同类型的真实世界车辆(例如，机动车辆的不同品牌/型号)，车辆型号230可以是不同的。车辆(例如，特定跑车)的具体品牌/型号可以由相应的车辆模型230来模拟，该相应的车辆模型230区别于用于模拟不同品牌/型号的另一车辆(例如，特定皮卡车)的另一车辆模型230。

一般情况下，车辆模型230可以包括两个子模型：车辆静止模型232和车辆动态模型234。采用两个子模型，车辆在虚拟驾驶环境210内穿过可以被模拟到相当精确的程度。车辆静止模型232可以是定义相应类型的车辆的某些静止特性的软件模型。在一些实施例中，一组参数可以被用来记录相应类型的车辆的尺寸。该组参数还可以包括关于安装在相应类型的车辆上的一个或多个传感器的计划的位置的信息。车辆动态模型234可以是定义相应类型的车辆响应于外力或撞击的某些动态特性的软件模型。在一些实施例中，车辆动态模型234可以包括相应类型的车辆的底盘和/或悬挂动力学对某些保真度的特性。

在一些实施例中，车辆动态模型234可以设置有一个或多个驾驶员输入(例如，表征参数——例如速度、驱动转矩、制动器致动、转向输入、或诸如此类或它们的组合或子组合——的一个或多个值)和表征路面的信息(例如，来自虚拟驾驶环境210的数据)。通过这些输入和信息，车辆动态模型234可以预测相应类型的车辆的车身的运动状态。

车辆动态模型234的参数可以以任何合适的方式确定或指定。在一些实施例中，车辆动态模型234的某些参数可以从相应的真实世界车辆的机械性能(例如，几何形状、惯性、刚度、阻尼系数等)的先前知识得出。对于不同类型的车辆，参数可以是不同的。

模拟模块240可以被编程为使一个或多个处理器202将虚拟驾驶环境210、一个或多个传感器模型220和车辆模型230作为输入并且随后生成输出，该输出模拟由安装在穿过由虚拟驾驶环境210模拟(例如，大体上或完全匹配)的真实世界驾驶环境的相应的真实世界车辆(例如，由车辆模型230模拟的车辆)上的一个或多个相应的真实世界传感器产生的真实世界输出。在一些实施例中，由模拟模块240生成的输出的至少一部分可以被存储在存储器290中作为传感器数据250。如前所述，驾驶环境100可以包括一个或多个车道标记，例如实线110、虚线120和表面反射器130。在这种情况下，传感器数据250可以包括直接表征车道边界的位置的数据。可选择地，在一些实施例中，驾驶环境100可以不包括车道标记中的任何一个或一些。在这种情况下，传感器数据250可以包括表征在虚拟驾驶环境210中定义的静止的或移动的其他虚拟对象的数据，例如文字140、路肩或侧轨150、标志160、树木或其它植物170、以及其他车辆181、182和183。尽管存储为传感器数据250的这些虚拟对象的间接数据可以仍然被一个或多个处理器202使用以通过执行车道边界检测算法270来推断车道边界的位置。

在一些实施例中，车道边界检测试验台200可以包括模拟模块240中的一个或多个偏置模块(bias module)242。偏置模块242的目的是应对副效应，例如天气条件、一天中的时间、传感器老化和车辆老化。在真实世界情况下，传感器可能无法在无限长的时间段内保持相同的特性或性能。很可能的是，真实世界传感器可能经历某些老化效应并且其特性可能随时间变化或漂移。类似的情况可能发生于真实世界车辆。包括在模拟模块240中的偏置模块242可以被编程以通过使一个或多个处理器202根据一组偏置参数来调节由模拟模块240生成的输出或存储的传感器数据250来应对由于天气条件、一天中的时间、传感器老化和车辆老化导致的这样的效应。在一些实施例中，偏置模块242可以被编程以应对各种天气条件。在一些实施例中，偏置模块242可以被编程以应对根据一天的不同时间可能从早到晚变化的光照条件。在一些实施例中，偏置模块242可以使一个或多个处理器202来调节或“偏置”一个或多个传感器模型220以应对这样的副效应。

偏置模块242的示例实施方式可以通过以下示例进一步说明。在一些实施例中，传感器模型220可以是模拟真实世界视觉摄像机的虚拟摄像机，并且因此相应的传感器数据250可以是一个或多个视觉图像。如果虚拟天气条件是正在下雨，则相比于在正常天气条件下以其他方式感知到的清晰图像，由虚拟摄像机感知到的图像将由于下雨而变得模糊不清并且可以受到挡风玻璃刮水器的运动干扰。作为另一个示例，相比于在正常日光条件下的清晰图像，在明亮日光下感知到的图像可能具有较小的对比度并且因此具有“全白(whiteout)”效果。由模拟模块240生成的图像(例如，传感器数据250)上的这些视觉效果可以由一个或多个偏置模块242产生。总之，一个或多个偏置模块242不仅应对各种副效应，而且便于在各种条件下以有效和低成本的方式生成大量传感器数据250。

图3说明了根据本发明标记有一个或多个注释的传感器数据的一个实施例。参考图1和图2，作为一示例，随着虚拟车辆190穿过虚拟驾驶环境100(或，等同地，虚拟驾驶环境210)，对于虚拟传感器191、192和193中的每一个，车道边界检测试验台200可以随着模拟的时间段生成每一个模拟的时刻的传感器数据250。例如，也参照图3，对于第一模拟的时刻，模拟模块240可以生成表征由特定虚拟传感器191在该第一时刻感知到的虚拟驾驶环境100的传感器数据250a。随后，对于第二模拟的时刻，模拟模块240可以生成表征由虚拟传感器191在该第二时刻感知到的虚拟驾驶环境210的传感器数据250b。对于第三模拟的时刻(生成传感器数据250c)、第四模拟的时刻(生成传感器数据250d)等等，该过程可以被重复。因此，通过从一个时刻前进到下一个，模拟模块240可以生成表征由虚拟传感器191随着该模拟的时间段感知到的虚拟驾驶环境210的数据流391。对于安装在特定的虚拟车辆(例如，车辆190)上的所有的虚拟传感器(例如，传感器191、192和193)，该模拟过程可以被重复。因此，对于特定的虚拟车辆190和它已穿过的虚拟驾驶环境100，可以生成包含一个或多个数据流(例如，数据流391、392和393)的传感器数据250。

在图3所示的示例中，不同的数据流391、392和393可以表示不同的虚拟传感器191、192和193的输出。就是说，第一数据流391可以表示安装在虚拟车辆190的左前角上的第一虚拟摄像机191的输出，第二数据流392可以表示安装在虚拟车辆190的前部中心上的第二虚拟摄像机192的输出，并且第三数据流393可以表示安装在虚拟车辆190的右前角上的第三虚拟摄像机193的输出。共同地，形成特定的运行(例如，特定虚拟车辆190特定虚拟穿过特定虚拟驾驶环境210)的传感器数据250的各个数据流391、392和393可以表示或说明特定算法(即，正在开发或测试的算法)将用在真实世界中的部分或全部输入。

在一些实施例中，模拟模块240可以包括地面实况注释模块244，该地面实况注释模块244被编程以使一个或多个处理器202将传感器数据250与第一类的一个或多个注释结合。例如，图3所示的注释350a和注释350b可以包括第一类的这样的注释。每一个这样的注释可以注释对应于虚拟驾驶环境210的“地面实况”信息。在一些实施例中，地面实况信息包括在虚拟驾驶环境210中定义的车道边界的实际空间位置。因此，地面实况由虚拟驾驶环境210模拟，这样的信息对车道边界检测试验台200是现成的。在一些实施例中，当注释的传感器数据250被算法用于监督的学习方法中时，包含在一个或多个注释中的地面实况信息可以被用于量化或评估车道边界检测算法270的性能。

例如，一个或多个注释，包括注释350a和350b，可以提供特定的运行驾驶虚拟车辆190的车道115的边界的“真实位置”。车道边界的真实位置是根据虚拟驾驶环境100内车道115的空间定义来限定。注释350a和350b可以被链接、关联到、覆盖在、或以其他方式与数据流391、392和393的特定部分相关联。因此，对应于特定车道115的地面实况信息可以被链接到反映虚拟传感器191、192和193对车道115的该边界的感知的数据流391、392和393的部分。在一些实施例中，并不是所有的数据流391、392和393可以具有在其相同的临时部分注释的地面实况信息。

在一些实施例中，模拟模块240可以包括车道边界注释模块246，该车道边界注释模块246被编程以使处理器202将传感器数据250与第二类的一个或多个注解结合。例如，图3所示的注释350a和注释器350b可以包括第二类的这样的注释。每一个这样的注释可以通过算法输出280——即，由车道边界检测算法270确定的车道边界的位置——来注释传感器数据250。在一些实施例中，传感器数据250可以是由相应的传感器模型220模拟的虚拟摄像机感知到的虚拟图像，并且注释350a和注释350b可以是覆盖在虚拟图像上表示算法输出280的线或曲线或其它标记。算法输出280可以包括由处理器202指定的在由模拟模块240生成的虚拟图像(即，传感器数据250)的视野中车道边界大约位于的位置(通过执行边界检测算法270)。

图4说明了根据本发明的实施例的示例过程400。示例过程400可以包括如框——例如410、420、430、440、450、460和470——示出的一个或多个操作、动作或功能。虽然被示为离散的框，但是根据所需的实施方式各个框可以被分成附加的框，被组合成更少的框，或被排除。示例过程400可以在示例环境100和/或示例车道边界检测试验台200中实施。为便于说明而不是限制其范围，示例过程400以下在示例车道边界检测试验台200的情况下进行说明。

在410，示例过程400可以包含处理器202根据图1所示的各种虚拟对象(例如，如文字140、路肩或侧轨150、标志160、树木或其它植物170、以及其它车辆181、182和183)、车道标记(例如，实线110、虚线120和表面反射器130)和虚拟传感器(例如，传感器191、192和193)来设置虚拟驾驶环境210。框420可以跟随框410。

在420，示例过程400可以包含处理器202确定遍历(traversal)是否已经到达预定目的地。例如，在生成虚拟驾驶环境210之后，处理器202可以确定遍历是否已经到达预定目的地。一方面，如果确定遍历尚未到达预定目的地，则处理器202可以确定遍历虚拟传感器至虚拟驾驶环境内的下一个位置，并且示例过程400可以进行到430。另一方面，如果确定遍历已到达预定目的地，则处理器202可以确定进行到470。

在430，响应于确定遍历尚未到达预定目的地，则示例过程400可以包含利用车辆模型230的车辆动态模型234遍历虚拟传感器到下一个位置。框440可以跟随框430。

在470，响应于确定遍历已到达预定目的地，示例过程400可以包含分析(通过处理器202执行车道边界检测算法270)传感器数据250并且随后确定(也通过处理器202执行车道边界检测算法270)虚拟驾驶环境210中的车道边界位置。在470，示例过程400也可以包含为传感器数据250注释检测到的车道边界。示例过程400可以在470之后结束。

在440，示例过程400可以包含处理器202记录由模拟模块240生成的表征由传感器模型220模拟的虚拟传感器感知到的虚拟驾驶环境210的传感器数据250。框450可以跟随框440。

在450，示例过程400可以包含模拟模块240的地面实况注释模块244为传感器数据250注释地面实况信息，例如如在虚拟驾驶环境210中在传感器数据250的时间的各个部分定义的车道边界的位置。框460可以跟随框450。

在460，示例过程400可以包含处理器202响应于记录表征由虚拟传感器感知到的虚拟驾驶环境210的注释的数据来确定虚拟传感器是否是感知需要被记录的感测虚拟驾驶环境210的虚拟传感器中的最后一个。一方面，如果确定虚拟传感器不是感知需要被记录的感测虚拟驾驶环境210的虚拟传感器中的最后一个，则处理器202可以进行到440以记录表征由下一个虚拟传感器感知到的虚拟驾驶环境210的注释的数据。另一方面，如果确定虚拟传感器已经是感知需要被记录的感测虚拟驾驶环境210的虚拟传感器中的最后一个，则处理器202可以进行到420以再次检查遍历是否已经达到预定目的地。

图5说明了根据本发明的实施例的另一个示例过程500。示例过程500可以包括如框——例如510、520、530、540、550、560和570——示出的一个或多个操作、动作、或功能。虽然被示为离散的框，但是根据所需的实施方式各个框可以被分成附加的框，被组合成更少的框，或被排除。示例过程500可以在示例环境100和/或示例车道边界检测试验台200中实施或通过示例环境100和/或示例车道边界检测试验台200来实施。为便于说明而不是限制其范围，示例过程500以下在示例车道边界检测试验台200的情况下进行说明。示例过程500可以开始于框510。

在510，示例过程500可以包含一个或多个处理器202生成虚拟驾驶环境100，该虚拟驾驶环境100包括一个或多个行车车道105、虚拟车辆190和虚拟传感器191、192和193。虚拟传感器191、192和193被安装在虚拟车辆190上。

在520，示例过程500可以包含一个或多个处理器202遍历安装在虚拟驾驶环境100内的虚拟车辆190上的虚拟传感器191、192和193以生成模拟的传感器数据250。框530可以跟随框520。

在530，示例过程500可以包含一个或多个处理器202执行一个或多个车道边界检测算法270以处理模拟的传感器数据250以检测一个或多个行车车道105、将一个或多个行车车道105的边界的位置指定为算法输出280。框540可以跟随框530。

在540，示例过程500可以包含一个或多个处理器202记录算法输出280。框550可以跟随框540。

在550，示例过程500可以包含一个或多个处理器202通过车道边界注释模块246为模拟的传感器数据250注释算法输出280。框560可以跟随框550。

在560，示例过程500可以包含一个或多个处理器202生成用于一个或多个行车车道105中的至少一个的地面实况信息。该地面实况信息可以表示虚拟驾驶环境100内一个或多个行车车道105中的至少一个的一个或多个边界的一个或多个实际位置。此外，示例过程500可以包含一个或多个处理器202记录地面实况信息与算法280的输出之间的差异。可选择地或此外，示例过程500可以包含一个或多个处理器202为模拟的传感器数据250注释地面实况信息。框570可以跟随框560。

在570，示例过程500可以包含一个或多个处理器202通过地面实况注释模块244为模拟的传感器数据250注释一个或多个行车车道105的地面实况信息。

在一些实施例中，虚拟驾驶环境100还可以包括对应于一个或多个行车车道105的多个车道标记，例如线110、线120、表面反射器130、标记或文字140。在一些实施例中，虚拟驾驶环境100还可以包括相对于虚拟驾驶环境静止或移动的多个虚拟对象，例如路肩或侧轨150、标志160、树木或其他植物170、以及其它车辆181、182和183。车道标记和虚拟对象中的每一个可以被一个或多个虚拟传感器——例如安装在虚拟车辆190上的传感器191、192和193——感测到。在一些实施例中，模拟的传感器数据250可以表征由感测多个车道标记和虚拟对象的一个或多个虚拟传感器191、192和193感知到的虚拟驾驶环境100。

在一些实施例中，虚拟传感器191、192和193可以包括虚拟摄像机，并且模拟的传感器数据250可以包括由虚拟摄像机感知到的虚拟驾驶环境100的一个或多个虚拟图像。在一些实施例中，示例过程500还可以包含在一个或多个虚拟图像上显示多个覆盖的标记。多个覆盖的标记可以指示一个或多个行车车道105中的至少一个的一个或多个边界的一个或多个位置。

在一些实施例中，算法输出280可以包括被车道边界检测算法270指定为一个或多个行车车道105的边界的“最可能的”位置的一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。在一些实施例中，一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置可以包括多个点，每一个点在虚拟驾驶环境100内具有各自的空间坐标。多个点可以共同对应于一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。此外，示例过程500还可以包含为模拟的传感器数据250注释多个点的空间坐标。

在一些实施例中，在记录算法输出280时，示例过程500可以包含记录算法280的输出的时间戳。

在一些实施例中，虚拟传感器191、192和193可以根据车辆静止模型232被安装在虚拟车辆190上，车辆静止模型232模拟虚拟传感器191、192和193相对于虚拟车辆190的位置。在一些实施例中，虚拟车辆190可以根据车辆动态模型234穿过虚拟环境100内，车辆动态模型234模拟虚拟车辆190的运动。

本文中使用冠词“一(a/an)”来指代一个或一个以上(即，至少一个)语法对象。举例来说，“用户”是指一个用户或一个以上用户。贯穿本说明书，参考“一个实施例”、“一实施例”，“一个示例”或“一示例”是指关于实施例或示例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿本说明书各个地方出现的短语“在一个实施例”、“在一实施例中”、“一个示例”或“一示例”未必都指同一实施例或示例。此外，特定特征、结构、数据库或特性可以以任何合适的组合和/或子组合被组合在一个或多个实施例或示例中。此外，应当领会的是，随说明书提供的附图是用于对本领域普通技术人员说明的目的，并且附图不一定按比例绘制。

根据本发明的实施例可以被实施为装置、方法或计算机程序产品。因此，本发明可以采取完全由硬件构成的实施例、完全由软件构成的实施例(包括固件、驻留软件、微代码或诸如此类)、或组合所有总体上本文可以被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本发明的实施例可以采取体现在具有体现在介质中的计算机可用程序代码的任何有形表达介质中的计算机程序产品的形式。

附图中的流程图和框图说明根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。关于这点，流程图或框图中的每一个框可以表示模块、段或代码的一部分，代码包含用于实施指定逻辑功能的一个或多个可执行指令。还应当指出的是，框图和/或流程图的每一个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实施。这些计算机程序指令还可以被存储在可以引导计算机或其它可编程数据处理设备来以特定方式运作的计算机可读介质中，使得存储在计算机可读介质中的指令产生包括实施在流程图和/或框图的一个框或多个框中指定的功能/动作的指令手段的制品。

虽然就某些实施例描述了本发明，但是鉴于本发明的好处，对本领域普通技术人员来说，包括不提供本文所提出的全部好处和特征的实施例的其它实施例将是显而易见的，这也在本发明的范围之内。应该理解的是，在不脱离本发明的范围的前提下，可以利用其他实施例。

Claims (20)

1.一种方法，包含：

由处理器生成虚拟驾驶环境，所述虚拟驾驶环境包含一个或多个行车车道、虚拟车辆以及安装在所述虚拟车辆上的一个或多个虚拟传感器，所述一个或多个虚拟传感器被配置为当所述虚拟车辆穿过所述虚拟环境内时生成模拟的数据；

由所述处理器执行算法以处理所述模拟的数据以检测所述一个或多个行车车道；以及

由所述处理器记录所述算法的输出。

2.根据权利要求1所述的方法，进一步包含：

为所述模拟的数据注释所述算法的所述输出。

3.根据权利要求1所述的方法，其中所述虚拟驾驶环境进一步包含对应于所述一个或多个行车车道的多个车道标记和相对于所述虚拟驾驶环境静止或移动的多个虚拟对象，所述多个车道标记中的每一个和所述多个虚拟对象中的每一个可被所述一个或多个虚拟传感器感测到，并且其中所述模拟的数据表征由感测所述多个车道标记和所述多个虚拟对象的所述一个或多个虚拟传感器感知到的所述虚拟驾驶环境。

4.根据权利要求1所述的方法，其中所述一个或多个虚拟传感器包含虚拟摄像机，并且其中所述模拟的数据包含由所述虚拟摄像机感知到的所述虚拟驾驶环境的一个或多个虚拟图像。

5.根据权利要求4所述的方法，进一步包含：

为所述模拟的数据注释所述算法的所述输出；以及

在所述一个或多个虚拟图像上显示多个覆盖的标记，所述多个覆盖的标记指示所述一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。

6.根据权利要求1所述的方法，其中所述算法的所述输出包含所述一个或多个行车车道中的至少一个的一个或多个边界的一个或多个位置。

7.根据权利要求6所述的方法，其中所述一个或多个行车车道中的所述至少一个的所述一个或多个边界的所述一个或多个位置包含多个点，每一个所述点在所述虚拟驾驶环境内具有各自的空间坐标，所述多个点共同对应于所述一个或多个行车车道中的所述至少一个的所述一个或多个边界的所述一个或多个位置。

8.根据权利要求7所述的方法，进一步包含：

为所述模拟的数据注释所述多个点的所述空间坐标。

9.根据权利要求6所述的方法，进一步包含：

生成所述一个或多个行车车道中的所述至少一个的地面实况信息，所述地面实况信息表示在所述虚拟驾驶环境内所述一个或多个行车车道中的所述至少一个的所述一个或多个边界的一个或多个实际位置。

10.根据权利要求9所述的方法，进一步包含：

记录所述地面实况信息与所述算法的所述输出之间的差异。

11.根据权利要求9所述的方法，进一步包含：

为所述模拟的数据注释所述地面实况信息。

12.根据权利要求1所述的方法，其中所述记录包含记录所述算法的所述输出的时间戳。

13.根据权利要求1所述的方法，其中所述一个或多个虚拟传感器根据车辆静止模型被安装在所述虚拟车辆上，所述车辆静止模型模拟所述一个或多个虚拟传感器相对于所述虚拟车辆的位置，并且其中所述虚拟车辆根据车辆动态模型穿过所述虚拟环境内，所述车辆动态模型模拟所述虚拟车辆的运动。

14.一种车道边界检测试验台，包含：

被配置为执行车道边界检测算法的一个或多个处理器；以及

可操作地连接到所述一个或多个处理器的存储器，所述存储器存储所述一个或多个处理器可执行的多个代码，所述多个代码包含：

虚拟驾驶环境模块，所述虚拟驾驶环境模块被编程以生成虚拟驾驶环境，所述虚拟驾驶环境包含一个或多个行车车道、与所述一个或多个行车车道相关联的多个车道标记以及多个虚拟对象的定义；

被编程以模拟传感器的第一软件模型；

被编程以模拟承载所述传感器的车辆的静止特性的第二软件模型；

被编程以模拟承载所述传感器的所述车辆的动态特性的第三软件模型；以及

模拟模块，所述模拟模块被编程以使所述一个或多个处理器利用所述虚拟驾驶环境模块、所述第一软件模型、所述第二软件模型和所述第三软件模型来产生数据，所述数据模拟在所述传感器被安装在所述车辆上、当所述车辆在类似于或匹配所述虚拟驾驶环境的实际驾驶环境中行驶时的真实世界情况下所述传感器的输出，

其中，所述车道边界检测算法被编程以便一旦被所述一个或多个处理器执行，就使所述一个或多个处理器确定所述一个或多个行车车道的一个或多个边界的一个或多个位置。

15.根据权利要求14所述的车道边界检测试验台，其中所述模拟模块被进一步编程以使所述一个或多个处理器为所述数据注释所述一个或多个行车车道的所述一个或多个边界的所述一个或多个位置。

16.根据权利要求14所述的车道边界检测试验台，其中所述模拟模块被进一步编程以使所述一个或多个处理器为所述数据注释地面实况信息，所述地面实况信息表征根据所述一个或多个行车车道的所述定义的所述一个或多个行车车道的位置。

17.根据权利要求14所述的车道边界检测试验台，其中所述模拟模块包含一组偏置参数，这组偏置参数被编程以使所述一个或多个处理器偏置所述数据以至少应对天气条件、一天中的时间、传感器老化和车辆老化。

18.根据权利要求14所述的车道边界检测试验台，其中所述传感器包含虚拟摄像机，并且其中所述数据包含由所述虚拟摄像机感知到的所述虚拟驾驶环境的一个或多个虚拟图像。

19.根据权利要求14所述的车道边界检测试验台，其中所述传感器包含虚拟光探测和测距(LIDAR)设备，并且其中所述数据包含表示由所述虚拟LIDAR设备感知到的所述一个或多个车道边界的信息。

20.根据权利要求14所述的车道边界检测试验台，其中所述存储器进一步存储所述数据和带时间戳的所述一个或多个行车车道的所述一个或多个边界的所述一个或多个位置。