CN107590301A - 支持开发利于不同天气条件下铁路交叉道口的行驶的算法的虚拟传感器数据生成系统和方法 - Google Patents

Abstract

公开了一种生成训练数据的方法。该方法可以包括执行模拟过程。模拟过程可以包括在限定至少一个虚拟铁路交叉道口的虚拟路面上遍历虚拟的前视传感器。在遍历期间，可以按照车辆运动模型的指示相对于虚拟路面来移动虚拟传感器，该车辆运动模型用于建模在虚拟路面上驾驶同时承载虚拟传感器的车辆的运动。可以记录表征虚拟路面的虚拟传感器数据。虚拟传感器数据可以对应于真实传感器在感测到现实世界中的路面时将输出的数据。

Description

支持开发利于不同天气条件下铁路交叉道口的行驶的算法的 虚拟传感器数据生成系统和方法

技术领域

本发明涉及车辆系统，并且更具体地涉及用于生成训练数据的系统和方法，所述训练数据适用于开发、训练和证明用于在不同天气条件下安全越过铁路交叉道口等的算法。

背景技术

为了提供、启用或支持诸如驾驶员辅助、控制车辆动力学和/或自主驾驶的功能，用于解释传感器数据的经证实的算法是至关重要的。因此，需要一种用于生成适用于开发、训练和证明这样的算法的训练数据的系统和方法。

发明内容

根据本发明，提供一种方法，包含：

在模拟中通过计算机系统在虚拟路面上遍历一个或多个虚拟传感器；

通过计算机系统记录与遍历期间的一个或多个虚拟传感器输出的信号相对应的数据，其中数据表征虚拟路面中的虚拟铁路交叉道口；和

通过计算机系统使用与虚拟铁路交叉道口对应的地面实况数据来注释数据。

根据本发明的一个实施例，其中虚拟铁路交叉道口是分布在虚拟路面上的多个虚拟铁路交叉道口中的一个，多个虚拟铁路交叉道口中的每个虚拟铁路交叉道口限定可由一个或多个虚拟传感器中的第一传感器感测的结构。

根据本发明的一个实施例，其中遍历包含按照车辆运动模型的指示相对于虚拟路面来移动一个或多个虚拟传感器中的每个，车辆运动模型用于对承载一个或多个虚拟传感器并且在虚拟路面上驾驶的车辆的运动进行建模。

根据本发明的一个实施例，其中一个或多个虚拟传感器包含定位为感测车辆前方的虚拟路面的一部分的前视传感器。

根据本发明的一个实施例，其中前视传感器是摄像机、雷达或激光雷达装置。

根据本发明的一个实施例，其中数据进一步表征靠近虚拟路面的天气条件。

根据本发明的一个实施例，其中注释进一步包含使用与虚拟路面附近的天气条件相对应的地面实况信息来注释数据。

根据本发明的一个实施例，其中第二虚拟传感器包含温度计。

根据本发明的一个实施例，其中数据表征靠近虚拟路面的环境温度。

根据本发明的一个实施例，其中注释进一步包含使用包含虚拟路面附近的至少一个温度值的地面实况信息来注释数据。

根据本发明，提供一种生成训练数据的方法，方法包含：

通过计算机系统执行包含以下的模拟

在虚拟路面上遍历一个或多个虚拟传感器，虚拟路面限定可由一个或多个虚拟传感器中的第一传感器各自感测的一个或多个虚拟铁路交叉道口，和

在遍历期间，按照车辆运动模型的指示相对于虚拟路面来移动一个或多个虚拟传感器中的每一个，车辆运动模型用于对在虚拟路面上驾驶的并且承载一个或多个虚拟传感器的车辆的运动进行建模；以及通过计算机系统记录表征一个或多个虚拟铁路交叉道口的感知数据，数据对应于在遍历期间由第一虚拟传感器输出的信号。

根据本发明的一个实施例，进一步包含通过计算机系统使用与一个或多个虚拟铁路交叉道口中的每一个对应的地面实况数据来注释感知数据。

根据本发明的一个实施例，其中第一虚拟传感器包含定位为感测车辆前方的虚拟路面的一部分的前视传感器。

根据本发明的一个实施例，其中前视传感器是摄像机、雷达或激光雷达装置。

根据本发明的一个实施例，其中感知数据进一步表征靠近虚拟路面的天气条件。

根据本发明的一个实施例，其中注释进一步包含使用与虚拟路面附近的天气条件相对应的地面实况数据来注释感知数据。

根据本发明的一个实施例，其中第二虚拟传感器包含温度计。

根据本发明的一个实施例，其中感知数据表征靠近虚拟路面的环境温度。

根据本发明的一个实施例，其中注释进一步包含使用包含虚拟路面附近的至少一个温度值的地面实况数据来注释感知数据。

根据本发明，提供一种计算机系统，包含：

一个或多个处理器；

存储器，存储器可操作地连接到一个或多个处理器；并且

存储器存储

编程为包括多个虚拟铁路交叉道口的虚拟驾驶环境，

编程为对前视传感器进行建模的第一软件模型，

编程为对车辆进行建模的第二软件模型，和

编程为使用虚拟驾驶环境、第一软件模型和第二软件模型来生成输出的模拟模块，输出对在前视传感器已经安装到车辆并且车辆已经在与虚拟驾驶环境相匹配的实际驾驶环境中驾驶时前视传感器的输出进行建模。

附图说明

为了容易理解本发明的优点，将通过参考附图中所示的具体实施例来更详细描述上面简要描述的本发明。应理解的是这些附图仅描绘了本发明的典型实施例并且因此不应被认为是限制其范围，将通过使用附图以额外的特征和细节来描述和解释本发明，其中：

图1是示出了根据本发明的传感器数据生成系统的一个实施例的示意性框图；

图2是示出了根据本发明的包括铁路交叉道口和其他结构的虚拟驾驶环境的一个实施例的示意图；

图3是示出了在第一时刻的虚拟车辆的示意图，其中一个或多个虚拟传感器正在“查看”路面和/或虚拟驾驶环境的其他条件；

图4是示出了根据本发明的标记有一个或多个注释的传感器数据的一个实施例的示意图；

图5是示出了根据本发明的注释的一个实施例的示意性框图；和

图6是根据本发明的用于生成训练数据的方法的一个实施例的示意性框图。

具体实施方式

将容易地理解，如本文中的附图中总体描述和示出的本发明的部件可以以各种各样的不同结构来布置和设计。因此，如附图所示的本发明的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表根据本发明的目前预期的实施例的某些示例。通过参考附图将最好地理解目前描述的实施例，其中相同的部件由相同的附图标记表示。

参考图1，真实世界呈现出不断变化的条件和障碍物的阵列。这种现实对于提供某些车辆动力学和/或自主驾驶的自主控制的基于车辆的系统造成重大挑战。为了克服这些挑战，车辆可能配备有传感器和计算机系统，它们共同感知、解释周围环境并对周围环境做出适当反应。这种计算机系统的关键部件可以是用于解释由车载的各种传感器输出的数据的一种或多种算法。

例如，某些算法可以分析表征车辆前方的区域(例如，路面)、周围环境的天气(例如，温度、存在或不存在降水、存在路面上的水、冰或雪，等等)、车辆动力学(例如，相对于路面的牵引力)及其他、或者它们的任何组合或子组合的一个或多个传感器数据流。其他算法可能负责根据该数据决定做什么。所有这些算法必须得到良好的开发和彻底测试。在所选择的实施例中，这种开发和测试的初始和重要部分可以在虚拟环境中完成。因此，根据本发明的系统10可以生成适用于开发、测试和/或训练各种算法的传感器数据12。

例如，在某些实施例中，系统10可以执行模拟，以便生成适用于开发、测试和/或训练用于在不同的天气条件下识别铁路交叉道口、防畜栏等和为其做好准备的各种算法的传感器数据12。为此，系统10可以被实现为硬件、软件或者它们的某些组合。

在所选择的实施例中，系统10可以包括计算机硬件和计算机软件。系统10的计算机硬件可以包括一个或多个处理器14、存储器16、用户界面18、其他硬件20及类似设备或者它们的组合或子组合。存储器16可以可操作地连接到一个或多个处理器14并存储计算机软件。这可以使一个或多个处理器14执行计算机软件。

系统10的用户界面18可以使得工程师、技术人员等能够与系统10的各个方面进行交互并且运行、定制或控制系统10的各个方面。在所选择的实施例中，系统10的用户界面18可以包括一个或多个键板、键盘、触摸屏、指示装置等，或者它们的组合或子组合。

在所选择的实施例中，计算机系统12的存储器16可以存储一个或多个车辆运动模型22、一个或多个传感器模型24、一个或多个虚拟驾驶环境26(例如，使用三维建模和动画工具创建的并且包含一个或多个虚拟结构28(例如铁路交叉道口，防畜栏等)以及各种虚拟天气条件30的虚拟环境)、模拟模块32、传感器数据12、其他数据或软件34等或者它们的组合或子组合。

车辆运动模型22可以是可以针对某些情况定义相应车辆的车身的运动的软件模型。在某些实施例中，这样的车辆运动模型22可以是相当基本的。例如，它可以简单地定义通过虚拟驾驶环境26遍历一个或多个虚拟传感器(例如，由一个或多个传感器模型24定义的传感器)的路径。在其他实施例中，车辆运动模型22可以是更强健(例如，对现实有更高的逼真度)。例如，车辆运动模型22可以设置有一个或多个驾驶员输入(例如，表征诸如速度、驱动扭矩、制动器致动、转向输入等或者它们的组合或子组合的一个或多个值)和表征路面的信息(例如，来自虚拟驾驶环境26的数据)。利用这些输入和信息，车辆运动模型22可以预测相应车辆的车身的运动状态。

可以以任何合适的方式确定或指定车辆运动模型22的参数。在所选择的实施例中，车辆运动模型22的某些参数可以从先前对相应的真实车辆的机械属性(例如，几何形状、惯性、刚度、阻尼系数等)的了解中导出。

如所理解的，对于不同的车辆，参数可以是不同的。因此，在所选择的实施例中，车辆运动模型22可以是车辆特定的。也就是说，一个车辆运动模型22可以适合于对第一车辆(例如，特定跑车)的车身动力学建模，而另一车辆运动模型22可以适合于对第二车辆(例如，特定的皮卡车)的车身动力学进行建模。

传感器模型24可以是软件模型，其可以为某些情况定义或预测或者“查看”对应的真实传感器的输出。在某些实施例中，传感器模型24可以设置有表征路面的各种视图或条件、环境天气条件等的信息(例如，来自虚拟驾驶环境26的数据)。利用该信息，传感器模型24可以产生实际传感器在现实世界中呈现那些视图或条件时将如何输出。

在所选择的实施例中，关注的实况传感器可以包含感测或检测环境的某些特性并提供定义该特性的相应输出(例如，电信号或光信号)的换能器。例如，关注的一个或多个真实传感器可以是加速度计，其输出正由其经历的适当加速度的电信号特征。可以使用这种加速度计来确定车辆行驶的定向、加速度、速度和/或距离。关注的其他真实传感器可以包括摄像机、激光扫描仪、激光雷达扫描仪、超声换能器、雷达装置、陀螺仪、惯性测量单元、转数计数器或传感器、应变仪、温度传感器等。

传感器模型24可以对由关注的任何真实传感器产生的输出进行建模。如所理解的，对于不同的真实传感器，输出可以是不同的。因此，在所选择的实施例中，传感器模型24可以是传感器特定的。也就是说，一个传感器模型24可以适合于对第一传感器(例如，特定摄像机)的输出进行建模，而另一个传感器模型24可以适合于对第二传感器(例如，特定的激光扫描仪)的输出进行建模。

传感器模型24可以产生任何合适格式的输出。例如，在所选择的实施例中，传感器模型24可以输出相应的真实传感器将产生的信号(例如，模拟信号)。或者，传感器模型24可以输出经处理的信号。例如，传感器模型24可以输出经处理的信号，例如由数据采集系统输出的信号。因此，在所选择的实施例中，传感器模型24的输出可以是相应的真实传感器将产生的信号的经调节的数字版本。

模拟模块32可以编程为使用虚拟驾驶环境26、车辆运动模型22和一个或多个传感器模型24来产生输出(例如，传感器数据12)，该输出将模拟在一个或多个真实传感器安装到在类似于(例如，大体上或完全地匹配)虚拟驾驶环境26的实际驾驶环境中驾驶的车辆(例如，由车辆运动模型22建模的车辆)上时一个或多个相应的真实传感器输出。

参考图2，在所选择的实施例中，虚拟驾驶环境26可以包含相对于驾驶表面36定位在各种位置、定向等处的虚拟驾驶表面36(例如道路36)和一个或多个虚拟结构28(例如，一个或多个虚拟铁路交叉道口28a、虚拟防畜栏28b等)。虚拟驾驶环境26中的虚拟结构28可以是间歇地或不规则地影响现实世界中的车辆的操作的特征或对象。某些这样的结构28(例如，铁路轨道28a和防畜栏28b)可以产生独特的挑战，这取决于各种因素，例如车辆速度、道路36的曲率、结构28相对于道路36的定向(例如角度38)、温度、降水、道路36上的冰或雪等，或者它们的组合或子组合。

在现实世界中，在各个地理区域中存在铁轨，并且在许多地方发现相交道路。真实铁路轨道由金属制成，而他们所越过的道路通常不是金属制成的。这种材料的差异引起当车辆从路面越过铁路轨道并返回到路面时摩擦系数的突然变化。在下雨、下雪或其他天气条件下，这样一个交叉道口可能导致真实车辆变得不稳定，并偏离其所期望的轨迹。当铁路轨道以不同于九十度的角度越过道路、在该道路的弯道或曲线处越过道路或者它们的组合时，这些不期望的影响可以被放大。

真实防畜栏可能引起类似的问题。在放牧或游牧区域中，可以在门口的地方使用防畜栏。车辆可以驶过防畜栏，但是牲畜通常不会越过。因此，防畜栏可以用作门(即，阻止牲畜的通过)而不需要任何打开或关闭来允许车辆通过。

真实防畜栏可以由金属或油漆涂层构成。金属防畜栏可以包括彼此平行延伸并且通常垂直于周围道路的多个轨道。轨道可以间隔一定距离，该距离相对于牲畜的蹄(例如，在宽度上大约相等)是显著的，但是对于车辆的车轮是不显著的(例如，至少可通过)。轨道可能足够狭窄，使得牲畜不能自信地在其上踏上以越过防畜栏。此外，在间隔开的轨道下方可以是开放空间。因此，牲畜可以认识到金属防畜栏提供的不确定的立足点，并且不会试图越过它。

防畜栏的金属轨道与周围道路的表面不同。当真实的车辆驶过金属防畜栏并返回地面时，这种材料的差异可能会导致摩擦系数的突然变化。在下雨、下雪或其他天气条件下，这些突然的变化可能导致车辆变得不稳定并偏离其期望的轨迹。这些不期望的影响可以通过防畜栏的轨道在车辆的悬架中引起的某些振荡来放大。

在现实世界中，一个涂漆防畜栏可以提醒牲畜先前已经遇到过的一个或多个金属防畜栏，并且因此产生相同的障碍或阻挡作用。然而，涂漆防畜栏可能不会提供与金属防畜栏提供的相同的不确定的立足点。例如，涂漆防畜栏可以包括被涂漆或粘附到道路上以彼此平行延伸并且通常与周围道路正交的多条线。这些线可以间隔开类似于金属防畜栏的距离。因此，受金属防畜栏制约的牲畜可能看不到与涂漆防畜栏有足够的区别，也就不会去尝试。

涂漆防畜栏可能比金属防畜栏有一定的优势。涂漆防畜栏的安装成本可能要低得多。此外，涂漆防畜栏可能对通过其的车辆的破坏性要小得多。具体来说，涂漆防畜栏可能不会引起对应于金属防畜栏的牵引问题和悬架振荡。

在所选择的实施例中，虚拟驾驶环境26可以包括许多虚拟结构28，例如虚拟铁路交叉道口28a、不同类型的虚拟防畜栏28b或者它们在各种位置和方向(例如，角度38)的组合。除此之外，虚拟驾驶环境26可以基于温度和/或降水的类型、存在、不存在或程度、道路喷洒、路面上的牵引抑制物(例如，水、冰或者雪)、天体照明(例如，来自太阳或月亮的照明)、地面照明(例如，人造照明)等、或者它们的任何组合或子组合来提供、支持或模拟许多天气条件30。多个虚拟结构28和多个天气条件30之间的排列数量可能是重要的。因此，根据本发明的系统10可以在短时间内大量产生虚拟传感器数据12。此外，诸如天气条件、一天中的时间、虚拟结构28(例如，铁路交叉道口28b、防畜栏28b等)与虚拟车辆的相对位置、这种虚拟结构28周围的标记的位置和类型、虚拟结构28的外观等的相关参数在记录的传感器数据12中可以随机化，以确保具有最小偏差的不同数据集。

这种不同的数据集可以用于开发和/或训练适当地和可重复地解释实况驾驶环境的一个或多个算法。当在现实世界中实施时，这些算法可以降低在各种天气条件下以及在驾驶员或无驾驶员应用中穿过铁路轨道28a、防畜栏28b等的不利影响。例如，前视传感器可以监视车辆前方的路面。因此，使用根据本发明的系统和/或方法生成的虚拟数据12开发和/或训练的算法可以用于感知铁路轨道和/或防畜栏、区分金属防畜栏和涂漆防畜栏以及天气条件中的因素、实施适当的反应或准备等、或者它们的组合或子组合。

参考图3，通过一系列计算，模拟模块32可以有效地遍历通过定义或包括一个或多个天气条件以及多个虚拟铁路交叉道口28a、防畜栏28b或者它们的组合的虚拟驾驶环境26的一个或多个虚拟传感器40(例如，一个或多个虚拟摄像机、激光、超声波、雷达或激光雷达装置、一个或多个虚拟车辆动力学传感器(例如，一个或多个虚拟牵引力控制或动力传动系统传感器)、一个或多个虚拟温度传感器等、或者它们的组合或子组合)。在所选择的实施例中，这可以包括在这样的遍历期间操纵某些虚拟传感器40相对于虚拟驾驶环境26的视角。更具体地，它可以包括在这样的遍历期间，按照车辆运动模型22的指示相对于虚拟驾驶环境26来移动一个或多个虚拟传感器40，该运动模型22用于建模在虚拟驾驶环境26中驾驶的并且承载一个或多个虚拟传感器40的相应的虚拟车辆42的运动。

在所选择的实施例中，为了适当地考虑一个或多个虚拟传感器40的运动，模拟模块32可以考虑三个坐标系。第一个可以是虚拟驾驶环境26内的全局惯性坐标系。第二个可以是由车辆运动模型22定义或对应于车辆运动模型22的虚拟车辆42的未受干扰的坐标系。这可以是虚拟车辆42的“未受干扰”版本的坐标系，该坐标系可以被定义为使其“xy”平面平行于接地平面(例如，估计的虚拟接地平面)。第三个可以是车辆42的受干扰的坐标系。这可以是虚拟车辆42执行可能由驾驶员引起的(例如，由虚拟转向、制动，加速等引起的)或道路引起的(例如，由虚拟驾驶环境26或某些虚拟结构28或其中的异常引起得)或由于其他虚拟干扰(例如，诸如侧风的天气条件30、由于牵引力的丧失的车轮打滑等)引起的侧倾、俯仰、起伏和横摆运动的坐标系。模拟模块32可以使用这些各种坐标系中的两个或更多个来确定在模拟过程期间哪些视图或条件与哪个虚拟传感器40有关。

也就是说，在现实世界中，由一个或多个传感器模型24建模的传感器可以被携带在相应的车辆上。某些这样的传感器可以被固定以与相应车辆的车身一起移动。因此，可以根据相应车辆相对于周围环境的定向而改变由诸如摄像机、激光扫描器、超声波装置、雷达、激光雷达装置、温度计、车辆动力学传感器等的传感器所检测到的视图或所感测到的状态。

为了根据本发明的系统10模拟这种效果，模拟模块32可以考虑一个或多个虚拟传感器40(例如，由一个或多个相应的传感器模型建模的传感器)在对应于虚拟车辆42(例如，由车辆运动模型22建模的车辆)的坐标系内的位置和定向。模拟模块32还可以考虑由车辆运动模型22基于虚拟化的驾驶员输入、由虚拟驾驶环境26限定的道路输入等预测的这种基于车辆的坐标系如何以侧倾、俯仰、起伏和横摆运动的形式被干扰。因此，对于关注的任何模拟时刻，模拟模块32可以计算特定虚拟传感器40相对于虚拟驾驶环境26的位置和定向，并且确定在该时刻由该特定虚拟传感器40感测到的虚拟驾驶环境26内的视图或条件。

对于第一模拟时刻，模拟模块32可以确定在该时刻由一个或多个虚拟传感器40感测到的虚拟驾驶环境26的视图或条件。然后，模拟模块32可以从一个或多个传感器模型24获得表征这些视图或条件的输出。该过程可以在第二个模拟时刻、第三个模拟时刻等重复。因此，通过从一时刻前进到下一个，模拟模块32可以获得一个或多个数据流，以分别建模一个或多个虚拟传感器40在虚拟传感器40和相应的虚拟驾驶环境26是真实的情况下的输出。

参考图4和图5，在所选择的实施例中，不同的数据流44可以表示不同虚拟传感器40的输出。例如，第一数据流44a可以表示安装成向前观察虚拟车辆42的前部的虚拟摄像机的输出，第二数据流44b可以表示安装成向前观察虚拟车辆42的前部的虚拟激光器、激光雷达或雷达装置的输出，第三数据流44c可以表示安装在虚拟车辆42上的虚拟温度计的输出，以及第四数据流44n可以表示安装在虚拟车辆42上的虚拟车辆动力学传感器的输出。总的来说，形成用于特定运行(例如，通过特定虚拟驾驶环境26的特定虚拟车辆42的特定虚拟遍历)的传感器数据12的各种数据流44可以表示或考虑将在现实世界中使用的特定算法(即正在开发或测试的算法)的一个或多个(例如，全部或少于全部)输入。

在某些实施例或情况下，模拟模块32可以将传感器数据12与一个或多个注释46结合。每个这样的注释46可以提供对应于虚拟驾驶环境26的“地面实况”。在所选择的实施例中，可以使用包含在一个或多个注释46中的地面实况来量化算法在监督学习技术中分类铁路交叉道口28a或其他结构28、分类天气条件等的性能。

例如，一个或多个注释46可以提供真实位置48、真实定向50、真实环境温度52、真实摩擦系数54(例如，虚拟车辆42的轮胎与虚拟路面36之间由模拟天气条件所指示的摩擦系数)、其他信息56等、或者它们的组合，这些组合对应于虚拟路面36或各种铁路交叉道口28a、防畜栏28b或者在特定运行中虚拟车辆42遇到的类似物。注释46可以与数据流44的特定部分链接、绑定或以其他方式相关联。因此，与特定天气条件、结构28等相对应的地面实况可以链接到反映天气条件、结构28等的一个或多个虚拟传感器40的感知的一个或多个数据流44的部分。在所选择的实施例中，这可以通过将不同的注释46a、46b链接到一个或多个数据流44的不同部分来实现。

参考图6，系统10可以支持、启用或执行根据本发明的过程58。在所选择的实施例中，这样的过程58可以开始于生成包括各种天气条件30和诸如铁路交叉道口28a、防畜栏28b等的结构28的虚拟驾驶环境26。然后，一个或多个虚拟传感器40可以在模拟过程中遍历虚拟驾驶环境26。一个或多个虚拟传感器40可以表示一个或多个摄像机、激光雷达装置、雷达装置、超声换能器、温度计、车辆动力学传感器等或者它们的任何组合或子组合。

当一个或多个虚拟传感器40遍历虚拟驱动环境26时，一个或多个虚拟传感器40相对于虚拟驾驶环境26的视点(POV)可以随着每个增量步骤而改变。在所选择的实施例中，一个或多个虚拟传感器40相对于虚拟驾驶环境26的视点可以如由车辆运动模型22所指示来操纵64。因此，可以获得66或识别66在各种模拟时刻将由一个或多个虚拟传感器40感测到的各种视图或条件。

由此获得66或识别66的各种视图或条件可以由或经由相应的传感器模型24来分析以便获得68数据12，这些数据12反映观察(即感测)在现实世界的各种视图或条件的相应的真实传感器所产生或输出。在所选择的实施例中，该数据12可以使用地面真实信息来注释70，以支持或启用某些受监督的学习技术。

因此，一个或多个虚拟传感器40可以根据其在真实车辆上的计划定位相对于虚拟道路36定位。虚拟传感器40然后可以沿着虚拟道路36移动到它们可以观察铁路交叉道口28a、防畜栏28b等的位置。然后，一个或多个虚拟传感器40可以在它们移动通过虚拟环境26时产生数据44。

对于产生数据44的每个时间步骤，可以自动地提供注释46以记录关于铁路轨道28a和街道36之间的交叉道口的边界、防畜栏28b和街道36之间的交叉道口的边界、天气条件等或者它们的组合或子组合的地面实况信息。例如，所产生的数据44的每个帧可以在记录文件中具有记录相关天气条件的当前状态并且限定对应于铁路轨道28a、防畜栏28b等相对于所产生的数据44和相对于虚拟车辆42的位置的线或样条的补充条目。

一旦生成，根据本发明的传感器数据12可以用于训练或测试各种算法。在某些实施例中，形成传感器数据12的一部分的地面实况信息可以用于来训练使用监督学习的一个或多个算法(例如，一个或多个感知算法)或者测试现有算法并量化其性能。

例如，传感器数据12可以用于训练或测试车辆系统使用的一种或多种算法，以降低在各种(例如，不利的)天气条件下与真实世界中的铁路轨道、防畜栏等相关的不利影响。因此，传感器数据12可以用于训练(或测试能力)一个或多个算法以感知铁路轨道和防畜栏、区分金属防畜栏和涂漆防畜栏、实施在这种结构被感知时适合天气的应对措施或准备工作等、或者它们的组合或子组合。

图6中的流程图示出了根据本发明的一个实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图中的每个框可以表示代码的模块、段或部分，其包含用于实现指定的逻辑功能的一个或多个可执行指令。还将注意到的是，流程图图示的每个框以及流程图说明中的框的组合可以由执行指定功能或动作的基于特定目的的硬件的系统或专用硬件和计算机指令的组合来实现。

还应当注意的是，在一些替代实施方式中，在框中记录的功能可能发生在图中所示的顺序之外。在某些实施例中，连续示出的两个框实际上可以大体上同时执行，或者有时可以以相反的顺序执行框，这取决于所涉及的功能。或者，如果不需要，可以省略某些步骤或功能。

在上述公开内容中，已经参考了形成其一部分的附图，并且其中以可以实践本公开的示例具体实施方式的方式示出了附图。应当理解的是，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以进行结构改变。说明书中对“一个实施例”、“一实施例”、“示例实施例”、“所选择的实施例”、“某些实施例”等的参考表示所描述的实施例可以包括特定的特性、结构或特征，但是每个实施例可能不一定包括特定的特性、结构或特征。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定特性、结构或特征时，无论是否有明确描述，结合其他实施例改变这样的特性、结构或特征，这被认为在本领域技术人员的知识范围内。

本文公开的系统、设备和方法的实现可以包含或利用包括计算机硬件(例如，如本文所讨论的一个或多个处理器和系统存储器)的专用或通用计算机。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包含至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。

计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储设备、或可用于以计算机可执行指令或数据结构的形式存储所需程序代码并且可以由通用或专用电脑访问的任何其他介质。

本文公开的设备、系统和方法的实现可以通过计算机网络通信。“网络“被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线或者硬连线或无线的组合)将信息发送或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码设备并且可以由通用或专用计算机访问的网络和/或数据链路。上述组合也应包括在计算机可读介质的范围内。

计算机可执行指令例如包含在处理器上执行时引起通用计算机、专用计算机或专用处理设备执行某些功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。虽然已经以具体结构特征和/或方法动作的语言描述了主题，但是应当理解的是，所附权利要求中限定的主题不一定限于上述特征或动作。相比之下，所描述的特征和动作被公开为权利要求的实施方式的示例形式。

本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统结构的网络计算环境中实施，所述计算机系统结构包括车载计算机、个人计算机、台式计算机、便携式计算机、消息处理器、手持设备、多处理器系统、微处理器或可编程消费电子产品、网络个人计算机(PC)、小型计算机、大型计算机、移动电话、掌上电脑(PDA)、平板电脑、寻呼机、路由器、交换机和各种存储设备等。本公开还可以在分布式系统环境中实现，其中经由网络连接(经由硬连线数据链路、无线数据链路或经由硬连线和无线数据链路的组合)的本地和远程计算机系统执行该任务。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。

此外，在适当的情况下，本文描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以编程为执行本文所述的一个或多个系统和程序。在整个描述和权利要求中使用一些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称指代。本文档不旨在区分名称不同而非功能不同的部件。

应当注意的是，上述传感器实施例可以包含计算机硬件、软件、固件或它们的任何组合以执行它们功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。本文提供的示例装置是为了说明的目的而不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的装置中实现。

本公开的至少一些实施例针对包含存储在任何计算机可用介质上的逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备能够如本文所述地进行操作。

虽然上面已经描述了本公开的各种实施例，但是应当理解的是，它们仅作为示例而不是限制性的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅由所附权利要求及其等同物限制。为了说明和描述的目的，给出了前面的描述。它不是穷举的，也不是将本公开限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。此外，应当注意的是，可以以期望形成本公开的附加的混合实施方式的任何组合来使用上述替代实施方式中的任何或全部。

Claims (15)

1.一种方法，包含：

在模拟中通过计算机系统在虚拟路面上遍历一个或多个虚拟传感器；

通过所述计算机系统记录与所述遍历期间的所述一个或多个虚拟传感器输出的信号相对应的数据，其中所述数据表征所述虚拟路面中的虚拟铁路交叉道口；和

通过所述计算机系统使用与所述虚拟铁路交叉道口对应的地面实况数据来注释所述数据。

2.根据权利要求1所述的方法，其中所述虚拟铁路交叉道口是分布在所述虚拟路面上的多个虚拟铁路交叉道口中的一个，所述多个虚拟铁路交叉道口中的每个虚拟铁路交叉道口限定可由所述一个或多个虚拟传感器中的第一传感器感测的结构。

3.根据权利要求2所述的方法，其中所述遍历包含按照车辆运动模型的指示相对于所述虚拟路面来移动所述一个或多个虚拟传感器中的每个，所述车辆运动模型用于对承载所述一个或多个虚拟传感器并且在所述虚拟路面上驾驶的车辆的运动进行建模。

4.根据权利要求3所述的方法，其中所述一个或多个虚拟传感器包含定位为感测所述车辆前方的所述虚拟路面的一部分的前视传感器。

5.根据权利要求4所述的方法，其中所述数据进一步表征所述虚拟路面附近的天气条件。

6.根据权利要求5所述的方法，其中所述注释进一步包含使用与所述虚拟路面附近的所述天气条件相对应的地面实况信息来注释所述数据。

7.根据权利要求6所述的方法，其中所述数据表征所述虚拟路面附近的环境温度；并且其中所述注释进一步包含使用包含所述虚拟路面附近的至少一个温度值的地面实况信息来注释所述数据。

8.一种生成训练数据的方法，所述方法包含：

通过计算机系统执行包含以下的模拟

在虚拟路面上遍历一个或多个虚拟传感器，所述虚拟路面限定可由所述一个或多个虚拟传感器中的第一传感器各自感测的一个或多个虚拟铁路交叉道口，和

在所述遍历期间，按照车辆运动模型的指示相对于所述虚拟路面来移动所述一个或多个虚拟传感器中的每一个，所述车辆运动模型用于对在所述虚拟路面上驾驶的并且承载所述一个或多个虚拟传感器的车辆的运动进行建模；以及

通过所述计算机系统记录表征所述一个或多个虚拟铁路交叉道口的感知数据，所述数据对应于在所述遍历期间由第一虚拟传感器输出的信号。

9.根据权利要求8所述的方法，进一步包含通过所述计算机系统使用与所述一个或多个虚拟铁路交叉道口中的每一个对应的地面实况数据来注释所述感知数据。

10.根据权利要求9所述的方法，其中所述第一虚拟传感器包含定位为感测所述车辆前方的所述虚拟路面的一部分的前视传感器。

11.根据权利要求4或8所述的方法，其中所述前视传感器是摄像机、雷达或激光雷达装置。

12.根据权利要求11所述的方法，其中所述感知数据进一步表征所述虚拟路面附近的天气条件。

13.根据权利要求6或12所述的方法，其中第二虚拟传感器包含温度计。

14.根据权利要求13所述的方法，其中所述感知数据表征所述虚拟路面附近的环境温度，并且其中所述注释进一步包含使用包含所述虚拟路面附近的至少一个温度值的地面实况数据来注释所述感知数据。

15.一种计算机系统，包含：

一个或多个处理器；

存储器，所述存储器可操作地连接到所述一个或多个处理器；并且所述存储器存储

编程为包括多个虚拟铁路交叉道口的虚拟驾驶环境，

编程为对前视传感器进行建模的第一软件模型，

编程为对车辆进行建模的第二软件模型，和

编程为使用所述虚拟驾驶环境、所述第一软件模型和所述第二软件模型来生成输出的模拟模块，所述输出对在所述前视传感器已经安装到所述车辆并且所述车辆已经在与所述虚拟驾驶环境相匹配的实际驾驶环境中驾驶时所述前视传感器的输出进行建模。