CN114341939A - 作为数据增强方法的真实世界图像道路曲率生成 - Google Patents

Abstract

公开的实施例提供了用于变换真实世界图像以增强图像数据的系统和方法，以用于改进由机器学习算法使用的训练数据集，以提供自主和/或辅助驾驶功能。

Description

作为数据增强方法的真实世界图像道路曲率生成

相关申请的交叉引用

无。

技术领域

公开的实施例涉及用于在变换真实世界图像以增强图像数据中使用的方法操作和设备。

发明内容

根据公开的实施例，提供了系统、组件和方法来改进由机器学习算法利用的训练数据集，以提供自主和/或辅助驾驶功能。

根据至少一些公开的实施例、系统、组件和方法，利用从真实世界数据生成的合成数据来增强真实世界数据。公开的实施例提供了用于变换真实世界图像以增强图像数据的系统和方法，来用于改进由机器学习算法利用的训练数据集，以提供自主和/或辅助驾驶功能。

考虑到本文提供的公开内容，公开的实施例的附加特征对于本领域技术人员来说将变得显而易见。

附图说明

详细描述特别参考附图，其中：

图1A和图1B图示了根据公开的实施例的用于训练机器学习算法的公路图像的示例，该机器学习算法促进自主和/或辅助驾驶功能。

图2A和图2B图示了根据公开的实施例的用于训练机器学习算法的公路图像的示例，其中车辆路径叠加在公路图像上。

图3图示了根据本公开的用于执行原始图像数据采集和原始数据的变换的系统和构成组件的示例。

图4图示了根据本公开的执行图像数据采集和变换以开发用于训练机器学习算法的增强训练数据集的操作。

具体实施方式

本文提供的各图和描述可能已经被简化，以图示与清楚理解本文描述的设备、系统和方法相关的各方面，同时为清楚起见，消除了在典型设备、系统和方法中可能发现的其他方面。普通技术人员可以认识到，其他元件和/或操作对于实现本文描述的设备、系统和方法可能是合期望的和/或必要的。因为这样的元件和操作在本领域中是公知的，并且因为它们并不促进更好地理解本公开，所以本文可能不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括本领域普通技术人员应当已知的对所描述方面的所有这样的元件、变型和修改。

通常与自主运输车辆结合使用的机器学习算法在开发据其执行自主和/或辅助驾驶功能的模型时需要大量数据。在这些模型的开发期间使用的大量数据应该是多样化和平衡的，但是从真实世界的数据收集中采集这种类型的数据通常是昂贵的。

公开的实施例提供了一种技术解决方案，用于改进使用在道路、特别是出入管制公路等上收集的数据来训练机器学习模型的数据不平衡问题。例如，通常，公路和类似的道路包括成比例更大量的直线道路。

出于本公开的目的，术语“道路”包括两地之间的任何道路、大道、路线或陆地上的道路，其已经被铺设或以其他方式改进以允许运输车辆行驶，所述运输车辆包括但不限于机动车辆或包括一个或多个车轮的其他运输车辆。因此，应当理解，这样的道路可以包括一个或多个车道以及与其他道路的交叉口，包括上/下坡道、合并区域等，其可以被包括在公园路、大道、林荫大道、高速公路、收费公路、州际公路、公路或一级、二级或三级地方道路中。

因此，如本文使用的术语“公路”指代道路的特定子集，其典型地包括与弯曲或弓形道路相比更大比例的长段直线道路。如本公开所设想的，示例性公路是出入管制公路或干线道路。因此，在本公开中，术语“道路”包括性地指代“公路”。

出于本公开的目的，术语“道路上定位”用于指代确定运输车辆相对于道路的定位或者运输车辆在其上行驶的道路的一部分（诸如车道）的能力。

随着自主和驾驶员辅助相关运输车辆技术的进一步合并，设想，在实现中，自主和/或辅助功能将至少部分地并且潜在完全地依赖于基于如下各项的以自动化或半自动化方式执行的道路上定位：全球定位服务（GPS）数据、由位于车辆上的多个传感器生成的数据以及可操作地耦合到多个传感器和/或GPS以用于处理和解释这样的数据来促进道路上定位的机器学习算法和/或神经网络。如下面解释的，已知各种常规方法用于开发和训练机器学习模型，以使用各种不同类型的传感器和各种不同类型的训练数据集来执行道路上定位。然而，这些方法中的每一种在用于实时构建（一个或多个）机器学习模型用于真实世界使用以安全地控制运输车辆的行驶期间在要采集和/或处理的数据的质量/数量方面具有缺陷。

出于本公开的目的，表述“自主和/或辅助功能”指代使能实现车辆控制的部分、全部或完全自动化的功能，范围包括并且涵盖目前已知的五个驾驶自动化级别。因此，应当理解，自主和/或辅助功能指代车辆通过车载设备以自动化方式执行的操作，或者向用户输出警报、提示、推荐和/或指引，其中这些输出由车载设备以自动化方式生成。此外，自主和/或辅助功能可以包括驾驶员辅助功能（级别一），其中车载设备辅助但不控制转向、制动和/或加速，但是驾驶员最终控制车辆周围环境的加速、制动和监视。

因此，应当理解，这样的自主和/或辅助功能还可以包括车道偏离警告系统，当运输车辆在高速公路和主干道上开始移出其车道时（除非转向信号在该方向上打开），该车道偏离警告系统提供警告驾驶员的机制。这样的系统可以包括：响应于车辆离开其车道而警告驾驶员（车道偏离警告）的那些系统（视觉、听觉和/或振动警告），并且如果没有采取行动，则自动采取操作以确保车辆停留在其车道上的那些系统（车道保持系统）。

同样，自主和/或辅助功能可以包括部分自动化（级别二），其中运输车辆辅助转向或加速功能，并相应地监视车辆周围环境，以使得驾驶员能够脱离用于驾驶运输车辆的一些任务。如在汽车工业中所理解的，部分自动化仍然需要驾驶员准备好承担运输车辆操作的所有任务，并且还需要随时持续监视车辆周围环境。

自主和/或辅助功能可以包括条件自动化（级别三），其中运输车辆设备负责监视车辆周围环境，并且在没有驾驶员干预的情况下控制车辆的转向、制动和加速。应当理解，在该级别及以上，用于执行自主和/或辅助功能的车载设备将与导航功能对接或包括导航功能，使得组件具有确定车辆将行驶到哪里的数据。在级别三及以上，理论上准许驾驶员脱离对车辆周围环境的监视，但是在可能妨碍在有条件自动化模式下的安全操作的某些情况下，可能提示驾驶员控制运输车辆的操作。

因此，应当理解，自主和/或辅助功能可以包括接管转向和/或保持运输车辆在交通车道中相对居中的系统。

同样，自主和/或辅助功能可以包括高度自动化（级别四）和完全自动化（级别五），其中车载设备使能在没有驾驶员干预的情况下以自动化方式响应于对车辆周围环境的监视实现自动化转向、制动和加速。

因此，应当理解，自主和/或辅助功能可能需要监视包括车辆道路在内的车辆周围环境以及标识周围环境中的对象，以便使能响应于交通事件和导航方向而安全操作车辆，其中该安全操作需要确定何时改变车道、何时改变方向、何时改变道路（出口/入口道路）、何时以及以何种顺序合并或穿过道路交叉口以及何时使用转向信号和其他导航指示器来确保其他车辆/车辆驾驶员感知即将到来的车辆操纵。

此外，应当理解，高度和完全自动化可以包括分析和考虑从车外来源提供的数据，以便确定这样的自动化级别是否安全。例如，在这样的级别下的自主和/或辅助功能可以涉及确定运输车辆周围环境中行人的可能性，这可以涉及参考指示当前道路是公路还是公园路的数据。此外，在这样的级别下的自主和/或辅助功能可能涉及访问指示当前道路上是否存在交通堵塞的数据。

常规的运输车辆导航系统以及常规的自主车辆使用GPS技术进行它们的道路上定位。然而，使用GPS的全球定位的常规使用的缺陷是定位被限制在一定的准确度水平上，更具体地说，在最好的情况下是5-10米（这典型地需要提供对天空的无障碍、开放视野的地理区域）。此外，在包括相对大的建筑物、树木或地理轮廓（诸如峡谷）的地理区域中，准确度较低的可能性更大得多。这是因为基于GPS的定位服务需要来自GPS卫星的信号。致密材料（例如岩石、钢等）、高楼和大的地理地形特征可能阻挡GPS信号或使GPS信号劣化。

因此，GPS常规地与本地地标结合用于道路上定位，例如车道标记，以改进具有自主和/或辅助车辆功能的车辆准确执行道路上定位的能力。常规地，这些本地地标已经从相机图像或者由位于车辆上的一个或多个相机/传感器获得的来自其他传感器的传感器数据中被检测和标识。例如，已经常规地讨论将GPS数据与从前视相机和LiDAR收集的数据相组合，并且甚至与由地面穿透雷达生成的数据相组合。此外，已经讨论了这样的相机从车载相机提取道路特性的简化特征表示以生成指示可以被分析以执行道路上定位的路边模式的数据的效用。机器学习算法和由此开发的模型促进了各种数据输入（包括相机图像）的组合和操作利用，以提供自主和/或辅助功能。

公开的实施例基于如下认识：最近的自主车辆交通事故提供了证据，即存在技术和真实世界的需要来增加管控自主和/或辅助功能的机器学习模型的鲁棒性和/或可靠性；特别是在不太频繁发生和/或需要系统采取更重要的反作用措施来使能实现自主和/或辅助功能并控制运输车辆行驶的场景中。

更进一步地，自主和/或辅助功能经常利用机器学习模型。通常，自主和/或辅助功能的开发可以采用两种不同方法之一。第一种方法强调模块化系统的输入（例如，传感器融合模块、场景理解模块、动力学预测模块、路径规划模块和控制模块）。第二种方法是端到端方法，通过该端到端方法，在计算机算法的指令下，传感数据可以直接映射到控制信号。

机器学习在第一种和第二种方法二者中可以大量使用。机器学习模型是利用可以被称为“训练数据”的数据集训练的。机器学习算法的能力和操作价值间接受到训练数据的质量和数量影响。又进一步地，必须取决于与训练数据的特定数据子集的生成和收集二者的可用性和费用相关联的许多考虑和比较来收集或生成训练数据。在示例性的机器学习模型中，收集真实世界数据用于训练。此外，根据支持运输车辆的自主和/或辅助功能的机器学习系统的该示例，训练数据可以由安装在由测试驾驶员长时间驾驶的测试车辆中的传感器收集。

可以以促进机器学习模型的操作的目的建立和训练机器学习模型，在这种情况下是自主和/或辅助功能，其中所有类型的输入跨越模型的输入域（例如，所有道路环境和条件）。举一个简化但类似的示例，如果机器学习算法旨在检测图片中的狗，则该算法旨在能够检测所有品种的狗。然而，狗的品种可能在视觉上彼此有很大的不同。因此，为了充分开发机器学习算法，使得所有的狗都被识别，训练数据应该是很好地平衡的和多样化的。仍然参考假设的狗检测算法，训练数据的含义是，为了建立鲁棒的机器学习模型，应该在其中出现所有狗品种的大致相等比例的图像。

因此，关于公路驾驶期间的自主和/或辅助功能，训练数据集内的数据不平衡问题提出了多个挑战。首先，公路的大部分路段是直的或者是非常轻微地弯曲的，并且仅其一小部分包括相当大的曲率。因此，利用从长时间公路驾驶中收集的未经过滤和/或未经更改的数据训练的机器学习算法将在直道上过度训练，并且在弯曲路段上训练不足。结果，利用依赖于该示例性机器学习模型的自主和/或辅助功能的运输车辆将可能在弓形公路路段上表现不佳，同时在直行公路路段上的性能仍未实现超过基线的显著改进。

参考图1-4描述的，训练数据变换的系统和方法解决了为训练在自主和/或辅助功能的执行中使用的机器学习算法而收集的训练数据中的自然不平衡。

常规地，有两种策略可用于解决训练数据集内直线公路/道路数据104和弯曲公路/道路数据之间的数据不平衡的存在。首先，可以通过模拟来训练机器学习算法。在模拟期间，沿着模拟公路经历的笔直路段和弯曲路段的比例可以如合期望的那样进行平衡。换句话说，可以定制整个训练数据主体。该方法可能存在大量费用。例如，需要工程师和艺术家团队来构建模拟现实世界公路驾驶的模拟器，并且训练数据的里程和风景多样性规范将增加任何开发的模拟器的成本。

取而代之，在不开发模拟器的情况下生成多样的道路数据可能是有用的。又进一步地，利用模拟数据训练的机器学习模型在现实世界中不一定表现良好。无论看起来多么真实的模拟数据都可能与真实世界的数据完全不同。不存在该模拟方法将产生鲁棒的机器学习模型的先验保证。

相比之下，根据公开的实施例，系统和方法可以生成更逼真并且更可适应真实世界问题的合成数据，因为公开的实施例从真实世界数据提取。

然而，当期望利用通过沿公路驾驶收集的真实世界数据进行训练时，则可以从训练数据集移除一部分直线公路数据，以根据常规方法开发更多样的训练数据集。类似地，弯曲公路数据可以被人工复制，也许是多次，直到训练数据集包括直线公路数据与弯曲公路数据的期望比率。该方法也具有缺点，因为移除数据很浪费。数据收集是昂贵的。移除一部分直线道路行驶数据移除了所有收集的数据中相对大的一部分。可替代地，多次重复弯曲道路数据，使得其数量与直线道路数据匹配，导致弯曲道路数据中的类别内多样性降低。机器学习算法繁荣模型是随着训练数据的多样性和平衡而开发的。人工地复制一种类型的数据以实现数据类型平衡可以解决数据不平衡问题，但是这样的动作创建另一种数据不平衡问题（例如，一个类别的训练数据与另一类别的训练数据相比更多样化得多）。这可能导致算法在一种类型的输入的情况下与在另一种类型的输入的情况下相比表现得更好。

根据公开的实施例，并且如图1A-1B中图示的，除了其他变换的图像数据之外，直线公路数据104可以包括描述一个或多个直线公路路段112的数据，并且弯曲公路数据包括描述一个或多个弯曲公路路段114的数据。因此，根据公开的实施例配置的系统和方法可以在弯曲公路路段类别中生成新的数据，并且可以将该类别带到与直线公路路段类别相同的多样性水平。

当前公开的实施例的系统和/或方法可以用计算机视觉算法和/或过程将一个或多个直线公路路段112的图像变换成一个或多个合成弯曲公路路段114的图像。

图1A描绘了由安装到运输车辆120（例如，汽车，再次参见图3）的相机118（参见图3）捕获的（一个或多个）直线公路路段112之一的示例的原始图像116。图1B描绘了一个或多个合成弯曲公路路段114的示例的变换的弓形图像122。在图1B的变换图像122中，原始图像116（图1A）被修改，使得其中所示的道路被赋予1/300米的曲率。在下文中，术语“曲率”指代半径的倒数，使得较小的曲率暗示着相对较大的半径。

在图1B中，1/300米的曲率指示（一个或多个）合成弯曲公路路段114之一的图示示例包括300米的半径，如果道路路段被延伸以完成一个圆的话。

根据公开的实施例并且如图4中所示，用于将直线公路图像116变换成变换的弓形图像122的方法400可以包括：（i）标识水平线402；（ii）标识方向信息404；（iii）基于公路相对平坦的假设来处理像素406；以及（iv）从在先前操作期间导出的信息和在数据收集操作410期间使用的相机的外部知识生成合成弯曲公路路段408。

如图3中图示的，并且作为标识水平线的部分，首先，原始的直线公路图像116可以由部署在运输车辆120上或运输车辆120内的相机118采集。可以在（一个或多个）图像内标识水平线124。可以利用许多水平检测算法来辅助标识图1A-2B中所示的水平线124。其后，部署在水平线124下方的多个像素126可以被标识为对应于直线公路路段112。因此，公开的实施例设想近似水平线124以下的所有像素表示直线公路路段112。此外，根据公开的实施例，可以使用诸如标识道路线的附加技术来增加属于道路的像素区域的准确度。

随后，在图像收集期间所附接的相机模型和相机参数可以被用来通知将每个公路像素126变换成由相机坐标描述的光线向量的操作。这是在图像空间中描述的信息，其中每个光线向量指示与由单个像素成像的直线公路路段112的一部分相关联的方向。可以相对于相机118指示每个光线向量的方向，但是不需要供应距离信息。如果示例相机具有60度的视场，则可能推断对象的方向例如是向前方向偏左大约30度。然而，2D图像并不向观看者告知关于假想对象被部署多远的信息。为了扩展该示例，对象可以很小并且在附近，或者对象可以相对大并且非常远。因此，仅凭2D的图像无法辨别这些可能性中的哪一种表示现实。

如上面指出的，可以分析原始直线公路图像116以揭示每个公路像素126的方向，并且公路趋向于是相对平坦的。更进一步地，相机118距公路表面132的垂直距离130是促进收集原始图像116的相机模型的外部参数中的已知参数。因此，该信息通知公路像素126中的所有颜色来自与连接相机118和道路表面132的垂直线正交的共享平坦平面的假设。结果，每个公路像素126的方向信息可以与在距相机118已知垂直距离130处的平坦平面上的每个像素126的存在相组合。可以处理该信息组合，以确定每个公路像素126在平坦平面上的位置。因此，随着距离的增加，可以利用物理空间中的空间坐标对公路像素126进行数学描述。

一旦为每个公路像素126确定了位置信息，就可以对平坦平面上的每个点应用曲率变换以开发曲面。其后，先前用于确定每个公路像素126的（一个或多个）光线向量的相同相机模型和外部参数可以通知曲面重新变换回到图像空间（例如，相机坐标）。因此，可以生成一个或多个合成弯曲公路路段114的变换的弓形图像122。

根据公开的实施例提供的系统和方法可以用于执行训练数据变换，该训练数据变换产生黑色（或空）像素块。最初存在于公路像素126的图像空间拐角的颜色和图像数据可以取决于变换期间应用的曲率向左或向右移位。结果，所述一个或多个合成弯曲公路路段114的图像的拐角可能表现出没有颜色信息。黑色或无色拐角的存在是不合期望的，因为机器学习算法可以被训练来将空像素标识为曲率的指示，从而降低训练数据集内合成弯曲公路路段114的有效性。无色像素的存在可以通过在否则为黑色像素的图像空间位置处保留原始颜色来解决。

根据公开的实施例提供的系统和方法可以利用来自机器学习和计算机视觉领域二者的技术。此外，根据公开的实施例提供的系统和方法可以利用数据收集方法独有的假设；具体而言，公开的实施例可以基于如下假设来操作：存在于属于道路的图像像素处的颜色可以被视为从同一平坦平面反射。因此，然后可以在空间坐标系统中执行曲率变换过程，并且像素坐标和空间坐标之间的映射可以产生用于补充训练数据集的可用图像。此外，利用原始颜色覆盖由曲率变换过程引起的黑色/无色像素的操作（例如，即使在原始颜色信息被空间变换远离其原始位置之后也保留原始颜色信息）可以可选地进一步提高训练数据集的质量。

根据公开的实施例提供的系统和方法对于开发自主和/或辅助功能可以是有用的，诸如当神经网络为每个图像预测跨大约接下来的30米的车辆路径时。特别是，根据公开的实施例提供的系统和方法可以生成一个或多个合成弯曲公路路段114的图像，用于增强在收集的训练数据集中存在的弯曲公路路段的数量。值得注意的是，变换训练图像以增加特定曲率可以合期望地与变换与训练图像相关联的数据相结合。例如，当车辆路径与经历变换的训练图像相关联时，可以变换对应的车辆路径以反映相同的曲率。因此，车辆路径信息仍然可以在接下来的30米内沿着公路和/或其中的车道行驶，以用于自主和/或辅助功能。当曲率被添加到图像中而没有变换对应的车辆路径时，原始路径将可能跨过车道或者以其他方式不协调地指示合成弯曲公路路段114的车辆路径。该数据增强技术可以改进用于实现自主和/或辅助功能的神经网络模型的准确性和稳定性。

现在参考图2A和图2B，描绘了原始图像116b和变换的弓形图像122b。图2A是由安装在运输车辆120上的相机118拍摄的相对直的公路路段112中的一个示例性路段的原始图像116b。第一组点138指示从原始图像116b被捕获的时间起的未来30米内驾驶员所采取的实际路径。现在参考图2B，示出了在变换赋予公路路段高的负曲率（例如，向右弯曲）之后的变换的弓形图像122b。在图2B中，第二组点140指示被变换为与赋予公路路段的曲率相对应的新路径，驾驶员应当采取该曲率来维持变换的弓形图像122b的合成弯曲公路路段114上的车道定位。弯曲路径的第二组点140通过应用与应用于公路路段的相同的曲率变换来获得。图2B进一步比较了第一组点138和第二组点140，它们分别表示实际行驶路径和反映适当调整以配合变换的弓形图像122b的公路路段的路径。

可选地，此外，作为机器学习最常见形式的有监督学习，涉及使能在训练阶段期间基于训练数据集进行学习，以便使能实现学习识别如何标记输入数据进行分类的能力。深度学习通过考虑几个层级的表示来改进有监督学习方法，其中每个层级使用来自前一层级的信息来更深地学习。许多堆叠层的更深的架构是一个方面，卷积神经网络（CNN）也通过在空间滤波器上的卷积来考虑像素/体素空间中的2D/3D局部邻域关系。

有监督深度学习涉及应用功能操作的多个层级或阶段，以提高对结果数据的理解，然后将其馈送到进一步的功能操作中。例如，用于将数据分类成一个或多个类别的有监督深度学习可以例如通过执行特征学习（涉及卷积、整流器线性单元（ReLU）和池化的一个或多个阶段）来执行，以使得能够对样本数据进行后续分类，从而通过应用softmax函数来标识所学习的特征，以使得能够在输入图像数据中的对象和背景之间进行区分。可以执行这些操作来生成用于分类目的的图像类标签。

同样，可以通过对红绿蓝（RGB）图像和到地面的距离/视差图数据进行并行操作，通过执行多个卷积并且将结果通过级联联结用于后续处理，来执行有监督深度学习操作以用于进行回归。可以执行这些操作来生成图像回归标签，以供后续分析使用。

此外，可以通过将RGB图像数据输入卷积编码器/解码器来执行有监督深度学习操作以用于语义分割，所述卷积编码器/解码器可以包括卷积、批归一化（其不仅适用于分段，而且还适用于其他网络）、ReLU和池化的多个阶段，随后是卷积、批归一化和具有上采样的ReLU的多个阶段。然后，可以通过应用softmax函数来处理结果得到的数据，以便为每个像素提供具有分段标记的输出数据。因此，用于变换的图像数据的公开的系统和方法可以保存真实世界的信息，以成功应用上述技术。

此外，应当理解，尽管公开的实施例可以用于一般地促进鲁棒的自主和/或辅助运输车辆功能的目的，但是公开的实施例在当车道标记由于诸如降雪的天气条件而变得模糊时提供该功能方面可能具有特殊的效用。在这样的状况下，常规地用于辅助道路上定位的车道标记和道路标志变得模糊。例如，任何数量的雪能够模糊车道标记和道路标志；此外，大量的雪能够变更沿着道路的周围环境的外观，以至于无法分析路边模式来提供附加数据以与用于执行道路上定位的GPS分析相组合。

在这方面，应当理解，至少一个实施例可以包括反馈机制，该反馈机制确定在公开的操作中产生和/或分析的数据的数量和/或质量。这样的反馈机制可以用于在提供自主和/或辅助功能中选择性地增加或减少对（一个或多个）变换图像122的依赖性。这可以例如通过动态加权已经或没有经历变换的数据来实现。还应当理解，这样的反馈机制可以包括与阈值进行比较，以用于维持至少最小的参数，从而确保自主和/或辅助功能操作的安全性。

此外，应当理解，用于动态加权这样的数据的机制可以在使能实现传感器数据融合的一种或多种各种常规已知技术中执行，所述技术例如使用卡尔曼滤波器，基于中心极限定理、贝叶斯网络、Dempster-Shafer定理、CNN或本文公开的任何其他数学运算执行的处理。

如上面解释的，公开的实施例可以结合运输车辆中包括的自主和/或辅助驾驶系统的组件来实现。因此，已经详细描述了公开的实施例在那些技术背景下的效用。然而，本文公开的创新概念的范围不限于那些技术背景。

此外，应当理解，当前公开的用于分析描绘在其上运输车辆的道路的图像数据的部件可以包括传感器和本文公开的功能的任何组合，本文公开的功能在硬件和/或软件中实现以提供公开的功能。

此外，应当理解，这样的辅助技术可以包括但不限于使用被包括在运输车辆中的硬件和软件来实现的常规地被称为驾驶员辅助系统（DAS）或高级驾驶员辅助系统（ADAS）的技术。这些常规地已知的系统辅助驾驶员进行决策和控制，但是决策和控制不可避免地是驾驶员的责任。此外，这些系统在它们如何实现的方面可以是“主动”的或“被动”的。主动DAS意味着车辆本身通过其传感器、算法、处理系统和致动器控制车辆驾驶行为的各个纵向和/或横向方面，或者更确切地说，控制非常具体的驾驶任务。被动DAS意味着车辆将通过其传感器、算法、处理系统和人机界面（HMI）简单地辅助驾驶员控制车辆控制的各个纵向和/或横向方面。例如，在避免碰撞的情况下，主动系统将使车辆停止，或者使车辆绕过直接路径上的障碍物。被动系统将向驾驶员提供某种类型的视觉、听觉和触觉提示，以使车辆停止或绕过障碍物。

因此，DAS系统帮助驾驶员进行许多深入到驾驶过程中的任务，并专门被实现用于提高汽车和道路安全性以及驾驶员便利性。这样的DAS系统包括但不限于巡航控制、自适应巡航控制（ACC）、用于车道保持的主动转向、车道改变辅助、公路合并辅助、碰撞缓解和避免系统、行人保护系统、自动化和/或辅助停车、标志识别、用于碰撞缓解的盲点检测以及停止和通行交通辅助。因此，公开的实施例向这样的DAS系统提供了附加的和潜在地更准确的数据，以提供该辅助功能。

应当进一步理解，公开的实施例利用来自多个不同技术领域的功能来提供开发训练数据集的附加机制和方法，以通过将在计算机视觉和机器学习中执行的分析进行组合来促进自主和/或辅助驾驶功能。

虽然已经参考标示要提供的功能的特定术语讨论了公开的实施例的功能和用于提供该功能的系统组件，但是应当理解，在实现中，组件功能可以至少部分地由当前和已知要被包括在常规运输车辆中的组件来提供。

例如，如上面讨论的，公开的实施例使用软件来执行功能，以使得能够至少部分地使用存储在运输车辆中的一个或多个处理器上运行的一个或多个非暂时性计算机可读介质上的软件代码来实现数据的测量和分析。这样的软件和处理器可以被组合以构成至少一个控制器，所述至少一个控制器耦合到运输车辆的其他组件，以支持和提供与车辆导航系统和多个传感器结合的自主和/或辅助运输车辆功能。这样的组件可以与所述至少一个控制器耦合，用于经由运输车辆的CAN总线进行通信和控制。应当理解，这样的控制器可以被配置为执行本文公开的功能。

应当进一步理解，当前公开的实施例可以使用被包括在运输车辆中的专用或共享硬件来实现。因此，在不脱离本发明的范围的情况下，模块的组件可以被运输车辆的其他组件使用，以提供车辆功能。

提供示例性实施例，使得本公开将是彻底的，并且将向本领域技术人员充分传达范围。阐述了许多具体细节，诸如具体组件、设备和方法的示例，以提供对本公开实施例的透彻理解。在一些说明性实施例中，没有详细描述公知的过程、公知的设备结构和公知的技术。

本文使用的术语仅仅出于描述特定的说明性实施例的目的，并且不旨在进行限制。除非上下文另有指示，否则上文提及的元件的单数形式可以旨在包括复数形式。本文描述的方法过程和操作不应被解释为必须要求它们以所讨论或图示的特定顺序执行，除非被具体标识为执行顺序，或者特定顺序对于实施例的操作而言是固有必要的。还应当理解，可以采用附加的或替代的操作。

公开的实施例包括本文描述的方法及其等同物、被编程为实行方法的非暂时性计算机可读介质以及被配置为实行方法的计算机系统。此外，包括一种车辆，该车辆包括：包含任何方法的组件、被编程为实现指令或实行方法的非暂时性计算机可读介质以及实行方法的系统。计算机系统和任何子计算机系统典型地将包括：包含可执行代码的机器可读存储介质；一个或多个处理器；耦合到一个或多个处理器的存储器；输入设备和连接到所述一个或多个处理器以执行代码的输出设备。机器可读介质可以包括用于以机器可读的形式存储或传输信息的任何机制，诸如计算机处理器。所述信息可以存储在例如易失性或非易失性存储器中。此外，实施例功能可以使用嵌入式设备和通过与云计算基础设施的无线电连接（例如，无线通信）可用的到云计算基础设施的在线连接来实现。训练数据集、图像数据和/或变换的图像数据可以存储在耦合到一个或多个处理器的存储器的一个或多个存储器模块中。

尽管已经以具有一定程度特殊性的示例性形式描述和说明了某些实施例，但是应当注意的是，描述和说明仅是作为示例进行的。可以对组件和操作的构造、组合和布置的细节进行许多改变。因此，这样的改变旨在被包括在本公开的范围内，本公开的保护范围由权利要求限定。

上文详述的（一个或多个）实施例可以全部或部分与所述的（一个或多个）任何替代实施例组合。

Claims (29)

1.用于开发变换的训练数据的运输车辆设备，所述设备包括：

运输车辆；

至少一个处理器；

至少一个存储器模块，其中所述至少一个处理器分析存储在所述至少一个存储器模块上的描绘道路并由运输车辆收集的图像数据，以检测表示道路的像素的水平线和方向信息，并且其中使用安装到运输车辆的至少一个传感器生成图像数据；和

耦合到所述至少一个传感器的部件，用于分析图像数据，将描绘道路的图像数据变换成描绘弓形道路的变换的图像数据，并用于开发训练数据集，以用于利用变换的图像数据训练机器学习算法。

2.根据权利要求1所述的运输车辆设备，进一步包括用于操作运输车辆在道路上行驶的自主和/或辅助驾驶系统，所述系统包括用于利用变换的图像数据训练一个或多个机器学习算法的部件。

3.根据权利要求2所述的运输车辆设备，其中操作运输车辆在道路上行驶的自主和/或辅助驾驶系统利用变换的图像数据替换图像数据的一部分。

4.根据权利要求3所述的运输车辆设备，其中，所述变换的图像数据表示合成的弯曲道路路段。

5.根据权利要求1所述的运输车辆设备，其中，所述运输车辆设备进一步包括所述至少一个传感器。

6.根据权利要求5所述的运输车辆设备，其中，所述至少一个传感器是相机。

7.根据权利要求6所述的运输车辆设备，其中，所述相机包括预定的外部参数。

8.根据权利要求7所述的运输车辆设备，其中，所述相机部署在道路上方预定距离处。

9.根据权利要求5所述的运输车辆设备，其中，用于分析图像数据的部件将表示道路的像素的方向信息从图像坐标变换为空间坐标。

10.根据权利要求9所述的运输车辆设备，其中，用于分析图像数据的部件基于相机与道路的垂直距离来确定平坦平面。

11.根据权利要求10所述的运输车辆设备，其中，用于分析图像数据的部件确定部署在平坦平面上的像素指示道路的表面。

12.根据权利要求11所述的运输车辆设备，其中，用于分析图像数据的部件确定指示道路表面的像素的距离信息。

13.根据权利要求12所述的运输车辆设备，其中，用于分析图像数据的部件将曲率应用于指示道路表面的像素。

14.一种用于训练机器学习算法的图像变换方法，所述方法包括：

利用处理器分析存储在存储器中并且描绘由一个或多个数据收集运输车辆采集的道路的图像数据，以检测表示道路的像素的水平线和方向信息，其中使用安装到一个或多个数据收集运输车辆的至少一个传感器生成图像数据；

将描绘道路的图像数据变换成描绘弓形道路的变换的图像数据；和

开发训练数据集，以用于利用变换的图像数据训练机器学习算法。

15.根据权利要求14所述的图像变换方法，进一步包括提供用于操作运输车辆在道路上行驶的自主和/或辅助功能，这包括变换对应于变换的图像数据的车辆路径。

16.根据权利要求15所述的图像变换方法，其中，提供用于操作运输车辆在道路上行驶的自主和/或辅助功能的操作进一步包括利用变换的图像数据替换图像数据的一部分。

17.根据权利要求16所述的图像变换方法，其中，变换的图像数据表示合成的弯曲道路路段。

18.根据权利要求14所述的图像变换方法，其中，所述至少一个传感器是相机。

19.根据权利要求18所述的图像变换方法，其中，所述相机包括预定的外部参数。

20.根据权利要求19所述的图像变换方法，其中，所述相机部署在道路上方预定距离处。

21.根据权利要求14所述的图像变换方法，进一步包括将表示道路的像素的方向信息从图像坐标变换为空间坐标。

22.根据权利要求21所述的图像变换方法，进一步包括基于相机与道路的垂直距离来确定平坦平面。

23.根据权利要求22所述的图像变换方法，进一步包括确定部署在平坦平面上的像素指示道路表面。

24.根据权利要求23所述的图像变换方法，进一步包括确定指示道路表面的像素的距离信息。

25.根据权利要求24所述的图像变换方法，进一步包括将曲率应用于指示道路表面的像素。

26.根据权利要求25所述的图像变换方法，进一步包括在变换操作期间，在针对在空间坐标中移动的像素而协调的图像中保留原始颜色信息。

27.一种包括机器可读软件代码的非暂时性机器可读介质，所述机器可读软件代码当在处理器上执行时，控制用于训练机器学习算法的图像变换方法，所述方法包括：

分析描绘由运输车辆收集的道路的图像数据，以检测表示道路的像素的水平线和方向信息，其中使用安装到运输车辆的至少一个传感器生成图像数据；

将描绘道路的图像数据变换成描绘弓形道路的变换的图像数据；和

开发训练数据集，以用于利用变换的图像数据训练机器学习算法。

28.根据权利要求27所述的包括机器可读软件代码的非暂时性机器可读介质，所述机器可读软件代码当在处理器上执行时，控制用于训练机器学习算法的图像变换方法，所述方法包括：

利用图像数据的一部分和变换的图像数据训练机器学习算法。

29.根据权利要求27所述的包括机器可读软件代码的非暂时性机器可读介质，所述机器可读软件代码当在处理器上执行时，控制用于训练机器学习算法的图像变换方法，所述方法包括：

执行机器学习算法以提供用于操作运输车辆在道路上行驶的自主和/或辅助功能。

Images