CN114207627A - 用于路径规划系统的极端情况检测和收集 - Google Patents

Abstract

本发明涉及一种用于检测和存储描述神经网络的预测的路径规划功能中的错误的信息的系统和方法。

Description

用于路径规划系统的极端情况检测和收集

技术领域

本发明涉及一种用于检测在预测算法中的错误的方法操作和设备。

发明内容

公开的实施例提供用于检测和存储描述神经网络的预测的路径规划功能中的错误的信息的系统和方法。

根据至少一些公开的实施例、系统、部件和方法，预测算法(例如神经网络)的预测的功能被测试，并且错误被识别。

根据至少一些公开的实施例，详细描述错误周围的情况的信息可以被收集、缓冲并且记录在半永久性的存储器中。

本发明的附加的特征对于本领域技术人员来说在考虑到(用于举例说明目前认为的实施公开内容的最佳模式的)说明性的实施例时将变得显而易见。

附图说明

详细的描述尤其参考附图，在其中：

图1示出了用于自动驾驶运输交通工具的传感器、路径预测神经网络和预测的路径。

图2示出了在一系列时间段内由人驾驶的预测的路径和参考路径的比较。

图3示出了根据本发明的用于执行图像数据采集和错误获知以及在存储器中的存储的系统和组成部件的示例。

图4示出了根据本发明的用于执行路径预测神经网络的错误检测和错误情况信息的存储的计算资源。

具体实施方式

在此提供的附图和描述可能已被简化以说明与清楚理解在此描述的设备、系统和方法相关的方面，同时为了清楚的目的，消除可在典型的设备、系统和方法中找到的其他的方面。本领域技术人员可以认识到，其他的元件和/或操作可能是期望的和/或必要的，用以实现在此描述的设备、系统和方法。因为这种元件和操作在本领域中是众所周知的，并且因为它们不利于更好地理解本发明，所以可能在此不提供对这种元件和操作的讨论。然而，本发明被认为始终包括本领域技术人员已知的对所描述的方面的所有这样的元件、变化和修改。

识别在神经网络和/或其他的预测算法的运行期间产生的错误可能是困难的。此外，获知这种错误以及导致错误实例的和由错误实例导致的条件可能在神经网络的迭代开发中发挥有价值的功能。

通常与自动运输交通工具结合使用的预测算法可以通过在运输交通工具由人类驾驶员操作时为运输交通工具提供预测的路径来训练。根据至少一些公开的实施例、系统、部件和方法，预测算法(例如神经网络)的预测功能被测试，并且错误被识别。此外，详细描述错误周围的情况的信息被收集、缓冲并且记录在半永久性的存储器中。

公开的实施例提供用于检测错误和改进通常与自动运输交通工具结合使用的预测算法的技术解决方案。这样的预测算法、例如神经网络可以通过在运输交通工具由人类驾驶员操作时为运输交通工具提供预测的路径来训练，随后在预测的路径与此后不久由驾驶员所采用的路径之间进行比较。

出于本发明的目的，术语“道路”包括已铺设或以其他的方式改进以允许运输交通工具行驶的两个地方之间的任何通路、通道、路线或马路，运输交通工具包括但不限于包括一个或多个车轮的机动车或其他的运输交通工具。因此，应当理解的是，这样的道路可以包括一个或多个车道以及与其他的道路的交叉口，包括入口/出口匝道、合并区域等，这些道路可以包括在公园道路、大道、林荫道、免费公路、收费公路、州际公路、高速公路中，或一级、二级或三级地方道路。

出于本发明的目的，术语“行车定位”用于指用于确定运输交通工具相对于道路或道路的一部分、例如运输交通工具在其上行驶的车道的位置的能力。

利用自主和与驾驶员辅助相关的运输交通工具技术的进一步结合可以想到的是，在实现中，自主和/或辅助功能将至少部分并且可能完全依赖于基于全球定位服务(GPS)数据、由多个车载传感器产生的数据以及可操作地耦合到多个传感器和/或GPS以处理和解释这种数据以促进行车定位的机器学习算法和/或神经网络、以自动或半自动的方式执行的行车定位。为了开发和训练用于使用各种不同类型的传感器和各种不同类型的反馈来执行行车定位的神经网络，不同的传统方法是已知的。

出于本发明的目的，短语“自主和/或辅助功能”是指能够实现交通工具控制的部分、完整或完全自动化的功能，并且排序成和包括目前已知的五个级别的驾驶自动化。因此，应当理解的是，自主和/或辅助功能是指交通工具通过车载设备以自动方式执行的操作或向用户输出警报、提示、推荐和/或指示，其中，由车载设备以自动化方式产生这些输出。此外，自主和/或辅助功能可以包括驾驶员辅助功能(一级)，其中，车载设备辅助但不控制转向、制动和/或加速，但驾驶员最终控制加速、制动和监控交通工具周围环境。

因此，应当理解的是，这样的自主和/或辅助功能还可以包括车道偏离警告系统，该系统提供一种机构来在运输交通工具开始离开其在免费公路和主干道上的车道时警告驾驶员(除非转向信号是在那个方向)。这种系统可以包括如果交通工具离开车道，那么向驾驶员发出警告(车道偏离警告)(视觉、听觉和/或振动警告)的系统，如果未采取任何行动，那么自动采取操作以确保交通工具保持在其车道内(车道保持系统)。

同样，自主和/或辅助功能可以包括部分自动化(二级)，其中，运输交通工具辅助转向或加速功能，并且相应监测交通工具周围环境，用以使驾驶员能够脱离一些用于驾驶运输交通工具的任务。正如在汽车行业中了解的那样，部分自动化仍然需要驾驶员准备好承担运输交通工具操作的所有任务，并且在任何时间连续监控交通工具周围环境。

自主和/或辅助功能可以包括有条件的自动化(三级)，其中，运输交通工具设备负责监测交通工具周围环境并且在没有驾驶员干预的情况下控制交通工具的转向、制动和加速。应当理解的是，在该级别及以上级别，用于执行自主和/或辅助功能的车载设备将与导航功能配合或包括导航功能，从而部件具有用于确定交通工具将行驶到哪里的数据。在三级及以上级别，驾驶员理论上被允许脱离对交通工具周围环境的监控，但可能会在特定的状况下被提示控制运输交通工具操作，这可能会妨碍在有条件的自动化模式下的安全操作。

因此，应当理解的是，自主和/或辅助功能可以包括接管转向和/或将运输交通工具保持在交通车道的相对中间的系统。同样，自主和/或辅助功能可以包括高度自动化(四级)和完全自动化(五级)，其中，车载设备能够响应于对交通工具周围环境的监控地以自动化的方式在没有驾驶员干预的情况下实现自动的转向、制动和加速。

因此，应当理解的是，自主和/或辅助功能可能需要监控交通工具的周围环境，包括交通工具道路以及识别周围环境中的对象，以便能够响应于交通事件和导航方向地实现对交通工具的安全操作，其中，安全操作需要确定何时改变车道、何时改变方向、何时改变道路(驶出/驶入道路)、何时以及以何种顺序合并或穿过道路交叉口，以及何时使用转弯信号和其他的导航标识，以确保其他的交通工具/交通工具驾驶员意识到即将进行的交通工具机动。

此外应当理解的是，高度和完全自动化可以包括分析和考虑从车外源提供的数据，以便确定这种自动化级别是否安全。例如，在这种级别中的自主和/或辅助功能可能涉及确定在运输交通工具的周围环境中的行人的可能性，这可能涉及参考指示当前的道路是高速公路还是公园道路的数据。此外，在这种级别中的自主和/或辅助功能可能涉及访问指示当前的道路上是否存在交通拥堵的数据。

传统的运输交通工具导航系统以及传统的自主交通工具将GPS技术用于其行车定位。然而，使用GPS进行全球定位的常规使用的缺点在于，定位局限于一定的精度水平，更具体地说，在最佳情况下为5-10米(这通常需要提供通向天空的无障碍的开放的视野的地理区域)。此外，在包括相对较大的建筑物、树木或地理轮廓(如峡谷)的地理区域中，精度较低的可能性更大。这是因为基于GPS的定位服务需要来自GPS卫星的信号。密集的材料(例如岩石、钢铁等)、高大的建筑物和大型的地理地形特征可能会阻挡或降低GPS信号。

因此，GPS通常与用于行车定位的局部地标(例如车道标记)组合，用以提高具有自主和/或辅助交通工具功能的交通工具准确执行行车定位的能力。传统地，从照相机图像或来自其他的传感器的由位于交通工具上的一个或多个照相机/传感器获得的传感器数据中检测和识别这些局部地标。例如，传统上已经讨论过将GPS数据与从前置照相机和LiDAR收集的数据、甚至通过地面穿透雷达产生的数据组合。此外已经讨论了，这样的照相机可以用于从车载照相机提取道路特性的简化特征表示，用以产生指示可被分析以执行行车定位的路边模式的数据。机器学习算法、例如神经网络，以及由此开发的模型促进了不同的数据输入(包括照相机图像)的组合和操作利用，以提供自主和/或辅助功能，并且更具体地说，开发沿道路的用于运输交通工具的预测的路径。

所公开的实施例基于以下认识，即最近的自主交通工具交通事故提供以下证据，即存在技术和现实世界需要增加管理自主和/或辅助功能的算法的鲁棒性和/或可靠性；尤其地，在发生频率较低和/或需要系统采取更重要的反应措施的情况下，能够实现自主和/或辅助功能并且控制运输交通工具的行驶。

自主和/或辅助功能包括两个广泛的功能系统或模块：路径规划系统和控制和/或辅助系统。路径规划系统接收并且处理传感器输入和其他的信息，以确定运输交通工具的转向、制动、加速度等。控制和/或辅助系统通过完全或部分自动化的转向、制动、加速和/或交通工具周围环境的监控来实现由路径规划系统规划出的路径。

在自主和/或辅助功能的训练和测试期间，识别极端情况(即路径规划系统的预测偏离由人类驾驶员所采取的行动的情况)和/或其他的错误状态或标识是有帮助的。用于路径规划系统的常见的测试策略被称为阴影模式和/或阴影。当启用阴影模式时，自主和/或辅助功能系统在后台运行，并且执行其预测功能，但不根据预测功能来命令对运输交通工具的操作。此外，在使用阴影模式期间，人类驾驶员全权负责操作运输交通工具。因此，因为路径规划系统为当前操作运输交通工具的驾驶员所经历的相同的驾驶条件提供预测，所以可以在预测与人类驾驶员的行动之间进行比较。

这样的比较然后可以识别路径规划系统的预测何时偏离人类驾驶员的行动以超过预定的阈值。当超过预定的阈值时，触发错误(即极端情况)，并且将与错误相关联的数据存储在半永久性的存储器/内存450(参见图4)中。半永久性的存储器可以是设置在运输交通工具的设备(例如硬盘驱动器)之间的一个或多个存储器模块，和/或半永久性的存储器可以包括通过移动或无线连接、经由通信模块440将错误数据传输到云存储器(参见图4)。错误数据被存储，使得所述错误数据可以用于此后对预测算法和路径规划系统进行故障排除。仅存储极端情况/错误数据的数据收集策略可以是一种改进，因为与存储所有预测数据和描述相关的人类驾驶员操作的所有数据的数据收集策略相比，它减少了所需的数据存储量。如果自主和/或辅助功能以相对低的错误率运行，使得错误很少发生或很少超过错误阈值，因此导致有限的(和更少的)数据存储和/或传输，那么这种改进被进一步强调。

尤其地，神经网络110(参见图1)形式的路径规划系统的任务是根据道路图像预测运输交通工具130(参见图3)的30米路径120。预测的路径120与参考路径140进行比较，参考路径140对应于人类驾驶员在相同的场景中根据在预测中使用的图像驾驶运输交通工具130驶过30米的路径。可以基于该比较评估路径规划系统(即，如果预测的路径120和参考路径140之间的偏差越小，那么出于训练目的可以考虑的路径规划系统越准确)。在本发明中考虑的是，针对路径规划系统的极端情况/错误检测和收集获知三种类型的错误：与参考的偏差、时间不稳定性和整体不确定性。

对于由路径规划系统产生的每个预测的路径120，与由人类驾驶员产生的对应的参考路径140的比较计算出偏差。可以根据由图像、时间、距离和/或其他的合适的单元描绘的增量来执行比较操作。例如，预测的路径120可以在每米的行程中被更新，或随着每个新的道路图像的采集而被更新。然而，参考路径140不会与预测的路径120同时变得可用。相反，参考路径140直到运输交通工具130沿由人类驾驶员确定的参考路径140行进并且经受环境和道路情况的影响之后才是可用的。首先，人类驾驶员执行与参考路径140对应的驾驶行动，然后运输交通工具130响应人类驾驶员的驾驶行动以及影响运输交通工具130的参考路径140的其他的情况。

诸如由路径规划系统所采用的神经网络预测在专用硬件上可能需要数十毫秒。图1所示的参考路径140以柔和的曲线跨越30米。在该示例中，当运输交通工具130以每小时15英里(即相对较慢)行驶时，运输交通工具130在5秒内穿过参考路径140。此外，运输交通工具130在以每小时70英里(即相对较快)行驶时、在1秒内穿过参考路径140。作为运输交通工具130的操作变化的结果，参考路径140可能在产生预测的路径120之后的小于1秒和大于5秒之间变得可用。当运输交通工具130比之前讨论的示例范围移动得更慢时，延迟甚至可能更长。存储器管理对于存储关于大量预测的路径120和在显着延迟之后观察到的相关联的参考路径140的信息来说是重要的。

在公开的实施例中，路径规划系统可以包括图1所示的深度神经网络110。参考路径140通过在存储器420和处理器430(参见图4)内运行物理模型产生，存储器和处理器设置在运输交通工具130上并且通过控制器局域网(CAN)410与一个或多个传感器设备460(例如照相机300)通信连接。物理模型可以从CAN总线410接收一个或多个信号作为输入参数(包括但不限于车速、加速度、角速度、车轮滴答计数等)。如上所述。与预测的路径120的可用性相比，参考路径140可以延迟一个时间段(大约为若干秒)。在公开的示例性的实施例中，在产生预测的路径120之后，描述预测的路径120的信息被存储在存储器420中，并且在产生比较之前，处理器430等待对应的参考路径140。如果检测到偏差大于预定的阈值，那么相关的数据被传输到半永久性的存储器470中(参见图4)。

为了存储图像数据、CAN总线数据(例如传感器读数)和其他的连续收集的或流动的数据，可以在存储器420中实现一个或多个环形缓冲器450。在示例性的实施例中，第一和第二环形缓冲器都包括三个存储器模块，其中，每个存储器模块最多存储5秒的收集的数据。5秒的收集的数据可以包括5秒的图像或5秒的CAN总线信号。第一、第二和第三存储器模块连续被填充。然后，当第三存储器模块被填充后，第一存储器模块被清空并且在其中存储新的数据。该存储协议继续使一个接一个的存储器模块在连续的基础上实现环形缓冲器450。因此，在给定的时刻，一个或多个环形缓冲器450中的每一个在其上存储了描述前10-15秒的驾驶活动的数据。用于计算参考路径140的物理模型同样在阴影模式中连续运行，从而可以检测预测的路径120中的极端情况和/或错误。

当预测的路径120偏离参考路径140超过阈值时，检测到错误，如前所述的那样，并且触发数据收集功能。在触发收集功能之后，存储器420等待环形缓冲器450中的当前的存储器模块和后续的存储器模块被填充。然后，存储在环形缓冲器450中的所有数据都被传输到半永久性的存储器。因此，描述错误的数据以及描述前5秒和后5秒的数据被放置在半永久性的存储器中，以便通过主题错误的前后上下文通知故障排除工作。

极端情况和错误检测不仅可以涉及预测的路径120和对应的参考路径140之间的偏差。即使由路径规划系统产生的为道路图像的连续帧产生的一系列预测的路径120与相关联的参考路径140的偏差小于错误阈值，这样的预测的路径120仍可以共同表现出时间不稳定性。出于控制和开发路径规划系统的目的，可以将时间不稳定性记录为错误。例如，现在参考图2，在第一时间增量200处，预测的路径120a从对应的参考路径140a略微向右倾斜(当运输交通工具130从左向右移动穿过该图示的示例时)。然后，在第二时间增量210处，预测的路径120b从对应的参考路径140b稍微向左倾斜。并且再次，在下一时间增量220处，预测的路径120c具有比相关联的参考路径140c更明显的左右路径移动。在连续的时间增量200、210、220处的参考路径140a、b、c预期分别从前面的参考路径140a、b平滑地延伸到下一参考路径140b、c，因为运输交通工具130沿参考路径140a、140b、140c中的每一个连续移动，并且不从一个跳到下一个。产生的是，即使在单独采用的情况下，图2的预测的路径120a、120b、120c没有表现出超出错误阈值的与对应的参考路径140a、140b、140c的偏差，但是随着时间产生的累积的偏差呈现出路径规划系统的错误。

仍然参考图2，可以从共同采用但省略相关联的参考路径140a、140b、140c的预测的路径120a、120b、120c检测出时间不稳定性极端情况。如上所述，在连续的时间增量200、210、220处的参考路径140a、b、c预期从前面的参考路径140a、b平滑地延伸到下一参考路径140b、c，因为运输交通工具130沿参考路径140a、140b、140c中的每一个连续移动并且不从一个路径步进到下一个路径。可以通过平滑度度量来描述运输交通工具130的运动质量。具有相同的参数的平滑度度量可以被应用于评估时间框架上的预测的路径120a、120b、120c的准确度。一系列预测的路径120应该类似地遵循预定的平滑度值，并且一系列预测的路径120的平滑度度量可以指示与预定的平滑度值的偏差。当测试路径规划系统时，平滑度度量与预定的平滑度值的偏差可以指示极端情况并且记录错误。根据示例性的实施例，沿一系列预测的路径120a、b、c、…n的特定的点被选择(例如2秒)并且与低阶多项式曲线(例如二阶多项式)拟合。优选地，所选的点在共享的距离(其中包括每个预测的路径120的30英尺重叠)内。该曲线拟合的均方根误差用作用于沿一系列预测的路径120n的所选的点(即所选的时刻)的平滑度。此外，针对每个可用的时间点的所有平滑度的加权总和可以产生为用于评估时间不稳定性的整体的平滑度度量。

更进一步地，极端情况错误可能与整体不确定性相关联。整体不确定性值描述与由路径规划系统产生的预测的路径120相关联的确定性度量。尤其地，测量和传达路径规划系统在由此产生的预测的路径120中的确定性可能是运输交通工具130的整体安全的重要的信息。获得这种整体不确定性度量的一种方式是将多个路径规划算法(即算法的集合)同时用作自主和/或辅助功能的组成部分。多个路径规划算法可以独立地并行产生多个预测。多个路径规划算法可以完全独立或部分相互依赖。由多个路径规划算法产生的预测的路径120的方差(variance或称为差额)可以用作整体不确定性度量。与前面讨论的极端情况一样，如果整体不确定性度量超过预定的阈值(即由多个路径规划算法产生的预测的路径之间的方差超过预定的阈值)，那么出于对其进行评估和改进的目的利用路径规划系统记录错误。此外，在示例性的实施例中，可以通过丢弃采样(dropout sampling)从同一神经网络产生多个并行路径预测，由此，神经网络做出大量预测，并且每个预测省略(或丢弃)来自神经网络的一个或多个输入，从而可以识别有缺陷或不准确的输入。

神经网络、例如通过在此公开的实施例改进的那些神经网络可以以促进对其、即在这种情况下是自主和/或辅助功能、跨越模型的输入域的所有类型的输入(例如所有道路状况和情况)的操作的目标来构建和调整。根据所公开的实施例提供的系统和方法可以用于开发自主和/或辅助功能，例如当神经网络为每个图像预测跨越大约接下来的30米的交通工具的路径时。可选地，此外，被监督的学习(其是最常见的机器学习形式)涉及在训练阶段期间基于一组训练数据启用学习，以便能够学习识别如何标记输入数据以进行分类。深度学习通过考虑多个级别的呈现来改进被监督的学习方法，在其中，每个级别使用来自前一级别的信息来更深入地学习。多个堆叠层的更深的架构是一方面，即卷积神经网络(CNN)通过对空间滤波器进行卷积来考虑像素/体素空间中的2D/3D局部邻域关系。

被监督的深度学习涉及多个级别或阶段的功能操作的应用，以便提高对产生的数据的理解，然后将其输入到进一步的功能操作中。例如，用于将数据分类为一个或多个类别的被监督的深度学习可以被执行，例如通过执行特征学习(涉及卷积、整流器线性单元(ReLU)和池化的一个或多个阶段)以实现样本数据的后续分类，从而通过应用softmax函数来识别学习的特征，从而能够区分输入图像数据中的对象和背景。可以执行这些操作以产生用于分类目的的图像类别标签。

同样，通过在红绿蓝(RGB)图像和到地面的距离/视差图像数据上并行操作，通过执行多次卷积并且通过经由串接来连接结果以进行后续处理，可以执行被监督的深度学习操作以用于回归。可以执行这些操作以产生图像回归标签以供随后在分析中使用。

此外，可以通过将RGB图像数据输入到卷积编码器/解码器中来执行被监督的深度学习操作，用以进行语义分割，该编码器/解码器可以包括多个卷积阶段、批量归一化(其不仅适用于分割，而且还适用于其他的网络)、ReLU和池化，被跟随的多个卷积阶段、批量归一化和具有上采样的ReLU。然后，可以通过应用softmax函数来处理产生的数据，用以提供带有用于每个像素的分割标记的输出数据。

此外应当理解的是，虽然所公开的实施例可以用于一般地促进稳健的自主和/或辅助运输交通工具功能的目的，但所公开的实施例在车道标记由于诸如下雪之类的天气情况被遮挡时在改进该功能方面可以具有特定的功用。在这种情况下，驾驶员经常会采取一些不寻常的行动。驾驶员导向的路径与规划的路径的比较有助于进一步改进提供路径规划功能的神经网络。

据此应当理解的是，至少一个实施例可以包括确定在所公开的操作中产生和/或分析的数据的数量和/或质量的反馈机制。这可以例如通过动态加权数据来实现。还应当理解的是，这样的反馈机构可以包括与阈值进行比较以至少维持最小参数，从而确保自主和/或辅助功能操作的安全。此外应当理解的是，可以在能够实现传感器数据合并的各种传统已知的技术中的一种或多种中执行用于动态加权这种数据的机构，例如在使用卡尔曼滤波器、基于中心极限定理执行的处理、贝叶斯网络、Dempster-Shafer定理、CNN或在此公开的任何其他的数学运算的情况下。

如上所述，所公开的实施例可以结合包括在运输交通工具中的自主和/或辅助驾驶系统的部件来实现。因此，已详细描述了在那些技术上下文中所公开的实施例的功用。然而，在此公开的创新概念的范围并不局限于那些技术上下文。此外应当理解的是，当前公开的用于评估一个或多个预测的路径以检测预测运行中的一个或多个错误的装置可以包括在此公开的以硬件和/或软件实现的传感器和功能的任何组合，从而提供公开的功能。

此外应当理解的是，这种辅助技术可以包括但不限于传统上被称为驾驶员辅助系统(DAS)或高级驾驶员辅助系统(ADAS)的技术，其使用包括在运输交通工具中的硬件和软件来实现。这些传统上已知的系统辅助驾驶员进行决策和控制，但是决策和控制不可避免地是驾驶员的责任。此外，这些系统在其如何实现中可以是“主动的”或“被动的”。主动DAS意味着交通工具本身通过其传感器、算法、处理系统和执行器控制交通工具驾驶行为的各种纵向和/或横向的方面，或者更确切地说非常具体的驾驶任务。被动DAS意味着交通工具将通过其传感器、算法、处理系统和人机界面(HMI)简单地辅助驾驶员控制交通工具控制的各种纵向和/或横向的方面。例如，在避免碰撞的情况下，主动系统会使交通工具停下来或使交通工具绕过当前的路径中的障碍物。被动系统会向驾驶员提供某种类型的视觉、听觉和触觉提示，用以使交通工具停止或绕过障碍物。

因此，DAS系统可以帮助驾驶员完成许多深入到驾驶过程中的，并且专门为提高汽车和道路安全以及驾驶员的便利性的目的而实施的任务。这种DAS系统包括但不限于巡航控制、自适应巡航控制(ACC)、车道保持主动转向、车道变换辅助、高速公路并线辅助、碰撞缓解和避免系统、行人保护系统、自主和/或辅助停车、标志识别、用于碰撞缓解的盲点检测，以及停车和通行交通辅助。因此，所公开的实施例可以辅助识别由DAS系统收集的不准确数据以提供该辅助功能。

虽然已经参考表示要提供的功能的特定术语讨论了所公开的实施例的功能和用于提供该功能的系统部件，但是应该理解，在实现中可以至少部分提供部件功能、现今和已知包含在传统的运输交通工具中的部件。

例如，如上所述，所公开的实施例使用软件来执行功能，以便至少部分使用存储在在运输交通工具中的一个或多个处理器上运行的一个或多个非暂时性的计算机可读的介质上的软件代码来实现数据的测量和分析。这种软件和处理器可以组合以构成至少一个控制器，该控制器耦合到运输交通工具的其他的部件，以支持和提供与交通工具导航系统和多个传感器结合的自主和/或辅助运输交通工具功能。这些部件可以与至少一个控制器耦合，用于通过运输交通工具的CAN总线进行通信和控制。应当理解的是，这种控制器可以配置为用于执行在此公开的功能。

应当进一步理解的是，当前公开的实施例可以使用包括在运输交通工具中的专用或共享硬件来实现。因此，在不脱离本发明的范围的情况下，可以通过运输交通工具的其他的部件使用模块的部件，用以提供交通工具功能。

提供了示例性的实施例，从而本发明将是彻底的，并且将向本领域技术人员充分传达范围。阐述了许多具体的细节、例如特定的部件、设备和方法的示例，用以提供对本发明的实施例的透彻的理解。在一些说明性的实施例中，未详细描述公知的过程、公知的设备结构和公知的技术。

在此使用的术语仅用于描述特定的说明性的实施例的目的，而并不期望进行限制。除非上下文另有说明，否则上述的元件的单数形式可以包括复数形式。在此所描述的方法过程和操作不应被解释为必然要求它们以所讨论的或图示的特定的顺序执行，除非具体地识别为执行顺序，或特定的顺序对于可操作的实施例是固有必要的。还应理解的是，可以采用附加的或备选的操作。

所公开的实施例包括在此描述的方法及其等效物、被编程用于执行所述方法的非暂时性的计算机可读的介质以及被配置用于执行所述方法的计算机系统。此外，包括一种交通工具，该交通工具包括包含任何方法的部件、被编程用于实施指令或执行方法的非暂时性的计算机可读的介质、以及用于执行方法的系统。计算机系统和任何子计算机系统通常包括包含可执行的代码的机器可读的存储介质；一个或多个处理器；耦合到一个或多个处理器的存储器；输入设备和连接到一个或多个处理器以执行代码的输出设备。机器可读的介质可以包括用于以机器、例如计算机处理器可读的形式存储或传输信息的任何机构。例如，信息可以存储在易失性的或非易失性的存储器中。此外，实施例功能可以使用嵌入式设备和到云计算基础设施的在线连接来实现，该云计算基础设施通过与这种基础设施的无线电连接(例如无线通信)是可用的。训练数据集、图像数据和/或变换后的图像数据可以存储在耦合到一个或多个处理器的存储器的一个或多个存储器模块中。

虽然已经以具有一定程度的特殊性的示例性的形式描述和图示了一些实施例，但要注意的是，描述和图示仅通过示例的方式进行。零件和操作的构造、组合和布置的细节可能会发生许多变化。相应地，这种变化旨在包括在本发明的范围内，其保护范围由权利要求限定。

在上面详述的实施例可以全部或部分与所描述的任何备选的实施例组合。

Claims (28)

1.一种用于检测在路径预测神经网络中的错误的运输交通工具设备，所述设备包括：

布置在运输交通工具上的一个或多个传感器，其用于采集描述运输交通工具所走的道路和参考路径的数据；

处理器和存储器；

至少一个神经网络，用于预测运输交通工具的一个或多个预测的路径；和

用于评估一个或多个预测的路径以检测预测运行中的一个或多个错误的装置，其中，一个或多个错误包括路径规划系统的一个或多个预测的路径偏离参考路径的指示。

2.根据权利要求1所述的运输交通工具设备，其中，用于评估的装置将一个或多个预测的路径与参考路径进行比较。

3.根据权利要求2所述的运输交通工具设备，其中，用于评估的装置检测一个或多个预测的路径与参考路径的偏差。

4.根据权利要求3所述的运输交通工具设备，所述运输交通工具设备还包括存储器，用于存储描述一个或多个预测的路径和参考路径的数据。

5.根据权利要求4所述的运输交通工具设备，所述运输交通工具设备还包括存储器，用于在环形缓冲器中连续存储来自一个或多个传感器的数据。

6.根据权利要求5所述的运输交通工具设备，所述运输交通工具设备还包括存储器，用于响应于在预测运行中检测到的一个或多个错误地，将数据从环形缓冲器传输到半永久性的存储器。

7.根据权利要求6所述的运输交通工具设备，其中，从环形缓冲器传输到半永久性的存储器的数据包括与检测到的错误之前的时间段相对应的第一部分数据和与检测到的错误之后的时间段相对应的一部分数据。

8.根据权利要求1所述的运输交通工具设备，其中，用于评估的装置根据一个或多个预测的路径确定平滑度度量。

9.根据权利要求8所述的运输交通工具设备，其中，所述一个或多个预测的路径包括多个预测的路径，并且其中，所述平滑度度量部分基于多个预测的路径彼此之间的比较。

10.根据权利要求1所述的运输交通工具设备，其中，所述一个或多个预测的路径包括多个预测的路径，并且其中，由多个神经网络产生多个预测的路径。

11.根据权利要求1所述的运输交通工具设备，其中，所述一个或多个预测的路径包括多个预测的路径，并且其中，由一个神经网络根据丢弃采样产生多个预测的路径。

12.根据权利要求10所述的运输交通工具设备，其中，用于评估的装置比较多个预测的路径，并且检测多个预测的路径之间的方差，以测量不确定性值。

13.根据权利要求11所述的运输交通工具设备，其中，用于评估的装置比较多个预测的路径，并且检测多个预测的路径之间的方差，以测量不确定性值。

14.一种用于路径预测神经网络的错误检测的方法，所述方法包括：

分析由布置在运输交通工具上的一个或多个传感器采集的描述道路的数据；

利用至少一个神经网络预测运输交通工具的一个或多个预测的路径；

采集描述运输交通工具所走的参考路径的数据；并且

评估一个或多个预测的路径以检测预测运行中的一个或多个错误，其中，一个或多个错误包括路径规划系统的一个或多个预测的路径偏离参考路径的指示。

15.根据权利要求14所述的用于路径预测神经网络的错误检测的方法，所述方法还包括将一个或多个预测的路径与参考路径进行比较。

16.根据权利要求15所述的用于路径预测神经网络的错误检测的方法，所述方法还包括检测一个或多个预测的路径与参考路径的偏差。

17.根据权利要求16所述的用于路径预测神经网络的错误检测的方法，所述方法还包括存储描述一个或多个预测的路径和参考路径的数据。

18.根据权利要求17所述的用于路径预测神经网络的错误检测的方法，所述方法还包括将来自一个或多个传感器的数据连续存储在环形缓冲器中。

19.根据权利要求18所述的用于路径预测神经网络的错误检测的方法，所述方法还包括响应于在预测运行中检测到的一个或多个错误地，将数据从环形缓冲器传输到半永久性的存储器。

20.根据权利要求19所述的用于路径预测神经网络的错误检测的方法，其中，从环形缓冲器传输到半永久性的存储器的数据包括与检测到的错误之前的时间段相对应的第一部分数据和与检测到的错误之后的时间段相对应的一部分数据。

21.根据权利要求14所述的用于路径预测神经网络的错误检测的方法，所述方法还包括根据一个或多个预测的路径确定平滑度度量。

22.根据权利要求21所述的用于路径预测神经网络的错误检测的方法，其中，所述一个或多个预测的路径包括多个预测的路径，并且其中，所述平滑度度量至少部分基于多个预测的路径彼此之间的比较。

23.根据权利要求14所述的用于路径预测神经网络的错误检测的方法，其中，所述一个或多个预测的路径包括多个预测的路径，并且由多个神经网络产生多个预测的路径。

24.根据权利要求14所述的用于路径预测神经网络的错误检测的方法，其中，所述一个或多个预测的路径包括多个预测的路径，并且由所述神经网络产生多个预测的路径。

25.根据权利要求24所述的用于路径预测神经网络的错误检测的方法，其中，由所述神经网络根据丢弃采样产生多个预测的路径。

26.根据权利要求23所述的用于路径预测神经网络的错误检测的方法，所述方法还包括比较多个预测的路径，并且检测多个预测的路径之间的方差以测量不确定性值。

27.根据权利要求24所述的用于路径预测神经网络的错误检测的方法，所述方法还包括比较多个预测的路径，并且检测多个预测的路径之间的方差以测量不确定性值。

28.一种用于规划交通工具路径的计算系统，包括：

至少一个存储器，配置用于接收指示交通工具的参考路径的传感器数据；

至少一个处理器，其通信式地耦合到至少一个存储器，其中，至少一个处理器被配置用于执行程序指令以使所述系统执行以下步骤：

通过至少一个神经网络预测交通工具的一个或多个预测的路径；

检测与一个或多个预测的路径的偏差；

基于参考路径和检测到的偏差确定极端情况；

存储所述极端情况；并且

利用存储的极端情况训练至少一个神经网络。

Images