CN113597396A - 利用道路表面特性的道路上定位方法和设备 - Google Patents

Abstract

所公开的实施例提供了一种技术改进，所述技术改进用于通过检测运输载具正在其上行进的道路中的道路磨损参考线、并且控制、引导或以其他方式便于运输载具车轮中心与检测到的道路磨损中心的对准来提供针对运输载具的定位。

Description

利用道路表面特性的道路上定位方法和设备

对相关申请的交叉引用

无。

技术领域

本公开涉及用于针对运输载具（transportation vehicle）的道路上定位（on-road localization）的方法操作和设备。

发明内容

根据本公开，提供了通过检测运输载具正在其上行进的道路中的道路磨损参考线来改进针对运输载具的定位的系统、组件和方法。

根据所公开的实施例，系统、组件和方法使得能够控制、引导、建议或以其他方式便于运输载具车轮中心与检测到的道路磨损中心的对准，以便于运输载具关于道路的改进导航，并且更具体地是关于交通车道以及由于道路特性（包括但不限于合并区域、上/下坡道、环形路和其他道路接合区域）所致的那些交通车道内的过渡（transition）的改进导航。

根据至少一个所公开的实施例，道路磨损参考线数据与载具上设备（on-vehicleequipment）所检测或访问以标识车道标记的数据结合地使用，从而控制、引导、建议或以其他方式便于运输载具车轮中心与检测到的道路磨损中心的对准，以便于运输载具关于道路的改进导航。对多个载具上数据传感器（on-vehicle data sensor）所生成的和/或在一个或多个数据库中访问的多个数据集的这种参考和分析提供了关于所监测的数据的附加冗余，并且因此提供了关于载具上系统（on-vehicle system）的增加的安全性，该载具上系统使得能够进行控制、引导、建议以用于对道路上的运输载具进行导航。

根据至少一个所公开的实施例，例如当车道标记不可见或令人困惑（confusing）时，道路磨损参考线数据还可以用于辅助（assist）阐明或分析由载具上设备所检测或访问以标识车道标记的数据。对道路磨损参考线数据的这种参考和分析通过扩充由一个或多个载具上数据传感器所生成的或在一个或多个数据库中访问的车道标记数据来改进安全性。

对于本领域的技术人员来说，在考虑例示了当前所感知的实施本发明的最佳模式的说明性实施例后，本发明的附加特征将变得明显。

附图说明

详细描述特别地参考了附图，在附图中：

图1A-1D图示了道路上的道路表面的特性的示例，诸如道路磨损或车轮车辙。

图2图示了根据所公开的实施例的用于利用调频连续波（FMCW）激光雷达（LiDAR）传感器以高帧速率进行道路表面纹理的高分辨率测量的系统和组成部分的示例。

图3图示了根据所公开的实施例的操作，这些操作用于执行用于数据分析的机器学习方法，从而将FMCW激光雷达传感器所生成的高维传感器数据转换成特性低维特征，该特性低维特征使得能够区别平滑与粗糙表面纹理，这是出于基于简单且可快速处理的区分标准来执行道路上定位的目的。

图4以附加的细节图示了执行深度神经网络操作以基于低维特性特征来执行特征提取和分类的操作。

图5图示了包括道路磨损/车轮车辙的道路区域中的表面简档（profile）的示例。

图6图示了出口场景的示例，其中车道标记之间的距离比典型的车道宽度更宽，这产生了困惑。

图7图示了在为冻结或冻结降水（frozen precipitation）做准备时被应用于道路的处理化学品的线的示例。

图8图示了在为冻结或冻结降水做准备时被应用于包括转弯车道的道路的一部分的处理化学品的线的另外示例。

图9图示了包括材料沉积物的道路的一部分的示例，该材料沉积物在为冻结或冻结降水做准备时最初被应用于该道路，但是该材料已经磨损了该道路并且被沉积在运输载具不在其上驾驶的该道路中的交叉路口区域中。

具体实施方式

本文中提供的附图和描述可能已经被简化以说明与清楚理解本文中描述的设备、系统和方法相关的方面，同时出于清楚的目的，消除了在典型的设备、系统和方法中可能找到的其他方面。本领域普通技术人员可以认识到，为了实现本文中描述的设备、系统和方法，其他元件和/或操作可能是合期望和/或必要的。因为这种元件和操作在本领域中是众所周知的并且因为它们并没有便于更好地理解本公开，所以本文中可能没有提供对这种元件和操作的讨论。然而，本公开被认为固有地包括本领域普通技术人员将已知的所描述方面的所有这种元件、变型以及对所描述方面的所有修改。

所公开的实施例提供了一种技术解决方案，该技术解决方案用于通过检测运输载具正在其上行进的道路中的道路磨损参考线、并且控制、引导或以其他方式便于运输载具车轮中心与检测到的道路磨损中心的对准，来改进针对运输载具的定位。

出于本公开的目的，术语“道路”包括两个地方之间的任何道路、大道（thoroughfare）、路线或陆地上的路，它们已经被铺设或以其他方式被改进以允许运输载具行进，该运输载具包括但不限于包括一个或多个车轮的机动载具或其他运输载具。因此，应当理解的是，这种道路可以包括一个或多个车道以及与其他道路的接合部，包括上/下坡道、合并区域等，这些车道和接合部口可以被包括在公园路、林荫路、城市大道（boulevard）、高速路（freeway）、收费公路、州际公路（interstates）、高速公路（highway）、或一级、二级或三级地方道路中。

出于本公开的目的，术语“道路上定位”用于指代确定运输载具相对于运输载具正在其上行进的道路或道路的一部分（诸如，车道）的位置的能力。

随着进一步并入自主和驾驶员辅助相关的运输载具技术，所设想的是，在实现中，自主和/或辅助性功能将至少部分地并且可能完全地依赖于道路上定位，该道路上定位基于全球定位服务（GPS）数据以及由位于载具上的多个传感器所生成的数据以自动化或半自动化方式来执行。如下所解释，已知各种传统方法用于使用各种不同类型的传感器来执行道路上定位；然而，这些方法中的每一个在要处理的数据的质量/数量和/或用于处理的时间和计算负荷方面都具有缺陷，这对于现实世界的实时使用以便安全地控制运输载具行进来说是一个障碍。

出于本公开的目的，短语“自主和/或辅助性功能”指代使得能够实现载具控制测距的部分、全部或完全自动化的功能，并且涵盖了目前已知为五个级别的驾驶自动化的内容。因此，应当理解的是，自主和/或辅助性功能指代由载具通过载具上设备以自动化方式执行的操作，或者指代去往用户的警报、提示、推荐或指导的输出，其中这些输出是通过载具上设备以自动化方式来生成的。此外，自主和/或辅助性功能可以包括驾驶员辅助性功能（级别一），其中载具上设备辅助但不控制操纵、制动和/或加速，而是驾驶员最终控制加速、制动、以及对载具周围环境的监测。

因此，应当理解的是，这种自主和/或辅助性功能还可以包括车道偏离警告系统，当运输载具开始移动离开高速路和主干道路上的其车道时（除非转向信号在该方向上开启），该车道偏离警告系统提供用于警告驾驶员的机制。这种系统可以包括：在载具离开其车道的情况下警告驾驶员（车道偏离警告）的系统（视觉、听觉和/或振动警告）、以及在未采取任何动作的情况下警告驾驶员并且自动采取步骤以确保载具保持在其车道中的系统（车道保持系统）。

同样地，自主和/或辅助性功能可以包括部分自动化（级别二），其中运输载具对操纵或加速功能进行辅助，并且相应地监测载具周围环境，以使得驾驶员能够脱离驾驶运输载具的一些任务。如在汽车工业中所理解的那样，部分自动化仍然需要驾驶员准备好承担运输载具操作的所有任务，并且还需要在任何时间处持续地监测载具周围环境。

自主和/或辅助性功能可以包括条件自动化（级别三），其中运输载具设备负责监测载具周围环境，并且在没有驾驶员干预的情况下控制载具的操纵、制动和加速。应当理解的是，在该级别和更高级别处，用于执行自主和/或辅助性功能的载具上设备将与导航功能对接或包括导航功能，使得组件具有用于确定载具将在何处行进的数据。在级别三和更高级别处，理论上允许驾驶员脱离对载具周围环境的监测，但是在可能妨碍条件自动化模式中的安全操作的某些情况下，可能会提示驾驶员接管对运输载具操作的控制。

因此，应当理解的是，自主和/或辅助性功能可以包括接管操纵、使运输载具保持在交通车道中心的系统。

同样地，自主和/或辅助性功能可以包括高度自动化（级别四）和完全自动化（级别五），其中载具上设备使得能够在没有驾驶员干预的情况下响应于对载具周围环境的监测以自动化方式进行自动化操纵、制动和加速。

因此，应当理解的是，自主和/或辅助性功能可能需要监测载具的周围环境——该周围环境包括载具道路以及周围环境中的对象的标识——以便使得能够响应于交通事件和导航方向来进行载具的安全操作，其中该安全操作需要确定何时改变车道、何时改变方向、何时改变道路（出口/入口道路）、何时以及以何种次序来合并或穿越（traverse）道路接合部、以及何时使用转向信号和其他导航指示器来确保其他载具/载具驾驶员意识到即将到来的载具机动。

此外，应当理解的是，高度和完全自动化可以包括分析和考虑从载具外来源提供的数据，以便确定这种自动化级别是否安全。例如，这种级别处的自主和/或辅助性功能可以涉及确定行人处于运输载具周围环境中的可能性，这可以涉及参考指示当前道路是高速公路还是公园路的数据。附加地，这种级别处的自主和/或辅助性功能可以涉及访问指示当前道路上是否存在交通堵塞的数据。

考虑到对用于自主和/或辅助性功能的载具上传感器的潜在实现方式的这种理解，可以提供当前公开的系统、组件和方法，以通过检测运输载具正在其上行进的道路中的道路磨损参考线来改进针对运输载具的定位，从而实现这种功能。

传统的运输载具导航系统以及传统的自主载具使用GPS技术来进行它们的道路上定位。然而，使用GPS进行全球定位的传统使用的缺陷在于：定位被限制到某个准确度水平，更具体地，在最佳情况下为5-10米（这通常需要提供不受阻挡的开阔天空视野的地理区域）。此外，较低的准确度更有可能存在于包括相对大的建筑物、树木、或诸如峡谷之类的地理轮廓的地理区域中。这是因为基于GPS的定位服务需要来自GPS卫星的信号。密集的材料（例如，岩石、钢铁等）、高建筑物和大地理地形特征可能会阻挡GPS信号或使GPS信号退化。

因此，在传统上，已经将GPS与本地界标进行组合以用于道路上定位（例如，车道标记），以改进具有自主和/或辅助性载具功能的载具准确执行道路上定位的能力。在传统上，已经从位于载具上的一个或多个相机/传感器所获得的相机图像或来自其他传感器的传感器数据中检测到并标识这些本地界标。例如，传统上已经讨论了将GPS数据与从前视相机和激光雷达收集的数据进行组合，并且甚至与地面穿透雷达所生成的数据进行组合。此外，已经讨论的是，对于这种相机，存在如下效用（utility）：即，从载具上相机中提取道路特性的简化特征呈现，以生成指示可以被分析以执行道路上定位的道路侧图案（roadsidepattern）的数据。附加地，在传统上，已经将利用激光的离散点测量的高速纵向道路剖析（profiling）与CMOS线扫描相机技术进行组合，以用于运输载具的自主和/或辅助性功能。

然而，在使用或是不使用GPS的情况下，基于车道标记的道路上定位在许多情形下仍然是不够的，这是因为例如传统上可用的技术不能够在实际驾驶车道与例如即将到来的混凝土车道分隔带（concrete lane divider）之间进行区分。这是因为驾驶车道和混凝土车道分隔带两者都由左和右车道标记来形成边界。

所公开的实施例基于如下认识，即最近的自主载具交通事故提供了存在如下技术和现实世界需要的证据：即，通过使用由多个不同传感器和不同类型的传感器生成的数据的组合来增加用于自主和/或辅助性载具设备和系统的数据的鲁棒性和/或可靠性，从而确保如果来自一个传感器或一种类型的传感器的数据变得不可用或不可靠，则可以利用来自另一个传感器或另一种传感器类型的数据。

因此，根据所公开的实施例，系统、组件和方法使得能够控制、引导、建议或以其他方式便于运输载具车轮中心与检测到的道路磨损中心的对准，以便于运输载具关于道路的改进导航，并且更具体地是关于交通车道以及由于道路特性（包括但不限于合并区域、上/下坡道、环形路和其他道路接合区域）所致的那些交通车道内的过渡的改进导航。

值得注意的是，与传统上用于道路上定位的车道标记相比，诸如车轮车辙之类的道路磨损在视觉上不太明显。道路车辙是由于运输载具车轮的行进而从道路上磨损掉的道路表面上的凹陷、沟槽或材料的其他消除。车辙可能是由于磨损（例如，来自寒冷气候区域中常见的镶嵌雪地轮胎）形成的，或者它们可能是通过沥青混凝土路面或底基层材料的变形而形成的。无论形成车辙的物理机制如何，车辙本身都指示运输载具对包括该车辙的路径上的道路进行的过去的、重复的（以及理论上安全的）穿越（traversal）。因此，通过使运输载具的当前操作与这些车辙对准，增加这种操作的安全性的可能性至少在理论上被增加。

如图1A-1D中所示，道路110上的道路表面的特性（诸如，道路磨损或车轮车辙120）指示运输载具在过去对该道路的重复穿越。因此，应当领会的是，车轮车辙120大致平行于表示交通车道130的车道标记而延伸。除了当存在用于穿越交通车道130或道路110的区域的多个路径的时候（如本文中参考图6所讨论的那样），这通常是正确的。

因此，感测和分析这种车轮道路表面特性的位置可以改进执行由载具上设备提供的自主和/或辅助性驾驶功能的道路上定位的能力。值得注意的是，当降水导致了水（水可以反射光）汇集在车辙120中时（如图1C中所示）、和/或当降水导致了道路110上模糊的车道标记时（如图1D中所示），这可能尤其如此。

由于所分析的感测数据的质量和数量两者，实现上述传统上已知的道路上定位技术已经受到限制。数据的质量会影响基于对该数据的分析做出的确定的准确度。数据的数量会影响分析该数据所需的时间，从而使自主和/或辅助性功能的实现变得困难或不可能，这取决于哪些传统技术被实现。

相比之下，所公开的实施例利用了最近开发的具有高级调频连续波（FMCW）能力的激光雷达传感器，该激光雷达传感器最近已经变得在汽车工业中可用。

传统激光雷达通过利用脉冲激光照射目标并且利用传感器测量反射脉冲来测量距一个或多个目标的距离。然后，可以使用激光返回时间与波长中的差异来制作目标的数字3D表示。

最近开发的激光雷达组件（诸如，现在从（蒙大拿州博兹曼市的）Blackmore公司系统商业上可获得的那些组件）将相干光学通信硬件与雷达信号处理技术进行组合，以提供FMCW激光雷达，该FMCW激光雷达提供了改进的传感器灵敏度、鲁棒性和速度测量。因此，这种FMCW激光雷达设备能够在感测或“看到”运输载具环境中包括的亮对象和暗对象两者方面实现增加的功能。特别地，出于当前公开的实施例的目的，暗对象（诸如，道路表面、以及那些道路表面中的车辙）是可以可检测的。例如，强度数据（暗/亮）可能是车辙位置的指示器，但是也可以分析实际的返回数目以及激光雷达的返回是如何分布的，以确定车辙位置。理论上，如下所描述的散斑（speckle）信息可以提供对道路表面的粗糙度在何处变化的特性洞察，这进而可能是用于确定车道中心的附加指示器。该原理起作用的关键因素是光脉冲的积分时间。如果给定射线到达目标的时间足够短，则散斑图案可能以如下这种方式影响点云，使得它提供了检测道路标记或特性道路磨损所需的信息。

使用传统的直接飞行时间（dToF）无法获得该能力，这是因为这样的那些传感器未示出任何散斑伪影。相反，实现了dToF的激光雷达基于已知的光速来确定距离，从而测量激光雷达与每个扫描点的主体之间的离散光信号的飞行时间。

相比之下，FMCW激光雷达提供了使用通过一定范围改变其频率的连续发射激光器的相干激光雷达，并且将返回信号的频率与对应的本地参考信号进行比较以确定距离。此外，FMCW激光雷达和Blackmore公司的激光雷达组件可以确定对象的相对速度，这在根据移动的运输载具来标识环境对象形状的速度和能力方面做出了帮助。

如图2中所示，所公开的实施例提供了一种用于道路表面纹理210的高分辨率测量的系统200和组成部分，该系统200和组成部分可以利用安装在运输载具230上的调频连续波（FMCW）激光雷达传感器220以高帧速率来执行。应当领会的是，用于执行实现数据测量和分析的功能的软件可以至少部分地使用存储在一个或多个非暂时性计算机可读介质上的软件代码来执行，该非暂时性计算机可读介质运行在运输载具230中的一个或多个处理器（未示出）上。

系统200可以例如以30（垂直）×40（水平）的视场以及在<5cm范围内的准确度、以例如300000个样本/秒至100万个样本/秒的范围内的吞吐量在不可见光谱（1550nm）中进行操作。因此，来自FMCW激光雷达传感器220的每个样本可以提供关于给定点的欧几里德度量坐标（如传感器坐标中的x，y，z）、表面的强度和径向速度的信息。此外，在一个样本内，每个离散的方位角和俯仰角可以获得多个返回。

在操作中，与发送激光脉冲串的传统脉冲激光雷达相比，FMCW激光雷达传感器220生成连续激光。FMCW激光雷达中连续发射的光被分成两个射束，一个射束被发出以击中目标，并且其反射与第二个射束相组合，并且然后被评估用于实际距离和径向速度测量。目标光脉冲不是完全准直的，存在一些射束发散。背部散射光可能会发生相长干涉或相消干涉，这取决于表面的粗糙度。这种效应在光学领域中被称为散斑。应当领会的是，在FMCW激光雷达 220执行了无效测量（例如，由于不具有在传感器范围内的表面所引起、或者由于散斑所致的无效测量）的情况下，不提供任何返回。

应当理解的是，FMCW激光雷达传感器220在图2中仅被示出为传感器的定位的示例。因此，传感器220可以位于载具上或载具中的其他地方，包括例如在载具的前格栅总成（front grill）中或以其他方式面向前方，以便实现用于感测和分析由传感器220生成的光学数据的功能。然而，应当理解的是，对于至少一些实现方式，传感器220应当位于载具上的更高处（例如，车顶），以提供用于跟踪道路位置的最有用的数据。

根据所公开的实施例，该数据（包括与全点云数据结合的关于每个样本的返回数目的信息）可以用于生成特性道路表面简档。这种特性简档可以提供足够的数据（数量和质量）以获得准确的横向位置数据，以便确定道路上定位和/或帮助位于载具230上的其他有源和无源测量传感器（例如，里程计、相机）。因此，对所提取的激光雷达信号的分析可以可选地单独使用，或者与其他传感器数据结合使用，以用于更鲁棒的绝对道路上定位。

图3-4图示了根据所公开的实施例而执行的示例数据分析。如图3中所示，操作在305处开始，并且控制进行到310，在310处，接收来自FMCW激光雷达传感器的所生成的数据。然后，控制进行到315，在315处，生成激光雷达点云数据，包括x、y和z坐标、强度数据和径向速度数据、以及针对在310处接收到的所生成数据的每个样本的散斑特性。应当理解的是，散斑特性是隐含信息，并且只能够直接获得；因此，取决于道路表面粗糙度，传感器有可能接收到更多或更少的实际返回。

然后，控制进行到320，在320处，执行深度神经网络操作以基于低维特性特征来执行特征提取和分类320。这将在本文中参考图4进一步讨论。

然后，控制进行到325，在325处，分析数据，从而以供载具组件用于确定道路上定位（例如，用于提供自主和/或辅助性功能）的格式来标识指示（一个或多个）道路车辙的存在。然后，控制进行到330，在330处，将该数据输出到载具上自主和/或辅助性功能组件。然后，控制进行到335，在335处，操作结束。

如图4中所示，执行深度神经网络操作以基于低维特性特征来执行特征提取和分类的操作320（见图3）可以在405处开始，其中然后控制进行到410，在410处，接收激光雷达点云数据。这可以包括x、y、z坐标、强度数据、径向速度数据、以及针对接收到的激光雷达数据中包括的每个样本的隐含散斑特性。然后，控制可以进行到415，在415处，可以提取低维特性特征。然后，控制进行到420，在420处，对那些所提取的特征执行分类过程，并且控制进行到425，在425处，用于特征提取和分类的深度神经网络操作结束。

应当理解的是，如图4中所示，特征提取和分类也可以在单个组件（例如，单个卷积神经网络）中执行，如图3中那样。因此，在不偏离本发明的概念的情况下，所公开的实施例可以在单个组件或多个组件中实现。

图3-4中描绘的所执行的操作使得能够区别指示道路磨损/车轮车辙与道路其他部分的表面简档。例如，如图5中所示，道路磨损/车轮车辙120区域中的表面简档（在虚线之间）对应于当与剩余的道路表面130（例如，在道路磨损之间以及在道路磨损与车道标记之间的道路中间）相比运输载具已经大量磨损了该道路表面时的区域。

根据传感器提供的全点云数据（x、y、z坐标、反射率和每次返回的径向速度）以及在该数据中生成的返回的绝对数目的组合，当在沿着水平线的点处执行激光雷达扫描时，可以执行操作以标识道路磨损参考线140。更具体地，较粗糙的表面130与较光滑的表面120之间的过渡由虚线来指示，根据这些虚线，可以确定车辙140的对应中心，该中心如位于虚线中间的实线140所指示。

因此，道路磨损可以被标识，并且用于辅助或自动化运输载具车轮中心在道路磨损中心上的对准。在这一点上，应当注意的是，道路磨损/车辙通常可能比典型汽车的轮胎宽度更宽，这是因为轮胎宽度从载具到载具以及因载具的不同类型（例如，卡车与汽车）而变化，并且在关于使载具位于行进车道中的何处的驾驶偏好中，存在从驾驶员到驾驶员的某种程度的变化。然而，即使考虑到这种变化，道路磨损也是大多数驾驶员的过去行为的指示器。因此，至少部分地基于这种数据来执行道路上定位增加了出于在运输载具中进行自主和/或辅助性功能的目的而执行道路上定位的能力。

应当理解的是，可以通过利用深度神经网络（例如，如图3和4中所示）来区分这些不同的表面类型，该深度神经网络用于执行用于数据分析的机器学习方法，从而将高维传感器数据转换成特性低维特征，该特性低维特征用作简单且可快速处理的区分标准。例如，具有散斑图案化分析的计算机视觉和机器学习可以例如使用各种深度神经网络操作中的一个或多个来执行，这些深度神经网络操作包括使用卷积神经网络（CNN）、递归神经网络（RNN）、卷积自动编码器、生成对抗网络（GAN）、图神经网络（GNN）、孪生/三胞胎（Siamese/Triplet）网络等实现的那些操作。

例如，可以使用各种类型的机器学习操作来执行对激光雷达点云数据的分析，这些机器学习操作包括监督式学习、无监督式学习、深度学习、以及可以被称为监督式深度学习的操作。

根据至少一个实施例，可以执行无监督式学习以自动标识区分平滑区域与粗糙区域的特征值上的阈值，例如使用无监督式聚类方法、诸如利用本文中描述的卷积自动编码器。

根据至少一个实施例，无监督式分类（例如，一类支持向量机、k均值聚类、诸如DBSCAN之类的基于密度的聚类、诸如期望最大化之类的基于分布的聚类、子空间聚类）可以作为聚类与降维（例如，主成分分析/奇异值分解）的组合来执行。

可选地，此外，作为机器学习的最常见形式的监督式学习涉及基于训练数据集在训练阶段期间启用学习，以便启用学习识别如何给输入数据加标签以进行分类的能力。深度学习通过如下方式在监督式学习方法上进行了改进：即，考虑了若干个层级的表示，其中每一个层级使用来自先前层级的信息来更深入地学习。许多堆叠层的更深架构是一个方面，CNN还通过空间滤波器上的卷积来考虑像素/体素空间中的2D/3D局部邻域关系。

因此，监督式深度学习涉及应用函数操作的多个层级或阶段，以改进对所得数据的理解，该数据然后被馈送到进一步的函数操作中。例如，用于将数据分类成一个或多个类别的监督式深度学习可以例如通过执行特征学习（涉及卷积、整流线性单元（ReLU）和池化的一个或多个阶段）来执行，以使得能够对样本数据进行后续分类，从而通过应用softmax函数来标识学习到的特征，以使得能够在输入图像数据中的背景与对象之间进行区别。可以执行这些操作来生成图像类别标签以用于分类目的。

同样地，可以通过对RGB图像、以及离地距离（distance to ground）/视差图（disparity map）数据进行并行操作来执行监督式深度学习操作以用于回归，该并行操作是通过执行多个卷积并且通过级联（concatenation）将结果联结在一起以用于后续处理来进行的。可以执行这些操作以生成图像回归标签，以用于分析中的后续使用。

此外，可以通过将RGB图像数据输入到卷积编码器/解码器中来执行监督式深度学习操作以用于语义分割，该卷积编码器/解码器可以包括如下多个阶段：卷积、批归一化（其不仅适用于分割，而且还适用于其他网络）、ReLUS和池化，接着是如下多个阶段：卷积、批归一化、以及利用上采样的ReLUS。然后，可以通过应用softmax函数来处理所得的数据，以提供具有每个像素的分割标签的输出数据。

如上所提及，对激光雷达点云数据的分析也可以由卷积自动编码器通过使用无监督式学习来执行，训练数据集不与类别标签相关联，使得数据被生成和组织，系统开发并组织该数据，从而例如在聚类中搜索共同特性。根据所公开的实施例，可以执行无监督式深度学习操作，例如用于图像数据中的特征提取。因此，输入数据帧可以被输入到编码器中的多个卷积和池化层中，接着由多个解卷积和池化层来进行处理。这种特征提取操作的结果使得能够实现如下能力：即，有效地检测图像数据中的异常或标识该数据中的多个类别（诸如，粗糙和平滑表面）。

附加地，可以使用GAN来执行所谓的“半监督式学习”，以用于数据扩充和领域自适应。在由GAN进行的半监督式学习中，可以将随机噪声输入到图像生成器中以生成伪图像，然后将该伪图像与数据训练集进行比较，以使得判别器能够在训练数据（即，真实数据）与伪数据之间进行区分。因此，应当理解的是，这种操作也会生成具有一些标签的图像数据。

孪生/三胞胎网络可以同样地用于相似性学习，以使得机器学习组件能够识别数据集之间的相似性、以及一个数据集内的不同类别。

此外，可以使用RNN以通过例如对行为进行建模或描述来分析输入/输出关系数据中的依赖于时间的行为，并且潜在地利用经训练的RNN来预测时间序列。

根据至少一个所公开的实施例，例如当车道标记不可见或令人困惑时，道路磨损参考线数据还可以用于辅助阐明或分析由载具上设备所检测或访问以标识车道标记的数据。对道路磨损参考线数据的这种参考和分析通过扩充由一个或多个载具上数据传感器所生成的或在一个或多个数据库中访问的车道标记数据来改进安全性。因此，应当理解的是，尽管所公开的实施例可以通常用于便于进行鲁棒的自主和/或辅助性运输载具功能的目的，但是在当道路接合部（诸如，高速公路的上坡道或下坡道）处的车道宽度暂时增加时提供该功能方面，所公开的实施例可以具有特定的效用。这种道路区域可能会导致人类驾驶员的暂时困惑，因为他们不能够确定何时以及在什么位置处改变方向从而进入（commit）接合部中的一个路径。因此，可以假定自主和/或辅助性功能可能类似地发现了这种确定是困难的。

例如，图6示出了出口场景，其中车道标记之间的距离比典型的车道宽度更宽。因此，应当理解的是，根据所公开的实施例，可以使用基于车辙以及车道标记的驾驶路径预测算法来执行自主和/或辅助性功能，因为仅考虑车道标记会导致使运输载具位于增加的车道宽度的中间，这可能是不安全的。因此，作为自主和/或辅助性功能的一部分，检测和分析这种区域中的道路中的车辙可以提供改进的安全性。如果该道路包括可能导致载具失控风险增加的高程（elevation）中的改变（该改变是由于例如失去砾石、冰、水等所引起），这可能尤其如此。

此外，应当理解的是，尽管所公开的实施例可以通常用于便于进行鲁棒的自主和/或辅助性运输载具功能的目的，但是在当车道标记由于诸如雪之类的天气条件而变得模糊时提供该功能方面，所公开的实施例可以具有特定的效用。在这种条件下，传统上用于辅助道路上定位的车道标记和道路侧图案会变得模糊。例如，任何量的雪都可能使车道标记和道路标志模糊；附加地，大量的雪可能会改变沿着道路的周围环境的外观，以至于不能够分析道路侧图案来提供将与GPS分析组合的附加数据以用于执行道路上定位。

根据至少一个所公开的实施例，道路磨损参考线数据可以与载具上设备所检测或访问以标识车道标记的数据结合地使用，从而控制、引导、建议或以其他方式便于运输载具车轮中心（例如，与道路接触的车轮表面的横向中心）与检测到的道路磨损中心的对准，以便于运输载具关于道路的改进导航。对多个载具上数据传感器所生成的或在一个或多个数据库中访问的多个数据集的这种参考和分析提供了关于所监测的数据的附加冗余，并且因此提供了关于载具上系统的增加的安全性，该载具上系统使得能够进行控制、引导、建议以用于对道路上的运输载具进行导航。

因此，还应当理解的是，根据所公开的实施例，可以通过组合由包括FMCW激光雷达的不同传感器所生成的数据来增加道路上定位操作的鲁棒性，以改进可靠性，从而计及由一个或多个传感器所生成的数据在自主和/或辅助性功能期间变得不可用或不可靠的可能性。例如，如果车道标记不可见或令人困惑（例如，车道分开/合并不连续）、或由于隧道或高建筑物遮蔽了卫星的访问和参考而导致基于GPS的定位变得不可能，则这可能会发生。

在一这点上，应当理解的是，至少一个实施例可以包括反馈机制，该反馈机制确定在所公开的操作中产生和/或分析的数据的数量和/或质量。这种反馈机制可以用于在提供自主和/或辅助性功能时选择性地增加或减少对基于车辙的道路上定位数据的依赖。这可以例如通过如下方式来实现：基于对不同定位技术/组件所生成的数据的相对准确度或可用性的确定，来动态地对这些定位技术/组件所生成的数据进行加权。应当理解的是，数据加权可以基于天气、环境光的量、存储在数据库中的用于与针对运输载具所确定的GPS数据进行交叉参考的已知道路条件。还应当理解的是，这种反馈机制可以包括与阈值进行比较，以用于至少保持最小参数，从而确保自主和/或辅助性功能操作的安全性。

此外，应当理解的是，用于动态地对这种数据进行加权的机制可以在各种传统上已知的一个或多个技术中执行，这些技术使得能够例如使用如下各项来进行传感器数据融合：卡尔曼滤波器、基于中心极限定理执行的处理、贝叶斯网络、Dempster-Shafer定理、CNN、或本文中公开的任何其他数学运算。

虽然以上描述已经参考了基于车辙的定位数据，但是应当理解的是，道路条件可以使得其他数据可以类似地用于改进自主和/或辅助性运输载具功能。例如，图7-9图示了作为为冻结或冻结降水做准备的结果而发生、或者在为冻结或冻结降水做准备时发生的道路条件的各种示例。例如，图7图示了在为冻结或冻结降水做准备时被应用于道路的处理化学品（例如，氯化镁或氯化钙）的线的示例。如图7中所示，应用这些化学品通常会形成平行于道路车道标记而延伸的线，因为应用化学品的载具必须遵守交通规则，包括保持在行进车道内。因此，应当理解的是，使用FMCW激光雷达来标识这种线可以使得能够进行进一步分析，以确定如何最好地保持在交通车道内。因此，应当理解的是，对道路处理材料的多个线的感测可以使得能够改进使运输载具在交通车道内居中的能力。

类似地，图8图示了在为冻结或冻结降水做准备时被应用于包括转弯车道的道路的一部分的处理化学品的线的另外示例。如图8中所示，道路处理材料的多个线进一步区别了适当的路径，该路径从主要道路经由道路的出口区域分岔到转弯车道中，该转弯车道在车道标记中由比主要道路上存在的虚线更小的虚线来表示。因此，感测和分析这种线可以辅助提供自主和/或辅助性运输载具功能。

此外，应当理解的是，FMCW激光雷达可以用于标识包括材料沉积物的道路区域，该材料沉积物在为冻结或冻结降水做准备时最初被应用于该道路。例如，图9图示了包括材料沉积物（例如，氯化镁或氯化钙）的道路的一部分的示例，该材料沉积物在为冻结或冻结降水做准备时最初被应用于该道路，但是该材料已经磨损了该道路并且被沉积在运输载具不在其上驾驶的该道路中的交叉路口区域中。因此，感测和分析这种沉积物可以辅助提供自主和/或辅助性运输载具功能。

此外，应当理解的是，关于在由于降水和/或照明而降低了提供该功能的能力的环境条件下提供这种功能，感测、监测和分析这种附加道路特性可以改进自主和/或辅助性功能设备的准确度、鲁棒性和效率。

如上所解释，所公开的实施例可以结合被包括在运输载具中的自主和/或辅助性驾驶系统的组件来实现。因此，已经详细描述了所公开的实施例在这些技术情境内的效用。然而，本文中公开的创新性概念的范围不限于这些技术情境。

附加地，应当理解的是，当前公开的用于分析描绘了运输载具在其上的道路的图像数据的装置可以包括在硬件和/或软件中实现的本文中公开的传感器和功能的任何组合，以提供所公开的功能。

同样地，应当理解的是，当前公开的用于便于运输载具车轮的车轮的至少一个车轮表面的中心与道路磨损参考线的检测到的中心的对准的装置将至少部分地使用自主和/或辅助性驾驶功能（以及对应的技术系统）来实现，以在（本文中描述的）不同级别下提供该功能，该不同级别取决于要针对运输载具提供的控制的程度。

此外，应当理解的是，这种辅助性技术可以包括但不限于使用运输载具中包括的硬件和软件来实现的传统上已经被称为驾驶员辅助系统（DAS）或高级驾驶员辅助系统（ADAS）的技术。这些传统上已知的系统辅助驾驶员进行决策和控制，但是决策和控制不可避免地是驾驶员的责任。此外，这些系统在它们被如何实现方面可以是“主动的”或“被动的”。主动DAS意味着载具本身通过其传感器、算法、处理系统和致动器来控制载具驾驶行为的各种纵向和/或横向方面，或者更确切地说，控制非常具体的驾驶任务。被动DAS意味着载具将通过其传感器、算法、处理系统和人机界面（HMI）来简单地辅助驾驶员来控制载具控制的各种纵向和/或横向方面。例如，在碰撞避免情形下，主动系统将使载具停止，或者绕过直接路径中的障碍物来为载具规定路线。被动系统将向驾驶员提供某种类型的视觉、听觉和触觉提示，该提示用以使载具停止或者绕过障碍物来为载具规定路线。

因此，DAS系统帮助驾驶员进行许多根植于驾驶过程中的任务，并且是专门出于增加汽车和道路安全性以及驾驶员便利性的目的来实现的。这种DAS系统包括但不限于巡航控制、自适应巡航控制（ACC）、用于车道保持的主动操纵、车道改变辅助、高速公路合并辅助、碰撞缓解和避免系统、行人保护系统、自动化和/或辅助性停车、标志识别、用于碰撞缓解的盲点检测、以及停和走交通辅助（stop and go traffic assistance）。因此，所公开的实施例向这种DAS系统提供了附加的并且可能是更准确的数据，以提供这种辅助性功能。

应当进一步理解的是，所公开的实施例利用来自多个不同技术领域的功能来提供用于执行道路上定位的附加机制和方法，以通过将计算机视觉和机器学习中执行的分析与材料科学中的散斑图案化分析创新进行组合来便于进行自主和/或辅助性驾驶功能。

此外，应当理解的是，如果存在散斑，则点云将在各种区域中缺少点。将点云的整个信息考虑在内，散斑可能会引入特性图案，该特性图案给出了对道路粗糙度的洞察。所预期的是，由散斑引起的这些提示仅能够由机器学习方法来正确地解释。此外，由激光系统使用的波长以及给定激光雷达射线与表面之间的入射角将影响可以预期的散斑和测量结果。此外，激光的积分时间是感兴趣的。在该方法的技术实现中，需要考虑所有这些因素。

几何和统计参数在传统上已经被示出，以使得能够在宏观和微观尺度上表征道路路面表面纹理。这些特性可以通过使用轮廓测量仪（profile meter）来测量，其中三角测量激光器与电荷耦合器件（CCD）/互补金属氧化物半导体（CMOS）传感器进行组合，以执行沥青纹理表征。然而，对作为三维点云的所生成数据的传统上已知的测量和分析比实时测量和分析更慢。附加地，后处理3D位移测量在传统上仅在具有电子散斑图案干涉（ESPI）传感器的固定安装式实验设备中被执行。

因此，在传统上，这种操作在现实世界中尚未被考虑，或者可能尚未被实现用于道路上定位以支持自主和/或辅助性运输载具功能的目的。

虽然已经参考表示要提供的功能的特定术语讨论了所公开的实施例的功能和用于提供该功能的系统组件，但是应当理解的是，在实现中，组件功能可以至少部分地由存在于传统运输载具中并且已知被包括在传统运输载具中的组件来提供。

例如，如上所讨论，所公开的实施例至少部分地使用存储在一个或多个非暂时性计算机可读介质上的软件代码来使用用于执行实现数据测量和分析的功能的软件，该非暂时性计算机可读介质运行在运输载具中的一个或多个处理器上。这种软件和处理器可以被组合以构成至少一个控制器，该控制器耦合到运输载具的其他组件，以结合载具导航系统和多个传感器来支持和提供自主和/或辅助性运输载具功能。这种组件可以与该至少一个控制器耦合，以用于经由运输载具的CAN总线进行通信和控制。

应当进一步理解的是，当前公开的实施例可以使用被包括在运输载具中的专用或共享硬件来实现。因此，在不脱离本发明的范围的情况下，模块的组件可以由运输载具的其他组件来使用以提供载具功能。

提供了示例性实施例，使得本公开将是透彻的，并且将向本领域技术人员充分传达该范围。阐述了许多具体细节，诸如具体组件、设备和方法的示例，以提供对本公开的实施例的透彻理解。在一些说明性实施例中，没有详细描述众所周知的过程、众所周知的设备结构和众所周知的技术。

本文中已经使用的术语仅仅是出于描述特定说明性实施例的目的，而不是意图进行限制。除非上下文另行指示，否则上面涉及的元件的单数形式可能意图包括复数形式。本文中描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或图示的特定次序来执行，除非被具体标识为执行次序或者特定次序对于实施例可操作而言是固有必要的。还要理解的是，可以采用附加或替代的步骤。

所公开的实施例包括本文中描述的方法及其等同物、被编程为执行这些方法的非暂时性计算机可读介质、以及被配置成执行这些方法的计算机系统。此外，所包括的是一种载具，该载具包括：包含这些方法中的任一个的组件、被编程以实现指令或执行这些方法的非暂时性计算机可读介质、以及用于执行这些方法的系统。该计算机系统和任何子计算机系统将通常包括：包含可执行代码的机器可读存储介质；一个或多个处理器；耦合到一个或多个处理器的存储器；连接到用于执行该代码的一个或多个处理器的输出设备、以及输入设备。机器可读介质可以包括用于以机器可读的形式存储或传输信息的任何机构，诸如计算机处理器。该信息可以存储在例如易失性或非易失性存储器中。附加地，可以使用嵌入式设备以及通过与云计算基础设施的无线电连接（例如，无线通信）而可获得的至云计算基础设施的在线连接来实现实施例功能。

尽管已经以具有一定程度的特殊性的示例性形式而描述和说明了某些实施例，但是要注意的是，该描述和说明仅通过示例的方式来进行。在部件和操作的构造、组合和布置的细节方面，可以做出许多改变。因此，这种改变意图被包括在本公开的范围内，本公开的受保护范围由权利要求来限定。

已经描述了本发明的各种实施例，每个实施例具有不同的元件组合。本发明不限于所公开的特定实施例，并且可以包括所公开的元件的不同组合、对一些元件的省略、或者用这种结构的等同物对元件的替换。

Claims (31)

1.一种用于执行道路上定位的运输载具设备，所述设备包括：

用于分析描绘了运输载具正在其上行进的道路的图像数据以检测运输载具正在其上行进的道路中的至少一个道路磨损参考线的装置，其中使用安装到运输载具的至少一个传感器来生成所述图像数据；以及

耦合到所述至少一个传感器的装置，用于便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准。

2.根据权利要求1所述的运输载具设备，进一步包括：用于提供自主和/或辅助性功能以用于操作运输载具在道路上行进的设备，所述设备包括用于便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准的装置。

3.根据权利要求1所述的运输载具设备，其中所述运输载具设备进一步包括所述至少一个传感器。

4.根据权利要求3所述的运输载具设备，其中所述至少一个传感器是调频连续波（FMCW）激光雷达传感器。

5.根据权利要求3所述的运输载具设备，其中所述FMCW激光雷达提供了使用通过一定范围改变其频率的连续发射激光器的相干激光雷达，并且将返回信号的频率与对应的本地参考信号进行比较以确定距目标的距离。

6.根据权利要求3所述的运输载具设备，其中运输载具包括多个传感器，所述多个传感器包括所述至少一个传感器，其中所述运输设备进一步包括用于提供自主和/或辅助性功能以用于操作运输载具在道路上行进的设备，所述设备包括用于便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准的装置，并且其中用于提供自主和/或辅助性功能的所述设备分析由所述多个传感器生成的数据，以在运输载具中提供自主和/或辅助性功能。

7.根据权利要求6所述的运输载具设备，其中用于提供自主和/或辅助性功能的所述设备基于对指示来自所述多个传感器的传感器数据的可靠性和/或可用性的数据的分析来更改来自所述多个传感器中的至少一些的传感器数据的加权。

8.根据权利要求3所述的运输载具设备，其中用于分析图像数据的所述装置分析激光雷达点云数据，所述激光雷达点云数据包括x、y和z坐标、强度数据和径向速度数据。

9.根据权利要求3所述的运输载具设备，其中用于分析图像数据的所述装置使用深度神经网络操作以基于低维特性特征来执行特征提取和分类。

10.根据权利要求9所述的运输载具设备，其中所述深度神经网络操作执行用于数据分析的机器学习方法，以将由所述至少一个传感器生成的高维传感器数据转换成特性低维特征。

11.根据权利要求9所述的运输载具设备，其中所述深度神经网络操作利用深度神经网络来执行用于数据分析的机器学习方法，所述数据分析包括散斑图案化分析。

12.根据权利要求9所述的运输载具设备，其中所述深度神经网络操作执行用于数据分析的机器学习方法，所述机器学习方法包括卷积神经网络（CNN）、递归神经网络（RNN）的应用、卷积自动编码器的使用、生成对抗网络（GAN）、孪生/三胞胎网络、和/或图神经网络（GNN）的应用中的至少一个。

13.根据权利要求1所述的运输载具设备，其中用于便于对准的所述装置包括车道偏离警告系统，所述车道偏离警告系统被配置成当运输载具开始移动离开道路上的其交通车道时警告运输载具的驾驶员。

14.根据权利要求1所述的运输载具设备，其中用于便于对准的所述装置包括车道偏离警告系统，所述车道偏离警告系统被配置成控制对运输载具的操纵以保持道路上的其交通车道。

15.根据权利要求1所述的运输载具设备，其中用于分析描绘了运输载具正在其上行进的道路的图像数据的所述装置进一步被配置成：基于安装到运输载具的所述至少一个传感器来检测道路上的道路处理材料的存在或不存在，其中用于便于对准的所述装置考虑了指示所述道路处理材料的存在或不存在的数据，以便提供车道偏离警告功能。

16.一种用于使用运输载具中包括的设备来执行道路上定位的方法，所述方法包括：

分析描绘了运输载具正在其上行进的道路的图像数据，以检测运输载具正在其上行进的道路中的至少一个道路磨损参考线，其中使用安装到运输载具的至少一个传感器来生成所述图像数据；以及

由耦合到所述至少一个传感器的装置来便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准。

17.根据权利要求16所述的道路上运输载具定位方法，通过便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准，来提供自主和/或辅助性功能以用于操作运输载具在道路上行进。

18.根据权利要求16所述的道路上运输载具定位方法，进一步包括：使用安装到运输载具的所述至少一个传感器来生成所述图像数据。

19.根据权利要求18所述的道路上运输载具定位方法，其中所述至少一个传感器是调频连续波（FMCW）激光雷达传感器。

20.根据权利要求18所述的道路上运输载具定位方法，其中所述FMCW激光雷达提供了使用通过一定范围改变其频率的连续发射激光器的相干激光雷达，并且将返回信号的频率与对应的本地参考信号进行比较以确定距目标的距离。

21.根据权利要求18所述的道路上运输载具定位方法，其中所述运输载具包括多个传感器，所述多个传感器包括所述至少一个传感器，所述方法进一步包括：通过便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准，来提供自主和/或辅助性功能以用于操作运输载具在道路上行进，

其中对自主和/或辅助性功能的提供分析由所述多个传感器生成的数据，以在运输载具中提供自主和/或辅助性功能。

22.根据权利要求21所述的道路上运输载具定位方法，其中通过基于对指示来自所述多个传感器的传感器数据的可靠性和/或可用性的数据的分析来更改来自所述多个传感器中的至少一些的传感器数据的加权，从而提供自主和/或辅助性功能。

23.根据权利要求18所述的道路上运输载具定位方法，其中用于分析图像数据的所述装置分析激光雷达点云数据，所述激光雷达点云数据包括x、y和z坐标、强度数据和径向速度数据。

24.根据权利要求18所述的道路上运输载具定位方法，其中用于分析图像数据的所述装置使用深度神经网络操作以基于低维特性特征来执行特征提取和分类。

25.根据权利要求24所述的道路上运输载具定位方法，其中所述深度神经网络操作利用深度神经网络来执行用于数据分析的机器学习方法，以将由所述至少一个传感器生成的高维传感器数据转换成特性低维特征。

26.根据权利要求24所述的道路上运输载具定位方法，其中所述深度神经网络操作利用深度神经网络来执行用于数据分析的机器学习方法，所述数据分析包括散斑图案化分析。

27.根据权利要求24所述的道路上运输载具定位方法，其中所述深度神经网络操作利用深度神经网络来执行用于数据分析的机器学习方法，所述机器学习方法包括卷积神经网络（CNN）、递归神经网络（RNN）的应用、卷积自动编码器的使用、生成对抗网络（GAN）、孪生/三胞胎网络、和/或图神经网络（GNN）的应用中的至少一个。

28.根据权利要求16所述的道路上运输载具定位方法，其中所述便于对准包括：当运输载具开始移动离开道路上的其交通车道时，执行用于警告车道偏离的操作以警告运输载具的驾驶员。

29.根据权利要求16所述的道路上运输载具定位方法，其中所述便于对准包括：执行用于警告车道偏离的车道操作，以控制对运输载具的操纵从而保持道路上的其交通车道。

30.根据权利要求16所述的道路上运输载具定位方法，其中对描绘了运输载具正在其上行进的道路的图像数据的分析基于安装到运输载具的所述至少一个传感器来检测道路上的道路处理材料的存在或不存在，其中，为了便于对准，考虑了指示所述道路处理材料的存在或不存在的数据，以便提供车道偏离警告功能。

31.一种包括机器可读软件代码的非暂时性机器可读介质，所述机器可读软件代码当在处理器上执行时控制用于使用运输载具中包括的设备来执行道路上定位的方法，所述方法包括：

分析描绘了运输载具正在其上行进的道路的图像数据，以检测运输载具正在其上行进的道路中的至少一个道路磨损参考线，其中使用安装到运输载具的至少一个传感器来生成所述图像数据；以及

由耦合到所述至少一个传感器的装置来便于运输载具车轮的至少一个车轮表面的中心与所述道路磨损参考线的检测到的中心的对准。

Images