CN109791052A - 用于生成和使用定位参考数据的方法和系统 - Google Patents

Abstract

用于通过使用与车辆的视同当前位置有关的数字地图的特征对指示围绕所述车辆的环境的点云的数据点进行分类的方法和系统。此类方法和系统可用于检测在能够将其环境感测为点云的车辆周围的道路参与者，例如其它车辆；优选地供高度自动化和全自动驾驶应用使用。

Description

用于生成和使用定位参考数据的方法和系统

技术领域

在某些方面和实施例中，本发明涉及相对于数字地图改进定位精度的方法和系统，所述方法和系统是高度自动化和全自动驾驶应用所需要的。此类方法和系统可与数字地图相关联的使用定位参考数据。在其它方面，本发明涉及与数字地图相关联的定位参考数据的生成，包含参考数据的格式和参考数据的使用。例如，本发明的实施例涉及通过与来自车辆的感测数据比较以在数字地图上精确地定位车辆来使用参考数据。其它实施例涉及出于其它目的而使用参考数据，不一定是在同样使用来自车辆的感测数据的技术中。例如，其它实施例涉及使用所生成的参考数据来重构从与车辆相关联的相机来看的视图。

背景技术

近年来，越来越多的车辆配备有导航装置，导航装置呈可以通过可装卸方式定位在车辆内的便携式导航装置(PND)或集成到车辆中的系统的形式。这些导航装置包括用于确定所述装置的当前位置的构件；通常为全球导航卫星系统(GNSS)接收器，例如GPS或GLONASS。然而，应了解，可以使用其它构件，例如使用移动电信网络、地面信标等等。

导航装置还可接入表示车辆行驶的可导航网络的数字地图。数字地图(或有时被称为数学图)的最简单形式实际上是含有表示节点，最常见的是表示道路交叉点，以及那些节点之间的表示那些交叉点之间的道路的线路的数据的数据库。在更详细的数字地图中，线路可以划分成由起始节点和末端节点限定的分段。这些节点可以是“真实的”，因为它们表示最少3条线路或分段相交的道路交叉点，或者它们可以是“人造的”，因为它们是用作不是限定在真实节点的一端或两端处的分段的锚点以提供一段特定道路的形状信息等等，或者是用作识别沿着道路的位置的方法，在所述位置处，所述道路的某一特性改变(例如，限速)。在几乎所有现代数字地图中，节点和分段另外由同样由数据库中的数据表示的各个属性限定。例如，每一节点通常会有地理坐标来限定它的现实世界位置，例如，纬度和经度。节点通常还会有与其相关联的避让数据，其指示在交叉点处是否有可能从一条道路移动到另一条道路；但是分段还会具有相关联的属性，例如最高容许速度、车道大小、车道数目、车道之间是否存在分隔线等等。出于本申请的目的，这一形式的数字地图将被称为“标准地图”。

导航装置布置成能够使用装置的当前位置以及标准地图来执行数个任务，例如关于所确定路线的导向，以及基于所确定路线对与当前位置或所预测未来位置有关的交通和行程信息的提供。

然而，已经认识到，标准将映射内所含有的数据不足以用于各种下一代应用，例如其中车辆能够自动控制(例如)加速度、制动和转向而不需要来自驾驶者的输入的高度自动化驾驶，甚至是全自动“自动驾驶(self-driving)”车辆。对于此类应用，需要更精确的数字地图。这一更详细的数字地图通常包括三维向量模型，其中分别表示道路中的每一车道，以及与其它车道的连接数据。出于本申请的目的，这一形式的数字地图将被称为“规划地图”或“高清晰度(HD)地图”。

在图1中示出规划地图的一部分的表示，其中每一线路表示车道的中心线。图2示出规划地图的另一示例性部分，但是这次是覆叠在道路网的图像上。这些地图内的数据通常精确到米或甚至更低，并且可以使用各种技术来收集。

用于收集数据以构建此类规划地图的一种示例性技术是使用移动绘图系统；在图3中描绘了移动绘图系统的实例。移动绘图系统2包括勘测车辆4、数码相机40和安装在车辆4的顶部8上的激光扫描仪6。勘测车辆2另外包括处理器10、存储器12和收发器14。此外，勘测车辆2包括：绝对定位装置2，例如GNSS接收器；及相对定位装置22，其包含惯性测量单元(IMU)和距离测量仪器(DMI)。绝对定位装置20提供车辆的地理坐标，相对定位装置22用于增强由绝对定位装置20测量的坐标的精确性(并在无法从导航卫星接收信号时代替绝对定位装置)。激光扫描仪6、相机40、存储器12、收发器14、绝对定位装置20和相对定位装置22全部配置成与处理器10通信(如线24所指示)。激光扫描仪6经配置以用激光束3D扫描整个环境，并形成表示环境的点云；每个点指示激光束从其反射的物体表面的位置。激光扫描仪6还配置为飞行时间激光测距仪，以便测量到激光束在物体表面上的每一入射位置的距离。

在使用时，如图4中所示，勘测车辆4沿着道路30行驶，道路30包括其上涂有道路标记34的表面32。处理器10在任何时刻根据使用绝对定位装置20和相对定位装置22测量的位置和定向数据来确定车辆4的位置和定向，并在存储器12中利用合适的时戳存储所述数据。此外，相机40重复捕获道路表面32的图像以提供多个道路表面图像；处理器10将时戳添加到每个图像并在存储器12中存储所述图像。激光扫描仪6同样重复扫描表面32以提供至少多个经测量距离值；处理器将时戳添加到每一距离值并在存储器12中存储它们。在图5和6中示出从激光扫描仪6获得的数据的实例。图5示出3D视图，图6示出侧视图投影；每个图片中的颜色表示到道路的距离。从这些移动绘图车辆获得的所有数据可进行分析，并用于创建车辆所行驶的可导航(或道路)网络的各部分的规划地图。

本申请人已经认识到，为了将此类规划地图用于高度自动化和全自动驾驶应用，需要了解车辆相对于规划地图的精确位置。使用导航卫星或地面信标确定装置的当前位置的传统技术提供精确到大约5到10米的装置的绝对位置；然后将这一绝对位置与数字地图上的对应位置匹配。尽管这一精确度足以用于大部分传统应用，但是它对于下一代应用来说并不够精确，其中需要相对于数字地图的位置精确到亚米，即使是在道路网上高速行驶时也如此。因此需要一种改进的定位方法。

本申请人还认识到，需要有所改进的生成与数字地图相关联的定位参考数据(例如)以提供“规划地图”的方法，所述“规划地图”可用于确定车辆相对于地图以及在其它情境中的位置。

发明内容

根据本发明的第一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投影到参考面上的可导航要素的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；以及

使所生成的定位参考数据与数字地图数据相关联。

应了解，数字地图(在本发明的这一和任何其它方面或实施例中)包括表示可导航网络的可导航要素(例如，道路网的道路)的数据。

根据本发明的第一方面，生成与由数字地图表示的可导航网络的一或多个可导航要素相关联的定位参考数据。可生成关于由地图表示的可导航要素中的至少一些且优选地全部的此类数据。所生成的数据提供围绕可导航要素的环境的压缩表示。这使用至少一个深度图来实现，所述深度图指示围绕投影到由参考线限定的参考面上的要素的环境，所述参考线又相对于可导航要素来限定。深度图的每一像素与参考面中的位置相关联，且包含表示沿着预定方向从像素在参考面中的位置到环境中的物体表面的距离的深度通道。

现将描述定位参考数据的至少一个深度图的各种特征。应了解，此类特征可替代地或另外应用于在本发明的某些其它方面或实施例中使用的实时扫描数据的至少一个深度图，只要它们相互排斥即可。

与可导航要素相关联且用于限定参考面的参考线可相对于可导航要素以任何方式设置。参考线由与可导航要素相关联的一或多个点限定。参考线可相对于可导航要素具有预定定向。在优选实施例中，参考线平行于可导航要素。这可适用于提供与可导航要素的一或多个侧面上的横向环境有关的定位参考数据(和/或实时扫描数据)。参考线可以是线性的或非线性的，即，取决于可导航要素是不是笔直的。参考线可包含笔直和非线性(例如，弯曲)部分，例如以保持平行于可导航要素。应了解，在一些其它实施例中，参考线可能不平行于可导航要素。例如，如下所述，参考线可由以与可导航要素相关联的点(例如，可导航要素上的点)为中心的半径限定。参考线可以是圆形的。这可接着提供围绕接合点的环境的360度表示。

参考线优选地是纵向参考线，并且可以是(例如)可导航要素或其车道的边缘或边界，或可导航要素的中心线。定位参考数据(和/或实时扫描数据)接着将提供所述要素的一或多个侧面上的环境的表示。参考线可位于所述要素上。

在实施例中，参考线可以是线性的，即使在可导航要素弯曲时也如此，因为可导航要素的参考线(例如，可导航要素的边缘或中心线)和相关联的深度信息可映射到线性参考线。此类映射或变换在WO 2009/045096 A1中加以更详细地描述；其整个内容以引用的方式并入本文中。

由参考线限定的参考面优选地定向成垂直于可导航要素的表面。如本文中所使用的参考面是指2维表面，它可以是弯曲的或不弯曲的。

当参考线是平行于可导航要素的纵向参考线时，每一像素的深度通道优选地表示到环境中的物体表面的横向距离。

每一深度图可呈栅格图像的形式。应了解，每一深度图表示沿着预定方向从环境中的物体表面到多个纵向位置和高程(即，对应于与参考面相关联的每一像素的位置)的参考面的距离。深度图包括多个像素。深度图的每一像素与深度图(例如，栅格图像)中的特定纵向位置和高程相关联。

在一些优选实施例中，参考面由平行于可导航要素的纵向参考线限定，且参考面定向成垂直于可导航要素的表面。接着，每一像素包含表示到环境中的物体表面的横向距离的深度通道。

在优选实施例中，至少一个深度图可具有固定纵向分辨率和可变竖直和/或深度分辨率。

根据本发明的第二方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投影到参考面上的可导航要素的环境的至少一个深度图，所述参考面由平行于可导航要素的纵向参考线限定且定向成垂直于可导航要素的表面，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的横向距离，优选地其中所述至少一个深度图具有固定纵向分辨率和可变竖直和/或深度分辨率；以及

使所生成的定位参考数据与数字地图数据相关联。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

不管参考线、参考面和环境投影到参考面上所沿循的线路的定向如何，根据本发明，在它的各个方面和实施例中，至少一个深度图具有固定纵向分辨率和可变竖直和/或深度分辨率是有利的。定位参考数据(和/或实时扫描数据)的至少一个深度图优选地具有固定纵向分辨率和可变竖直和/或深度分辨率。可变竖直和/或深度分辨率优选地是非线性的。深度图(例如，栅格图像)中更接近地面和更接近可导航要素(并因此更接近车辆)的部分示出的分辨率可以比深度图(例如，栅格图像)中高于地面且更远离可导航要素(并因此更远离车辆)的部分高。这使得在对车辆传感器检测来说更重要的高度和深度处的信息密度最大化。

不管参考线和参考面的定向如何或沿着各个方向的深度图的分辨率如何，环境到参考面上的投影是沿着预定方向，可以按需要选择所述预定方向。在一些实施例中投影是正交投影。在这些实施例中，每一像素的深度通道表示沿着垂直于参考面的方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离。因此，在其中由深度通道表示的距离是横向距离的一些实施例中，横向距离是沿着垂直于参考面的方向(但是非正交投射不限于其中深度通道与横向距离有关的情况)。在一些情境中使用正交投影可为有利的，因为这会使得任何高度信息与距参考线的距离无关(并因此与距参考面的距离无关)。

在其它实施例中，已发现使用非正交投影可能是有利的。因此，在本发明的一些实施例中，在它的任一个方面中，除非相互排斥，否则(不管预定距离是不是横向距离)每一像素的深度通道表示沿着不垂直于参考面的方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离。使用非正交投影的优势在于关于定向成垂直于可导航要素的表面的信息可以保留(即，其中参考线平行于所述要素)。这可在不需要提供与像素相关联的额外数据通道的情况下实现。因此，可以更高效地且更详细地捕获关于可导航要素附近的物体的信息，而不需要增加存储容量。预定方向可以沿着相对于参考面的任何期望方向，例如成45度。

还发现非正交投影的使用适用于保留关于可在黑暗条件下被车辆的一或多个相机检测到的物体的表面的更多信息，并且因此特别适合结合本发明的一些方面和实施例使用，其中参考图像或点云与基于被车辆的相机感测到的实时数据获得的图像或点云进行比较。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投影到参考面上的可导航要素的环境的至少一个深度图，所述参考面由平行于可导航要素的参考线限定，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离，其中所述预定方向不垂直于参考面；以及

使所生成的定位参考数据与指示可导航要素的数字地图数据相关联。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明，在它的任一个方面或实施例中，定位参考数据(和/或实时扫描数据)是基于通过使用一或多个传感器扫描围绕可导航要素的环境而获得的扫描数据。所述一或多个扫描仪可包括以下中的一或多个；激光扫描仪、雷达扫描仪和相机(例如，单相机或一对立体相机)。

优选地，基于一组多个感测数据点确定由定位参考数据(和/或实时扫描数据)的每一像素的深度通道表示的距物体表面的距离，每一感测数据点指示沿着预定方向从所述像素的位置到物体表面的距离。数据点可以在执行围绕可导航要素的环境的扫描时获得。所述一组感测数据点可从一或多种类型的传感器获得。然而，在一些优选实施例中，感测数据点包括以下或由以下组成：一组由一或多个激光扫描仪感测到的数据点。换句话说，感测数据点包括激光测量结果或由激光测量结果组成。

已发现，在确定给定像素的深度通道的距离值时使用多个感测数据点的平均值可能会产生错误结果。这是因为指示物体表面沿着适用预定方向距参考面的位置的至少一些感测数据点(其被视为映射到特定像素)有可能会涉及不同物体的表面。应了解，由于经压缩数据格式，环境的经扩展区域可映射到参考面中的像素区域。相当大数量的感测数据，即数个感测数据点，可因此适用于所述像素。在所述区域内，可存在相对于参考面处于不同深度的物体，包含可在任一维度中仅在短距离内与另一物体重叠的物体，例如，树木、灯柱、墙壁，以及移动物体。适用于特定像素的由传感器数据点表示的距物体表面的深度值可因此具有相当大的差别。

根据本发明，在它的任一个方面或实施例中，其中基于一组多个感测数据点确定由定位参考数据(和/或实时扫描数据)的每一像素的深度通道表示的距物体表面的距离，每一感测数据点指示沿着预定方向从所述像素的位置到物体表面的感测距离，优选地，由像素的深度通道表示的距离不是基于所述一组多个感测数据点的平均值。在优选实施例中，由像素的深度通道表示的距离是所述一组感测数据点当中距物体表面的最接近感测距离，或使用感测深度值的分布获得的最接近模式值。应了解，检测到的一或多个最接近值可以最精确地反映物体表面到所述像素的深度。例如，考虑到其中树木在建筑物和道路之间的情况。适用于特定像素的不同的感测深度值可基于建筑物或树木的检测。如果考虑到所有这些感测值以提供平均深度值，那么平均值将指示从所述像素测量的到物体表面的深度在距树木的深度和距建筑物的深度之间。这将产生像素的误导性深度值，从而在使实时车辆感测数据与参考数据相关时会出现问题，并且可能会非常危险，因为准确地了解物体与道路的接近程度是至关重要的。相比之下，最接近深度值或最接近模式值可能会涉及到树木，而不是建筑物，从而反映最接近物体的真实位置。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投影到参考面上的可导航要素的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离，其中基于一组多个感测数据点确定由每一像素的深度通道表示的距物体表面的距离，每一感测数据点指示沿着预定方向从所述像素的位置到物体表面的感测距离，并且其中基于所述一组感测数据点，由像素的深度通道表示的距物体表面到距离是最接近距离或最接近模式距离；以及

使所生成的定位参考数据与数字地图数据相关联。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明，在它的任一个方面或实施例中，每一像素(在定位参考数据和/或实时扫描数据中)包含表示距环境中的物体表面的距离的深度通道。在优选实施例中每一像素包含一或多个其它通道。这可向深度图提供一或多个额外信息层。每一通道优选地指示基于一或多个感测数据点，且优选地基于一组多个感测数据点，获得的特性值。感测数据可以从如先前所述的一或多个传感器获得。在优选实施例中，所述或每一像素包含至少一个指示给定类型的感测反射率的值的通道。每一像素可包括以下中的一或多个：指示感测激光反射率的值的通道；以及指示感测雷达反射率的值的通道。由通道指示的像素的感测反射率值与由所述像素表示的环境的适用部分中的感测反射率有关。像素的感测反射率值优选地指示在大约距参考面达对应于由所述像素的深度通道指示的距参考面的像素深度的一距离处的感测反射率，即，在大约像素的深度值处的感测反射率。接着，这可被理解为指示存在于所述深度处的物体的相关反射率特性。优选地，感测反射率是平均反射率。感测反射率可基于与用于确定深度值或较大数据点集合中的相同数据点相关联的反射率。例如，除优选地用于确定深度通道的深度值的那些最接近值以外，可以另外考虑与适用于像素的感测深度值相关联的反射率。

通过这种方式，提供多通道深度图，例如，栅格图像。此类格式可使得与可导航要素周围的环境有关的大量数据能够更高效地压缩，从而促进存储和处理，并且使得能够实行改进的在不同条件下与车辆感测到的实时数据的相关，同时车辆不必具有与生成参考定位数据所使用的传感器类型相同的传感器。如将在下文更详细地描述，在特定条件下，例如在夜间，此类数据还可有助于重构车辆感测到的数据或将使用车辆的相机获得的围绕可导航要素的环境的图像。例如，雷达或激光反射率可使得在特定条件下(例如，在夜间)可见的那些物体能够被识别。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投影到参考面上的可导航要素的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离，其中每一像素另外包含以下中的一或多个：指示感测激光反射率的值的通道；以及指示感测雷达反射率的值的通道；以及

使所生成的定位参考数据与数字地图数据相关联。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明，在它的任一个方面或实施例中，可替代地或另外使用与像素相关联的其它通道。例如，其它通道可指示以下中的一或多个：大约在由像素的深度通道指示的沿着预定方向从像素位置距参考面的所述距离处的物体的厚度；大约在由像素的深度通道指示的沿着预定方向从像素位置距参考面的所述距离处的经反射数据点的密度；大约在由像素的深度通道指示的沿着预定方向从像素位置距参考面的所述距离处的颜色；以及大约在由像素的深度通道指示的沿着预定方向从像素位置距参考面的所述距离处的纹理。每一通道可包括指示相关特性的值。所述值是基于获得的适用传感器数据，所述传感器数据可以视需要从一或多个不同类型的传感器获得，例如，针对颜色或纹理数据的相机。每个值可基于多个感测数据点，并且可为来自所述多个感测数据点的值的平均值。

应了解，尽管深度通道指示沿着预定方向在像素位置处距参考面的物体的距离，但是其它通道也可指示物体的其它特性，例如，物体的反射率或它的颜色、纹理等。这可用于重构可预期已被车辆拍摄的车辆和/或相机图像感测到的扫描数据。指示物体的厚度的数据可用于恢复与垂直于可导航要素的物体的表面有关的信息，其中使用环境到参考面上的正交投影。这可提供上述实施例的用于确定与此类物体表面有关的信息的替代方案，所述替代方案使用非正交投影。

在多个实施例中，定位参考数据用于提供可导航要素的一或多个侧面的环境的压缩表示，即提供侧面深度图。接着，参考线可平行于可导航要素，其中像素的深度通道指示物体表面距参考面的横向距离。然而，在其它情境中，使用深度图也可能是有帮助的。本申请人已意识到，它将适用于提供接合点区域(例如，交叉道路)的圆形深度图。这可提供有所改进的相对于接合点(例如，交叉道路)定位车辆或(如果需要)重构指示围绕接合点(例如，交叉道路)的环境的数据的能力。优选地提供围绕接合点的环境的360度表示，但是应了解，深度图无需围绕全圆扩展，并且可因此扩展小于360度。在一些实施例中，参考面由参考线限定，所述参考线由以与可导航要素相关联的参考点为中心的半径限定。在这些实施例中，参考线是弯曲的，且优选地是圆形的。参考点优选地位于接合点处的可导航分段上。例如，参考点可位于接合点的中心处，例如，交叉道路。限定参考线的半径可按需要选择，例如，依据接合点的大小来选择。

根据本发明的另一方面，提供一种生成与表示可导航网络的要素的数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个接合点的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个接合点，

生成定位参考数据，包括指示围绕投影到参考面上的接合点的环境的至少一个深度图，所述参考面由参考线限定，所述参考线由以与接合点相关联的参考点为中心的半径限定，所述至少一个深度图的每一像素与在与接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；以及

使所生成的定位参考数据与指示接合点的数字地图数据相关联。

如关于先前实施例所述，接合点可以是交叉道路。参考点可位于接合点的中心处。参考点可与表示接合点或接合点处的可导航要素的数字地图的节点相关联。本发明的这些其它方面或实施例可结合表示环境到远离接合点的可导航要素的侧面的侧面深度图使用。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明，在它的与定位参考数据的生成有关的任一个方面或实施例中，所述方法可包括使所生成的关于可导航要素或接合点的定位参考数据与指示所述要素或接合点的数字地图数据相关联。所述方法可包括存储与数字地图数据相关联的所生成的定位数据，例如，和与数字地图数据有关的可导航要素或接合点相关联。

在一些实施例中，定位参考数据可包括表示，例如，可导航要素的左侧和可导航要素的右侧上的横向环境的参考扫描。可导航要素的每一侧的定位参考数据可以存储在组合数据集合中。因此，来自可导航网络的多个部分的数据可以高效数据格式存储在一起。存储在组合数据集合中的数据可进行压缩，以允许可导航网络的更多部分的数据存储在相同存储容量内。如果参考扫描数据通过无线网络连接传输到车辆，那么数据压缩还会允许使用减小的网络带宽。然而，应了解定位参考数据不一定需要与可导航要素的两侧上的横向环境有关。例如，如上文在某些实施例中所论述，参考数据可涉及接合点周围的环境。

本发明还扩展到存储根据本发明的任一个方面或实施例生成的定位参考数据的数据产品。

本发明的这些其它方面或实施例中的任一个的数据产品可具有任何合适的形式。在一些实施例中，数据产品可以存储在计算机可读媒体上。计算机可读媒体可以是例如磁盘、CD ROM、ROM、RAM、快闪存储器或硬盘。本发明扩展到包括根据本发明的任一个方面或实施例的数据产品的计算机可读媒体。

根据本发明的与定位参考数据的生成有关的任一个方面或实施例生成的定位参考数据可以通过各种方式来使用。在与数据的使用有关的其它方面中，获得参考数据的步骤可扩展到生成数据，或通常包括检索数据。参考数据优选地是由服务器生成的。使用数据的步骤优选地由可与车辆相关联的装置(例如，导航装置或类似者)执行。

在一些优选实施例中，数据用于确定车辆相对于数字地图的位置。数字地图由此包括表示车辆行驶沿途的可导航要素的数据。所述方法可包括：针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据；通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示使用至少一个传感器所确定的沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；计算定位参考数据和实时扫描数据之间的相关性以确定深度图之间的对准偏移；以及使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。应了解，所获得的定位参考数据与车辆行驶沿途的可导航要素有关。定位参考数据的深度图指示围绕可导航要素的环境，并因此指示围绕车辆的环境。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示使用至少一个传感器所确定的沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

计算定位参考数据和实时扫描数据之间的相关性以确定深度图之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

在本发明的与在确定车辆位置时定位参考数据和实时扫描数据的使用有关的其它方面和实施例中，车辆的当前位置可以是纵向位置。实时扫描数据可与围绕车辆的横向环境有关。接着，定位参考数据和/或实时传感器数据的深度图将由平行于可导航要素的参考线限定，所述参考线包含表示距环境中的物体表面的横向距离的深度通道。从而所确定的偏移可为纵向偏移。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶通过的接合点的数据，所述方法包括：

针对车辆在可导航网络中的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由参考线限定，所述参考线由以与接合点相关联的参考点为中心的半径限定，所述至少一个深度图的每一像素与在与车辆行驶通过的接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示使用至少一个传感器所确定的沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

计算定位参考数据和实时扫描数据之间的相关性以确定深度图之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，所述参考面由平行于可导航要素且定向成垂直于可导航要素的表面的纵向参考线限定，且所述像素包含深度通道，所述深度通道表示距环境中的物体表面的横向距离，任选地其中所述至少一个深度图具有固定纵向分辨率和可变竖直和/或深度分辨率；

通过使用至少一个传感器扫描围绕车辆的环境而获得传感器数据；

使用传感器数据确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表根据传感器数据所确定的距环境中的物体表面的横向距离，任选地其中所述至少一个深度图具有固定纵向分辨率和可变竖直和/或深度分辨率；

计算定位参考数据和实时扫描数据之间的相关性以确定深度图之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

在本发明的与定位参考数据的使用有关的其它方面中，所述数据可根据本发明的先前方面中的任一个而生成。用于确定车辆位置或其它的实时扫描数据应该具有与定位参考数据对应的形式。因此，所确定深度图将包括像素，所述像素具有以与定位参考数据相同的方式相对于与可导航要素相关联的参考线限定的参考面中的位置，从而使得实时扫描数据和定位参考数据彼此相关。深度图的深度通道数据可以通过与参考数据的确定方式对应的方式来确定，例如，不使用感测数据的平均值，并由此可包括多个感测数据点中距表面的最接近距离。实时扫描数据可包含任何额外通道。当定位参考数据的深度图具有固定纵向分辨率和可变竖直和/或深度分辨率时，实时扫描数据的深度图也可具有此类分辨率。

因此，根据本发明的这些方面或实施例，提供一种不断地确定车辆相对于数字地图的位置的方法；所述数字地图包括表示车辆行驶所沿循的可导航网络(例如，道路网)的可导航要素(例如，道路)的数据。所述方法包括：接收通过扫描围绕车辆获得的环境实时扫描数据；针对车辆相对于数字地图的视同当前位置，检索与数字地图相关联的定位参考数据，(例如，其中定位参考数据包括围绕视同当前位置的环境的参考扫描)，任选地其中已经从先前已沿着路线行驶的至少一个装置获得整个数字地图的所述参考扫描；比较实时扫描数据与定位参考数据，以确定实时扫描数据和定位参考数据之间的偏移；以及基于所述偏移而调整视同当前位置。因此，可以始终了解车辆相对于数字地图的精确位置。现有技术中的实例已尝试通过针对沿着路线的预定标志比较收集到的数据与已知参考数据来确定车辆的位置。然而，标志可能会稀疏地分布在许多路线上，从而当车辆在标志之间行驶时，车辆位置的估计会产生大量错误。这在例如高度自动化驾驶系统的情形下是一个问题，因为此类错误可导致严重后果，例如车辆碰撞事故，造成致命伤害或生命损失。通过具有整个数字地图中的参考扫描数据并通过实时扫描围绕车辆的环境，本发明至少在某些方面解决了这一问题。通过这种方式，本发明可允许实时扫描和参考数据进行比较，使得车辆相对于数字地图的精确位置始终是已知的。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的纵向位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括物体在围绕投影到参考面上的车辆的环境中的轮廓，所述参考面由平行于可导航要素且定向成垂直于可导航要素的表面的纵向参考线限定；

通过使用至少一个传感器扫描围绕车辆的环境而获得传感器数据；

使用传感器数据确定实时扫描数据，其中所述实时扫描数据包括根据传感器数据所确定的物体在围绕投影到参考面上的车辆的环境中的轮廓；

计算定位参考数据和实时扫描数据之间的相关性以确定纵向对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的纵向位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

可以存储与数字地图相关联(例如，与相关可导航要素相关联)的定位参考数据，使得物体在围绕投影到参考面上的车辆的环境中的轮廓已经确定。然而，在其它实施例中，定位参考数据可以用不同格式存储，并且所存储的数据经处理以便确定所述轮廓。例如，在实施例中，如在本发明的前述方面中，定位参考数据包括一或多个深度图(例如，栅格图像)，每一深度图表示多个纵向位置和高程距环境中的表面的横向距离。深度图可根据先前方面和实施例中的任一个。换句话说，定位参考数据包括指示围绕车辆的环境的至少一个深度图(例如，栅格图像)，其中所述至少一个深度图的每一像素与在参考面中的位置相关联，且每一像素包含表示距环境中的物体表面的横向距离(例如，垂直于参考面)的通道。在此类实施例中，使用边缘检测算法处理相关深度图(例如，栅格图像)以生成物体在环境中的轮廓。边缘检测算法可包含Canny算子、Prewitt算子等等。然而，在优选实施例中，使用Sobel算子执行边缘检测。边缘检测算子可应用于高度(或高程)和纵向域两者中，或仅应用于所述两个域中的一个中。例如，在优选实施例中，边缘检测算子仅应用于纵向域中。

类似地，物体在围绕投影到参考面上的车辆的环境中的轮廓可直接根据由至少一个传感器获得的传感器数据而确定。替代地，在其它实施例中，传感器数据可用于确定一或多个深度图(例如，栅格图像)，每一深度图表示多个纵向位置和高程距环境中的表面的横向距离。换句话说，实时扫描数据包括指示围绕车辆的环境的至少一个深度图(例如，栅格图像)，其中所述至少一个深度图的每一像素与参考面中的位置相关联，且每一像素包含表示使用至少一个传感器所确定的距环境中的物体表面的横向距离(例如，垂直于参考面)的通道。接着可使用边缘检测算法处理相关深度图(例如，栅格图像)，边缘检测算法优选地是应用于定位参考数据的同一边缘检测算法，以确定实时扫描数据的轮廓。边缘检测算子可应用于高度(或高程)和纵向域两者中，或仅应用于所述两个域中的一个中。例如，在优选实施例中，边缘检测算子仅应用于纵向域中。

在实施例中，在两组数据相关之前，将模糊算子应用于定位参考数据和实时扫描数据中的至少一个的轮廓。模糊运算可应用于高度(或高程)和纵向域中，或仅应用于所述两个域中的一个中。例如，在优选实施例中，模糊算子仅应用于纵向域中。在获得实时扫描数据和/或定位参考数据时，模糊运算可考虑车辆的任何倾斜，使得(例如)轮廓在高度域中略微向上或向下移位。

根据本发明的任一个方面或实施例，至少一开始可以从绝对定位系统(例如，卫星导航装置，例如GPS、GLONASS、欧洲伽利略定位系统、COMPASS定位系统或IRNSS(印度区域导航卫星系统))获得车辆的视同当前(例如)纵向位置。然而，应了解，可使用其它位置确定装置，例如使用移动电信、地面信标等等。

数字地图可包括表示可导航网络的可导航要素(例如，道路网的道路)的三维向量模型，其中分别表示可导航要素(例如，道路)的每一车道。因此，可以通过(例如，通过安装到车辆上的相机的图像处理)确定车辆行驶的车道来得知车辆在道路上的横向位置。在此类实施例中，纵向参考线可以是(例如)可导航要素的车道的边缘或边界或可导航要素的车道的中心线。

可以在车辆左侧和车辆右侧上获得实时扫描数据。这有助于降低暂时性特征对位置估计的影响。此类暂时性特征可以是例如停放车辆、赶超车辆或在相反方向上沿着相同路线行驶的车辆。因此，实时扫描数据可记录存在于车辆两侧上的特征。在一些实施例中，实时扫描数据可以从车辆左侧或车辆右侧获得。

在其中定位参考数据和实时扫描数据分别关于车辆的左侧和右侧的实施例中，来自车辆左侧的实时扫描数据与来自可导航要素左侧的定位参考数据的比较及来自车辆右侧的实时扫描数据与来自可导航要素右侧的定位参考数据的比较可以是一个比较。因此，当扫描数据包括来自可导航要素左侧的数据和来自可导航要素右侧的数据时，扫描数据可以作为单个数据集进行比较，相比于分别执行可导航要素左侧的比较和可导航要素右侧的比较的情况，这大大降低了处理要求。

不管它是否与车辆的左侧和右侧有关，比较实时扫描数据与定位参考数据可包括计算实时扫描数据和定位参考数据之间的互相关，优选地归一化互相关。所述方法可包括确定数据集最为对准的位置。优选地，所确定的深度图之间的对准偏移是至少一个纵向对准偏移，且数据集最为对准的位置是纵向位置。确定数据集最为对准的纵向位置的步骤可包括使由基于实时扫描数据的深度图提供的深度图(例如，栅格图像)和由基于定位参考数据的深度图提供的深度图(例如，栅格图像)相对于彼此纵向移位，直到深度图对准为止。这可在图像域中执行。

使用所确定的纵向对准偏移调整视同当前位置，以调整车辆相对于数字地图的纵向位置。

作为确定深度图之间的纵向对准偏移的替代或(优选的)补充，希望确定深度图之间的横向对准偏移。所确定的横向对准偏移可接着用于调整车辆的视同当前横向位置，并因此确定车辆相对于数字地图的位置。优选地，确定纵向对准偏移，这可以用上述方式中的任一种来实行，并且另外确定横向对准偏移。接着，所确定的横向和纵向对准偏移一起用于调整车辆相对于数字地图的纵向和横向位置。

所述方法可包括确定深度图之间的纵向对准偏移，例如，通过计算定位参考数据和实时扫描数据之间的相关性，并且可另外包括：确定深度图之间的横向偏移；以及使用所确定的横向和纵向对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

纵向对准偏移优选地在横向对准偏移之前确定。根据下文描述的某些实施例，横向对准偏移可通过首先确定深度图之间的纵向偏移并基于所述偏移使深度图相对于彼此纵向对准来确定。

横向偏移优选地基于深度图的对应像素之间的最常见(即，模式)横向偏移而确定。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示使用至少一个传感器所确定的沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

通过计算定位参考数据和实时扫描数据之间的相关性而确定定位参考数据和实时扫描数据的深度图之间的纵向对准偏移；

确定深度图之间的横向对准偏移，其中所述横向偏移是基于深度图的对应像素之间的最常见横向偏移；以及

使用所确定的纵向和横向对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的其中确定横向对准偏移的这些方面和实施例，最常见横向对准偏移可以通过考虑深度图的对应像素的深度通道数据来确定。最常见横向对准偏移是基于所确定的深度图的各个对应定位的像素对之间所确定的横向对准偏移，且优选地，是基于每对对应像素的横向对准偏移。为了确定深度图的对应像素之间的横向对准偏移，必须识别深度图中的对应像素对。所述方法可包括识别深度图中的对应像素对。优选地，纵向对准偏移在横向对准偏移之前确定。深度图理想地是相对于彼此移位，直到它们纵向对准为止，使得每一深度图中的对应像素能够被识别。

因此，所述方法可另外包括基于所确定的纵向对准偏移，使深度图相对于彼此纵向对准。使深度图彼此纵向对准的步骤可包括使深度图中的任一个或两个纵向移位。深度图相对于彼此纵向移位可以在图像域中实行。因此，对准深度图的步骤可包括使对应于每一深度图的栅格图像相对于彼此纵向移位。所述方法可另外包括裁剪由定位参考数据深度图提供的图像的大小以对应于由实时扫描数据深度图提供的图像的大小。这可促进深度图之间的比较。

一旦识别出两个深度图中的对应像素，就可以确定每对对应像素之间的横向偏移。这可通过比较沿着预定方向从像素在参考面中的位置到环境中的物体表面的距离(由与每一像素相关联的深度通道数据指示)来实现。如先前所描述，深度图优选地具有可变深度分辨率。每对对应像素之间的横向对准偏移可基于由像素的深度通道数据指示的距离差。所述方法可包括使用直方图识别深度图的对应像素之间的最常见横向对准偏移。所述直方图可指示对应像素对之间的不同横向对准偏移的出现频率。所述直方图可指示横向对准移位的概率密度函数，其中模式反映最可能移位。

在一些实施例中，每一像素具有一个指示像素的深度通道值的颜色。接着，对应像素的深度值的比较可包括比较深度图的对应像素的颜色。对应像素之间的颜色差可指示像素之间的横向对准偏移，例如，当深度图具有固定深度分辨率时。

在其中确定横向对准偏移的这些实施例中，可以调整车辆相对于数字地图的当前纵向和横向位置。

根据本发明的其中调整车辆的当前位置的任一个方面或实施例，不论是不是纵向和/或横向位置，所调整的当前位置可为以任何合适方式(例如，从如上文所描述的绝对位置确定系统或其它位置确定系统)获得的当前位置的估计。例如，可以使用GPS或航位推算。如将了解，绝对位置优选地与数字地图匹配以确定相对于数字地图的初始位置；接着向初始位置应用纵向和/或横向校正以改进相对于数字地图的位置。

本申请人已经认识到，尽管上述技术可适用于调整车辆相对于数字地图的位置，但是它们不会校正车辆的前进方向。在优选实施例中，所述方法另外包括使用定位参考数据和实时扫描数据深度图调整车辆的视同前进方向。作为根据上述实施例中的任一者确定深度图的纵向和横向对准偏移，优选地实行这一另外步骤。在这些实施例中，车辆的视同前进方向可以任何合适方式确定，例如，使用GPS数据等，如关于确定车辆的视同位置所描述。

已发现，车辆的视同前进方向是不正确的，深度图的对应像素之间的横向对准偏移沿着深度图，即沿着深度图图像，在纵向方向上变化。已发现，可以基于指示深度图的对应像素之间的横向对准偏移相对于沿着深度图的纵向位置的变化的函数而确定前进方向偏移。确定前进方向偏移的步骤可并有先前关于确定对应像素的横向对准偏移所描述的任一个特征。因此，所述方法优选地首先包括使深度图相对于彼此移位以使深度图纵向对准。

因此，所述方法可另外包括：确定深度图之间的纵向对准偏移；确定指示深度图的对应像素之间的横向对准偏移相对于沿着深度图的像素的纵向位置的变化的函数；以及使用所确定的函数调整车辆的视同当前前进方向，以确定车辆相对于数字地图的前进方向。

如上文所描述，所确定的对应像素之间的横向对准偏移优选地基于由像素的深度通道数据(例如，参考像素的颜色)指示的值的差。

在这些方面或实施例中，所确定的函数指示车辆的前进方向偏移。

确定指示横向对准偏移相对于纵向位置的变化的函数的步骤可包括：确定沿着深度图的纵向方向通过深度图的多个竖直区段中的每一个中的深度图的对应像素的平均(即，均值)横向对准偏移。接着，所述函数可基于沿着深度图的纵向方向针对每一竖直区段所确定的平均横向对准偏移的变化而获得。应了解，在确定所述函数时考虑深度图中的对应像素对中的至少一些(和任选地每一者)。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据包括指示围绕车辆的环境的至少一个深度图，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示使用至少一个传感器所确定的沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

确定指示定位参考和实时传感器数据深度图的对应像素之间的横向对准偏移相对于沿着深度图的像素的纵向位置的变化的函数；以及

使用所确定的函数调整车辆的视同当前前进方向，以确定车辆相对于数字地图的前进方向。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

在本发明的这些方面和实施例中，可以采用其它步骤来改进所确定的前进方向偏移，例如，通过滤出嘈杂像素，或参考在深度图或图像的纵向区段中考虑的大量像素的数目，对所述区段内的平均像素深度差值进行加权。

如上文所提及，定位参考数据的深度图可以进行变换，因此实时数据的深度图也可以进行变换，以便始终与线性参考线相关联。由于深度图的这一线性化，已发现当可导航要素弯曲时不可能直接应用所确定的纵向、横向和/或前进方向校正。本申请人已经意识到，调整或校正车辆相对于数字地图的当前位置的计算高效方法涉及以一连串渐进式独立线性更新步骤应用每一校正。

因此在优选实施例中，所确定的纵向偏移应用于车辆相对于数字地图的当前位置，并且基于调整后的位置重新计算实时扫描数据的至少一个深度图。接着，将使用重新计算的实时扫描数据确定的横向偏移应用于调整后的车辆相对于数字地图的位置，并且基于进一步调整的位置重新计算实时扫描数据的至少一个深度图。接着，将使用重新计算的实时扫描数据确定的歪斜(即，前进方向偏移)应用于进一步调整的车辆相对于数字地图的位置，并且基于再次调整的位置重新计算实时扫描数据的至少一个深度图。优选地将这些步骤重复所需要的次数，直到纵向偏移、横向偏移和歪斜为零或大体上为零为止。

应了解，根据本发明在它的任一个方面或实施例中获得的所生成定位参考数据可以用其它方式与实时扫描数据一起使用，以确定车辆的更精确位置或用于其它目的。具体地说，本申请人已经认识到，不太可能一直确定或至少可能无法很方便地确定对应的使用实时扫描数据的深度图来与定位参考扫描数据的深度图比较。换句话说，可能并不适于在图像域中实行数据集的比较。这在车辆上可用的传感器类型不同于用于获得定位参考数据的那些传感器类型的情况下可能尤其如此。

根据本发明的一些其它方面和实施例，所述方法包括使用定位参考数据确定指示围绕可导航要素的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体的表面。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个可导航要素的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个可导航要素，

生成定位参考数据，包括指示围绕投射到参考面上的可导航要素的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离的；

使所生成的定位参考数据与数字地图数据相关联；以及

使用定位参考数据确定指示围绕可导航要素的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的另一方面，提供一种生成与表示可导航网络的要素的数字地图相关联的定位参考数据的方法，所述定位参考数据提供围绕由数字地图表示的可导航网络的至少一个接合点的环境的压缩表示，所述方法包括：针对由数字地图表示的至少一个接合点，

生成定位参考数据，包括指示围绕投影到参考面上的接合点的环境的至少一个深度图，所述参考面由参考线限定，所述参考线由以与接合点相关联的参考点为中心的半径限定，所述至少一个深度图的每一像素与在与接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

使所生成的定位参考数据与指示接合点的数字地图数据相关联；以及

使用定位参考数据确定指示围绕接合点的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

包含三维坐标系中的一组第一数据点(其中每一第一数据点表示环境中的物体表面)的参考点云在本文中可以被称为“3D点云”。根据本发明的这些其它方面获得的3D点云可用于确定车辆的定位。

在一些实施例中，所述方法可包括：在确定车辆相对于数字地图的位置中使用根据本发明在它的任一个方面或实施例中所生成的定位参考数据，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素或接合点的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，使用所述定位参考数据确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，所述实时扫描数据包括指示围绕车辆的环境的点云，所述点云包含三维坐标系中的一组第二数据点，其中每一数据点表示使用至少一个传感器所确定的环境中的物体表面；

计算实时扫描数据的点云和获得的定位参考数据的点云之间的相关性，以确定点云之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶所沿循的可导航网络的可导航要素的数据，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

使用定位参考数据确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，所述实时扫描数据包括指示围绕车辆的环境的点云，所述点云包含三维坐标系中的一组第二数据点，其中每一数据点表示使用至少一个传感器所确定的环境中的物体表面；

计算实时扫描数据的点云和获得的定位参考数据的点云之间的相关性，以确定点云之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的另一方面，提供一种确定车辆相对于数字地图的位置的方法，所述数字地图包括表示车辆行驶通过的可导航网络的接合点的数据，所述方法包括：

针对车辆在可导航网络中的接合点处的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由参考线限定，所述参考线由以与接合点相关联的参考点为中心的半径限定，所述至少一个深度图的每一像素与在与车辆行驶通过的接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

使用定位参考数据确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，所述实时扫描数据包括指示围绕车辆的环境的点云，所述点云包含三维坐标系中的一组第二数据点，其中每一数据点表示使用至少一个传感器所确定的环境中的物体表面；

计算实时扫描数据的点云和获得的定位参考数据的点云之间的相关性，以确定点云之间的对准偏移；以及

使用所确定的对准偏移调整视同当前位置，以确定车辆相对于数字地图的位置。

这些其它方面中的包含三维坐标系中的一组第二数据点(其中每一第二数据点表示环境中的物体表面)的参考点云在本文中可以被称为“3D点云”。

在本发明的这些其它方面或实施例中，使用定位参考数据来获得3D参考点云。这指示围绕与数据有关的可导航要素或接合点的环境，所述数据因此与在车辆沿着可导航要素或通过接合点行驶时围绕车辆的环境的有关。实时传感器数据的点云与围绕车辆的环境有关，并因此还可被称作与围绕车辆所位于的可导航要素或接合点的环境有关。在一些优选实施例中，基于定位参考数据获得的3D点云与指示围绕车辆(即，当行驶通过相关要素或接合点时)的环境的基于实时扫描数据获得的3D点云进行比较。接着，可基于这一比较结果调整车辆的位置，而不是基于深度图(例如，栅格图像)的比较结果。

使用与车辆相关联的一或多个传感器来获得实时扫描数据点云。可使用单个传感器或多个此类传感器，且在后一种情况下，可使用多种传感器类型的任何组合。传感器可包含以下中的任一个或多个；一组一或多个激光扫描仪、一组一或多个雷达扫描仪和一组一或多个相机(例如，单相机或一对立体相机)。可使用单个激光扫描仪、雷达扫描仪和/或相机。当车辆与一或多个相机相关联时，可使用从一或多个相机获得的图像来构造指示围绕车辆的环境的三维场景，并且可使用所述三维场景来获得3维点云。例如，当车辆使用单相机时，点云可以通过在车辆沿着可导航要素或通过接合点行驶时从相机获得一系列二维图像，使用所述一系列二维图像来构造三维场景并使用所述三维场景来获得三维点云来确定。当车辆与立体相机相关联时，可使用从相机获得的图像来获得三维场景，接着使用所述三维场景来获得三维点云。

通过将定位参考数据的深度图变换成3D点云，它可与通过使用车辆传感器进行实时扫描获得的3D点云进行比较，不管它们会是什么东西。例如，定位参考数据可基于使用各种传感器类型进行的参考扫描，包含激光扫描仪、相机和雷达扫描仪。车辆可以具有也可以不具有对应的一组传感器。例如，车辆通常可能只包含一或多个相机。

可以使用定位参考数据来确定指示围绕车辆的环境的参考点云，其对应于预期将由车辆的至少一个传感器生成的点云。当使用与车辆的传感器类型相同的传感器获得参考点云时，这可以是简单直接的，并且所有定位参考数据都可用于构造3D参考点云。类似地，在某些条件下，一种类型的传感器感测到的数据可类似于另一类型的传感器感测到的数据。例如，在提供参考定位数据时由激光传感器感测到的物体可预期在白天还被车辆相机感测到。然而，所述方法可包括仅包含3D点云中预期将由与车辆相关联类型的传感器检测和/或预期在当前条件下检测的那些点。定位参考数据可包括使得适当的参考点云能够生成的数据。

在一些实施例中，如上文所描述，定位参考数据的每一像素另外包含指示感测反射率的值的至少一个通道。每一像素可包含以下中的一或多个：指示感测激光反射率的值的通道，及指示感测雷达反射率的值的通道。优选地，同时提供指示雷达和激光反射率的通道。接着，优选地使用感测反射率数据来执行基于定位参考数据生成3D点云的步骤。3D点云的生成还可基于车辆传感器的类型。所述方法可包括使用反射率数据和指示车辆传感器的类型的数据来选择3D点以用于包含在参考3D点云中。使用反射率通道的数据从深度通道中选择数据以用于生成3D点云。反射率通道提供特定物体是否将被相关传感器类型感测到(适当时，在当前条件下)的指示。

例如，当参考数据基于从激光扫描仪和雷达扫描仪获得的数据，且车辆仅具有雷达扫描仪时，雷达反射率值可用于选择预期将由车辆的雷达扫描仪感测的那些点以用于包含在3D点云中。在一些实施例中每一像素包含指示雷达反射率的通道，且所述方法包括使用雷达反射率数据生成3D参考点云的步骤，所述3D参考点云仅含有将由雷达传感器感测的那些点。当所述方法另外包括比较3D参考点云与基于实时扫描数据获得的3D点云时，实时扫描数据的3D点云是基于从雷达扫描仪获得的数据。车辆可仅包含雷达扫描仪。

尽管车辆可包含雷达和/或激光扫描仪，但是在许多情况下，汽车可能仅包含一或多个相机。激光反射率数据可提供一种获得3D参考点云的方式，所述3D参考点云与预期在黑暗条件下将由仅具有一或多个相机作为传感器的车辆感测的3D点云相关。激光反射率数据提供可预期将在处于黑暗中时由相机检测的那些物体的指示。在一些实施例中，每一像素包含指示激光反射率的通道，且所述方法包括使用激光反射率数据生成3D参考点云的步骤，所述3D参考点云仅含有在黑暗条件下将由车辆相机感测的那些点。当所述方法另外包括比较3D参考点云与基于实时扫描数据获得的3D点云时，实时扫描数据的3D点云可基于在黑暗条件下从相机获得的数据。

人们认为，获得呈三维点云形式的参考定位数据并使用此类数据来重构参考视图(例如，预期将在适用条件下从车辆的一或多个相机获得并且接着可与通过相机获得的图像进行比较的图像)本身是有利的。

在一些实施例中，所述方法可包括在适用条件下，在重构预期将从与车辆相关联的一或多个相机获得的视图中使用根据本发明在它的任一个方面或实施例中所生成的定位参考数据，所述车辆沿着可导航网络的可导航要素或通过由数字地图表示接合点行驶，所述方法包括：针对沿着可导航网络的可导航要素或接合点或在接合点处的车辆的视同当前位置，获得与数字地图相关联的定位参考数据；使用定位参考数据来确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；以及在适用条件下，使用参考点云来重构预期在车辆穿过可导航要素或接合点时将通过与车辆相关联的一或多个相机获得的参考视图。所述方法可另外包括：使用一或多个相机确定围绕车辆的环境的实时视图，以及比较所述参考视图与通过一或多个相机获得的实时视图。

根据本发明的另一方面，提供一种在适用条件下重构预期将从与车辆相关联的一或多个相机获得的视图的方法，所述车辆沿着由数字地图表示的可导航网络的可导航要素行驶，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由与可导航要素相关联的参考线限定，所述至少一个深度图的每一像素与在与车辆行驶沿途的可导航要素相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

使用定位参考数据确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；

在适用条件下，使用参考点云来重构预期在车辆穿过可导航要素时将通过与车辆相关联的一或多个相机获得的参考视图；

使用一或多个相机确定围绕车辆的环境的实时视图；以及

比较参考视图与通过一或多个相机获得的实时视图。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

根据本发明的另一方面，提供一种在适用条件下重构预期将从与车辆相关联的一或多个相机获得的视图的方法，所述车辆行驶通过由数字地图表示的可导航网络的接合点，所述方法包括：

针对沿着可导航网络的可导航要素的车辆的视同当前位置，获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示围绕投影到参考面上的车辆的环境的至少一个深度图，所述参考面由参考线限定，所述参考线由以与接合点相关联的参考点为中心的半径限定，所述至少一个深度图的每一像素与在与车辆行驶通过的接合点相关联的参考面中的位置相关联，且所述像素包含深度通道，所述深度通道表示沿着预定方向从所述像素在参考面中的相关联位置到环境中的物体表面的距离；

使用定位参考数据确定指示围绕车辆的环境的参考点云，所述参考点云包含三维坐标系中的一组第一数据点，其中每一第一数据点表示环境中的物体表面；

在适用条件下，使用参考点云来重构预期在车辆穿过可导航要素时将通过与车辆相关联的一或多个相机获得的参考视图；

使用一或多个相机确定围绕车辆的环境的实时视图；以及

比较参考视图与通过一或多个相机获得的实时视图。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。

在使得参考视图能够被构造时，本发明的这些方面特别有利，所述参考视图可与通过车辆的相机获得但是是基于可从不同类型的传感器获得的定位参考数据的实时视图进行比较。已经认识到，实际上，许多车辆将仅配备有一或多个相机，而不是更多专用或精密的传感器，例如可用于获得参考数据。

在本发明的这些其它方面和实施例中，可以按需使用参考和实时视图的比较结果。例如，比较的结果可用于确定车辆位置，如在先前描述的方面和实施例中。所述方法可包括计算实时视图和参考视图之间的相关性以确定视图之间的对准偏移；以及使用所确定的对准偏移调整车辆的视同当前位置，以确定车辆相对于数字地图的位置。

适用条件是那些在当前时间适用的条件，并且可以是光照条件。在一些实施例中，适用条件是黑暗条件。

根据上述实施例中的任一者，使用可从定位参考数据获得的3D参考点云重构参考视图。重构预期将通过一或多个相机获得的参考视图的步骤优选地包括使用与定位参考数据的深度图的像素相关联的反射率数据通道的数据。因此，优选地，定位参考数据的每一像素另外包含指示感测激光反射率的值的至少一个通道，且使用感测激光反射率数据执行基于定位参考数据生成3D点云的步骤。激光反射率数据可用于从深度通道中选择数据以用于生成参考3D点云，从而产生对应于可预期将从车辆的一或多个相机获得的视图的经重构参考视图，例如，包含既定为在适用条件(例如，黑暗)下可见的那些物体。车辆的一或多个相机可以是单相机或一对立体相机，如上文所描述。

可根据本发明在它的各个方面和实施例中执行的实时扫描数据与定位参考数据的比较，不论是通过深度图的比较，通过点云的比较还是通过经重构和实时图像的比较，可在数据窗口上执行。数据窗口是行驶方向上的数据的窗口，例如，纵向数据。因此，使数据视窗化使得所述比较能够考虑可用数据的子集。所述比较可针对重叠窗口定期执行。用于比较的数据窗户的至少某一重叠是合乎期望的。例如，这可确保相邻经计算(例如，纵向)偏移值之间的差在数据上平滑化。所述窗口可具有足以使偏移计算的精确度相对于暂时性特征恒定的长度，优选地，所述长度至少为100m。此类暂时性特征可以是例如停放车辆、赶超车辆或在相反方向上沿着相同路线行驶的车辆。在一些实施例中，长度至少为50m。在一些实施例中，长度是200m。通过这种方式，针对一段(例如，一段纵向)道路，即窗口(例如，200m)，确定感测环境数据，所得数据接着与所述一段道路的定位参考数据进行比较。通过执行一段这一大小(即，大体上大于车辆长度的大小)的道路的比较，非静止或临时物体(例如，道路上的其它车辆、停在道路一侧的车辆等等)通常不会对比较结果产生影响。

在上文所论述的任一个方面和实施例中，并且大体来说，在定位参考数据和实时扫描数据之间的一或多个对准偏移(例如，用于相对于数字地图定位车辆)的情况下，已经认识到，地图数据可以另外用于对实时扫描数据的点云的数据点进行分类。例如，有可能识别与可导航要素(例如，道路)上的物体的表面有关的那些数据点，及与在可导航要素之外的物体的表面有关的那些数据点。这一初始分类使得物体辨识有所改进，因为向点云中的点提供情境。例如，在道路上移动的物体可能是汽车或其它车辆。因此，当使用计算机视觉技术(例如，图像分析)检测到点云中的候选物体(例如，车道标记、车辆、行人、道路标志、高速公路出口斜坡、交通灯、道路危险等等)时，这一检测步骤是基于已经基于数字地图中的数据分类的点云。因此，点云的这一预先分类可使得候选物体能够以更高置信度水平被识别和分类。它还可使得点能够从点云中移除，使得仅执行点云中的数据点的子集的物体辨识，例如，处于干路中的那些点，或在干路之外的那些点(不管是在道路左侧还是在道路右侧上)。

因此，根据本发明的另一方面，提供一种使用数字地图对点云的数据点进行分类的方法，其中所述数字地图包括多个分段，每个分段表示可导航网络的可导航要素且包括指示可导航要素的边界的多个参考线，其中每个分段与指示多个参考线的地理位置的位置数据相关联，并且每个分段另外与指示围绕可导航要素的环境中的物体表面的地理位置的定位参考数据相关联，所述方法包括：

基于沿着可导航网络的可导航要素的车辆的视同当前位置，获得数字地图的一或多个分段的定位参考数据；

通过使用至少一个传感器扫描围绕车辆的环境而确定实时扫描数据，其中所述实时扫描数据是基于指示围绕车辆的环境的点云，所述点云包含三维坐标系中的多个数据点，其中每一数据点在三维坐标系中具有使用至少一个传感器所确定的表示环境中的物体表面的位置；

计算定位参考数据和实时扫描数据之间的相关性以确定一或多个对准偏移；

使用所确定的一或多个对准偏移调整实时扫描数据的点云的数据点的位置；

针对多个数据点中的每一个，比较调整后的数据点的位置与相关分段的位置数据，以确定数据点是否在可导航要素的边界之间；以及

基于比较结果，将多个数据点中的每一个分类到一或多个群组中。

根据这另一方面，本发明可包含关于本发明的其它方面描述的特征中的任一个或全部，只要它们彼此一致即可。例如，一或多个对准偏移可以是纵向的、横向的和/或前进方向的(或方位的)。类似地，对准偏移的确定可基于使定位参考数据和实时扫描数据(已转换成相同格式)相关，或通过使实时场景数据的点云与从定位参考数据生成或根据本文中描述的其它方法中的任一个生成的点云相关。

指示可导航要素的边界的多个参考线可包含道路边界和/或车道边界。每个分段还可包括指示道路的中心线和/或道路的车道的中心线的参考线。

如上文所论述，所述方法可另外包括分析数据点群组中的一或多个，即点云的经预先分类部分，以辨识一或多个候选物体。另外或替代地，所述方法可另外包括从点云移除处于干路中的点，并在执行下一定位迭代时将这个“更干净的”点云用作实时扫描数据的部分。在其中从实时感测点云中移除对应于存在于实时感测数据(而不是参考数据)中的物体的点的那些实施例中，那些物体可对应于移动物体，例如，在位置待确定的车辆附近的车辆。这可有助于改进数据集之间的相关性，并因此改进位置确定。

根据本发明在它的任一个方面或实施例中使用的定位参考数据的至少一部分可以远程存储。优选地，在涉及车辆时，定位参考数据的至少一部分本地存储在车辆上。因此，即使定位参考数据在整个路线都可用，也无需将其不断地传递到车辆上，并且可以在车辆上执行比较。

定位参考数据可以压缩格式存储。定位参考数据可具有对应于30KB/km或更小的大小。

可以存储在数字地图中表示的可导航网络的至少一些且优选地全部可导航要素的定位参考数据。因此，可以沿着车辆的行驶路线不断地在任何位置确定车辆的位置。

在实施例中，参考定位数据可能已使用位于移动绘图车辆上的至少一个装置从参考扫描获得，所述移动绘图车辆先前已沿着之后由车辆行驶通过的可导航要素行驶。因此，可能已使用与当前车辆不同的车辆获取了参考扫描，当前车辆的位置正在不断地进行确定。在一些实施例中，移动绘图车辆具有与位置正在不断地进行确定的车辆类似的设计。

实时扫描数据和/或参考扫描数据可以使用至少一个测距仪传感器获得。测距仪传感器可配置成沿着单轴操作。测距仪传感器可经布置以在竖轴上执行扫描。当在竖轴上执行扫描时，收集多个高度的平面的距离信息，因此，所得扫描详细得多。或者或另外，测距仪传感器可经布置以在水平轴上执行扫描。

测距仪传感器可以是激光扫描仪。激光扫描仪可包括使用反射镜扫描整个横向环境的激光束。另外或替代地，测距仪传感器可以是雷达扫描仪和/或一对立体相机。

本发明扩展到一种装置(例如，导航装置、车辆等)，其构件(例如，一或多个处理器)经布置(例如，编程)以执行本文所描述的方法中的任一个。

本文中所描述的生成定位参考数据的步骤优选地由服务器或其它类似计算装置执行。

用于实行所述方法中的任一个步骤的构件可包括经配置(例如，编程)以这样执行的一组一或多个处理器。给定步骤可以使用与任何其它步骤相同或不同的一组处理器来实行。任何给定步骤可以使用多组处理器的组合来实行。所述系统可另外包括用于存储(例如，数字地图、定位参考数据和/或实时扫描数据)的数据存储构件，例如计算机存储器。

在优选实施例中，本发明的方法由服务器或类似计算装置实施。换句话说，本发明的方法优选地是计算机实施方法。因此，在实施例中，本发明的系统包括服务器或类似计算装置，其包括用于实行所描述的各个步骤的构件，且本文中所描述的方法步骤由服务器实行。

本发明进一步扩展到包括计算机可读指令的计算机程序产品，所述计算机可读指令可执行以执行或使一装置执行本文所描述的方法中的任一个。计算机程序产品优选地存储在非暂时性物理存储媒体中。

如所属领域的技术人员将了解，视需要，本发明的方面和实施例可能会且优选地确实包含本文中关于本发明的其它方面中的任一个所描述的本发明的优选和任选特征中的一种或多种或全部。

附图说明

现将参考附图仅举例描述本发明的实施例，其中：

图1是规划地图的一部分的表示；

图2示出覆叠在道路网的图像上的规划地图的一部分；

图3和4示出可用于收集用于构建地图的数据的示例性移动绘图系统；

图5示出从激光扫描仪获得的数据的3D视图，而图6示出从激光扫描仪获得的数据的侧视图投影；

图7示出根据实施例的在感测其周围环境的同时沿着道路行驶的车辆；

图8示出定位参考数据与(例如)由图7的车辆收集的感测环境数据进行比较的比较结果；

图9示出可以如何存储定位参考数据的示例性格式；

图10A示出由安装到沿着道路行驶的车辆上的测距传感器获取的实例点云，而图10B示出已转换成两个深度图的这一点云数据；

图11示出在实施例中根据归一化互相关计算确定的偏移；

图12示出在“参考”数据集和“局部测量”数据集之间执行的相关的另一实例；

图13示出根据实施例的定位在车辆内的系统；

图14A示出是一段定位参考数据的一部分的示例性栅格图像；

图14B将图14A的数据的鸟瞰图示出为在道路的左侧和右侧的两个单独平面；

图15A示出定位参考数据和实时扫描数据的固定纵向分辨率和可变(例如，非线性)竖直和/或深度分辨率；

图15B示出将参考线以上的高度映射到像素Y坐标值的函数；

图15C示出将距参考线的距离映射到像素深度值的函数；

图15D以三维曲线示出固定纵向像素分辨率、可变竖直像素分辨率和可变深度值分辨率；

图16A示出到由与道路要素相关联的参考线限定的参考面上的正交投影；

图16B示出使用正交投影获得的侧面深度图；

图16C示出到由与道路要素相关联的参考线限定的参考面上的非正交投影；

图16D示出使用非正交投影获得的侧面深度图；

图17示出深度图的多通道数据格式；

图18示出可用于构造交叉道路处的深度图的圆形和线性参考线；

图19A示出物体在不同角位置处投影到圆形深度图上可以使用的方式；

图19B示出物体到参考面上以提供深度图的正交投影；

图20A示出参考深度图和对应的实时深度图；

图20B示出从参考和实时深度图的纵向相关导出的纵向校正；

图20C示出从参考和实时深度图中的对应像素的像素深度值之间的直方图差导出的横向校正；

图20D示出可以如何校正道路上的车辆的纵向位置及横向位置；

图21A示出通过参考深度图的对应部分的一组竖直片层；

图21B示出沿着深度图相对于竖直片层的纵向距离绘制的竖直片层的平均像素深度差；

图22示出弯曲道路的图像和道路的对应线性参考图像；

图23A和23B示出用于(例如)在非线性环境中确定车辆的位置的方法；

图24示出其中数据车辆传感器与参考数据相关以相对于数字地图定位车辆的示例性系统；

图25A、25B和25C示出第一实例用例，其中使用参考深度图来构造3D点云，所述3D点云接着与从车辆激光传感器获得的3D点云进行比较；

图26A、26B、26C和26D示出第二实例用例，其中使用参考深度图来构造3D点云或视图，所述3D点云或视图接着与从多个车辆相机或单个车辆相机获得的3D场景或视图进行比较；

图27A、27B和27C示出第三实例用例，其中使用深度图的反射率数据来构造3D点云或视图，所述3D点云或视图接着与从车辆相机获得的3D场景或视图进行比较；

图28A和28B示出第四实例用例，其中使用深度图的雷达数据来构造3D点云，所述3D点云接着与使用车辆雷达获得的3D场景进行比较；

图29示出在本发明的实施例中使用的不同坐标系；

图30描绘在使车辆传感器数据与参考数据相关以便确定车辆位置时执行的步骤；

图31说明图30的方法中经执行以确定激光点云的步骤；

图32A说明用于执行图30的方法中的相关步骤的第一示例性方法；

图32B说明用于执行图30的方法中的相关步骤的第二示例性方法；

图33示出在相对于数字地图数据校正车辆位置之前和之后的基于实时传感器数据的点云的点的俯视图，以及示出取自数字地图的车道标记的几何结构的线；

图34示出存在于道路上的已基于图33的经分类点云检测到的移动物体；以及

图35示出使用地图数据对实时传感器数据的点云中的点进行预先分类的方法，然后所述点可通过在下一迭代中与参考数据更好的相关而用于增强物体辨识和/或改进定位。

具体实施方式

已经认识到，需要一种改进的用于确定装置(例如，车辆)相对于数字地图(表示可导航网络，例如，道路网)的位置的方法。具体地说，需要能够精确地确定所述装置相对于数字地图的纵向位置，例如，精确到亚米。在本申请中，术语“纵向”是指沿着装置(例如，车辆)在其上移动的可导航网络的部分的方向；换句话说，沿着车辆在其上行驶的道路的长度。在本申请中，术语“横向”采用它的正常含义，即垂直于纵向方向，并且因此是指沿着道路的宽度的方向。

如将了解，当数字地图包括如上文所描述的规划地图(例如，三维向量模型)时，其中道路的每一车道分别是代表性的(与相对于标准地图中的道路的中心线的不同)，所述装置(例如，车辆)的横向位置只涉及确定所述装置目前行驶的车道。已知用于执行此类确定的各种技术。例如，可以仅使用从全球导航卫星系统(GNSS)接收器获得的信息来进行所述确定。另外地或可替代地，可以使用来自与所述装置相关联的相机、激光或其它成像传感器的信息；例如近年来已进行大量研究，其中(例如)使用各种图像处理技术分析来自安装在车辆内的一或多个摄像机的图像数据，以便检测和跟踪车辆行驶的车道。公布于智能车辆会议(the Intelligent Vehicles Symposium)的会议记录中(第1297到1302页，IEEE(2013))的作者是Junhwa Hur、Seung-Nam Kang和Seung-Woo Seo的论文“使用条件性随机视区的城市驾驶环境中的多车道检测(Multi-lane detection in urban drivingenvironments using conditional random fields)”中阐述了一种示例性技术。在本文中，所述装置可具有来自摄像机、雷达和/或激光雷达传感器的数据馈送，并且使用适当的算法来实时地处理接收到的数据以确定所述装置或车辆正在行驶的当前车道。替代地，另一装置或设备(例如，可获自Mobileye公众有限公司的Mobileye系统)可基于这些数据馈送而提供对车辆的当前车道的确定，然后将当前车道的确定馈送到所述装置，例如通过有线连接或蓝牙连接。

在实施例中，车辆的纵向位置可通过比较围绕车辆(且优选地，在车辆的一侧或两侧上)的环境的实时扫描和与数字地图相关联的环境的参考扫描来确定。根据这一比较结果，可确定纵向偏移(若存在)，并且车辆的位置可使用所确定的偏移与数字地图匹配。因此，可以始终了解车辆相对于数字地图的精确位置。

围绕车辆的环境的实时扫描可以使用定位于车辆上的至少一个测距仪传感器来获得。至少一个测距仪传感器可采用任何合适的形式，但是在优选实施例中，它包括激光扫描仪，即激光雷达装置。激光扫描仪可经配置以用激光束扫描整个环境，并形成所述环境的点云表示；每个点指示激光从其反射的物体表面的位置。如将了解，激光扫描仪经配置以记录激光束在从物体表面反射之后返回到扫描仪所花费的时间，接着，可使用所记录的时间来确定距每个点的距离。在优选实施例中，测距仪传感器经配置以沿着单轴操作，以便获得某一获取角度内的数据，例如，在50到90°之间，例如70°；例如当传感器包括激光扫描仪时，使用所述装置内的反射镜扫描激光束。

在图7中示出实施例，其中车辆100沿着道路行驶。车辆配备有定位于车辆的每一侧上的测距仪传感器101、102。尽管在车辆的每一侧上示出一个传感器，但是在其它实施例中，可以仅在车辆的一侧上使用单个传感器。优选地，传感器适当地对准，使得来自传感器传感器的数据可以组合，如在下文更详细地论述。

WO 2011/146523A2提供扫描仪的实例，所述扫描仪可在车辆上使用以捕获呈3维点云形式的参考数据，或者还可在自动驾驶车辆上使用以获得与周围环境有关的实时数据。

如上文所论述，测距仪传感器可经布置以沿着单轴操作。在一个实施例中，传感器可经布置以在水平方向上执行扫描，即在平行于道路表面的平面中执行扫描。例如，这在图7中示出。通过在车辆沿着道路行驶时不断扫描环境，可以收集感测环境数据，如图8中所示。数据200是从左侧传感器102收集的数据，且示出了物体104。数据202是从右侧传感器101收集的数据，且示出了物体106和108。在其它实施例中，传感器可经布置以在竖直方向上执行扫描，即在垂直于道路表面的平面中执行扫描。通过在车辆沿着道路行驶时不断扫描环境，有可能以图6的方式收集环境数据。如将了解，通过在竖直方向上执行扫描，收集多个高度的平面的距离信息，并且因此所得扫描详细得多。当然，应了解，所述扫描可按需要沿着任一轴线执行。

环境的参考扫描从先前已沿着道路行驶的一或多个车辆获得，并且接着适当地对准并与数字地图相关联。参考扫描存储在与数字地图相关联的数据库中，并在本文中被称作定位参考数据。定位参考数据在与数字地图匹配时的组合可称为定位地图。如将了解，定位地图将从车辆远程形成；通常通过数字地图制造公司(例如，TomTom私人有限公司或HERE、诺基亚公司)形成。

参考扫描可以从专业车辆获得，例如移动绘图车辆，例如，如图3中所示。然而，在优选实施例中，参考扫描可根据感测环境数据确定，所述感测环境数据由车辆在它们沿着可导航网络行驶时收集。此感测环境数据可进行存储，并定期发送到数字绘图公司以形成、维护和更新定位地图。

定位参考数据优选地本地存储在车辆处，但是应了解，数据可远程存储。在实施例中，并且尤其是在定位参考数据本地存储时，数据以压缩格式存储。

在实施例中，收集道路网中的道路的每一侧的定位参考数据。在此类实施例中，道路的每一侧的参考数据可以分别存储，或者它们可以共同存储在组合数据集中。

在实施例中，定位参考数据可以存储为图像数据。图像数据可以是颜色(例如RGB)图像或灰度图像。

图9示出可以如何存储定位参考数据的示例性格式。在此实施例中，在图像的左侧提供道路的左侧的参考数据，且在图像的右侧提供道路的右侧的参考数据；数据集对准，使得特定纵向位置的左侧参考数据集示出为与相同纵向位置的右侧参考数据集相对。

在图9的图像中，仅出于说明性目的，纵向像素大小是0.5m，在中心线的每一侧上存在40个像素。还确定图像可以存储为灰度图像，而不是颜色(RGB)图像。通过以此格式存储图像，定位参考数据具有对应于30KB/km的大小。

另一实例可参见图10A和10B。图10A示出由安装到沿着道路行驶的车辆上的测距传感器获取的实例点云。在图10B中，此点云数据已转换成两个深度图；一个针对车辆的左侧，另一个针对车辆的右侧，它们彼此紧靠放置以形成合成图像。

如上文所论述，由车辆确定的感测环境数据与定位参考数据进行比较，以确定是否存在偏移。接着，可以使用任何所确定的偏移来调整车辆的位置，使得它与数字地图上的正确位置精确匹配。这一所确定的偏移在本文中被称作相关指数。

在实施例中，确定一段纵向道路(例如，200m)的感测环境数据，接着，所得数据(例如，图像数据)与这一段道路的定位参考数据进行比较。通过执行一段这一大小(即，大体上大于车辆长度的大小)的道路的比较，非静止或临时物体(例如，道路上的其它车辆、停在道路一侧的车辆等等)通常不会对比较结果产生影响。

优选地，通过计算感测环境数据和定位参考数据之间的互相关来执行比较，以便确定数据集最为对准的纵向位置。最大对准处的这两个数据集的纵向位置之间的差使得纵向偏移能够被确定。这可(例如)通过图8的感测环境数据和定位参考数据之间的所指示偏移来发现。

在实施例中，当提供数据集作为图像时，互相关包括归一化互相关运算，使得定位参考数据和感测环境数据之间的亮度、光照条件等的差异可以减小。优选地，针对(例如，200m长度的)重叠窗口定期执行比较，使得在车辆沿着道路行驶时不断地确定任何偏移。图11示出在示例性实施例中根据所描绘的定位参考数据和所描绘的感测环境数据之间的归一化互相关计算所确定的偏移。

图12说明在“参考”数据集和“局部测量”数据集(车辆在它沿着道路行驶时获取)之间执行的相关的另一实例。这两个图像之间的相关结果可参见“移位”相对于“纵向相关指数”的图，其中最大峰值的位置用于确定所说明的最佳拟合移位，所述最佳拟合移位接着可用于调整车辆相对于数字地图的纵向位置。

如从图9、10B、11和12可见，定位参考数据和感测环境数据优选地呈深度图形式，其中每一要素(例如，当深度图存储为图像时的像素)包括：指示(沿着道路)纵向位置的第一值；指示高程(即，地面以上的高度)的第二值；以及指示(跨道路)横向位置的第三值。因此，深度图的每一要素(例如，像素)实际上对应于围绕车辆的环境的表面的一部分。如将了解，由每一要素(例如，像素)表示的表面的大小将随着压缩量而改变，使得要素(例如，像素)表示具有高压缩程度的深度图(或图像)的较大表面区域。

在实施例中，其中定位参考数据存储在所述装置的数据存储构件(例如，存储器)中，比较步骤可以通过车辆内的一或多个处理器执行。在其它实施例中，其中定位参考数据从车辆远程存储，感测环境数据可通过无线连接(例如，通过移动电信网络)发送到服务器。接着，可接入定位参考数据的服务器(例如，同样使用移动电信网络)将任何所确定的偏移返回到车辆。

根据本发明的实施例，图13中描绘了定位在车辆内的示例性系统。在这一系统中，被称为相关指数提供器单元的处理装置从定位成检测车辆左侧上的环境的测距传感器和定位成检测车辆右侧上的环境的测距传感器接收数据馈送。处理装置还可接入数字地图(优选地，呈规划地图形式)及与数字地图适当匹配的位置参考数据的数据库。处理装置经布置以执行上文所描述的方法，并因此任选地在将数据馈送转换成合适的形式(例如，组合来自这两个传感器的数据的图像数据)之后，比较来自测距传感器的数据馈送与定位参考数据，以确定纵向偏移，并由此确定车辆相对于数字地图的精确位置。所述系统还包括地平线提供器单元，所述地平线提供器单元使用所确定的车辆位置和数字地图内的数据来提供关于车辆要穿过的可导航网络的将至部分的信息(被称为“地平线数据”)。接着，此地平线数据可用于控制车辆内的一或多个系统，以执行各种辅助或自动驾驶操作，例如，自适应巡航控制、自动变道、紧急制动辅助等。

总之，本发明至少在优选实施例中涉及基于纵向相关的定位方法。围绕车辆的3D空间以两个深度图形式表示，覆盖道路的左侧和右侧，并且可以组合成单个图像。存储在数字地图中的参考图像与从车辆的激光器或其它测距传感器导出的深度图互相关，以沿着数字地图中的道路的表示(即，纵向)精确地定位车辆。接着，在实施例中，可使用深度信息来跨道路(即，横向)定位汽车。

在优选实施方案中，围绕车辆的3D空间投影到平行于道路轨迹的两个格栅，且投射值在格栅的每一单元内取平均。纵向相关器深度图的像素沿着驾驶方向具有大致50cm的尺寸，且具有大致20cm的高度。经像素值译码的深度量化为大致10cm。尽管沿着驾驶方向的深度图图像分辨率是50cm，但是定位分辨率高得多。互相关图像表示其中激光点分布并取平均的格栅。适当的上采样能够查找出亚像素系数的移位向量。类似地，大致10cm的深度量化并不意味着整个道路的定位精度为10cm，因为量化误差在全部相关像素中是平均的。实际上，因此，定位精度大部分受激光精度和校准限制，只有很少部分受纵向相关器指数的量化误差限制。

因此，应了解，定位信息(例如，深度图(或图像))始终是可用的(即使在周围环境中没有清晰物体)、紧凑的(可能可以存储整个世界的道路网)，并且实现与其它方法相当或甚至更好的精度(因为它在任何位置处都可用，并且因此具有高误差平均化可能性)。

图14A示出一段位置参考数据的一部分的示例性栅格图像。栅格图像通过所收集的3D激光点数据正交投影到由参考线限定且定向成垂直于道路表面的超平面上而形成。由于投影的正交性，任何高度信息与距参考线的距离无关。参考线自身通常平行于车道/道路边界。超平面的实际表示是具有固定水平分辨率和非线性竖直分辨率的栅格格式。此方法旨在使那些高度的信息密度最大化，这对车辆传感器检测来说很重要。实验已示出5到10m高度的栅格平面足以捕获后续用于车辆定位所需的足够相关信息。栅格中的每一个别像素反映一组激光测量结果。就像对于竖直分辨率来说，深度信息的分辨率还以非线性方式表示，但是通常存储为8位值(即，存储为0到255的值)。图14A示出道路两侧的数据。图14B将图14A的数据的鸟瞰图示出为道路左侧和右侧上的两个单独平面。

如上文所论述，配备有水平安装的前置式或侧置式激光扫描仪传感器的车辆能够实时生成类似于定位参考数据的那些的2D平面。车辆相对于数字地图的定位可通过图像空间中先验映射的数据与实时感测和处理的数据的相关来实现。通过应用在图像的重叠移动窗口中计算的平均非负归一化互相关(NCC)运算来获得纵向车辆定位，其中高度域中为1像素模糊，在纵向域中为Sobel算子。

图15A示出定位参考数据和实时扫描数据的固定纵向分辨率和可变(例如，非线性)竖直和/或深度分辨率。因此，在由值a、b和c表示的纵向距离相同时，由值D、E和F表示的高度距离是不同的。具体地说，由D表示的高度距离小于由E表示的高度距离，且由E表示的高度距离小于由F表示的高度距离。类似地，由值0表示的深度距离(即，最接近车辆的表面)小于由值100表示的深度距离，且由值100表示的深度距离小于由值255表示的深度距离(即，最远离车辆的表面)。例如，值0可表示1cm深度，而值255可表示10cm深度。

图15B说明竖直分辨率可如何变化。在本实例中，竖直分辨率基于将参考线以上的高度映射到像素Y坐标值的非线性函数而变化。如图15B中所示，更接近参考线(其在本实例中处于等于40的Y处)的像素表示更低高度。同样如图15B中所示，越接近参考线，竖直分辨率越大，即相对于像素位置的高度改变对于更接近参考线的像素来说较小，对于更远离参考线的像素来说较大。

图15C说明深度分辨率可如何变化。在本实例中，深度分辨率基于将距参考线的距离映射到像素深度(颜色)值的非线性函数而变化。如图15C中所示，较低像素深度值表示距参考线的较短距离。同样如图15C中所示，像素深度值越低，深度分辨率越大，即相对于像素深度值的距离改变对于较低像素深度值来说较小，对于较高像素深度值来说较大。

图15D说明像素子集可如何映射到沿着参考线的距离。如图15D中所示，沿着参考线的每一像素具有相同宽度，使得纵向像素分辨率是固定的。图15D还说明像素子集可如何映射到参考线以上的高度。如图15D中所示，距离参考线的距离越大，像素越宽，使得参考线以上的高度越大，竖直像素分辨率越低。图15D还说明像素深度值子集可如何映射到距参考线的距离。如图15D中所示，距离参考线的距离越远，被像素深度值覆盖的距离越宽，使得距离参考线的深度距离越远，深度分辨率越低。

现将描述本发明的一些其它实施例和特征。

如关于图14A所描述，定位参考数据的深度图(例如，栅格图像)可以通过到由与道路要素相关联的参考线限定的参考面上的正交投影提供。图16A说明使用此类投影的结果。参考面垂直于所示的道路参考线。在本文中，尽管高度信息与距参考线的距离无关(这可提供一些优点)，但是正交投影的一个局限性在于与垂直于道路要素的表面有关的信息可能会丢失。这由使用正交投影获得的图16B的侧面深度图说明。

如果使用(例如)成45度的非正交投影，那么可以保留与垂直于道路要素的表面有关的此类信息。这通过图16C和16D示出。图16C同样说明到限定为垂直于道路参考线的参考面上的45度投影。如图16D所示，使用这种投影获得的侧面深度图包含更多关于垂直于道路要素的那些物体表面的信息。通过使用非正交投影，关于此类垂直表面的信息可以通过深度图数据捕获，而不需要包含额外数据通道，或以其它方式增加存储容量。应了解，在此类非正交投影用于定位参考数据的深度图数据时，应该将对应的投影用于将与其进行比较的实时感测数据。

定位参考数据的深度图数据的每一像素是基于一组感测测量结果，例如，激光测量结果。这些测量结果对应于指示沿着相关预定方向在像素位置处物体距参考面的距离。由于数据的压缩方式，一组传感器测量结果将映射到特定像素。已发现在对应于各种传感器测量结果的距离当中的最接近距离用于像素深度值时可以获得更大精确度，而不是对应于根据一组传感器测量结果的不同距离的平均值的确定将与像素相关联的深度值。重要的是，像素的深度值精确反映了从参考面到最接近物体表面的距离。这在以最小化碰撞风险的方式精确确定车辆位置时是最有意义的。如果一组传感器测量结果的平均值用于为像素提供深度值，那么深度值有可能表明在像素位置处比实际情况更大的距物体表面的距离。这是因为一个物体可能是暂时性地位于参考面和另一更远物体之间，例如，树可位于建筑物前面。在此情形下，用于提供像素深度值的一些传感器测量结果将与建筑物有关，其它传感器测量结果将与树木有关，因为传感器测量结果映射到像素的区域扩展超出其侧面的树。本申请人已经认识到，将各个传感器测量结果中的最接近测量结果用作与像素相关联的深度值是最安全和最可靠的，以便确保距最接近物体的表面的距离可以可靠地捕获到，在此情况下，最接近物体是树。替代地，可以导出像素的传感器测量结果的分布，并且获得最接近模式以提供像素深度。这将以类似于最接近距离的方式提供更可靠的像素的深度指示。

如上文所描述，定位参考数据的深度图数据的像素包含深度通道，所述深度通道包含指示从像素在参考面中的位置到物体表面的深度的数据。定位参考数据中可以包含一或多个额外像素通道。这将产生多通道或多层深度图，并因此产生栅格图像。在一些优选实施例中，第二通道包含指示在像素位置处的物体的激光反射率的数据，且第三通道包含指示在像素位置处的物体的雷达反射率的数据。

每一像素具有对应于沿着道路参考线(x方向)的特定距离和道路参考线(y方向)以上的高度的位置。与第一通道c1中的像素相关联的深度值指示沿着预定方向(依据所使用的投影，其可以与参考面正交或不正交)参考面中的像素到最接近物体的表面的距离(优选地对应于用于获得像素深度值的一组感测测量结果中的最接近距离)。在第二通道c2中，每一像素可具有指示大约在距参考面距离c1处的激光点的平均局部反射率的激光反射率值。在第三通道c3中，像素可具有指示大约在距参考面c1距离处的雷达点的平均局部反射率的雷达反射率值。例如，这在图17中示出。多通道格式允许在深度图中包含数量多得多的数据。可以使用的其它可能通道是物体厚度(在使用正交投影的情况下，其可用于恢复关于垂直于道路轨迹的表面的信息)、经反射点密度和颜色和/或纹理(例如，从用于提供参考扫描数据的相机获得)。

尽管本发明已相对于其中定位参考数据的深度图与道路的横向侧面的环境有关的实施例描述，但是已经意识到，可以使用不同配置的深度图来辅助在交叉道路处定位车辆。这些其它实施例可以与远离交叉道路的区域的侧面深度图结合使用。

在一些其它实施例中，参考线限定为呈圆圈形式。换句话说，参考线是非线性的。圆圈由以数字地图的交叉道路的中心为中心的给定半径限定。圆圈的半径可以依据交叉道路的侧面来选择。参考面可以限定为垂直于这一参考线的2维表面。接着，可以与使用线性参考线时的方式相同的方式限定(圆形)深度图，其中每一像素包含指示沿着预定方向从像素在参考面中的位置到物体表面的距离(即，深度值)的通道。到参考面上的投影可同样为正交或非正交的，且每一像素可具有多个通道。给定像素的深度值优选地基于距物体的最接近感测距离。

图18分别指示可用于构造交叉道路处和远离交叉道路的深度图的圆形和线性参考线。图19A说明物体在不同角位置处投影到圆形深度图上上可以使用的方式。图19B指示每一个物体使用正交投影到参考面上以提供深度图的投影。

已经描述定位参考数据的深度图(不管是圆形还是其它)可以与从车辆获得的实时传感器数据进行比较以便确定参考和实时感测数据之间的纵向对准偏移的方式。在一些其它实施例中，还获得横向对准偏移。这涉及可在图像域中执行的一连串步骤。

参考使用侧面深度图的实例，在过程的第一步骤中，以先前描述的方式确定基于参考和实时传感器数据的侧面深度图之间的纵向对准偏移。深度图相对于彼此移位，直到它们纵向对准为止。随后，参考深度图(即，栅格图像)进行裁减以便使其大小对应于基于实时传感器数据的深度图。接着比较由此对准的基于参考和实时传感器的侧面深度图的对应位置中的像素的深度值(即，像素的深度通道的值)。每一对对应像素的深度值的差指示像素的横向偏移。这可以通过考虑像素的色差来评估，其中每一像素的深度值由一种颜色表示。确定由此确定的对应像素对之间的最常见横向偏移((模式差)，并使其对应于这两个深度图的横向对准偏移。最常见的横向偏移可以使用像素之间的深度差的直方图获得。一旦确定横向偏移，所述横向偏移就可用于校正车辆在道路上的视同横向位置。

图20A说明参考深度图(即，图像)和对应的基于来自车辆的实时传感器数据的深度图或图像，它们可以进行比较以确定深度图的横向偏移对准。如图20B所说明，首先，图像相对于彼此移位以纵向对准。接下来，在裁剪参考图像之后，使用这两个深度图中的对应像素的像素深度值差的直方图来确定深度图之间的横向对准偏移-图20C。图20D说明这如何可以使得道路上的车辆的纵向位置及横向位置被校正。

一旦获得基于参考和实时数据的深度图之间的横向对准偏移，车辆的前进方向就也可以进行校正。已发现，在车辆的实际和视同前进方向之间存在偏移时，这会致使依据沿着深度图的纵向距离确定基于参考和实时感测数据的深度图中的对应像素之间的非恒定横向对准偏移。

图21A说明通过参考深度图图像(上部)和基于实时传感器的深度图图像(下部)的对应部分的一组竖直片层。相对于沿着地图/图像的纵向距离(x轴)绘制(y轴)每个片层中的对应像素的像素深度值的平均差(即，横向对准偏移)。此曲线在图21B中示出。接着，可通过合适的回归分析导出描述平均像素深度距离和沿着深度图的纵向距离之间的关系的函数。这一函数的梯度指示车辆的前进方向偏移。

在本发明的实施例中使用的深度图可进行变换，以便始终相对于笔直参考线，即，以便始终为线性参考图像，例如，如WO 2009/045096 A1中所描述。这具有优势，如图22中所示。在图22的左侧处是弯曲道路的图像。为了标示弯曲道路的中心线，必须放置数个标记1102。在图22的右侧处，示出对应的线性参考图像，其对应于图左侧的弯曲道路。为了获得线性参考图像，弯曲道路的中心线映射到线性参考图像的笔直参考线。考虑到这一变换，现在可简单地通过两个端点1104和1106来限定参考线。

尽管在处于完全笔直的道路上时，根据参考和实时深度图的比较计算出的移位可以直接应用，但这不适用于弯曲道路，因为用于产生线性参考图像的线性化程序具有非线性性质。图23A和23B示出用于通过一连串渐进式独立线性更新步骤确定非线性环境中的车辆的位置的计算高效方法。如图23A中所示，所述方法涉及在一连串渐进式独立线性更新步骤中应用纵向校正，接着应用横向校正，然后应用前进方向校正。具体地说，在步骤(1)中，使用车辆传感器数据和基于车辆相对于数字地图的当前视同位置(例如，使用GPS获得)的参考深度图确定纵向偏移。接着，应用所述纵向偏移以调整车辆相对于数字地图的视同位置，并基于调整后的位置重新计算参考深度图。接着，在步骤(2)中，使用车辆传感器数据和重新计算的参考深度图确定横向偏移。接着，应用横向偏移以进一步调整车辆相对于数字地图的视同位置，并再次基于调整后的位置重新计算参考深度图。最后，在步骤(3)，使用车辆传感器数据和重新计算的参考深度图确定前进方向偏移或歪斜。接着，应用所述前进方向偏移以进一步调整车辆相对于数字地图的视同位置，并再次基于调整后的位置重新计算参考深度图。这些步骤重复实时深度图和参考深度图之间大体上为零纵向、横向和前进方向偏移所需要的次数。图23B示出纵向、横向和前进方向偏移到从车辆传感器数据生成的点云的连续重复应用，直到点云与从参考深度图生成的点云大体上对准为止。

还描绘了一连串定位参考数据的示例性用例。

例如，在一些实施例中，使用定位参考数据的深度图来生成参考点云，包含三维坐标系中的一组数据点，每个点表示环境中的物体表面，而不是出于与基于实时传感器数据的深度图比较的目的使用定位参考数据的深度图。此参考点云可与对应的基于通过车辆传感器获得的实时传感器数据的三维点云进行比较。可使用比较结果来确定深度图之间的对准偏移，并因此调整所确定的车辆的位置。

可使用参考深度图来获得可与基于车辆的实时传感器数据的对应点云进行比较的参考3D点云，不管车辆具有的传感器是什么类型。尽管参考数据可基于从各种类型的传感器获得的传感器数据，包含激光扫描仪、雷达扫描仪和相机，但是车辆可能不具有对应的一组传感器。3D参考点云可由参考深度图构造而成，所述参考深度图可与基于可用于车辆的特定类型的实时传感器数据获得的3D点云进行比较。

例如，当参考定位数据的深度图包含指示雷达反射率的通道时，这可以在生成可与使用仅具有雷达传感器的车辆的实时传感器数据获得的3D点云进行比较的参考点云时被考虑在内。与像素相关联的雷达反射率数据有助于识别应该包含在3D参考点云中的那些数据点，即，表示预期由车辆雷达传感器检测的物体表面的那些数据点。

在另一实例中，车辆可仅具有用于提供实时传感器数据的一或多个相机。在此情况下，可使用来自参考深度图的激光反射率通道的数据来构造包含仅与在当前条件下可预期由车辆的相机检测的表面有关的数据点的3D参考点云。例如，当处于黑暗时，应该仅包含相对反射物体。

可以按需要获得基于车辆的实时感测数据的3D点云。当车辆仅包含单相机作为传感器时，可使用“运动结构”技术，其中使用来自相机的一系列图像重构3D场景，可以从所述3D场景获得3D点云。当车辆包含立体相机时，3D场景可以直接生成，并用于提供3维点云。这可以使用基于视差的3D模型来实现

在又其它实施例中，使用参考点云来重构预期将由车辆的一或多个相机所见的图像，而不是比较参考点云与实时传感器数据点云。接着，所述图像可进行比较，并用于确定图像之间的对准偏移，所述对准偏移又可用于校正车辆的视同位置。

在这些实施例中，参考深度图的额外通道可上文所描述地用于重构基于在3维参考点云中仅包含预期将由车辆的相机检测到的那些点的图像。例如，在处于黑暗中时，激光反射率通道可用于选择对应于可在黑暗中由相机检测到的物体表面的那些点以用于包含在3维点云中。已发现，在确定参考深度图时使用到参考面上的非正交投影特别适用于此情境，从而保留更多关于在黑暗中也可检测到的物体表面的信息。

图24描绘根据本发明的实施例的示例性系统，其中通过一或多个车辆传感器(激光；相机；以及雷达)收集的数据用于生成车辆所见的环境的“实际覆盖区”。“实际覆盖区”与对应的根据与数字地图相关联的参考数据确定的“参考覆盖区”比较(即，相关)，其中参考数据包含至少一个距离通道，并且可包含激光反射率通道和/或雷达反射率通道，如上文所论述。通过这一相关，可以相对于数字地图精确确定车辆的位置。

在第一实例用例中，如图25A中所描绘，实际覆盖区由车辆中的基于激光的距离传感器(例如，激光雷达传感器)确定，并与根据参考数据的距离通道中的数据确定的参考覆盖区相关，以便实现车辆的连续定位。第一方法在中图25B示出，其中通过基于激光的距离传感器确定的激光点云转换成与参考数据相同格式的深度图，且这两个深度图图像进行比较。第二替代性方法在图25C中示出，其中激光点云根据参考数据重构，并且这一经重构点云与车辆所见的激光点云进行比较。

在第二实例用例中，如图26A中所描绘，实际覆盖区由车辆中的相机确定，并与根据参考数据的距离通道中的数据确定的参考覆盖区相关，以便实现车辆的连续定位，但是仅在白天。换句话说，在本实例用例中，参考深度图用于构造3D点云或视图，然后将其与从多个车辆相机或单个车辆相机获得的3D场景或视图进行比较。第一方法在图26B中示出，其中使用立体车辆相机来构建基于视差的3D模型，所述3D模型接着用于构造3D点云以与由参考深度图构造而成的3D点云相关。第二方法在图26C中示出，其中使用一系列车辆相机图像来构造3D场景，所述3D场景接着用于构造3D点云以与由参考深度图构造而成的3D点云相关。最后，第三方法在图25D中示出，其中车辆相机图像与从由参考深度图构造而成的3D点云形成的视图进行比较。

在第三实例用例中，如图27A中所描绘，是第二实例用例的修改，其中处于深度图的通道中的参考数据的激光反射率数据可用于构造3D点云或视图，所述3D点云或视图可与基于由一或多个相机捕获的图像的3D点云或视图进行比较。第一方法在图27B中示出，其中使用一系列车辆相机图像来构造3D场景，所述3D场景接着用于构造3D点云以与由参考深度图(使用距离和激光反射率通道两者)构造而成的3D点云相关。第二方法在图27C中示出，其中车辆相机图像与从由参考深度图(同样使用距离和激光反射率通道两者)构造而成的3D点云形成的视图进行比较。

在第四实例用例中，如图28A所描绘，实际覆盖区由车辆中的基于雷达的距离传感器确定，并与根据参考数据的距离和雷达反射率通道中的数据确定的参考覆盖区相关，以便实现车辆的稀疏定位。第一方法在图28B中示出，其中使用参考数据来重构3D场景，并使用雷达反射率通道中的数据以便只留下雷达反射点。接着，此3D场景与汽车所见的雷达点云相关。

当然，应理解，各种用例可一起使用，即融合，以实现车辆相对于数字地图的更精确定位。

现将参考图29到32B描述使车辆传感器数据与参考数据相关以便确定车辆位置(例如，如上文所论述)的方法。图29描绘在方法中使用的各种坐标系：局部坐标系(LocalCS)；车架坐标系(CF CS)；以及沿着汽车的轨迹的线性参考坐标系(LR CS)。尽管未描绘，但另一坐标系是世界大地坐标系(World Geodetic System，WGS)，其中位置给定为纬度、经度坐标对，如本领域中已知。一般方法在图30中示出，经执行以确定激光点云的步骤的细节在图31中示出。图32A示出执行图30的相关步骤的第一示例性方法，其中车辆位置通过(例如)参考数据的深度图栅格图像和对应的从车辆传感器数据形成的深度图栅格图像之间的图像相关来校正。图32B示出执行图30的相关步骤的第二示例性方法，其中车辆位置通过(例如)由参考数据构造而成的3D场景和由车辆传感器捕获的3D场景之间的3D相关来校正。

现将描述可以结合也可以不结合本发明的先前所述实施例使用的其它实施例，其中给定数字地图(例如车道级地图)，并给定车辆相对于地图的正确定位，有可能使用地图的特征以及感测点云来更高效且明显更可信地检测道路参与者，例如车辆。

如将了解，需要自主车辆对存在于道路上的所有附近参与者进行快速检测和归类。为了实现这一点，车辆配备有一系列传感器，例如立体相机、激光器、雷达等。在适当的预处理之后，来自此类传感器的数据可表示为点云，且所述点云中的物体可以被检测。在不具有地图信息的情况下，此类归类是不完整的、不可靠的且无比复杂的。

图33示出在相对于数字地图数据校正车辆位置之前和之后的基于实时传感器数据的点云的点的俯视图，以及示出取自数字地图的车道标记的几何结构的线路。具体地说，黑色的点和线指示在校正位置之前车辆相对于地图的线路记录的点云，灰色的点指示在校正位置之后车辆所记录的点云。如可见，在校正之后，指示车道标记的点大体上与示出来自地图的几何结构的线路更为对准。

基于调整后的点云和地图数据，围绕车辆的物体可在它们在道路上的位置和行为方面进行有效检测和分类。此类信息可用于：高效实现动态汽车周围环境；和/或相比于地图进一步改进定位(通过在与参考比较之前从汽车场景中移除移动物体)。图34示出存在于道路上的已基于图33的经分类点云检测到的移动物体。

图35示意性地说明使用地图数据对实时传感器数据的点云中的点进行预先分类的方法，然后所述点可通过在下一迭代中与参考数据更好的相关而用于增强物体辨识和/或改进定位。

根据本发明的方法中的任一个可以至少部分地使用软件(例如，计算机程序)实施。本发明因此还扩展到包括计算机可读指令的计算机程序，所述计算机可读指令可执行以执行或使导航装置执行根据本发明的任一个方面或实施例的方法。因此，本发明涵盖在由一或多个处理器执行时使一或多个处理器生成合适的图像(或其它图形信息)以供在显示屏上显示的计算机程序产品。本发明相应地扩展到包括此类软件的计算机软件载体，其在用于操作包括数据处理构件的系统或设备时使所述设备或系统结合所述数据处理构件实行本发明的方法的各步骤。此类计算机软件载体可为非暂时性物理存储媒体，例如ROM芯片、CD ROM或磁盘，或者可为信号，例如经过导线的电子信号、光学信号或通向卫星的无线电信号等等。本发明提供一种含有指令的机器可读媒体，所述指令在由机器读取时使所述机器根据本发明的任一个方面或实施例的方法进行操作。

尽管没有明确地陈述，但是应了解，本发明在它的任一个方面中可包含关于本发明的其它方面或实施例描述的特征中的任一个或全部，只要它们不相互排斥即可。具体地说，尽管已经描述在方法中可通过设备执行的操作的各种实施例，但是应了解，这些操作中的任一个或多个或全部可以视需要在适当时以任何组合的形式在方法中通过设备执行。

Claims (13)

1.一种使用数字地图对点云的数据点进行分类的方法，所述数字地图包括多个分段，每个分段表示可导航网络的可导航要素且包括指示所述可导航要素的边界的多个参考线，其中每个分段与指示所述多个参考线的地理位置的位置数据相关联，且每个分段另外与指示围绕所述可导航要素的环境中的物体表面的地理位置的定位参考数据相关联，所述方法包括：

基于沿着所述可导航网络的可导航要素的车辆的视同当前位置，获得所述数字地图的一或多个分段的所述定位参考数据；

通过使用至少一个传感器扫描围绕所述车辆的所述环境而确定实时扫描数据，其中所述实时扫描数据是基于指示围绕所述车辆的所述环境的点云，所述点云包含三维坐标系中的多个数据点，其中每一数据点在所述三维坐标系中具有使用所述至少一个传感器所确定的表示所述环境中的物体表面的位置；

计算所述定位参考数据和所述实时扫描数据之间的相关性以确定一或多个对准偏移；

使用所述所确定的一或多个对准偏移调整所述实时扫描数据的所述点云的所述数据点的所述位置；

针对所述多个数据点中的每一个，比较调整后的所述数据点的位置与相关分段的位置数据，以确定所述数据点是否在所述可导航要素的所述边界之间；以及

基于比较结果，将所述多个数据点中的每一个分类到一或多个群组中。

2.根据权利要求1所述的方法，其中所述一或多个对准偏移是纵向、横向、前进方向和/或方位偏移。

3.根据权利要求1或2所述的方法，其中指示所述可导航要素的边界的所述多个参考线另外包含道路边界和/或车道边界。

4.根据前述权利要求中任一权利要求所述的方法，其中所述多个参考线中的至少一个是指示道路的中心线和/或道路的车道的中心线的参考线。

5.根据前述权利要求中任一权利要求所述的方法，其中所述可导航分段的边界之间的数据点是与所述可导航要素上的所述物体表面有关的数据点。

6.根据前述权利要求中任一权利要求所述的方法，其中所述方法另外包括分析所述数据点群组中的一或多个以辨识一或多个候选物体。

7.根据权利要求6所述的方法，其中所述方法另外包括从所述点云中移除点，使得仅针对所述点云中的数据点子集执行物体辨识。

8.根据权利要求7所述的方法，其中所述所移除的点是对应于至少一个移动对象的点。

9.根据权利要求7或8所述的方法，其中所述数据点子集是处于干路中的点。

10.根据权利要求7或8所述的方法，其中所述数据点子集是在干路之外的点。

11.根据权利要求8所述的方法，其中所述至少一个移动对象是移动车辆。

12.一种包括计算机可读指令的计算机程序产品，所述计算机可读指令可执行以使系统执行根据以上权利要求中任一权利要求所述的方法，所述计算机程序产品任选地存储在非暂时性计算机可读媒体上。

13.一种用于使用数字地图对点云的数据点进行分类的系统，所述数字地图包括多个分段，每个分段表示可导航网络的可导航要素且包括指示所述可导航要素的边界的多个参考线，其中每个分段与指示所述多个参考线的地理位置的位置数据相关联，且每个分段另外与指示围绕所述可导航要素的环境中的物体表面的地理位置的定位参考数据相关联，所述系统包含处理电路系统，所述处理电路系统经配置以进行以下操作：

基于沿着所述可导航网络的可导航要素的车辆的视同当前位置，获得所述数字地图的一或多个分段的所述定位参考数据；

通过使用至少一个传感器扫描围绕所述车辆的所述环境而确定实时扫描数据，其中所述实时扫描数据是基于指示围绕所述车辆的所述环境的点云，所述点云包含三维坐标系中的多个数据点，其中每一数据点在所述三维坐标系中具有使用所述至少一个传感器所确定的表示所述环境中的物体表面的位置；

计算所述定位参考数据和所述实时扫描数据之间的相关性以确定一或多个对准偏移；

使用所述所确定的一或多个对准偏移调整所述实时扫描数据的所述点云的所述数据点的所述位置；

针对所述多个数据点中的每一个，比较调整后的所述数据点的位置与相关分段的位置数据，以确定所述数据点是否在所述可导航要素的所述边界之间；以及

基于比较结果，将所述多个数据点中的每一个分类到一或多个群组中。