CN107850448B - 用于生成及使用定位参考数据的方法及系统 - Google Patents

Abstract

本发明揭示用于改进相对于数字地图的定位精度的方法及系统，且所述方法及系统优选地用于高度及全自动驾驶应用，且其可使用与数字地图相关联的定位参考数据。本发明进一步扩展到用于生成与数字地图相关联的定位参考数据的方法及系统。

Description

用于生成及使用定位参考数据的方法及系统

技术领域

本发明在某些方面及实施例中涉及用于改进相对于数字地图的定位精度的方法及系统，且所述方法及系统是高度及全自动驾驶应用所需的。此类方法及系统可使用与数字地图相关联的定位参考数据。在另外方面中，本发明涉及与数字地图相关联的定位参考数据的生成，包含参考数据的格式及参考数据的使用。举例来说，本发明的实施例涉及通过与从交通工具感测到的数据的比较使用参考数据以在数字地图上准确地定位交通工具。其它实施例涉及将参考数据用于其它目的，不一定在也使用从交通工具感测到的数据的技术中。举例来说，另外实施例涉及将所生成的参考数据用于从与交通工具相关联的相机重建视图。

背景技术

近年来，交通工具配备有导航装置已经变得普遍，所述导航装置可呈可移除地定位在交通工具内的便携式导航装置(PND)的形式或呈集成到交通工具中的系统的形式。这些导航装置包括用于确定所述装置的当前位置的手段；通常为全球导航卫星系统(GNSS)接收器，例如GPS或GLONASS。然而，应了解，可使用其它手段，例如使用移动电信网络、表面信标或类似物。

导航装置还可访问表示交通工具正在其上行进的可导航网络的数字地图。数字地图(或有时称为数学图)以其最简单的形式实际上是含有表示节点(最常见地表示道路交叉点)以及表示那些交叉点之间的道路的那些节点之间的线的数据的数据库。在更详细的数字地图中，线可被划分成由起始节点及结束节点界定的路段。这些节点可为“真实的”其中其表示最少3条线或路段相交的道路交叉点，或其可为“人造的”其中其被提供为未在一端或两端由真实节点界定的路段的锚点以尤其提供用于特定路段的形状信息或识别沿着道路的所述道路的某些特性(例如速度限制)在其处改变的位置的手段。在实际上所有现代数字地图中，节点及路段进一步由各种属性界定，这些属性同样由数据库中的数据表示。举例来说，每一节点通常将具有地理坐标以界定其真实世界位置，例如，纬度及经度。节点通常还将具有与其相关联的实况数据，其指示在交叉点处是否可能从一条道路移动到另一条道路；而路段也将具有相关属性，例如允许的最大速度、车道大小、车道数量、中间是否存在分隔物等等。出于本申请案的目的，此形式的数字地图被称为“标准地图”。

导航装置经布置以能够使用所述装置的当前位置以及标准地图来执行多个任务，例如关于所确定的路线的引导，以及基于所确定的路线提供相对于当前位置或预测的未来位置的交通及行进信息。

然而，已认识到，标准地图内所含有的数据不足以用于各种下一代应用，例如高度自动驾驶，其中交通工具能够在没有来自驾驶员的输入的情况下自动控制(例如)加速，制动及转向，以及甚至是完全自动化的“无人驾驶”交通工具。对于此类应用，需要更精确的数字地图。此更详细的数字地图通常包括三维向量模型，其中道路的每一车道连同与其它车道的连接性数据一起被单独表示。出于本申请案的目的，此形式的数字地图将被称为“规划地图”或“高清晰度(HD)地图”。

图1中展示规划地图的部分的表示，其中每一条线表示车道的中心线。图2展示规划地图的另一示范性部分，但是这次覆盖在道路网络的图像上。这些地图内的数据通常精确到一米以内，甚至更小，且可使用各种技术来收集。

用于收集数据以构建此类规划地图的一种示范性技术是使用移动地图绘制系统；其实例描绘于图3中。移动地图绘制系统2包括勘测交通工具4、安装在交通工具4的顶部8上的数码相机40及激光扫描仪6。勘测交通工具4进一步包括处理器10、存储器12及收发器14。另外，勘测交通工具4包括绝对定位装置20(例如GNSS接收器)及包含惯性测量单元(IMU)及距离测量仪器(DMI)的相对定位装置22。绝对定位装置20提供交通工具的地理坐标，且相对定位装置22用于提高由绝对定位装置20测量的坐标的精度(且在无法接收来自导航卫星的信号的那些情况下替换绝对定位装置)。激光扫描仪6、相机40、存储器12、收发器14、绝对定位装置20及相对定位装置22都经配置用于与处理器10通信(如由线24指示)。激光扫描仪6经配置以使激光束以3D方式扫描遍及环境，且创建表示环境的点云；每一点指示激光束从其反射的物体的表面的位置。激光扫描仪6还经配置为飞行时间激光测距仪以便测量到激光束在物体表面上的每一入射位置的距离。

在使用中，如图4所展示，勘测交通工具4沿着道路30行进，道路30包括其上涂有道路标记34的表面32。处理器10根据使用绝对定位装置20及相对定位装置22测量的位置及定向数据来确定交通工具4在任何时刻的位置及定向，且用合适时戳将数据存储于存储器12中。另外，相机40重复地捕获路面32的图像以提供多个路面图像；处理器10将时戳添加到每一图像并将图像存储于存储器12中。激光扫描仪6还重复地扫描表面32以提供至少多个经测量的距离值；处理器将时戳添加到每一距离值并将其存储于存储器12中。图5及6中展示从激光扫描仪6获得的数据的实例。图5展示3D视图，且图6展示侧视图投影；每一图片中的颜色表示到道路的距离。从这些移动地图绘制交通工具获得的所有数据可经分析且用于创建由交通工具行进的可导航(或道路)网络的部分的规划地图。

申请人已认识到，为了将此类规划地图用于高度及完全自动化的驾驶应用，需要以高精度知晓交通工具相对于规划地图的位置。使用导航卫星或地面信标确定装置的当前位置的传统技术提供精度为约5到10米的装置的绝对位置；接着，将此绝对位置与数字地图上的对应位置匹配。虽然此精度水平对于大多数传统应用是足够的，但对于下一代应用来说，其不够准确，在下一代应用中相对于数字地图的位置要求在亚米精度下，甚至当在道路网络上高速行进时也要求具有此精度。因此，需要改进的定位方法。

申请人还认识到，需要生成与数字地图相关联的定位参考数据的经改进的方法，例如，用于提供可用于确定交通工具相对于地图的位置以及其它背景中的“规划地图”。

发明内容

根据本发明的第一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；及

将所述生成的定位参考数据与所述数字地图数据相关联。

应了解，所述数字地图(在本发明的此方面或实施例以及任何其它方面或实施例中)包括表示可导航网络的可导航元素的数据，例如，道路网络的道路。

根据本发明的第一方面，生成与由数字地图表示的可导航网络的一或多个可导航元素相关联的定位参考数据。可生成关于由所述地图表示的至少部分且优选地全部所述可导航元素的此数据。生成的数据提供所述可导航元素周围的所述环境的压缩表示。此使用至少一个深度图来实现，所述深度图指示投影到由参考线界定的参考平面上的所述元素周围的环境，所述参考线又是相对于所述可导航元素界定的。所述深度图的每一像素与所述参考平面中的位置相关联，且包含表示沿着经预先确定的方向从所述参考平面中的所述像素的位置到所述环境中的物体的表面的距离的深度通道。

现将描述所述定位参考数据的所述至少一个深度图的各种特征。应了解，此类特征可替代地或另外应用于在本发明的某些另外方面或实施例中使用的实时扫描数据的至少一个深度图，只要它们不相互排斥。

与可导航元素相关联且用于界定参考平面的参考线可以关于可导航元素的任一方式来设置。所述参考线由与可导航元素相关联的一个点或多个点界定。所述参考线可具有相对于可导航元素的经预先确定的定向。在优选实施例中，参考线平行于可导航元素。此可能适合于提供与可导航元素的一侧或多侧上的横向环境相关的定位参考数据(及/或实时扫描数据)。参考线可为线性的或非线性的，即，取决于可导航元素是否笔直。参考线可包含直线及非线性的，例如，弯曲部分，例如保持平行于可航行元素。应了解，在一些另外实施例中，参考线可不平行于可导航元素。举例来说，如下文所描述，参考线可由以与可导航元素相关联的点(例如，可导航元素上的一个点)为中心的半径界定。参考线可为圆形的。接着，此可提供接合点周围的环境的360度表示。

参考线优选地是纵向参考线，且可例如是可导航元素或其车道的边缘或边界，或可导航元素的中心线。接着，定位参考数据(及/或实时扫描数据)将在元素的一侧或多侧上提供环境的表示。参考线可位于元素上。

在实施例中，由于可导航元素的参考线(例如可导航元素的边缘或中心线)以及相关联的深度信息可经历到线性参考线的映射，所以即使在可导航元素是弯曲时，参考线也可为线性的。在WO 2009/045096 A1中更详细地描述此映射或变换；WO 2009/045096 A1以全文引用方式并入本文中。

由参考线界定的参考平面优选地被定向成垂直于可导航元素的表面。本文所使用的参考平面是指2维表面，其可为弯曲或非弯曲的。

在参考线是平行于可导航元素的纵向参考线的情况下，每一像素的深度通道优选地表示到环境中的物体的表面的横向距离。

每一深度图可呈光栅图像的形式。应了解，每一深度图表示沿着经预先确定的方向从环境中的物体的表面到多个纵向位置及海拔(即，对应于与参考平面相关联的每一像素的位置)的参考平面的距离。深度图包括多个像素。深度图的每一像素与深度图(例如，光栅图像)中的特定纵向位置及海拔相关联。

在一些优选实施例中，参考平面由平行于可导航元素的纵向参考线界定，且参考平面垂直于可导航元素的表面定向。接着，每一像素包含表示到环境中的物体的表面的横向距离的深度通道。

在优选实施例中，至少一个深度图可具有固定纵向分辨率及可变垂直及/或深度分辨率。

根据本发明的第二方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由平行于所述可导航元素且垂直于所述可导航元素的表面定向的纵向参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的横向距离的深度通道，优选地其中所述至少一个深度图具有固定纵向分辨率及可变垂直及/或深度分辨率；及

将所述生成的定位参考数据与所述数字地图数据相关联。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

无论参考线、参考平面及环境沿着其投射到参考平面上的线的定向如何，根据本发明在其各个方面及实施例中，有利的是，至少一个深度图具有固定纵向分辨率及可变垂直及/或深度分辨率。定位参考数据(及/或实时扫描数据)的至少一个深度图优选地具有固定纵向分辨率及可变垂直及/或深度分辨率。可变垂直及/或深度分辨率优选地是非线性的。可以比更高于地面及距可导航元素更远(且因此，距交通工具更远)的深度图(例如，光栅图像)的部分更高的分辨率展示更靠近地面及更靠近可导航元素(且因此，更靠近交通工具)的深度图(例如，光栅图像)的部分。此最大化对交通工具传感器进行检测来说更重要的高度及深度处的信息密度。

无论参考线及平面的定向以及深度图沿着各个方向的分辨率如何，环境到参考平面上的投影都沿着经预先确定的方向，所述经预先确定的方向可根据需要进行选择。在一些实施例中，投影是正交投影。在这些实施例中，每一像素的深度通道表示从参考平面中的像素的相关联位置沿着垂直于参考平面的方向到环境中的物体的表面的距离。因此，在其中由深度通道表示的距离是横向距离的一些实施例中，横向距离是沿着垂直于参考平面的方向(尽管非正交投影不限于其中深度通道与横向距离相关的情况)。正交投影的使用在一些背景中可能是有利的，因为此将导致任何高度信息独立于距参考线的距离(且因此独立于距参考平面的距离)。

在其它实施例中，已发现使用非正交投影可能是有利的。因此，在本发明在其任何方面的一些实施例中，除非相互排斥，否则(无论经预先确定的距离是否是横向距离)每一像素的深度通道表示从参考平面中像素的相关联位置沿着不垂直于参考平面的方向到环境中物体的表面的距离。非正交投影的使用具有以下优点：可保存关于垂直于可导航元素定向的表面的信息(即，其中参考线与元素平行)。这可在无需提供与像素相关联的额外数据通道的情况下实现。因此，可更有效且更详细地捕获关于可导航元素附近的物体的信息但无需增加存储容量。经预先确定的方向可为沿着相对于参考平面的任何期望的方向，例如以45度。

也已发现使用非正交投影在保存关于在黑暗条件下可由交通工具的一个相机或多个相机检测到的物体的表面的更大量的信息中是有用的，且因此在与其中参考图像或点云与基于由交通工具的相机感测到的实时数据获得的图像或点云进行比较的本发明的一些方面及实施例结合的情况下特别有用。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由平行于所述可导航元素的参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道，其中所述经预先确定的方向非垂直于所述参考平面；及

将所述生成的定位参考数据与指示所述可导航元素的数字地图数据相关联。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的任何方面或实施例，定位参考数据(及/或实时扫描数据)是基于通过使用一个或多个传感器扫描可导航元素周围的环境获得的扫描数据。一个或多个扫描仪可以包括以下各者中的一或多者：激光扫描仪、雷达扫描仪及相机，例如，单个相机或一对立体相机。

优选地，由定位参考数据(及/或实时扫描数据)的每一像素的深度通道表示的到物体的表面的距离是基于一组多个感测数据点确定，每一者指示沿着经预先确定的方向从像素的位置到物体的表面的距离。当执行可导航元素周围的环境的扫描时可获得数据点。所述组感测数据点可从一或多种类型的传感器获得。然而，在一些优选实施例中，感测数据点包括或包含由激光扫描仪感测到的一组数据点。换句话来说，感测数据点包括或包含激光测量。

已发现，在确定给定像素的深度通道的距离值时使用多个感测数据点的平均值可能导致错误的结果。这是因为存在以下可能性：指示从参考平面沿着可应用的经预先确定的方向的物体的表面的位置且被认为映射到特定像素的感测数据点中的至少一些可与不同物体的表面相关。应了解，由于压缩的数据格式，环境的扩展区可映射到参考平面中的像素的区。相当大量的感测数据，即若干感测数据点，因此可适用于那个像素。在那个区内，可能存在相对于参考平面定位于不同深度处的物体，包含可在任一维度上与另一个物体仅短距离重叠的物体，例如，树，灯柱、墙壁以及移动的物体。到由适用于特定像素的传感器数据点表示的物体表面的深度值因此可展现相当大的变化。

根据本发明的任何方面或实施例，其中由定位参考数据(及/或实时扫描数据)的每一像素的深度通道表示的到物体的表面的距离基于在一组多个感测数据点确定，每一感测数据点指示沿着经预先确定的方向从像素的位置到物体表面的感测距离，优选地，由像素的深度通道表示的距离并非是基于所述组多个感测数据点的平均值。在优选实施例中，由像素的深度通道表示的距离是来自所述组感测数据点当中的距物体表面最近的感测距离，或使用感测深度值的分布获得的最近模式值。应了解，检测到的一个最近值或多个最近值很可能最准确地反映物体表面到像素的深度。举例来说，考虑其中树定位于建筑物与道路之间的情况。适用于特定像素的不同感测深度值可为基于建筑物或树的检测。如果将全部这些感测值都考虑在内以提供平均深度值，那么平均值将指示从像素测量的到物体表面的深度介于到树的深度与到建筑物的深度之间的某处。这将导致像素的误导深度值，这在使实时交通工具感测数据与参考数据相关时会导致问题，且可能潜在是危险的，因为确信地了解物体距道路有多近是非常重要的。相比之下，最近深度值或最近模式值很可能与树相关，而与非建筑物相关，从而反映最近物体的真实位置。

根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道，其中由每一像素的所述深度通道表示的到物体的所述表面的所述距离是基于一组多个感测数据点而确定，每一感测数据点指示沿着所述经预先确定方向从所述像素的所述位置到物体的所述表面的感测距离，且其中由所述像素的所述深度通道表示的到所述物体的所述表面的所述距离是基于所述组感测数据点的最近距离，或最近模式距离；及

将所述生成的定位参考数据与数字地图数据相关联。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的任何方面或实施例，(定位参考数据及/或实时扫描数据中的)每一像素包含表示到环境中的物体的表面的距离的深度通道。在优选实施例中，每一像素包含一或多个另外通道。此可提供具有一或多个额外信息层的深度图。每一通道优选地指示基于一或多个感测数据点且优选地基于一组多个感测数据点获得的性质的值。感测数据可从早先所描述的一或多个传感器获得。在优选实施例中，所述或每一像素包含指示给定类型感测反射率的值的至少一个通道。每一像素可包括以下各者中的一或多者：指示感测激光反射率的值的通道；及指示感测雷达反射率的值的通道。由通道指示的像素的感测反射率值与由像素表示的环境的适用部分中的感测反射率相关。像素的感测反射率值优选地指示对应于由像素的深度通道指示的像素距参考平面的深度的距参考平面的距离周围处的感测反射率，即在像素的深度值周围的感测反射率。接着，此可被认为指示那个深度处存在的物体的相关反射率性质。优选地，感测反射率是平均反射率。感测反射率数据可为基于与用于确定一组更大数据点的深度值的相同数据点相关联的反射率。举例来说，可另外考虑与适用于像素的感测深度值(且除了优选地用于确定深度通道的深度值中的那些最近值外)相关联的反射率。

以此方式，提供多通道深度图，例如光栅图像。此格式可使能够更有效地压缩与围绕可导航元素的环境相关的更大量数据，从而便于存储及处理，并提供实施与由交通工具在不同条件下感测到实时数据的经改进相关的能力，且交通工具不一定需要具有与用于生成参考定位数据中相同的类型的传感器。如将在下文更详细地描述，此数据也可帮助重建由交通工具感测到的数据，或将使用交通工具的相机在特定条件下(例如在晚上)获得的可导航元素周围环境的图像。举例来说，雷达或激光反射率可使能够识别将在特定条件下(例如在晚上)可见的那些物体。

根据本发明的另一个方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道，其中每一像素进一步包含以下各者中的一或多者：指示感测激光反射率的值的通道；及指示感测雷达反射率的值的通道；及

将所述生成的定位参考数据与数字地图数据相关联。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的任何方面或实施例，可替代地或另外使用与像素相关联的其它通道。举例来说，另外通道可是指示以下各者中的一或多者：沿着经预先确定的方向从参考平面距像素的位置的由像素的深度通道指示的距离附近处的物体的厚度；沿着经预先确定的方向从参考平面距像素的位置的由像素的深度通道指示的距离附近处的反映数据点的密度；沿着经预先确定的方向从参考平面距像素的位置的由像素的深度通道指示的距离附近处的颜色；及沿着经预先确定的方向从参考平面距像素的位置的由像素的深度通道指示的距离附近处的纹理。每一通道可包括指示相关性质的值。所述值是基于获得的适用传感器数据，其可视情况从一或多个不同类型的传感器获得，例如，用于颜色或纹理数据的相机。每一值可基于多个感测数据点，且可为来自所述多个感测数据点的平均值。

应了解，虽然深度通道指示物体沿着经预先确定的方向距像素的位置处的参考平面的距离，但其它通道可指示物体的其它性质，例如物体的反射率，或其颜色、纹理等。此可在重建可预期已由交通工具感测到的扫描数据及/或由交通工具拍摄的相机图像中有用。指示物体的厚度的数据可用于恢复与垂直于可导航元素的物体的表面相关的信息，其中使用环境到参考平面上的正交投影。此可提供上文描述的用于确定与物体的此类表面相关的信息的实施例的替代例，所述实施例使用非正交投影。

在许多实施例中，定位参考数据用于提供可导航元素的一侧或多侧的环境的压缩表示，即，提供侧深度图。接着，参考线可平行于可导航元素，其中像素的深度通道指示物体表面距参考平面的横向距离。然而，使用深度图也可在其它背景中很有帮助。申请人已认识到，其将对提供在接合点(例如，十字路口)的区域中的圆形深度图有用。此可提供相对于接合点(例如，十字路口)定位交通工具的经改进能力，或，如果需要的话，重建指示接合点(例如，十字路口)周围环境的数据。优选地提供接合点周围环境的360度表示，尽管应了解，深度图无需围绕一个完整的圆延伸，且因此可围绕小于360度延伸。在一些实施例中，参考平面通过由以与可导航元素相关联的参考点为中心的半径界定的参考线界定。在这些实施例中，参考线是弯曲的，且优选地是圆形。参考点优选地定位于接合点处的可导航路段上。举例来说，参考点可定位于接合点(例如，十字路口)的中心处。可根据需要选定界定参考线的半径，例如取决于接合点的大小。

根据本发明的另一个方面，提供一种生成与表示可导航网络的元素的数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的所述可导航网络的至少一个接合点周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个接合点执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述接合点周围的环境的至少一个深度图，所述参考平面通过由以与所述接合点相关联的参考点为中心的半径界定的参考线界定，所述至少一个深度图中的每一像素与相关联于所述接合点的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；及

将所述生成的定位参考数据与指示所述接合点的数字地图数据相关联。

如关于早先实施例所描述，接合点可为十字路口。参考点可定位于接合点的中心处。参考点可与表示接合点的数字地图的节点或接合点处可导航元素相关联。本发明的这些另外方面或实施例可结合表示远离接合点的可导航元素的侧的环境的侧深度图使用。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据与定位参考数据的生成相关的本发明的任何方面或实施例，所述方法可包括将关于可导航元素或接合点的生成的定位参考数据与指示所述元素或接合点的数字地图数据相关联。所述方法可包括存储与所述数字地图数据相关联的生成的定位数据，例如与其涉及到的可导航元素或接合点相关联。

在一些实施例中，定位参考数据可包括表示，例如，可导航元素的左侧及可导航元素的右侧的横向环境的参考扫描。可将可导航元素的每一侧的定位参考数据存储在组合数据集中。因此，可以有效数据格式一起存储来自可导航网络的多个部分的数据。存储在组合数据集中的数据可被压缩，从而允许可导航网络的更多部分的数据被存储在相同的存储容量内。如果通过无线网络连接将参考扫描数据传输到交通工具，那么数据压缩也将允许使用减小的网络带宽。然而，应了解，定位参考数据不一定需要涉及可导航元素的任一侧上的横向环境。举例来说，如在上文某些实施例中所论述，参考数据可涉及围绕接合点的环境。

本发明还扩展到存储根据本发明任何方面或实施例生成的定位参考数据的数据产品。

本发明的任何这些另外方面或实施例中的数据产品可具有任何合适的形式。在一些实施例中，数据产品可被存储在计算机可读媒体上。所述计算机可读媒体可为，例如，软磁盘、CD ROM、ROM、RAM、快闪存储器或硬盘。本发明扩展到包括根据本发明的任何方面或实施例的数据产品的计算机可读媒体。

可以各种方式使用根据与此数据的生成相关的本发明的任何方面或实施例生成的定位参考数据。在与使用数据相关的另外方面中，获得参考数据的步骤可扩展到生成数据，或通常包括检索数据。参考数据优选地由服务器生成。使用数据的步骤优选地由可与交通工具相关联的装置(例如导航装置或类似装置)执行。

在一些优选实施例中，数据用于确定交通工具相对于数字地图的位置。数字地图因此包括表示交通工具沿着其行进的可导航元素的数据。所述方法可包括：针对所述交通工具沿着可导航网络的可导航元素的所认为的当前位置获得与数字地图相关联的定位参考数据；通过使用至少一个传感器扫描所述交通工具周围的环境确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示使用所述至少一个传感器所确定的沿着所述经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；计算所述定位参考数据与所述实时扫描数据之间的相关以确定所述深度图之间的对准偏移；及使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的位置。应了解，所获得的定位参考数据与交通工具沿着其行进的可导航元素相关。指示可导航元素周围环境的定位参考数据的深度图因此指示交通工具周围的环境。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

通过使用至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示使用所述至少一个传感器所确定的沿着所述经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

计算所述定位参考数据与所述实时扫描数据之间的相关以确定所述深度图之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

在与在确定交通工具的位置中使用定位参考数据及实时扫描数据相关的本发明的另外方面及实施例中，交通工具的当前位置可为纵向位置。实时扫描数据可与交通工具周围的横向环境相关。接着，定位参考数据及/或实时传感器数据的深度图将由平行于可导航元素的参考线界定，且包含表示到环境中的物体的表面的横向距离的深度通道。接着，所确定的偏移可为纵向偏移。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具行进穿过其的接合点的数据，所述方法包括：

针对所述交通工具在所述可导航网络中的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面通过由以与所述接合点相关联的参考点为中心的半径界定的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具行进穿过其的所述接合点的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

通过使用至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图中的每一像素与相关联于所述接合点的所述参考平面中的位置相关联，且所述像素包含表示使用所述至少一个传感器所确定的沿着所述经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

计算所述定位参考数据与所述实时扫描数据之间的相关以确定所述深度图之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，所述参考平面由平行于所述可导航元素且垂直于所述可导航元素的表面定向的纵向参考线界定，且每一像素包含表示到所述环境中的物体的表面的横向距离的深度通道，任选地，其中所述至少一个深度图具有固定纵向分辨率及可变垂直及/或深度分辨率；

通过使用至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据；

使用所述传感器数据确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且每一像素包含表示根据所述传感器数据所确定的到所述环境中的物体的表面的横向距离的深度通道，任选地，其中所述至少一个深度图具有固定纵向分辨率及可变垂直及/或深度分辨率；

计算所述定位参考数据与所述实时扫描数据之间的相关以确定所述深度图之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

在与使用定位参考数据相关的本发明的另外方面中，可根据本发明的任何早先方面生成数据。在确定交通工具的位置或其它中使用的实时扫描数据应具有与定位参考数据对应的形式。因此，确定的深度图将包括具有以与定位参考数据相同的方式相对于与可导航元素相关联的参考线界定的参考平面中的位置的像素，以使实时扫描数据与定位参考数据彼此相关。深度图的深度通道数据可以与参考数据的方式对应的方式确定，例如无需使用感测数据的平均值，且因此可包括从多个感测数据点到表面的最近距离。实时扫描数据可包含任何额外通道。在定位参考数据的深度图具有固定纵向分辨率及可变垂直及/或深度分辨率的情况下，实时扫描数据的深度图也可具有此分辨率。

因此，根据本发明的这些方面或实施例，提供一种持续确定交通工具相对于数字地图的位置的方法；所述数字地图包括表示交通工具沿着其行进的可导航网络(例如，道路网络)的可导航元素(例如，道路)的数据。所述方法包括：接收通过扫描所述交通工具周围的环境而获得的实时扫描数据；针对所述交通工具相对于所述数字地图的所认为的当前位置检索与所述数字地图相关联的定位参考数据(例如，其中所述定位参考数据包括所述所认为的当前位置周围的所述环境的参考扫描)，任选地，其中已贯穿整个所述数字地图从先前已沿着路线行进的至少一个装置获得所述参考扫描；将所述实时扫描数据与所述定位参考数据进行比较以确定所述实时扫描数据与所述定位参考数据之间的偏移；以及基于所述偏移来调整所述所认为的当前位置。交通工具相对于数字地图的位置因此总是可以高精度获知。现有技术中的实例已尝试通过将所收集的数据与沿着路线的预定地标的已知参考数据进行比较来确定交通工具的位置。然而，地标可能稀疏地分布在许多路线上，从而导致当交通工具在地标之间行进时交通工具位置的显著估计误差。这在例如高度自动驾驶系统的情况下是一个问题，其中此类误差可导致灾难性后果，例如导致严重损伤或生命损失的交通工具碰撞事故。本发明在至少某些方面通过具有贯穿整个数字地图的参考扫描数据并通过实时扫描交通工具周围的环境来解决此问题。以此方式，本发明可允许比较实时扫描数据与参考数据，使得交通工具相对于数字地图的位置总是以高精度获知。

根据本发明另一方面，提供一种确定交通工具相对于数字地图的纵向位置的方法，所述数字地图包括表示交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括投影到参考平面上的所述交通工具周围的环境中的物体的轮廓，所述参考平面由平行于所述可导航元素且垂直于所述可导航元素的表面定向的纵向参考线界定；

通过使用至少一个传感器扫描所述交通工具周围的所述环境获得传感器数据；

使用所述传感器数据确定实时扫描数据，其中所述实时扫描数据包括根据所述传感器数据所确定的投影到参考平面上的交通工具周围的环境中的物体的轮廓；

计算所述定位参考数据与所述实时扫描数据之间的相关以确定纵向对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述纵向位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

定位参考数据可与数字地图相关联地存储，例如与相关可导航元素相关联地存储，使得已经确定了投影到参考平面上的交通工具周围的环境中的物体的轮廓。然而，在其它实施例中，可以不同格式存储定位参考数据，且所存储的数据经处理以便确定轮廓。举例来说，在实施例中，如在本发明的早先描述的方面中，定位参考数据包括一或多个深度图，例如光栅图像，每一深度图表示到多个纵向位置及海拔的环境中的表面的横向距离。深度图可为根据任何早先方面及实施例。换句话来说，定位参考数据包括至少一个深度图，例如光栅图像，其指示交通工具周围的环境，其中所述至少一个深度图的每一像素与在参考平面中的位置相关联，且每一像素包含表示到环境中的物体的表面的横向距离(例如垂直于参考平面)的通道。在此类实施例中，相关深度图，例如光栅图像，使用边缘检测算法处理以生成环境中物体的轮廓。边缘检测算法可以包括Canny算子，Prewitt算子及类似算子。然而，在优选实施例中，使用Sobel算子执行边缘检测。边缘检测算子可应用于高度(或海拔)及纵向域两者中，或应用于所述域中的仅一个域中。举例来说，在优选实施例中，边缘检测算子仅应用于纵向域中。

类似地，可根据由至少一个传感器获得的传感器数据直接确定投影到参考平面上的交通工具周围的环境中的物体的轮廓。替代地，在其它实施例中，传感器数据可用于确定一或多个深度图，例如光栅图像，每一深度图表示到多个纵向位置及海拔的环境中的表面的横向距离。换句话来说，实时扫描数据包括至少一个深度图，例如光栅图像，其指示交通工具周围的环境，其中所述至少一个深度图的每一像素与参考平面中的位置相关联，且每一像素包含表示使用至少一个传感器所确定的到环境中的物体的表面的横向距离(例如垂直于参考平面)的通道。接着，相关深度图，例如光栅图像，可使用边缘检测算法进行处理，优选地使用应用到定位参考数据的相同边缘检测算法，以确定实时扫描数据的轮廓。边缘检测算子可应用于高度(或海拔)及纵向域两者中，或应用于所述域中的仅一个域中。举例来说，在优选实施例中，边缘检测算子仅应用于纵向域中。

在实施例中，在将两组数据相关之前将模糊算子应用于定位参考数据及实时扫描数据中的至少一者的轮廓。模糊算子可应用于高度(或海拔)及纵向域两者中，或应用于所述域中的仅一个域中。举例来说，在优选实施例中，模糊算子仅应用于高度域中。在获得实时扫描数据及/或定位参考数据时，模糊算子可考虑交通工具的任何倾斜，使得例如轮廓在高度域中向上或向下略微移位。

根据本发明的任何方面或实施例，交通工具的所认为的当前(例如)纵向位置可至少最初从绝对定位系统获得，例如卫星导航装置(例如GPS、GLONASS)、欧洲伽利略定位系统、COMPASS定位系统或IRNSS(印度区域导航卫星系统)。然而，应了解，可使用其它位置确定手段，例如使用移动电信、表面信标或类似物。

数字地图可包括表示可导航网络的可导航元素(例如，道路网络的道路)的三维向量模型，其中单独表示可导航元素(例如，道路)的每一车道。因此，可通过确定交通工具在其中行进的车道来获知交通工具在道路上的横向位置，例如，通过安装到交通工具的相机的图像处理。在此类实施例中，纵向参考线可为例如可导航元素的车道的边缘或边界或可导航元素的车道的中心线。

实时扫描数据可在交通工具的左侧及交通工具的右侧获得。这有助于减少瞬态特征对位置估计的影响。此类瞬态特征可为(例如)停放的交通工具、超车的交通工具或在同一路线上沿着相反方向行进的交通工具。因此，实时扫描数据可记录存在于交通工具两侧上的特征。在一些实施例中，可从交通工具的左侧或交通工具的右侧获得实时扫描数据。

在其中定位参考数据及实时扫描数据各自是关于交通工具的左侧及右侧的实施例中，来自交通工具左侧的实时扫描数据与来自可导航元素左侧的定位参考数据的比较以及来自交通工具右侧的实时扫描数据与来自可导航元素右侧的定位参考数据的比较可为单个比较。因此，当扫描数据包括来自可导航元素的左侧的数据及来自可导航元素的右侧的数据时，可将扫描数据作为单个数据集进行比较，从而相较于其中单独执行针对可导航元素的左侧的比较及针对可导航元素的右侧的比较的情况显著减少处理要求。

无论其是否涉及交通工具的左侧及右侧，比较实时扫描数据与定位参考数据可包括计算实时扫描数据与定位参考数据之间的互相关，优选地是归一化互相关。所述方法可包括确定数据集在其处最对准的位置。优选地，所确定的深度图之间的对准偏移是至少纵向对准偏移，且数据集在其处最对准的位置是纵向位置。确定数据集在其处最对准的纵向位置的步骤可包括使深度图(例如，由深度图基于实时扫描数据提供的光栅图像)与深度图(例如，由深度图基于定位参考数据提供的光栅图像)相对于彼此纵向移位直到所述深度图对准。此可在图像域中执行。

所确定的纵向对准偏移用于调整所认为的当前位置以调整交通工具相对于数字地图的纵向位置。

作为对确定深度图之间的纵向对准偏移的替代或优选地补充，希望确定深度图之间的横向对准偏移。接着，所确定的横向对准偏移可用于调整交通工具的所认为的当前横向位置且因此确定交通工具相对于数字地图的位置。优选地，确定纵向对准偏移，其可以上文描述的任何方式来实施，且另外确定横向对准偏移。接着，所确定的横向及纵向对准偏离一起用于调整交通工具相对于数字地图的纵向及横向位置两者。

所述方法可包括确定深度图之间的纵向对准偏移，例如通过计算定位参考数据与实时扫描数据之间的相关，且可进一步包括：确定深度图之间的横向偏移；及使用所确定的横向及纵向对准偏移调整所认为的当前位置以确定交通工具相对于数字地图的位置。

在横向对准偏移之前优选地确定纵向对准偏移。根据下文描述的某些实施例，横向对准偏移可基于首先确定深度图之间的纵向偏移及基于所述偏移将深度图相对于彼此纵向对准来确定。

横向偏移优选地基于深度图的对应像素之间的最常见横向偏移，即模式横向偏移确定。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

通过使用至少一个传感器扫描所述交通工具周围的环境确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示使用所述至少一个传感器所确定的沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

通过计算所述定位参考数据与所述实时扫描数据之间的相关确定所述定位参考数据与所述实时扫描数据的所述深度图之间的纵向对准偏移；

确定所述深度图之间的横向对准偏移，其中所述横向偏移是基于所述深度图的对应像素之间的最常见横向偏移；及

使用所述确定的纵向及横向对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据其中确定横向对准偏移的本发明的这些方面及实施例，最常见的横向对准偏移可通过考虑深度图的对应像素的深度通道数据来确定。最常见的横向对准偏移是基于深度图的对应定位像素的相应对之间确定的确定横向对准偏移，且优选地是基于每对对应像素的横向对准偏移。为了确定深度图的对应像素之间的横向对准偏移，必须识别深度图中的像素的对应对。所述方法可包括识别深度图中的像素的对应对。优选地，在横向对准偏移之前确定纵向对准偏移。将深度图相对于彼此合意地移位直到它们纵向对准以使能够识别每一深度图中的对应像素。

因此，所述方法可进一步包括基于确定的纵向对准偏移将深度图相对于彼此纵向对准。将深度图彼此纵向对准的步骤可包括纵向移位深度图的一或两者。深度图相对于彼此的纵向移位可在图像域中实施。因此将深度图对准的步骤可包括相对于彼此纵向移位对应于每一深度图的光栅图像。所述方法可以进一步包括裁剪由定位参考数据深度图提供的图像的大小以对应于由实时扫描数据深度图提供的图像的大小。此可能有利于深度图之间的比较。

一旦已识别了两个深度图中的对应像素，就可确定每一对对应像素之间的横向偏移。此可通过比较由与每一像素相关联的深度通道数据指示的沿着经预先确定的方向从参考平面中的像素的位置到环境中的物体的表面的距离来实现。如早先所描述，深度图优选地具有可变深度分辨率。每一对对应像素之间的横向对准偏移可基于由像素的深度通道数据指示的距离的差异。所述方法可包括使用直方图识别深度图的对应像素之间的最常见横向对准偏移。直方图可指示对应像素对之间的不同横向对准偏移的发生频率。直方图可指示横向对准偏移的概率密度函数，其中模式反映最可能移位。

在一些实施例中，每一像素具有指示像素的深度通道的值的颜色。因此，对应像素的深度值的比较可包括比较深度图的对应像素的颜色。对应像素之间的颜色的差异可指示像素之间的横向对准偏移，例如当深度图具有固定深度分辨率时。

在其中确定了横向对准偏移的这些实施例中，可调整交通工具相对于数字地图的当前纵向及横向位置。

根据其中调整了交通工具的当前位置(无论是纵向及/或横向位置)的本发明的任何方面或实施例，经调整的当前位置可为以任何合适方式获得的当前位置的估计，例如从绝对位置确定系统或其它位置确定系统，如上文所描述。举例来说，可使用GPS或航位推算。如应了解，绝对位置优选地经匹配到数字地图以确定相对于数字地图的初始位置；接着，将纵向及/或横向校正应用到初始位置以改进相对于数字地图的位置。

本申请人已认识到，虽然上文描述的技术可在调整交通工具相对于数字地图的位置中有用，但其将不会校正交通工具的前进方向。在优选实施例中，所述方法进一步包括使用定位参考数据及实时扫描数据深度图调整交通工具的所认为的前进方向。除了根据任何上文描述的实施例确定深度图的纵向及横向对准偏移之外，优选地实施此另一步骤。在这些实施例中，交通工具的所认为前进方向可以任何合适的方式确定，例如使用GPS数据等，如关于确定交通工具的所认为的位置描述。

已发现，当交通工具的所认为前进方向不正确时，深度图的对应像素之间的横向对准偏移将在纵向方向上沿着深度图(即沿着深度图图像)变化。已发现，前进方向偏移可基于指示深度图的对应像素之间的横向对准偏移相对于沿着深度图的纵向位置的变化的函数确定。确定前进方向偏移的步骤可并入早先关于确定对应像素的横向对准偏移所描述的任何特征。因此，所述方法优选地首先包括将深度图相对于彼此移位以将深度图纵向对准。

因此，所述方法可进一步包括：确定深度图之间的纵向对准偏移；确定指示深度图的对应像素之间的横向对准偏移相对于像素沿着深度图的纵向位置的变化的函数；及使用确定的函数调整交通工具的所认为的当前前进方向以确定交通工具相对于数字地图的前进方向。

对应像素之间的确定的横向对准偏移是，如上文所描述，优选地基于由像素的深度通道数据指示的值的差异，例如通过参考像素的颜色。

在这些方面或实施例，确定的函数指示交通工具的前进方向偏移。

确定指示横向对准偏移相对于纵向位置的变化的函数的步骤可包括确定沿着深度图的纵向方向穿过深度图的多个垂直区段中的每一者中的深度图的对应像素的平均(即平均)横向对准偏移。接着，所述函数可基于针对沿着深度图的纵向方向的每一垂直区段确定的平均横向对准偏移中的变化获得。应了解，在确定所述函数时考虑深度图中的对应像素对中的至少一些，且任选地每一者。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

通过使用至少一个传感器扫描所述交通工具周围的环境确定实时扫描数据，其中所述实时扫描数据包括指示所述交通工具周围的环境的至少一个深度图，所述至少一个深度图的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示使用所述至少一个传感器所确定的沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

确定指示定位参考数据与实时传感器数据深度图的对应像素之间的横向对准偏移相对于像素沿着深度图的纵向位置的变化的函数；及

使用所述确定的函数调整所述交通工具的所述所认为的当前前进方向以确定所述交通工具相对于所述数字地图的所述前进方向。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

在本发明的这些方面及实施例中，可采取另外步骤来改进确定的前进方向偏移，例如通过滤除噪声像素，或通过参考在深度图或图像的纵向区段中考虑的显著像素的数目加权所述区段内的平均像素深度差异。

如上文所提及，定位参考数据的深度图，因此以及实时数据的深度图，可经变换以便始终与线性参考线相关联。由于深度图的此线性化，当可导航元素是弯曲的时，已发现，其不可能直接应用确定的纵向、横向及/或前进方向校正。申请人已识别调整或校正交通工具相对于数字地图的当前位置的在计算上有效的方法涉及在一系列递增独立线性更新步骤中应用校正中的每一者。

因此，在优选实施例中，确定的纵向偏移被应用到交通工具相对于数字地图的当前位置，且实时扫描数据的至少一个深度图基于经调整的位置重新计算。接着，将使用重新计算的实时扫描数据确定的横向偏移应用到交通工具相对于数字地图的经调整的位置，且实时扫描数据的至少一个深度图基于另一经调整的位置重新计算。接着，将使用重新计算的实时扫描数据确定的偏斜，即，前进方向偏移，应用到交通工具相对于数字地图的另一经调整的位置，且基于再一次经调整的位置重新计算实时扫描数据的至少一个深度图。优选地根据需要重复这些步骤任意次数，直到存在零或基本上为零的纵向偏移、横向偏移及偏斜时为止。

应了解，根据本发明的任何方面或实施例获得的生成的定位参考数据可以其它方式与实时扫描数据一起用于确定交通工具的更精确位置，或实际上，用于其它目的。特定来说，申请人已认识到，可能并非总是可能，或至少并非总是方便地使用实时扫描数据确定对应深度图以与定位参考扫描数据的深度图进行比较。换句话来说，在图像域中实施数据集的比较可能是不合适的。特定来说，这可为其中在交通工具上可用的传感器的类型不同于用于获得定位参考数据的传感器的类型的情况。

根据本发明的一些另外方面及实施例，所述方法包括使用定位参考数据确定指示可导航元素周围的环境的参考点云，所述参考点云包含在三维坐标系统中的一组第一数据点，其中每一第一数据点表示环境中的物体的表面。

在根据本发明的另一方面，提供一种生成与数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的可导航网络的至少一个可导航元素周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个可导航元素执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述可导航元素周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

将所述生成的定位参考数据与所述数字地图数据相关联；及

使用所述定位参考数据确定指示所述可导航元素周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的另一方面，提供一种生成与表示可导航网络的元素的数字地图相关联的定位参考数据的方法，所述定位参考数据提供由所述数字地图表示的所述可导航网络的至少一个接合点周围的环境的压缩表示，所述方法包括对于由所述数字地图表示的至少一个接合点执行以下操作：

生成定位参考数据，所述定位参考数据包括指示投影到参考平面上的所述接合点周围的环境的至少一个深度图，所述参考平面通过由以与所述接合点相关联的参考点为中心的半径界定的参考线界定，所述至少一个深度图中的每一像素与相关联于所述接合点的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

将所述生成的定位参考数据与指示所述接合点的数字地图数据相关联；及

使用所述定位参考数据确定指示所述接合点周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

包含三维坐标系统中的一组第一数据点(其中每一第一数据点表示环境中的物体的表面)的参考点云在本文中可称为“3D点云”。可在确定交通工具的定位中使用根据本发明的这些另外方面获得的3D点云。

在一些实施例中，所述方法可包括在确定交通工具相对于数字地图的位置中使用本发明的任何方面或实施例中的生成的定位参考数据，所述数字地图包括表示交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着可导航网络的可导航元素或接合点的所认为的当前位置获得与数字地图相关联的定位参考数据，使用所述定位参考数据确定指示所述交通工具周围的环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

通过使用至少一个传感器扫描所述交通工具周围的环境确定实时扫描数据，所述实时扫描数据包括指示所述交通工具周围的环境的点云，所述点云包含三维坐标系统中的一组第二数据点，其中每一数据点表示使用所述至少一个传感器所确定的所述环境中的物体的表面；

计算所述实时扫描数据的所述点云与所述获得的定位参考数据的所述点云之间的相关以确定所述点云之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的另一方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

通过使用至少一个传感器扫描所述交通工具周围的环境确定实时扫描数据，所述实时扫描数据包括指示所述交通工具周围的环境的点云，所述点云包含三维坐标系统中的一组第二数据点，其中每一数据点表示使用所述至少一个传感器所确定的所述环境中的物体的表面；

计算所述实时扫描数据的所述点云与所述获得的定位参考数据的所述点云之间的相关以确定所述点云之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的位置。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的再一个方面，提供一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具行进穿过其的可导航网络的接合点的数据，所述方法包括：

针对所述交通工具在所述可导航网络的接合点处的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面通过由以与所述接合点相关联的参考点为中心的半径界定的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具行进穿过其的所述接合点的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

通过使用至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据，所述实时扫描数据包括指示所述交通工具周围的环境的点云，所述点云包含三维坐标系统中的一组第二数据点，其中每一数据点表示使用所述至少一个传感器所确定的所述环境中的物体的表面；

计算所述实时扫描数据的所述点云与所述获得的定位参考数据的所述点云之间的相关以确定所述点云之间的对准偏移；及

使用所述确定的对准偏移调整所述所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

在这些另外方面中包含三维坐标系统中的一组第二数据点(其中每一第二数据点表示环境中的物体的表面)的参考点云在本文中可称为“3D点云”。

在本发明的这些另外方面或实施例中，定位参考数据用于获得3D参考点云。此指示数据涉及到的可导航元素或接合点周围的环境，且因此指示当交通工具沿着可导航元素行进或行进穿过接合点时交通工具周围的环境。实时传感器数据的点云涉及交通工具周围的环境，且因此也可称为涉及交通工具定位在其处的可导航元素或接合点周围的环境。在一些优选实施例中，基于定位参考数据获得的3D点云与指示基于实时扫描数据获得的交通工具(即，当在相关元素上行进或行进穿过接合点时)周围的环境的3D点云进行比较。接着，交通工具的位置可基于此比较，而非深度图(例如，光栅图像)的比较，进行调整。

使用与交通工具相关联的一或多个传感器获得实时扫描数据点云。可使用单个传感器或多个此类传感器，且在后者的情况下，可使用传感器类型的任何组合。传感器可包括以下各者中的任何一者或一些：一组一或多个激光扫描仪；一组一或多个雷达扫描仪；及一组一或多个相机，例如单个相机或一对立体相机。可使用单个激光扫描仪、雷达扫描仪及/或相机。在交通工具与一个相机或多个相机相关联的情况下，从一或多个相机获得的图像可用于构建指示交通工具周围的环境的三维场景，且可使用所述三维场景获得3维点云。举例来说，在交通工具使用单个相机的情况下，点云可通过以下步骤从其确定：在交通工具沿着可导航元素行进或行进穿过接合点时从相机获得二维图像序列；使用所述二维图像序列构建三维场景；及使用所述三维场景获得三维点云。在交通工具与立体相机相关联的情况下，从相机获得的图像可用于获得三维场景，接着，将其用于获得三维点云。

通过将定位参考数据的深度图变换成3D点云，其可与通过使用交通工具传感器进行实时扫描获得的3D点云进行比较，而不管所述交通工具传感器可能是什么传感器。举例来说，定位参考数据可基于使用多种传感器类型(包含激光扫描仪、相机及雷达扫描仪)的参考扫描。交通工具可能具有或可能不具有一组对应的传感器。举例来说，通常交通工具可仅包含一或多个相机。

定位参考数据可用于确定指示交通工具周围的环境的对应于预期由交通工具的至少一个传感器生成的点云的参考点云。在使用与交通工具的传感器类型相同的类型的传感器获得参考点云的情况下，这可为直接的，且在构建3D点云中可使用全部定位参考数据。类似地，在某些条件下，由一种类型传感器感测到的数据可类似于由另一传感器感测到的数据。举例来说，在提供参考定位数据时由激光传感器感测到的物体预期也可在白天由交通工具的相机感测到。然而，所述方法可包括仅包含预期可由与交通工具相关联的类型的一个传感器或多个传感器检测到及/或预期在当前条件下检测到的3D点云中的那些点。定位参考数据可包括使能够生成适当的参考点云的数据。

在一些实施例中，如上文所描述，定位参考数据的每一像素进一步包含指示感测反射率的值的至少一个通道。每一像素可包含以下各者中的一或多者：指示感测激光反射率的值的通道及指示感测雷达反射率的值的通道。优选地，提供指示雷达及激光反射率两者的通道。接着，基于定位参考数据生成3D点云的步骤优选地使用感测反射率数据执行。3D点云的生成也可基于交通工具的一个传感器或多个传感器的类型。所述方法可包括使用反射率数据及指示交通工具的一个传感器或多个传感器的类型的数据选择包含于参考3D点云中的3D点。反射率通道的数据用于从深度通道选择数据以用于生成3D点云。反射率通道给出特定物体是否将会被相关传感器类型感测到(在适当情况下，在当前条件下)的指示。

举例来说，在参考数据是基于从激光扫描仪及雷达扫描仪获得的数据且交通工具仅具有雷达扫描仪的情况下，雷达反射率值可用于选择包含于预期将由交通工具的雷达扫描仪感测到的3D点中的那些点。在一些实施例中，每一像素包括指示雷达反射率的通道，且所述方法包括使用雷达反射率数据生成仅含有将由雷达传感器感测到的那些点的3D参考点云的步骤。在所述方法进一步包括比较3D参考点云与基于实时扫描数据获得的3D点云的情况下，实时扫描数据的3D点云因此是基于从雷达扫描仪获得的数据。交通工具可仅包含雷达扫描仪。

当交通工具可包含雷达及/或激光扫描仪时，在许多情况下，车辆可仅包含一个相机或多个相机。激光反射率数据可提供获得与预期将由仅具有一个相机或多个相机作为传感器的交通工具在黑暗条件下感测到的3D点云相关的3D参考点云的方式。激光反射率数据提供可预期由相机在夜间检测到的那些物体的指示。在一些实施例中，每一像素包含指示激光反射率的通道，且所述方法包括使用激光反射率数据生成仅含有将由交通工具的相机在黑暗条件期间感测到的那些点的3D参考点云的步骤。在所述方法进一步包括比较3D参考点云与基于实时扫描数据获得的3D点云的情况下，实时扫描数据的3D点云因此可基于在黑暗条件下从相机获得的数据。

据信，获得呈三维点云形式的参考定位数据，及使用此数据重建参考图，例如预期在适用条件下可从交通工具的一或多个相机获得的图像，且接着可将其与由相机获得的图像进行比较，本身是有利的。

在一些实施例中，所述方法可包括在重建预期将从与沿着可导航网络的可导航元素行进或行进穿过由数字地图表示的接合点的交通工具相关联的一或多个相机在适用条件下获得的视图中使用本发明任何方面或实施例中的生成的定位参考数据，所述方法包括：针对交通工具沿着可导航网络的可导航元素或接合点的或在接合点处的所认为的当前位置获得与数字地图相关联的定位参考数据；使用定位参考数据确定指示交通工具周围的环境的参考点云，参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示环境中的物体的表面；及使用参考点云重建预期可由与横穿可导航元素或接合点时的交通工具相关联的一或多个相机在适用条件下获得的参考视图。所述方法可进一步包括使用一或多个相机确定交通工具周围的环境的实时视图，及比较参考视图与由一或多个相机获得的实时视图。

根据本发明的另一方面，提供一种重建预期可从与沿着由数字地图表示的可导航网络的可导航元素行进的交通工具相关联的一或多个相机在适用条件下获得的视图的方法，所述方法包括：

针对所述交通工具沿着可导航网络的可导航元素的所认为的当前位置获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

使用所述参考点云重建预期可由与横穿所述可导航元素时所述交通工具相关联的一或多个相机在适用条件下获得的参考视图；

使用所述一或多个相机确定所述交通工具周围的所述环境的实时视图；及

比较所述参考视图与由所述一或多个相机获得的所述实时视图。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

根据本发明的另一方面，提供一种重建预期可从与行进穿过由数字地图表示的可导航网络的接合点的交通工具相关联的一或多个相机在适用条件下获得的视图的方法，所述方法包括：

针对所述交通工具沿着可导航网络的可导航元素的所认为的当前位置获得与数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面通过由以与所述接合点相关联的参考点为中心的半径界定的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具行进穿过其的所述接合点的所述参考平面中的位置相关联，且所述像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的所述相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的所述环境的参考点云，所述参考点云包含三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

使用所述参考点云重建预期可由与横穿所述可导航元素时的所述交通工具相关联的一或多个相机在适用条件下获得的参考视图；

使用所述一或多个相机确定所述交通工具周围的所述环境的实时视图；及

比较所述参考视图与由所述一或多个相机获得的所述实时视图。

根据此另一方面的本发明可包含关于本发明的其它方面描述的任何或全部特征，只要它们不相互矛盾。

本发明的这些方面在允许构建可与由交通工具的相机获得的实时视图进行比较，但基于可从不同类型传感器获得的定位参考数据的参考视图中特别有利。已认识到，在实践中，许多交通工具将仅配备有一个相机或多个相机，而非更具体或复杂的传感器，例如可用于获得参考数据。

在本发明的这些另外方面及实施例中，可根据需要使用参考视图与实时视图的比较结果。举例来说，比较结果可用于如在早先描述的方面及实施例中那样确定交通工具的位置。所述方法可包括计算实时视图与参考视图之间的相关以确定视图之间的对准偏移；及使用确定的对准偏移调整交通工具的所认为的当前位置以确定交通工具相对于数字地图的位置。

适用条件是在当前时间合适的那些条件，且可为照明条件。在一些实施例中，适用条件是黑暗条件。

根据上文描述的任何实施例，使用可从定位参考数据获得的3D参考点云重建参考视图。重建预期可由一或多个相机获得的参考视图的步骤优选地包括使用与定位参考数据的深度图的像素相关联的反射率数据通道的数据。优选地，因此，定位参考数据的每一像素进一步包含指示感测激光反射率的值的至少一个通道，且基于定位参考数据生成3D点云的步骤是使用感测激光反射率数据来执行。激光反射率数据可以用于从深度通道选择数据以用于生成参考3D点云以导致对应于预期可从交通工具的一或多个相机获得的视图的重建的参考视图，例如，所述视图包含希望在适用条件下(例如，黑暗)可看到的那些物体。交通工具的一或多个相机可为单个相机，或一对立体相机，如上文所描述。

可根据本发明的各个方面及实施例执行的实时扫描数据与定位参考数据的比较，无论是通过深度图的比较还是通过点云的比较或是重建图像与实时图像的比较，可在数据窗口上执行。数据窗口是行进方向上的数据窗口，例如纵向数据。因此，窗口化数据允许比较考虑可用数据的子集。可针对重叠窗口周期性地执行比较。用于比较的数据的窗口中的至少一些重叠是合意的。举例来说，此可确保相邻的计算出的例如纵向偏移值之间的差异对数据平滑。窗口可具有足以使偏移计算的精度不随瞬态特征改变的长度，优选地长度为至少100m。此类瞬态特征可为(例如)停放的交通工具、超车的交通工具或在同一路线上沿着相反方向行进的交通工具。在一些实施例中，长度为至少50m。在一些实施例中，长度为200m。以此方式，针对一段道路(例如，纵向路段)(‘窗口’，例如200m)确定感测环境数据，接着将所得数据与所述路段的定位参考数据进行比较。通过在此大小的路段(即，基本上大于交通工具的长度的路段)上执行比较，非静止或临时物体(例如道路上的其它交通工具、停在道路旁的交通工具等等)通常不会影响比较结果。

可远程存储根据本发明的任何方面或实施例使用的定位参考数据的至少一部分。优选地，在涉及交通工具的情况下，定位参考数据的至少部分本地存储在交通工具上。因此，即使定位参考数据在整个路线中可用，其也不需要持续地传送到交通工具上且可在交通工具上执行比较。

定位参考数据可以压缩格式存储。定位参考数据可具有对应于30KB/km或更小的大小。

可针对在数字地图中表示的可导航网络的可导航元素中的至少部分(且优选地全部)存储定位参考数据。因此，交通工具的位置可在沿着由交通工具行进的路线的任何地方持续确定。

在实施例中，可能已使用定位于移动地图绘制交通工具上的至少一个装置从参考扫描获得参考定位数据，所述移动地图绘制交通工具先前已沿着随后由交通工具行进的可导航元素行进。因此，可已使用与其位置被持续确定的当前交通工具不同的交通工具来获取参考扫描。在一些实施例中，移动地图绘制交通工具具有与其位置被持续确定的交通工具类似的设计。

可使用至少一个测距仪传感器获得实时扫描数据及/或参考扫描数据。测距仪传感器可经配置以沿着单个轴操作。测距仪传感器可经布置成在垂直轴上执行扫描。当在垂直轴上执行扫描时，收集多个高度处的平面的距离信息，且因此所得扫描显著地更详细。替代地或另外，测距仪传感器可经布置成在水平轴上执行扫描。

测距仪传感器可为激光扫描仪。激光扫描仪可包括使用镜遍及横向环境扫描的激光束。另外或替代地，测距仪传感器可为雷达扫描仪及/或一对立体相机。

本发明扩展到一种装置，例如导航装置、交通工具等等，所述装置具有例如一或多个处理器的构件，其经布置(例如经编程)以执行本文所描述的任何方法。

产生本文中描述的定位参考数据的步骤优选地由服务器或另一类似计算装置执行。

用于实施方法的任何步骤的构件可包括经配置(例如经编程)用于如此做的一组一或多个处理器。给定步骤可使用与任何其它步骤相同或不同的一组处理器实施。任何给定步骤可使用处理器集的组合实施。所述系统可进一步包括用于存储例如数字地图、定位参考数据及/或实时扫描数据的数据存储构件，例如计算机存储器。

在优选实施例中，本发明的方法由服务器或类似计算装置实施。换句话来说，所提出的本发明的方法优选地是计算机实施方法。因此，在实施例中，本发明的系统包括服务器或包括用于实施所描述的各种步骤的构件的类似计算装置，且本文描述的方法步骤由服务器实施。

本发明进一步扩展到包括可执行以执行或致使装置执行本文所描述的任何方法的计算机可读指令的计算机程序产品。所述计算机程序产品优选地被存储在非暂时性物理存储媒体中。

如由所属领域的技术人员将了解，本发明的方面及实施例可且优选地确实酌情包含本文关于本发明的任何其它方面描述的本发明的优选及任选特征中的任何一或多者或全部。

附图说明

现将参考附图仅通过实例的方式描述本发明的实施例，其中：

图1是规划地图的部分的表示；

图2展示覆盖在道路网络的图像上的规划地图的部分；

图3及4展示可用于收集用于构建地图的数据的示范性移动地图绘制系统；

图5展示从激光扫描仪获得的数据的3D视图，而图6展示从激光扫描仪获得的数据的侧视图投影；

图7展示根据实施例的在沿着道路行进的同时感测其周围环境的交通工具；

图8展示与经感测的环境数据(例如，由图7的交通工具收集的)比较的定位参考数据的比较；

图9展示可如何存储定位参考数据的示范性格式；

图10A展示由安装到沿着道路行进的交通工具的测距传感器获取的实例性点云，而图10B展示此点云数据已被转换为两个深度图；

图11展示在实施例中根据归一化互相关计算所确定的偏移；

图12展示在“参考”数据集与“本地测量”数据集之间执行的相关的另一实例；

图13展示根据实施例的位于交通工具内的系统；

图14A展示作为一段定位参考数据的一部分的示范性光栅图像；

图14B将图14A的数据的鸟瞰透视图展示为道路左侧及右侧的两个分离平面；

图15A显示定位参考数据及实时扫描数据的固定纵向分辨率及可变(例如，非线性)垂直及/或深度分辨率；

图15B展示将参考线上的高度映射到像素Y坐标值的函数；

图15C展示将距离从参考线映射到像素深度值的函数；

图15D展示三维图中的固定纵向像素分辨率、可变垂直像素分辨率及可变深度值分辨率；

图16A展示到由与道路元素相关联的参考线界定的参考平面上的正交投影；

图16B展示使用正交投影获得的侧面深度图；

图16C展示到由与道路元素相关联的参考线界定的参考平面上的非正交投影；

图16D展示使用非正交投影获得的侧面深度图；

图17展示深度图的多通道数据格式；

图18展示可用于构建十字路口处深度图的圆形及线性参考线；

图19A展示可在不同角度位置处将物体投影到的圆形深度图上的方式；

图19B展示用于提供深度图的物体到参考平面上的正交投影；

图20A展示参考深度图及对应的实时深度图；

图20B展示从参考及实时深度图的纵向相关导出的纵向校正；

图20C展示从参考及实时深度图中的对应像素的像素深度值之间的直方图差异导出的横向校正；

图20D展示可如何校正交通工具在道路上的纵向位置及接着校正横向位置；

图21A展示穿过参考深度图的对应部分的一组垂直切片；

图21B展示相对于沿着深度图的垂直切片的纵向距离绘制的垂直切片的平均像素深度差异；

图22展示道路的弯曲道路及对应的线性参考图像的图像；

图23A及23B展示用于建立交通工具的位置的方法，例如，在非线性环境中；

图24展示其中使数据交通工具传感器与参考数据相关以相对于数字地图定位交通工具的示范性系统；

图25A、25B及25C展示第一实例使用案例，其中使用参考深度图来构建3D点云，接着，将所述3D点云与从交通工具激光传感器获得的3D点云相比较；

图26A、26B、26C及26D展示第二实例使用案例，其中使用参考深度图来构建3D点云或视图，接着，将所述3D点云或视图与从多个交通工具相机或单个交通工具相机获得的3D场景或视图进行比较；

图27A、27B及27C展示第三实例使用案例，其中使用深度图的反射率数据来构建3D点云或视图，接着，将所述3D点云或视图与从交通工具相机获得的3D场景或视图相比较；

图28A及28B展示第四实例使用案例，其中使用深度图的雷达数据来构建3D点云，接着，将所述3D点云与使用交通工具雷达获得的3D场景进行比较；

图29展示在本发明的实施例中使用的不同坐标系统；

图30描绘当将交通工具传感器数据与参考数据相关以便确定交通工具的位置时执行的步骤；

图31说明经执行以确定图30的方法中的激光点云的步骤；

图32A说明用于执行图30的方法中的相关步骤的第一示范性方法；及

图32B说明用于执行图30的方法中的相关步骤的第二示范性方法。

具体实施方案

已认识到，需要一种用于确定装置(例如交通工具)相对于数字地图(表示可导航网络，例如道路网络)的位置的改进方法。特定来说，需要能够准确地确定(例如，以亚米精度)装置相对于数字地图的纵向位置。在本申请案中的术语“纵向”是指沿着装置(例如交通工具)在其上移动的可导航网络的部分的方向；换句话来说，沿着交通工具在其上行进的道路的长度。本申请中的术语“横向”具有垂直于纵向方向的通常含义，且因此是指沿着道路的宽度的方向。

如将理解，当数字地图包括如上所描述的规划地图(例如，三维向量模型，其中单独表示道路的每一车道(与相对于如标准地图中的道路的中心线相对照)时，装置(例如，交通工具)的横向位置简单地涉及确定装置当前正在其中行进的车道。已知用于执行此确定的各种技术。举例来说，可仅使用从全球导航卫星系统(GNSS)接收器获得的信息进行确定。另外或替代地，可使用来自相机、激光器或与所述装置相关联的其它成像传感器的信息；例如近年来已进行大量研究，其中(例如)使用各种图像处理技术分析来自安装在交通工具内的一或多个摄像机的图像数据以检测及跟踪交通工具在其中行进的车道。一种示范性技术在由河俊华(Junhwa Hur)、康肖南(Sean-Nam Kang)及徐承佑(Seung-Woo Seo)撰写的论文“使用条件随机场的城市驾驶环境中的多车道检测(Multi-lane detection in urbandriving environments using conditional random fields)”中阐述，所述论文发表在《智能交通工具研讨会会议记录(the proceedings of the Intelligent VehiclesSymposium)》，第1297到1302页，电气与电子工程师协会(IEEE)，(2013)。此处，装置可具有来自相机、雷达及/或激光雷达传感器的数据馈送，且使用适当算法实时处理所接收的数据以确定装置在其中行进的装置或交通工具的当前车道。替代地，另一装置或设备(例如可从内华达州的移动眼公司(Mobileye N.V.)购得的移动眼系统)可基于这些数据馈送提供对交通工具的当前车道的确定，且接着将当前车道的确定馈送给所述装置，例如通过有线连接或蓝牙连接。

在实施例中，可通过将交通工具周围的环境(且优选地在交通工具的一侧或两侧上)的实时扫描与相关联于数字地图的环境的参考扫描进行比较来确定交通工具的纵向位置。根据此比较，可以确定纵向偏移(如果存在)，且可使用所确定的偏移来匹配交通工具的位置与数字地图。因此，交通工具相对于数字地图的位置可总是以高精度获知。

可使用定位在交通工具上的至少一个测距仪传感器获得对交通工具周围的环境的实时扫描。至少一个测距仪传感器可以采取任何合适的形式，但在优选实施例中包括激光扫描仪，即LIDAR装置。激光扫描仪可经配置以使激光束扫描遍及环境且创建环境的点云表示；每一点指示反射激光的物体的表面的位置。如应了解，激光扫描仪经配置以记录激光束在从物体的表面反射之后返回到扫描仪所花费的时间，且所记录的时间接着可用于确定到每一点的距离。在优选实施例中，测距仪传感器经配置以沿着单个轴操作以便获得在某一获取角度(例如，50到90°之间，例如70°)内的数据；例如当传感器包括激光扫描仪时，使用装置内的镜来扫描激光束。

图7中展示其中交通工具100沿着道路行进的实施例。交通工具配备有位于交通工具每一侧上的测距仪传感器101、102。虽然传感器经展示在交通工具的每一侧上，但在其它实施例中，在交通工具的一侧上仅可使用单个传感器。优选地，传感器适当地对准使得可组合来自每一传感器的数据，如下面更详细论述。

WO 2011/146523 A2提供扫描仪的实例，其可在交通工具上用于捕获呈3维点云形式的参考数据，或其也可在自主交通工具上用于获得与周围环境有关的实时数据。

如上文论述，测距仪传感器可经布置以沿着单个轴操作。在一个实施例中，传感器可经布置以在水平方向上(即，在平行于路面的平面中)执行扫描。这(例如)在图7中展示。通过在交通工具沿着道路行进时持续扫描环境，可收集如图8中所展示的经感测的环境数据。数据200是从左传感器102收集的数据，且展示物体104。数据202是从右传感器101收集的数据，且展示物体106及108。在其它实施例中，传感器可经布置以在垂直方向上(即在垂直于路面的平面中)执行扫描。通过在交通工具沿着道路行进时持续扫描环境，以图6的方式收集环境数据是可能的。将了解，通过在垂直方向上执行扫描，收集针对多个高度处的平面的距离信息，且因此所得扫描显著地更详细。当然将了解，可根据需要沿着任何轴执行扫描。

环境的参考扫描从先前已沿着道路行进的一个或多个交通工具获得，且接着将其与数字地图适当地对准并使其与数字地图相关联。参考扫描存储在与数字地图相关联的数据库中，且在本文中被称为定位参考数据。当与数字地图匹配时，定位参考数据的组合可被称为定位地图。如将了解，将远离交通工具而创建定位地图；通常由数字地图制作公司(例如汤姆汤姆国际B.V.(TomTom International B.V.)或HERE公司、诺基亚公司)提供。

参考扫描可从专用交通工具获得，例如移动地图绘制交通工具(例如，图3中所展示的)。然而，在优选实施例中，可从由交通工具在其沿着可导航网络行进时收集的经感测的环境数据来确定参考扫描。此经感测的环境数据可被存储且周期性地发送到数字地图绘制公司以创建、维护及更新定位地图。

虽然定位参考数据优选地本地存储在交通工具处，但应了解，所述数据可远程存储。在实施例中，且特别是在本地存储定位参考数据时，数据以压缩格式存储。

在实施例中，针对道路网络中的道路的每一侧收集定位参考数据。在此类实施例中，用于道路的每一侧的参考数据可单独存储，或替代地其可一起存储于组合数据集中。

在实施例中，定位参考数据可经存储为图像数据。图像数据可为彩色(例如，RGB)图像或灰度图像。

图9展示可如何存储定位参考数据的示范性格式。在此实施例中，道路左侧的参考数据提供在图像的左侧，且道路右侧的参考数据提供在图像的右侧；数据集被对准，使得针对特定纵向位置的左侧参考数据集展示为与针对同一纵向位置的右侧参考数据集相对。

在图9的图像中，且仅出于说明性目的，纵向像素大小为0.5m，在中心线的每一侧上存在40个像素。还已确定，图像可存储为灰度图像，而不是彩色(RGB)图像。通过以此格式存储图像，定位参考数据具有对应于30KB/km的大小。

在图10A及10B中可看到另一实例。图10A展示由安装到沿着道路行进的交通工具的测距传感器获取的实例点云。在图10B中，此点云数据已被转换为两个深度图；一个用于交通工具的左侧，且另一个用于交通工具的右侧，其已彼此靠近放置以形成合成图像。

如上所论述，将由交通工具确定的经感测的环境数据与定位参考数据进行比较以确定是否存在偏移。任何确定的偏移接着可用来调整交通工具的位置以使得其准确地匹配数字地图上的正确位置。此确定的偏移在本文中被称为相关指数。

在实施例中，针对纵向路段(例如200m)确定经感测的环境数据，接着将所得数据(例如，图像数据)与针对所述路段的定位参考数据进行比较。通过在此大小的路段(即，基本上大于交通工具的长度的路段)上执行比较，非静止或临时物体(例如道路上的其它交通工具、停在道路旁的交通工具等等)通常将不会影响比较结果。

优选地，通过计算经感测的环境数据与定位参考数据之间的互相关来执行比较，以便确定数据集对准程度最高的纵向位置。最大对准的两个数据集的纵向位置之间的差异允许确定纵向偏移。这(例如)可通过在图8的经感测的环境数据与定位参考数据之间指示的偏移来看到。

在实施例中，当数据集经提供为图像时，互相关包括归一化互相关操作，使得可减轻定位参考数据与经感测的环境数据之间的亮度、照明条件等等的差异。优选地，对(例如，200m长的)重叠窗口周期性地执行比较，使得在交通工具沿着道路行进时持续地确定任何偏移。图11展示在示范性实施例中，依据在所描绘的定位参考数据与所描绘的经感测的环境数据之间的归一化互相关计算所确定的偏移。

图12说明在“参考”数据集与“本地测量”数据集(其在交通工具沿着道路行进时由交通工具获取)之间执行的相关的另一实例。两个图像之间的相关的结果可在“移位”对“纵向相关指数”的图中看出，其中最大峰值的位置用于确定所说明的最佳拟合移位，其接着可用于调整交通工具相对于数字地图的纵向位置。

如可从图9、10B、11及12看出，定位参考数据及经感测的环境数据优选地呈深度图的形式，其中每一元素(例如，在深度图被存储为图像时的像素)包括：指示纵向位置(沿着道路)的第一值；指示高度(即，高于地面的高度)的第二值；及指示横向位置(跨道路)的第三值。深度图的每一元素(例如，像素)因此有效地对应于交通工具周围的环境的表面的部分。如将了解，由每一元素(例如，像素)表示的表面的大小将随着压缩量而改变，使得元素(例如，像素)将表示具有深度图(或图像)的较高压缩水平的较大表面积。

在实施例中，其中定位参考数据存储于装置的数据存储构件(例如，存储器)中，可在交通工具内的一个或多个处理器上执行比较步骤。在其它实施例中，其中远离交通工具而存储定位参考数据，经感测的环境数据可通过无线连接发送到服务器，例如，经由移动电信网络。能够存取定位参考数据的服务器接着将(例如，同样使用移动电信网络)使任何确定的偏移返回到交通工具。

图13中描绘根据本发明的实施例的位于交通工具内的示范性系统。在此系统中，被称为相关指数提供器单元的处理装置从经定位以检测交通工具左侧的环境的测距传感器及经定位以检测交通工具右侧的环境的测距传感器接收数据馈送。处理装置还访问数字地图(其优选地呈规划地图的形式)及定位参考数据的数据库，所述定位参考数据适当地匹配数字地图。处理装置经布置以执行上述方法，且因此任选地在将数据馈送转换为合适形式(例如，组合来自两个传感器的数据的图像数据)之后比较来自测距传感器的数据馈送与定位参考数据以确定纵向偏移及因此交通工具相对于数字地图的准确位置。所述系统还包括地平线提供器单元，且所述地平线提供器单元使用所确定的交通工具的位置及数字地图内的数据来提供关于交通工具将要横越的可导航网络的即将到来的部分的信息(称为“地平线数据”)。此地平线数据接着可用于控制交通工具内的一或多个系统执行各种辅助或自动驾驶操作，例如，自适应巡航控制、自动车道变换、紧急制动辅助等等。

总之，本发明至少在优选实施例中涉及一种基于纵向相关的定位方法。交通工具周围的3D空间以两个深度图的形式来表示，两个深度图覆盖道路的左侧及右侧，且其可组合成单个图像。存储于数字地图中的参考图像与来源于交通工具的激光器或其它测距传感器的深度图互相关，以将交通工具精确地沿着(即，纵向地)数字地图中的道路的表示进行定位。在实施例中，深度信息接着可用于跨(即，横向地)道路定位车辆。

在优选实施方案中，交通工具周围的3D空间被投影到平行于道路轨迹的两个栅格，且投影的值在栅格的每一单元内经平均化。纵向相关器深度图的像素具有沿着行进方向约50cm且高度约为20cm的尺寸。由像素值编码的深度经量化为大约10cm。虽然沿着行进方向的深度图图像分辨率为50cm，但定位的分辨率高得多。互相关图像表示其中激光点被分布及平均化的栅格。适当的上采样使得能够找到子像素系数的移位向量。类似地，约10cm的深度量化并不意味着跨越道路的10cm的定位精度，这是因为量化误差在所有相关像素上被平均化。因此，在实践中，定位的精度主要受激光精度及校准的限制，而纵向相关器指数的量化误差只有极小的贡献。

因此，应了解，定位信息(例如，深度图(或图像))总是可用的(即使在周围环境中没有清晰物体)、紧凑的(存储整个世界的道路网络是可能的)，且使得精度与其它方法相当或甚至比其它方法更好(其归因于其在任何地方的可用性及因此较高的误差平均化可能性)。

图14A展示作为一段定位参考数据的一部分的示范性光栅图像。光栅图像通过将收集到的3D激光点数据正交投影到由参考线界定且垂直于路面定向的超平面上而形成。由于投影的正交性，任何高度信息都与距参考线的距离无关。参考线本身通常平行于车道/道路边界延伸。超平面的实际表示是具有固定水平分辨率及非线性垂直分辨率的光栅格式。此方法旨在最大化关于那些对交通工具传感器进行检测重要的高度的信息密度。实验已展示，5到10米的光栅平面高度足以捕获稍后用于交通工具定位所必需的足够的相关信息。光栅中的每一个别像素都反映一组激光测量。就像垂直分辨率一样，深度信息中的分辨率也是以非线性方式表示的，但通常以8位值(即，作为从0到255的值)存储。图14A展示道路两侧的数据。图14B将图14A的数据的鸟瞰透视图展示为道路的左侧及右侧上的两个分离平面。

如上文所论述，配备有正面或侧面安装的水平安装的激光扫描仪传感器的交通工具能够实时生成类似于定位参考数据的2D平面的2D平面。交通工具相对于数字地图的定位通过先验映射数据的图像空间与实时感测及处理的数据的相关性来实现。纵向交通工具定位是通过对在高度域中具有1个像素模糊及在纵向域中具有索贝尔(Sobel)算子的图像应用在重叠移动窗口中计算的平均非负归一化互相关(NCC)操作获得的。

图15A展示定位参考数据及实时扫描数据的固定纵向分辨率及可变(例如，非线性)垂直及/或深度分辨率。因此，虽然由值a，b及c表示的纵向距离相同，但由值D，E及F表示的高度范围不同。特定来说，由D表示的高度范围小于由E表示的高度范围，且由E表示的高度范围小于由F表示的高度范围。类似地，由值0表示的深度范围(即，最靠近交通工具的表面)小于由值100表示的深度范围，且由值100表示的深度范围小于由值255表示的深度范围，即距交通工具最远的表面。举例来说，值0可表示1cm的深度，而值255可表示10cm的深度。

图15B说明垂直分辨率可如何变化。在此实例中，垂直分辨率基于将参考线以上的高度映射到像素Y坐标值的非线性函数而变化。如图15B中所展示，更靠近参考线的像素(在此实例中在Y处等于40)表示较低高度。也如图15B中所展示，垂直分辨率更靠近参考线，即相对于像素位置的高度变化对更靠近参考线的像素更小，且对距参考线更远的像素更大。

图15C说明深度分辨率可以如何变化。在此实例中，深度分辨率基于将距离从参考线映射到像素深度(颜色)值的非线性函数而变化。如图15C中所展示，较低的像素深度值表示距参考线较短的距离。也如图15C中所展示，深度分辨率在较低的像素深度值处更大，即，相对于像素深度值的距离变化对较低的像素深度值更小，且对较高的像素深度值更大。

图15D说明像素的子集可如何映射到沿着参考线的距离。如图15D中所展示，沿着参考线的每一像素是相同的宽度，使得纵向像素分辨率是固定。图15D还说明像素的子集可如何映射到参考线之上的高度。如图15D中所展示，像素在距参考线更大的距离处逐渐变宽，使得垂直像素分辨率在参考线以上的较大高度处较低。图15D还说明像素深度值的子集可如何映射到距参考线的距离。如图15D中所展示，由像素深度值所覆盖的距离在距参考线更大的距离处逐渐变宽，使得深度分辨率在距参考线的更远的深度距离处较低。

现将描述本发明的一些另外实施例及特征。

如关于图14A所描述，定位参考数据的深度图(例如，光栅图像)可通过正交投影到由与道路元素相关联的参考线界定的参考平面上来提供。图16A说明使用此投影的结果。参考平面垂直于所展示的道路参考线。在此，尽管高度信息与距参考线的距离无关，这可提供一些优点，但正交投影的一个限制是与垂直于道路元素的表面有关的信息可能会丢失。这通过使用正交投影获得的图16B的侧面深度图来说明。

如果使用非正交投影，例如在45度处，那么可保存与垂直于道路元素的表面有关的此信息。此由图16C及16D展示。图16C说明到再一次被界定为垂直于道路参考线的参考平面上的45度投影。如图16D展示，使用此投影获得的侧面深度图包含关于与道路元素垂直的物体的那些表面的更多信息。通过使用非正交投影，关于此类垂直表面的信息可由深度图数据捕获，但不需要包含额外的数据通道，或者以其它方式增加存储容量。应了解，在将此非正交投影用于定位参考数据的深度图数据的情况下，接着应该将对应投影用于将要与其比较的实时感测数据。

定位参考数据的深度图数据的每一像素是基于一组感测测量，例如，激光测量。这些测量对应于指示在像素的位置处物体沿着相关经预先确定方向距参考平面的距离的传感器测量。由于数据被压缩的方式，一组传感器测量将被映射到特定像素。取代确定要与像素相关联的对应于根据所述组传感器测量的不同距离的平均值的深度值，已发现将来自对应于各种传感器测量的距离之中的最近距离用于像素深度值可获得更大精度。重要的是，像素的深度值准确地反映从参考平面到物体最近的表面的距离。当以将最小化碰撞风险的方式准确地确定交通工具的位置时，这是最受关注的。如果使用一组传感器测量的平均值来提供像素的深度值，那么存在以下可能性：深度值将指示到物体表面的距离比事实上在像素位置处的情况更大。这是因为一个物体可能暂时位于参考平面与另一更远的物体之间，例如，一棵树可能位于建筑物的前面。在此情况中，用于提供像素深度值的一些传感器测量将与建筑物相关，且其它传感器测量将与树相关，这是由于传感器测量映射到延伸到树的一侧或多侧上的像素的区域的结果。申请人已认识到，将最接近各种传感器测量作为与像素相关联的深度值是最安全及最可靠的，以便确保可靠地捕获到最近物体的表面的距离，所述物体在此情况中是树。替代地，可导出用于像素的传感器测量的分布，且可采用最接近模式以提供像素深度。这将以类似于最近距离的方式提供像素深度的更可靠指示。

如上文所描述，定位参考数据的深度图数据的像素包含深度通道，所述深度通道包含指示从参考平面中的像素的位置到物体的表面的深度的数据。定位参考数据中可包含一或多个额外像素通道。此将导致多通道或层深度图，且因此导致光栅图像。在一些优选实施例中，第二通道包含指示在像素的位置处的物体的激光反射率的数据，且第三通道包含指示在像素位置处的物体的雷达反射率的数据。

每一像素具有对应于沿着道路参考线(x方向)的特定距离及在道路参考线上方(y方向)的高度的位置。与第一通道c1中的像素相关联的深度值指示参考平面中的像素沿着经预先确定的方向(其可取决于所使用的投影的参考平面与参考平面正交或非正交)到最近物体的表面的距离(优选地对应于用于获得像素深度值的一组感测测量的最近距离)。每一像素可在第二通道c2中具有激光反射率值，其指示在距参考平面的距离c1附近的激光点的平均局部反射率。在第三通道c3中，像素可具有雷达反射率值，其指示在距参考平面大约c1距离处的雷达点的平均局部反射率。此例如在图17中展示。多通道格式允许在深度图中包含大量数据。可使用的另外可能的通道是物体厚度(其可以用于恢复关于垂直于使用正交投影的道路轨迹的表面的信息)，反射点密度及颜色及/或纹理(例如，从用于提供参考扫描数据的相机获得)。

尽管已经关于其中定位参考数据的深度图涉及道路横向侧的环境的实施例描述了本发明，但已认识到，使用不同配置的深度图可对协助在十字路口定位交通工具有用。这些另外实施例可连同远离十字路口的区域的侧面深度图使用。

在一些另外实施例中，参考线被界定为圆形。换句话来说，参考线是非线性的。所述圆由以数字地图十字路口中心为中心的给定半径界定。圆的半径可取决于十字路口的一侧来选择。参考平面可被界定为垂直于此参考线的2维表面。接着，可界定(圆形)深度图，其中每一像素包含以与在使用线性参考线时相同的方式指示沿着经预先确定的方向从像素在参考平面中的位置到物体的表面(即，深度值)的距离的通道。到参考平面上的投影可类似地是正交的，或是非正交的，且每一像素可具有多个通道。给定像素的深度值优选地是基于到物体的最近感测距离。

图18指示圆形及线性参考线，其可用于分别在十字路口及远离十字路口处构建深度图。图19A说明物体可在不同角度位置处投影到圆形深度图上的方式。图19B指示使用正交投影将物体中的每一者投影到参考平面上以提供深度图。

已描述了定位参考数据的深度图(无论是圆形还是其它形式)可与从交通工具获得的实时传感器数据进行比较以便确定参考与实时感测数据之间的纵向对准偏移的方式。在一些另外实施例中，也获得了横向对准偏移。这涉及可在图像域中执行的一系列步骤。

参考使用侧面深度图的实例，在过程的第一步骤中，以先前所描述的方式确定基于参考的侧面深度图与基于实时传感器数据的侧面深度图之间的纵向对准偏移。深度图相对于彼此移位直到它们纵向对准。接下来，参考深度图，即光栅图像，经裁剪以便在大小上与基于实时传感器数据的深度图对应。接着，比较基于如此对准的基于参考的侧面深度图与基于实时传感器的侧深度图的对应位置中的像素的深度值，即，像素的深度通道的值。每一对对应像素的深度值的差异指示像素的横向偏移。此可通过考虑像素的色差来评估，其中每一像素的深度值由颜色表示。在对应像素对之间如此确定的最常见的横向偏移(模式差异)被确定，并且被认为对应于两个深度图的横向对准偏移。最常见的横向偏移可使用像素之间的深度差的直方图来获得。一旦确定了横向偏移，其就可用于校正交通工具在道路上的认为横向位置。

图20A说明可进行比较以确定深度图的横向偏移对准的参考深度图(即，图像)与基于来自交通工具的实时传感器数据的对应深度图或图像。如图20B说明，首先将图像相对于彼此移位以使其纵向对准。接下来，在裁剪参考图像之后，使用两个深度图中的对应像素的像素深度值的差的直方图来确定深度图之间的横向对准偏移-图20C。图20D说明此可如何实现纵向位置，且接着，如何校正交通工具在道路上的横向位置。

一旦已获得基于参考的深度图与基于实时数据的深度图之间的横向对准偏移，就也可校正交通工具的前进方向。已发现，在交通工具的实际前进方向与所认为的前进方向之间存在偏移的情况下，此将导致在基于参考的深度图及基于实时感测数据深度图中的对应像素之间确定非恒定的横向对准偏移根据沿着深度图的纵向距离而变化。

图21A说明穿过参考深度图图像(上)及基于实时传感器的深度图图像(下)的对应部分的一组垂直切片。相对于沿着地图/图像的纵向距离(x轴)绘制每一切片中的对应像素的像素深度值的平均差(即，横向对准偏移)(y轴)。在图21B中展示此图。接着，可通过合适的回归分析来导出描述平均像素深度距离与沿着深度图的纵向距离之间的关系的函数。此函数的梯度指示交通工具的前进方向偏移。

在本发明的实施例中使用的深度图可被变换，以便始终是相对于直线参考线，即，以便成为线性参考图像，例如，如WO 2009/045096 A1中所描述。此具有如图22中所展示的优点。在图22的左侧处是弯曲道路的图像。为了标记弯曲道路的中心线，必须放置若干标记1102。在图22的右手侧处，展示对应于图左侧中的弯曲道路的对应线性参考图像。为了获得线性参考图像，将弯曲道路的中心线映射到线性参考图像的直线参考线。鉴于此变换，参考线现可简单地由两个端点1104及1106来界定。

当在完美的直线道路上时，可直接应用从参考深度图与实时深度图的比较计算出的移位，由于用于产生线性参考图像的线性化过程的非线性性质，直接应用计算出的移位在弯曲道路上是不可能的。图23A及23B展示用于通过一系列递增独立线性更新步骤在非线性环境中建立交通工具的位置的计算有效的方法。如图23A所展示，所述方法涉及在一系列递增独立的线性更新步骤中应用纵向校正，接着应用横向校正，且接着应用前进方向校正。特定来说，在步骤(1)中，使用交通工具传感器数据及基于交通工具相对于数字地图的当前所认为位置(例如，使用GPS获得)的参考深度图来确定纵向偏移。接着，应用纵向偏移来调整交通工具相对于数字地图的所认为位置，且基于调整的位置重新计算参考深度图。接着，在步骤(2)中，使用交通工具传感器数据及重新计算的参考深度图来确定横向偏移。接着，应用横向偏移来进一步调整交通工具相对于数字地图的所认为位置，且基于调整的位置再次重新计算参考深度图。最后，在步骤(3)处，使用交通工具传感器数据及重新计算的参考深度图来确定前进方向偏移或偏斜。接着，应用前进方向偏移来进一步调整交通工具相对于数字地图的所认为位置，且基于调整的位置再次重新计算参考深度图。这些步骤重复在实时深度图与参考深度图之间存在基本为零的纵向偏移、横向偏移及前进方向偏移所需的次数。图23B展示对从交通工具传感器数据生成的点云持续及重复地应用纵向、横向及前进方向偏移，直到那个点云与从参考深度图生成的点云基本上对准。

还描绘定位参考数据的一系列示范性使用案例。

举例来说，在一些实施例中，不是将定位参考数据的深度图用于与基于实时传感器数据的深度图进行比较的目的，而是使用定位参考数据的深度图来生成参考点云，包含三维坐标系统中的一组数据点，每一点表示环境中物体的表面。此参考点云可与基于由交通工具传感器获得的实时传感器数据的对应三维点云进行比较。所述比较可用于确定深度图之间的对准偏移，且因此调整交通工具的确定的位置。

可使用参考深度图来获得参考3D点云，其可与基于交通工具的实时传感器数据(无论那个交通工具具有哪一类型的传感器)的对应点云进行比较。虽然参考数据可基于从各种类型的传感器(包含激光扫描仪、雷达扫描仪及相机)获得的传感器数据，但交通工具可能不具有一组对应传感器。3D参考点云可从参考深度图构建，所述参考深度图可与基于可用于交通工具的特定类型的实时传感器数据获得的3D点云进行比较。

举例来说，在参考定位数据的深度图包含指示雷达反射率的通道的情况下，可在生成参考点云时考虑这一点，参考点云可与使用仅具有雷达传感器的交通工具的实时传感器数据获得的3D点云进行比较。与像素相关联的雷达反射率数据有助于识别应当包含在3D参考点云中的那些数据点，即所述数据点表示将期望交通工具雷达传感器检测的物体的表面。

在另一实例中，交通工具可仅具有用于提供实时传感器数据的一个或多个相机。在此情况中，来自参考深度图的激光反射率通道的数据可用于构建3D参考点云，所述参考点云包含仅与可能被交通工具的相机在当前状态下期望检测到的表面相关的数据点。举例来说，天黑时，应该包含仅相对具有反射性的物体。

可根据需要获得基于交通工具的实时感测数据的3D点云。在交通工具仅包含单个相机作为传感器的情况下，可使用“从运动恢复结构”技术，其中来自相机的一系列图像用于重建3D场景，可从3D场景获得3D点云。在交通工具包含立体相机的情况下，可直接生成3D场景，且将其用于提供3维点云。此可使用基于视差的3D模型来实现。

在又其它实施例中，不是将参考点云与实时传感器数据点云进行比较，而是使用参考点云来重建预期将被交通工具的一个或多个相机看到的图像。接着，可比较图像，且将其用于确定图像之间的对准偏移，其又可用于校正交通工具的所认为位置。

在这些实施例中，可如上文所描述那样使用参考深度图的额外通道以基于在3维参考点云中仅包含将被预期由交通工具的相机检测到的那些点来重建图像具。举例来说，在黑暗中，可使用激光反射率通道来选择包含在3维点云中的那些点，其对应于可由相机检在黑暗中测到的物体的表面。已发现，当确定参考深度图时，使用到参考平面上的非正交投影在此背景中特别有用，从而保存关于在黑暗中仍然可检测到的物体的表面的更多信息。

图24描绘根据本发明的实施例的示范性系统，其中由一或多个交通工具传感器(激光器、相机及雷达)收集的数据用于生成如由交通工具所看到的环境的“实际占用面积”。将“实际占用面积”与从与数字地图相关联的参考数据确定的对应“参考占用面积”进行比较(即，相关)，其中参考数据包含至少一距离通道，且可包含激光反射率通道及/或雷达反射率通道，如上文所论述。通过此相关，可相对于数字地图准确地确定交通工具的位置。

在第一实例使用案例中，如图25A中所描绘，从交通工具中的基于激光的距离传感器(例如，LIDAR传感器)确定实际占用面积，且使其与从参考数据的距离通道中的数据确定的参考占用面积相关，以便实现交通工具的持续定位。图25B展示第一方法，其中如由基于激光的距离传感器确定的激光点云被转换成与参考数据相同格式的深度图，且比较两个深度图图像。图25C中展示第二替代方法，其中从参考数据重建激光点云，且此重建点云与如由交通工具所看到的激光点云相比较。

在第二实例使用案例中，如图26A中所描绘，从交通工具中的相机确定实际占用面积且使其与从参考数据的距离通道中的数据确定的参考占用面积相关，以便实现交通工具的持续定位，虽然只在白天。换句话来说，在此实例使用案例中，使用参考深度图来构建3D点云或视图，接着，将其与从多个交通工具相机或单个交通工具相机获得的3D场景或视图进行比较。在图26B中展示第一方法，其中使用立体交通工具相机来建立基于视差的3D模型，接着，将其用于构建用于与从参考深度图构建的3D点云相关的3D点云。在图26C中展示第二方法，其中使用交通工具相机图像序列来构建3D场景，接着使用所述3D场景来构建3D点云以与从参考深度图构建的3D点云相关。最后，在图26D中展示第三方法，其中将交通工具相机图像与根据从参考深度图构建的3D点云创建的视图进行比较。

在第三实例使用案例中，如图27A中所展示，是对第二实例使用案例的修改，其中可使用位于深度图的通道中的参考数据的激光反射率数据来构建3D点云或视图，其可与基于由一或多个相机捕获的图像的3D点云或视图进行比较。在图27B中展示第一方法，其中使用交通工具相机图像序列来构建3D场景，接着，使用3D场景构建3D点云以与从参考深度图构建的3D点云(使用距离及激光反射率通道两者)相关。在图27C中展示第二方法，其中将交通工具相机图像与根据从参考深度图构建的3D点云(再次使用距离及激光反射率通道两者)创建的视图进行比较。

在第四实例使用案例中，如图28A中所描绘，从交通工具中的基于雷达的距离传感器确定实际占用面积且将其与从参考数据的距离及雷达反射率通道中的数据确定的参考占用面积相关，以便实现交通工具的稀疏定位。在图28B中展示第一方法，其中参考数据用于重建3D场景，且雷达反射率通道中的数据用于仅留下雷达反射点。接着，使此3D场景与如由车辆所看到的雷达点云相关。

当然，应理解，可一起使用各种使用案例，即融合，以允许相对于数字地图更精确地定位交通工具。

将交通工具传感器数据与参考数据相关以便确定交通工具的位置的方法，例如，如上文所论述，现将参考图29到32B进行描述。图29描绘在方法中使用的各种坐标系统：本地坐标系统(本地CS)；车架坐标系统(CF CS)；及沿着车辆轨迹的线性参考坐标系统(LRCS)。另一坐标系统，尽管未描绘，是世界测地系统(WGS)，其中如所属领域已知那样，位置被给定为纬度坐标、经度坐标对。在图30展示一般方法，其中步骤的细节经执行以确定图31中展示的激光点云。图32A展示执行图30的相关步骤的第一示范性方法，其中交通工具的位置通过例如参考数据的深度图光栅图像与从交通工具传感器数据创建的对应深度图光栅图像之间的图像相关来校正。图32B展示执行图30的相关步骤的第二示范性方法，其中交通工具的位置通过从参考数据构建的3D场景与由交通工具传感器捕获的3D场景之间的3D相关来校正。

可至少部分地使用软件(例如，计算机程序)来实施根据本发明的任何方法。因此，本发明还扩展到包括计算机可读指令的计算机程序，计算机可读指令可执行以执行或致使导航装置执行根据本发明的任何方面或实施例的方法。因此，本发明涵盖计算机程序产品，其在由一或多个处理器执行时致使一或多个处理器产生用于在显示屏上显示的合适图像(或其它图形信息)。本发明对应地扩展到包括此软件的计算机软件载体，当用于操作包括数据处理构件的系统或设备时，所述软件与所述数据处理构件一起致使所述设备或系统执行本发明的方法的步骤。此计算机软件载体可为非暂时性物理存储媒体，例如ROM芯片，CDROM或磁盘；或可为信号，例如经由电线的电子信号、光学信号或无线电信号(例如到卫星)或类似物。本发明提供一种含有指令的机器可读媒体，所述指令在由机器读取时致使机器根据本发明的任何方面或实施例的方法来操作。

在不明确陈述的情况下，应了解，本发明在其任何方面可包含关于本发明的其它方面或实施例描述的任何或所有特征，只要它们不是相互排斥的。特定来说，虽然已描述可在所述方法中且由所述设备执行的操作的各种实施例，但应了解，这些操作中的任何一或多者或全部可根据需要酌情以任何组合在所述方法中且由所述设备执行。

Claims (15)

1.一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且每个像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的环境的参考点云，所述参考点云包含在三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

通过使用所述交通工具的至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据，所述实时扫描数据包括指示所述交通工具周围的所述环境的点云，指示所述环境的所述点云包含所述三维坐标系统中的一组第二数据点，其中每一数据点表示使用所述至少一个传感器所确定的所述环境中的物体的表面；

计算所述实时扫描数据的指示所述环境的所述点云与所述获得的定位参考数据的所述参考点云之间的相关，以确定指示所述环境的所述点云和所述参考点云之间的对准偏移；及

使用所述确定的对准偏移调整所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

2.根据权利要求1所述的方法，其中所述至少一个传感器包括一组一或多个激光扫描仪、雷达扫描仪及/或相机。

3.根据权利要求1所述的方法，其中从与所述交通工具相关联的一或多个相机获得的图像用于构建指示所述交通工具周围的所述环境的三维场景，且使用所述三维场景获得所述实时扫描数据的指示所述环境的所述点云。

4.根据权利要求1所述的方法，其中通过以下步骤确定所述实时扫描数据的指示所述环境的所述点云：在所述交通工具沿着所述可导航元素行进或行进穿过接合点时从与所述交通工具相关联的相机获得二维图像序列；使用所述二维图像序列构建指示所述交通工具周围的所述环境的三维场景；及使用所述三维场景获得所述实时扫描数据的指示所述环境的所述点云。

5.根据权利要求1所述的方法，其中通过以下步骤确定所述实时扫描数据的指示所述环境的所述点云：从与所述交通工具相关联的立体相机获得图像；使用所述图像构建指示所述交通工具周围的所述环境的三维场景；及使用所述三维场景获得所述实时扫描数据的指示所述环境的所述点云。

6.根据权利要求1所述的方法，其进一步包括包含预期由与所述交通工具相关联的类型的一或多个传感器检测到及/或预期在当前条件下检测到的所述参考点云中的点。

7.根据权利要求6所述的方法，其中包含预期由与所述交通工具相关联的所述类型的所述一或多个传感器检测到及/或预期在当前条件下检测到的所述参考点云中的点包括使用与所述定位参考数据的所述深度图的所述像素相关联的至少一个反射率数据通道的数据。

8.根据权利要求7所述的方法，其中所述至少一个反射率数据通道包括激光反射率数据通道及/或雷达反射率数据通道。

9.一种确定交通工具相对于数字地图的位置的方法，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述方法包括：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且每个像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的环境的参考点云，所述参考点云包含在三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

使用所述参考点云重建当横穿所述可导航元素时预期由与所述交通工具相关联的一或多个相机在适用条件下获得的参考视图；

使用所述一或多个相机确定所述交通工具周围的所述环境的实时视图；

计算所述参考视图与由所述一或多个相机获得的所述实时视图之间的相关以确定所述参考视图和所述实时视图之间的对准偏移；及

使用所述确定的对准偏移调整所述交通工具的所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

10.根据权利要求9所述的方法，其包括包含预期由所述一或多个相机检测到及/或预期在当前条件下检测到的所述参考点云中的点。

11.根据权利要求10所述的方法，其中包含预期由所述一或多个相机检测到及/或预期在当前条件下检测到的所述参考点云中的点包括使用与所述定位参考数据的所述深度图的所述像素相关联的至少一个反射率数据通道的数据。

12.根据权利要求11所述的方法，其中所述至少一个反射率数据通道包括激光反射率数据通道及/或雷达反射率数据通道。

13.一种非暂时性计算机可读介质，其包括可执行以致使系统执行根据任一前述权利要求所述的方法的计算机可读指令。

14.一种用于确定交通工具相对于数字地图的位置的系统，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述系统包括处理电路，所述处理电路经配置以：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且每个像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的环境的参考点云，所述参考点云包含在三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

通过使用至少一个传感器扫描所述交通工具周围的所述环境确定实时扫描数据，所述实时扫描数据包括指示所述交通工具周围的所述环境的点云，指示所述环境的所述点云包含所述三维坐标系统中的一组第二数据点，其中每一数据点表示使用所述至少一个传感器所确定的所述环境中的物体的表面；

计算所述实时扫描数据的指示所述环境的所述点云与所述获得的定位参考数据的所述参考点云之间的相关以确定指示所述环境的所述点云和所述参考点云之间的对准偏移；及

使用所述确定的对准偏移调整所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

15.一种用于确定交通工具相对于数字地图的位置的系统，所述数字地图包括表示所述交通工具沿着其行进的可导航网络的可导航元素的数据，所述系统包括处理电路，所述处理电路经配置以：

针对所述交通工具沿着所述可导航网络的可导航元素的所认为的当前位置获得与所述数字地图相关联的定位参考数据，其中所述定位参考数据包括指示投影到参考平面上的所述交通工具周围的环境的至少一个深度图，所述参考平面由与所述可导航元素相关联的参考线界定，所述至少一个深度图中的每一像素与相关联于所述交通工具沿着其行进的所述可导航元素的所述参考平面中的位置相关联，且每个像素包含表示沿着经预先确定的方向从所述参考平面中的所述像素的相关联位置到所述环境中的物体的表面的距离的深度通道；

使用所述定位参考数据确定指示所述交通工具周围的环境的参考点云，所述参考点云包含在三维坐标系统中的一组第一数据点，其中每一第一数据点表示所述环境中的物体的表面；

使用所述参考点云重建当横穿所述可导航元素时预期由与所述交通工具相关联的一或多个相机在适用条件下获得的参考视图；

使用所述一或多个相机确定所述交通工具周围的所述环境的实时视图；

计算所述参考视图与由所述一或多个相机获得的所述实时视图之间的相关以确定所述参考视图和所述实时视图之间的对准偏移；及

使用所述确定的对准偏移调整所述交通工具的所认为的当前位置以确定所述交通工具相对于所述数字地图的所述位置。

Images