CN118103881A - 用于确定车辆自身位置的方法及装置 - Google Patents

Abstract

本发明涉及一种用于确定车辆自身位置的节省资源的方法。为此获取路标和与车辆的获取位置相关的数据集。然后将获取的路标匹配(S6)至地图的地图标记，并且从与获取位置相关的数据集和地图标记的测绘位置获得(S7)自身位置。对路标的获取包括提取(S2)路标的原始图像的至少两条线，以及为每条线都指定(S3)方向。然后为每条线生成(S4)描述符，该描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息。从所述至少两条线和相关联的描述符中确定(S5)路标。

Description

用于确定车辆自身位置的方法及装置

技术领域

本发明涉及一种用于确定车辆自身位置的方法，通过：获取路标和与车辆获取位置相关的数据集；将获取的路标匹配至地图的地图标记；从与获取位置相关的数据集和地图标记的测绘位置获得自身位置。此外，本发明涉及一种用于确定自身位置的相应装置以及具有这种装置的相应车辆。在本文中，位置一词也用于表示位姿一词，即地点和取向/姿态。

背景技术

机动车辆，尤其是自动驾驶机动车辆具有许多传感器来感知周围环境。通常，在机动车辆中使用一个或多个摄像机以及可能的超声波传感器、雷达传感器等。这些摄像机专门用于提取自然路标/陆上标志，例如柱子和地面标记。为此，通常将所获取的图像与外部3D地图进行比较，从而确定车辆的自身位置。

从摄像机图像中检测对象通常是使用机器学习方法完成的。特别是，所谓的“深度学习方法”近年来已成为现有技术。这些方法可以使用边界框(Bounding Boxes)从图像中提取对象，或者确定图像的每个像素与语义类别的匹配(语义分割)。尽管这些方法非常有效，但它们存在一些架构上的缺点。

这些缺点之一是它们需要大量的注释工作，因为必须由人类操作员手动标记各个类别的大量示例才能训练相应的网络。尤其是，如果引入具有非常不同的成像特性的新型摄像机，或者该方法要在以前未知的场景中使用(例如从停车场转变到露天停车场、从沥青地面转变到铺砌地面等)，则需要新的手动注释。另一个缺点是在车辆中需要有效的图形地图才能使用此类方法。然而还存在的缺点是边界框方法尤其不能为对象提供几何定位所需的精确观测点。除了单纯的对象检测外，这些方法不提供适于在3D地图匹配中减少模糊性的进一步描述。

公开文本US2016/0305794 A1公开一种使用路标来估计车辆位置的车辆位置估计系统。安装在车辆上的控制装置获取路标信息，该路标信息包括在车辆预期位于的道路上能识别到的路标的位置信息。车辆的控制装置评估对作为识别对象的路标的识别结果，并将识别结果与摄像头识别的路标图像一起发送至服务器。服务器汇总路标识别评估的结果和从摄像头接收到的所识别的图像，并将其反映在对路标信息的识别分数中，并将其传输到车载控制单元。

此外，从公开文本US2019/0226853 A1中已知一种用于对显示车辆周围环境的点云的数据点进行分类的方法和系统。在此，使用与车辆的假设的当前位置相关的数字地图的特征。此类方法和系统可用于识别道路参与者，例如车辆附近的其他车辆。该方法或系统可以优选地用在高度自动化和全自动化的驾驶应用中。

发明内容

本发明的目的是提出一种方法和装置，利用该方法和该装置能从传感器图像(特别是摄像机图像)中提取各种类型的对象，以便能借此确定自身位置。

根据本发明，该目的通过根据独立权利要求的方法和装置来实现。本发明的有利改进方案由从属权利要求得出。

因此，根据本发明提供了一种用于确定车辆自身位置的方法。车辆优选地是机动车辆，但原则上它可以是在环境中移动的并且可能需要自身定向的任何类型的车辆。为此目的，获取路标/陆上标志和与车辆的获取位置有关的数据集。例如，通过生成路标的相应图像的摄像机来获取路标。视情况还可以在一系列多个图像中获取路标。但也可以使用另一传感器系统来执行检测，例如基于超声波、雷达或激光技术的传感器系统。此外，还检测与车辆的获取位置相关的数据集。该数据集可以包括例如里程计数据和车辆相对于路标的相对位置。数据集视情况还可以包括粗略的绝对定位数据(例如GPS数据)。然后将所检测的路标匹配至地图的地图标记。地图优选地是数字3D地图，其中或多或少详细地记录了路标。与真实路标不同，在地图中记录的路标在本文中被称为地图路标。最后，从与获取位置相关的数据集和地图标记的测绘位置中获得车辆的自身位置。由于路标的准确位置是通过相应的地图标记得知的，因此可以根据数据集推导出车辆的绝对获取位置，即车辆的自身位置，该数据集直接或间接包含车辆在获取路标时的获取位置。

获取路标包括提取路标的原始图像的至少两条线。路标的原始图像例如是使用车辆的相应传感器系统(例如摄像机)获得的像素图像。原始图像也可以是传感器系统的预处理的图像。使用线提取从原始图像中提取至少两条线。这种提取是在获取路标的情况下进行的。当然，原则上也可以为路标检测两条以上的线。经常需要提取大量的线才能识别特定类型的路标。

根据本发明，为每条线指定方向。由此产生向量，该向量不仅反映线的走向，还可以根据其方向携带附加信息。为了现在以节约资源的方式获取路标，为每一条线生成描述符。描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息。例如，如果沿着指定方向观察线，则该线可以表征原始图像中的亮-暗过渡或暗-亮过渡。基于所指定的方向，因此还可以考虑到从左向右或从右向左的过渡。例如，白色的地面标记代表深色沥青上的白色条带。该白色条带具有两条平行线。这些线可以被指定一个方向，例如远离摄像机的方向。两条线中的一条线代表相对于指定的方向的暗-亮过渡，另一条线代表亮-暗过渡。有关过渡的相应信息被称为描述符。使用两条平行线连同它们的两个描述符(暗-亮过渡和亮-暗过渡)，可以以节省资源的方式推断出地面标记。从该至少两条线和相关联的描述符中确定对应的路标。

在根据本发明的方法的一种有利实施方案中，使用预定的摄像机内参和摄像机外参，为每条线分配关于其主要是水平延伸还是垂直延伸的位置信息，该位置信息被用于确定路标。虽然外部参数决定摄像机在外部坐标系(例如世界坐标系)中的位置，但内部参数不依赖于摄像机的位置和取向，而是描述摄像机的内部几何结构(例如焦距等)。根据这些摄像机参数，所检测到的线可以分为水平线和竖直线。起决定作用的可以是线的主要方向分量，即，是水平还是垂直走向。该位置信息(垂直或水平)于是被用于确定路标。地面标记通常具有水平的主方向分量(取决于摄像机位置)，柱子通常具有竖直的线。

在该方法的改进方案中，可以确定两条线是否有交点，其中，使用该相关信息来确定路标。如果两条线没有交点，而是例如平行的，那其可以是一条直的带状的地面标记或柱子。然而，如果两条线有交点，则具体可以是由地面标记界定的停车库的一角。因此，交点可以指示非常具体的路标，即停车库的库角。尤其是在停车楼中或停车场上，这种交点对于辨向是非常有帮助的。

现在可以从交点出发为在交点处相交的两条线分别指定方向。这意味着交点对于每条线构成起点，每条线的远端构成各自的终点。由此使用交点得出明确的方向分配。这会产生两个远离交点的向量。两个向量的向量乘积得出垂直于这两个向量的乘积向量。这些向量与乘积向量一起构成了一个右手坐标系，由此清楚地得出乘积向量的取向。向量乘积或乘积向量的方向可以很容易地用于更详细地对路标进行分类。例如，停车库的左角由于其与交点的线而具有向上指向的乘积向量，而右角则具有向下指向的乘积向量。这样就可以轻松区分停车库的库角。

一般而言，向量乘积的特性可用于矩形路标。这种矩形路标还可以例如是环形柱子，其在摄像机图像中产生交替的红色和白色矩形。矩形的该情况也可以使用向量乘积被容易地分析。即，为此确定线的交点所在的至少两个角。在所述至少两个角中的一个角处，向量乘积具有第一方向，在所述至少两个角中的另一个角处，向量乘积具有与第一方向相反的第二方向。这是因为向量中的例如在矩形路标的左前角处的向量具有与在矩形路标的右前角处的相应向量相反的方向。由于这种反向平行性，乘积向量也具有相反的方向。

在另一实施例中，可以规定，确定两条平行的竖直线，基于这两条线的描述符将这些线匹配至对象，根据里程计确定在车辆行驶时两条线之间的距离变化，根据该变化推断出对象的宽度，并且根据该宽度来辨识对象。特别地，该措施对于辨识柱子特别有用。柱子或其他竖直取向的对象(例如标志杆)有两条平行的竖直的线。描述符在此也描述了在对象边缘的亮度或颜色过渡。为了进一步进行界定，必须确定对象的实际宽度。这例如可以使用里程计或相应的里程计数据通过观察两条线之间的距离随车辆行驶如何变化来实现。通过里程计已知运动路径，从而可以推断出对象的远近以及两条线之间的距离。如果对象距离较远，则在车辆行驶时，线之间的距离变化比在对象距离车辆较近时的变化小。由于现在可以根据距离的变化推断出对象的宽度，因此可以根据该宽度更详细地辨识对象。例如，如果确定宽度为10厘米，则可以将该对象辨识为柱子。在这种情况下，可以排除道路标志的杆。

在一种特殊的实施例中，将在路标检测时提取的线分为三组：竖直的线、在所获取的水平面下方的非竖直的线以及在水平面上方的非竖直的线。这种分类有助于辨识所获取的路标。例如，竖直的线是竖直的对象(例如柱子)的候选线。相反，水平面以下的非竖直的线是地面标记的候选线。水平面以上的非竖直的线通常可以被弃用。

在另一实施例中在使用预定的摄像机内参和摄像机外参的情况下对在获取路标时所提取的在预定的最大距离处具有端点的线进行分组，该分组用于确定路标。例如，端点紧邻的成对的线可以构成同一3D直线的线段。然而，其他也具有在紧邻处或在预定的最大距离处具有端点的成对的线可以具有交点。然后可以使用这样具有交点的成对的线来辨识矩形路标(例如停车库)的角部。因此，具有相邻端点的这种线的分组可以用于进一步辨识路标。

根据本发明，上述任务还通过一种用于确定自身位置的装置来实现，具有：

-用于获取路标和与获取位置相关的数据集的获取装置，

-匹配装置，用于将获取的路标匹配至地图的地图标记，以及

-确定装置，用于从与获取位置相关的数据集和地图标记的测绘位置中获得自身位置，其中

-获取装置在获取路标时可以提取路标的原始图像的至少两条线，

-获取装置可以为每条线指定方向，

-获取装置可以为每条线生成描述符，其包含关于以各自的方向为基准垂直于相关的线有哪种颜色过渡或亮度过渡的信息，

-获取装置可以从至少两条线和相关的描述符中确定路标。

本发明还包括根据本发明的装置的改进方案，其具有已经结合根据本发明的方法的改进方案描述的特征。为此，这里不再描述根据本发明的装置的相应改进方案。

本发明还包括所描述的实施方式的特征的组合。

附图说明

下面描述本发明的实施例。附图示出：

图1示出根据本发明的方法的实施例的示意性框图；和

图2示出以地面标记为例的根据本发明的路标识别的操作图；和

图3示出根据本发明的车辆的实施例的示意性实施方式。

具体实施方式

下面阐述的实施例是本发明的优选实施例。在实施例中，所描述的各部件分别代表本发明的各单独的、可彼此独立地看待的特征，这些特征也彼此独立地改进了本发明，并因此单独地或者以与所示组合不同的其他组合的形式被视为本发明的一部分。此外，所描述的实施例还可以通过本发明的已经描述的其他特征来补充。

在附图中，功能相同的元件均具有相同的附图标记。

图1的示例示出了根据本发明的方法的可能的实施方式，其具有多个单独步骤S1至S7。在第一步骤S1中检测原始图像。这可以例如通过摄像机、超声波传感器、雷达传感器等进行。在第二步骤S2中，在获取路标时从路标的原始图像中提取至少两条线。视情况可提取多于两条的线。根据所提取的线来辨识路标的可预定的类型。为此，在步骤S3中为每条线指定方向。该方向可以通过线的起点和终点来定义。在随后的步骤S4中，为每条线生成描述符，该描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息。描述符包含例如关于明暗过渡的信息。为此还需要有关暗区域位于线的哪一侧以及亮区域位于线的哪一侧的信息。因此以线的所指定的方向为参照。通过该方向可以清楚地定义亮区域和暗区域位于哪一侧(例如左侧或右侧)。在进一步的步骤S5中，根据所述至少两条线和相关联的描述符来确定路标。线以及携带相对于线的方向垂直于线的颜色信息或亮度信息的描述符能在最简单的情况下实现与路标的匹配。如果有更多信息可用，也可以将这些信息用于进一步辨识路标。

如果路标现在固定不动，则在步骤S6中可以将获取的路标匹配至地图的地图标记。在最简单的情况下，地图上只有一个地图标记与所检测的路标相对应。由此能立即进行明确的匹配。然而，如果地图具有多个有可能对应于所检测的真实路标的地图标记，则视情况需要额外的例如关于里程计或其他定位系统的信息。在这种情况下，必须获得有关车辆的获取位置或检测位姿的信息。这些信息可以汇总在相应的数据集中。在此方面，数据集还包含例如有关车辆与路标的相对位置或位姿的信息。基于与获取位置相关的数据集和地图标记的测绘位置，现在可以根据步骤S7获得车辆的自身位置。例如，由于地图标记的绝对位置和车辆在获取路标时的相对位置是已知的，因此可以据此确定车辆在获取路标时的自身位置。

下面介绍该方法的具有多个可选步骤的实施例，其中，能以节约资源的方式从摄像机图像中提取不同类型的对象。

首先，在第一步骤中，可以进行线提取，其中例如使用标准线检测器(例如LSD方法；线段检测器)从灰度摄像机图像中提取线或线段。每个线段可以由图像中的起点和终点表示，其中起点和终点的顺序用于为线指定方向，根据该方向可编码垂直于线的明暗过渡。

在该方法的可选的第二步骤中，可以进行线的粗略分类。在此可以使用预定的摄像机内参和外参将所提取的线例如分为三组：

-潜在竖直的线(即位于垂直于地平面的并穿过摄像机中心的平面中的线)。这些线是竖直的对象(例如柱子)的候选线。

-水平面以下的非竖直线。这些线是地面标记的候选线。

-水平面以上的非竖直线。这些线可以被弃用。

在可选的下一步骤中，可以进行分组，并且视情况可以进行交点计算。为此，分析成对的、端点紧邻(即具有预定的最大间距)的线或线段。考虑到摄像机参数(内参和外参)，这些成对的线的可以例如分为两类：

-可能来自同一3D直线的成对的线，例如，由于在投影时的摄像机畸变，该3D直线会分解成不位于一条直线上的多个线段(这些成对的线可能会被弃用)。

-并非如此情况的成对的线。这些成对的线在图像中的交点被保存以供进一步处理。

在该方法的可选的第四步骤中，可以提取地面标记。这种地面标记通常是深色沥青地面上的白色条带。这种地面标记可以由于其几何形状和对比度可靠地被识别。因此，地面标记通常是从数据中提取的第一路标类型。尤其是，这些地面标记是水平面以下的线或线段，可以携带作为描述符或附加信息的明暗过渡方向。

在可选的第五阶段，可以提取交点路标。这种交点路标例如是停车库2的地面标记1，如图2中示例所示。所示的四个停车库2通过第一标记部分4与车道3分开。停车库2又通过第二标记部分5彼此分开。第二标记部分5垂直于第一标记部分4，从而形成矩形停车库2。

第一标记部分4直接邻接第二标记部分5。因为这里的停车库是暗的而地面标记是亮的，所以线检测器可以清楚地将过渡或边界识别为线。

图2中示出所获取到的两条线6和7。第一条线6位于停车库2到第一标记部分4的暗-亮过渡处。第二条线7位于到第二标记部分5的暗-亮过渡处。两条线6和7相交于交点8。从交点8出发，线6被指定为在图像中向右的方向，而线7被指定为在图像中向上的方向。优选地，线的各自方向远离交点8指向。使用这样的交点8，于是可以识别出第二类路标。这些线还配备有描述符，该描述符包含根据定义为线指定的方向。两条线6和7将交点8周围的区域分成两个部分，即亮区和暗区。亮区的主方向也可以作为“白色向量”添加到描述符中。

从由线6和7(包括它们的方向)定义的两个向量可以通过向量乘法确定第三向量9。该第三向量9垂直于基于线6和7的其他两个向量。在本示例中，第三向量9从图像平面伸出。因为它从图像平面伸出，所以它标记了停车库2的左角。在停车库2的右角，向量具体基于第一条线6的相反的方向，因此向量乘积得出第三向量，该第三向量指向图像平面中。因此，该第三向量具有与图2所示的在停车库2的左角的第三向量9相反的方向。因此，利用向量乘积可以容易地区分停车库2的左角和右角。这样，就可以很容易地区分路标。为了将这些角识别为路标，不需要将线完全地检测到。而是仅在交点处识别或检测到线的一部分就足够了。这在停车库被机动车辆占用时是特别有利的。

在该方法的另一可选步骤中，可以提取线状的柱子。为此，线状的柱子可以被视为成对的平行线。线之间的距离用作描述符。例如，可以通过在行驶期间多次分析柱子来获得线之间的距离。基于行驶中产生的附加的里程计数据，最终可以确定线之间的实际距离，即柱子的厚度。因此可以将柱子与例如交通标志杆区分开来。

在该方法的另一个可选步骤中，可以提取环状柱子。为此，环状柱子必须具有已知的颜色(例如红色/白色)。当水平观察时，柱子的各个环代表矩形，该矩形又可以类似于矩形的停车库被辨识。使用已知的摄像机参数将矩形关联于线性的竖直的对象。这些对象代表提取的柱子。环的数目和对象的宽度可以用作描述符。

图3示意性地示出车辆(此处为机动车辆)10，其具有用于确定车辆10自身位置或位姿的装置。装置11具有获取装置12，其在这里象征性地示出为外后视镜13上的摄像机。获取装置12还可以基于其他传感器技术，如上面已经提到的(例如超声波、雷达等)。获取装置12还用于检测与车辆的获取位置相关的数据集。这意味着获取装置12必须能获取装置11或车辆10的(视情况)相对于路标的位置。该获取位置可以是粗略位置或估计位置。在更多情况下，检测的路标只能通过粗略位置被匹配给地图标记。视情况可以使用里程计技术和/或其他位置检测技术来确定粗略位置。

装置11还包括匹配装置14，用于将获取装置12获取的路标匹配至地图上的地图标记。此外，装置11包括确定装置15，用于从与获取位置相关的数据集和地图标记的测绘位置中获得自身位置。

获取装置12能在获取路标时提取路标的原始图像的至少两条线，并且为每条线指定方向。此外，获取装置被设计成，为每条线生成描述符，该描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息。最后，获取装置12可以从所述至少两条线和相关联的描述符中来确定路标。

有利地，本发明或实施例使得能从例如与特殊摄像机模型无关的摄像机图像中识别路标。因此，所描述的方法可以转用于具有已知参数的任意摄像机模型。此外，路标的检测方法在很大程度上与照明和天气条件以及所观察的场景类型无关。该方法还可以在无需手动注释工作、无需图形卡的情况下以适度的CPU消耗实施。还提供了描述符，其可以与3D地图进行比较。3D地图应包含与从图像中获取的路标类型的相同的路标类型。但3D地图不必须以摄像机图像的信息来生成。

在优选的实施例中，使用固定安装在车辆中的具有已知的内参和外参的摄像机系统。集成在车辆中的计算机可以具有从摄像机图像中进行路标检测的模块。计算机的定位模块最终可以将所提取的路标与3D地图进行比较，并从中确定车辆的位置或位姿。

附图标记列表

1 地面标记

2 停车库

3 车道

4 第一标记部分

5 第二标记部分

6 第一条线

7 第二条线

8 交点

9 第三向量

10 机动车辆

11用于确定自身位置的装置

12 获取装置

13 外后视镜

14 匹配装置

15 确定装置

S1-S7步骤。

Claims (10)

1.一种用于确定车辆(10)自身位置的方法，包括：

-获取路标和与车辆的获取位置相关的数据集(S1至S5)，

-将获取的路标匹配至地图上的地图标记(S6)，以及

-从与获取位置相关的数据集和地图标记的测绘位置获得自身位置(S7)，

其特征在于，

-对路标的获取包括提取路标的原始图像的至少两条线(6、7)(S2)，

-为每条线都指定方向(S3)，

-为每条线生成描述符(S4)，该描述符包含关于以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息，

-由所述至少两条线(6、7)和相关联的描述符确定路标。

2.根据权利要求1所述的方法，其中，使用预定的摄像机内参和摄像机外参为每条线分配关于该条线主要是水平延伸还是垂直延伸的位置信息，并且将所述位置信息用于确定路标。

3.根据权利要求1或2所述的方法，其中，确定所述两条线是否具有交点(8)并且将与此相关的信息用于确定路标。

4.根据权利要求3所述的方法，其中，基于交点(8)为两条线分别指定方向，从而产生两个向量，并且将这两个向量的向量乘积用于确定路标。

5.根据权利要求4所述的方法，其中，根据线(6、7)的交点(8)所在的至少两个角来确定矩形路标，在所述至少两个角中的一个角处，向量乘积具有第一方向，在所述至少两个角的另一个角处，向量乘积具有与第一方向相反的第二方向。

6.根据权利要求1或2所述的方法，其中，确定两条平行的竖直的线，基于这两条线的描述符将这些线分配给对象，在车辆(10)行驶时使用里程计确定这两条线的距离的变化，并根据变化推断出对象的宽度，并根据该宽度辨识对象。

7.根据前述权利要求中任一项所述的方法，其中，在获取路标时提取的线(6、7)被分为三组：竖直线、在所获取的水平面下方的非竖直线以及在水平面上方的非竖直线。

8.根据前述权利要求中任一项所述的方法，其中，使用预定的摄像机内参和摄像机外参对在获取路标时所提取的、具有在预定最大距离处的端点的线(6、7)进行分组，并且将所述分组用于确定路标。

9.一种用于确定自身位置的装置，具有：

-用于获取路标和与获取位置相关的数据集的获取装置(12)，

-匹配装置(14)，用于将获取的路标匹配至地图的地图标记，以及

-确定装置(15)，用于从与获取位置相关的数据集和地图标记的测绘位置获得自身位置，

其特征在于，

-由获取装置(12)在获取路标时能提取路标的原始图像的至少两条线(6、7)，

-由获取装置(12)能为每条线指定方向，

-由获取装置(12)能为每条线生成描述符，该描述符包含以各自的方向为基准垂直于相关的线存在哪种颜色过渡或亮度过渡的信息，

-由获取装置(12)能从所述至少两条线和相关联的描述符确定路标。

10.一种具有根据权利要求7所述的装置的车辆(10)，其中，所述自身位置是所述车辆的位置。