CN107798724B

CN107798724B - 自动化车辆3d道路模型和车道标记定义系统

Info

Publication number: CN107798724B
Application number: CN201710779432.0A
Authority: CN
Inventors: J·K·希夫曼; D·A·施瓦茨
Original assignee: Delphi Technologies Inc
Current assignee: Aptiv Technologies Ltd
Priority date: 2016-09-02
Filing date: 2017-09-01
Publication date: 2022-03-18
Anticipated expiration: 2037-09-01
Also published as: CN107798724A; CN114596410A; EP3291138A1; US20180067494A1

Abstract

适于在自动化车辆上使用的道路模型定义系统(10)，包括相机(14)、激光雷达单元(20)和控制器(24)。相机(14)用于提供主车辆(12)附近的区域(18)的图像(16)。激光雷达单元(20)用于提供描述区域(18)的点云(22)。控制器(24)与相机(14)以及激光雷达单元(20)通信。所述控制器(24)被配置为确定图像(16)中的车道标记(26)的图像位置(28)，从表示行驶表面(42)的点云(22)中选择地面点(44)，基于地面点(44)确定三维(3D)道路模型(40)的系数，以及基于车道标记(26)的图像位置(28)和3D道路模型(40)来确定将图像(16)中的车道标记(26)映射到行驶表面(42)的变换(60)，并由此获得3D标记模型。

Description

自动化车辆3D道路模型和车道标记定义系统

技术领域

本发明公开总体上涉及道路模型定义系统，具体而言，涉及一种系统，其确定用于将来自摄像机的图像中存在的车道标记映射到基于激光雷达数据的行驶表面模型的变换，以获得车道标记的3D标记模型。

背景技术

为了确保在包括诸如自动驾驶车辆在内的自动化车辆中所使用的各种系统的良好性能，需要在主车辆前方即将驶过的行驶表面(例如，道路)的精确模型。已知的技术是在假设行驶表面是平面的前提下，即行驶表面平坦且平整的前提下，对行驶表面的车道标记进行建模。然而，行驶表面实际上经常是拱起的，即行驶表面的高度朝着路沿逐渐降低，这对于雨季条件下的排水是有利的。而且，随着主车辆沿着行驶表面移动，行驶表面的俯仰角(例如，上坡或下坡)发生变化，经常出现与之相关的垂直曲率分量。在这些非平面条件下，来自视觉系统的车道标记估计以平面的行驶表面作为假设前提，会导致不够准确的道路模型。行驶表面也可能会被抬高一侧，或者说倾斜，以使得在高速公路出口等路段能够以更高速度转弯，而这在平面道路的情况下，对于车辆控制是重要的。

发明内容

这里描述了一种道路模型定义系统，其使用改进的技术，用激光雷达和照相机来获得行驶车道的三维(3D)模型。3D道路模型包含行驶表面的拱起和垂直曲率的分量，以及在照相机的图像中检测到的车道标记的垂直和/或水平曲率。3D模型允许更准确地估计环境的相关特征，例如前车相对于行驶车道的位置，并且允许在自动驾驶设置中更准确地控制主车辆，例如更好地通知转向控制器行驶车道的3D形状。

根据一个实施例，提供一种适用于自动化车辆的道路模型定义系统。该系统包括相机、激光雷达单元和控制器。相机用于提供主车辆附近区域的图像。激光雷达单元用于提供描述区域的点云。控制器与相机以及激光雷达单元通信。控制器被配置为确定图像中的车道标记的图像位置，从表示行驶表面的点云中选择地面点，基于地面点确定三维(3D)道路模型的系数，以及基于车道标记的图像位置和3D道路模型来确定将图像中的车道标记映射到行驶表面的变换，并由此获得3D标记模型。

阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。

附图说明

现在将参考各个附图，作为示例，来描述本发明，其中：

图1是根据一个实施例的道路模型定义系统的示图；

图2是根据一个实施例的由图1的系统所捕捉到的图像；

图3是根据一个实施例的由图1的系统使用的数据的曲线图；

图4是根据一个实施例的由图1的系统确定的3D模型的曲线图；以及

图5是根据一个实施例的由图1的系统确定的3D模型的另一曲线图。

具体实施方式

图1示出了适合自动化车辆(例如主车辆12)使用的道路模型定义系统10(以下称为系统10)的非限制性示例。虽然所呈现的示例其主要特征是一般涉及本车辆12在自动模式(即完全自动驾驶模式，该模式下本车辆12的人工操作者(未示出)除了指定目的地外几乎不进行主车辆12的操作)下进行操作的情形，但应该可以想到，这里给出的教导同样适用于以手动模式操作主车辆12的情形。在手动模式下，自动化的程度或等级可能仅限于向总体上控制主车辆12的转向、加速器和制动器的操作人员提供转向辅助。也就是说，系统10只会根据需要来帮助操作人员将主车辆12保持在行驶车道中心、维持主车辆12的控制、和/或避免对例如其他车辆的干扰和/或碰撞。

系统10包括但不限于用于提供主车辆12附近区域18的图像16的相机14和用于提供表示区域18的点云22(即，如本领域技术人员所能够理解地，激光雷达检测点的坐标集合)的激光雷达单元20。虽然图示中把相机14和激光雷达单元20两者设置在一起(可能在一个集成单元中)，但这不是必须的。可以理解，把两者设置在一起将简化图像16和点云22的对齐。然而，已知有多种技术，用于当相机14和激光雷达单元20位于主车辆12上相互隔开的位置时，进行数据的对齐。相机14和激光雷达单元20的视场也不要求是一样的。也就是说，例如，相机14可以具有比激光雷达单元更宽的视场，但是两者的视场都要包括或覆盖区域18，区域18通常可以被表征为主车辆12的前方。

系统10包括与相机14和激光雷达单元20通信的控制器24。控制器24可包括诸如微处理器的处理器(未具体示出)，和/或其它控制电路诸如模拟和/或数字控制电路，包括本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器24可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(EEPROM)。处理器可以执行一个或多个例程，以根据控制器24从相机14和激光雷达单元20接收的信号来执行用于确定关于主车辆12的区域18的3D模型的步骤，下文还将详细描述。

图2示出了由相机14捕捉或提供的图像16的非限制性示例，其包括或示出了车道标记26。如本领域技术人员所能理解的，图像16底部的车道标记26的端部相对靠近主车辆12，而顶部的端部相对远离主车辆12。可以认识到，例如存在于区域18中的其他物体的许多其它细节和特征可能呈现于图像16中，但是图2中未示出，仅仅是为了简化图示。还可以认识到，可能还存在未示出的图像中的车道标记的其他实例，并且车道标记26也可以不是实(即，连续)线，而是例如虚线，或虚线和实线的组合。

控制器24被配置为确定图像16中的车道标记26的图像位置28。作为示例而非限制，可以通过形成在图像16中检测到车道标记26的像素或坐标的列表来方便地表示车道标记26的图像位置28。对于每个车道标记，列表可以根据检测到车道标记26的第i次实例来组织，该列表可以被描述为：

L(i)＝[u(i),v(i)]i＝1:N 式1

其中u(i)是第i个坐标实例的垂直坐标，v(i)是第i个坐标实例的水平坐标，表示在图像16中检测到的车道标记26的图像位置28。如果相机14具有1024×768的总共786,432个像素的分辨率，列表中的条目数可能过分地大，即，分辨率可能过分地精细。作为一种替代方案，通常的方法是列出检测到的车道标记的中心或中线的像素位置(u，v)，使得列表将确定或形成沿车道标记26的中心或中间的线。作为另一替代方案，像素可以被分组为例如每像素组12个像素(例如，4×3像素)，使得可能的条目数为65,536，在控制器24能力有限的情形下这一数量将更加可操作。很明显，车道标记26通常仅占据图像16的一小部分。因此，检测到车道标记的实际像素数或像素组数将远小于图像16中像素或像素组的总数。当例如一个像素组中的一半或超过一半的像素表示存在车道标记26时，可以将第i个像素或像素组指定为表示或覆盖或对应于通道标记26。

图3示出了曲线图30的非限制性示例，其示出了对应于图2中的车道标记26的图像标记32、对应于图像标记32在零高度平面36上的反向透视投影的投影标记34、以及对应于车道标记26在区域18的3D模型(图4)上所处位置的模型标记38三者之间的关系，其中，零高度平面36由主车辆12的轮胎接触区域建立或限定。在这一点上，应该认识到，在可以通过将投影标记34投影到3D模型上来确定模型标记38之前，必须确定该区域的3D模型。

已经观察到，道路上车道标记的真实3-D位置与基于平坦零高度地平面的假定位置之间的差异实际上可能由于垂直曲率(例如，道路弯曲上坡或下坡)和/或水平曲率或倾斜(道路拱起，高速出口匝道等)而相当显著，这可能导致影响了主车辆12的精确控制。例如，注意到投影标记34的线随着经度值增加而逐渐发散。这是因为车道标记实际所在的实际道路向上弯曲，即具有正的垂直曲率。因此，当将平面道路作为假设前提而将图像标记32投影到零高度平面36上时，对垂直曲率的补偿不足导致投影标记34发散。

图像标记32在道路的3D模型上的投影产生模型标记38，在不失一般性的情况下其可以通过假设相机14的理想针孔模型来执行。假设相机14位于的笛卡尔坐标系(X，Y，Z)中[0,0,hc]处，其中hc为行驶表面42上方相机14的高度，并且相机14的焦距设为f，针孔相机模型用下式2和式3将第i个像素或像素组从相对世界坐标系(x，y，z)投影到图像坐标系(u，v)。

u(i)＝f*{z(i)–hc}/x(i) 式2

v(i)＝f*y(i)/x(i) 式3

图4示出了区域18(图1)的三维(3D)道路模型40的非限制性示例，此处为双二次模型50。为了帮助将模型标记38适配到道路(例如作为区域18的一部分的行驶表面42)的3D模型(图1)，需要3D道路模型40。为了区分不适合主车辆12行驶的部分区域18和适合主车辆12行驶的部分区域18，即，区分路内区域(可能包括路肩)和路外区域以及避让物，控制器24被配置为从点云22选择表示行驶表面42的地面点44。本领域技术人员将认识到，有许多方法可以从点云22中选择哪个地面点44可能是表示行驶表面42的。作为示例而不是限制，地面点44可以是点云22中以高度值46小于高度阈值48为特征的那些点。本领域技术人员可以认识到，组成点云22的云点的各实例的高度值46可以基于由激光雷达单元20所指示的范围和到该云点的仰角来进行计算。

一旦定义了用于定义行驶表面42的地面点44，控制器24被配置成基于地面点44确定行驶表面42的3D道路模型40。给定一组M个激光雷达测量值，其中，r(k)、φ(k)和θ(k)分别为第k个激光雷达测量值的范围、仰角和方位角，路面模型可以被适配至这些测量值。典型的模型包括：平面，双线性，二次，双二次，立方和二次立方，并且还可以是这些模型的细分块(tessellated patches)。虽然基于三维道路模型40可以提供许多表面功能，但分析表明，优选的是三维道路模型对应于地面点44的双二次模型50，其可以被表示为：

其中h1是激光雷达单元20在零高度平面36上方的高度。z(k)使用以下的双二次模型来确定：

z(k)＝a1+a2*x(k)+a3*y(k)+a4*x(k)^2+a5*y(k)^2+a6*x(k)*y(k)+

a7*x(k)^2*y(k)+a8*x(k)*y(k)^2+a9*x(k)^2*y(k)^2 式5

其中，假设a9为零(a9＝0)，以简化模型。三维道路模型40然后由一组估计的系数集合

来确定，用以最适合测量数据的模型。然后通过以下方式给出直接最小二乘解：

或

或

现在给出图像标记32在相机图像平面中的行车道标记位置和行驶表面42的3D道路模型40，两者可以融合在一起以获得车道标记点的估计3-D位置。这可通过求解由3D道路模型40进行限制后的相机投影模型的非线性方程来完成。道路模型的优选实施例是由式4、式5、式6给出的双二次模型50。在下面的式7中，系数

是通过求解式6而进行估计的系数。点(u_k,v_k)是图像平面、像素、检测车道标记的位置。然后求解车道标记检测的相应的世界坐标系坐标x(k)、y(k)、z(k)，即，(x_k,,y_k,z_k)，其中

该方程组的解是一个三次多项式方程。通过求根(root finding)方法，或割线法等优化技术，该方程式可以用三次多项式的闭式解来求解。

然后可以求解式8，获得z_k、x_k以及y_k，以提供融合/重建的车道标记的3-D位置

再次参考图3和图4，应当理解，模型标记38与3D路面模型的投影标记34的融合重建相当，在该示例中，3D路面模型是双二次模型50。也就是，模型标记38对应于实际或真实的车道标记位置。

图5示出双二次模型50，包括图像标记32、投影标记34、以及得到的双二次模型50的融合，和投影标记34，这即是一种三维车道模型58。

给定来自式8和式9的投影标记34的位置，每个车道标记的点可以被转换成曲线的更紧凑的表示。在优选实施例中，每个车道标记由独立地对水平和垂直曲率进行模拟的两个二维三次多项式52表示。即，三维道路模型40用基于车道标记26的水平曲率54和垂直曲率56的两个二维三次多项式52来表征车道标记26。例如，给定左车道标记的三维重构点{x_k,y_k,z_k}^左，则水平曲率由下式表示

其中

并且垂直曲率由下式表示

其中

也就是说，控制器24被配置为基于车道标记26的图像位置28和3D道路模型40来确定将图像16中的车道标记26映射到行驶表面42的变换60，并由此获得3D车道模型58。

因此，提供了车道模型定义系统(系统10)、用于系统10的控制器24以及操作系统10的方法。系统10提供车道标记26的图像16与行驶表面42的3D道路模型40的融合，以提供车道标记26的3D车道模型，使得能够将由行驶表面42的水平曲率54和/或垂直曲率56导致的所有实质误差考虑在内，而不是假定行驶表面42是平坦的。

尽管已经根据本发明的优选实施例描述了本发明，但是并不限制于此，而是仅在所附的权利要求书所阐述的范围内为限。

Claims

1.一种适用于自动化车辆的道路模型定义系统，所述系统包括：

控制器，所述控制器与相机通信，所述相机用于提供主车辆附近的区域的图像，所述控制器进一步与激光雷达单元通信，所述激光雷达单元用于提供描述所述区域的点云，所述控制器被配置用于：

确定所述图像中的车道标记的图像位置；

从指示行驶表面的所述点云中选择地面点；

基于所述地面点确定所述行驶表面的三维(3D)道路模型；

基于车道标记的所述图像位置和所述行驶表面的所述3D道路模型来确定将所述图像中的所述车道标记映射到所述行驶表面的变换，以获得所述车道标记的3D车道模型；以及

根据所述车道标记的所述3D车道模型来操作所述主车辆。

2.根据权利要求1所述的系统，其特征在于，来自所述点云的所述地面点特征是高度值小于高度阈值。

3.根据权利要求1所述的系统，其特征在于，所述控制器被进一步配置用于：通过从所述地面点的多项式模型导出所述3D道路模型，来确定所述3D道路模型。

4.根据权利要求3所述的系统，其特征在于，所述控制器被进一步配置用于：将所述3D道路模型确定为所述多项式模型的双二次模型。

5.根据权利要求1所述的系统，其特征在于，所述控制器被配置用于：通过利用所述3D道路模型，用基于所述车道标记的水平曲率和垂直曲率的两个2D三次多项式表征所述车道标记，来根据所述车道标记的3D车道模型操作所述主车辆。