CN116129389B

CN116129389B - 一种车道线获取方法、计算机设备、可读存储介质及机动车

Info

Publication number: CN116129389B
Application number: CN202310307533.3A
Authority: CN
Inventors: 狄路杰; 黄栋泽; 冯善初; 朱建华
Original assignee: Zhejiang Zero Run Technology Co Ltd
Current assignee: Zhejiang Zero Run Technology Co Ltd
Priority date: 2023-03-27
Filing date: 2023-03-27
Publication date: 2023-07-21
Anticipated expiration: 2043-03-27
Also published as: CN116129389A

Abstract

本发明公开了一种车道线获取方法、计算机设备、可读存储介质及机动车，涉及自动驾驶技术领域，用于获取车辆的后向车道线，包括如下步骤：根据IMU和轮速里程计数据对车辆进行航迹递推；获取视觉传感器的车道线感知结果；对车道线感知结果进行离散化形成车道线点云；将历史车道线点云根据航迹递推结果投影到当前自车坐标系以后进行拟合得到后向车道线。本发明实现了对车辆后向车道线的准确判断。

Description

一种车道线获取方法、计算机设备、可读存储介质及机动车

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种车道线获取方法、计算机设备、可读存储介质及机动车。

背景技术

车道线检测是自动驾驶中必不可少的功能，是车辆行驶轨迹规划、车辆自动控制的重要依据之一。对于车道保持、碰撞预警、自适应巡航等辅助驾驶功能来说也是至关重要的技术。现有技术，车道线检测大多仅针对车辆前方的车道线。但是，仅有前向车道线，无法完整描述车道的几何形状。并且，结合后向车道线的构建是全方位环境感知的基础，可以辅助后向车辆的感知，得知后向车辆所在的车道、运动趋势等信息，为车辆的并线决策提供更多信息，进而提升辅助驾驶功能的安全性。

发明内容

本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种车道线获取方法，实现了对车辆后向车道线的准确判断。

为了达到上述目的，本发明采用如下技术方案：

一种车道线获取方法，用于获取车辆的后向车道线，包括如下步骤：

根据IMU和轮速里程计数据对车辆进行航迹递推；

获取视觉传感器的车道线感知结果；

对车道线感知结果进行离散化，形成车道线点云；

根据航迹递推结果将车道线点云投影到自车坐标系中进行拟合，得到后向车道线。

可选的，根据航迹递推结果将车道线点云投影到自车坐标系包括如下步骤：

进行时间同步，对航迹递推结果进行插值，形成若干位姿点云数据对，其中，O _k为位姿点云数据对，T _k为自车在全局坐标系下的位姿，L _k为自车坐标系下的车道线点云，k为时刻；

按照预设长度设置数据滑窗，将若干位姿点云数据对放入数据滑窗中，剔除数据滑窗外的位姿点云数据对；

对数据滑窗内的位姿点云数据进行坐标变换，投影到自车坐标系中。

可选的，设置数据滑窗的预设长度为时间长度或距离长度。

可选的，根据如下公式对数据滑窗内的位姿点云数据进行坐标变换：

其中，T _j为数据滑窗内j时刻自车在全局坐标系下的位姿，L _j为数据滑窗内j时刻自车坐标系下的车道线点云，Pji为点云L _j中第i个点的坐标；P _kji为变换后在当前k时刻的自车坐标系下的坐标。

可选的，根据如下公式对车道线感知结果进行离散化：

其中，k为时刻，C ₀、C ₁、C ₂、C ₃为车道线方程的参数，为x _k的采样范围，/>为比例系数，v为车速，/>为图像感知的时间间隔，(x _k,y _k)为车道线点云。

可选的，所述车道线感知结果为三维车道线拟合参数或二维车道线拟合参数；

所述车道线感知结果为二维车道线拟合参数时，先对车道线感知结果进行离散化，然后由如下步骤转换为三维车道线点云：

由如下公式计算目标车道线上的点在视觉传感器正下方的地面坐标系下的表示：

其中，为于图像中车道线上的点的像素坐标，为图像中车道线上对应点在相机正下方的地面坐标系的坐标，/>和/>为视觉传感器外参，K为视觉传感器内参，s为尺度因数；

对图像中车道线上对应点在相机正下方的地面坐标系的坐标进行坐标转换，得到自车坐标系下的三维车道线点云。

可选的，根据IMU和轮速里程计数据对车辆进行航迹递推包括如下步骤：

构建车辆运动学模型为如下状态变量，其中，为车辆在全局系中的位置，/>为车辆速度，/>为车辆在全局系中的姿态四元数，/>、/>分别为IMU加速度和角速度的零偏；

从IMU获取车辆的加速度信息和角速度信息/>，根据如下公式进行递推计算：

其中，为两帧IMU数据之间的时间间隔，/>为重力加速度；

对应的状态协方差递推公式为：

其中，为状态偏差的雅可比，/>为扰动向量的雅可比，/>为IMU的观测噪声模型；

从轮速里程计获取车身速度信息，得到车辆在自车坐标系下的速度向量；将速度向量/>作为卡尔曼滤波系统中的观测向量进行观测更新，观测方程的雅可比为/>；

其中，为旋转向量的右雅可比。

可选的，车道线点云投影到自车坐标系后，根据如下步骤进行拟合：

按照如下公式将车道线建模为三阶曲线：

其中，为车道线距离车辆的横向偏移信息，/>为车道线与车辆的夹角的斜率信息，/>为车道线的曲率信息，/>为曲率导数信息；

由车道线点云投影到自车坐标系后的数据构成：

由如下公式获得三阶曲线的拟合参数：

三阶曲线为得到的后向车道线。

硬件方面，本发明所提供的技术方案，所需要的视觉传感器仅为单套摄像头，即前视摄像头、左右侧视摄像头、倒车影像后视摄像头其中之一即可，借助车辆本身自带的IMU和轮速里程计，即可完成硬件配备，具有低硬件需求的优点，成本低廉，应用广泛。软件方面，本发明所提供的技术方案，使用IMU和轮速里程计进行航迹递推，提供了短时间内的高精相对定位，基于此拼接拟合得到车道线，误差小，精度高。同时，将一段时间内所有的感知车道线投影到当前自车坐标系下，然后进行拟合，即使存在几帧图像具有漏检、误检的情况，也不会对最终结果造成影响，具有较高的鲁棒性。

同时，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述任意一项所述的车道线获取方法。

并且，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任意一项所述的车道线获取方法。

此外，本发明还提供了一种机动车，具有自动驾驶功能，所述机动车通过前述任意一项所述的车道线获取方法获取车辆的后向车道线;

或所述机动车具有前述的计算机设备；

或所述机动车具有前述的计算机可读存储介质，所述计算机程序被处理器执行时实现前述任意一项所述的车道线获取方法。

本发明所提供的机动车，其有益效果与前述车道线获取方法的有益效果推理过程相类似，此处不再赘述。

本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。

附图说明

下面结合附图对本发明作进一步说明：

图1为本发明实施例的流程示意图。

具体实施方式

下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。

在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。

实施例：

本实施例提供了一种车道线获取方法，用于获取车辆的后向车道线。如图1所示，本实施例所提供的车道线获取方法包括如下步骤：

根据IMU和轮速里程计数据对车辆进行航迹递推。IMU即惯性测量单元，与轮速里程计均为当前量产车型所配备的常规惯性测量单元和轮速里程计。而航迹递推采用误差状态卡尔曼滤波（ESKF）算法进行，包括如下步骤：

构建车辆运动学模型为如下状态变量，其中，/>为车辆在全局系中的位置，/>为车辆速度，/>为车辆在全局系中的姿态四元数，/>、/>分别为IMU加速度和角速度的零偏；

从IMU获取车辆的加速度信息和角速度信息/>，根据如下公式进行递推计算，即由上一时刻的运动状态估计出当前时刻的运动状态：

其中，为两帧IMU数据之间的时间间隔，/>为重力加速度；

对应的状态协方差递推公式为：

其中，为状态偏差的雅可比，/>为扰动向量的雅可比，/>为IMU的观测噪声模型。雅可比为本领域通用技术含义，此处不再赘述。

由于仅靠IMU递推状态，极易快速发散，因此需要对其进行一定的约束。本实施例中，使用轮速里程计测得的车身速度作为观测向量，进行卡尔曼滤波观测更新。

从轮速里程计获取车身速度信息，并根据车辆在运动时的非完整性约束，得到车辆在自车坐标系下的速度向量/>；将速度向量/>作为卡尔曼滤波系统中的观测向量进行观测更新，观测方程的雅可比为；

其中，为旋转向量的右雅可比。而旋转向量的右雅可比为本领域的通用技术含义，此处不再赘述。基于IMU和轮速里程计的航迹递推算法具有相对精度高、定位频率高的特点。一方面，较高的相对定位精度可以使得在拼接重构车道线点云时引入的位置误差更小；另一方面，二维车道线转换为三维点云的过程具有距离越近精度越高的特点，受益于航迹推算频率高的优点，对于每一帧图像进行转换时，我们可以只保留车前近距离范围内的点云来保证车道线精度。因此，基于航迹推算拼接拟合得到的车道线误差小，精度高。

获取视觉传感器的车道线感知结果。视觉传感器，即前视摄像头、左右侧视摄像头、倒车影像后视摄像头其中之一，也可以是其中几个的混合。而IMU和轮速里程计，也均是量产车的惯常配置，可见，在硬件方面，本实施例所提供的技术方案，具有低硬件需求的优点，成本低廉，应用广泛。

车道线感知结果为既可以是三维车道线拟合参数，也可以是二维车道线拟合参数。如果车道线拟合参数是二维车道线拟合参数，先对车道线感知结果进行离散化，然后由如下步骤将离散化的二维车道线拟合参数转换为三维车道线点云：

其中，为于图像中车道线上的点的像素坐标，为图像中车道线上对应点在相机正下方的地面坐标系的坐标，/>和/>为视觉传感器外参，K为视觉传感器内参，s为尺度因数。视觉传感器的内参、外参以及尺度因数为视觉传感器的本身参数，相机正下方的地面坐标系与车辆自身坐标系之间的关系，由本领域技术人员在车辆在出厂进行标定。

对图像中车道线上对应点在相机正下方的地面坐标系的坐标进行坐标转换，得到三维车道线拟合参数。而坐标转换为本领域的惯用技术手段，此处不再赘述。

而后根据如下公式对车道线感知结果进行离散化，形成车道线点云：

最后根据航迹递推结果将车道线点云投影到自车坐标系中进行拟合，得到后向车道线。

根据航迹递推结果将车道线点云投影到自车坐标系包括如下步骤：

按照预设长度设置数据滑窗。预设长度可以为时间长度，也可以为距离长度，具体长度数值由本领域技术人员在标定时根据车型等参数确定。将若干位姿点云数据对放入数据滑窗中，剔除数据滑窗外的位姿点云数据对，然后根据如下公式对数据滑窗内的位姿点云数据进行坐标变换：

完成坐标变换后，投影到自车坐标系中，根据如下步骤进行拟合：

按照如下公式将车道线建模为三阶曲线：

由车道线点云投影到自车坐标系后的数据构成：

由如下公式获得三阶曲线的拟合参数：

三阶曲线为得到的后向车道线。将一段时间内所有的感知车道线投影到当前自车坐标系下，然后进行拟合，由于多帧观测在一定程度上起到了滤波的作用，这样即使存在几帧图像具有漏检、误检的情况，也会被多数相邻观测帧修正，不会对最终结果造成影响，具有较高的鲁棒性。

与此同时，本实施例还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述点云语义分割方法的步骤。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，本实施例所提供的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。

并且，本实施例还提供了一种机动车，具有自动驾驶功能。本实施例所提供的机动车通过前述的车道线获取方法获取车辆的后向车道线；

或具有前述的计算机设备；

或具有前述的计算机可读存储介质，所述计算机程序被处理器执行时实现前述的车道线获取方法。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims

1.一种车道线获取方法，用于获取车辆的后向车道线，其特征在于，所述车道线获取方法包括如下步骤：

根据IMU和轮速里程计数据对车辆进行航迹递推，包括如下子步骤：

其中，为两帧IMU数据之间的时间间隔，/>为重力加速度；

对应的状态协方差递推公式为：

其中，为旋转向量的右雅可比；

获取视觉传感器的车道线感知结果，所述车道线感知结果为三维车道线拟合参数或二维车道线拟合参数；

对车道线感知结果进行离散化，形成车道线点云；

2.根据权利要求1所述的车道线获取方法，其特征在于，根据航迹递推结果将车道线点云投影到自车坐标系包括如下步骤：

3.根据权利要求2所述的车道线获取方法，其特征在于，设置数据滑窗的预设长度为时间长度或距离长度。

4.根据权利要求2所述的车道线获取方法，其特征在于，根据如下公式对数据滑窗内的位姿点云数据进行坐标变换投影到当前k时刻的自车坐标系下：

5.根据权利要求1所述的车道线获取方法，其特征在于，根据如下公式对车道线感知结果进行离散化：

其中，k为时刻，C ₀、C ₁、C ₂、C ₃为车道线方程的参数，为x _k的采样范围，/>为比例系数，v为车速，/>为图像感知的时间间隔，(x _k, y _k)为车道线点云。

6.根据权利要求5所述的车道线获取方法，其特征在于，所述车道线感知结果为二维车道线拟合参数时，先对车道线感知结果进行离散化，然后由如下步骤转换为三维车道线点云：

其中，为于图像中车道线上的点的像素坐标，/>为图像中车道线上对应点在相机正下方的地面坐标系的坐标，/>和/>为视觉传感器外参，K为视觉传感器内参，s为尺度因数；

7.根据权利要求1至6之一所述的车道线获取方法，其特征在于，车道线点云投影到自车坐标系后，根据如下步骤进行拟合：

按照如下公式将车道线建模为三阶曲线：

由车道线点云投影到自车坐标系后的数据构成：

由如下公式获得三阶曲线的拟合参数：

三阶曲线为得到的后向车道线。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任意一项所述的车道线获取方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的车道线获取方法。

10.一种机动车，具有自动驾驶功能，其特征在于，所述机动车通过权利要求1至7中任意一项所述的车道线获取方法获取车辆的后向车道线；

或所述机动车具有权利要求8所述的计算机设备；

或所述机动车具有权利要求9所述的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的车道线获取方法。