CN114659527A - 一种基于惯性测量单元补偿的车道线光学测距方法 - Google Patents

Abstract

本发明涉及一种基于惯性测量单元补偿的车道线光学测距方法，包括：获取车载单目相机采集的实时图像，对所述实时图像中的车道线进行检测与识别，并根据所述车道线的像素点集合拟合形成车道线方程，得到车道线的像素坐标位置；基于惯性测量单元采集车身俯仰角的变化信息，并通过所述车身俯仰角的变化信息获取所述车载单目相机的俯仰角补偿量，得到补偿后的车载单目相机的俯仰角；根据所述补偿后的车载单目相机的俯仰角以及所述车道线的像素坐标位置，通过光学几何法确定车道线的位置。本发明利用车道线的识别结果以及俯仰角补偿信息对车道线进行测距，进而提升车身发生转动时车辆测距的准确性。

Description

一种基于惯性测量单元补偿的车道线光学测距方法

技术领域

本发明涉及自动驾驶技术领域，特别是涉及一种基于惯性测量单元补偿的车道线光学测距方法。

背景技术

在自动驾驶或者辅助驾驶阶段，车道线的识别以及测距的精度对于车辆保持在车道内行驶以及车辆的辅助定位是非常重要的，所以一种高精度的车道线识别及测距方法对于自动驾驶的安全性有着很大的影响。

车道线图像的获取有很多方式，比如车载单目相机、双目相机等。双目相机由于配准与标定较为复杂且视觉计算消耗较大的计算资源导致其实用性并不强，而单目相机由于结构简单、操作简单，成本较低，占用计算资源较少，所以目前使用较为广泛。

使用单目视觉的方法进行测距的常用方法为几何相似法、几何形状约束法、光学几何法等，其中几何相似法对相机的位置和角度要求较为严格，几何形状约束法对目标的几何形状有要求，不能针对单个像素点进行测距，采用光学几何法进行测距计算简单，计算量较少。

但是，一般的单目视觉测距精度不够高，由于车辆存在悬架等弹性单元，不同的行驶工况下车身会相对于底盘发生多维转动。当车辆发生抖动，颠簸时，车身俯仰角的变化会更加明显，导致测距结果不准确，不利于车辆的车道保持和辅助定位，因此，如何实时精确的实现车道线的精确测量，是目前需要解决的。

发明内容

针对现有技术存在的上述问题，本发明提供了一种基于惯性测量单元补偿的车道线光学测距方法。该方法，提高了车道线测距的精度，实时性好，并且易于工程实践。

为实现上述目的，本发明提供了如下方案：

一种基于惯性测量单元补偿的车道线光学测距方法，包括：

获取车载单目相机采集的实时图像，对所述实时图像中的车道线进行检测与识别，并根据所述车道线的像素点集合拟合形成车道线方程，得到车道线的像素坐标位置；

基于惯性测量单元采集车身俯仰角的变化信息，并通过所述车身俯仰角的变化信息获取所述车载单目相机的俯仰角补偿量，得到补偿后的车载单目相机的俯仰角；

根据所述补偿后的车载单目相机的俯仰角以及所述车道线的像素坐标位置，通过光学几何法确定车道线的位置。

优选地，对所述实时图像中的车道线进行检测与识别的过程包括：

搭建网络模型，采用Tusimple、Culane数据集或者自制数据集对所述网络模型进行预训练，同时对数据集进行数据增强处理,迭代后得到收敛的网络模型；

将所述收敛的网络模型导入相应的车载处理器，由车载单目相机采集实时道路图像信息，基于所述车载处理器中的目标检测模块对车道线进行识别与检测。

优选地，对识别出的所述车道线在纵向上每隔相同像素区间提取像素点，并对提取出的车道线像素点进行曲线拟合。

优选地，所述车道线像素点的拟合方程为：

x＝C₀+C₁y+C₂y²+C₃y³

其中，C₀为车辆距车道边界的偏移距离，C₁代表车道线的偏航角，C₂代表所拟合车道线的曲率，C₃代表车道线曲率的变化率。

优选地，获取所述车载单目相机的俯仰角补偿量之前首先要确定所述车载摄像头的安装参数，确定所述车载摄像头的安装参数的过程包括：

基于预设标定法，对所述车载单目相机的内参进行标定处理；

根据标定后的内参和所述单目相机的外参，确定所述安装参数；

其中，所述相机的内参包括单目相机的焦距和主点坐标；所述外参包括所述车载单目相机的安装高度和俯仰角以及偏转角。

优选地，获取所述车载单目相机的俯仰角补偿量的过程包括：根据所述惯性测量单元获取车辆俯仰角变化，确定车载单目相机的俯仰角变化；根据测得的俯仰变化对相机的原始俯仰角进行补偿、修正。

优选地，根据所述测得的补偿量，对所述相机俯仰角进行补偿，得到补偿后的俯仰角α’：

α’＝α±Δα

式中，α’为经补偿后的俯仰角，α为初始单目相机外参俯仰角，Δα为惯性测量单元测得的俯仰角补偿量。

优选地，由所述光学几何法确定车道线的位置的方法如下式：

x＝X×sin(β)+Y×cos(β)

y＝X×cos(β)-Y×sin(β)

式中，x和y分别为车道线距离相机的横向距离和纵向距离；H为单目相机的安装高度，u₀、v₀分别为单目相机主点的横纵坐标，u、v为所检测到的车道线的像素点的横纵坐标，f_x、f_y分别为单目相机在水平和垂直方向上相对单位像素的焦距，α、β分别为初始单目相机外参俯仰角和偏转角。

优选地，确定所述车道线的像素点的横纵坐标的过程包括：

基于深度学习的方法对相机采取的实时图像中的车道线像素点进行检测，且在纵向方向上，每隔相同的像素区间取出所述车道线识别像素点；根据所述车道线识别像素点在图像中的位置分别确定所述车道线在所述实时图像中的横向坐标和纵向坐标。

本发明的有益效果为：

(1)本发明利用基于深度学习的方式进行车道线的检测，实现对车道线的识别，并基于IMU传感器的测量信息对车载单目相机中的俯仰角参数进行相关补偿；

(2)本发明利用车道线的识别结果以及俯仰角补偿信息对车道线进行测距，进而提升车身发生转动时车辆测距的准确性；

(3)本发明提出的方法可以实车应用，易于工程实践。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程图；

图2为本发明实施例的车道线检测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明公开了一种基于惯性测量单元IMU补偿的车道线光学测距方法，基于深度学习识别车道线的基础并附加了IMU的补偿信息，可以解决现有技术中车载单目相机在车辆发生抖动以及车辆颠簸时车道线测距不准确的问题，计算速度快，能够充分利用各传感器的信息，实用性强。如图1所示进行实时的车道线检测，所提出的流程图如图2所示，包括以下步骤：

步骤1：搭建检测网络模型，使用Ultra fast lane detection的基础网络模型进行训练。采用公开的Tusimple、Culane数据集或者自制数据集对网络模型进行训练，同时对数据集进行数据增强处理，对网络模型进行预训练,具体过程如下:

1.1、获取公开的Tusimple、Culane数据集或者自制数据集对网络模型进行训练；

1.2、对数据集进行数据增强处理；

1.3、对网络模型进行预训练；

1.4、确定神经网络模型所需的超参数，得到收敛的网络模型；

1.5、将相应的收敛模型导入相应的车载处理器，用于实时在线的处理车道线的检测；

步骤2：车载单目相机的标定，设用预设标定法对车载单目相机的内参进行标定，包括车载单目相机的焦距、主点坐标。确定车载单目相机的外参，确定车载相机的安装高度，俯仰角、偏转角。

2.1、由标定后的车载单目相机实时采集道路图像信息，基于目标检测模块进行车道线的识别与检测：

对识别出的车道线在纵向方向上每隔一段像素区间提取出一定的像素点，并对提取出的车道线像素点进行曲线拟合。

其中，车道线的拟合方程为：x＝C₀+C₁y+C₂y²+C₃y³。

式中，C₀为车辆距车道边界的偏移距离，C₁代表车道线偏航角，C₂代表车道线曲率，C₃代表车道线曲率变化率。

步骤3：由IMU(惯性测量单元)采集车辆在抖动、颠簸时车身相对于底盘发生转动时，车身俯仰角的变化信息，并由此对单目相机的俯仰角参数进行补偿。

3.1、根据所述的俯仰角补偿量，更加准确的计算车道线像素点的位置距离，包括：

由光学几何法计算车道线的距离为：

x＝X×sin(β)+Y×cos(β)

y＝X×cos(β)-Y×sin(β)

式中，x和y分别为车道线距离相机的横向距离和纵向距离。H为相机的安装高度，u₀、v₀分别为相机主点的横纵坐标，u、v为所检测到的车道线的像素横纵坐标，f_x、f_y分别为单目相机在水平和垂直方向上相对单位像素的焦距，α、β分别为相机的安装俯仰角和偏转角。

3.2、所述车道线像素点的横向坐标和纵向坐标是通过如下方式确定的:

基于深度学习的方法对相机采取的实时图像中的车道线进行检测，且在纵向方向上，每隔一定的像素区间取出所述车道线识别像素点；根据所述车道线像素点在图像中的位置分别确定所述车道线在所述实时图像中的横向坐标和纵向坐标。

3.3、根据所述IMU传感器测得的补偿量，对相机俯仰角α进行补偿：

α’＝α±Δα

式中，α’为经补偿后的俯仰角，α为初始单目相机外参俯仰角，Δα为IMU测得的俯仰角补偿量；

3.4、将补偿后的俯仰角带入计算公式，计算所检测出的车道线像素点的位置与距离。

本发明的有益效果为：

(1)本发明利用基于深度学习的方式进行车道线的检测，实现对车道线的识别，并基于IMU传感器的测量信息对车载单目相机中的俯仰角参数进行相关补偿；

(2)本发明利用车道线的识别结果以及俯仰角补偿信息对车道线进行测距，进而提升车身发生转动时车辆测距的准确性；

(3)本发明提出的方法可以实车应用，易于工程实践。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于惯性测量单元补偿的车道线光学测距方法，其特征在于，包括：

获取车载单目相机采集的实时图像，对所述实时图像中的车道线进行检测与识别，并根据所述车道线的像素点集合拟合形成车道线方程，得到车道线的像素坐标位置；

基于惯性测量单元采集车身俯仰角的变化信息，并通过所述车身俯仰角的变化信息获取所述车载单目相机的俯仰角补偿量，得到补偿后的车载单目相机的俯仰角；

根据所述补偿后的车载单目相机的俯仰角以及所述车道线的像素坐标位置，通过光学几何法确定车道线的位置。

2.根据权利要求1所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，对所述实时图像中的车道线进行检测与识别的过程包括：

搭建网络模型，采用Tusimple、Culane数据集或者自制数据集对所述网络模型进行预训练，同时对数据集进行数据增强处理,迭代后得到收敛的网络模型；

将所述收敛的网络模型导入相应的车载处理器，由车载单目相机采集实时道路图像信息，基于所述车载处理器中的目标检测模块对车道线进行识别与检测。

3.根据权利要求2所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，对识别出的所述车道线在纵向上每隔相同像素区间提取像素点，并对提取出的车道线像素点进行曲线拟合。

4.根据权利要求3所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，所述车道线像素点的拟合方程为：

x＝C₀+C_ly+C₂y²+C₃y³

其中，C₀为车辆距车道边界的偏移距离，C₁代表车道线的偏航角，C₂代表所拟合车道线的曲率，C₃代表车道线曲率的变化率。

5.根据权利要求1所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，获取所述车载单目相机的俯仰角补偿量之前首先要确定所述车载摄像头的安装参数，确定所述车载摄像头的安装参数的过程包括：

基于预设标定法，对所述车载单目相机的内参进行标定处理；

根据标定后的内参和所述单目相机的外参，确定所述安装参数；

其中，所述相机的内参包括单目相机的焦距和主点坐标；所述外参包括所述车载单目相机的安装高度和俯仰角以及偏转角。

6.根据权利要求1所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，获取所述车载单目相机的俯仰角补偿量的过程包括：根据所述惯性测量单元获取车辆俯仰角变化，确定车载单目相机的俯仰角变化；根据测得的俯仰角变化对相机的原始俯仰角进行补偿、修正。

7.根据权利要求6所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，根据所述测得的俯仰角变化，对所述相机俯仰角进行补偿，得到补偿后的俯仰角α’：

α’＝α±Δα

式中，α’为经补偿后的俯仰角，α为初始单目相机外参俯仰角，Δα为惯性测量单元测得的俯仰角补偿量。

8.根据权利要求1所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，由所述光学几何法确定车道线的位置的方法如下式：

x＝X×sin(β)+Y×cos(β)

y＝X×cos(β)-Y×sin(β)

式中，x和y分别为车道线距离相机的横向距离和纵向距离；H为单目相机的安装高度，u₀、v₀分别为单目相机主点的横纵坐标，u、v为所检测到的车道线的像素点的横纵坐标，f_x、f_y分别为单目相机在水平和垂直方向上相对单位像素的焦距，α、β分别为初始单目相机外参俯仰角和偏转角。

9.根据权利要求8所述的基于惯性测量单元补偿的车道线光学测距方法，其特征在于，确定所述车道线的像素点的横纵坐标的过程包括：

基于深度学习的方法对相机采取的实时图像中的车道线像素点进行检测，且在纵向方向上，每隔相同的像素区间取出所述车道线识别像素点；根据所述车道线识别像素点在图像中的位置分别确定所述车道线在所述实时图像中的横向坐标和纵向坐标。

Images