CN111089598B - 一种基于icciu的车道级车载实时地图匹配方法 - Google Patents

Abstract

本发明公开了一种基于ICCIU的车道级车载实时地图匹配方法,属于智能交通领域,包括如下步骤：通过道路级定位算法结合多车道检测算法完成车辆的初始化车道定位；通过初始化车道定位，当车辆处在转弯车道时，使用弯道模型完成车辆在弯道的定位；当车辆处在路口的直行道时或当车辆处在非路口时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；基于视觉的IUnet完成车辆的横向位置修正，通过多源数据融合完成车道级的定位。本发明提出一种快速、准确、实时、轻量的移动端车道级定位算法，该类算法能够完成多形状的车道线的检测，对车辆换道定位效果好，且不受光照、阴影、文字等的干扰，不过分依赖地图精度，定位精度高。

Description

一种基于ICCIU的车道级车载实时地图匹配方法

技术领域

本发明属于智能交通领域，具体涉及一种车载实时地图匹配方法。

背景技术

随着5G通讯技术的普及与智能交通系统发展，自动驾驶成为当前研究的热点问题，而车辆的自定位方法直接关系到自动驾驶能否提供准确实时的响应。

车道级定位方法分为车道线检测与位置修正两部分，现有多种车道线检测算法，包括：(1)基于几何变换算法。该类算法包括RANSAC、Least Squares、Hough等通过对二值化图像进行车道线拟合，完成车道线的提取。该类算法精度过分依赖车道线标识的完整性且当地面起伏较大时，检测结果不理想。(2)基于特征的算法。该类算法利用车道线的颜色、宽度、纹理、梯度变化或边缘等的特征信息进行车道线的提取，该类算法易受光照、阴影、文字等的干扰，导致算法鲁棒性不高。(3)基于多传感器融合算法，该算法主要使用红外线、激光、微波雷达等传感器，利用车道线与路面的差异性完成车道线的检测，该类算法定位成本昂贵制约着该类算法无法集成到现有的车辆上。(4)基于深度学习的算法。主要有segnet、lannet通过视觉传感器获取当前路面信息，通过微波雷达获取环境信息，从而实现车道级定位，该算法定位成本昂贵且对车辆换道定位效果不佳。(5)基于道路结构的视觉定位方法。该算法使用道路结构关系与单目摄像头弥补单GPS误差过大的不足，提升定位精度，实现车道级的定位。该算法缺乏弯道定位方案且精度有待提升。(6)基于GNSS/DR组合定位方法。算法通过GNSS/DR获取道路信息，根据车辆与路网几何关系，完成车辆位置的修正实现车道级的定位。该算法过分依赖地图精度。

目前，车道级定位方法仍然存在定位成本高、缺乏变道与路口定位方法等问题，难以满足自动驾驶对定位方法全面性的现实性需求。

因此，急需一种快速、准确、实时、轻量的移动端车道级定位方法。

发明内容

本发明目的在于提供一种快速、准确、实时、轻量的移动端车道级定位方法，发明的内容如下：

一种基于ICCIU的车道级车载实时地图匹配方法，包括如下步骤：

S10、通过道路级定位方法结合多车道检测算法完成车辆的初始化车道定位；

S20、通过所述初始化车道定位，确定车辆处于路口：当车辆处在转弯车道时，使用弯道模型完成车辆在弯道的定位；当车辆处在路口的直行道时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

S30、通过所述初始化车道定位，当车辆处在非路口时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

S40、基于视觉的IUnet完成车辆的横向位置修正，通过多源数据融合完成车道级的定位。

进一步地，所述多车道检测方法为：

S101、在GPS选定定位道路的基础上，标定车辆最左侧车道为1车道，往右依次增加；

S102、基于Hough线变换组合多特征车道线检测。

进一步地，所述车道线检测步骤为：

S103、根据车辆中心相机内参数进行图像矫正，消除图像畸变，形成矫正图像；

S104、对所述矫正图像进行剪裁选取ROI，进行逆透视变换，选取饱和度进行滤波，记为组合SeletS图像；

S105、对选取的所述组合SeletS图像进行二值化处理，统计像素峰值，记录有效峰值个数确定车道线个数记为l_i(i＝1,2,3,4....)，并进行黄白滤波检测，记为组合YWmask图像；

S106、对所述组合YWmask图像沿图像宽度方向进行sobel滤波处理，记为组合Sobelx图像，所述组合多特征图像记为图像f；f＝SelectS+YWmask+Sobelx；对所述图像f采取多窗口Hough变换提取车道线；在hough空间直线l方程表示为l＝x cosθ+y sinθ，l为hough线，x、y为点的横纵坐标，θ为点与坐标轴的夹角；

S107、设置所述组合Sobelx图像左上角为坐标原点，设置搜索框，对每个所述搜索框里的特征点进行直线拟合，计算出每条直线对应的Hough参数空间的累计值，当所述累计值大于某阈值时认为是车道线，以所述组合多特征图像f最左侧的车道线标识为1得到车道线集l_i(i＝1,2,3,4....)；在直角坐标系中，l定义为：

y＝ax+b

则根据最小二乘法要求当a，b最小时D最小，D定义如下：

因此，可以得到a，b的值

其中，

S108、根据所述车道线的长度、间距结合所述组合多特征图像比例得到判定阈值M，若所述车道线的间距小于所述阈值M，则剔除，否则保留；

S109、计算ROl中心坐标点P_c(x,y)与各车道线的距离d_i(i＝1,2,3,4....)，若d_i、d_i+1为最小的两个距离值，则车辆处于第i车道。

进一步地，所述弯道的定位步骤如下：

S201、由于车辆转弯路径近似圆弧，通过弯道圆定位方法完成车辆的弯道定位；

S202、建立车辆立体坐标系，车辆在所述立体坐标系下三轴加速度传感器的读数X_acc＝{x_acc，y_acc，z_acc}，角速度读数ω_ang＝{ω_x，ω_y，ω_z}，陀螺仪读数X_pg＝{x_pg，y_pg，z_pg}，采样时刻向心加速度a的获取，即车辆坐标系下x轴的加速度读数x_ca；弯道圆半径为R，根据运动学定律：

ma＝mω²R可得，

S203、计算t时刻在地理坐标系下车辆左转的坐标位置L_t(x_t，y_t)为：

x_t＝R_tsin(θ)+x₀

S204、计算车辆右转的位置坐标：

x_t＝R_tsin(θ)+x₀

进一步地，所述横向位置修正步骤为：

S301、为了车辆定位的实时性，IUnet神经网络将输入图像尺寸设置为80*160*3，其中所述IUnet神经网络共有由16层卷积组成，包含四次下采样与四次上采样过程。

S302、所述IUnet神经网络模型如下；

A、卷积函数，所述卷积函数共16层，1—8层为下采样卷积，9—16上采样卷积，第一、四、五、八层为常规卷积层，二、三、六、七为残差卷积层，九至十六层为转置卷积层，

kernel_size＝(3,3),strides＝(1,1)，

activation＝'leakey_relu',padding＝'same'，

每层卷积之后紧跟一层BN层；

B、激活函数，relu激活函数如下：

f(x)＝relu(x)＝max(0，x)

leake_yrelu激活函数如下：

f(x)＝relu(x)＝max(ax，x)

C、优化函数，自适应性矩估计(adaptive moment estimation，Adam)优化函数；loss函数，选取mean_squared_error作为loss函数。

本发明的有益效果：

本发明在已有的算法基础上，提出一种快速、准确、实时、轻量的移动端车道级定位方法，该类算法能够完成多形状的车道线的检测，对车辆换道定位效果好，且不受光照、阴影、文字等的干扰，定位成本低，不过分依赖地图精度，且定位精度高。

附图说明

图1基于IUnet车道级定位方法总体流程图

图2多车道检测算法流程图

图3多车道检测结果

图4左转弯道定位模型

图5车辆坐标系

图6车轮等效坐标轴

图7训练集

图8IUnet网络结果可视化

图9Unet网络结果可视化

图10ResNet-34-Unet网络结果可视化

图11二分类混淆矩阵

图12网络性能对比

图13模型Recall

图14模型F1_score

图15试验区

图16行驶路线图

图17IUnet神经网络模型

具体实施方式

一种基于ICCIU的车道级车载实时地图匹配方法，如下步骤(图1)：

S1、通过道路级定位方法结合多车道检测算法完成车辆的初始化车道定位；

其中，所述多车道检测方法(图2)为：

1)在使用道路级定位方法选定定位道路的基础上，标定车辆最左侧车道为1车道，往右依次增加；(图3)

2)基于Hough线变换组合多特征车道线检测，具体过程如下：

①根据车辆中心相机内参数进行图像矫正，消除图像畸变；

②对图像进行剪裁选取ROI，进行逆透视变换，选取饱和度进行滤波，记为组合SelectS；

对选取的图像进行二值化处理，统计像素峰值，记录有效峰值个数确定车道线个数记为l_i(i＝1,2,3,4....)，并进行黄白滤波检测，记为组合YWmask；

对二值化图像沿图像宽度方向进行sobel滤波处理，记为组合Sobelx。组合多特征记为图像f；f＝SelectS+YWmask+Sobelx；对图像f采取多窗口Hough变换提取车道线；在hough空间直线l方程表示为l＝x cosθ+y sinθ，l为hough线，x、y为点的横纵坐标，θ为点与坐标轴的夹角；

设置图像左上角为坐标原点，设置搜索框，对每个搜索框里的特征点进行直线拟合，按照此方法计算出每条直线对应的Hough参数空间的累计值，当累计值大于某阈值时认为是车道线，以图像最左侧的车道线标识为1得到车道线集l_i(i＝1,2,3,4....)；在直角坐标系中，l定义为：

y＝ax+b

则根据最小二乘法要求当a，b最小时D最小，D定义如下：

因此，可以得到a，b的值

其中，

根据车道线长度、间距结合图像比例得到判定阈值M，若车道线的间距小于阈值M，则剔除，否则保留；

计算ROl中心坐标点P_c(x,y)与各车道线的距离d_i(i＝1,2,3,4....)，若d_i、d_i+1为最小的两个距离值，则车辆处于第i车道(图4)；

S2、通过初始化车道定位，确定车辆处于路口：当车辆处在转弯车道时，使用弯道模型完成车辆在弯道的定位；当车辆处在路口的直行道时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

当车辆处在非路口时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

其中，所述弯道的定位步骤如下：

由于辆转弯路径近似圆弧，通过弯道圆定位方法完成车辆的弯道定位，弯道圆算法具体步骤如下：

1)建立车辆立体坐标系(图5)，车辆在立体等效坐标系下(图6)三轴加速度传感器的读数X_acc＝{x_acc，y_acc，z_acc}，角速度读数ω_ang＝{ω_x，ω_y，ω_z}，陀螺仪读数X_pg＝{x_pg，y_pg，z_pg}，采样时刻向心加速度a的获取，即车辆坐标系下x轴的加速度读数x_ca；弯道圆半径为R，根据运动学定律：

ma＝mω²R

可得，

则t时刻在地理坐标系下车辆左转的坐标位置L_t(x_t，y_t)为：

x_t＝R_tsin(θ)+x₀

其中，

车辆右转的位置坐标为，

x_t＝R_tsin(θ)+x₀

S3、设计基于视觉的IUnet完成车辆的横向位置修正，通过多源数据融合完成车道级的定位；所述横向位置修正步骤为：

为了车辆定位的实时性，IUnet神经网络将输入图像尺寸设置为80*160*3，其中IUnet共有由16层卷积组成，包含四次下采样与四次上采样过程。所述神经网络模型如下：

(1)卷积函数，本发明采用卷积函数共16层1—8层为下采样卷积，9—16上采样卷积(第一、四、五、八层为常规卷积层，二、三、六、七为残差卷积层，九至十六层为转置卷积层)，kernel_size＝(3,3),strides＝(1,1)，activation＝'leakey_relu',padding＝'same'，每层卷积之后紧跟一层BN层；

(2)激活函数，relu激活函数如下：

f(x)＝relu(x)＝max(0，x)

leake_yrelu激活函数如下：

f(x)＝relu(x)＝max(ax，x)

(3)优化函数，本发明选取自适应性矩估计(adaptive moment estimation，Adam)优化函数；

loss函数，本发明选取mean_squared_error作为loss函数。

具体试验案例

(1)算法对比与结果可视化

为验证本发明IUnet网络的有效性，选取Unet与ResNet34-Unet网络进行对比参照，将网络在windows10操作系统下，使用基于tensorflow的深度学习开发框架keras2.2.4和python 3.6.5完成网络的构建。并对该模型在CPU：intel(R)Core(TM)i9-9900K CPU@3.6GHz×8，内存32G，GPU：GEFORCE RTX 2080Ti 11G硬件条件下，分别在Tusimple与自标注数据库进行训练与测试，其中选取Tusimple数据集为预训练集，自标注数据集共458张按照8/2划分训练集与验证集，数据集如图7：网络在自标注训练集实验结果具体如图8、图9、图10；为评价模型的性能，本发明根据二分类混淆矩阵如图11，设计以下指标多角度评价网络算法的精度与效率：

(1)Accuracy

计算公式为：

该指标是由模型预测结果与真实值之间的接近程度，该指标越大说明模型的精度越高。

(2)Recall

计算公式为：

该指标是由所有正确样本被正确识别的比例，能够反映模型对正例样本的分类能力，该指标越高说明分类能力越强。

(3)F1_score

计算公式为：

其中

该指标能够综合反映模型的分类能力，当F1_score越高则说明改模型的分类效果越好。

(4)Average time

该指标是网络识别单帧图片所用的平均时间，该指标越小说明网络的效率越高。

图12是IUnet、Unet与ResNet-34-Unet的网络性能对比的指标，通过该表可知，IUnet算法模型共585665个训练参数远小于Unet与ResNet-34-Unet参数量。在Accuracy方面，IUnet与其他两种网络相比具有更高的精度。在Recall(图13)与F1_score(图14)方面，IUnet比Unet高出30％，比ResNet-34-Unet高出20％，说明IUnet与其他两种网络相比具有更高的准确性与鲁棒性。IUnet单帧图像平均用时为28ms相比于Unet的34ms，ResNet-34-Unet的45ms具有更高的时效性。通过实验验证了IUnet的轻量高效的特点。

本发明提出的基于ICCIU的车道级车载实时地图匹配方法，将摄像头安装在车辆后视镜底下如图7，通过左右摄像头获取的实时图像传入IUNet网络模型提取车道线l，假设相机高度h，在图像上选取车体上的特征点a(x,y)如图5，进行逆透视变换，计算a与l的最近距离为d，l的垂足为β，则，d_r＝k*d,(d_r为车辆右方摄像头与车道线的距离，k为图上距离与实际距离的比值)，根据勾股定理，则

d_pr为车辆右方的横向位置修正值，同理可得，车辆左方横向位置修正值d_pl。

为验证本发明车道级定位方法的时效性与准确性，本发明在操作系统windows10，CPU：intel(R)Core(TM)i9-9900K CPU@3.6GHz×8，内存32G，GPU：GEFORCE RTX 2080Ti11G硬件条件下集成Arcgis Engine10.2和C#语言设计实验平台。选取日照市内道路作为实验区域进行实际跑车实验，试验区如图15，试验区路网是双向4车道(图16)，GPS数据来自安卓移动设备，路网数据来自OSM数据，车辆平均行驶速度39.61km/h，GPS定位间隔为2S，多车道检测模块是117°广角摄像头，左右摄像头高度为1m，IMU静态测量精度为0.05°，航向动态测量精度为1°，翻滚、俯仰测量精度为0.1°。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围的。

Claims (3)

1.一种基于ICCIU的车道级车载实时地图匹配方法，其特征在于，包括如下步骤：

S10、通过道路级定位方法结合多车道检测算法完成车辆的初始化车道定位；

S20、通过所述初始化车道定位，确定车辆处于路口：当车辆处在转弯车道时，使用弯道模型完成车辆在弯道的定位；当车辆处在路口的直行道时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

S30、通过所述初始化车道定位，当车辆处在非路口时，使用IMU与基于视觉的车道线检测模块，实现道路直行或变道的检测与定位；

S40、基于视觉的IUnet完成车辆的横向位置修正，通过多源数据融合完成车道级的定位；

所述多车道检测算法为：

S101、在GPS选定定位道路的基础上，标定车辆最左侧车道为1车道，往右依次增加；

S102、基于Hough线变换组合多特征车道线检测；

所述车道线检测步骤为：

S103、根据车辆中心相机内参数进行图像矫正，消除图像畸变，形成矫正图像；

S104、对所述矫正图像进行剪裁选取ROI，进行逆透视变换，选取饱和度进行滤波，记为组合SeletS图像；

S105、对选取的所述组合SeletS图像进行二值化处理，统计像素峰值，记录有效峰值个数确定车道线个数记为l_i(i＝1,2,3,4....)，并进行黄白滤波检测，记为组合YWmask图像；

S106、对所述组合YWmask图像沿图像宽度方向进行sobel滤波处理，记为组合Sobelx图像，组合多特征图像记为图像f；f＝SelectS+YWmask+Sobelx；对所述图像f采取多窗口Hough变换提取车道线；在Hough空间直线l方程表示为l＝x cosθ+y sinθ，l为Hough线，x、y为点的横纵坐标，θ为点与坐标轴的夹角；

S107、设置所述组合Sobelx图像左上角为坐标原点，设置搜索框，对每个所述搜索框里的特征点进行直线拟合，计算出每条直线对应的Hough参数空间的累计值，当所述累计值大于某阈值时认为是车道线，以所述组合多特征图像f最左侧的车道线标识为1得到车道线集l_i(i＝1，2，3，4....)；

S108、根据所述车道线的长度、间距结合所述组合多特征图像比例得到判定阈值M，若所述车道线的间距小于所述阈值M，则剔除，否则保留；

S109、计算ROI中心坐标点P_c(x，y)与各车道线的距离d_i(i＝1，2，3，4....)，若d_i、d_i+1为最小的两个距离值，则车辆处于第i车道。

2.根据权利要求1所述的车道级车载实时地图匹配方法，其特征在于，所述弯道的定位步骤如下：

S201、由于车辆转弯路径近似圆弧，通过弯道圆定位方法完成车辆的弯道定位；

S202、建立车辆立体坐标系，车辆在所述立体坐标系下三轴加速度传感器的读数X_acc＝{x_acc，y_acc，z_acc}，角速度读数ω_ang＝{ω_x，ω_y，ω_z}，陀螺仪读数X_pg＝{x_pg，y_pg，z_pg}，采样时刻向心加速度a的获取，即车辆坐标系下x轴的加速度读数x_ca；弯道圆半径为R，根据运动学定律：

ma＝mω²R

可得，

S203、计算t时刻在地理坐标系下车辆左转的坐标位置L_t(x_t，y_t)为：

x_t＝R_tsin(θ)+x₀

S204、计算车辆右转的位置坐标：

x_t＝R_tsin(θ)+x₀

3.根据权利要求1所述的车道级车载实时地图匹配方法，其特征在于，所述横向位置修正步骤为：

S301、为了车辆定位的实时性，IUnet神经网络将输入图像尺寸设置为80*160*3，其中所述IUnet神经网络共由16层卷积组成，包含四次下采样与四次上采样过程；

S302、所述IUnet神经网络模型具体如下；

A、卷积函数，所述卷积函数共16层，1-8层为下采样卷积，9-16上采样卷积，第一、四、五、八层为常规卷积层，二、三、六、七为残差卷积层，九至十六层为转置卷积层，

kernel_size＝(3，3)，strides＝(1，1)，

activation＝’leakey_relu’，padding＝’same’，

每层卷积之后紧跟一层BN层；

B、激活函数，relu激活函数如下：

f(x)＝relu(x)＝max(0，x)

leake_yrelu激活函数如下：

f(x)＝leake_yrelu(x)＝max(ax，x)

C、优化函数，自适应性矩估计(adaptive moment estimation，Adam)优化函数；loss函数，选取mean_squared_error作为loss函数。

Images