CN111611942B - 一种透视自适应车道骨架提取建库的方法 - Google Patents

Abstract

本发明涉及一种透视自适应车道骨架提取建库的方法，该方法将行车道路视频影像分解为帧图像，对图像进行裁剪保留有效信息，之后对初始帧图像标定车道线并扩展，获取车道感兴趣区域；然后利用透视自适应结合高斯模糊和非极大值抑制的算法提取车道骨架信息并将骨架点分段抽样存储建立相关车道线数据集。该数据集数据可用于自动驾驶车辆模拟训练软件，提出车道偏离预警，训练和测试评估自动驾驶系统的感知和决策能力。

Description

一种透视自适应车道骨架提取建库的方法

技术领域

本发明涉及一种透视自适应车道骨架提取建库的方法，属于计算机视觉技术技术领域。

背景技术

随着人工智能技术在世界范围内的迅速发展，汽车行业逐步进入电子化与智能化时代。谷歌，Mobileye，百度，华为等公司均在研发自动驾驶汽车或推出自己的无人驾驶解决方案，未来自动驾驶汽车的发展将有巨大空间。

谷歌与百度等推出的自动驾驶汽车均使用视频摄像头、雷达传感器以及激光测距仪来采集并了解周围的交通状况，并结合详细精确的定位信息进行导航。虽然已有相关部门为自动驾驶车辆颁发上路牌照，但只允许其在局部地区进行测试活动，同时，车辆使用的传感器等硬件器材成本较高，不利于向公众推广，因此并未投入社会公用。Mobileye和华为等基于计算机视觉技术发展的辅助驾驶系统则无需雷达传感器和激光测距仪等昂贵的硬件，其通过对车载相机获取的信息进行处理分析以识别理解周围的交通环境，并为驾驶员提供车道偏离、车辆碰撞预警和车辆行驶状况预测等信息，以减少交通事故的发生率。基于计算机视觉技术的辅助驾驶解决方案无需复杂的传感器设备，整体成本较低，方便推广普及，对于自动及无人驾驶的发展具有积极推动意义。

例如，中国专利文献CN108263387A公开了一种用于在车辆中生成车道偏离预警的方法、相关系统，该方法包括：获取该车辆正在其上行驶的道路的数字图像的多个帧，该数字图像包括该车辆正在其内行驶的车道的以及该车道的标志线的图像，对于所获取帧中的每个帧，提取该帧的边缘点，分析该边缘点以评估车道偏离状态，该评估包括执行车道偏离验证程序，其包括在该帧中标识表示该车道标志线的位置的点，如果检测到车道偏离状态，则生成车道偏离警告，该方法中，该车道偏离验证程序包括将这些点的位置与该车道的参考位置进行比较，该车道的这些参考位置是通过对所获取帧的集合执行的车道校准程序来获得的，该车道校准程序包括对该图像帧的属于该帧的包括该帧的多个行的水平条带的区域的边缘点进行滤波。

又如，中国专利文献CN108297867B公告了一种基于人工智能的车道偏离预警方法及系统，该预警方法包括：基于深度学习技术对车道视频数据和预存储的车道线数据进行处理，得到车道线模型；提取场景视频图像中连续的帧图像；通过车道线模型提取帧图像中的合法车道线；通过三维坐标系得到合法车道线的三维坐标，根据合法车道线的三维坐标规划安全界限；当车辆的偏航距离大于安全界限时，发出提示警报。本发明实施例通过深度学习技术学习不同路面的车道线和车道视频数据的对应关系，构建车道线模型，根据车道线模型提取视频图像中的合法车道线，并以此规划安全界限，当车辆的偏航距离超出安全界限时，即发出警报，提醒驾驶人员，避免车辆偏离导致事故发生，保障汽车的安全驾驶。

本发明基于国内自动驾驶视觉数据集存在数据量较少、种类不足、精度较低和标准困难等问题；例如，加州理工数据集Caltech Lane Dataset为双向四车道的城镇道路数据集，共包含1225帧图像，数据量较少；VPGNet数据集包含对城市交通场景车道线和行车标识的标注，共包含20000帧图像；CULane Dataset数据集为城市和乡村道路驾驶场景数据集，共包含133235帧图像，但其训练集每一帧都采用人工标注。

发明内容

针对现有技术的不足，本发明提供一种透视自适应车道骨架提取建库的方法，该方法提出了一种改进的车道骨架提取方法，并建立高速公路部分路段车道骨架点数据集。

本发明的技术方案如下：

一种透视自适应车道骨架提取建库的方法，包括步骤如下：

1)将行车道路视频影像分解为帧图像，对图像进行裁剪去掉不包含路面区域的部分，保留车道所在的路面区域，之后对初始帧图像标定车道线并扩展，获取车道感兴趣区域；

2)对步骤1)中得到的车道感兴趣区域按照路面场景透视关系进行内核大小自适应改变的沿图像像素坐标系u方向的高斯模糊和非极大值抑制处理，以获得逼近骨架的车道像素点，其中内核大小改变符合公式Ⅰ：

W_k∝w_R&v Ⅰ

其中，W_k为高斯内核和非极大值抑制窗口内核大小，w_R为车道宽度，u和v为图像像素坐标系内的坐标值；

3)对步骤2)得到的结果进行阈值分割处理，以去除非连续车道中无车道线处的噪声信息；

4)对步骤3)得到的结果进行分段，通过最小二乘法拟合以获取最接近骨架线的拟合表达式，消失点附近车道骨架点采用高次拟合，驾驶车辆附近车道骨架点采用低次拟合，将拟合结果在步骤1)提取的帧图像中画出，若相同v值时拟合曲线的u值与步骤3)结果的u值偏差超过10像素则对此帧图像进行手动重新标定，否则分段抽样存储车道骨架拟合点坐标，消失点附近车道骨架点坐标采用高抽样频率，驾驶车辆附近车道骨架点采用低抽样频率，结果存储为txt文本；

5)将步骤4)存储的结果作为下一帧图像确认车道感兴趣区域的输入点，结合视频帧率和车辆行驶速度，通过之前几帧标注的结果线性拟合得出后续帧图像车道感兴趣区域在图像中相对位置的变化范围，实现连续帧图像之间车道骨架的自动提取以及数据点的存储。

优选的，所述步骤1)中，通过车载相机获取行车道路视频。

优选的，所述步骤1)中，初始帧图像车道感兴趣区域采用手动获取。

优选的，所述步骤1)中，每一条车道线分别提取为单独的车道感兴趣区域。

优选的，所述步骤2)中，高斯模糊和非极大值抑制窗口内核大小比车道线宽度大5至10像素。

优选的，所述步骤3)中，阈值分割处理采用大津法OTSU实现。

优选的，所述步骤4)中，拟合与存储均采用分段操作。

优选的，所述步骤5)中，通过之前5-10帧标注的结果进行线性拟合。

本发明的有益效果在于：

本发明提供的透视自适应车道骨架提取建库方法针对车道线较为单一的长条状特征，结合高斯模糊和非极大值抑制处理进行骨架提取并建立车道骨架数据集；其数据集数据可用于自动驾驶车辆模拟训练软件，提出车道偏离预警，训练和测试评估自动驾驶系统的感知和决策能力。

附图说明

图1为本发明所述透视自适应车道骨架提取建库的方法流程图；

图2为数据点txt存储示意图；

图3为直道实验环境下的输入图像；

图4为直道实验环境下的车道感兴趣区域高斯模糊图像；

图5为直道实验环境下的阈值分割图像；

图6为直道实验环境下的标注结果输出图像；

图7为弯道实验环境下的输入图像；

图8为弯道实验环境下的车道感兴趣区域高斯模糊图像；

图9为弯道实验环境下的阈值分割图像；

图10为弯道实验环境下的标注结果输出图像；

图11为直道加车辆遮挡加阴影实验环境下的输入图像；

图12为直道加车辆遮挡加阴影实验环境下的车道感兴趣区域高斯模糊图像；

图13为直道加车辆遮挡加阴影实验环境下的阈值分割图像；

图14为直道加车辆遮挡加阴影实验环境下的标注结果输出图像；

图15为直道加隧道实验环境下的输入图像；

图16为直道加隧道实验环境下的车道感兴趣区域高斯模糊图像；

图17为直道加隧道实验环境下的阈值分割图像；

图18为直道加隧道实验环境下的标注结果输出图像；

图19为直道加横向干扰实验环境下的输入图像；

图20为直道加横向干扰实验环境下的车道感兴趣区域高斯模糊图像；

图21为直道加横向干扰实验环境下的阈值分割图像；

图22为直道加横向干扰实验环境下的标注结果输出图像；

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

术语解释：

OTSU算法，也称最大类间差法，有时也称之为大津算法，由大津于1979年提出，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。

高斯模糊，也叫高斯平滑，是在图像处理软件中广泛使用的处理效果，通常用它来减少图像噪声以及降低细节层次。这种模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果。从数学角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。图像与圆形方框模糊做卷积将会生成更加精确的焦外成像效果。

非极大值抑制，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。是用于目标检测中提取分数最高的窗口的，例如在行人检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分数，但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况，这时就需要用到非极大值抑制来选取那些邻域里分数最高(是行人的概率最大)，并且抑制那些分数低的窗口。

最小二乘法，又称最小平方法，是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

实施例1：

一种透视自适应车道骨架提取建库的方法，对直道实验环境下的图像进行骨架提取，包括步骤如下：

1)通过车载相机获取行车道路视频，将视频影像分解为帧图像，对帧图像进行裁剪保留有效信息，有效信息是指裁剪去掉不包含路面区域的部分仅保留车道所在的路面区域，之后对初始帧图像手动标定车道线并扩展，获取车道感兴趣区域；

2)对步骤1)中得到的车道感兴趣区域按照路面场景透视关系进行内核大小自适应改变的u方向高斯模糊和非极大值抑制处理以获得逼近骨架的车道像素点，其中内核大小改变符合公式Ⅰ：

W_k∝w_R&v Ⅰ

其中，W_k为高斯内核和非极大值抑制窗口内核大小，w_R为车道宽度，u和v为图像像素坐标系内的坐标值；

3)对步骤2)得到的结果进行阈值分割处理以去除非连续车道中无车道线处的噪声信息，通过大津法OTSU实现；

4)对步骤3)得到的结果进行分段，通过最小二乘法拟合以获取最接近骨架线的拟合表达式，消失点附近车道骨架点采用高次拟合，驾驶车辆附近车道骨架点采用低次拟合，将拟合结果在步骤1)提取的帧图像中画出，若相同v值时拟合曲线的u值与步骤3)结果的u值偏差超过10像素则对此帧进行手动重新标定，否则分段抽样存储车道骨架拟合点坐标，消失点附近车道骨架点坐标采用高抽样频率，驾驶车辆附近车道骨架点采用低抽样频率，结果存储为txt文本；

5)将步骤4)存储的结果作为下一帧确认车道感兴趣区域的输入点，结合视频帧率和车辆行驶速度，通过之前5-10帧标注的结果线性拟合得出后续帧图像车道感兴趣区域在图像中相对位置的变化范围，实现连续帧之间车道骨架的自动提取以及数据点的存储；

如图3-6所示，透视自适应车道骨架提取建库，针对直道实验环境的图像进行骨架提取，精确地提取并存储了骨架点坐标数据。

实施例2：

如实施例1所述的透视自适应车道骨架提取建库的方法，不同的是针对弯道实验环境下的图像进行骨架提取。

如图7-10所示，透视自适应车道骨架提取建库，针对弯道实验环境的图像进行骨架提取，精确地提取并存储了骨架点坐标数据。

实施例3：

如实施例1所述的透视自适应车道骨架提取建库的方法，不同的是针对直道加车辆遮挡加阴影实验环境下的图像进行骨架提取。

如图11-14所示，透视自适应车道骨架提取建库，针对直道加车辆遮挡加阴影实验环境的图像进行骨架提取，对于阴影遮挡处的车道线采用可提取出骨架点的数据进行拟合补充，精确地提取并存储了骨架点坐标数据。

实施例4：

如实施例1所述的透视自适应车道骨架提取建库的方法，不同的是针对直道加隧道实验环境下的图像进行骨架提取。

如图15-18所示，透视自适应车道骨架提取建库，针对直道加隧道部分车道光照不良实验环境的图像进行骨架提取，精确地提取并存储了骨架点坐标数据。

实施例5：

如实施例1所述的透视自适应车道骨架提取建库的方法，不同的是针对直道加横向干扰实验环境下的图像进行骨架提取。

如图19-22所示，透视自适应车道骨架提取建库，针对直道加横向干扰实验环境的图像进行骨架提取，精确地提取并存储了骨架点坐标数据。

Claims (8)

1.一种透视自适应车道骨架提取建库的方法，其特征在于，包括步骤如下：

1)将行车道路视频影像分解为帧图像，对图像进行裁剪去掉不包含路面区域的部分，保留车道所在的路面区域，之后对初始帧图像标定车道线并扩展，获取车道感兴趣区域；

2)对步骤1)中得到的车道感兴趣区域按照路面场景透视关系进行内核大小自适应改变的沿图像像素坐标系u方向的高斯模糊和非极大值抑制处理，以获得逼近骨架的车道像素点，其中内核大小改变符合公式Ⅰ：

W_k∝w_R&v Ⅰ

其中，W_k为高斯内核和非极大值抑制窗口内核大小，w_R为车道宽度，u和v为图像像素坐标系内的坐标值；

3)对步骤2)得到的结果进行阈值分割处理，以去除非连续车道中无车道线处的噪声信息；

4)对步骤3)得到的结果进行分段，通过最小二乘法拟合以获取最接近骨架线的拟合表达式，消失点附近车道骨架点采用高次拟合，驾驶车辆附近车道骨架点采用低次拟合，将拟合结果在步骤1)提取的帧图像中画出，若相同v值时拟合曲线的u值与步骤3)结果的u值偏差超过10像素则对此帧图像进行手动重新标定，否则分段抽样存储车道骨架拟合点坐标，消失点附近车道骨架点坐标采用高抽样频率，驾驶车辆附近车道骨架点采用低抽样频率，结果存储为txt文本；

5)将步骤4)存储的结果作为下一帧图像确认车道感兴趣区域的输入点，结合视频帧率和车辆行驶速度，通过之前几帧标注的结果线性拟合得出后续帧图像车道感兴趣区域在图像中相对位置的变化范围，实现连续帧图像之间车道骨架的自动提取以及数据点的存储。

2.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤1)中，通过车载相机获取行车道路视频。

3.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤1)中，初始帧图像车道感兴趣区域采用手动获取。

4.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤1)中，每一条车道线分别提取为单独的车道感兴趣区域。

5.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤2)中，高斯模糊和非极大值抑制窗口内核大小比车道线宽度大5至10像素。

6.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤3)中，阈值分割处理采用大津法OTSU实现。

7.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤4)中，拟合与存储均采用分段操作。

8.如权利要求1所述的透视自适应车道骨架提取建库的方法，其特征在于，所述步骤5)中，通过之前5-10帧标注的结果进行线性拟合。

Images