CN112560717B - 一种基于深度学习的车道线检测方法 - Google Patents

一种基于深度学习的车道线检测方法 Download PDF

Info

Publication number
CN112560717B
CN112560717B CN202011517152.0A CN202011517152A CN112560717B CN 112560717 B CN112560717 B CN 112560717B CN 202011517152 A CN202011517152 A CN 202011517152A CN 112560717 B CN112560717 B CN 112560717B
Authority
CN
China
Prior art keywords
lane line
lane
line
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011517152.0A
Other languages
English (en)
Other versions
CN112560717A (zh
Inventor
朱梓铭
邢关生
孙晗松
王连彪
王光泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Science and Technology
Original Assignee
Qingdao University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Science and Technology filed Critical Qingdao University of Science and Technology
Priority to CN202011517152.0A priority Critical patent/CN112560717B/zh
Publication of CN112560717A publication Critical patent/CN112560717A/zh
Application granted granted Critical
Publication of CN112560717B publication Critical patent/CN112560717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的车道线检测方法，包括步骤一构建车道线图像数据集作为训练集、步骤二构建全卷积车道线检测网络模型、步骤三训练全卷积车道线检测网络模型、步骤四构建车道线图像数据集作为测试集和步骤五测试全卷积车道线检测网络模型五个步骤；本发明的全卷积车道线检测网络模型能够克服极强的视觉干扰，拥有较快的推理速度和较强的鲁棒性，占用存储空间小，推理效果好，准确度高，实时性强，能够在算力很小的车载嵌入式设备中实现准确和快速的检测。

Description

一种基于深度学习的车道线检测方法
技术领域
本发明涉及人工智能中的深度学习技术领域，尤其涉及一种基于深度学习的车道线检测方法。
背景技术
智能驾驶需要对交通环境、态势进行感知与理解，车辆的交通环境包括周围车辆，车道线以及交通信号灯等，车道线检测对于控制车辆在安全区域内行驶有着极其重要的作用，当车辆发生偏移较大时利用车道线检测能够对驾驶员及时报警，调整汽车行驶方向，避免交通事故发生。
在计算机视觉的目标检测任务中，性能较好的语义分割网络能够实现较高的检测精度，但这些网络模型体积较为庞大，占用显存和内存空间较大，需要算力强大的设备支撑，导致其难以在车载嵌入式系统中完成实时车道线检测工作，因此，本发明提出一种基于深度学习的车道线检测方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种基于深度学习的车道线检测方法，该基于深度学习的车道线检测方法中的全卷积车道线检测网络模型能够克服极强的视觉干扰，拥有较快的推理速度和较强的鲁棒性，占用存储空间小，推理效果好，准确度高，实时性强，能够在算力很小的车载嵌入式设备中实现准确和快速的检测。
为实现本发明的目的，本发明通过以下技术方案实现：一种基于深度学习的车道线检测方法，包括以下步骤：
步骤一、采集车道线数据图像，使用传统的车道线检测方法对图像进行处理，生成每张图片的数据标注，然后采用几何变换和色彩变换两种数据增强的方法对车道线数据集进行扩增，最后利用Python并借助第三方图像处理库PIL和OpenCV读取每幅图像中的每条车道线标签信息构成车道线二值图数据集，再经数据清洗构成训练集；
步骤二、构建全卷积车道线检测网络模型，将车道线提取视为置信度图回归问题来设计全卷积网络结构，然后对车道线信息进行后处理，其中全卷积网络结构包含了6个卷积层，前五个卷积层采用了3×3尺寸的卷积核，最后一个卷积层采用了1×1尺寸的卷积核，所有卷积层激活函数都使用“Relu”函数，在前四个卷积层后分别都添加了池化操作，在每个最大池化层之前加入批标准化层；
步骤三、训练全卷积车道线检测网络模型，用步骤一构建的训练集对步骤二中的车道线检测模型进行训练，算法将车道线检测视为置信度图回归问题，设置训练超参数，然后设置自适应矩估计Adam优化器，采用像素值均方误差MSE和平均绝对误差MAE作为损失函数改善模型的收敛结果，使用自适应矩估计优化器改善损失下降路径，提高训练模型性能；
步骤四、构建车道线图像数据集作为测试集，测试集由600张行车车载摄像头采集的图像，然后用传统车道线检测方法对图像进行处理，将传统车道线检测的工作进一步简化为颜色提取，利用颜色空间进行图像分割，将图像的色彩空间转换到HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息；
步骤五、测试全卷积车道线检测网络模型，以像素值均方误差MSE、平均绝对误差MAE和帧率FPS为评价指标，利用步骤三中的全卷积车道线检测网络模型对步骤四中的车道线测试集进行检测，MSE、MAE越小，模型推理效果越好、准确度越高，FPS越高，模型实时性越强。
进一步改进在于：所述步骤一中采集车道数据时先将车载摄像头分辨率设置为1280×720，然后通过人工控制灯光照射车道的角度和强度以及在不同室外光照条件下，进行多种环境干扰下数据的采集，最后将图像保存到本地。
进一步改进在于：所述步骤一中利用颜色空间进行图像分割，将图像的色彩空间转换到HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息，所述步骤一中两种数据增强方法，一种是通过图像左右翻转来进行图像的几何变换；第二种是通过调节色相、对比度、饱和度和亮度来进行色彩变换。
进一步改进在于：所述步骤二中不同的卷积运算如1×1和3×3的卷积核获得图像中不同感受域的信息，汇集这些卷积运算的结果以获得丰富的特征信息，适合多尺度特征的提取，将网络的低级特征和高级特征关联起来，全卷积网络中各卷积层中的卷积核个数呈2的幂次递增递减关系，6个卷积层的卷积核个数分别为16,32,64,128,32,1，在前四个卷积层后分别都添加了池化步长为2的池化操作，四个步长为2的池化层进行四次降采样，提取到更高级的特征，使图像的尺寸被降至原图的0.125倍，在保证车道线特征不丢失的情况下减少后续车道线检测的计算量，提升程序运行的实时性。
进一步改进在于：所述步骤二中的车道线信息主要包括车道线两侧边线点位置、车道中心位置、中心点规划面积、车道变化幅度和车道类型判别，所述步骤二中车道线后处理的具体流程如下，a、逐行扫描二值图像矩阵，提取每行跳变点；b、由于车道宽度始终在一定范围之内，只需在确定的车道宽度范围内提取有效车道边线，这样可以滤除不在宽度范围内的其他干扰；c、利用车道的连续性，根据图像矩阵上一行边线的位置来确定本行的边线点，即先单独找到图像矩阵最后一行的左右边线和中线，从图像矩阵倒数第二行开始循环向图像矩阵第一行寻找每一行的左右边线，除图像矩阵最后一行外，每一行均基于前一行的左右边线纵坐标周围寻找，当图像矩阵最后一行只找到了一个边线的时候，则另一边线通过对单边数据按法线平移车道宽度的距离来确定；d、找到所有的边线后，根据左右边线像素坐标均值计算每一行的中线像素坐标，接着对每行中线坐标求加权平均，得到总中线坐标，使用总中线坐标与画面中垂线纵坐标做差，采用由近及远的办法，最终求出小车与车道之间的偏差。
进一步改进在于：所述步骤三中Adam优化器更新规则为
计算t时间步的梯度：
Figure BDA0002848334950000051
首先，计算梯度的指数移动平均数mt，m0初始化为0，β1系数为指数衰减率，控制权重分配，即动量与当前梯度，β1取值为0.9
mt＝β1mt-1+(1-β1)gt
其次，计算梯度平方的指数移动平均数Vt，V0初始化为0，β2系数为指数衰减率，控制之前的梯度平方的影响情况，取值为0.999
Figure BDA0002848334950000052
第三，对mt进行偏差纠正，降低偏差对训练初期的影响
Figure BDA0002848334950000053
第四，对Vt进行纠正，降低偏差对训练初期的影响
Figure BDA0002848334950000054
第五，更新参数，学习率α乘以mt与Vt的平方根之比，设置默认学习率α＝0.002，设ε为10-8，避免除数变为0。
Figure BDA0002848334950000055
进一步改进在于：所述步骤三中用步骤一构建的14900张320×120尺寸的RGB三通道图片对步骤二的全卷积网络进行训练，网络训练相关超参数如下：输入数据的批大小为32，迭代次数为4500，遍历次数为10，学习率为0.002，网络权重参数在迭代400次后开始收敛，说明车道线检测网络有效且性能较好。
进一步改进在于：所述步骤四中600张测试集图像包括了不同的光照强度、不同的光线反射角度、不同的光线干扰区域、不同的阴影遮挡形状和不同的视角方向场景行车车载摄像头采集的车道线图像。
进一步改进在于：所述步骤五中全卷积车道线检测网络模型在搭载英伟达V100显卡，搭配完整版PaddlePaddle神经网络框架的百度AI Studio计算服务器；搭载英伟达GTX1050 Max-Q显卡，搭配完整版PaddlePaddle神经网络框架的PC；搭载Edgeboard计算卡，搭配Paddle-Lite轻量级神经网络框架的小车，共三个平台上对车道线测试集进行检测。
本发明的有益效果为：本发明的全卷积车道线检测网络模型能够克服极强的视觉干扰，拥有较快的推理速度和较强的鲁棒性，占用存储空间小，推理效果好，准确度高，实时性强，能够在算力很小的车载嵌入式设备中实现准确和快速的检测。
附图说明
图1为本发明车道线检测方法的主要流程图。
图2为本发明全卷积网络结构图。
图3为本发明置信度图回归思路示意图。
图4为本发明车道线信息后处理中流程c和d的操作示意图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
根据图1、2、3、4所示，本实施例提供了一种基于深度学习的车道线检测方法，包括以下步骤：
步骤一、构建车道线图像数据集作为训练集，先将车载摄像头分辨率设置为1280×720，然后通过人工控制灯光照射车道的角度和强度以及在不同室外光照条件下，进行多种环境干扰下数据的采集，最后将图像保存到本地，从而获得车道线数据图像；
使用传统的车道线检测方法对图像进行处理，将传统车道线检测的工作进一步简化为颜色提取，利用颜色空间进行图像分割，将图像的色彩空间转换到HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息；
然后通过左右翻转进行图像的几何变换及通过调节色相、对比度、饱和度和亮度进行色彩变换，两种变换方法交叉使用，对车道线数据集进行增强扩增；
最后利用Python并借助第三方图像处理库PIL和OpenCV读取每幅图像中的每条车道线标签信息构成车道线二值图数据集，再经数据清洗，最终保留14900张320×120尺寸的RGB三通道图片(包括原图和数据增强后的图片)构成训练集；
步骤二、构建全卷积车道线检测网络模型，将车道线提取视为置信度图回归问题来设计全卷积网络结构，运行网络时，将包含车道线两侧边线点位置、车道中心位置、中心点规划面积、车道变化幅度和车道类型判别车道线的原图像进行预处理，对每一个像素值做归一化操作并将图像缩放到320×120尺寸，送入卷积神经网络进行推理，输出每个像素判断为车道线的置信度；
本发明的全卷积网络包含6个卷积层，其中前五个卷积层采用了3×3尺寸的卷积核，卷积核移动步长设为1；最后一个卷积层采用了1×1尺寸的卷积核，卷积核移动步长设为1，所有卷积层激活函数都使用“Relu”函数。不同的卷积运算如1×1和3×3的卷积核可以获得图像中不同感受域的信息，汇集这些卷积运算的结果可以获得丰富的特征信息，非常适合多尺度特征的提取，从而将网络的低级特征和高级特征关联起来。全卷积网络中各卷积层中的卷积核个数呈幂次递增递减关系，6个卷积层的卷积核个数分别为16，32，64，128，32，1。在前四个卷积层后分别都添加了池化操作，池化步长均为2。四个步长为2的池化层可以实现四次降采样，使得卷积层能够提取到更高级的特征。
为了加速网络拟合和提高网络的泛化性，在每个最大池化层之前加入了批标准化层。
进行车道线信息后处理之前的准备工作：(1)设定两个一维数组，其元素个数均为图像的行数，每个元素代表每一行的左边线像素纵坐标和右边线像素纵坐标，初始化为全0；(2)设定两个一位二值数组，元素个数均为图像的行数，每个元素代表每一行的左右边线是否找到，初始化为全0(即未找到)；(3)设定一个一位数组，元素个数为图像的行数，每个元素代表每一行的车道中线像素纵坐标，所有元素初始化为图像中垂线坐标。
然后对车道线信息进行后处理，流程描述如下：a、逐行扫描二值图像矩阵，提取每行跳变点；b、由于车道宽度始终在一定范围之内，只需在确定的车道宽度范围内提取有效车道边线，这样可以滤除不在宽度范围内的其他干扰；c、利用车道的连续性，根据图像矩阵上一行边线的位置来确定本行的边线点，即先单独找到图像矩阵最后一行的左右边线和中线，从图像矩阵倒数第二行开始循环向图像矩阵第一行寻找每一行的左右边线，除图像矩阵最后一行外，每一行均基于前一行的左右边线纵坐标周围寻找，当图像矩阵最后一行只找到了一个边线的时候，则另一边线通过对单边数据按法线平移车道宽度的距离来确定；d、找到所有的边线后，根据左右边线像素坐标均值计算每一行的中线像素坐标，接着对每行中线坐标求加权平均，得到总中线坐标，使用总中线坐标与画面中垂线纵坐标做差，采用由近及远的办法，最终求出小车与车道之间的偏差。
车道线信息后处理所使用的图像是一幅由车道线检测网络输出并经置信度阈值分割后产生的二值图像矩阵，其中的每一个元素对应一个像素点，矩阵的顶部对应最远处，大约135cm，图像的最底部一行对应最近处，大约10cm。远处的车道线窄，近处的车道线宽，因此车道线为梯形状。
车道线信息后处理的流程中，流程c与流程d的操作如图4，left_loc和right_loc分别表示图像矩阵每一行的左右边线纵坐标，left_conf和right_conf分别表示是否已找到图像矩阵每一行的左右边线，mid_loc表示图像矩阵每一行的车道中线纵坐标，error为最终求出的小车与车道间的偏差。
步骤三、训练全卷积车道线检测网络模型，用步骤一构建的训练集对步骤二中的车道线检测模型进行训练，设置训练超参数，输入数据的批大小为32，输入图像尺寸为320×120，迭代次数为4500，遍历次数为10，学习率为0.002；
然后设置Adam优化器，其更新规则为
计算t时间步的梯度：
Figure BDA0002848334950000101
首先，计算梯度的指数移动平均数mt，m0初始化为0，β1系数为指数衰减率，控制权重分配，动量与当前梯度，β1取值为0.9
mt＝β1mt-1+(1-β1)gt
其次，计算梯度平方的指数移动平均数Vt，V0初始化为0，β2系数为指数衰减率，控制之前的梯度平方的影响情况，取值为0.999
Figure BDA0002848334950000102
第三，对mt进行偏差纠正，降低偏差对训练初期的影响
Figure BDA0002848334950000103
第四，对Vt进行纠正，降低偏差对训练初期的影响
Figure BDA0002848334950000104
第五，更新参数，学习率α乘以mt与Vt的平方根之比，设置默认学习率α＝0.002，设ε为10-8，避免除数变为0。
Figure BDA0002848334950000105
采用像素值均方误差(MSE)和平均绝对误差(MAE)作为损失函数改善模型的收敛结果，MSE用来描述模型的准确度，MSE越小则准确度越高；MAE能反映出预测值的误差情况，MAE越小则准确度越高，使用自适应矩估计优化器改善损失下降路径，提高训练模型性能；
步骤四、构建车道线图像数据集作为测试集，测试集包括了由600张不同的光照强度、不同的光线反射角度、不同的光线干扰区域、不同的阴影遮挡形状和不同的视角方向场景行车车载摄像头采集的车道线图像，然后用传统车道线检测方法对图像进行处理，将传统车道线检测的工作进一步简化为颜色提取，利用颜色空间进行图像分割，将图像的色彩空间转换到HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息；
步骤五、测试全卷积车道线检测网络模型，利用步骤三中的全卷积车道线检测网络模型对步骤四中的车道线测试集进行检测，对包含车道线的原图像进行预处理，每一个像素值做归一化操作并将图像缩放到320×120尺寸，送入全卷积车道线检测网络模型进行推理，输出每个像素判断为车道的置信度，再通过置信度阈值分割获得车道线的二值图像。对车道线检测模型输出的二值图像进行车道线信息后处理，综合不同视野及路况情况下车道线的存在情况，最终确定车道线的左右边线、中线和车体偏差；
以像素值均方误差(MSE)、平均绝对误差(MAE)和帧率(FPS)为评价指标，车道线检测网络输出的是一张为原图1/8分辨率的矩阵，矩阵中每个元素的值区间为[0，1]，因此MSE、MAE取值范围为[0，1]，MSE、MAE越小，模型推理效果越好、准确度越高，FPS越高，模型实时性越强。
其中全卷积车道线检测网络模型在搭载英伟达V100显卡(算力为125TOPS)，搭配完整版PaddlePaddle神经网络框架的百度AIStudio计算服务器；搭载英伟达GTX1050 Max-Q显卡(算力为35TOPS)，搭配完整版PaddlePaddle神经网络框架的PC；搭载Edgeboard计算卡(算力为1.2TOPS)，搭配Paddle-Lite轻量级神经网络框架的小车，共三个平台上对车道线测试集进行检测，测试结果见表1，为了比较各模型的性能，对Unet、Fast-scnn及PSPNet也进行了测试，测试结果列入表1，各种车道线检测模型占用存储空间如表2所示；
表1车道线检测模型在不同平台上的测试结果
Figure BDA0002848334950000121
表2各种车道线检测模型占用存储空间比较
车道线检测模型 占用存储空间
本发明的车道线检测模型 0.56MB
Unet 55.7MB
Fast-scnn 4.82MB
PSPNet 179MB
由表1和表2可看出：
(1)利用本发明的全卷积车道线检测网络模型在AI Studio平台上测试的结果是：MSE为0.03721，MAE为0.16289，FPS为223。与体积较小、准确度高的PSPNe相比，本发明模型在FPS提高7.5倍的同时，还能保证与PSPNe基本相当的准确度；与Unet、Fast-scnn相比，本发明的模型在检测速度和准确度方面都有明显的优势。
(2)利用本发明的全卷积车道线检测网络模型在显卡为GTX1050Max-Q的PC平台上测试的结果是：MSE为0.03659，MAE为0.16834，FPS为78。与体积较小、准确度高的PSPNe相比，本发明的模型在检测速度提高3.5倍的同时，还能保证与PSPNe基本相当的准确度；与Unet、Fast-scnn相比，本发明模型在检测速度和准确度方面都有明显的优势。
(3)利用本发明的全卷积车道线检测网络模型在搭载Edgeboard计算卡、搭配Paddle-Lite轻量级神经网络框架的小车上测试的结果是：MSE为0.04183，MAE为0.17951，FPS为86。本发明的车道线检测模型能够在算力很小的车载嵌入式设备中实现准确和快速的检测。
该基于深度学习的车道线检测方法中的全卷积车道线检测网络模型能够克服极强的视觉干扰，拥有较快的推理速度和较强的鲁棒性，占用存储空间小，推理效果好，准确度高，实时性强，能够在算力很小的车载嵌入式设备中实现准确和快速的检测。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于深度学习的车道线检测方法，其特征在于包括以下步骤：
步骤一、采集车道线数据图像，使用传统的车道线检测方法对图像进行处理，生成每张图片的数据标注，然后采用几何变换和色彩变换两种数据增强的方法对车道线数据集进行扩增，最后利用Python并借助第三方图像处理库PIL和OpenCV读取每幅图像中的每条车道线标签信息构成车道线二值图数据集，再经数据清洗构成训练集；
步骤二、构建全卷积车道线检测网络模型，将车道线提取视为置信度图回归问题来设计全卷积网络结构，然后对车道线信息进行后处理，其中全卷积网络结构包含了6个卷积层，前五个卷积层采用了3×3尺寸的卷积核，最后一个卷积层采用了1×1尺寸的卷积核，所有卷积层激活函数都使用“Relu”函数，在前四个卷积层后分别都添加了池化操作，在每个最大池化层之前加入批标准化层；
所述步骤二中的车道线信息主要包括车道线两侧边线点位置、车道中心位置、中心点规划面积、车道变化幅度和车道类型判别，所述步骤二中车道线后处理的具体流程如下，a、逐行扫描二值图像矩阵，提取每行跳变点；b、由于车道宽度始终在一定范围之内，只需在确定的车道宽度范围内提取有效车道边线，这样可以滤除不在宽度范围内的其他干扰；c、利用车道的连续性，根据图像矩阵上一行边线的位置来确定本行的边线点，即先单独找到图像矩阵最后一行的左右边线和中线，从图像矩阵倒数第二行开始循环向图像矩阵第一行寻找每一行的左右边线，除图像矩阵最后一行外，每一行均基于前一行的左右边线纵坐标周围寻找，当图像矩阵最后一行只找到了一个边线的时候，则另一边线通过对单边数据按法线平移车道宽度的距离来确定；d、找到所有的边线后，根据左右边线像素坐标均值计算每一行的中线像素坐标，接着对每行中线坐标求加权平均，得到总中线坐标，使用总中线坐标与画面中垂线纵坐标做差，采用由近及远的办法，最终求出小车与车道之间的偏差；
步骤三、训练全卷积车道线检测网络模型，用步骤一构建的训练集对步骤二中的车道线检测模型进行训练，算法将车道线检测视为置信度图回归问题，设置训练超参数，然后设置自适应矩估计Adam优化器，采用像素值均方误差MSE和平均绝对误差MAE作为损失函数改善模型的收敛结果，使用自适应矩估计优化器改善损失下降路径，提高训练模型性能；
步骤四、构建车道线图像数据集作为测试集，测试集由600张行车车载摄像头采集的图像，然后用传统车道线检测方法对图像进行处理，将传统车道线检测的工作进一步简化为颜色提取，利用颜色空间进行图像分割，将图像的色彩空间转换HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息；
步骤五、测试全卷积车道线检测网络模型，以像素值均方误差MSE、平均绝对误差MAE和帧率FPS为评价指标，利用步骤三中的全卷积车道线检测网络模型对步骤四中的车道线测试集进行检测，MSE、MAE越小，模型推理效果越好、准确度越高，FPS越高，模型实时性越强。
2.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤一中采集车道数据时先将车载摄像头分辨率设置为1280×720，然后通过人工控制灯光照射车道的角度和强度以及在不同室外光照条件下，进行多种环境干扰下数据的采集，最后将图像保存到本地。
3.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤一中利用颜色空间进行图像分割，将图像的色彩空间转换到HSV坐标系，然后在色相、对比度、明度三个维度上分别划分一定的范围，最终自动生成每张图片对应的标注信息，所述步骤一中两种数据增强方法，一种是通过图像左右翻转来进行图像的几何变换；第二种是通过调节色相、对比度、饱和度和亮度来进行色彩变换。
4.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤二中不同的卷积运算如1×1和3×3的卷积核获得图像中不同感受域的信息，汇集这些卷积运算的结果以获得丰富的特征信息，适合多尺度特征的提取，将网络的低级特征和高级特征关联起来，全卷积网络中各卷积层中的卷积核个数呈幂次递增递减关系，6个卷积层的卷积核个数分别为16，32，64，128，32，1，在前四个卷积层后分别都添加了池化步长为2的池化操作，四个步长为2的池化层进行四次降采样，提取到更高级的特征，使图像的尺寸被降至原图的0.125倍，在保证车道线特征不丢失的情况下减少后续车道线检测的计算量，提升程序运行的实时性。
5.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤三中Adam优化器更新规则为
计算t时间步的梯度：
Figure FDA0003926169280000041
首先，计算梯度的指数移动平均数mt，m0初始化为0，β1系数为指数衰减率，控制权重分配，即动量与当前梯度，β1取值为0.9
mt＝β1mt-1+(1-β1)gt
其次，计算梯度平方的指数移动平均数Vt，V0初始化为0，β2系数为指数衰减率，控制之前的梯度平方的影响情况，取值为0.999
Figure FDA0003926169280000042
第三，对mt进行偏差纠正，降低偏差对训练初期的影响
Figure FDA0003926169280000043
第四，对Vt进行纠正，降低偏差对训练初期的影响
Figure FDA0003926169280000044
第五，更新参数，学习率α乘以mt与Vt的平方根之比，设置默认学习率α＝0.002，设ε为10-8，避免除数变为0。
Figure FDA0003926169280000045
6.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤三中用步骤一构建的14900张320×120尺寸的RGB三通道图片对步骤二的全卷积网络进行训练，网络训练相关超参数如下：输入数据的批大小为32，迭代次数为4500，遍历次数为10，学习率为0.002，网络权重参数在迭代400次后开始收敛，说明车道线检测网络有效且性能较好。
7.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤四中600张测试集图像包括了不同的光照强度、不同的光线反射角度、不同的光线干扰区域、不同的阴影遮挡形状和不同的视角方向场景行车车载摄像头采集的车道线图像。
8.根据权利要求1所述的一种基于深度学习的车道线检测方法，其特征在于：所述步骤五中全卷积车道线检测网络模型在搭载英伟达V100显卡，搭配完整版PaddlePaddle神经网络框架的百度AIStudio计算服务器；搭载英伟达GTX1050 Max-Q显卡，搭配完整版PaddlePaddle神经网络框架的PC；搭载Edgeboard计算卡，搭配Paddle-Lite轻量级神经网络框架的小车，共三个平台上对车道线测试集进行检测。
CN202011517152.0A 2020-12-21 2020-12-21 一种基于深度学习的车道线检测方法 Active CN112560717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011517152.0A CN112560717B (zh) 2020-12-21 2020-12-21 一种基于深度学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011517152.0A CN112560717B (zh) 2020-12-21 2020-12-21 一种基于深度学习的车道线检测方法

Publications (2)

Publication Number Publication Date
CN112560717A CN112560717A (zh) 2021-03-26
CN112560717B true CN112560717B (zh) 2023-04-21

Family

ID=75031159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011517152.0A Active CN112560717B (zh) 2020-12-21 2020-12-21 一种基于深度学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN112560717B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591771B (zh) * 2021-08-10 2024-03-08 武汉中电智慧科技有限公司 一种多场景配电室物体检测模型的训练方法和设备
CN114022863B (zh) * 2021-10-28 2022-10-11 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN115082888B (zh) * 2022-08-18 2022-10-25 北京轻舟智航智能技术有限公司 一种车道线检测方法和装置
CN115631479B (zh) * 2022-12-22 2023-03-14 北京钢铁侠科技有限公司 深度学习智能车车道巡线优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108734105A (zh) * 2018-04-20 2018-11-02 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法
CN110569796A (zh) * 2019-09-09 2019-12-13 南京东控智能交通研究院有限公司 一种车道线动态检测和车道分界线的拟合方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108734105A (zh) * 2018-04-20 2018-11-02 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110163077A (zh) * 2019-03-11 2019-08-23 重庆邮电大学 一种基于全卷积神经网络的车道识别方法
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法
CN110569796A (zh) * 2019-09-09 2019-12-13 南京东控智能交通研究院有限公司 一种车道线动态检测和车道分界线的拟合方法
CN111460984A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于关键点与梯度均衡损失的全局车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的车道线检测与车道偏离预警系统研究";张剑锋;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN112560717A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560717B (zh) 一种基于深度学习的车道线检测方法
Tang et al. A review of lane detection methods based on deep learning
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112308860B (zh) 基于自监督学习的对地观测图像语义分割方法
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN109767454B (zh) 基于时-空-频显著性的无人机航拍视频运动目标检测方法
CN111401150B (zh) 一种基于实例分割和自适应变换算法的多车道线检测方法
CN111191583A (zh) 基于卷积神经网络的空间目标识别系统及方法
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN110363160B (zh) 一种多车道线识别方法及装置
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN110334656B (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN110910413A (zh) 一种基于U-Net的ISAR图像分割方法
CN113221740A (zh) 一种农田边界识别方法及系统
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN112906583A (zh) 一种车道线检测方法及装置
CN112200746A (zh) 一种雾天交通场景图像的去雾方法和设备
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN114782919A (zh) 一种真实和仿真数据增强的道路栅格地图构建方法、系统
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN116994236A (zh) 一种基于深度神经网络的低质图像车牌检测方法
CN111738071A (zh) 一种基于单目摄像机的运动变化的逆透视变换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant