CN114913493A - 一种基于深度学习的车道线检测方法 - Google Patents

一种基于深度学习的车道线检测方法 Download PDF

Info

Publication number
CN114913493A
CN114913493A CN202210441263.0A CN202210441263A CN114913493A CN 114913493 A CN114913493 A CN 114913493A CN 202210441263 A CN202210441263 A CN 202210441263A CN 114913493 A CN114913493 A CN 114913493A
Authority
CN
China
Prior art keywords
convolution
module
lane line
line detection
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210441263.0A
Other languages
English (en)
Inventor
贾晨
李泽智
宋廷伦
张武
张恒于
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210441263.0A priority Critical patent/CN114913493A/zh
Publication of CN114913493A publication Critical patent/CN114913493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的车道线检测方法，步骤如下：获取Tusimple图像数据集；将调整后的车道线图像作为车道线检测神经网络模型的训练数据集；搭建车道线检测神经网络模型，确定损失函数，训练车道线检测神经网络模型直至收敛，以得到最佳模型；加载最佳模型参数，将道路图像输入最佳模型，分别得到判定为不同车道线的各个点集；对不同类别的车道线使用二次多项式进行拟合，并将拟合后的车道线叠加在原始图像上实现车道线检测的可视化。本发明的方法在保证准确率的同时提高了检测速度，满足实时性的要求。

Description

一种基于深度学习的车道线检测方法
技术领域
本发明属于车辆自动驾驶技术领域，具体涉及一种基于深度学习的车道线检测方法。
背景技术
自动驾驶技术是近年来的一个热门话题，随着汽车工业技术与人工智能领域的飞速发展，自动驾驶技术逐渐从科幻走向现实。自动驾驶技术的主要研究内容是：环境感知、定位导航、路径规划、运动控制；其中，环境感知是利用多种传感器对道路交通环境进行检测和处理，帮助自动驾驶车辆了解周围环境信息，为控制算法提供交通环境信息；车道线检测是环境感知中的重要一环，车辆通过摄像头获取道路图像，检测出当前道路的车道线信息，以完成车辆的一系列辅助驾驶行为，包括车道保持，自适应巡航等辅助功能。
基于深度学习的车道线检测方法依赖于大数据，通过模型自主学习得到车道线的特征，得到特征后利用聚类算法进行聚类，最后利用多项式拟合出车道线。在道路中的大多数情景均能做到较好的准确性，算法鲁棒性强，但是上述方法检测过程较为复杂，且参数量和计算量都较大，同时对计算机硬件的要求较高，由此难以满足自动驾驶对实时性的要求。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种基于深度学习的车道线检测方法，以解决现有的车道线检测方法检测过程较为复杂，参数量和计算量都较大，同时对计算机硬件的要求较高，难以满足自动驾驶对实时性的要求的问题；本发明的方法在保证准确率的同时提高了检测速度，满足实时性的要求。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种基于深度学习的车道线检测方法，步骤如下：
步骤S1：获取Tusimple图像数据集；
步骤S2：对Tusimple图像数据集中车道线图像进行数据增强，并将增强后的车道线图像的分辨率调整为512×256(宽×高)，将调整后的图像作为车道线检测神经网络模型的训练数据集；
步骤S3：搭建车道线检测神经网络模型，确定损失函数，利用步骤S2中的训练数据集训练车道线检测神经网络模型直至收敛，以得到最佳模型；
步骤S4：加载最佳模型参数，将道路图像输入最佳模型，分别得到判定为不同车道线的各个点集；
步骤S5：对不同类别的车道线使用二次多项式进行拟合，并将拟合后的车道线叠加在原始图像上实现车道线检测的可视化。
进一步地，所述步骤S2中的数据增强包括：旋转，水平翻转，随机裁剪和添加高斯白噪声。
进一步地，所述神经网络模型由编码网络、解码网络、增强感受野模块、CBAM模块和两个特征融合模块组成；所述编码网络包括依次连接的预处理模块和五个残差层，所述解码网络包括依次连接的三个卷积上采样模块和一个输出模块。
进一步地，所述预处理模块包括：一个卷积核大小为7×7、步长为2、填充为3的卷积层和一个核为3×3、步长为1、填充为1的最大池化层，该预处理模块的输入图片分辨率为512×256(宽×高)，输出后的图片宽高各自减半。
进一步地，每个残差层由两个残差块组成，每个残差块由两条分支组成，第一条分支中包含两个卷积核大小为3×3的深度可分离卷积；第二条分支为一个卷积核大小为1×1的卷积层，第二条分支用于保证输入特征图和输出特征图的分辨率和维度相同；第二残差层、第三残差层添加通道注意力机制，在第四残差层、第五残差层中引入空洞卷积，扩张率分别为2和4；在上述编码网络过程中输出第一残差层、第二残差层和第五残差层得到的特征图(out1、out2和out5)，第五残差层输出的特征图(out5)通过增强感受野模块后再通过CBAM模块得到带有注意力权重的特征图后进入解码网络；第五残差层输出的特征图(out5)经过第一卷积上采样模块后通过第一特征融合模块，该第一特征融合模块同时与第二残差层输出的特征图相连接，第一特征融合模块的末端与第二卷积上采样模块相连，经过第二卷积上采样模块的特征图通过第二特征融合模块，该第二特征融合模块同时与第一残差层输出的特征图相连接，第一特征融合模块的末端与第三卷积上采样模块相连，经过第三卷积上采样模块的特征图通过输出模块，最终得到具有六个通道的特征图。
进一步地，所述增强感受野模块由四条并联的分支组成，第一条分支为1×1卷积，作用等同于残差网络中的残差结构，第二条分支为一个3×3的卷积且扩张率为3，第三条分支为两个3×3的卷积，扩张率分别为3和6，第四条分支为全局最大池化，将第二条分支和第三条分支的结果融合后通过一个1×1卷积，之后再与第一通道和第四通道进行融合，在该增强感受野模块的输入和输出处分别有一个1×1卷积，用于缩减与恢复通道数，降低四条分支中的计算量，加快网络运行速度。
进一步地，所述CBAM模块包括一个通道注意力(Channel Attention)和一个空间注意力(Spatial Attention)，输入通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出,输出结果进入解码网络中的第一卷积上采样模块。
进一步地，所述特征融合模块包括两个输入，第一输入来自解码网络，第二输入来自编码网络；第一输入通过空间注意力(Spatial Attention)计算后得到带有注意力机制的权重，将第二输入乘以所述权重得到新的特征图后与初始的第一输入进行融合即在通道维度上进行拼接(concat)，得到的结果继续输出至解码网络进入卷积上采样模块。
进一步地，所述三个卷积上采样模块均依次包括一个1×1的普通卷积，一个上采样以及一个卷积核大小为3×3的深度可分离卷积。
进一步地，所述输出模块包括一个1×1的普通卷积和一个卷积核大小为3×3、输出通道数为6的深度可分离卷积；所述深度可分离卷积操作后均进行Batch Normalization归一化和ReLU非线性激活函数处理。
进一步地，所述步骤S3中的损失函数为交叉熵损失函数和OHEM损失函数，所述车道线检测神经网络模型中采用的网络为多分类语义分割网络，包括背景和五条车道线，使用交叉熵损失函数进行训练，设定其最大迭代次数为100，初始学习率为1e-2，学习率调整策略为指数衰减调整策略，在完成100次训练后停止训练，使用OHEM损失函数继续训练，根据交叉熵损失的大小对样本排列，筛选出其中的损失大的样本，并将损失用于反向传播的计算，设定其最大迭代次数为100，初始学习率为1e-4，在损失值达到稳定时停止训练。
进一步地，所述步骤S4中的道路图像中包含车道线且车道线数目不超过五条，将道路图像输入到最佳模型后得到的输出为六个通道的特征图，即特征图中的每个像素对应六个类别(背景及五条车道线)，对特征图进行softmax后得到车道线像素概率图，搜寻对应各车道线的预测点(x,y)组成点集[(x1,y1),(x2,y2),……(xn,yn)]，其中(xi,yi),i＝1,2,…n代表区分为一条车道线的像素点。
进一步地，所述步骤S5中使用二次多项式y＝a1x2+a2x+b,对区分为一类车道线的点集[(x1,y1),(x2,y2),……(xn,yn)]进行拟合，其中,a1,a2,b为待求解参数，a1为二次多项式中的二次项系数，a2为二次多项式中的一次项系数，b为二次多项式中的常数项，利用点集求解出系数a1,a2,b后，在输入图像上按二次多项式y＝a1x2+a2x+b绘制车道线，选取不同的颜色绘制不同车道线，实现车道线检测的可视化。
本发明的有益效果：
本发明的方法中提出一种网络结构，包括编码网络和解码网络，在编码网络中使用残差结构并将其中的3×3卷积替换为深度可分离卷积，结构简单，极大程度的减少了计算量和参数量，同时在编码网络和解码网络连接过程中使用增强感受野模块和CBAM模块，在降低各分支中计算量的同时兼顾提取不同感受野的功能，并且使网络更关注含有用信息的通道和区域，在解码网络的上采样过程中融合解码网络中输出的特征图，以获得更完整的信息，在充分发挥深度学习优势的同时，较大的提高车道线检测的速度，同时满足自动驾驶对于准确性和实时性的要求。
附图说明
图1是本发明方法的流程图；
图2是本发明中网络模型架构图；
图3是本发明中预处理模块网络结构图；
图4是本发明中各个残差层网络结构图；
图5是本发明中残差块网络结构图；
图6是本发明中增强感受野模块网络结构图；
图7是本发明中CBAM模块网络结构图；
图8是本发明中特征融合模块网络结构图；
图9是本发明中卷积上采样模块网络结构图；
图10是本发明中输出模块网络结构图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种基于深度学习的车道线检测方法，步骤如下：
步骤S1：从网络获取Tusimple图像数据集；
步骤S2：对Tusimple图像数据集中车道线图像进行数据增强，并将增强后的车道线图像的分辨率调整为512×256(宽×高)，将调整后的图像作为车道线检测神经网络模型的训练数据集；
其中，所述步骤S2中的数据增强包括：旋转，水平翻转，随机裁剪和添加高斯白噪声。
步骤S3：搭建车道线检测神经网络模型，确定损失函数，利用步骤S2中的训练数据集训练车道线检测神经网络模型直至收敛，以得到最佳模型；
如图2所示，所述神经网络模型由编码网络、解码网络、增强感受野模块、CBAM模块和两个特征融合模块组成；所述编码网络包括依次连接的预处理模块和五个残差层，所述解码网络包括依次连接的三个卷积上采样模块和一个输出模块。
如图3所示，所述预处理模块包括：一个卷积核大小为7×7、步长为2、填充为3的卷积层和一个核为3×3、步长为1、填充为1的最大池化层，该预处理模块的输入图片分辨率为512×256(宽×高)，输出后的图片宽高各自减半。
如图4-图5所示，每个残差层由两个残差块组成，每个残差块由两条分支组成，第一条分支中包含两个卷积核大小为3×3的深度可分离卷积；第二条分支为一个卷积核大小为1×1的卷积层，第二条分支用于保证输入特征图和输出特征图的分辨率和维度相同；第二残差层、第三残差层添加通道注意力机制，在第四残差层、第五残差层中引入空洞卷积，扩张率分别为2和4；在上述编码网络过程中输出第一残差层、第二残差层和第五残差层得到的特征图(out1、out2和out5)，第五残差层输出的特征图(out5)通过增强感受野模块后再通过CBAM模块得到带有注意力权重的特征图后进入解码网络；第五残差层输出的特征图(out5)经过第一卷积上采样模块后通过第一特征融合模块，该第一特征融合模块同时与第二残差层输出的特征图相连接，第一特征融合模块的末端与第二卷积上采样模块相连，经过第二卷积上采样模块的特征图通过第二特征融合模块，该第二特征融合模块同时与第一残差层输出的特征图相连接，第一特征融合模块的末端与第三卷积上采样模块相连，经过第三卷积上采样模块的特征图通过输出模块，最终得到具有六个通道的特征图。
如图6所示，所述增强感受野模块由四条并联的分支组成，第一条分支为1×1卷积，作用等同于残差网络中的残差结构，第二条分支为一个3×3的卷积且扩张率为3，第三条分支为两个3×3的卷积，扩张率分别为3和6，第四条分支为全局最大池化，将第二条分支和第三条分支的结果融合后通过一个1×1卷积，之后再与第一通道和第四通道进行融合，在该增强感受野模块的输入和输出处分别有一个1×1卷积，用于缩减与恢复通道数，降低四条分支中的计算量，加快网络运行速度。
如图7所示，所述CBAM模块包括一个通道注意力(Channel Attention)和一个空间注意力(Spatial Attention)，输入通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出,输出结果进入解码网络中的第一卷积上采样模块。
如图8所示，所述特征融合模块包括两个输入，第一输入来自解码网络，第二输入来自编码网络；第一输入通过空间注意力(Spatial Attention)计算后得到带有注意力机制的权重，将第二输入乘以所述权重得到新的特征图后与初始的第一输入1进行融合即在通道维度上进行拼接(concat)，得到的结果继续输出至解码网络进入卷积上采样模块。
如图9所示，所述三个卷积上采样模块均依次包括一个1×1的普通卷积，一个上采样以及一个卷积核大小为3×3的深度可分离卷积。
如图10所示，所述输出模块包括一个1×1的普通卷积和一个卷积核大小为3×3、输出通道数为6的深度可分离卷积；所述深度可分离卷积操作后均进行BatchNormalization归一化和ReLU非线性激活函数处理。
其中，所述步骤S3中的损失函数为交叉熵损失函数和OHEM损失函数，所述车道线检测神经网络模型中采用的网络为多分类语义分割网络，包括背景和五条车道线，使用交叉熵损失函数进行训练，设定其最大迭代次数为100，初始学习率为1e-2，学习率调整策略为指数衰减调整策略，在完成100次训练后停止训练，使用OHEM损失函数继续训练，根据交叉熵损失的大小对样本排列，筛选出其中的损失大的样本，并将损失用于反向传播的计算，设定其最大迭代次数为100，初始学习率为1e-4，在损失值达到稳定时停止训练。
步骤S4：加载最佳模型参数，将道路图像输入最佳模型，分别得到判定为不同车道线的各个点集；
所述道路图像中包含车道线且车道线数目不超过五条，将道路图像输入到最佳模型后得到的输出为六个通道的特征图，即特征图中的每个像素对应六个类别(背景及五条车道线)，对特征图进行softmax后得到车道线像素概率图，搜寻对应各车道线的预测点(x,y)组成点集[(x1,y1),(x2,y2),……(xn,yn)]，其中(xi,yi),i＝1,2,…n代表区分为一条车道线的像素点。
步骤S5：对不同类别的车道线使用二次多项式进行拟合，并将拟合后的车道线叠加在原始图像上实现车道线检测的可视化；
所述使用二次多项式y＝a1x2+a2x+b,对区分为一类车道线的点集[(x1,y1),(x2,y2),……(xn,yn)]进行拟合，其中,a1,a2,b为待求解参数，a1为二次多项式中的二次项系数，a2为二次多项式中的一次项系数，b为二次多项式中的常数项，利用点集求解出系数a1,a2,b后，在输入图像上按二次多项式y＝a1x2+a2x+b绘制车道线，选取不同的颜色绘制不同车道线，实现车道线检测的可视化。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的车道线检测方法，其特征在于，步骤如下：
步骤S1：获取Tusimple图像数据集；
步骤S2：对Tusimple图像数据集中车道线图像进行数据增强，并将增强后的车道线图像的分辨率调整为512×256，将调整后的图像作为车道线检测神经网络模型的训练数据集；
步骤S3：搭建车道线检测神经网络模型，确定损失函数，利用步骤S2中的训练数据集训练车道线检测神经网络模型直至收敛，以得到最佳模型；
步骤S4：加载最佳模型参数，将道路图像输入最佳模型，分别得到判定为不同车道线的各个点集；
步骤S5：对不同类别的车道线使用二次多项式进行拟合，并将拟合后的车道线叠加在原始图像上实现车道线检测的可视化。
2.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述步骤S2中的数据增强包括：旋转，水平翻转，随机裁剪和添加高斯白噪声。
3.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述神经网络模型由编码网络、解码网络、增强感受野模块、CBAM模块和两个特征融合模块组成；所述编码网络包括依次连接的预处理模块和五个残差层，所述解码网络包括依次连接的三个卷积上采样模块和一个输出模块。
4.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，所述预处理模块包括：一个卷积核大小为7×7、步长为2、填充为3的卷积层和一个核为3×3、步长为1、填充为1的最大池化层，该预处理模块的输入图片分辨率为512×256，输出后的图片宽高各自减半。
5.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，每个残差层由两个残差块组成，每个残差块由两条分支组成，第一条分支中包含两个卷积核大小为3×3的深度可分离卷积；第二条分支为一个卷积核大小为1×1的卷积层，第二条分支用于保证输入特征图和输出特征图的分辨率和维度相同；第二残差层、第三残差层添加通道注意力机制，在第四残差层、第五残差层中引入空洞卷积，扩张率分别为2和4；在上述编码网络过程中输出第一残差层、第二残差层和第五残差层得到的特征图，第五残差层输出的特征图通过增强感受野模块后再通过CBAM模块得到带有注意力权重的特征图后进入解码网络；第五残差层输出的特征图经过第一卷积上采样模块后通过第一特征融合模块，该第一特征融合模块同时与第二残差层输出的特征图相连接，第一特征融合模块的末端与第二卷积上采样模块相连，经过第二卷积上采样模块的特征图通过第二特征融合模块，该第二特征融合模块同时与第一残差层输出的特征图相连接，第一特征融合模块的末端与第三卷积上采样模块相连，经过第三卷积上采样模块的特征图通过输出模块，最终得到具有六个通道的特征图。
6.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，所述增强感受野模块由四条并联的分支组成，第一条分支为1×1卷积，作用等同于残差网络中的残差结构；第二条分支为一个3×3的卷积且扩张率为3；第三条分支为两个3×3的卷积，扩张率分别为3和6；第四条分支为全局最大池化，将第二条分支和第三条分支的结果融合后通过一个1×1卷积，之后再与第一通道和第四通道进行融合；在该增强感受野模块的输入和输出处分别有一个1×1卷积，用于缩减与恢复通道数，降低四条分支中的计算量，加快网络运行速度。
7.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，所述CBAM模块包括一个通道注意力和一个空间注意力，输入通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出,输出结果进入解码网络中的第一卷积上采样模块。
8.根据权利要求7所述的基于深度学习的车道线检测方法，其特征在于，所述特征融合模块包括两个输入，第一输入来自解码网络，第二输入来自编码网络；第一输入通过空间注意力计算后得到带有注意力机制的权重，将第二输入乘以所述权重得到新的特征图后与初始的第一输入进行融合即在通道维度上进行拼接，得到的结果继续输出至解码网络进入卷积上采样模块。
9.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，所述三个卷积上采样模块均依次包括一个1×1的普通卷积，一个上采样以及一个卷积核大小为3×3的深度可分离卷积。
10.根据权利要求3所述的基于深度学习的车道线检测方法，其特征在于，所述输出模块包括一个1×1的普通卷积和一个卷积核大小为3×3、输出通道数为6的深度可分离卷积；所述深度可分离卷积操作后均进行Batch Normalization归一化和ReLU非线性激活函数处理。
CN202210441263.0A 2022-04-25 2022-04-25 一种基于深度学习的车道线检测方法 Pending CN114913493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441263.0A CN114913493A (zh) 2022-04-25 2022-04-25 一种基于深度学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441263.0A CN114913493A (zh) 2022-04-25 2022-04-25 一种基于深度学习的车道线检测方法

Publications (1)

Publication Number Publication Date
CN114913493A true CN114913493A (zh) 2022-08-16

Family

ID=82765549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441263.0A Pending CN114913493A (zh) 2022-04-25 2022-04-25 一种基于深度学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN114913493A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861951A (zh) * 2022-11-27 2023-03-28 石家庄铁道大学 一种基于双特征提取网络的复杂环境车道线精准检测方法
CN116129390A (zh) * 2023-04-04 2023-05-16 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116453121A (zh) * 2023-06-13 2023-07-18 合肥市正茂科技有限公司 一种车道线识别模型的训练方法及装置
CN117036937A (zh) * 2023-07-21 2023-11-10 山东省计算中心（国家超级计算济南中心） 基于物联网和深度学习的盲道方向识别及瑕疵检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861951A (zh) * 2022-11-27 2023-03-28 石家庄铁道大学 一种基于双特征提取网络的复杂环境车道线精准检测方法
CN116129390A (zh) * 2023-04-04 2023-05-16 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116129390B (zh) * 2023-04-04 2023-06-23 石家庄铁道大学 一种增强曲线感知的车道线精准检测方法
CN116453121A (zh) * 2023-06-13 2023-07-18 合肥市正茂科技有限公司 一种车道线识别模型的训练方法及装置
CN116453121B (zh) * 2023-06-13 2023-12-22 合肥市正茂科技有限公司 一种车道线识别模型的训练方法及装置
CN117036937A (zh) * 2023-07-21 2023-11-10 山东省计算中心（国家超级计算济南中心） 基于物联网和深度学习的盲道方向识别及瑕疵检测方法
CN117036937B (zh) * 2023-07-21 2024-01-26 山东省计算中心（国家超级计算济南中心） 基于物联网和深度学习的盲道方向识别及瑕疵检测方法

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN114913493A (zh) 一种基于深度学习的车道线检测方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN111563508A (zh) 一种基于空间信息融合的语义分割方法
CN109035779B (zh) 基于DenseNet的高速公路交通流预测方法
CN110009648B (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN111353505B (zh) 基于可联合实现语义分割和景深估计的网络模型的装置
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111062395A (zh) 一种实时的视频语义分割方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115830575A (zh) 一种基于Transformer与跨维度注意力的交通标志检测方法
CN115115917A (zh) 基于注意力机制和图像特征融合的3d点云目标检测方法
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115496764A (zh) 一种基于密集特征融合的有雾图像语义分割方法
CN115393822A (zh) 一种雾天行车障碍物检测方法及设备
CN111582279B (zh) 基于双流架构和边界强调损失函数的可行驶区域分割方法
CN112733934B (zh) 复杂环境下的多模态特征融合道路场景语义分割方法
CN117274723B (zh) 一种用于输电巡检的目标识别方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination