CN113239865B - 基于深度学习的车道线检测方法 - Google Patents

基于深度学习的车道线检测方法 Download PDF

Info

Publication number
CN113239865B
CN113239865B CN202110602486.6A CN202110602486A CN113239865B CN 113239865 B CN113239865 B CN 113239865B CN 202110602486 A CN202110602486 A CN 202110602486A CN 113239865 B CN113239865 B CN 113239865B
Authority
CN
China
Prior art keywords
lane line
network
layer
convolutional layer
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110602486.6A
Other languages
English (en)
Other versions
CN113239865A (zh
Inventor
张静
胡锐
乐垚
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110602486.6A priority Critical patent/CN113239865B/zh
Publication of CN113239865A publication Critical patent/CN113239865A/zh
Application granted granted Critical
Publication of CN113239865B publication Critical patent/CN113239865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的车道线检测方法，解决了现有技术中车道线检测准确率较低以及计算量较大的问题。本发明实现的步骤包括：生成训练集；构建车道线特征增强网络；利用构建好的车道线特征增强网络构建车道线特征提取网络；生成用于训练车道线特征提取网络的损失函数；对车道线特征提取网络进行训练；构建逆透视变换矩阵预测网络并对其进行训练；利用训练好的车道线特征提取网络和逆透视变换矩阵预测网络对车道线进行检测。本发明采用车道线特征增强网络以及轻量级的网络结构，能够充分提取并利用车道线特征，对车道线检测的准确率和时效性有较好的平衡效果。

Description

基于深度学习的车道线检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分割技术领域中的一种基于深度学习的车道线检测方法。本发明可用于通过自动驾驶设备实现机动车在行驶过程中对车道线的检测。
背景技术
随着机动车科技领域的迅速发展，自动驾驶技术逐渐走入了大众的视野，自动驾驶技术是指通过自动驾驶系统代替汽车驾驶员，从而优化驾驶行为。安全性是自动驾驶技术中首要关注的问题，安全性水平主要取决于自动驾驶系统环境感知的能力，而车道线检测则是环境感知中一个关键环节，较好的车道线检测的性能是自动驾驶系统后续进行正确规划和决策的重要基础。现有技术中，基于传统视觉的车道线检测方法通过利用车道线固有特征对车道线进行检测，例如利用车道线的颜色、边缘等物理属性特征，以及车道线的数学模型特征等，此类方法往往需要依赖于大量的人工经验。基于深度学习的车道线检测方法能够通过神经网络对于数据集的自主学习避免大量的人工经验，但在一些复杂道路场景下检测的准确性和鲁棒性不佳，同时计算复杂度往往较高。例如：
青岛科技大学在其申请的专利文献“一种基于深度学习的车道线检测方法”(申请号：CN202011517152.0，申请公布号：CN 112560717 A)中提出了一种车道线检测方法。该方法首先对车道线图像进行采集生成车道线数据集，同时构建了一个全卷积车道线检测网络模型，并采用传统图像处理方法对车道线数据进行预处理，然后将经过预处理的车道线数据对输入网络模型，并对网络模型进行训练使其能够实现对车道线的检测。该方法通过结合深度学习网络模型和传统图像处理方法提高了车道线检测结果的准确性，但是，该方法仍然存在的不足之处是，由于传统图像预处理方法在特征提取上主观因素较强，需要大量的人工经验，使得该方法在车道线特征提取性能上的鲁棒性不足，难以适用于较复杂的道路场景；同时该方法计算量较大，导致车道线检测的时效性在实际应用中表现较差。
浙江大华技术股份有限公司在其申请的专利文献“基于深度学习的车道线检测方法以及装置”(申请号：CN202011555482.9，申请公布号：CN 112287912 A)中提出了一种车道线检测方法。该方法首先设计了一个结合了多尺度注意力机制以及深度可分离卷积的网络模型，并将车道线图像数据输入该网络模型中对网络进行训练，然后将车道线图像数据输入训练好的网络模型得到初步的检测结果图，并对该结果图进行后处理，得到最终的车道线检测结果。该方法通过结合注意力机制及深度可分离卷积的方法提高了网络模型的特征提取能力，并通过传统后处理方法提升了检测结果的准确性，但是，该方法仍然存在的不足之处是，由于深度可分离卷积和传统后处理方法会大大增加网络模型的计算量，从而影响车道线检测的时效性。
发明内容
本发明的目的在于针对现有技术的不足，提出一种有效提取车道线特征，同时合理平衡准确性和时效性的基于深度学习的车道线检测方法，用于解决现有车道线检测技术检测效果不佳，同时计算量较大以及车道线检测在复杂道路场景中检测准确率较低的问题。
实现本发明目的的具体思路是，分别构建轻量级车道线特征提取网络和逆透视变换矩阵预测网络，在车道线特征提取网络中采用车道线特征增强的网络结构，该车道线特征增强的网络结构采用多方向性池化方法对车道线的条形长距离依赖信息进行捕获，同时能够避免不同车道线之间的预测信息干扰，并且利用多尺度对图像的全局信息进行利用，有效对车道线特征进行提取，提升车道线检测的准确率；同时采用轻量级的网络结构，保证方法具有较小的计算量以及较好的车道线检测时效性。
本发明的具体步骤如下：
(1)生成训练集：
(1a)选取至少4000张含有车道线的图像，每张图像的分辨率均为1280×720，且每张图像中至少包括2条车道线，同时每张图像对应有一张二值分割标签图；
(1b)将每张图像的分辨率调整大小至512×256后组成训练集；
(2)构建车道线特征增强网络：
(2a)构建一个26层的车道线特征增强网络，其结构依次为：第1卷积层，第2卷积层，第3卷积层，第4卷积层，第5卷积层，第6卷积层，第7卷积层，第1反卷积层，第1特征级联层，第1激活层，第2反卷积层，第2特征级联层，第2激活层，第3反卷积层，第1池化层，第2池化层，第8卷积层，第9卷积层，第3池化层，第4池化层，第10卷积层，第11卷积层，第3特征级联层，第12卷积层，第4特征级联层，第13卷积层；
(2b)设置车道线特征增强网络各层参数如下：
将第1、8、10、12、13卷积层的卷积核大小均设置为1×1、步长均设置为1；
将第2至7卷积层的卷积核大小分别设置为7×7、7×7、5×5、5×5、3×3、3×3，步长分别设置为2、1、2、1、2、1；
将第9、11卷积层的卷积核大小分别设置为1×3、3×1，步长均设置为1；
将第1、2、3反卷积层的卷积核大小均设置为4×4，步长均设置为2；
将第1、2、3、4池化层的池化窗口分别设置为1×512、1×512、256×1、256×1；
(3)构建车道线特征提取网络：
采用Bisenet_V2语义分割网络作为主干网络，将主干网络与M个串联的车道线特征增强网络连接组成车道线特征提取网络；
(4)生成用于训练车道线特征提取网络的损失函数：
(4a)生成加权交叉熵损失函数为：
Figure BDA0003093355680000031
其中，ω1表示车道线的交叉熵权重值，yi表示真实类别为车道线的概率，log(·)表示以2为底数的对数操作，
Figure BDA0003093355680000032
表示预测类别为车道线的概率，ω0表示图像中除车道线以外背景的交叉熵权重值；
(4b)生成判别的损失函数为：L2＝lV+lD，lV表示方差损失，lD表示距离损失，
Figure BDA0003093355680000033
其中，C表示车道线的数量，S表示车道线像素点的数量，μc表示车道线的均值向量，xi表示车道线的像素向量，δV表示方差损失的边界阈值，
Figure BDA0003093355680000034
表示取0和a之间的最大值，Ci表示第i条车道线，δd表示距离损失的边界阈值，
Figure BDA0003093355680000035
表示第i条车道线的均值向量；
(5)训练车道线特征提取网络：
将训练集中的图像输入到车道线特征提取网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练车道线特征提取网络的损失函数的值下降至稳定值时停止训练，得到训练好的车道线特征提取网络；
(6)构建逆透视变换矩阵预测网络：
(6a)搭建一个10层的逆透视变换矩阵预测网络，其结构依次为：第1卷积层，第2卷积层，第1池化层，第3卷积层，第4卷积层，第2池化层，第5卷积层，第6卷积层，第3池化层，线性层；
(6b)设置逆透视变换矩阵预测网络各层参数如下：
将第1至第6卷积层的卷积核大小均设置为3×3、步长均设置为1；
将第1、2、3池化层的池化窗口均设置为2×2；
(7)训练逆透视变换矩阵预测网络：
将训练集中的图像输入到逆透视变换矩阵预测网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练逆透视变换矩阵预测网络的损失函数的值下降至稳定值时停止训练，得到训练好的逆透视变换矩阵预测网络；
(8)检测车道线：
将待检测的含有车道线的图像依次输入到训练好的车道线特征提取网络及训练好的逆透视变换矩阵预测网络中，输出车道线检测结果。
本发明与现有技术相比较，具有如下优点：
第一，由于本发明同时构建车道线特征提取网络以及逆透视变换矩阵预测网络，形成端到端结构的车道线检测算法框架，并采用轻量级的网络结构，实现了对每条车道线的区分，并根据不同的车道线形状特性对拟合性能进行优化，有更强的适用性，克服了现有技术中车道线检测性能不佳以及计算量较大的问题，使得本发明能够较好的平衡车道线检测准确率和时效性。
第二，由于本发明在车道线特征提取网络中采用车道线特征增强网络，充分利用道路场景中像素间远距离依赖关系，同时结合全局和局部信息，实现了对于车道线特征的有效提取，克服了现有技术中车道线检测在复杂道路场景中检测准确率较低的问题，有效提升了车道线检测的准确性和鲁棒性。
附图说明
图1是本发明的流程图；
图2是本发明车道线特征增强网络结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作详细的描述。
参照图1对本发明实现的具体步骤作进一步的描述。
步骤1，生成训练集。
选取至少4000张含有车道线的图像，每张图像的分辨率均为1280×720，且每张图像中至少包括2条车道线，同时每张图像对应有一张二值分割标签图。
将每张图像的分辨率调整大小至512×256后组成训练集。
本发明的实施例中所生成训练集，选取3626张训练集图像，同时选取2782张测试集图像。
步骤2，构建车道线特征增强网络。
参照图2对本发明的车道线特征增强网络做进一步的描述。
其结构依次为：第1卷积层，第2卷积层，第3卷积层，第4卷积层，第5卷积层，第6卷积层，第7卷积层，第1反卷积层，第1特征级联层，第1激活层，第2反卷积层，第2特征级联层，第2激活层，第3反卷积层，第1池化层，第2池化层，第8卷积层，第9卷积层，第3池化层，第4池化层，第10卷积层，第11卷积层，第3特征级联层，第12卷积层，第4特征级联层，第13卷积层。
设置车道线特征增强网络各层参数如下。
将第1、8、10、12、13卷积层的卷积核大小均设置为1×1、步长均设置为1。
将第2至7卷积层的卷积核大小分别设置为7×7、7×7、5×5、5×5、3×3、3×3，步长分别设置为2、1、2、1、2、1。
将第9、11卷积层的卷积核大小分别设置为1×3、3×1，步长均设置为1。
将第1、2、3反卷积层的卷积核大小均设置为4×4，步长均设置为2。
将第1、2、3、4池化层的池化窗口分别设置为1×512、1×512、256×1、256×1。
本发明的实施例中所构建车道线特征增强网络，具体采用一种基于多尺度及多方向性的注意力机制网络结构对车道线特征进行增强，该模块分别由是多方向性池化子模块架构和多尺度注意力机制子模块组成。其中，多方向性池化子模块具体采用水平条形池化捕获车道线的条形长距离依赖信息，同时采用垂直条形池化避免不同车道线之间的预测信息干扰；多尺度注意力机制子模块具体采用多尺度特征提取结构提取出不同尺度大小的车道线特征，并对图像的全局信息进行利用，同时采用注意力机制方法对提取出的车道线特征进行强化。
步骤3，构建车道线特征提取网络。
采用Bisenet_V2语义分割网络作为主干网络，将主干网络与M个串联的车道线特征增强网络连接组成车道线特征提取网络。
本发明的实施例中所述M个串联的车道线特征增强网络中的“M”的数值在进行确定时采用消融实验分别对“M”至多为5的车道线特征增强网络进行测试，选取使车道线检测效果最优的数值作为“M”的值。
本发明的实施例中在车道线特征提取网络中分为语义分割分支和实例分割分支两部分，其中采用语义分割分支网络对原图中每条车道线像素点的位置信息进行预测，采用实例分割分支网络通过聚类的方法对原图中每条车道线的实例信息进行预测。经过多次实验，将M的值确定为2。
步骤4，生成用于训练车道线特征提取网络的损失函数。
生成加权交叉熵损失函数为：
Figure BDA0003093355680000061
其中，ω1表示车道线的交叉熵权重值，yi表示真实类别为车道线的概率，log(·)表示以2为底数的对数操作，
Figure BDA0003093355680000062
表示预测类别为车道线的概率，ω0表示图像中除车道线以外背景的交叉熵权重值。
生成判别的损失函数为：L2＝lV+lD，lV表示方差损失，lD表示距离损失，
Figure BDA0003093355680000063
其中，C表示车道线的数量，S表示车道线像素点的数量，μc表示车道线的均值向量，xi表示车道线的像素向量，δV表示方差损失的边界阈值，
Figure BDA0003093355680000064
表示取0和a之间的最大值，Ci表示第i条车道线，δd表示距离损失的边界阈值，
Figure BDA0003093355680000065
表示第i条车道线的均值向量。
本发明的实施例中所述的加权交叉熵损失函数对车道线和背景两种类别像素点的交叉熵分别赋予不同的权重，增强网络对车道线类别像素点的预测，弱化网络对背景类别像素点的预测；基于判别的损失函数具体由方差损失和距离损失两部分组成，其中方差损失使属于同一条车道线的像素点尽量靠近，距离损失使属于不同车道线的像素点尽量远离，使每条车道线成为一个独立的实例。
步骤5，训练车道线特征提取网络。
将训练集中的图像输入到车道线特征提取网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练车道线特征提取网络的损失函数的值下降至稳定值时停止训练，得到训练好的车道线特征提取网络。
步骤6，构建逆透视变换矩阵预测网络。
构建一个10层的逆透视变换矩阵预测网络，其结构依次为：第1卷积层，第2卷积层，第1池化层，第3卷积层，第4卷积层，第2池化层，第5卷积层，第6卷积层，第3池化层，线性层。
设置逆透视变换矩阵预测网络各层参数如下。
将第1至第6卷积层的卷积核大小均设置为3×3、步长均设置为1。
将第1、2、3池化层的池化窗口均设置为2×2。
本发明的实施例中所构建逆透视变换矩阵预测网络，具体采用一种基于自适应曲线拟合的透视变换矩阵预测方法，判断车道线的形状，并根据不同的车道线形状对其选择相应的曲线拟合模型，逆透视变换矩阵预测网络根据所选择的曲线拟合模型实现对数据集图像的逆透视变换矩阵的预测。
步骤7，训练逆透视变换矩阵预测网络。
将训练集中的图像输入到逆透视变换矩阵预测网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练逆透视变换矩阵预测网络的损失函数的值下降至稳定值时停止训练，得到训练好的逆透视变换矩阵预测网络。
本发明的实施例中所述用于训练逆透视变换矩阵预测网络的损失函数采用均方误差损失函数：
Figure BDA0003093355680000071
其中，N表示图中车道线像素点的数量，∑(·)表示求和操作，ti *表示第i个车道线像素点在图像中的预测横坐标值，ti表示第i个车道线像素点在图像中的真实横坐标值。
步骤8，检测车道线。
将待检测的含有车道线的图像依次输入到训练好的车道线特征提取网络及训练好的逆透视变换矩阵预测网络中，输出车道线检测结果。
本发明的实施例中在检测车道线时具体计算的是车道线检测结果的准确率，即预测的车道线像素点中正确预测的数量占真正车道线像素点数量的百分比。将步骤1中所生成2782张测试图像输入到训练好的车道线特征提取网络及训练好的逆透视变换矩阵预测网络中对车道线进行检测，本发明中车道线检测的准确率为97.28％。

Claims (4)

1.一种基于深度学习的车道线检测方法，其特征在于，分别设计车道线特征提取网络和透视变换矩阵预测网络，通过设计损失函数对网络模型参数进行优化，该方法的步骤包括如下：
(1)生成训练集：
(1a)选取至少4000张含有车道线的图像，每张图像的分辨率均为1280×720，且每张图像中至少包括2条车道线，同时每张图像对应有一张二值分割标签图；
(1b)将每张图像的分辨率调整大小至512×256后组成训练集；
(2)构建车道线特征增强网络：
(2a)构建一个26层的车道线特征增强网络，其结构依次为：第1卷积层，第2卷积层，第3卷积层，第4卷积层，第5卷积层，第6卷积层，第7卷积层，第1反卷积层，第1特征级联层，第1激活层，第2反卷积层，第2特征级联层，第2激活层，第3反卷积层，第1池化层，第2池化层，第8卷积层，第9卷积层，第3池化层，第4池化层，第10卷积层，第11卷积层，第3特征级联层，第12卷积层，第4特征级联层，第13卷积层；
(2b)设置车道线特征增强网络各层参数如下：
将第1、8、10、12、13卷积层的卷积核大小均设置为1×1、步长均设置为1；
将第2至7卷积层的卷积核大小分别设置为7×7、7×7、5×5、5×5、3×3、3×3，步长分别设置为2、1、2、1、2、1；
将第9、11卷积层的卷积核大小分别设置为1×3、3×1，步长均设置为1；
将第1、2、3反卷积层的卷积核大小均设置为4×4，步长均设置为2；
将第1、2、3、4池化层的池化窗口分别设置为1×512、1×512、256×1、256×1；
(3)构建车道线特征提取网络：
采用Bisenet_V2语义分割网络作为主干网络，将主干网络与M个串联的车道线特征增强网络连接组成车道线特征提取网络；
(4)生成用于训练车道线特征提取网络的损失函数：
(4a)生成加权交叉熵损失函数为：
Figure FDA0004014530830000021
其中，ω1表示车道线的交叉熵权重值，yi表示真实类别为车道线的概率，log(·)表示以2为底数的对数操作，
Figure FDA0004014530830000022
表示预测类别为车道线的概率，ω0表示图像中除车道线以外背景的交叉熵权重值；
(4b)生成判别的损失函数为：L2＝lV+lD，lV表示方差损失，lD表示距离损失，
Figure FDA0004014530830000023
其中，C表示车道线的数量，S表示车道线像素点的数量，μc表示车道线的均值向量，xi表示车道线的像素向量，δV表示方差损失的边界阈值，
Figure FDA0004014530830000024
表示取0和a之间的最大值，Ci表示第i条车道线，δd表示距离损失的边界阈值，
Figure FDA0004014530830000025
表示第i条车道线的均值向量；
(5)训练车道线特征提取网络：
将训练集中的图像输入到车道线特征提取网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练车道线特征提取网络的损失函数的值下降至稳定值时停止训练，得到训练好的车道线特征提取网络；
(6)构建逆透视变换矩阵预测网络：
(6a)搭建一个10层的逆透视变换矩阵预测网络，其结构依次为：第1卷积层，第2卷积层，第1池化层，第3卷积层，第4卷积层，第2池化层，第5卷积层，第6卷积层，第3池化层，线性层；
(6b)设置逆透视变换矩阵预测网络各层参数如下：
将第1至第6卷积层的卷积核大小均设置为3×3、步长均设置为1；
将第1、2、3池化层的池化窗口均设置为2×2；
(7)训练逆透视变换矩阵预测网络：
将训练集中的图像输入到逆透视变换矩阵预测网络中，采用梯度下降法对网络的参数进行迭代更新，直至用于训练逆透视变换矩阵预测网络的损失函数的值下降至稳定值时停止训练，得到训练好的逆透视变换矩阵预测网络；
(8)检测车道线：
将待检测的含有车道线的图像依次输入到训练好的车道线特征提取网络及训练好的逆透视变换矩阵预测网络中，输出车道线检测结果。
2.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，步骤(3)中所述M个串联的车道线特征增强网络中的“M”的数值在进行确定时采用消融实验分别对“M”至多为5的车道线特征增强网络进行测试，选取使车道线检测效果最优的数值作为“M”的值。
3.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，步骤(6)中所述构造逆透视变换矩阵预测网络，具体采用一种基于自适应曲线拟合的透视变换矩阵预测方法，判断车道线的形状，并根据不同的车道线形状对其选择相应的曲线拟合模型，逆透视变换矩阵预测网络根据所选择的曲线拟合模型实现对数据集图像的逆透视变换矩阵的预测。
4.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，步骤(7)中所述用于训练逆透视变换矩阵预测网络的损失函数采用均方误差损失函数：
Figure FDA0004014530830000031
其中，N表示图中车道线像素点的数量，∑(·)表示求和操作，ti *表示第i个车道线像素点在图像中的预测横坐标值，ti表示第i个车道线像素点在图像中的真实横坐标值。
CN202110602486.6A 2021-05-31 2021-05-31 基于深度学习的车道线检测方法 Active CN113239865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110602486.6A CN113239865B (zh) 2021-05-31 2021-05-31 基于深度学习的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110602486.6A CN113239865B (zh) 2021-05-31 2021-05-31 基于深度学习的车道线检测方法

Publications (2)

Publication Number Publication Date
CN113239865A CN113239865A (zh) 2021-08-10
CN113239865B true CN113239865B (zh) 2023-03-10

Family

ID=77135794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110602486.6A Active CN113239865B (zh) 2021-05-31 2021-05-31 基于深度学习的车道线检测方法

Country Status (1)

Country Link
CN (1) CN113239865B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022863B (zh) * 2021-10-28 2022-10-11 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统
CN111242037B (zh) * 2020-01-15 2023-03-21 华南理工大学 基于结构信息的车道线检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fully Automatic Pediatric Echocardiography Segmentation Using Deep Convolutional Networks Based on BiSeNet;Yujin Hu，and etc;《2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20191007;第6561-6564页 *
基于卷积神经网络的车道线语义分割算法;徐国晟等;《电子测量与仪器学报》;20180715(第07期);第89-94页 *

Also Published As

Publication number Publication date
CN113239865A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108509978B (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN113688723B (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
KR102263397B1 (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
KR102280414B1 (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
CN103049763A (zh) 一种基于上下文约束的目标识别方法
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN111666903B (zh) 一种卫星云图中雷暴云团的识别方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN111160481A (zh) 基于深度学习的adas目标检测方法及系统
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN117422696A (zh) 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法
CN113239865B (zh) 基于深度学习的车道线检测方法
CN114529730A (zh) 一种基于lbp特征的卷积神经网络地面材质图像分类方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112258402A (zh) 一种快速去雨的密集残差生成对抗网络
CN117475145A (zh) 融合多重注意力机制的多尺度遥感影像语义分割方法及系统
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
CN115953678A (zh) 一种基于局部灰度极值点和特征融合的路面破损检测方法
CN112507327B (zh) 一种基于机器学习的晴雨检测与处理方法
CN115240070A (zh) 一种裂缝检测方法
CN112052742B (zh) 融合语义与像素特征的高分二号遥感影像水体提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant