CN114677560A - 基于深度学习算法的车道线检测方法及计算机系统 - Google Patents

基于深度学习算法的车道线检测方法及计算机系统 Download PDF

Info

Publication number
CN114677560A
CN114677560A CN202210280846.XA CN202210280846A CN114677560A CN 114677560 A CN114677560 A CN 114677560A CN 202210280846 A CN202210280846 A CN 202210280846A CN 114677560 A CN114677560 A CN 114677560A
Authority
CN
China
Prior art keywords
lane line
module
network
training
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280846.XA
Other languages
English (en)
Inventor
戚德振
杨国钰
刘东东
邱野
卢雨儿
帅建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Original Assignee
Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering filed Critical Wenzhou Research Institute Of Guoke Wenzhou Institute Of Biomaterials And Engineering
Priority to CN202210280846.XA priority Critical patent/CN114677560A/zh
Publication of CN114677560A publication Critical patent/CN114677560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习算法的车道线检测方法及计算机系统，其包括以下步骤：1)获取公开数据集，并划分训练集和测试集；2)设计U型结构神经网络，其中包括下采样模块、全局信息融合模块及上采样模块；3)训练U型结构神经网络，并保存表现最好的网络权重参数；4)选取步骤3)中保存的表现最好的网络权重参数，并将待预测图像输入当前U型结构神经网络中，并获取分割后的车道线图像。全局信息融合模块深层次融合了CNN和Transformer，使得网络获得全局信息的能力更强，这大大提高了车道线检测任务的准确性；并且在循环累加模块中采用了以特定步伐融合的方式进一步减少了网络参数，这也保证了车道线检测任务的实时性。

Description

基于深度学习算法的车道线检测方法及计算机系统
技术领域
本发明具体涉及一种基于深度学习算法的车道线检测方法及计算机系统。
背景技术
根据SAE(美国汽车工程师学会)的分类，自动驾驶可以分为L0-L5级六个阶段。目前一般认为L3级是辅助驾驶和自动驾驶的分水岭。车道线检测在辅助驾驶和自动驾驶中都有着重要的作用，主要包括：高精地图生成以及驾驶中车道保持、自动巡航和超车决策等。车道线是人类社会中定义的高级视觉语言符号，它规定了车辆在道路上行驶的基本规范；车道线检测的任务就是根据车载摄像头拍摄的2D图像，将其中包含的车道线分割检测出来，并且需要满足一定的精确度和实时性要求。车道线检测难点大致可分为以下三点：1.严重的遮挡：这遮挡源于拥挤的交通；2.恶劣天气影响：下雨，雾霾或者黑夜等光照条件3.车道线自身的特性：本身属于细长物体、磨损、虚实线等，以及这些特性造成的整张图片的正负样本不均衡问题。
车道线检测是一个专有领域的专有问题，大范围属于计算机视觉任务，因此，它的发展得益于大环境下计算机视觉技术的发展。在早期，传统图像算法通过寻找像素和像素之间的关联并且融合几何特征来对图像进行分析处理，这些算法虽然实现简单，但是往往精度不高，只能用于特定的场合。1997年Bin Yu等人提出基于霍夫变换来实现车道线检测[1]，这也是车道线检测中传统图像算法的代表；
最近几年，随着硬件(GPU)算力的大幅提高，深度学习开始登上历史舞台。在计算机视觉领域，基于卷积神经网络(CNN)的方法在分类、分割、检测任务中都达到了可以媲美人类肉眼识别的速度和准确率，大幅突破了先前传统算法的瓶颈，基于CNN的车道线检测也达到了前所未有的实时性和准确性。
目前还没有报道利用深度学习U型网络结构并融合CNN和Transformer的方式来解决车道线检测任务。
中国专利CN112633177A公开了一种基于注意力空间卷积神经网络的车道线检测分割方法，它是主要利用基于注意力机制的空间卷积神经网络进行车道线的分割检测。
其中存在一些可以改进的地方：1.实时性难以保证：这种基于注意力空间卷积网络采用逐行信息传递方式造成参数量巨大，从而导致了网络在实际过程中预测缓慢，同时还会占用大量的计算资源。2.预测精度不高：单纯的利用这种空间卷积的方式来聚合高层语义信息效果不佳，容易遗漏许多重要的信息，在遮挡严重等需要网络想象出大部分被遮挡物体的情况下表现不好。
车道线相对于其他计算机视觉任务，最突出的特点就是遮挡严重，所以对于网络想象力的培养是设计网络结构的主要方向，这也就需要网络结构拥有强大的高层语义信息融合模块来获得全局信息。中国专利CN110414386B公开了一种基于改进SCNN网络的车道线检测方法，其虽然提出了改进版的SCNN网络，但是还是没有抓住车道线的应该注重融合高层语义信息这一本质问题，效果虽有提高，但是整体精度还有待提高。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于深度学习算法的车道线检测方法及计算机系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于深度学习算法的车道线检测方法，其包括以下步骤：
1)获取公开数据集，并划分训练集和测试集，并经由训练获取包含路径信息的文本文件；
2)设计U型结构神经网络，其中包括用于获取包含高层语义信息的特征图的下采样模块、用于整合下采样模块得到的包含高层语义信息的特征图的全局信息融合模块及用于将包含高层语义信息的特征图恢复为输入图像尺寸的上采样模块；
3)训练U型结构神经网络，并保存表现最好的网络权重参数；
4)选取步骤3)中保存的表现最好的网络权重参数，并将待预测图像输入当前U型结构神经网络中，并获取分割后的车道线图像。
步骤1)中，先将标签json坐标文件生成标签图片文件；然后划分训练集及测试集，并将训练集和测试集的路径生成txt文本文件，生成的txt文本文件中包含原始待输入图片的路径、生成的标签图片文件的路径及当前图片包含的车道线条数。
在将标签json坐标文件生成标签图片文件时，需指定每条车道线的宽度，且在读取每条车道线坐标时，按照从左到右的原则对每条车道线进行标号。
所述下采样模块包括四个由多个卷积块组成的卷积层。
所述全局信息融合模块由基于CNN的循环累加模块和Transformer模块构成，所述Transformer模块包括位置嵌入、卷积映射及自注意力机制。
所述全局信息融合模块的工作流程如下：
步骤一、将获取的包含高层语义信息的特征图与相同大小的位置嵌入模块结合，经过卷积映射模块映射为三个相同大小的Q矩阵、K矩阵及V矩阵；
步骤二、对Q矩阵、K矩阵及V矩阵进行自注意力机制计算后输入到基于CNN的循环累加模块；
步骤三、基于CNN的循环累加模块先将输入的矩阵划分为H行，而后经过从上到下，从下到上的信息累加传递；
步骤四、将输入的矩阵划分为W列，而后经过从左到右，从右到左的信息累加传递；
步骤五、再经过一层的自注意力机制进一步融合前面两步的信息。
所述上采样模块包含四个由反卷积和双线性差值方式构成的上采样层。
步骤3)中包括：
一、确定训练策略以及超参数；
二、对输入图像进行图像增广；
三、设定训练过程中保存中间权重参数的策略，所述保存中间权重参数的策略为：每经过一个迭代周期就会将测试集图像输入到当前网络中获得准确率指标，根据准确率来选取整个迭代周期中准确率最高的网络权重参数，并将其保存。
步骤一中，设定训练周期，每个周期会将整个训练集图片输入到网络中进行训练，在每一个迭代周期中，将当前网络训练预测处的图像与groud truth的标签进行损失函数及最小化交叉熵损失函数计算，已达到当前网络的预测输出接近标签。
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述基于深度学习算法的车道线检测方法的步骤。
本发明的有益效果：
本发明采用了U型网络结构，在下采样模块和上采样模块中加入了信息融合模块，由于信息融合模块的加入，使得车道线图像的高层语义信息更加丰富，进而能够预测遮挡严重的车道线。
本发明提出的全新信息融合模块(Cycle-Accumulation Transformer)深层次融合了CNN和Transformer，使得网络获得全局信息的能力更强，这大大提高了车道线检测任务的准确性；并且在循环累加模块中(Cycle-Accumulation)采用了以特定步伐融合的方式进一步减少了网络参数，这也保证了车道线检测任务的实时性。
附图说明
图1为本发明的工作流程示意图。
图2为本发明的网络结构图。
图3为信息融合模块的原理示意图。
图4为预测对比图，其中左侧为原图+标签，右侧为原图+预测后的图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于深度学习算法的车道线检测方法，其包括以下步骤：
1)获取公开数据集，并划分训练集和测试集，并经由训练获取包含路径信息的文本文件；
公开数据集须在输入到训练网络前，一般需要将标签json文件转化为标签图片文件，然后划分好训练集和测试集，后续由训练过程读取。
具体步骤包括：
1.1：由标签json坐标文件生成标签图片文件；根据标签json坐标文件生成标签图片文件需要指定每条车道线的宽度。在读取每条车道线坐标时需按照从左到右的原则对每条车道线进行标号。
1.2：将训练集和测试集的路径等信息生成txt文本文件；txt文本文件包括原始待输入图片的路径，上述1.1步骤生成的标签图片的路径以及当前图片包含的车道线条数。
2)设计U型结构神经网络，其中包括用于获取包含高层语义信息的特征图的下采样模块(Encoder)、用于整合下采样模块得到的包含高层语义信息的特征图的全局信息融合模块(Cycle-Accumulation Transformer)及用于将包含高层语义信息的特征图恢复为输入图像尺寸的上采样模块(Decoder)，如图2所示；
其中下采样模块(Encoder)用来获取高层语义信息，分为四个卷积层。给定输入图片，图片经过其中三个卷积层分别长度和宽度减半，并伴随着维度变大，此时逐渐从低层语义信息转为高层语义信息，最终得到拥有高层语义信息的特征图(featuremap)。
四个卷积层内部又有多个卷积块组成，包含卷积操作，池化操作，归一化操作等。
下采样模块可以是经典的Resnet或者是VGG模型。并且网络层数越高，其提取高层语义信息的能力越强。往往根据算力的大小来选择网络的层数。
而全局信息融合模块由基于CNN的循环累加(Cycle-Accumulation)模块和Transformer模块构成，Transformer模块包括位置嵌入(positional embedding)、卷积映射(convolutionalprojection)和自注意力机制(self-attention)。全局信息融合模块的具体融合方式如图3所示。
全局信息融合模块用来整合下采样模块得到的包含高层语义信息的特征图。首先特征图加上相同大小的位置嵌入模块，然后经过卷积映射模块映射为三个相同大小的Q矩阵、K矩阵、V矩阵，然后Q矩阵、K矩阵、V矩阵计算自注意力机制后输入到循环累加模块；循环累加模块先将输入的矩阵划分为H行，而后经过从上到下，从下到上的信息累加传递；之后将输入的矩阵划分为W列，而后经过从左到右，从右到左的信息累加传递得到；最后再经过一层的自注意力机制模块进一步融合前面两步的信息。
循环累加模块在传递过程中可以按照一定的步伐来进行传递，这样会减少网络的参数量，使得预测更加快速。
位置嵌入模块采用的是可学习的相对位置编码。
卷积映射模块采用的是可训练的卷积以滑动窗口的方式对输入的张量进行操作。经过卷积映射模块会生成Q矩阵，K矩阵，V矩阵三个不同参数空间的张量。此操作能节省大量的计算开销并且能够保留更多的空间信息。
自注意力机制模块是用来获得数据或特征内部的相关性，他的计算依赖于通过卷积映射模块得到的Q矩阵，K矩阵和V矩阵。
上采样模块包含四个上采样层，逐步将包含高层语义信息的1/8大小的特征图恢复为输入图像大小。经过上采样模块的输出此时已经包含了要分割的车道线，在训练阶段会和给定的标签计算损失函数。
四个上采样层内部由反卷积和双线性插值方式构成，并且其中三层能够恢复特征图两倍的尺寸。
3)训练U型结构神经网络，并保存表现最好的网络权重参数；
训练模型并保存表现最好的权重，主要可以分为以下三步：
3.1在训练过程中，需要对整个训练过程进行设定，设置相应的超参数，例如训练周期，batch_size的大小，学习率的大小等。在每一个迭代周期中，将当前网络训练预测出的图像和ground truth的标签进行计算损失函数。
3.2在训练过程中还需要对数据集进行一定的数据增广操作，采用常见的数据增广操作，例如随即裁剪、翻转、颜色转换等。
3.3设定训练过程中保存中间权重参数的策略，每经过一定迭代周期后将测试集图像输入到当前网络中获得性能指标，根据此性能指标来选取整个迭代周期中准确率最高的网络权重参数并保存。
4)选取步骤3)中保存的表现最好的网络权重参数，并将待预测图像输入当前U型结构神经网络中，并获取分割后的车道线图像。
选取保存的最好结果的网络权重参数，在此时预测阶段加载到网络中。输入待预测图像，经过网络输出分割后的车道线图像。为了更精确的预测，在得到车道线图像后经过后处理算法进一步校正。主要可以分为以下两步：
4.1准备待预测图像，并放入同一个文件夹以供输入到训练好的网络中，待预测图像可由用户的车载前置摄像头获得，输入图像的分辨率需预先统一。
4.2经过网络输出的车道线图像输入到后处理算法中进行校正。
本发明还提供了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于深度学习算法的车道线检测方法的步骤。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储由计算机程序指令，其中，计算机程序指令被处理器运行时，使得处理器执行所述的基于深度学习算法的车道线检测方法的步骤。
实施例：
基于深度学习U型结构并融合CNN和Transformer的车道线检测方法，如图1所示。
步骤一：选取公开数据集Tusimple，并处理好训练集和测试集。
Tusimple数据集中图片采集自高速公路，训练集包括6408图片，训练集3626张带有标签的数据，2782张测试集图片用来测试训练的模型。每张图片的分辨率为720*1280(720表示图片高度，1280表示图片宽度)。
公开数据集Tusimple不包含基于语义分割方法所需要的标签图片，所以在使用前需要先根据提供的标签json文件来生成训练集种对应的标签图片，以及划分好训练集和测试集，后续由训练过程读取。具体步骤如下：
1.1：由Tusimple中标签json坐标文件生成标签图片文件。
根据标签json坐标文件生成标签图片文件指定每条车道线的宽度为15个像素。在读取每条车道线坐标时按照从左到右的原则对每条车道线进行标号，并且生成标签图片文件时按照每条车道线的标号进行设置像素值。例如最左边的车道线标号为1，则这条车道线在标签图片中的像素值即为1。
1.2：将Tusimple训练集和测试集的路径等信息生成txt文本文件。
txt文本文件包括原始待输入图片的路径，上述A1步骤生成的标签图片的路径以及当前图片包含的车道线条数。这里需要对训练集和测试集都进行此操作，因为后续网络性能的评估需要测试集图片提供的标签文件计算得到。文本txt文件里每张图片的最终的格式为：
[/clips/0530/1492627171538356342_0/20.jpg/seg_label/0530/1492627171538356342_0/20.png 0 1 1 1 1 0]
步骤二：设计U型结构神经网络的总体结构。
神经网络的整体结构为U型结构，如图一所示。整体网络结构包括：下采样模块(Encoder)、全局信息融合模块(Cycle-Accumulation Transformer)、上采样模块(Decoder)。输入图片经过下采样逐步获得高层语义信息，而后输入到全局信息融合模块进行全局信息和本地信息的进一步融合，最后传输到上采样模块中恢复到输入原图大小。
同时本申请采用的U型结构神经网络可以在下采样模块和上采样模块对应位置加上跳连接。
下采样模块用来获取高层语义信息，分为四个卷积层。给定图片大小为[3,720,1280]的矩阵(3：rgb三个通道，720：图片的长度，1280：图片的宽度)，图片经过前三个卷积层分别长度和宽度减半，并伴随着维度变大，此时逐渐从低层语义信息转为高层语义信息。最终得到大小为[512,90,160]的特征图。
下采样模块可以是采用经典的Resnet34预训练参数模型。四个卷积层的输出通道分别为64，128，256，512，每一层输出得到的中间特征图大小会在上一层的基础上减半，即第一层卷积层输出大小为[64,360,640],第二层卷积层输出大小为[128,180,320]，第三层卷积层的输出大小为[256,90,160],第三层卷积层的输出大小为[512,90,160]。
四个卷积层内部又有多个卷积块组成，包含卷积操作，非线性操作，归一化操作等。基本的模块构成为：卷积操作+归一化操作+非线性操作，并在需要降采样时采用步长为2的1*1卷积实现大小的减半。
下采样模块也可以采用不同层数的ResNet网络、VGG网络、mobile-net网络以及基于Transformer的下采样网络等各种能获得图像高层语义信息的网络。
全局信息融合模块由基于CNN的循环累加模块和Transformer构成，Transformer模块包括位置嵌入、卷积映射和自注意力机制。全局信息融合模块的具体融合方式如图3所示。
全局信息融合模块用来整合下采样模块得到的包含高层语义信息的特征图。首先特征图加上相同大小的位置嵌入模块，然后经过卷积映射模块映射为三个相同大小的Q矩阵,K矩阵,V矩阵，然后Q矩阵,K矩阵,V矩阵计算自注意力机制后输入到循环累加模块；循环累加模块先将输入的矩阵划分为H行，而后经过从上到下，从下到上的信息累加传递；之后将输入的矩阵划分为W列，而后经过从左到右，从右到左的信息累加传递得到；最后再经过一层的自注意力机制模块进一步融合前面两步的信息。
循环累加模块在传递过程中首先按行进行从上到下、从下到上的融合过程，最后按列进行从左到右、从右到左的融合过程。每个融合过程都是按照一定的步伐来进行传递，这里步伐为2的n次方，n为进行的第几次融合，即第一次融合步伐为1，第二次融合步伐为2，第三次融合步伐为4，第四次融合步伐为8，以此类推。
位置嵌入模块采用的是可学习的相对位置编码，并且依赖于输入嵌入。公式表示为：
XH，W，C＝XH，W，C+PH，W，C
上式中XH，W，C为当前特征图表示，PH，W，C为添加的可学习相对位置编码。
卷积映射模块采用的是可训练的1*1卷积以滑动窗口的方式对输入的张量进行操作。经过卷积映射模块会生成Q矩阵，K矩阵，V矩阵三个不同参数空间的张量。此操作能节省大量的计算开销并且能够保留更多的空间信息。具体公式为：
Figure BDA0003556895490000101
Figure BDA0003556895490000102
Figure BDA0003556895490000103
上式中Conv2d1*1表示采用1*1卷积核大小的卷积操作，
Figure BDA0003556895490000104
为经过卷积映射后生成的Q矩阵，K矩阵，V矩阵。
自注意力机制模块是用来获得数据或特征内部的相关性，他的计算依赖于通过卷积映射模块得到的Q矩阵，K矩阵和V矩阵，首选Q矩阵和K矩阵的转置计算得到注意力矩阵(attention)，最后注意力矩阵和V矩阵计算得到最后的输出。具体公式表示为：
Figure BDA0003556895490000105
Figure BDA0003556895490000111
上式中Softmax表示采用的Pytorch库自带的Softmax操作，Allenllon为计算得到的注意力矩阵，此时超参数dk设置为1。
全局信息融合模块可以采用单独的基于CNN方式的循环累加信息融合模块、单独的基于Transformer方式的信息融合模块以及二者以并联方式构成的模块。
上采样模块整体包含四个上采样层，每个上采样层内部由反卷积和双线性插值方式构成，将包含高层语义信息的特征图(大小为90*160)恢复为输入图像大小(720*1280)。此时经过上采样模块的输出结果已经包含了要分割的车道线，并且每条车道线用不同的像素值表示，在训练阶段会和给定的标签计算损失函数。
四个上采样层内部的反卷积操作采用1*3和3*1行列卷积，双线性插值操作采用Pytorch自带的函数，这两种操作并联形成一个上采样层。
四个上采样层中的三层会恢复特征图两倍的尺寸，即从[512，90，160]逐步恢复成[3，720，1680]。
在输出层的前一层加入可学习的偏移量张量来优化得到的车道线精度。
上采样模块可以采用单独的反卷积操作构成的模块、单独的双线性插值构成的模块操作以及二者并联方式构成的模块。
步骤三：训练模型并保存表现最好的权重
步骤三是为了构建训练模型所需的元素，包括训练的策略以及保存中间训练参数的策略。主要包括以下三点：
3.1训练策略以及超参数的确定；
在训练过程中，针对Tusimple数据集，将整体的训练周期设置为400个周期，每个周期都会将整个训练集图片输入到网络中进行训练。这里的batchsize设为12；对于优化器，都采用了SGD优化器，其中最大学习率参数设置为0.02，“weight_decay”设置为1e-4，“momentum”设置为0.9，进一步，我们采用“LambdaLR”策略来动态调整学习率。
在每一个迭代周期中，将当前网络训练预测出的图像和ground truth的标签进行计算损失函数，最小化交叉熵损失函数以达到当前网络的预测输出和标签足够接近。
3.2对输入图像进行图像增广；
在训练过程中我们采用了ColorJitter，RandomResize、RandomCrop、RandomRotation and GroupNormaliz等目前常见的数据增广策略，这些方法通过Pytorch官方自带的库实现。
数据增广操作在训练过程中会设置随机种子，随机种子的值设置为0.6，即当前训练过程中产生的随机数大于0.6才会执行对应的数据增广操作，这样能增加整个网络的泛化性和鲁棒性。
数据增广操作只在训练阶段采用，在测试阶段不会采用。
3.3设定训练过程中保存中间权重参数的策略
设定的保存策略为：每经过一个迭代周期就会将测试集图像输入到当前网络中获得准确率指标，根据准确率来选取整个迭代周期中准确率最高的网络权重参数，并将其保存。如果当前迭代周期得到的准确率高于前一次，则将更新的网络权重参数为当前参数，以此类推。
对于Tusimple数据集，采用准确率指标来衡量当前网络表现得好坏。
对于Tusimple数据集，采用本发明的网络结构并搭配训练策略，能达到97％的准确率，并同时拥有大于50FPS的预测速度。
步骤四：输入待预测图像来预测分割车道线；
选取步骤三保存的最好结果的网络权重参数，在预测阶段加载到神经网络中。输入待预测图像由用户的车载前置摄像头获得，然后经过网络输出分割后的车道线图像。为了更精确的预测，在得到车道线图像后经过后处理算法进一步校正。具体的步骤如下：
4.1这里选用的待预测图像是采集自前置摄像头拍摄的一段视频，然后待预测图像的分辨率统一设置为720*1280。在处理好待预测图片后就可将图片输入到网络中得到输出车道线图像。
待预测图像由视频分帧得到，一秒钟间隔取10张图片来生成待预测数据集。
4.2经过网络输出的车道线图像输入到后处理算法中进行校正，校正主要是对相同车道线断点补全。校正后的车道线可以输出坐标或者映射回原图以供自动驾驶其他系统使用。
其中车道线断点补全算法中，首先对车道线图片按行间隔10个像素采样，确定出每条车道线的坐标位置，对于前后间隔有空缺的位置进行二次函数拟合补点，最后重新生成新的校正后的车道线图片。
实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习算法的车道线检测方法，其特征在于：其包括以下步骤：
1)获取公开数据集，并划分训练集和测试集，并经由训练获取包含路径信息的文本文件；
2)设计U型结构神经网络，其中包括用于获取包含高层语义信息的特征图的下采样模块、用于整合下采样模块得到的包含高层语义信息的特征图的全局信息融合模块及用于将包含高层语义信息的特征图恢复为输入图像尺寸的上采样模块；
3)训练U型结构神经网络，并保存表现最好的网络权重参数；
4)选取步骤3)中保存的表现最好的网络权重参数，并将待预测图像输入当前U型结构神经网络中，并获取分割后的车道线图像。
2.根据权利要求1所述的基于深度学习算法的车道线检测方法，其特征在于：步骤1)中，先将标签json坐标文件生成标签图片文件；然后划分训练集及测试集，并将训练集和测试集的路径生成txt文本文件，生成的txt文本文件中包含原始待输入图片的路径、生成的标签图片文件的路径及当前图片包含的车道线条数。
3.根据权利要求2所述的基于深度学习算法的车道线检测方法，其特征在于：在将标签json坐标文件生成标签图片文件时，需指定每条车道线的宽度，且在读取每条车道线坐标时，按照从左到右的原则对每条车道线进行标号。
4.根据权利要求1所述的基于深度学习算法的车道线检测方法，其特征在于：所述下采样模块包括四个由多个卷积块组成的卷积层。
5.根据权利要求1所述的基于深度学习算法的车道线检测方法，其特征在于：所述全局信息融合模块由基于CNN的循环累加模块和Transformer模块构成，所述Transformer模块包括位置嵌入、卷积映射及自注意力机制。
6.根据权利要求5所述的基于深度学习算法的车道线检测方法，其特征在于：所述全局信息融合模块的工作流程如下：
步骤一、将获取的包含高层语义信息的特征图与相同大小的位置嵌入模块结合，经过卷积映射模块映射为三个相同大小的Q矩阵、K矩阵及V矩阵；
步骤二、对Q矩阵、K矩阵及V矩阵进行自注意力机制计算后输入到基于CNN的循环累加模块；
步骤三、基于CNN的循环累加模块先将输入的矩阵划分为H行，而后经过从上到下，从下到上的信息累加传递；
步骤四、将输入的矩阵划分为W列，而后经过从左到右，从右到左的信息累加传递；
步骤五、再经过一层的自注意力机制进一步融合前面两步的信息。
7.根据权利要求1所述的基于深度学习算法的车道线检测方法，其特征在于：所述上采样模块包含四个由反卷积和双线性差值方式构成的上采样层。
8.根据权利要求1所述的基于深度学习算法的车道线检测方法，其特征在于：步骤3)中包括：
一、确定训练策略以及超参数；
二、对输入图像进行图像增广；
三、设定训练过程中保存中间权重参数的策略，所述保存中间权重参数的策略为：每经过一个迭代周期就会将测试集图像输入到当前网络中获得准确率指标，根据准确率来选取整个迭代周期中准确率最高的网络权重参数，并将其保存。
9.根据权利要求8所述的基于深度学习算法的车道线检测方法，其特征在于：步骤一中，设定训练周期，每个周期会将整个训练集图片输入到网络中进行训练，在每一个迭代周期中，将当前网络训练预测处的图像与groud truth的标签进行损失函数及最小化交叉熵损失函数计算，已达到当前网络的预测输出接近标签。
10.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述权利要求1至9任一一项所述基于深度学习算法的车道线检测方法的步骤。
CN202210280846.XA 2022-03-21 2022-03-21 基于深度学习算法的车道线检测方法及计算机系统 Pending CN114677560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280846.XA CN114677560A (zh) 2022-03-21 2022-03-21 基于深度学习算法的车道线检测方法及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280846.XA CN114677560A (zh) 2022-03-21 2022-03-21 基于深度学习算法的车道线检测方法及计算机系统

Publications (1)

Publication Number Publication Date
CN114677560A true CN114677560A (zh) 2022-06-28

Family

ID=82074914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280846.XA Pending CN114677560A (zh) 2022-03-21 2022-03-21 基于深度学习算法的车道线检测方法及计算机系统

Country Status (1)

Country Link
CN (1) CN114677560A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115588177A (zh) * 2022-11-23 2023-01-10 荣耀终端有限公司 训练车道线检测网络的方法、电子设备、程序产品及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115588177A (zh) * 2022-11-23 2023-01-10 荣耀终端有限公司 训练车道线检测网络的方法、电子设备、程序产品及介质

Similar Documents

Publication Publication Date Title
CN111563508B (zh) 一种基于空间信息融合的语义分割方法
Liebel et al. Auxiliary tasks in multi-task learning
CN111563909B (zh) 一种复杂街景图像语义分割方法
CN114677560A (zh) 基于深度学习算法的车道线检测方法及计算机系统
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
Mahjourian et al. Geometry-based next frame prediction from monocular video
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN114429491B (zh) 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
CN113657388A (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN112183675B (zh) 一种基于孪生网络的针对低分辨率目标的跟踪方法
CN112686207A (zh) 一种基于区域信息增强的城市街道场景目标检测方法
CN111652081A (zh) 一种基于光流特征融合的视频语义分割方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN112396657A (zh) 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN116188550A (zh) 一种基于几何约束的自监督深度视觉里程计
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN116977712A (zh) 基于知识蒸馏的道路场景分割方法、系统、设备及介质
Zhang et al. Enhanced deeplabv3+ for urban land use classification based on uav-borne images
CN112634289B (zh) 一种基于非对称空洞卷积的快速可行域分割方法
Ding et al. A lane line detection algorithm based on convolutional neural network
Zheng et al. A Lightweight Network for Remote Sensing Image Cloud Detection
CN113255459A (zh) 一种基于图像序列的车道线检测方法
CN112634331A (zh) 一种光流预测方法及装置
CN112926482A (zh) 一种基于多尺度残差卷积神经网络的道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination