CN114463715A - 一种车道线检测方法 - Google Patents

一种车道线检测方法 Download PDF

Info

Publication number
CN114463715A
CN114463715A CN202111616034.XA CN202111616034A CN114463715A CN 114463715 A CN114463715 A CN 114463715A CN 202111616034 A CN202111616034 A CN 202111616034A CN 114463715 A CN114463715 A CN 114463715A
Authority
CN
China
Prior art keywords
lane line
lane
input image
image
line detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111616034.XA
Other languages
English (en)
Inventor
付本刚
吴秋硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aerospace Dawei Technology Co Ltd
Original Assignee
Jiangsu Aerospace Dawei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aerospace Dawei Technology Co Ltd filed Critical Jiangsu Aerospace Dawei Technology Co Ltd
Priority to CN202111616034.XA priority Critical patent/CN114463715A/zh
Publication of CN114463715A publication Critical patent/CN114463715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车道线检测方法，包括以下步骤：S1：获取道路图像，对道路图像进行预处理，得到输入图像；S2：利用车道线识别模型识别输入图像中是否存在车道线，若存在车道线，则执行步骤S3，若不存在车道线，执行步骤S5；S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；S5：执行结束。本发明提供一种车道线检测方法，解决了目前的车道线检测技术还不够完善的问题。

Description

一种车道线检测方法
技术领域
本发明涉及车道线检测技术领域，更具体的，涉及一种车道线检测方法。
背景技术
车道线检测通常被定义为：在车辆行进视频或图像中检测出车道线的位置。车道线检测是辅助驾驶和自动驾驶的重要组成部分，车道线偏离报警及车道线保持可以及时纠正驾驶员的不慎操作，减少因错误操作和疲劳驾驶而造成的交通事故，从而有效保障驾驶安全、降低行车事故率。
近年来自动驾驶基础逐渐成熟被应用，车道线检测任务被视为自动驾驶领域的关键性问题。该任务主要有三个关键点：第一是在车道线被大部分遮挡或完全遮挡的条件下，在更高的语义层面检测出车道线的具体位置；第二是根据当前路况信息将车道线的走向进行检测，如：在红绿灯或人行道等路况中，需要进行识别及判断前方是否存在车道线。第三点在于速度上的需求，自动驾驶中对车道线检测算法是达到事实的需求下，保证其检测的准确性。
得益于深度学习模型强大的特征提取能力，现有的车道线检测技术主要依赖于深度学习方法实现。基于深度学习方法的车道线检测技术一般可分为两大类：一类是基于语义分割的方法，另一类是基于行分类的方法。其中，基于语义分割的方法检测准确性强，但受限于复杂的编解码网络，以及需要对图像所有像素进行分类，所以检测速度较慢，不适合在边缘检测设备中运行。基于行分类的方法检测速度快，具有实时性，但会因车道结构的相似性而过拟合，从而导致检测精度降低。因此，目前的车道线检测技术还不够完善，无法同时满足实际应用中对检测速度和检测精度的需求。
发明内容
本发明为克服目前的车道线检测技术还不够完善的技术缺陷，提供一种车道线检测方法。
为解决上述技术问题，本发明的技术方案如下：
一种车道线检测方法，包括以下步骤：
S1：获取道路图像，对道路图像进行预处理，得到输入图像；
S2：利用车道线识别模型识别输入图像中是否存在车道线，
若存在车道线，则执行步骤S3，
若不存在车道线，则输出结果为无车道线，执行步骤S5；
所述车道线识别模型基于卷积神经网络Vgg16构建；
S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；
所述车道线检测模型基于改进分割注意力模型的ResNeSt18特征提取网络构建；
S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；
S5：执行结束。
上述方案中，首先利用车道线识别模型对道路图像进行筛选，避免不存在车道线的道路图像进入检测阶段，减少后续检测无意义的误识别；然后利用基于改进分割注意力模型的ResNeSt18特征提取网络车道线检测模型对输入图像进行检测，保证了较快的检测速度，加深了网络层数，提高了网络学习能力，实现网格级掩码检测车道线，提升了检测精度；最后选取车道线中间部分的车道线坐标点进行拟合处理，减少误识别率，进一步提高了拟合精度。
优选的，步骤S1中预处理包括图像灰度化处理和图像滤波处理。
上述方案中，通过图像灰度化处理减少数据量，提高检测算法的实时性；通过图像滤波处理减少道路图像中不确定噪声点的干扰。
优选的，所述ResNeSt18特征提取网络的分割注意力模型的改进具体为：将输入分割注意力模型的特征图先进行卷积、激活和池化操作，再将特征图分割为多个子特征图，然后让各个子特征图分别进入不同的子通道中，经过1*1卷积层学习得到各个子通道的特征，形成注意力机制，最后将各个子通道的特征融合，输出融合后的特征图。
上述方案中，只利用一层1*1卷积层来学习各个子通道的特征，抛弃了原始的全局池化和两层全连接层学习每个通道特征。由于1*1卷积层只是用来学习特征系数，而没有直接涉及到需要前向传播的特征图，因此对性能的损失较小，却能减小复杂度，提高推理速度，在嵌入式设备中具有较大的竞争力。
优选的，所述车道线检测模型在训练时结合语义分割网络U-Net进行多任务学习，并通过反向传播的方式进行权重更新；
其中，所述车道线检测模型包括四个Layer层，前三个Layer层输出的特征图作为语义分割网络U-Net的输入。
上述方案中，在训练阶段，将车道线检测模型和语义分割网络U-Net结合，形成多任务学习，通过反向传播的方式更好地优化车道线检测模型的权重，使车道线检测模型拥有全局意识，扩大车道线检测模型的感受野。
优选的，在将输入图像输入车道线检测模型进行检测之前还包括以下步骤：
A1：将输入图像压缩为预设的尺寸；
A2：对输入图像做数据增强处理，包括图像旋转随机角度和图像左右偏移；
A3：将输入图像并行地做两部分处理，分别作为车道线检测模型的输入和语义分割网络U-Net的标签，具体处理步骤如下：
A3.1：将输入图像划分为w*h个网格，并(结合车道线识别模型的识别结果)标注每个网格是否存在车道线，其中，w表示输入图像被划分的列数，h表示输入图像被划分的行数；
A3.2：将输入图像压缩为适合语义分割网络U-Net网络结构的标签数据。
上述方案中，通过压缩输入图像的尺寸，提高检测速度，并对输入图像进行数据增强处理，防止过拟合。
优选的，定义所述车道线检测模型和语义分割网络U-Net结合后的整体损失函数为：
loss＝α*Lcls+β*Lsim+γ*Lshp+μ*Lseg
其中，Lcls为车道线检测模型的分类损失函数、Lsim为约束车道线结构的相似性损失函数、Lshap为约束车道线结构的形状损失函数、Lseg为语义分割网络U-Net的交叉熵损失函数，α为Lcls的权重值、β为Lsim的权重值、γ为Lshp的权重值、μ为Lseg的权重值。
优选的，
定义所述车道线检测模型的分类损失函数为：
Lcls＝NllLoss[(1-softmax(Plogit))gamma*log(softmax(Plogit)),Label]ΛΛ (1)
其中，NllLoss函数表示根据标签取出对应位置的损失值，Plogit表示车道线检测模型输出的logit概率值，softmax(.)表示车道线检测模型输出概率做softmax归一化运算；
定义所述约束车道线结构的相似性损失函数为：
Figure BDA0003436534040000041
其中，Pi,j表示第i个车道，第j行存在车道线的概率值，C表示车道总数量，h表示输入图像被划分的行数；
定义所述约束车道线结构的形状损失函数为：
Figure BDA0003436534040000042
其中，Loci,j表示第i个车道线所在j行的位置信息，
Figure BDA0003436534040000043
w表示输入图像被划分的列数，k表示输入图像的第k列，K表示训练时所用训练集的列数集合；
定义所述语义分割网络U-Net的交叉熵损失函数为：
Figure BDA0003436534040000044
其中，M表示类别的数量；yic表示符号函数，如果样本i的真实类别等于c取1，否则取0；pic表示观测样本i属于类别c的预测概率。
上述方案中，定义约束车道线结构的相似性损失函数，使输出的车道线更倾向于是一条连续的线段，并且使用L2范数来加大车道线形状的约束；定义约束车道线结构的形状损失函数，通过位置信息的二阶差分，使得到的车道线更倾向于直线。
由车道线检测模型的分类损失函数、约束车道线结构的相似性损失函数、约束车道线结构的形状损失函数和语义分割网络U-Net的交叉熵损失函数结合相应的权重共同组成整体损失函数，当这四部分损失函数的损失值都达到理想值时，整体损失函数收敛，车道线检测模型训练完成；否则通过深度学习反向传播的方式迫使车道线检测模型和语义分割网络U-Net进行权重调整，直至整体损失函数收敛，实现全局最优解。
优选的，在步骤S3中，通过以下公式计算出第i个车道第j行车道线的横坐标值Xij和纵坐标值Yij，从而将检测结果映射为车道线在输入图像中的坐标，
横坐标值Xij的计算公式为：
Figure BDA0003436534040000051
纵坐标值Yij的计算公式为：
Yij＝anchor[j-1-k]
其中，W_col，W_img，w_input分别表示图像划分网格宽度、原始的图像宽度、输入车道线检测模型的图像宽度，anshor表示划分网格的初始纵坐标集合，k∈(0，j)。
上述方案中，先利用公式(4)计算每条车道线在输入图像w列中的位置，再计算相应的横、纵坐标值，从而得到车道线在输入图像中的坐标。
优选的，步骤S4中，选取车道线中间部分的车道线坐标点进行拟合处理具体为：在车道线两端各去除车道线坐标点总数1/5的车道线坐标点，对保留下来的车道线坐标点进行最小二乘法拟合处理。
上述方案中，由于检测得到的车道线坐标点中间部分比较稳定，误识别率较低，所以为了提高拟合精度，选取车道线中间部分车道线坐标点总数3/5的车道线坐标点进行拟合处理，即在车道线头端去除1/5的车道线坐标点和在车道线尾端去除1/5的车道线坐标点后，对保留下来的车道线坐标点进行最小二乘法拟合。
优选的，在步骤S4得到最优拟合车道线之后，还包括结合最优拟合车道线实现车辆变道识别，具体为：预设车辆变道斜率阈值，实时检测输出的最优拟合车道线的斜率，
若最优拟合车道线的斜率不超过预设的车辆变道斜率阈值，则识别为车辆未发生变道，
若最优拟合车道线的斜率超过预设的车辆变道斜率阈值，则识别为车辆发生变道。
上述方案中，利用最优拟合车道线的斜率变化判别车辆是否发生变道，能够较准确地识别车辆的行驶状态，且识别速度快，稳定性高。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种车道线检测方法，首先利用车道线识别模型对道路图像进行筛选，避免不存在车道线的道路图像进入检测阶段，减少后续检测无意义的误识别；然后利用基于改进分割注意力模型的ResNeSt18特征提取网络车道线检测模型对输入图像进行检测，保证了较快的检测速度，加深了网络层数，提高了网络学习能力，实现网格级掩码检测车道线，提升了检测精度；最后选取车道线中间部分的车道线坐标点进行拟合处理，减少误识别率，进一步提高了拟合精度。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明中基于改进分割注意力模型的ResNeSt18特征提取网络的整体结构示意图；
图3为本发明中所述改进分割注意力模型的结构示意图；
图4为本发明中车道线检测模型的前三个Layer层输出的特征图输入语义分割网络U-Net的数据流向示意图；
图5为本发明中当车辆正常行驶时，检测得到的车辆左右两侧的最优拟合车道线的斜率变化趋势示意图；
图6为本发明中当车辆发生变道时，检测得到的车辆左右两侧的最优拟合车道线的斜率变化趋势示意图；
图7为本发明在隧道路况中的场景应用示意图；
图8为本发明在弯道路况中的场景应用示意图；
图9为本发明在乡村路况中的场景应用示意图；
图10为本发明在城市路况中的场景应用示意图；
图11为本发明在斑马线路况中的场景应用示意图；
图12为本发明在道路标记路况中的场景应用示意图；
图13为本发明在变道路况中的场景应用示意图；
图14为本发明在道路缺陷路况中的场景应用示意图；
图15为本发明在夜间路况中的场景应用示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种车道线检测方法，包括以下步骤：
S1：获取道路图像，对道路图像进行预处理，得到输入图像；
S2：利用车道线识别模型识别输入图像中是否存在车道线，
若存在车道线，则执行步骤S3，
若不存在车道线，则输出结果为无车道线，执行步骤S5；
所述车道线识别模型基于卷积神经网络Vgg16构建；
S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；
所述车道线检测模型基于改进分割注意力模型的ResNeSt18特征提取网络构建；
S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；
S5：执行结束。
在具体实施过程中，首先利用车道线识别模型对道路图像进行筛选，避免不存在车道线的道路图像进入检测阶段，减少后续检测无意义的误识别；然后利用基于改进分割注意力模型的ResNeSt18特征提取网络车道线检测模型对输入图像进行检测，保证了较快的检测速度，加深了网络层数，提高了网络学习能力，实现网格级掩码检测车道线，提升了检测精度；最后选取车道线中间部分的车道线坐标点进行拟合处理，减少误识别率，进一步提高了拟合精度。
实施例2
如图1-4所示，一种车道线检测方法，包括以下步骤：
S1：获取道路图像，对道路图像进行预处理，得到输入图像；
更具体地，步骤S1中预处理包括图像灰度化处理和图像滤波处理。
在具体实施过程中，通过图像灰度化处理减少数据量，提高检测算法的实时性；通过图像滤波处理减少道路图像中不确定噪声点的干扰。
S2：利用车道线识别模型识别输入图像中是否存在车道线，
若存在车道线，则执行步骤S3，
若不存在车道线，则输出结果为无车道线，执行步骤S5；
所述车道线识别模型基于卷积神经网络Vgg16构建；
S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；
所述车道线检测模型基于改进分割注意力模型的ResNeSt18特征提取网络构建；
更具体地，所述ResNeSt18特征提取网络的分割注意力模型的改进具体为：将输入分割注意力模型的特征图先进行卷积、激活和池化操作，再将特征图分割为多个子特征图，然后让各个子特征图分别进入不同的子通道中，经过1*1卷积层学习得到各个子通道的特征，形成注意力机制，最后将各个子通道的特征融合，输出融合后的特征图。
在具体实施过程中，只利用一层1*1卷积层来学习各个子通道的特征，抛弃了原始的全局池化和两层全连接层学习每个通道特征。由于1*1卷积层只是用来学习特征系数，而没有直接涉及到需要前向传播的特征图，因此对性能的损失较小，却能减小复杂度，提高推理速度，在嵌入式设备中具有较大的竞争力。
更具体地，所述车道线检测模型在训练时结合语义分割网络U-Net进行多任务学习，并通过反向传播的方式进行权重更新；
其中，所述车道线检测模型包括四个Layer层，前三个Layer层输出的特征图作为语义分割网络U-Net的输入。
在具体实施过程中，在训练阶段，将车道线检测模型和语义分割网络U-Net结合，形成多任务学习，通过反向传播的方式更好地优化车道线检测模型的权重，使车道线检测模型拥有全局意识，扩大车道线检测模型的感受野。图4中的数字表示语义分割网络U-Net中每一层特征图的通道数。
更具体地，在将输入图像输入车道线检测模型进行检测之前还包括以下步骤：
A1：将输入图像压缩为预设的尺寸；
A2：对输入图像做数据增强处理，包括图像旋转随机角度和图像左右偏移；
A3：将输入图像并行地做两部分处理，分别作为车道线检测模型的输入和语义分割网络U-Net的标签，具体处理步骤如下：
A3.1：将输入图像划分为w*h个网格，并(结合车道线识别模型的识别结果)标注每个网格是否存在车道线，其中，w表示输入图像被划分的列数，h表示输入图像被划分的行数；
A3.2：将输入图像压缩为适合语义分割网络U-Net网络结构的标签数据。
在具体实施过程中，通过压缩输入图像的尺寸，提高检测速度，并对输入图像进行数据增强处理，防止过拟合。
更具体地，定义所述车道线检测模型和语义分割网络U-Net结合后的整体损失函数为：
loss＝α*Lcls+β*Lsim+γ*Lshp+μ*Lseg
其中，Lcls为车道线检测模型的分类损失函数、Lsim为约束车道线结构的相似性损失函数、Lshap为约束车道线结构的形状损失函数、Lseg为语义分割网络U-Net的交叉熵损失函数，α为Lcls的权重值、β为Lsim的权重值、γ为Lshp的权重值、μ为Lseg的权重值。
更具体地，
定义所述车道线检测模型的分类损失函数为：
Lcls＝NllLoss[(1-softmax(Plogit))gamma*log(softmax(Plogit)),Label]ΛΛ (1)
其中，NllLoss函数表示根据标签取出对应位置的损失值，Plogit表示车道线检测模型输出的logit概率值，softmax(.)表示车道线检测模型输出概率做softmax归一化运算；
定义所述约束车道线结构的相似性损失函数为：
Figure BDA0003436534040000091
其中，Pi,j表示第i个车道，第j行存在车道线的概率值，C表示车道总数量，h表示输入图像被划分的行数；
定义所述约束车道线结构的形状损失函数为：
Figure BDA0003436534040000101
其中，Loci,j表示第i个车道线所在j行的位置信息，在本实施例中，只将车道线的前1/8行进行形状约束，实际实施时可根据实际情况相应调整形状约束范围；
Figure BDA0003436534040000102
w表示输入图像被划分的列数，k表示输入图像的第k列，K表示训练时所用训练集的列数集合；
定义所述语义分割网络U-Net的交叉熵损失函数为：
Figure BDA0003436534040000103
其中，M表示类别的数量；yic表示符号函数，如果样本i的真实类别等于c取1，否则取0；pic表示观测样本i属于类别c的预测概率。
在具体实施过程中，定义约束车道线结构的相似性损失函数，使输出的车道线更倾向于是一条连续的线段，并且使用L2范数来加大车道线形状的约束；定义约束车道线结构的形状损失函数，通过位置信息的二阶差分，使得到的车道线更倾向于直线。
由车道线检测模型的分类损失函数、约束车道线结构的相似性损失函数、约束车道线结构的形状损失函数和语义分割网络U-Net的交叉熵损失函数结合相应的权重共同组成整体损失函数，在本实施例中，分别设定a＝0.35、b＝0.3、c＝0.05、d＝0.35，当这四部分损失函数的损失值都达到理想值时，整体损失函数收敛，车道线检测模型训练完成；否则通过深度学习反向传播的方式迫使车道线检测模型和语义分割网络U-Net进行权重调整，直至整体损失函数收敛，实现全局最优解。
更具体地，在步骤S3中，通过以下公式计算出第i个车道第j行车道线的横坐标值Xij和纵坐标值Yiij，从而将检测结果映射为车道线在输入图像中的坐标，
横坐标值Xij的计算公式为：
Figure BDA0003436534040000111
纵坐标值Yij的计算公式为：
Yiij＝anchor[j-1-k]
其中，W_col，W_img，w_input分别表示图像划分网格宽度、原始的图像宽度、输入车道线检测模型的图像宽度，anshor表示划分网格的初始纵坐标集合，k∈(0，j)。
在具体实施过程中，先利用公式(4)计算每条车道线在输入图像w列中的位置，再计算相应的横、纵坐标值，从而得到车道线在输入图像中的坐标。
S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；
更具体地，步骤S4中，选取车道线中间部分的车道线坐标点进行拟合处理具体为：在车道线两端各去除车道线坐标点总数1/5的车道线坐标点，对保留下来的车道线坐标点进行最小二乘法拟合处理。
在具体实施过程中，由于检测得到的车道线坐标点中间部分比较稳定，误识别率较低，所以为了提高拟合精度，选取车道线中间部分车道线坐标点总数3/5的车道线坐标点进行拟合处理，即在车道线头端去除1/5的车道线坐标点和在车道线尾端去除1/5的车道线坐标点后，对保留下来的车道线坐标点进行最小二乘法拟合。
S5：执行结束。
实施例3
本实施例在一种车道线检测方法的基础上提出一种车辆变道识别方法，包括以下步骤：
S1：获取道路图像，对道路图像进行预处理，得到输入图像；
S2：利用车道线识别模型识别输入图像中是否存在车道线，
若存在车道线，则执行步骤S3，
若不存在车道线，则输出结果为无车道线，执行步骤S5；
所述车道线识别模型基于卷积神经网络Vgg16构建；
S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；
所述车道线检测模型基于改进分割注意力模型的ResNeSt18特征提取网络构建；
S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；
更具体地，在步骤S4得到最优拟合车道线之后，还包括结合最优拟合车道线实现车辆变道识别，具体为：预设车辆变道斜率阈值，实时检测输出的最优拟合车道线的斜率，
若最优拟合车道线的斜率不超过预设的车辆变道斜率阈值，则识别为车辆未发生变道，
若最优拟合车道线的斜率超过预设的车辆变道斜率阈值，则识别为车辆发生变道。
在具体实施过程中，车辆正常行驶时，检测得到的车辆左右两侧的最优拟合车道线的斜率变化趋势如图5所示，最优拟合车道线的斜率变化趋势比较稳定，斜率值在(-1,1)之间。当车辆发生变道时，检测得到的车辆左右两侧的最优拟合车道线的斜率变化趋势如图6所示，当车辆发生变道时最优拟合车道线的斜率发生“突变”，当车辆完成变道后最优拟合车道线的斜率值相比于变道曲线，趋于稳定。通过对比图5和图6发现，车辆发生变道时的最优拟合车道线的斜率值远高于车辆正常行驶的数值。因此，利用最优拟合车道线的斜率变化判别车辆是否发生变道，能够较准确地识别车辆的行驶状态，且识别速度快，稳定性高。
S5：执行结束。
实施例4
本实施例使用自行搜集的车辆ADAS数据集，包含6000张训练图像和500张测试图像。其中，1200张训练图像用于卷积神经网络Vgg16训练，既有存在车道线的道路图像，也有不存在车道线的道路图像。其余的4800张训练图像都是存在车道线的道路图像，用于车道线检测模型训练。考虑到后续的变道识别，本实施例只检测离车辆最近的左右两侧车道线。当整体损失函数收敛后可停止训练。车道线识别模型和车道线检测模型均使用TitanRTX3090显卡进行训练，500张测试图像包含隧道路况、弯道路况、乡村路况、城市路况、斑马线路况、道路标记路况、变道路况、道路缺陷路况和夜间路况9种场景，图7-15分别为所述的一种车道线检测方法在9种场景中的实测示例。
本实施例利用拟合得到的最优拟合车道线的斜率变化进行变道识别。通过搜集100段ADAS视频作为测试，共包含132次车辆变道，其中45次变道出现在夜间道路。本实施例以秒为单位，利用测试图像进行测试，统计车辆处于变道和未变道的秒数，以此来评估所述的一种车辆变道识别方法在变道识别的表现。所述的一种车辆变道识别方法在测试中的变道识别效果结果如表1。
表1
路况 精度(％) 特异性(％) 灵敏度(％) F1(％)
白昼 96.1 96.4 94.5 95.4
夜间 94.9 95.1 94.3 94.7
经实测，对于弯曲道路、破损路面等此方法同样适用，稳定性较好，具有较强普适性
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种车道线检测方法，其特征在于，包括以下步骤：
S1：获取道路图像，对道路图像进行预处理，得到输入图像；
S2：利用车道线识别模型识别输入图像中是否存在车道线，
若存在车道线，则执行步骤S3，
若不存在车道线，则输出结果为无车道线，执行步骤S5；
所述车道线识别模型基于卷积神经网络Vgg16构建；
S3：利用车道线检测模型对输入图像进行检测，将检测结果映射为车道线在输入图像中的坐标，得到车道线坐标点；
所述车道线检测模型基于改进分割注意力模型的ResNeSt18特征提取网络构建；
S4：选取车道线中间部分的车道线坐标点进行拟合处理，得到最优拟合车道线作为输出结果；
S5：执行结束。
2.根据权利要求1所述的一种车道线检测方法，其特征在于，步骤S1中预处理包括图像灰度化处理和图像滤波处理。
3.根据权利要求1所述的一种车道线检测方法，其特征在于，所述ResNeSt18特征提取网络的分割注意力模型的改进具体为：将输入分割注意力模型的特征图先进行卷积、激活和池化操作，再将特征图分割为多个子特征图，然后让各个子特征图分别进入不同的子通道中，经过1*1卷积层学习得到各个子通道的特征，形成注意力机制，最后将各个子通道的特征融合，输出融合后的特征图。
4.根据权利要求3所述的一种车道线检测方法，其特征在于，所述车道线检测模型在训练时结合语义分割网络U-Net进行多任务学习，并通过反向传播的方式进行权重更新；
其中，所述车道线检测模型包括四个Layer层，前三个Layer层输出的特征图作为语义分割网络U-Net的输入。
5.根据权利要求4所述的一种车道线检测方法，其特征在于，在将输入图像输入车道线检测模型进行检测之前还包括以下步骤：
A1：将输入图像压缩为预设的尺寸；
A2：对输入图像做数据增强处理，包括图像旋转随机角度和图像左右偏移；
A3：将输入图像并行地做两部分处理，分别作为车道线检测模型的输入和语义分割网络U-Net的标签，具体处理步骤如下：
A3.1：将输入图像划分为w*h个网格，并(结合车道线识别模型的识别结果)标注每个网格是否存在车道线，其中，w表示输入图像被划分的列数，h表示输入图像被划分的行数；
A3.2：将输入图像压缩为适合语义分割网络U-Net网络结构的标签数据。
6.根据权利要求5所述的一种车道线检测方法，其特征在于，定义所述车道线检测模型和语义分割网络U-Net结合后的整体损失函数为：
loss＝α*Lcls+β*Lsim+γ*Lshp+μ*Lseg
其中，Lcls为车道线检测模型的分类损失函数、Lsim为约束车道线结构的相似性损失函数、Lshap为约束车道线结构的形状损失函数、Lseg为语义分割网络U-Net的交叉熵损失函数，α为Lcls的权重值、β为Lsim的权重值、γ为Lshp的权重值、μ为Lseg的权重值。
7.根据权利要求6所述的一种车道线检测方法，其特征在于，
定义所述车道线检测模型的分类损失函数为：
Lcls＝NllLoss[(1-softmax(Plogit))gamma*log(softmax(Plogit)),Label]ΛΛ (1)
其中，NllLoss函数表示根据标签取出对应位置的损失值，Plogit表示车道线检测模型输出的logit概率值，softmax(.)表示车道线检测模型输出概率做softmax归一化运算；
定义所述约束车道线结构的相似性损失函数为：
Figure FDA0003436534030000021
其中，Pi,j表示第i个车道，第j行存在车道线的概率值，C表示车道总数量，h表示输入图像被划分的行数；
定义所述约束车道线结构的形状损失函数为：
Figure FDA0003436534030000022
其中，Loci,j表示第i个车道线所在j行的位置信息，
Figure FDA0003436534030000031
w表示输入图像被划分的列数，k表示输入图像的第k列，K表示训练时所用训练集的列数集合；
定义所述语义分割网络U-Net的交叉熵损失函数为：
Figure FDA0003436534030000032
其中，M表示类别的数量；yic表示符号函数，如果样本i的真实类别等于c取1，否则取0；pic表示观测样本i属于类别c的预测概率。
8.根据权利要求7所述的一种车道线检测方法，其特征在于，在步骤S3中，通过以下公式计算出第i个车道第j行车道线的横坐标值Xij和纵坐标值Yij，从而将检测结果映射为车道线在输入图像中的坐标，
横坐标值Xij的计算公式为：
Figure FDA0003436534030000033
纵坐标值Yij的计算公式为：
Yij＝anchor[j-1-k]
其中，W_col，W_img，w_input分别表示图像划分网格宽度、原始的图像宽度、输入车道线检测模型的图像宽度，anshor表示划分网格的初始纵坐标集合，k∈(0，j)。
9.根据权利要求1或8所述的一种车道线检测方法，其特征在于，步骤S4中，选取车道线中间部分的车道线坐标点进行拟合处理具体为：在车道线两端各去除车道线坐标点总数1/5的车道线坐标点，对保留下来的车道线坐标点进行最小二乘法拟合处理。
10.根据权利要求1所述的一种车道线检测方法，其特征在于，在步骤S4得到最优拟合车道线之后，还包括结合最优拟合车道线实现车辆变道识别，具体为：预设车辆变道斜率阈值，实时检测输出的最优拟合车道线的斜率，
若最优拟合车道线的斜率不超过预设的车辆变道斜率阈值，则识别为车辆未发生变道，
若最优拟合车道线的斜率超过预设的车辆变道斜率阈值，则识别为车辆发生变道。
CN202111616034.XA 2021-12-27 2021-12-27 一种车道线检测方法 Pending CN114463715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111616034.XA CN114463715A (zh) 2021-12-27 2021-12-27 一种车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111616034.XA CN114463715A (zh) 2021-12-27 2021-12-27 一种车道线检测方法

Publications (1)

Publication Number Publication Date
CN114463715A true CN114463715A (zh) 2022-05-10

Family

ID=81406775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111616034.XA Pending CN114463715A (zh) 2021-12-27 2021-12-27 一种车道线检测方法

Country Status (1)

Country Link
CN (1) CN114463715A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842448A (zh) * 2022-05-11 2022-08-02 禾多科技（北京）有限公司 三维车道线生成方法、装置、电子设备和计算机可读介质
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115775377A (zh) * 2022-11-25 2023-03-10 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842448A (zh) * 2022-05-11 2022-08-02 禾多科技（北京）有限公司 三维车道线生成方法、装置、电子设备和计算机可读介质
CN115294548A (zh) * 2022-07-28 2022-11-04 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115294548B (zh) * 2022-07-28 2023-05-02 烟台大学 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115775377A (zh) * 2022-11-25 2023-03-10 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法
CN115775377B (zh) * 2022-11-25 2023-10-20 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN114463715A (zh) 一种车道线检测方法
CN101859382B (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
CN102509091B (zh) 一种飞机尾号识别方法
CN103020618B (zh) 视频图像文字的检测方法及系统
CN105930791A (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106203330A (zh) 一种基于卷积神经网络的车辆分类方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN111723697A (zh) 一种基于Mask-RCNN改进的驾驶员背景分割方法
CN106919902A (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN111209905B (zh) 一种基于深度学习与ocr技术相结合的污损遮挡号牌识别方法
CN107862341A (zh) 一种车辆检测方法
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN103295003A (zh) 一种基于多特征融合的车辆检测方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN110555425A (zh) 一种视频流实时行人检测方法
CN113011392B (zh) 一种基于路面图像多纹理特征融合的路面类型识别方法
CN113591670B (zh) 一种基于卷积神经网络的车道线检测方法
CN115546776A (zh) 基于卷积神经网络模型的字符分割模式车牌识别方法
CN114429621A (zh) 一种基于ufsa算法改进的车道线智能检测方法
CN114821510A (zh) 基于改进U-Net网络的车道线检测方法及装置
DeRong et al. Remote traffic light detection and recognition based on deep learning
CN104112144A (zh) 人车识别方法及装置
CN113392812A (zh) 基于深度神经网络的道路车道线检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination