CN111582083B - 一种基于消失点估计与语义分割的车道线检测方法 - Google Patents

一种基于消失点估计与语义分割的车道线检测方法 Download PDF

Info

Publication number
CN111582083B
CN111582083B CN202010336136.5A CN202010336136A CN111582083B CN 111582083 B CN111582083 B CN 111582083B CN 202010336136 A CN202010336136 A CN 202010336136A CN 111582083 B CN111582083 B CN 111582083B
Authority
CN
China
Prior art keywords
lane line
vanishing point
image
lane
vanishing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010336136.5A
Other languages
English (en)
Other versions
CN111582083A (zh
Inventor
吴忻生
向石方
陈安
刘海明
陈纯玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010336136.5A priority Critical patent/CN111582083B/zh
Publication of CN111582083A publication Critical patent/CN111582083A/zh
Application granted granted Critical
Publication of CN111582083B publication Critical patent/CN111582083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种基于消失点估计与语义分割的车道线检测方法。本方法车道线检测方法包括：首先通过卷积神经网络检测消失点，其次通过估计的消失点坐标进行自参数学习的逆透视变换，将图像投影到易于网络学习的俯视视角中。在俯视图中，通过语义分割网络进行二值分割，随后进行后处理实例化，得到车道线拟合方程并在原图中显示。本方法利用卷积神经网络强大的特征提取能力，解决了不同道路场景下的车道线检测问题，并且节省了车道线检测算法实例化操作的时间。本发明技术方案能有效检测模糊车道线边缘并抑制噪声，对消失点和直线的检测耗时少且准确性高，并且提高车道线识别实时性。

Description

一种基于消失点估计与语义分割的车道线检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于消失点估计和语义分割的车道线检测方法。
背景技术
随着汽车的普及，利用传感器提高对路面对象的辨识能力，给驾驶人更多的安全警示及辅助，从而提高车辆的主动安全性，已成为智能交通系统领域发展的重要方向，而车道线检测任务则是其中重要的一环。在实际应用场景中下，由于天气变化、光照变化以及不同的地形、路况等原因，车道线的高精度检测非常具有挑战性。通常车道线检测算法需要在车载端运行，因此该算法不仅对准确性有一定要求，也需要保证实时性。好的车道线检测算法能够有效地对车辆进行定位，保证车辆的安全行驶，降低交通事故的发生率。
目前车道线检测仍具有一定局限性：车道线随距离增加会导致检测准确率降低的问题、车道线检测耗时长等问题。
发明内容
本发明的目的在于提供一种基于消失点估计和语义分割的车道线检测方法，能够实现在多种路况条件下对车道线的快速准确的检测。
本发明目的至少通过以下技术方案之一实现。
一种基于消失点估计与语义分割的车道线检测方法，包括：
S1、收集不同场景下包含车道线的图像，并对图像的车道线和道路消失点进行标注，
S2、设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图；
S3、设计车道线二值语义分割网络并通过二值语义分割网络对俯视图进行预测，得到车道线概率图；
S4、对车道线概率图进行后处理操作，采集到关键点后通过拟合关键点得到车道线拟合曲线，最后将拟合的车道线映射回原图，在原图中显示检测出的车道线。
进一步地，步骤S2中所述设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，包括：
原始Alexnet模型包括五个卷积层组合以及三个全连接层共八层结构，对原始Alexnet模型进行改进，将第一层的11*11卷积改为3*3卷积，并增加第一层特征图层数，获得所述用于估计消失点坐标位置的分类卷积神经网络，
将已标注的图像输入分类卷积神经网络，输出一维向量分类标签，
将一维向量分类标签投影回二维图像坐标中，得到消失点在二维空间的位置，即可得到消失点坐标。
通过对Alexnet模型进行改进，在减少参数与计算量的同时，提高分类准确率。
考虑到消失点检测的目的是为后续的逆透视变换提供信息，从而将正视图图像更准确的还原到俯视图上，所以对于消失点检测的准确性并没有相当严格的要求，而是更关注消失点检测的计算耗时。通过将消失点离散的坐标点转为一维标签，即转换为一个简单的多分类问题，以此来减小预处理步骤时间。
进一步地，所述分类卷积神经网络的输入为降采样到224*224大小的图像，输出为625长的一维向量分类标签，将一维向量分类标签投回到25*25的网格图中，得到消失点的位置。分类卷积神经网络输出625长的一维向量分类结果，通过分类网络预测消失点属于625分类中的哪个类别，随后投回到25*25的网格图中，即可得到消失点的位置。
进一步地，步骤S2中所述通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图，包括：
通过式(1)与式(2)反映消失点坐标与相机俯仰角θ、偏航角γ之间的关系，式(1)与式(2)如下：
Figure BDA0002466690290000021
Figure BDA0002466690290000022
式中，(Xpos,Ypos)是消失点在图像中的坐标，(M,N)是图像的尺寸，(αu,αv)为固定参数，表示相机在竖直方向与水平方向的光学角度；
根据式(1)和式(2)计算出俯仰角与偏航角，然后通过这两个角度进行逆透视变换，得到俯视图。
随着车辆的行驶，以及道路坡度的变化，俯仰角以及偏航角会产生波动。这种波动，在相机参数固定的情况下，会引进更多的逆透视变换错误。俯仰角以及偏航角的波动是误差的主要来源，它们与消失点坐标存在一定关系。消失点，反映了图像的透视结构。利用消失点，可以对影响了逆透视变换的俯仰角以及偏航角进行计算，得到鲁棒的逆透视变换结果。通过计算出每帧图像中由于路面坡度的变化，以及相机镜头与当前行驶道路间的方向变化而随之变化的俯仰角与偏航角。然后通过这两个角度进行逆透视变换，得到俯视图。
进一步地，步骤S3中所述二值语义分割网络包括：
编码器—解码器结构，对图像先编码后解码，通过编码器对经过逆透视变换得到的俯视图进行编码，提取不同层级特征，再由解码器结合层级特征进行分辨率的提升，输出与原图同等大小的车道线概率图；
多尺度信息聚合模块，在编码器的最后一步加入多尺度信息聚合模块，多尺度信息聚合模块包含了三个不同采样率的空洞卷积并行分支，不同采样率的空洞卷积并联可以整合不同大小的感受野，提取不同尺度的特征；以及
特征恢复模块，位于编码器层与解码器的层间连接中，采用了竖直方向的空洞卷积，增加了网络在竖直方向上的一维感受野长度，用于学习车道线竖直方向上的相关性以及光滑连续的先验特征。
由于在俯视图中竖直方向的车道线可能会面临车辆遮挡、模糊不清、阴影等干扰，通常的分割网络预测出来的掩码结果在竖直方向上不总是连续的，同一条车道线预测出来的概率图在一些困难情况样本中往往可以观察到断开不连续的现象，因此，本方案加入特征恢复模块用于学习车道线竖直方向上的相关性，以及光滑连续的先验特征，增加了网络在竖直方向上的一维感受野长度，使得网络可以将竖直方向一定长度距离内的信息考虑进来。
进一步的，步骤S4中所述对车道线概率图进行后处理操作，具体包括：
(1)将车道线概率图按照阈值score_threshold二值化，得到二值图；
(2)对二值图计算连通域，面积大于阈值connect_area_threshold的连通域记为待定车道线区域，对于每一个待定车道线区域，分别通过滑动窗口算法对每一个连通域从下到上进行遍历获得一系列关键点并加入关键点集，若关键点集中关键点个数大于阈值dot_num，则使用最小二乘法进行车道线拟合操作得到一条与所有关键点距离之和最小的线，即为车道线拟合曲线；
(3)对所有拟合曲线进行基于方向的优化，去除方向模式与其他拟合曲线不一致的拟合曲线；
(4)将拟合的车道线映射回原图，在原图中显示检测出的车道线。
进一步地，所述阈值score_threshold取值0.4，所述于阈值connect_area_threshold取值5，所述阈值dot_num取值10。
进一步地，所述滑动窗口算法具体包括：
(1)找到待定车道线区域中最下方的像素点，以该像素点为中心，进行大小为设定参数w*h的滑窗，其中w、h分别表示滑窗的长宽大小；
(2)取当前滑窗中车道线概率图最大的点记为当前车道关键点，并加入关键点集；
(3)以当前关键点的横坐标，以及当前关键点的纵坐标加上滑动窗口高度差阈值为纵坐标，来确定下一个滑窗的位置，继续在下一个滑窗中得到关键点位置并将获得的关键点加入关键点集，重复滑窗直到滑窗内二值图为1的像素点个数小于(w*h)/10时，结束滑窗操作，至此获得最终的关键点集。
进一步地，所述w、h均取值30。
与现有技术相比，本发明实现的有益效果至少如下：
(1)针对车道线随距离增加而导致检测准确率降低的问题，本方法采取了基于消失点估计的逆透视变换预处理方法，将图片逆透视变换得到的俯视图用以语义分割，有效提高了算法速度。
(2)本方法设计了一种多尺度、实时的二值语义分割网络结构，该模型采用空洞卷积与多尺度特征融合，在多尺度语义特征的指导下结合底层特征得到精确分割结果。
(3)本发明能有效检测模糊车道线边缘并抑制噪声，对消失点和车道线的检测耗时少且准确性高，在车道线模糊、雨天、大雾和大区率等环境下均具有较好的适应性，在交通应用场景中具有实际意义。
附图说明
图1为本发明的整体流程示意图；
图2为改进后的AlexNet网络结构示意图；
图3为二值语义分割网络模型结构图；
图4为本发明的特征恢复模块结构图；
图5为本发明的后处理模块流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本发明实施例提供一种基于消失点估计和语义分割的车道线检测方法，整体流程图如图1所示，具体步骤如下：
步骤1、收集不同场景下包含车道线的图像，并对图像的车道线和道路消失点进行标注，构成数据集，将数据集按一定比例划分为训练集、验证集以及测试集，其中，训练集用于对深度卷积网络的训练，验证集用于选择最佳的训练模型，测试集用于后期测试设计模型的性能。
步骤2、设计分类卷积神经网络用于估计消失点坐标位置，并将已标注的图像送入分类卷积神经网络得到最佳的训练模型，通过训练模型得到消失点坐标；通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图。
考虑到消失点检测的目的是为后续的逆透视变换提供信息，从而将正视图图像更准确的还原到俯视图上，所以对于消失点检测的准确性并没有相当严格的要求，而是更关注消失点检测的计算耗时。
通过将消失点离散的坐标点转为一维向量标签，即转换为一个简单的多分类问题，以此来减小预处理步骤时间。在分类卷积神经网络输出一维向量标签后，将一维向量标签再投影回二维图像坐标中，得到消失点在二维空间的位置。
原本的Alexnet模型包括五个卷积层(conv)组合以及三个全连接层(FC)，总共8层结构，本实施例的分类卷积神经网络为改进后Alexnet模型，改进后Alexnet模型的网络结构图如图2所示，图2中每个方框中的conv表示卷积层，conv前面的数字表示卷积核的大小，Max_pooling表示最大池化层操作，Max_pooling前面的数字表示最大池化层的大小，stride表示池化操作，每个传输箭头上的数值表示当前图片的尺寸大小，FC表示全连接层操作，softmax表示使用Softmax函数进行归一化操作。
在原来的Alexnet模型基础上将第一层的11*11卷积改为3*3卷积，并在原本的特征图层数5的基础上增加到特征图层数为8，使用最大池化层(图中的Max_pooling)来减少参数与计算量，最后使用softmax函数对得到的概率值进行归一化处理，提高分类准确率。
分类卷积神经网络的输入为降采样到224*224大小的图像，输出为625长的一维向量分类结果。通过分类网络预测消失点属于625分类中的哪个类别，随后投回到25*25的网格图中，得到消失点的位置坐标。
随着车辆的行驶，以及道路坡度的变化，俯仰角以及偏航角会产生波动。这种波动，在相机参数固定的情况下，会引进更多的逆透视变换错误。俯仰角以及偏航角的波动是误差的主要来源，它们与消失点坐标存在一定关系。消失点，反映了图像的透视结构。利用消失点，可以对影响了逆透视变换的俯仰角以及偏航角进行计算，得到鲁棒的逆透视变换结果。
通过式(1)与式(2)反映消失点坐标与相机俯仰角θ、偏航角γ之间的关系，式(1)与式(2)如下：
Figure BDA0002466690290000061
Figure BDA0002466690290000062
其中，(Xpos,Ypos)是消失点在图像中的坐标，(M,N)是图像的尺寸，(αu,αv)为固定参数，表示相机在竖直方向与水平方向的光学角度。
根据式(1)和式(2)计算出每帧图像中由于路面坡度的变化，以及相机镜头与当前行驶道路间的方向变化而随之变化的俯仰角θ和偏航角γ。然后通过这两个角度进行逆透视变换，得到俯视图。
步骤3、设计车道线二值语义分割网络并通过二值语义分割卷积神经网络对步骤2中得到的俯视图进行预测，得到车道线概率图。针对车道线检测的条形状形态与感受野的需求，在二值语义分割网络中引进了多尺度信息聚合模块以及针对车道线形态的特征恢复模块，保证了车道线分割的连续性。
如图3所示，输入的俯视图经过ResNet主干网络提取相关特征后，将图片分辨率降低为原来的1/16，之后通过多尺度聚合模块将不同尺度的感受野信息进行按通道合并，然后通过反卷积方法进行上采样特征图的分辨率恢复到原始大小，从而得到车道线概率图。同样从图3可以看出，车道线二值语义分割网络的主要结构包括：
(1)车道线二值语义分割模型采取了编码器—解码器结构，本实施例的编码器中采用ResNet作为主干网络，经过图像的先编码后解码，可以通过提取到的高层语义特征指导底层特征逐层复原信息，得到同等分辨率的掩码预测结果。另外，纯编码器—解码器结构由于下采样操作更多，计算量更少以及模型更小。通过编码器对经过逆透视变换后的图像进行编码，提取不同层级特征，再由解码器结合编码器的层级特征进行分辨率的提升，输出与原图同等大小的概率图。
(2)为了在保持低计算量的同时提高网络感受野，在编码器的最后一步加入多尺度信息聚合模块，多尺度信息聚合模块包含了三个不同采样率(6、12、18)的空洞卷积并行分支，不同采样率的空洞卷积并联可以整合不同大小的感受野，提取不同尺度的特征。
(3)特征恢复模块。由于在俯视图中竖直方向的车道线可能会面临车辆遮挡、模糊不清、阴影等干扰，通常的分割网络预测出来的掩码结果在竖直方向上不总是连续的，同一条车道线预测出来的概率图在一些困难情况样本中往往可以观察到断开不连续的现象，因此，加入特征恢复模块用于学习车道线竖直方向上的相关性，以及光滑连续的先验特征。
特征恢复模块具体结构由图4所示，特征恢复模块位于编码器层与解码器的层间连接中，首先采用了3*3卷积对特征图进行特征细化，然后分三路分支，其中两路采用了竖直方向的5*5和7*7两种空洞卷积，采样率分别为5和7，这样做增加了网络在竖直方向上的一维感受野长度，使得网络可以将竖直方向一定长度距离内的信息考虑进来。最后将各个分支的特征图按通道合并，得到合并后的特征图后采用1*1卷积减少输出的通道数。
步骤4、对车道线概率图下进行一系列后处理操作，采集到关键点后通过拟合关键点得到车道线拟合曲线，最后将拟合的车道线映射回原图，在原图中显示检测出的车道线。
在S4中，车道线后处理的输入为二值语义分割网络概率图，输出为本侧行驶方向的所有预测车道线，具体的后处理流程图如图5所示：
S4-1、首先将车道线概率图按照阈值score_threshold(一般设为0.4)二值化，得到二值图；
S4-2、对二值图计算连通域，面积大于阈值connect_area_threshold(一般设为5)的连通域记为待定车道线区域。对于每一个待定车道线区域，分别通过滑动窗口算法对每一个连通域从下到上进行遍历获得一系列关键点并加入关键点集，若关键点集中关键点个数大于阈值dot_num(一般设为10)，则使用最小二乘法进行车道线拟合操作得到一条与所有关键点距离之和最小的线，即为车道线拟合曲线；
S4-3、对所有拟合曲线进行基于方向的优化，去除方向模式与其他拟合曲线不一致的拟合曲线。
S4-4、将拟合的车道线映射回原图，在原图中显示检测出的车道线。
步骤S4-2中滑动窗口算法具体包括：
(1)找到待定车道线区域中最下方的像素点，以该像素点为中心，进行大小为设定参数w*h的滑窗，其中w、h分别表示滑窗的长宽大小，一般设为30；
(2)取当前滑窗中车道线概率图最大的点记为当前车道关键点，并加入关键点集；
(3)以当前关键点的横坐标，以及当前关键点的纵坐标加上滑动窗口高度差阈值为纵坐标，来确定下一个滑窗的位置，继续在下一个滑窗中得到关键点位置并将获得的关键点加入关键点集，重复滑窗直到滑窗内二值图为1的像素点个数小于(w*h)/10时，结束滑窗操作，至此获得最终的关键点集。
本实施例，提供一种基于消失点估计辅助的车道线检测方法，首先通过自参数学习的逆透视变换，将图像投影到易于网络学习的俯视视角中，在俯视图上通过二值语义分割网络进行二值分割，随后进行后处理实例化，得到最终的拟合好的车道线。本发明技术方案能有效检测模糊车道线边缘并抑制噪声，对消失点和直线的检测耗时少且准确性高，在车道线模糊、雨天、大雾和大区率等环境下均具有较好的适应性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于消失点估计与语义分割的车道线检测方法，其特征在于，包括：
S1、收集不同场景下包含车道线的图像，并对图像的车道线和道路消失点进行标注，
S2、设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图；
S3、设计车道线二值语义分割网络并通过二值语义分割网络对俯视图进行预测，得到车道线概率图；
S4、对车道线概率图进行后处理操作，采集到关键点后通过拟合关键点得到车道线拟合曲线，最后将拟合的车道线映射回原图，在原图中显示检测出的车道线；
所述对车道线概率图进行后处理操作，具体包括：
(1)将车道线概率图按照阈值score_threshold二值化，得到二值图；
(2)对二值图计算连通域，面积大于阈值connect_area_threshold的连通域记为待定车道线区域，对于每一个待定车道线区域，分别通过滑动窗口算法对每一个连通域从下到上进行遍历获得一系列关键点并加入关键点集，若关键点集中关键点个数大于阈值dot_num，则使用最小二乘法进行车道线拟合操作得到一条与所有关键点距离之和最小的线，即为车道线拟合曲线；所述通过消失点坐标计算俯仰角与偏航角，根据俯仰角和偏航角的大小进行逆透视变换得到相应的俯视图，包括：
通过式(1)与式(2)反映消失点坐标与相机俯仰角θ、偏航角γ之间的关系，式(1)与式(2)如下：
Figure QLYQS_1
Figure QLYQS_2
式中，(Xpos,Ypos)是消失点在图像中的坐标，(M,N)是图像的尺寸，(αu,αv)为固定参数，表示相机在竖直方向与水平方向的光学角度；
根据式(1)和式(2)计算出俯仰角与偏航角，然后通过这两个角度进行逆透视变换，得到俯视图；
(3)对所有拟合曲线进行基于方向的优化，去除方向模式与其他拟合曲线不一致的拟合曲线；
(4)将拟合的车道线映射回原图，在原图中显示检测出的车道线；
所述滑动窗口算法具体包括：
(1)找到待定车道线区域中最下方的像素点，以该像素点为中心，进行大小为设定参数w*h的滑窗，其中w、h分别表示滑窗的长宽大小；
(2)取当前滑窗中车道线概率图最大的点记为当前车道关键点，并加入关键点集；
(3)以当前关键点的横坐标，以及当前关键点的纵坐标加上滑动窗口高度差阈值为纵坐标，来确定下一个滑窗的位置，继续在下一个滑窗中得到关键点位置并将获得的关键点加入关键点集，重复滑窗直到滑窗内二值图为1的像素点个数小于(w*h)/10时，结束滑窗操作，至此获得最终的关键点集。
2.根据权利要求1所述的一种基于消失点估计与语义分割的车道线检测方法，其特征在于，步骤S2中所述设计用于估计消失点坐标位置的分类卷积神经网络，将已标注的图像送入分类卷积神经网络训练，得到训练模型，通过训练模型得到消失点坐标，包括：
原始Alexnet模型包括五个卷积层组合以及三个全连接层共八层结构，对原始Alexnet模型进行改进，将第一层的11*11卷积改为3*3卷积，并增加第一层特征图层数，获得所述用于估计消失点坐标位置的分类卷积神经网络，
将已标注的图像输入分类卷积神经网络，输出一维向量分类标签，
将一维向量分类标签投影回二维图像坐标中，得到消失点在二维空间的位置，即可得到消失点坐标。
3.根据权利要求2所述的一种基于消失点估计与语义分割的车道线检测方法，其特征在于，所述分类卷积神经网络的输入为降采样到224*224大小的图像，输出为625长的一维向量分类标签，将一维向量分类标签投回到25*25的网格图中，得到消失点的位置。
4.根据权利要求1所述的一种基于消失点估计与语义分割的车道线检测方法，其特征在于，步骤S3中所述二值语义分割网络包括：
编码器—解码器结构，对图像先编码后解码，通过编码器对经过逆透视变换得到的俯视图进行编码，提取不同层级特征，再由解码器结合层级特征进行分辨率的提升，输出与原图同等大小的车道线概率图；
多尺度信息聚合模块，在编码器的最后一步加入多尺度信息聚合模块，多尺度信息聚合模块包含了三个不同采样率的空洞卷积并行分支，不同采样率的空洞卷积并联以整合不同大小的感受野，提取不同尺度的特征；以及
特征恢复模块，位于编码器层与解码器的层间连接中，采用了竖直方向的空洞卷积，增加了网络在竖直方向上的一维感受野长度，用于学习车道线竖直方向上的相关性以及光滑连续的先验特征。
5.根据权利要求1所述的一种基于消失点估计与语义分割的车道线检测方法，其特征在于，所述阈值score_threshold取值0.4，所述阈值connect_area_threshold取值5，所述阈值dot_num取值10。
6.根据权利要求1所述的一种基于消失点估计与语义分割的车道线检测方法，其特征在于，所述w、h均取值30。
CN202010336136.5A 2020-04-25 2020-04-25 一种基于消失点估计与语义分割的车道线检测方法 Active CN111582083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336136.5A CN111582083B (zh) 2020-04-25 2020-04-25 一种基于消失点估计与语义分割的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336136.5A CN111582083B (zh) 2020-04-25 2020-04-25 一种基于消失点估计与语义分割的车道线检测方法

Publications (2)

Publication Number Publication Date
CN111582083A CN111582083A (zh) 2020-08-25
CN111582083B true CN111582083B (zh) 2023-05-23

Family

ID=72124471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336136.5A Active CN111582083B (zh) 2020-04-25 2020-04-25 一种基于消失点估计与语义分割的车道线检测方法

Country Status (1)

Country Link
CN (1) CN111582083B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200884B (zh) * 2020-09-08 2024-05-03 浙江大华技术股份有限公司 一种车道线的生成方法及装置
CN112364800B (zh) * 2020-11-19 2023-07-14 金陵科技学院 一种基于人工智能的自动驾驶偏离处理方法
CN112528878B (zh) * 2020-12-15 2024-01-09 中国科学院深圳先进技术研究院 检测车道线的方法、装置、终端设备及可读存储介质
CN112613392A (zh) * 2020-12-18 2021-04-06 北京新能源汽车技术创新中心有限公司 基于语义分割的车道线检测方法、装置、系统及存储介质
CN112633177A (zh) * 2020-12-24 2021-04-09 浙江大学 一种基于注意力空间卷积神经网络的车道线检测分割方法
CN112699841A (zh) * 2021-01-13 2021-04-23 华南理工大学 一种基于行车视频的交通标志检测识别方法
CN112801021B (zh) * 2021-02-09 2022-07-08 福州大学 基于多级语义信息的车道线检测方法及系统
CN113033352B (zh) * 2021-03-11 2024-02-23 浙江工业大学 一种基于结合改进目标语义分割和目标检测模型的实时移动交通违法检测方法
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113191937B (zh) * 2021-04-17 2024-03-22 南京航空航天大学 一种基于曲面和消失点检测的自适应逆透视变换方法
CN113343778B (zh) * 2021-05-14 2022-02-11 淮阴工学院 一种基于LaneSegNet的车道线检测方法及系统
CN113569663B (zh) * 2021-07-08 2022-11-22 东南大学 车辆车道偏移的测量方法
CN115082888B (zh) * 2022-08-18 2022-10-25 北京轻舟智航智能技术有限公司 一种车道线检测方法和装置
CN115661790B (zh) * 2022-10-27 2023-08-18 深圳市欧冶半导体有限公司 基于车道线的车道消失点检测方法、终端及存储介质
CN115565148B (zh) * 2022-11-09 2023-04-18 福思(杭州)智能科技有限公司 道路图像的检测方法、装置、存储介质和电子装置
CN117649635A (zh) * 2024-01-30 2024-03-05 湖北经济学院 狭窄水道场景影消点检测方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法

Also Published As

Publication number Publication date
CN111582083A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582083B (zh) 一种基于消失点估计与语义分割的车道线检测方法
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN105261020A (zh) 一种快速车道线检测方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
CN107563331B (zh) 一种基于几何关系的道路标志线检测方法及系统
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN114648654A (zh) 一种融合点云语义类别和距离的聚类方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
Rasib et al. Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads
Ding et al. A lane detection method based on semantic segmentation
Wang et al. An improved hough transform method for detecting forward vehicle and lane in road
FAN et al. Robust lane detection and tracking based on machine vision
CN113221739B (zh) 基于单目视觉的车距测量方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
Bisht et al. Integration of hough transform and inter-frame clustering for road lane detection and tracking
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
Chen et al. A novel lane departure warning system for improving road safety
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质
Almotairi Hybrid adaptive method for lane detection of degraded road surface condition
Ding et al. A comprehensive approach for road marking detection and recognition
NGUYEN License plate detection and refinement based on deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant