CN112149535B - 一种结合SegNet和U-Net的车道线检测方法和装置 - Google Patents

一种结合SegNet和U-Net的车道线检测方法和装置 Download PDF

Info

Publication number
CN112149535B
CN112149535B CN202010953936.1A CN202010953936A CN112149535B CN 112149535 B CN112149535 B CN 112149535B CN 202010953936 A CN202010953936 A CN 202010953936A CN 112149535 B CN112149535 B CN 112149535B
Authority
CN
China
Prior art keywords
segnet
lane line
line detection
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010953936.1A
Other languages
English (en)
Other versions
CN112149535A (zh
Inventor
朱显丞
黄德天
陈健
吴娇绿
于耀博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202010953936.1A priority Critical patent/CN112149535B/zh
Publication of CN112149535A publication Critical patent/CN112149535A/zh
Application granted granted Critical
Publication of CN112149535B publication Critical patent/CN112149535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种结合SegNet和U‑Net网络的车道线检测方法，包括以下步骤：制作数据集和标签；构建基于SegNet的车道线检测网络；将U‑Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U‑Net的车道线检测网络；使用所述结合SegNet和U‑Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果。本发明提出车道线检测方法，克服原有SegNet模型提取的特征过于单一的问题，提高车道线检测的精度。

Description

一种结合SegNet和U-Net的车道线检测方法和装置
技术领域
本发明涉车道线检测领域，特别是涉及一种结合SegNet和U-Net模型的车道线检测方法和装置。
背景技术
目前车道线检测技术主要分为两种：基于传统的车道线检测技术和基于深度学习的车道线检测技术。
车道线检测最早是用传统方法来实现的，一般由失真校正、逆透视变换(IPMTransform)、特征提取、曲线拟合和跟踪五个步骤组成，其中第一和第五步可视为非必须步骤。但是由于传统的车道线识别模型完全基于计算机视觉，通过图像处理、阈值设置等检测出车道线。这种模型单一且具有很强的局限性。通常相同的阈值通常只能识别特定环境下的车道线，而近年发展起来的深度学习刚好可以弥补这种不足。
基于深度学习的车道线检测技术是近几年学术界讨论的热门。深度学习的基础模型包括CNN卷积神经网络、RNN循环神经网络、LSTM循环神经网络等。目前车道线检测大体步骤与传统网络部分相似，局部优化处理种类繁多，其中较为热门的车道线检测大多数都包含CNN、RNN等基本框架。基于深度学习的车道线检测方法大幅提高了检测精度与速度。其中基于SegNet网络的车道线识别在大部分清晰可见的场景中都能获得较为满意的效果。但是，现有的SegNet模型提取的特征过于单一，导致车道线的检测的精度受到限制。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种结合SegNet和U-Net网络的车道线检测方法，克服原有SegNet模型提取的特征过于单一的问题，提高车道线检测的精度。
本发明采用如下技术方案：
一种结合SegNet和U-Net网络的车道线检测方法，其特征在于，包括以下步骤：
制作数据集和标签；
构建基于SegNet的车道线检测网络；
将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络；
使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果。
具体地，所述制作数据集和标签，具体为：
选取行车场景图像；
对行车场景图像进行预处理；
对预处理后的行车场景图像进行旋转、水平翻转处理，得到扩展后的图像，作为数据集；
将数据集中的行车场景图像转换为二值图像，并采用最大类间方差法获取车道线在图像中所对应的像素点，进行灰度值赋值处理，得到灰度值赋值处理后的二值图像，作为数据集的标签；
选取训练样本。
具体地，所述构建基于SegNet的车道线检测网络，具体包括：
所述基于SegNet的车道线检测网络，包括编码模块和解码模块；
所述编码模块对输入图像进行多次卷积、ReLU激活、批量标准化、最大池化操作，得到用于提取车道线的多层特征图；
所述解码模块对输入的多层特征图进行多次反卷积、ReLU激活、批量标准化操作，用于根据编码模块提取的特征，逐层对车道线进行识别和分割，最终完成对车道线的检测。
具体地，所述编码模块由第一编码单元、第二编码单元、第三编码单元和第四编码单元串联组成；
所述第一编码单元、第三编码单元和第四编码单元均由卷积层、批量标准化层、卷积层、批量标准化层、池化层串联组成；所述第二编码单元由卷积层、批量标准化层、卷积层、批量标准化层、卷积层、批量标准层、池化层串联组成。
具体地，所述解码模块由第一解码单元、第二解码单元、第三解码单和第四解码单元串联组成；
所述第一解码单元和第二解码单元包括3层卷积层；第三解码单元和第四解码单元包括4层卷积层。
具体地，所述将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，具体为：将各个解码单元的第一次卷积操作后的输出与其对应的同尺寸浅层特征图在通道维度上进行拼接。
具体地，所述的各个解码单元的第一次卷积操作后的输出与其对应编码单元的浅层特征具有相同的尺寸，具体为：
第一解码单元的第一次卷积操作的输出对应第四编码单元的第二次卷积操作的输出；
第二解码单元的第一次卷积操作的输出对应第三编码单元的第二次卷积操作的输出；
第三解码单元的第一次卷积操作的输出对应第二编码单元的第三次卷积操作的输出；
第四解码单元的第一次卷积操作的输出对应第一编码单元的第二次卷积操作的输出。
具体地，所述使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果，具体为：
将行车场景图像作为所述的一种结合SegNet和U-Net的车道线检测网络的输入，得到的输出是一幅相应的掩膜图像；
将掩膜图像中的各个像素点的灰度值分别乘以255；
将掩膜图像等效为一幅“G”颜色通道图像，并将掩膜图像与“R”颜色通道和“B”颜色通道进行叠加，得到一幅大小为80*160的RGB图像；
将所述RGB图像的尺寸缩放至与输入图像相同，并与输入图像进行图像的加权和操作，实现原始图像与掩膜的可视化，最终得到实际效果图。
本发明还提供一种结合SegNet和U-Net网络的车道线检测装置，包括：
准备模块：制作数据集和标签；
构建基础网络模块：用于构建基于SegNet的车道线检测网络；
构建结合网络模块：将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络；
检测模块：使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明提供了一种结合SegNet和U-Net网络的车道线检测方法，首先，制作数据集和标签；然后，构建基于SegNet的车道线检测网络，并对所述的基于SegNet的车道线检测网络加入了U-Net网络的跳跃连接结构，得到一种结合SegNet和U-Net的车道线检测网络；最后，使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的道路图像进行检测，得到检测结果；本发明所提出的方法，通过在解码单元中加入了拼接模块，将浅层的特征图与其对应的深层特征图进行通道维度上的拼接，保留了更丰富的特征信息，解决了提取特征过于单一的问题；通过将原基于SegNet的车道线检测网络中加入了U-net网络的跳跃连接结构，使其由原来的单一直线结构变成了跳跃连接结构，从而使loss下降的速度要远远快于改进前的网络，使得整个网络鲁棒性更好、结构更稳健。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例的网络框架示意图；
图3为本发明实施例在一幅两类白天行车场景图上的检测结果图，其中图3(a)为白天行车场景的原始图像，图3(b)为只使用SegNet方法对图3(a)进行检测得到的结果，图3(c)为本发明方法对图3(a)进行检测得到的结果；
图4为本发明实施例在一幅两类黑夜行车场景图上的检测结果图，其中图4(a)为黑夜行车场景的原始图像，图4(b)为只使用SegNet方法对图4(a)进行检测得到的结果，图4(c)为本发明方法对图4(a)进行检测得到的结果。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
实施例，本发明提供了一种结合SegNet和U-Net网络的车道线检测方法，如图1是本发明实施例的流程示意图，具体为：
S10、制作数据集和标签
从视频中选取包含直线、弯道，以及各种条件(夜晚与白天、阴影、雨与阳光)下的行车场景图像；剔除掉视频中存在模糊、隐藏线、数据格式不正确、过于相似等问题的图像；对筛选后的行车场景图像进行旋转、水平翻转处理，扩展生成更多的图像，将这些图像统一设置为大小为160*80的3通道图像，并将此作为数据集；然后，将数据集中的图像转换成二值图像，并使用最大类间方差法(OTSU)找出车道线在图像中所对应的像素点，并将其灰度值均赋值为255，而其余的像素点的灰度值均赋值为0，得到一幅数据格式为80*160*1的二值图像，将其作为数据集的标签；最后，以训练集：测试集为10:1的比例选取训练样本。
S20、构建基于SegNet的车道线检测网络，其中，该网络包含了包括了编码模块和解码模块，其中编码模块：
所述编码模块对输入图像进行多次卷积(Convolution,Conv)、ReLU(RectifiedLinear Unit)激活、批量标准化(Batch Normalization,BN)、最大池化(Max Pooling,MP)操作进行，从而得到用于提取车道线的多层特征图。其中，该模块的输入是行车场景图像，输出是一系列的特征图；
所述编码模块由4个编码单元串联组成，即由第一解码单元、第二解码单元、第三解码单元、第四解码单元串联组成；其中，第一编码单元、第三编码单元和第四编码单元内部皆由Conv层、BN层、Conv层、BN层、池化层串联组成；而第二编码单元由Conv层、BN层、Conv层、BN层、Conv层、BN层、池化层串联组成；Conv层的size为3*3，采用的是valid卷积，激活函数为ReLU；4个编码单元的卷积核数量依次为：16、32、64和128；池化层的size为2*2，进行MP操作。
另一方面，解码模块，所述解码模块对输入特征图进行多次反卷积(Deconvolution,Deconv)、ReLU激活、BN操作，用于根据编码模块提取的特征，逐层对车道线进行识别和分割，最终完成对车道线的检测。其中，该模块的输入是来自编码模块提取的一系列特征图，该模块的输出是一幅80*160*1形状的掩膜图(mask)；mask保存着对输入图像车道线的检测结果，其中，被判断为车道线的像素点的灰度值为1，被判断为非车道线的像素点的灰度值为0；
所述解码模块由4个解码单元串联组成，即由第一解码单元、第二解码单元、第三解码单元、第四解码单元串联组成；第一解码单元、第二解码单元内部由3层Deconv层构成；第三解码单元和第四解码单元内部由4个Deconv层构成；本网络最后一个Deconv层采用same填充方式外，其他的Deconv层都采用valid方式填充；Deconv层所使用的激活函数为ReLU；在各个解码单元中，第1个Deconv层的size为2*2，其余的Deconv层的size皆为3*3；第一解码单元的3个Deconv层的卷积核数量分别为：128、128和64；第二解码单元的3个Deconv层的卷积核数量分别为：64、64和32；第三解码单元的4个Deconv层数量分别为：32、32、16和16；第四解码单元的4个Deconv层数量分别为：16、16、8和1。
S30、将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络
将各个解码单元的第一次Deconv操作后的输出与其对应的同尺寸浅层特征图在通道维度上进行拼接；所述的各个解码单元的第一次Deconv操作后的输出与其对应编码单元的浅层特征具有相同的尺寸。具体为：第一解码单元的第1次Deconv操作的输出对应第四编码单元的第2次Conv操作的输出；第二解码单元的第1次Deconv操作的输出对应第三编码单元的第2次Conv操作的输出；第三解码单元的第1次Deconv操作的输出对应第二编码单元的第3次Conv操作的输出；第四解码单元的第1次Deconv操作的输出对应第一编码单元的第2次Conv操作的输出。
如图2所示，即为最终得到的结合Segnet和U-Net网络的车道线检测网络。
S40、使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果
使用平方误差损失函数对模型进行训练，使损失值达到最小；选择Adam优化算法对模型进行优化训练，训练迭代周期(epoch)为15、每个批次训练量(batch Size)为16，训练15代。为了增加训练的数据量，使得网络更加具有稳定性，同时也能提高网络对车道线检测的性能，使用数据扩充策略，X方向和Y方向平移的范围从-10到10个像素点之间，最终得到一个训练完毕的网络模型；
将80*160*3形状的行车场景图像作为所述的一种结合SegNet和U-Net的车道线检测网络的输入，得到的输出是一幅80*160*1形状的mask；将mask中的各个像素点的灰度值分别乘以255；mask等效为一幅“G”颜色通道图像，将mask与“R”颜色通道和“B”颜色通道进行叠加，得到一幅大小为80*160的RGB图像；将该图像的尺寸缩放至与输入图像相同，并与输入图像进行图像的加权和操作，从而实现原始图像与mask的可视化，最终得到实际效果图。
本发明实施例另一方面还提供一种结合SegNet和U-Net网络的车道线检测装置，包括：
准备模块：制作数据集和标签；
构建基础网络模块：用于构建基于SegNet的车道线检测网络；
构建结合网络模块：将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络；
检测模块：使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果。
本发明的效果可以通过以下仿真实验进一步说明。在实验中，为了保证实验的客观性，图像来源于从网络视频采集下来的12760张行车场景图，其中11600张图像作为训练训练样本，包括由各类直道、弯道与各种天气、时间所组成的行车场景图，剩余1160张作为测试样本集。实验将应用本发明方法和只使用SegNet方法，分别对两幅图像进行车道线检测实验，并从检测结果的准确性和边缘边界的清晰性评价这些方法的各自性能。
A两类白天行车场景图的实验结果
用本发明方法以及SegNet方法，对白天行车场景图进行车道线检测，其结果比较如图3所示。其中图3(a)为白天行车场景图的原图像，该图像道路信息清晰、完整，阳光充足，能见度高；图3(b)为只使用SegNet方法对图3(a)进行检测得到的结果；图3(c)为本发明方法对图3(a)进行检测得到的结果。由图3可见，本发明方法的检测结果比只使用SegNet方法更为准确，边缘清晰，毛刺较少，而只使用SegNet方法在近处区域出现了较多的毛刺，检测结果相比之下不准确，边缘不清晰，甚至存在误判。而在远处区域从检测的结果的准确性和边界的清晰程度上看与本发明差别不大。
B两类黑夜行车场景图的实验结果
用本发明方法以及SegNet方法，对黑夜行车场景图进行车道线检测，其结果比较如图4所示。其中图4(a)为黑夜行车场景图的原图像，该图像道路信息较白天不清晰，能见度低，光线不充分；图4(b)为只使用SegNet方法对图4(a)进行检测得到的结果；图4(c)为本发明方法对图4(a)进行检测得到的结果。由图4可见，本发明方法在能见度低，光线不充分的行车场景下，仍能得到较为理想的效果；并且，本发明方法与只使用SegNet方法相比，其检测结果更为准确，边缘清晰，毛刺较少；而只使用SegNet方法在近处区域出现了较多的毛刺，检测结果相比之下不准确，边缘不清晰，甚至存在误判；而在远处区域从检测的结果的准确性和边界的清晰程度上看与本发明差别也较大。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (6)

1.一种结合SegNet和U-Net网络的车道线检测方法，其特征在于，包括以下步骤：
制作数据集和标签；
构建基于SegNet的车道线检测网络；
将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络；
使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果；
所述构建基于SegNet的车道线检测网络，具体包括：
所述基于SegNet的车道线检测网络，包括编码模块和解码模块；
所述编码模块对输入图像进行多次卷积、ReLU激活、批量标准化、最大池化操作，得到用于提取车道线的多层特征图；
所述解码模块对输入的多层特征图进行多次反卷积、ReLU激活、批量标准化操作，用于根据编码模块提取的特征，逐层对车道线进行识别和分割，最终完成对车道线的检测；
所述将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，具体为：将各个解码单元的第一次卷积操作后的输出与其对应的同尺寸浅层特征图在通道维度上进行拼接；
所述的各个解码单元的第一次卷积操作后的输出与其对应编码单元的浅层特征具有相同的尺寸，具体为：
第一解码单元的第一次卷积操作的输出对应第四编码单元的第二次卷积操作的输出；
第二解码单元的第一次卷积操作的输出对应第三编码单元的第二次卷积操作的输出；
第三解码单元的第一次卷积操作的输出对应第二编码单元的第三次卷积操作的输出；
第四解码单元的第一次卷积操作的输出对应第一编码单元的第二次卷积操作的输出。
2.根据权利要求1所述的一种结合SegNet和U-Net网络的车道线检测方法，其特征在于：所述制作数据集和标签，具体为：
选取行车场景图像；
对行车场景图像进行预处理；
对预处理后的行车场景图像进行旋转、水平翻转处理，得到扩展后的图像，作为数据集；
将数据集中的行车场景图像转换为二值图像，并采用最大类间方差法获取车道线在图像中所对应的像素点，进行灰度值赋值处理，得到灰度值赋值处理后的二值图像，作为数据集的标签；
选取训练样本。
3.根据权利要求1所述的一种结合SegNet和U-Net网络的车道线检测方法，其特征在于，所述编码模块由第一编码单元、第二编码单元、第三编码单元和第四编码单元串联组成；
所述第一编码单元、第三编码单元和第四编码单元均由卷积层、批量标准化层、卷积层、批量标准化层、池化层串联组成；所述第二编码单元由卷积层、批量标准化层、卷积层、批量标准化层、卷积层、批量标准层、池化层串联组成。
4.根据权利要求1所述的一种结合SegNet和U-Net网络的车道线检测方法，其特征在于，所述解码模块由第一解码单元、第二解码单元、第三解码单和第四解码单元串联组成；
所述第一解码单元和第二解码单元包括3层卷积层；第三解码单元和第四解码单元包括4层卷积层。
5.如权利要求1所述的一种结合SegNet和U-Net网络的车道线检测方法，其特征在于，所述使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果，具体为：
将行车场景图像作为所述的一种结合SegNet和U-Net的车道线检测网络的输入，得到的输出是一幅相应的掩膜图像；
将掩膜图像中的各个像素点的灰度值分别乘以255；
将掩膜图像等效为一幅“G”颜色通道图像，并将掩膜图像与“R”颜色通道和“B”颜色通道进行叠加，得到一幅大小为80*160的RGB图像；
将所述RGB图像的尺寸缩放至与输入图像相同，并与输入图像进行图像的加权和操作，实现原始图像与掩膜的可视化，最终得到实际效果图。
6.一种结合SegNet和U-Net网络的车道线检测装置，其特征在于，包括：
准备模块：制作数据集和标签；
构建基础网络模块：用于构建基于SegNet的车道线检测网络；
构建结合网络模块：将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，得到一种结合SegNet和U-Net的车道线检测网络；
检测模块：使用所述结合SegNet和U-Net网络的车道线检测网络对待识别的行车场景图像进行检测，得到检测结果；
所述构建基于SegNet的车道线检测网络，具体包括：
所述基于SegNet的车道线检测网络，包括编码模块和解码模块；
所述编码模块对输入图像进行多次卷积、ReLU激活、批量标准化、最大池化操作，得到用于提取车道线的多层特征图；
所述解码模块对输入的多层特征图进行多次反卷积、ReLU激活、批量标准化操作，用于根据编码模块提取的特征，逐层对车道线进行识别和分割，最终完成对车道线的检测；
所述将U-Net网络的跳跃连接结构加入所述的基于SegNet的车道线检测网络，具体为：将各个解码单元的第一次卷积操作后的输出与其对应的同尺寸浅层特征图在通道维度上进行拼接；
所述的各个解码单元的第一次卷积操作后的输出与其对应编码单元的浅层特征具有相同的尺寸，具体为：
第一解码单元的第一次卷积操作的输出对应第四编码单元的第二次卷积操作的输出；
第二解码单元的第一次卷积操作的输出对应第三编码单元的第二次卷积操作的输出；
第三解码单元的第一次卷积操作的输出对应第二编码单元的第三次卷积操作的输出；
第四解码单元的第一次卷积操作的输出对应第一编码单元的第二次卷积操作的输出。
CN202010953936.1A 2020-09-11 2020-09-11 一种结合SegNet和U-Net的车道线检测方法和装置 Active CN112149535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953936.1A CN112149535B (zh) 2020-09-11 2020-09-11 一种结合SegNet和U-Net的车道线检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953936.1A CN112149535B (zh) 2020-09-11 2020-09-11 一种结合SegNet和U-Net的车道线检测方法和装置

Publications (2)

Publication Number Publication Date
CN112149535A CN112149535A (zh) 2020-12-29
CN112149535B true CN112149535B (zh) 2023-06-27

Family

ID=73890280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953936.1A Active CN112149535B (zh) 2020-09-11 2020-09-11 一种结合SegNet和U-Net的车道线检测方法和装置

Country Status (1)

Country Link
CN (1) CN112149535B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486762B (zh) * 2021-06-30 2022-03-25 中南大学 基于SegNet-SL网络的小障碍物检测方法
CN113392812B (zh) * 2021-07-08 2022-06-07 湖南大学 基于深度神经网络的道路车道线检测方法及系统
CN113609980A (zh) * 2021-08-04 2021-11-05 东风悦享科技有限公司 一种用于自动驾驶车辆的车道线感知方法及装置
CN113780189A (zh) * 2021-09-14 2021-12-10 西南交通大学 一种基于U-Net改进的车道线检测方法
CN114821510B (zh) * 2022-05-26 2024-06-14 重庆长安汽车股份有限公司 基于改进U-Net网络的车道线检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN111089598A (zh) * 2019-11-25 2020-05-01 首都师范大学 一种基于icciu的车道级车载实时地图匹配方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111089598A (zh) * 2019-11-25 2020-05-01 首都师范大学 一种基于icciu的车道级车载实时地图匹配方法
CN111582201A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于几何注意力感知的车道线检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于全卷积神经网络的车道线检测;王帅帅;刘建国;纪郭;;数字制造科学(02);全文 *
复杂道路场景下的多车道线检测方法研究;彭浪;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;全文 *
改进的自适应核相关滤波目标跟踪;黄德天;《华侨大学学报(自然科学版)》;全文 *

Also Published As

Publication number Publication date
CN112149535A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149535B (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN110909666B (zh) 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN110598690B (zh) 一种端到端光学字符检测识别方法与系统
CN111325203A (zh) 一种基于图像校正的美式车牌识别方法及系统
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN111027539B (zh) 一种基于空间位置信息的车牌字符分割方法
CN110942454A (zh) 一种农业图像语义分割方法
CN110766002B (zh) 一种基于深度学习的船名字符区域检测方法
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN113011288A (zh) 一种基于Mask RCNN算法的遥感建筑物检测方法
CN110458047B (zh) 一种基于深度学习的越野环境场景识别方法及系统
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN113033687A (zh) 一种雨雪气候条件下的目标检测识别方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN114241344B (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN116824347A (zh) 一种基于深度学习的道路裂纹检测方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant