CN112766056B - 一种基于深度神经网络的弱光环境车道线检测方法、装置 - Google Patents
一种基于深度神经网络的弱光环境车道线检测方法、装置 Download PDFInfo
- Publication number
- CN112766056B CN112766056B CN202011612255.5A CN202011612255A CN112766056B CN 112766056 B CN112766056 B CN 112766056B CN 202011612255 A CN202011612255 A CN 202011612255A CN 112766056 B CN112766056 B CN 112766056B
- Authority
- CN
- China
- Prior art keywords
- image
- lane line
- network
- light
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的弱光环境车道线检测方法、装置，方法具体包括：使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告；本发明提出的方法，能够提升弱光环境下车道线检测的精度和鲁棒性。
Description
技术领域
本发明涉及先进的驾驶员辅助系统和无人驾驶领域，特别是指一种基于深度神经网络的弱光环境车道线检测方法、装置。
背景技术
车道辅助驾驶是无人驾驶领域重要的研究方向。国内外的车企及多家科技公司都在进行相关的研究。据交通部门统计数据，近年来，随着车辆数量的增加，车祸受害者的人数也在不断增加。许多事故都是由于驾驶员疏忽大意或视觉干扰而导致车道偏离正常的行驶轨迹，从而导致交通事故的发生。车道线检测作为先进的驾驶员辅助系统(ADAS)的一个基本模块，是车道偏离预警系统和车道保持系统的核心。因此开发精确的车道线检测方法，对疏忽大意的驾驶员进行提醒，是降低此类事故发生概率的有效手段。
近年来，车道偏离预警系统如AutoVue、AWSTM等系统得到广泛的应用。这类系统依托传感器、摄像头获取车道图像，再通过传统的图像处理方法(边缘检测、霍夫变换、透视变换、滑窗搜索、拟合聚类等)来检测车道线。但传统的方法对光照变换、阴影严重、标志退化、气候恶劣等场景难以适用，存在检测精度低下以及误检的问题。
部分人员采用深度学习对车道进行语义分割，通过大量后处理对车道线进行检测。然而，面对弱光环境所产生的低质量图像，深度学习的方法对车道线识别的准确性同样有待提升。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于深度神经网络的弱光环境车道线检测方法，用于提升弱光环境下车道线检测的精度和鲁棒性。
本发明采用如下技术方案：
一种基于深度神经网络的弱光环境车道线检测方法，包括如下步骤：
使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告。
具体地，所述使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，具体包括：
使用引导过滤对光线充足的实际驾驶环境图像执行边缘保留处理；
遍历图片像素，并调整图像的对比度，具体为：
其中，δ(i，j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i，j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差；
调整图像的伽玛值，生成不同级别弱光图像，具体为：
其中，R，G，B代表三种通道的颜色数值；
合成弱光图像，具体为：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
具体地，所述弱光增强网络具体为：
所述弱光增强网络为卷积深度学习网络，使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样，所述卷积深度学习网络包含16个卷积层，一个最大池化层和一个完全连接层；完全连接层后面是SoftMax分类器，以输出处理后的增强图像，所述每个卷积层包含一个卷积操作、一个BN操作和一个Rule激活函数操作。
具体地，所述改进的DeeplabV3+语义分割网络，具体为：
所述改进的DeeplabV3+语义分割网络结构为空间金字塔结构和编码器-解码器结构，转换数据格式为Float32格式，减小中间流层的循环次数，并将UpSampling2D改进为Conv2DTranspose。
具体地，检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，所述快速的聚类算法具体为：
基于密度的聚类算法Dbscan，并设置KD树在聚类算法Dbscan搜索最近的邻居时限制聚类规模。
本发明另一方面提供一种基于深度神经网络的弱光环境车道线检测装置，包括如下：
车道线图像输出模块：使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
语义信息提取模块：用于将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
车道线检测模块：用于检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
报警模块：用于设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告。
具体地，所述使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，具体包括：
使用引导过滤对光线充足的实际驾驶环境图像执行边缘保留处理；
遍历图片像素，并调整图像的对比度，具体为：
其中，δ(i，j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i，j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差；
调整图像的伽玛值，生成不同级别弱光图像，具体为：
其中，R，G，B代表三种通道的颜色数值；
合成弱光图像，具体为：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
具体地，所述弱光增强网络具体为：
所述弱光增强网络为卷积深度学习网络，使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样，所述卷积深度学习网络包含16个卷积层，一个最大池化层和一个完全连接层；完全连接层后面是SoftMax分类器，以输出处理后的增强图像，所述每个卷积层包含一个卷积操作、一个BN操作和一个Rule激活函数操作。
本发明另一方面提供一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于深度神经网络的弱光环境车道线检测方法的步骤。
本发明再一发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于深度神经网络的弱光环境车道线检测方法的步骤。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提供的基于深度神经网络的弱光环境车道线检测方法，首先将实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测，将弱光增强网络和改进的DeeplabV3+语义分割网络实现了融合，较现有的基于颜色、车道结构方法和深度学习方法在弱光环境下展现出来较好的性能，且成本低、鲁棒性强，在低光照条件下可以保持较高的车道线检测精度。
(2)传统的弱光图像弱光图像增强算法处理的图像在原始颜色和车道边缘细节方面发生了巨大变化，并且不适用于弱光水平。同时，对于具有不同照度的图像，需要进行手动调整，这使得图像的特征提取无效，不利于整体处理效率的提高，本发明构建了弱光增强网络，提高弱光图像增强的适应性和处理效率。
(3)为了训练弱光图像增强网络，需要大量具有良好照明和相应弱光的图像，但实际的驾驶场景是从亮到暗的动态场景，通过调整曝光量的静态图像无法满足网络训练的需求；因此，本发明从实际的车道场景中拍摄低照度和光线充足的图片，并从像素中分析这些图像的颜色通道分布特性，通过调整图像的对比度和伽玛值生成不同级别的要学习的弱光图像。
(4)本发明提出改进的DeeplabV3+，转换数据格式为Float32格式，减小中间流层的循环次数，并将UpSampling2D改进为Conv2DTranspose，提高了算法速率。
(5)为了更好地跟踪车道，本发明在需要在语义分割后对车道特征进行准聚类，并将同一车道线的特征点聚类以形成聚类点，当样本集较大时，聚类收敛时间较长，本发明设置了一个KD树来在搜索最近的邻居时限制聚类规模，从而加快了聚类速度。
附图说明
图1是本发明所述的基于深度神经网络的弱光环境车道线检测框图。
图2是本发明所述的弱光图像增强卷积网络；
图3是本发明所述的不同条件下的弱光环境的三通道颜色分布图；图3(a)表示实际弱光图像的三通道颜色分布图，图3(b)表示生成的弱光图像的三通道颜色分布图，图3(c)表示实际良好光照条件下图像的三通道颜色分布图，图3(d)表示弱光增强网络输出后的图像三通道颜色分布图；
图4是本发明所述的不同弱光程度的的弱光图像；其中图4(a)为原图，图4(b)为Cul＝140，γ＝2下的弱光图像，图4(c)Cul＝120，γ＝3下的弱光图像；图4(d)Cul＝100，γ＝4下的弱光图像；图4(e)Cul＝80，γ＝5下的弱光图像；
图5是本发明所述的弱光增强网络关键层的可视化图；
图6是本发明所述的语义分割网络框架示意图；
图7是本发明所述的弱光增强的结果图；其中图7(a)为原图，图7(b)合成的弱光图像，图7(c)为通过本发明实施例提出的弱光增强网络训练输出增强图像；
图8是本发明所述的车道线检测输出图像。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明涉及一种基于深度神经网络的弱光环境车道线检测方法，包括以下步骤：(1)利用卷积图像增强网络将弱光图像的干扰去除；(2)采用语义分割网络提取车道线特征；(3)改进的KD树聚类算法对车道线快速聚类，能够有效提升弱光环境下车道线检测的精度和鲁棒性。
下面结合附图对本发明进一步作具体实施方式的描述
如附图1所示，本发明所述的一种基于深度神经网络的弱光环境车道线检测方法框图，包括以下步骤：
S101：使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
通过传统的弱光图像增强算法处理的图像在原始颜色和车道边缘细节方面发生了巨大变化，并且不适用于弱光水平。同时，对于具有不同照度的图像，需要进行手动调整，这使得图像的特征提取无效，不利于整体处理效率的提高；
本发明实施例通过随机调整对比度和伽玛值以将其转换为低照度图像作为低照度图像增强网络的输入来执行变暗操作；
为了训练弱光图像增强网络，需要大量具有良好照明和相应弱光的图像。由于实际的驾驶场景是从亮到暗的动态场景，通过调整曝光量的静态图像无法满足网络训练的需求。因此，我们从实际的车道场景中拍摄低照度和光线充足的图片，并从像素中分析这些图像的颜色通道分布特性。如附图3所示，弱光环境的三通道颜色集中在一处。为了生成类似的弱光图像，首先，我们使用引导过滤对光线充足的图片执行边缘保留处理，以保留图像的边缘细节。其次，我们遍历图片像素并根据公式(1)调整图片的对比度更改图像对比度并调整伽玛值，以生成不同级别的要学习的弱光图像，其中，这样弱光图像也将显示类似于附图3a的颜色分布趋势，合成的弱光图像颜色分布趋势见附图3b。附图3a表示实际弱光图像的三通道颜色分布，附图3b表示生成的弱光图像的三通道颜色分布，附图3c表示实际良好光照条件下图像的三通道颜色分布，附图3d表示弱光增强网络输出后的图像三通道颜色分布。
公式(1)：
其中，δ(i，j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i，j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差。
接着，我们根据公式(2)变换图像的伽玛值：
公式(2)：
其中，R，G，B代表三种通道的颜色数值。
最后，我们表示的合成弱光图像由公式(3)表示：
公式(3)：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
生成的不同弱光程度的图像如附图4所示；其中图4(a)为原图，图4(b)为Cul＝140，γ＝2下的弱光图像，图4(c)Cul＝120，γ＝3下的弱光图像；图4(d)Cul＝100，γ＝4下的弱光图像；图4(e)Cul＝80，γ＝5下的弱光图像；
附图5展示了弱光增强网络关键层输出的处理图像，以及最后输出的增强结果；
本发明实施例构建的弱光增强网络为卷积神经网络框架，以提高弱光图像增强的适应性和处理效率。网络的整体结构如附图2所示。
在我们的CNN模型中，先后使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样。如附图2所示，该网络包含16个卷积层，一个最大池化层和一个完全连接层。最后一个完全连接的层后面是SoftMax分类器，以输出处理后的增强图像。其中的每个卷积层都包含一个卷积操作(Convolution)，一个BN操作(Batchnorm)和一个Rule激活函数操作。目的是为了提升模型卷积过程中非线性关系，降低由于卷积运算带来的数据分布变化的影响。
S102：将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
空间金字塔结构和编码器-解码器结构是深度学习解决语义分割问题的常用结构。空间金字塔结构可以对输入数据进行多采样率卷积和合并，以达到对特征图多尺寸信息进行编码的效果。编码器-解码器结构可以通过恢复数据的空间信息来获得分割对象的边界。DeepLabv3+添加了一个基于DeepLabv3框架的解码器模块，并将深分离卷积应用于空间金字塔和解码器模块，结合了这两种方法的优点并提高了模型的性能。
如图6，本发明实施例的网络模型为改进的DeepLabv3+语义分割网络，它包括一个深度可分离的卷积和残差网络，这是本发明中使用的网络的骨干；普通卷积通过卷积内核提取所有空间信息和通道信息。异构的思想是将两者分开并分别提取信息以获得更好的结果。我们使用的模型仍然由两部分组成：编码器和解码器。编码器模块使用Xception作为基本网络。为了在弱光环境下实现准确的车道线检测，在编码阶段，使用1×1卷积直接计算Xception提取的低维特征细节信息，ASPP提取并比较密集特征。当引用不同比例的特征时，使用人工卷积可增强提取密集特征的能力。解码器可以在修复尖锐的对象边界方面发挥作用。在下一阶段，将细节特征图像和编码器输出的四个上采样图像以相同的大小叠加，然后在经过1×1卷积运算和四个上采样之后，输出包含车道线信息的语义分割图像。
本发明实施例改进了用于车道语义分割的deeplabV3+网络，并压缩了depplabV3+网络模型，具体在于，在图像语义推断过程中，数据被转换为Float32格式并输入到GPU中运行。我们将中间流层的循环次数从原来的16倍更改为8倍；此外，与原始网络结构相比，图像池被删除了，这相当于减去均值的平均分布，我们将UpSampling2D更改为Conv2DTranspose。UpSampling2D直接使用原始像素值填充不存在的学习过程，而Conv2DTranspose具有学习过程，效果更好。DeeplabV3+网络分别在Tusimple数据集和Cityscapes上执行参数训练，并且网络根据初始化的参数输出预测图像。最后，使用损失函数计算标签图像和预测图像之间的差异，然后使用反向传播更新网络参数。当损耗函数达到最小值时，该过程将停止并保存网络参数。在测试阶段，网络只需要输入原始图像即可输出预测图像。
S103：检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
为了更好地跟踪车道，我们需要在语义分割后对车道特征进行准聚类，并将同一车道线的特征点聚类以形成聚类点。
由于无法预先知道车道数量，因此基于设置的类别数量的K-means算法不适用于本文。在实验过程中，我们发现Dbscan密度聚类算法可以在处理时对任何形状的密集数据集进行聚类，并且Dbscan聚类对数据集中的异常点不敏感，并且聚类结果没有偏差，所以本文使用基于密度的聚类算法Dbscan。同时，我们发现当样本集较大时，聚类收敛时间较长。因此，我们改进了基本的Dbscan算法。我们设置了一个KD树来在搜索最近的邻居时限制聚类规模，从而加快了聚类速度。具体的改进伪代码如下所示：
S104：设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告。
在本实施例中，我们提出了一种用于车道检测的多任务网络结构。每个分支都有其自己的损失函数，需要针对弱光增强网络上的不同目标进行培训，使用MSE(均方误差)作为损失函数，并使用SoftMax作为激活函数。我们理想的网络模型是一种功能。MSE可以估算在强光下拍摄的图像获得的值与在弱光环境下通过模型获得的值之间的距离。当值距离无限减小时，我们的模型更接近理想模型。
损失函数表示如下：
其中，yi是批处理中第i个数据的正例，y′i是神经网络输出的预测值。
在语义分割网络中，我们将车道用作二进制分类任务。为了加快梯度下降，我们使用CEE(交叉熵误差)作为损失函数。
表示如下：
其中，yi代表样本i的标签，正类别为1，负类别为0。pi代表预测样本i为正的概率。
分支任务训练完成后，训练目标函数为优化的总损失函数：
L＝LMSE+λ1LCEE (6)
LMSE和LCEE分别代表弱光增强和车道线分割网络的损失函数，λ1是车道线分割网络中车道线分割的损失函数的权重。
如图7，图7(a)为原图，图7(b)为利用本发明实施例提出的通过调节对比度和gamma数值方法转换成弱光图像，图7(c)为通过本发明实施例提出的弱光增强网络训练输出增强图像，并作为本发明实施例提出的改进的DeepLabv3+语义分割网络的输入，经过快速聚类后输出车道线的检测结果，如图8所示。
通过以上步骤，网络输出的结果可以准确的检测出弱光环境下多条车道线的位置。算法将车辆置于当前车道的中间位置，设定一个距离阈值，当车辆位置距离边界车道线小于某个阈值时，系统发出警告。以此来达到在弱光环境下更好的车道辅助驾驶。
本发明实施例另一方面提供一种基于深度神经网络的弱光环境车道线检测装置，包括如下：
车道线图像输出模块：使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
语义信息提取模块：用于将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
车道线检测模块：用于检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
报警模块：用于设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告。
所述使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，具体包括：
使用引导过滤对光线充足的实际驾驶环境图像执行边缘保留处理；
遍历图片像素，并调整图像的对比度，具体为：
其中，δ(i，j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i，j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差；
调整图像的伽玛值，生成不同级别弱光图像，具体为：
其中，R，G，B代表三种通道的颜色数值；
合成弱光图像，具体为：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
所述弱光增强网络具体为：
本发明实施例设计的卷积深度学习网络模型，先后使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样。如附图2所示，该网络包含16个卷积层，一个最大池化层和一个完全连接层。最后一个完全连接的层后面是SoftMax分类器，以输出处理后的增强图像。其中的每个卷积层都包含一个卷积操作(Convolution)，一个BN操作(Batchnorm)和一个Rule激活函数操作。目的是为了提升模型卷积过程中非线性关系，降低由于卷积运算带来的数据分布变化的影响。通过本弱光增强网络训练的弱光图像可输出为如附图7c所示的增强图像。
本发明实施例另一方面提供一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于深度神经网络的弱光环境车道线检测方法的步骤。
本发明实施例再一方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于深度神经网络的弱光环境车道线检测方法的步骤。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (6)
1.一种基于深度神经网络的弱光环境车道线检测方法，其特征在于，包括如下步骤：
使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告；
所述弱光增强网络具体为：
所述弱光增强网络为卷积深度学习网络，使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样，所述卷积深度学习网络包含16个卷积层，一个最大池化层和一个完全连接层；完全连接层后面是SoftMax分类器，以输出处理后的增强图像，每个卷积层包含一个卷积操作、一个BN操作和一个Rule激活函数操作；
所述改进的DeeplabV3+语义分割网络，具体为：
所述改进的DeeplabV3+语义分割网络结构为空间金字塔结构和编码器-解码器结构，转换数据格式为Float32格式，减小中间流层的循环次数，并将UpSampling2D改进为Conv2DTranspose；
检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，所述快速的聚类算法具体为：
基于密度的聚类算法Dbscan，并设置KD树在聚类算法Dbscan搜索最近的邻居时限制聚类规模。
2.根据权利要求1所述的一种基于深度神经网络的弱光环境车道线检测方法，其特征在于，所述使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，具体包括：
使用引导过滤对光线充足的实际驾驶环境图像执行边缘保留处理；
遍历图片像素，并调整图像的对比度，具体为：
其中，δ(i,j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i,j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差；
调整图像的伽玛值，生成不同级别弱光图像，具体为：
其中，R，G，B代表三种通道的颜色数值；
合成弱光图像，具体为：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
3.一种基于深度神经网络的弱光环境车道线检测装置，其特征在于，包括如下：
车道线图像输出模块：使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，训练弱光增强网络，实现高质量车道线图像的输出；
语义信息提取模块：用于将弱光增强网络输出的高质量车道线图像引入改进的DeeplabV3+语义分割网络，提取包含高级语义信息车道特征检测候选车道；
车道线检测模块：用于检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，完成对当前行驶车道的车道线检测；
报警模块：用于设定距离阈值，当车辆位置距离边界车道线小于设定距离阈值时，发出警告；
所述弱光增强网络具体为：
所述弱光增强网络为卷积深度学习网络，使用卷积层提取弱光图像的特征，并使用最大池化层对图像进行下采样，所述卷积深度学习网络包含16个卷积层，一个最大池化层和一个完全连接层；完全连接层后面是SoftMax分类器，以输出处理后的增强图像，每个卷积层包含一个卷积操作、一个BN操作和一个Rule激活函数操作；
所述改进的DeeplabV3+语义分割网络，具体为：
所述改进的DeeplabV3+语义分割网络结构为空间金字塔结构和编码器-解码器结构，转换数据格式为Float32格式，减小中间流层的循环次数，并将UpSampling2D改进为Conv2DTranspose；
检测到候选车道后，通过快速的聚类算法将候选车道聚类为线型输出，所述快速的聚类算法具体为：
基于密度的聚类算法Dbscan，并设置KD树在聚类算法Dbscan搜索最近的邻居时限制聚类规模。
4.根据权利要求3所述的基于深度神经网络的弱光环境车道线检测装置，其特征在于，所述使用实际驾驶环境图像通过调节对比度和gamma数值转换成弱光图像，具体包括：
使用引导过滤对光线充足的实际驾驶环境图像执行边缘保留处理；
遍历图片像素，并调整图像的对比度，具体为：
其中，δ(i,j)＝|i-j|表示相邻像素之间的灰度差，Pδ(i,j)表示像素分布规律，其中的δ表示相邻像素之间的灰度差；
调整图像的伽玛值，生成不同级别弱光图像，具体为：
其中，R，G，B代表三种通道的颜色数值；
合成弱光图像，具体为：
其中，IL是人工合成的弱光图像，Cul是对比度的上限，IR是具有良好照明条件的真实图像，γ是伽玛变换的值。
5.一种基于深度神经网络的弱光环境车道线检测设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任意一项所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612255.5A CN112766056B (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612255.5A CN112766056B (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766056A CN112766056A (zh) | 2021-05-07 |
| CN112766056B true CN112766056B (zh) | 2023-10-27 |
Family
ID=75696055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612255.5A Active CN112766056B (zh) | 2020-12-30 | 2020-12-30 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766056B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781374B (zh) * | 2021-08-30 | 2023-09-01 | 中山大学 | 一种低光照场景下车道线检测增强方法、装置及终端设备 |
| CN114065838B (zh) * | 2021-10-22 | 2023-07-14 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114120274A (zh) * | 2021-11-17 | 2022-03-01 | 同济大学 | 一种应用于低光照场景的车道线检测方法及其系统 |
| CN117037007B (zh) * | 2023-10-09 | 2024-02-20 | 浙江大云物联科技有限公司 | 一种航拍式的道路照明均匀度检查方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163103A (zh) * | 2014-06-13 | 2015-12-16 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
| CN107884045A (zh) * | 2017-10-25 | 2018-04-06 | 厦门大学 | 一种基于振动的轮式装载机载重量测量方法 |
| CN109637151A (zh) * | 2018-12-31 | 2019-04-16 | 上海眼控科技股份有限公司 | 一种高速公路应急车道违章行驶的识别方法 |
| CN110111593A (zh) * | 2019-06-06 | 2019-08-09 | 苏州中科先进技术研究院有限公司 | 区域内智能车道线的控制方法和装置 |
| CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
| CN111597913A (zh) * | 2020-04-23 | 2020-08-28 | 浙江大学 | 一种基于语义分割模型的车道线图片检测分割方法 |
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3824408B1 (en) * | 2018-07-17 | 2024-03-06 | NVIDIA Corporation | Regression-based line detection for autonomous driving machines |
| US11718324B2 (en) * | 2019-04-11 | 2023-08-08 | Isee, Inc. | Instance segmentation imaging system |
-
2020
- 2020-12-30 CN CN202011612255.5A patent/CN112766056B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105163103A (zh) * | 2014-06-13 | 2015-12-16 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
| CN107884045A (zh) * | 2017-10-25 | 2018-04-06 | 厦门大学 | 一种基于振动的轮式装载机载重量测量方法 |
| CN109637151A (zh) * | 2018-12-31 | 2019-04-16 | 上海眼控科技股份有限公司 | 一种高速公路应急车道违章行驶的识别方法 |
| CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
| CN110111593A (zh) * | 2019-06-06 | 2019-08-09 | 苏州中科先进技术研究院有限公司 | 区域内智能车道线的控制方法和装置 |
| CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
| CN111597913A (zh) * | 2020-04-23 | 2020-08-28 | 浙江大学 | 一种基于语义分割模型的车道线图片检测分割方法 |
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN112116594A (zh) * | 2020-09-10 | 2020-12-22 | 福建省海峡智汇科技有限公司 | 一种基于语义分割的风飘异物识别方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| chenglu wen.Graphic Processing Unit-Accelerated Neural Network Model for Biological Species Recognition.《Journal of Donghua University(English Edition)》.2012,论文全文. * |
| 吴骅跃.基于IPM和边缘图像过滤的多干扰车道线检测.《中国公路学报》.2020,论文全文. * |
| 王少杰.基于最优换挡控制目标的仿人智能模糊控制策略.《厦门大学学报(自然科学版)》.2015,论文全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766056A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766056B (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN109740465B (zh) | 一种基于实例分割神经网络框架的车道线检测算法 | |
| CN111274976B (zh) | 基于视觉与激光雷达多层次融合的车道检测方法及系统 | |
| CN106845478B (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
| CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
| CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN109886200B (zh) | 一种基于生成式对抗网络的无人驾驶车道线检测方法 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN110310241A (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
| CN113095277B (zh) | 一种基于目标空间分布特征的无人机航拍车辆检测方法 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN113989613A (zh) | 一种应对复杂环境的轻量级高精度船舶目标检测方法 | |
| CN109800714A (zh) | 一种基于人工智能的船舶检测系统及方法 | |
| CN114120272A (zh) | 一种融合边缘检测的多监督智能车道线语义分割方法 | |
| CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、系统及存储介质 | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| CN115601723A (zh) | 基于改进ResNet的夜间热红外图像语义分割增强方法 | |
| CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
| CN116883868A (zh) | 基于自适应图像去雾的无人机智能巡航检测方法 | |
| CN110674676B (zh) | 一种基于语义分割的道路置信估计模糊帧方法 | |
| CN117058641A (zh) | 一种基于深度学习的全景驾驶感知方法 | |
| CN116188779A (zh) | 一种基于UFLane-Detection的车道线检测方法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Qingyuan Inventor after: Song Shuang Inventor after: Huang Tengchao Inventor after: Bu Xiangjian Inventor before: Zhu Qingyuan Inventor before: Song Shuang Inventor before: Huang Tengchao Inventor before: Bu Xiangjian |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |