CN112926354A - 一种基于深度学习的车道线检测方法及装置 - Google Patents
一种基于深度学习的车道线检测方法及装置 Download PDFInfo
- Publication number
- CN112926354A CN112926354A CN201911231107.6A CN201911231107A CN112926354A CN 112926354 A CN112926354 A CN 112926354A CN 201911231107 A CN201911231107 A CN 201911231107A CN 112926354 A CN112926354 A CN 112926354A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- sample
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 98
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010008 shearing Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开一种基于深度学习的车道线检测方法及装置。该方法包括:获取待检测图像;将待检测图像输入预先训练得到的卷积神经网络中,得到待检测图像对应的二值分割图像;卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各样本图像和对应的各标签图像训练得到的;将二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;采用预设连通域分析方法,将候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;对目标图像进行曲线拟合,得到待检测图像对应的车道线检测结果。应用本发明实施例提供的方案,能够提高车道线检测的准确性。
Description
技术领域
本发明涉及智能驾驶技术领域,具体而言,涉及一种基于深度学习的车道线检测方法及装置。
背景技术
在无人驾驶车辆行驶过程中,其需要检测道路上的车道线,从而才可以在正确的区域行驶,保证其行驶的安全性。
已知的方法中,可以在无人驾驶车辆安装相机,通过相机采集车辆行驶过程中周围环境的图像,并由车道线检测算法根据颜色、结构、滤波等信息对相机采集的图像进行车道线检测,得到车道线的坐标信息。
然而,在不同的天气条件下,相机采集的图像质量差别较大。例如,白天采集的图像质量较高,晚上采集的图像质量较低;晴朗天气时采集的图像质量较高,阴雨天气时采集的图像质量较低。从而,将导致车道线检测算法检测的结果准确性较差,尤其是针对质量较低的图像。因此,为了提高车道线检测的准确性,亟需一种车道线检测方法。
发明内容
本发明提供了一种基于深度学习的车道线检测方法及装置,以提高车道线检测的准确性。具体的技术方案如下。
第一方面,本发明实施例提供一种基于深度学习的车道线检测方法,所述方法包括:
获取待检测图像;
将所述待检测图像输入预先训练得到的卷积神经网络中,得到所述待检测图像对应的二值分割图像;所述卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各所述样本图像和对应的各所述标签图像训练得到的;
将所述二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;所述第一类像素点为像素值大于预设像素阈值的像素点,所述第二类像素点为像素值不大于所述预设像素阈值的像素点;
采用预设连通域分析方法,将所述候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;
对所述目标图像进行曲线拟合,得到所述待检测图像对应的车道线检测结果。
可选的,所述卷积神经网络的训练过程包括:
构建初始卷积神经网络;
获取样本图像,并对各所述样本图像进行二值图转换,得到各所述样本图像对应的标签图像;
将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络,当所述初始卷积神经网络得到的各所述样本图像对应的样本二值分割图像和对应各所述标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为所述卷积神经网络。
可选的,所述将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络之前,所述方法还包括:
对各所述样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像;所述预处理包括以下至少其一:翻转、剪切、添加噪声;
所述将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络的步骤包括:
将各所述目标样本图像和对应的目标标签图像均输入所述初始卷积神经网络。
可选的,所述对各所述样本图像和对应的标签图像进行剪切,得到目标样本图像和对应的目标标签图像的步骤包括:
针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;
针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于所述第一预设坐标阈值的区域,以及纵坐标大于所述第二预设坐标阈值的区域,得到对应的目标标签图像。
可选的,所述初始卷积神经网络包括:三层下采样和两层上采样。
第二方面,本发明实施例提供一种基于深度学习的车道线检测装置,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
图像分割模块,用于将所述待检测图像输入预先训练得到的卷积神经网络中,得到所述待检测图像对应的二值分割图像;所述卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各所述样本图像和对应的各所述标签图像训练得到的;
像素转换模块,用于将所述二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;所述第一类像素点为像素值大于预设像素阈值的像素点,所述第二类像素点为像素值不大于所述预设像素阈值的像素点;
区域连通模块,用于采用预设连通域分析方法,将所述候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;
车道线检测模块,用于对所述目标图像进行曲线拟合,得到所述待检测图像对应的车道线检测结果。
可选的,所述装置还包括:
网络构建模块,用于构建初始卷积神经网络;
样本图像获取模块,用于获取样本图像,并对各所述样本图像进行二值图转换,得到各所述样本图像对应的标签图像;
网络训练模块,用于将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络,当所述初始卷积神经网络得到的各所述样本图像对应的样本二值分割图像和对应各所述标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为所述卷积神经网络。
可选的,所述装置还包括:
图像预处理模块,用于对各所述样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像;所述预处理包括以下至少其一:翻转、剪切、添加噪声;
所述网络训练模块,具体用于将各所述目标样本图像和对应的目标标签图像均输入所述初始卷积神经网络。
可选的,所述图像预处理模块,包括:
样本图像处理子模块,用于针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;
标签图像处理子模块,用于针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于所述第一预设坐标阈值的区域,以及纵坐标大于所述第二预设坐标阈值的区域,得到对应的目标标签图像。
可选的,所述初始卷积神经网络包括:三层下采样和两层上采样。
由上述内容可知,本发明实施例提供的基于深度学习的车道线检测方法及装置,可以获取待检测图像;将待检测图像输入预先训练得到的卷积神经网络中,得到待检测图像对应的二值分割图像;卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各样本图像和对应的各标签图像训练得到的;将二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;第一类像素点为像素值大于预设像素阈值的像素点,第二类像素点为像素值不大于预设像素阈值的像素点;采用预设连通域分析方法,将候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;对目标图像进行曲线拟合,得到待检测图像对应的车道线检测结果,因此能够基于深度学习的方式进行车道线检测,深度学习方式由于其提取了图像的特征信息,因此,图像质量的高低对检测的准确性影响很小,从而能够提高车道线检测的准确性。并且,通过设置像素阈值对卷积神经网络得到的二值分割图像进行噪声点过滤,且通过设置预设面积阈值将较小的连通域删除,之后进行曲线拟合时,能够得到准确性较高的车道线结果。采用预设连通域分析方法,将非连通域进行连接,能够平滑轮廓,得到更好的视觉效果。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、基于深度学习的方式进行车道线检测,深度学习方式由于其提取了图像的特征信息,因此,图像质量的高低对检测的准确性影响很小,从而能够提高车道线检测的准确性。并且,通过设置像素阈值对卷积神经网络得到的二值分割图像进行噪声点过滤,且通过设置预设面积阈值将较小的连通域删除,之后进行曲线拟合时,能够得到准确性较高的车道线结果。采用预设连通域分析方法,将非连通域进行连接,能够平滑轮廓,得到更好的视觉效果。
2、通过样本图像,以及对样本图像进行二值图转换得到的标签图像训练得到卷积神经网络,从而在进行车道线检测时,输入待检测图像后,卷积神经网络即可输出待检测图像对应的二值分割图像,进而基于二值分割图像确定准确的车道线检测结果,能够提高车道线检测的准确性。
3、对样本图像和标签图像进行预处理,能够提高训练得到的卷积神经网络的泛化能力,防止过拟合,从而根据卷积神经网络进行车道线检测时,能够提高车道线检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于深度学习的车道线检测方法的一种结构示意图;
图2为本发明实施例的待检测图像示意图;
图3为图2所示待检测图像对应的二值分割图像示意图;
图4为本发明实施例的基于深度学习的车道线检测方法的另一种结构示意图;
图5为本发明实施例的标签图像示意图;
图6为本发明实施例中一种样本图像示意图;
图7为对图6所示样本图像进行剪切后得到的目标样本图像示意图;
图8为本发明实施例的基于深度学习的车道线检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于深度学习的车道线检测方法及装置,能够提高车道线检测的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于深度学习的车道线检测方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤。
S110:获取待检测图像。
在本发明实施例中,可以在无人驾驶车辆安装相机,相机可以采集无人驾驶车辆行驶过程中周围环境的图像。并且,可以在相机和电子设备之间建立有线或无线连接,从而电子设备可以获取到相机采集的图像,作为待检测图像。
例如,电子设备可以向相机发送图像获取请求,电子设备接收到图像获取请求后,将其采集的图像发送给电子设备,从而电子设备可以将接收到的图像作为待检测图像;或者,相机可以主动将其采集的图像发送至电子设备,从而电子设备可以将其接收到的图像作为待检测图像,这都是可以的,本发明实施例对此不作限定。
S120:将待检测图像输入预先训练得到的卷积神经网络中,得到待检测图像对应的二值分割图像;卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各样本图像和对应的各标签图像训练得到的。
在本发明实施例中,为了提高车道线检测的准确性,可以预先训练得到卷积神经网络,以通过深度学习的方式进行车道线检测。具体的,可以获取足够数量的样本图像,如包含道路中车道线区域的图像,并且,将其进行二值图转换,得到样本图像对应的标签图像。其中,标签图像中像素值为1的区域即为车道线所在区域,像素值为0的区域为背景区域。之后,将样本图像和标签图像同时输入构建的初始卷积神经网络中,初始卷积神经网络对样本图像进行特征提取,输出二值分割图像,并与对应的标签图像进行对比,当二值分割图像和对应的标签图像的相似度大于预设阈值时,表明神经网络训练完成,即可将当前的初始卷积神经网络作为最终的卷积神经网络。
在进行车道线检测时,将待检测图像输入卷积神经网络后,卷积神经网络即可输出待检测图像对应的二值分割图像。
如图2所示,其为本发明实施例中待检测图像的示意图。图3为将图2所示待检测图像输入卷积神经网络后,得到的二值分割图像的示意图。图3所示二值分割图像中,白色像素区域310即为检测得到的车道线区域,黑色像素区域320为背景区域。
S130:将二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;第一类像素点为像素值大于预设像素阈值的像素点,第二类像素点为像素值不大于预设像素阈值的像素点。
卷积神经网络输出的二值分割图像为两个通道,只有0到1之间的像素值。在本发明实施例中,为了后续的曲线拟合得到更加准确的车道线检测结果,可以对二值分割图进行阈值运算。
具体的,可以预先设置像素阈值,如0.8、0.85、0.9等,得到二值分割图之后,在二值分割图中识别第一类像素点和第二类像素点。其中,第一类像素点为像素值大于预设像素阈值的像素点,第二类像素点为像素值不大于预设像素阈值的像素点。之后,将二值分割图像中的第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像。像素值为1的像素点代表车道线,像素值为0的像素点代表背景。
S140:采用预设连通域分析方法,将候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像。
可以理解,卷积神经网络得到的二值分割图像可能会有非连通区域,也就是断开的区域,也就是说,候选图像中可能会有断开的区域,而这将影响曲线拟合的结果。
在本发明实施例中,可以对候选图像进行图像形态学运算,将断开的区域进行连接。例如,可以采用已知的任一种连通域分析方法,将候选图像中像素值为1的非连通域进行连接。也就是说,当像素值为1的任两个区域之间存在很小的区域,像素值为0时,可以将该区域像素值变为1,该区域即可与上述任两个区域连通为一个区域。
在实际应用中,车道线所在区域通常为较大的区域,如,可以为如上图3所示的白色区域。在本发明实施例中,对候选图像进行连通域分析之后,还可以删除较小的连通域,也即像素值为1的区域中非车道线区域。
例如,可以预先设置面积阈值,从而将候选图像中的非连通域连通之后,可以将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像。
S150:对目标图像进行曲线拟合,得到待检测图像对应的车道线检测结果。
目标图像中像素值为1的区域,即为检测得到的待检测图像中车道线所在区域。在本发明实施例中,可以对目标图像进行曲线拟合,也即对目标图像中像素值为1的区域进行曲线拟合,得到待检测图像对应的车道线检测结果。
例如,可以采用三次多项式、样条曲线、回旋曲线等拟合方式。并且,在一种实现方式中,为了提高拟合质量且保持计算效率,可以将目标图像转到鸟瞰图后做拟合,之后最后再逆变换到原图即可。
由上述内容可知,本发明实施例提供的基于深度学习的车道线检测方法,可以获取待检测图像;将待检测图像输入预先训练得到的卷积神经网络中,得到待检测图像对应的二值分割图像;卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各样本图像和对应的各标签图像训练得到的;将二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;第一类像素点为像素值大于预设像素阈值的像素点,第二类像素点为像素值不大于预设像素阈值的像素点;采用预设连通域分析方法,将候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;对目标图像进行曲线拟合,得到待检测图像对应的车道线检测结果,因此能够基于深度学习的方式进行车道线检测,深度学习方式由于其提取了图像的特征信息,因此,图像质量的高低对检测的准确性影响很小,从而能够提高车道线检测的准确性。并且,通过设置像素阈值对卷积神经网络得到的二值分割图像进行噪声点过滤,且通过设置预设面积阈值将较小的连通域删除,之后进行曲线拟合时,能够得到准确性较高的车道线结果。采用预设连通域分析方法,将非连通域进行连接,能够平滑轮廓,得到更好的视觉效果。
作为本发明实施例的一种实施方式,如图4所示,本发明实施例中卷积神经网络的训练过程可以包括:
S410:构建初始卷积神经网络。
其中,上述初始卷积神经网络可以包括:三层下采样和两层上采样。
下采样可以通过卷积的步长进行下采样,从而对图像进行下采样时不会丢失信息。上采样可以通过直接将图像分辨率大小扩充一倍的方式进行上采样,从而可以在任意平台上进行部署,提高方案的可行性。
S420:获取样本图像,并对各样本图像进行二值图转换,得到各样本图像对应的标签图像。
样本图像可以为BDD100k数据集中的图像。BDD100k数据集中的样本图像为json格式,在本发明实施例中,可以将样本图像转换成图森数据集格式,也即对各样本图像进行二值图转换,得到各样本图像对应的标签图像。
图5为本发明实施例的标签图像示意图。其中,标签图像中像素值为1的像素点510代表车道线,像素值为0的像素点520代表背景。
S430:将各样本图像和对应的标签图像均输入初始卷积神经网络,当初始卷积神经网络得到的各样本图像对应的样本二值分割图像和对应各标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为卷积神经网络。
得到各样本图像和标签图像后,电子设备可以将样本图像和标签图像同时输入构建的初始卷积神经网络中,初始卷积神经网络对样本图像进行特征提取,输出二值分割图像,并与对应的标签图像进行对比,当二值分割图像和对应的标签图像的相似度大于预设阈值时,表明神经网络训练完成,即可将当前的初始卷积神经网络作为最终的卷积神经网络。
例如,当初始卷积神经网络得到每张样本图像对应的二值分割图像后,可以将每张二值分割图像与对应的标签图像进行对比,计算其相似度。之后确定是否所有的相似度均大于预设阈值,如果是,表明神经网络训练完成;或者,可以统计相似度大于预设阈值的图像的比值,当该比值大于一定的数量,如90%、95%等时,表明神经网络训练完成。
通过样本图像,以及对样本图像进行二值图转换得到的标签图像训练得到卷积神经网络,从而在进行车道线检测时,输入待检测图像后,卷积神经网络即可输出待检测图像对应的二值分割图像,进而基于二值分割图像确定准确的车道线检测结果,能够提高车道线检测的准确性。
在一种实现方式中,电子设备将各样本图像和对应的标签图像均输入初始卷积神经网络之前,还可以对各样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像。进而,训练卷积神经网络时,可以将各目标样本图像和对应的目标标签图像输入初始卷积神经网络进行训练。其中,上述预处理包括以下至少其一:翻转、剪切、添加噪声。
具体的,对各样本图像和对应的标签图像进行剪切,得到目标样本图像和对应的目标标签图像时,可以针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标标签图像。
也就是说,可以将设定区域的像素删除。如图6所示,其为本发明实施例中一种样本图像示意图,图7为对图6所示样本图像进行剪切后得到的目标样本图像示意图。
对样本图像和标签图像进行预处理,能够提高训练得到的卷积神经网络的泛化能力,防止过拟合,从而根据卷积神经网络进行车道线检测时,能够提高车道线检测的准确性。
如图8所示,本发明实施例提供的一种基于深度学习的车道线检测装置,可以包括:
待检测图像获取模块810,用于获取待检测图像;
图像分割模块820,用于将所述待检测图像输入预先训练得到的卷积神经网络中,得到所述待检测图像对应的二值分割图像;所述卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各所述样本图像和对应的各所述标签图像训练得到的;
像素转换模块830,用于将所述二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;所述第一类像素点为像素值大于预设像素阈值的像素点,所述第二类像素点为像素值不大于所述预设像素阈值的像素点;
区域连通模块840,用于采用预设连通域分析方法,将所述候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;
车道线检测模块850,用于对所述目标图像进行曲线拟合,得到所述待检测图像对应的车道线检测结果。
由上述内容可知,本发明实施例提供的基于深度学习的车道线检测装置,可以获取待检测图像;将待检测图像输入预先训练得到的卷积神经网络中,得到待检测图像对应的二值分割图像;卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各样本图像和对应的各标签图像训练得到的;将二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;第一类像素点为像素值大于预设像素阈值的像素点,第二类像素点为像素值不大于预设像素阈值的像素点;采用预设连通域分析方法,将候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;对目标图像进行曲线拟合,得到待检测图像对应的车道线检测结果,因此能够基于深度学习的方式进行车道线检测,深度学习方式由于其提取了图像的特征信息,因此,图像质量的高低对检测的准确性影响很小,从而能够提高车道线检测的准确性。并且,通过设置像素阈值对卷积神经网络得到的二值分割图像进行噪声点过滤,且通过设置预设面积阈值将较小的连通域删除,之后进行曲线拟合时,能够得到准确性较高的车道线结果。采用预设连通域分析方法,将非连通域进行连接,能够平滑轮廓,得到更好的视觉效果。
作为本发明实施例的一种实施方式,所述装置还包括:
网络构建模块,用于构建初始卷积神经网络;
样本图像获取模块,用于获取样本图像,并对各所述样本图像进行二值图转换,得到各所述样本图像对应的标签图像;
网络训练模块,用于将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络,当所述初始卷积神经网络得到的各所述样本图像对应的样本二值分割图像和对应各所述标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为所述卷积神经网络。
作为本发明实施例的一种实施方式,所述装置还包括:
图像预处理模块,用于对各所述样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像;所述预处理包括以下至少其一:翻转、剪切、添加噪声;
所述网络训练模块,具体用于将各所述目标样本图像和对应的目标标签图像均输入所述初始卷积神经网络。
作为本发明实施例的一种实施方式,所述图像预处理模块,包括:
样本图像处理子模块,用于针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;
标签图像处理子模块,用于针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于所述第一预设坐标阈值的区域,以及纵坐标大于所述第二预设坐标阈值的区域,得到对应的目标标签图像。
作为本发明实施例的一种实施方式,所述初始卷积神经网络包括:三层下采样和两层上采样。
上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的车道线检测方法,其特征在于,所述方法包括:
获取待检测图像;
将所述待检测图像输入预先训练得到的卷积神经网络中,得到所述待检测图像对应的二值分割图像;所述卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各所述样本图像和对应的各所述标签图像训练得到的;
将所述二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;所述第一类像素点为像素值大于预设像素阈值的像素点,所述第二类像素点为像素值不大于所述预设像素阈值的像素点;
采用预设连通域分析方法,将所述候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;
对所述目标图像进行曲线拟合,得到所述待检测图像对应的车道线检测结果。
2.根据权利要求1所述的方法,其特征在于,所述卷积神经网络的训练过程包括:
构建初始卷积神经网络;
获取样本图像,并对各所述样本图像进行二值图转换,得到各所述样本图像对应的标签图像;
将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络,当所述初始卷积神经网络得到的各所述样本图像对应的样本二值分割图像和对应各所述标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为所述卷积神经网络。
3.根据权利要求2所述的方法,其特征在于,所述将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络之前,所述方法还包括:
对各所述样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像;所述预处理包括以下至少其一:翻转、剪切、添加噪声;
所述将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络的步骤包括:
将各所述目标样本图像和对应的目标标签图像均输入所述初始卷积神经网络。
4.根据权利要求3所述的方法,其特征在于,所述对各所述样本图像和对应的标签图像进行剪切,得到目标样本图像和对应的目标标签图像的步骤包括:
针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;
针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于所述第一预设坐标阈值的区域,以及纵坐标大于所述第二预设坐标阈值的区域,得到对应的目标标签图像。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述初始卷积神经网络包括:三层下采样和两层上采样。
6.一种基于深度学习的车道线检测装置,其特征在于,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
图像分割模块,用于将所述待检测图像输入预先训练得到的卷积神经网络中,得到所述待检测图像对应的二值分割图像;所述卷积神经网络是将样本图像进行二值图转换得到标签图像后,根据各所述样本图像和对应的各所述标签图像训练得到的;
像素转换模块,用于将所述二值分割图像中第一类像素点的像素值转换为1,第二类像素点的像素值转换为0,得到候选图像;所述第一类像素点为像素值大于预设像素阈值的像素点,所述第二类像素点为像素值不大于所述预设像素阈值的像素点;
区域连通模块,用于采用预设连通域分析方法,将所述候选图像中像素值为1的非连通域进行连接,并将面积小于预设面积阈值的连通域的像素值转换为0,得到目标图像;
车道线检测模块,用于对所述目标图像进行曲线拟合,得到所述待检测图像对应的车道线检测结果。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
网络构建模块,用于构建初始卷积神经网络;
样本图像获取模块,用于获取样本图像,并对各所述样本图像进行二值图转换,得到各所述样本图像对应的标签图像;
网络训练模块,用于将各所述样本图像和对应的标签图像均输入所述初始卷积神经网络,当所述初始卷积神经网络得到的各所述样本图像对应的样本二值分割图像和对应各所述标签图像的相似度大于预设阈值时,将当前的初始卷积神经网络作为所述卷积神经网络。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
图像预处理模块,用于对各所述样本图像和对应的标签图像进行预处理,得到目标样本图像和对应的目标标签图像;所述预处理包括以下至少其一:翻转、剪切、添加噪声;
所述网络训练模块,具体用于将各所述目标样本图像和对应的目标标签图像均输入所述初始卷积神经网络。
9.根据权利要求8所述的装置,其特征在于,所述图像预处理模块,包括:
样本图像处理子模块,用于针对每个样本图像,根据预先构建的坐标系,剪切横坐标大于第一预设坐标阈值的区域,以及纵坐标大于第二预设坐标阈值的区域,得到对应的目标样本图像;
标签图像处理子模块,用于针对每个标签图像,根据预先构建的坐标系,剪切横坐标大于所述第一预设坐标阈值的区域,以及纵坐标大于所述第二预设坐标阈值的区域,得到对应的目标标签图像。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述初始卷积神经网络包括:三层下采样和两层上采样。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911231107.6A CN112926354A (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习的车道线检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911231107.6A CN112926354A (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习的车道线检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112926354A true CN112926354A (zh) | 2021-06-08 |
Family
ID=76160830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911231107.6A Pending CN112926354A (zh) | 2019-12-05 | 2019-12-05 | 一种基于深度学习的车道线检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112926354A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435350A (zh) * | 2021-06-30 | 2021-09-24 | 浙江大华技术股份有限公司 | 一种交通标线检测方法、装置、设备和介质 |
CN114758310A (zh) * | 2022-06-13 | 2022-07-15 | 山东博昂信息科技有限公司 | 一种基于高速监控相机的车道线检测方法、系统及装置 |
CN115063613A (zh) * | 2022-08-09 | 2022-09-16 | 海纳云物联科技有限公司 | 一种验证商品标签的方法及装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631880A (zh) * | 2015-12-31 | 2016-06-01 | 百度在线网络技术(北京)有限公司 | 车道线分割方法和装置 |
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
CN109171998A (zh) * | 2018-10-22 | 2019-01-11 | 西安交通大学 | 基于超声深度学习的热消融区域识别监测成像方法与系统 |
CN109214334A (zh) * | 2018-09-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
CN109544492A (zh) * | 2018-10-25 | 2019-03-29 | 东南大学 | 一种基于卷积神经网络的多聚焦图像融合数据集制作方法 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109670376A (zh) * | 2017-10-13 | 2019-04-23 | 神州优车股份有限公司 | 车道线识别方法及系统 |
CN109800641A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 基于阈值自适应二值化和连通域分析的车道线检测方法 |
CN109815906A (zh) * | 2019-01-25 | 2019-05-28 | 华中科技大学 | 基于分步深度学习的交通标志检测方法及系统 |
CN110222591A (zh) * | 2019-05-16 | 2019-09-10 | 天津大学 | 一种基于深度神经网络的车道线检测方法 |
CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
-
2019
- 2019-12-05 CN CN201911231107.6A patent/CN112926354A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
CN105631880A (zh) * | 2015-12-31 | 2016-06-01 | 百度在线网络技术(北京)有限公司 | 车道线分割方法和装置 |
CN109670376A (zh) * | 2017-10-13 | 2019-04-23 | 神州优车股份有限公司 | 车道线识别方法及系统 |
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
CN109214334A (zh) * | 2018-09-03 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
CN109171998A (zh) * | 2018-10-22 | 2019-01-11 | 西安交通大学 | 基于超声深度学习的热消融区域识别监测成像方法与系统 |
CN109544492A (zh) * | 2018-10-25 | 2019-03-29 | 东南大学 | 一种基于卷积神经网络的多聚焦图像融合数据集制作方法 |
CN109800641A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 基于阈值自适应二值化和连通域分析的车道线检测方法 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109815906A (zh) * | 2019-01-25 | 2019-05-28 | 华中科技大学 | 基于分步深度学习的交通标志检测方法及系统 |
CN110222591A (zh) * | 2019-05-16 | 2019-09-10 | 天津大学 | 一种基于深度神经网络的车道线检测方法 |
CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
Non-Patent Citations (1)
Title |
---|
徐志刚: "《路面破损图像自动识别技术》", 西安电子科技大学出版社, pages: 121 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435350A (zh) * | 2021-06-30 | 2021-09-24 | 浙江大华技术股份有限公司 | 一种交通标线检测方法、装置、设备和介质 |
CN114758310A (zh) * | 2022-06-13 | 2022-07-15 | 山东博昂信息科技有限公司 | 一种基于高速监控相机的车道线检测方法、系统及装置 |
CN115063613A (zh) * | 2022-08-09 | 2022-09-16 | 海纳云物联科技有限公司 | 一种验证商品标签的方法及装置 |
CN115063613B (zh) * | 2022-08-09 | 2023-07-14 | 海纳云物联科技有限公司 | 一种验证商品标签的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Anand et al. | Crack-pot: Autonomous road crack and pothole detection | |
CN104574376B (zh) | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 | |
CN109858372B (zh) | 一种车道级精度自动驾驶结构化数据分析方法 | |
CN109145798B (zh) | 一种驾驶场景目标识别与可行驶区域分割集成方法 | |
CN112926354A (zh) | 一种基于深度学习的车道线检测方法及装置 | |
CN104809443A (zh) | 基于卷积神经网络的车牌检测方法及系统 | |
CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN107292214B (zh) | 车道偏离检测方法、装置及车辆 | |
Patil et al. | Speed bump segmentation an application of conditional generative adversarial network for self-driving vehicles | |
CN111652033A (zh) | 基于OpenCV的车道线检测方法 | |
Premachandra et al. | Image based automatic road surface crack detection for achieving smooth driving on deformed roads | |
CN106919939A (zh) | 一种交通标识牌跟踪识别方法及系统 | |
CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 | |
CN114998713A (zh) | 路面病害识别方法、装置、系统、电子设备及存储介质 | |
CN114581886A (zh) | 结合语义分割和频域分析的能见度判别方法、装置及介质 | |
CN114218999A (zh) | 一种基于融合图像特征的毫米波雷达目标检测方法及系统 | |
CN115588188A (zh) | 一种机车、车载终端和驾驶员行为识别方法 | |
CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
Danilescu et al. | Road anomalies detection using basic morphological algorithms | |
CN109359651A (zh) | 一种车牌定位处理器及其定位处理方法 | |
Sukumar et al. | A Robust Vision-based Lane Detection using RANSAC Algorithm | |
Wang | OpenCV-based Lane Line Detection Method for Mountain Curves | |
Shekar et al. | A machine learning model for detection and recognition of traffic signs | |
CN109241824A (zh) | 基于码本和平滑转换自回归模型的黑烟车智能监控方法 | |
Mir et al. | Automated speed limit identification for efficient driving system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210608 |
|
RJ01 | Rejection of invention patent application after publication |