CN115294545A - 一种基于深度学习的复杂路面车道识别方法及芯片 - Google Patents
一种基于深度学习的复杂路面车道识别方法及芯片 Download PDFInfo
- Publication number
- CN115294545A CN115294545A CN202211083041.2A CN202211083041A CN115294545A CN 115294545 A CN115294545 A CN 115294545A CN 202211083041 A CN202211083041 A CN 202211083041A CN 115294545 A CN115294545 A CN 115294545A
- Authority
- CN
- China
- Prior art keywords
- layer
- lane
- feature
- feature map
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 59
- 230000004927 fusion Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 241000282326 Felis catus Species 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004313 glare Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000004438 eyesight Effects 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的复杂路面车道识别方法及芯片，涉及计算机视觉和机器学习技术领域，包括以下步骤：建立车道数据集，用于神经网络模型的训练；建立YOLO神经网络模型，该模型包括输入层、特征提取网络以及预测网络；利用步骤S1建立的数据集，对步骤S2的神经网络模型进行训练；采集行车车道实时图像数据，对采集到的车道实时图像数据进行预处理，生成格式图像；将格式图像输入至步骤S3训练好的神经网络模型中，进行车道线检测，输出检测结果。本发明利用改进的YOLO神经网络进行复杂路面的车道线训练及检测，可有效提高复杂路面车道线检测的精度及速度。
Description
技术领域
本发明涉及计算机视觉和机器学习技术领域，特别涉及一种基于深度学习的复杂路面车道识别方法及芯片。
背景技术
随着人工智能及汽车行业的发展，车辆的自动驾驶在汽车安全行驶上发挥着重要的作用，在L2以上级别的自动驾驶中，车道识别是自动驾驶中必不可少的功能，通过车道识别结果为自动驾驶的控制系统提供依据进而应用于LDW(Lane Departure Warning，车道偏离预警)、LKA(Lane Keeping Assistance，车道保持辅助)等功能模块。
近年来，车道识别广泛地使用深度学习的算法，但受限于车道样本集的数量，如果某类对象不在训练数据集中，没有通过深度卷积神经网络学习其基本特征，则这类对象的提取性能不高，并且计算量也较大，阈值法是极为经典的图像分割算法之一，利用灰度值的差异，通过人工或者自适应选择阈值的方式可以实现车道区域的识别。目前，阈值法等方法只适应于感兴趣区域与背景边界清晰，且背景像素简单的图像，不适用于复杂场景下的车道提取，图割算法能够针对车道数据从感兴趣区域中搜索并指定种子点，通过定义相应的“前景”和“背景”，获得了较好的提取结果，但需要人工交互，耗时耗力。
为解决图割算法需要人工交互，耗时耗力的技术问题，公开号为“CN114676794A”的中国发明专利申请公开了一种车道线检测模型训练方法、装置及车道线检测方法、装置。其方法包括：获取待训练图像和其中的车道线实例的标注信息；根据车道线实例的标注信息，利用预设特征编码策略对待训练图像中的像素点进行编码得到像素点的特征编码信息，像素点的特征编码信息包括像素点的横向特征向量和纵向特征向量；利用待训练图像和像素点的特征编码信息及车道线实例的标注信息训练车道线检测模型，得到训练后的车道线检测模型。该技术方案通过检测铺装良好的结构化路面上的车道线进行车道识别，但是，来自树木、建筑物的阴影和道路上其他车辆、行人、障碍物对路边标志的干扰或者遮挡，或者道路年久失修造成车道标志线与背景对对比度小，车道标志线不连续的干扰，使得结构化路面的车道识别与检测效果明显下降。
为解决树木、建筑物的阴影和道路上其他车辆、行人、障碍物对路边标志的干扰或者遮挡，或者道路年久失修造成车道标志线与背景对对比度小，车道标志线不连续的干扰，公开号为“CN103617412A”的中国发明专利公开了一种梯度点对约束下的复杂道路检测方法，其具体技术方案如下：首先利用道路两边车道线具有相反梯度方向的性质作为约束，获得可靠的车道中点坐标，根据两侧车道线的平行透视关系及基于线性双曲线函数描述的车道模型，分别利用两次Hough变换获得车道的消失点坐标、车道宽度以及车道中线参数的估计，然后利用梯度点对估计车道中线双曲线模型的参数，在此基础上实现两侧车道线的检测。但是，该方案的检测算法比较复杂，在对车道线进行检测时存在检测效率不高以及检测准确性不足的问题。
发明内容
本发明提供一种基于深度学习的复杂路面车道识别方法及芯片，旨在解决现有技术中解决的问题。
为解决上述技术问题，本发明采用改进的YOLO神经网络模型对采集的车道图像进行车道线检测，显著提高了复杂路面的车道线的检测速度和精度，具体方案如下：
一种基于深度学习的复杂路面车道识别方法，包括以下步骤：
S1：建立车道数据集，用于神经网络模型的训练；
S2：建立YOLO神经网络模型，该模型包括输入层、特征提取网络以及预测网络；输入层对输入所述神经网络模型的图像进行对齐，特征提取网络对输入图像的特征进行分类与位置标注，删除与车道线无关的特征，预测网络利用特征提取网络的特征图生成候选区域，在候选区域内对车道线目标进行检测并输出检测结果；
S3：利用步骤S1建立的数据集，对步骤S2的神经网络模型进行训练；
S4：采集行车车道实时图像数据，对采集到的车道实时图像数据进行预处理，生成格式图像A；
S5：将所述格式图像A输入至步骤S3训练好的神经网络模型中，进行车道线检测，所述神经网络模型对格式图像进行特征提取后，通过预测网络检测车道目标，输出检测结果。
优选地，所述特征提取网络包括依序设置的卷积模块、第一池化模块、第二池化模块以及第三池化模块；卷积模块输出4倍降采样的特征图B，第一池化模块接收特征图B处理后输出8倍降采样的特征图C，第二池化模块接收特征图C处理后输出16倍降采样的特征图D，第三池化模块接收特征图C处理后输出32倍降采样的特征图E。
优选地，所述卷积模块包括依序设置的四层CBR卷积层和一层ELAN层，所述CBR卷积层包括依序设置的卷积层Conv、归一化层BN以及激活函数LeakyReLU。
优选地，所述第一池化模块、第二池化模块、第三池化模块均为依序设置的最大池化层MP1和ELAN层，所述最大池化层MP1由两条支路组成，支路一为最大池化操作、CBR卷积层，支路二为两层连续的CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输出中间特征图至ELAN层。
优选地，所述ELAN层由两条支路组成，支路一为五个连续的CBR卷积层，支路二为一层CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输入CBR卷积层，分别输出特征图B、特征图C、特征图D以及特征图E。
优选地，所述预测网络包括三路不同大小的预测结果J、预测结果K以及预测结果L；所述预测结果J的大小为20×20×85，所述预测结果K的大小为40×40×85，所述预测结果L的大小为80×80×85。
优选地，特征图E经金字塔池化层SPPCSPC进行上采样UP层后，与经过一层CBR卷积层的特征图D进行融合，然后经过ELAN-H层输出特征图F，所述特征图F再次进行上采样UP层后，与经过一层CBR卷积层的特征图C进融合，然后再经过ELAN-H层输出特征图G，所述特征图G依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果J。
优选地，特征图F与经过一层双通道最大池化层MP2的特征图G进行融合，然后经过ELAN-H层输出特征图H，所述特征图H依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果K。
优选地，特征图H经过一层双通道最大池化层MP2，与经过金字塔池化层SPPCSPC的特征图E进行融合，然后经过ELAN-H层输出特征图I，所述特征图I依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果L。
优选地，所述步骤S1的预处理为将车道实时图像重新调整大小，对齐成分辨率为640×640的RGB图片，生成格式图像A作为所述特征提取网络中卷积模块的输入。
优选地，所述数据集包含正常、拥挤、夜晚、无车道线、阴影、箭头、眩光、曲线、交叉路口以及不同天气的车道类型，所述数据集包括训练集、验证集、测试集。
优选地，步骤S2中对车道线目标检测，通过边界框回归F获得物体的精确位置，边界框回归F通过平移和缩放操作使：
其中
为相应特征图的中心点坐标、宽度和高度；
为真实标注框的中心点坐标、宽度及高度。
一种自动驾驶中复杂路面的车道识别芯片，所述芯片用于执行上述的方法。
与现有技术相比，本发明具有以下技术效果：
1.利用改进的YOLO神经网络模型自动学习目标特征，具有较强的泛化能力，采用TuSimple数据集配合CULane数据集进行训练，得益于CULane数据集中大量复杂车道线类型，以及训练过程中通过对比验证集不断强化训练，可有效提高目标检测的准确率。
2.由于卷积神经网络的强大特征提取能力，YOLO神经网络同时直接完成目标的位置与类别，不用进行预测框的构建与选取，相比现有CNN神经网络在检测速度上相比现有技术由显著的提升，满足在自动驾驶实际应用场景中的实时性要求。
3.经过充分训练的YOLO神经网络模型，对于各种复杂场景比如拥挤路面、夜晚路面、阴影、遮挡等均有较强的识别准确性，满足自动驾驶实际应用场景对车道检测的鲁棒性要求。
附图说明
图1是本发明所述的一种基于深度学习的复杂路面车道识别方法流程图；
图2是本发明所述的一种基于深度学习的复杂路面车道识别方法的神经网络结构示意图；
图3是本发明所述的一种基于深度学习的复杂路面车道识别方法的ELAN层结构示意图；
图4是本发明所述的一种基于深度学习的复杂路面车道识别方法的最大池化层结构示意图；
图5是本发明所述的一种基于深度学习的复杂路面车道识别方法的ELAN-H层结构示意图；
图6是本发明所述的一种基于深度学习的复杂路面车道识别方法的金字塔池化层结构示意图。
图中：1、输入层；2、特征提取网络；3、预测网络；21、卷积模块；22、第一池化模块；23、第二池化模块；24、第三池化模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例，并参照附图，对本发明技术方案进行清楚、完整地描述。
一种基于深度学习的复杂路面车道识别方法，请参阅图1，包括以下步骤：
S1：建立车道数据集，用于神经网络模型的训练。
车道数据集包含正常、拥挤、夜晚、无车道线、阴影、箭头、眩光、曲线、交叉路口以及不同天气的车道类型，数据集包括训练集、验证集、测试集。为满足上述车道数据集要求，可采用TuSimple数据集配合CULane数据集进行训练，其中TuSimple数据集包含美国高速公路采集的7000张图片，大部分为常规车道图片，CULane数据集为北京实际道路采集的130000张图片，场景包含拥挤、黑夜等八种复杂道路的情况。
S2：建立YOLO神经网络模型，请参阅图2，为本发明的神经网络结构示意图，神经网络模型包括输入层1、特征提取网络2以及预测网络3；
S3：利用步骤S1建立的数据集，对步骤S2的神经网络模型进行训练；
S4：采集行车车道实时图像数据，对采集到的车道实时图像数据进行预处理，生成格式图像A。
预处理步骤将车道实时图像重新调整大小，对齐成分辨率为640×640的RGB三通道图片，生成格式图像A作为特征提取网络2中卷积模块21的输入。
S5：将格式图像A输入至步骤S3训练好的神经网络模型中，进行车道线检测，所述神经网络模型对格式图像进行特征提取后，通过预测网络检测车道目标，输出检测结果。
特征提取网络2包括依序设置的卷积模块21、第一池化模块22、第二池化模块23以及第三池化模块24；卷积模块21输出4倍降采样的特征图B，第一池化模块22接收特征图B处理后输出8倍降采样的特征图C，第二池化模块23接收特征图C处理后输出输出16倍降采样的特征图D，第三池化模块24接收特征图C处理后输出输出32倍降采样的特征图E。
卷积模块21包括依序设置的四层CBR卷积层和一层ELAN层，其中CBR卷积层包括依序设置的卷积层Conv、归一化层BN以及激活函数LeakyReLU；ELAN层由两条支路组成，支路一为五个连续的CBR卷积层，支路二为一层CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输入CBR卷积层。
在四层CBR卷积层中，第一和第三层CBR卷积层不对输入图像降采样，第二和第四层CBR卷积层分别对输入图像进行2倍降采样，格式图像A经过四层CBR卷积层，形成4倍降采样的大小为160×160×128的特征图，输入ELAN层。
请参阅图3，为本发明的ELAN层结构示意图，ELAN层中支路一的CBR卷积层不改变输入特征图的分辨率大小，该支路中第一层和第三层CBR卷积层分别将输入特征图的通道数减半后同时输出至下一层CBR卷积层与融合层cat；支路二则经过一层CBR卷积层将输入特征图通道数减半后输出至融合层cat；融合层cat将上述输入的两个特征图以及支路一第五层CBR输入的特征图融合，结果输入CBR卷积后输出特征图B。特征图B最终大小为160×160×256。
第一池化模块22、第二池化模块23、第三池化模块24均为依序设置的最大池化层MP1和ELAN层。特征图B经第一池化模块22后输出为特征图C，特征图C经第二池化模块23后输出为特征图D，特征图D经第三池化模块24后输出为特征图E。请参阅图4，为本发明的最大池化层结构示意图，最大池化层MP1由两条支路组成，支路一为最大池化操作、CBR卷积层，最大池化操作将输入的特征图通道数减半，输出至CBR进行卷积后，再输出至融合层cat进行特征融合；支路二为两层连续的CBR卷积层，第一层CBR将输入的特征图通道数减半，输出至CBR进行卷积后，再输出至融合层cat进行特征融合；由融合层cat将支路一和支路二输出的特征图进行融合后输出中间特征图至ELAN层，融合后的中间特征图的通道数与输入该池化模块的特征图通道数相同，再经过ELAN层后，特征图为2倍降采样，通道数加倍，使得车道线特征更为明显。特征图C的大小为80×80×512，特征图D的大小为40×40×1024，特征图E的大小为20×20×1024。
预测网络3包括三路不同大小的预测结果J、预测结果K以及预测结果L；预测结果J的大小为20×20×85，预测结果K的大小为40×40×85，预测结果L的大小为80×80×85。
特征图E经金字塔池化层SPPCSPC进行上采样UP层后，与经过一层CBR卷积层的特征图D进行融合，然后经过ELAN-H层输出特征图F，特征图F再次进行上采样UP层后，与经过一层CBR卷积层的特征图C进融合，然后再经过ELAN-H层输出特征图G，特征图G依次经过RepVGG_block层REP和一层卷积CONV，得到预测结果J。特征图F的大小为40×40×256，特征图G的大小为80×80×128。
请参阅图5，为本发明的ELAN-H层结构示意图，ELAN-H层结构与ELAN层结构相同，由两条支路组成，支路一为五个连续的CBR卷积层，支路二为一层CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输入CBR卷积层。不同的是，ELAN-H层支路一的五层CBR卷积层均有输出中间特征图至融合层cat，融合层cat融合的特征图数量为6个。
请参阅图6，为本发明的SPPCSPC层结构示意图，SPPCSPC层分为两条支路，支路一将特征图E经过一层CBR卷积层后生成中间特征图；支路二将特征图E依次经过三层CBR卷积层后分成四路，其中三路各自进行最大池后与另一路进行了特征融合，融合后的特征图再经过两层CBR卷积层后与支路一的中间特征图进行融合，再次将融合后的特征图进行一次CBR卷积，最终形成SPPCSPC层的输出。
特征图F与经过一层双通道最大池化层MP2的特征图G进行融合，然后经过ELAN-H层输出特征图H，特征图H依次经过RepVGG_block层REP和一层卷积CONV，得到预测结果K。特征图H经过一层双通道最大池化层MP2，与经过金字塔池化层SPPCSPC的特征图E进行融合，然后经过ELAN-H层输出特征图I，特征图I依次经过RepVGG_block层REP和一层卷积CONV，得到预测结果L。特征图H的大小为40×40×256，特征图I的大小为20×20×512。
步骤S2中对车道线目标检测，通过边界框回归F获得物体的精确位置，边界框回归F通过平移和缩放操作使：
其中
为相应特征图的中心点坐标、宽度和高度；
为真实标注框的中心点坐标、宽度及高度。
根据不同大小的预测结果J、K、L进行拟合，可快速生成实际驾驶路面的车道线。
一种自动驾驶中复杂路面的车道识别芯片，该芯片用于执行上述方法。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (13)
1.一种基于深度学习的复杂路面车道识别方法，其特征在于，包括以下步骤：
S1：建立车道数据集，用于神经网络模型的训练；
S2：建立YOLO神经网络模型，该模型包括输入层、特征提取网络以及预测网络；输入层对输入所述神经网络模型的图像进行对齐，特征提取网络对输入图像的特征进行分类与位置标注，删除与车道线无关的特征，预测网络利用特征提取网络的特征图生成候选区域，在候选区域内对车道线目标进行检测并输出检测结果；
S3：利用步骤S1建立的数据集，对步骤S2的神经网络模型进行训练；
S4：采集行车车道实时图像数据，对采集到的车道实时图像数据进行预处理，生成格式图像A；
S5：将所述格式图像A输入至步骤S3训练好的神经网络模型中，进行车道线检测，所述神经网络模型对格式图像进行特征提取后，通过预测网络检测车道目标，输出检测结果。
2.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述特征提取网络进一步：包括依序设置的卷积模块、第一池化模块、第二池化模块以及第三池化模块；卷积模块输出4倍降采样的特征图B，第一池化模块接收特征图B处理后输出8倍降采样的特征图C，第二池化模块接收特征图C处理后输出输出16倍降采样的特征图D，第三池化模块接收特征图C处理后输出输出32倍降采样的特征图E。
3.根据权利要求2所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述卷积模块进一步包括：依序设置的四层CBR卷积层和一层ELAN层，所述CBR卷积层进一步包括：依序设置的卷积层Conv、归一化层BN以及激活函数LeakyReLU。
4.根据权利要求2所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述第一池化模块、第二池化模块、第三池化模块均为依序设置的最大池化层MP1和ELAN层，所述最大池化层MP1由两条支路组成，支路一为最大池化操作、CBR卷积层，支路二为两层连续的CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输出中间特征图至ELAN层。
5.根据权利要求3或4所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述ELAN层由两条支路组成，支路一为五个连续的CBR卷积层，支路二为一层CBR卷积层，由融合层cat将支路一和支路二输出的特征图进行融合后输入CBR卷积层，分别输出特征图B、特征图C、特征图D以及特征图E。
6.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述预测网络包括三路不同大小的预测结果J、预测结果K以及预测结果L；所述预测结果J的大小为20×20×85，所述预测结果K的大小为40×40×85，所述预测结果L的大小为80×80×85。
7.根据权利要求6所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，特征图E经金字塔池化层SPPCSPC进行上采样UP层后，与经过一层CBR卷积层的特征图D进行融合，然后经过ELAN-H层输出特征图F，所述特征图F再次进行上采样UP层后，与经过一层CBR卷积层的特征图C进融合，然后再经过ELAN-H层输出特征图G，所述特征图G依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果J。
8.根据权利要求6所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，特征图F与经过一层双通道最大池化层MP2的特征图G进行融合，然后经过ELAN-H层输出特征图H，所述特征图H依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果K。
9.根据权利要求6所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，特征图H经过一层双通道最大池化层MP2，与经过金字塔池化层SPPCSPC的特征图E进行融合，然后经过ELAN-H层输出特征图I，所述特征图I依次经过RepVGG_block层REP和一层卷积CONV，得到所述预测结果L。
10.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述步骤S1的预处理为将车道实时图像重新调整大小，对齐成分辨率为640×640的RGB图片，生成格式图像A作为所述特征提取网络中卷积模块的输入。
11.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述数据集包含：正常、拥挤、夜晚、无车道线、阴影、箭头、眩光、曲线、交叉路口以及不同天气气候条件下的车道状况类型，所述数据集包括训练集、验证集、测试集。
12.根据权利要求1所述的一种基于深度学习的复杂路面车道识别方法，其特征在于，所述步骤S2中对车道线目标检测，通过边界框回归F获得物体的精确位置，边界框回归F通过平移和缩放操作使：
其中
为相应特征图的中心点坐标、宽度和高度；
为真实标注框的中心点坐标、宽度及高度。
13.一种自动驾驶中复杂路面的车道识别芯片，其特征在于，所述芯片用于执行权利要求1-12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211083041.2A CN115294545A (zh) | 2022-09-06 | 2022-09-06 | 一种基于深度学习的复杂路面车道识别方法及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211083041.2A CN115294545A (zh) | 2022-09-06 | 2022-09-06 | 一种基于深度学习的复杂路面车道识别方法及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115294545A true CN115294545A (zh) | 2022-11-04 |
Family
ID=83834953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211083041.2A Pending CN115294545A (zh) | 2022-09-06 | 2022-09-06 | 一种基于深度学习的复杂路面车道识别方法及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115294545A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734105A (zh) * | 2018-04-20 | 2018-11-02 | 东软集团股份有限公司 | 车道线检测方法、装置、存储介质和电子设备 |
| CN110163069A (zh) * | 2019-01-04 | 2019-08-23 | 深圳市布谷鸟科技有限公司 | 用于辅助驾驶的车道线检测方法 |
| CN111259707A (zh) * | 2018-12-03 | 2020-06-09 | 初速度（苏州）科技有限公司 | 一种特殊线型车道线检测模型的训练方法 |
| CN112949500A (zh) * | 2021-03-04 | 2021-06-11 | 北京联合大学 | 一种基于空间特征编码改进的YOLOv3车道线检测方法 |
-
2022
- 2022-09-06 CN CN202211083041.2A patent/CN115294545A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734105A (zh) * | 2018-04-20 | 2018-11-02 | 东软集团股份有限公司 | 车道线检测方法、装置、存储介质和电子设备 |
| CN111259707A (zh) * | 2018-12-03 | 2020-06-09 | 初速度（苏州）科技有限公司 | 一种特殊线型车道线检测模型的训练方法 |
| CN110163069A (zh) * | 2019-01-04 | 2019-08-23 | 深圳市布谷鸟科技有限公司 | 用于辅助驾驶的车道线检测方法 |
| CN112949500A (zh) * | 2021-03-04 | 2021-06-11 | 北京联合大学 | 一种基于空间特征编码改进的YOLOv3车道线检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 崔文靓 等: "基于改进YOLOv3算法的公路车道线检测方法" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
| CN117934473B (zh) * | 2024-03-22 | 2024-05-28 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582083B (zh) | 一种基于消失点估计与语义分割的车道线检测方法 | |
| CN111801711A (zh) | 图像标注 | |
| Kanagaraj et al. | Deep learning using computer vision in self driving cars for lane and traffic sign detection | |
| CN111666805B (zh) | 用于自动驾驶的类别标记系统 | |
| CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
| CN113095152B (zh) | 一种基于回归的车道线检测方法及系统 | |
| AU2020102039A4 (en) | A high-precision multi-targets visual detection method in automatic driving scene | |
| Zhang et al. | Study on traffic sign recognition by optimized Lenet-5 algorithm | |
| Huang et al. | Spatial-temproal based lane detection using deep learning | |
| CN112508985B (zh) | 一种基于语义分割的slam回环检测改进方法 | |
| CN108876805B (zh) | 一种端对端无监督场景可通行区域认知与理解方法 | |
| CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
| CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
| Rasib et al. | Pixel level segmentation based drivable road region detection and steering angle estimation method for autonomous driving on unstructured roads | |
| Ding et al. | A lane detection method based on semantic segmentation | |
| Haris et al. | Lane line detection and departure estimation in a complex environment by using an asymmetric kernel convolution algorithm | |
| Mahersatillah et al. | Unstructured road detection and steering assist based on hsv color space segmentation for autonomous car | |
| Joy et al. | Real time road lane detection using computer vision techniques in python | |
| CN111160231A (zh) | 一种基于Mask R-CNN的自动驾驶环境道路提取方法 | |
| CN115294545A (zh) | 一种基于深度学习的复杂路面车道识别方法及芯片 | |
| Xuan et al. | Robust lane-mark extraction for autonomous driving under complex real conditions | |
| CN114820931A (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
| Chen et al. | Lane detection based on histogram of oriented vanishing points | |
| Indrabayu et al. | Real-time lane departure warning with cascade lane segmentation | |
| Hanuman et al. | Robust and real-time multi-lane and single lane detection in Indian highway scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221104 |