CN116092040A - 一种车道线预测和车道线缺陷检测方法 - Google Patents
一种车道线预测和车道线缺陷检测方法 Download PDFInfo
- Publication number
- CN116092040A CN116092040A CN202310382096.1A CN202310382096A CN116092040A CN 116092040 A CN116092040 A CN 116092040A CN 202310382096 A CN202310382096 A CN 202310382096A CN 116092040 A CN116092040 A CN 116092040A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- model
- defect detection
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 230000007547 defect Effects 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 33
- RASFMBBIZLUCME-UHFFFAOYSA-N methyl 2-amino-3-[(2-amino-3-methoxycarbonylphenyl)methyl]benzoate Chemical compound COC(=O)C1=CC=CC(CC=2C(=C(C(=O)OC)C=CC=2)N)=C1N RASFMBBIZLUCME-UHFFFAOYSA-N 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013329 compounding Methods 0.000 claims 1
- 239000012633 leachable Substances 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及自动驾驶领域，具体涉及一种车道线预测和车道线缺陷检测方法，包括如下步骤：调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图；利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。本方案实现了对现有场景中车道线模糊、严重退化的精准预测；在预测车道线的同时，对车道线进行缺陷检测。
Description
技术领域
本发明涉及自动驾驶领域，尤其是涉及到人工智能领域的深度学习技术和自动驾驶场景的一种车道线预测和车道线缺陷检测方法。
背景技术
随着科技的发达，自动驾驶技术和先进的驾驶辅助系统在车辆行驶过程中的应用越来越多，为了保障车辆在行驶途中确定车辆所在的车道位置，其中最为关键的便是车道线的精准预测。与此同时场景的需求刺激和深度学习技术的快速发展下，通过计算机视觉的方式来获取车辆周围的视觉信息，并对车辆所在车道线的位置做出精准的预测受到了广大研究者的关注。同时，为了能够及时准确的对道路车道线进行养护检修，设计道路车道线缺陷的检测装置具有十分重要的意义。
目前，传统的车道检测方法主要是基于深度学习对低层次的卷积操作用来提取特征或者是边界点的启发式搜索算法完成对车道线的预测。但是车道线不仅具有高级语义，还具有特点的局部模式需要通过低层次的特征才能精准的定位到。以上传统的方法在车道线清晰、无遮挡等情况下的准确率还是不错的，但是在一些退化、模糊、遮挡等场景下的检测效果不理想。同时，车道线预测的精度提升和车辆行驶的安全也受到了复杂场景中的车道线不清晰、严重退化等问题的巨大影响。
发明内容
针对上述问题，本发明提供一种车道线预测和车道线缺陷检测方法，以实现对现有场景中车道线模糊、严重退化的精准预测；预测车道线的同时，对车道线进行缺陷检测，将缺陷图通过串口线以数据流的方式传到PLC，PLC发送读取指令，实时读取GPS中的位置信息并返回到上位机；上位机将实时位置信息和车道线缺陷图像一并上传到相关负责部门，便于及时维护。
本发明提供如下技术方案：一种车道线预测和车道线缺陷检测方法，包括如下步骤：
步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；
步骤2、模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测；
步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；通过复合损失函数反向传播计算的损失，以及对模型及时更新，并保留训练好的模型；
步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。
所述的步骤1包括，步骤11、通过PLC控制器控制灰点工业相机进行拍照，同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成车道位置信息，根据微调函数 的计算结果，控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源；
其中定义同向车道最外面两侧的宽度为1，其中为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1-；定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置，当，时，车辆在车道的中间位置，将相机角度调整到135°和45°；当， 时，车辆在车道的最左侧位置；当，=1 时，车辆在车道的最右侧位置；
步骤12、对正视图中的车道线进行分析取舍以及标注，生成josn标签格式的数据集，然后对采集到的正视图调整大小为720×1280，为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法，用于模型的训练。
所述步骤2包括，步骤21、选择轻量级的CSP-Darknet骨干网络进行特征的提取，在其中嵌入设计的MBMA注意力模块，对正视图中的细长车道线高级语义信息的捕捉和有效的关注到车道线区域；
步骤22、MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为B×C×H×W的特征图，将特征图在通道上均分为双分支F1为C/2×H×W和为C/2×H×W，其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将F1首先经过5×5的卷积来获取大的感受野，然后将特征调整为H×W×C/2并输入到LayerNorm中通过逐通道的计算样本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数 α和映射出到新的特征分布上，最后使用注意力权重生函数 计算出每个通道样本的得分，与相乘得到注意通道注意力权重；空间分支首先经过3×3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码，使尺寸变为C×H×1和C×W×1，得到这两个方向的特征信息；将两个特征信息相加后，经过1×1卷积层调整通道数并进行特征融合；经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射；将其沿着H和W两个空间维度方向分解为两个单独的特征层，经过两个1×1的卷积调整尺度后使用Sigmoid激活函数，最终得到行和列的分支注意力权重和，将三个权重相乘得到最终的注意力权重乘 到输入特征得到最终的注意力特征图 ；
MBMA注意力模块计算公式如下：
其中mean 代表通道中每个样本的平均值；代表通道中每个样本的方差，代表坐标水平方向的编码通道； 是代表可学习的归一化权重因子参数；为可学习的偏执参数，逐元素相乘, σ 代表Sigmoid激活函数；
其中 σ 代表Sigmoid激活函数；β是1×1的卷积， 代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道；为初始输入特征，逐元素相乘。
步骤23、将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中，其尺寸为80×80×256；
步骤24、车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测头：车道线分割头是把最近邻插值上采样后的输出特征作为输入，经过1×1的卷积层、正则化层和Hardswish激活函数再经过一层1×1的卷积层来对像素级的特征和边缘信息进行融合，最后的结果作为输出；
车道线分割检测头采用下式：
步骤25、车道线缺陷检测头，首先通过一个全连接层，然后通过两个1×1级联的卷积层来融合空间位置信息和深层特征信息，同时使用了正则化函数和激活函数，防止模型更新时梯度消失，加速模型的收敛，有助于做缺陷检测；
车道线缺陷检测头的公式如下：
。
所述步骤3包括，步骤31、将数据预处理后的车道线正视图输入到模型中，以1E-3初始化的学习率，使用Adam优化算法使得复合损夫函数最小来训练模型，其动量为0.937，批量大小为16，训练迭代次数为300；
步骤32、复合总损失函数为，
其中为总损失函数，为车道线缺陷检测损失函数，为车道线分割预测的损失函数为损失系数；
车道线分割预测损失函数为： 。
其中为分割损失，使用交叉熵损失函数：
其中,是模型对于标签=1的预测概率， ∈[0,1]是平衡因子；
为回归损失，因为背景区域和前景区域不平衡，车道线的像素比较稀疏，所以需要额外添加一个LIoU 损失来更好的反应车道线区域，为损失系数；
车道线缺陷检测总损失函数为：
其中为车道线缺陷检测的总损失函数：为分类损失， 为置信度损失，选择使用Focal-Loss；为回归损失，使用CIoU损失函数，为损失系数；
其中,∈[0,1]是模型对于标签y=l的预测概率,∈[0,1]是平衡因子,(1-p)是样本难度权重调制因子。
其中和 损失函数中的损失系数初始值在PyTorch中使用了T.random()随机生成，考虑到分割任务和检测任务联合训练时对于特征信息选择的差异性，设计了一种损失系数的自适应更新函数Fun，函数通过计算每一轮分类、回归、置信度得分等不同任务的损失函数占总损失函数的比例大小，作为自适应调整损失系数的依据。保证模型寻找梯度下降最优解的速度加快、模型检测的实时性等，又对更新的损失系数进行了归一化操作。这样就可以保障模型可以根据每一轮训练结束后的损失系数的大小来有针对性的对不同任务进行训练。
自适应更新函数Fun公式如下：
其中为更新后的损失系数, 为平衡参数来微调比例占比同时避免分母为0的情况，为损失函数个数，为初始的损失系数。
所述步骤4中，步骤41：把原始车道线正视图大小调整为720×1280，后输入到模型中并加载好预训练权重，得到车道线预测和缺陷检测结果；步骤42： PLC控制器会控制灰点工业相机进行拍摄，同时为了能够拍摄到远端和完整的正视图车道线，PLC控制还调整相机角度，当上位机接收到相机传来采集正视图完成的信号后，上位机会调用部署好的模型，检测完成过后，检测结果通过USB串口以数据流的方式传到PLC控制器，同时PLC控制器通过串口读取GPS中实时位置信息并返回给上位机，当上位机收到位置信息后会将缺陷图片数据和位置信息数据通过HTTP协议上传到服务器，由服务器发送的相关部门，以达到及时维护的目的。
通过上述描述可以看出，本方案中，1、在编码器模块中选择了轻量级CSP-Darknet骨干网络并在其中嵌入了设计的MBMA注意力模块用于车道线的特征提取，优化过程中梯度重复的问题。它还支持特征传播和功能重用，从而减少参数和计算量，保证了实时性。2、本发明中加入MBMA注意力模块，操作捕获跨通道的信息，还能捕获方向感知和位置感知的信息，通过强化信息表示的方法增强特征。通过三个分支生成的注意力权重和输入特征图相乘，使得模型更有效的关注到车道线区域和对正视图中的细长车道线高级语义信息的捕捉。3、本发明在解码器模块中有车道线解耦检测器，车道线解耦检测器包括并行的分割检测头和缺陷检测头，将语义分割和目标检测任务级联在一起进行训练和推理。4.本发明中涉及到上位机、PLC、相机、服务器和GPS定位模块；实现了根据车道线预测和缺陷检测模型的结果去控制PLC中断信号，读取GPS中的位置信息，同时将数据传送到上位机。最后由上位机将缺陷图片数据和位置信息数据通过HTTP协议上传到服务器，由服务器转发到相关部门，以达到及时维护的作用。
附图说明
图1为本发明具体实施方式的流程图。
图2为车道线预测模型结构示意图。
图3为MBMA注意力模块示意图。
图4为车道线解耦检测器示意图。
图5为本发明的缺陷检测信息处理流程图。
图6为微调工业相机原理图。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
通过附图可以看出，本发明一种车道线预测和车道线缺陷检测方法，包括如下步骤：
步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强。
通过PLC控制器控制灰点工业相机进行拍照，同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成车道位置信息，根据微调函数的计算结果，控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源，
结合图6，其中定义同向车道最外面两侧的宽度为1，其中 为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1-；定义左侧距离和右侧距离的差值 作为车辆在同向车道中的位置，当 ， 时，车辆在车道的中间位置，将相机角度调整到 135°和45°；当，时，车辆在车道的最左侧位置；当，时，车辆在车道的最右侧位置；
然后对正视图中的车道线进行分析取舍以及标注，生成需要的josn标签格式的数据集，然后对采集到的正视图调整大小为720×1280。为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的数据增强方法，用于模型的训练。
步骤2、模型搭建，结合图2可以看出，在编码器中特征提取模块第二层和特征提取模块第三层中加入MBMA注意力模块，获得更有针对性的车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测。
选择轻量级的CSP-Darknet骨干网络进行特征的提取，它支持特征传播和功能重用，从而减少参数和计算量。在其中嵌入设计的MBMA注意力模块，用于对正视图中的细长车道线语义信息的捕捉和关注到车道线区域；
结合图3，本方案中，MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为B×C×H×W的特征图，将特征图在通道上均分为双分支 为C/2×H×W和为C/2×H×W，其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将 首先经过5×5的卷积来获取大的感受野，然后将特征调整为H×W×C/2并输入到LayerNorm中通过逐通道的计算样本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数α和映射出到新的特征分布上，最后使用注意力权重生函数计算出每个通道样本的得分，与相乘得到注意通道注意力权重；空间分支首先经过3×3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码，使尺寸变为C×H×1和C×W×1，得到这两个方向的特征信息 ；将两个特征信息相加后，经过1×1卷积层调整通道数并进行特征融合；经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射；将其沿着H和W两个空间维度方向分解为两个单独的特征层，经过两个1×1的卷积调整尺度后使用Sigmoid激活函数，最终得到行和列的分支注意力权重 和，将三个权重相乘得到最终的注意力权重乘到输入特征 得到最终的注意力特征图；
MBMA注意力模块计算公式如下：
其中 代表通道中每个样本的平均值； 代表通道中每个样本的方差，代表坐标水平方向的编码通道； 是代表可学习的归一化权重因子参数； 为可学习的偏执参数，逐元素相乘, 代表Sigmoid激活函数；
其中 σ 代表Sigmoid激活函数；是1×1的卷积， 代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道；为初始输入特征， 逐元素相乘。
将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中，其尺寸为80×80×256；
结合图4，车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测：车道线分割头是把最近邻插值上采样后的输出特征作为输入，经过1×1的卷积层、正则化层和Hardswish激活函数再经过一层1×1的卷积层来对像素级的特征和边缘信息进行融合，最后的结果作为输出；车道线缺陷检测头，首先通过一个全连接层，然后通过两个1×1级联的卷积层来融合空间位置信息和深层特征信息，同时使用了正则化函数和激活函数，防止模型更新时梯度消失，加速模型的收敛，有助于做缺陷检测；
车道线分割检测头采用下式：
车道线缺陷检测头的公式如下：
。
步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练，通过复合损失函数反向传播计算的损失，以及对模型及时更新，并保留训练好的模型。
将数据预处理后的车道线正视图输入到模型中，以1E-3初始化的学习率，使用Adam优化算法使得复合损夫函数最小来训练模型，其动量为0.937，批量大小为16，训练迭代次数为300。
复合总损失函数为，
其中为总损失函数， 为车道线缺陷检测损失函数，为车道线分割预测的损失函数为损失系数；
车道线分割预测损失函数为：。
为分割损失，使用交叉熵损失函数：
其中,是模型对于标签=1的预测概率，∈[0,1]是平衡因子；
为回归损失，因为背景区域和前景区域不平衡，车道线的像素比较稀疏，所以需要额外添加一个LIoU 损失来更好的反应车道线区域， 为损失系数；
车道线缺陷检测总损失函数为：
其中为车道线缺陷检测的总损失函数：为分类损失，为置信度损失，为回归损失，选择使用Focal-Loss，使用CIoU损失函数，为损失系数；
其中,∈[0,1]是模型对于标签y=l的预测概率, ∈[0,1]是平衡因子,(1-p)是样本难度权重调制因子。
其中和 损失函数中的损失系数初始值在PyTorch中使用了T.random()随机生成。考虑到分割任务和检测任务联合训练时对于特征信息选择的差异性，设计了一种损失系数 的自适应更新函数Fun，函数通过计算每一轮分类、回归、置信度得分等不同任务的损失函数 占总损失函数 的比例大小，作为自适应调整损失系数的依据。保证模型寻找梯度下降最优解的速度加快、模型检测的实时性等，又对更新的损失系数进行了归一化操作。这样就可以保障模型可以根据每一轮训练结束后的损失系数的大小来有针对性的对不同任务进行训练。
自适应更新函数Fun公式如下：
其中 为更新后的损失系数,为平衡参数来微调比例占比同时避免分母为0的情况，为损失函数个数，为初始的损失系数。
步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。
把原始车道线正视图大小调整为720×1280，后输入到模型中并加载好预训练权重，得到车道线预测和缺陷检测结果。
通过图5可以看出，本方案中PLC控制器会控制灰点工业相机进行拍摄，同时为了能够拍摄到远端和完整的正视图车道线，PLC控制还调整相机角度，当上位机接收到相机传来采集正视图完成的信号后，上位机会调用部署好的模型，检测完成过后，检测结果通过USB串口以数据流的方式传到PLC控制器，因为需要对缺陷检测图片和相应的位置信息进行有效处理和实时性的传送，同时PLC控制器通过串口读取GPS中实时位置信息并返回给上位机，GPS定位模块通过以太网进行通讯，实时获取位置数据。当上位机收到位置信息后会将缺陷图片数据和位置信息数据通过HTTP协议上传到服务器，然后传递到相关部门，以达到及时维护的目的。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种车道线预测和车道线缺陷检测方法，其特征在于包括如下步骤：
步骤1、调节车载摄像头的角度获取各种情况下的真实的道路车道线正视图，对图片中的车道线进行准确的标注，构成训练数据集，并对训练数据集进行数据增强；
步骤2、模型搭建，在编码器中设计MBMA注意力模块，获得车道线特征信息特征图，在解码器中搭建解耦的车道线分割头和车道线缺陷检测头对车道线进行预测和缺陷检测；
步骤3、利用步骤1中处理后的数据对步骤2中搭建好的模型进行训练；
步骤4、模型训练完成后，测试模型，取超过设定阈值的模型进行封装部署，将部署好的模型用于车道线预测和缺陷检测。
2.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，
所述的步骤1包括，
步骤11、通过PLC控制器控制灰点工业相机进行拍照，同时PLC控制器实时读取GPS中的经纬度位置信息后上传到上位机，上位机通过调用地图接口生成车道位置信息，根据微调函数 的计算结果，其中表示相机的视场角角度，控制PLC中的微调指令去调整左侧相机和右侧相机的横向视场角、纵向视场角，以保证能够拍摄到远端和完整的正视图车道线作为数据集来源；
其中定义同向车道最外面两侧的宽度为1，其中 为上位机返回的车辆到左侧同向车道的距离，同时车辆距离右侧通向车道的距离为1- ；定义左侧距离和右侧距离的差值作为车辆在同向车道中的位置，当 ， 时，车辆在车道的中间位置，将相机角度调整到135°和45°；当 ， 时，车辆在车道的最左侧位置；当， 时，车辆在车道的最右侧位置；
，
；
步骤12、对正视图中的车道线进行分析取舍以及标注，生成josn标签格式的数据集，然后对采集到的正视图调整大小为720×1280，为了提高泛化能力，对缩放后的图像采用随机旋转、移动和翻转相结合的增强方法，用于模型的训练。
3.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，
所述步骤2包括，
步骤21、选择轻量级的CSP-Darknet骨干网络进行特征的提取，在其中嵌入设计的MBMA注意力模块，用于对正视图中的细长车道线语义信息的捕捉和关注到车道线区域；
步骤22、MBMA注意力模块通过两个分支去捕获通道的信息和空间位置感知信息，输入为B×C×H×W的特征图，其中B、C、H和W分别表示其图片批量数、通道数、高度和宽度；代表坐标水平方向的编码通道；是代表坐标竖直方向的编码通道，将特征图在通道上均分为双分支 为C/2×H×W和 为C/2×H×W，其中通道分支中使用了LayerNorm正则化函数中样本特征的归一化权重因子α来生成注意力权重，将 首先经过5×5的卷积来获取大的感受野，然后将特征调整为H×W×C/2并输入到LayerNorm中通过逐通道的计算样本特征内部的均值和标准差，再经过一个 线性映射，把归一化的特征通过可学习的参数α和β映射出到新的特征分布上 ，最后使用注意力权重生函数 计算出每个通道样本的得分，与 相乘得到注意通道注意力权重 ，其中c代表通道分支；空间分支首先经过3×3的卷积来获取与通道分支不同感受野的特征信息，再分别经过自适应最大池化和自适应平均池化以分别对空间H和W两个方向进行空间位置信息的编码，使尺寸变为C×H×1和C×W×1，得到这两个方向的特征信息 ，其中s代表空间分支；将两个特征信息相加后，经过1×1卷积层调整通道数并进行特征融合；经过一层正则化函数和非线性激活函数对特征信息进行一个空间映射；将其沿着H和W两个空间维度方向分解为两个单独的特征层，经过两个1×1的卷积调整尺度后使用Sigmoid激活函数，最终得到行和列的分支注意力权重和 ，将三个权重相乘得到最终的注意力权重乘到输入特征 得到最终的注意力特征图 ；
步骤23、将从解码器模块中输出的最后一层特征图加入注意力模块进行特征加权增强后经过卷积和上采样送入到检测器中，其尺寸为80×80×256；
步骤24、车道线解耦检测器包括并行的车道线分割检测头和车道线缺陷检测头：车道线分割头是把最近邻插值上采样后的输出特征作为输入 ，经过1×1的卷积层、正则化层和Hardswish激活函数再经过一层1×1的卷积层来对像素级的特征和边缘信息进行融合，最后的结果作为输出；
车道线分割检测头采用下式：
；
步骤25、车道线缺陷检测头，首先通过一个全连接层，然后通过两个1×1级联的卷积层来融合空间位置信息和深层特征信息，同时使用了正则化函数和激活函数，防止模型更新时梯度消失，加速模型的收敛，有助于做缺陷检测；
车道线缺陷检测头的公式如下： 。
4.根据权利要求3所述车道线预测和车道线缺陷检测方法，其特征在于，
MBMA注意力模块计算公式如下：
；
；
；其中mean代表通道中每个样本的平均值；std代表通道中每个样本的方差，代表坐标水平方向的编码通道；α是代表可学习的归一化权重因子参数；β为可学习的偏执参数， 逐元素相乘,σ 代表Sigmoid激活函数；
；
；
；其中σ 代表Sigmoid激活函数；Conv是1×1的卷积，i代表坐标水平方向的编码通道；j是代表坐标竖直方向的编码通道； 为初始输入特征， 逐元素相乘。
5.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，
所述步骤3包括，
步骤31、将数据预处理后的车道线正视图输入到模型中，以1E-3初始化的学习率，使用Adam优化算法使得复合损夫函数最小来训练模型，其动量为0.937，批量大小为16，训练迭代次数为300；
步骤32、复合总损失函数为 ，其中 为总损失函数， 为车道线缺陷检测损失函数， 为车道线分割预测的损失函数 ，为损失系数；车道线分割预测损失函数为： 。
6.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，
为分割损失，使用交叉熵损失函数：
，其中, 是模型对于标签 =1的预测概率， ∈[0,1]是平衡因子； 为回归损失，为损失系数；车道线缺陷检测总损失函数为： ，其中为车道线缺陷检测的总损失函数： 为分类损失， 为置信度损失， 为回归损失，使用CIoU损失函数，为损失系数；
；
其中, ∈[0,1]是模型对于标签y=l的预测概率,∈[0,1]是平衡因子,(1-p)是样本难度权重调制因子。
7.根据权利要求1所述车道线预测和车道线缺陷检测方法，其特征在于，
所述步骤4中，
步骤41：把原始车道线正视图大小调整为720×1280，后输入到模型中并加载好预训练权重，得到车道线预测和缺陷检测结果；
步骤42： PLC控制器会控制灰点工业相机进行拍摄，同时为了能够拍摄到远端和完整的正视图车道线，PLC控制还调整相机角度，当上位机接收到相机传来采集正视图完成的信号后，上位机会调用部署好的模型，检测完成过后，检测结果通过USB串口以数据流的方式传到PLC控制器，同时PLC控制器通过串口读取GPS中实时位置信息并返回给上位机，当上位机收到位置信息后会将缺陷图片数据和位置信息数据通过HTTP协议上传到服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310382096.1A CN116092040B (zh) | 2023-04-12 | 2023-04-12 | 一种车道线预测和车道线缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310382096.1A CN116092040B (zh) | 2023-04-12 | 2023-04-12 | 一种车道线预测和车道线缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116092040A true CN116092040A (zh) | 2023-05-09 |
| CN116092040B CN116092040B (zh) | 2023-06-23 |
Family
ID=86199602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310382096.1A Active CN116092040B (zh) | 2023-04-12 | 2023-04-12 | 一种车道线预测和车道线缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116092040B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012206985A1 (en) * | 2012-07-24 | 2014-02-13 | University Of Saskatchewan | Apparatus and method for out-of-step protection using state plane trajectories analysis |
| JP2018001047A (ja) * | 2016-06-27 | 2018-01-11 | Ｍｔアクアポリマー株式会社 | 高分子凝集剤粉末の製造方法及び汚泥の脱水方法 |
| CN111242037A (zh) * | 2020-01-15 | 2020-06-05 | 华南理工大学 | 基于结构信息的车道线检测方法 |
| CN112254984A (zh) * | 2020-10-15 | 2021-01-22 | 山东省科学院自动化研究所 | 一种有限空间的车道偏离模拟系统及报警测试方法 |
| CN113609806A (zh) * | 2021-07-29 | 2021-11-05 | 中国科学技术大学 | 一种结合子图同构的量子线路程序通用变换方法 |
| CN114373223A (zh) * | 2021-12-27 | 2022-04-19 | 华南理工大学 | 联合静动态关节关系的3d姿态估计模型的构建方法 |
| CN114913498A (zh) * | 2022-05-27 | 2022-08-16 | 南京信息工程大学 | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 |
| CN115496752A (zh) * | 2022-11-16 | 2022-12-20 | 齐鲁工业大学 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
-
2023
- 2023-04-12 CN CN202310382096.1A patent/CN116092040B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012206985A1 (en) * | 2012-07-24 | 2014-02-13 | University Of Saskatchewan | Apparatus and method for out-of-step protection using state plane trajectories analysis |
| JP2018001047A (ja) * | 2016-06-27 | 2018-01-11 | Ｍｔアクアポリマー株式会社 | 高分子凝集剤粉末の製造方法及び汚泥の脱水方法 |
| CN111242037A (zh) * | 2020-01-15 | 2020-06-05 | 华南理工大学 | 基于结构信息的车道线检测方法 |
| CN112254984A (zh) * | 2020-10-15 | 2021-01-22 | 山东省科学院自动化研究所 | 一种有限空间的车道偏离模拟系统及报警测试方法 |
| CN113609806A (zh) * | 2021-07-29 | 2021-11-05 | 中国科学技术大学 | 一种结合子图同构的量子线路程序通用变换方法 |
| CN114373223A (zh) * | 2021-12-27 | 2022-04-19 | 华南理工大学 | 联合静动态关节关系的3d姿态估计模型的构建方法 |
| CN114913498A (zh) * | 2022-05-27 | 2022-08-16 | 南京信息工程大学 | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 |
| CN115496752A (zh) * | 2022-11-16 | 2022-12-20 | 齐鲁工业大学 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| GANG LI等: "A Model for Surface Defect Detection of Industrial Products Based on Attention Augmentation", 《HINDAWI》, vol. 2022, pages 1 - 12 * |
| WENJIN LIU等: "Snoring detection method in sleep based on MBAM-ResNet", 《SPIE》, pages 1 - 6 * |
| 李刚等: "基于注意力的轻量级工业产品缺陷检测网络", 《计算机工程》, pages 1 - 16 * |
| 王一丁等: "基于深度学习的小样本中药材粉末显微图像识别", 《计算机应用》, vol. 40, no. 5, pages 1301 - 1308 * |
| 胡欣等: "基于YOLOv5 的多分支注意力SAR 图像舰船检测", 《电子测量与仪器学报》, vol. 36, no. 8, pages 141 - 149 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116092040B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
| WO2022111219A1 (zh) | 一种域自适应设备运检系统和方法 | |
| CN108830196A (zh) | 基于特征金字塔网络的行人检测方法 | |
| US20230316742A1 (en) | Image processing method, apparatus and device, and computer-readable storage medium | |
| CN110298387A (zh) | 融入像素级attention机制的深度神经网络目标检测方法 | |
| CN108537824B (zh) | 基于交替反卷积与卷积的特征图增强的网络结构优化方法 | |
| CN111242041A (zh) | 基于伪图像技术的激光雷达三维目标快速检测方法 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN109801297B (zh) | 一种基于卷积实现的图像全景分割预测优化方法 | |
| CN109919026A (zh) | 一种水面无人艇局部路径规划方法 | |
| CN112464912B (zh) | 基于YOLO-RGGNet的机器人端人脸检测方法 | |
| CN112818935B (zh) | 基于深度学习的多车道拥堵检测及持续时间预测方法及系统 | |
| Dewangan et al. | Optimized convolutional neural network for road detection with structured contour and spatial information for intelligent vehicle system | |
| CN112818873A (zh) | 车道线检测方法、系统及电子设备 | |
| CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
| CN116129390B (zh) | 一种增强曲线感知的车道线精准检测方法 | |
| CN113593035A (zh) | 一种运动控制决策生成方法、装置、电子设备及存储介质 | |
| CN116246169A (zh) | 基于SAH-Unet的高分辨率遥感影像不透水面提取方法 | |
| CN115565130A (zh) | 一种无人值守系统及其基于光流的监控方法 | |
| CN113902792A (zh) | 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN116092040B (zh) | 一种车道线预测和车道线缺陷检测方法 | |
| CN115063428B (zh) | 一种基于深度强化学习的空间暗弱小目标检测方法 | |
| CN116310892A (zh) | 一种基于改进yolov4目标检测的海上救援方法 | |
| CN116310304A (zh) | 一种水域图像分割的方法及其分割模型的训练方法、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |