CN117197085A - 基于改进YOLOv8网络的公路快检图像路面病害检测方法 - Google Patents
基于改进YOLOv8网络的公路快检图像路面病害检测方法 Download PDFInfo
- Publication number
- CN117197085A CN117197085A CN202311163416.0A CN202311163416A CN117197085A CN 117197085 A CN117197085 A CN 117197085A CN 202311163416 A CN202311163416 A CN 202311163416A CN 117197085 A CN117197085 A CN 117197085A
- Authority
- CN
- China
- Prior art keywords
- road
- rsdd
- hrii
- model
- yolov8
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 201000010099 disease Diseases 0.000 title claims abstract description 150
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 150
- 238000007689 inspection Methods 0.000 title claims abstract description 103
- 238000002474 experimental method Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000011160 research Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000001994 activation Methods 0.000 claims 6
- 230000004913 activation Effects 0.000 claims 5
- 238000011176 pooling Methods 0.000 claims 5
- 238000005070 sampling Methods 0.000 claims 4
- 238000002156 mixing Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种基于改进YOLOv8网络的公路快检图像路面病害检测方法，包括：构建公路快检图像路面病害图像标注数据集；构建用于公路快检图像路面病害检测的Faster‑RCNN‑RSDD‑HRII、SSD‑RSDD‑HRII、Retina‑Net‑RSDD‑HRII、YOLOv5‑RSDD‑HRII、YOLOv8‑RSDD‑HRII五种基础模型；通过对比实验与交叉验证实验，得出YOLOv8‑RSDD‑HRII模型是更适应公路快检图像场景下的路面病害基础检测网络模型；考虑到公路快检图像路面病害属于细小类型目标，同时YOLOv8‑RSDD‑HRII模型测试结果的检测率较低，于是在现有YOLOv8网络模型的基础上，通过改进网络内部结构，构建用于公路快检图像细小路面病害检测的改进模型YOLOv8‑SODL‑RSDD‑HRII与YOLOv8‑CBAM‑RSDD‑HRII；通过对比实验与交叉验证实验，得出YOLOv8‑CBAM‑RSDD‑HRII模型更适应公路快检图像场景下的细小路面病害检测，可以更精准地识别公路快检图像路面病害，从而有效提高公路养护效率。
Description
技术领域
本发明属于智能交通、道路养护领域，具体涉及一种基于改进YOLOv8网络的公路快检图像路面病害检测方法。
背景技术
随着我国公路网不断完善和道路规模不断扩大，出现了越来越多的道路养护问题，其中最常见的是公路路面病害问题，公路路面损坏后，车辆反复通行会对道路造成严重损害，甚至损坏路基，因此，公路路面的养护和管理尤为重要，如果能够及时发现公路路面病害并报告及时处理，可以有效提高我国公路养护效率，降低养护成本，提高我国公路的安全性和使用寿命。
在公路路面病害检测这一领域当中，传统的人工检测或半自动化方法，主要依靠道路养护人员进行勘探测量和评价分析，这种方法耗时较长、准确性较差、且易受人为因素的干扰，现场作业也增加了养护人员工作的危险性。而随着计算机科学技术的不断发展与创新，机器学习、深度学习等技术可以通过对大量的公路路面病害图像数据进行训练，自动学习并检测出不同类型的路面病害，从而提高了路面病害检测的准确率和速度，并且可以将视频传感器等设备安装在车辆上，实时采集路面的数据，进一步提高路面病害检测的时效性。因此，本发明提出了一种基于改进YOLOv8网络的公路快检图像路面病害检测方法。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于改进YOLOv8网络的公路快检图像路面病害检测方法，其在原有的YOLOv8网络模型的基础上，对内部结构进行一定的改进，从而构建用于公路快检图像路面细小病害检测的改进网络模型，对路面病害信息的识别与分类提供一定的技术支持。
技术方案：为实现上述目的，本发明提供一种基于改进YOLOv8网络的公路快检图像路面病害检测方法，包括如下步骤：
S1：构建公路快检图像路面病害图像标注数据集；
S2：构建用于公路快检图像路面病害检测的Faster-RCNN-RSDD-HRII、SSD-RSDD-HRII、Retina-Net-RSDD-HRII、YOLOv5-RSDD-HRII、YOLOv8-RSDD-HRII五种基础模型；
S3：基于构建的公路快检路面病害图像标注数据集，开展对比实验研究，找出更适应公路快检图像场景下的路面病害基础检测网络模型；
S4：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-SODL-RSDD-HRII；
S5：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-CBAM-RSDD-HRII；
S6：基于构建的公路快检路面病害图像标注数据集，开展对比实验研究，找出更适应公路快检图像场景下的细小路面病害检测的网络模型。
进一步的，所述步骤S1中构建公路快检图像路面病害图像标注数据集的具体方法如下：
S1-1：首先获取公路快检路面原始图像，采集的图像数据为数据采集车于2022年8月18日至21日在宝龙G5XY段公路以恒定速度匀速行驶、拍摄时间间隔固定、面阵视频感知器与水平线地面的夹角为30°时所拍摄的图像，采集的公路快检路面图像分辨率为2064×1544；
S1-2：从收集到的18713幅原始公路快检路面图像当中，筛选出具有明显路面病害特征的图像，主要包含横裂与纵裂等病害类型，并删除掉路面病害特征不明显或路面病害特征过于复杂与凌乱的图像，最终得到有效的公路快检路面病害图像共4000幅；
S1-3：使用LabelImg软件对公路快检路面病害图像进行标注，采取分段标注的方法，以确保每段内的路面病害信息一致，数据集的标签名为：{Transverse,Longitudinal}；
S1-4：标注完成后，得到了基于公路快检图像的公路路面病害标注数据集共4000幅图像，其中包括横裂11892条，纵裂3495条，共15387个标签。并将标注后的4000幅公路路面图像按照8：1：1的比例随机划分为训练集、验证集和测试集；
进一步的，所述步骤S2中构建用于公路快检图像路面病害检测的五种基础模型的具体步骤如下：
S2-1：构建用于公路快检图像路面病害检测的Faster-RCNN-RSDD-HRII模型；
S2-2：构建用于公路快检图像路面病害检测的SSD-RSDD-HRII模型；
S2-3：构建用于公路快检图像路面病害检测的Retina-Net-RSDD-HRII模型；
S2-4：构建用于公路快检图像路面病害检测的YOLOv5-RSDD-HRII模型；
S2-5：构建用于公路快检图像路面病害检测的YOLOv8-RSDD-HRII模型。
进一步的，所述步骤S3中基于构建的公路快检路面病害图像标注数据集，开展基础模型的对比实验研究，其主要内容如下：
S3-1：选择实验评价指标，采用准确率(Precision)和检测率(召回率，Recall)的调和平均数F1-Score指标作为公路快检图像路面病害检测的评价指标，以及平均检测一张图片所需的时间(ms为单位)作为实时性指标；
S3-2：在进行网络模型训练时，通过观察网络模型的损失曲线，如果损失曲线下降到最小值，并保持稳定时，说明网络模型收敛。经过多次调试与训练，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，可以应用于测试集上统计实验评价指标；
S3-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验结果表明YOLOv8-RSDD-HRII模型的综合检测性能优于其他四种模型，其Precision、Recall、F1-score和实时性指标分别为98.81％、88.89％、93.59％和33.3ms，表明YOLOv8-RSDD-HRII模型是最适应公路快检图像场景下的路面病害基础检测模型网络，但测试结果的检测率较低，只有88.89％，导致这种结果的可能性原因与改善措施为：
①可能性原因：公路快检路面图像中路面病害区域所占整幅图像比例很小，横裂与纵裂病害为原图像中很小的线段区域，除此之外，采集车的面阵视频感知器与地面成一定的角度，所拍摄的公路快检路面图像往往具有近大远小的特征，成像具有较强的畸变性；
②改善措施：考虑到公路快检图像路面病害属于细小类型目标，于是在现有YOLOv8-RSDD-HRII网络模型的基础上，通过对网络内部结构的改进，构建用于公路快检图像路面细小病害检测的网络模型，并开展对比实验研究。
进一步地，所述步骤S4中构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-SODL-RSDD-HRII(YOLOv8 with Small Object Detection Layer for RoadSurface Disease Detection using Highway Rapid Inspection Images，YOLOv8-SODL-RSDD-HRII)，具体做法是：在原有的YOLOv8-RSDD-HRII网络模型的基础上，在Head层结构处增加了一个尺度为160×160×21的新检测层，与之相对应的网络的Backbone层和Neck层也增加了相应的Conv卷积层与C2f卷积模块来与此新小目标检测层互相配合。改进模型YOLOv8-SODL-RSDD-HRII的输出特征图尺度为160×160×21、80×80×21、40×40×21和20×20×21共4个特征图，Head部分输出分类和回归共4×2＝8个尺度的特征图，前端特征提取部分和后续过程与YOLOv8网络的工作流程相同，将这4个不同尺度的类别预测分支、bbox预测分支分别进行拼接，并进行维度变换等一系列过程，最终得到改进模型YOLOv8-SODL-RSDD-HRII的公路快检图像路面病害检测信息。
进一步地，所述步骤S5中构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-CBAM-RSDD-HRII(YOLOv8 with Convolutional Block Attention Module forRoad Surface Disease Detection using Highway Rapid Inspection Images，YOLOv8-CBAM-RSDD-HRII)，具体做法是：在原有的YOLOv8-RSDD-HRII网络模型的基础上，在其Backbone中的C2f模块后增加CBAM模块，其中，根据特征图的不同，第一个C2f模块后的CBAM模块参数为128×7，第二个C2f模块后的CBAM模块参数为256×7，第三个C2f模块后的CBAM模块参数为512×7，前一个变量为该层特征图的通道数，后一个变量为CBAM注意力模块中空间注意力机制的卷积核大小，例如参数为128×7的CBAM模块即为卷积核大小为7×7，通道数为128，其他部分与YOLOv8-RSDD-HRII模型一致。
进一步地，所述步骤S6中基于构建的公路快检路面病害图像标注数据集，进行改进模型的对比实验分析，其主要内容如下：
S6-1：仍然采用准确率(Precision)和检测率(召回率，Recall)的调和平均数F1-Score指标作为公路快检图像路面细小病害检测的评价指标，以及平均检测一张图片所需的时间(ms为单位)作为实时性指标；
S6-2：在网络模型进行训练时，观察网络模型的损失函数曲线，如果损失函数曲线下降到最小值，并保持稳定时，说明网络模型收敛。经过多次调试与训练，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，可以应用于测试集上统计实验评价指标；
S6-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验结果表明YOLOv8-CBAM-RSDD-HRII模型的综合检测性能优于其他两种模型，其Precision、Recall、F1-score和实时性指标分别为98.10％、91.81％、94.85％和36.9ms，说明YOLOv8-CBAM-RSDD-HRII模型更适应公路快检图像场景下的细小路面病害检测。
附图说明
图1为公路快检图像采集车示意图；
图2为改进模型YOLOv8-SODL-RSDD-HRII结构图；
图3为改进模型YOLOv8-CBAM-RSDD-HRII结构图；
图4为CBAM注意力模块原理图；
图5为五种基础模型F1-Score指标箱型图；
图6为三种改进模型F1-Score指标箱型图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明提供一种基于改进YOLOv8网络的公路快检图像路面病害检测方法，包括以下步骤：
S1：构建公路快检图像路面病害图像标注数据集，其具体方法如下：
S1-1：首先获取公路快检路面原始图像，采集的图像数据为数据采集车于2022年8月18日至21日在宝龙G5XY段公路以恒定速度匀速行驶、拍摄时间间隔固定、面阵视频感知器与水平线地面的夹角为30°时所拍摄的图像，公路快检图像数据采集车如图1所示，主要包括面阵视频感知器与存储设备，采集的公路快检路面图像分辨率为2064×1544；
S1-2：从收集到的18713幅原始公路快检路面图像当中，筛选出具有明显路面病害特征的图像，主要包含横裂与纵裂等病害类型，并删除掉路面病害特征不明显或路面病害特征过于复杂与凌乱的图像，最终得到有效的公路快检路面病害图像共4000幅；
S1-3：使用LabelImg软件对公路快检路面病害图像进行标注，采取分段标注的方法，以确保每段内的路面病害信息一致，数据集的标签名为：{Transverse,Longitudinal}；
S1-4：标注完成后，得到了基于公路快检图像的公路路面病害标注数据集共4000幅图像，其中包括横裂11892条，纵裂3495条，共15387个标签。并将标注后的4000幅公路路面图像按照8：1：1的比例随机划分为训练集、验证集和测试集。
S2：构建用于公路快检图像路面病害检测的五种基础模型，其具体步骤如下：
S2-1：构建用于公路快检图像路面病害检测的Faster-RCNN-RSDD-HRII模型；
S2-2：构建用于公路快检图像路面病害检测的SSD-RSDD-HRII模型；
S2-3：构建用于公路快检图像路面病害检测的Retina-Net-RSDD-HRII模型；
S2-4：构建用于公路快检图像路面病害检测的YOLOv5-RSDD-HRII模型；
S2-5：构建用于公路快检图像路面病害检测的YOLOv8-RSDD-HRII模型。
S3：基于构建的公路快检路面病害图像标注数据集，开展基础模型的对比实验研究，其主要内容如下：
S3-1：选择实验评价指标，采用准确率(Precision)和检测率(召回率，Recall)的调和平均数F1-Score指标作为公路快检图像路面病害检测的评价指标，以及平均检测一张图片所需的时间(ms为单位)作为实时性指标；
S3-2：在进行网络模型训练时，通过观察网络模型的损失曲线，如果损失曲线下降到最小值，并保持稳定时，说明网络模型收敛。经过多次调试与训练，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，可以应用于测试集上统计实验评价指标；
S3-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验结果表明YOLOv8-RSDD-HRII模型的综合检测性能优于其他四种模型，其Precision、Recall、F1-score和实时性指标分别为98.81％、88.89％、93.59％和33.3ms，表明YOLOv8-RSDD-HRII模型是最适应公路快检图像场景下的路面病害基础检测模型网络，但测试结果的检测率较低，只有88.89％，导致这种结果的可能性原因与改善措施为：
①可能性原因：公路快检路面图像中路面病害区域所占整幅图像比例很小，横裂与纵裂病害为原图像中很小的线段区域，除此之外，采集车的面阵视频感知器与地面成一定的角度，所拍摄的公路快检路面图像往往具有近大远小的特征，成像具有较强的畸变性；
②改善措施：考虑到公路快检图像路面病害属于细小类型目标，在现有YOLOv8-RSDD-HRII网络模型的基础上，通过对网络内部结构的改进，构建用于公路快检图像路面细小病害检测的网络模型，并开展对比实验研究。
S4：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-SODL-RSDD-HRII(YOLOv8 with Small Object Detection Layer for Road Surface DiseaseDetection using Highway Rapid Inspection Images，YOLOv8-SODL-RSDD-HRII)，其结构如图2所示，具体做法是：在原有的YOLOv8-RSDD-HRII网络模型的基础上，在Head层结构处增加了一个尺度为160×160×21的新检测层，与之相对应的网络的Backbone层和Neck层也增加了相应的Conv卷积层与C2f卷积模块来与此新小目标检测层互相配合。改进模型YOLOv8-SODL-RSDD-HRII的输出特征图尺度为160×160×21、80×80×21、40×40×21和20×20×21共4个特征图，Head部分输出分类和回归共4×2＝8个尺度的特征图，前端特征提取部分和后续过程与YOLOv8网络的工作流程相同，将这4个不同尺度的类别预测分支、bbox预测分支分别进行拼接，并进行维度变换等一系列过程，最终得到改进模型YOLOv8-SODL-RSDD-HRII的公路快检图像路面病害检测信息。
S5：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-CBAM-RSDD-HRII(YOLOv8 with Convolutional Block Attention Module for Road SurfaceDisease Detection using Highway Rapid Inspection Images，YOLOv8-CBAM-RSDD-HRII)，其结构如图3所示，具体做法是：CBAM模块由两个子模块组成：通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)，CBAM模块分别沿通道和空间两个独立的维度生成新的子特征图，子特征图与原特征图分别相乘得到经过优化后的新特征图，如图4所示，于是在原有的YOLOv8-RSDD-HRII网络模型的基础上，在其Backbone中的C2f模块后增加CBAM模块，其中，根据特征图的不同，第一个C2f模块后的CBAM模块参数为128×7，第二个C2f模块后的CBAM模块参数为256×7，第三个C2f模块后的CBAM模块参数为512×7，前一个变量为该层特征图的通道数，后一个变量为CBAM注意力模块中空间注意力机制的卷积核大小，例如参数为128×7的CBAM模块即为卷积核大小为7×7，通道数为128，其他部分与YOLOv8-RSDD-HRII模型一致。
S6：基于构建的公路快检路面病害图像标注数据集，进行改进模型的对比实验分析，其主要内容如下：
S6-1：仍然采用准确率(Precision)和检测率(召回率，Recall)的调和平均数F1-Score指标作为公路快检图像路面细小病害检测的评价指标，以及平均检测一张图片所需的时间(ms为单位)作为实时性指标；
S6-2：在网络模型进行训练时，观察网络模型的损失函数曲线，如果损失函数曲线下降到最小值，并保持稳定时，说明网络模型收敛。经过多次调试与训练，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，可以应用于测试集上统计实验评价指标；
S6-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验表明YOLOv8-CBAM-RSDD-HRII模型的综合检测性能优于其他两种模型，其Precision、Recall、F1-score和实时性指标分别为98.10％、91.81％、94.85％和36.9ms，说明YOLOv8-CBAM-RSDD-HRII模型更适应公路快检图像场景下的细小路面病害检测。
为验证YOLOv8-RSDD-HRII模型的优越性，本案例进行了对比实验。基于构建好的公路快检图像公路路面病害标注数据集，并按照8：1：1的比例随机划分为训练集、验证集和测试集，分别使用Faster-RCNN-RSDD-HRII、SSD-RSDD-HRII、Retina-Net-RSDD-HRII、YOLOv5-RSDD-HRII、YOLOv8-RSDD-HRII五种基础模型对采用的标准数据集进行感知识别实验，并训练神经网络，得到测试集的检测结果，如表10～12所示。可以看出YOLOv8-RSDD-HRII模型的综合检测性能优于其他四种模型，表明YOLOv8-RSDD-HRII模型更适应公路快检图像场景下的路面病害基础检测。
表10五种基础模型实验结果
表11五种基础模型横裂检测结果
表12五种基础模型纵裂检测结果
为进一步说明YOLOv8-RSDD-HRII模型的有效性，开展了20次交叉验证实验，每次实验随机从公路快检路面病害图像测试样本库中选取100幅公路快检路面病害图像进行测试，并对五种模型的检测精度进行统计，其F1-Score指标箱型图如图5所示。其中YOLOv8-RSDD-HRII模型的检测精度最高，且F1-Score值分布范围变化较小，YOLOv5-RSDD-HRII与Faster-RCNN-RSDD-HRII的检测结果相近；Retina-Net-RSDD-HRII模型的F1-score值分布范围较大，说明该模型的稳定性较弱。
为了验证改进模型的优越性，同样进行了对比实验。基于构建好的公路快检图像公路路面病害标注数据集，并按照8：1：1的比例随机划分为训练集、验证集和测试集，分别训练YOLOv8-RSDD-HRII、YOLOv8-SODL-RSDD-HRII和YOLOv8-CBAM-RSDD-HRII三个公路快检图像路面病害检测模型，对比分析不同模型在测试集上的检测结果，结果如表13～15所示。可以看出，YOLOv8-CBAM-RSDD-HRII模型的综合检测性能优于其他两种模型，说明YOLOv8-CBAM-RSDD-HRII模型更适应公路快检图像场景下的细小路面病害检测。
表13三种模型实验结果
表14三种模型横裂检测结果
表15三种模型纵裂检测结果
为进一步说明YOLOv8-CBAM-RSDD-HRII模型的有效性，开展了20次交叉验证实验，每次实验随机从公路快检路面病害图像测试样本库中选取100幅公路快检路面病害图像进行测试，并对三种模型的检测精度进行统计，其F1-Score指标箱型图如图6所示。其中，YOLOv8-CBAM-RSDD-HRII模型的检测精度最高，且F1-Score值分布范围较小。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：包括如下步骤：
S1：构建公路快检图像路面病害图像标注数据集；
S2：构建用于公路快检图像路面病害检测的Faster-RCNN-RSDD-HRII、SSD-RSDD-HRII、Retina-Net-RSDD-HRII、YOLOv5-RSDD-HRII、YOLOv8-RSDD-HRII五种基础模型；
S3：基于构建的公路快检路面病害图像标注数据集，开展基础模型的对比实验研究，找出更适应公路快检图像场景下的路面病害基础检测网络模型；
S4：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-SODL-RSDD-HRII；
S5：构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-CBAM-RSDD-HRII；
S6：基于构建的公路快检路面病害图像标注数据集，开展改进模型的对比实验研究，找出更适应公路快检图像场景下的细小路面病害检测的网络模型。
2.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S1中构建公路快检图像路面病害图像标注数据集的具体方法如下：
S1-1：首先获取公路快检路面原始图像，采集的图像数据为数据采集车在某段公路以恒定速度匀速行驶、拍摄时间间隔固定、面阵视频感知器与水平线地面的夹角为30°时所拍摄的图像，采集的公路快检路面图像分辨率为2064×1544；
S1-2：从收集到的18713幅原始公路快检路面图像当中，筛选出具有明显路面病害特征的图像，包含横裂与纵裂的病害类型，并删除掉路面病害特征不明显或路面病害特征过于复杂与凌乱的图像，最终得到有效的公路快检路面病害图像共4000幅；
S1-3：使用LabelImg软件对公路快检路面病害图像进行标注，采取分段标注的方法，以确保每段内的路面病害信息一致，数据集的标签名为：{Transverse,Longitudinal}；
S1-4：标注完成后，得到了基于公路快检图像的公路路面病害标注数据集共4000幅图像，其中包括横裂11892条，纵裂3495条，共15387个标签；并将标注后的4000幅公路路面图像按照8：1：1的比例随机划分为训练集、验证集和测试集。
3.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S2中构建用于公路快检图像路面病害检测的五种基础模型的具体步骤如下：
S2-1：构建用于公路快检图像路面病害检测的Faster-RCNN模型Faster-RCNN-RSDD-HRII，其模型结构参数如表1所示，其中，Resolution为每个Stage中变量的尺寸，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Conv为卷积操作，包含ReLU激活过程，Kernels为卷积操作或者池化操作的卷积核的尺寸，Max Pool为对变量进行最大池化操作，FC为全连接层，第一个全连接层输出类别信息，第二个全连接层输出每个类别的检测框顶点坐标信息；
表1Faster-RCNN-RSDD-HRII模型结构参数
S2-2：构建用于公路快检图像路面病害检测的SSD模型SSD-RSDD-HRII，其模型结构参数如表2所示，其中，Resolution为每个Stage中变量的尺寸，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Conv为卷积操作，Kernels为卷积操作或池化操作的卷积核的尺寸，Max Pool为对变量进行最大池化操作，Detect_X为预测器的卷积核，其通道数分别为24、36、36、36、24、24，与检测类别相关；
表2SSD-RSDD-HRII模型结构参数
S2-3：构建用于公路快检图像路面病害检测的Retina-Net模型Retina-Net-RSDD-HRII，其模型结构参数如表3所示，其中，Resolution为每个Stage中变量的尺寸，Channels为每个Stage变量的通道数，Kernels为每个Stage卷积核大小，Layers为每个Stage中操作Operator重复的次数，Conv包含卷积Convolution、批标准化Batch Normalization、激活ReLU操作，如表中Conv_1为使用3×3的卷积核对输入变量进行卷积操作，Maxpool为对输入变量进行最大池化操作；Res为残差结构；Feature为网络输出的特征层，包括5个，Clsss_subnet为类别预测器，Box_subnet为预测框回归参数预测器；
表3Retina-Net-RSDD-HRII模型结构参数
S2-4：构建用于公路快检图像路面病害检测的YOLOv5模型YOLOv5-RSDD-HRII，其模型结构参数如表4所示，其中，Resolution为每个Stage中变量的尺度，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Kernels为卷积操作的卷积核的尺寸，CBL为先对该层变量进行卷积操作，之后在进行标准化操作，并使用LeakyReLU激活函数进行激活；C3即为CSP1_X模块，SPP 5×5为SPP结构中的卷积核大小为5×5，Unsample为对变量进行上采样操作，Concat为对变量进行拼接操作，拼接的层级为与之相连接的C3模块和backbones中与之相同尺寸的C3模块，Detect为输出模块，输出维度与目标类别数有关，本文中的公路快检路面图像中路面病害被分为两类，因此输出通道数为3×(2+5)＝21；
表4YOLOv5-RSDD-HRII模型结构参数
S2-5：构建用于公路快检图像路面病害检测的YOLOv8网络YOLOv8-RSDD-HRII，其模型结构参数如表5所示，其中，Resolution为每个Stage中变量的尺度，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Kernels为卷积操作的卷积核的尺寸，CBL为先对该层变量进行卷积操作，之后在进行标准化操作，并使用LeakyReLU激活函数进行激活；C2f即为C2f网络结构层，SPPF 5×5为SPPF结构中的卷积核大小为5×5，Unsample为对变量进行上采样操作，Concat为对变量进行拼接操作，拼接的层级为与之相连接的C2f模块和Backbone中与之相同尺寸的C2f模块，Detect_X为输出模块，输出维度与目标类别数有关，本文中的公路快检路面图像中路面病害被分为两类，因此输出通道数为3×(2+5)＝21。
表5 YOLOv8-RSDD-HRII模型结构参数
4.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S3中基于构建的公路快检路面病害图像标注数据集，开展基础模型的对比实验研究，其主要内容如下：
S3-1：选择实验评价指标，采用准确率Precision和检测率Recall的调和平均数F1-Score指标作为公路快检图像路面病害检测的评价指标，以及平均检测一张图片所需的时间作为实时性指标；
S3-2：在进行网络模型训练时，通过观察网络模型的损失曲线，如果损失曲线下降到最小值，并保持稳定时，说明网络模型收敛；经过多次调试与训练，最终确定Faster-RCNN-RSDD-HRII、SSD-RSDD-HRII、Retina-Net-RSDD-HRII、YOLOv5-RSDD-HRII、YOLOv8-RSDD-HRII五种模型训练的基本参数，如表6所示，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，能应用于测试集上统计实验评价指标；
表6五种模型训练参数
S3-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验结果表明YOLOv8-RSDD-HRII模型的综合检测性能优于其他四种模型，其Precision、Recall、F1-score和实时性指标分别为98.81％、88.89％、93.59％和33.3ms，表明YOLOv8-RSDD-HRII模型是更适应公路快检图像场景下的路面病害基础检测网络模型，但测试结果的检测率较低，只有88.89％。
5.根据权利要求4所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S3-3中YOLOv8-RSDD-HRII模型对公路快检路面病害图像的检测率较低的可能性原因与改善措施为：
①可能性原因：公路快检路面图像中路面病害区域所占整幅图像比例很小，横裂与纵裂病害为原图像中很小的线段区域，除此之外，采集车的面阵视频感知器与地面成一定的角度，所拍摄的公路快检路面图像往往具有近大远小的特征，成像具有较强的畸变性；
②改善措施：考虑到公路快检图像路面病害属于细小类型目标，于是在现有YOLOv8-RSDD-HRII网络模型的基础上，通过对网络内部结构的改进，构建用于公路快检图像路面细小病害检测的网络模型，并开展对比实验研究。
6.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S4中构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-SODL-RSDD-HRII，具体做法是：在原有的YOLOv8-RSDD-HRII网络模型的基础上，在Head层结构处增加了一个尺度为160×160×21的新检测层，与之相对应的网络的Backbone层和Neck层也增加了相应的Conv卷积层与C2f卷积模块来与此新小目标检测层互相配合；改进模型YOLOv8-SODL-RSDD-HRII的输出特征图尺度为160×160×21、80×80×21、40×40×21和20×20×21共4个特征图，Head部分输出分类和回归共4×2＝8个尺度的特征图，前端特征提取部分和后续过程与YOLOv8网络的工作流程相同，将这4个不同尺度的类别预测分支、bbox预测分支分别进行拼接，并进行维度变换的一系列过程，最终得到改进模型YOLOv8-SODL-RSDD-HRII的公路快检图像路面病害检测信息，其最终模型结构参数如表7，其中，Resolution为每个Stage中变量的尺度，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Kernels为卷积操作的卷积核的尺寸，CBL为先对该层变量进行卷积操作，之后在进行标准化操作，并使用LeakyReLU激活函数进行激活；C2f即为C2f网络结构层，SPPF 5×5为SPPF结构中的卷积核大小为5×5，Unsample为对变量进行上采样操作，Concat为对变量进行拼接操作，拼接的层级为与之相连接的C2f模块和Backbone中与之相同尺寸的C2f模块，Detect_X为输出模块，输出维度与目标类别数有关，本文中的公路快检路面图像中路面病害被分为两类，因此输出通道数为3×(2+5)＝21。
表7 YOLOv8-SODL-RSDD-HRII模型结构参数
7.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S5中构建用于公路快检图像细小路面病害检测的改进模型YOLOv8-CBAM-RSDD-HRII，具体做法是：在原有的YOLOv8-RSDD-HRII网络模型的基础上，在其Backbone中的C2f模块后增加CBAM模块，其中，根据特征图的不同，第一个C2f模块后的CBAM模块参数为128×7，第二个C2f模块后的CBAM模块参数为256×7，第三个C2f模块后的CBAM模块参数为512×7，前一个变量为该层特征图的通道数，后一个变量为CBAM注意力模块中空间注意力机制的卷积核大小，参数为128×7的CBAM模块即为卷积核大小为7×7，通道数为128，其他部分与YOLOv8-RSDD-HRII模型一致，其最终模型结构参数如表8所示，其中，Resolution为每个Stage中变量的尺度，Channels为每个Stage变量的通道数，Layers为每个Stage中操作Operator重复的次数，Kernels为卷积操作的卷积核的尺寸，CBL为先对该层变量进行卷积操作，之后在进行标准化操作，并使用LeakyReLU激活函数进行激活；C2f即为C2f网络结构层，CBAM模块的Kernel 7×7为使用的CBAM模块中的卷积核大小为7×7，SPPF5×5为SPPF结构中的卷积核大小为5×5，Unsample为对变量进行上采样操作，Concat为对变量进行拼接操作，拼接的层级为与之相连接的C2f模块和Backbone中与之相同尺寸的C2f模块，Detect_X为输出模块，输出维度与目标类别数有关，本文中的公路快检路面图像中路面病害被分为两类，因此输出通道数为3×(2+5)＝21。
表8YOLOv8-CBAM-RSDD-HRII模型结构参数
8.根据权利要求1所述的基于改进YOLOv8网络的公路快检图像路面病害检测方法，其特征在于：所述步骤S6中基于构建的公路快检路面病害图像标注数据集，进行改进模型的对比实验分析，其主要内容如下：
S6-1：仍然采用准确率Precision和检测率Recall的调和平均数F1-Score指标作为公路快检图像路面细小病害检测的评价指标，以及平均检测一张图片所需的时间作为实时性指标；
S6-2：在网络模型进行训练时，观察网络模型的损失函数曲线，如果损失函数曲线下降到最小值，并保持稳定时，说明网络模型收敛；经过多次调试与训练，最终确定YOLOv8-RSDD-HRII、YOLOv8-SODL-RSDD-HRII和YOLOv8-CBAM-RSDD-HRII三种改进模型训练的基本参数如表9所示，观察各个模型损失函数曲线的变化情况，得出各个模型的损失函数曲线收敛，能应用于测试集上统计实验评价指标；
表9三种改进模型训练参数
S6-3：基于构建的公路快检路面病害图像数据集，开展对比实验研究，实验结果表明YOLOv8-CBAM-RSDD-HRII模型的综合检测性能优于其他两种模型，其Precision、Recall、F1-score和实时性指标分别为98.10％、91.81％、94.85％和36.9ms，说明YOLOv8-CBAM-RSDD-HRII模型更适应公路快检图像场景下的细小路面病害检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311163416.0A CN117197085A (zh) | 2023-09-08 | 2023-09-08 | 基于改进YOLOv8网络的公路快检图像路面病害检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311163416.0A CN117197085A (zh) | 2023-09-08 | 2023-09-08 | 基于改进YOLOv8网络的公路快检图像路面病害检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197085A true CN117197085A (zh) | 2023-12-08 |
Family
ID=89003061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311163416.0A Pending CN117197085A (zh) | 2023-09-08 | 2023-09-08 | 基于改进YOLOv8网络的公路快检图像路面病害检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197085A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975401A (zh) * | 2024-04-02 | 2024-05-03 | 深圳市锐明像素科技有限公司 | 道路病害的检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-09-08 CN CN202311163416.0A patent/CN117197085A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975401A (zh) * | 2024-04-02 | 2024-05-03 | 深圳市锐明像素科技有限公司 | 道路病害的检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220196459A1 (en) | Real-time vehicle overload detection method based on convolutional neural network | |
| CN108346144B (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
| CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
| CN108009515A (zh) | 一种基于fcn的无人机航拍图像的输电线定位识别方法 | |
| CN111914767B (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN113780200A (zh) | 基于计算机视觉的路面多种病害面积检测及定位方法 | |
| CN117197085A (zh) | 基于改进YOLOv8网络的公路快检图像路面病害检测方法 | |
| CN117422699B (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
| CN116109616A (zh) | 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 | |
| CN111639672B (zh) | 一种基于多数投票的深度学习城市功能区分类方法 | |
| CN112489026A (zh) | 基于多分支并行卷积神经网络的沥青路面病害检测方法 | |
| CN117197084A (zh) | 基于深度融合卷积神经网络的公路快检图像路面病害检测方法 | |
| CN116052110B (zh) | 一种路面标线缺损智能定位方法及系统 | |
| CN117456342A (zh) | 一种基于街景影像的交通事故风险评估方法及系统 | |
| CN114596291B (zh) | 基于深度学习和自注意力机制的道路缺陷检测方法 | |
| CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
| CN112419244B (zh) | 混凝土裂缝分割方法及装置 | |
| Shin et al. | Visualization for explanation of deep learning-based defect detection model using class activation map | |
| CN115170793A (zh) | 面向工业产品质检的小样本图像分割自我校准方法 | |
| CN110084125B (zh) | 一种基于深度学习的农业保险查勘技术方法 | |
| CN113673596B (zh) | 一种基于历遍源目标的遥感影像目标检测样本生成方法 | |
| CN116977857B (zh) | 一种基于深度学习的隧道裂缝自动检测方法 | |
| CN116522261B (zh) | 一种基于大数据的风险信息监控方法及系统 | |
| Sui et al. | A boundary aware neural network for road extraction from high-resolution remote sensing imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |