CN117876383A - 一种基于yolov5l的公路表面条状裂缝检测方法 - Google Patents
一种基于yolov5l的公路表面条状裂缝检测方法 Download PDFInfo
- Publication number
- CN117876383A CN117876383A CN202410284089.2A CN202410284089A CN117876383A CN 117876383 A CN117876383 A CN 117876383A CN 202410284089 A CN202410284089 A CN 202410284089A CN 117876383 A CN117876383 A CN 117876383A
- Authority
- CN
- China
- Prior art keywords
- crack
- strip
- module
- preset
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims description 53
- 238000010606 normalization Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 44
- 230000004913 activation Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 18
- 238000000605 extraction Methods 0.000 abstract description 14
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 11
- 102100037709 Desmocollin-3 Human genes 0.000 description 10
- 101000968042 Homo sapiens Desmocollin-2 Proteins 0.000 description 10
- 101000880960 Homo sapiens Desmocollin-3 Proteins 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 241000270295 Serpentes Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于yolov5l的公路表面条状裂缝检测方法,涉及图像识别领域,该方法包括:基于表面裂缝图像构建表面条状裂缝样本集;基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝,所以,有效解决了相关技术中对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳的技术问题,实现了提高表面裂缝特征提取精度,统一表面病害检测标准的技术效果。
Description
技术领域
本申请涉及图像识别领域,尤其涉及一种基于yolov5l的公路表面条状裂缝检测方法、设备和可读存储介质。
背景技术
随着公路车流量日益增多,以及行驶车辆的碾压、冲击、磨耗、天气变化等影响,导致公路表面产生一系列病害,例如:裂缝、龟裂和修补等。这些病害对表面的稳定性造成了较大的影响。
裂缝类病害较为常见,分为横向裂缝和纵向裂缝。在相关技术中,为了识别表面裂缝,使用数字图像处理技术对表面图片进行预处理、分割、特征提取和识别等步骤,从而实现对裂缝的自动检测和分析。或者把图片网格化切分成许多小块检测出图中某个小块是否存在裂缝然后把所有小块的检测结果映射到整张图片实现整张图片上裂缝位置和类型的检测。
但是上述技术中,对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳。
发明内容
本申请实施例通过提供一种基于yolov5l的公路表面条状裂缝检测方法、设备和可读存储介质,解决了相关技术中对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳的技术问题,实现了提高表面裂缝特征提取精度,统一表面病害检测标准的技术效果。
本申请实施例提供了一种基于yolov5l的公路表面条状裂缝检测方法,所述基于yolov5l的公路表面条状裂缝检测方法包括:
基于表面裂缝图像构建表面条状裂缝样本集;
基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;
基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝。
可选地,所述基于表面裂缝图像构建表面条状裂缝样本集的步骤包括:
确定所述表面裂缝图像对应的灰度图;
基于亮度均衡的图像阈值对所述灰度图进行匀光处理;
对处理后的所述灰度图进行标注,构建所述表面条状裂缝样本集。
可选地,所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤之前,包括:
构建改进型卷积模块;
基于所述改进型卷积模块替换所述预设网络中的第二目标模块,确定替换模块;
基于所述替换模块替换所述预设网络中第一预设编号的第一目标模块;
基于所述改进型卷积模块替换所述预设网络中第二预设编号的所述第二目标模块,以生成改进后的所述预设网络。
可选地,所述构建改进型卷积模块的步骤包括:
基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块;
基于x轴方向的第一预设卷积模块以及y轴方向的第二预设卷积模块构建所述改进型卷积模块。
可选地,所述基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块的步骤包括:
获取用于学习形变偏移量的第一卷积核;
获取用于归一化偏移量的所述批量归一化层;
获取用于归一化输出特征的所述组归一化层;
以硅化线性整流单元作为所述激活函数;
基于所述卷积核、所述批量归一化层、所述组归一化层以及所述激活函数构建所述预设卷积模块。
可选地,所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤包括:
确定训练参数,其中所述训练参数包括批量大小、学习率、检测类别数和最大迭代次数;
将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度;
当达到所述最大迭代次数时,基于迭代结果确定所述裂缝检测模型。
可选地,所述将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度的步骤包括:
基于所述表面条状裂缝样本集和所述预设网络的主干部分,确定预设尺度的特征图;
基于所述特征图和所述预设网络的中间部分确定张量数据;
将所述张量数据输入至所述预设网络的输出部分,并结合所述损失函数和所述反向传播对所述梯度进行计算,以实时更新所述梯度。
可选地,所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤之前,包括:
将所述表面条状裂缝样本集按照预设比例划分为训练集、验证集和测试集。
此外,本申请还提出一种基于yolov5l的公路表面条状裂缝检测设备,所述基于yolov5l的公路表面条状裂缝检测设备包括存储器、处理器及存储在存储器上并可在处理器上运行的表面条状裂缝检测程序,所述处理器执行所述表面条状裂缝检测程序时实现如上所述的基于yolov5l的公路表面条状裂缝检测方法的步骤。
此外,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有表面条状裂缝检测程序,所述表面条状裂缝检测程序被处理器执行时实现如上所述的基于yolov5l的公路表面条状裂缝检测方法的步骤。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了基于表面裂缝图像构建表面条状裂缝样本集;基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝,所以,有效解决了相关技术中对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳的技术问题,实现了提高表面裂缝特征提取精度,统一表面病害检测标准的技术效果。
附图说明
图1为本申请基于yolov5l的公路表面条状裂缝检测方法实施例一的流程示意图;
图2为本申请基于yolov5l的公路表面条状裂缝检测方法实施例二中匀光操作前和匀光操作后的对比图;
图3为本申请基于yolov5l的公路表面条状裂缝检测方法实施例三中DSConv模块的示意图;
图4为本申请基于yolov5l的公路表面条状裂缝检测方法实施例三中DSConvm模块的示意图;
图5为本申请基于yolov5l的公路表面条状裂缝检测方法实施例三中C3模块的示意图;
图6为本申请基于yolov5l的公路表面条状裂缝检测方法实施例三中DSC3模块的示意图;
图7为本申请基于yolov5l的公路表面条状裂缝检测方法实施例三中改进后的yolov5l模型结构的示意图;
图8为本申请基于yolov5l的公路表面条状裂缝检测方法实施例四中横向裂缝检测效果图;
图9为本申请基于yolov5l的公路表面条状裂缝检测方法实施例四中纵向裂缝检测效果图;
图10为本申请基于yolov5l的公路表面条状裂缝检测设备实施例涉及的硬件结构示意图。
具体实施方式
在相关技术中,目前针对公路表面条状裂缝的检测方法主要有基于人工标注的公路表面条状裂缝检测方法、基于传统图像处理的检测方法、基于计算机视觉分类的检测方法、基于传统目标检测的检测方法等。各方法的主要思路如下:
基于人工标注的公路表面条状裂缝检测方法:该方法使用大量的人工对采集的公路表面图片进行标注。
基于图像处理的公路表面条状裂缝检测方法:该方法利用数字图像处理技术对表面图片进行预处理、分割、特征提取和识别等步骤,从而实现对裂缝的自动检测和分析。这种方法可以提高检测效率和准确度。
基于计算机视觉分类的检测方法:该方法把图片网格化切分成许多小块检测出图中某个小块是否存在裂缝然后把所有小块的检测结果映射到整张图片实现整张图片上裂缝位置和类型的检测。
基于传统目标检测的检测方法:该方法利用基于传统卷积神经网络的目标检测的方法,例如yolov5来训练裂缝检测模型,其中yolo是一种新的目标检测方法,传统的目标检测是重用分类器去检测,与传统不同之处在于,yolo把目标检测作为空间分离边界框还有对应类别的可能性的回归问题,yolov5即第五代yolo模型,然后利用模型来检测图片中的裂缝的位置和类型。但是上述方案存在一些问题,例如需要处理图像中的噪声、阴影、纹理等干扰因素,而且对裂缝的形状和类型有一定的假设和限制。同时,检测的最小单元是单个小块的大小,当裂缝面积和最小块的面积差比较大或者裂缝刚好处于分割线上时误差就会比较大。
本申请实施例采用的主要技术方案是:基于表面裂缝图像构建表面条状裂缝样本集;基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝。从而实现了加强模型对裂缝特征的提取能力,有效提高裂缝检测精度的技术效果。
为了更好地理解上述技术方案,下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,能够以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整地传达给本领域的技术人员。
实施例一
本申请实施例一公开了一种基于yolov5l的公路表面条状裂缝检测方法,参照图1,所述基于yolov5l的公路表面条状裂缝检测方法包括:
步骤S110,基于表面裂缝图像构建表面条状裂缝样本集。
在本实施例中,采集裂缝图像的数据,收集大量的公路表面条状裂缝图像,并进行标注以构建表面条状裂缝样本集。可以使用传统的图像处理方法或者深度学习的图像分割方法进行标注,获取每个裂缝的位置和形状信息。
步骤S120,基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型。
在本实施例中,预设网络可以是改进后的yolov5l网络。
作为一种可选实施方式,基于yolov5l的网络架构,对yolov5l进行改进,针对公路表面条状裂缝检测任务进行优化。可以通过调整网络的层数、通道数、感受野等参数,以提高模型在检测公路表面裂缝上的性能。然后训练出裂缝检测模型,使用裂缝样本集对预设网络进行训练。采用端到端的训练方式,将图像输入网络,通过计算损失函数进行参数的更新和优化,直到模型收敛。可以使用常见的优化器,例如Adam,和损失函数,例如交叉熵损失进行训练。
作为另一种可选实施方式,在改进yolov5l网络时,根据表面条状裂缝具有线性结构、长距离依赖等特点,使用蛇形卷积改进yolov5l网络。
可选地,步骤S120之前,包括:将所述表面条状裂缝样本集按照预设比例划分为训练集、验证集和测试集。
作为一种可选实施方式,在确定表面条状裂缝样本集后,将表面条状裂缝样本集按7:2:1划分为训练集、验证集和测试集。
步骤S130,基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝。
作为一种可选实施方式,测试和验证裂缝检测模型,使用验证集对训练好的模型进行测试和验证,评估其在公路表面图像上的裂缝检测准确率和召回率等指标。可以通过调整模型的阈值或使用非极大值抑制方法来提高检测结果的准确性和稳定性。然后应用裂缝检测系统,将训练好的裂缝检测模型应用于实际的公路表面图像中。输入采集到的表面图像,通过裂缝检测模型进行检测,定位和标记出图像中的目标裂缝。
示例性的,从不同地点、不同角度和不同光照条件下采集公路表面图像。利用专业的图像处理软件手工标注出图像中的裂缝,并保存为裂缝图像。对yolov5l模型进行改进,在骨干网络中添加特定的卷积层,提取更有针对性的特征。调整通道数和感受野大小,以适应公路表面裂缝的特点。将裂缝图像集划分为训练集和验证集。对图像进行预处理,包括图像尺寸统一化、数据增强(如随机裁剪、翻转、旋转等)和归一化操作。使用训练集对改进后的yolov5l模型进行训练。设置合适的超参数,如学习率、批量大小等,并使用训练集迭代进行模型优化。使用验证集对训练好的模型进行测试和验证。计算模型的精确率、召回率和F1值等评测指标,以评估模型在裂缝检测任务上的性能。将训练好的模型应用于实际的公路表面图像中。输入一张表面图像,通过模型进行目标裂缝的检测和定位,可以使用框标记出裂缝的位置和大小。使用真实的公路表面图像数据集对裂缝检测系统进行性能评估。比较检测结果与标注结果之间的差异,计算评价指标以评估系统的准确性和鲁棒性。
由于采用了基于表面裂缝图像构建表面条状裂缝样本集;基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝,所以,有效解决了相关技术中对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳的技术问题,实现了提高表面裂缝特征提取精度,统一表面病害检测标准的技术效果。
基于实施例一,本申请实施例二提出一种基于yolov5l的公路表面条状裂缝检测方法,步骤S110包括:
步骤S210,确定所述表面裂缝图像对应的灰度图。
在本实施例中,从公路表面图像中提取出裂缝区域的图像片段作为训练样本。可以使用无人机、行车记录仪或者手持相机等设备进行图像采集。将采集到的表面裂缝图像转换为灰度图像,即使用图像处理软件或编程库实现获取灰度图。
步骤S220,基于亮度均衡的图像阈值对所述灰度图进行匀光处理。
在本实施例中,基于亮度均衡的方法对灰度图像进行增强处理,以提高图像的对比度和细节。采用直方图均衡化等方法进行亮度均衡化。对增强后的灰度图像进行阈值处理,将图像分为背景和前景两类。通过设定合适的阈值将裂缝区域从背景中分离出来。
步骤S230,对处理后的所述灰度图进行标注,构建所述表面条状裂缝样本集。
在本实施例中,对阈值处理后的灰度图像进行标注,将裂缝区域的像素标记为裂缝类别。使用图像处理软件或编程库中的绘图功能,绘制出裂缝的轮廓或者边界框。将裂缝标注后的图像片段和对应的标签保存下来,构建成表面条状裂缝样本集。将样本集保存为图像文件和标签文件,或者使用特定的数据格式进行存储。
作为一种可选实施方式,获取表面条状裂缝图像尺寸为2048*2048的灰度图,对图像使用“基于亮度均衡的图像阈值分割法”进行匀光处理;对匀光处理后的图像使用LabelImg软件进行标注,构建表面条状裂缝样本集。LabelImg是一种开源的图像标注工具,用于手动标记图像中的对象。
示例性的,通过装备高清摄像机的表面图像采集车,收集不同公路类型、不同天气状况、不同时间段的公路表面图像,以增加原始图像的丰富度。再依次使用“基于亮度均衡的图像阈值分割法”对图像进行匀光操作,其中基于亮度均衡的图像阈值分割法原理如下:
设一幅图像,灰度级别为(0,…,L)。图像的平均亮度则为:
(公式1)
其中,是图像中坐标为的像素亮度值;用大小为(本实施例中=)的子块对该图像进行分块,则每个子块的亮度均值为:
(公式2)
则子块亮度均值与全图的差为,显然一幅图像中高亮
度子块为正,而低亮度子块为负。为了使整个图像的亮度均衡化,需要对每个子
块的亮度进行调整,所以对于为正的子块进行衰减处理,而对于为负的子块进
行增强处理。
本步骤中匀光操作前和匀光操作后的对比图如图2所示。
基于实施例一,本申请实施例三提出一种基于yolov5l的公路表面条状裂缝检测方法,步骤S120之前,包括:
步骤S310,构建改进型卷积模块。
在本实施例中,改进型卷积模块即DSConvm模块。DSConv(Dynamic SnakeConvolution,动态蛇形卷积)是动态蛇形卷积模块。DSConvm模块是改进后的DSConv模块。
作为一种可选实施方式,基于动态蛇形卷积模块改进后生成改进型卷积模块。
作为一种可选实施方式,根据需求和实际情况,设计并构建改进型卷积模块。这个模块的目的是提高预设网络在裂缝检测任务中的性能和效果。
步骤S320,基于所述改进型卷积模块替换所述预设网络中的第二目标模块,确定替换模块。
在本实施例中,预设网络即yolov5网络,第二目标模块是yolov5原本C3模块中的Conv(标准卷积)模块。其中,yolov5在Conv模块中封装了三个功能,包括卷积(Conv2d)、Batch Normalization(批量归一化)和激活函数。在yolov5中,C3模块是网络中的一个重要组成部分。C3指的是Cross Stage Partial Network,即跨阶段部分网络。C3模块是yolov5中用于特征提取的关键模块,用于提取不同尺度的特征信息,以获得更全面和丰富的特征表示。它由多个卷积层组成替换模块即替换标准卷积模块后得到的模块,命名为DSC3模块。
作为一种可选实施方式,替换预设网络中的目标模块,通过分析预设网络的结构和功能,确定需要替换的目标模块。在这里,选择替换第二目标模块。
作为一种可选实施方式,构建DSC3模块,DSC3模块是使用DSConvm模块替换yolov5原本C3模块中的Conv模块得来。C3模块是yolov5中使用最多的一个模块,其主要作用是增加网络的深度和感受野,提高特征提取的能力,本实施例中改进的DSC3结合了DSConvm模块进一步加强了C3模块对裂缝等连续薄弱结构的特征的提取能力。
步骤S330,基于所述替换模块替换所述预设网络中第一预设编号的第一目标模块。
在本实施例中,第一预设编号至少为一个编号。第一目标模块即C3模块。
作为一种可选实施方式,替换第一目标模块,基于改进型卷积模块,将其替换预设网络中第一预设编号的第一目标模块。具体的替换方式可以在预设网络的代码中进行修改和调整,将原有的目标模块替换为改进型卷积模块。
示例性的,将yolov5l的backbone(主干部分)模块中部分编号为4和8的C3模块替换为DSC3模块。
步骤S340,基于所述改进型卷积模块替换所述预设网络中第二预设编号的所述第二目标模块,以生成改进后的所述预设网络。
在本实施例中,完成上述替换后,基于原始的yolov5网络生成了改进后的yolov5网络,即预设网络。
作为一种可选实施方式,基于改进型卷积模块,将其替换预设网络中第二预设编号的第二目标模块。同样地,根据需要进行代码修改和调整,替换目标模块。在完成目标模块替换后,通过保存修改后的网络结构和参数,或者重新训练网络,生成改进后的预设网络。
示例性的,将yolov5l的neck(中间部分)模块编号为10的Conv模块替换为DSConvm模块
示例性的,假设预设网络是一个基于卷积神经网络的裂缝检测模型,需要替换第二目标模块。设计一个具有更强特征提取能力和更强判别能力的卷积模块,例如一个多分支卷积模块。该模块可以包含多个卷积层和其他特殊结构。替换第二目标模块,将改进型卷积模块替换预设网络中第二目标模块,即将原本的目标模块替换为多分支卷积模块。保存修改后的网络结构和参数,包括替换后的第二目标模块。
通过以上可选实施方式和实施例,可以实现对预设网络的改进和优化,提升裂缝检测模型的性能和准确率。改进型卷积模块的引入可以增加网络的表达能力和泛化能力,从而提高对裂缝的检测和识别能力。
进一步地,步骤S310包括:
步骤S311,基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块。
在本实施例中,预设卷积模块即动态蛇形卷积(Dynamic Snake Convolution,DSConv)模块。基于一个第一预设像素大小的第一卷积核,批量归一化层、组归一化层、激活函数,以及一个第二预设像素大小的第二卷积核,构成预设卷积模块。
步骤S312,基于x轴方向的第一预设卷积模块以及y轴方向的第二预设卷积模块构建所述改进型卷积模块。
在本实施例中,基于x轴方向的第一预设卷积模块、y轴方向的第二预设卷积模块、用于提取输入特征的基本信息的第三卷积核,以及用于降低特征的通道数,减少计算量的第四卷积核,生成改进型卷积模块。
可选地,步骤S311包括:
获取用于学习形变偏移量的第一卷积核;获取用于归一化偏移量的所述批量归一化层;获取用于归一化输出特征的所述组归一化层;以硅化线性整流单元作为所述激活函数;基于所述卷积核、所述批量归一化层、所述组归一化层以及所述激活函数构建所述预设卷积模块。
作为一种可选实施方式,获取用于学习形变偏移量的第一卷积核,定义一个卷积核变量,并指定其大小和深度。初始化卷积核的权重参数。获取用于归一化偏移量的批量归一化层,定义批量归一化层,并将其应用在卷积操作后的输出上。根据需求,设置批量归一化层的参数,如momentum、epsilon等。获取用于归一化输出特征的组归一化层,定义组归一化层,并将其应用在批量归一化层的输出上。根据需求,设置组归一化层的参数,如组数、组内归一化的参数等。以硅化线性整流单元作为激活函数,将组归一化层的输出传递给激活函数,如ReLU函数。基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块,将第一卷积核与批量归一化层、组归一化层和激活函数进行连接,形成一个预设卷积模块。这样的模块可以在网络中重复使用,根据需要进行堆叠和调整结构。
作为一种可选实施方式,构建DSConvm模块。其中,先构建DSConv模块,DSConv模块由以下部分组成:一个3*3卷积核用于学习形变偏移量。一个用于归一化偏移量的批量归一化层。一个1*3或3*1的卷积核,当DSConv模块是x方向时为卷积核3*1,卷积的步长为3,1;当DSConv模块是y方向时为1*3,卷积的步长为1,3。一个用于归一化输出特征的组归一化层。一个SiLU(硅化线性整流单元)激活函数。
然后,构建的DSConv模块,构建DSConvm模块,DSConvm模块由以下部分构成:一个3*3的卷积核用于提取输入特征的基本信息。一个1*1卷积核用于降低特征的通道数,减少计算量。一个x轴方向DSConv模块。一个y轴方向DSConv模块。
动态蛇形卷积(Dynamic Snake Convolution,简称DSConv)是一种新型的卷积操作,它可以通过学习可变形的偏移量来构建一个自适应尺寸的卷积核,从而提高对物体变形和遮挡的鲁棒性。
DSConvm模块通过使用两个具有不同卷积核大小和方向的分支(DSConv)来实现沿着x轴或y轴进行卷积操作,然后使用一个标准卷积层来学习可变形的偏移量,并考虑连续性约束,从而构建一个动态变形的蛇形卷积核,此卷积尤其适合提取裂缝、血管等连续且薄弱的目标特征。
示例性的,构建动态蛇形卷积模块,即预设卷积模块。动态蛇形卷积(DynamicSnake Convolution,简称DSConv)是一种新型的卷积操作,它可以通过学习可变形的偏移量来实现一个自适应尺寸的卷积核,从而提高对物体变形和遮挡的鲁棒性。构建DSConv模块如图3所示,首先,使用一个标准卷积层(nn.Conv2d)来学习偏移量,输出通道数为2 *kernel_size,其中kernel_size是卷积核大小。然后,使用一个批量归一化层(nn.BatchNorm2d)和一个tanh函数来对偏移量进行归一化和激活,使其范围在-1到1之间,模拟蛇的摆动范围。
然后,根据管状结构的走向,选择沿着x轴或y轴进行卷积操作。如果沿着x轴进行卷积,那么使用一个卷积层(nn.Conv2d)来对输入特征图进行卷积,卷积核大小为(kernel_size,1),步长为(kernel_size,1),输出通道数为out_ch,本文中kernel_size为3。如果沿着y轴进行卷积,那么使用一个卷积层(nn.Conv2d)来对输入特征图进行卷积,卷积核大小为(1,kernel_size),步长为(1,kernel_size),输出通道数为out_ch。
接着,根据偏移量和管状结构的走向,计算每个卷积位置的坐标,并将输入特征图中对应位置的值采样到输出特征图中。这里使用了双线性插值法来进行采样,并考虑了连续性约束,使每个卷积位置都由其前一个位置作为基准,自由选择摆动方向。这样就构建了一个动态变形的蛇形卷积核。
最后,使用一个分组归一化层(nn.GroupNorm)和一个激活函数(nn.Hardswish)来对输出特征图进行归一化和激活,得到最终的结果。
构建DSConvm模块如图4所示,DSConvm由以下部分构成。
1.一个3*3的卷积核用于提取输入特征的基本信息。
2.一个1*1卷积核用于降低特征的通道数,减少计算量。
3.一个x轴方向DSConv。
4.一个y轴方向DSConv。
DSConvm通过使用两个具有不同卷积核大小和方向的分支(DSConv)来实现沿着x轴或y轴进行卷积操作,然后使用一个标准卷积层来学习可变形的偏移量,并考虑连续性约束,从而构建一个动态变形的蛇形卷积核。
构建DSC3模块如图6所示,DSC3是使用DSConvm替换yolov5原本C3模块中的Conv得来,该操作延续了原有C3模块增加网络深度、感受野和特征提取能力的同时加强了C3模块对裂缝等连续且薄弱结构的特征提取能力。C3模块如图5所示。
如图7所示,将yolov5l backbone模块中部分C3模块替换为DSC3模块。本实施例中经过反复调整实验发现把编号为4和编号为8的C3替换成DSC3在实验数据集提升效果最好。其中head即输出部分。
将yolov5l neck模块中编号为10的Conv模块替换为DSConvm模块。
改进后的网络由于加入了大量为裂缝场景定制的DSConvm模块使得模型对裂缝特征的提取效果大幅度提升从而提高模型对裂缝的检测能力。
基于实施例一,本申请实施例四提出一种基于yolov5l的公路表面条状裂缝检测方法,步骤S120包括:
步骤S410,确定训练参数,其中所述训练参数包括批量大小、学习率、检测类别数和最大迭代次数。
步骤S420,将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度。
在本实施例中,预先将表面条状裂缝样本集划分为训练集、验证集和测试集,将训练集对应的部分输入至所述预设网络。
步骤S430,当达到所述最大迭代次数时,基于迭代结果确定所述裂缝检测模型。
作为一种可选实施方式,在将表面条状裂缝样本集划分为训练集、验证集和测试集,将训练集对应的部分输入至所述预设网络,根据需求和计算资源,选择合适的预设网络作为裂缝检测模型的骨干网络,如yolov5l。准备预训练的权重,可以使用在大规模图像数据上预训练的权重,或者使用其他类似任务上预训练的权重。确定训练参数,如批量大小、学习率、检测类别数和最大迭代次数。设置数据增强方式,可以使用随机裁剪、平移、旋转等增强技术,增加模型的泛化能力。定义适合裂缝检测任务的损失函数,常用的包括IOU损失函数和分类损失函数的组合。设置不同的权重系数来平衡边界框位置的损失和分类的损失,以提高模型的性能。模型训练过程,将表面条状裂缝样本集输入至预设网络。基于损失函数和反向传播对梯度进行计算,以实时更新梯度。通过不断迭代训练样本,直到达到最大迭代次数。模型评估,使用独立的验证集评估模型在裂缝检测任务上的性能。计算模型的准确率、召回率、F1分数等指标,评估其在裂缝检测上的表现。根据评估结果,调整训练参数和数据增强方式,重复上述步骤,直到达到满意的模型性能。当达到最大迭代次数,并且满足性能要求时,保存裂缝检测模型的权重和配置。将该模型应用于裂缝检测场景中,可以通过输入新的道路图像,利用裂缝检测模型检测并标记出图像中的裂缝区域。
可选地,步骤S420包括:
步骤S421,基于所述表面条状裂缝样本集和所述预设网络的主干部分,确定预设尺度的特征图;
步骤S422,基于所述特征图和所述预设网络的中间部分确定张量数据;
步骤S423,将所述张量数据输入至所述预设网络的输出部分,并结合所述损失函数和所述反向传播对所述梯度进行计算,以实时更新所述梯度。
作为一种可选实施方式,设置训练参数:批量大小、学习率、检测类别数和最大迭代次数;将训练集的图像输入到主干网络,得到三种不同尺度的特征图;将三种不同尺度的特征图输入到改进后的neck部分,即中间部分进行上采样和特征融合,得到三种不同尺度的张量数据(张量尺寸为80*80*256;40*40*512;20*20*1024);将三种不同尺度的张量数据输入到Detect部分,即输出部分,使用损失函数和反向传播对梯度进行计算,实时更新梯度;并利用验证集进行网络精度验证。重复步骤达到设定迭代次数后,改进后的yolov5l网络完成学习,得到表面条状裂缝检测模型和权重。
作为另一种可选实施方式,确定预设尺度的特征图,将表面条状裂缝样本集输入到预设网络的主干部分。在主干部分中,通过卷积和池化等操作,逐渐降低输入图像的空间尺寸,提取层次化的特征图。确定需要用于裂缝检测的预设尺度的特征图,可以选择多个特征图尺度来检测裂缝的不同尺寸。确定张量数据,基于特征图,通过预设网络的中间部分,将特征图转换为张量数据。在中间部分,可以使用卷积、全连接等操作对特征图进行进一步处理,以提取更高级的特征表示。计算梯度并更新,将张量数据输入到预设网络的输出部分。在输出部分,通常使用卷积、全连接等操作将张量数据映射到预先设置的类别数。结合损失函数,计算预测结果和实际标签之间的差异。使用反向传播算法,计算梯度,并根据梯度更新网络参数。使用优化算法(如随机梯度下降)来指导梯度的更新过程。重复上述步骤,直到所有样本都用于更新网络的参数。
示例性的,改进后的网络模型在训练之前,需要针对不同样本集的特点对涉及的参数进行调整,找到最佳参数值,这对于检测模型的性能以及训练的速度非常重要。以下是基于裂缝样本集设置的超参数:
首先,设置批量大小,批量大小(Batch Size,BS)是指每一次迭代的样本数量,其决定了梯度下降的方向。通常,较大的BS,其网络收敛快,但是容易陷入局部最优解,导致模型泛化性较差;较小的BS,其随机性大,损失函数极易产生振荡且难以收敛。因此经过多轮调参得到最优BS为8。
设置学习率,学习率(Learning rate)作为模型训练中至关重要的超参数,用以更新权重的步伐大小,同时权衡收敛速度和是否收敛。学习率太小导致梯度下降的步伐小,网络收敛速度慢;学习率太高,损失函数会振荡。通常,将其初始化为0.001,并采用可变的学习率对模型进行训练。
设置检测类别数,检测类别数为该模型涉及的检测种类数量,表面条状裂缝样本集涉及两种裂缝类型:横向裂缝、纵向裂缝,因此将检测类别数设置为2。
设置最大迭代次数,最大迭代次数(Max epochs)是指模型训练时,可以迭代的最大次数。超过最大迭代次数后,模型训练终止,且不再更新权重。本文设为300。
将表面条状裂缝样本集中训练集的图像输入到改进后的backbone网络,得到三种不同尺度的特征图(特征尺寸为80*80*256;40*40*512;20*20*1024);将三种不同尺度的特征图输入到改进后的neck部分进行上采样和特征融合,得到三种不同尺度的张量数据(张量尺寸为80*80*256;40*40*512;20*20*1024);将三种不同尺度的张量数据输入到Detect部分,基于损失函数及反向传播对梯度进行计算,实时进行梯度更新并利用表面条状裂缝样本集中的验证集进行网络精度验证。重复步骤,达到设定最大迭代次数后,yolov5l网络完成学习,得到表面条状裂缝检测模型和权重。
可选地,作为本实施例中步骤S130的一个示例,利用表面条状裂缝检测模型对采集到的表面图像进行检测,若识别结果中存在裂缝,便将裂缝位置及裂缝类型在图像中进行标注,并将裂缝位置信息及裂缝类型写入到txt文件中存储,以便后续使用。图像的横向裂缝检测效果如图8所示,其中图(a)为yolov5l检测效果图(b)为改进后的yolov5l检测效果。纵向裂缝检测效果如图9所示,其中图(a)为yolov5l检测效果图(b)为改进后的yolov5l检测效果。最后经两个不同数据集对模型进行测试,数据集一:mAP从0.276提升至0.324,最高F1从0.35提升至0.39;数据集二:mAP从0.356提升至0.367,最高F1从0.41提升至0.42。
由于采用了确定训练参数,其中所述训练参数包括批量大小、学习率、检测类别数和最大迭代次数;将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度;当达到所述最大迭代次数时,基于迭代结果确定所述裂缝检测模型,解决了相关技术中对裂缝的形状和类型有一定的假设和限制,同时需要处理图像中的噪声、阴影、纹理等干扰因素,导致表面裂缝识别的通用性以及准确性不佳的技术问题,实现了加强模型对裂缝特征的提取能力,有效提高裂缝检测精度的技术效果。
本申请还提出一种基于yolov5l的公路表面条状裂缝检测设备,参照图10,图10为本申请实施例方案涉及的硬件运行环境的基于yolov5l的公路表面条状裂缝检测设备结构示意图。
如图10所示,该基于yolov5l的公路表面条状裂缝检测设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图10中示出的结构并不构成对基于yolov5l的公路表面条状裂缝检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
可选地,存储器1005与处理器1001电性连接,处理器1001可用于控制存储器1005的运行,还可以读取存储器1005中的数据以实现基于yolov5l的公路表面条状裂缝检测。
可选地,如图10所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及表面条状裂缝检测程序。
可选地,在图10所示的基于yolov5l的公路表面条状裂缝检测设备中,网络接口1004主要用于与其他设备进行数据通信;用户接口1003主要用于与用户进行数据交互;本申请基于yolov5l的公路表面条状裂缝检测设备中的处理器1001、存储器1005可以设置在基于yolov5l的公路表面条状裂缝检测设备中。
如图10所示,所述基于yolov5l的公路表面条状裂缝检测设备通过处理器1001调用存储器1005中存储的表面条状裂缝检测程序,并执行本申请实施例提供的基于yolov5l的公路表面条状裂缝检测方法的相关步骤操作:
基于表面裂缝图像构建表面条状裂缝样本集;
基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;
基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
确定所述表面裂缝图像对应的灰度图;
基于亮度均衡的图像阈值对所述灰度图进行匀光处理;
对处理后的所述灰度图进行标注,构建所述表面条状裂缝样本集。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
构建改进型卷积模块;
基于所述改进型卷积模块替换所述预设网络中的第二目标模块,确定替换模块;
基于所述替换模块替换所述预设网络中第一预设编号的第一目标模块;
基于所述改进型卷积模块替换所述预设网络中第二预设编号的所述第二目标模块,以生成改进后的所述预设网络。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块;
基于x轴方向的第一预设卷积模块以及y轴方向的第二预设卷积模块构建所述改进型卷积模块。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
获取用于学习形变偏移量的第一卷积核;
获取用于归一化偏移量的所述批量归一化层;
获取用于归一化输出特征的所述组归一化层;
以硅化线性整流单元作为所述激活函数;
基于所述卷积核、所述批量归一化层、所述组归一化层以及所述激活函数构建所述预设卷积模块。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
确定训练参数,其中所述训练参数包括批量大小、学习率、检测类别数和最大迭代次数;
将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度;
当达到所述最大迭代次数时,基于迭代结果确定所述裂缝检测模型。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
基于所述表面条状裂缝样本集和所述预设网络的主干部分,确定预设尺度的特征图;
基于所述特征图和所述预设网络的中间部分确定张量数据;
将所述张量数据输入至所述预设网络的输出部分,并结合所述损失函数和所述反向传播对所述梯度进行计算,以实时更新所述梯度。
可选地,处理器1001可以调用存储器1005中存储的表面条状裂缝检测程序,还执行以下操作:
将所述表面条状裂缝样本集按照预设比例划分为训练集、验证集和测试集。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例,或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框,以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二,以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述基于yolov5l的公路表面条状裂缝检测方法包括:
基于表面裂缝图像构建表面条状裂缝样本集;
基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型;
基于所述裂缝检测模型对采集到的表面图像进行检测,确定所述表面图像中的目标裂缝;
所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤之前,包括:
构建改进型卷积模块;
基于所述改进型卷积模块替换所述预设网络中的第二目标模块,确定替换模块;
基于所述替换模块替换所述预设网络中第一预设编号的第一目标模块;
基于所述改进型卷积模块替换所述预设网络中第二预设编号的所述第二目标模块,以生成改进后的所述预设网络。
2.如权利要求1所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述基于表面裂缝图像构建表面条状裂缝样本集的步骤包括:
确定所述表面裂缝图像对应的灰度图;
基于亮度均衡的图像阈值对所述灰度图进行匀光处理;
对处理后的所述灰度图进行标注,构建所述表面条状裂缝样本集。
3.如权利要求1所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述构建改进型卷积模块的步骤包括:
基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块;
基于x轴方向的第一预设卷积模块以及y轴方向的第二预设卷积模块构建所述改进型卷积模块。
4.如权利要求3所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述基于卷积核、批量归一化层、组归一化层以及激活函数构建预设卷积模块的步骤包括:
获取用于学习形变偏移量的第一卷积核;
获取用于归一化偏移量的所述批量归一化层;
获取用于归一化输出特征的所述组归一化层;
以硅化线性整流单元作为所述激活函数;
基于所述卷积核、所述批量归一化层、所述组归一化层以及所述激活函数构建所述预设卷积模块。
5.如权利要求1所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤包括:
确定训练参数,其中所述训练参数包括批量大小、学习率、检测类别数和最大迭代次数;
将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度;
当达到所述最大迭代次数时,基于迭代结果确定所述裂缝检测模型。
6.如权利要求5所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述将所述表面条状裂缝样本集输入至所述预设网络,基于损失函数和反向传播对梯度进行计算,以实时更新梯度的步骤包括:
基于所述表面条状裂缝样本集和所述预设网络的主干部分,确定预设尺度的特征图;
基于所述特征图和所述预设网络的中间部分确定张量数据;
将所述张量数据输入至所述预设网络的输出部分,并结合所述损失函数和所述反向传播对所述梯度进行计算,以实时更新所述梯度。
7.如权利要求1所述的基于yolov5l的公路表面条状裂缝检测方法,其特征在于,所述基于所述表面条状裂缝样本集对预设网络进行训练,获取裂缝检测模型的步骤之前,包括:
将所述表面条状裂缝样本集按照预设比例划分为训练集、验证集和测试集。
8.一种基于yolov5l的公路表面条状裂缝检测设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的表面条状裂缝检测程序,所述处理器执行所述表面条状裂缝检测程序时实现如权利要求1至7任一项所述的基于yolov5l的公路表面条状裂缝检测方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有表面条状裂缝检测程序,所述表面条状裂缝检测程序被处理器执行时实现如权利要求1至7任一项所述的基于yolov5l的公路表面条状裂缝检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410284089.2A CN117876383B (zh) | 2024-03-13 | 2024-03-13 | 一种基于yolov5l的公路表面条状裂缝检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410284089.2A CN117876383B (zh) | 2024-03-13 | 2024-03-13 | 一种基于yolov5l的公路表面条状裂缝检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117876383A true CN117876383A (zh) | 2024-04-12 |
CN117876383B CN117876383B (zh) | 2024-06-07 |
Family
ID=90592257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410284089.2A Active CN117876383B (zh) | 2024-03-13 | 2024-03-13 | 一种基于yolov5l的公路表面条状裂缝检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117876383B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118134912A (zh) * | 2024-05-06 | 2024-06-04 | 华东交通大学 | 一种混凝土公路路面裂缝智能检测方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
CN113902729A (zh) * | 2021-10-26 | 2022-01-07 | 重庆邮电大学 | 一种基于YOLO v5模型的路面坑洼检测方法 |
CN114170480A (zh) * | 2021-12-15 | 2022-03-11 | 南京中设航空科技发展有限公司 | 一种基于Yolo V5的多阈值半监督道路异常病害智能检测方法 |
KR20220102294A (ko) * | 2021-01-13 | 2022-07-20 | 창원대학교 산학협력단 | 차량-인프라 간 광카메라 통신의 송신부 인식 장치 및 방법 |
CN114998852A (zh) * | 2021-08-05 | 2022-09-02 | 浙江杉工智能科技有限公司 | 一种基于深度学习的公路路面病害智能检测方法 |
CN115205684A (zh) * | 2022-07-13 | 2022-10-18 | 常州大学 | 一种基于改进yolo的道路裂缝检测方法及系统 |
CN115439763A (zh) * | 2022-08-11 | 2022-12-06 | 长江空间信息技术工程有限公司(武汉) | 一种基于YOLOv5模型的水工程表面裂缝检测方法 |
CN115457044A (zh) * | 2022-08-12 | 2022-12-09 | 西南交通大学 | 基于类激活映射的路面裂缝分割方法 |
CN116109616A (zh) * | 2023-03-01 | 2023-05-12 | 辽宁工程技术大学 | 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 |
CN116503366A (zh) * | 2023-04-27 | 2023-07-28 | 山东省科学院自动化研究所 | 一种基于动态坐标卷积的混凝土裂缝检测方法及系统 |
CN116503336A (zh) * | 2023-04-10 | 2023-07-28 | 广西大学 | 一种基于深度学习的路面裂缝检测方法 |
CN117437201A (zh) * | 2023-11-02 | 2024-01-23 | 盐城工学院 | 一种基于改进YOLOv7的道路裂缝检测方法 |
US20240028950A1 (en) * | 2022-07-21 | 2024-01-25 | Conduent Business Services, Llc | Method and system for urban road infrastructure monitoring |
-
2024
- 2024-03-13 CN CN202410284089.2A patent/CN117876383B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220102294A (ko) * | 2021-01-13 | 2022-07-20 | 창원대학교 산학협력단 | 차량-인프라 간 광카메라 통신의 송신부 인식 장치 및 방법 |
CN114998852A (zh) * | 2021-08-05 | 2022-09-02 | 浙江杉工智能科技有限公司 | 一种基于深度学习的公路路面病害智能检测方法 |
CN113902729A (zh) * | 2021-10-26 | 2022-01-07 | 重庆邮电大学 | 一种基于YOLO v5模型的路面坑洼检测方法 |
CN113822880A (zh) * | 2021-11-22 | 2021-12-21 | 中南大学 | 一种基于深度学习的裂缝识别方法 |
CN114170480A (zh) * | 2021-12-15 | 2022-03-11 | 南京中设航空科技发展有限公司 | 一种基于Yolo V5的多阈值半监督道路异常病害智能检测方法 |
CN115205684A (zh) * | 2022-07-13 | 2022-10-18 | 常州大学 | 一种基于改进yolo的道路裂缝检测方法及系统 |
US20240028950A1 (en) * | 2022-07-21 | 2024-01-25 | Conduent Business Services, Llc | Method and system for urban road infrastructure monitoring |
CN115439763A (zh) * | 2022-08-11 | 2022-12-06 | 长江空间信息技术工程有限公司(武汉) | 一种基于YOLOv5模型的水工程表面裂缝检测方法 |
CN115457044A (zh) * | 2022-08-12 | 2022-12-09 | 西南交通大学 | 基于类激活映射的路面裂缝分割方法 |
CN116109616A (zh) * | 2023-03-01 | 2023-05-12 | 辽宁工程技术大学 | 基于YOLOv5的路面裂缝检测及小面元拟合检测方法 |
CN116503336A (zh) * | 2023-04-10 | 2023-07-28 | 广西大学 | 一种基于深度学习的路面裂缝检测方法 |
CN116503366A (zh) * | 2023-04-27 | 2023-07-28 | 山东省科学院自动化研究所 | 一种基于动态坐标卷积的混凝土裂缝检测方法及系统 |
CN117437201A (zh) * | 2023-11-02 | 2024-01-23 | 盐城工学院 | 一种基于改进YOLOv7的道路裂缝检测方法 |
Non-Patent Citations (5)
Title |
---|
HAORAN XU 等: ""Road Target Detection Based on Lightweight Improved YOLOv5l"", 《IEEE》, 16 November 2023 (2023-11-16), pages 224 - 248 * |
易钰程 等: ""路面缺陷智能检测系统与方法综述"", 《华东交通大学学报》, vol. 40, no. 5, 15 October 2023 (2023-10-15), pages 19 - 31 * |
毛迎兵: ""基于三维图像的高速公路路面病害识别方法研究"", 《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》, no. 2023, 15 March 2023 (2023-03-15), pages 034 - 226 * |
王耀宗 等: ""改进YOLOv5的路面坑洞检测算法"", 《福建电脑》, vol. 40, no. 1, 15 January 2024 (2024-01-15), pages 16 - 20 * |
闫卫坡 等: ""基于改进YOLOv5模型的高速道路裂缝检测研究"", 《软件导刊》, vol. 22, no. 10, 31 July 2023 (2023-07-31), pages 191 - 197 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118134912A (zh) * | 2024-05-06 | 2024-06-04 | 华东交通大学 | 一种混凝土公路路面裂缝智能检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117876383B (zh) | 2024-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
CN110569696A (zh) | 用于车辆部件识别的神经网络系统、方法和装置 | |
CN117876383B (zh) | 一种基于yolov5l的公路表面条状裂缝检测方法 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
CN111833322B (zh) | 一种基于改进YOLOv3的垃圾多目标检测方法 | |
CN111461212A (zh) | 一种用于点云目标检测模型的压缩方法 | |
CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN113808123B (zh) | 一种基于机器视觉的药液袋动态检测方法 | |
CN111612802B (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
CN114639122A (zh) | 一种基于卷积生成对抗网络的姿态修正行人再识别方法 | |
CN114220086A (zh) | 一种成本高效的场景文字检测方法及系统 | |
CN114283431B (zh) | 一种基于可微分二值化的文本检测方法 | |
CN114170446A (zh) | 一种基于深层融合神经网络的温度、亮度特征提取方法 | |
CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
CN117911697A (zh) | 基于大模型分割的高光谱目标跟踪方法、系统、介质和设备 | |
CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
CN116189130A (zh) | 基于图像标注模型的车道线分割方法及装置 | |
US11755688B2 (en) | Apparatus and method for generating training data for a machine learning system | |
CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
CN115063679A (zh) | 一种基于深度学习的路面质量评估方法 | |
CN118097153B (zh) | 一种用于遥感图像增强优化方法和装置 | |
CN117593648B (zh) | 基于弱监督学习的遥感目标建筑物提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |