CN115049640B - 一种基于深度学习的道路裂缝检测方法 - Google Patents
一种基于深度学习的道路裂缝检测方法 Download PDFInfo
- Publication number
- CN115049640B CN115049640B CN202210953042.1A CN202210953042A CN115049640B CN 115049640 B CN115049640 B CN 115049640B CN 202210953042 A CN202210953042 A CN 202210953042A CN 115049640 B CN115049640 B CN 115049640B
- Authority
- CN
- China
- Prior art keywords
- feature map
- crack
- feature
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013136 deep learning model Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 239000010426 asphalt Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract 1
- 238000002360 preparation method Methods 0.000 abstract 1
- 230000008054 signal transmission Effects 0.000 abstract 1
- 238000004441 surface measurement Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Road Repair (AREA)
Abstract
本发明提供一种基于深度学习的道路裂缝检测方法,属于整地用路面测量及测量信号传输技术领域,包括以下步骤:步骤1,建立路面裂缝数据集,并将裂缝定义为对应类型;步骤2,结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸;步骤3,构建融合注意力和任务解耦的路面裂缝深度学习模型,识别裂缝类别,通过锚框尺寸标识裂缝。发明公开了在特征提取过程中,利用融合注意力机制,在通道和空间维度进行非均匀加权,突出有用信息;同时,基于分治策略将分类和回归任务进行解耦,有效改善裂缝漏检和定位不准的问题,提升了路面裂缝检测精度的同时保证了检测的实时性。
Description
技术领域
本发明涉及计算机视觉检测技术领域,特别涉及一种基于深度学习的道路裂缝检测方法。
背景技术
近年来,我国的公路交通发展迅速,为国民出行带来了极大的便利。与此同时,发达的公路交通体系在其稳定运行和行车舒适性等方面提出了更高的要求。随着我国经济的快速发展,各种重载车辆活动频繁,在长期的行车载荷压作用下极易出现不同类型的道路病害,最常见的就是各种道路裂缝。及时排查并修复路面裂缝及受损区域,能够有效消除道路安全隐患,保证公路交通的稳定运行。由于路面裂缝位置不定、大小不一致以及路面背景复杂等因素,在日常检测中即使耗费大量人力物力,仍极易出现误检和漏检的状况。
为提高路面巡检效率和降低人为主观因素干扰,目前路面检测中大多采用基于机器学习的检测方法,这些方法依赖于手工设计的特征提取器,方法设计较为复杂。而基于图像处理的裂缝检测方法虽然操作简单,但其检测效果受背景噪声干扰严重。因此,这些方法的实际检测效果并不理想,无法满足路面巡检的要求。
发明内容
发明针对路面裂缝漏检和定位不准的问题,提出了一种基于深度学习的道路裂缝检测方法CrackNet,能够准确检测包括横向裂缝、纵向裂缝、龟裂及坑槽在内的四种路面裂缝。
本发明提供一种基于深度学习的道路裂缝检测方法,所述道路裂缝检测方法包括以下步骤:
步骤1,建立路面裂缝数据集,并将裂缝定义为对应类型;
步骤2,结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸;
步骤3,构建融合注意力和任务解耦的路面裂缝深度学习模型,识别裂缝类别,通过锚框尺寸标识裂缝。
更进一步地,在步骤1中,所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。
更进一步地,在步骤2中,使用K-means聚类算法对路面裂缝数据集中包围框尺寸进行聚类,在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸,并根据聚类结果在每个下采样尺度预设3个锚框。
更进一步地,在步骤1中,所述路面裂缝数据集包括多张沥青路面裂缝图像,图像分辨率为2048×1536。
更进一步地,在步骤3中,所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络,还包括以下步骤:
步骤31,在特征提取网络中分别生成80×80×256的特征图和40×40×512的特征图,并通过SPFF模块生成20×20×1024特征图;
步骤32,所述20×20×1024特征图通过卷积生成20×20×512的Y3特征图,所述Y3特征图通过上采样与所述40×40×512的特征图拼接并卷积生成40×40×256的Y2特征图,所述Y2特征图通过上采样与所述80×80×256的特征图拼接并卷积生成80×80×256的Y1特征图;
步骤33,分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权,生成加权Y1特征图、加权Y2特征图和加权Y3特征图;
步骤34,加权Y1特征图通过卷积将特征图调整至80×80×128,加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40×40×256,加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20×20×512;
步骤35,将生成的80×80×128特征图、40×40×256特征图和20×20×512特征图分别输入各自对应的TSDHead模块,TSDHead模块通过预设的9种锚框尺寸,得到裂缝类别、置信度和预设尺寸的回归框坐标;
步骤36,三个TSDHead模块的输出端均连接NMS模块,经NMS模块去除裂缝冗余预测框,得到最终的检测结果。
更进一步地,在步骤33中,所述融合注意力模块对特征图进行多谱通道注意力加
权,将输入特征图沿着通道维度切分为n个特征图块,对每个特征图块利用二
维离散余弦变换2D-DCT提取多谱频率信息后得到特征向量,具体过程如下:
对特征图进行空间注意力加权,沿通道维度分别进行最大池化和平均池化,之
后将最大池化结果与平均池化结果沿通道拼接,使用全连接和Sigmoid激活函数生成空间
权重矩阵;然后,将空间权重矩阵与特征图相乘,得到经融合注意力模块
FAM处理的输出特征图。
更进一步地,在步骤35中,所述TSDHead模块包括并联的分类分支和回归分支;
分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理;深度可分离卷积层包括一个深度卷积层和一个点卷积层,类别预测层中卷积核大小为3×3,通道数为5×3;
回归分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理;类别预测层使用卷积核大小为3×3,通道数4×3。
更进一步地,在步骤31中,所述SPFF模块包括卷积层和三个池化层;
特征图通过卷积参数为k1,s1,p0,c512的卷积层进行处理,输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作,将三次池化结果与卷积后特征图进行通道拼接操作,融合后的特征图再经过卷积参数为k1,s1,p0,c1024的卷积层进行处理,处理后生成尺寸为20×20×1024的特征图。
本发明达到的有益效果是:
发明公开了一种基于融合注意力和任务空间解耦的路面裂缝检测方法,在特征提取过程中,利用融合注意力机制,在通道和空间维度进行非均匀加权,突出有用信息。同时,基于分治策略将分类和回归任务进行解耦,有效改善裂缝漏检和定位不准的问题,提升了路面裂缝检测精度的同时保证了检测的实时性。
本发明提出的方法CrackNet对路面裂缝检测精度高,能够准确预测路面裂缝的类别和位置信息。而且,对光照强度变化和路面阴影等噪声干扰具有较强的鲁棒性,能够满足实际路面巡检的要求。
本发明提出的方法相比YOLOv5检测模型检测速度可达到50FPS,但易出现误检和漏检的问题。本方法为提升裂缝检测精度,嵌入了融合注意力和任务空间分离头模块后,虽然检测速度下降了3FPS,但是仍能达到42FPS,能够满足路面裂缝实时检测的要求。
本发明提出的道路裂缝检测方法不仅能够识别裂缝位置,而且能够根据裂缝的形状特征对其进行分类,具体类别包括:纵向裂缝、横向裂缝、龟裂和坑槽四种类型路面裂缝。
附图说明
图1为本发明实施例提供的一种基于深度学习的道路裂缝检测方法的流程示意图;
图2为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中路面裂缝数据集的示意图;
图3为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中路面裂缝深度学习模型的示意图;
图4为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中切分的示意图;
图5为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中空间金字塔池化层示意图;
图6为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中融合注意力模块的示意图;
图7为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中TSDHead模块的示意图;
图8为本发明实施例提供的一种基于深度学习的道路裂缝检测方法与现有技术检测对比示意图。
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明,本发明包括但不仅限于下述实施例。
如附图1所示,本发明提出了一种基于深度学习的道路裂缝检测方法,具体检测方法包括以下步骤:
步骤1,建立路面裂缝数据集,并将裂缝定义为对应类型。
通过车载高分辨率相机对某城市周边高速公路进行数据采集,采集的图像为真实巡检场景下的路面裂缝图像,共收集1080张沥青路面裂缝图像,图像分辨率为2048×1536。参照相关路面巡检规范,按照VOC数据集标注方式进行数据标注,共计1987个标签,包含纵向裂缝、横向裂缝、龟裂和坑槽四种类型路面裂缝,如附图2所示。
步骤2,结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸。
本方法使用K-means聚类算法对构建的路面裂缝数据集中包围框尺寸进行聚类,在三个下采样尺度(8倍、16倍和32倍)下分别聚类大目标、中等目标和小目标尺寸。根据聚类结果在每个下采样尺度预设3个锚框。
首先需要从数据集中随机选取9个点作为初始聚类的中心。然后,针对数据集中每个样本,计算它们到各个聚类中心点的距离,到哪个聚类中心点的距离最小,就将其划分到对应聚类中心的类中。并针对每个类别,重新计算该类别的聚类中心。一直重复上述过程。聚类的锚框结果如表1所示。最后我们将聚类得到的九个锚框尺寸输入到网络中进行模型的训练和推理。
表1 聚类的锚框尺寸
步骤3,构建融合注意力和任务解耦的路面裂缝深度学习模型,识别裂缝类别,通过锚框尺寸标识裂缝。
如附图3所示,本发明提出路面裂缝深度学习模型(CrackNet),包括特征提取网络(Backbone)、特征融合网络(Neck)和预测网络(Head)。
步骤31,在特征提取网络Backbone中,如附图4所示,利用隔行采样和通道拼接操作将尺寸为640×640×3的路面巡检图像进行切分,生成320×320×12的特征图;再经两层卷积操作后得到尺寸为160×160×128的特征图,第一卷积层的卷积参数为k3,s1,p1,c32,第二卷积层的卷积参数为k3,s2,p1,c128,其中k表示卷积核尺寸,s表示步长,p表示填充,c表示通道数。
160×160×128的特征图依次通过第一C3层、第三卷积层和第二C3层到达P3节点,输出80×80×256的特征图;其中,第三卷积层的卷积参数为k3,s2,p1,c256。
80×80×256的特征图再依次通过第四卷积层和第三C3层到达P4节点,输出40×40×512的特征图,达到降低参数数量、提高运算速度和增强特征提取效果的目的;其中,第四卷积层的卷积参数为k3,s2,p1,c512。
40×40×512的特征图再依次经过第五卷积层和第四C3层,输出20×20×1024的特征图,其中,第四卷积层的卷积参数为k3,s2,p1,c1024。
对20×20×1024的特征图输入SPPF模块进行处理。如附图5所示,在SPPF模块中,首先通过卷积参数为k1,s1,p0,c512的卷积层进行处理,输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作。然后,将三次池化结果与卷积后特征图进行通道拼接操作,融合后的特征图再经过卷积参数为k1,s1,p0,c1024的卷积层进行处理,处理后生成尺寸为20×20×1024的特征图,输入特征融合网络Neck的P6节点。
如附图5所示,本发明中各C3层均采用相同结构,仅具有参数的区别。C3层均包括第一C3卷积层、第二C3卷积层、第三C3卷积层和多个瓶颈层(bottleneck);第一C3卷积层和第二C3卷积层具有相同的输入端,第二C3卷积层连接多个瓶颈层,第一C3卷积层输出特征与多个瓶颈层输出的特征进行拼接,并通过第三卷积层后输出;多个瓶颈层包括第一瓶颈层和第二瓶颈层两种。
在本申请中,第一C3层中,第一C3卷积层参数为k1,s1,p0,c64;第二C3卷积层参数为k1,s1,p0,c64;第三C3卷积层参数为k1,s1,p0,c128;第一C3层包括3层第一瓶颈层。
第二C3层中,第一C3卷积层参数为k1,s1,p0,c128;第二C3卷积层参数为k1,s1,p0,c128;第三C3卷积层参数为k1,s1,p0,c256;第二C3层包括6层第一瓶颈层。
第三C3层中,第一C3卷积层参数为k1,s1,p0,c256;第二C3卷积层参数为k1,s1,p0,c256;第三C3卷积层参数为k1,s1,p0,c512;第三C3层包括9层第一瓶颈层。
第四C3层中,第一C3卷积层参数为k1,s1,p0,c512;第二C3卷积层参数为k1,s1,p0,c512;第三C3卷积层参数为k1,s1,p0,c1024;第四C3层包括3层第一瓶颈层。
第五C3层中,第一C3卷积层参数为k1,s1,p0,c512;第二C3卷积层参数为k1,s1,p0,c512;第三C3卷积层参数为k1,s1,p0,c512;第五C3层包括3层第二瓶颈层。
第六C3层中,第一C3卷积层参数为k1,s1,p0,c256;第二C3卷积层参数为k1,s1,p0,c256;第三C3卷积层参数为k1,s1,p0,c256;第六C3层包括3层第二瓶颈层。
第七C3层中,第一C3卷积层参数为k1,s1,p0,c256;第二C3卷积层参数为k1,s1,p0,c256;第三C3卷积层参数为k1,s1,p0,c512;第七C3层包括3层第二瓶颈层。
第八C3层中,第一C3卷积层参数为k1,s1,p0,c512;第二C3卷积层参数为k1,s1,p0,c512;第三C3卷积层参数为k1,s1,p0,c1024;第八C3层包括3层第二瓶颈层。
第一瓶颈层包括第一瓶颈卷积层和第二瓶颈卷积层,输入特征分别经过第一瓶颈卷积层和第二瓶颈卷积层处理后与输入特征进行数值相加尺寸保持不变。
第二瓶颈层包括第三瓶颈卷积层和第四瓶颈卷积层,特征分别经过第三瓶颈卷积层和第四瓶颈卷积层处理后输出。
步骤32,20×20×1024的特征图通过第六卷积层输出20×20×512的Y3特征图,特征图缩小至20×20×512,便于大尺度目标的检测;第六卷积层的卷积参数为k1,s1,p0,c512。
Y3特征图同时进行上采样,生成40×40×512的特征图,上采样结果与P4节点生成的特征图进行拼接,生成40×40×1024的特征图。
40×40×1024的特征图依次通过第五C3层和第七卷积层到达P8节点,输出40×40×256的Y2特征图,第七卷积层的卷积参数为k1,s1,p0,c256。
Y2特征图同时进行上采样,生成80×80×256的特征图,上采样结果与P3节点生成的特征图进行拼接,生成80×80×512的特征图。80×80×512的特征图在通过第六C3层生成Y1特征图。
步骤33,分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM。
对特征图进行空间注意力加权,沿通道维度分别进行最大池化和平均池化,之
后将最大池化结果与平均池化结果沿通道拼接,使用全连接和Sigmoid激活函数生成空间
权重矩阵。然后,将空间权重矩阵与特征图相乘,得到经融合注意力模块
FAM处理的输出特征图。
步骤34,加权Y1特征图通过第八卷积层到达P12节点,将特征图放调整至80×80×128,第八卷积层的卷积参数为k1,s1,p0,c128。
同时,加权Y1特征图通过第九卷积层与加权Y2特征图进行拼接,并通过第七C3层生成40×40×512的特征图,第九卷积层的卷积参数为k3,s2,p1,c256。
40×40×512的特征图通过第十卷积层到达P13节点,将特征图调整至40×40×256,第十卷积层的卷积参数为k1,s1,p0,c256。
同时,40×40×512的特征图通过第十一卷积层后与加权Y3特征图进行拼接,并通过第八C3层生成20×20×1024的特征图,第十一卷积层的卷积参数为k3,s2,p1,c512。
20×20×1024的特征图的特征图通过第十二卷积层到达P14节点,将特征图调整至20×20×512,第十二卷积层的卷积参数为k1,s1,p0,c512。
步骤35,分别将P12节点的80×80×512特征图、P13节点的40×40×512特征图和P14节点的20×20×512特征图输入各自对应的TSDHead模块,将多尺度预测阶段的分类任务和回归任务解耦,通过添加分类分支和回归分支,使得模型优化方向更加自由,无需在分类和回归两个不同任务之间做平衡。
如附图7所示,在TSDHead模块的分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理。其中,深度可分离卷积层包括一个深度卷积层和一个点卷积层,而类别预测层中卷积核大小为3×3,通道数为5×3。
回归分支结构与分类分支基本一致,但类别预测层使用卷积核大小为3×3,通道数4×3,进行卷积操作。
同时,TSDHead模块通过预设的9种锚框尺寸,特征图经TSDHead模块处理,得到裂缝类别、置信度和预设尺寸的回归框坐标。
步骤36,三个TSDHead模块的输出端均连接NMS模块,经NMS模块去除裂缝冗余预测框,得到最终的检测结果,包括裂缝的类别及锚框。
对本发明提出的道路裂缝检测方法的检测结果分析。
如表2所示,对比了融合注意力FAM和任务空间分离头TSDHead对路面裂缝检测效果的实际增益,实验中保持特征提取网络CSP+SPPF不变。实验结果表明,同时引入FAM和TSDHead模块可有效提升路面裂缝检测效果,检测精度mAP可达到71.0%。
表2 消融实验测试结果
表3 主流路面裂缝检测方法性能对比
如表3所示,对比了本发明中方法CrackNet和其它主流目标检测方法的性能对比。可以看出,本发明中CrackNet方法的检测精度mAP明显优于其它主流检测方法,相较YOLOv5检测方法,mAP提升了5.9%。同时,CrackNet方法的推理速度达到了42FPS,能够满足路面裂缝实时检测的要求。融合注意力和任务解耦的路面裂缝检测应用。
路面裂缝检测方法YOLOv5和CrackNet在实际路面状况下测试效果对比如附图8所示,CrackNet对各种路面状况具有更强鲁棒性,能够准确检测多种路面裂缝。
发明不仅局限于上述具体实施方式,本领域一般技术人员根据实施例和附图公开内容,可以采用其它多种具体实施方式实施本发明,因此,凡是采用本发明的设计结构和思路,做一些简单的变换或更改的设计,都落入本发明保护的范围。
Claims (7)
1.一种基于深度学习的道路裂缝检测方法,其特征在于,所述道路裂缝检测方法包括以下步骤:
步骤1,建立路面裂缝数据集,并将裂缝定义为对应类型;
步骤2,结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸;
步骤3,构建融合注意力和任务解耦的路面裂缝深度学习模型,识别裂缝类别,通过锚框尺寸标识裂缝;
在步骤3中,所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络,还包括以下步骤:
步骤31,在特征提取网络中分别生成80×80×256的特征图和40×40×512的特征图,并通过SPFF模块生成20×20×1024特征图;
步骤32,所述20×20×1024特征图通过卷积生成20×20×512的Y3特征图,所述Y3特征图通过上采样与所述40×40×512的特征图拼接并卷积生成40×40×256的Y2特征图,所述Y2特征图通过上采样与所述80×80×256的特征图拼接并卷积生成80×80×256的Y1特征图;
步骤33,分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权,生成加权Y1特征图、加权Y2特征图和加权Y3特征图;
步骤34,加权Y1特征图通过卷积将特征图调整至80×80×128,加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40×40×256,加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20×20×512;
步骤35,将生成的80×80×128特征图、40×40×256特征图和20×20×512特征图分别输入各自对应的TSDHead模块,TSDHead模块通过预设的9种锚框尺寸,得到裂缝类别、置信度和预设尺寸的回归框坐标;
步骤36,三个TSDHead模块的输出端均连接NMS模块,经NMS模块去除裂缝冗余预测框,得到最终的检测结果。
2.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤1中,所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。
3.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤2中,使用K-means聚类算法对路面裂缝数据集中包围框尺寸进行聚类,在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸,并根据聚类结果在每个下采样尺度预设3个锚框。
4.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤1中,所述路面裂缝数据集包括多张沥青路面裂缝图像,图像分辨率为2048×1536。
5.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤33中,所述融合注意力模块对特征图进行多谱通道注意力加权,将输入特征图沿着通道维度切分为n个特征图块,对每个特征图块利用二维离散余弦变换2D-DCT提取多谱频率信息后得到特征向量,具体过程如下:
6.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤35中,所述TSDHead模块包括并联的分类分支和回归分支;
分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理;深度可分离卷积层包括一个深度卷积层和一个点卷积层,类别预测层中卷积核大小为3×3,通道数为5×3;
回归分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理;类别预测层使用卷积核大小为3×3,通道数4×3。
7.根据权利要求1所述基于深度学习的道路裂缝检测方法,其特征在于,在步骤31中,所述SPFF模块包括卷积层和三个池化层;
特征图通过卷积参数为k1,s1,p0,c512的卷积层进行处理,输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作,将三次池化结果与卷积后特征图进行通道拼接操作,融合后的特征图再经过卷积参数为k1,s1,p0,c1024的卷积层进行处理,处理后生成尺寸为20×20×1024的特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210953042.1A CN115049640B (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的道路裂缝检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210953042.1A CN115049640B (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的道路裂缝检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049640A CN115049640A (zh) | 2022-09-13 |
CN115049640B true CN115049640B (zh) | 2022-11-04 |
Family
ID=83168031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210953042.1A Active CN115049640B (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的道路裂缝检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049640B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953405B (zh) * | 2023-03-14 | 2023-05-26 | 中国科学院计算机网络信息中心 | 一种面向增强现实设备的桥梁裂缝识别方法及装置 |
CN116523888B (zh) * | 2023-05-08 | 2023-11-03 | 北京天鼎殊同科技有限公司 | 路面裂缝的检测方法、装置、设备及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316064B (zh) * | 2017-06-26 | 2020-07-14 | 长安大学 | 一种基于卷积神经网络的沥青路面裂缝分类识别方法 |
US11810364B2 (en) * | 2020-08-10 | 2023-11-07 | Volvo Car Corporation | Automated road damage detection |
CN112465746B (zh) * | 2020-11-02 | 2024-03-05 | 新疆天维无损检测有限公司 | 一种射线底片中小缺陷检测方法 |
CN114359130B (zh) * | 2021-11-09 | 2024-09-17 | 上海海洋大学 | 一种基于无人机影像的道路裂缝检测方法 |
CN114596266B (zh) * | 2022-02-25 | 2023-04-07 | 烟台大学 | 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法 |
CN114821286A (zh) * | 2022-05-16 | 2022-07-29 | 西南石油大学 | 一种基于图像增强的轻量化水下目标检测方法和系统 |
-
2022
- 2022-08-10 CN CN202210953042.1A patent/CN115049640B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115049640A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255334B (zh) | 基于深度学习语义分割网络的遥感影像地物分类方法 | |
CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
CN115049640B (zh) | 一种基于深度学习的道路裂缝检测方法 | |
CN107527352B (zh) | 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法 | |
CN102567979B (zh) | 车载红外夜视系统及其多源图像融合方法 | |
CN110263717B (zh) | 一种融入街景影像的土地利用类别确定方法 | |
CN111428781A (zh) | 遥感影像地物分类方法及系统 | |
CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
CN111914909B (zh) | 基于空谱联合三方向卷积网络的高光谱变化检测方法 | |
EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
CN114067219A (zh) | 一种基于语义分割与超像素分割融合的农田作物识别方法 | |
CN117876836B (zh) | 基于多尺度特征提取和目标重建的图像融合方法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN113673556A (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
CN115937736A (zh) | 基于注意力和上下文感知的小目标检测方法 | |
CN116824543A (zh) | 一种基于od-yolo的自动驾驶目标检测方法 | |
CN118015496A (zh) | 基于YOLOv7神经网络的无人机航拍小目标检测方法 | |
CN112989919B (zh) | 一种从影像中提取目标对象的方法及系统 | |
CN116503677B (zh) | 一种湿地分类信息提取方法、系统、电子设备及存储介质 | |
CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
CN111626175B (zh) | 基于深度卷积神经网络的轴型识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |