CN115049640A - 一种基于深度学习的道路裂缝检测方法 - Google Patents

一种基于深度学习的道路裂缝检测方法 Download PDF

Info

Publication number
CN115049640A
CN115049640A CN202210953042.1A CN202210953042A CN115049640A CN 115049640 A CN115049640 A CN 115049640A CN 202210953042 A CN202210953042 A CN 202210953042A CN 115049640 A CN115049640 A CN 115049640A
Authority
CN
China
Prior art keywords
feature map
feature
crack
convolution
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210953042.1A
Other languages
English (en)
Other versions
CN115049640B (zh
Inventor
张晓鹏
赵锐
白静波
尚文
夏彦
马飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd filed Critical Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority to CN202210953042.1A priority Critical patent/CN115049640B/zh
Publication of CN115049640A publication Critical patent/CN115049640A/zh
Application granted granted Critical
Publication of CN115049640B publication Critical patent/CN115049640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Road Repair (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的道路裂缝检测方法，属于整地用路面测量及测量信号传输技术领域，包括以下步骤：步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。发明公开了在特征提取过程中，利用融合注意力机制，在通道和空间维度进行非均匀加权，突出有用信息；同时，基于分治策略将分类和回归任务进行解耦，有效改善裂缝漏检和定位不准的问题，提升了路面裂缝检测精度的同时保证了检测的实时性。

Description

一种基于深度学习的道路裂缝检测方法
技术领域
本发明涉及计算机视觉检测技术领域，特别涉及一种基于深度学习的道路裂缝检测方法。
背景技术
近年来，我国的公路交通发展迅速，为国民出行带来了极大的便利。与此同时，发达的公路交通体系在其稳定运行和行车舒适性等方面提出了更高的要求。随着我国经济的快速发展，各种重载车辆活动频繁，在长期的行车载荷压作用下极易出现不同类型的道路病害，最常见的就是各种道路裂缝。及时排查并修复路面裂缝及受损区域，能够有效消除道路安全隐患，保证公路交通的稳定运行。由于路面裂缝位置不定、大小不一致以及路面背景复杂等因素，在日常检测中即使耗费大量人力物力，仍极易出现误检和漏检的状况。
为提高路面巡检效率和降低人为主观因素干扰，目前路面检测中大多采用基于机器学习的检测方法，这些方法依赖于手工设计的特征提取器，方法设计较为复杂。而基于图像处理的裂缝检测方法虽然操作简单，但其检测效果受背景噪声干扰严重。因此，这些方法的实际检测效果并不理想，无法满足路面巡检的要求。
发明内容
发明针对路面裂缝漏检和定位不准的问题，提出了一种基于深度学习的道路裂缝检测方法CrackNet，能够准确检测包括横向裂缝、纵向裂缝、龟裂及坑槽在内的四种路面裂缝。
本发明提供一种基于深度学习的道路裂缝检测方法，所述道路裂缝检测方法包括以下步骤：
步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；
步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；
步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。
更进一步地，在步骤1中，所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。
更进一步地，在步骤2中，使用K-means聚类算法对路面裂缝数据集中包围框尺寸进行聚类，在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸，并根据聚类结果在每个下采样尺度预设3个锚框。
更进一步地，在步骤1中，所述路面裂缝数据集包括多张沥青路面裂缝图像，图像分辨率为2048×1536。
更进一步地，在步骤3中，所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络，还包括以下步骤：
步骤31，在特征提取网络中分别生成80×80×256的特征图和40×40×512的特征图，并通过SPFF模块生成20×20×1024特征图；
步骤32，所述20×20×1024特征图通过卷积生成20×20×512的Y3特征图，所述Y3特征图通过上采样与所述40×40×512的特征图拼接并卷积生成40×40×256的Y2特征图，所述Y2特征图通过上采样与所述80×80×256的特征图拼接并卷积生成80×80×256的Y1特征图；
步骤33，分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权，生成加权Y1特征图、加权Y2特征图和加权Y3特征图；
步骤34，加权Y1特征图通过卷积将特征图调整至80×80×128，加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40×40×256，加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20×20×512；
步骤35，将生成的80×80×128特征图、40×40×256特征图和20×20×512特征图分别输入各自对应的TSDHead模块，TSDHead模块通过预设的9种锚框尺寸，得到裂缝类别、置信度和预设尺寸的回归框坐标；
步骤36，三个TSDHead模块的输出端均连接NMS模块，经NMS模块去除裂缝冗余预测框，得到最终的检测结果。
更进一步地，在步骤33中，所述融合注意力模块对特征图进行多谱通道注意力加 权，将输入特征图
Figure 247708DEST_PATH_IMAGE001
沿着通道维度切分为n个特征图块，对每个特征图块
Figure 538749DEST_PATH_IMAGE002
利 用二维离散余弦变换2D-DCT提取多谱频率信息后得到特征向量
Figure 521749DEST_PATH_IMAGE003
，具体过程 如下：
Figure 589062DEST_PATH_IMAGE004
Figure 606697DEST_PATH_IMAGE005
其中，
Figure 632421DEST_PATH_IMAGE006
为特征图的高，
Figure 866831DEST_PATH_IMAGE007
是从0到
Figure 534573DEST_PATH_IMAGE008
里面的具体一个数组，
Figure 406714DEST_PATH_IMAGE009
为特征图的宽，
Figure 868919DEST_PATH_IMAGE010
是从0到
Figure 92090DEST_PATH_IMAGE011
里面的具体一个数组，
Figure 297944DEST_PATH_IMAGE012
分别表示特征图块
Figure 290171DEST_PATH_IMAGE002
的二维索引，
Figure 188856DEST_PATH_IMAGE013
表示对每 个特征图块
Figure 443864DEST_PATH_IMAGE002
在通道纬度都取，长度为
Figure 873315DEST_PATH_IMAGE014
；
然后将特征向量
Figure 720048DEST_PATH_IMAGE015
沿通道维度拼接，得到多谱频率信息
Figure 258477DEST_PATH_IMAGE016
；再经 全连接层和sigmoid激活函数得到通道权重系数矩阵
Figure 925082DEST_PATH_IMAGE017
，最后与特征图X相 乘，得到经多谱通道注意力加权后的特征图
Figure 908956DEST_PATH_IMAGE018
；
对特征图
Figure 875775DEST_PATH_IMAGE018
进行空间注意力加权，沿通道维度分别进行最大池化和平均池化，之 后将最大池化结果与平均池化结果沿通道拼接，使用全连接和Sigmoid激活函数生成空间 权重矩阵
Figure 850684DEST_PATH_IMAGE019
；然后，将空间权重矩阵
Figure 473426DEST_PATH_IMAGE020
与特征图
Figure 57729DEST_PATH_IMAGE018
相乘，得到经融合注意 力模块FAM处理的输出特征图
Figure 879055DEST_PATH_IMAGE021
。
更进一步地，在步骤35中，所述TSDHead模块包括并联的分类分支和回归分支；
分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；深度可分离卷积层包括一个深度卷积层和一个点卷积层，类别预测层中卷积核大小为3×3，通道数为5×3；
回归分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；类别预测层使用卷积核大小为3×3，通道数4×3。
更进一步地，在步骤31中，所述SPFF模块包括卷积层和三个池化层；
特征图通过卷积参数为k1，s1，p0，c512的卷积层进行处理，输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作，将三次池化结果与卷积后特征图进行通道拼接操作，融合后的特征图再经过卷积参数为k1，s1，p0，c1024的卷积层进行处理，处理后生成尺寸为20×20×1024的特征图。
本发明达到的有益效果是：
发明公开了一种基于融合注意力和任务空间解耦的路面裂缝检测方法，在特征提取过程中，利用融合注意力机制，在通道和空间维度进行非均匀加权，突出有用信息。同时，基于分治策略将分类和回归任务进行解耦，有效改善裂缝漏检和定位不准的问题，提升了路面裂缝检测精度的同时保证了检测的实时性。
本发明提出的方法CrackNet对路面裂缝检测精度高，能够准确预测路面裂缝的类别和位置信息。而且，对光照强度变化和路面阴影等噪声干扰具有较强的鲁棒性，能够满足实际路面巡检的要求。
本发明提出的方法相比YOLOv5检测模型检测速度可达到50FPS，但易出现误检和漏检的问题。本方法为提升裂缝检测精度，嵌入了融合注意力和任务空间分离头模块后，虽然检测速度下降了3FPS,但是仍能达到42FPS,能够满足路面裂缝实时检测的要求。
本发明提出的道路裂缝检测方法不仅能够识别裂缝位置，而且能够根据裂缝的形状特征对其进行分类，具体类别包括：纵向裂缝、横向裂缝、龟裂和坑槽四种类型路面裂缝。
附图说明
图1为本发明实施例提供的一种基于深度学习的道路裂缝检测方法的流程示意图；
图2为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中路面裂缝数据集的示意图；
图3为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中路面裂缝深度学习模型的示意图；
图4为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中切分的示意图；
图5为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中空间金字塔池化层示意图；
图6为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中融合注意力模块的示意图；
图7为本发明实施例提供的一种基于深度学习的道路裂缝检测方法中TSDHead模块的示意图；
图8为本发明实施例提供的一种基于深度学习的道路裂缝检测方法与现有技术检测对比示意图。
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
如附图1所示，本发明提出了一种基于深度学习的道路裂缝检测方法，具体检测方法包括以下步骤：
步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型。
通过车载高分辨率相机对某城市周边高速公路进行数据采集，采集的图像为真实巡检场景下的路面裂缝图像，共收集1080张沥青路面裂缝图像，图像分辨率为2048×1536。参照相关路面巡检规范，按照VOC数据集标注方式进行数据标注，共计1987个标签，包含纵向裂缝、横向裂缝、龟裂和坑槽四种类型路面裂缝，如附图2所示。
步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸。
本方法使用K-means聚类算法对构建的路面裂缝数据集中包围框尺寸进行聚类，在三个下采样尺度（8倍、16倍和32倍）下分别聚类大目标、中等目标和小目标尺寸。根据聚类结果在每个下采样尺度预设3个锚框。
首先需要从数据集中随机选取9个点作为初始聚类的中心。然后，针对数据集中每个样本，计算它们到各个聚类中心点的距离，到哪个聚类中心点的距离最小，就将其划分到对应聚类中心的类中。并针对每个类别，重新计算该类别的聚类中心。一直重复上述过程。聚类的锚框结果如表1所示。最后我们将聚类得到的九个锚框尺寸输入到网络中进行模型的训练和推理。
Figure 290444DEST_PATH_IMAGE022
表1 聚类的锚框尺寸
步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。
如附图3所示，本发明提出路面裂缝深度学习模型（CrackNet），包括特征提取网络（Backbone）、特征融合网络（Neck）和预测网络（Head）。
步骤31，在特征提取网络Backbone中，如附图4所示，利用隔行采样和通道拼接操作将尺寸为640×640×3的路面巡检图像进行切分，生成320×320×12的特征图；再经两层卷积操作后得到尺寸为160×160×128的特征图，第一卷积层的卷积参数为k3，s1，p1，c32，第二卷积层的卷积参数为k3，s2，p1，c128，其中k表示卷积核尺寸，s表示步长，p表示填充，c表示通道数。
160×160×128的特征图依次通过第一C3层、第三卷积层和第二C3层到达P3节点，输出80×80×256的特征图；其中，第三卷积层的卷积参数为k3，s2，p1，c256。
80×80×256的特征图再依次通过第四卷积层和第三C3层到达P4节点，输出40×40×512的特征图，达到降低参数数量、提高运算速度和增强特征提取效果的目的；其中，第四卷积层的卷积参数为k3，s2，p1，c512。
40×40×512的特征图再依次经过第五卷积层和第四C3层，输出20×20×1024的特征图，其中，第四卷积层的卷积参数为k3，s2，p1，c1024。
对20×20×1024的特征图输入SPPF模块进行处理。如附图5所示，在SPPF模块中，首先通过卷积参数为k1，s1，p0，c512的卷积层进行处理，输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作。然后，将三次池化结果与卷积后特征图进行通道拼接操作，融合后的特征图再经过卷积参数为k1，s1，p0，c1024的卷积层进行处理，处理后生成尺寸为20×20×1024的特征图，输入特征融合网络Neck的P6节点。
如附图5所示，本发明中各C3层均采用相同结构，仅具有参数的区别。C3层均包括第一C3卷积层、第二C3卷积层、第三C3卷积层和多个瓶颈层（bottleneck）；第一C3卷积层和第二C3卷积层具有相同的输入端，第二C3卷积层连接多个瓶颈层，第一C3卷积层输出特征与多个瓶颈层输出的特征进行拼接，并通过第三卷积层后输出；多个瓶颈层包括第一瓶颈层和第二瓶颈层两种。
在本申请中，第一C3层中，第一C3卷积层参数为k1，s1，p0，c64；第二C3卷积层参数为k1，s1，p0，c64；第三C3卷积层参数为k1，s1，p0，c128；第一C3层包括3层第一瓶颈层。
第二C3层中，第一C3卷积层参数为k1，s1，p0，c128；第二C3卷积层参数为k1，s1，p0，c128；第三C3卷积层参数为k1，s1，p0，c256；第二C3层包括6层第一瓶颈层。
第三C3层中，第一C3卷积层参数为k1，s1，p0，c256；第二C3卷积层参数为k1，s1，p0，c256；第三C3卷积层参数为k1，s1，p0，c512；第三C3层包括9层第一瓶颈层。
第四C3层中，第一C3卷积层参数为k1，s1，p0，c512；第二C3卷积层参数为k1，s1，p0，c512；第三C3卷积层参数为k1，s1，p0，c1024；第四C3层包括3层第一瓶颈层。
第五C3层中，第一C3卷积层参数为k1，s1，p0，c512；第二C3卷积层参数为k1，s1，p0，c512；第三C3卷积层参数为k1，s1，p0，c512；第五C3层包括3层第二瓶颈层。
第六C3层中，第一C3卷积层参数为k1，s1，p0，c256；第二C3卷积层参数为k1，s1，p0，c256；第三C3卷积层参数为k1，s1，p0，c256；第六C3层包括3层第二瓶颈层。
第七C3层中，第一C3卷积层参数为k1，s1，p0，c256；第二C3卷积层参数为k1，s1，p0，c256；第三C3卷积层参数为k1，s1，p0，c512；第七C3层包括3层第二瓶颈层。
第八C3层中，第一C3卷积层参数为k1，s1，p0，c512；第二C3卷积层参数为k1，s1，p0，c512；第三C3卷积层参数为k1，s1，p0，c1024；第八C3层包括3层第二瓶颈层。
第一瓶颈层包括第一瓶颈卷积层和第二瓶颈卷积层，输入特征分别经过第一瓶颈卷积层和第二瓶颈卷积层处理后与输入特征进行数值相加尺寸保持不变。
第二瓶颈层包括第三瓶颈卷积层和第四瓶颈卷积层，特征分别经过第三瓶颈卷积层和第四瓶颈卷积层处理后输出。
步骤32，20×20×1024的特征图通过第六卷积层输出20×20×512的Y3特征图，特征图缩小至20×20×512，便于大尺度目标的检测；第六卷积层的卷积参数为k1，s1，p0，c512。
Y3特征图同时进行上采样，生成40×40×512的特征图，上采样结果与P4节点生成的特征图进行拼接，生成40×40×1024的特征图。
40×40×1024的特征图依次通过第五C3层和第七卷积层到达P8节点，输出40×40×256的Y2特征图，第七卷积层的卷积参数为k1，s1，p0，c256。
Y2特征图同时进行上采样，生成80×80×256的特征图，上采样结果与P3节点生成的特征图进行拼接，生成80×80×512的特征图。80×80×512的特征图在通过第六C3层生成Y1特征图。
步骤33，分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM。
如附图6所示，融合注意力模块对特征图进行多谱通道注意力加权，将输入特征图
Figure 197221DEST_PATH_IMAGE001
沿着通道维度切分为n个特征图块，对每个特征图块
Figure 86679DEST_PATH_IMAGE002
利用二维离散余弦变 换2D-DCT提取多谱频率信息后得到特征向量
Figure 28090DEST_PATH_IMAGE003
，具体过程如下。
Figure 610381DEST_PATH_IMAGE004
(1)
Figure 4454DEST_PATH_IMAGE023
(2)
其中，
Figure 219576DEST_PATH_IMAGE006
为特征图的高，
Figure 749914DEST_PATH_IMAGE007
是从0到
Figure 503107DEST_PATH_IMAGE008
里面的具体一个数组，
Figure 384475DEST_PATH_IMAGE009
为特征图的宽，
Figure 615736DEST_PATH_IMAGE010
是从0到
Figure 266160DEST_PATH_IMAGE011
里面的具体一个数组，
Figure 924675DEST_PATH_IMAGE012
分别表示特征图块
Figure 791874DEST_PATH_IMAGE002
的二维索引，
Figure 826827DEST_PATH_IMAGE013
表示对每 个特征图块
Figure 331757DEST_PATH_IMAGE002
在通道纬度都取，长度为
Figure 161173DEST_PATH_IMAGE014
。
然后将特征向量
Figure 17134DEST_PATH_IMAGE015
沿通道维度拼接，得到多谱频率信息
Figure 855777DEST_PATH_IMAGE016
。再经 全连接层和sigmoid激活函数得到通道权重系数矩阵
Figure 215214DEST_PATH_IMAGE017
，最后与特征图X相 乘，得到经多谱通道注意力加权后的特征图
Figure 55344DEST_PATH_IMAGE018
。
对特征图
Figure 601863DEST_PATH_IMAGE018
进行空间注意力加权，沿通道维度分别进行最大池化和平均池化，之 后将最大池化结果与平均池化结果沿通道拼接，使用全连接和Sigmoid激活函数生成空间 权重矩阵
Figure 742732DEST_PATH_IMAGE019
。然后，将空间权重矩阵
Figure 956676DEST_PATH_IMAGE020
与特征图
Figure 393473DEST_PATH_IMAGE018
相乘，得到经融合注意 力模块FAM处理的输出特征图
Figure 161709DEST_PATH_IMAGE021
。
步骤34，加权Y1特征图通过第八卷积层到达P12节点，将特征图放调整至80×80×128，第八卷积层的卷积参数为k1，s1，p0，c128。
同时，加权Y1特征图通过第九卷积层与加权Y2特征图进行拼接，并通过第七C3层生成40×40×512的特征图，第九卷积层的卷积参数为k3，s2，p1，c256。
40×40×512的特征图通过第十卷积层到达P13节点，将特征图调整至40×40×256，第十卷积层的卷积参数为k1，s1，p0，c256。
同时，40×40×512的特征图通过第十一卷积层后与加权Y3特征图进行拼接，并通过第八C3层生成20×20×1024的特征图，第十一卷积层的卷积参数为k3，s2，p1，c512。
20×20×1024的特征图的特征图通过第十二卷积层到达P14节点，将特征图调整至20×20×512，第十二卷积层的卷积参数为k1，s1，p0，c512。
步骤35，分别将P12节点的80×80×512特征图、P13节点的40×40×512特征图和P14节点的20×20×512特征图输入各自对应的TSDHead模块，将多尺度预测阶段的分类任务和回归任务解耦，通过添加分类分支和回归分支，使得模型优化方向更加自由，无需在分类和回归两个不同任务之间做平衡。
如附图7所示，在TSDHead模块的分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理。其中，深度可分离卷积层包括一个深度卷积层和一个点卷积层，而类别预测层中卷积核大小为3×3，通道数为5×3。
回归分支结构与分类分支基本一致，但类别预测层使用卷积核大小为3×3，通道数4×3，进行卷积操作。
同时，TSDHead模块通过预设的9种锚框尺寸，特征图经TSDHead模块处理，得到裂缝类别、置信度和预设尺寸的回归框坐标。
步骤36，三个TSDHead模块的输出端均连接NMS模块，经NMS模块去除裂缝冗余预测框，得到最终的检测结果，包括裂缝的类别及锚框。
对本发明提出的道路裂缝检测方法的检测结果分析。
如表2所示，对比了融合注意力FAM和任务空间分离头TSDHead对路面裂缝检测效果的实际增益，实验中保持特征提取网络CSP+SPPF不变。实验结果表明，同时引入FAM和TSDHead模块可有效提升路面裂缝检测效果，检测精度mAP可达到71.0%。
Figure 76576DEST_PATH_IMAGE024
表2 消融实验测试结果
Figure 112402DEST_PATH_IMAGE025
表3 主流路面裂缝检测方法性能对比
如表3所示，对比了本发明中方法CrackNet和其它主流目标检测方法的性能对比。可以看出，本发明中CrackNet方法的检测精度mAP明显优于其它主流检测方法，相较YOLOv5检测方法，mAP提升了5.9%。同时，CrackNet方法的推理速度达到了42FPS，能够满足路面裂缝实时检测的要求。融合注意力和任务解耦的路面裂缝检测应用。
路面裂缝检测方法YOLOv5和CrackNet在实际路面状况下测试效果对比如附图8所示，CrackNet对各种路面状况具有更强鲁棒性，能够准确检测多种路面裂缝。
发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。

Claims (8)

1.一种基于深度学习的道路裂缝检测方法，其特征在于，所述道路裂缝检测方法包括以下步骤：
步骤1，建立路面裂缝数据集，并将裂缝定义为对应类型；
步骤2，结合路面裂缝数据集中裂缝几何特征设计裂缝的预设锚框尺寸；
步骤3，构建融合注意力和任务解耦的路面裂缝深度学习模型，识别裂缝类别，通过锚框尺寸标识裂缝。
2.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤1中，所述路面裂缝数据集对裂缝分为纵向裂缝、横向裂缝、龟裂和坑槽四种类型。
3.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤2中，使用K-means聚类算法对路面裂缝数据集中包围框尺寸进行聚类，在8倍、16倍和32倍采样尺度下分别聚类大目标、中等目标和小目标尺寸，并根据聚类结果在每个下采样尺度预设3个锚框。
4.根据权利要求1所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤1中，所述路面裂缝数据集包括多张沥青路面裂缝图像，图像分辨率为2048×1536。
5.根据权利要求4所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤3中，所述路面裂缝深度学习模型包括特征提取网络、特征融合网络和预测网络，还包括以下步骤：
步骤31，在特征提取网络中分别生成80×80×256的特征图和40×40×512的特征图，并通过SPFF模块生成20×20×1024特征图；
步骤32，所述20×20×1024特征图通过卷积生成20×20×512的Y3特征图，所述Y3特征图通过上采样与所述40×40×512的特征图拼接并卷积生成40×40×256的Y2特征图，所述Y2特征图通过上采样与所述80×80×256的特征图拼接并卷积生成80×80×256的Y1特征图；
步骤33，分别将Y1特征图、Y2特征图和Y3特征图输入融合注意力模块FAM进行加权，生成加权Y1特征图、加权Y2特征图和加权Y3特征图；
步骤34，加权Y1特征图通过卷积将特征图调整至80×80×128，加权Y1特征图通过卷积与加权Y2特征图进行拼接再进行卷积将特征图调整至40×40×256，加权Y1特征图通过卷积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20×20×512；
步骤35，将生成的80×80×128特征图、40×40×256特征图和20×20×512特征图分别输入各自对应的TSDHead模块，TSDHead模块通过预设的9种锚框尺寸，得到裂缝类别、置信度和预设尺寸的回归框坐标；
步骤36，三个TSDHead模块的输出端均连接NMS模块，经NMS模块去除裂缝冗余预测框，得到最终的检测结果。
6.根据权利要求5所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤33中， 所述融合注意力模块对特征图进行多谱通道注意力加权，将输入特征图
Figure 99230DEST_PATH_IMAGE001
沿着 通道维度切分为n个特征图块，对每个特征图块
Figure 709203DEST_PATH_IMAGE002
利用二维离散余弦变换2D-DCT提取多谱 频率信息后得到特征向量
Figure 472760DEST_PATH_IMAGE003
，具体过程如下：
Figure 775565DEST_PATH_IMAGE004
Figure 991783DEST_PATH_IMAGE005
其中，
Figure 405447DEST_PATH_IMAGE006
为特征图的高，
Figure 23510DEST_PATH_IMAGE007
是从0到
Figure 231637DEST_PATH_IMAGE008
里面的具体一个数组，
Figure 935151DEST_PATH_IMAGE009
为特征图的宽，
Figure 886926DEST_PATH_IMAGE010
是 从0到
Figure 625075DEST_PATH_IMAGE011
里面的具体一个数组，
Figure 4104DEST_PATH_IMAGE012
分别表示特征图块
Figure 460493DEST_PATH_IMAGE002
的二维索引，
Figure 950380DEST_PATH_IMAGE013
表示对每个特 征图块
Figure 277456DEST_PATH_IMAGE002
在通道纬度都取，长度为
Figure 827386DEST_PATH_IMAGE014
；
然后将特征向量
Figure 505493DEST_PATH_IMAGE015
沿通道维度拼接，得到多谱频率信息
Figure 64650DEST_PATH_IMAGE016
；再经全连 接层和sigmoid激活函数得到通道权重系数矩阵
Figure 777391DEST_PATH_IMAGE017
，最后与特征图X相乘，得 到经多谱通道注意力加权后的特征图
Figure 498222DEST_PATH_IMAGE018
；
对特征图
Figure 194783DEST_PATH_IMAGE018
进行空间注意力加权，沿通道维度分别进行最大池化和平均池化，之后将 最大池化结果与平均池化结果沿通道拼接，使用全连接和Sigmoid激活函数生成空间权重 矩阵
Figure 26473DEST_PATH_IMAGE019
；然后，将空间权重矩阵
Figure 187195DEST_PATH_IMAGE020
与特征图
Figure 344507DEST_PATH_IMAGE018
相乘，得到经融合注意力模 块FAM处理的输出特征图
Figure 997206DEST_PATH_IMAGE021
。
7.根据权利要求5所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤35中，所述TSDHead模块包括并联的分类分支和回归分支；
分类分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；深度可分离卷积层包括一个深度卷积层和一个点卷积层，类别预测层中卷积核大小为3×3，通道数为5×3；
回归分支中特征图依次经过4个深度可分离卷积层和1个类别预测层处理；类别预测层使用卷积核大小为3×3，通道数4×3。
8.根据权利要求5所述基于深度学习的道路裂缝检测方法，其特征在于，在步骤31中，所述SPFF模块包括卷积层和三个池化层；
特征图通过卷积参数为k1，s1，p0，c512的卷积层进行处理，输出的特征图再做三次滑动窗口分别为5、9和13的最大池化操作，将三次池化结果与卷积后特征图进行通道拼接操作，融合后的特征图再经过卷积参数为k1，s1，p0，c1024的卷积层进行处理，处理后生成尺寸为20×20×1024的特征图。
CN202210953042.1A 2022-08-10 2022-08-10 一种基于深度学习的道路裂缝检测方法 Active CN115049640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210953042.1A CN115049640B (zh) 2022-08-10 2022-08-10 一种基于深度学习的道路裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210953042.1A CN115049640B (zh) 2022-08-10 2022-08-10 一种基于深度学习的道路裂缝检测方法

Publications (2)

Publication Number Publication Date
CN115049640A true CN115049640A (zh) 2022-09-13
CN115049640B CN115049640B (zh) 2022-11-04

Family

ID=83168031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210953042.1A Active CN115049640B (zh) 2022-08-10 2022-08-10 一种基于深度学习的道路裂缝检测方法

Country Status (1)

Country Link
CN (1) CN115049640B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953405A (zh) * 2023-03-14 2023-04-11 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN116523888A (zh) * 2023-05-08 2023-08-01 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316064A (zh) * 2017-06-26 2017-11-03 长安大学 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN112465746A (zh) * 2020-11-02 2021-03-09 新疆天维无损检测有限公司 一种射线底片中小缺陷检测方法
US20220044034A1 (en) * 2020-08-10 2022-02-10 Volvo Car Corporation Automated road damage detection
CN114359130A (zh) * 2021-11-09 2022-04-15 上海海洋大学 一种基于无人机影像的道路裂缝检测方法
CN114596266A (zh) * 2022-02-25 2022-06-07 烟台大学 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
CN114821286A (zh) * 2022-05-16 2022-07-29 西南石油大学 一种基于图像增强的轻量化水下目标检测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316064A (zh) * 2017-06-26 2017-11-03 长安大学 一种基于卷积神经网络的沥青路面裂缝分类识别方法
US20220044034A1 (en) * 2020-08-10 2022-02-10 Volvo Car Corporation Automated road damage detection
CN112465746A (zh) * 2020-11-02 2021-03-09 新疆天维无损检测有限公司 一种射线底片中小缺陷检测方法
CN114359130A (zh) * 2021-11-09 2022-04-15 上海海洋大学 一种基于无人机影像的道路裂缝检测方法
CN114596266A (zh) * 2022-02-25 2022-06-07 烟台大学 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
CN114821286A (zh) * 2022-05-16 2022-07-29 西南石油大学 一种基于图像增强的轻量化水下目标检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TONG WANG等: "Enhanced Task-Aware Spatial Disentanglement Head for Oil Tanks Detection in High-Resolution Optical Imagery", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
彭雨诺等: "基于改进YOLO的双网络桥梁表观病害快速检测算法", 《自动化学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953405A (zh) * 2023-03-14 2023-04-11 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN115953405B (zh) * 2023-03-14 2023-05-26 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN116523888A (zh) * 2023-05-08 2023-08-01 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质
CN116523888B (zh) * 2023-05-08 2023-11-03 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115049640B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN109087274B (zh) 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN107527352B (zh) 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN109493320B (zh) 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN112287807A (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN114898089B (zh) 一种融合高分影像和poi数据的功能区提取与分类方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN113313081B (zh) 融合车载三维激光点云与影像的道路交通杆状物分类方法
Yin et al. Road Damage Detection and Classification based on Multi-level Feature Pyramids.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant