CN116523888A - 路面裂缝的检测方法、装置、设备及介质 - Google Patents
路面裂缝的检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116523888A CN116523888A CN202310513021.2A CN202310513021A CN116523888A CN 116523888 A CN116523888 A CN 116523888A CN 202310513021 A CN202310513021 A CN 202310513021A CN 116523888 A CN116523888 A CN 116523888A
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- feature
- feature fusion
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 230000004927 fusion Effects 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域，尤其涉及一种路面裂缝的检测方法、装置、设备及介质。该方法通过对特征提取结构和特征融合结构进行针对性优化，具体通过结合残差块和深度卷积模块实现算法的轻量化，在减少参数量和计算量的情况下保证特征提取过程中裂缝特征信息的完整度；并且利用卷积注意力模块实现对裂缝特征信息的自适应加权，以有效强化路面裂缝的表征。如此，上述深度学习网络既增强了裂缝特征检测能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝的检测结果，进而能够有效提高裂缝检测性能和识别精度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种路面裂缝的检测方法、装置、设备及介质。
背景技术
公路作为国民基础设施的重要组成部分，已然成为现代社会发展的命脉。受交通载荷、施工缺陷、环境气候条件等不利因素影响，公路频繁出现以裂缝为主的表面裂缝，严重地影响行驶质量和行车安全。传统的路面裂缝的巡检是由养护人员沿着道路获取路面裂缝信息，不仅效率低而且成本高。
随着计算机技术、机器学习技术等发展，深度学习凭借其优异的裂缝裂缝特征检测能力，广泛运用于公路裂缝智能巡检领域。然而，相关检测模型在提取路面裂缝的特征信息时存在裂缝检测性能和识别精度不佳的技术问题。
基于此，本发明提出了一种路面裂缝的检测方法、装置、设备及介质来解决上述技术问题。
发明内容
本发明描述了一种路面裂缝的检测方法、装置、设备及介质，能够有效提高裂缝检测性能和识别精度。
根据第一方面，本发明提供了一种路面裂缝的检测方法，包括：
获取待检测的路面图像；
将所述待检测的路面图像输入到训练好的裂缝检测模型中，得到所述待检测的路面图像的路面裂缝的检测结果；
其中，所述裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
根据第二方面，本发明提供了一种路面裂缝的检测装置，包括：
获取单元，被配置为获取待检测的路面图像；
检测单元，被配置为将所述待检测的路面图像输入到训练好的裂缝检测模型中，得到所述待检测的路面图像的路面裂缝的检测结果；
其中，所述裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
根据第三方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法。
根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据本发明提供的路面裂缝的检测方法、装置、设备及介质，通过对特征提取结构和特征融合结构进行针对性优化，具体通过结合残差块和深度卷积模块实现算法的轻量化，在减少参数量和计算量的情况下保证特征提取过程中裂缝特征信息的完整度；并且利用卷积注意力模块实现对裂缝特征信息的自适应加权，以有效强化路面裂缝的表征。如此，上述裂缝检测模型既增强了裂缝特征检测能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝的检测结果，进而能够有效提高裂缝检测性能和识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一个实施例的路面裂缝的检测方法的流程示意图；
图2示出了根据一个实施例的路面裂缝的检测装置的示意性框图；
图3示出了根据一个实施例的裂缝检测模型的结构示意图；
图4示出了根据一个实施例的残差块的结构示意图；
图5示出了根据一个实施例的特征融合模块的结构示意图；
图6示出了根据一个实施例的图推理模块的结构示意图；
图7示出了根据一个实施例的图推理运算的原理图。
具体实施方式
下面结合附图，对本发明提供的方案进行描述。
图1示出根据一个实施例的路面裂缝的检测方法的流程示意图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该方法包括：
步骤101、获取待检测的路面图像；
步骤102、将待检测的路面图像输入到训练好的裂缝检测模型(可参见图3)中，得到待检测的路面图像的路面裂缝的检测结果；
其中，裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，特征提取结构包括依次相连的第一深度卷积模块(即DWCBL)、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块(即CBAM)、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块：
特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块(即CBL)、第一上采样模块(即Upsample)和第一特征拼接模块(即Concat)，第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
第一卷积注意力模块与第二特征拼接模块相连，第二卷积注意力模块与第一特征拼接模块相连，第四深度卷积模块与特征融合模块相连，第一标准卷积模块与第四特征拼接模块相连，第一特征拼接模块与第二标准卷积模块相连，第三卷积注意力模块与第三特征拼接模块相连，第四卷积注意力模块分别与第三标准卷积模块和目标检测结构相连，第五卷积注意力模块与目标检测结构相连。
在本实施例中，通过对特征提取结构和特征融合结构进行针对性优化，具体通过结合残差块和深度卷积模块实现算法的轻量化，在减少参数量和计算量的情况下保证特征提取过程中裂缝特征信息的完整度；并且利用卷积注意力模块实现对裂缝特征信息的自适应加权，以有效强化路面裂缝的表征。如此，上述裂缝检测模型既增强了裂缝特征检测能力，同时捕获狭长裂缝的全局语义信息和局部空间信息，又获得了不同尺度的感受野，充分聚合裂缝特征的上下文特征，从而可以输出完整准确的路面裂缝的检测结果，进而能够有效提高裂缝检测性能和识别精度。
如图4所示，作为一种优选的实施方式，第一残差模块、第二残差模块和第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，第二模块用于将由第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
特征拼接模块用于将第一模块输入的特征和第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
在一些实施方式中，可以将U-Net中Vgg骨干网络替换为带有残差连接的ResNet34，ResNet34相比Vgg具有更深的网络层数，能获得更大范围的感受野和更丰富的上下文特征；同时，ResNet34网络结构中设置了残差连接和归一化层，如此可以降低模型在训练过程中因网络层数增加而出现网络退化的风险。
尽管如此，由于卷积运算本身的局限，ResNet34依旧无法实现对图像全局信息的处理，对模型效果提升有限。因此，为捕获裂缝信息的远距离依赖，强化裂缝特征的空间信息表达，本发明实施例提供的残差模块包括一个第一模块、一个第二模块和一个特征拼接模块，其中：(1)第一模块可以计算所有像素的注意力权值获得全局上下文特征；(2)第二模块可以利用全局上下文特征捕获通道间的依赖关系，自适应地重新校准通道方式的特征响应；(3)特征拼接模块可以将全局特征信息聚合到每个位置的特征上，得到添加全局信息后的特征图像。由此可以看出，该残差模块兼顾较强的全局建模能力和节省计算量的优点，而且在捕获特征信息长距离依赖关系的同时还能够更好地嵌入到特征提取网络的多个层次。
此外，为避免过多的下采样而导致裂缝空间信息丢失，本发明的编码网络移除了ResNet34的初始卷积层和池化层，同时将ResNet34中卷积下采样替换为池化下采样，以进一步减少参数量并加快训练速度。
如图5所示，作为一种优选的实施方式，特征融合模块通过如下公式进行特征融合：
y＝FC(FU(FG(FA2(x)))+FU(FG(FA4(x)))+FU(FG(FA8(x)))+FG(x))
式中，x表示特征融合模块的输入特征；y表示特征融合模块的输出结果；FA2、FA4和FA8分别表示2×2、4×4、8×8尺寸的池化和卷积运算，以使模型能获得不同区域大小的感受野，便于提取不同尺寸的裂缝语义特征；FG表示图推理运算，用于捕捉裂缝信息的远距离依赖关系，得到更丰富的语义信息；FU和FC分别表示上采样运算和1×1卷积运算，用于还原裂缝信息，输出对应维度的结果。
在本实施例中，该特征融合模块由4条传导路径组成，输入特征x需要经过池化核大小分别为2×2、4×4、8×8的运算，得到不同尺度的裂缝特征，为保留原始尺度的信息，本发明实施例中的第四条路径未进行池化。所获得的四种尺度特征分别被传入图推理模块(即Graph)，进一步地学习全局语义信息，最后通过聚合多尺度的特征信息，得到上下文信息更完整的输出结果y。
具体而言，虽然上述特征融合模块运用不同尺寸的池化核使网络获得不同的感受野，进而感知不同尺寸的特征信息，成为一种聚合多尺度信息的有效方式。但是，裂缝具有结构狭长、图谱关系复杂的特殊性，远距离关系的捕捉对裂缝结构的还原与提取至关重要。但令人遗憾的是，上述特征融合模块无法完全捕获并聚合各尺度裂缝特征的远程依赖关系，缺少对全局信息的学习与交互。为此，本发明实施例在特征融合模块内构建了一个能进行全局建模的图推理模块，使远距离的裂缝信息获得有效关联。
如图6所示，作为一种优选的实施方式，图推理运算具体是通过如下公式组实现的：
式中，RC×H×W表示图推理运算的输出结果；表示图推理运算的输入特征；C、H、W、N均表示特征维度；FC表示1×1卷积运算；FRP、FR和FP分别表示反投影运算、重塑运算和投影运算，均用于改变特征的形状；表示，T表示矩阵的转置运算。
图推理运算主要分为如下三个步骤：
首先，输入特征经过1×1卷积进行通道维度的调整，运用FR操作将特征转变为/>这样既保留了原始特征信息又便于与投影后的结果进行矩阵运算。同时，输入特征需要通过1×1卷积运算进行特征的学习和提取，原始特征/>转变为再通过对/>进行FP操作得到/>最后将/>与/>进行矩阵乘积运算得到/>这样便实现将以坐标空间存储的裂缝像素到以交互空间存储的裂缝像素的转换，即：
式中，FC表示1×1卷积运算，FP、FR分别表示重塑特征形状和投影，其实质都是改变原有特征的形状。
其次，对于交互空间中的特征应用图卷积(即Graph Cov)进行推理，图卷积的计算公式如下：
式中，T表示矩阵的转置运算。
最后，将进行反投影得到/>然后与经过图卷积推理后的信息进行矩阵乘积运算，再与原始输入特征相加，得到最终的输出结果RC×H×W，即：
式中，FRP表示反投影，其作用与FP类似，用于改变特征的形状。
下面介绍图推理运算的原理。如图7所示，将以坐标空间存储的裂缝像素到以交互空间存储的裂缝像素的转换，凭借节点的形式完成裂缝语义特征的存储。与坐标空间相比，交互空间的优势在于模型需要处理节点而非像素间的关系，这样不仅缩小了计算量，而且更容易地进行全局信息建模，即：
V＝Zai
式中，Z代表原始输入特征，V代表投影到交互空间后的特征，ai表示需要学习的投影参数。
其次，利用两次图卷积运算推理节点特征间的关系，学习和探寻远程裂缝特征间的上下文信息，即：
V′＝VGWi
式中，V′交互空间的输出结果，G代表经形状变化的原始特征，Wi表示图卷积所需学习的参数。
最后，将推理特征反投影到坐标空间，得到经图推理模块处理后的结果，即：
Z′＝V′bi+Z
式中，Z′代表图推理模块的最终输出结果，bi表示所需学习的反投影参数。
综上所述，本发明提出的路面裂缝的检测方法是一种提取精度高、效果好的裂缝检测方法，在不同数据集上均表现出较好的提取性能，能够适应不同的路面场景，具有较强的泛化能力。残差块通过全局与局部建模机制，收集狭长裂缝和复杂路面的全局与局部融合信息，提升了裂缝特征的提取能力；第二融合模块和第三融合模块集成了不同尺度下的裂缝特征，丰富了裂缝特征的上下文信息，并输出准确的裂缝检测结果。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
根据另一方面的实施例，本发明提供了一种路面裂缝的检测装置。图2示出根据一个实施例的路面裂缝的检测装置的示意性框图。可以理解，该装置可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来实现。如图2所示，该装置包括：获取单元201和检测单元202。其中各组成单元的主要功能如下：
获取单元201，用于获取待检测的路面图像；
检测单元202，用于将所述待检测的路面图像输入到训练好的裂缝检测模型中，得到所述待检测的路面图像的路面裂缝的检测结果；
其中，所述裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块：
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
作为一种优选的实施方式，所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
作为一种优选的实施方式，所述特征融合模块通过如下公式进行特征融合：
y＝FC(FU(FG(FA2(x)))+FU(FG(FA4(x)))+FU(FG(FA8(x)))+FG(x))
式中，x表示所述特征融合模块的输入特征；y表示所述特征融合模块的输出结果；FA2、FA4和FA8分别表示2×2、4×4、8×8尺寸的池化和卷积运算，以使模型能获得不同区域大小的感受野，便于提取不同尺寸的裂缝语义特征；FC表示图推理运算，用于捕捉裂缝信息的远距离依赖关系，得到更丰富的语义信息；FU和FC分别表示上采样运算和1×1卷积运算，用于还原裂缝信息，输出对应维度的结果。
作为一种优选的实施方式，所述图推理运算具体是通过如下公式组实现的：
式中，RC×H×W表示所述图推理运算的输出结果；表示所述图推理运算的输入特征；C、H、W、N均表示特征维度；FC表示1×1卷积运算；FRP、FR和FP分别表示反投影运算、重塑运算和投影运算，均用于改变特征的形状；表示，T表示矩阵的转置运算。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1所描述的方法。
根据再一方面的实施例，还提供一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1所述的方法。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种路面裂缝的检测方法，其特征在于，包括：
获取待检测的路面图像；
将所述待检测的路面图像输入到训练好的裂缝检测模型中，得到所述待检测的路面图像的路面裂缝的检测结果；
其中，所述裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
2.根据权利要求1所述的方法，其特征在于，所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
3.根据权利要求1或2所述的方法，其特征在于，所述特征融合模块通过如下公式进行特征融合：
y＝FC(FU(FG(FA2(x)))+FU(FG(FA4(x)))+FU(FG(FA8(x)))+FG(x))
式中，x表示所述特征融合模块的输入特征；y表示所述特征融合模块的输出结果；FA2、FA4和FA8分别表示2×2、4×4、8×8尺寸的池化和卷积运算，以使模型能获得不同区域大小的感受野，便于提取不同尺寸的裂缝语义特征；FG表示图推理运算，用于捕捉裂缝信息的远距离依赖关系，得到更丰富的语义信息；FU和FC分别表示上采样运算和1×1卷积运算，用于还原裂缝信息，输出对应维度的结果。
4.根据权利要求3所述的方法，其特征在于，所述图推理运算具体是通过如下公式组实现的：
式中，RC×H×W表示所述图推理运算的输出结果；表示所述图推理运算的输入特征；C、H、W、N均表示特征维度；FC表示1×1卷积运算；FRP、FR和FP分别表示反投影运算、重塑运算和投影运算，均用于改变特征的形状；表示，T表示矩阵的转置运算。
5.一种路面裂缝的检测装置，其特征在于，包括：
获取单元，被配置为获取待检测的路面图像；
检测单元，被配置为将所述待检测的路面图像输入到训练好的裂缝检测模型中，得到所述待检测的路面图像的路面裂缝的检测结果；
其中，所述裂缝检测模型包括特征提取结构、特征融合结构和目标检测结构，所述特征提取结构包括依次相连的第一深度卷积模块、第一残差模块、第二深度卷积模块、第二残差模块、第一卷积注意力模块、第三深度卷积模块、第三残差模块、第二卷积注意力模块和第四深度卷积模块；
所述特征融合结构包括第一子特征融合结构、第二子特征融合结构和第三子特征融合结构，所述第一子特征融合结构包括依次相连的特征融合模块、第一标准卷积模块、第一上采样模块和第一特征拼接模块，所述第二子特征融合结构包括依次相连的第二标准卷积模块、第三卷积注意力模块、第二上采样模块、第二特征拼接模块和第四卷积注意力模块，所述第三子特征融合结构包括依次相连的第三标准卷积模块、第三特征拼接模块、第四标准卷积模块、第四特征拼接模块和第五卷积注意力模块；
所述第一卷积注意力模块与所述第二特征拼接模块相连，所述第二卷积注意力模块与所述第一特征拼接模块相连，所述第四深度卷积模块与所述特征融合模块相连，所述第一标准卷积模块与所述第四特征拼接模块相连，所述第一特征拼接模块与所述第二标准卷积模块相连，所述第三卷积注意力模块与所述第三特征拼接模块相连，所述第四卷积注意力模块分别与所述第三标准卷积模块和所述目标检测结构相连，所述第五卷积注意力模块与所述目标检测结构相连。
6.根据权利要求5所述的装置，其特征在于，所述第一残差模块、所述第二残差模块和所述第三残差模块均包括一个第一模块、一个第二模块和一个特征拼接模块，其中：
所述第一模块包括依次相连的一个1×1的卷积核和一个softmax函数，所述第一模块用于将输入的特征依次经1×1的卷积核和softmax函数处理得到的特征与该输入的特征进行乘运算；
所述第二模块包括依次相连的一个1×1的卷积核、一个归一化层和一个1×1的卷积核，所述第二模块用于将由所述第一模块输出的特征依次经1×1的卷积核、归一化层和1×1的卷积核进行处理；
所述特征拼接模块用于将所述第一模块输入的特征和所述第二模块输出的特征进行加运算，以加强路面图像的上下文特征。
7.根据权利要求5或6所述的装置，其特征在于，所述特征融合模块通过如下公式进行特征融合：
y＝FC(FU(FG(FA2(x)))+FU(FG(FA4(x)))+FU(FG(FA8(x)))+FG(x))
式中，x表示所述特征融合模块的输入特征；y表示所述特征融合模块的输出结果；FA2、FA4和FA8分别表示2×2、4×4、8×8尺寸的池化和卷积运算，以使模型能获得不同区域大小的感受野，便于提取不同尺寸的裂缝语义特征；FG表示图推理运算，用于捕捉裂缝信息的远距离依赖关系，得到更丰富的语义信息；FU和FC分别表示上采样运算和1×1卷积运算，用于还原裂缝信息，输出对应维度的结果。
8.根据权利要求7所述的装置，其特征在于，所述图推理运算具体是通过如下公式组实现的：
式中，RC×H×W表示所述图推理运算的输出结果；表示所述图推理运算的输入特征；C、H、W、N均表示特征维度；FC表示1×1卷积运算；FRP、FR和FP分别表示反投影运算、重塑运算和投影运算，均用于改变特征的形状；表示，T表示矩阵的转置运算。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513021.2A CN116523888B (zh) | 2023-05-08 | 2023-05-08 | 路面裂缝的检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513021.2A CN116523888B (zh) | 2023-05-08 | 2023-05-08 | 路面裂缝的检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116523888A true CN116523888A (zh) | 2023-08-01 |
| CN116523888B CN116523888B (zh) | 2023-11-03 |
Family
ID=87393856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310513021.2A Active CN116523888B (zh) | 2023-05-08 | 2023-05-08 | 路面裂缝的检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523888B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764988A (zh) * | 2024-02-22 | 2024-03-26 | 山东省计算中心（国家超级计算济南中心） | 基于异核卷积多感受野网络的道路裂缝检测方法及系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340189A (zh) * | 2020-02-21 | 2020-06-26 | 之江实验室 | 一种空间金字塔图卷积网络实现方法 |
| CN111967297A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 图像的语义分割方法、装置、电子设备及介质 |
| CN111985552A (zh) * | 2020-08-17 | 2020-11-24 | 中国民航大学 | 复杂背景下机场道面细带状结构病害检测方法 |
| CN112465748A (zh) * | 2020-11-10 | 2021-03-09 | 西南科技大学 | 基于神经网络的裂缝识别方法、装置、设备及存储介质 |
| CN112819832A (zh) * | 2021-02-02 | 2021-05-18 | 华北水利水电大学 | 基于激光点云的城市场景语义分割细粒度边界提取方法 |
| CN113361431A (zh) * | 2021-06-15 | 2021-09-07 | 山西大学 | 一种基于图推理的人脸遮挡检测的网络模型及方法 |
| US20210319547A1 (en) * | 2020-04-08 | 2021-10-14 | Zhejiang University | Method and apparatus for identifying concrete crack based on video semantic segmentation technology |
| CN113744205A (zh) * | 2021-08-17 | 2021-12-03 | 哈尔滨工业大学（威海） | 一种端到端的道路裂缝检测系统 |
| CN113780305A (zh) * | 2021-08-10 | 2021-12-10 | 西安电子科技大学 | 一种基于两种线索交互的显著性目标检测方法 |
| US20220012579A1 (en) * | 2021-09-24 | 2022-01-13 | Masayoshi Asama | Neural network accelerator system for improving semantic image segmentation |
| CN114283137A (zh) * | 2021-12-24 | 2022-04-05 | 河北工业大学 | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 |
| CN114842032A (zh) * | 2022-05-20 | 2022-08-02 | 西门子爱克斯射线真空技术(无锡)有限公司 | 一种图像处理方法及装置 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN115035065A (zh) * | 2022-06-13 | 2022-09-09 | 常州大学 | 基于深度学习的道路裂缝检测方法 |
| CN115049640A (zh) * | 2022-08-10 | 2022-09-13 | 国网山西省电力公司大同供电公司 | 一种基于深度学习的道路裂缝检测方法 |
| WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
| WO2023016340A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Methods, systems, and computer-readable storage mediums for positioning target object |
| CN115880557A (zh) * | 2023-03-02 | 2023-03-31 | 中国科学院地理科学与资源研究所 | 基于深度学习的路面裂缝提取方法和装置 |
-
2023
- 2023-05-08 CN CN202310513021.2A patent/CN116523888B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340189A (zh) * | 2020-02-21 | 2020-06-26 | 之江实验室 | 一种空间金字塔图卷积网络实现方法 |
| US20210319547A1 (en) * | 2020-04-08 | 2021-10-14 | Zhejiang University | Method and apparatus for identifying concrete crack based on video semantic segmentation technology |
| CN111967297A (zh) * | 2020-06-28 | 2020-11-20 | 北京百度网讯科技有限公司 | 图像的语义分割方法、装置、电子设备及介质 |
| CN111985552A (zh) * | 2020-08-17 | 2020-11-24 | 中国民航大学 | 复杂背景下机场道面细带状结构病害检测方法 |
| CN112465748A (zh) * | 2020-11-10 | 2021-03-09 | 西南科技大学 | 基于神经网络的裂缝识别方法、装置、设备及存储介质 |
| CN112819832A (zh) * | 2021-02-02 | 2021-05-18 | 华北水利水电大学 | 基于激光点云的城市场景语义分割细粒度边界提取方法 |
| CN113361431A (zh) * | 2021-06-15 | 2021-09-07 | 山西大学 | 一种基于图推理的人脸遮挡检测的网络模型及方法 |
| WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
| WO2023016340A1 (en) * | 2021-08-09 | 2023-02-16 | Zhejiang Huaray Technology Co., Ltd. | Methods, systems, and computer-readable storage mediums for positioning target object |
| CN113780305A (zh) * | 2021-08-10 | 2021-12-10 | 西安电子科技大学 | 一种基于两种线索交互的显著性目标检测方法 |
| CN113744205A (zh) * | 2021-08-17 | 2021-12-03 | 哈尔滨工业大学（威海） | 一种端到端的道路裂缝检测系统 |
| US20220012579A1 (en) * | 2021-09-24 | 2022-01-13 | Masayoshi Asama | Neural network accelerator system for improving semantic image segmentation |
| CN114283137A (zh) * | 2021-12-24 | 2022-04-05 | 河北工业大学 | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN114842032A (zh) * | 2022-05-20 | 2022-08-02 | 西门子爱克斯射线真空技术(无锡)有限公司 | 一种图像处理方法及装置 |
| CN115035065A (zh) * | 2022-06-13 | 2022-09-09 | 常州大学 | 基于深度学习的道路裂缝检测方法 |
| CN115049640A (zh) * | 2022-08-10 | 2022-09-13 | 国网山西省电力公司大同供电公司 | 一种基于深度学习的道路裂缝检测方法 |
| CN115880557A (zh) * | 2023-03-02 | 2023-03-31 | 中国科学院地理科学与资源研究所 | 基于深度学习的路面裂缝提取方法和装置 |
Non-Patent Citations (6)
| Title |
|---|
| RAZA ALI等: "Structural crack detection using deep convolutional neural networks", AUTOMATION IN CONSTRUCTION, no. 133, pages 1 - 28 * |
| YUNPENG CHEN等: "Graph-Based Global Reasoning Networks", ARXIV:1811.12814, pages 1 - 10 * |
| ZHAO LIQUAN等: "Fast Detection of Defective Insulator Based on Improved YOLOv5s", COMPUT INTELL NEUROSCI, pages 1 - 7 * |
| 冯双星: "基于深度学习的鱼类摄食强度探测与智能投喂系统研究", 中国硕士学位论文全文数据库 (农业科技辑), no. 2023, pages 052 - 803 * |
| 刘军 等: "基于Transformer的端到端路面裂缝检测方法", 太原理工大学学报, vol. 53, no. 06, pages 1143 - 1151 * |
| 孙朝云 等: "基于深度卷积神经网络融合模型的路面裂缝识别方法", 长安大学学报(自然科学版), vol. 40, no. 04, pages 1 - 13 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117764988A (zh) * | 2024-02-22 | 2024-03-26 | 山东省计算中心（国家超级计算济南中心） | 基于异核卷积多感受野网络的道路裂缝检测方法及系统 |
| CN117764988B (zh) * | 2024-02-22 | 2024-04-30 | 山东省计算中心（国家超级计算济南中心） | 基于异核卷积多感受野网络的道路裂缝检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116523888B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188705B (zh) | 一种适用于车载系统的远距离交通标志检测识别方法 | |
| CN110879982B (zh) | 一种人群计数系统及方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN115147598B (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
| JP2022025008A (ja) | テキスト行識別に基づくナンバープレート識別方法 | |
| CN109740451B (zh) | 基于重要性加权的道路场景图像语义分割方法 | |
| CN109146944A (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113284100A (zh) | 基于恢复图像对混合域注意力机制的图像质量评价方法 | |
| CN116523888B (zh) | 路面裂缝的检测方法、装置、设备及介质 | |
| CN109460815A (zh) | 一种单目视觉深度估计方法 | |
| CN113033448B (zh) | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 | |
| CN115880557B (zh) | 基于深度学习的路面裂缝提取方法和装置 | |
| CN112270259A (zh) | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 | |
| CN111611925A (zh) | 一种建筑物检测与识别方法及装置 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN118015283B (zh) | 图像分割方法、装置、设备和存储介质 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN115527159A (zh) | 一种基于跨模态间尺度注意聚合特征的计数系统及方法 | |
| CN109448039B (zh) | 一种基于深度卷积神经网络的单目视觉深度估计方法 | |
| CN117649526A (zh) | 一种面向自动驾驶道路场景的高精度语义分割方法 | |
| CN117649581A (zh) | 一种多任务边缘增强的图像伪造检测方法及装置 | |
| CN117710839A (zh) | 一种注意力驱动自适应特征融合轻量级目标检测方法 | |
| CN116311062A (zh) | 一种高速公路小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |