CN117408947A - 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 - Google Patents
一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117408947A CN117408947A CN202311175892.4A CN202311175892A CN117408947A CN 117408947 A CN117408947 A CN 117408947A CN 202311175892 A CN202311175892 A CN 202311175892A CN 117408947 A CN117408947 A CN 117408947A
- Authority
- CN
- China
- Prior art keywords
- model
- deep learning
- defect detection
- surface defect
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 239000011150 reinforced concrete Substances 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000004567 concrete Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000264877 Hippospongia communis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006253 efflorescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的多标签桥梁表面缺陷检测方法及系统包括，获取若干钢筋混凝土桥梁的表面图像数据，构建图像数据集；采用离线数据增强方法对所述数据集进行处理，增加图片数量；修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练；本发明采用图像数据集进行增强操作去除了一些背景图像增加了缺陷图像的数量，使得各种标签的分布更加均衡；设计多标签softmax替换原有分类损失函数可以避免由于多标签问题造成不必要的损失，让梯度集中在更有价值的基础上加快了模型的收敛速度和精度；将ACmix嵌入到YOLOv5模型中，取代第四个CBS模块；兼顾了全局和局部特征，从而提高了网络在复杂场景下对桥梁缺陷的检测性能。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度学习的多标签桥梁表面缺陷检测方法及系统。
背景技术
混凝土结构表面缺陷检测是结构健康监测的重要组成部分。为了保证桥梁的安全运行，有必要进行定期的检查和维护。桥梁在施工和使用过程中，受施工材料、工艺、极端天气和车辆超载等因素的影响，不可避免地会发生结构性或非结构性的损伤，造成明显的病害。如果及时对桥梁进行检查和维修，将大大降低桥梁的维护成本，延长桥梁的使用寿命。
为了评估混凝土桥梁的结构安全性，需要通过准确识别所有缺陷类型来确定其退化程度。桥梁缺陷往往较小，同一区域容易出现不同类型的缺陷。虽然我们可以独立地处理每一类缺陷，但从结构安全的角度来看，重叠缺陷更为严重。识别这些多类别、多目标缺陷的需求构成了一项具有挑战性的现实任务的基础，该任务因各种环境因素而进一步复杂化。这就需要能够处理如此丰富的外观空间的计算机视觉技术。
有学者将区域卷积神经网络(R-CNN)与形态学后处理相结合，检测并分割桥梁裂缝病。然而，大多数深度学习方法只能检测一种疾病，不能全面评估桥梁的健康状况。随着多尺度检测网络的发展，各种桥梁损伤检测算法层出不穷。有研究表示使用you onlylookonce(YOLO)网络能够很好的检测桥梁裂缝、剥落、蜂窝和缺筋四种病害，该方法引入了一种迁移学习方法和一种基于YOLOv3的批量正则化方法。另外有研究基于密集网络和迁移学习方法，提出了一种新的全卷积神经网络(fully convolutional neural network,FCN)对裂纹、蜂窝、风化和孔洞四种病害进行检测和分割。但是在实际应用中，桥梁缺陷检测的研究大多集中在单标签检测上，对于缺陷类别重叠的桥梁缺陷检测仍然是一个很大的挑战。且不同类型的桥梁缺陷在外观上存在显著差异，并且缺陷可能重叠，而多标签桥梁缺陷的有效检测或分类又是一项艰巨的任务。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。因此，本发明提供了一种基于深度学习的多标签桥梁表面缺陷检测方法，用来解决实际问题中，桥梁缺陷空间分布不均匀和缺乏桥梁缺陷类别检测重叠的问题。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明提供了一种基于深度学习的多标签桥梁表面缺陷检测方法，包括：
获取若干钢筋混凝土桥梁的表面图像数据构建图像数据集，采用离线数据增强方法对所述数据集进行处理增加图片数量；
修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：获取若干钢筋混凝土桥梁的表面图像数据，包括：裂缝、剥落、风化、暴露的杆、腐蚀污渍和无缺陷背景。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：采用离线数据增强方法对所述数据集进行处理，增加图片数量，包括：
对于所述数据集随机使用改变色调、改变饱和度、随机翻转和高斯噪声的数据增强方式，对数据集中的图像进行增强和扩展。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：修改YOLOv5模型，包括：
使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，使用多标签softmax替换原有分类损失函数。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，包括：
首先，对输入特征进行卷积投影，得到一组由3×N个特征映射组成的子特征；
其次，使用两种不同的形式：上部通过卷积处理输入特征，输出为fconv；后半部分使用自注意方法将中间特征聚合成N组；每组包含3个特征映射：query、key和value，同时使用多头自注意模型，输出为fat；
最后，对两种形式的结果进行加权和，权重由两个可学习的标量控制。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：使用多标签softmax替换原有分类损失函数，包括：
一个边界框b的多标签softmax表示为：
其中，yi表示标签，C表示类别数。
作为本发明所述的基于深度学习的多标签桥梁表面缺陷检测方法的一种优选方案，其中：还包括：
θ*表示为：
其中，zi表示第i类的响应。
第二方面，本发明提供了基于深度学习的多标签桥梁表面缺陷检测系统，其包括：
桥梁图像采集处理模块，用于获取若干钢筋混凝土桥梁的表面图像数据构建图像数据集，采用离线数据增强方法对所述数据集进行处理增加图片数量；
桥梁模型训练模块，用于修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练。
第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述方法的任一步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述方法的任一步骤。
与现有技术相比，发明有益效果为：本发明通过对图像数据集进行增强操作去除了一些背景图像增加了缺陷图像的数量，使得各种标签的分布更加均衡；设计多标签softmax替换原有分类损失函数可以避免由于多标签问题造成不必要的损失，让梯度集中在更有价值的基础上加快了模型的收敛速度和精度；将ACmix嵌入到YOLOv5模型中，取代第四个CBS模块；兼顾了全局和局部特征，从而提高了网络在复杂场景下对桥梁缺陷的检测性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例所述的基于深度学习的多标签桥梁表面缺陷检测方法的总体流程图；
图2为本发明一个实施例所述的基于深度学习的多标签桥梁表面缺陷检测方法的BDYOLO模型原理图；
图3为本发明一个实施例所述的基于深度学习的多标签桥梁表面缺陷检测方法的ACmix模块替换展示图；
图4为本发明一个实施例所述的基于深度学习的多标签桥梁表面缺陷检测方法的不同情况下检测结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1至图3，为本发明第一个实施例，该实施例提供了一种基于深度学习的多标签桥梁表面缺陷检测方法，包括：
S1、获取若干钢筋混凝土桥梁的表面图像数据构建图像数据集，采用离线数据增强方法对图像数据集进行处理增加图片数量；
进一步的，图像数据集包含：裂缝、剥落、风化、暴露的杆、腐蚀污渍和无缺陷背景；
进一步的，离线数据增强方法包括：对于图像数据集随机使用改变色调、改变饱和度、随机翻转和高斯噪声的数据增强方式，对数据集中的图像进行增强和扩展；
应当说明的是，数据增强方式不仅仅局限于上述处理方法；
S2、修改YOLOv5模型构建BDYOLO模型并通过BDYOLO模型对处理过的数据集进行训练；
参考图2，为BDYOLO模型；
进一步的，修改模型YOLOv5模型包括：
使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，使用多标签softmax替换原有分类损失函数；
更进一步的，参考图3；使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，步骤如下：
首先，对输入特征进行卷积投影，得到一组由3×N个特征映射组成的子特征；
其次，使用两种不同的形式：上部通过卷积处理输入特征，输出为fconv；后半部分使用自注意方法将中间特征聚合成N组；每组包含3个特征映射：query、key和value，同时使用多头自注意模型，输出为fat；
最后，对两种形式的结果进行加权和，权重由两个可学习的标量控制；
应当说明的是，softmax作为深度学习中应用最广泛的损失函数之一，其表现形式如下：
上式中θ表示为：
其中，zi表示第i类的响应，yi表示标签，C表示类别数；它在∑yi＝1的单标签识别中表现良好；然而，当涉及到多标签识别时情况就不同了；在传统的目标检测训练方案中，每个边界框在训练过程中只被分配一个标签，忽略了其他的真值标签；若在训练时强制分配属于K＝{k|k∈C，yk＝1}的所有m(m>1)真值标签到边界框，多标签的分数会相互约束；当计算每个真值标签的梯度时，如下所示:
当mθi>1时，即使zi是ground-truth标签之一，zi也会被优化为更低，这是错误的优化方向；
更进一步的，一个边界框b的多标签softmax表示为：
θ*表示为：
应当说明的是，与softmax中基本事实类别中所有其他类别的反应抑制不同，多重softmax消除了显式共存类别之间的抑制效应；例如，在训练时给一个边界框分配多个真值标签K＝{k|k∈C，yk＝1}；在计算类K的分数时，由于(1–yi)结构，忽略了所有其他基础真值类K的影响，并且每个正确类的分数都得到提高；这避免了由于多标签问题造成的不必要的损失，并且梯度可以更加集中。
进一步的，本实施例还提供一种基于深度学习的多标签桥梁表面缺陷检测系统，包括：
桥梁图像采集处理模块，用于获取若干钢筋混凝土桥梁的表面图像数据构建图像数据集，采用离线数据增强方法对所述数据集进行处理增加图片数量；
桥梁模型训练模块，用于修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练。
本实施例还提供一种计算机设备，适用于基于深度学习的多标签桥梁表面缺陷检测方法的情况，包括：
存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的基于深度学习的多标签桥梁表面缺陷检测方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的基于深度学习的多标签桥梁表面缺陷检测方法。
本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例2
参照图4，为本发明第二个实施例，该实施例提供了一种基于深度学习的多标签桥梁表面缺陷检测方法，包括：
通过仿真实验的方式，对本发明方法进行有益效果的验证；
为了验证BDYOLO的改进，在实验中对各种比较模型进行了测试；表1显示了我们提出的模型在我们的测试集上的实验结果，其中所有过程都是在相同的实验条件下进行的；
表1 Codebrim对比实验
如表1所示，与初始的YOLOv5相比，BDYOLO使mAP提高了5.2％，FPS提高了4.9％；此外，召回率和准确率也有所提高；由于ACmix的加入，参数也有所下降，说明优化后；该模型能更好、更快地检测桥梁缺陷；YOLOv7具有大量的基本模型参数和计算量，但在多标签检测方面不如基本的YOLOv5模型有效；与YOLOv7一样，YOLOX在多标签检测上的效果也不尽如人意；本研究在最先进的YOLOv8模型上进行了实验，并列出了结果；在多标签检测方面，BDYOLO在准确性和速度上仍然具有优势；此外，我们的模型在训练过程中需要更少的时间和GPU内存；YOLOv8执行300次epoch需要10个小时，占用6.51GB GPU内存，而我们的YOLOv8只需要7个小时，占用5.62GB GPU内存；
同时，本研究还采用了流行的DETR和可变形的DETR进行对比实验；实验证明，对于多标签桥缺陷这些模型的效果并没有预期的那么好，分别只有0.42和0.46mAP，没有达到YOLOv5基线模型的水平；
在实际工业应用中，选择了几种不同类型的缺陷图像进行测试，预测结果如图4所示；分别给出了单目标、多目标和多标签场景的检测结果，证明了该模型对桥梁缺陷和多标签目标具有良好的检测性能；
经过严格的消融实验，验证了BDYOLO在多标签桥梁缺陷检测中的有效性；为了验证本研究对softmax激活函数的修改，使用原始softmax和基线模型进行了消融实验，其性能比较如表2所示；实验表明，单独使用多个softmax可以获得0.667的mAP，高于BCE的0.582和基线softmax的0.626；
对于所使用的注意机制，经过大量的实验尝试，发现在骨干网中插入ACmix，替换最后一层的CBS，效果最为显著；与CBS结构相比，ACmix不仅有效地提高了模型的mAP，而且降低了模型的计算复杂度；因为它用卷积与自注意机制的结合取代了纯卷积，而自注意机制的计算开销比卷积运算要小；更重要的是，ACmix提取了具有不同感受野的复杂特征，提高了对小物体的灵敏度；
表2各模块在Codebrim上的消融实验
从表2可以看出，与基线模型相比，使用ACmix的效果使mAP增加了2.7％；
最后，为了严格证明本文优化方法的有效性，分别对优化前后的模型进行了5次独立实验，并对实验结果进行方差分析；结果p<0.01；以上统计分析证明本文的优化方法效果显著。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，包括：
获取若干钢筋混凝土桥梁的表面图像数据，构建图像数据集；采用离线数据增强方法对所述数据集进行处理，增加图片数量；
修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练。
2.如权利要求1所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，获取若干钢筋混凝土桥梁的表面图像数据，包括：裂缝、剥落、风化、暴露的杆、腐蚀污渍和无缺陷背景。
3.如权利要求1或2所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，采用离线数据增强方法对所述数据集进行处理，增加图片数量，包括：
对于所述数据集随机使用改变色调、改变饱和度、随机翻转和高斯噪声的数据增强方式，对数据集中的图像进行增强和扩展。
4.如权利要求3所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，修改YOLOv5模型，包括：
使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，使用多标签softmax替换原有分类损失函数。
5.如权利要求4所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，使用ACmix模块替换YOLOv5模型中backbone的最后一个CBS模块，包括：
首先，对输入特征进行卷积投影，得到一组由3×N个特征映射组成的子特征；
其次，使用两种不同的形式：上部通过卷积处理输入特征，输出为fconv；后半部分使用自注意方法将中间特征聚合成N组；每组包含3个特征映射：query、key和value，同时使用多头自注意模型，输出为fat；
最后，对两种形式的结果进行加权和，权重由两个可学习的标量控制。
6.如权利要求4或5所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，使用多标签softmax替换原有分类损失函数，包括：
一个边界框b的多标签softmax表示为：
其中，yi表示标签，C表示类别数。
7.如权利要求6所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，还包括：
θ*表示为：
其中，zi表示第i类的响应。
8.一种基于深度学习的多标签桥梁表面缺陷检测系统，基于权利要求1～7任一所述的基于深度学习的多标签桥梁表面缺陷检测方法，其特征在于，包括：
桥梁图像采集处理模块，用于获取若干钢筋混凝土桥梁的表面图像数据构建图像数据集，采用离线数据增强方法对所述数据集进行处理增加图片数量；
桥梁模型训练模块，用于修改YOLOv5模型构建BDYOLO模型并通过所述BDYOLO模型对处理过的数据集进行训练。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175892.4A CN117408947A (zh) | 2023-09-13 | 2023-09-13 | 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175892.4A CN117408947A (zh) | 2023-09-13 | 2023-09-13 | 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117408947A true CN117408947A (zh) | 2024-01-16 |
Family
ID=89493331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311175892.4A Pending CN117408947A (zh) | 2023-09-13 | 2023-09-13 | 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408947A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649401A (zh) * | 2024-01-26 | 2024-03-05 | 河南省建筑质量监督检验中心有限公司 | 一种桥梁安全检测方法、系统、设备及介质 |
-
2023
- 2023-09-13 CN CN202311175892.4A patent/CN117408947A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649401A (zh) * | 2024-01-26 | 2024-03-05 | 河南省建筑质量监督检验中心有限公司 | 一种桥梁安全检测方法、系统、设备及介质 |
| CN117649401B (zh) * | 2024-01-26 | 2024-05-03 | 河南省建筑质量监督检验中心有限公司 | 一种桥梁安全检测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Understanding the robustness in vision transformers | |
| CN107609541B (zh) | 一种基于可变形卷积神经网络的人体姿态估计方法 | |
| CN108171209B (zh) | 一种基于卷积神经网络进行度量学习的人脸年龄估计方法 | |
| CN112308860B (zh) | 基于自监督学习的对地观测图像语义分割方法 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| Wang et al. | FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection | |
| Wang et al. | A real-time bridge crack detection method based on an improved inception-resnet-v2 structure | |
| CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
| CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN113139594B (zh) | 一种机载图像无人机目标自适应检测方法 | |
| CN107247952B (zh) | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 | |
| CN117408947A (zh) | 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 | |
| CN108986142A (zh) | 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法 | |
| Savino et al. | Automated classification of civil structure defects based on convolutional neural network | |
| Xu et al. | Task-aware meta-learning paradigm for universal structural damage segmentation using limited images | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| Li et al. | RailNet: An information aggregation network for rail track segmentation | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN108694375B (zh) | 一种可用于多电子鼻平台的图像化白酒识别方法 | |
| CN110472607A (zh) | 一种船舶跟踪方法及系统 | |
| CN116486285B (zh) | 一种基于类别掩码蒸馏的航拍图像目标检测方法 | |
| Zhou et al. | Ship target detection in optical remote sensing images based on multiscale feature enhancement | |
| CN114387524A (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和系统 | |
| CN114882252A (zh) | 半监督遥感影像变化检测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |