CN117522826A - 混凝土建筑物表面损伤的检测方法、装置、设备及介质 - Google Patents

混凝土建筑物表面损伤的检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN117522826A
CN117522826A CN202311544964.8A CN202311544964A CN117522826A CN 117522826 A CN117522826 A CN 117522826A CN 202311544964 A CN202311544964 A CN 202311544964A CN 117522826 A CN117522826 A CN 117522826A
Authority
CN
China
Prior art keywords
detection model
network
layer
concrete building
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311544964.8A
Other languages
English (en)
Inventor
蒋田勇
李凌云
王磊
胡淳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202311544964.8A priority Critical patent/CN117522826A/zh
Publication of CN117522826A publication Critical patent/CN117522826A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及了一种混凝土建筑物表面损伤的检测方法、装置、设备及介质，本方法适用的目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，骨架网络依次包括级联的卷积层、6个Fusion‑MBConv Block和9个Inverted Residual Block。与YOLOv4网络的骨架网络不同，本申请提供的目标检测模型通过依次级联的卷积层、6个Fusion‑MBConv Block和9个Inverted Residual Block构建了一种新型骨架网络，引入了Fusion‑MBConv Block和Inverted Residual Block，解决了原有YOLOv4网络的骨架网络特征提取效率较低和参数量较大的问题，不仅能够减少网络计算量也能够提升目标检测模型的检测精度。

Description

混凝土建筑物表面损伤的检测方法、装置、设备及介质
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种混凝土建筑物表面损伤的检测方法、装置、设备及介质。
背景技术
混凝土建筑物在长时间服役过程中，由于温度、湿度、荷载等因素的影响，其表面会出现不同程度的损伤，包括裂缝、混凝土剥落、钢筋外露等，会导致结构性能退化或破坏。因此，需要及时发现这些损伤并采取相应的维修加固措施。
目前，深度学习方法在土木工程及基础设施的损伤识别方面表现现出了巨大的应用潜力，但现有模型通常参数量巨大，严重制约了模型检测速度，导致现有模型的检测速度无法满足实际应用中实时的要求。现有方法大多针对裂缝、钢筋外露和混凝土剥落等少数损伤类型进行识别研究，导致模型对多损伤的特征提取能力不足，实际混凝土建筑物损伤检测精度不高。现有研究所使用的混凝土建筑物损伤图像大多是近距离拍摄的图像，每张图像仅包含少量损伤，并且缺乏对光照不足和恶劣天气等复杂环境下的损伤检测研究，使得损伤识别模型的适用性不高，模型泛化能力较差。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例的主要目的在于提出一种混凝土建筑物表面损伤的检测方法、装置、设备及介质，能够改善模型损伤特征提取能力，减少模型计算量，提高模型损伤检测精度、速度及泛化能力。
为实现上述目的，本发明实施例的第一方面提出了一种混凝土建筑物表面损伤的检测方法，所述混凝土建筑物表面损伤的检测方法包括：
获取混凝土建筑物表面的待检测图像；
构建目标检测模型，所述目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，所述骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted ResidualBlock；
将所述待检测图像输入至所述骨架网络中，得到所述骨架网络输出的多尺度的特征图；将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中，得到所述空间金字塔池化模块输出的特征图；将所述空间金字塔池化模块输出的特征图和所述骨架网络中间层输出的其余不同尺度的特征图输入至所述双向金字塔特征融合层中，得到所述双向金字塔特征融合层输出的特征图；将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中，得到所述YOLO Head输出的所述混凝土建筑物表面的损伤检测结果。
在一些实施例中，所述目标检测模型通过如下方式训练得到：
选取已标注混凝土建筑物表面损伤的待训练图像；
构建基于YOLOv4的初始检测模型；其中，所述初始检测模型包括基于YOLOv4架构的骨架网络、所述空间金字塔池化模块、所述双向金字塔特征融合层和所述YOLO Head；
根据所述初始检测模型生成中间检测模型；其中，所述中间检测模型与所述初始检测模型具有相同的所述空间金字塔池化模块、所述双向金字塔特征融合层和所述YOLOHead，所述中间检测模型的骨架网络为MonileNetv3；
通过所述待训练图像对所述中间检测模型进行训练，得到训练完成的所述中间检测模型；
根据训练完成的所述中间检测模型生成所述目标检测模型；
通过所述待训练图像对所述目标检测模型进行训练，直至训练截止。
在一些实施例中，所述双向金字塔特征融合层中每一个融合层后的卷积模块依次包括级联的3层标准卷积和2层深度可分离卷积；
所述骨架网络与所述空间金字塔池化模块之间还依次包括级联的2层标准卷积和1层深度可分离卷积；所述将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中包括：
将所述骨架网络最后一层输出的特征图输入至所述级联的2层标准卷积和1层深度可分离卷积中，将输出的特征图至所述空间金字塔池化模块中；
所述双向金字塔特征融合层与所述YOLO Head之间还包括1层深度可分离卷积；所述将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中包括：
将所述双向金字塔特征融合层输出的特征图输入至1层深度可分离卷积中，将输出的特征图至所述YOLO Head中。
在一些实施例中，所述选取已标注混凝土建筑物表面损伤的待训练图像之后，所述混凝土建筑物表面损伤的检测方法还包括：
对所述待训练图像进行第一增强变化和/或第二增强变化；其中对所述待训练图像进行所述第一增强变换包括对所述待训练图像进行运动模糊、云雾、多雾/霜、大雨/大雪、雨、雪点和噪声增强变换中的至少两种增强变换；对所述待训练图像进行所述第二增强变化包括将所述待训练图像对比度变为原来的一半或二倍、亮度增加和色彩饱和度增强变换中的一种增强变换。
在一些实施例中，所述目标检测模型中每一个卷积的激活函数为Hard-swish和SiLU组合的激活函数。
在一些实施例中，所述Fusion-MBConv Block和Inverted Residual Block中的注意力机制包括SENet、CANet以及DANet注意力机制中的一种。
在一些实施例中，所述混凝土建筑物包括混凝土桥梁；所述混凝土建筑物表面的损伤包括混凝土分类、蜂窝麻面、混凝土剥落、钢筋外露、侵蚀、孔洞和裂缝中的至少一种。
本发明实施例的第二方面提出了一种混凝土建筑物表面损伤的检测装置，所述混凝土建筑物表面损伤的检测装置包括：
图像获取单元，用于获取混凝土建筑物表面的待检测图像；
模型构建单元，用于构建目标检测模型，所述目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，所述骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block；
损伤检测单元，用于将所述待检测图像输入至所述骨架网络中，得到所述骨架网络输出的多尺度的特征图；将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中，得到所述空间金字塔池化模块输出的特征图；将所述空间金字塔池化模块输出的特征图和所述骨架网络中间层输出的其余不同尺度的特征图输入至所述双向金字塔特征融合层中，得到所述双向金字塔特征融合层输出的特征图；将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中，得到所述YOLO Head输出的所述混凝土建筑物表面的损伤检测结果。
为实现上述目的，本发明实施例的第三方面提出了一种电子设备，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的一种混凝土建筑物表面损伤的检测方法。
为实现上述目的，本发明实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的一种混凝土建筑物表面损伤的检测方法。
本申请一个实施例提供了一种混凝土建筑物表面损伤的检测方法，本方法适用的目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block。与YOLOv4网络的骨架网络不同，本实施例提供的目标检测模型通过依次级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block构建了一种新型骨架网络，引入了Fusion-MBConv Block和Inverted Residual Block结构，解决了原有YOLOv4网络的骨架网络特征提取效率较低的问题，不仅能够减少网络计算量也能够提升目标检测模型的检测精度。
可以理解的是，上述第二方面至第四方面和相关技术相比存在的有益效果和上述第一方面和相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种混凝土建筑物表面损伤的检测方法的流程示意图；
图2是本申请一个实施例提供的Fusion-MBConv Block和Inverted ResidualBlock的结构示意图；
图3是本申请一个实施例提供的目标检测模型的迁移训练的流程示意图；
图4是本申请一个实施例提供的7类混凝土桥梁表面损伤数据类型图；
图5是本申请一个实施例提供的复杂环境下混凝土桥梁表面损伤图像扩增流程示意图；
图6是本申请一个实施例提供的目标检测模型的架构示意图；
图7是本申请一个实施例提供的混凝土桥梁表面损伤的目标检测模型的迁移学习示意图；
图8是本申请一个实施例提供的目标检测模型对桥梁表面损伤的检测流程图；
图9是本申请一个实施例提供的目标检测模型的Precision-Recall曲线图；
图10是本申请一个实施例提供的不同视野下目标检测模型对混凝土桥梁表面损伤的识别结果；
图11是本申请一个实施例提供的复杂环境下目标检测模型对混凝土桥梁表面损伤的识别结果；
图12是本申请一个实施例提供的一种混凝土建筑物表面损伤的检测装置的结构示意图；
图13是本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语和属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
混凝土建筑物在长时间服役过程中，由于温度、湿度、荷载等因素的影响，其表面会出现不同程度的损伤，包括裂缝、混凝土剥落、钢筋外露等，会导致结构性能退化或破坏。因此，需要及时发现这些损伤并采取相应的维修加固措施。
目前，深度学习方法在土木工程及基础设施的损伤识别方面表现现出了巨大的应用潜力，但现有模型通常参数量巨大，严重制约了模型检测速度，导致现有模型的检测速度无法满足实际应用中实时的要求。现有方法大多针对裂缝、钢筋外露和混凝土剥落等少数损伤类型进行识别研究，导致模型对多损伤的特征提取能力不足，实际混凝土建筑物损伤检测精度不高。现有研究所使用的混凝土建筑物损伤图像大多是近距离拍摄的图像，每张图像仅包含少量损伤，并且缺乏对光照不足和恶劣天气等复杂环境下的损伤检测研究，使得损伤识别模型的适用性不高，模型泛化能力较差。
为了解决上述技术缺陷，参照图1，本申请的一个实施例，提供了一种混凝土建筑物表面损伤的检测方法，本检测方法包括步骤S110-S130：
步骤S110、获取混凝土建筑物表面的待检测图像。
步骤S120、构建目标检测模型，目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLOHead，骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个InvertedResidual Block。
步骤S130、将待检测图像输入至骨架网络中，得到骨架网络输出的多尺度的特征图；将骨架网络最后一层输出的特征图输入至空间金字塔池化模块中，得到空间金字塔池化模块输出的特征图；将空间金字塔池化模块输出的特征图和骨架网络中间层输出的其余不同尺度的特征图输入至双向金字塔特征融合层中，得到双向金字塔特征融合层输出的特征图；将双向金字塔特征融合层输出的特征图输入至YOLO Head中，得到YOLO Head输出的混凝土建筑物表面的损伤检测结果。
本实施例中，混凝土建筑物包括但不仅限制于：混凝土工业建筑(如生成车间)、混凝土居住建筑(如住宅、公寓等)、混凝土交通建筑(桥梁、高速公路)等。
本实施例是为了研究混凝土建筑物的损伤检测，从而实现早发现，早预警，以桥梁为例，损伤包括但不限制于混凝土分裂、蜂窝麻面、混凝土剥落、钢筋外露、侵蚀、孔洞和裂缝。
本步骤S110中，首先获取混凝土建筑物表面的待检测图像。待检测图像是用于输入至目标检测模型进行建筑物损伤检测的图像，图像可以通过拍摄设备进行拍摄得到，也可以从视频中截取，或者从互联网中获取，此处不进行具体限定。
本步骤S120中，构建一个目标检测模型，目标检测模型是用于从待检测图像中检测混凝土建筑物表面损伤的模型，在本实施例中，目标检测模型包括骨架网络、基于YOLOv4(于2020年推出，是一种广泛使用的基于深度学习的目标检测算法)架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block。
首先介绍YOLOv4架构的网络，YOLOv4网络包括骨架网络(CSPDarkNet53)、空间金字塔池化SPP(Spatial Pyramid pooling)模块、双向金字塔特征融合层PANet(PathAggregation Network)和YOLO Head，其中YOLOv4的骨架网络与本目标检测模型的骨架网络不同，其余的空间金字塔池化模块、双向金字塔特征融合层和YOLO Head与本目标检测模型的空间金字塔池化模块、双向金字塔特征融合层和YOLO Head相同。YOLOv4网络的架构为领域的公知常识，此处不再细述。
其次，与YOLOv4网络不同的是，目标检测模型的骨架网络是重新设计的网络，具体包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block。YOLOv4网络的骨架网络是CSPDarkNet53，本实施例的目标检测模型的骨架网络是通过如下结构改进得到：先利用MobileNetv3(google团队于2019年提出)替换了CSPDarkNet53；然后由于MonileNetv3浅层网络中的深度可分离卷积得不到充分利用，导致网络特征提取能力不足，对MobileNetv3再进行改进，在MobileNetv3中的浅层网络中使用了6个Fusion-MBConvBlock进行替换，形成了由卷积层、6个Fusion-MBConv Block和9个Inverted ResidualBlock组成的骨架网络。
如图2所示，图2示出了Fusion-MBConv Block和Inverted Residual Block的结构。在本申请的一些实施例中，Fusion-MBConv Block默认以SENet作为注意力机制，但在一些情况下，可以对注意力机制进行调整，例如使用CANet和DANet作为注意力机制。
在步骤S130中，目标检测模型的数据处理流程与YOLOv4网络的数据处理过程类似；即空间金字塔池化模块、双向金字塔特征融合层和YOLO Head的处理流程相同，而且与YOLOv4网络的骨架网络相同的是，目标检测模型的骨架网络同样输出三个不同尺度的特征图，而且三个不同尺度的特征图输入对应的网络结构也与YOLOv4网络的处理过程相同。与YOLOv4网络的数据处理过程不同的是，目标检测模型重新设计了骨架网络，本申请的骨架网络包括卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block，因此生成的特征图与YOLOv4的骨架网络生成的特征图是不一样的，目标检测模型骨架网络对混凝土建筑物的损伤特征提取能力更强，那么生成的特征图的精度更高。
现有YOLOv4骨架网络为Darknet-53，结构复杂且参数量巨大，使YOLOv4网络无法满足混凝土桥梁表面损伤高精度实时检测。于是本方法使用目标检测模型改进了YOLOv4网络的骨架网络，本模型骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block。与YOLOv4网络的骨架网络不同，目标检测模型骨架网络引入了Fusion-MBConv Block结构，目标检测模型在保留YOLOv4框架的优势下，解决了原有YOLOv4的骨架网络特征提取效率较低的问题，提升了骨架网络的损伤特征提取能力，不仅能够减少网络计算量也能够提升目标检测模型的检测精度。
参照图3，在一些实施例中，目标检测模型通过迁移学习得到，具体步骤包括步骤S210-S260：
步骤S210、选取已标注混凝土建筑物表面损伤的待训练图像。
步骤S220、构建基于YOLOv4的初始检测模型；其中，初始检测模型包括基于YOLOv4架构的骨架网络、空间金字塔池化模块、双向金字塔特征融合层和YOLO Head。
步骤S230、根据初始检测模型生成中间检测模型；其中，中间检测模型与初始检测模型具有相同的空间金字塔池化模块、双向金字塔特征融合层和YOLO Head，中间检测模型的骨架网络为MonileNetv3。
步骤S240、通过待训练图像对中间检测模型进行训练，得到训练完成的中间检测模型。
步骤S250、根据训练完成的中间检测模型生成目标检测模型。
步骤S260、通过待训练图像对目标检测模型进行训练，直至训练截止。
在步骤S210中，先选取训练集，即挑选出多张做好标签的待训练图像，每张待训练图像中标注混凝土建筑物表面损伤类别。在步骤S220中，先直接使用YOLOv4网络生成初始检测模型。初始检测模型包括Darknet-53的预训练权重。本步骤S230中，根据初始检测模型生成中间检测模型，把初始检测模型中的骨架网络替换成MonileNetv3，组成由骨架网络MonileNetv3、空间金字塔池化模块、双向金字塔特征融合层和YOLO Head组成的中间检测模型。然后在步骤S240中，采用待训练图像对中间检测模型进行训练，得到训练完成的中间检测模型，此时的中间检测模型具有待训练图像的先验知识。在步骤S250中，根据训练完成的中间检测模型生成目标检测模型，即将中间检测模型的骨架网络MonileNetv3中的浅层网络替换成6个Fusion-MBConv Block。然后在步骤S260中，采用待训练图像对目标检测模型进行训练，直至训练截止，得到训练好的目标检测模型。
如果直接对目标检测模型进行训练，会导致目标检测模型的骨架网络部分的权值太过随机，特征提取效果不明显的缺陷。于是，本公开实施例得到目标检测模型有三个阶段：生成具有Darknet-53的预训练权重的初始检测模型，然后根据初始检测模型生成中间检测模型，再训练中间检测模型，然后根据中间检测模型生成目标检测模型，最后训练目标检测模型。分步采用初始检测模型和中间检测模型的预训练权值对目标检测模型进行迁移学习训练，可以使目标检测模型同时继承初始检测模型和中间检测模型的先验知识，进而提升模型的特征提取效果。
在一些实施例中，双向金字塔特征融合层中每一个融合层后的卷积模块依次包括级联的3层标准卷积和2层深度可分离卷积。
骨架网络与空间金字塔池化模块之间还依次包括级联的2层标准卷积和1层深度可分离卷积；步骤S130中的将骨架网络最后一层输出的特征图输入至空间金字塔池化模块中包括：
步骤S310、将骨架网络最后一层输出的特征图输入至级联的2层标准卷积和1层深度可分离卷积中，将输出的特征图至空间金字塔池化模块中。
双向金字塔特征融合层与YOLO Head之间还包括1层深度可分离卷积；步骤S130将双向金字塔特征融合层输出的特征图输入至YOLO Head中包括步骤S320：
步骤S320、将双向金字塔特征融合层输出的特征图输入至1层深度可分离卷积中，将输出的特征图至YOLO Head中。
本实施例在目标检测模型中，使用深度可分离卷积替代了标准卷积，这样处理能够提升特征融合效率并减少网络计算参数，提升检测效率。
在一些实施例中，选取已标注混凝土建筑物表面损伤的待训练图像之后，混凝土建筑物表面损伤的检测方法还包括：
步骤S410、对待训练图像进行第一增强变化和/或第二增强变化；其中对待训练图像进行第一增强变换包括对待训练图像进行运动模糊、云雾、多雾/霜、大雨/大雪、雨、雪点和噪声增强变换中的至少两种增强变换；对待训练图像进行第二增强变化包括将待训练图像对比度变为原来的一半或二倍、亮度增加和色彩饱和度增强变换中的一种增强变换。
本实施例在通过待训练图像对目标检测模型进行训练之前，先对待训练图像进行图像增强，能够提升目标检测模型训练的精确度。
在一些实施例中，目标检测模型中每一个卷积的激活函数为Hard-swish和SiLU组合的激活函数。通过组合激活函数的形式，能够提升目标检测模型特征提取能力。
在一些实施例中，以建筑物为混凝土桥梁为例，详细介绍一种混凝土桥梁表面损伤的检测方法，本方法包括如下步骤：
步骤S510、建立混凝土桥梁表面损伤图像的数据集。
通过无人机、爬壁机器人和智能手机等移动端设备采集对混凝土桥梁表面损伤进行现场采集，同时根据现场采集的表面损伤类型，通过互联网搜集相关清晰度可观的表面损伤图像补充数据库。采集的混凝土桥梁表面损伤包括混凝土分离、蜂窝麻面、混凝土剥落、钢筋外露、侵蚀、孔洞及裂缝等七种常见的表面损伤类型，如图4所示。
采用“Labelimg”数据标注工具对混凝土桥梁表面损伤的数据集图像样本进行标注，以创建可用于模型训练的数据库。标注过程中，对图像样本中的单个损伤进行标注，并按照Pascal VOC数据集的格式保存，获得混凝土桥梁多类型表面损伤数据集。每个图像样本可得到一个.xml格式的标注文件，其中包含表面损伤的类型、位置和形状信息。
步骤S520、模拟复杂环境下的混凝土表面损伤图像。
参照图5，复杂环境下的表面损伤图像通常采集难度较大，本实施例采用“Imgaug”数据增强工具包，模拟雾天、雨天、雪天等恶劣天气和运动模糊、颜色变化、噪声干扰等复杂环境下的混凝土桥梁表面损伤样本，对混凝土桥梁表面损伤Pascal VOC数据集进行扩增。
从运动模糊、云雾、多雾/霜、大雨/大雪、雨、雪点和噪声增强变换中随机选取2-4种增强变换，同时从对比度变为原来的一半或二倍、亮度增加和色彩饱和度增强变换中随机选取1种，然后设置合适的增强倍数，对Pascal VOC数据集进行增强。
通过步骤S520对Pascal VOC数据集操作，得到损伤数据集。
需要注意的是，在神经网络的训练过程中，通过划分为训练集、验证集和测试集，本实施例仅示出训练集对模型的训练过程，关于验证集对模型进行验证和通过测试集对模型进行测试的过程暂未示出。
步骤S530、建立混凝土桥梁表面损伤的目标检测模型并进行训练。
参照图6，以YOLOv4网络作为初始检测模型，因为YOLOv4网络的骨架网络Darknet-53结构复杂且参数量巨大，使YOLOv4网络无法满足混凝土桥梁表面损伤高精度实时检测，于是为了解决该缺陷，将YOLOv4的骨架网络CSPDarkNet53替换为MonileNetv3，得到中间检测模型；由于MonileNetv3浅层网络中的深度可分离卷积得不到充分利用，导致网络特征提取能力不足，于是这里将中间检测模型骨架网络MonileNetv3的浅层网络替换成6个Fusion-MBConv Block，得到目标检测模型。目标检测模型在保留YOLOv4基本框架的优势下，因为改进骨架网络和激活函数组合具有更加轻量化的网络结构和更强的损伤特征提取能力，提升了检测精度和检测速度。
参照图7，为了保证混凝土桥梁表面损伤的目标检测模型具有足够的泛化能力和检测精度，本实施例在目标检测模型的训练过程中采用了迁移学习方法，即分步采用初始预测模型和中间检测模型的预训练权重对目标检测模型进行迁移学习，使目标检测模型同时继承初始预测模型和中间检测模型的先验知识，包括如下：
首先采用具有Darknet-53的预训练权重的初始检测模型生成中间检测模型，这里因YOLOv4是开源目标检测网络，预训练权重可在github网站下载相关文件；采用PascalVOC数据集的图像样本对中间检测模型进行训练，使中间检测模型具有Pascal VOC数据集的先验知识；然后将训练后中间检测模型替换成目标检测模型，并采用Pascal VOC数据集对目标检测模型进行训练，使目标检测模型具有Pascal VOC数据集的先验知识；再采用损伤数据集对目标检测模型进行微调训练。
采用损伤数据集进行目标检测模型训练的流程包括：
通过目标检测模型的骨架网络进行多尺度特征提取，骨架网络的网络参数如表1所示，表中AM表示注意力机制，骨架网络每层都使用SENet(Squeeze-and-ExcitationNetwork)通道注意力机制，注意力机制可以根据网络结构特点和检测任务类型更换为CANet及DANet等不同类型的注意力机制。NL表示非线性激活函数，HS代表Hard-Swish激活函数，RE代表ReLu激活函数。FMBConv 4和IRBlock 6分别表示Fused-MBConv的Conv 3×3和Inverted Residual Block第一个PW Conv 1×1的通道分别扩张4倍和6倍，诸如此类。SE0.25表示SENet模块中第一个全连接层的通道数是输入该FMBConv模块和IRBlock模块特征矩阵通道数的0.25倍，检测模型中每一层都使用SE0.25。
表1
目标检测模型中将stage1-6称为浅层网络。
损伤图像样本经过目标检测模型的骨架网络之后输出三个不同尺度的特征图，其中骨架网络最后一层输出的特征图输入空间金字塔池化模块中，融合局部特征与全局特征，极大的增加感受野，丰富特征图的表达能力，提升网络检测精度。不同尺度的特征图进一步汇聚到双向金字塔特征融合层中。双向金字塔特征融合层中通过卷积和上采样操作按照不同的权重对相同尺度的特征信息进行Concat累加，得到融合后的特征信息。
为了提高特征融合效率并减少网络计算参数，采用深度可分离卷积代替网络中的标准卷积，以减少网络计算量节约检测时间(改动部分请参照图6)。CB-NL表示标准卷积块，DSCB-NL表示具有深度可分离卷积的卷积块。
同时分析了不同激活函数对网络特征提取能力的影响，包括ReLU、ReLU6、LeakyReLU、SiLU和H-Swish激活函数，激活函数分别定义为：
通过研究不同的激活函数组合，确定最优的网络结构参数。
组合Hard-swish和SiLU对网络的特征提取能力提升最大，同时提升了模型的检测速度，因此，目标检测模型中的卷积块中采用Hard-swish和SiLU组合激活函数。
将不同尺度的特征图输入YOLO Head，即在检测结果输出层中进行表面损伤的边界框预测和类别预测，包括：在特征融合的基础上，将特征图分割成13×13、26×26、52×52这三种不同大小的网格，分别用于检测小、中、大目标。使用一组卷积层输出特征图，其中每个单元格对应输入图像的一个区域。对于每个单元格，通过回归预测边界框的位置信息(如边界框的中心坐标、宽度和高度)。同时，在每个单元格上通过使用softmax激活函数进行多类别的分类预测，最终得到图像中损伤的位置信息和类别信息。
步骤S540、基于训练完成的目标检测模型进行实际应用。
参照图9至图11，为目标检测模型的Precision-Recall曲线图，从图中可得知，中间检测模型利用MobileNetv3作为骨干网络，通过利用深度可分离卷积实现了网络参数的大幅缩减，仅为11.43MB。与初始检测模型相比，减少了82.13％。然而，由于深度可分离卷积在浅层网络中的性能有限，与初始检测模型相比，中间检测模型在识别多损伤方面表现出较低的准确性。
目标检测模型对中间检测模型的MobileNetv3进行改进，将MobileNetv3的浅层网络替换成了6个Fusion-MBConv，有效提高了目标检测模型的多损伤识别准确率。结合了Hard-Swish和SiLU激活函数的目标检测模型的mAP和F1分别为77.32％和71.95％，超过了YOLOv5-s、YOLOv7-tiny和YOLOv8-等先进的检测模型。此外，目标检测模型的FPS达到85f/s，适用于混凝土桥梁的实时多损伤检测。
目标检测模型在小、中、大不同视野场景下对混凝土桥梁表面的多损伤识别表现出色，优于YOLOv8-s。通过模拟运动模糊、雾、雨雪天气、噪声干扰和颜色变化等真实场景，验证了目标检测在复杂环境下对混凝土桥梁表面多重损伤识别的适用性。
综上，本实施例通过移动端设备获取待检测混凝土桥梁的表面损伤图像建立数据集，并通过“Imgaug”数据增强工具包对数据集中的样本进行增强，模拟雾天、雨天、雪天等恶劣天气和运动模糊、颜色变化、噪声干扰等复杂环境下的混凝土桥梁表面病害样本，建立丰富的复杂环境下混凝土桥梁表面损伤数据库，以提高目标检测模型的适用范围。将处理好的图像输入训练好的目标检测模型中，进行损伤特征提取和损伤定位、分类预测，获得检测混凝土桥梁图像的表面损伤检测结果。其中，目标检测模型的骨架网络通过引入Fused-MBConv结构，解决了MobileNetv3浅层网络特征提取效率较低的问题，减少网络计算量的同时提高了检测精度。
而且本实施例提供的目标检测模型采用深度可分离卷代替网络中的标准卷积，减少模型参数，提高检测速度。采用寻优策略对网络中的激活函数进行了优化选择，增强网络特征提取能力，有效提高混凝土桥梁表面损伤的检测精度。
参照图12，本申请一个实施例，提供了一种混凝土建筑物表面损伤的检测装置，本检测装置1000包括图像获取单元1100、模型构建单元1200和损伤检测单元1300：
图像获取单元1100用于获取混凝土建筑物表面的待检测图像。
模型构建单元1200用于构建目标检测模型，目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block。
损伤检测单元1300用于将待检测图像输入至骨架网络中，得到骨架网络输出的多尺度的特征图；将骨架网络最后一层输出的特征图输入至空间金字塔池化模块中，得到空间金字塔池化模块输出的特征图；将空间金字塔池化模块输出的特征图和骨架网络中间层输出的其余不同尺度的特征图输入至双向金字塔特征融合层中，得到双向金字塔特征融合层输出的特征图；将双向金字塔特征融合层输出的特征图输入至YOLO Head中，得到YOLOHead输出的混凝土建筑物表面的损伤检测结果。
需要注意的是，本实施例提供的混凝土建筑物表面损伤的检测装置与上述混凝土建筑物表面损伤的检测方法实施例是基于相同的发明构思，因此上述混凝土建筑物表面损伤的检测方法实施例的相关内容同样适用于本混凝土建筑物表面损伤的检测装置实施例，此处不再细述。
如图13，本申请实施例还提供了一种电子设备，本电子设备包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现本公开实施上述的混凝土建筑物表面损伤的检测方法。
该电子设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、车载电脑等任意智能终端。
下面对本申请实施例的电子设备进行详细介绍。
处理器1600，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案；
存储器1700，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1700可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1700中，并由处理器1600来调用执行本发明实施例的混凝土建筑物表面损伤的检测方法。
输入/输出接口1800，用于实现信息输入及输出；
通信接口1900，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线2000，在设备的各个组件(例如处理器1600、存储器1700、输入/输出接口1800和通信接口1900)之间传输信息；
其中处理器1600、存储器1700、输入/输出接口1800和通信接口1900通过总线2000实现彼此之间在设备内部的通信连接。
本发明实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述的混凝土建筑物表面损伤的检测方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明描述的实施例是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本发明实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (10)

1.一种混凝土建筑物表面损伤的检测方法，其特征在于，所述混凝土建筑物表面损伤的检测方法包括：
获取混凝土建筑物表面的待检测图像；
构建目标检测模型，所述目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，所述骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted ResidualBlock；
将所述待检测图像输入至所述骨架网络中，得到所述骨架网络输出的多尺度的特征图；将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中，得到所述空间金字塔池化模块输出的特征图；将所述空间金字塔池化模块输出的特征图和所述骨架网络中间层输出的其余不同尺度的特征图输入至所述双向金字塔特征融合层中，得到所述双向金字塔特征融合层输出的特征图；将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中，得到所述YOLO Head输出的所述混凝土建筑物表面的损伤检测结果。
2.根据权利要求1所述的混凝土建筑物表面损伤的检测方法，其特征在于，所述目标检测模型通过如下方式训练得到：
选取已标注混凝土建筑物表面损伤的待训练图像；
构建基于YOLOv4的初始检测模型；其中，所述初始检测模型包括基于YOLOv4架构的骨架网络、所述空间金字塔池化模块、所述双向金字塔特征融合层和所述YOLO Head；
根据具有预训练权重的所述初始检测模型生成中间检测模型；其中，所述中间检测模型与所述初始检测模型具有相同的所述空间金字塔池化模块、所述双向金字塔特征融合层和所述YOLO Head，所述中间检测模型的骨架网络为MonileNetv3；
通过所述待训练图像对所述中间检测模型进行训练，得到训练完成的所述中间检测模型；
根据训练完成的所述中间检测模型生成所述目标检测模型；
通过所述待训练图像对所述目标检测模型进行训练，直至训练截止。
3.根据权利要求2所述的混凝土建筑物表面损伤的检测方法，其特征在于：
所述双向金字塔特征融合层中每一个融合层后的卷积模块依次包括级联的3层标准卷积和2层深度可分离卷积；
所述骨架网络与所述空间金字塔池化模块之间还依次包括级联的2层标准卷积和1层深度可分离卷积；所述将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中包括：
将所述骨架网络最后一层输出的特征图输入至所述级联的2层标准卷积和1层深度可分离卷积中，将输出的特征图至所述空间金字塔池化模块中；
所述双向金字塔特征融合层与所述YOLO Head之间还包括1层深度可分离卷积；所述将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中包括：
将所述双向金字塔特征融合层输出的特征图输入至1层深度可分离卷积中，将输出的特征图至所述YOLO Head中。
4.根据权利要求2所述的混凝土建筑物表面损伤的检测方法，其特征在于，所述选取已标注混凝土建筑物表面损伤的待训练图像之后，所述混凝土建筑物表面损伤的检测方法还包括：
对所述待训练图像进行第一增强变化和/或第二增强变化；其中对所述待训练图像进行所述第一增强变换包括对所述待训练图像进行运动模糊、云雾、多雾/霜、大雨/大雪、雨、雪点和噪声增强变换中的至少两种增强变换；对所述待训练图像进行所述第二增强变化包括将所述待训练图像对比度变为原来的一半或二倍、亮度增加和色彩饱和度增强变换中的一种增强变换。
5.根据权利要求2或3所述的混凝土建筑物表面损伤的检测方法，其特征在于，所述目标检测模型中每一个卷积的激活函数为Hard-swish和SiLU组合的激活函数。
6.根据权利要求1至3任一项所述的混凝土建筑物表面损伤的检测方法，其特征在于，所述Fusion-MBConv Block和Inverted Residual Block中的注意力机制包括SENet、CANet以及DANet注意力机制中的一种。
7.根据权利要求1所述的混凝土建筑物表面损伤的检测方法，其特征在于，所述混凝土建筑物包括混凝土桥梁；所述混凝土建筑物表面的损伤包括混凝土分裂、蜂窝麻面、混凝土剥落、钢筋外露、侵蚀、孔洞和裂缝中的至少一种。
8.一种混凝土建筑物表面损伤的检测装置，其特征在于，所述混凝土建筑物表面损伤的检测装置包括：
图像获取单元，用于获取混凝土建筑物表面的待检测图像；
模型构建单元，用于构建目标检测模型，所述目标检测模型包括骨架网络、基于YOLOv4架构的空间金字塔池化模块、基于YOLOv4架构的双向金字塔特征融合层和基于YOLOv4架构的YOLO Head，所述骨架网络依次包括级联的卷积层、6个Fusion-MBConv Block和9个Inverted Residual Block；
损伤检测单元，用于将所述待检测图像输入至所述骨架网络中，得到所述骨架网络输出的多尺度的特征图；将所述骨架网络最后一层输出的特征图输入至所述空间金字塔池化模块中，得到所述空间金字塔池化模块输出的特征图；将所述空间金字塔池化模块输出的特征图和所述骨架网络中间层输出的其余不同尺度的特征图输入至所述双向金字塔特征融合层中，得到所述双向金字塔特征融合层输出的特征图；将所述双向金字塔特征融合层输出的特征图输入至所述YOLO Head中，得到所述YOLO Head输出的所述混凝土建筑物表面的损伤检测结果。
9.一种电子设备，其特征在于，包括：至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行权利要求1至7任一项所述的混凝土建筑物表面损伤的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的混凝土建筑物表面损伤的检测方法。
CN202311544964.8A 2023-11-17 2023-11-17 混凝土建筑物表面损伤的检测方法、装置、设备及介质 Pending CN117522826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311544964.8A CN117522826A (zh) 2023-11-17 2023-11-17 混凝土建筑物表面损伤的检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311544964.8A CN117522826A (zh) 2023-11-17 2023-11-17 混凝土建筑物表面损伤的检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117522826A true CN117522826A (zh) 2024-02-06

Family

ID=89743430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311544964.8A Pending CN117522826A (zh) 2023-11-17 2023-11-17 混凝土建筑物表面损伤的检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117522826A (zh)

Similar Documents

Publication Publication Date Title
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN110110627B (zh) 一种面向计算资源局限平台部署的实时目标检测的方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN113313094B (zh) 一种基于卷积神经网络的车载图像目标检测方法和系统
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN114627447A (zh) 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统
CN108932474B (zh) 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN113239753A (zh) 基于YOLOv4改进的交通标志检测与识别方法
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN114241332A (zh) 一种基于深度学习的固废场识别方法、装置以及存储介质
CN115032719A (zh) 一种基于机器学习LightGBM算法的空气质量预测方法
CN114926826A (zh) 场景文本检测系统
CN114495089A (zh) 基于多尺度异源特征自适应融合的三维目标检测方法
CN111914596A (zh) 车道线检测方法、装置、系统及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统
Ölçer et al. Roof type classification with innovative machine learning approaches
CN117522826A (zh) 混凝土建筑物表面损伤的检测方法、装置、设备及介质
CN112818832B (zh) 一种基于部件感知的弱监督物体定位装置及方法
Yang et al. An modified intelligent real-time crack detection method for bridge based on improved target detection algorithm and transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination