CN113326846B - 一种基于机器视觉的桥梁表观病害快速检测方法 - Google Patents

一种基于机器视觉的桥梁表观病害快速检测方法 Download PDF

Info

Publication number
CN113326846B
CN113326846B CN202110408350.1A CN202110408350A CN113326846B CN 113326846 B CN113326846 B CN 113326846B CN 202110408350 A CN202110408350 A CN 202110408350A CN 113326846 B CN113326846 B CN 113326846B
Authority
CN
China
Prior art keywords
disease
image
bridge
network
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110408350.1A
Other languages
English (en)
Other versions
CN113326846A (zh
Inventor
周朗明
万智
刘敏
彭雨诺
胡帅花
陈晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Qiaokang Intelligent Technology Co ltd
Original Assignee
Hunan Qiaokang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Qiaokang Intelligent Technology Co ltd filed Critical Hunan Qiaokang Intelligent Technology Co ltd
Priority to CN202110408350.1A priority Critical patent/CN113326846B/zh
Publication of CN113326846A publication Critical patent/CN113326846A/zh
Application granted granted Critical
Publication of CN113326846B publication Critical patent/CN113326846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的桥梁表观病害快速检测方法，涉及桥梁病害防治领域，包括步骤1：获取桥梁底部的高分辨率图像f；步骤2：利用滑动窗口算法将高分辨率图像按照不同的步长进行分块，得到大子图像f1和小子图像f2；步骤3：在大子图像f1上，利用块状病害检测网络进行桥梁蜂窝、漏筋和空洞病害的检测。步骤4：在小子图像f2，利用裂缝病害检测网络进行桥梁裂缝病害的检测。步骤5：利用语义分割网络对步骤3和步骤4检测到的粗略病害区域进行精细检测，并将分割后的图像转化为多值化图像。步骤6：将分割后的多值化图像还原到高分辨率图像f中，实现对桥梁多种病害的精准检测与定位。该方法实现了桥梁表观病害的高效率、高精度检测。

Description

一种基于机器视觉的桥梁表观病害快速检测方法
技术领域
本发明属于机器视觉检测技术领域，特别涉及一种基于机器视觉检测的桥梁表观病害快速检测算法
技术背景
我国桥梁建设长期以来处于一个快速发展的阶段，大量桥梁的建设改善了交通，但桥梁的养护等方面存在许多问题。桥梁结构施工及使用过程中，材料、工艺、车辆超载、恶劣天气、道路自老化等因素会导致桥梁病害的出现，这些病害包括蜂窝、漏筋、孔洞和裂缝等，影响到桥梁的使用寿命，严重时将直接危害到桥梁的安全，进而产生经济损失和不良社会影响。我国桥梁众多，新旧交替，目前拥有超过100万座公路和铁路桥梁，桥梁数目和规模均居世界之首，其中15％属于危桥，还有30-40％的桥梁存在潜在隐患。为了保证交通运输的安全性和连续性，需要对桥梁进行定期的检测，对有损伤的桥梁及时进行维护。
基于机器视觉技术的桥梁表观病害快速检测系统能够高效率高精度地检测桥梁表观病害，节省人力，实现桥梁表观病害的自动化检测和识别，可以为公路部门及时有效地维护桥梁提供指导的建议。但在实际应用问题中也存在不少的问题，其中最主要的是，不同类型的病害外观差异显著，且病害之间可能发生重叠，加上光照强度变化、噪声、背景干扰等影响，这增加了桥梁多病害检测的难度。
综上所述，现有的机器视觉检测系统很难实现高效率高精度的桥梁多病害检测，急需一种基于机器视觉的桥梁表观病害快速检测方法，以实现高效率高精度的桥梁多病害的检测。
名词解释：
滑动窗口算法：通过设定的步长，在检测图片有序上滑动，依次选取感兴趣区域的一种算法。
自适应阈值算法：利用图像局部阈值替换全局阈值进行图像计算的一种方法。
块状病害检测网络：前文权利要求已说明，本专利提出的专用于块状病害检测的深度卷积神经网络模型。
裂缝病害检测网络：前文权利要求已说明，本专利提出的专用于裂缝病害检测的深度卷积神经网络模型。
Mask匀光算法：用于解决图像中不均匀光照现象的一种算法。
反差一致性处理：通过对影像的合理分块及自动统计标准均值和方差来实现单幅影像的匀光处理的一种算法。
反差拉伸运算：是一种点处理方法，通过对像元亮度值(又称灰度级或灰度值)的变换来实现对比度增强的算法。
特征金字塔：在单个特征图上，利用不同卷积核对特征进行多次并行采样，进而形成密集表示特征图的一种网络模块。
非线性激活函数：具体为Mish激活函数。
注意力模块：通过解耦特征之间空间相关性和通道相关性，对特征图中的有效信息进行增强的一种网络模块。
标准下采样模块：步长为2的3×3卷积核。
网络缩放：利用限定的系数对网络深度和网络宽度进行线性缩放的一种方法。
残差模块：从输入层直接引入一个跳跃连接到非线形层的输出上，形成输出的恒等映射的一种网络模块。
CSPResNet模块：基于残差模块进行改进的一种网络结构，与残差模块相比，该模块有助于降低计算成本并提高网络的学习能力。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于机器视觉的桥梁表观病害快速检测方法，以解决实际应用中，不同病害外观差异显著且不同病害之间常常发生重叠的桥梁表观多病害检测问题。
为了达到上述目的，本发明的技术方案如下：
一种基于机器视觉的桥梁表观病害快速检测方法，包括如下步骤：
步骤1：获取桥梁图像f；
步骤2：使用滑动窗口算法将取桥梁图像f按照大步长进行分块得到大子图像f1，然后将桥梁图像f按照小步长进行分块得到小子图像f2；大子图像f1的尺寸大于小子图像f2的尺寸；
步骤3：将大子图像f1输入块状病害检测网络进行块状病害的检测，得到块状病害区域；在块状病害检测网络内，利用混合空洞金字塔模块提取块状病害的稀疏多尺度特征图，以提升网络的感受野，增强网络对不同形态病害特征的学习；
步骤4：将小子图像f2输入裂缝病害检测网络进行桥梁裂缝病害的检测，得到裂缝病害区域；在裂缝病害检测网络内，利用下采样注意力模块加强裂缝细节信息在下采样阶段的前景响应，以更好的传递裂缝梯度信息，保留裂缝有效特征；
步骤5：利用语义分割网络对块状病害区域和裂缝病害区域进行精细检测，得到分割后的图像；将分割后的图像转化为多值化图像；
步骤6：将多值化图像还原到高分辨率图像f中，实现对桥梁多种病害的精准检测与定位。
进一步的改进，所述步骤1的具体实现过程为首先利用桥梁机器人采集桥梁底部的原始图像，然后基于Mask匀光算法，采用高斯低通滤波器获取原始图像的背景图像，并通过自适应阈值算法对背景图像进行明暗区域分割，进而分别对明暗区域进行反差一致性处理，最终通过原始影像与背景影像的相减运算和反差拉伸运算得到光照均匀、反差一致的桥梁图像 f。
进一步的改进，所述步骤2中，通过滑动窗口算法对桥梁图像f进行滑窗分块，滑窗分块时的步长大小通过如下方法确定：对不同桥梁表观病害的大小统计，分别得到各类桥梁表观病害检测的合适分辨率，通过各类桥梁表观病害检测的合适分辨率确定检测不同桥梁表观病害不同病害时所需的步长大小。
进一步的改进，所述步骤3中，块状病害包括桥梁蜂窝、漏筋和空洞病害；所述块状病害检测网络包括特征提取网络，混合空洞金字塔模块和特征融合网络；进行块状病害的检测时，首先将图像f1输入到特征提取网络，得到块状病害特征图；然后将块状病害特征图输入到混合空洞金字塔模块得到多尺度信息增强的块状病害特征图，再输入特征融合网络得到块状病害区域；
所述的混合空洞金字塔模块通过四条感受野不同的通道进行块状病害特征的并行采样，块状病害特征图输入混合空洞金字塔模块后，首先通过1×1卷积，降低每条通道的特征通道数量，减少模块的参数量，同时在1×1卷积后引入非线性激活函数；然后在第一条通道中，通过膨胀率为2的3×3空洞卷积，提取得到第一块状病害特征；在第二条通道中，通过膨胀率为2、3的两个3×3空洞卷积串联，提取得到第二块状病害特征；在第三条通道中，通过膨胀率为2、3、5的三个3×3空洞卷积串联，提取得到第三块状病害特征；在第四条通道中，通过膨胀率为2、3、5、7的四个3×3空洞卷积串联，提取得到第四块状病害特征；将第一、二、三、四块状病害特征输入特征融合网络得到块状病害区域。
进一步的改进，所述步骤4中，所述裂缝病害检测网络包括轻量化特征提取网络，下采样注意力模块和轻量化特征融合网络；进行裂缝病害的检测时，首先将图像f2输入到轻量化特征提取网络，得到裂缝病害特征图；在下采样阶段利用下采样注意力模块减少裂缝空间信息的损失；再输入轻量化特征融合网络得到裂缝病害区域；
所述轻量化特征提取网络和轻量化特征融合网络通过网络缩放技术,将网络特征层数和特征通道数缩减至原有深度卷积神经网络的三分之二，并利用CSPResNet模块代替残差模块得到；而所述下采样注意力模块在标准下采样层上增了一条注意力通道，其构建方法如下：注意力通道先使用2×2最大池化对裂缝病害特征图进行下采样，之后通过两个连续的1×1 卷积和分组卷积进行特征间通道相关性和空间相关性的解耦得到注意力通道的下采样结果；标准下采样模块得到标准下采样结果；将注意力通道的下采样结果与标准下采样结果相加得到优化后的下采样结果。
进一步的改进，所述步骤5中，语义分割网络用于对步骤4中得到的块状病害区域和步骤5中得到的裂缝病害区域进行精细检测，语义分割网络的构建方法如下：
语义分割网络由13个空洞卷积层，3个下采样层，3个上采样层和2个标准卷积层组成；其中，在每个下采样步骤中，特征通道的数量增加一倍；在下采样路径的每个下采样层中，利用2×2的最大池化实现特征的下采样，在上采样通道内执行非线性上采样，生成稀疏特征图；最后一个空洞卷积层的输出分别输入到卷积核大小为3×3和1×1的2个标准卷积层，将特征图的通道数减少到1个通道；在最后的1×1卷积层之后添加softmax函数，以预测不同病害的分割结果，并输出使Dice损失函数最小的分割结果；最后，将分割结果表示为多值化图像，其中，背景区域用灰度值0表示，裂缝区域用灰度值1表示，蜂窝区域用灰度值 2表示，漏筋区域用灰度值3表示，空洞区域用灰度值4表示。
与现有技术相比，本发明的优点在于：
(1)本发明的桥梁表观病害的检测算法，首先在大量桥梁表观病害图像上，利用双检测网络进行块状病害和裂缝病害的粗略快速检测，然后在检测基础上利用分割网络实现病害的精细检测，两阶段策略可以有效提高桥梁病害检测精度，并实现病害的实时检测。
(2)本发明的桥梁表观病害快速检测算法对深度卷积神经网络进行了改进。具体的，在蜂窝、漏筋、孔洞病害检测网络上，提出了混合空洞金字塔模块，该模块可用于提取稀疏表达的多尺度特征，能够有效提升卷积神经网络的感受野并避免空洞卷积产生的网格效应。在裂缝病害检测网络上，提出了下采样注意力模块，可以减少下采样阶段裂缝空间信息的损失。与现有的技术相比，能提高桥梁病害的检测速度和检测精度。
(3)本文发明的病害分割方法构建了一个轻量化的分割网络。其仅包含少量的下采样层，可以避免过度下采样而造成的病害像素的损失，能够更准确的定位病害像素的位置。同时降低了设备硬件要求，增强了该方法在实际场景下的应用性能。
附图说明
图1是本发明实施例中桥面表观病害快速检测方法的流程图；
图2是本发明实施例中使用的人工标记后的桥梁表观病害图像的示例图；
图3是本发明实施例中桥梁表观病害图像数据集上检测实验结果对比的示例图；
图4是本发明实施例中对粗略检测进行区域进行精细检测后的结果示例图；
具体实施方法
以下结合附图及实施案例对本发明作进一步详细说明
参见图1所示，本发明实施提供一种基于机器视觉的桥梁表观病害快速检测方法，包括以下步骤：
步骤1：利用桥梁机器人获取桥梁底部的高分辨率图像f：
具体的，在本实施例中，利用桥梁机器人采集大量高分辨率桥梁表观病害图像f，包含蜂窝、漏筋、孔洞、裂缝等病害。由专业人员对桥梁表观病害位置进行了标注，在本实施例中标记了四种病害，分别是蜂窝、漏筋、孔洞、裂缝，一共四种标签，对不同病害使用了不同的标签内容。本实施例中的一种对桥梁表观图像进行标记后的图像如图2所示，其中不同病害通过不同颜色/灰度值进行区分。
步骤2：利用滑动窗口算法将高分辨率图像按照不同的步长进行分块，得到大子图像f1和小子图像f2；
在本实施例中，为了准确检测和分割蜂窝、漏筋和孔洞病害，滑动窗口的步长设置为 1280×1280像素，对高分辨率图像f进行分块得到f1。在该大小的窗口图像上，可以较好的提取蜂窝、漏筋和孔洞病害的特征，同时避免了这些病害的整体结构信息的丢失。为了准确检测和分割裂缝病害，滑动窗口的步长设置为640×640像素，对高分辨率图像f进行分块得到f2。在该大小的窗口图像上，可以更好的保留裂缝细节信息，避免细小裂缝病害像素信息的丢失。
步骤3：在大子图像f1上，利用块状病害检测网络进行桥梁蜂窝、漏筋和空洞病害的检测。所述的深度神经网络包含特征提取网络，混合空洞金字塔模块和特征融合网络。混合空洞金字塔模块用于提取稀疏表达的多尺度特征，以增强网络对于不同病害特征的提取。
混合空洞金字塔模块通过四条感受野不同的通道进行块状病害特征的并行采样，首先通过1×1卷积，降低每条通道的特征通道数量，减少模块的参数量，同时在1×1卷积后引入了额外的非线性激活函数，这可以加强模块的非线性表达能力。然后在第一条通道中，通过膨胀率为2的3×3空洞卷积，提取块状病害特征；在第二条通道中，通过膨胀率为2、3的两个3×3空洞卷积串联，提取块状病害特征；在第三条通道中，通过膨胀率为2、3、5 的三个3×3空洞卷积串联，提取块状病害特征；在第四条通道中，通过膨胀率为2、3、5、 7的四个3×3空洞卷积串联，提取块状病害特征。之后利用Concatenate函数融合这些块状病害特征图。最后经过1×1卷积得到混合空洞金字塔模块的输出。混合空洞金字塔模块的输出可以定义为：
A1(F)＝f3×3(f1×1(F))r＝2
A2(F)＝f3×3(f3×3(f1×1(F))r＝2)r＝3
A3(F)＝f3×3(f3×3(f3×3(f1×1(F))r＝2)r＝3)r＝5
A4(F)＝f3×3(f3×3(f3×3(f3×3(f1×1(F))r＝2)r＝3)r＝5)r＝7
Figure BDA0003021904620000046
其中，A1(F)到A4(F)代表不同通道的输出，A(F)为混合空洞金字塔模块的输出。f1 ×1为 1×1卷积操作，f3×3为3×3卷积操作，r代表空洞卷积的膨胀系数，
Figure BDA0003021904620000047
为Concatenate函数。此外，批量归一化和Mish激活函数被添加到每一次卷积操作之后。
步骤4：在小子图像f2上，利用裂缝病害检测网络进行桥梁裂缝病害的检测。所述的深度神经网络包含轻量化的特征提取网络，下采样注意力模块和特征融合网络。传统的下采样方法会造成裂缝病害像素损失，下采样注意力模块在网络原有的下采样通道上，新增了一条注意力通道，用于加强裂缝的前景响应。
下采样通道可用于增强裂缝细节信息的保留和传递。该下采样通道简化了注意力机制的实现，仅通过卷积的方式对下采样过程中的通道信息和空间信息进行整合，可以方便的添加到任何网络框架下。对于输入特征F∈RH×W×C，特征M1(F)∈RH/2×W/2×C为步长2的3×3卷积下采样的结果，特征M2(F)∈RH/2×W/2×C为注意力通道的下采样结果，最终优化的下采样特征为M(F)：
Figure BDA0003021904620000041
其中，
Figure BDA0003021904620000042
为Concatenate函数。注意力通道下，2×2最大池化首先用于输入特征F的下采样，生成下采样特征图M3(F)∈RH/2×W/2×C，并由f1×1∈RH/2×W/2×4C将低维空间映射到高维空间，为注意力分支提供丰富的特征图。随后分组卷积和通道数减半的1×1卷积被用于提取特征的空间相关性和通道相关性，当特征通道数降至C时，我们将注意力通道输出与M3(F) 输入至Concatenate函数，然后经过f1×1∈RH/2×W/2×2C和批量标准层获得注意力通道输出M2(F)，其计算过程如下：
Figure BDA0003021904620000043
其中，MaxPool为2×2最大池化，f1×1为1×1卷积，
Figure BDA0003021904620000044
为3×3分组卷积，
Figure BDA0003021904620000045
为逐元素相加操作(Element-wise add)函数，BN为批量标准化操作。
步骤5：利用语义分割网络对检测到的病害区域进行分割，并将分割后的图像转化为二值区域。
语义分割网络由13个空洞卷积层，3个下采样层，3个上采样层和2个标准卷积层组成。在每个卷积操作之后，将批量归一化操作应用于特征图。然后，在每个下采样步骤中，特征通道的数量将增加一倍。在下采样路径的每个下采样层中，利用2×2的最大池化实现特征的下采样。在上采样通道内执行非线性上采样，以生成稀疏特征图。与连续和密集特征图相比，稀疏特征图能够获得区域边界的更精确位置。为了减少下采样阶段模糊裂缝像素的损失并实现合理的效率及精度折衷，语义分割网络仅包含三个下采样阶段。最后一个空洞卷积层的输出分别输入到卷积核大小为3×3和1×1的2个标准卷积层，将特征图的通道数减少到1 个通道；在最后的1×1卷积层之后添加softmax函数，以预测不同病害的分割结果，并使用 Dice损失函数得到预测误差。
步骤6：将分割后的多值化图像还原到高分辨率图像f中，实现对桥梁多种病害的精准检测与定位。该方法实现了桥梁表观病害的高效率、高精度检测。
本发明提供的基于机器视觉的桥梁表观病害快速检测方法的效果可以通过以下实验结果进一步说明。实验数据描述：本发明所使用的数据集为通过桥梁智能检测机器人(湖南桥康智能科技有限公司研制)采集的数十座桥梁真实数据。桥梁智能检测机器人相机采集模块配置如下：由3台高分辨率工业相机组成，像素分辨率2000万，像元尺寸6.4μ.×6.4μ.，相机镜头选用85mm-135mm，扫描距离在1.0m-3.5m时空间分辨率的范围是 0.064mm-0.152mm，相机帧率20-30fps，采用千兆以太网接口，通过同步控制装置，使3台工业相机同步数据采集，在车速1m/s时，扫描速度平均2.5m2/s。本发明从拍摄的图像库中共1794张5120×5120的高分辨率桥梁表观病害图像。为了方便训练模型，采用滑动窗口算法将块状病害图像裁剪为1280×1280像素大小，裂缝病害图像滑窗为640×640像素大小。然后经过HSV随机变换、缩放变换、旋转变换和翻转变换对数据进行增广，得到桥梁表观病害图像共30980张。
在第一阶段使用本发明提出的检测方法对桥梁蜂窝、漏筋、孔洞和裂缝病害进行检测。由于在实际应用中，桥梁病害仅在桥梁表观占据相当小的面积，本发明的算法可以从大量的桥梁表观图像中快速筛除桥梁健康表面区域，并实现高召回率的病害检测，为分割网络提供候选区域，极大的加速桥梁病害识别的速度。在本实例中使用重叠的滑动窗口而不是常规的滑动窗口方法来扫描高分辨率图像，这可以提高滑动窗口边缘附近的病害检测的精度。此外 k-means聚类方法是一种无监督的机器学习方法，用于自动获得合适的病害锚框尺寸。
在本说明中，将本发明提供的病害检测方法与以下6种方法进行对比：
(1)SSD算法。一种单步检测器，参考文献见：LiuW,Anguelov D,Erhan D,SzegedyC, Reed S.SSD:Single shotmulti-box detector.In:Proceedings ofthe 2016EuropeanConference on ComputerVision(ECCV),2016:21-37
(2)Faster-RCNN算法。一种两阶段检测器，首先利用区域推荐网络对病害区域进行筛选，再进一步检测病害，参考文献见：Ren S Q,He KM,Girshick R,Sun J.Faster R-CNN: Towards real-time object detection with region proposal networks.In:Proceedings of the 2015 Conference andWorkshop onNeural InformationProcessing Systems(NIPS),2015:91–99
(3)Retinanet算法。该算法提出了新的损失函数，可以用于解决正负样本不平衡的问题，参考文献见：Lin T Y,Goyal P,Girshick R.Focal loss for dense objectdetection.In: Proceedings of the 2017IEEE International Conference onComputer Vision(ICCV),2017: 2999-3007
(4)FCOS算法。一种无锚检测器，不需要预先设置锚框，可以更好的检测不同尺寸的目标。参考文献见：Tian Z,Shen C H,Chen H,He T.FCOS:Fully convolutional one-stage object detection.In:Proceedings ofthe 2019IEEE International Conferenceon Computer Vision (ICCV),2019:9627–9636
(5)EfficientDet算法。一种可以根据输入大小调整网络参数的检测器，可以适应不同应用环境。参考文献见：Mingxing Tan and Quoc V Le.EfficientNet:Rethinkingmodel scaling for convolutional neural networks.In:Proceedings of the2019International Conference on Machine Learning(ICML),2019,97:6105-6114
(6)YOLOv3算法。一种单步检测器，以Darknet-53为特征提取网络，利用FPN实现特征融合，可以快速准确的识别目标。参考文献见：Redmon J,Divvala S,Girshick R,Farhadi A.You only look once:unified,real-time object detection.In:Proceedings of the 2016IEEE Conference on ComputerVisionandPatternRecognition(CVPR),2016:779-788
将本发明检测方法与上述现有目标检测方法进行对比后，针对不同病害检测实验结果如图3所示。可以看出，我们的算法在准确率、召回率和定位准确性上都优于其他算法，同时，可实现快速的病害检测。
在第二阶段通过语义分割网络进行像素级病害检测。为了实现桥梁表观病害的测量和相关的损伤量化，将混合空洞卷积模块融入语义分割网络用于通过扩大感受野，来检测像素级的桥梁表观病害。在不增加计算复杂度的情况下扩大卷积核的感受范围。在此阶段，语义分割网络从病害检测网络生成的粗略区域建议中检测像素级病害位置。
实验结果如图4所示，本发明的语义分割网络能够实现桥梁表观多病害的快速准确分割，并可以有效的避免背景干扰对分割结果的影响。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方法及构思加以等同替换或改变，都属于本发明的保护范围。

Claims (5)

1.一种基于机器视觉的桥梁表观病害快速检测方法，其特征在于，包括如下步骤：
步骤1：获取桥梁图像：
首先利用桥梁机器人采集桥梁底部的原始图像，然后基于Mask匀光算法，采用高斯低通滤波器获取原始图像的背景图像，并通过自适应阈值算法对背景图像进行明暗区域分割，进而分别对明暗区域进行反差一致性处理，最终通过原始影像与背景影像的相减运算和反差拉伸运算得到光照均匀、反差一致的桥梁图像f；
步骤2：使用滑动窗口算法将桥梁图像f按照大步长进行分块得到大子图像f1，然后将桥梁图像f按照小步长进行分块得到小子图像f2；大子图像f1的尺寸大于小子图像f2的尺寸；
步骤3：将大子图像f1输入块状病害检测网络进行块状病害的检测，得到块状病害区域；在块状病害检测网络内，利用混合空洞金字塔模块提取块状病害的稀疏多尺度特征图，以提升网络的感受野，增强网络对不同形态病害特征的学习；所述块状病害包括桥梁蜂窝、露筋和空洞病害；
步骤4：将小子图像f2输入裂缝病害检测网络进行桥梁裂缝病害的检测，得到裂缝病害区域；在裂缝病害检测网络内，利用下采样注意力模块加强裂缝细节信息在下采样阶段的前景响应，以更好的传递裂缝梯度信息，保留裂缝有效特征；
步骤5：利用语义分割网络对块状病害区域和裂缝病害区域进行精细检测，得到分割后的图像；将分割后的图像转化为多值化图像；
步骤6：将多值化图像还原到高分辨率图像中，实现对桥梁多种病害的精准检测与定位。
2.根据权利要求1所述的基于机器视觉的桥梁表观病害快速检测方法，其特征在于：所述步骤2中，通过滑动窗口算法对桥梁图像f进行滑窗分块，滑窗分块时的步长大小通过如下方法确定：对不同桥梁表观病害的大小统计，分别得到各类桥梁表观病害检测的合适分辨率，通过各类桥梁表观病害检测的合适分辨率确定检测不同桥梁表观病害时所需的步长大小。
3.根据权利要求1所述的基于机器视觉的桥梁表观病害快速检测方法，其特征在于：所述步骤3中，所述块状病害检测网络包括特征提取网络，混合空洞金字塔模块和特征融合网络；进行块状病害的检测时，首先将图像f1输入到特征提取网络，得到块状病害特征图；然后将块状病害特征图输入到混合空洞金字塔模块得到多尺度信息增强的块状病害特征图，再输入特征融合网络得到块状病害区域；
所述的混合空洞金字塔模块通过四条感受野不同的通道进行块状病害特征的并行采样，块状病害特征图输入混合空洞金字塔模块后，首先通过1×1卷积，降低每条通道的特征通道数量，减少模块的参数量，同时在1×1卷积后引入非线性激活函数；然后在第一条通道中，通过膨胀率为2的3×3空洞卷积，提取得到第一块状病害特征；在第二条通道中，通过膨胀率为2、3的两个3×3空洞卷积串联，提取得到第二块状病害特征；在第三条通道中，通过膨胀率为2、3、5的三个3×3空洞卷积串联，提取得到第三块状病害特征；在第四条通道中，通过膨胀率为2、3、5、7的四个3×3空洞卷积串联，提取得到第四块状病害特征；将第一、二、三、四块状病害特征输入特征融合网络得到块状病害区域。
4.根据权利要求1所述的基于机器视觉的桥梁表观病害快速检测方法，其特征在于：所述步骤4中，所述裂缝病害检测网络包括轻量化特征提取网络，下采样注意力模块和轻量化特征融合网络；进行裂缝病害的检测时，首先将图像f2输入到轻量化特征提取网络，得到裂缝病害特征图；在下采样阶段利用下采样注意力模块减少裂缝空间信息的损失；再输入轻量化特征融合网络得到裂缝病害区域；
所述轻量化特征提取网络和轻量化特征融合网络通过网络缩放技术,将网络特征层数和特征通道数缩减至原有深度卷积神经网络的三分之二，并利用CSPResNet模块代替残差模块得到；而所述下采样注意力模块在标准下采样层上增加了一条注意力通道，其构建方法如下：注意力通道先使用2×2最大池化对裂缝病害特征图进行下采样，之后通过两个连续的1×1卷积和分组卷积进行特征间通道相关性和空间相关性的解耦得到注意力通道的下采样结果；标准下采样模块得到标准下采样结果；将注意力通道的下采样结果与标准下采样结果相加得到优化后的下采样结果。
5.根据权利要求1所述的基于机器视觉的桥梁表观病害快速检测方法，其特征在于：所述步骤5中，语义分割网络用于对步骤3中得到的块状病害区域和步骤4中得到的裂缝病害区域进行精细检测，语义分割网络的构建方法如下：
语义分割网络由13个空洞卷积层，3个下采样层，3个上采样层和2个标准卷积层组成；其中，在每个下采样步骤中，特征通道的数量增加一倍；在下采样路径的每个下采样层中，利用2×2的最大池化实现特征的下采样，在上采样通道内执行非线性上采样，生成稀疏特征图；最后一个空洞卷积层的输出分别输入到卷积核大小为3×3和1×1的2个标准卷积层，将特征图的通道数减少到1个通道；在最后的1×1卷积层之后添加softmax函数，以预测不同病害的分割结果，并输出使Dice损失函数最小的分割结果；最后，将分割结果表示为多值化图像，其中，背景区域用灰度值0表示，裂缝区域用灰度值1表示，蜂窝区域用灰度值2表示，露筋区域用灰度值3表示，空洞区域用灰度值4表示。
CN202110408350.1A 2021-04-15 2021-04-15 一种基于机器视觉的桥梁表观病害快速检测方法 Active CN113326846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110408350.1A CN113326846B (zh) 2021-04-15 2021-04-15 一种基于机器视觉的桥梁表观病害快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110408350.1A CN113326846B (zh) 2021-04-15 2021-04-15 一种基于机器视觉的桥梁表观病害快速检测方法

Publications (2)

Publication Number Publication Date
CN113326846A CN113326846A (zh) 2021-08-31
CN113326846B true CN113326846B (zh) 2022-07-05

Family

ID=77414748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110408350.1A Active CN113326846B (zh) 2021-04-15 2021-04-15 一种基于机器视觉的桥梁表观病害快速检测方法

Country Status (1)

Country Link
CN (1) CN113326846B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239733B (zh) * 2022-09-23 2023-01-03 深圳大学 裂缝检测方法、装置、终端设备以及存储介质
CN117036965B (zh) * 2023-10-08 2024-01-05 四川正路建设工程检测咨询有限公司 桥梁维修设备控制方法、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045950A (zh) * 2015-05-28 2015-11-11 张家港江苏科技大学产业技术研究院 一种基于三维激光扫描的桥梁安全评估系统
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN112308826A (zh) * 2020-10-23 2021-02-02 南京航空航天大学 一种基于卷积神经网络的桥梁结构表面缺陷检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885622B2 (en) * 2018-06-29 2021-01-05 Photogauge, Inc. System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis
US11669947B2 (en) * 2019-02-12 2023-06-06 Toyota Motor North America, Inc. Machine learning assisted image analysis
CN110161043B (zh) * 2019-05-10 2021-03-26 同济大学 一种地铁隧道结构综合检测车

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045950A (zh) * 2015-05-28 2015-11-11 张家港江苏科技大学产业技术研究院 一种基于三维激光扫描的桥梁安全评估系统
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法
CN112308826A (zh) * 2020-10-23 2021-02-02 南京航空航天大学 一种基于卷积神经网络的桥梁结构表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Research on Concrete Cracks Recognition based on Dual Convolutional Neural Network;Dong Liang et al.;《Structural Engineering》;20190510;第3066-3074页 *
基于局部图像分割与多特征滤波的自适应桥梁露筋检测算法;贺福强 等;《应用光学》;20200531;第41卷(第3期);第508-515页 *

Also Published As

Publication number Publication date
CN113326846A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
Ali et al. Structural crack detection using deep convolutional neural networks
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
Ai et al. Computer vision framework for crack detection of civil infrastructure—A review
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN109558806B (zh) 高分遥感图像变化的检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN110889398B (zh) 一种基于相似度网络的多模态图像能见度检测方法
CN111104903A (zh) 一种深度感知交通场景多目标检测方法和系统
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN113326846B (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN110675415A (zh) 一种基于深度学习增强实例分割的道路积水区域检测方法
CN114693924A (zh) 一种基于多模型融合的道路场景语义分割方法
CN112308826A (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
Zang et al. Traffic lane detection using fully convolutional neural network
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN114359196A (zh) 雾气检测方法及系统
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN114332644A (zh) 一种基于视频卫星数据的大视场交通密度获取方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant