CN114511515A - 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 - Google Patents

一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 Download PDF

Info

Publication number
CN114511515A
CN114511515A CN202210047757.0A CN202210047757A CN114511515A CN 114511515 A CN114511515 A CN 114511515A CN 202210047757 A CN202210047757 A CN 202210047757A CN 114511515 A CN114511515 A CN 114511515A
Authority
CN
China
Prior art keywords
convolution
size
output
module
corrosion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210047757.0A
Other languages
English (en)
Other versions
CN114511515B (zh
Inventor
刘广信
傅勇
解恒苏
石祥玉
赵连旨
齐鲁杰
李东旭
杨彦青
冯强
刘荣阳
刘凯
杨忠允
郭忠峰
李进
李宏波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Expressway Road And Bridge International Engineering Co ltd
Original Assignee
Shandong Expressway Road And Bridge International Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Expressway Road And Bridge International Engineering Co ltd filed Critical Shandong Expressway Road And Bridge International Engineering Co ltd
Priority to CN202210047757.0A priority Critical patent/CN114511515B/zh
Publication of CN114511515A publication Critical patent/CN114511515A/zh
Application granted granted Critical
Publication of CN114511515B publication Critical patent/CN114511515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G01N17/006—Investigating resistance of materials to the weather, to corrosion, or to light of metals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Environmental Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统，该系统由骨干网络模块、双向融合网络模块和预测网络模块组成。本发明的骨干网络通过类似于金字塔式的特征提取，可以从不同的图片分辨率下来对腐蚀进行像素级别的特征提取，更好地识别腐蚀特征。对于螺栓腐蚀的特征提取来说，使用了含主次模块的主次骨干，从不同的感受野来捕捉腐蚀的全方位特征。本发明使用了补丁模块来进行下采样，把高分辨率的特征图进行补丁嵌入和纵深卷积、点卷积，能够在不牺牲分辨率的情况下，更好地保留高阶特征图的特征，使得腐蚀的颜色以及分布特征最终能够提取更加彻底。通过使用注意力融合机制来融合不同特征层的输入，最终提取的特征能够更准确地帮助腐蚀类别的检测。

Description

一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测 方法
技术领域
本发明属于工程技术缺陷识别技术领域，具体涉及一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和方法。
背景技术
目前使用的大多数金属都是从热力学稳定的金属中提取出来的，因此，当金属材料暴露于环境中时，它们具有通过腐蚀，极易恢复其天然、稳定的化合物。自古以来，腐蚀的有害影响一直是人们关注的问题，今天，腐蚀浪费金属是一个成本非常高的社会问题。对于土木工程中起到结构联接和稳固重要作用的螺栓而言，螺栓长期暴露在空气中，易受到化学介质的影响产生腐蚀或者生锈，螺栓作为串联起钢结构的关键部件，生锈腐蚀将导致结构的承载能力急剧降低，导致结构坍塌、失稳等严重的工程质量事故。在桥梁工程中，钢桁梁区域常采用高强螺栓，在腐蚀作用下螺栓断裂脱落风险增大，进而导致结构物性能降低，造成运营风险激增。现有的针对结构中螺栓的服役状态检测与识别的方案中，大部分采取人工肉眼检测螺栓的腐蚀程度，然后拍照汇报，不但施工周期长，费时费力，对于跨越峡谷等特殊环境的钢桥梁的监控还存在一定的危险性。所以，需一种基于计算机视觉的螺栓腐蚀自动检测方案，来高效地完成检测和分类汇总，以达到及时对桥梁和高速安全维护的目的。
发明内容
一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统，由骨干网络模块、双向融合网络模块和预测网络模块组成；
其中，骨干网络模块用于对输入图片进行多尺度的特征提取，输入的图片为(c0，w，h)，其中，c0表示通道数，w和h分别表示图片的宽度和高度像素数；骨干网络模块由6个连续的特征提取块组成，原始输入图片经过6个特征提取块后分别输出P1，P2，P3，P4，P5，P6；
其中，双向融合网络模块以骨干网络的输出P2，P3，P4，P5，P6作为输入，每一个输入都经过一个sc层，即统一通道(same channel)层，把通道数统一为相同的值，宽度和高度不变，该sc层是由一个卷积函数后面跟着一个批归一化函数和激活函数构成，卷积函数的卷积核大小为1×1，步长也为1×1；经过sc层分别得到S0，S1，S2，S3，S4；S0，S1，S2，S3，S4分别经过下采样层、上采样层和注意力融合层后得到F0，F1，F2，F3，F4共计5个输出；
其中，预测网络模块分别以F0，F1，F2，F3，F4作为输入，通过BoxNet用来预测目标的边框，ClassNet用来预测目标的类别，即0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别。
本发明还提供了一种检测螺栓腐蚀程度的方法，使用上述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，具体的，使用无人机拍摄桥梁的近距离照片，将拍摄的图片按照系统的要求进行预处理后加载到检测系统中进行目标检测。
本发明还提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的检测螺栓腐蚀程度的方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的检测螺栓腐蚀程度的方法的步骤。
本发明提出了一种基于BoltCorrDetNet网络的螺栓腐蚀检测方法和系统，能够对高速的应用于桥梁和设施上的螺栓进行腐蚀检测，并及早发现腐蚀问题，提交给相关部门进行及时维修和维护，从而及早地发现问题和解决问题，保证高速和相关设施的运营安全。和其他已有方案比，有如下优点：
BoltCorrDetNet架构由三大部分组成，分别是骨干网络、双向融合网络和预测网络。骨干网络通过类似于金字塔式的特征提取，尤其是本发明应用案例螺栓腐蚀图片来说，可以从不同的图片分辨率下来对腐蚀进行像素级别的特征提取，更好地识别腐蚀特征。
双向融合网络改变了以往网络中单一的特征图处理流程，通过上采样和下采样的方式，使得不同尺寸的特征图能够在相同尺寸下融合。来自不同特征图的特征图融合采样了注意力融合机制，使得融合更加关注在某一尺寸大小的特征，并通过权重体现出来。对于本发明中的螺栓腐蚀的目标检测，来自多个尺度的特征图双向融合，使得提取的特征关注了各个尺度的主要特点，而且跨尺度的特征相互融合，使得腐蚀的部分在更加细微的级别并没有丢失特征，反而突出了特征；而且，网络可以学习与表达的腐蚀部分更加丰富，有利于提高腐蚀检测精确度。
对于螺栓腐蚀的特征提取来说，使用了含主次模块的主次骨干，从不同的感受野来捕捉腐蚀的全方位特征，而不是局部特征，另外，纵深卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，完全是在二维平面内进行，更好地体现了同一通道的特征。
对于螺栓腐蚀的特征提取来说，使用了补丁模块来进行下采样，把高分辨率的特征图进行补丁嵌入和纵深卷积、点卷积，能够在不牺牲分辨率的情况下，更好地保留高阶特征图的特征，使得腐蚀的颜色以及分布特征最终能够提取更加彻底。
通过使用注意力融合机制来融合不同特征层的输入，对于螺栓腐蚀的特征提取来说，能对不同分辨率下的特征图进行聚焦，最终提取的特征能够更准确地帮助腐蚀类别的检测。
附图说明
通过阅读下文的具体实施方式的详细描述，本发明的优点和益处对于本领域普通技术人员将变得清楚明了。附图是说明性的，并不认为是对本发明的限制。在附图中：
图1为基于BoltCorrDetNet网络的螺栓腐蚀检测系统的总体流程图；
图2为BoltCorrDetNet的总体架构图；
图3为包围框网络和类别网络的结构图；
图4为主次模块构造图；
图5为主次骨干构造图；
图6为补丁模块构造图；
图7为使用本发明的方法进行预测的效果图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
图1是本发明提供的基于BoltCorrDetNet网络的螺栓腐蚀检测系统的流程示意图，所述BoltCorrDetNet网络的螺栓腐蚀检测方法包括如下步骤：
步骤1:从山东烟台某高速道路的桥梁拍摄螺栓照片，拍摄可以采用无人机拍摄，组成螺栓图片集。图片为三通道的RGB图像。
步骤2:手工预处理图片集，筛选出包含螺栓的图片，把一些完全没有螺栓的图片剔除掉。然后，将所有图片的大小变为512×512。经过此预处理，得到2000张大小均为512×512的含各种高速桥梁螺栓的图片。
步骤3：使用软件labelMe对图片集进行标记，将含有螺栓的区域用长方形边框给包围起来，同时进行标记，根据螺栓腐蚀的程度，分为0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别。
步骤4：将步骤3得到的图像样本分为训练集、验证集和测试集；此步骤的具体实施例为：先将本地缺陷图像数据集按8:2随机划分为训练部分和测试部分的数据，再按6:4将训练部分的数据随机划分为训练集和验证集。训练集用以训练模型参数，验证集在反向传播的过程中用以优化模型参数，测试集用以衡量模型的泛化性能。
步骤5：构建一个多层基于BoltCorrDetNet神经网络的深度学习模型，加载训练集，验证集，测试集，进行500个代(epoch)的训练，通过训练集用以训练模型参数，利用验证集在反向传播的过程中来优化模型参数，利用测试集来衡量模型的泛化性能，得到一个最优参数的模型，称为最佳模型。
步骤6:保存此最佳模型，具体可以保存在本地磁盘或者云服务器的网络存储上。
步骤7：模型训练完毕后，可以使用该模型进行实际的螺栓腐蚀检测。首先，使用无人机拍摄桥梁的近距离照片，其中包含有螺栓目标的图片以及无螺栓目标的图片。
步骤8：将图片大下统一为512×512的三通道RGB的图片集。
步骤9：加载步骤5中保存的最佳模型，输入步骤7中的图片，进行腐蚀螺栓的目标检测，于是可以得到每张图片的螺栓以及其腐蚀程度，按照0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别来区分。
步骤10：螺栓腐蚀分类图片准备好以后，将该图片集汇总报告给高速公路桥梁与钢结构厂房管理部门。
步骤11：高速公路桥梁养护部门或钢结构厂房管理部门根据螺栓腐蚀程度，派相应的养护人员对腐蚀的螺栓进行维护如加喷防锈层、置换等，确保路桥与钢结构厂房的安全运行。
具体地，对于步骤5中的基于BoltCorrDetNet神经网络的深度学习模型，其总体架构图如图2所示:
BoltCorrDetNet架构由三大部分组成，分别是骨干网络、双向融合网络和预测网络。骨干网络接受3通道RGB图片作为输入，其尺寸大小为(3，512，512)，其中，3表示通道数，512×512表示图片的宽度和高度像素数。
骨干网络由6个特征提取块组成，对输入图片进行多尺度的特征提取。6个特征提取块均由主次骨干网络组成。
输入图片大小为(3，512，512)，记作P0，经过第一个主次骨干网络(block0)后，大小变为(8，256，256))，把该输出记作P1；然后该输出进入第二个主次骨干网络(block1)后，大小变为(16，128，128)，把该输出记作P2；该输出进入第三个主次骨干网络(block2)后，大小变为(32，64，64)，把该输出记作P3；该输出进入第四个主次骨干网络(block3)后，大小变为(64，32，32)，把该输出记作P4；该输出进入第五个主次骨干网络(block4)后，大小变为(128，16，16)，把该输出记作P5；该输出进入第六个主次骨干网络(block5)后，大小变为(256，8，8)，把该输出记作P6。可以看到，从P1依次到P6，图片的宽度和高度从(256，256)依次除以2，直到最后是(8，8)，这就代表了图片在不同尺寸维度下的特征的提取。通过类似于金字塔式的特征提取，尤其是本发明应用案例螺栓腐蚀图片来说，可以从不同的图片分辨率下来对腐蚀进行像素级别的特征提取，更好地识别腐蚀特征。
骨干网络的输出P2，P3，P4，P5，P6作为双向融合网络的输入，分别代表了不同维度下的特征图。P2，P3，P4，P5，P6分别都经过一个sc层，即统一通道(same channel)层，把通道数变成64，宽度和高度不变，该sc层是由一个卷积函数后面跟着一个批归一化函数和激活函数构成，卷积函数的卷积核大小为1×1，步长也为1×1。经过sc层分别得到5个输出，记作S0，大小64，128，128)；S1，大小为(64，64，64)；S2，大小(64，32，32)；S3，大小(64，16，16)；S4，大小(64，8，8)。
双向融合网络会从不同的维度融合特征，达到更加好的螺栓特征图融合作用。以S0和S1为例，S0经过一个下采样(down)层，尺寸变为(64，64，64)，记作D1，此即为和S1尺寸一样。D1和S1尺寸均为(64，64，64)，作为注意力融合(Att)层的输入，输出为A1，大小还是(64，64，64)。A1然后经过一个上采样(up)层，大小为(64，128，128)，记作U0。U0和S0大小均为(64，128，128)，作为注意力融合(Att)层的输入，输出为F0，大小为(64，128，128)。同理，A1和来自S2分支的A2的上采样(up)输出U1尺寸大小同为(64，64，64)，也输入到一个注意力融合(Att)层，输出为F1，尺寸为(64，64，64)。依此原理，从S2，S3，S4输入，可以得到输出F2，尺寸(64，32，32)；F3，尺寸为(64，16，16)；F4，尺寸为(64，8，8)。双向融合网络改变了以往网络中单一的特征图处理流程，通过上采样和下采样的方式，使得不同尺寸的特征图能够在相同尺寸下融合。来自不同特征图的特征图融合采样了注意力融合机制，使得融合更加关注在某一尺寸大小的特征，并通过权重体现出来。对于本发明中的螺栓腐蚀的目标检测，来自多个尺度的特征图双向融合，使得提取的特征关注了各个尺度的主要特点，而且跨尺度的特征相互融合，使得腐蚀的部分在更加细微的级别并没有丢失特征，反而突出了特征；而且，网络可以学习与表达的腐蚀部分更加丰富，有利于提高腐蚀检测精确度。
F0，F1，F2，F3，F4共计5个输出作为预测网络的输入，预测网络即为BoxNet用来预测目标的边框，ClassNet用来预测目标的类别，即0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别。
图4和图5显示了主次模块和主次骨干的模型结构，主次骨干为上述骨干网络的主要组成部分，而主次模块则是主次骨干的主要组成部分。
图5为主次骨干的构造图，原始输入为(c0，w，h)，经过一个主次模块，大小为(c1，w，h)。然后经过一个步长为2的纵深卷积，输出大小为(c2，w/2，h/2)，然后经过另外一个主次模块，输出大小为(c3，w/2，h/2)，再经过一个卷积块，输出大小为(c4，w/2，h/2)，该卷积块由一个卷积函数后面跟着一个批归一化函数和激活函数构成。原始的输入(c0，w，h)经过一个步长为2的残差调整模块，大小变为(c4，w/2，h/2)，该尺寸和卷积块的输出一样。他们经过向量级别的相加，大小还是(c4，w/2，h/2)，此即主次骨干的输出，大小为(c4，w/2，h/2)。对于螺栓腐蚀的特征提取来说，使用了含主次模块的主次骨干，从不同的感受野来捕捉腐蚀的全方位特征，而不是局部特征，另外，纵深卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，完全是在二维平面内进行，更好地体现了同一通道的特征。
图4为主次模块的构造图，若输入向量为(c0，w，h)，首先经过一个主卷积，大小还是(c0，w，h)。主卷积由一个卷积函数后面跟着一个批归一化函数和激活函数构成。然后经过一个次卷积，输出还是(c0，w，h)。次卷积由一个卷积函数后面跟着一个批归一化函数和激活函数构成。主卷积的输出和次卷积的输出通过残差连接(concat)，大小即为(c1，w，h)。主卷积和次卷积在卷积核大小有所不同，主卷积的卷积核大小为3×3，次卷积的卷积核大小则为5×5，步长均为一。不同大小的卷积核，会从不同的感受野来看到全方位的图片信息，获得的更好的全局特征。
双向融合模块中的下采样(down)模块由补丁模块组成，图6展示了补丁模块的结构图。输入大小为(c，w，h)，首先经过一个补丁嵌入模块，该模块其实是由一个卷积核和步长均为p的卷积函数后面跟着一个批归一化函数和激活函数构成，卷积核和步长均为p，这里p＝2。用公式表示为：
Figure BDA0003472442120000061
这里X表示输入，z0表示输出，cin代表输入通道数，h代表输出通道数，卷积核大小为p，步长也为p。
后面紧跟的模块由纵深卷积块和点卷积块组成，纵深卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，而点卷积的卷积核的尺寸为1×1×M，M为上一层的通道数。所以这里的卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图。公式表示：
z′l＝BN(σ{ConvDepthwise(zl-1)})+zl-1 (2)
zl+1＝BN(σ{ConvPointwise(Z′l) (3)
这里zl-1代表纵深卷积的输入，z′l代表纵深卷积的输出和其输入残差相加的结果。zl+1代表点卷积块的输出。
经过3个一模一样的这样的纵深卷积和点卷积的组合块后，输出大小为(c，w/2，h/2)。这里，通道数没有变化，但是宽度和高度都变为原来的1/2，所以起到了下采样(down)的作用。对于螺栓腐蚀的特征提取来说，使用了补丁模块来进行下采样，把高分辨率的特征图进行补丁嵌入和纵深卷积、点卷积，能够在不牺牲分辨率的情况下，更好地保留高阶特征图的特征，使得腐蚀的颜色以及分布特征最终能够提取更加彻底。
上述注意力融合层(Att)采用两个来自不同特征层的输入，以D1和S1作为输入为例，注意力融合层的计算为:
A1＝Conv((wi×Di+wj×Si)/(wi+wj)) (4)
其中Wi和wj为权重，是可以学习的参数，它们体现了对Di和Si的关注点的权重不同。
通过使用注意力融合机制来融合不同特征层的输入，对于螺栓腐蚀的特征提取来说，能对不同分辨率下的特征图进行聚焦，最终提取的特征能够更准确地帮助腐蚀类别的检测。
图3为预测网络的详细结构图，来自双向融合网络的输出F0，F1，F2，F3，F4是高度提取的有效的图片特征层，将这5个有效的特征层传入包围框网络来预测目标的包围框，同时将这5个有效的特征层传入类别网络就可以预测对应目标的类别。
在包围框网络，5个输入F0，F1，F2，F3，F4首先会经过一个卷积模块，该卷积模块由一个步长为1的卷积函数后面紧跟批归一化和激活函数，和通用的卷积模块结构一致，该卷积模块起到改变通道的作用，将F0，F1，F2，F3，F4的通道数变为36，尺寸大小不变。由于包围框是由长方形框的左上角坐标(cx，cy)和宽(w)、高(h)组成，所以需要预测这四个值(cx，cy，w，h)。那么卷积模块的输出会分别经过一个变形(reshape)函数，该函数会对输入矩阵起到变形作用，如对于尺寸为(36，128，128)的输入，为了预测包围框四个值(cx，cy，w，h)，因为36＝4×9，所以将尺寸变为(4，128×128×9)，对应地，其他输入的尺寸分别变为(4，64×64×9)，(4，32×32×9)，(4，16×16×9)，(4，8×8×9)。然后，经过一个concat函数，对这些输出在维度1上进行堆叠(concat)，于是输出大小变为(4，128×128×9+64×64×9+32×32×9+16×16×9+8×8×9)，即为(4，196416)。这就是在多层特征图上的每个点的预测包围框的四个值(cx，cy，w，h)。
在类别网络，5个输入F0，F1，F2，F3，F4首先会经过一个卷积模块，该卷积模块由一个步长为1的卷积函数后面紧跟批归一化和激活函数，和通用的卷积模块结构一致，该卷积模块起到改变通道的作用，将F0，F1，F2，F3，F4的通道数变为45，尺寸大小不变。由于本发明中共有0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别，外加无任何目标的背景，所以需要预测5个类别。那么卷积模块的输出会分别经过一个Reshape函数，该函数会对输入矩阵起到变形作用，如对于尺寸为(45，128，128)的输入，为了预测5个类别，因为45＝5×9，所以将尺寸变为(5，128×128×9)，对应地，其他输入的尺寸分别变为(5，64×64×9)，(5，32×32×9)，(5，16×16×9)。然后，经过一个concat函数，对这些输出在维度1上进行堆叠，于是输出大小变为(5，128×128×9+64×64×9+32×32×9+16×16×9+8×8×9)，即为(5，196416)。这就是在多层特征图上的每个点的预测5个类别。
对包围框回归使用的损失函数是Smooth L1为损失函数：
Figure BDA0003472442120000081
其中，x＝f(xi)-yi为真实值和预测值的差值。
Smooth L1能从两个方面限制梯度:
(1)当预测框与ground truth差别过大时，梯度值不至于过大；
(2)当预则框与ground truth差别很小时，梯度值足够小。
分类使用的损失函数是Focal loss。由于负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
FL(pt)＝-at(1-pt)γlog(pt) (5)
这里的γ称作聚焦参数，γ＞＝0。(1-pt)γ称为调制系数可以通过设定a的值来控制正负样本对总的loss的共享权重。a取比较小的值来降低负样本(多的那类样本)的权重。
通过使用山东烟台某高速道路的螺栓图片集作为数据集进行训练，取得极好的效果。本发明使用如下评价指标进行评价：Precision(精确度)、Recall(召回率)和mAP。
首先，IoU(intersection over union，交并比)是目标检测算法中用来评价2个矩形框之间相似度的指数，IoU＝两个矩形框相交的面积/两个矩形框相并的面积。TP、TN、FP、FN即true positive，true negative，false positive，false negative的缩写，positive和negative表示的是预测得到的结果，预测为正类则为positive，预测为负类则为negative；true和false则表示预测的结果和真实结果是否相同，相同则是true，不同则为false。
精确度-即查准率，公式如下：
Figure BDA0003472442120000091
召回率-即查全率，公式如下：
Figure BDA0003472442120000092
mAP是一个可以用来度量模型预测框类别和位置是否准确的指标。AP(averageprecision)是得出每个类的检测好坏的结果，假设IoU值大于预先设定的阈值(常设为0.5)，那就说明这个预测框是对的，此时这个框就是TP(true positive)；假设IoU值小于预先设定的阈值(常设为0.5)，那就说明这个预测框是错的，此时这个框就是FP(falsepositive)。取所有AP的平均值就得到mAP。
本模型通过试验，对比了常用的目标检测模型，结果如表1所示：
表1不同模型的识别试验结果
Figure BDA0003472442120000093
从表1可知，采用该BoltCorrDetNet模型进行训练和预测时候，能够特别地对于螺栓腐蚀有非常好的效果，在精确度上提高了2.81％，在mAP_0.5:0.95上提高了5.53％。
如图7所示，实际应用中，本发明分别选取了各种类型的螺栓图片，将其作为本发明试验图片，从图中可以看出，7-1检测出了一个没有生锈的螺栓，几乎全新；7-1检测出稍微生锈的螺栓，分类为轻度；7-2检测出了一个中度腐蚀的螺栓，需要引起维护人员的注意的；7-3检测出一个严重生锈的螺栓，这个是继续替换维修的，否则引起安全问题。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于，由骨干网络模块、双向融合网络模块和预测网络模块组成；
其中，骨干网络模块用于对输入图片进行多尺度的特征提取，输入的图片为(c0，w，h)，其中，c0表示通道数，w和h分别表示图片的宽度和高度像素数；骨干网络模块由6个连续的特征提取块组成，原始输入图片经过6个特征提取块后分别输出P1，P2，P3，P4，P5，P6；
其中，双向融合网络模块以骨干网络的输出P2，P3，P4，P5，P6作为输入，每一个输入都经过一个sc层，即统一通道(same channel)层，把通道数统一为相同的值，宽度和高度不变，该sc层是由一个卷积函数后面跟着一个批归一化函数和激活函数构成，卷积函数的卷积核大小为1×1，步长也为1×1；经过sc层分别得到S0，S1，S2，S3，S4；S0，S1，S2，S3，S4分别经过下采样层、上采样层和注意力融合层后得到F0，F1，F2，F3，F4共计5个输出；
其中，预测网络模块分别以F0，F1，F2，F3，F4作为输入，通过BoxNet用来预测目标的边框，ClassNet用来预测目标的类别，即0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别。
2.根据权利于要求1所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于，特征提取块为主次骨干网络，主次骨干网络的原始输入为(c0，w，h)，经过一个主次模块，大小为(c1，w，h)；然后经过一个步长为2的纵深卷积，输出大小为(c2，w/2，h/2)，然后经过另外一个主次模块，输出大小为(c3，w/2，h/2)，再经过一个卷积块，输出大小为(c4，w/2，h/2)，该卷积块由一个卷积函数后面跟着一个批归一化函数和激活函数构成；原始的输入(c0，w，h)经过一个步长为2的残差调整模块，大小变为(c4，w/2，h/2)，该尺寸和卷积块的输出一样；他们经过向量级别的相加，大小还是(c4，w/2，h/2)，此即主次骨干的输出，大小为(c4，w/2，h/2)；
所述主次模块接受输入向量为(c0，w，h)，首先经过一个主卷积，大小还是(c0，w，h)；主卷积由一个卷积函数后面跟着一个批归一化函数和激活函数构成；然后经过一个次卷积，输出还是(c0，w，h)；次卷积由一个卷积函数后面跟着一个批归一化函数和激活函数构成；主卷积的输出和次卷积的输出通过残差连接(concat)，大小即为(c1，w，h)。
3.根据权利于要求2所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于，骨干网络模块接受3通道RGB图片作为输入，其尺寸大小为(3，512，512)，其中，3表示通道数，512×512表示图片的宽度和高度像素数；
输入图片大小为(3，512，512)，记作P0，经过第一个主次骨干网络后，大小变为(8，256，256))，把该输出记作P1；然后该输出进入第二个主次骨干网络后，大小变为(16，128，128)，把该输出记作P2；该输出进入第三个主次骨干网络后，大小变为(32，64，64)，把该输出记作P3；该输出进入第四个主次骨干网络后，大小变为(64，32，32)，把该输出记作P4；该输出进入第五个主次骨干网络后，大小变为(128，16，16)，把该输出记作P5；该输出进入第六个主次骨干网络后，大小变为(256，8，8)，把该输出记作P6；从P1依次到P6，图片的宽度和高度从(256，256)依次除以2，直到最后是(8，8)，这就代表了图片在不同尺寸维度下的特征的提取。
4.根据权利于要求3所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于：在双向融合网络模块，P2，P3，P4，P5，P6分别都经过一个sc层，即统一通道层，把通道数变成64，宽度和高度不变，该sc层是由一个卷积函数后面跟着一个批归一化函数和激活函数构成，卷积函数的卷积核大小为1×1，步长也为1×1；经过sc层分别得到5个输出，记作S0，大小64，128，128)；S1，大小为(64，64，64)；S2，大小(64，32，32)；S3，大小(64，16，16)；S4，大小(64，8，8)；
具体的，S0经过一个下采样层，尺寸变为(64，64，64)，记作D1，此即为和S1尺寸一样；D1和S1尺寸均为(64，64，64)，作为注意力融合层的输入，输出为A1，大小还是(64，64，64)；A1然后经过一个上采样层，大小为(64，128，128)，记作U0；
U0和S0大小均为(64，128，128)，作为注意力融合(Att)层的输入，输出为F0，大小为(64，128，128)；同理，A1和来自S2分支的A2的上采样输出U1尺寸大小同为(64，64，64)，也输入到一个注意力融合层，输出为F1，尺寸为(64，64，64)；依此原理，从S2，S3，S4输入，可以得到输出F2，尺寸(64，32，32)；F3，尺寸为(64，16，16)；F4，尺寸为(64，8，8)。
5.根据权利于要求1所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于：双向融合网络模块的下采样模块由补丁模块组成，输入大小为(c，w，h)，首先经过一个补丁嵌入模块，该模块其实是由一个卷积核和步长均为p的卷积函数后面跟着一个批归一化函数和激活函数构成，卷积核和步长均为p，这里p＝2；用公式表示为：
Figure FDA0003472442110000021
这里X表示输入，z0表示输出，cin代表输入通道数，h代表输出通道数，卷积核大小为p，步长也为p；
补丁嵌入模块后面紧跟的模块由纵深卷积块和点卷积块组成，纵深卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，而点卷积的卷积核的尺寸为1×1×M，M为上一层的通道数；所以这里的卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图；公式表示如下：
z′l＝BN(σ{ConvDepthwise(zl-1)})+zl-1 (2)
zl+1＝BN(σ{ConvPointwise(z′l)}) (3)
这里zl-1代表纵深卷积的输入，z′l代表纵深卷积的输出和其输入残差相加的结果；zl+1代表点卷积块的输出；
补丁嵌入模块的输出经过3个一模一样的这样的纵深卷积和点卷积的组合块后，输出大小为(c，w/2，h/2)。
6.根据权利于要求1所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于：
双向融合网络模块的注意力融合层采用两个来自不同特征层的输入，以D1和S1作为输入为例，注意力融合层的计算为:
A1＝Conv((w1×D1+w2×S1)/(w1+w2)) (4)
其中wi为权重，体现了D1和S1的关注点权重不同，wi为可以学习的参数；
通过使用注意力融合机制来融合不同特征层的输入，对于螺栓腐蚀的特征提取来说，能对不同分辨率下的特征图进行聚焦，最终提取的特征能够更准确地帮助腐蚀类别的检测。
7.根据权利于要求1所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，其特征在于：预测网络模块包括包围框网络和类别网络，其中，在包围框网络，5个输入F0，F1，F2，F3，F4首先会经过一个卷积模块，该卷积模块由一个步长为1的卷积函数后面紧跟批归一化和激活函数，和通用的卷积模块结构一致，该卷积模块起到改变通道的作用，将F0，F1，F2，F3，F4的通道数变为36，尺寸大小不变；由于包围框是由长方形框的左上角坐标(cx，cy)和宽(w)、高(h)组成，所以需要预测这四个值(cx，cy，w，h)；那么卷积模块的输出会分别经过一个Reshape函数，该函数会对输入矩阵起到变形作用，如对于尺寸为(36，128，128)的输入，为了预测包围框四个值(cx，cy，w，h)，因为36＝4×9，所以将尺寸变为(4，128×128×9)，对应地，其他输入的尺寸分别变为(4，64×64×9)，(4，32×32×9)，(4，16×16×9)，(4，8×8×9)；然后，经过一个concat函数，对这些输出在维度1上进行堆叠，于是输出大小变为(4，128×128×9+64×64×9+32×32×9+16×16×9+8×8×9)，即为(4，196416)；这就是在多层特征图上的每个点的预测包围框的四个值(cx，cy，w，h)；
在类别网络，5个输入F0，F1，F2，F3，F4首先会经过一个卷积模块，该卷积模块由一个步长为1的卷积函数后面紧跟批归一化和激活函数，和通用的卷积模块结构一致，该卷积模块起到改变通道的作用，将F0，F1，F2，F3，F4的通道数变为45，尺寸大小不变；由于本发明中共有0-没有腐蚀，1-轻度腐蚀，2-中度腐蚀，3-重度腐蚀4个类别，外加无任何目标的背景，所以需要预测5个类别；那么卷积模块的输出会分别经过一个Reshape函数，该函数会对输入矩阵起到变形作用，如对于尺寸为(45，128，128)的输入，为了预测5个类别，因为45＝5×9，所以将尺寸变为(5，128×128×9)，对应地，其他输入的尺寸分别变为(5，64×64×9)，(5，32×32×9)，(5，16×16×9)；然后，经过一个concat函数，对这些输出在维度1上进行堆叠，于是输出大小变为(5，128×128×9+64×64×9+32×32×9+16×16×9+8×8×9)，即为(5，196416)；这就是在多层特征图上的每个点的预测5个类别；
对包围框回归使用的损失函数是Smooth L1为损失函数：
Figure FDA0003472442110000041
其中，x＝f(xi)-yi为真实值和预测值的差值；
Smooth L1能从两个方面限制梯度:
(1)当预测框与ground truth差别过大时，梯度值不至于过大；
(2)当预则框与ground truth差别很小时，梯度值足够小；
分类使用的损失函数是Focalloss；由于负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样；这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本；
FL(pt)＝-αt(1-pt)γlog(pt). (5)
这里的γ称作聚焦参数，γ＞＝0，(1-pt)γ称为调制系数
可以通过设定a的值来控制正负样本对总的loss的共享权重；a取比较小的值来降低负样本的权重。
8.一种检测螺栓腐蚀程度的方法，其特征在于，使用权利要求1-7任一项所述的基于BoltCorrDetNet网络的螺栓腐蚀检测系统，
具体的，使用无人机拍摄桥梁的近距离照片，将拍摄的图片按照系统的要求进行预处理后加载到检测系统中进行目标检测。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8所述的检测螺栓腐蚀程度的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述的检测螺栓腐蚀程度的方法的步骤。
CN202210047757.0A 2022-01-17 2022-01-17 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 Active CN114511515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047757.0A CN114511515B (zh) 2022-01-17 2022-01-17 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047757.0A CN114511515B (zh) 2022-01-17 2022-01-17 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法

Publications (2)

Publication Number Publication Date
CN114511515A true CN114511515A (zh) 2022-05-17
CN114511515B CN114511515B (zh) 2022-08-12

Family

ID=81550431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047757.0A Active CN114511515B (zh) 2022-01-17 2022-01-17 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法

Country Status (1)

Country Link
CN (1) CN114511515B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN117468083A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223231A (zh) * 2019-06-06 2019-09-10 天津工业大学 一种含噪图像的快速超分辨重建算法
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN112364855A (zh) * 2021-01-14 2021-02-12 北京电信易通信息技术股份有限公司 一种基于多尺度特征融合的视频目标检测方法及系统
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113095479A (zh) * 2021-03-22 2021-07-09 北京工业大学 一种基于多尺度注意力机制的冰下层结构提取方法
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
US20210224581A1 (en) * 2020-09-25 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, and device for fusing features applied to small target detection, and storage medium
CN113255589A (zh) * 2021-06-25 2021-08-13 北京电信易通信息技术股份有限公司 一种基于多卷积融合网络的目标检测方法及系统
CN113313094A (zh) * 2021-07-30 2021-08-27 北京电信易通信息技术股份有限公司 一种基于卷积神经网络的车载图像目标检测方法和系统
CN113469191A (zh) * 2021-06-15 2021-10-01 长沙理工大学 基于多层特征融合注意力机制的sar图像叠掩区提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN110223231A (zh) * 2019-06-06 2019-09-10 天津工业大学 一种含噪图像的快速超分辨重建算法
US20210224581A1 (en) * 2020-09-25 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, and device for fusing features applied to small target detection, and storage medium
CN112364855A (zh) * 2021-01-14 2021-02-12 北京电信易通信息技术股份有限公司 一种基于多尺度特征融合的视频目标检测方法及系统
CN113095479A (zh) * 2021-03-22 2021-07-09 北京工业大学 一种基于多尺度注意力机制的冰下层结构提取方法
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113111736A (zh) * 2021-03-26 2021-07-13 浙江理工大学 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113469191A (zh) * 2021-06-15 2021-10-01 长沙理工大学 基于多层特征融合注意力机制的sar图像叠掩区提取方法
CN113255589A (zh) * 2021-06-25 2021-08-13 北京电信易通信息技术股份有限公司 一种基于多卷积融合网络的目标检测方法及系统
CN113313094A (zh) * 2021-07-30 2021-08-27 北京电信易通信息技术股份有限公司 一种基于卷积神经网络的车载图像目标检测方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LIBAO ZHANG等: "Regions of Interest Detection in Panchromatic Remote Sensing Images Based on Multiscale Feature Fusion", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
李庆武等: "基于多尺度聚合通道特征的实时行人检测", 《电子测量与仪器学报》 *
欧阳乐诚等: "地面小目标快速检测算法研究", 《信号处理》 *
邓天民等: "改进YOLOv3的交通标志检测方法研究", 《计算机工程与应用》 *
钟飞: "基于CNN的复杂条件下人脸检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
鞠默然等: "融合注意力机制的多尺度目标检测算法", 《光学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN116630323B (zh) * 2023-07-25 2023-09-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN117468083A (zh) * 2023-12-27 2024-01-30 浙江晶盛机电股份有限公司 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备
CN117468083B (zh) * 2023-12-27 2024-05-28 浙江晶盛机电股份有限公司 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Also Published As

Publication number Publication date
CN114511515B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN114511515B (zh) 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
Luo et al. Autonomous detection of damage to multiple steel surfaces from 360 panoramas using deep neural networks
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
Xu et al. Recognition of rust grade and rust ratio of steel structures based on ensembled convolutional neural network
Zhang et al. Review of artificial intelligence-based bridge damage detection
EP3899508A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
Ye et al. Autonomous surface crack identification of concrete structures based on the YOLOv7 algorithm
Yao et al. Deep‐Learning‐Based Bughole Detection for Concrete Surface Image
Jiang et al. A deep neural networks approach for pixel-level runway pavement crack segmentation using drone-captured images
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN115424237A (zh) 一种基于深度学习的前向车辆识别与距离检测方法
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
Chen et al. Foreign Object Detection in Railway Images Based on an Efficient Two‐Stage Convolutional Neural Network
Qaddour et al. Automatic damaged vehicle estimator using enhanced deep learning algorithm
Meng et al. A modified fully convolutional network for crack damage identification compared with conventional methods
Zhao et al. High-resolution infrastructure defect detection dataset sourced by unmanned systems and validated with deep learning
Guo et al. Safety monitoring in construction site based on unmanned aerial vehicle platform with computer vision using transfer learning techniques
Wang et al. Automatic detection of carbon steel corrosion degree based on image identification
CN117150838A (zh) 一种基于视觉信息与物理融合的裂纹损伤智能评估方法
Cheng et al. Computer vision-based post-earthquake inspections for building safety assessment
Neeli Use of photogrammetry aided damage detection for residual strength estimation of corrosion damaged prestressed concrete bridge girders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant