CN114419049A - 一种桥梁钢索断裂探测方法及系统 - Google Patents

一种桥梁钢索断裂探测方法及系统 Download PDF

Info

Publication number
CN114419049A
CN114419049A CN202210327726.0A CN202210327726A CN114419049A CN 114419049 A CN114419049 A CN 114419049A CN 202210327726 A CN202210327726 A CN 202210327726A CN 114419049 A CN114419049 A CN 114419049A
Authority
CN
China
Prior art keywords
image
network
frame
feature map
steel cable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210327726.0A
Other languages
English (en)
Inventor
张波
张超
钱浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority to CN202210327726.0A priority Critical patent/CN114419049A/zh
Publication of CN114419049A publication Critical patent/CN114419049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种桥梁钢索断裂探测方法及系统，属于图像检测领域。该方法包括：获取基于Faster‑RCNN的网络模型；将所述特征提取网络的骨干网络替换为残差网络，并将所述残差网络的第五个卷积层替换为SENet注意力模块；对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；获取待检测桥梁钢索图像；所述待检测桥梁钢索图像包括RGB图像和深度图像；将所述RGB图像与所述深度图像进行融合，得到融合后的图像；将所述融合后的图像输入所述缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。本发明可以提升桥梁钢索断裂探测的准确度和效率。

Description

一种桥梁钢索断裂探测方法及系统
技术领域
本发明涉及图像检测领域，特别是涉及一种桥梁钢索断裂探测方法及系统。
背景技术
桥梁钢索由高强钢丝组成，具有优秀的抗拉强度，常作为大跨度桥梁的主要受力构件，然而，高强钢丝的力学性能会随着锈蚀的出现而大幅下降，目前已发生过多起因钢丝锈蚀引发的缆索破断事故。因此及时发现桥梁钢索的病害情况可以避免重大事故发生。但传统的检测方法通常基于人工现场勘测，这种方法存在准确率低、效率低下且安全性极低的缺陷。
发明内容
本发明的目的是提供一种桥梁钢索断裂探测方法及系统，以提升桥梁钢索断裂探测的准确度和效率。
为实现上述目的，本发明提供了如下方案：
一种桥梁钢索断裂探测方法，包括：
获取基于Faster-RCNN的网络模型；所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络；所述特征提取网络的骨干网络为VGG16网络；
将所述特征提取网络的骨干网络替换为残差网络，并将所述残差网络的第五个卷积层替换为SENet注意力模块；
对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度；
获取待检测桥梁钢索图像；所述待检测桥梁钢索图像包括RGB图像和深度图像；
将所述RGB图像与所述深度图像进行融合，得到融合后的图像；
将所述融合后的图像输入所述缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。
可选的，所述SENet注意力模块用于计算各个特征的分布向量，具体过程为：
利用
Figure 825944DEST_PATH_IMAGE001
对特征图进行全局平均池化，得到实数列
Figure 200617DEST_PATH_IMAGE002
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，特征图为
Figure 790998DEST_PATH_IMAGE003
，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，xc表示索引为c的特征图；
使用sigmoid函数对实数列
Figure 347750DEST_PATH_IMAGE002
进行激活，生成每个通道对应的权重分布S，
Figure 176029DEST_PATH_IMAGE004
；其中，
Figure 160035DEST_PATH_IMAGE005
，
Figure 440974DEST_PATH_IMAGE006
，M表示通道数量，r为压缩率，R表示实数集；
根据每个通道的权重分布利用
Figure 66997DEST_PATH_IMAGE007
对输入的特征图加权更新，得到更新后的通道特征；其中，
Figure 15361DEST_PATH_IMAGE008
为索引为c的特征图的权重分布，
Figure 438777DEST_PATH_IMAGE009
为索引为c的特征图的通道特征。
可选的，所述对区域推荐网络中的非最大值抑制算法进行改进，具体包括：
按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序，得到图像帧序列；
按照
Figure 738171DEST_PATH_IMAGE010
计算两帧之间的重叠率；其中，
Figure 387458DEST_PATH_IMAGE011
表示帧p和帧q的重叠率，
Figure 439597DEST_PATH_IMAGE012
,
Figure 516137DEST_PATH_IMAGE013
，n表示总帧数，
Figure 552095DEST_PATH_IMAGE014
表示截止阈值；
Figure 739494DEST_PATH_IMAGE015
表示帧p的面积，
Figure 646139DEST_PATH_IMAGE016
表示帧q的面积，
Figure 159160DEST_PATH_IMAGE017
表示帧p和帧q的重叠面积；
当
Figure 419764DEST_PATH_IMAGE011
≥α时，丢弃帧p；
当
Figure 410854DEST_PATH_IMAGE011
<α时，保留帧p。
可选的，所述将所述RGB图像与所述深度图像进行融合，得到融合后的图像，具体包括：
使用所述RGB图像的G通道替换所述深度图像的A通道，得到融合后的图像；所述深度图像的A通道表示地面法向量夹角。
可选的，所述待检测桥梁钢索的缺陷探测结果包括：均匀锈蚀、点蚀、索股机械损伤或断丝。
一种桥梁钢索断裂探测系统，包括：
网络模型获取模块，用于获取基于Faster-RCNN的网络模型；所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络；所述特征提取网络的骨干网络为VGG16网络；
骨干网络更新模块，用于将所述特征提取网络的骨干网络替换为残差网络，并将所述残差网络的第五个卷积层替换为SENet注意力模块；
非最大值抑制算法改进模块，用于对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度；
图像获取模块，用于获取待检测桥梁钢索图像；所述待检测桥梁钢索图像包括RGB图像和深度图像；
融合模块，用于将所述RGB图像与所述深度图像进行融合，得到融合后的图像；
检测模块，用于将所述融合后的图像输入所述缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。
可选的，所述SENet注意力模块包括：
全局平均池化单元，用于利用
Figure 703164DEST_PATH_IMAGE018
对特征图进行全局平均池化，得到实数列
Figure 121507DEST_PATH_IMAGE002
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，特征图为
Figure 866478DEST_PATH_IMAGE003
，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，xc表示索引为c的特征图；
激活单元，用于使用sigmoid函数对实数列
Figure 661259DEST_PATH_IMAGE002
进行激活，生成每个通道对应的权重分布S，
Figure 558808DEST_PATH_IMAGE019
；其中，
Figure 397319DEST_PATH_IMAGE005
，
Figure 645898DEST_PATH_IMAGE020
，M表示通道数量，r为压缩率，R表示实数集；
通道特征更新单元，用于根据每个通道的权重分布利用
Figure 230988DEST_PATH_IMAGE007
对输入的特征图加权更新，得到更新后的通道特征；其中，
Figure 717464DEST_PATH_IMAGE008
为索引为c的特征图的权重分布，
Figure 258036DEST_PATH_IMAGE021
为索引为c的特征图的通道特征。
可选的，所述非最大值抑制算法改进模块具体包括：
排序单元，用于按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序，得到图像帧序列；
重叠率计算单元，用于按照
Figure 462752DEST_PATH_IMAGE022
计算两帧之间的重叠率；其中，
Figure 848603DEST_PATH_IMAGE011
表示帧p和帧q的重叠率，
Figure 455165DEST_PATH_IMAGE012
,
Figure 901058DEST_PATH_IMAGE023
，n表示总帧数，
Figure 593071DEST_PATH_IMAGE014
表示截止阈值；
Figure 533345DEST_PATH_IMAGE015
表示帧p的面积，
Figure 234892DEST_PATH_IMAGE016
表示帧q的面积，
Figure 867998DEST_PATH_IMAGE024
表示帧p和帧q的重叠面积；
帧更新单元，用于当
Figure 30995DEST_PATH_IMAGE011
≥α时，丢弃帧p；当
Figure 509381DEST_PATH_IMAGE011
<α时，保留帧p。
可选的，所述融合模块具体包括：
通道替换单元，用于使用所述RGB图像的G通道替换所述深度图像的A通道，得到融合后的图像；所述深度图像的A通道表示地面法向量夹角。
可选的，所述待检测桥梁钢索的缺陷探测结果包括：均匀锈蚀、点蚀、索股机械损伤或断丝。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
传统的Faster-RCNN模型的特征提取网络使用VGG16，本发明将其替换为Resnet34网络，并将其第五卷积层的3×3卷积替换为SENet注意力模块，使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征，提升特征提取模块的计算效率。并且，本发明对非最大值抑制算法进行了改进，大大提升了模型的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明桥梁钢索断裂探测方法的流程示意图；
图2为本发明SENet注意力模块的结构示意图；
图3为本发明桥梁钢索断裂探测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明桥梁钢索断裂探测方法的流程示意图。如图1所示，本发明桥梁钢索断裂探测方法包括以下步骤：
步骤100：获取基于Faster-RCNN的网络模型。基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络，其中，特征提取网络的骨干网络为VGG16网络。
步骤200：将特征提取网络的骨干网络替换为残差网络，并将残差网络的第五个卷积层替换为SENet注意力模块。本发明将VGG16替换为残差网络（Resnet34网络），并将其第五个卷积层的3×3卷积替换为SENet注意力模块，使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征，提升特征提取模块的计算效率。如图2所示，SENet注意力模块计算各特征的特征分布向量的具体步骤如下：
定义输入特征图为
Figure 605382DEST_PATH_IMAGE003
；
对每个特征图进行全局平均池化，得到实数列
Figure 878232DEST_PATH_IMAGE002
：
Figure 794104DEST_PATH_IMAGE025
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，c表示特征图索引，xc表示索引为c的特征图。
使用sigmoid函数对
Figure 810601DEST_PATH_IMAGE002
进行激活，生成每个通道对应的权重分布S：
Figure 764039DEST_PATH_IMAGE004
其中，F1表示降维的全连接层参数，F2表示升维的全连接层参数，
Figure 207789DEST_PATH_IMAGE005
，
Figure 627269DEST_PATH_IMAGE020
，M表示通道数量，r为压缩率，R表示实数集。
根据权重分布利用
Figure 696725DEST_PATH_IMAGE026
对输入的特征图加权更新，得到更新后的通道特征Y=[Y1,Y2,…,Yc]，其中，
Figure 252472DEST_PATH_IMAGE008
为索引为c的特征图的权重分布，
Figure 381971DEST_PATH_IMAGE021
为索引为c的特征图的通道特征。
将更新后的通道特征输入到区域推荐网络中。
步骤300：对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型。改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度。改进后的非最大值抑制算法具体过程如下：
按照目标对象包含在当前帧图像中的置信度score升序的方式对所有帧进行排序，得到图像帧序列；
按照
Figure 23167DEST_PATH_IMAGE010
计算两帧之间的重叠率；其中，
Figure 630735DEST_PATH_IMAGE011
表示帧p和帧q的重叠率，
Figure 40988DEST_PATH_IMAGE012
,
Figure 78739DEST_PATH_IMAGE013
，n表示总帧数，
Figure 941652DEST_PATH_IMAGE014
表示截止阈值；
Figure 618490DEST_PATH_IMAGE015
表示帧p的面积，
Figure 883249DEST_PATH_IMAGE016
表示帧q的面积，
Figure 354551DEST_PATH_IMAGE017
表示帧p和帧q的重叠面积；
Figure 970340DEST_PATH_IMAGE027
，
Figure 670443DEST_PATH_IMAGE028
。
对于帧p，当
Figure 304555DEST_PATH_IMAGE029
≥β时，定义
Figure 697491DEST_PATH_IMAGE030
的值为Sumi；β表示阈值，通常设置为0.5，
Figure 787194DEST_PATH_IMAGE029
Figure 556567DEST_PATH_IMAGE031
表示q在[p+1,n]区域内时，帧p和帧q的重叠率。
当Sumi≥α时，丢弃帧p；否则，保留帧p。
截止阈值α的值由总帧数n决定。例如，在具体实施例中，当n<2050时，不执行改进的NMS算法；当n>3000时，保留分数较高的前2000帧。这种改进不仅可以将候选框的数量减少到2000，而且可以更准确地选择一个局部的候选区。
将
Figure 779607DEST_PATH_IMAGE011
与特征提取网络得到的特征图Y=[Y1,Y2,…,Yc]输入到感兴趣区域池化网络中，得到固定大小的最终特征图，进而输入到回归分类网络。
利用Softmax分类器计算每个候选区分类为缺陷的置信度分数，同时对每个候选区进行边框回归，得到每个候选区相对于真实框的偏移量预测值，用于对候选区进行修正，得到定位更精确的目标建议框，输出置信度分数较高的目标建议框作为最终识别结果。
缺陷检测模型构建好之后，需要对该模型进行训练，具体过程如下：
Step1：使用无人机对桥梁钢索进行拍摄获得原始图像数据，其中包括完整钢索图像、完好局部图像以及缺陷局部图像。拍摄桥梁钢索整体图像，为后续定位缺陷位置提供背景数据基础。桥梁钢索局部图像按照一定频率拍摄，并筛选出缺陷位置图像。
为了不遗漏桥梁钢索缺陷位置，将每条桥梁钢索分为n段进行拍摄。为了减少各段之间分界处的遗漏检测概率，各段之间包含重合距离为a cm。定义桥梁钢索局部使用Lij表示各段桥梁钢索，其中i表示第i条桥梁钢索，j表示第j段桥梁钢索，则一条长度为N的桥梁钢索每张图像包含的桥梁钢索长度为(N/n）+a cm。当检测到桥梁钢索存在异常时，将异常图像Lij′与桥梁钢索整体图像进行比较，确认异常准确位置。缺陷位置分为以下四个缺陷类别：均匀锈蚀、点蚀、索股机械损伤、断丝。
Step2：对Step1中的图像使用形态学去噪方法进行去噪处理，使用直方图增强方法对图像进行增强处理，完成预处理过程。然后，使用标注工具labelme采用人工标注的方法对预处理后的缺陷图像的缺陷位置进行标注，得到“完好、均匀锈蚀、点蚀、索股机械损伤、断丝”五个标签种类。并构建为桥梁钢索缺陷检测数据集，并按照8:2的比例划分为训练集和测试集。
Step3：将RGB图像与深度图像进行融合，去除深度图像的A通道，使用RGB图像的G通道作为替换，得到融合后的HHG图像。具体的，使用傅立叶公式对桥梁钢索图像的频域特征进行分析。公式如下：
Figure 343443DEST_PATH_IMAGE032
其中，
Figure 183092DEST_PATH_IMAGE033
表示频域坐标，
Figure 490577DEST_PATH_IMAGE034
表示空间坐标；W和H分别表示桥梁钢索图像的宽度和高度；
Figure 568123DEST_PATH_IMAGE035
是
Figure 568440DEST_PATH_IMAGE034
点的像素值。
经计算发现RGB图像三个通道的视觉特征均较明显且相似，而深度图像（HHA）的两个H通道分布不一致，且其A通道的频率分布较为分散，特征不明显，因此使用RGB图像的G通道去替换深度图像HHA的A通道，得到HHG图像。
这种方法可以在尽可能保留图像特征的同时减少信息量，充分考虑了彩色图像和深度图像信息，因此在训练时无需单独训练彩色图像和深度图像，在加快模型训练速度的同时，也提高了模型性能。
Step4：构建基于改进Faster-RCNN的缺陷检测模型。该模型包括以Resnet34-SENet为骨干网络的特征提取网络、区域推荐网络、感兴趣区域池化网络以及回归分类网络。回归分类网络中利用Softmax分类器计算每个候选区分类为缺陷的置信度分数，同时对每个候选区进行边框回归，得到每个候选区相对于真实框的偏移量预测值，用于对候选区进行修正，得到定位更精确的目标建议框，输出置信度分数较高的目标建议框作为最终识别结果，即为桥梁钢索缺陷位置，与此同时输出桥梁钢索缺陷类别。
Step5：使用Step2中的训练集对Step4中的进行训练，获得初始模型。具体的：
采用随机梯度下降更新权重，定义模型训练的迭代次数为epoch，设置epoch=1000。
训练轮次为batch，设置batch=1000。
学习率为learning_rate，前600个batch中learning_rate=0.001，剩余400个batch中learning_rate=0.0001。
优化器使用随机梯度下降（SGD），设置权重衰减为0.0005，动量设为0.9。
使用Step2中的训练集和上述参数对Step4中的模型进行训练，直至网络模型收敛，使得模型可以准确地对桥梁钢索陷状况的五种标签进行分类。
至此基于改进Faster-RCNN的桥梁钢索缺陷检测模型训练结束，得到初始模型。
Step6:采用Step2中的测试集对Step5中的模型进行测试并输出检测结果，并将良好的模型部署至桥梁钢索缺陷检测系统中。然后，将Step2中的测试集输入到桥梁钢索缺陷检测模型中，输出对四种桥梁钢索破损情况和完好情况进行分类，并输出模型的评价指标。将测试后评价指标优秀的模型部署到桥梁钢索缺陷检测系统中，实现自动对待检测的桥梁钢索图像进行缺陷检测，并将数据传回至工作人员。
步骤400：获取待检测桥梁钢索图像。待检测桥梁钢索图像包括RGB图像和深度图像。通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像，通过立体匹配算法找到两幅图像中对应的像素“点，随后根据三角原理计算出时差信息，而视差信息通过转换可用于表征场景中物体的深度信息。基于立体匹配算法，还可通过拍摄同一场景下不同角度的一组图像来获得该场景的深度图像。
步骤500：将RGB图像与深度图像进行融合，得到融合后的图像。本发明使用RGB图像的G通道替换深度图像的A通道，得到融合后的图像。具体的，使用傅立叶公式对桥梁钢索图像的频域特征进行分析。经计算发现RGB图像三个通道的视觉特征均较明显且相似，而深度图像的两个H通道分布不一致，且其A通道的频率分布较为分散，特征不明显，因此使用RGB图像的G通道去替换深度图像HHA的A通道，得到HHG图像。
深度图像包括HHA三个通道，第一个H为水平图像视差，第二个H是到地面的高度，A为地面法向量夹角。G通道是彩色图像的灰度图像。
步骤600：将融合后的图像输入缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。缺陷探测结果包括：均匀锈蚀、点蚀、索股机械损伤或断丝。
本发明具有以下优点：
1、图像融合：针对大型桥梁钢索位置较高导致图像光照不均匀的问题，本发明创新地提出不分别训练RGB图像和深度图像，而是将RGB图像和深度图像融合，增强融合图像特征信息的同时，大大提高了模型训练的速度。
2、特征提取：传统的Faster-RCNN模型的特征提取网络使用VGG16，本发明将其替换为Resnet34网络，并将其C5的3×3卷积替换为SENet注意力模块，使特征提取网络通过计算各特征的特征分布向量以更加关注对分类贡献度大的特征，提升特征提取模块的计算效率。
3、区域推荐：在区域推荐网络，本发明对非最大值抑制算法（NMS）进行了改进，大大提升了模型的检测准确率。
基于上述方法，本发明还提供一种桥梁钢索断裂探测系统，图3为本发明桥梁钢索断裂探测系统的结构示意图。如图3所示，桥梁钢索断裂探测系统包括：
网络模型获取模块301，用于获取基于Faster-RCNN的网络模型；基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络，特征提取网络的骨干网络为VGG16网络。
骨干网络更新模块302，用于将特征提取网络的骨干网络替换为残差网络，并将残差网络的第五个卷积层替换为SENet注意力模块。
非最大值抑制算法改进模块303，用于对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度。
图像获取模块304，用于获取待检测桥梁钢索图像；待检测桥梁钢索图像包括RGB图像和深度图像。
融合模块305，用于将RGB图像与深度图像进行融合，得到融合后的图像。
检测模块306，用于将融合后的图像输入缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。
作为另一实施例，本发明的桥梁钢索断裂探测系统中，SENet注意力模块包括：
全局平均池化单元，用于利用
Figure 114959DEST_PATH_IMAGE018
对特征图进行全局平均池化，得到实数列
Figure 490050DEST_PATH_IMAGE002
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，特征图为
Figure 703994DEST_PATH_IMAGE003
，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，xc表示索引为c的特征图。
激活单元，用于使用sigmoid函数对实数列
Figure 124480DEST_PATH_IMAGE002
进行激活，生成每个通道对应的权重分布S，
Figure 158295DEST_PATH_IMAGE019
；其中，
Figure 791270DEST_PATH_IMAGE036
，
Figure 859721DEST_PATH_IMAGE037
，M表示通道数量，r为压缩率，R表示实数集。
通道特征更新单元，用于根据每个通道的权重分布利用
Figure 185529DEST_PATH_IMAGE007
对输入的特征图加权更新，得到更新后的通道特征；其中，
Figure 972219DEST_PATH_IMAGE008
为索引为c的特征图的权重分布，
Figure 411815DEST_PATH_IMAGE009
为索引为c的特征图的通道特征。
作为另一实施例，本发明的桥梁钢索断裂探测系统中，非最大值抑制算法改进模块303具体包括：
排序单元，用于按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序，得到图像帧序列。
重叠率计算单元，用于按照
Figure 334772DEST_PATH_IMAGE022
计算两帧之间的重叠率；其中，
Figure 831481DEST_PATH_IMAGE011
表示帧p和帧q的重叠率，
Figure 839888DEST_PATH_IMAGE012
,
Figure 96557DEST_PATH_IMAGE038
，n表示总帧数，
Figure 123288DEST_PATH_IMAGE014
表示截止阈值；
Figure 807210DEST_PATH_IMAGE015
表示帧p的面积，
Figure 286602DEST_PATH_IMAGE016
表示帧q的面积，
Figure 346962DEST_PATH_IMAGE024
表示帧p和帧q的重叠面积。
帧更新单元，用于当
Figure 231129DEST_PATH_IMAGE011
≥α时，丢弃帧p；当
Figure 820373DEST_PATH_IMAGE011
<α时，保留帧p。
作为另一实施例，本发明的桥梁钢索断裂探测系统中，融合模块305具体包括：
通道替换单元，用于使用RGB图像的G通道替换深度图像的A通道，得到融合后的图像；深度图像的A通道表示地面法向量夹角。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种桥梁钢索断裂探测方法，其特征在于，包括：
获取基于Faster-RCNN的网络模型；所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络；所述特征提取网络的骨干网络为VGG16网络；
将所述特征提取网络的骨干网络替换为残差网络，并将所述残差网络的第五个卷积层替换为SENet注意力模块；
对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度；
获取待检测桥梁钢索图像；所述待检测桥梁钢索图像包括RGB图像和深度图像；
将所述RGB图像与所述深度图像进行融合，得到融合后的图像；
将所述融合后的图像输入所述缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。
2.根据权利要求1所述的桥梁钢索断裂探测方法，其特征在于，所述SENet注意力模块用于计算各个特征的分布向量，具体过程为：
利用
Figure 156292DEST_PATH_IMAGE001
对特征图进行全局平均池化，得到实数列
Figure 276695DEST_PATH_IMAGE002
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，特征图为
Figure 243383DEST_PATH_IMAGE003
，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，xc表示索引为c的特征图；
使用sigmoid函数对实数列
Figure 841854DEST_PATH_IMAGE004
进行激活，生成每个通道对应的权重分布S，
Figure 846107DEST_PATH_IMAGE005
；其中，
Figure 871832DEST_PATH_IMAGE006
，
Figure 342127DEST_PATH_IMAGE007
，M表示通道数量，r为压缩率，R表示实数集；
根据每个通道的权重分布利用
Figure 993557DEST_PATH_IMAGE008
对输入的特征图加权更新，得到更新后的通道特征；其中，
Figure 600119DEST_PATH_IMAGE009
为索引为c的特征图的权重分布，
Figure 46013DEST_PATH_IMAGE010
为索引为c的特征图的通道特征。
3.根据权利要求1所述的桥梁钢索断裂探测方法，其特征在于，所述对区域推荐网络中的非最大值抑制算法进行改进，具体包括：
按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序，得到图像帧序列；
按照
Figure 738025DEST_PATH_IMAGE011
计算两帧之间的重叠率；其中，
Figure 661988DEST_PATH_IMAGE012
表示帧p和帧q的重叠率，
Figure 388636DEST_PATH_IMAGE013
,
Figure 21742DEST_PATH_IMAGE014
，n表示总帧数，
Figure 707109DEST_PATH_IMAGE015
表示截止阈值；
Figure 919915DEST_PATH_IMAGE016
表示帧p的面积，
Figure 15916DEST_PATH_IMAGE017
表示帧q的面积，
Figure 554345DEST_PATH_IMAGE018
表示帧p和帧q的重叠面积；
当
Figure 486529DEST_PATH_IMAGE012
≥α时，丢弃帧p；
当
Figure 17873DEST_PATH_IMAGE012
<α时，保留帧p。
4.根据权利要求1所述的桥梁钢索断裂探测方法，其特征在于，所述将所述RGB图像与所述深度图像进行融合，得到融合后的图像，具体包括：
使用所述RGB图像的G通道替换所述深度图像的A通道，得到融合后的图像；所述深度图像的A通道表示地面法向量夹角。
5.根据权利要求1所述的桥梁钢索断裂探测方法，其特征在于，所述待检测桥梁钢索的缺陷探测结果包括：均匀锈蚀、点蚀、索股机械损伤或断丝。
6.一种桥梁钢索断裂探测系统，其特征在于，包括：
网络模型获取模块，用于获取基于Faster-RCNN的网络模型；所述基于Faster-RCNN的网络模型包括特征提取网络、区域推荐网络、感兴趣区域池化网络和回归分类网络；所述特征提取网络的骨干网络为VGG16网络；
骨干网络更新模块，用于将所述特征提取网络的骨干网络替换为残差网络，并将所述残差网络的第五个卷积层替换为SENet注意力模块；
非最大值抑制算法改进模块，用于对区域推荐网络中的非最大值抑制算法进行改进，得到缺陷检测模型；改进后的非最大值抑制算法基于图像每一帧之间的重叠率对候选框进行筛选，图像的每一帧均用五元组（x1,y1,x2,y2,score）表示；（x1,y1）表示当前帧图像左上角的位置坐标，（x2,y2）表示当前帧图像右下角的位置坐标，score表示目标对象包含在当前帧图像中的置信度；
图像获取模块，用于获取待检测桥梁钢索图像；所述待检测桥梁钢索图像包括RGB图像和深度图像；
融合模块，用于将所述RGB图像与所述深度图像进行融合，得到融合后的图像；
检测模块，用于将所述融合后的图像输入所述缺陷检测模型，得到待检测桥梁钢索的缺陷探测结果。
7.根据权利要求6所述的桥梁钢索断裂探测系统，其特征在于，所述SENet注意力模块包括：
全局平均池化单元，用于利用
Figure 453534DEST_PATH_IMAGE019
对特征图进行全局平均池化，得到实数列
Figure 677710DEST_PATH_IMAGE004
；其中，Fgap(·)为全局平均池化函数，H表示特征图空间维度的高，W表示特征图空间维度的宽，特征图为
Figure 831611DEST_PATH_IMAGE003
，m表示特征图中横向的像素点，n表示特征图中纵向的像素点，xc表示索引为c的特征图；
激活单元，用于使用sigmoid函数对实数列
Figure 917379DEST_PATH_IMAGE004
进行激活，生成每个通道对应的权重分布S，
Figure 725322DEST_PATH_IMAGE020
；其中，
Figure 605554DEST_PATH_IMAGE021
，
Figure 496018DEST_PATH_IMAGE022
，M表示通道数量，r为压缩率，R表示实数集；
通道特征更新单元，用于根据每个通道的权重分布利用
Figure 119898DEST_PATH_IMAGE023
对输入的特征图加权更新，得到更新后的通道特征；其中，
Figure 795730DEST_PATH_IMAGE009
为索引为c的特征图的权重分布，
Figure 361709DEST_PATH_IMAGE024
为索引为c的特征图的通道特征。
8.根据权利要求6所述的桥梁钢索断裂探测系统，其特征在于，所述非最大值抑制算法改进模块具体包括：
排序单元，用于按照目标对象包含在当前帧图像中的置信度升序的方式对所有帧进行排序，得到图像帧序列；
重叠率计算单元，用于按照
Figure 490202DEST_PATH_IMAGE025
计算两帧之间的重叠率；其中，
Figure 901461DEST_PATH_IMAGE012
表示帧p和帧q的重叠率，
Figure 166220DEST_PATH_IMAGE013
,
Figure 653833DEST_PATH_IMAGE026
，n表示总帧数，
Figure 521819DEST_PATH_IMAGE015
表示截止阈值；
Figure 487501DEST_PATH_IMAGE016
表示帧p的面积，
Figure 121614DEST_PATH_IMAGE017
表示帧q的面积，
Figure 248970DEST_PATH_IMAGE027
表示帧p和帧q的重叠面积；
帧更新单元，用于当
Figure 601323DEST_PATH_IMAGE012
≥α时，丢弃帧p；当
Figure 370696DEST_PATH_IMAGE012
<α时，保留帧p。
9.根据权利要求6所述的桥梁钢索断裂探测系统，其特征在于，所述融合模块具体包括：
通道替换单元，用于使用所述RGB图像的G通道替换所述深度图像的A通道，得到融合后的图像；所述深度图像的A通道表示地面法向量夹角。
10.根据权利要求6所述的桥梁钢索断裂探测系统，其特征在于，所述待检测桥梁钢索的缺陷探测结果包括：均匀锈蚀、点蚀、索股机械损伤或断丝。
CN202210327726.0A 2022-03-31 2022-03-31 一种桥梁钢索断裂探测方法及系统 Pending CN114419049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210327726.0A CN114419049A (zh) 2022-03-31 2022-03-31 一种桥梁钢索断裂探测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210327726.0A CN114419049A (zh) 2022-03-31 2022-03-31 一种桥梁钢索断裂探测方法及系统

Publications (1)

Publication Number Publication Date
CN114419049A true CN114419049A (zh) 2022-04-29

Family

ID=81263058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210327726.0A Pending CN114419049A (zh) 2022-03-31 2022-03-31 一种桥梁钢索断裂探测方法及系统

Country Status (1)

Country Link
CN (1) CN114419049A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149591A (zh) * 2020-09-28 2020-12-29 长沙理工大学 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN113592839A (zh) * 2021-08-06 2021-11-02 广东电网有限责任公司 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149591A (zh) * 2020-09-28 2020-12-29 长沙理工大学 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN113592839A (zh) * 2021-08-06 2021-11-02 广东电网有限责任公司 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIE HU等: ""Squeeze-and-Excitation Networks"", 《ARXIV》, 5 September 2017 (2017-09-05), pages 1 - 11 *
辛立杰: ""基于深度学习的架空输电装备识别及其缺陷检测"", 《中国优秀硕士学位论文全文数据库》, 15 January 2022 (2022-01-15), pages 18 - 24 *
邓广晖: ""基于卷积神经网络的 RGB-D 图像物体检测和语义分割"", 《中国优秀硕士学位论文全文数据库》, 15 July 2018 (2018-07-15), pages 23 - 26 *

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN110910378B (zh) 一种基于深度融合网络的双模态图像能见度检测方法
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN112950634B (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN108305239B (zh) 一种基于生成式对抗网络的桥梁裂缝图像的修复方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111414807A (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN110569730A (zh) 一种基于U-net神经网络模型的路面裂缝自动识别方法
CN112101138A (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN114419421A (zh) 一种基于影像的地铁隧道裂缝识别系统及方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN115984360B (zh) 一种基于图像处理的计算干滩长度的方法及系统
CN114419049A (zh) 一种桥梁钢索断裂探测方法及系统
CN111275020A (zh) 一种房间状态识别方法
CN110837775A (zh) 一种基于二值化网络的井下机车行人及距离检测方法
CN115830514A (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN112949630B (zh) 基于边框分级筛选的弱监督目标检测方法
CN114120061A (zh) 一种面向电力巡检场景的小目标缺陷检测方法及系统
CN114677670A (zh) 一种身份证篡改自动识别与定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220429

RJ01 Rejection of invention patent application after publication