CN113409314B - 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 - Google Patents

高空钢结构腐蚀的无人机视觉检测与评价方法及系统 Download PDF

Info

Publication number
CN113409314B
CN113409314B CN202110947070.8A CN202110947070A CN113409314B CN 113409314 B CN113409314 B CN 113409314B CN 202110947070 A CN202110947070 A CN 202110947070A CN 113409314 B CN113409314 B CN 113409314B
Authority
CN
China
Prior art keywords
corrosion
image
area
target frame
steel structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110947070.8A
Other languages
English (en)
Other versions
CN113409314A (zh
Inventor
周前飞
庆光蔚
丁树庆
冯月贵
胡静波
王会方
宁士翔
蒋铭
王爽
吴祥生
倪大进
丁必勇
褚曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Original Assignee
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE filed Critical NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority to CN202110947070.8A priority Critical patent/CN113409314B/zh
Publication of CN113409314A publication Critical patent/CN113409314A/zh
Application granted granted Critical
Publication of CN113409314B publication Critical patent/CN113409314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统，包括一、通过无人机飞行平台搭载的工业相机采集待检测的大型高空钢结构图像；二、将采集的图像传输给边缘计算图像处理模块；三、利用深度神经网络分类模型，判断检测该图像中是否存在腐蚀缺陷，通过K‑means聚类方法自动生成锚框的尺寸，并标出腐蚀目标框区域；四、对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积；设置权重因子，计算加权腐蚀率，并对检测设备进行腐蚀分级评估。该方法解决了大型高空钢结构腐蚀缺陷形态多变、背景复杂、难以检测和量化识别等问题，提高了检测精度和效率。

Description

高空钢结构腐蚀的无人机视觉检测与评价方法及系统
技术领域
本发明属于无损检测技术领域，具体涉及一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统。
背景技术
以港口起重机、大型游乐设施、锅炉、储罐、钢桥、塔架、风电设备等为代表的在役大型钢结构腐蚀，会使疲劳许用应力大幅降低和钢材抗冷脆性能下降，降低钢结构的承载能力，减少设备使用时间，严重时会导致结构断裂坠毁，引发重大恶性伤亡事故。钢结构腐蚀后其原有的颜色、形貌、纹理等特征会发生变化，根据腐蚀缺陷区别于正常区域的特征，可利用HIS、RGB、HSV、YCrCb、LAB等颜色模型转换方法，选择腐蚀颜色特征相对背景区域最显著的颜色空间模型及颜色分量，进行图像分割实现腐蚀检测，但是阈值分割严重依赖于手工设置阈值，对于不同数据集的泛化能力差，可能包含一些与腐蚀颜色相近的背景区域的误判，且腐蚀本身形态差异大，腐蚀部位形状也各不相同，导致腐蚀难以检测；也可以通过人工设计并提取图像中缺陷特征，采用分类器模型对缺陷进行分类识别，从而避免传统图像分割检测方法中手动调整阈值参数的问题，但人对特征的定义受经验影响，人工设计的缺陷特征对于多样性变化的鲁棒性不高，当人工设计算法无法表述图像高级特征时，识别率会大大降低。
深度学习通过自动学习获得目标特征，它自适应能力强、检测效率更高，逐渐成为主流的检测算法。以Faster R-CNN为代表的卷积神经网络检测算法直接预测锚框的宽度和高度，倾向于选择较大的锚框，不仅容易产生误差，导致锚框超出图像像素坐标范围，而且由于预测值的取值范围较大，在训练过程中会导致梯度不稳定；这类方法通常采用固定锚框设置，适合于创建特殊的预测因子，但是这些预测器不能很好地检测特定数据集中不同大小的对象；此外，目前基于深度学习的缺陷检测方法普遍停留在缺陷的分类与判定阶段，缺乏对腐蚀进行量化识别及损伤程度评价的理论和方法。
发明内容
本发明的目的在于提供一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统，解决起重机、塔架、风电叶片等大型高空钢结构腐蚀缺陷形态多变、背景复杂、难以在线检测和量化识别的技术问题。
为了解决上述问题，本发明通过如下技术方案实现：
高空钢结构腐蚀的无人机视觉检测与评价方法，包括如下步骤：
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置，全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像；
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块；
步骤三、利用改进YOLOV3深度神经网络分类模型，检测该大型高空钢结构图像中是否存在腐蚀缺陷；当检测到存在腐蚀缺陷时，通过K-means聚类方法自动生成锚框的尺寸，并标出腐蚀目标框区域；
步骤四、采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积，根据被腐蚀部分颜色深浅设置权重因子，计算其与腐蚀目标框区域面积之比为加权腐蚀率，并参考ASTM标准进行腐蚀分级评估。
进一步优化，还包括步骤五，当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加训练数据集的样本数量，提高检测识别精度。
进一步优化，所述步骤三中，通过K-means聚类方法实现anchor聚类，生成锚框的尺寸，具体步骤如下：
（1）输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T：
Figure 512082DEST_PATH_IMAGE001
（1）
其中 ,
Figure 652076DEST_PATH_IMAGE002
表示第i个腐蚀目标框区域边界框的实际宽度，
Figure 825568DEST_PATH_IMAGE003
表示第i个腐蚀目标框区域边界框的实际高度；n为所有腐蚀目标框区域的数目；
（2）从T中随机选取m个元素作为初始聚类中心：
Figure 475730DEST_PATH_IMAGE004
（2）
其中，
Figure 709265DEST_PATH_IMAGE005
是T的子集，i、j、m、n均为正整数，且m小于等于n；
（3）计算T中各元素到簇中心的交并比
Figure 805397DEST_PATH_IMAGE006
，如下：
Figure 782581DEST_PATH_IMAGE007
（3）
设
Figure 913348DEST_PATH_IMAGE008
；
则
Figure 193150DEST_PATH_IMAGE009
；
（4）计算新的聚类中心：
Figure 42158DEST_PATH_IMAGE010
，其中
Figure 823032DEST_PATH_IMAGE011
；
Figure 808305DEST_PATH_IMAGE012
；
（5）如果新的聚类中心与原聚类中心相同，则算法终止并输出步骤（4）的计算结果作为最终的聚类中心
Figure 524589DEST_PATH_IMAGE013
，即为更新后的锚框尺寸，否则返回步骤（3）。
在基于anchor的目标检测算法中，anchor一般都是通过人工设计的。例如，在SSD、Faster-RCNN中，设计了9个不同大小和宽高比的anchor.然而，通过人工设计的anchor存在一个弊端，就是并不能保证它们一定能很好的适合数据集，如果anchor的尺寸和目标的尺寸差异较大，则会影响模型的检测效果。
因此，使用K-means聚类来代替人工设计，通过对训练集的bounding box进行聚类，自动生成一组更加适合数据集的anchor，可以使网络的检测效果更好。所以，最终的聚类中心即为更新后anchor的尺寸。
进一步优化，所述步骤三中，还对YOLOV3算法进行了以下改进：使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干，删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层，从而减少检测时间，增加两个特征连接路径，充分利用从网络中提取的特征，通过多尺度滑动窗口搜索法，对钢结构图像中是否存在腐蚀缺陷进行定性检测；采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率，当概率大于设定阈值T时，则认定盖缺陷为腐蚀缺陷，然后用目标框标出缺陷，并标注缺陷类别及概率值。
进一步优化，改进YOLOV3深度神经网络分类模型训练步骤如下：
（1）构建高空钢结构腐蚀缺陷训练数据集：大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥和船体大型设备钢结构的腐蚀图像，以及没有腐蚀缺陷的正常图像，形成数据集，然后采用翻转、平移和角度旋转方式增强该数据集，通过图库管理和标注软件，多端口人工进行图像样本的信息标注，构建训练数据集；
（2）深度神经网络学习：对于改进的YOLOV3深度神经网络分类模型，利用训练数据集进行学习，根据公式（4）计算所有训练数据的损失函数的总和，然后通过多次学习的方式使损失函数的总和E最小，寻找最优的模型参数，最终得到最佳的腐蚀缺陷分类模型；
Figure 860892DEST_PATH_IMAGE014
（4）
式中，训练数据个数为R个，
Figure 179878DEST_PATH_IMAGE015
表示第l个训练数据的第k个元素值，
Figure 160603DEST_PATH_IMAGE016
表示神经网络的输出。
进一步优化，所述步骤四中，利用像素点法统计腐蚀区域内占有像素数，得到腐蚀的像素面积
Figure 906843DEST_PATH_IMAGE017
，并计算腐蚀率A，所述腐蚀率A为腐蚀的像素面积
Figure 730442DEST_PATH_IMAGE017
与腐蚀目标框区域面积
Figure 587540DEST_PATH_IMAGE018
之比，如公式（5）：
Figure 924236DEST_PATH_IMAGE019
（5）
进一步优化，所述步骤四中，为更客观准确地评估腐蚀程度，根据图像中被腐蚀部分颜色深浅设置权重因子，计算每个腐蚀目标框区域的加权腐蚀率
Figure 106956DEST_PATH_IMAGE020
，具体方法如下：
（1）将每个腐蚀目标框区域按照颜色深浅程度划分为N个等级，即分为N个腐蚀区域，权重
Figure 152273DEST_PATH_IMAGE021
由重到轻分别设置为
Figure 813061DEST_PATH_IMAGE022
；
（2）权重设置步骤如下，首先提取各个腐蚀区域的灰度图像，获取其灰度直方图，然后对腐蚀部分像素灰度值
Figure 627433DEST_PATH_IMAGE023
从小到大进行排序，
Figure 590841DEST_PATH_IMAGE024
为腐蚀像素点坐标，得到灰度最小值
Figure 123454DEST_PATH_IMAGE025
和最大值
Figure 587933DEST_PATH_IMAGE026
，根据公式（6）设置每个腐蚀区域的权重：
Figure 522391DEST_PATH_IMAGE027
（6）
（3）计算加权腐蚀率
Figure 656700DEST_PATH_IMAGE020
，如公式（7）：
Figure 676609DEST_PATH_IMAGE028
（7）
式中，S 1，S 2，......，S N 表示不同腐蚀区域对应的像素面积。
进一步优化，，根据公式（6）-（7）计算得到加权腐蚀率
Figure 679200DEST_PATH_IMAGE020
，参考表1中ASTM 标准对每个腐蚀目标框区域的腐蚀程度进行分级，并根据相关等级建议需要重新油漆的区域，以降低腐蚀扩展和截面损失的概率。
表1 ASTM腐蚀性能等级
腐蚀等级 加权腐蚀率(
Figure 468164DEST_PATH_IMAGE020
)范围		 需要重刷油漆面积占比
10
Figure 38954DEST_PATH_IMAGE020
< 0.01%		 0
9 0.01%
Figure 811738DEST_PATH_IMAGE029
0.1%		 0
8 0.1%
Figure 352441DEST_PATH_IMAGE029
0.25%		 0
7 0.25%
Figure 635392DEST_PATH_IMAGE029
0.5%		 0
6 0.5%
Figure 236138DEST_PATH_IMAGE029
1.0%		 8%
5 1.0%
Figure 965060DEST_PATH_IMAGE029
2.5%		 18%
4 2.5%
Figure 309453DEST_PATH_IMAGE029
5%		 40%
3 5%
Figure 73010DEST_PATH_IMAGE029
10%		 60%
2 10%
Figure 985602DEST_PATH_IMAGE029
25%		 100%
1 25%
Figure 201820DEST_PATH_IMAGE029
50%		 100%
0 50%
Figure 349905DEST_PATH_IMAGE029
100%		 100%
高空钢结构腐蚀的无人机视觉检测与评价系统，包括电讯连接的无人机飞行平台、Camera Link工业相机、边缘计算设备、无线传输设备、地面终端显示设备和报警组件。
所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像，并通过Camera Link接口实时传递给边缘计算设备进行图像处理；
所述边缘计算设备包括存储模块和边缘计算图像处理模块；其中，所述存储模块用于存储无人机采集的待检测钢结构图像，并将图像传递给边缘计算图像处理模块；所述边缘计算图像处理模块对待检测图像进行图像数据处理，运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估，并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示，同时通过报警组件进行声光报警。
与现有技术相比，本发明的有益效果是：
1）、本发明针对腐蚀形态复杂多变、形状不规则、尺寸不均衡、背景复杂等特点，提出改进 YOLOV3 深度神经网络分类模型，通过K-means聚类方法自动生成锚框的尺寸，提高模型检测不同尺寸和形状腐蚀缺陷的能力，对 YOLOv3 网络进行了模型压缩与优化提速，提高了检测精度和速度；在此基础上提出一种基于Otsu 阈值分割、腐蚀面积与颜色加权腐蚀率识别的分级评估算法，对缺陷分类网络检测的腐蚀目标框区域，采用Otsu阈值分割与数学形态学方法对腐蚀区域进行分割，通过像素点法统计得到腐蚀区域面积，并根据被腐蚀部分颜色深浅设置权重因子，计算其与腐蚀目标框区域面积之比为加权腐蚀率，参考ASTM标准进行腐蚀分级评估，同时根据相关等级建议需要重新油漆的区域，降低腐蚀扩展和截面损失的概率。
2）、利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估，能够提高检测效率，提升检测结果科学性和准确性，同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替，可以有效预防并控制事故的发生，减少人员和设备财产的损失，对促进企业安全生产具有重要意义。
附图说明
图1为实施例一中高空钢结构腐蚀的无人机视觉检测与评价方法流程图。
图2为实施例一中利用改进 YOLOV3 深度神经网络模型对某大型钢结构表面腐蚀缺陷的检测结果。
图3(a)- 图3(l)为某钢结构腐蚀缺陷识别图像；其中，图3（a）为深度神经网络模型检测出的腐蚀目标框1图，图3（b）为目标框1腐蚀区域分割识别结果图；图3（c）为深度神经网络模型检测出的腐蚀目标框2图，图3（d）为目标框2腐蚀区域分割识别结果图；图3（e）为深度神经网络模型检测出的腐蚀目标框3图，图3（f）为目标框3腐蚀区域分割识别结果图；图3（g）为深度神经网络模型检测出的腐蚀目标框4图，图3（h）为目标框4腐蚀区域分割识别结果图；图3（i）为深度神经网络模型检测出的腐蚀目标框5图，图3（j）为目标框5腐蚀区域分割识别结果图；图3（k）为深度神经网络模型检测出的腐蚀目标框6图，图3（l）为目标框6腐蚀区域分割识别结果图。
图4为本发明高空钢结构腐蚀的无人机视觉检测与评价系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一：
如图1所示，高空钢结构腐蚀的无人机视觉检测与评价方法，包括如下步骤：
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置，全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像；
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块；
步骤三、利用改进YOLOV3深度神经网络分类模型，通过K-means聚类方法自动生成锚框的尺寸，对高空钢结构图像中箱型梁、工字梁及桁架等三维复杂钢结构表面腐蚀缺陷进行快速检测分类，并标出腐蚀目标框区域；
步骤四、采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积，根据被腐蚀部分颜色深浅设置权重因子，计算腐蚀面积与腐蚀目标框区域面积之比为加权腐蚀率，并参考ASTM标准进行腐蚀分级评估。
步骤五、当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加训练数据集的样本数量，提高检测识别精度。
在本实施例中，所述步骤三中，通过K-means聚类方法实现anchor聚类，生成锚框的尺寸，具体步骤如下：
（1）输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T：
Figure 967968DEST_PATH_IMAGE001
（1）
其中 ,
Figure 51461DEST_PATH_IMAGE002
表示第i个腐蚀目标框区域边界框的实际宽度，
Figure 754975DEST_PATH_IMAGE003
表示第i个腐蚀目标框区域边界框的实际高度；n为所有腐蚀目标框区域的数目；
（2）从T中随机选取m个元素作为初始聚类中心：
Figure 441171DEST_PATH_IMAGE004
（2）
其中，
Figure 179320DEST_PATH_IMAGE005
是T的子集，i、j、m、n均为正整数，且m小于等于n；
（3）计算T中各元素到簇中心的交并比
Figure 433715DEST_PATH_IMAGE006
，如下：
Figure 624525DEST_PATH_IMAGE007
（3）
设
Figure 114412DEST_PATH_IMAGE008
；
则
Figure 441488DEST_PATH_IMAGE009
；
（4）计算新的聚类中心：
Figure 368250DEST_PATH_IMAGE010
，其中
Figure 46356DEST_PATH_IMAGE011
；
Figure 339934DEST_PATH_IMAGE030
；
（5）如果新的聚类中心与原聚类中心相同，则算法终止并输出步骤（4）的计算结果作为最终的聚类中心
Figure 787095DEST_PATH_IMAGE013
，即为更新后的锚框尺寸，否则返回步骤（3）。
在本实施例中，结合图2，步骤（1）的n为6，m为4。
在本实施例中，还对YOLOV3算法进行了以下改进：使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干，删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层，从而减少检测时间，增加两个特征连接路径，充分利用从网络中提取的特征，通过多尺度滑动窗口搜索法，对钢结构图像中是否存在腐蚀缺陷进行定性检测；采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率，当概率大于设定阈值0.8时，则认定该缺陷为腐蚀缺陷，然后用目标框标出缺陷，并标注缺陷类别及概率值。
如图2所示，自动检测出了钢结构图像中的6处腐蚀缺陷，并采用矩形框进行了标注，同时标注出了缺陷类别和概率，图中用rust表示腐蚀，数值表示为类型缺陷的概率，分别为0.944、0.960、0.977、0.934、0.960和0.938，均大于设定阈值0.8。
在本实施例中，所述所述步骤三中，改进YOLOV3深度神经网络分类模型训练步骤如下：
（1）构建高空钢结构腐蚀缺陷训练数据集：大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥、船体等大型设备钢结构的腐蚀图像和没有腐蚀的正常图像，采用翻转、平移、角度旋转等方式增强该数据集，通过图库管理和标注软件，多端口人工进行图像样本的信息标注，构建训练数据集；
（2）深度神经网络学习：对于改进的YOLOV3深度神经网络分类模型，利用训练数据集进行学习，根据公式（4）计算所有训练数据的损失函数的总和，然后通过多次学习的方式使损失函数的总和E最小，寻找最优的模型参数，最终得到最佳的腐蚀缺陷分类模型；
Figure 976768DEST_PATH_IMAGE014
（4）
式中，训练数据个数为R个，
Figure 17537DEST_PATH_IMAGE015
表示第l个训练数据的第k个元素值，
Figure 849226DEST_PATH_IMAGE016
表示神经网络的输出。
在本实施例中，所述步骤四中，采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，如图3(a)- 图 3(l) 所示，其中，图3（a）为深度神经网络模型检测出的腐蚀目标框1图，该腐蚀目标框为图2中左上角位置标出的腐蚀目标框，图3（b）为目标框1腐蚀区域分割识别结果图，图中黑色部分为腐蚀区域；图3（c）为深度神经网络模型检测出的腐蚀目标框2图，该腐蚀目标框为图2中左下角位置标出的腐蚀目标框，图3（d）为目标框2腐蚀区域分割识别结果图图3（e）为深度神经网络模型检测出的腐蚀目标框3图，该腐蚀目标框为图2中间偏上位置标出的腐蚀目标框，图3（f）为目标框3腐蚀区域分割识别结果图；图3（g）为深度神经网络模型检测出的腐蚀目标框4图，该腐蚀目标框为图2中间位置标出的腐蚀目标框，图3（h）为目标框4腐蚀区域分割识别结果图；图3（i）为深度神经网络模型检测出的腐蚀目标框5图，该腐蚀目标框为图2中间偏下位置标出的腐蚀目标框，图3（j）为目标框5腐蚀区域分割识别结果图；图3（k）为深度神经网络模型检测出的腐蚀目标框6图，该腐蚀目标框为图2中右下角位置标出的腐蚀目标框，图3（l）为目标框6腐蚀区域分割识别结果图。然后利用像素点法统计腐蚀区域内占有像素数，得到腐蚀的像素面积
Figure 416474DEST_PATH_IMAGE017
，并计算腐蚀率A，所述腐蚀率A为腐蚀的像素面积
Figure 42627DEST_PATH_IMAGE017
与腐蚀目标框区域面积
Figure 570692DEST_PATH_IMAGE018
之比，如公式（5）：
Figure 206073DEST_PATH_IMAGE019
（5）
分别得到图2中6个腐蚀目标框区域的原始图像面积
Figure 362247DEST_PATH_IMAGE018
、腐蚀区域像素面积
Figure 565827DEST_PATH_IMAGE017
和腐蚀率A，见表4。
在本实施例中，所述步骤四中，为更客观准确地评估腐蚀程度，可以根据被腐蚀部分颜色深浅设置权重因子，将颜色深浅程度划分为4个等级，即分为4个腐蚀区域，权重
Figure 174663DEST_PATH_IMAGE021
由重到轻分别设置为
Figure 613734DEST_PATH_IMAGE031
；计算加权腐蚀率
Figure 889995DEST_PATH_IMAGE020
，如公式（6）：
Figure 123530DEST_PATH_IMAGE032
（6）
式中，S 1，S 2，S 3，S 4为不同颜色深浅腐蚀区域的像素面积。
权重设置步骤如下，首先提取腐蚀区域的灰度图像，获取其灰度直方图，然后对腐蚀部分像素灰度值
Figure 859143DEST_PATH_IMAGE023
从小到大进行排序，
Figure 836326DEST_PATH_IMAGE024
为腐蚀像素点坐标，得到灰度最小值
Figure 967093DEST_PATH_IMAGE025
和最大值
Figure 371529DEST_PATH_IMAGE026
，根据公式（7）设置每个腐蚀像素点的权重。
Figure 95903DEST_PATH_IMAGE033
在本实施例中，图2中6个腐蚀目标框区域的灰度最小值
Figure 611198DEST_PATH_IMAGE025
，最大值
Figure 862051DEST_PATH_IMAGE026
，以及不同颜色深浅腐蚀区域面积S 1，S 2，S 3，S 4分别见表2。
在本实施例中，所述步骤四中，根据公式（6）-（7）计算得到加权腐蚀率，参考ASTM标准（见表3）对腐蚀框目标框1、2的腐蚀程度进行分级，分级结果如表4所示，并根据相关等级建议需要重新油漆的区域，以降低腐蚀扩展和截面损失的概率。
表2 腐蚀目标框区域灰度分布
Figure 437389DEST_PATH_IMAGE034
表3 ASTM腐蚀性能等级
Figure 649058DEST_PATH_IMAGE035
表4 腐蚀参数识别与分级结果
Figure 968044DEST_PATH_IMAGE036
通过上述实施例，由图1、图2、图3（a）、图3（b）、图3（c）、图3（d）、图3（e）、图3（f）、图3（g）、图3（h）、图3（i）、图3（j）、图3（k）、图3（l）和表2、表3、表4得出，利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估，能够提高检测效率，提升检测结果科学性和准确性，同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替，可以有效预防并控制事故的发生，减少人员和设备财产的损失，对促进企业安全生产具有重要意义。
实施例二：
如图4所示，高空钢结构腐蚀的无人机视觉检测与评价系统，包括电讯连接的无人机飞行平台1、Camera Link工业相机2、边缘计算设备3、无线传输设备4、地面终端显示设备5和报警组件6。所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像，并通过Camera Link接口实时传递给边缘计算设备进行图像处理。
所述边缘计算设备3包括存储模块和图像处理模块。其中，所述存储模块用于存储无人机采集的待检测钢结构图像，并将图像传递给图像处理模块；所述图像处理模块对待检测图像进行图像数据处理，运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估，并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示，同时通过报警组件进行声光报警。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.高空钢结构腐蚀的无人机视觉检测与评价方法，其特征在于，包括如下步骤：
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置，全方位多角度采集待检测的大型高空钢结构图像；
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块；
步骤三、利用改进YOLOV3深度神经网络分类模型，检测该大型高空钢结构图像中是否存在腐蚀缺陷；
对YOLOV3算法进行了以下改进：使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干，删除YOLOv3-Scale1,YOLOv3-Scale2和YOLOv3-Scale3中的重复层，从而减少检测时间，增加两个特征连接路径，充分利用从网络中提取的特征，通过多尺度滑动窗口搜索法，对钢结构图像中是否存在腐蚀缺陷进行定性检测；采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率，当概率大于设定阈值T时，则认定盖缺陷为腐蚀缺陷，然后用目标框标出缺陷，并标注缺陷类别及概率值；
当检测到存在腐蚀缺陷时，通过K-means聚类方法自动生成锚框的尺寸，并标出腐蚀目标框区域，具体步骤如下：
(1)输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T：
T＝{(Bwidthi，Bheighti)，i＝1,2,…,n} (1)
其中,Bwidthi表示第i个腐蚀目标框区域边界框的实际宽度，Bheighti表示第i个腐蚀目标框区域边界框的实际高度；n为所有腐蚀目标框区域的数目；
(2)从T中随机选取m个元素作为初始聚类中心：
{(clusterwidthj，clusterheightj)，j＝1,2,…,m} (2)
其中，{(clusterwidthj，clusterheightj)}是T的子集，i、j、m、n均为正整数，且m小于等于n；
(3)计算T中各元素到簇中心的交并比IOUij，如下：
Figure FDA0003286153590000011
设
Figure FDA0003286153590000021
则
Figure FDA0003286153590000022
(4)计算新的聚类中心：{(cluster1widthj，cluster1heightj)，j＝1,2,…,m}，其中
Figure FDA0003286153590000023
Figure FDA0003286153590000024
(5)如果新的聚类中心与原聚类中心相同，则算法终止并输出步骤(4)的计算结果作为最终的聚类中心{(cluster2widthj，cluster2heightj)，j＝1,2,…,m}，即为更新后的锚框尺寸，否则返回步骤(3)；
步骤四、采用Otsu阈值分割与数学形态学方法，对检测出的腐蚀目标框区域进行图像分割，提取连通域反演缺陷形状，利用像素点法统计腐蚀面积；根据被腐蚀部分颜色深浅设置权重因子，计算加权腐蚀率，并参考ASTM标准对检测设备进行腐蚀分级评估；所述加权腐蚀率为在考虑被腐蚀部分颜色深浅权重因子条件下，计算出的腐蚀面积与腐蚀目标框区域面积之比；
根据图像中被腐蚀部分颜色深浅设置权重因子，计算每个腐蚀目标框区域的加权腐蚀率Aw，具体方法如下：
(1)将每个腐蚀目标框区域按照颜色深浅程度划分为N个等级，即分为N个腐蚀区域，权重w由重到轻分别设置为w1,w2,...,wN；
(2)权重设置步骤如下，首先提取各个腐蚀区域的灰度图像，获取其灰度直方图，然后对腐蚀部分像素灰度值g(x,y)从小到大进行排序，(x,y)为腐蚀像素点坐标，得到灰度最小值g1和最大值g2，根据公式(4)设置每个腐蚀区域的权重：
Figure FDA0003286153590000025
(3)计算加权腐蚀率Aw，如公式(5)：
Figure FDA0003286153590000026
式中，S1，S2，......，SN表示不同腐蚀区域对应的像素面积。
2.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法，其特征在于，还包括步骤五，当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
3.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法，其特征在于，所述步骤三中，改进YOLOV3深度神经网络分类模型训练步骤如下：
(1)构建高空钢结构腐蚀缺陷训练数据集：大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥和船体大型设备钢结构的腐蚀图像，以及没有腐蚀缺陷的正常图像，形成数据集，然后采用翻转、平移和角度旋转方式增强该数据集，通过图库管理和标注软件，多端口人工进行图像样本的信息标注，构建训练数据集；
(2)深度神经网络学习：对于改进的YOLOV3深度神经网络分类模型，利用训练数据集进行学习，根据公式(6)计算所有训练数据的损失函数的总和，然后通过多次学习的方式使损失函数的总和E最小，寻找最优的模型参数，最终得到最佳的腐蚀缺陷分类模型；
Figure FDA0003286153590000031
式中，训练数据个数为R个，tlk表示第l个训练数据的第k个元素值，ylk表示神经网络的输出。
4.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法，其特征在于，所述步骤四中，利用像素点法统计腐蚀区域内占有像素数，得到腐蚀的像素面积Srust，并计算腐蚀率A，所述腐蚀率A为腐蚀的像素面积Srust与腐蚀目标框区域面积Stotal之比，如公式(7)：
Figure FDA0003286153590000032
5.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法，其特征在于，所述步骤四中，根据公式(4)-(5)计算得到加权腐蚀率Aw，参考表1中ASTM标准对每个腐蚀目标框区域的腐蚀程度进行分级，并根据相关等级建议需要重新油漆的区域，以降低腐蚀扩展和截面损失的概率
表1 ASTM腐蚀性能等级
Figure FDA0003286153590000041
6.高空钢结构腐蚀的无人机视觉检测与评价系统，其特征在于，包括电讯连接的无人机飞行平台、Camera Link工业相机、边缘计算设备、无线传输设备、地面终端显示设备和报警组件；
所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像，并通过Camera Link接口实时传递给边缘计算设备进行图像处理；
所述边缘计算设备包括存储模块和边缘计算图像处理模块；其中，所述存储模块用于存储无人机采集的待检测钢结构图像，并将图像传递给边缘计算图像处理模块；所述边缘计算图像处理模块对待检测图像进行图像数据处理，运行权利要求1-5中任一项所述的方法进行腐蚀缺陷检测、识别与分级评估，并对缺陷进行标注；然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示，同时通过报警组件进行声光报警。
CN202110947070.8A 2021-08-18 2021-08-18 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 Active CN113409314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110947070.8A CN113409314B (zh) 2021-08-18 2021-08-18 高空钢结构腐蚀的无人机视觉检测与评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110947070.8A CN113409314B (zh) 2021-08-18 2021-08-18 高空钢结构腐蚀的无人机视觉检测与评价方法及系统

Publications (2)

Publication Number Publication Date
CN113409314A CN113409314A (zh) 2021-09-17
CN113409314B true CN113409314B (zh) 2021-11-12

Family

ID=77688547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110947070.8A Active CN113409314B (zh) 2021-08-18 2021-08-18 高空钢结构腐蚀的无人机视觉检测与评价方法及系统

Country Status (1)

Country Link
CN (1) CN113409314B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744270B (zh) * 2021-11-05 2022-02-08 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114549448B (zh) * 2022-02-17 2023-08-11 中国空气动力研究与发展中心超高速空气动力研究所 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法
CN114663672B (zh) * 2022-03-11 2023-04-07 四川大学 一种输电线路塔钢构件腐蚀检测方法及系统
CN114677568B (zh) * 2022-05-30 2022-08-23 山东极视角科技有限公司 一种基于神经网络的线性目标检测方法、模块及系统
CN114937023A (zh) * 2022-06-02 2022-08-23 北京远舢智能科技有限公司 一种承压设备的缺陷识别方法及装置
CN115760058A (zh) * 2022-11-21 2023-03-07 上海交通大学 用于车辆底盘腐蚀评估的agv系统
CN116342598B (zh) * 2023-05-29 2023-08-01 天维云筑预应力科技(天津)有限公司 基于机器视觉的钢绞线质量检测方法
CN117115157B (zh) * 2023-10-23 2024-02-06 湖南隆深氢能科技有限公司 基于pem电解槽的缺陷检测方法、系统、终端设备及介质
CN117351062B (zh) * 2023-12-04 2024-02-23 尚特杰电力科技有限公司 风机扇叶缺陷诊断方法、装置、系统及电子设备
CN117952965B (zh) * 2024-03-26 2024-06-18 陕西惠延机械有限公司 一种隧道衬砌台车钢结构稳定性质量检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104906A (zh) * 2019-12-19 2020-05-05 南京工程学院 一种基于yolo的输电塔鸟巢故障检测方法
CN111476756B (zh) * 2020-03-09 2024-05-14 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN112200225B (zh) * 2020-09-23 2022-07-26 西南交通大学 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN112669275A (zh) * 2020-12-23 2021-04-16 中国电子技术标准化研究院 基于YOLOv3算法的PCB表面缺陷检测方法及装置
CN112668628A (zh) * 2020-12-24 2021-04-16 山东大学 一种空调外机质量检测与可视化方法
CN112991271B (zh) * 2021-02-08 2024-02-02 西安理工大学 基于改进yolov3的铝型材表面缺陷视觉检测方法

Also Published As

Publication number Publication date
CN113409314A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113409314B (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN110223302B (zh) 一种基于旋转区域提取的舰船多目标检测方法
Chen et al. A self organizing map optimization based image recognition and processing model for bridge crack inspection
CN107316064B (zh) 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN114092389A (zh) 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN111191628B (zh) 基于决策树与特征优化的遥感影像震害建筑物识别方法
CN111027881B (zh) 基于改进灰色关联度的输电杆塔自然灾害损失评估方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN102663422B (zh) 基于颜色特征的地板层次分类方法
CN114581764B (zh) 基于深度学习算法的地下结构裂纹病害判别方法
CN110992314A (zh) 一种路面缺陷检测方法、装置及存储介质
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
Fan Detection of multidamage to reinforced concrete using support vector machine‐based clustering from digital images
CN113283280B (zh) 基于可见光图像处理的地面目标云模型毁伤效果评估方法
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
KR102602439B1 (ko) 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant