CN113409314A - 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 - Google Patents
高空钢结构腐蚀的无人机视觉检测与评价方法及系统 Download PDFInfo
- Publication number
- CN113409314A CN113409314A CN202110947070.8A CN202110947070A CN113409314A CN 113409314 A CN113409314 A CN 113409314A CN 202110947070 A CN202110947070 A CN 202110947070A CN 113409314 A CN113409314 A CN 113409314A
- Authority
- CN
- China
- Prior art keywords
- corrosion
- image
- area
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005260 corrosion Methods 0.000 title claims abstract description 192
- 230000007797 corrosion Effects 0.000 title claims abstract description 188
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 59
- 239000010959 steel Substances 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 title claims abstract description 16
- 230000007547 defect Effects 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 14
- 238000003064 k means clustering Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000003628 erosive effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000005530 etching Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000011179 visual inspection Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 27
- 238000003062 neural network model Methods 0.000 description 13
- 238000005457 optimization Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 229920003169 water-soluble polymer Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统,包括一、通过无人机飞行平台搭载的工业相机采集待检测的大型高空钢结构图像;二、将采集的图像传输给边缘计算图像处理模块;三、利用深度神经网络分类模型,判断检测该图像中是否存在腐蚀缺陷,通过K‑means聚类方法自动生成锚框的尺寸,并标出腐蚀目标框区域;四、对检测出的腐蚀目标框区域进行图像分割,提取连通域反演缺陷形状,利用像素点法统计腐蚀面积;设置权重因子,计算加权腐蚀率,并对检测设备进行腐蚀分级评估。该方法解决了大型高空钢结构腐蚀缺陷形态多变、背景复杂、难以检测和量化识别等问题,提高了检测精度和效率。
Description
技术领域
本发明属于无损检测技术领域,具体涉及一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统。
背景技术
以港口起重机、大型游乐设施、锅炉、储罐、钢桥、塔架、风电设备等为代表的在役大型钢结构腐蚀,会使疲劳许用应力大幅降低和钢材抗冷脆性能下降,降低钢结构的承载能力,减少设备使用时间,严重时会导致结构断裂坠毁,引发重大恶性伤亡事故。钢结构腐蚀后其原有的颜色、形貌、纹理等特征会发生变化,根据腐蚀缺陷区别于正常区域的特征,可利用HIS、RGB、HSV、YCrCb、LAB等颜色模型转换方法,选择腐蚀颜色特征相对背景区域最显著的颜色空间模型及颜色分量,进行图像分割实现腐蚀检测,但是阈值分割严重依赖于手工设置阈值,对于不同数据集的泛化能力差,可能包含一些与腐蚀颜色相近的背景区域的误判,且腐蚀本身形态差异大,腐蚀部位形状也各不相同,导致腐蚀难以检测;也可以通过人工设计并提取图像中缺陷特征,采用分类器模型对缺陷进行分类识别,从而避免传统图像分割检测方法中手动调整阈值参数的问题,但人对特征的定义受经验影响,人工设计的缺陷特征对于多样性变化的鲁棒性不高,当人工设计算法无法表述图像高级特征时,识别率会大大降低。
深度学习通过自动学习获得目标特征,它自适应能力强、检测效率更高,逐渐成为主流的检测算法。以Faster R-CNN为代表的卷积神经网络检测算法直接预测锚框的宽度和高度,倾向于选择较大的锚框,不仅容易产生误差,导致锚框超出图像像素坐标范围,而且由于预测值的取值范围较大,在训练过程中会导致梯度不稳定;这类方法通常采用固定锚框设置,适合于创建特殊的预测因子,但是这些预测器不能很好地检测特定数据集中不同大小的对象;此外,目前基于深度学习的缺陷检测方法普遍停留在缺陷的分类与判定阶段,缺乏对腐蚀进行量化识别及损伤程度评价的理论和方法。
发明内容
本发明的目的在于提供一种高空钢结构腐蚀的无人机视觉检测与评价方法及系统,解决起重机、塔架、风电叶片等大型高空钢结构腐蚀缺陷形态多变、背景复杂、难以在线检测和量化识别的技术问题。
为了解决上述问题,本发明通过如下技术方案实现:
高空钢结构腐蚀的无人机视觉检测与评价方法,包括如下步骤:
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置,全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像;
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块;
步骤三、利用改进YOLOV3深度神经网络分类模型,检测该大型高空钢结构图像中是否存在腐蚀缺陷;当检测到存在腐蚀缺陷时,通过K-means聚类方法自动生成锚框的尺寸,并标出腐蚀目标框区域;
步骤四、采用Otsu阈值分割与数学形态学方法,对检测出的腐蚀目标框区域进行图像分割,提取连通域反演缺陷形状,利用像素点法统计腐蚀面积,根据被腐蚀部分颜色深浅设置权重因子,计算其与腐蚀目标框区域面积之比为加权腐蚀率,并参考ASTM标准进行腐蚀分级评估。
进一步优化,还包括步骤五,当检测出缺陷时进行声光报警,同时自动保存该缺陷图像。
通过设计报警模块,当识别出缺陷时进行声光报警及时提醒检测人员,对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像,增加训练数据集的样本数量,提高检测识别精度。
进一步优化,所述步骤三中,通过K-means聚类方法实现anchor聚类,生成锚框的尺寸,具体步骤如下:
(1)输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T:
(2)从T中随机选取m个元素作为初始聚类中心:
在基于anchor的目标检测算法中,anchor一般都是通过人工设计的。例如,在SSD、Faster-RCNN中,设计了9个不同大小和宽高比的anchor.然而,通过人工设计的anchor存在一个弊端,就是并不能保证它们一定能很好的适合数据集,如果anchor的尺寸和目标的尺寸差异较大,则会影响模型的检测效果。
因此,使用K-means聚类来代替人工设计,通过对训练集的bounding box进行聚类,自动生成一组更加适合数据集的anchor,可以使网络的检测效果更好。所以,最终的聚类中心即为更新后anchor的尺寸。
进一步优化,所述步骤三中,还对YOLOV3算法进行了以下改进:使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干,删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层,从而减少检测时间,增加两个特征连接路径,充分利用从网络中提取的特征,通过多尺度滑动窗口搜索法,对钢结构图像中是否存在腐蚀缺陷进行定性检测;采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率,当概率大于设定阈值T时,则认定盖缺陷为腐蚀缺陷,然后用目标框标出缺陷,并标注缺陷类别及概率值。
进一步优化,改进YOLOV3深度神经网络分类模型训练步骤如下:
(1)构建高空钢结构腐蚀缺陷训练数据集:大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥和船体大型设备钢结构的腐蚀图像,以及没有腐蚀缺陷的正常图像,形成数据集,然后采用翻转、平移和角度旋转方式增强该数据集,通过图库管理和标注软件,多端口人工进行图像样本的信息标注,构建训练数据集;
(2)深度神经网络学习:对于改进的YOLOV3深度神经网络分类模型,利用训练数据集进行学习,根据公式(4)计算所有训练数据的损失函数的总和,然后通过多次学习的方式使损失函数的总和E最小,寻找最优的模型参数,最终得到最佳的腐蚀缺陷分类模型;
式中,S 1,S 2,......,S N 表示不同腐蚀区域对应的像素面积。
表1 ASTM腐蚀性能等级
腐蚀等级 | 加权腐蚀率()范围 | 需要重刷油漆面积占比 |
10 | < 0.01% | 0 |
9 | 0.01% 0.1% | 0 |
8 | 0.1%0.25% | 0 |
7 | 0.25%0.5% | 0 |
6 | 0.5% 1.0% | 8% |
5 | 1.0%2.5% | 18% |
4 | 2.5%5% | 40% |
3 | 5%10% | 60% |
2 | 10%25% | 100% |
1 | 25%50% | 100% |
0 | 50%100% | 100% |
高空钢结构腐蚀的无人机视觉检测与评价系统,包括电讯连接的无人机飞行平台、Camera Link工业相机、边缘计算设备、无线传输设备、地面终端显示设备和报警组件。
所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像,并通过Camera Link接口实时传递给边缘计算设备进行图像处理;
所述边缘计算设备包括存储模块和边缘计算图像处理模块;其中,所述存储模块用于存储无人机采集的待检测钢结构图像,并将图像传递给边缘计算图像处理模块;所述边缘计算图像处理模块对待检测图像进行图像数据处理,运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估,并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示,同时通过报警组件进行声光报警。
与现有技术相比,本发明的有益效果是:
1)、本发明针对腐蚀形态复杂多变、形状不规则、尺寸不均衡、背景复杂等特点,提出改进 YOLOV3 深度神经网络分类模型,通过K-means聚类方法自动生成锚框的尺寸,提高模型检测不同尺寸和形状腐蚀缺陷的能力,对 YOLOv3 网络进行了模型压缩与优化提速,提高了检测精度和速度;在此基础上提出一种基于Otsu 阈值分割、腐蚀面积与颜色加权腐蚀率识别的分级评估算法,对缺陷分类网络检测的腐蚀目标框区域,采用Otsu阈值分割与数学形态学方法对腐蚀区域进行分割,通过像素点法统计得到腐蚀区域面积,并根据被腐蚀部分颜色深浅设置权重因子,计算其与腐蚀目标框区域面积之比为加权腐蚀率,参考ASTM标准进行腐蚀分级评估,同时根据相关等级建议需要重新油漆的区域,降低腐蚀扩展和截面损失的概率。
2)、利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估,能够提高检测效率,提升检测结果科学性和准确性,同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替,可以有效预防并控制事故的发生,减少人员和设备财产的损失,对促进企业安全生产具有重要意义。
附图说明
图1为实施例一中高空钢结构腐蚀的无人机视觉检测与评价方法流程图。
图2为实施例一中利用改进 YOLOV3 深度神经网络模型对某大型钢结构表面腐蚀缺陷的检测结果。
图3为某钢结构腐蚀缺陷识别图像;其中,图3(a)为深度神经网络模型检测出的腐蚀目标框1图,图3(b)为目标框1腐蚀区域分割识别结果图;图3(c)为深度神经网络模型检测出的腐蚀目标框2图,图3(d)为目标框2腐蚀区域分割识别结果图;图3(e)为深度神经网络模型检测出的腐蚀目标框3图,图3(f)为目标框3腐蚀区域分割识别结果图;图3(g)为深度神经网络模型检测出的腐蚀目标框4图,图3(h)为目标框4腐蚀区域分割识别结果图;图3(i)为深度神经网络模型检测出的腐蚀目标框5图,图3(j)为目标框5腐蚀区域分割识别结果图;图3(k)为深度神经网络模型检测出的腐蚀目标框6图,图3(l)为目标框6腐蚀区域分割识别结果图。
图4为本发明高空钢结构腐蚀的无人机视觉检测与评价系统的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一:
如图1所示,高空钢结构腐蚀的无人机视觉检测与评价方法,包括如下步骤:
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置,全方位多角度采集起重机、塔架、风电叶片等大型高空钢结构图像;
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块;
步骤三、利用改进YOLOV3深度神经网络分类模型,通过K-means聚类方法自动生成锚框的尺寸,对高空钢结构图像中箱型梁、工字梁及桁架等三维复杂钢结构表面腐蚀缺陷进行快速检测分类,并标出腐蚀目标框区域;
步骤四、采用Otsu阈值分割与数学形态学方法,对检测出的腐蚀目标框区域进行图像分割,提取连通域反演缺陷形状,利用像素点法统计腐蚀面积,根据被腐蚀部分颜色深浅设置权重因子,计算腐蚀面积与腐蚀目标框区域面积之比为加权腐蚀率,并参考ASTM标准进行腐蚀分级评估。
步骤五、当检测出缺陷时进行声光报警,同时自动保存该缺陷图像。通过设计报警模块,当识别出缺陷时进行声光报警及时提醒检测人员,对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像,增加训练数据集的样本数量,提高检测识别精度。
在本实施例中,所述步骤三中,通过K-means聚类方法实现anchor聚类,生成锚框的尺寸,具体步骤如下:
(1)输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T:
(2)从T中随机选取m个元素作为初始聚类中心:
在本实施例中,结合图2,步骤(1)的n为6,m为4。
在本实施例中,还对YOLOV3算法进行了以下改进:使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干,删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层,从而减少检测时间,增加两个特征连接路径,充分利用从网络中提取的特征,通过多尺度滑动窗口搜索法,对钢结构图像中是否存在腐蚀缺陷进行定性检测;采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率,当概率大于设定阈值0.8时,则认定该缺陷为腐蚀缺陷,然后用目标框标出缺陷,并标注缺陷类别及概率值。
如图2所示,自动检测出了钢结构图像中的6处腐蚀缺陷,并采用矩形框进行了标注,同时标注出了缺陷类别和概率,图中用rust表示腐蚀,数值表示为类型缺陷的概率,分别为0.944、0.960、0.977、0.934、0.960和0.938,均大于设定阈值0.8。
在本实施例中,所述所述步骤三中,改进YOLOV3深度神经网络分类模型训练步骤如下:
(1)构建高空钢结构腐蚀缺陷训练数据集:大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥、船体等大型设备钢结构的腐蚀图像和没有腐蚀的正常图像,采用翻转、平移、角度旋转等方式增强该数据集,通过图库管理和标注软件,多端口人工进行图像样本的信息标注,构建训练数据集;
(2)深度神经网络学习:对于改进的YOLOV3深度神经网络分类模型,利用训练数据集进行学习,根据公式(4)计算所有训练数据的损失函数的总和,然后通过多次学习的方式使损失函数的总和E最小,寻找最优的模型参数,最终得到最佳的腐蚀缺陷分类模型;
在本实施例中,所述步骤四中,采用Otsu阈值分割与数学形态学方法,对检测出的腐蚀目标框区域进行图像分割,提取连通域反演缺陷形状,如图3所示,其中,图3(a)为深度神经网络模型检测出的腐蚀目标框1图,该腐蚀目标框为图2中左上角位置标出的腐蚀目标框,图3(b)为目标框1腐蚀区域分割识别结果图,图中黑色部分为腐蚀区域;图3(c)为深度神经网络模型检测出的腐蚀目标框2图,该腐蚀目标框为图2中左下角位置标出的腐蚀目标框,图3(d)为目标框2腐蚀区域分割识别结果图图3(e)为深度神经网络模型检测出的腐蚀目标框3图,该腐蚀目标框为图2中间偏上位置标出的腐蚀目标框,图3(f)为目标框3腐蚀区域分割识别结果图;图3(g)为深度神经网络模型检测出的腐蚀目标框4图,该腐蚀目标框为图2中间位置标出的腐蚀目标框,图3(h)为目标框4腐蚀区域分割识别结果图;图3(i)为深度神经网络模型检测出的腐蚀目标框5图,该腐蚀目标框为图2中间偏下位置标出的腐蚀目标框,图3(j)为目标框5腐蚀区域分割识别结果图;图3(k)为深度神经网络模型检测出的腐蚀目标框6图,该腐蚀目标框为图2中右下角位置标出的腐蚀目标框,图3(l)为目标框6腐蚀区域分割识别结果图。然后利用像素点法统计腐蚀区域内占有像素数,得到腐蚀的像素面积,并计算腐蚀率A,所述腐蚀率A为腐蚀的像素面积与腐蚀目标框区域面积之比,如公式(5):
在本实施例中,所述步骤四中,为更客观准确地评估腐蚀程度,可以根据被腐蚀部分颜色深浅设置权重因子,将颜色深浅程度划分为4个等级,即分为4个腐蚀区域,权重由重到轻分别设置为;计算加权腐蚀率,如公式(6):
式中,S 1,S 2,S 3,S 4为不同颜色深浅腐蚀区域的像素面积。
在本实施例中,所述步骤四中,根据公式(6)-(7)计算得到加权腐蚀率,参考ASTM标准(见表3)对腐蚀框目标框1、2的腐蚀程度进行分级,分级结果如表4所示,并根据相关等级建议需要重新油漆的区域,以降低腐蚀扩展和截面损失的概率。
表2 腐蚀目标框区域灰度分布
表3 ASTM腐蚀性能等级
表4 腐蚀参数识别与分级结果
通过上述实施例,由图1、图2、图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)、图3(g)、图3(h)、图3(i)、图3(j)、图3(k)、图3(l)和表2、表3、表4得出,利用该方法对大型机械设备金属结构腐蚀缺陷进行检测、识别、量化和评估,能够提高检测效率,提升检测结果科学性和准确性,同时很多人工检测无法达到或难于达到的地方均可以由无人机检测代替,可以有效预防并控制事故的发生,减少人员和设备财产的损失,对促进企业安全生产具有重要意义。
实施例二:
如图4所示,高空钢结构腐蚀的无人机视觉检测与评价系统,包括电讯连接的无人机飞行平台1、Camera Link工业相机2、边缘计算设备3、无线传输设备4、地面终端显示设备5和报警组件6。所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像,并通过Camera Link接口实时传递给边缘计算设备进行图像处理。
所述边缘计算设备3包括存储模块和图像处理模块。其中,所述存储模块用于存储无人机采集的待检测钢结构图像,并将图像传递给图像处理模块;所述图像处理模块对待检测图像进行图像数据处理,运行步骤三和四的检测方法进行腐蚀缺陷检测、识别与分级评估,并对缺陷进行标注。然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示,同时通过报警组件进行声光报警。
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明;凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,包括如下步骤:
步骤一、通过无人机飞行平台搭载Camera Link工业相机作为视觉检测装置,全方位多角度采集待检测的大型高空钢结构图像;
步骤二、通过Camera Link接口将采集的高空钢结构图像传输给基于FPGA或嵌入式GPU的边缘计算图像处理模块;
步骤三、利用改进YOLOV3深度神经网络分类模型,检测该大型高空钢结构图像中是否存在腐蚀缺陷;当检测到存在腐蚀缺陷时,通过K-means聚类方法自动生成锚框的尺寸,并标出腐蚀目标框区域;
步骤四、采用Otsu阈值分割与数学形态学方法,对检测出的腐蚀目标框区域进行图像分割,提取连通域反演缺陷形状,利用像素点法统计腐蚀面积;根据被腐蚀部分颜色深浅设置权重因子,计算加权腐蚀率,并参考ASTM标准对检测设备进行腐蚀分级评估;所述加权腐蚀率为在考虑被腐蚀部分颜色深浅权重因子条件下,计算出的腐蚀面积与腐蚀目标框区域面积之比。
2.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,还包括步骤五,当检测出缺陷时进行声光报警,同时自动保存该缺陷图像。
3.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,所述步骤三中,通过K-means聚类方法实现anchor聚类,生成锚框的尺寸,具体步骤如下:
(1)输入所有腐蚀目标框区域边界框的实际宽度和高度数据集T:
(2)从T中随机选取m个元素作为初始聚类中心:
4.根据权利要求1所述的高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,所述步骤三中,还对YOLOV3算法进行了以下改进:使用Darknet-19网络代替Darknet-53网络作为改进YOLOv3网络的骨干,删除YOLOv3-Scale1, YOLOv3-Scale2和YOLOv3-Scale3中的重复层,从而减少检测时间,增加两个特征连接路径,充分利用从网络中提取的特征,通过多尺度滑动窗口搜索法,对钢结构图像中是否存在腐蚀缺陷进行定性检测;采用Sigmoid逻辑回归函数计算判定为腐蚀缺陷的概率,当概率大于设定阈值T时,则认定盖缺陷为腐蚀缺陷,然后用目标框标出缺陷,并标注缺陷类别及概率值。
5.根据权利要求4所述的高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,所述步骤三中,改进YOLOV3深度神经网络分类模型训练步骤如下:
(1)构建高空钢结构腐蚀缺陷训练数据集:大量收集港口起重机、风电设备、塔架、大型游乐设施、锅炉、钢桥和船体大型设备钢结构的腐蚀图像,以及没有腐蚀缺陷的正常图像,形成数据集,然后采用翻转、平移和角度旋转方式增强该数据集,通过图库管理和标注软件,多端口人工进行图像样本的信息标注,构建训练数据集;
(2)深度神经网络学习:对于改进的YOLOV3深度神经网络分类模型,利用训练数据集进行学习,根据公式(4)计算所有训练数据的损失函数的总和,然后通过多次学习的方式使损失函数的总和E最小,寻找最优的模型参数,最终得到最佳的腐蚀缺陷分类模型;
式中,S 1,S 2,......,S N 表示不同腐蚀区域对应的像素面积。
8.根据权利要求7所述的高空钢结构腐蚀的无人机视觉检测与评价方法,其特征在于,所述步骤四中,根据公式(6)-(7)计算得到加权腐蚀率,参考表1中ASTM 标准对每个腐蚀目标框区域的腐蚀程度进行分级,并根据相关等级建议需要重新油漆的区域,以降低腐蚀扩展和截面损失的概率
表1 ASTM腐蚀性能等级
。
9.高空钢结构腐蚀的无人机视觉检测与评价系统,其特征在于,包括电讯连接的无人机飞行平台、Camera Link工业相机、边缘计算设备、无线传输设备、地面终端显示设备和报警组件;
所述无人机飞行平台搭载Camera Link工业相机实时采集待检测钢结构的图像,并通过Camera Link接口实时传递给边缘计算设备进行图像处理;
所述边缘计算设备包括存储模块和边缘计算图像处理模块;其中,所述存储模块用于存储无人机采集的待检测钢结构图像,并将图像传递给边缘计算图像处理模块;所述边缘计算图像处理模块对待检测图像进行图像数据处理,运行权利要求1-8中任一项所述的方法进行腐蚀缺陷检测、识别与分级评估,并对缺陷进行标注;然后通过无线传输设备将图像检测结果传递给地面终端显示设备进行显示,同时通过报警组件进行声光报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110947070.8A CN113409314B (zh) | 2021-08-18 | 2021-08-18 | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110947070.8A CN113409314B (zh) | 2021-08-18 | 2021-08-18 | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113409314A true CN113409314A (zh) | 2021-09-17 |
CN113409314B CN113409314B (zh) | 2021-11-12 |
Family
ID=77688547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110947070.8A Active CN113409314B (zh) | 2021-08-18 | 2021-08-18 | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113409314B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
CN114549448A (zh) * | 2022-02-17 | 2022-05-27 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法 |
CN114663672A (zh) * | 2022-03-11 | 2022-06-24 | 四川大学 | 一种输电线路塔钢构件腐蚀检测方法及系统 |
CN114677568A (zh) * | 2022-05-30 | 2022-06-28 | 山东极视角科技有限公司 | 一种基于神经网络的线性目标检测方法、模块及系统 |
CN114937023A (zh) * | 2022-06-02 | 2022-08-23 | 北京远舢智能科技有限公司 | 一种承压设备的缺陷识别方法及装置 |
CN116342598A (zh) * | 2023-05-29 | 2023-06-27 | 天维云筑预应力科技(天津)有限公司 | 基于机器视觉的钢绞线质量检测方法 |
CN117115157A (zh) * | 2023-10-23 | 2023-11-24 | 湖南隆深氢能科技有限公司 | 基于pem电解槽的缺陷检测方法、系统、终端设备及介质 |
CN117351062A (zh) * | 2023-12-04 | 2024-01-05 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
CN117952965A (zh) * | 2024-03-26 | 2024-04-30 | 陕西惠延机械有限公司 | 一种隧道衬砌台车钢结构稳定性质量检测方法 |
WO2024108971A1 (zh) * | 2022-11-21 | 2024-05-30 | 上海交通大学 | 用于车辆底盘腐蚀评估的agv系统 |
CN118429730A (zh) * | 2024-07-04 | 2024-08-02 | 中冶检测认证有限公司 | 基于计算机视觉的压型钢板腐蚀程度检测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104906A (zh) * | 2019-12-19 | 2020-05-05 | 南京工程学院 | 一种基于yolo的输电塔鸟巢故障检测方法 |
CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
CN112200225A (zh) * | 2020-09-23 | 2021-01-08 | 西南交通大学 | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 |
CN112669275A (zh) * | 2020-12-23 | 2021-04-16 | 中国电子技术标准化研究院 | 基于YOLOv3算法的PCB表面缺陷检测方法及装置 |
CN112668628A (zh) * | 2020-12-24 | 2021-04-16 | 山东大学 | 一种空调外机质量检测与可视化方法 |
CN112991271A (zh) * | 2021-02-08 | 2021-06-18 | 西安理工大学 | 基于改进yolov3的铝型材表面缺陷视觉检测方法 |
-
2021
- 2021-08-18 CN CN202110947070.8A patent/CN113409314B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104906A (zh) * | 2019-12-19 | 2020-05-05 | 南京工程学院 | 一种基于yolo的输电塔鸟巢故障检测方法 |
CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
CN112200225A (zh) * | 2020-09-23 | 2021-01-08 | 西南交通大学 | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 |
CN112669275A (zh) * | 2020-12-23 | 2021-04-16 | 中国电子技术标准化研究院 | 基于YOLOv3算法的PCB表面缺陷检测方法及装置 |
CN112668628A (zh) * | 2020-12-24 | 2021-04-16 | 山东大学 | 一种空调外机质量检测与可视化方法 |
CN112991271A (zh) * | 2021-02-08 | 2021-06-18 | 西安理工大学 | 基于改进yolov3的铝型材表面缺陷视觉检测方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
CN114549448B (zh) * | 2022-02-17 | 2023-08-11 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法 |
CN114549448A (zh) * | 2022-02-17 | 2022-05-27 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外热成像数据分析的复杂多类型缺陷检测评估方法 |
CN114663672A (zh) * | 2022-03-11 | 2022-06-24 | 四川大学 | 一种输电线路塔钢构件腐蚀检测方法及系统 |
CN114663672B (zh) * | 2022-03-11 | 2023-04-07 | 四川大学 | 一种输电线路塔钢构件腐蚀检测方法及系统 |
CN114677568A (zh) * | 2022-05-30 | 2022-06-28 | 山东极视角科技有限公司 | 一种基于神经网络的线性目标检测方法、模块及系统 |
CN114937023A (zh) * | 2022-06-02 | 2022-08-23 | 北京远舢智能科技有限公司 | 一种承压设备的缺陷识别方法及装置 |
WO2024108971A1 (zh) * | 2022-11-21 | 2024-05-30 | 上海交通大学 | 用于车辆底盘腐蚀评估的agv系统 |
CN116342598B (zh) * | 2023-05-29 | 2023-08-01 | 天维云筑预应力科技(天津)有限公司 | 基于机器视觉的钢绞线质量检测方法 |
CN116342598A (zh) * | 2023-05-29 | 2023-06-27 | 天维云筑预应力科技(天津)有限公司 | 基于机器视觉的钢绞线质量检测方法 |
CN117115157A (zh) * | 2023-10-23 | 2023-11-24 | 湖南隆深氢能科技有限公司 | 基于pem电解槽的缺陷检测方法、系统、终端设备及介质 |
CN117115157B (zh) * | 2023-10-23 | 2024-02-06 | 湖南隆深氢能科技有限公司 | 基于pem电解槽的缺陷检测方法、系统、终端设备及介质 |
CN117351062A (zh) * | 2023-12-04 | 2024-01-05 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
CN117351062B (zh) * | 2023-12-04 | 2024-02-23 | 尚特杰电力科技有限公司 | 风机扇叶缺陷诊断方法、装置、系统及电子设备 |
CN117952965A (zh) * | 2024-03-26 | 2024-04-30 | 陕西惠延机械有限公司 | 一种隧道衬砌台车钢结构稳定性质量检测方法 |
CN117952965B (zh) * | 2024-03-26 | 2024-06-18 | 陕西惠延机械有限公司 | 一种隧道衬砌台车钢结构稳定性质量检测方法 |
CN118429730A (zh) * | 2024-07-04 | 2024-08-02 | 中冶检测认证有限公司 | 基于计算机视觉的压型钢板腐蚀程度检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113409314B (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113409314B (zh) | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 | |
CN108537215B (zh) | 一种基于图像目标检测的火焰检测方法 | |
Chen et al. | A self organizing map optimization based image recognition and processing model for bridge crack inspection | |
CN115082467B (zh) | 基于计算机视觉的建材焊接表面缺陷检测方法 | |
CN107316064B (zh) | 一种基于卷积神经网络的沥青路面裂缝分类识别方法 | |
CN110008854B (zh) | 基于预训练dcnn的无人机影像公路地质灾害识别方法 | |
CN108960135B (zh) | 基于高分辨遥感图像的密集舰船目标精确检测方法 | |
CN114092389A (zh) | 一种基于小样本学习的玻璃面板表面缺陷检测方法 | |
CN109214308A (zh) | 一种基于焦点损失函数的交通异常图片识别方法 | |
CN108961235A (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
CN107871119A (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
CN111191628B (zh) | 基于决策树与特征优化的遥感影像震害建筑物识别方法 | |
CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
CN111027881B (zh) | 基于改进灰色关联度的输电杆塔自然灾害损失评估方法 | |
CN110992314B (zh) | 一种路面缺陷检测方法、装置及存储介质 | |
CN114581764B (zh) | 基于深度学习算法的地下结构裂纹病害判别方法 | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN107292879A (zh) | 一种基于图像分析的金属板材表面异常检测方法 | |
CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
CN115512247A (zh) | 基于图像多参数提取的区域建筑损伤等级评定方法 | |
Fan | Detection of multidamage to reinforced concrete using support vector machine‐based clustering from digital images | |
CN112329858B (zh) | 一种铁路动车防松铁丝折断故障图像识别方法 | |
CN113988222A (zh) | 一种基于Faster-RCNN的森林火灾检测与识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |