CN113780111A - 一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法 - Google Patents
一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法 Download PDFInfo
- Publication number
- CN113780111A CN113780111A CN202110982730.6A CN202110982730A CN113780111A CN 113780111 A CN113780111 A CN 113780111A CN 202110982730 A CN202110982730 A CN 202110982730A CN 113780111 A CN113780111 A CN 113780111A
- Authority
- CN
- China
- Prior art keywords
- pipeline
- model
- defect
- detection
- connector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 11
- 230000008014 freezing Effects 0.000 claims abstract description 5
- 238000007710 freezing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 12
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Analytical Chemistry (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Chemical & Material Sciences (AREA)
- Economics (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，包括：采集数据；处理数据；得到训练集和验证集；对网络模型参数进行调优试验，提取图片特征值，并且冰冻一部分训练集对管道连接器及缺陷识别模型进行训练；判断是否收敛，损失函数是否过拟合，解冻数据集优化参数继续训练模型；验证最终的训练模型，计算模型得到的管道连接器及缺陷区域与实际标记区域的交并比，绘制各类别精度值的平均值曲线进而分析模型是否满足条件；用训练好的模型将连接器及缺陷识别出来。本发明的检测结果适应于地下深埋、室内等GPS无法定位的小径管道内部检测，可有效识别出管道连接器提高定位精度，同时可检测出管道缺陷情况，提高检测效率并节省检测成本。
Description
技术领域
本发明涉及一种基于优化YOLOv3算法的管道连接器及缺陷图像识别技术辅助管道机器人定位以及管道日常维护的方法，尤其涉及一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，属于小径管道内部检测技术领域。
背景技术
全世界有300多万公里(中国有超过60万)的管道埋在地下和海床下，其中部分管道为小径管道，但是由于自然腐蚀、人为活动、地壳运动等原因，造成的管道泄漏、破损甚至爆炸事故频频发生，这不仅使运输物质污染造成资源浪费，还会损害环境造成生态灾难，而且在人口集中地区会严重危害人身安全，给社会造成极大的负面影响。因此管道的定期检测与维护是十分必要的，维护管道输送系统的安全运行具有重要意义。
对此，市面上通过使用管道机器人携带各种检测仪器进入管道内部进行检测，许多管道机器人采用GPS定位，这使其在地下深处、室内等管道环境中定位精度不高，从而导致其管道检测效率降低。目前定位精度较高的一种管道机器人采用基于捷联惯性导航系统/里程仪/管道连接器及缺陷进行有效定位，这种定位方法通过加速度计特性的尖峰信号识别管道连接器，可为捷联惯性导航系统在直管道段提供方位角和俯仰角误差修正指示，降低捷联惯性导航系统方位角误差导致的定位误差。这种定位方法中，通过处理加速度计在经过管道连接器产生的尖峰信号来得到管道连接器信息，然而加速度计在经过堆积物也会产生尖峰信号导致测量误差，需要对管道进行繁琐的清理工作，而许多小径管道不便进行清管工作，而且即使清管后测量许多管道中的大裂痕也会造成加速度计测量到尖峰信号，不能保证得到准确的管道连接器及缺陷信息。本发明提出的基于优化YOLOv3算法的图像识别技术精确识别管道连接器，对加速度计得到的管道连机器信息进行修正，有效提高管道机器人定位精度。同时对于管道缺陷检测技术，市面上常用的检测技术，对管道材质、清洁程度要求高，且检测成本较高，无法满足复杂城市小管道的定期检测。本方法中二次利用管道检测设备的视频信息对管道缺陷进行检测，保证管道的安全运行，减轻管道检测的工作量，避免了小径管道清理管道内部的繁琐复杂的工作；成本低，本方法在已有的检测技术基础上进行改进，不添加任何其他传感器，只需要将已经得到的检测视频数据再一次利用；识别管道连接器辅助定位的同时还可以得到管道健康程度，标记出管道是否存在病害情况并表明病害概率，减少人工成本，提高检测效率，适用于GPS信号较弱或几乎无信号的地下管网等管道系统的自主检测。
现有技术通常采用的多种传感器设备装载在管道机器人上对管道进行检测，传感器设备在小径管道内由于尺寸、功耗等受限，使市面上缺少针对小径管道检测的管道机器人，本发明使用视觉辅助定位检测适用小径管道机器人，在不增加传感器个数和不改变小机器人整体体积的同时，提高管道检测精确，解决现在小径管道内部检测精度低、成本高、检测工作繁琐的问题。
目前在核心期刊与专利查询中均未发现与此发明类似的方法介绍。
发明内容
为了解决现有的技术问题，本发明的目的是提供一种基于优化YOLOv3目标识别算法的管道内部连接器及其缺陷精确检测方法，识别管道连接器进而实现视觉辅助提高小径管道检测机器人在管道内的定位精度，精确识别管道缺陷情况方便管道日常维护管理。
所述的已有小径管道检测装置包括：电源模块、里程仪、前置摄像头、LED灯、微惯性测量单元、数据存储单元、数据处理单元、密封圈、四个适用于管道内部的支撑轮和机器人主体组成；
所述目前已有的加速度计识别管道连接器及缺陷的定位方法中，加速度计是指微惯性测量模块包括的三轴加速度计，所述三轴加速度计用于测量小径管道检测机器人的三轴加速度；
所述摄像头用于采集管道内部真实情况，LED灯用于增强管道内部纹理淸晰度，数据存储单元用于存储管内采集到的定位信息、检测情况数据以及管道内部视频信息；
所述的基于优化YOLOv3精确识别管道连接器及缺陷进而辅助管道机器人定位的检测方法包括以下步骤：
步骤一、开启小径管道检测机器人的电源，并对小径管道检测机器人参数进行初始化设置，操控机器试验其功能是否满足检测标准；
步骤二、将调试好的小径管道检测机器人放入被检测管道中，使其匀速前进，定位模块收集定位信息，并通过数据处理单元对采集到的测量值进行处理，摄像模块收集管道内视频信息，并将定位信息及视频信息通过数据存储单元进行保存；
步骤三、将得到的视频数据进行逐帧分析处理，得到图像数据并将其进行扩充，且将图像数据平滑处理，统一格式大小；
步骤四、将处理后的图片集进行标记处理，制作数据集得到训练集和验证集；
步骤五、引入注意力机制CBAM对YOLOv3深度学习框架中的darknet-53网络结构和损失函数进行优化，对其数据参数进行调优试验，并且冰冻一部分训练集分批进行对管道内部连接器识别模型的训练；
步骤六、观察训练模型收敛情况，判断损失函数是否过拟合，找到较优化的权重函数并且解冻数据集再次精化训练，得到更满足标准的权值函数；
步骤七、得到最终的训练模型后，进行验证集的批量测试，得到模型标记的管道连接器及缺陷区域标记结果，并调试程序计算出其与实际标记的管道连接器及缺陷区域的交并比，绘制出mAP曲线，判断模型训练结果的优劣性，判别模型是否满足管道检测要求。
步骤八、利用模型快速识别出管道内部视频中的管道连接器信息，与定位信息中的时间线对应，对加速度计识别的管道连接器信息进行修正，进而提高管道机器人的定位精度。同时模型识别得到管道缺陷情况，得到管道缺陷类别以及可能性概率。
步骤九、管道缺陷识别信息与管道机器人精确定位信息用于管道缺陷日常维护管理。
进一步的，所述步骤二中的微惯性测量单元是小径管道机器人必须安装的传感器，视觉辅助所使用的视频信息来自管道机器人检测管道已有视频数据，本发明是对上述测量信息的再次利用，用于提高管道机器人缺陷检测的定位精度，指导管道缺陷日常维护管理工作。
进一步的，所述步骤三的具体步骤包括：
步骤a、在小径管道检测机器人完成整个被检测管道的检测工作后，从数据存储单元中得到管道内部的视频数据；
步骤b、将得到的视频数据，通过编写的MATLAB程序将视频数据分帧处理，每10秒取一帧保存为RGB图片数据，并用高斯滤波对RGB图片进行平滑处理；
步骤c、将得到的RGB图片集进行分类筛选，得到有管道连接器及缺陷的图片集并且将其通过翻转、调整对比度、增取像素点等方法对图片数据集进行扩充；
步骤d、将扩充后的数据集，统一调整好大小为416×416像素方便后面YOLOv3模型的训练，完成图片集的处理；
进一步的，所述步骤四的具体方法为：
通过在python环境下的labelimg软件对图片数据集进行真实框标记，将图片上的管道连接器及缺陷区域标记并打上标签信号，保存得到xml文件；
并且将数据集的80％整理成训练集用来对模型的训练，20％作为验证集验证最终模型的性能；
进一步的，所述步骤五的具体方法为：在Windows 10操作系统下搭载运行环境，使用VScode平台进行编译，YOLOv3模型的架构、训练及测试均在TensorFlow的深度学习框架Keras上进行。硬件设备显卡使用Nvidia GeForce RTX 3060(内存12GB)，处理器为英特尔Corei5-10400F；在构建调配好的运行环境中调试YOLOv3模型程序，调试选用最优参数并冰冻一部分数据集进行模型粗训练，训练过程中YOLOv3模型将自动调整学习率。
进一步的，所述步骤七的具体方法为：模型训练程序终止或者损失函数不在大幅度减小时，选择得到的最终权值函数或者中间训练的最优权值函数进行图片数据集的批量验证；并计算出模型标记区域即预测框与真实框的交并比，这里的交并比等于两个框重合部分的面积除以它们合并起来的面积，交并比直观的表达出两个框的重合面积；设置阈值为0.5，当测得IoU值大于阈值时标记其为正样本，反之标记为负样本；编写程序绘制mAP曲线，mAP的值越大说明得到的训练模型越好，反之训练模型不满足要求，则需要找到原因重新训练。
进一步的，所述步骤八的具体方法为：模型满足需求后可以直接投入使用，将管道内部的视频数据通过模型读取，可以快速将整个视频内容中管道连接器及缺陷区域标记出来，且标记框上同时会给出此区域为管道连接器及缺陷的概率；
进一步的，定位模块中已经根据加速度计测量数据解算出管道连接器及缺陷信息，得到尖峰信号的曲线图，根据视频标记出的管道连接器及缺陷信息，排除掉曲线图中来自管道机器人经过断裂、堆积物等得到的误差尖峰信号，修正管道连接器及缺陷信息进而提高管道机器人的定位精度。
进一步的，模型训练得到管道是否存在缺陷，以及缺陷类别和缺陷概率，对管道健康程度进行评估，进而方便对管道缺陷定位以及对管道缺陷的维修维护，保证管道的安全运行。
与现有技术相比，本发明的有益效果是：本方法无需添加大体积的检测仪器，既不会增加任何成本，也不会增加管道机器人整体体积，可适用于小直径管道的内部检测。训练得到的模型进一步提高管道连接器及缺陷识别精度，减少人工成本，提高检测效率。
第一，本发明无需增加任何硬件成本，无需增加其他任何传感器，再次利用管道机器人检测管道所采集的视频数据；
第二，本发明中通过优化YOLOv3目标识别算法对管道连接器及缺陷进行识别，识别精度优于普通YOLOv3算法，其识别速度快，可以大大缩短检测时间，提高检测效率；
第三，本发明的检测方法对管道连接器及缺陷信息进行修正后，能够实现方向角的误差修正，进而修正微惯性测量模块在直管段的行进误差，保证小径管道检测机器人在小径管道中检测时的测量精度；
第四，本发明的检测方法不仅可以识别出管道缺陷的位置信息，还可以判断出管道的缺陷情况并标记出病害概率，缩短人工检测时间，提高管道缺陷检测效率。
第五，本发明训练得到的网络模型可直接应用，方便快捷，下次应用检测无需在进行重复训练。
附图说明
图1基于优化YOLOv3识别管道连接器辅助定位及其缺陷检测流程图。
图2(a)混合注意力机制模块模型图。
图2(b)注意力模块的通道注意力图。
图2(c)注意力模块的空间注意力图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
结合附图对本发明方法进一步详细说明，基于优化YOLOv3的管道连接器识别辅助定位及其缺陷检测方法，具体步骤包括：
步骤1、开启电源模块，对小径管道检测机器人进行初始化设置；
步骤2、使小径管道检测机器人进入被检管道内部进行检测，通过机器人前方摄像头记录管道内部情况，同时定位信息、检测情况等其他信息数据通过数据处理单元进行简单的处理，并存储到数据存储单元中；
步骤3、将存储的视频数据提取出来，通过编写的MATLAB程序转换成RGB图片数据，并进行滤波平滑处理，并将得到的图片数据进行扩充且统一调成为416×416像素大小，完成图片数据集的处理；
具体的，步骤3中将视频信号10秒取一帧得到若干RGB图片数据集，进行筛选得到具有管道连接器及缺陷的图片，并通过高斯滤波处理，平滑掉图片中的噪点；
高斯滤波一维公式为：
分别将图片的RGB三通道进行一维平滑处理，其中μ是x的均值，σ是x的方差，因为计算平均值的时候，中心点即为原点，所以μ等于0；
因YOLOv3模型中Darknet-53中存在5次步幅为2×2的下采样过程，会将连接器图缩小32倍，故要将图像大小重新处理为32的倍数。本方法将数据集图像处理为416×416像素的尺寸；
为了确保模型训练的相对准确性，抑制过拟合，提升模型的泛化能力，应提供大量的图片数据集让网络模型进行学习，故对现有的图片数据集进行扩充。编写程序使图片左右、上下进行翻转，再对其随机删除增加像素点、调节对比度、调整亮度等操作产生相似但又不完全相同的样本来扩大训练数据集。
步骤4、将处理好的图片数据集在python环境下使用labelimg软件对其进行真实框的标记，在图片的管道连接器及缺陷区域标记出来并打上标签，保存为xml文件，并将标记后的数据集的80％作为训练集，剩下的20％作为验证集；
具体的，在配置好的python3.7环境下使用labelimg软件对每张图片的管道连接器及缺陷区域进行标记，标签为connector，并将管道内部缺陷区域分类别进行标记，例如：管道腐蚀缺陷标记为corrosion，管道裂纹标记为crack，管道错位标记为dislocation，将每张图片标记完成后得到对应的xml文件；
xml文件包含的主要参数说明如下：size：图片尺寸，object：图片中包含的物体，(一张图片可能中包含多个物体，本方法中为管道连接器及缺陷)，name：标记类别(本方法中有connector、corrosion、crack、dislocation)，bndbox：物体真实框，difficult：识别是否困难；
最后将标记好的数据集分成80％的训练集，20％的验证集。
步骤5、对YOLOv3深度学习框架的参数进行优化调整，配置好开发环境进行YOLOv3模型的案例测试；并搭建本方法的训练环境，对优化好的网络模型进行训练；
具体的，YOLOv3框架包含了卷积神经网络CNN(Convolutional Neural Network)中的网络Darknet-53，网络包含批标准化(Batch Normalization)和LeakyReLU激活函数层。
作为优先方案，网络模型训练损失函数针对目标框坐标回归采用了均方误差(Mean Square Error，MSE)损失函数，而类别和置信度则采用了交叉熵损失函数，具体形式分别如下：
整个网络的损失函数为：loss＝lbox+lcls+lobj；
其中λcoord、λclass、λnoobj、λobj分别代表坐标损失、类别损失、不含置信度损失以及含置信度损失占总loss的权重；
第i个网格的第j个锚框是否含有该检测目标，即管道缺陷；(xi，yi，wi，hi，ci，pi)分别为真实目标框的中心坐标和宽高、置信度和类别。而
为预测目标框的中心坐标、宽高、置信度、类别。
IoU是目标检测中最常用的指标，通过将目标的形状属性(如宽度、高度、位置)编码成归一化度量来衡量预测框与目标框之间的相似度，因此其具有尺度不变性。其计算过程如式：
其中B与Bgt分别是预测框与目标框的面积。
网络模型的DarkNet-53网络共有53层卷积层，最后一层是1×1卷积来实现全连接，主体网络中共存在52个卷积，其中第一层由32个3×3卷积核组成的过滤器进行卷积，后面的卷积层是由5组重复的残差单元构成，得到目标物(管道连接器及缺陷)的候选区域的同时对候选区域进行类别(connector、defect)及位置的标记。
作为优选方案，引入混合域注意力机制CBAM对YOLOv3模型进行优化,如图2(a)所示，注意力模块包含通道注意力部分和空间注意力部分，在输入连接器和输出连接器之间引入注意力机制使网络模型训练更集中在目标区域，达到更好的训练效果。其中通道注意力公式为：
MC(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))),
其中，σ为标准差，MLP表示为多层感知机，AvgPool和MaxPool分别表示为平均池化和最大池化操作，F表示为输入连接器，MC(F)表示连接器经过并联池化并输入多层感知机后得到的通道注意力机制。
空间注意力部分将通道注意力得到的输出结果进行最大池化和平均池化拼接，并继续做卷积操作，将其维度降至单通道后经过激活成激活，得到最终的输出连接器。空间注意力的公式为：
Ms(F)＝σ(f7×7([AvgPool(F)；MaxPool(F)]))。
加入注意力模块训练的网络模型识别精度更高。
搭建本方法的训练环境，具体的，在Windows 10操作系统下搭载运行环境，使用VScode平台进行编译，YOLOv3模型的架构、训练及测试均在TensorFlow的深度学习框架Keras上进行。硬件设备显卡使用Nvidia GeForce RTX 3060(内存12GB)，处理器为英特尔Corei5-10400F。
具体的，网络模型训练过程中，初始学习率设置为0.01、batch-size为16，冰冻一部分数据集后开始运行程序，训练过程中YOLOv3模型将自动调成学习率来保持模型处于高效学习状态；
步骤6、观察程序运行过程中损失函数的变化情况，是否在快速下降，若数值下降缓慢几乎稳定不变，则提前终止程序；
具体的，观察损失函数的数值是否满足要求，若数值稳定在15左右上下浮动，即已经满足本方法所需要的条件；若数值在大于15的数值处上下浮动需将程序提前终止防止模型学习过程的过拟合；
提前终止程序将目前已训练一段时候得到的权值函数保存起来，将batch-size修改为8，将冰冻的数据集进行解冻，找到已经保存的权值函数中的最优值，调整参数后在此基础上继续模型的训练；最后将训练得到的最终权值函数保存好，得到最终训练结果；
步骤7、将模型进行测试，利用验证集得到其mAP曲线，观察是否满足要求。
具体的，通过程序将验证集进行批量标记，得到具有网络模型所标记的管道连接器及缺陷区域框即预测框的图片集，再计算出图片集预测框与真实框的交并比IoU；
设置阈值为0.5，当测得IoU值大于阈值时标记其为正样本，反之标记为负样本。具体的，有以下几种概念：
标记为正样本的正样本(True Positives，TP)，标记为负样本的正样本(FalsePositives，FP)，标记为负样本的负样本(True Negatives，TN)，标记为正样本的负样本(False Negatives，FN)，以及精确度(precision)和召回率(recall)；
其中，
通过精确度和召回率可以计算得到一类标签的平均精度值(AP)，AP值越高此类标签目标识别成功的概率越高，mAP为整个数据集所有类别标签精度值的平均值，可以评判此网络模型对整体目标识别的综合准确度，也是判断此网络模型识别效果良好与否的评判标准。
步骤8、利用训练的网络模型得到管道内部的管道连接器及缺陷信息，对加速度计得到的管道连接器及缺陷信息进行修正，进一步修正姿态角以提高机器人对管道缺陷识别的定位精度。
具体的，模型读取管道机器人检测得到的内部管道视频信息，进行视频中管道连接器及缺陷区域部分的自动标记，同时标记出此预测框的预测概率，对应时间信息来验证加速度计得到的尖峰信号(加速度计部分通过识别得的数据尖峰信号判断管道连接器及缺陷情况，在此方法中对此部分不再赘述。)是否为正确的管道连接器及缺陷，从而可以准确的修正微惯性测量单元得到的姿态角信息，进一步可以提高管道机器人在管道内部的定位信息。
步骤9、管道缺陷识别信息与管道机器人精确定位信息用于管道缺陷日常维护管理。
以上即为本方法所提出的基于优化YOLOv3的管道连接器及缺陷检测方法，显然对管道缺陷检测领域来说，这种检测方法不仅在管道缺陷定位上提高定位精度，还可以智能识别出管道内部易存在缺陷的管道连接器部分健康状况及管道内壁缺陷情况，缩短人工成本提高检测效率；
还需说明的是，此方法训练得到的模型可以直接进行应用，再次使用不需要再次训练，且此方法得到网络模型检测时间短，检测效率高。
以上所述，仅为本发明方法的较佳实施例，并非对本发明作任何其他形式的限制，而依据本发明的技术在具体实施方式及应用范围上均会有所变化，直接或间接运用在其他技术领域，均同理在本发明专利的保护范围之内。
综上，本发明涉及一种基于优化YOLOv3算法的管道连接器(三通、环形焊缝、阀门等)及其缺陷(裂纹、腐蚀、错位等)的精确识别方法，具体流程包括：通过小径管道检测机器人在小径管道内部采集数据，将采集到的定位信息及管道内部情况的视频信息通过数据处理单元存储到储蓄卡中；将所采集的视频信息逐帧处理，得到图像数据，并且将图片信息扩充、调整大小、平滑滤波等预处理；将处理后的图片标记成数据集，得到训练集和验证集；优化YOLOv3算法，对网络模型参数进行调优试验，提取图片特征值，并且冰冻一部分训练集对管道连接器及缺陷识别模型进行训练；判断得到的训练模型是否收敛，损失函数是否过拟合，解冻数据集优化参数继续训练模型；验证最终的训练模型，计算模型得到的管道连接器及缺陷区域与实际标记区域的交并比(Intersection of Union，IoU)，绘制各类别精度值的平均值(mean Average Precision，mAP)曲线进而分析模型是否满足条件；用训练好的模型将连接器及缺陷识别出来。管道缺陷识别指导管道日常维护管理，管道连接器识别可对加速度计解算出的管道连接器信息进行修正，可为微惯性定位系统在直管道段提供方位角和俯仰角误差修正指示，降低方位角误差导致的定位误差，进而提高小径管道机器人在管道内部的定位精度。本发明的检测结果适应于地下深埋、室内等GPS无法定位的小径管道内部检测，不仅可以有效识别出管道连接器提高定位精度，同时可以检测出管道缺陷情况，提高检测效率并节省检测成本。
Claims (5)
1.一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，其特征在于：步骤如下：
步骤一、开启小径管道检测机器人的电源，并对小径管道检测机器人参数进行初始化设置，操控机器试验其功能是否满足检测标准；
步骤二、将调试好的小径管道检测机器人放入被检测管道中，使其匀速前进，定位模块中微惯性测量单元收集定位信息，并通过数据处理单元对采集到的测量值进行处理，摄像模块收集管道内视频信息，并将定位信息及视频信息通过数据存储单元进行保存；
步骤三、将得到的视频数据进行逐帧分析处理，得到图像数据并将其进行扩充，且将图像数据平滑处理，统一格式大小；
步骤四、将处理后的图片集进行标记处理，制作数据集得到训练集和验证集；
步骤五、通过引入注意力机制模块对YOLOv3深度学习框架中的darknet-53网络结构和损失函数进行优化，对其数据参数进行调优试验，并且冰冻一部分训练集分批进行对管道内部连接器识别模型的训练；
步骤六、观察训练模型收敛情况，判断损失函数是否过拟合，是否满足训练标准；如果满足训练标准则直接输出模型，不满足找到较优化的权重函数并且解冻数据集再次精化训练，得到更满足标准的权值函数后输出模型；
步骤七、得到最终的训练模型后，进行验证集的批量测试，得到模型标记的管道连接器及缺陷区域标记结果，并调试程序计算出其与实际标记的管道连接器及缺陷区域的交并比，绘制出mAP曲线，根据其检测精度评估模型训练结果的优劣性，判断模型对管道检测要求的满足性；
步骤八、利用模型快速识别出管道内部视频中的管道连接器信息，与定位信息中的时间线对应，对加速度计识别的管道连接器信息进行修正，进而提高管道机器人的定位精度；同时模型识别得到管道缺陷情况，得到管道缺陷类别以及可能性概率；
步骤九、管道缺陷识别信息与管道机器人精确定位信息用于管道缺陷日常维护管理。
2.根据权利要求1所述的一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，其特征在于：步骤二中的微惯性测量单元是小径管道机器人安装有传感器，视觉辅助所使用的视频信息来自管道机器人检测管道已有视频数据。
3.根据权利要求1或2所述的一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，其特征在于：步骤三中的具体步骤为：
步骤a、在小径管道检测机器人完成整个被检测管道的检测工作后，从数据存储单元中得到管道内部的视频数据；
步骤b、将得到的视频数据，通过编写的MATLAB程序将视频数据每10秒取一帧保存成为RGB图片数据，并用高斯滤波对RGB图片进行平滑处理；
步骤c、将平滑处理得到的RGB图片集进行分类筛选，得到有管道连接器及缺陷的图片集并且将其通过翻转、调整对比度、增取像素点等方法对图片数据集进行扩充；
步骤d、将扩充后的数据集，统一调整好大小为416×416像素方便后面YOLOv3模型的训练，完成图片集的处理。
4.根据权利要求3所述的一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，其特征在于：所述步骤五中优化了YOLOv3的主干网络darknet-53，在其中加入注意力机制模块CBAM，该模块包括通道注意力和空间注意力。
5.根据权利要求1或4所述的一种基于优化YOLOv3算法的管道连接器及缺陷精确识别方法，其特征在于：步骤八中，加速度计测量得到的管道连接器及缺陷信息与网络模型识别识别信息得到的管道连接信息进行时间同步，两者信息均来自于同一个检测装置在同一个管道内部得到的同一次检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982730.6A CN113780111B (zh) | 2021-08-25 | 2021-08-25 | 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982730.6A CN113780111B (zh) | 2021-08-25 | 2021-08-25 | 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113780111A true CN113780111A (zh) | 2021-12-10 |
| CN113780111B CN113780111B (zh) | 2023-11-24 |
Family
ID=78839144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110982730.6A Active CN113780111B (zh) | 2021-08-25 | 2021-08-25 | 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113780111B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332465A (zh) * | 2022-01-05 | 2022-04-12 | 上海秦润数据科技有限公司 | 一种基于计算机视觉和深度学习发现天然气终端设备异常的方法 |
| CN115049600A (zh) * | 2022-05-31 | 2022-09-13 | 哈尔滨工程大学 | 一种小样本管道缺陷智能识别系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447034A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于YOLOv3网络的自动驾驶中交通标识检测方法 |
| CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| CN113030421A (zh) * | 2021-02-23 | 2021-06-25 | 重庆安全技术职业学院 | 一种基于优化鱼群算法的管道连接器的检测方法 |
| CN113158738A (zh) * | 2021-01-28 | 2021-07-23 | 中南大学 | 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质 |
-
2021
- 2021-08-25 CN CN202110982730.6A patent/CN113780111B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447034A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于YOLOv3网络的自动驾驶中交通标识检测方法 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
| CN113158738A (zh) * | 2021-01-28 | 2021-07-23 | 中南大学 | 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质 |
| CN113030421A (zh) * | 2021-02-23 | 2021-06-25 | 重庆安全技术职业学院 | 一种基于优化鱼群算法的管道连接器的检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周仿荣;方明;马御棠;潘浩;: "基于YOLO v3的输电线路缺陷快速检测方法", 云南电力技术, no. 04 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332465A (zh) * | 2022-01-05 | 2022-04-12 | 上海秦润数据科技有限公司 | 一种基于计算机视觉和深度学习发现天然气终端设备异常的方法 |
| CN115049600A (zh) * | 2022-05-31 | 2022-09-13 | 哈尔滨工程大学 | 一种小样本管道缺陷智能识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113780111B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705457B (zh) | 一种遥感影像建筑物变化检测方法 | |
| CN109615016B (zh) | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 | |
| Zhou et al. | Automatic detection method of tunnel lining multi‐defects via an enhanced You Only Look Once network | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| Wang et al. | RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks | |
| EP3633615A1 (en) | Deep learning network and average drift-based automatic vessel tracking method and system | |
| WO2020253010A1 (zh) | 一种泊车定位中的停车场入口定位方法、装置及车载终端 | |
| WO2022052790A1 (zh) | 基于探地雷达和深度学习的地下管线探测方法和系统 | |
| CN110533086B (zh) | 图像数据半自动标注方法 | |
| CN111169468B (zh) | 一种自动泊车的系统及方法 | |
| CN111553950B (zh) | 一种钢卷对中判断方法、系统、介质及电子终端 | |
| CN113780111B (zh) | 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法 | |
| CN105389814A (zh) | 一种用于气密性试验的气泡检测方法 | |
| CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
| CN108711148A (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN113822880A (zh) | 一种基于深度学习的裂缝识别方法 | |
| CN115409069A (zh) | 村镇建筑的识别方法、分类方法、装置、电子设备和介质 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN110837839A (zh) | 一种高精度无人机正射影像制作及数据采集方法 | |
| CN113884011A (zh) | 一种非接触式混凝土表观裂缝测量设备和方法 | |
| CN115830407A (zh) | 一种基于yolov4目标检测模型的电缆管线故障判别算法 | |
| Ni et al. | Toward high-precision crack detection in concrete bridges using deep learning | |
| KR101060995B1 (ko) | 배관 내 그림자를 이용한 랜드마크 인식방법에 기반한 배관탐사 로봇시스템 | |
| CN113781563A (zh) | 一种基于深度学习的移动机器人回环检测方法 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |