CN114067103A - 一种基于YOLOv3的管道第三方破坏智能识别方法 - Google Patents
一种基于YOLOv3的管道第三方破坏智能识别方法 Download PDFInfo
- Publication number
- CN114067103A CN114067103A CN202111392049.2A CN202111392049A CN114067103A CN 114067103 A CN114067103 A CN 114067103A CN 202111392049 A CN202111392049 A CN 202111392049A CN 114067103 A CN114067103 A CN 114067103A
- Authority
- CN
- China
- Prior art keywords
- pipeline
- target
- real
- image
- party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于YOLOv3的管道第三方破坏智能识别方法，包括：步骤1、对埋地管道第三方破坏进行分析，确定目标检测对象；步骤2、建立目标检测数据集，并对数据集进行预处理和分类；步骤3、以YOLOv3为基本框架，并引入Attention机制，构建管道第三方破坏检测模型；步骤4、训练并得到权重文件；步骤5、测试并验证模型的有效性；步骤6、现场数据采集模块及云平台部署；步骤7、实时检测并更新训练。本发明方法为管道的第三方破坏智能识别提供了技术支撑。同时，本发明基于YOLOv3深度学习框架并引入Attention机制，提高了识别速度与识别精度，进一步提高了管道风险预警的及时性与有效性。
Description
技术领域
本发明属于深度学习图像智能检测领域，尤其涉及一种基于YOLOv3的管道第三方破坏智能识别方法。
背景技术
预计到2025年，全国管网规模将达到24万公里，未来10年，我国将会迎来管道事业的高峰。伴随着管道敷设里程加长、范围扩大，管道安全问题也受到了广泛地关注。导致管道失效的因素有很多，而长期以来第三方破坏是最为关注的。因为受到道路建设、市政建设、违章开挖、野蛮施工、违章占压、人为打孔盗气(油)、自然环境影响等诸多因素的共同作用下，使得管道第三方破坏具有随机性强、不以预测和难以检测的特点。因此，如何利用现有技术手段，针对管道第三方破坏提出一种行之有效检测方法具有重大意义。
随着计算机技术的发展，目标检测被广泛应用于人脸识别、车辆检测、损伤检测等各个领域，特别是随着深度卷积神经网络在图像识别领域的深入研究，以YOLO算法为代表的的实时目标检测模型在工业智能化方面具备实际应用经验。YOLOv3是通过其主干特征提取网络DarkNet-53进行特征提取，其优势在于主干边完成卷积、激活函数、标准化处理，还融入了最早出现在ResNet50中的残差网络，其意义在于使得模型更容易收敛和训练，为模型更新提供了便利条件。但针对管道第三方破坏识别，其难度在于识别场景复杂多样，一个模型无法有效将检测对象与多种背景有效区分开来，可能造成漏检和误检。因此加入了注意力机制，即给输入不同部分分配不同的权重，就能将检测对象重点突出出来，这个概念已被应用于视觉识别和分类领域。在管道第三方破坏智能识别问题中，关注的是有被遮挡的挖掘机和驾驶挖掘机的人。
发明内容
发明目的：本发明的目的是为解决在管道运行过程中由于无法实时检测数据，由第三方破坏导致的管道失效，并基于YOLOv3算法提出一种管道第三方破坏智能识别方法。具体包括以下步骤：
步骤1、对埋地管道第三方破坏进行分析，确定目标检测对象；
步骤2、对步骤1所确定的目标检测对象，收集图像数据，并进行数据增强，得到样本数据集；对样本数据集进行分类，分为训练集、验证集、测试集；
步骤3、构建管道第三方破坏检测模型；
步骤4、将训练集输入步骤3构建的模型中，训练结束后得到权重参数；
步骤5、测试步骤3构建模型的性能，得到查全率Recall、查准率Precision；
步骤6、对管道进行风险预警；
步骤7、实时检测并更新管道第三方破坏检测模型。
步骤1包括：
查阅国内外管道第三方破坏相关文献，列举出最具代表性的产生原因，尤其在施工过程中对管道造成损伤的几率大大增加了，因此本发明将目标检测对象确定为挖掘机、卡车、汽车、人这四个典型对象。
步骤2包括：
步骤2.1、对步骤1确定的四种目标检测对象收集图像数据，为简便数据集的制作，以coco数据集为基础，其本身数据集内就包含了大量的人、汽车、卡车等图像数据，只要再添加从网络上搜集到的挖掘机相关图像数据进行数据集的扩充即可。为模拟实际施工环境下挖掘机的工作状态，搜集不同型号的挖掘机图像数据，以及工作状态下不同视角、不同形态的图像，除了静态图片外还可以对视频进行逐帧截图，更好反映挖掘机的工作姿态。并且为了能更加真实还原现场采集情况，可通过改变图像明暗以及增加噪声的手段，以此获取照明不良条件下以及天气情况不佳时的图像数据，最终得到初始样本数据集；
步骤2.2、对步骤2.1得到的初始样本数据集进行扩充数据集，使用平移、旋转、翻转、对比增强的方式，最终得到样本数据集；
步骤2.3、对步骤2.2得到的样本数据集进行标注，框选出图像中需要识别的检测目标，并给目标命名为excavator、truck、car、person四种类别，excavator、truck、car、person四种类别分别对应挖掘机、卡车、汽车、人；
每张图像都对应生成各自与图像样本相同命名的.xml文件，.xml文件中包括图像名称、图像存储位置、图像尺寸大小、图像通道数、框选待检测目标名称、矩形框左上角点的横坐标、纵坐标以及矩形框右下角点的横坐标、纵坐标；
步骤2.4、对.xml文件进行归一化处理，按照VOC2007标准数据集的格式并以txt文档的形式进行保存，将样本数据集按照比例划分训练集和测试集，再将训练集按照比例划分用于训练和验证。
步骤3包括：
步骤3.1、管道第三方破坏检测模型是由5个残差单元进行堆叠构成的，而其中每个残差单元包含两个分支：主干分支和注意力分支；
所述主干分支用于对图像进行特征提取，生成与原始图像尺寸相同的特征图；
所述注意力分支代替原有残差边，通过下采样层，提取高层特征并增大模型的感受野，下采样通过池化完成，再通过与下采样层层数相同的上采样层，将特征图的尺寸放大为与原始图像尺寸相同的特征图，上采样通过双线性插值完成，最终生成注意力掩码；
步骤3.2、将原始图像x(这里是对特征提取方法进行简述，训练时输入的是训练集，测试时输入的是测试集，预测时输入的则是目标检测数据)输入残差单元，主干分支输出提取到的特征图为T(x)，注意力分支输出注意力掩码M(x)；
步骤3.3、在残差单元中加入恒等映射，则残差单元输出的特征图H(x)如下式：
H(x)＝(1+M(x))*T(x)
式中，M(x)的取值范围为[0，1]，当M(x)近似于0时，H(x)将近似于原始特征图T(x)，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行融合时，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行对应像素点的之间相乘，将注意力分支输出注意力掩码M(x)的权重分配到主干分支输出提取到的特征图T(x)上。
步骤4包括：
步骤4.1、使用K-means聚类算法重新设置样本数据集的聚类中心Anchor box，在所有的矩形框中，随机挑选n个聚类中心；
步骤4.2、采用n个Anchor box与所有真实目标边框的面积交并比IOU作为评价指标，计算真实目标边框与n个Anchor box的距离D(i，j)，将矩形框分类到距离D(i，j)最小的Anchor box中；
面积交并比IOU的表达式如下式：
式中，
表示预测框与真实目标边框的面积交并比，area表示真实框和预测框所围成的面积，boxpred表示预测框，boxtruth表示真实目标边框；
真实目标边框与聚类中心Anchor box的距离D(i，j)的表达式如下式：
D(i，j)＝＝1-IOU(i，j)
式中，IOU(i，j)为Anchor box与真实目标边框的面积交并比；
步骤4.3、所有矩形框经过遍历，完成分类之后，计算每个聚类中心中所有矩形框宽和高的中值，将矩形框宽和高的中值作为聚类中心Anchor box的新尺寸；
步骤4.4、重复步骤4.2、步骤4.3，直到损失函数值达到提前终止训练的条件或达到最大迭代次数后停止训练，得到最终训练模型，损失函数loss(object)如下所示：
其中，object表示目标检测对象，上述损失函数中，原损失函数中的定位损失，包括预测框中心点损失和边框损失，替换为定位损失GIOU损失(包括了预测框中心点损失和边框损失)，置信度损失和类别损失不变；λnoobj为不包含识别目标时的置信度误差系数，S*S为将输入图像划分的网格数量，B为每个网格预测的目标边框数量，
表示第j个候选框所在的第i个网格负责检测该对象(该对象指候选框内检测到的所要识别的对象，挖掘机、卡车、汽车、人中的一种)，wi表示的是第i个网格的宽，hi表示的是第i个网格的高，
表示第j个候选框所在的第i个网格不负责检测该对象，Ci和
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，pi和
分别表示第i个网格中目标识别属于一个类别的预测概率值和真实概率值，c表示目标检测对象挖掘机、卡车、汽车、人中的一种。
步骤5包括：
将测试集输入训练好的管道第三方破坏检测模型，测试模型性能，得到查全率Recall、查准率Precision，查全率Recall表示在所有的真实目标中被模型检测出的真实目标所占比例，查准率Precision表示模型检测出的目标中的真实目标所占比例；查全率Recall、查准率Precision的计算公式分别如下式所示：
式中，TP表示将正样本正确分类为正样本的样本数，FN表示将正样本错误分类为负样本的样本数，FP表示将负样本错误分类为正样本的样本数，正样本为属于目标类别的样本框，负样本为不属于目标类别的样本框。
步骤6包括：
步骤6.1、通过有限元分析软件，确定危险管段的失效损伤模式，进行弱点定位；
步骤6.2、根据现场管段实际情况，排布传感器，将采集到的数据与图像资料整合在现场数据采集模块中，上传至云平台并加以分析，将分析结果显示在总控制台上，对危险管道实时进行风险预警。
步骤7具体包括：
步骤7.1、云平台有一个初始的管道第三方破坏检测模型，根据各管段实际情况的不同，以及实时上传的图像信息，针对每一个重点管段进行模型更新，具体表现为将管道现场监测得到的图像数据进行收集，上传检测到挖掘机等危险源的图像至云平台，将获取的新图像自动生成.xml文件，并添加进原有训练集中，等待云平台的定期完成训练，更新并优化检测模型；
步骤7.2、云平台存储有各管段的基本信息(包括管道所在位置、设计压力、使用压力、管道材质、在役期间检测维修情况、投入使用年限等)，结合上传得到的管道实时检测数据，对管道进行第三方破坏的智能检测。
有益效果：本发明建立了一种基于YOLOv3的管道第三方智能识别方法，该方法基于YOLOv3目标检测算法引入了Attention注意力机制，能够实时、快速识别管道第三方破坏形式，还能通过监测过程中的图像数据不断自主优化检测模型，大大提高了对应管段第三方破坏行为的识别速度与精度，结合传统监测手段可实现管道的远程监测与风险预警，对智慧管道的建设具有重大意义。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明所述管道第三方破坏检测模型建立与更新流程图；
图2为本发明所述管道第三方破坏成因及后果分析示意图；
图3为本发明YOLOv3主干特征提取网络Darknet53整体结构示意图；
图4为本发明所引入的注意力模块(CBAM)结构示意图；
图5为本发明的测试结果示意图；
图6为本发明的一个实例管道第三方破坏识别结果示意图。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
基于YOLOv3的管道第三方破坏智能识别方法，其流程图如图1所示，包括以下步骤：
步骤1、对埋地管道第三方破坏进行分析，确定目标检测对象；
步骤2、数据收集及预处理：
对步骤1所确定的检测对象进行数据收集，并进行数据增强；
对增强后的数据进行人工标注得到样本数据集；
对样本数据集进行分类，分为训练集、验证集、测试集；
步骤3、构建管道第三方破坏检测模型：
在YOLOv3主干特征提取网络DarkNet-53的残差连接中加入Attention机制，使得具有注意力的权重加权到输出特征图；
步骤4、训练：
将步骤2建立的训练集输入步骤3构建的模型中，训练结束后得到权重参数；
步骤5、测试：
加载步骤4得到的权重参数，在测试集上测试步骤3构建模型的性能，得到查全率Recall、查准率Precision；
步骤6、现场数据采集模块及云平台部署：
基于深度学习的管道第三方破坏智能检测系统包括云平台、数据采集模块及多源数据传感器，云平台向下连接数据采集模块，数据采集模块向下分别连接多源数据传感器；
实时检测实际工况下管道周边情况，通过现场的数据采集模块收集由多源数据传感器采集到的数据，并将这些数据上传至云平台加以分析，对管道进行风险预警；
步骤7、实时检测并更新训练：
实时检测实际工况下管道周边情况，通过现场的数据采集模块收集由多源数据传感器采集到的数据，将异常数据和图像上传至云平台，更新云平台中的样本数据集；
在云平台中，利用更新后的样本数据集，周期性的对管道第三方破坏检测模型进行训练，更新管道第三方破坏检测模型的权重参数，并将更新后的模型下发至对应的管道检测现场的控制平台。
步骤1内容：
分析国内外管道在第三方破坏产生的原因，如图2所示，主要是由于施工破坏和人为恶意损坏造成的，所以将检测对象确定为挖掘机、卡车、汽车、人这四个目标；
步骤2包括：
步骤2.1、对步骤1确定的四种检测对象收集图像数据，来源主要分为网络搜集、自行拍摄和合作企业提供的静态图像资料，以及管道现场实际施工时影像资料，通过对视频进行分帧处理，提取每一帧的图像，得到挖掘机在工作状态下较为完整的行为动作，整合所获取的图像资料，选取不同光照、不同地区、不同天气环境下数据，得到初始样本数据集；
步骤2.2、对步骤2.1得到的初始样本数据集进行处理操作，扩充数据集，使用但不限于平移、旋转、翻转、对比增强等数据增强方式，最终得到样本数据集；
步骤2.3、利用Labelimg标注软件对步骤2.2得到的最终样本数据集进行人工标注，人工框选出图像中需要识别的检测目标，并给目标命名为excavator、truck、car、person四种类别(分别对应挖掘机、卡车、汽车、人)，每张图像都对应生成各自与图像样本同命名的.xml文件，.xml文件中包括图像名称、图像存储位置、图像尺寸大小、图像通道数、框选待检测目标名称、矩形框左上角点的横纵坐标以及矩形框右下角点的横纵坐标；
步骤2.4、对.xml文件进行归一化处理，按照VOC2007标准数据集的格式并以txt文档的形式进行保存，然后利用voc_annotation.py程序将样本数据集按照8∶2的比例划分训练集和测试集，再将训练集按照8∶2的比例用于训练和验证。
步骤3包括：
步骤3.1、所述的管道第三方破坏检测模型是在YOLOv3中融入了注意力模块，包含两个分支：主干分支和注意力分支；
主干分支：YOLOv3所使用的主干特征提取网络为Darknet53，如图3所示，输入的是batch_size(图片尺寸)为416×416×3(416分别是图片的高和宽，3为图片的通道数，即每个像素点由RGB三种颜色来描述它)的图片，经过一系列的卷积过程，称之为下采样的过程，在这一过程中图片的高和宽不断被压缩，通道数得到不断扩张。由此得到图片的特征层，以此来表示图片的特征。经过对输入图片的特征提取后，取出三个batch_size分别为52×52×256、26×26×512、13×13×1024的特征层，对13×13×1024的特征层进行5次卷积(Conv2D Block)的操作得到13×13×512的特征层，再进行两次卷积(Conv2D 3×3+Conv2D1×1)得到特征层13×13×75(以voc数据集为例，共有监测目标20个类)最终用于回归预测和分类预测。再将13×13×512的特征层进行卷积和上采样(Conv2D+UpSampling2D)得到宽高扩张后的特征层，再将结果与26×26×512的特征层进行堆叠(Concat)，这就是构建特征金字塔的过程，这样可进行多尺度特征融合，提取出更有效的特征。按照相同的步骤可以得到另外两个所需要的特征层26×26×75、52×52×75。其最大特征就是使用了残差单元(Residual Block)，其效果可以减少参数，使其更容易优化。
注意力分支：引入一种轻量化的注意力模块(CBAM)，如图4所示，卷积块的注意力模块(Convolutional Block Attention Moudule)主要包含两个独立的子模块，分别是通道注意力模块Channel Attention Module(CAM)和空间注意力模块Spatial AttentionModule(SAM)，将输入层特征(Input Feature)分别进行通道与空间上的注意力集中得到更加精细的特征(Refined Feature)，这一模块可以添加到所有常规的卷积层中，具体实现过程为：
首先通过下采样层，提取高层特征并增大模型的感受野，下采样通过池化完成，再通过与下采样层层数相同的上采样层，将特征图的尺寸放大为与原始图像尺寸相同的特征图，上采样通过双线性插值完成，最终生成注意力掩码。
步骤3.2、将原始图像x输入残差单元，主干分支输出提取到的特征图T(x)，注意力分支输出注意力掩码M(x)，T(x)通过自己的M(x)学习针对其特征的注意力，M(x)相当于T(x)的软权重；
步骤3.3、在残差单元中加入恒等映射，则残差单元输出的特征图H(x)如下式：
H(x)＝(1+M(x))*T(x)
式中，M(x)的取值范围为[0，1]，当M(x)近似于0时，H(x)将近似于原始特征图T(x)，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行融合时，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行对应像素点的之间相乘，将注意力分支输出注意力掩码M(x)的权重分配到主干分支输出提取到的特征图T(x)上。
步骤4包括：
步骤4.1、使用K-means聚类算法重新设置样本数据集的Anchor box，在所有的矩形框中，随机挑选n个聚类中心，n取9；
步骤4.2、采用n个Anchor box与所有真实目标边框的面积交并比IOU作为评价指标，计算真实目标边框与n个Anchor box的距离D(i，j)，将该矩形框分类到距离D(i，j)最小的Anchor box中；
面积交并比IOU的表达式如下式：
式中，
表示预测框与真实目标边框的面积交并比，boxpred表示预测框，boxtruth表示真实目标边框；
真实目标边框与聚类中心Anchor box的距离D(i，j)的表达式如下式：
D(i，j)＝＝1-IOU(i，j)
式中，IOU(i，j)为Anchor box与真实目标边框的面积交并比；
步骤4.3、所有矩形框经过遍历，完成分类之后，计算每个聚类中心中所有矩形框宽和高的中值，将该矩形框宽和高的中值作为该聚类中心Anchor box的新尺寸；
步骤4.4、重复步骤4.2、步骤4.3，直到loss值达到提前终止训练的条件或达到最大迭代次数后停止训练，得到最终训练模型；
所述损失函数loss如下所示：
其中，object表示目标检测对象，上述损失函数中，原损失函数中的定位损失，包括预测框中心点损失和边框损失，替换为定位损失GIOU损失(包括了预测框中心点损失和边框损失)，置信度损失和类别损失不变；λnoobj为不包含识别目标时的置信度误差系数，S*S为将输入图像划分的网格数量，B为每个网格预测的目标边框数量，
表示第j个候选框所在的第i个网格负责检测该对象(该对象指候选框内检测到的所要识别的对象，挖掘机、卡车、汽车、人中的一种)，wi表示的是第i个网格的宽，hi表示的是第i个网格的高，
表示第j个候选框所在的第i个网格不负责检测该对象，Ci和
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，pi和
分别表示第i个网格中目标识别属于一个类别的预测概率值和真实概率值，c表示目标检测对象挖掘机、卡车、汽车、人中的一种。
步骤5内容：
将测试集输入训练好的管道第三方破坏检测模型，测试模型性能，得到查全率Recall、查准率Precision，查全率Recall表示在所有的真实目标中被模型检测出的真实目标所占比例，查准率Precision表示模型检测出的目标中的真实目标所占比例；查全率Recall、查准率Precision的计算公式分别如下式所示：
式中，TP表示将正样本正确分类为正样本的样本数，FN表示将正样本错误分类为负样本的样本数，FP表示将负样本错误分类为正样本的样本数，正样本为属于该目标类别的样本框，负样本为不属于该目标类别的样本框。根据Recall与Precision得到模型在每个类别上分别的平均精度AP值(Average Precision)之后将每个类别的AP值求均值，得到mAP值，如图5所示。Average Precision是针对每一个检测目标(挖掘机、人、卡车、汽车)的平均检测精度值。mAP就是将所有检测目标的检测精度值再求平均，得到整个检测模型的检测精度值。
测试结果如图6所示，其中挖掘机(excavator)识别的概率为85％，两辆卡车(truck)识别概率分别为71％和50％。
步骤6包括：
步骤6.1、根据管道高程图重点关注管道低结点、弯头、三通等易于发生积液、冲刷、减薄的危险管段，通过有限元分析软件，从应力、腐蚀、结构等多方面确定危险管段的失效损伤模式，进行弱点定位；
步骤6.2、根据现场管段实际情况，排布多种类型的传感器，将采集到的数据与图像资料整合在现场数据采集模块中，通过5G网络上传至云平台并加以分析，将分析结果显示在总控制台上，对危险管道实时进行风险预警；
步骤7包括：
步骤7.1、云平台有一个初始的管道第三方破坏检测模型，根据各管段实际情况的不同，检测对象不限于挖掘机、汽车、卡车、人，并且根据实时上传的图像信息，针对每一个重点管段进行模型更新，提高其检测可靠性；
步骤7.2、云平台存储有各管段的基本信息(包括管道所在位置、设计压力、使用压力、管道材质、在役期间检测维修情况、投入使用年限等)，结合上传得到的管道实时检测数据，可以对管道进行第三方破坏的智能检测，并起到风险预警的效果。
本发明提供了一种基于YOLOv3的管道第三方破坏智能识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (8)
1.一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，包括以下步骤：
步骤1、对埋地管道第三方破坏进行分析，确定目标检测对象；
步骤2、对步骤1所确定的目标检测对象，收集图像数据，并进行数据增强，得到样本数据集；对样本数据集进行分类，分为训练集、验证集、测试集；
步骤3、引入注意力机制，构建管道第三方破坏检测模型；
步骤4、将训练集输入步骤3构建的模型中，训练结束后得到权重参数；
步骤5、测试步骤3构建模型的性能，得到查全率Recall、查准率Precision；
步骤6、对管道进行风险预警；
步骤7、实时检测并更新管道第三方破坏检测模型。
2.根据权利要求1所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤1包括：
将目标检测对象确定为挖掘机、卡车、汽车、人这四个典型对象。
3.根据权利要求2所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤2包括：
步骤2.1、对步骤1确定的四种目标检测对象收集图像数据，得到初始样本数据集；
步骤2.2、对步骤2.1得到的初始样本数据集进行扩充数据集，使用平移、旋转、翻转、对比增强的方式，最终得到样本数据集；
步骤2.3、对步骤2.2得到的样本数据集进行标注，框选出图像中需要识别的检测目标，并给目标命名为excavator、truck、car、person四种类别，excavator、truck、car、person四种类别分别对应挖掘机、卡车、汽车、人；
每张图像都对应生成各自与图像样本相同命名的.xml文件，.xml文件中包括图像名称、图像存储位置、图像尺寸大小、图像通道数、框选待检测目标名称、矩形框左上角点的横坐标、纵坐标以及矩形框右下角点的横坐标、纵坐标；
步骤2.4、对.xml文件进行归一化处理，按照VOC2007标准数据集的格式并以txt文档的形式进行保存，将样本数据集按照比例划分训练集和测试集，再将训练集按照比例划分用于训练和验证。
4.根据权利要求3所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤3包括：
步骤3.1、管道第三方破坏检测模型是由5个残差单元进行堆叠构成的，而其中每个残差单元包含两个分支：主干分支和注意力分支；
所述主干分支用于对图像进行特征提取，生成与原始图像尺寸相同的特征图；
所述注意力分支代替原有残差边，通过下采样层，提取高层特征并增大模型的感受野，下采样通过池化完成，再通过与下采样层层数相同的上采样层，将特征图的尺寸放大为与原始图像尺寸相同的特征图，上采样通过双线性插值完成，最终生成注意力掩码；
步骤3.2、将原始图像x输入残差单元，主干分支输出提取到的特征图为T(x)，注意力分支输出注意力掩码M(x)；
步骤3.3、在残差单元中加入恒等映射，则残差单元输出的特征图H(x)如下式：
H(x)＝(1+M(x))*T(x)
式中，M(x)的取值范围为[0，1]，当M(x)近似于0时，H(x)将近似于原始特征图T(x)，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行融合时，主干分支输出提取到的特征图T(x)与注意力分支输出注意力掩码M(x)进行对应像素点的之间相乘，将注意力分支输出注意力掩码M(x)的权重分配到主干分支输出提取到的特征图T(x)上。
5.根据权利要求4所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤4包括：
步骤4.1、使用K-means聚类算法重新设置样本数据集的聚类中心Anchor box，在所有的矩形框中，随机挑选n个聚类中心；
步骤4.2、采用n个Anchor box与所有真实目标边框的面积交并比IOU作为评价指标，计算真实目标边框与n个Anchor box的距离D(i，j)，将矩形框分类到距离D(i，j)最小的Anchor box中；
面积交并比IOU的表达式如下式：
式中，
表示预测框与真实目标边框的面积交并比，area表示真实框和预测框所围成的面积，boxpred表示预测框，boxtruth表示真实目标边框；
真实目标边框与聚类中心Anchorbox的距离D(i，j)的表达式如下式：
D(i，j)＝＝1-IOU(i，j)
式中，IOU(i，j)为Anchorbox与真实目标边框的面积交并比；
步骤4.3、所有矩形框经过遍历，完成分类之后，计算每个聚类中心中所有矩形框宽和高的中值，将矩形框宽和高的中值作为聚类中心Anchor box的新尺寸；
步骤4.4、重复步骤4.2、步骤4.3，直到损失函数值达到提前终止训练的条件或达到最大迭代次数后停止训练，得到最终训练模型，损失函数loss(object)如下所示：
其中，object表示目标检测对象，上述损失函数中，原损失函数中的定位损失，包括预测框中心点损失和边框损失，替换为定位损失GIOU损失，置信度损失和类别损失不变；λnoobj为不包含识别目标时的置信度误差系数，S*S为将输入图像划分的网格数量，B为每个网格预测的目标边框数量，
表示第j个候选框所在的第i个网格负责检测该对象，wi表示的是第i个网格的宽，hi表示的是第i个网格的高，
表示第j个候选框所在的第i个网格不负责检测该对象，Ci和
分别表示第i个网格中存在待检测目标的预测置信度和真实置信度，pi和
分别表示第i个网格中目标识别属于一个类别的预测概率值和真实概率值，c表示目标检测对象挖掘机、卡车、汽车、人中的一种。
6.根据权利要求5所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤5包括：
将测试集输入训练好的管道第三方破坏检测模型，测试模型性能，得到查全率Recall、查准率Precision，查全率Recall表示在所有的真实目标中被模型检测出的真实目标所占比例，查准率Precision表示模型检测出的目标中的真实目标所占比例；查全率Recall、查准率Precision的计算公式分别如下式所示：
式中，TP表示将正样本正确分类为正样本的样本数，FN表示将正样本错误分类为负样本的样本数，FP表示将负样本错误分类为正样本的样本数，正样本为属于目标类别的样本框，负样本为不属于目标类别的样本框。
7.根据权利要求6所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤6包括：
步骤6.1、通过有限元分析软件，确定危险管段的失效损伤模式，进行弱点定位；
步骤6.2、根据现场管段实际情况，排布传感器，将采集到的数据与图像资料整合在现场数据采集模块中，上传至云平台并加以分析，将分析结果显示在总控制台上，对危险管道实时进行风险预警。
8.根据权利要求7所述的一种基于YOLOv3的管道第三方破坏智能识别方法，其特征在于，步骤7具体包括：
步骤7.1、云平台有一个初始的管道第三方破坏检测模型，根据各管段实际情况的不同，以及实时上传的图像信息，针对每一个重点管段进行模型更新；
步骤7.2、云平台存储有各管段的基本信息，结合上传得到的管道实时检测数据，对管道进行第三方破坏的智能检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392049.2A CN114067103A (zh) | 2021-11-23 | 2021-11-23 | 一种基于YOLOv3的管道第三方破坏智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392049.2A CN114067103A (zh) | 2021-11-23 | 2021-11-23 | 一种基于YOLOv3的管道第三方破坏智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114067103A true CN114067103A (zh) | 2022-02-18 |
Family
ID=80279681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111392049.2A Pending CN114067103A (zh) | 2021-11-23 | 2021-11-23 | 一种基于YOLOv3的管道第三方破坏智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067103A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372919A (zh) * | 2023-09-22 | 2024-01-09 | 北京市燃气集团有限责任公司 | 一种第三方施工威胁物检测方法及装置 |
| CN117852325A (zh) * | 2024-03-08 | 2024-04-09 | 应急管理部国家自然灾害防治研究院 | 一种地震作用下的管道失效应力模拟计算方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130206748A1 (en) * | 2004-04-23 | 2013-08-15 | Shell Oil Company | Mineral insulated skin effect heating cable |
| CN111709310A (zh) * | 2020-05-26 | 2020-09-25 | 重庆大学 | 一种基于深度学习的手势跟踪与识别方法 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN113139945A (zh) * | 2021-02-26 | 2021-07-20 | 山东大学 | 一种基于Attention+YOLOv3的空调外机图像智能检测方法、设备及介质 |
| CN113239886A (zh) * | 2021-06-04 | 2021-08-10 | 合肥工业大学智能制造技术研究院 | 基于跨语言图像变化描述的井下管道泄漏描述方法及装置 |
-
2021
- 2021-11-23 CN CN202111392049.2A patent/CN114067103A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130206748A1 (en) * | 2004-04-23 | 2013-08-15 | Shell Oil Company | Mineral insulated skin effect heating cable |
| CN111709310A (zh) * | 2020-05-26 | 2020-09-25 | 重庆大学 | 一种基于深度学习的手势跟踪与识别方法 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| CN113139945A (zh) * | 2021-02-26 | 2021-07-20 | 山东大学 | 一种基于Attention+YOLOv3的空调外机图像智能检测方法、设备及介质 |
| CN113239886A (zh) * | 2021-06-04 | 2021-08-10 | 合肥工业大学智能制造技术研究院 | 基于跨语言图像变化描述的井下管道泄漏描述方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372919A (zh) * | 2023-09-22 | 2024-01-09 | 北京市燃气集团有限责任公司 | 一种第三方施工威胁物检测方法及装置 |
| CN117852325A (zh) * | 2024-03-08 | 2024-04-09 | 应急管理部国家自然灾害防治研究院 | 一种地震作用下的管道失效应力模拟计算方法 |
| CN117852325B (zh) * | 2024-03-08 | 2024-06-11 | 应急管理部国家自然灾害防治研究院 | 一种地震作用下的管道失效应力模拟计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Maeda et al. | Road damage detection using deep neural networks with images captured through a smartphone | |
| Tan et al. | Automatic detection of sewer defects based on improved you only look once algorithm | |
| US10628890B2 (en) | Visual analytics based vehicle insurance anti-fraud detection | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN109671071B (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| WO2023287276A1 (en) | Geographic data processing methods and systems for detecting encroachment by objects into a geographic corridor | |
| CN114067103A (zh) | 一种基于YOLOv3的管道第三方破坏智能识别方法 | |
| CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
| WO2024060529A1 (zh) | 一种道路病害识别方法、系统、设备及存储介质 | |
| CN115409069A (zh) | 村镇建筑的识别方法、分类方法、装置、电子设备和介质 | |
| CN111598098A (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN117496384B (zh) | 一种无人机图像物体检测方法 | |
| CN115497015A (zh) | 一种基于卷积神经网络的河流漂浮污染物识别方法 | |
| CN115294541A (zh) | 一种局部特征增强Transformer道路裂缝检测方法 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| Zhang et al. | Surface defect detection of wind turbine based on lightweight YOLOv5s model | |
| Altabey et al. | Research in image processing for pipeline crack detection applications | |
| Wang et al. | Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation | |
| CN113988222A (zh) | 一种基于Faster-RCNN的森林火灾检测与识别方法 | |
| CN116778328A (zh) | 一种基于遥感影像的输气管道高后果区识别系统及方法 | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN115563652A (zh) | 轨迹嵌入预防泄露方法及系统 | |
| CN112465072B (zh) | 一种基于YOLOv4模型的挖掘机图像识别方法 | |
| US20230215165A1 (en) | Method, apparatus, and computer program product for identifying fluid leaks based on aerial imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |