CN114626439A - 基于改进YOLOv4的输电线路周边烟火检测方法 - Google Patents

基于改进YOLOv4的输电线路周边烟火检测方法 Download PDF

Info

Publication number
CN114626439A
CN114626439A CN202210155416.5A CN202210155416A CN114626439A CN 114626439 A CN114626439 A CN 114626439A CN 202210155416 A CN202210155416 A CN 202210155416A CN 114626439 A CN114626439 A CN 114626439A
Authority
CN
China
Prior art keywords
detection
smoke
frame
fire
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210155416.5A
Other languages
English (en)
Inventor
杜启亮
杨湖广
田联房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202210155416.5A priority Critical patent/CN114626439A/zh
Publication of CN114626439A publication Critical patent/CN114626439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进YOLOv4的输电线路周边烟火检测方法，包括：输电线路周边图片采集与烟火训练集构建、烟火图片标注；对烟火训练集进行数据增强；对烟火目标进行anchor框的聚类；对YOLOv4检测模型结构进行针对性改进；用烟火训练集训练改进YOLOv4检测模型；采集高压电塔附近现场图片；将图片进行resize后输入改进YOLOv4检测模型中进行模型前向推导；对模型前向推导中获得的预测结果进行解码操作，筛选出置信度大于预设阈值的检测框进行保留；对检测框中的重叠框进行筛选；将获得的检测框绘制在原始图片上，在检测框的左上角区域标出预测类别信息。本发明可实时检测输电线路周边的烟火情况，将烟雾和火焰进行精准检测和定位，实现对输电线路周边火灾的实时预警作用。

Description

基于改进YOLOv4的输电线路周边烟火检测方法
技术领域
本发明涉及电力系统智能监控的技术领域，尤其是指一种基于改进YOLOv4的输电线路周边烟火检测方法，可应用于输电线路周边火灾防控预警图像或视频监控系统。
背景技术
高压电塔安全关系到整个输电网络的安全运行，关系到电力的正常运输。但是高压电塔多位于户外，很多地方地处偏僻，难以人为的对附近环境进行实时监控。而且高压电塔数量多且分布广泛，人为对其进行实时监控将耗费巨大的人力物力，监控成本高。火灾是一种常见且易发生的灾害，输电线路周边存在发生火灾的风险。高压电塔的电力运输系统设备老化、过载过流，周围环境过于干燥，存在极易可燃物，自然或人为的多种因素都可能引起输电线路周边的火灾发生。输电线路周边火灾会直接危害到整条输电线路的输电安全，对工业、生活用电安全都会造成非常严重的影响。
目前常见的烟火检测方法有基于传统图像处理的火灾烟火检测算法，其主要是通过对烟雾、火焰的形状、颜色、纹理等物理特征以及运动特征进行识别检测，但是特别容易受到周围环境的干扰，特别是在户外环境多变的情况下，检测精度很难达到较高水平。而通过在电塔上安装摄像头进行人工监控的方式将耗费大量的人力，而且难以做到实时监控。
本方法旨在发明一种基于改进YOLOv4的输电线路周边烟火检测方法，该方法对输电线路周边的烟火图像的检测在检测精度和实时性上都具有较好的表现，该方法根据输电线路周边的烟火情况对检测模型进行了改进，使得该方法能实时对输电线路周边的烟火情况进行实时监控，并在火灾发生前或者火灾前期进行报警，使人们能及时采取行动，降低危害。
综合以上论述，发明一种满足高精度和实时性的输电线路周边烟火检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进YOLOv4的输电线路周边烟火检测方法，主要利用数据增强方法扩充数据，针对高压电塔所处的复杂多变的户外环境、烟火目标的多尺度特点对数据增强手段、检测模型结构进行改进，能够实时检测输电线路周边的烟火情况，在火灾发生前期进行实行报警。
为实现上述目的，本发明所提供的技术方案为：基于改进YOLOv4的输电线路周边烟火检测方法，包括以下步骤：
1)获取输电线路周边环境监控图片，对收集到的图片进行筛选，选出具有烟火的图片作为烟火训练集；
2)对烟火训练集中的图片进行烟雾和火焰目标标注，获得每张图片中对应烟火目标的标注文件；
3)根据高压电塔附近户外环境特性对收集到的烟火训练集中的图片进行数据增强处理，随机对烟火训练集中的图片进行亮度调整、对比度调整和饱和度调整，对烟火训练集中的图片进行随机裁剪、随机翻转镜像和Mosaic增强，随机添加高斯噪声的方法对烟火训练集进行数据增强，扩充数据量，提高模型的泛化能力；
4)根据处理后的烟火训练集中的图片中烟火目标的特点，使用基于IOU的k-means聚类的方法对烟火目标进行anchor框的聚类，获得真实烟火目标的9个聚类anchor框；
5)结合实际的应用场景以及检测要求对YOLOv4检测模型结构进行改进，得到改进YOLOv4检测模型，其改进包括使用了深度可分离卷积减小检测模型的参数量，降低计算量提高检测模型实时性，在加强特征提取过程中使用注意力的方法加强检测模型对特征的进一步筛选，提高检测模型的检测精度；
6)将烟火训练集中的图片输入到改进YOLOv4检测模型中进行模型训练，将步骤4)中获得的anchor框的值作为改进YOLOv4检测模型的先验anchor值，根据预设的训练epoch数进行训练，保存训练时改进YOLOv4检测模型的模型参数，将验证集损失最小的模型参数作为改进YOLOv4检测模型的模型参数；
7)通过高压电塔上的摄像头拍摄高压电塔附近的现场图片；
8)将拍摄到的现场图片的长边resize到416，然后对图片的短边部分进行零填充，填充到416，防止直接resize成416*416过程中发生图片失真，再将resize后的图片输入到改进YOLOv4检测模型中进行模型的前向推导；
9)改进YOLOv4检测模型加载步骤6)获得的模型参数，对模型前向推导中获得的预测结果进行解码操作，获得所有预测检测框中检测目标的置信度、检测类别概率、检测框的位置调整参数，筛选出置信度大于预设阈值的检测框进行保留；
10)对获得的检测框进行进一步的筛选，使用基于DIOU的非极大值抑制对检测框中的重叠框进行筛选，当重叠框中的DIOU值大于预设阈值时，只保留其中置信度大的检测框；
11)将最后获得的检测框绘制在原始图片上，在检测框的左上角区域标出检测框的预测类别信息，从而完成输电线路周边烟火的检测。
进一步，在步骤1)中，通过在高压电塔上架设球机或枪机，调整球机或枪机的角度对输电线路周边环境进行监控，每隔1分钟采集一次图片，将采集到的图片通过4G网络传输到服务器。
进一步，在步骤2)中，通过labelimg标注工具对获得的具有烟火目标的图片进行标注，使用矩形框标注出图片中的烟雾和火焰的位置。
进一步，在步骤3)中，针对高压电塔所处的复杂的户外环境下，根据户外图片极易受到外界天气、光照条件的影响，对烟火训练集中的图片进行数据增强，对烟火训练集中的图片的亮度、对比度、饱和度进行改变，以应对多变的外部环境变化带来的影响；针对烟火目标的多尺度特点，对烟火训练集中的图片进行随机裁剪，Mosaic数据增强；针对户外环境下多变的环境及噪声影响，使用随机添加高斯噪声对烟火训练集中的图片进行数据增强；使用随机翻转镜像的方式对烟火训练集中的图片进行扩充。
进一步，在步骤4)中，对于anchor-based的检测模型，需要人为设置先验的anchor框，通过使用基于IOU的k-means聚类的方法获得符合真实烟火目标的先验anchor框，使得anchor框更贴近目标bounding box，从而使得检测模型能更好地对真实烟火目标进行检测；为了在三个有效特征层上对目标进行检测，且每个特征层设置三个anchor框数，所以将基于IOU的k-means聚类数设置为9；初始化9个anchor框作为9个聚类中心，在所有boundingbox标注框中选出9个框作为anchor框的初始值；计算每个bounding box框和9个anchor框之间的IOU值，将bounding box分到与其IOU值最大的anchor框所属的聚类；一次聚类完成后，计算属于每个anchor聚类的bounding box的宽高平均值，作为下次聚类的anchor宽高；重复聚类过程直到所有bounding box所属的anchor类与前一次聚类结果相同，停止聚类过程，输出9个聚类anchor作为检测模型的先验anchor框。
进一步，在步骤5)中，所述YOLOv4检测模型由主干特征提取网络、加强特征提取网络和YOLOhead组成；其中，在主干特征提取网络中使用深度可分离卷积减小检测模型的计算参数，加快检测模型的检测推理速度，实现检测的实时性；深度可分离卷积是通过将正常的一步卷积拆分成为两步进行卷积；深度可分离卷积将卷积核拆分为两个卷积核，一个卷积核负责对各个通道分别进行卷积操作，对每个通道的特征进行单独的特征提取，另一个卷积核负责对分通道卷积后的特征进行逐点卷积，将各个通道特征进行融合；在加强特征提取网络中使用注意力对特征做进一步的筛选，提高检测模型对目标的检测能力；注意力机制对图像的各个特征加上不同权重，区分各个特征的重要程度，利于检测模型对目标的检测；改进后的YOLOv4检测模型结构包括以下模块：
模块1，由可分离卷积层、BN层、激活函数Leaky ReLU组成；
模块2，由可分离卷积层、BN层、激活函数Mish组成；
模块3，由两个模块2堆叠加上短接边组成；
模块4，由模块3和模块4组成，其中模块3堆叠的数量为1个；
模块5，由模块3和模块4组成，其中模块3堆叠的数量为2个；
模块6，由模块3和模块4组成，其中模块3堆叠的数量为4个；
模块7，由模块3和模块4组成，其中模块3堆叠的数量为8个；
模块8，由5*5最大池化层、9*9最大池化层、13*13最大池化层组成；
模块9，为一个注意力机制模块；
改进后的YOLOv4检测模型是由上面九个模块搭建而成；改进YOLOv4检测模型的loss损失函数在三个有效特征层上进行计算；改进YOLOv4检测模型的loss损失函数包括三个部分：预测置信度的loss、预测种类的loss、预测bounding box的回归loss；损失函数公式如公式(1)所示：
loss＝lossconf+losscls+lossbbox (1)
其中，loss为改进YOLOv4检测模型的损失函数，lossconf为置信度损失，losscls为类别损失，lossbbox为预测框的回归损失；
置信度损失lossconf的公式如公式(2)所示：
Figure BDA0003512134540000061
其中，C为预测框bounding box中包含烟火检测目标的置信度得分，
Figure BDA0003512134540000062
为真实值，其取值由该预测框是否负责预测目标决定，如果负责预测，则
Figure BDA0003512134540000063
为1，否则为0，λ为正负样本的控制权重；
分类损失losscls的公式如公式(3)所示：
Figure BDA0003512134540000064
其中，Pc为预测框bounding box预测目标属于类别c的概率，
Figure BDA0003512134540000065
为真实框所属类别的真实值，如果所属类别为c类，则
Figure BDA0003512134540000066
的值为1，否则为0；
预测bounding box的回归损失lossbbox的公式如公式(4)所示：
Figure BDA0003512134540000067
其中，IOU是真实框与预测框之间的交并比，bbbox和bgt分别表示预测框和真实框的中心点，d表示预测框中心点和真实框中心点之间的欧式距离，k表示同时包含预测框和真实框的最小闭包矩形的对角线距离，惩罚参数α的数学公式如公式(5)所示：
Figure BDA0003512134540000068
其中长宽一致性衡量参数v的数学公式如公式(6)所示：
Figure BDA0003512134540000069
其中，wbbox为预测框的宽，hbbox为预测框的高，wgt为真实框的宽，hgt为真实框的高。
进一步，在步骤6)中，将烟火训练集中的图片输入到改进YOLOv4检测模型中进行训练，设置训练参数，加载coco预训练权重进行训练，训练过程分为两个过程，过程一是冻结检测模型的主干特征提取网络进行训练，过程二是解冻主干特征提取网络，训练完整的检测模型；在训练过程一中，训练batchsize设置为10，初始学习率设置为0.001，训练50个epoch；在训练过程二中，训练batchsize设置为4，初始学习率设置为0.0001，训练50个epoch；训练优化器使用Adam优化器；在训练结束后，从保存的训练参数中选出验证集损失最小的模型参数作为检测模型的模型参数。
进一步，在步骤8)中，对图片进行resize操作，对图片整体成比例进行resize，使得图片的长边为416，如果图片的长边和短边长度相同，则图片大小为416*416，如果短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图片大小都固定为416*416的图片大小，然后再将resize后的图片输入到改进YOLOv4检测模型中进行检测。
进一步，在步骤9)中，改进YOLOv4检测模型加载获得的模型参数后，图片输入到改进YOLOv4检测模型中能够得到三个有效特征层的预测结果，对预测进行解码操作，从而获得所有检测框所包含的检测目标的置信度、检测框包含目标的种类的概率、检测框的位置调整参数；只有置信度大于预设阈值的检测框才被保留。
进一步，在步骤10)中，对检测框做进一步的筛选，防止出现多个检测框对同一个目标重复检测的情况；使用基于DIOU的非极大值抑制对重叠框进行剔除，对同一类的所有检测框两两之间计算DIOU，当两个框之间的DIOU大于预设阈值时，保留置信度大的作为检测框，置信度小的框进行丢弃。
本发明与现有技术相比，具有如下优点与有益效果：
1、使用混合数据增强的方法，对输电线路周边环境进行数据增强，对户外多变的环境具有更好的检测效果。
2、使用基于IOU的k-means对先验anchor框进行以IOU为评价指标的k-means聚类，使得先验框能更好的拟合现实情况下的真实烟火目标。
3、在改进YOLOv4检测模型中使用可分离卷积，减小检测模型的计算参数，提高检测模型的性能，检测模型的检测速度提高，满足实时性要求。
4、在改进YOLOv4检测模型的加强特征提取网络中，使用注意力机制，对网络的特征进行筛选，乘上不同权值，增大重要特征权重，有利于利用特征进行烟火目标的检测。
5、使用基于DIOU的非极大值抑制对多个预测框对同一目标进行重复检测的情况进行剔除多余检测框的操作，使得检测效果更好，提高了对重叠目标的检测效果。
附图说明
图1为本发明方法的模型训练流程图。
图2为本发明方法的检测流程图。
图3为标注信息图。
图4为基于IOU的k-means聚类anchor框流程图。
图5为可分离卷积流程图。
图6为逐通道卷积图。
图7为逐点卷积图。
图8为注意力机制流程图。
图9为模块1的结构图。
图10为模块2的结构图。
图11为模块3的结构图。
图12为模块4的结构图。
图13为模块5的结构图。
图14为模块6的结构图。
图15为模块7的结构图。
图16为模块8的结构图。
图17为改进YOLOv4检测模型的整体结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1和图2所示，本实施例所提供的基于改进YOLOv4的输电线路周边烟火检测方法，包括以下步骤：
1)通过在高压杆塔上架设球机或枪机，调整球机或枪机的角度对输电线路周边环境进行监控，每隔1分钟采集一次图片，将采集到的图片通过4G网络传输到服务器。对收集到的图片进行筛选，选出具有烟火目标的图片。
2)利用获取到的带有烟火目标的图片构建烟火训练集，通过labelimg标注工具对获得的具有烟火目标的图片进行标注，使用矩形框标注出图片中的烟雾和火焰的位置，标注文件保存为xml格式，标注文件中包含图片宽高、标注目标名称、标注bounding box的左上角坐标和右下角坐标，标注信息如图3所示。
3)针对高压电塔所处的复杂的户外环境下，根据户外图片极易受到外界天气、光照条件等情况的影响，对烟火训练集中的图片进行数据增强，对烟火训练集中的图片的亮度、对比度、饱和度进行改变，以应对多变的外部环境变化带来的影响；针对烟火目标的多尺度特点，对烟火训练集中的图片进行随机裁剪，Mosaic数据增强，Mosaic数据增强将四张图片进行随机缩放、随机翻转，然后将四张图片粘贴在一种图片上的四个部分，使得一张图片包含四张图片的信息；针对户外环境下多变的环境及噪声影响，使用随机添加高斯噪声对烟火训练集中的图片进行数据增强；使用随机翻转镜像的方式对烟火训练集中的图片进行扩充。
4)根据烟火训练集中图片中的烟火目标的特点，对于anchor-based的检测模型，需要人为设置先验的anchor框，通过使用基于IOU的k-means聚类的方法获得符合真实烟火目标的先验anchor框，使得anchor框更贴近目标bounding box，从而使得检测模型能更好的对真实烟火目标进行检测；为了在三个有效特征层上对目标进行检测，且每个特征层设置三个anchor框数，所以将基于IOU的k-means聚类数设置为9，基于IOU的k-means聚类算法聚类anchor框的流程图如图4所示。K-means聚类anchor框的算法流程如下：
第一步，获得烟火训练集中所有的bounding box标注框。
第二步，初始化9个anchor框作为9个聚类中心，在所有bounding box标注框中选出9个框作为anchor框的初始值。
第三步，计算每个bounding box框和9个anchor框之间的IOU值，将bounding box分到与其IOU值最大的anchor框所属的聚类。
第四步，一次聚类完成后，计算属于每个anchor聚类的bounding box的宽高平均值，作为下次聚类的anchor宽高。
第五步，重复第三步、第四步直到所有bounding box所属的anchor类与前一次聚类结果相同，停止聚类过程，输出9个聚类anchor作为检测模型的先验anchor框。
5)YOLOv4检测模型由三部分组成：主干特征提取网络、加强特征提取网络和YOLOhead，结合实际的应用场景以及检测要求对YOLOv4检测模型结构进行改进，其改进是在主干特征提取网络中使用深度可分离卷积减小检测模型的计算参数，加快检测模型的检测推理速度，实现检测的实时性；深度可分离卷积是通过将正常的一步卷积拆分成为两步进行卷积，可分离卷积流程如图5所示。深度可分离卷积将卷积核拆分为两个卷积核，一个卷积核负责对各个通道分别进行卷积操作，对每个通道的特征进行单独的特征提取，逐通道卷积如图6所示，另一个卷积核负责对分通道卷积后的特征进行逐点卷积，将各个通道特征进行融合，逐点卷积如图7所示；在加强特征提取网络中使用注意力对特征做进一步的筛选，提高检测模型对目标的检测能力，注意力机制通过全局池化层、全连接层、激活函数层堆叠获得特征权重，再与输入特征进行相乘获得输出结果，注意力机制流程如图8所示；注意力机制对图像的各个特征加上不同权重，区分各个特征的重要程度，利于网络对目标的检测。改进YOLOv4检测模型由以下模块组成：
模块1：由可分离卷积层、BN层、激活函数Leaky ReLU组成，模块1结构如图9所示。
模块2：由可分离卷积层、BN层、激活函数Mish组成，模块2结构如图10所示。
模块3：由两个模块2堆叠加上短接边组成，模块3结构如图11所示。
模块4：由模块3和模块4组成，其中模块3堆叠的数量为1个，模块4的结构如图12所示。
模块5：由模块3和模块4组成，其中模块3堆叠的数量为2个，模块5的结构如图13所示。
模块6：由模块3和模块4组成，其中模块3堆叠的数量为4个，模块6的结构如图14所示。
模块7：由模块3和模块4组成，其中模块3堆叠的数量为8个，模块7的结构如图15所示。
模块8：由5*5最大池化层、9*9最大池化层、13*13最大池化层组成，模块8的结构如图16所示。
模块9：为一个注意力机制模块，其流程如图8所示。
改进YOLOv4检测模型的整体结构如图17所示，concat为将特征层进行堆叠操作，DW_Conv为可分离卷积层。图像输入到改进YOLOv4检测模型中，先通过主干特征提取网络进行特征提取，特征提取获得三个有效特征层，有效特征层A大小为13*13，用于预测大目标，有效特征层B大小为26*26，用于预测中等大小目标，有效特征层C大小为52*52，用于预测小目标。有效特征层A还会经过一个SPP特征金字塔结构，进行特征融合，SPP特征金字塔是通过并联三个不同池化核大小的最大池化，对池化结果进行融合，三个池化核大小分别是5*5、9*9、13*13。再将三个有效特征层输入到加强网络提取层进行特征进一步的加强提取，先通过注意力机制对特征层的特征乘上不同的权重，区分出不同特征的重要程度，注意力机制由最大池化层、全连接层以及激活函数层构成。之后三个有效特征层将进行特征融合，特征融合过程有两部分组成，一个是自底而上的特征融合过程，一个是自顶而下的特征融合过程。自底而上的特征融合过程是将底层13*13的有效特征层进行可分离卷积和上采样的操作后与26*26的有效特征层进行concat堆叠操作，将堆叠结果再次进行可分离卷积和上采样操作后，将其与52*52的有效特征层进行concat堆叠操作。自顶而下的特征融合过程是将52*52的有效特征层向下进行可分离卷积获得26*26大小的特征层，将其与26*26大小的有效特征层进行concat堆叠操作，获得最终的26*26大小的有效特征层，再将其向下进行可分离卷积操作获得13*13的特征层，将其与13*13的有效特征层进行concat堆叠操作，获得最终的13*13大小的有效特征层。将最终获得的13*13、26*26、52*52三个有效特征层输入到YOLOHead网络中进行目标的检测，YOLOHead通过可分离卷积层获得最终的输出结果。
因为是在三个有效特征层上进行目标检测，因此改进YOLOv4检测模型的loss损失函数计算也需要在三个有效特征层上进行。改进YOLOv4检测模型的loss损失函数包括三个部分：预测置信度的loss、预测种类的loss、预测bounding box的回归loss；损失函数公式如公式(1)所示：
loss＝lossconf+losscls+lossbbox (1)
其中，loss为改进YOLOv4检测模型的损失函数，lossconf为置信度损失，losscls为类别损失，lossbbox为预测框的回归损失；
置信度损失lossconf的公式如公式(2)所示：
Figure BDA0003512134540000131
其中，C为预测框bounding box中包含烟火检测目标的置信度得分，
Figure BDA0003512134540000132
为真实值，其取值由该预测框是否负责预测目标决定，如果负责预测，则
Figure BDA0003512134540000133
为1，否则为0，λ为正负样本的控制权重；
分类损失losscls的公式如公式(3)所示：
Figure BDA0003512134540000134
其中，Pc为预测框bounding box预测目标属于类别c的概率，
Figure BDA0003512134540000135
为真实框所属类别的真实值，如果所属类别为c类，则
Figure BDA0003512134540000136
的值为1，否则为0；
预测bounding box的回归损失lossbbox的公式如公式(4)所示：
Figure BDA0003512134540000137
其中，IOU是真实框与预测框之间的交并比，bbbox和bgt分别表示预测框和真实框的中心点，d表示预测框中心点和真实框中心点之间的欧式距离，k表示同时包含预测框和真实框的最小闭包矩形的对角线距离，惩罚参数α的数学公式如公式(5)所示：
Figure BDA0003512134540000138
其中长宽一致性衡量参数v的数学公式如公式(6)所示：
Figure BDA0003512134540000141
其中，wbbox为预测框的宽，hbbox为预测框的高，wgt为真实框的宽，hgt为真实框的高。
6)将烟火训练集中的图片输入到改进YOLOv4检测模型中进行训练，加载coco预训练权重进行训练，设置训练参数，将训练过程分为两个过程，过程一是冻结检测模型的主干特征提取网络进行训练，过程二是解冻主干特征提取网络，训练完整的检测模型；在训练过程一中，训练batchsize设置为10，初始学习率设置为0.001，训练50个epoch；在训练过程二中，训练batchsize设置为4，初始学习率设置为0.0001，训练50个epoch；训练优化器使用Adam优化器；观察训练过程中的损失曲线，防止出现过拟-*合，每隔10个epoch保存一次训练参数，在训练结束后，从保存的训练参数中选出验证集损失最小的模型参数作为检测模型的模型参数。
7)通过高压电塔上的摄像头拍摄高压电塔附近的现场图片。
8)为固定图片的输入大小，将输入图片的大小固定为416*416大小，对图片进行resize操作，将图片整体成比例进行resize，使得图片的长边为416，当图片的长边和短边长度相同，则图片大小为416*416，当短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图片大小都固定为416*416的图片大小，然后再将resize后的图片输入到改进YOLOv4检测模型中进行检测。
9)图片输入到改进YOLOv4检测模型中可以得到三个有效特征层的预测结果，对预测进行解码操作，从而获得所有检测框所包含的检测目标的置信度、检测框包含目标的种类的概率、检测框的位置调整参数；设定置信度阈值为0.5，当置信度大于0.5的时候预测的检测框才被保留，对置信度小于0.5的检测框进行剔除。
10)使用三个有效特征层，9个先验anchor框对目标做检测，可能出现多个检测框检测同一个物体的情况，进行非极大值抑制，对检测框做进一步的筛选，防止出现多个检测框对同一个目标重复检测的情况；使用基于DIOU的非极大值抑制对重叠框进行剔除，对同一类的所有检测框两两之间计算DIOU，当两个框之间的DIOU大于预设阈值时，保留置信度大的作为检测框，置信度小的框进行丢弃。为提升剔除重复检测的检测框的性能，对交并比IOU评价方式进行改进，改进为DIOU的评价方式，IOU的数学定义如公式(7)所示：
Figure BDA0003512134540000151
公式中A、B分别为两个检测框，IOU的取值范围为[0,1],基于IOU的评价方式只关注两个框之间的重合率，不关注两个框的重合方式。基于DIOU的方式结合了检测框之间的IOU重合程度、检测框之间的距离，DIOU的数学定义如公式(8)所示：
Figure BDA0003512134540000152
其中bA和bB分别表示了检测框A和检测框B的中心点，d表示两个检测框中心点之间的欧式距离，k表示同时包含检测框A和检测框B的最小闭包矩形的对角线距离。
基于DIOU的非极大值抑制的算法流程：
第一步，将图片检测到的所有检测框按检测类别划分，加入列表中。
第二步，将同一类中的所有检测到的bounding box在列表中按置信度由高到低排序。
第三步，选出置信度最高的检测框bounding box，从排序列表中剔除，加入到最终的检测框列表中，将其与其他bounding box框计算DIOU，如果DIOU的值大于设定的阈值0.5，则将排序列表中的bounding box进行剔除。
第四步，重复第三步的过程，一直到检测框排序列表中没有检测框则停止。完成一个类别检测框的非极大值抑制
第五步，重复第三步、第四步，对每一个类别都进行非极大值抑制，直到所有类别完成非极大值抑制。
11)将最后筛选完成后的检测框用矩形框绘制在原始图片上，使用opencv的rectangle函数画矩形框，使用opencv的putText函数在烟火检测框的左上角区域标出检测框的预测类别信息，即可完成输电线路周边烟火的检测。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，包括以下步骤：
1)获取输电线路周边环境监控图片，对收集到的图片进行筛选，选出具有烟火的图片作为烟火训练集；
2)对烟火训练集中的图片进行烟雾和火焰目标标注，获得每张图片中对应烟火目标的标注文件；
3)根据高压电塔附近户外环境特性对收集到的烟火训练集中的图片进行数据增强处理，随机对烟火训练集中的图片进行亮度调整、对比度调整和饱和度调整，对烟火训练集中的图片进行随机裁剪、随机翻转镜像和Mosaic增强，随机添加高斯噪声的方法对烟火训练集进行数据增强，扩充数据量，提高模型的泛化能力；
4)根据处理后的烟火训练集中的图片中烟火目标的特点，使用基于IOU的k-means聚类的方法对烟火目标进行anchor框的聚类，获得真实烟火目标的9个聚类anchor框；
5)结合实际的应用场景以及检测要求对YOLOv4检测模型结构进行改进，得到改进YOLOv4检测模型，其改进包括使用了深度可分离卷积减小检测模型的参数量，降低计算量提高检测模型实时性，在加强特征提取过程中使用注意力的方法加强检测模型对特征的进一步筛选，提高检测模型的检测精度；
6)将烟火训练集中的图片输入到改进YOLOv4检测模型中进行模型训练，将步骤4)中获得的anchor框的值作为改进YOLOv4检测模型的先验anchor值，根据预设的训练epoch数进行训练，保存训练时改进YOLOv4检测模型的模型参数，将验证集损失最小的模型参数作为改进YOLOv4检测模型的模型参数；
7)通过高压电塔上的摄像头拍摄高压电塔附近的现场图片；
8)将拍摄到的现场图片的长边resize到416，然后对图片的短边部分进行零填充，填充到416，防止直接resize成416*416过程中发生图片失真，再将resize后的图片输入到改进YOLOv4检测模型中进行模型的前向推导；
9)改进YOLOv4检测模型加载步骤6)获得的模型参数，对模型前向推导中获得的预测结果进行解码操作，获得所有预测检测框中检测目标的置信度、检测类别概率、检测框的位置调整参数，筛选出置信度大于预设阈值的检测框进行保留；
10)对获得的检测框进行进一步的筛选，使用基于DIOU的非极大值抑制对检测框中的重叠框进行筛选，当重叠框中的DIOU值大于预设阈值时，只保留其中置信度大的检测框；
11)将最后获得的检测框绘制在原始图片上，在检测框的左上角区域标出检测框的预测类别信息，从而完成输电线路周边烟火的检测。
2.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤1)中，通过在高压电塔上架设球机或枪机，调整球机或枪机的角度对输电线路周边环境进行监控，每隔1分钟采集一次图片，将采集到的图片通过4G网络传输到服务器。
3.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤2)中，通过labelimg标注工具对获得的具有烟火目标的图片进行标注，使用矩形框标注出图片中的烟雾和火焰的位置。
4.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤3)中，针对高压电塔所处的复杂的户外环境下，根据户外图片极易受到外界天气、光照条件的影响，对烟火训练集中的图片进行数据增强，对烟火训练集中的图片的亮度、对比度、饱和度进行改变，以应对多变的外部环境变化带来的影响；针对烟火目标的多尺度特点，对烟火训练集中的图片进行随机裁剪，Mosaic数据增强；针对户外环境下多变的环境及噪声影响，使用随机添加高斯噪声对烟火训练集中的图片进行数据增强；使用随机翻转镜像的方式对烟火训练集中的图片进行扩充。
5.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤4)中，对于anchor-based的检测模型，需要人为设置先验的anchor框，通过使用基于IOU的k-means聚类的方法获得符合真实烟火目标的先验anchor框，使得anchor框更贴近目标bounding box，从而使得检测模型能更好地对真实烟火目标进行检测；为了在三个有效特征层上对目标进行检测，且每个特征层设置三个anchor框数，所以将基于IOU的k-means聚类数设置为9；初始化9个anchor框作为9个聚类中心，在所有bounding box标注框中选出9个框作为anchor框的初始值；计算每个bounding box框和9个anchor框之间的IOU值，将bounding box分到与其IOU值最大的anchor框所属的聚类；一次聚类完成后，计算属于每个anchor聚类的bounding box的宽高平均值，作为下次聚类的anchor宽高；重复聚类过程直到所有bounding box所属的anchor类与前一次聚类结果相同，停止聚类过程，输出9个聚类anchor作为检测模型的先验anchor框。
6.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤5)中，所述YOLOv4检测模型由主干特征提取网络、加强特征提取网络和YOLOhead组成；其中，在主干特征提取网络中使用深度可分离卷积减小检测模型的计算参数，加快检测模型的检测推理速度，实现检测的实时性；深度可分离卷积是通过将正常的一步卷积拆分成为两步进行卷积；深度可分离卷积将卷积核拆分为两个卷积核，一个卷积核负责对各个通道分别进行卷积操作，对每个通道的特征进行单独的特征提取，另一个卷积核负责对分通道卷积后的特征进行逐点卷积，将各个通道特征进行融合；在加强特征提取网络中使用注意力对特征做进一步的筛选，提高检测模型对目标的检测能力；注意力机制对图像的各个特征加上不同权重，区分各个特征的重要程度，利于检测模型对目标的检测；改进后的YOLOv4检测模型结构包括以下模块：
模块1，由可分离卷积层、BN层、激活函数Leaky ReLU组成；
模块2，由可分离卷积层、BN层、激活函数Mish组成；
模块3，由两个模块2堆叠加上短接边组成；
模块4，由模块3和模块4组成，其中模块3堆叠的数量为1个；
模块5，由模块3和模块4组成，其中模块3堆叠的数量为2个；
模块6，由模块3和模块4组成，其中模块3堆叠的数量为4个；
模块7，由模块3和模块4组成，其中模块3堆叠的数量为8个；
模块8，由5*5最大池化层、9*9最大池化层、13*13最大池化层组成；
模块9，为一个注意力机制模块；
改进后的YOLOv4检测模型是由上面九个模块搭建而成；改进YOLOv4检测模型的loss损失函数在三个有效特征层上进行计算；改进YOLOv4检测模型的loss损失函数包括三个部分：预测置信度的loss、预测种类的loss、预测bounding box的回归loss；损失函数公式如公式(1)所示：
loss＝lossconf+losscls+lossbbox (1)
其中，loss为改进YOLOv4检测模型的损失函数，lossconf为置信度损失，losscls为类别损失，lossbbox为预测框的回归损失；
置信度损失lossconf的公式如公式(2)所示：
Figure FDA0003512134530000041
其中，C为预测框bounding box中包含烟火检测目标的置信度得分，
Figure FDA0003512134530000051
为真实值，其取值由该预测框是否负责预测目标决定，如果负责预测，则
Figure FDA0003512134530000052
为1，否则为0，λ为正负样本的控制权重；
分类损失losscls的公式如公式(3)所示：
Figure FDA0003512134530000053
其中，Pc为预测框bounding box预测目标属于类别c的概率，
Figure FDA0003512134530000054
为真实框所属类别的真实值，如果所属类别为c类，则
Figure FDA0003512134530000055
的值为1，否则为0；
预测bounding box的回归损失lossbbox的公式如公式(4)所示：
Figure FDA0003512134530000056
其中，IOU是真实框与预测框之间的交并比，bbbox和bgt分别表示预测框和真实框的中心点，d表示预测框中心点和真实框中心点之间的欧式距离，k表示同时包含预测框和真实框的最小闭包矩形的对角线距离，惩罚参数α的数学公式如公式(5)所示：
Figure FDA0003512134530000057
其中长宽一致性衡量参数v的数学公式如公式(6)所示：
Figure FDA0003512134530000058
其中，wbbox为预测框的宽，hbbox为预测框的高，wgt为真实框的宽，hgt为真实框的高。
7.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤6)中，将烟火训练集中的图片输入到改进YOLOv4检测模型中进行训练，设置训练参数，加载coco预训练权重进行训练，训练过程分为两个过程，过程一是冻结检测模型的主干特征提取网络进行训练，过程二是解冻主干特征提取网络，训练完整的检测模型；在训练过程一中，训练batchsize设置为10，初始学习率设置为0.001，训练50个epoch；在训练过程二中，训练batchsize设置为4，初始学习率设置为0.0001，训练50个epoch；训练优化器使用Adam优化器；在训练结束后，从保存的训练参数中选出验证集损失最小的模型参数作为检测模型的模型参数。
8.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤8)中，对图片进行resize操作，对图片整体成比例进行resize，使得图片的长边为416，如果图片的长边和短边长度相同，则图片大小为416*416，如果短边不为416，则对短边部分进行零填充，使得短边长度也为416，确保输入图片大小都固定为416*416的图片大小，然后再将resize后的图片输入到改进YOLOv4检测模型中进行检测。
9.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤9)中，改进YOLOv4检测模型加载获得的模型参数后，图片输入到改进YOLOv4检测模型中能够得到三个有效特征层的预测结果，对预测进行解码操作，从而获得所有检测框所包含的检测目标的置信度、检测框包含目标的种类的概率、检测框的位置调整参数；只有置信度大于预设阈值的检测框才被保留。
10.根据权利要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法，其特征在于，在步骤10)中，对检测框做进一步的筛选，防止出现多个检测框对同一个目标重复检测的情况；使用基于DIOU的非极大值抑制对重叠框进行剔除，对同一类的所有检测框两两之间计算DIOU，当两个框之间的DIOU大于预设阈值时，保留置信度大的作为检测框，置信度小的框进行丢弃。
CN202210155416.5A 2022-02-21 2022-02-21 基于改进YOLOv4的输电线路周边烟火检测方法 Pending CN114626439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210155416.5A CN114626439A (zh) 2022-02-21 2022-02-21 基于改进YOLOv4的输电线路周边烟火检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210155416.5A CN114626439A (zh) 2022-02-21 2022-02-21 基于改进YOLOv4的输电线路周边烟火检测方法

Publications (1)

Publication Number Publication Date
CN114626439A true CN114626439A (zh) 2022-06-14

Family

ID=81899356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155416.5A Pending CN114626439A (zh) 2022-02-21 2022-02-21 基于改进YOLOv4的输电线路周边烟火检测方法

Country Status (1)

Country Link
CN (1) CN114626439A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863252A (zh) * 2023-09-04 2023-10-10 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质
CN117911937A (zh) * 2023-11-28 2024-04-19 西南交通大学 基于YOLOv7-tiny的输电线路烟火检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444809A (zh) * 2020-03-23 2020-07-24 华南理工大学 一种基于改进YOLOv3的输电线路异常目标检测方法
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及系统
CN113935364A (zh) * 2021-09-22 2022-01-14 常熟理工学院 基于YOLOv4网络的无人机火焰检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444809A (zh) * 2020-03-23 2020-07-24 华南理工大学 一种基于改进YOLOv3的输电线路异常目标检测方法
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及系统
CN113935364A (zh) * 2021-09-22 2022-01-14 常熟理工学院 基于YOLOv4网络的无人机火焰检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863252A (zh) * 2023-09-04 2023-10-10 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质
CN116863252B (zh) * 2023-09-04 2023-11-21 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质
CN117911937A (zh) * 2023-11-28 2024-04-19 西南交通大学 基于YOLOv7-tiny的输电线路烟火检测方法

Similar Documents

Publication Publication Date Title
CN110929578B (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN114626439A (zh) 基于改进YOLOv4的输电线路周边烟火检测方法
CN111047554A (zh) 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN107590456A (zh) 一种高空视频监控中小微目标的检测方法
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN111414807B (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN113469278B (zh) 一种基于深度卷积神经网络的强天气目标识别方法
CN107563299B (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及系统
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
WO2024051297A1 (zh) 一种轻量化的火灾烟雾检测方法、终端设备及存储介质
CN109949209A (zh) 一种基于深度学习的绳索检测与去除方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN114266299A (zh) 基于无人机作业的铁路桥梁钢结构缺陷检测方法及系统
CN114782859B (zh) 一种目标行为感知时空定位模型的建立方法及应用
CN112396646A (zh) 台风中心点定位方法和装置
CN115953668A (zh) 一种基于YOLOv5算法的迷彩伪装目标检测方法及系统
Wang et al. Forest fire detection method based on deep learning
CN113971666A (zh) 基于深度目标检测的输电线路机巡影像自适应识别方法
Fan et al. Research on face recognition technology based on improved YOLO deep convolution neural network
CN112464884A (zh) 一种adas红外夜视方法和夜视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination