CN111444809A - 一种基于改进YOLOv3的输电线路异常目标检测方法 - Google Patents

一种基于改进YOLOv3的输电线路异常目标检测方法 Download PDF

Info

Publication number
CN111444809A
CN111444809A CN202010206891.1A CN202010206891A CN111444809A CN 111444809 A CN111444809 A CN 111444809A CN 202010206891 A CN202010206891 A CN 202010206891A CN 111444809 A CN111444809 A CN 111444809A
Authority
CN
China
Prior art keywords
loss
target
improved
transmission line
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010206891.1A
Other languages
English (en)
Other versions
CN111444809B (zh
Inventor
杜启亮
黎春翔
田联房
邝东海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010206891.1A priority Critical patent/CN111444809B/zh
Publication of CN111444809A publication Critical patent/CN111444809A/zh
Application granted granted Critical
Publication of CN111444809B publication Critical patent/CN111444809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种基于改进YOLOv3的输电线路异常目标检测方法，包括：输电线路下场景图片的采集与标注；使用在线数据增强手段扩充数据量；根据图片中目标特点以及项目需求对网络结构进行针对性改进；针对目标多尺度特点对坐标损失函数改进；将训练数据输入改进网络中进行训练，获得最佳预测模型；实时采集现场图片；利用获得的最佳预测模型对现场图片进行前向推导；筛选出置信度高于设定阈值的检测框；对检测框进行非极大抑制处理，减少重复检测；在现场图片上绘制目标检测框，显示化外力破坏目标位置。本发明能够实时检测输电线路下的潜在可能对输电线路造成破坏的目标(包括挖掘机、塔吊、起重机)进行精准检测和定位。

Description

一种基于改进YOLOv3的输电线路异常目标检测方法
技术领域
本发明涉及电力系统智能监控的技术领域，尤其是指一种基于改进YOLOv3的输电线路异常目标检测方法，可应用于野外输电线路下防外力破坏图像或视频监控系统。
背景技术
输电线路的安全关系到整个输电网络的安全运行，随着今年来我国经济的快速发展，电力系统的安全跟我们衣食住行、工业等各方面息息相关，于是对于电力系统中输电线路的异常监测至关重要。若能提前发现输电线路中的安全隐患，及早做出应对策略，能够大大降低财产损失和安全隐患。而外力破坏是输电线路下最为常见的隐患类型，输电线路下的挖掘机、塔吊、起重机等大型工程车辆极容易因为操作不当等因素对输电线路造成严重破坏。而传统的监测手段多为人工巡检、架设红外传感器、搭建激光雷达等探测装置等方法，或是通过在杆塔上架设摄像头，人工监控输电线路周边环境，但这种方法需要耗费大量的人力资源，且难以做到全天实时监控。而目前现有的一些深度学习目标检测算法，难以在实时性和精确度中做到两全其美，特别是对于易受环境干扰、目标尺度变化大的野外的场景监控。
本方法旨在发明一种基于改进的YOLOv3的输电线路异常目标检测方法，该方法在对室外输电线路场景图片的检测在实时性和精确度方面均具有较好表现，根据现场图片针对性对网络结构进行改进，使得该方法能精确、及时监测输电线路下的外力破坏目标并及时报警，以提醒工作人员注意输电线路的安全运行。
综合以上论述，发明一种满足实时性和高精确度的基于深度学习的输电线路下外力破坏目标检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进YOLOv3的输电线路异常目标检测方法，主要利用数据增强方法扩充数据集，针对场景复杂环境、多尺度目标的特点对数据增强手段、网络结构、损失函数进行修改，使得该方法对于输电线路场景下外力破坏目标具备高精度的实时检测和识别，能够实时检测输电线路下的潜在可能对输电线路造成破坏的目标进行精准检测和定位，检测目标包括挖掘机、塔吊、起重机。
为实现上述目的，本发明所提供的技术方案为：一种基于改进YOLOv3的输电线路异常目标检测方法，包括以下步骤：
1)在高压杆塔上架设球机或枪机，调整角度俯视向下对输电线路进行监控，每隔规定时间采集一次图片，保存到训练数据集的文件夹，对文件夹中包含目标的图片进行筛选，并剔除其中不合格的图像，包括多遮挡、扭曲或模糊图像；
2)对图片中的挖掘机、塔吊、起重机进行标注，获得每张图片中目标对应的标注文件；
3)针对训练数据特点对训练数据集进行数据增强，随机对图片进行饱和度变化、对比度变化、亮度变化、添加高斯噪声、添加椒盐噪声、像素点随机丢失、目标区域随机范围丢失、色彩抖动、随机裁剪、镜像翻转这些数据增强手段扩充数据集量，增强模型的泛化能力；
4)基于YOLOv3算法，结合应用场景以及使用需求对网络结构、损失函数进行针对性改进，包括使用大量深度可分离卷积降低参数量来提高网络实时性，以及改进YOLOv3损失函数中的坐标损失为GIoU损失来提高网络训练对小目标的特征学习；
5)将训练数据集输入改进后的网络进行训练，以测试集损失最小为提前终止指标，保存测试集损失最小时的网络模型参数，得到最佳预测模型；
6)通过杆塔上摄像头获取输电线路场景下的现场图片；
7)将图片resize到416×416或者成比例resize之后进行零填充操作到416×416，再输入到在训练过程中获得的最佳预测模型中进行前向推导；
8)对前向推导中获得的预测特征图进行解码操作，获取所有检测框以及其对应的类别概率、置信度和坐标偏差值，剔除置信度小于设定阈值对应的检测框；
9)进行非极大抑制操作，对于重叠的检测框，若其高于设定IoU值的检测框，仅保留其中置信度最大的检测框；
10)在现场图片中绘制经过非极大抑制操作之后获得的目标检测框，在目标检测框左上角标注预测的类别信息。
在步骤1)中，在高压杆塔上架设球机或枪机，调整角度俯视向下对输电线路进行监控，每隔半小时采集一次图片，并通过4G网络远程传输到远端服务器，保存到训练数据集的文件夹。
在步骤2)中，使用Lableme开源标注工具对服务器端图片进行标注，用矩形框标注图片中挖掘机、塔吊、起重机的位置。
在步骤3)中，针对数据集特点以及应用场景，对图像进行针对性数据增强，针对输电线路场景复杂、室外光照变化对图片的影响，使用对图片进行饱和度、对比度、亮度变化的数据增强手段；针对室外天气变化对图片的影响，对图片进行添加高斯噪声、椒盐噪声和像素点随机丢失的数据增强手段；针对现场图片中目标多遮挡的问题，对图片中目标进行随机的大范围像素丢失的数据增强手段；针对数据样本类别不均衡对后续模型训练的影响，对图片进行色彩抖动的数据增强手段；针对数据集样本少的问题，采用对图片随机裁剪、水平镜像、垂直镜像的数据增强手段扩充样本量。
在步骤4)中，在网络结构中大量使用深度可分离卷积降低网络参数量，以提高前向推导的速度，提升实时性能；深度可分离卷积将卷积核分为两个单独的卷积核：深度卷积核逐点卷积；深度卷积将特征图不同通道分离开分别进行卷积操作，再通过逐点卷积对不同特征图上对应点进行卷积操作，使得不同特征图形成相关关系；其中，改进后的网络结构包括以下模块：
模块A，由传统卷积层、BN层、Rule激活函数构成；
模块B，由分离卷积层、BN层、Rule激活函数构成；
模块C，由逐点卷积层、BN层、Rule激活函数构成；
模块D，为跳层连接结构，由模块B、模块C组成；
模块E，由三个模块A、两个模块D组成；
模块F，由模块A、模块D和上采样层组成；
整体网络结构由以上模块和concat层组成，其中concat层为特征融合层，将相同大小特征图进行叠加操作；网络输出包含三个尺度的多尺度预测输出，其中输出层Predict_l、Predict_m、Predict_s分别为网络对于大中小尺度目标的预测输出层；若是416×416输出，则通过一系列卷积操作提取图片特征，其中包含五次下采样卷积操作，最后得到Predict_l层的输出特征图大小为13×13×1024，Predict_m层的输出特征图大小为26×26×512，Predict_s层的输出特征图大小为52×52×256；每个特征图包含设定的大、中、小先验框的预测的置信度、类别以及坐标的值，通过损失函数计算预测输出与目标真实框之间的欧氏距离得到损失值，从而用于训练过程中的反向传播和梯度下降更新模型参数，使得网络从数据中学习到目标特征。
在步骤4)中，针对坐标损失对于大目标和小目标在训练过程中的差异性，对YOLOv3损失函数进行改进，YOLOv3损失函数包括类别损失、置信度损失以及坐标损失；坐标损失是指在训练过程中预测输出的检测框与实际目标位置的检测框的坐标的欧式距离偏差，主要是指中心坐标之间欧氏距离以及宽高之间欧式距离之和，但是在训练过程中，大目标框的坐标损失值远大于小目标的框的坐标损失值，这会导致模型训练结果偏向于大目标的位置预测，从而导致对小目标的定位不精确，为提升对小目标的检测效果，对损失函数的坐标损失进行改进，不使用中心坐标损失和宽高损失来评价定位精确度，而使用交并比GIoU来评价定位精确度。
在步骤5)中，将训练数据集输入改进过后的网络结构进行训练，设置实验优化器为SGD，batch大小设置为8，初始学习率为0.0001，设置测试集损失作为提前终止的标志参数，保存测试集损失最小的模型参数和网络结构，并将其作为最佳预测模型。
在步骤7)中，将图片进行resize操作，若图像本身为长宽相等的图片，直接resize操作成416×416，若图像长宽不等，则按比例进行缩小，再使用零填充操作，然后将填充后的图片输入最佳预测模型中，获得大、中、小三个预测的特征图。
在步骤8)中，对预测特征图进行解码操作，预测特征图包括每个先验框的置信度值、类别概率值以及其坐标偏差值，将置信度小于设定阈值的先验框剔除，仅保留置信度高于设定阈值的先验框以及其类别概率值和坐标偏差值。
在步骤9)中，对重叠度高于设定IoU值的检测框，仅保留置信度最大的检测框，具体算法表现为：选取置信度最大的检测框，分别判断其余检测框与该框的重叠度IoU是否大于某个设定阈值，若高于设定阈值，则剔除掉该检测框，仅标记该置信度最大的检测框为预测框，即目标检测框，再选定其余未剔除和未标记的检测框中的置信度最大的检测框，重复上述操作，直至对所有检测框进行判断完毕。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用多种数据增强手段，对恶劣天气、不同光照、遮挡、多形态、颜色目标均具有较好检测效果。
2、大量采用深度可分离卷积层，网络前向推导速度大大提高，足以满足高实时性，可完全满足视频处理要求。
3、采用GIoU作为评价定位精确的指标，避免了坐标损失在训练过程中大目标检测框的坐标损失容易淹没对小目标检测框的坐标损失的缺点，这大大提高对网络对小目标样本的学习，从而提升对小目标检测精度。
附图说明
图1为本发明方法的训练流程图。
图2为本发明方法的测试流程图。
图3为标注文件的格式图片(xml文件格式)。
图4为深度可分离卷积原理图。
图5为模块A的结构图。
图6为模块B的结构图。
图7为模块C的结构图。
图8为模块D的结构图。
图9为模块E的结构图。
图10为模块F的结构图。
图11为整体网络结构图。
图12为预测框与真实框交并比。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1和图2所示，本实施例所提供的基于改进YOLOv3的输电线路异常目标检测方法，其具体情况如下：
1)在高压杆塔上架设球机或枪机，调整角度俯视向下对输电线路进行监控，每隔半小时采集一次图片，并通过4G网络远程传输到远端服务器，保存到训练数据集的文件夹。对文件夹中包含目标的图片进行筛选，并剔除其中的遮挡过多、扭曲、模糊图像。
2)当获取训练数据到一定量时，使用Lableme开源标注工具对所有服务器端的训练图片进行标注，用矩形框标注图片中挖掘机、塔吊、起重机的位置，标注文件保存为xml格式，标注文件如图3所示，其中width、height为图片的宽高，xmin、ymin、xmax、ymax为矩形框的左上角和右下角坐标，name为标注目标的类别名称。
3)针对输电线路场景复杂、室外光照变化对图片的影响，使用对图片进行饱和度、对比度、亮度变化的数据增强手段。针对室外天气变化对图片的影响，对图片进行添加高斯噪声、椒盐噪声和像素点随机丢失的数据增强手段。针对现场图片中目标多遮挡的问题，对图片中目标进行随机的大范围像素丢失的数据增强手段。针对数据样本类别不均衡对后续模型训练的影响，比如样本库中黄色挖掘机远多于红色挖掘机，容易造成后续生成的预测模型对红色挖掘机的识别准确率低，对图片进行色彩抖动的数据增强手段。针对数据集样本少的问题，采用对图片随机裁剪、水平镜像、垂直镜像的数据增强手段扩充样本量。
4)针对实时性要求对网络结构进行针对性改进，为提高模型预测实时性，网络层大量采用深度可分离卷积，与传统卷积核使用一个卷积核直接对特征图进行卷积操作不同，深度可分离卷积将卷积核分为两个单独的卷积核：深度卷积核逐点卷积。深度卷积将特征图不同通道分离开分别进行卷积操作，再通过逐点卷积对不同特征图上对应点进行卷积操作，使得不同特征图形成相关关系。如图4对深度可分离卷积使用3×3×1的卷积核对每个特征图分别进行卷积操作，再使用1×1×Output_Channels对深度卷积后得到的所有特征图进行卷积操作，其中Output_Channels为深度可分离卷积输出的特征图通道数。相比传统卷积操作，深度可分离卷积通过特征图分离卷积计算和点相关操作使得参数量大大降低，能够极大地缩短模型的前向推导时间，提高预测的实时性。改进的网络结构包括以下模块：
模块A，由一个传统卷积层、一个BN层、一个Rule激活函数构成，如图5所示。
模块B，由一个分离卷积层、一个BN层、一个Rule激活函数构成，如图6所示。
模块C，由一个逐点卷积层、一个BN层、一个Rule激活函数构成，如图7所示。
模块D，为跳层连接结构，由一个模块B、一个模块C组成，如图8所示。
模块E，由三个模块A、两个模块D组成，如图9所示。
模块F，，由一个模块D、一个模块A和上采样层组成，如图10所示。
整体网络结构以及具体参数值如图11所示，由一个模块A、20个模块D、9个模块E、2个模块F、concat层组成，其中concat层为特征融合层，将相同大小特征图进行叠加操作，Predict_l、Predict_m、Predict_s分别为网络对于大中小尺度目标的预测输出层。以416×416×3输出为例，通过一系列卷积操作提取图片特征，其中包含五次下采样卷积操作，最后得到Predict_l层的输出特征图大小为13×13×1024，Predict_m层的输出特征图大小为26×26×512，Predict_s层的输出特征图大小为52×52×256。
每个特征图包含设定的大、中、小先验框的预测的置信度、类别以及坐标的值，通过损失函数计算预测输出与目标真实框之间的欧氏距离得到损失值，从而用于训练过程中的反向传播和梯度下降更新模型参数，使得网络从数据中学习到目标特征。其中YOLOv3采用的损失函数如式(1)所示：
Loss＝Losscls+Lossconf+Losscoor (1)
其中Losscls为类别损失，Lossconf为置信度损失，Losscoor为坐标损失。其类别损失如式(2)所示：
Losscls＝markobject×Losslog(clstrue,clspredict) (2)
其中markobject代表锚点框否存在物体的标志位，clstrue代表真实类别，clspredict代表预测类别。
置信度损失如式(3)所示：
Lossconfidence＝markobject×Losslog(markobject,cpredict)+(1-markobject)×Losslog(markobject,cpredict)×markignore
(3)
其中Lossconfidence代表置信度损失，cpredict代表预测框的置信度值，markignore代表IOU小于阈值的锚点框的标志位。
坐标损失如式(4)、(5)、(6)所示：
Losscoor＝Lossxy+Losswh (4)
Lossxy＝markobject×(2-w×h)×Losslog(xytrue,xypredict) (5)
Losswh＝0.5×markobject×(2-w×h)×(whtrue-whpredict)2 (6)
其中Lossxy为中心坐标损失，Losswh为宽高损失。markobject代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Losslog代表二值交叉熵损失，xytrue代表真实中心坐标值，xypredict代表预测中心坐标值。whtrue代表真实宽高值，whpredict代表预测宽高值。
针对输电线路下目标的多尺度特点，本方法对损失函数中的坐标损失进行改进。坐标损失是指在训练过程中使得预测输出的检测框尽可能的与实际目标位置的检测框的坐标的欧式距离偏差，但是在训练过程中，大目标框的坐标损失值远大于小目标的框的坐标损失值，这会导致模型训练结果偏向于大目标的位置预测，而导致对小目标的定位不精确。
为提升对小目标的检测效果，对损失函数的坐标损失进行改进，不使用中心坐标损失和宽高损失来评价定位精确度，而使用交并比IoU来评价定位精确度。参照图12所示，A为预测框，B为目标真实框，C为A和B的并集，则IoU的数学定义如式(7)所示：
Figure BDA0002421427910000101
IoU的值域范围为[0,1]，对于在对大目标训练和小目标训练时，其定位损失值与目标大小无关联性，而是关注其与预测框的交并比大小。不会使得大目标的定位损失影响模型对于小目标的定位，从而在训练中提升网络对小目标的训练效果。
但当锚盒与实际目标的IoU为0时，会使得损失为0，从而使得网络不能学习，故而IoU不适合作为定位评价指标。故而可以使用GIoU作为定位精确度的评价标准，其数学定义如式(8)所示：
Figure BDA0002421427910000102
在A、B重叠度低时，会导致C增大，从而使得GIoU值减小，而两个矩形框不重合时，GIoU为一个非常小的值，依然可以计算GIoU，一定程度上解决了IoU不适合作为损失函数的原因。而当A、B重叠度高时，GIoU值接近于IoU值。
故而损失函数可以表示为式(9)所示：
Loss＝Losscls+Lossconf+LossGIoU (9)
其中，LossGIoU计算为式(10)所示：
LossGIoU＝markobject×(1-GIoU(Boxpredict,Boxtrue)) (10)
其中，markobject代表锚点框否存在物体的标志位，Boxpredict表示预测的检测框，Boxtrue为目标真实框，GIoU(Boxpredict,Boxtrue)为预测检测框与目标真实框的GIoU值。
5)将训练数据集输入改进过后的网络结构进行训练，设置实验优化器为SGD，batch大小设置为8，初始学习率为0.0001，每隔10次迭代计算测试集损失，当测试集损失呈现先降低后升高的趋势，此时训练出现过拟合情况，提前终止网络训练。在测试集损失最小时保存的模型为最佳预测模型，保存此时的模型参数和网络结构。
6)通过在高压杆塔上架设的球机和枪机每隔半小时获取一次输电线路场景下的现场图片，远程传输到服务器端进行处理。
7)将图片进行resize操作，若图像本身为长宽相等的图片，直接resize操作成416×416。若图像长大于宽，则将图像成比例缩小，长resize成416，而在其宽度上进行零填充操作。图像长小于宽，则将图像成比例缩小，宽resize成416，而在其长度上进行零填充操作。将填充后的图片输入训练步骤中训练得到的最佳预测模型中，输出获得大、中、小三个预测特征图。
8)对预测特征图进行解码操作，预测特征图包括每个先验框的置信度值，类别概率值以及其坐标偏差值。对于置信度小于0.5的先验框进行剔除炒藕，保留置信度高于0.5的先验框以及其定的类别概率值和坐标偏差值。
9)进行非极大抑制操作，同一目标可能存在多个预测检测框，对重叠度高于设定IoU值的检测框，仅保留置信度最大的检测框。具体算法表现为：选取置信度最大的检测框，分别判断其余检测框与该框的重叠度IoU是否大于某个设定阈值，如高于设定阈值，则剔除掉该检测框，仅标记该置信度最大的检测框为预测框，即目标检测框。再选定其余未剔除和未标记的检测框中的置信度最大的检测框，重复上述操作，直至对所有检测框进行判断完毕。
10)使用opencv函数rectangle在现场图片中绘制经过非极大抑制操作之后获得的目标检测框，在目标检测框左上角标注预测的类别信息。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于，包括以下步骤：
1)在高压杆塔上架设球机或枪机，调整角度俯视向下对输电线路进行监控，每隔规定时间采集一次图片，保存到训练数据集的文件夹，对文件夹中包含目标的图片进行筛选，并剔除其中不合格的图像，包括多遮挡、扭曲或模糊图像；
2)对图片中的挖掘机、塔吊、起重机进行标注，获得每张图片中目标对应的标注文件；
3)针对训练数据特点对训练数据集进行数据增强，随机对图片进行饱和度变化、对比度变化、亮度变化、添加高斯噪声、添加椒盐噪声、像素点随机丢失、目标区域随机范围丢失、色彩抖动、随机裁剪、镜像翻转这些数据增强手段扩充数据集量，增强模型的泛化能力；
4)基于YOLOv3算法，结合应用场景以及使用需求对网络结构、损失函数进行针对性改进，包括使用大量深度可分离卷积降低参数量来提高网络实时性，以及改进YOLOv3损失函数中的坐标损失为GIoU损失来提高网络训练对小目标的特征学习；
5)将训练数据集输入改进后的网络进行训练，以测试集损失最小为提前终止指标，保存测试集损失最小时的网络模型参数，得到最佳预测模型；
6)通过杆塔上摄像头获取输电线路场景下的现场图片；
7)将图片resize到416×416或者成比例resize之后进行零填充操作到416×416，再输入到在训练过程中获得的最佳预测模型中进行前向推导；
8)对前向推导中获得的预测特征图进行解码操作，获取所有检测框以及其对应的类别概率、置信度和坐标偏差值，剔除置信度小于设定阈值对应的检测框；
9)进行非极大抑制操作，对于重叠的检测框，若其高于设定IoU值的检测框，仅保留其中置信度最大的检测框；
10)在现场图片中绘制经过非极大抑制操作之后获得的目标检测框，在目标检测框左上角标注预测的类别信息。
2.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤1)中，在高压杆塔上架设球机或枪机，调整角度俯视向下对输电线路进行监控，每隔半小时采集一次图片，并通过4G网络远程传输到远端服务器，保存到训练数据集的文件夹。
3.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤2)中，使用Lableme开源标注工具对服务器端图片进行标注，用矩形框标注图片中挖掘机、塔吊、起重机的位置。
4.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤3)中，针对数据集特点以及应用场景，对图像进行针对性数据增强，针对输电线路场景复杂、室外光照变化对图片的影响，使用对图片进行饱和度、对比度、亮度变化的数据增强手段；针对室外天气变化对图片的影响，对图片进行添加高斯噪声、椒盐噪声和像素点随机丢失的数据增强手段；针对现场图片中目标多遮挡的问题，对图片中目标进行随机的大范围像素丢失的数据增强手段；针对数据样本类别不均衡对后续模型训练的影响，对图片进行色彩抖动的数据增强手段；针对数据集样本少的问题，采用对图片随机裁剪、水平镜像、垂直镜像的数据增强手段扩充样本量。
5.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤4)中，在网络结构中大量使用深度可分离卷积降低网络参数量，以提高前向推导的速度，提升实时性能；深度可分离卷积将卷积核分为两个单独的卷积核：深度卷积核逐点卷积；深度卷积将特征图不同通道分离开分别进行卷积操作，再通过逐点卷积对不同特征图上对应点进行卷积操作，使得不同特征图形成相关关系；其中，改进后的网络结构包括以下模块：
模块A，由传统卷积层、BN层、Rule激活函数构成；
模块B，由分离卷积层、BN层、Rule激活函数构成；
模块C，由逐点卷积层、BN层、Rule激活函数构成；
模块D，为跳层连接结构，由模块B、模块C组成；
模块E，由三个模块A、两个模块D组成；
模块F，由模块A、模块D和上采样层组成；
整体网络结构由以上模块和concat层组成，其中concat层为特征融合层，将相同大小特征图进行叠加操作；网络输出包含三个尺度的多尺度预测输出，其中输出层Predict_l、Predict_m、Predict_s分别为网络对于大中小尺度目标的预测输出层；若是416×416输出，则通过一系列卷积操作提取图片特征，其中包含五次下采样卷积操作，最后得到Predict_l层的输出特征图大小为13×13×1024，Predict_m层的输出特征图大小为26×26×512，Predict_s层的输出特征图大小为52×52×256；每个特征图包含设定的大、中、小先验框的预测的置信度、类别以及坐标的值，通过损失函数计算预测输出与目标真实框之间的欧氏距离得到损失值，从而用于训练过程中的反向传播和梯度下降更新模型参数，使得网络从数据中学习到目标特征。
6.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤4)中，针对坐标损失对于大目标和小目标在训练过程中的差异性，对YOLOv3损失函数进行改进，YOLOv3损失函数包括类别损失、置信度损失以及坐标损失；坐标损失是指在训练过程中预测输出的检测框与实际目标位置的检测框的坐标的欧式距离偏差，主要是指中心坐标之间欧氏距离以及宽高之间欧式距离之和，但是在训练过程中，大目标框的坐标损失值远大于小目标的框的坐标损失值，这会导致模型训练结果偏向于大目标的位置预测，从而导致对小目标的定位不精确，为提升对小目标的检测效果，对损失函数的坐标损失进行改进，不使用中心坐标损失和宽高损失来评价定位精确度，而使用交并比GIoU来评价定位精确度。
7.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤5)中，将训练数据集输入改进过后的网络结构进行训练，设置实验优化器为SGD，batch大小设置为8，初始学习率为0.0001，设置测试集损失作为提前终止的标志参数，保存测试集损失最小的模型参数和网络结构，并将其作为最佳预测模型。
8.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤7)中，将图片进行resize操作，若图像本身为长宽相等的图片，直接resize操作成416×416，若图像长宽不等，则按比例进行缩小，再使用零填充操作，然后将填充后的图片输入最佳预测模型中，获得大、中、小三个预测的特征图。
9.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤8)中，对预测特征图进行解码操作，预测特征图包括每个先验框的置信度值、类别概率值以及其坐标偏差值，将置信度小于设定阈值的先验框剔除，仅保留置信度高于设定阈值的先验框以及其类别概率值和坐标偏差值。
10.根据权利要求1所述的一种基于改进YOLOv3的输电线路异常目标检测方法，其特征在于：在步骤9)中，对重叠度高于设定IoU值的检测框，仅保留置信度最大的检测框，具体算法表现为：选取置信度最大的检测框，分别判断其余检测框与该框的重叠度IoU是否大于某个设定阈值，若高于设定阈值，则剔除掉该检测框，仅标记该置信度最大的检测框为预测框，即目标检测框，再选定其余未剔除和未标记的检测框中的置信度最大的检测框，重复上述操作，直至对所有检测框进行判断完毕。
CN202010206891.1A 2020-03-23 2020-03-23 一种基于改进YOLOv3的输电线路异常目标检测方法 Active CN111444809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206891.1A CN111444809B (zh) 2020-03-23 2020-03-23 一种基于改进YOLOv3的输电线路异常目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206891.1A CN111444809B (zh) 2020-03-23 2020-03-23 一种基于改进YOLOv3的输电线路异常目标检测方法

Publications (2)

Publication Number Publication Date
CN111444809A true CN111444809A (zh) 2020-07-24
CN111444809B CN111444809B (zh) 2023-02-14

Family

ID=71654310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206891.1A Active CN111444809B (zh) 2020-03-23 2020-03-23 一种基于改进YOLOv3的输电线路异常目标检测方法

Country Status (1)

Country Link
CN (1) CN111444809B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815623A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 输电线路开口销缺失识别方法
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN112215809A (zh) * 2020-09-25 2021-01-12 北京林业大学 对虾加工剥壳率检测方法、装置、电子设备及存储介质
CN112257586A (zh) * 2020-10-22 2021-01-22 江苏禹空间科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112287884A (zh) * 2020-11-19 2021-01-29 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112418410A (zh) * 2020-12-14 2021-02-26 上海卓繁信息技术股份有限公司 多目标检测方法、装置和存储介质
CN112528971A (zh) * 2021-02-07 2021-03-19 北京智芯微电子科技有限公司 基于深度学习的输电线路异常目标检测方法及系统
CN112529881A (zh) * 2020-12-16 2021-03-19 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置
CN112598054A (zh) * 2020-12-21 2021-04-02 福建京力信息科技有限公司 基于深度学习的输变电工程质量通病防治检测方法
CN112883840A (zh) * 2021-02-02 2021-06-01 中国人民公安大学 基于关键点检测的输电线路提取方法
CN112906454A (zh) * 2020-12-22 2021-06-04 安徽康能电气有限公司 一种输电通道ai可视化监控方法及装置
CN113076899A (zh) * 2021-04-12 2021-07-06 华南理工大学 一种基于目标跟踪算法的高压输电线路异物检测方法
CN113326734A (zh) * 2021-04-28 2021-08-31 南京大学 一种基于YOLOv5的旋转目标检测方法
CN113344801A (zh) * 2021-03-04 2021-09-03 北京市燃气集团有限责任公司 一种应用于燃气计量设施环境下的图像增强方法、系统、终端及存储介质
CN113435296A (zh) * 2021-06-23 2021-09-24 合肥云通物联科技有限公司 基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN113901962A (zh) * 2021-12-06 2022-01-07 北京建筑大学 一种基于深度学习的非常态下行人识别方法及系统
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN116229052A (zh) * 2023-05-09 2023-06-06 浩鲸云计算科技股份有限公司 一种基于孪生网络的变电站设备状态变化检测方法
CN116503816A (zh) * 2023-06-28 2023-07-28 杭州久展电子有限公司 一种数据线缆的接脚分线检测方法
CN116665090A (zh) * 2023-05-15 2023-08-29 南通大学 一种基于轻量级网络的电力梯子检测方法
CN116843909A (zh) * 2023-05-12 2023-10-03 国家电网有限公司华东分部 电力线提取方法及装置、存储介质、计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110866476A (zh) * 2019-11-06 2020-03-06 南京信息职业技术学院 一种基于自动标注和迁移学习的密集堆垛目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEIMING LIU ET AL.: "Metro Passenger Flow Statistics Based on YOLOv3", 《IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815623B (zh) * 2020-07-28 2024-02-23 南方电网数字电网研究院有限公司 输电线路开口销缺失识别方法
CN111815623A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 输电线路开口销缺失识别方法
CN111881984A (zh) * 2020-07-30 2020-11-03 北京环境特性研究所 一种基于深度学习的目标检测方法和装置
CN112215809A (zh) * 2020-09-25 2021-01-12 北京林业大学 对虾加工剥壳率检测方法、装置、电子设备及存储介质
CN112257586B (zh) * 2020-10-22 2024-01-23 无锡禹空间智能科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112257586A (zh) * 2020-10-22 2021-01-22 江苏禹空间科技有限公司 目标检测中的真值框选择方法、装置、存储介质及设备
CN112287884B (zh) * 2020-11-19 2024-02-20 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112287884A (zh) * 2020-11-19 2021-01-29 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112418410A (zh) * 2020-12-14 2021-02-26 上海卓繁信息技术股份有限公司 多目标检测方法、装置和存储介质
CN112529881A (zh) * 2020-12-16 2021-03-19 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置
CN112529881B (zh) * 2020-12-16 2024-02-27 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置
CN112598054A (zh) * 2020-12-21 2021-04-02 福建京力信息科技有限公司 基于深度学习的输变电工程质量通病防治检测方法
CN112598054B (zh) * 2020-12-21 2023-09-22 福建京力信息科技有限公司 基于深度学习的输变电工程质量通病防治检测方法
CN112906454A (zh) * 2020-12-22 2021-06-04 安徽康能电气有限公司 一种输电通道ai可视化监控方法及装置
CN112883840A (zh) * 2021-02-02 2021-06-01 中国人民公安大学 基于关键点检测的输电线路提取方法
CN112883840B (zh) * 2021-02-02 2023-07-07 中国人民公安大学 基于关键点检测的输电线路提取方法
CN112528971A (zh) * 2021-02-07 2021-03-19 北京智芯微电子科技有限公司 基于深度学习的输电线路异常目标检测方法及系统
CN112528971B (zh) * 2021-02-07 2021-06-04 北京智芯微电子科技有限公司 基于深度学习的输电线路异常目标检测方法及系统
CN113344801A (zh) * 2021-03-04 2021-09-03 北京市燃气集团有限责任公司 一种应用于燃气计量设施环境下的图像增强方法、系统、终端及存储介质
CN113076899A (zh) * 2021-04-12 2021-07-06 华南理工大学 一种基于目标跟踪算法的高压输电线路异物检测方法
CN113326734A (zh) * 2021-04-28 2021-08-31 南京大学 一种基于YOLOv5的旋转目标检测方法
CN113326734B (zh) * 2021-04-28 2023-11-24 南京大学 一种基于YOLOv5的旋转目标检测方法
CN113435296A (zh) * 2021-06-23 2021-09-24 合肥云通物联科技有限公司 基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯
CN113901962A (zh) * 2021-12-06 2022-01-07 北京建筑大学 一种基于深度学习的非常态下行人识别方法及系统
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与系统
CN115327301A (zh) * 2022-08-30 2022-11-11 国网江苏省电力有限公司电力科学研究院 一种输电线电路异物识别检测方法、设备及储存介质
CN116229052B (zh) * 2023-05-09 2023-07-25 浩鲸云计算科技股份有限公司 一种基于孪生网络的变电站设备状态变化检测方法
CN116229052A (zh) * 2023-05-09 2023-06-06 浩鲸云计算科技股份有限公司 一种基于孪生网络的变电站设备状态变化检测方法
CN116843909A (zh) * 2023-05-12 2023-10-03 国家电网有限公司华东分部 电力线提取方法及装置、存储介质、计算机设备
CN116843909B (zh) * 2023-05-12 2024-03-08 国家电网有限公司华东分部 电力线提取方法及装置、存储介质、计算机设备
CN116665090A (zh) * 2023-05-15 2023-08-29 南通大学 一种基于轻量级网络的电力梯子检测方法
CN116503816B (zh) * 2023-06-28 2023-09-01 杭州久展电子有限公司 一种数据线缆的接脚分线检测方法
CN116503816A (zh) * 2023-06-28 2023-07-28 杭州久展电子有限公司 一种数据线缆的接脚分线检测方法

Also Published As

Publication number Publication date
CN111444809B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN111444809B (zh) 一种基于改进YOLOv3的输电线路异常目标检测方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN112434672B (zh) 一种基于改进YOLOv3的海上人体目标检测方法
CN105654067A (zh) 一种车辆检测方法及装置
CN106778472A (zh) 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN111738056B (zh) 一种基于改进YOLO v3的重卡盲区目标检测方法
CN111414807B (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN112734739B (zh) 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法
CN113469050A (zh) 基于图像细分类的火焰检测方法
CN114565891A (zh) 一种基于图形生成技术的烟火监测方法及系统
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN115187946A (zh) 井下障碍物点云与图像数据融合的多尺度智能感知方法
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN115880231A (zh) 一种基于深度学习的输电线路隐患检测方法和系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115909096A (zh) 无人机巡航管道隐患分析方法、装置及系统
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN110188682B (zh) 基于几何结构双路卷积网络的光学遥感图像目标检测方法
CN111767919A (zh) 一种多层双向特征提取与融合的目标检测方法
CN116994084A (zh) 区域入侵检测模型训练方法及区域入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant