CN115641431A - 一种基于改进深度学习的输电线工程车辆检测方法 - Google Patents

Abstract

本发明涉及人工智能图像识别技术领域，尤其涉及一种改进深度学习的输电线工程车辆检测方法，包括：步骤1：采集输电线下工程车辆入侵图像进行分类和标注，生成带有类别标签的工程车辆图像数据集；步骤2：构建基于改进YOLOv5s深度学习网络的输电线下工程车辆检测模型并通过工程车辆图像训练工程车辆检测模型；其中，在YOLOv5s深度学习网络中的骨干网络模块Backbone后级联感受野模块RFB形成改进YOLOv5s深度学习网络；步骤3：通过训练好的工程车辆检测模型进行待检测图像的置信度识别，基于置信度确认目标输出。本发明实现输电线工程车辆的实时检测，提高了检测精度。

Description

一种基于改进深度学习的输电线工程车辆检测方法

技术领域

本发明涉及人工智能图像识别技术领域，尤其涉及一种改进深度学习的输电线工程车辆检测方法。

背景技术

随着国家基础设施建造的迅猛发展，大量工程车辆入侵输电线场景进行工程作业的现象屡见不鲜。工程车辆施工造成输电线破坏的事故时有发生，而电力线作为电力系统传输电能的重要部件，因此提高其巡检质量和运维水平迫在眉睫。电力线巡检是供电工人日常巡查的重要内容之一，但人工巡检工作劳动强度大，尤其遇到恶劣的气候或地形条件，巡检及时性和实时性差，效率低下，人工巡检容易出现漏检等问题，输电安全仍存在隐患。因此，采用实时有效的目标检测方法对输电线场景下的工程车辆实现及时检测具有重要意义。

现今，运用智能化的技术提高巡检质量，降低运维成本，是未来巡检运维的主流思路。尤其随着近年来卷积神经网络的发展，基于深度学习技术的目标检测网络发展到了一个新的高度，将其用于工程车辆的检测成为新的发展趋势。但基于深度学习的目标检测算法对样本的质量要求较高，工程车辆作为电力线通道大场景中的小目标，当受到天气及昼夜光线等自然条件的影响，再加上小目标本身像素少，经过多层卷积运算后提取的特征不明显，导致检测网络对小目标识别不到，检测精度低。在现有目标检测方法的基础上将整个检测流程进一步优化改进，将其用于工程车辆的实时检测是一种相对较为可行的实现智能化线路巡检的技术手段。

发明内容

本发明的目的是为了提供一种改进深度学习的输电线工程车辆检测方法，实现输电线工程车辆的实时检测，提高了检测精度。

为解决以上技术问题，本发明的技术方案为：一种改进深度学习的输电线工程车辆检测方法，包括：

步骤1：采集输电线下工程车辆入侵图像进行分类和标注，生成带有类别标签的工程车辆图像数据集；

步骤2：构建基于改进YOLOv5s深度学习网络的输电线下工程车辆检测模型并通过工程车辆图像训练工程车辆检测模型；其中，在YOLOv5s深度学习网络中的骨干网络模块Backbone后级联感受野模块RFB（Receptive Field Block）形成改进YOLOv5s深度学习网络；

步骤3：通过训练好的工程车辆检测模型进行待检测图像的置信度识别，基于置信度确认目标输出。

进一步地，步骤1中，通过IabelImg标注工具对输电线路通道场景图像中的施工车辆进行标注矩形框，标注好的图像包括jpg格式的图片及多个xml文件，jpg格式的图片中包含多种工程车辆类型作为标签的选框，标注生成相应的xml文件中保存有不同种类工程车辆的选框坐标。

进一步地，步骤2具体包括：

步骤201：搭建YOLOv5s深度学习网络（You Only Look Once v5s）结构模型，对YOLOv5s网络结构模型进行改进，得到改进的YOLOv5s深度学习网络；具体为：对官方的YOLOv5s深度学习网络进行改进，YOLOv5s深度学习网络包括：输入端Input、骨干网络模块Backbone、特征融合模块Neck和预测端Prediction；在骨干网络模块Backbone后级联感受野模块RFB，在预测端Prediction中将原损失函数CIOU（Complete Intersection overUnion）替换为损失函数EIOU（Efficient IOU Loss），得到改进YOLOv5s深度学习网络；

步骤202：使用工程车辆图像数据集对改进YOLOv5s深度学习网络进行训练得到输电线下工程车辆检测模型；具体为：

步骤2021：采集的工程车辆图像输入至输入端Input，输入端Input采用马赛克Mosaic数据增强方法进行自适应锚框计算，然后进行自适应图片缩放；

步骤2022：再进入骨干网络模块Backbone中，首先通过CBS模块将输入图像进行卷积、批量归一化和函数激活后实现特征提取，其次使用跨阶段局部网络CSP1_X将输入分为两个分支，其中一支流向残差结构后卷积再与另一支的卷积图像进行通道融合；然后通过空间金字塔池化模块（SPPF，Spatial Pyramid Pooling Fast）进行最大池化操作后经过级联到SPPF模块之后的感受野模块RFB进行特征连接；

步骤2023：将经过Backbone模块提取的工程车辆特征图输入到特征融合模块Neck中，特征融合模块Neck通过特征金字塔FPN（Feature Pyramid Network）由深至浅逐层对特征图进行特征增强，再通过网络聚合结构PANet（Path Aggregation Network）分别与由浅至深下采样后同一尺度的特征图对应拼接进行特征融合，将获得的融合特征图输出；

步骤2024：将融合特征图输入至预测端Prediction，预测端Prediction通过边界框损失函数EIOU使预测框与真实框的宽度和高度之差最小，从而输出预测框。

进一步地，所述步骤2在训练输电线下工程车辆检测模型后通过计算模型平均精度值评价模型的检测精度；若当前检测模型的平均精度值≧预设平均精度值阈值，则输出当前检测模型；若平均精度值﹤预设平均精度值阈值，则继续训练，直至检测模型的平均精度值≧预设平均精度值阈值。

进一步地，步骤3具体包括：

步骤301：预设置信度下阈值和置信度上阈值；

步骤302：获取预测框对应的置信度；剔除置信度小于置信度下阈值的预测框；提取置信度位于置信度下阈值以上且置信度上阈值以下的预测框作为可疑目标转至步骤303进行二次识别；将置信度大于置信度上阈值的预测框转至步骤304；

步骤303：对可疑目标进行图像增强，然后输入到工程车辆检测模型进行二次识别，获取识别后的预测框对应的置信度，提取置信度大于置信度上阈值的预测框并增加至步骤304中作为增加的确认检测目标；

步骤304：将确认检测目标输出得到目标检测图。

进一步地，步骤301中的置信度下阈值预设为0.05，置信度上阈值预设为0.25。

进一步地，步骤303中的图像增强具体包括插值补全方法和边缘锐化方法。

进一步地，插值补全方法具体为：利用双线性插值算法对可疑目标的局部目标区域进行图像放大，双线性插值方法在两个方向分别进行一次线性插值，计算周围纹理像素的属性的加权平均值，并将其应用于屏幕像素，实现图像放大。

进一步地，边缘锐化方法具体为：将目标图像进行直方图均衡化，通过改变图像的直方图来改变图像中各像素的灰度，进而增强动态范围偏小的图像的对比度；在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，从而增大对比度，使图像清晰，达到增强的目的；

接着进行将处理后的图片进行边缘增强，先使用高通滤波，提取图像边缘，进而锐化图像，允许高频通过，将提取的高频部分加到原图上，从而强化图像的边缘信息，达到锐化图像的效果。

本发明具有如下有益效果：

一、本发明提供了一种基于改进深度学习的工程车辆检测方法，在YOLOv5s算法的基础上，在骨干网络模块Backbone中的空间金字塔池化SPPF模块后级联RFB模块，增强YOLOv5s网络的特征提取能力，将YOLOv5s中预测端Prediction的损失函数替换成更具泛化能力的EIoU，进而提高对小目标物体的检测能力，进一步解决了原网络检测在工程车辆因目标小，图像模糊，物体遮挡出现的问题。

二、对改进后的YOLOv5s网络对输电线下的工程车辆进行检测识别，轻量化的YOLOv5s模型能够部署在jetson nano等边缘计算平台上，并搭建于输电杆塔进行实时检测，相较于人工巡检该检测方法整体所需的硬件成本较为低廉。

三、本发明检测方法对经过改进后的YOLOv5s检测网络后置信度低的可疑目标运用图像增强算法然后重新输入检测模型进行了二次识别，最终在不增加误报的情况下，减少了漏报。

四、本发明检测方法能够同时检测摄像头画面中的多个入侵的工程车辆目标，监控检测范围较大、检测效率较高。

附图说明

图1为本发明实施例工程车辆检测方法流程图；

图2为本实施例中原始YOLO v5s网络的结构图；

图3为本实施例中原始YOLO v5s网络中的CBS模块、CSP1_X、CSP2_X、Resunit、SPPF的结构图；

图4为本发明实施例中对原始YOLO v5s网络中骨干网络模块Backbone改进后的结构示意图；

图5为本发明实施例中RFB的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。

请参考图1，本发明为一种基于改进深度学习的输电线工程车辆检测方法，包括：

步骤1：采集输电线下工程车辆入侵图像进行分类和标注，生成带有类别标签的工程车辆图像数据集；

步骤2：构建基于改进YOLOv5s深度学习网络的输电线下工程车辆检测模型并通过工程车辆图像训练工程车辆检测模型；其中，在YOLOv5s深度学习网络中的骨干网络模块Backbone后级联感受野模块RFB形成改进YOLOv5s深度学习网络；

步骤3：通过训练好的工程车辆检测模型进行待检测图像的置信度识别，基于置信度确认目标输出。

下面分别对图1中的各个步骤进行具体说明。

在步骤1中，利用架设在杆塔的相机或探头，采集输电线下工程车辆照片；由于工程车辆采用的是监督式学习，所以需要人工利用IabelImg标注工具对输电线路通道场景图像中的施工车辆进行标注矩形框，标注好的图像包括jpg格式的图片及多个xml文件，jpg格式的图片中有多种工程车辆的选框，共2500张图片，其中吊车1170张，挖掘机67张，水泥浇灌车115张，压路机149张，混凝土搅拌车207张，铲车108张，塔吊384张，依次将7类工程车按标签crane、excavator、concrete_pour_truck、roller、mixer_truck、forklift、towercrane进行标注，标注生成相应的xml文件中保存有不同种类工程车辆的选框坐标，将图片及xml文件一同输入至待训练的改进YOLOv5s深度学习网络中进行训练。

步骤1中，将工程车辆数据集分为训练集、验证集与测试集，其中60%作为训练集，20%作为验证集，20%作为测试集。

在步骤2中，步骤2具体包括：

步骤201：搭建YOLOv5s深度学习网络结构模型，对YOLOv5s网络结构模型进行改进，得到改进的YOLOv5s深度学习网络；具体为：对官方的YOLOv5s深度学习网络即原始YOLOv5s深度学习网络进行改进，结合图2和图3，YOLOv5s深度学习网络包括：输入端Input、骨干网络模块Backbone、特征融合模块Neck和预测端Prediction；在骨干网络模块Backbone后级联感受野模块RFB，在预测端Prediction中将原损失函数CIOU替换为损失函数EIOU，得到改进YOLOv5s深度学习网络，参阅图4和图5；

步骤202：使用工程车辆图像数据集对改进YOLOv5s深度学习网络进行训练得到输电线下工程车辆检测模型；训练相关参数设置如下：初始学习率为0.001，最大迭代次数（数据集训练次数）为300，批处理量为64，输入图片大小为416*416。

步骤202具体为：

步骤2021：采集的工程车辆图像输入至输入端Input，输入端Input 采用马赛克Mosaic数据增强方法进行自适应锚框计算，然后进行自适应图片缩放；输入端采用Mosaic数据增强方法、自适应锚框计算和自适应图片缩放进行数据增强，提升推理速度；

步骤2022：再进入骨干网络模块Backbone中，首先通过CBS模块将输入图像进行卷积、批量归一化和函数激活后实现特征提取，其次使用跨阶段局部网络CSP1_X将输入分为两支，其中一支流向残差结构后卷积再与另一支的卷积图像进行通道融合；然后通过空间金字塔池化模块SPPF进行最大池化操作后经过级联到SPPF模块之后的感受野模块RFB进行特征连接；

步骤2022中，CBS模块包括卷积模块（Conv，Convolution）+ 批量归一化（BN，BatchNormalization）+ 激活函数（SiLU，Sigmoid Weighted Liner Unit）；跨阶段局部网络CSP1_X将输入分为两个分支，一个分支先通过CBS，再经过多个残差结构，另一个分支直接进行卷积；然后两个分支连接，最后经过CBS；

步骤2022中，感受野模块RFB结构是不同尺寸卷积核的卷积层构成的多分枝结构，参阅图3中，图3中用不同大小的圆形表示多分枝结构。此外RFB结构中用不同rate表示空洞卷积层（dilated）的参数，最后将不同尺寸和rate的卷积层输出进行连接，达到融合不同特征的目的。整个构建思路模拟人类视觉的感受野，其中dilated 卷积层在保持参数量可扩大感受野，用来获取更高分辨率的特征；因此通过级联RFB模块，可有效增大感受野。

步骤2023：将经过Backbone模块提取的工程车辆特征图输入到特征融合模块Neck中，特征融合模块Neck通过特征金字塔FPN由深至浅逐层对特征图进行特征增强，再通过网络聚合结构PANet分别与由浅至深下采样后同一尺度的特征图对应拼接进行特征融合，将获得的融合特征图输出；

步骤2024：将融合特征图输入至预测端Prediction生成预测目标框，预测端Prediction中，将原始YOLOv5s网络的损失函数CIOU替换为EIOU损失函数，进行重叠损失，中心距离损失，宽高损失，使预测框与真实框的宽度和高度之差最小，从而最终输出预测框。

上述步骤2中，通过数据集中的训练集进行训练，训练好后基于验证集通过计算平均精度值（mAP , mean Average Precision，各类别的P-R曲线下面积的均值）对输电线下工程车辆检测模型的检测精度进行验证。因此，步骤2最后还包括以下步骤：步骤2在构建并训练输电线下工程车辆检测模型后通过计算模型平均精度值评价模型的检测精度；若当前检测模型的平均精度值≧预设平均精度值阈值，则表明当前模型检测效果符合要求，输出当前检测模型；若平均精度值﹤预设平均精度值阈值，则返回训练步骤，利用更多的训练集数据继续训练检测模型，直至检测模型的平均精度值≧预设平均精度值阈值。本实施例中，预设的平均精度值阈为0.8。

在步骤3中，步骤3具体包括：

步骤301：预设置信度下阈值和置信度上阈值；本实施例中，置信度下阈值预设为0.05，置信度上阈值预设为0.25；

步骤302：获取预测框对应的置信度；剔除置信度小于0.05的预测框；提取置信度位于0.05~0.25之间的预测框作为可疑目标并转至步骤303进行二次识别；将置信度大于0.25的预测框转至步骤304；

步骤303：对可疑目标进行图像增强，然后输入到工程车辆检测模型进行二次识别，预测框来判断是否有工程车辆入侵的情况；

在步骤303中，图像增强具体包括插值补全方法和边缘锐化方法；本实施例中插值补全后进行边缘锐化；

插值补全方法具体为：先利用双线性插值算法对可疑目标的局部目标区域进行图像放大，双线性插值方法在两个方向分别进行一次线性插值，计算周围四个点的纹理像素属性的加权平均值，并将其应用于屏幕像素；其中周围纹理像素的属性具体包括颜色与透明度。简单来说利用原图像中4个点计算新图像中一个点，以达到放大图片的效果。

边缘锐化方法具体为：接着将放大的局部目标图像进行直方图均衡化，通过改变图像的直方图来改变图像中各像素的灰度，进而增强动态范围偏小的图像的对比度。原始图像由于其灰度分布可能集中在较窄的区间，造成图像不够清晰。例如，过曝光图像的灰度级集中在高亮度范围内，而曝光不足将使图像灰度级集中在低亮度范围内。采用直方图均衡化，可以把原始图像的直方图变换为均匀分布即均衡的形式，这样就增加了像素之间灰度值差别的动态范围，从而达到增强图像整体对比度的效果。换言之，直方图均衡化的基本原理是：对在图像中像素个数多的灰度值即对画面起主要作用的灰度值进行展宽，而对像素个数少的灰度值即对画面不起主要作用的灰度值进行归并，从而增大对比度，使图像清晰，达到增强的目的；接着进行将处理后的图片进行边缘增强，先使用高通滤波，提取图像边缘，进而锐化图像，允许高频通过。将高通滤波提取的高频部分加到原图上，从而强化图像的边缘信息，达到锐化图像的效果。

步骤303中二次识别后的具体判定条件如下：

1）当经过二次识别后原可疑目标置信度提高到0.25以上，提取置信度大于0.25的预测框并增加至步骤304中作为增加的确认检测目标；

2）当二次识别后可疑目标仍介于0.05与0.25之间，将此目标继续列为可疑目标，并进一步运用图像增强算法进行图像处理，处理后输入检测模型进行再次识别；

如此往复，本实施例中检测大场景小目标图片总数108张，其中一次识别漏报24张，二次识别检测到7张，减少漏报7/24=29%，没有增加误报。

步骤304：将确认检测目标输出得到目标检测图。

本发明实施例首先构建改进的YOLO v5s网络模型，并制作相应的工程车辆图像数据集对网络模型加以训练；之后利用训练好的网络模型识别监控图像中的工程车辆，通过预测框判断输电线路下是否有工程车辆的入侵。提取置信度在0.05之上而小于0.25的目标作为可疑目标，接着对可疑目标的区域进行图像处理，包括边缘锐化、插值补全算法处理后，再次输入到检测模型进行二次识别，提取置信度在0.25之上的识别目标作为增加的确认目标。

本发明未涉及部分均与现有技术相同或采用现有技术加以实现。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于改进深度学习的输电线工程车辆检测方法，其特征在于：包括

步骤1：采集输电线下工程车辆入侵图像进行分类和标注，生成带有类别标签的工程车辆图像数据集；

步骤2：构建基于改进YOLOv5s深度学习网络的输电线下工程车辆检测模型并通过工程车辆图像训练工程车辆检测模型；其中，在YOLOv5s深度学习网络中的骨干网络模块Backbone后级联感受野模块RFB形成改进YOLOv5s深度学习网络；

步骤3：通过训练好的工程车辆检测模型进行待检测图像的置信度识别，基于置信度确认目标输出。

2.根据权利要求1所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：步骤1中，通过IabelImg标注工具对输电线路通道场景图像中的施工车辆进行标注矩形框，标注好的图像包括jpg格式的图片及多个xml文件，jpg格式的图片中包含多种工程车辆类型作为标签的选框，标注生成相应的xml文件中保存有不同种类工程车辆的选框坐标。

3.根据权利要求1所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：步骤2具体包括：

步骤201：搭建YOLOv5s深度学习网络结构模型，对YOLOv5s网络结构模型进行改进，得到改进的YOLOv5s深度学习网络；具体为：对官方的YOLOv5s深度学习网络进行改进，YOLOv5s深度学习网络包括：输入端Input、骨干网络模块Backbone、特征融合模块Neck和预测端Prediction；在骨干网络模块Backbone后级联感受野模块RFB，在预测端Prediction中将原损失函数CIOU替换为损失函数EIOU，得到改进YOLOv5s深度学习网络；

步骤202：使用工程车辆图像数据集对改进YOLOv5s深度学习网络进行训练得到输电线下工程车辆检测模型；具体为：

步骤2021：采集的工程车辆图像输入至输入端Input，输入端Input采用马赛克Mosaic数据增强方法进行自适应锚框计算，然后进行自适应图片缩放；

步骤2022：再进入骨干网络模块Backbone中，首先通过CBS模块将输入图像进行卷积、批量归一化和函数激活后实现特征提取，其次使用跨阶段局部网络CSP1_X将输入分为两个分支，其中一支流向残差结构后卷积再与另一支的卷积图像进行通道融合；然后通过空间金字塔池化模块SPPF进行最大池化操作后经过级联到SPPF模块之后的感受野模块RFB进行特征连接；

步骤2023：将经过Backbone模块提取的工程车辆特征图输入到特征融合模块Neck中，特征融合模块Neck通过特征金字塔FPN由深至浅逐层对特征图进行特征增强，再通过网络聚合结构PANet分别与由浅至深下采样后同一尺度的特征图对应拼接进行特征融合，将获得的融合特征图输出；

步骤2024：将融合特征图输入至预测端Prediction，预测端Prediction通过边界框损失函数EIOU使预测框与真实框的宽度和高度之差最小，从而输出预测框。

4.根据权利要求1所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：所述步骤2在训练输电线下工程车辆检测模型后通过计算模型平均精度值评价模型的检测精度；

若当前检测模型的平均精度值≧预设平均精度值阈值，则输出当前检测模型；若平均精度值﹤预设平均精度值阈值，则继续训练，直至检测模型的平均精度值≧预设平均精度值阈值。

5.根据权利要求1所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：步骤3具体包括：

步骤301：预设置信度下阈值和置信度上阈值；

步骤302：获取预测框对应的置信度；剔除置信度小于置信度下阈值的预测框；提取置信度位于置信度下阈值以上且置信度上阈值以下的预测框作为可疑目标转至步骤303进行二次识别；将置信度大于置信度上阈值的预测框转至步骤304；

步骤303：对可疑目标进行图像增强，然后输入到工程车辆检测模型进行二次识别，获取识别后的预测框对应的置信度，提取置信度大于置信度上阈值的预测框并增加至步骤304中作为增加的确认检测目标；

步骤304：将确认检测目标输出得到目标检测图。

6.根据权利要求5所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：步骤301中的置信度下阈值预设为0.05，置信度上阈值预设为0.25。

7.根据权利要求5所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：步骤303中的图像增强具体包括插值补全方法和边缘锐化方法。

8.根据权利要求7所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：插值补全方法具体为：利用双线性插值算法对可疑目标的局部目标区域进行图像放大，双线性插值方法在两个方向分别进行一次线性插值，计算周围纹理像素的属性的加权平均值，并将其应用于屏幕像素，实现图像放大。

9.根据权利要求7所述的基于改进深度学习的输电线工程车辆检测方法，其特征在于：边缘锐化方法具体为：将目标图像进行直方图均衡化，通过改变图像的直方图来改变图像中各像素的灰度，进而增强动态范围偏小的图像的对比度；在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，从而增大对比度，使图像清晰，达到增强的目的；

接着进行将处理后的图片进行边缘增强，先使用高通滤波，提取图像边缘，进而锐化图像，允许高频通过，将提取的高频部分加到原图上，从而强化图像的边缘信息，达到锐化图像的效果。

Images