CN111563557A - 一种电力电缆隧道内目标检测的方法 - Google Patents

Abstract

本发明公开了一种电力电缆隧道内目标检测的方法，包括以下步骤：S1，获取目标图像数据集，并按照比例划分为训练集和测试集；S2，对数据集中目标进行人工标注；S3，对标注后的训练集进行预处理；S4，提取训练集中目标信息；S5，基于YOLOV3网络搭建目标检测模型；S6，利用训练集数据对目标检测模型进行训练；S7，采用训练好的目标检测模型对电力电缆隧道内目标进行检测。本发明不仅能够快速识别电力电缆隧道内的目标，而且能够提升对电力电缆隧道内目标检测准确度。

Description

一种电力电缆隧道内目标检测的方法

技术领域

本发明涉及一种电力电缆隧道内目标检测的方法，属于计算机视觉与目标检测技术领域。

背景技术

随着网络通信、人工智能、视频分析等技术的发展，传统电力行业紧追人工智能发展机遇，结合电网企业业务特点，积极探索人工智能落地应用，如何让该技术应用于电力安全运行及维护管理上实现智能化、物联化、实用化，一直是电力企业关注的重点。

电力电缆隧道建在地面以下，具有空间小、不容易观测、巡检探查困难等特点，目前的防范措施耗费诸多人力且效果不佳，针对于此，在隧道角落内安装高清晰度AI摄像机，利用摄像机内置目标检测算法，当检测到目标设备时，比如人不带安全帽、防火门开或关、抱箍有无等情况时，及时触发摄像机拍照取证，将报警信号及场景图片及时有效地通过网络传输到监控中心或者现场管理人员的移动终端设备，让管理人员能够实时监测到电力电缆隧道现场情况，从而能够有效预防重大安全事故的发生。

物体检测过程中有很多不确定因素，如图像中物体数量不确定，物体有不同的外观、形状、姿态，加之物体成像时会有光照、遮挡、小目标检测精确度低等因素的干扰，导致检测算法有一定的难度。进入深度学习时代以来，物体检测发展主要集中在两个方向：twostage算法如R-CNN系列和one stage算法如YOLO、SSD等。两者的主要区别在于two stage算法需要先生成proposal(一个有可能包含待检物体的预选框)，然后进行细粒度的物体检测。而one stage算法会直接在网络中提取特征来预测物体分类和位置，相比其它检测算法，Yolov3算法的准确率和速度是最好的，但电力电缆隧道环境中的检测效果并不佳，无法快速有效地识别电力电缆隧道内的目标。

发明内容

为了解决上述问题，本发明提出了一种电力电缆隧道内目标检测的方法，不仅能够快速识别电力电缆隧道内的目标，而且能够提升对电力电缆隧道内目标检测准确度。

本发明解决其技术问题采取的技术方案是：

本发明实施例提供的一种电力电缆隧道内目标检测的方法，包括以下步骤：

S1，获取目标图像数据集，并按照比例划分为训练集和测试集；

S2，对数据集中目标进行人工标注；

S3，对标注后的训练集进行预处理；

S4，提取训练集中目标信息；

S5，基于YOLOV3网络搭建目标检测模型；

S6，利用训练集数据对目标检测模型进行训练；

S7，采用训练好的目标检测模型对电力电缆隧道内目标进行检测。

作为本实施例一种可能的实现方式，所述步骤S1具体为：通过安装在电力电缆隧道内的AI摄像机获取大量不同场景下的有人或者防火门的视频图像，每隔两秒保存一幅图像，并删除拍摄质量过差的图片，将采集图像按照4：1比例划分为训练集和测试集。

作为本实施例一种可能的实现方式，所述步骤S2具体为：对数据集中目标进行标注的对象包括带安全帽(havehat)、不带安全帽(nohat)、防火门开(dooropen)和防火门关(doorclose)四种类别，标注后并保存图像中每种目标的大小、位置和类别信息。

作为本实施例一种可能的实现方式，所述步骤S3具体为：检查是否有类别名标错或漏标的图像；将标注好的训练集分辨率统一调整到416*416大小；制作VOC格式的训练集。

作为本实施例一种可能的实现方式，所述制作VOC格式数据集的过程具体为：将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集，训练数据集包含Annotations、ImageSets和JPEGImages三个文件夹：Annotations文件夹存放图片标注信息的xml文件，ImageSets文件夹存放的都是txt文件，txt文件中每一行包含一个图片的名称，这些txt文件将数据集的图片分成训练集和测试集集合，JPEGImages文件夹包含所有的训练和测试验证图像。

作为本实施例一种可能的实现方式，所述步骤S4具体为：根据标注信息得到训练样本中隧道中人的头部安全帽区域与防火门区域的标注框尺寸信息提取出来，采用K-means聚类得到头部安全帽区域与防火门先验框的尺寸，并利用设定的3种尺度先验框聚类出9种尺寸的先验框。

9种尺寸的先验框分别是：(17x28)，(32x26)，(33x57)，(56x37)，(66x88)，(74x76)，(135x156)，(182x229)，(240x307)。在最小的4*4、2*2特征图上(有最大的感受野)应用较大的先验框(135x156)，(182x229)，(240x307)，适合检测较大的对象。在中等的16*16、8*8特征图上(中等感受野)应用中等的先验框(56x37)，(66x88)，(74x76)，适合检测中等大小的对象。在较大的64*64、32*32特征图上(较小的感受野)应用较小的先验框(17x28)，(32x26)，(33x57)，适合检测较小的对象。

作为本实施例一种可能的实现方式，所述步骤S5具体为：在Darknet深度学习框架中构建检测算法，以YOLOv3检测算法为基础，选取Darknet-53的网络结构(含有53个卷积层)，包含卷积层，池化层，Softmax层，采用全卷积，引入residul结构，采用Softmax分类器做训练，学习率0.001，批量大小为4，为采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay默认为0.0001，动力为0.9，批量标准化的衰减速率默认为0.997，池化层采用平均池化方式，同时将最大池化的Padding的模式设为SAME，迭代测试80000次。

作为本实施例一种可能的实现方式，所述步骤S6具体为：根据建立目标检测模型获取在COCO数据集上对80类物体预训练模型，将原始目标类别80改为4，构建含有6个不同尺度卷积层的特征金字塔，通过stride为2的卷积、以2倍步长对该特征金字塔，与建立的目标检测模型进行融合形成深度融合的快速目标检测模型，在训练集上对快速目标检测模型进行训练。

作为本实施例一种可能的实现方式，所述步骤S7具体为：将AI摄像机实时采集的图像输入训练好的快速目标检测模型中进行检测，在给定置信度阈值下得到初步检测结果，初步检测结果包括目标类别及目标边界框坐标；然后使用非极大值抑制算法去除冗余的目标边界框，从而识别出电力电缆隧道内的目标。

作为本实施例一种可能的实现方式，所述使用非极大值抑制算法去除冗余的目标边界框的过程具体为：

1)通过目标检测模型检测得到所有目标检测窗口及其得分score；

2)按照检测窗口得分score从高到低对检测窗口进行排序；

3)排序后分数最高的窗口被选为抑制窗口；

4)剩下得分比抑制窗口低的窗口则作为被抑制窗口，计算被抑制窗口与抑制窗口的面积重叠率overlap；

5)如果面积重合率高于设定阈值T，则对该窗口进行抑制，即将该窗口去除；

6)当只剩一个检测窗口则结束，否则继续选择下一个分数最高的窗口作为抑制窗口，转到步骤4)；经过非极大值抑制后，得到最终的检测结果。

作为本实施例一种可能的实现方式，在对目标检测模型进行训练前还包括训练集图像增强处理步骤。训练集图像增强处理包括：调整图像的曝光度、色调与饱和度，利用数据抖动以及水平翻策略生成更多的训练数据。

本发明实施例的技术方案可以具有的有益效果如下：

本发明实施例的技术方案从电力电缆隧道实际环境出发，针对图像分辨率低，神经网络提取效果差，光照不均匀、局部过度曝光、隧道空间小遮挡严重、小目标检测不准的问题展开研究，设计了一种新的目标检测算法，提出了六个尺度的特征层和通过stride为2的卷积实现下采样的目标检测网络，多尺度的特征图增加了图像细节信息，使其生成语义信息更丰富的特征图，从而提升隧道环境下的目标检测精度。采用K-Means聚类算法对行人真实标注框进行统计得到锚边框的尺度，以生成更高质量的候选窗口，提高了预测框回归的准确性，从而提升了电力电缆隧道内目标的检测精度。

本发明在YOLOV3网络上进行改进，由原来的3个尺度的特征层增加至6个尺度的特征层，通过stride为2的卷积实现下采样代替网络的上采样过程来快速有效地识别隧道内目标。

附图说明：

图1是根据一示例性实施例示出的一种电力电缆隧道内目标检测的方法的流程图；

图2是根据一示例性实施例示出的一种YOLOV3网络采用3个卷积层特征提取模块的示意图；

图3是根据一示例性实施例示出的一种YOLOV3网络采用6个卷积层特征提取模块的示意图；

图4(图4(a)至图4(f))是利用本发明的目标检测方法对电力电缆隧道内目标进行检测的实际效果图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

图1是根据一示例性实施例示出的一种电力电缆隧道内目标检测的方法的流程图。如图1所述，本发明实施例提供的一种电力电缆隧道内目标检测的方法，包括以下步骤：

S1，获取目标图像数据集，并按照比例划分为训练集和测试集；

S2，对数据集中目标进行人工标注；

S3，对标注后的训练集进行预处理；

S4，提取训练集中目标信息；

S5，基于YOLOV3网络搭建目标检测模型；

S6，利用训练集数据对目标检测模型进行训练；

S7，采用训练好的目标检测模型对电力电缆隧道内目标进行检测。

本发明不仅能够提升对电力电缆隧道内目标检测准确度，而且能够快速识别电力电缆隧道内的目标。

作为本实施例一种可能的实现方式，所述步骤S1具体为：通过安装在电力电缆隧道内的AI摄像机获取大量不同场景下的有人或者防火门的视频图像，每隔两秒保存一幅图像，并删除拍摄质量过差的图片，将采集图像按照4：1比例划分为训练集和测试集。在本实施例中，总共采集30000张左右图像作为训练集和测试集。

作为本实施例一种可能的实现方式，所述步骤S2具体为：对数据集中目标进行标注的对象包括带安全帽(havehat)、不带安全帽(nohat)、防火门开(dooropen)和防火门关(doorclose)四种类别，标注后(如图4所示)并保存图像中每种目标的大小、位置和类别信息。图像数据集的收集工作完成之后，对数据集进行人工标注。本发明使用的开源标注工具是LabelImg。

作为本实施例一种可能的实现方式，所述步骤S3具体为：检查是否有类别名标错或漏标的图像；将标注好的训练集分辨率统一调整到416*416大小；制作VOC格式的训练集。

作为本实施例一种可能的实现方式，所述制作VOC格式数据集的过程具体为：将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集，训练数据集包含Annotations、ImageSets和JPEGImages三个文件夹：Annotations文件夹存放图片标注信息的xml文件，ImageSets文件夹存放的都是txt文件，txt文件中每一行包含一个图片的名称，这些txt文件将数据集的图片分成训练集和测试集集合，JPEGImages文件夹包含所有的训练和测试验证图像。

作为本实施例一种可能的实现方式，所述步骤S4具体为：根据标注信息得到训练样本中隧道中人的头部安全帽区域与防火门区域的标注框尺寸信息提取出来，采用K-means聚类得到头部安全帽区域与防火门先验框的尺寸，并利用设定的3种尺度先验框聚类出9种尺寸的先验框。

9种尺寸的先验框分别是：(17x28)，(32x26)，(33x57)，(56x37)，(66x88)，(74x76)，(135x156)，(182x229)，(240x307)。在最小的4*4、2*2特征图上(有最大的感受野)应用较大的先验框(135x156)，(182x229)，(240x307)，适合检测较大的对象。在中等的16*16、8*8特征图上(中等感受野)应用中等的先验框(56x37)，(66x88)，(74x76)，适合检测中等大小的对象。在较大的64*64、32*32特征图上(较小的感受野)应用较小的先验框(17x28)，(32x26)，(33x57)，适合检测较小的对象。

作为本实施例一种可能的实现方式，所述步骤S5具体为：在Darknet深度学习框架中构建检测算法，以YOLOv3检测算法为基础，选取Darknet-53的网络结构(含有53个卷积层)，包含卷积层，池化层，Softmax层，采用全卷积，引入residul结构，采用Softmax分类器做训练，学习率0.001，批量大小为4，为采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay默认为0.0001，动力为0.9，批量标准化的衰减速率默认为0.997，池化层采用平均池化方式，同时将最大池化的Padding的模式设为SAME，迭代测试80000次。

作为本实施例一种可能的实现方式，所述步骤S6具体为：根据建立目标检测模型获取在COCO数据集上对80类物体预训练模型，将原始目标类别80改为4，构建含有6个不同尺度卷积层的特征金字塔，通过stride为2的卷积、以2倍步长对该特征金字塔，与建立的目标检测模型进行融合形成深度融合的快速目标检测模型，在训练集上对快速目标检测模型进行训练。

从官网获取在COCO数据集上对80类物体预训练模型，本发明用于隧道目标检测，仅带安全帽(havehat)、不带安全帽(nohat)、防火门开(dooropen)和防火门关(doorclose)四种类别，将原始目标类别80改为4，在获得的预训练模型在训练数据集上进行训练。

如图2所示，左边虚线框就是YOLOV3网络的特征提取模块的示意图，以416*416分辨率的图像作为输入，根据网络的深入，会产生3中不同尺度的特征图(52,26,13)，YOLOV3在这三个尺度上进行不同尺度的目标检测。如图2所示，整个网络中用到了上采样操作，这其实是一种相对比较耗时，而且性价比不高的手段，因此本发明在YOLOV3网络上进行改进，针对YOLOV3特征图尺度偏大，预测不准确的问题，本发明在主网络之后又增加了3个卷积层，如图3所示，与YOLOv3原有的3个卷积层共同构建成含有6个不同尺度卷积层的特征金字塔，即：64×64，32×32，16×16，8×8，4×4和2×2分辨率；同时，去掉网络的上采样过程，通过stride为2的卷积实现下采样，以2倍步长对该特征金字塔执行下采样操作，与前面的深度残差网络进行融合，形成深度融合的快速目标检测模型，最终实现六个尺度的detection，获得最终的检测模型。

作为本实施例一种可能的实现方式，所述步骤S7具体为：将AI摄像机实时采集的图像输入训练好的快速目标检测模型中进行检测，在给定置信度阈值(一般取0.5)下得到初步检测结果，初步检测结果包括目标类别及目标边界框坐标；然后使用非极大值抑制算法(NMS)去除冗余的目标边界框，从而识别出电力电缆隧道内的目标。

作为本实施例一种可能的实现方式，所述使用非极大值抑制算法去除冗余的目标边界框的过程具体为：

1)通过目标检测模型检测得到所有目标检测窗口及其得分score；

2)按照检测窗口得分score从高到低对检测窗口进行排序；

3)排序后分数最高的窗口被选为抑制窗口；

4)剩下得分比抑制窗口低的窗口则作为被抑制窗口，计算被抑制窗口与抑制窗口的面积重叠率overlap；

5)如果面积重合率高于设定阈值T，则对该窗口进行抑制，即将该窗口去除；

6)当只剩一个检测窗口则结束，否则继续选择下一个分数最高的窗口作为抑制窗口，转到步骤4)；经过非极大值抑制后，得到最终的检测结果。

作为本实施例一种可能的实现方式，在对目标检测模型进行训练前还包括训练集图像增强处理步骤。为了使模型对于不同尺寸的输入图像更加鲁棒，本发明采用多种数据增强策略，如调整图像的曝光度、色调与饱和度，利用数据抖动以及水平翻策略生成更多的训练数据，提高模型的泛化能力。

本发明在电力隧道场景中的检测效果如图4(a)至图4(f)所示，在不同光照、不同角度、遮挡的场景下均能够准确识别目标。

针对隧道环境特殊，光线变化频繁，隧道监控视频图像模糊，噪声多，目标分辨率低等问题，本发明以检测效果较好的改进YOLOV3检测网络为基础进行改进。首先针对原有YOLOV3网络在隧道环境下，对三个尺度特征层表达能力不足问题，本发明提出了六个尺度的特征层和通过stride为2的卷积实现下采样的目标检测网络，多尺度的特征图增加了图像细节信息，使其生成语义信息更丰富的特征图，从而提升隧道环境下的目标检测精度。采用K-Means聚类算法对行人真实标注框进行统计得到锚边框的尺度，以生成更高质量的候选窗口，提高了预测框回归的准确性，从而提升了检测精度。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视作为本发明的保护范围。

Claims (10)

1.一种电力电缆隧道内目标检测的方法，其特征是，包括以下步骤：

S1，获取目标图像数据集，并按照比例划分为训练集和测试集；

S2，对数据集中目标进行人工标注；

S3，对标注后的训练集进行预处理；

S4，提取训练集中目标信息；

S5，基于YOLOV3网络搭建目标检测模型；

S6，利用训练集数据对目标检测模型进行训练；

S7，采用训练好的目标检测模型对电力电缆隧道内目标进行检测。

2.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S1具体为：通过安装在电力电缆隧道内的AI摄像机获取大量不同场景下的有人或者防火门的视频图像，每隔两秒保存一幅图像，并删除拍摄质量过差的图片，将采集图像按照4：1比例划分为训练集和测试集。

3.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S2具体为：对数据集中目标进行标注的对象包括带安全帽、不带安全帽、防火门开和防火门关四种类别，标注后并保存图像中每种目标的大小、位置和类别信息。

4.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S3具体为：检查是否有类别名标错或漏标的图像；将标注好的训练集分辨率统一调整到416*416大小；制作VOC格式的训练集。

5.根据权利要求4所述的一种电力电缆隧道内目标检测的方法，其特征是，所述制作VOC格式数据集的过程具体为：将图像数据和标注信息一起制作成PASCAL VOC格式的训练数据集，训练数据集包含Annotations、ImageSets和JPEGImages三个文件夹：Annotations文件夹存放图片标注信息的xml文件，ImageSets文件夹存放的都是txt文件，txt文件中每一行包含一个图片的名称，这些txt文件将数据集的图片分成训练集和测试集集合，JPEGImages文件夹包含所有的训练和测试验证图像。

6.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S4具体为：根据标注信息得到训练样本中隧道中人的头部安全帽区域与防火门区域的标注框尺寸信息提取出来，采用K-means聚类得到头部安全帽区域与防火门先验框的尺寸，并利用设定的3种尺度先验框聚类出9种尺寸的先验框。

7.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S5具体为：在Darknet深度学习框架中构建检测算法，以YOLOv3检测算法为基础，选取Darknet-53的网络结构，包含卷积层、池化层和Softmax层，采用全卷积，引入residul结构，采用Softmax分类器做训练，学习率0.001，批量大小为4，为采用批量标准化对权重参数和偏置参数进行迭代训练，设置权重衰减速率weight_decay默认为0.0001，动力为0.9，批量标准化的衰减速率默认为0.997，池化层采用平均池化方式，同时将最大池化的Padding的模式设为SAME，迭代测试80000次。

8.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S6具体为：根据建立目标检测模型获取在COCO数据集上对80类物体预训练模型，将原始目标类别80改为4，构建含有6个不同尺度卷积层的特征金字塔，通过stride为2的卷积、以2倍步长对该特征金字塔，与建立的目标检测模型进行融合形成深度融合的快速目标检测模型，在训练集上对快速目标检测模型进行训练。

9.根据权利要求1所述的一种电力电缆隧道内目标检测的方法，其特征是，所述步骤S7具体为：将AI摄像机实时采集的图像输入训练好的快速目标检测模型中进行检测，在给定置信度阈值下得到初步检测结果，初步检测结果包括目标类别及目标边界框坐标；然后使用非极大值抑制算法去除冗余的目标边界框，从而识别出电力电缆隧道内的目标。

10.根据权利要求9所述的一种电力电缆隧道内目标检测的方法，其特征是，所述使用非极大值抑制算法去除冗余的目标边界框的过程具体为：

1)通过目标检测模型检测得到所有目标检测窗口及其得分score；

2)按照检测窗口得分score从高到低对检测窗口进行排序；

3)排序后分数最高的窗口被选为抑制窗口；

4)剩下得分比抑制窗口低的窗口则作为被抑制窗口，计算被抑制窗口与抑制窗口的面积重叠率overlap；

5)如果面积重合率高于设定阈值T，则对该窗口进行抑制，即将该窗口去除；

6)当只剩一个检测窗口则结束，否则继续选择下一个分数最高的窗口作为抑制窗口，转到步骤4)；经过非极大值抑制后，得到最终的检测结果。

Images