CN109840905A - 电力设备锈迹检测方法及系统 - Google Patents

Abstract

本公开提供了一种电力设备锈迹检测方法及系统，提高了电力设备上锈迹的检测效果。该方法包括以下步骤：采集电力设备的锈迹图像，并对其进行预处理，得到训练集；将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口。

Description

电力设备锈迹检测方法及系统

技术领域

本公开涉及电力设备检测领域，具体涉及一种电力设备锈迹检测方法及系统。

背景技术

随着社会的发展，电力成为人们生活中不可或缺的一部分，电力设备中的某一个部件发生锈蚀，就有可能导致突发性的停电等问题，造成无法挽回的经济损失。通过人力进行设备的巡检不仅成本高而且巡检周期长，效率低下。利用无人机巡检，带回大量的视频图像数据，需要一种针对电力设备发生的锈蚀进行目标检测的方法。

目前目标检测与识别的研究方法主要有两大类：基于传统图像处理和机器学习算法的目标检测与识别方法。针对电力设备上的锈迹等缺陷进行检测，利用图像形态学检测，使用Otsu算法对Canny算子进行改良来提取图像边缘，实现对电力设备上锈迹的检测识别，但其方法在应用中较容易受光照等外界条件的影响，导致检测效果不理想。

如今，基于深度学习的目标检测与识别成为主流方法，与传统的锈迹等缺陷检测的算法不同，它能够根据输入到网络中的图像和标签数据，通过深层网络的训练学习，自动生成相应的特征描述，具有普适性。利用目前流行的目标检测算法，如Faster R-CNN等对电力设备上的锈迹进行检测，由于锈迹大小、形状不规则，容易受图像噪声的干扰从而难以提取精确的目标特征，尤其当目标尺度变小时，其内部特征的连续性会变弱，而且提取到的特征的维度很低，极容易导致出现过拟合现象。识别效果不理想。针对锈迹的特点，想到通过语义分割的方法进行精确到像素级别的分类识别，但是利用全卷积网络需对输入的整张图像进行网络的训练和图像的分割，而锈迹在图像中的位置和大小并不固定，当锈迹在图像中的尺寸较小时，图像的背景内容在训练的过程中会产生较严重的干扰。同样，在图像分割阶段也会受到图像背景部分的影响。

综上所述，目前对于电力设备锈迹检测中提取到的特征的维度很低，极容易导致出现过拟合现象，识别效果不理想的问题，尚缺乏有效的解决方案。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于区域候选网络(RPN)和全卷积网络(FCN)的电力设备锈迹检测方法及系统，提高了电力设备上锈迹的检测效果。

本公开所采用的技术方案是：

一种电力设备锈迹检测方法，该方法包括以下步骤：

采集电力设备的锈迹图像，并对其进行预处理，得到训练集；

将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；

利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；

通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；

将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口。

进一步的，对采集到的锈迹图像进行预处理的步骤包括：

对采集到的锈迹图像分别进行预处理，包括图像旋转、垂直及水平镜像翻转、尺度变换和增加困难样本；

利用预处理后的图像数据构建训练集。

通过上述技术方案，对采集到的电力设备锈迹图片进行预处理，扩大训练集的规模，防止数据量小导致的过拟合问题，提高训练效果。

进一步的，所述改进后的全卷积网络包括多个不同尺度膨胀卷积。

进一步的，所述提取锈迹图像的多尺度特征的步骤包括：

将训练集中锈迹图像作为改进后的全卷积网络的输入，输入到改进后的全卷积网络中进行训练；

在改进后的全卷积网络的池化层后，采用并行的多个不同采样率的膨胀卷积层对输入的锈迹图像进行不同程度的缩放，获得不同大小的电力设备锈迹图像的特征信息；

通过池化操作将多个膨胀卷积层上的特征信息进行融合，生成固定长度的特征图。

通过上述技术方案，采用具有多尺度膨胀卷积的改进后的全卷积网络提取锈迹图像的多尺度特征，提高电力设备上锈迹检测的准确率和分割精度；采用多尺度膨胀卷积的操作可以降低池化层的影响，能够增大感受野，计算量也不会变大，小目标信息也不会丢失，减少漏检，提高分割精度。

进一步的，生成多个候选的目标检测窗口后，利用区域候选网络中非极大值抑制算法消除交叉重复的目标检测窗口。

进一步的，所述通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果的步骤包括：

将训练集作为神经网络的输入进行深度学习训练；

训练集中锈迹图像经过目标检测窗口获得一个分数图；

在神经网络的第一层中，设置两个并行分层，第二个分层设置有两个通道，通过第一个通道得到训练集中图像经过目标检测窗口的得分，并将该得分参数计入分数图中。

通过上述技术方案，采用深度学习方法获取每个候选检测窗口的得分，减少了人工经验的参与，提高泛化能力。

进一步的，所述将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口的步骤包括：

按照目标检测窗口的得分高低，将目标检测窗口排序，筛选得分最高的检测窗口；

遍历计算剩余窗口与得分最高的检测窗口的重叠面积比例，从剩余窗口中选择得分最高的检测窗口，重复上述过程，直到所有的窗口都选择完成，得到最佳的目标检测窗口；

标定出最佳的目标检测窗口，完成目标检测。

一种电力设备锈迹检测系统，该系统包括：

数据采集单元，用于采集电力设备的锈迹图像，并传输至锈迹检测单元；

锈迹检测单元，用于对接收到的锈迹图像进行预处理，得到训练集；将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口；

数据输出单元，用于输出得到的最佳的目标检测窗口。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种电力设备锈迹检测方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种电力设备锈迹检测方法。

通过上述技术方案，本公开的有益效果是：

(1)本公开对采集到的设备锈迹图像进行预处理操作，扩大数据集的规模，防止过拟合；

(2)本公开采用多尺度膨胀卷积的改进的FCN网络提取锈迹图像的多尺度特征，减少图像信息的丢失，在不增加计算量的前提下，增大感受野，提高分割精度；

(3)本公开通过区域候选网络得到多个目标候选区域，减少了背景对图像分割阶段的影响，实现在像素级别上对电力锈蚀进行分类定位。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是根据一种或多种实施方式的电力设备锈迹检测方法流程图；

图2是根据一种或多种实施方式的改进后的FCN网络提取锈迹图像的多尺度特征流程图；

图3是根据一种或多种实施方式的利用RPN网络得到多个候选的目标检测窗口流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

名词解释：

(1)FCN，也就是Fully Convolutional Network，是一个不包含全连接层的全卷积网络；

(2)RPN为区域候选网络；

(3)NMS：non maximum suppression，为非极大值抑制。

一种或多种实施例提供一种电力设备锈迹检测方法。图1是该电力设备锈迹检测方法的流程图，该电力设备锈迹检测方法包括以下步骤：

S101，采集电力设备的锈迹图像，并对采集到的锈迹图像进行预处理，形成训练集。

具体的，所述步骤101中，通过摄像头采集电力设备的锈迹图像，并传输到处理器中进行预处理。

具体的，所述步骤S101中，对采集到的锈迹图像进行预处理，其具体实现可以采用如下方案：

对采集到的锈迹图像分别进行图像旋转、垂直及水平镜像翻转、尺度变换、增加困难样本等操作，利用预处理后的图像数据构建训练集，实现对训练集进行扩充，扩大训练集的规模，防止数据量小导致的过拟合问题，从而提高模型的训练效果。

S102，将训练集输入到改进后的FCN网络进行训练，提取锈迹图像的多尺度特征，生成特征图。

由于现有的FCN网络在电力设备锈迹检测方面存在精度不够，存在边缘缺失的问题，为了提高分割精度，本实施例对FCN网络进行改进，改进后的FCN网络如图2所示，改进后的FCN网络具有多尺度膨胀卷积。

具体的，所述步骤102中，将训练集中锈迹图像作为改进后的FCN网络的输入，输入到改进后的FCN网络中进行训练，提取锈迹图像的多尺度特征。

具体的，提取锈迹图像的多尺度特征，其采用如下方案实现：

S102-1，在改进后的FCN网络的池化层后，采用并行的3个不同采样率的膨胀卷积层对输入的锈迹图像进行不同程度的缩放，在多尺度上获得不同大小的电力设备锈迹图像的特征信息；

S102-2，通过池化操作将3个膨胀卷积层上的特征信息进行融合，生成固定长度的特征图。

本实施例采用改进后的FCN网络对输入图像进行提取特征，利用膨胀卷积代替传统的卷积提取几个不同多尺度上的特征信息，将这些特征信息进行融合后，输出特征图。

本实施例采用膨胀卷积的操作可以降低池化层的影响，能够增大感受视野，计算量也不会变大，小目标信息也不会丢失，减少漏检，提高分割精度。

S103，利用RPN网络在步骤102生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口，利用RPN网络中非极大值抑制算法NMS消除交叉重复的目标检测窗口。

具体的，所述步骤103中，生成多个可能存在的目标检测窗口，其具体采用如下方案实现：

S103-1，对于步骤102生成的特征图，采用3*3的滑动窗口进行滑动扫描，每个滑窗映射为一个低维的特征向量。每个滑窗位置对应9个锚点(3种尺度*3种宽高比)。

S103-2，将低维特征向量输入到两个全连接层，一个是回归层(regressionlayer)输出4*9个值，每个锚点框的长宽与x、y坐标4个值；一个是分类层(classificationlayer)输出2*9个值，即这个锚点对应的9个锚点框，每个框两个值分别表示包含目标的分数和不包含目标的分数。

S103-3，对步骤103-2中预测包含目标的锚点框，利用4个位置回归值和对框进行平移和缩放，产生存在目标的候选窗口。

本实施例通过区域候选网络得到多个目标候选区域，减少了背景对图像分割阶段的影响，实现在像素级别上对电力锈蚀进行分类定位。

S104，通过神经网络获取每个目标检测窗口对训练集的检测结果。

具体的，所述步骤104中，通过神经网络来深度学习，自动获取到每个目标检测窗口对训练集的得分。

具体的，获取每个目标检测窗口对训练集的得分，其具体如下方案实现：

将训练集作为神经网络的输入进行深度学习训练；对于一个训练集中w*H的图像，经过目标检测窗口可以获得一个w*h的分数图；在神经网络的第一层中，设置两个并行分层，第一个分层用于制作重合度IOU，第二个分层主要用于得到一个w*h*2的得分图，该第二个分层有两个通道，第一个通道负责得分Score参数，并将该得分参数计入得分图中，第二个通道记为Y(T)，T表示非极大值抑制中的阈值，如图3所示。

S104，将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口。

具体的，所述步骤S104中，将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口，其采用如下方案实现：

S104-1，按照目标检测窗口的得分高低，将目标检测窗口排序，筛选得分最高的检测窗口；

S104-2，遍历计算剩余窗口与得分最高的检测窗口的重叠面积比例，从剩余窗口中选择得分最高的检测窗口，重复上述过程，直到所有的窗口都选择完成，得到最佳的目标检测窗口；

S104-3，标定对应最佳的目标检测窗口，该最佳的目标检测窗口即为锈迹的位置，分割出锈迹，完成目标检测。

本实施例提出的电力设备锈迹检测方法，将图像处理和深度学习相结合，并采用改进的FCN网络和RPN网络，以提高电力设备上锈迹检测的准确率和分割精度，在无规则锈蚀检测领域具有较高的检测效果。

一种或多种实施例还提供一种电力设备锈迹检测系统，该系统包括：

数据采集单元，用于采集电力设备的锈迹图像，并传输至锈迹检测单元；

锈迹检测单元，用于对接收到的锈迹图像进行预处理，得到训练集；将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口；

数据输出单元，用于输出得到的最佳的目标检测窗口。

一种或多种实施例还提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种电力设备锈迹检测方法。

一种或多种实施例还提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种电力设备锈迹检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种电力设备锈迹检测方法，其特征是，该方法包括以下步骤：

采集电力设备的锈迹图像，并对其进行预处理，得到训练集；

将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；

利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；

通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；

将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口。

2.根据权利要求1所述的电力设备锈迹检测方法，其特征是，对采集到的锈迹图像进行预处理的步骤包括：

对采集到的锈迹图像分别进行预处理，包括图像旋转、垂直及水平镜像翻转、尺度变换和增加困难样本；

利用预处理后的图像数据构建训练集。

3.根据权利要求1所述的电力设备锈迹检测方法，其特征是，所述改进后的全卷积网络包括多个不同尺度膨胀卷积。

4.根据权利要求3所述的电力设备锈迹检测方法，其特征是，所述提取锈迹图像的多尺度特征的步骤包括：

将训练集中锈迹图像作为改进后的全卷积网络的输入，输入到改进后的全卷积网络中进行训练；

在改进后的全卷积网络的池化层后，采用并行的多个不同采样率的膨胀卷积层对输入的锈迹图像进行不同程度的缩放，获得不同大小的电力设备锈迹图像的特征信息；

通过池化操作将多个膨胀卷积层上的特征信息进行融合，生成固定长度的特征图。

5.根据权利要求3所述的电力设备锈迹检测方法，其特征是，生成多个候选的目标检测窗口后，利用区域候选网络中非极大值抑制算法消除交叉重复的目标检测窗口。

6.根据权利要求1所述的电力设备锈迹检测方法，其特征是，所述通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果的步骤包括：

将训练集作为神经网络的输入进行深度学习训练；

训练集中锈迹图像经过目标检测窗口获得一个分数图；

在神经网络的第一层中，设置两个并行分层，第二个分层设置有两个通道，通过第一个通道得到训练集中图像经过目标检测窗口的得分，并将该得分参数计入分数图中。

7.根据权利要求1所述的电力设备锈迹检测方法，其特征是，所述将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口的步骤包括：

按照目标检测窗口的得分高低，将目标检测窗口排序，筛选得分最高的检测窗口；

遍历计算剩余窗口与得分最高的检测窗口的重叠面积比例，从剩余窗口中选择得分最高的检测窗口，重复上述过程，直到所有的窗口都选择完成，得到最佳的目标检测窗口；

标定出最佳的目标检测窗口，完成目标检测。

8.一种电力设备锈迹检测系统，其特征是，包括：

数据采集单元，用于采集电力设备的锈迹图像，并传输至锈迹检测单元；

锈迹检测单元，用于对接收到的锈迹图像进行预处理，得到训练集；将训练集输入到改进后的全卷积网络进行训练，提取锈迹图像的多尺度特征，生成特征图；利用区域候选网络在生成的特征图上进行区域候选操作，生成多个候选的目标检测窗口；通过神经网络获取每个目标检测窗口对训练集中锈迹图像的检测结果；将所有目标检测窗口的检测结果进行融合，得到最佳的目标检测窗口；

数据输出单元，用于输出得到的最佳的目标检测窗口。

9.一种计算机可读存储介质，其中存储有多条指令，其特征是，所述指令适于由终端设备的处理器加载并执行如权利要求1至7中任一项所述的一种电力设备锈迹检测方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征是，所述指令适于由处理器加载并执行如权利要求1至7中任一项所述的一种电力设备锈迹检测方法。