CN112367518B - 一种输电线路无人机巡检图像质量评价方法 - Google Patents

Abstract

本发明涉及一种输电线路无人机巡检图像质量评价方法，包括步骤：制作关键部件检测训练数据集与图像清晰度检测训练数据集，同时构建并训练巡检图像关键部件检测模型与巡检图像清晰度检测模型；将待评价的图像分别输入训练好的两个模型中，由巡检图像关键部件检测模型得到图像中关键部件的种类和预测框信息，由巡检图像清晰度检测模型得到图像中每个图像块是否清晰；对每个得到的预测框，计算预测框内清晰的图像子块的占比，筛选出达标的预测框；对每个清晰度达标的预测框，计算预测框的中心偏离度与图占比两个指标，若均达标，则当前预测框满足质量要求；进而判断当前图像是否为合格图像。本发明能够快速有效地评价电力巡检图像。

Description

一种输电线路无人机巡检图像质量评价方法

技术领域

本发明涉及图像质量评价技术领域，特别是一种输电线路无人机巡检图像质量评价方法。

背景技术

我国的输电网规模日益庞大，为保证电力系统安全，相关部门每年需要投入大量的人力物力对输电线路进行巡检，而传统的人工巡检往往成本高、风险大。随着无人机技术的发展，无人机体积小、不受地理条件限制的优点在电力巡检中被大量运用，不仅提高了巡检效率，同时降低巡检人员工作强度和危险性，弥补了人工巡检的不足。

目前的无人机电力巡检，主要依靠飞手控制无人机进行图像采集，然后由基于深度学习的图像处理算法分析巡检图像，进行故障诊断。在这过程中，巡检图像的质量至关重要，高质量的巡检图像不仅能够提高算法检测的准确率，也能够提高模型训练样本的挑选效率，促进图像处理算法的设计。然而，由于飞手操控无人机的水平不同、拍摄巡检图像的环境不一、图像传输过程中的损坏等等原因，最终的巡检图像质量往往参差不齐，严重影响了后期的分析处理工作。因此有必要对巡检图像进行质量评价，筛选出高质量的图像。现阶段，对于图像质量评价的研究主要针对自然图像，且主要目标是对图像整体清晰度的评价，然而在输电线路巡检中，更关注的是巡检图像中关键部件的拍摄是否合格，要求关键目标在图像中显示清晰、位于图像中心区域且占比足够大。因此，如何针对巡检图像的特点，在海量巡检图像中筛选出合格的高质量图像，是一个急需解决的问题。

发明内容

有鉴于此，本发明的目的是提出一种输电线路无人机巡检图像质量评价方法，能够快速有效地评价电力巡检图像。

本发明采用以下方案实现：一种输电线路无人机巡检图像质量评价方法，具体包括以下步骤：

制作关键部件检测训练数据集，同时构建并训练巡检图像关键部件检测模型，该模型的输出为图像上的一个以上的关键部件预测框及其分类；

制作图像清晰度检测训练数据集，同时构建并训练巡检图像清晰度检测模型，该模型用于判断图像中每个设定大小的图像子块是否为清晰块；

将待评价的图像分别输入训练好的巡检图像关键部件检测模型与巡检图像清晰度检测模型中，由巡检图像关键部件检测模型得到图像中关键部件的种类和预测框信息，由巡检图像清晰度检测模型得到图像中每个图像块是否清晰；

对每个得到的预测框，计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标。若图像包含清晰度达标的预测框，则判断图像包含清晰目标，进行后续的处理，否则判定该图像不合格，舍弃；

对每个清晰度达标的预测框，计算预测框的中心偏离度与图占比两个指标，将两个指标与设定的阈值比较，若均满足，则当前预测框预测目标拍摄合格。若一张图像至少有一个清晰且拍摄合格的目标，则判定该图像合格，否则舍弃。

进一步地，所述巡检图像关键部件检测模型采用YOLOv3目标检测模型，输入图像进入该模型，预测得到图像中关键部件的类别及预测框左上角和右下角的坐标。

进一步地，所述巡检图像清晰度检测模型采用ResNet152深度残差网络作为巡检图像清晰度特征提取网络，同时移除ResNet152深度残差网络的输出层并增加Dropout层及Softmax层。

进一步地，所述计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标，其中该预设的阈值为0.7。

进一步地，所述中心偏离度的阈值为0.5。

进一步地，若关键部件为绝缘子，则将图占比的阈值设置为0.075，若关键部件为防震锤，则将图占比的阈值设置为0.021，若关键部件为防鸟刺，则将图占比的阈值设置为0.038。

本发明还提供了一种输电线路无人机巡检图像质量评价系统，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：本发明为能够解决现有无人机电力巡检图像质量参差不齐却筛选困难的问题，采用本发明的方法，能够快速、有效的方法评价电力巡检图像，滤除图像中关键部件模糊、图占比小和不在中心区域的不合格图像。

附图说明

图1为本发明实施例的清晰度检测原理示意图。

图2为本发明实施例的巡检图像目标拍摄合格率评价原理图。

图3为本发明实施例的总体原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1至图3所示，本实施例提供了一种输电线路无人机巡检图像质量评价方法，具体包括以下步骤：

制作关键部件检测训练数据集，收集输电线路中典型部件的巡检图像，并标注其中关键部件的真实框和类别；同时构建并训练巡检图像关键部件检测模型，该模型的输出为图像上的一个以上的关键部件预测框及其分类；

制作图像清晰度检测训练数据集，同时构建并训练巡检图像清晰度检测模型，该模型用于判断图像中每个设定大小128×128的图像子块是否为清晰块，若为清晰块则保留原先像素值，若为模糊块则将该区域利用黑色掩膜覆盖；

将待评价的图像分别输入训练好的巡检图像关键部件检测模型与巡检图像清晰度检测模型中，由巡检图像关键部件检测模型得到图像中关键部件的种类和预测框信息，由巡检图像清晰度检测模型得到图像中每个图像块是否清晰；

对每个得到的预测框，计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标。若图像包含清晰度达标的预测框，则判断图像包含清晰目标，进行后续的处理，否则判定该图像不合格，舍弃；

对每个清晰度达标的预测框，计算预测框的中心偏离度与图占比两个指标，将两个指标与设定的阈值比较，若均满足，则当前预测框预测目标拍摄合格。若一张图像至少有一个清晰且拍摄合格的目标，则判定该图像合格，否则舍弃。

其中，中心偏离度为预测框中心点偏离图像中心点的距离占图像最小边的比例。图占比为预测框面积占据图像面积的比例。以这两个指标来评价拍摄的关键部件是否足够大且位于中心区域，在清晰度达标的情况下，若评价为拍摄合格，则此图像为合格图像，反之舍弃。

在本实施例中，所述巡检图像关键部件检测模型采用YOLOv3目标检测模型，输入图像进入该模型，预测得到图像中关键部件的类别及预测框左上角和右下角的坐标。

在本实施例中，所述巡检图像清晰度检测模型采用ResNet152深度残差网络作为巡检图像清晰度特征提取网络，其主要由残差块构成，残差块的使用不仅能够有效解决随着网络层数加深而准确率下降的问题，而且也能够较好的实现输电线路无人机巡检图像的清晰度特征信息提取。另外，本发明采用迁移学习的方法加快网络的训练速度，在经过大型数据集ImageNet预训练的ResNet152模型基础上，同时移除ResNet152深度残差网络的输出层并增加Dropout层及Softmax层，在后面步骤中使用制作好的数据集对模型进行微调。

在本实施例中，所述计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标，其中该预设的阈值为0.7。较佳的，在巡检图像关键部件检测模型处理图像时，若图中没有检测到关键部件，则直接将图像舍弃；在图像输入巡检图像清晰度评价模型前，需要先将图像划分成一个个128×128的图像块，在处理图像后，若所有清晰块子图占据整张图像的图占比小于0.3，大致认为该图像为模糊图像，将图像舍弃。本实施例经试验选择阈值为0.7，即预测框内清晰块子图的的占比大于0.7，则认为该巡检图像关键部件清晰。

在本实施例中，本发明经过实验验证，将中心偏离度阈值设为0.5能够得到较好的评价结果。

在本实施例中，若关键部件为绝缘子，则将图占比的阈值设置为0.075，若关键部件为防震锤，则将图占比的阈值设置为0.021，若关键部件为防鸟刺，则将图占比的阈值设置为0.038。

较佳的，在训练数据送入网络前，先对电力巡检图像进行随机旋转、裁剪等数据增强操作，每隔一个训练周期检测深度学习网络AP值、损失值等参数变化情况。

本实施例还提供了一种输电线路无人机巡检图像质量评价系统，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。

特别的，如图1所示，图1为清晰度评价的原理，训练阶段将制作好的清晰度检测数据集输入巡检图像清晰度检测模型中进行训练，得到拥有理想性能的清晰度检测模型；测试阶段同样分为两部分，第一部分将已划分成一个个128×128大小图像子块的巡检图像输入模型，模型对每个图像块进行预测，判断是否为清晰图像块，若为清晰块则保留原先像素值，若为模糊块则将该区域利用黑色掩膜覆盖；第二部分结合关键部件检测结果，目标清晰度评价模块根据清晰图像块在关键部件预测框中的占比判断该图像是否清晰。

如图2所示为输电线路无人机巡检图像目标拍摄合格率检测原理。训练阶段将标注好的关键部件检测数据集输入巡检图像关键部件检测模型训练，得到拥有理想性能的关键部件检测模型；测试阶段将待检测的巡检图像输入模型，模型对图像进行预测，输出图像中各个关键部件的种类和预测框。最后目标拍摄合格率评价模块根据预测框信息计算中心偏离度和图占比，分别与阈值比较，若都符合阈值标准，则认为目标拍摄合格。

另外，本实施例也可分为前期的模型训练阶段和巡检图像评价阶段。模型训练阶段，制作数据集训练巡检图像关键部件检测模型和巡检图像清晰度检测模型，并固化保存最优参数。巡检图像评价阶段，将待检测的巡检图像输入已固化的两个最优模型中，得到图像中关键部件的种类和预测框信息及图像中每个图像块清晰度，最后依据预测框信息和图像块的清晰度，评价图像，预测阶段流程如图3所示。

以下是具体实现实例。

1、数据集制作。数据集包括关键部件检测数据集和清晰度检测数据集。关键部件检测数据集为人工标注包含各类关键部件的电力巡检图像。标注后得到包含对应图片文件名、图像宽度与高度信息及关键部件目标框左上点与右下方点坐标信息的XML文件，然后将总的数据集与对应的XML文件分为训练集与验证集两部分(训练数据用来训练模型，验证数据用来调整模型)。清晰度检测数据集为从关键部件检测数据集中截取的一系列128×128大小的图像块子图，同样包含训练集和验证集两部分，人工判断并标注每个子图是模糊还是清晰，清晰图像块子图与模糊图像块子图的数量比例为1:1，保证样本均衡。

2、建立模型。该方法包含两个模型：巡检图像关键部件检测模型和巡检图像清晰度检测模型。巡检图像关键部件检测模型用于检测图像中的关键部件，输出关键部件的预测框和关键部件种类，采用基础网络为Darknet-53的YOLOv3深度学习网络。巡检图像清晰度检测模型用于检测图像中的各个图像块子图的清晰度(是否清晰)，采用ResNet152深度残差网络作为特征提取网络，同时为了有效加快模型训练速度，采用迁移学习方法，在预训练的ResNet152模型基础上，移除原网络输出层并增加Dropuot层及Softmax层。

3、训练并固化模型。训练同样分为巡检图像关键部件检测模型训练和巡检图像清晰度检测模型训练。将制作好的关键部件检测数据集和清晰度检测数据集分别输入巡检图像关键部件检测模型和巡检图像清晰度检测模型，在训练过程中用验证集不断验证模型性能，同时根据各项网络参数变化情况，在达到期望数值时固化模型，最终得到拥有期望性能的两个模型。

4、评价方法测试。整体测试流程如图3所示。选择待评价的巡检图像，将图像划分成一个个128×128大小的图像块，将原图像与分割后的图像分别输入巡检图像关键部件检测模型和巡检图像清晰度检测模型。巡检图像关键部件检测模型检测图像中的关键部件，输出所有关键部件的类别和预测框信息，若未检测到关键部件则判定该图像不合格，舍弃；巡检图像清晰度检测模型检测图像中每个子块的清晰度，输出所有图像块的清晰度(清晰或模糊)，同时计算清晰块的占比大致判断图像整体清晰度，若占比小于0.3，大致认为该图像为模糊图像，判定为不合格，舍弃。若判断图像整体大致清晰且包含目标，进入下一步，结合关键部件检测与清晰度检测，计算每个预测框内的清晰块子图占比，若其中存在预测框内的清晰块占比大于0.7，认为图像包含有清晰目标，反之认为图像不合格，舍弃。根据图像中清晰关键部件的预测框信息，计算关键部件图占比和中心偏离度两个指标，并与提前设定的阈值比较，若两个指标均符合条件，则认为该图像拍摄合格，反之图像不合格，舍弃。若图像包含一个以上拍摄合格的清晰目标，判断此图像为合格图像。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种输电线路无人机巡检图像质量评价方法，其特征在于，包括以下步骤：

制作关键部件检测训练数据集，同时构建并训练巡检图像关键部件检测模型，该关键部件检测模型的输出为图像上的一个以上的关键部件预测框及其分类；

制作图像清晰度检测训练数据集，同时构建并训练巡检图像清晰度检测模型，该清晰度检测模型用于判断图像中每个设定大小的图像子块是否为清晰块；

将待评价的图像分别输入训练好的巡检图像关键部件检测模型与巡检图像清晰度检测模型中，由巡检图像关键部件检测模型得到图像中关键部件的种类和预测框信息，由巡检图像清晰度检测模型得到图像中每个图像子块是否清晰；

对每个得到的预测框，计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标；若图像包含清晰度达标的预测框，则判断图像包含清晰目标，进行后续的处理，否则判定该图像不合格，舍弃；

对每个清晰度达标的预测框，计算预测框的中心偏离度与图占比两个指标，将两个指标与设定的阈值比较，若均满足，则当前预测框预测目标拍摄合格；若一张图像至少有一个清晰且拍摄合格的目标，则判定该图像合格，否则舍弃；其中，中心偏离度为预测框中心点偏离图像中心点的距离占图像最小边的比例；图占比为预测框面积占据图像面积的比例。

2.根据权利要求1所述的输电线路无人机巡检图像质量评价方法，其特征在于，所述巡检图像关键部件检测模型采用YOLOv3目标检测模型，输入图像进入该YOLOv3目标检测模型，预测得到图像中关键部件的类别及预测框左上角和右下角的坐标。

3.根据权利要求1所述的输电线路无人机巡检图像质量评价方法，其特征在于，所述巡检图像清晰度检测模型采用ResNet152深度残差网络作为巡检图像清晰度特征提取网络，同时移除ResNet152深度残差网络的输出层并增加Dropout层及Softmax层。

4.根据权利要求1所述的输电线路无人机巡检图像质量评价方法，其特征在于，所述计算预测框内清晰的图像子块的占比，若占比大于预设的阈值，则判断该预测框的清晰度达标，其中该预设的阈值为0.7。

5.根据权利要求1所述的输电线路无人机巡检图像质量评价方法，其特征在于，所述中心偏离度的阈值为0.5。

6.根据权利要求1所述的输电线路无人机巡检图像质量评价方法，其特征在于，若关键部件为绝缘子，则将图占比的阈值设置为0.075，若关键部件为防震锤，则将图占比的阈值设置为0.021，若关键部件为防鸟刺，则将图占比的阈值设置为0.038。

7.一种输电线路无人机巡检图像质量评价系统，其特征在于，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。

8.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。

Images