CN111915565A

CN111915565A - 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法

Info

Publication number: CN111915565A
Application number: CN202010631568.9A
Authority: CN
Inventors: 张兴忠; 刘双庆; 景超
Original assignee: Taiyuan University of Technology
Current assignee: Taiyuan University of Technology
Priority date: 2020-07-03
Filing date: 2020-07-03
Publication date: 2020-11-10
Anticipated expiration: 2040-07-03
Also published as: CN111915565B

Abstract

本发明一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，属于对输变电线路瓷瓶裂缝实时分析技术领域；所要解决的技术问题为：提供一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法的改进；解决该技术问题采用的技术方案为：通过无人机现场拍摄和输电线路缺陷故障数据汇总，收集和标注输变电线路瓷瓶裂缝数据，涵盖多场景多种类的瓷瓶裂缝数据，建立瓷瓶裂缝语义分割数据集；基于YOLACT算法模型进行模型优化和剪枝操作，构建轻量级实时语义分割深度学习模型，基于改进的YOLACT算法模型进行训练，并将算法模型及训练数据部署在移动端嵌入式设备进行实时推理分析；本发明应用于输变电线路瓷瓶裂缝分析。

Description

一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法

技术领域

本发明一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，属于对输变电线路瓷瓶裂缝实时分析技术领域。

背景技术

瓷瓶作为电力线路中的基础设施，架设在环境复杂的输变电线路自然场景中；对输变电线路瓷瓶裂缝识别和严重程度诊断是配电网巡检工作的重要环节，及时有效地排除故障消除缺陷，对配电系统的安全运行具有重要意义。由于瓷瓶裂缝类型丰富、大小不一致、设备密集以及背景复杂，导致在巡检作业中，巡检人员需要对复杂分布的瓷瓶裂缝进行故障缺陷甄别，其巡检时间长、劳动强度大、工作效率低，给巡检作业带来了巨大挑战。

为了降低劳动强度、提高工作效率，目前巡检多采用人工识别瓷瓶裂缝故障后，使用智能设备辅助填写工作票并指导相应运维的模式，但在实际巡检工作中发现，影响巡检效率的主要因素是对瓷瓶裂缝隐患或故障的识别和分析，因此采用该巡检方法提高的工作效率有限；另外还以借助无人机采集实时巡检图像，结合计算机视觉与模式识别、图像处理等相关算法对所采集图像进行故障的自动检测与分析，该方法虽然提高了图像采集效率，但这类模式都是把繁杂的分析算法放在了服务器端，无法在前端针对瓷瓶裂缝严重程度进行实时的智能分析；而且随着深度学习技术在计算机视觉任务中不断取得显著的性能提升，促使结合人工智能技术在输变电线路进行智能故障诊断和分析成为了可能，但大量实验表明，受困于深度学习模型需要借助大算力支撑，导致在移动端难以开展实时的缺陷分析。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，包括如下步骤：

步骤一：通过无人机现场拍摄和输电线路缺陷故障数据汇总，收集和标注输变电线路瓷瓶裂缝数据，涵盖多场景多种类的瓷瓶裂缝数据，建立瓷瓶裂缝语义分割数据集；

步骤二：基于YOLACT算法模型进行模型优化和剪枝操作，构建轻量级实时语义分割深度学习模型，模型构建过程包含以下步骤：

步骤2.1：采用ResNet-101作为特征提取网络，采用轻量级的GhostNet作为基础网络，网络算法具体包括：

步骤2.1.1：输入瓷瓶裂缝图像经过5个卷积模块输出相应的深度特征，并定义各深度特征分别对应图像中的C1到C5层；

步骤2.1.2：由步骤2.1.1得到的多尺度特征，将其发送至FPN网络的P3-P7层进行学习；

发送过程中C5层经过一个卷积层得到P5层，然后对P5层进行一次双线性插值放大，将放大值与经过卷积的C4层相加得到P4层，然后对P4层进行一次双线性插值放大，将放大值与经过卷积的C3层相加得到P3层；

所述P5层再经过一个卷积层得到P6层，所述P6层再经过一个卷积层得到P7层；

步骤2.1.3：将步骤2.1.2得到的P3-P7层采用分支并行操作，将P3层输入Protonet模块，同时将P3-P7层送到Prediction Head模块；

步骤2.1.4：所述Protonet模块预测输出整个图像的一组K个原型掩码；

步骤2.1.5：所述Prediction Head模块分别预测输出预测类别的置信度、预测边界框的坐标、预测k个掩膜系数，然后通过快速非极大值抑制操作去除重复检测框；

步骤2.1.6：采用线性加权将Protonet和Prediction Head分支相结合，然后使用sigmoid非线性激活生成最终的掩模，并在所预测的边界框中对最终掩模进行剪切，实现掩模集成；

步骤2.1.7：设定阈值，最终显示出瓷瓶裂缝的类别、类别置信度、掩码以及边界框；

步骤2.2：结合瓷瓶裂缝几何特征设计锚框，在改进的YOLACT算法模型中引入FPN网络，根据低层特征的高分辨率和高层特征的高语义信息，通过上采样融合不同层的特征，在3个不同尺度的特征层上识别物；

步骤2.3：计算尺度一致性裂缝长度并对裂缝严重程度进行分析：基于图片中的瓷瓶大小与现实场景中的瓷瓶大小比例，由该比例计算得出现实场景中的裂缝长度，并根据裂缝长度判断裂缝的严重程度；

基于已知的瓷瓶直径，根据尺度变化一致性估计真实裂缝长度，采用以下公式进行计算：

；

上式中：L表示估计的真实瓷瓶裂缝长度，R表示已知的真实瓷瓶直径，l和r分别表示图像中获取的瓷瓶直径像素值和裂缝回归框对角线像素值；

步骤三：基于上述改进的YOLACT算法模型进行训练，并将算法模型及训练数据部署在移动端嵌入式设备进行实时推理分析；

步骤四：将训练好的模型应用在实际输变电线路环境中进行测试，显示裂缝形状并进行裂缝严重程度的实时分析。

所述步骤2.1.1中输入瓷瓶裂缝图像经过5个卷积模块，输出深度特征尺寸分别为112×112、56×56、28×28、14×14、7×7。

所述步骤2.2中融合不同层的特征，在3个不同尺度的特征层上识别物，具体将宽高比设置为6、1、1/6。

本发明相对于现有技术具备的有益效果为：本发明提供一种基于改进YOLACT算法的输变电线路瓷瓶裂缝严重程度实时分析方法，使用轻量级深度神经网络模型进行端到端的实时精细化分割和缺陷严重程度评估，本发明公开的方法能够在分割精度、推理速度达到实用化的要求，实现了在前端人工智能嵌入式设备上的应用；相比目前人工识别瓷瓶裂缝故障后，使用智能设备辅助填写工作票和指导运维的方法和借助无人机采集实时巡检图像，结合计算机视觉与模式识别、图像处理等相关算法对所采集图像进行故障的服务器端自动检测与分析方法主要有以下几个优势：

一、精细化分割；本发明提出的方法对瓷瓶裂缝检测效果更好，不但能识别裂缝、找到裂缝的位置，还能分割出裂缝的实际形状，实现了精细化的检测；

二、实时分割；原有的方法都是基于服务器端的算力把图像采集后传输到服务器端进行检测和分析，导致不能及时获取裂缝的检测结果。本发明提出的轻量级深度学习分割模型推理速度达到实时性，能够部署在前端实时完成检测任务，提高了裂缝检测的效率；

三、裂缝等级智能评估；本发明基于尺度一致性能够对瓷瓶裂缝的严重程度进行分析和评估，方便巡检人员及时了解裂缝严重程度。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明采集瓷瓶裂缝语义分割数据集的示意图；

图2为本发明采用的改进型YOLACT模型网络架构示意图；

图3为本发明采用的改进型YOLACT模型训练和测试流程图；

图4为使用训练后的YOLACT模型分析测试瓷瓶裂缝严重程度的示意图。

具体实施方式

本发明主要提供一种在前端对输变电线路瓷瓶裂缝的严重程度进行实时分析方法，该方法采用轻量级深度学习模型，可以实现对瓷瓶裂缝的实时语义分割和对缺陷严重程度的评估。

本发明提供的基于改进YOLACT算法的输变电线路瓷瓶裂缝严重程度实时分析方法，可以实现航拍巡检图像在前端实时高效分割和分析；针对瓷瓶裂缝的纹理和几何特征，本发明采用单阶段的实例分割模型YOLACT算法，并将其骨架网络替换成GhostNet，从而构建轻量级的移动端瓷瓶裂缝实时深度学习分割模型；采用该方法进行实验，结果表明部署在前端的嵌入式设备能够快速准确地捕捉瓷瓶裂缝位置、形状和严重程度，实现了对瓷瓶裂缝隐患及故障的智能实时巡检；本发明提出的方法对在自然场景中的裂缝识别及分析具有很好的性能和推广应用前景，为输变电线路部件缺陷诊断和分析提供了典型范例。

为实现上述识别分析效果，本发明实施例采用的分析方法具体包括如下步骤：

步骤1：建立瓷瓶裂缝语义分割数据集，主要通过无人机现场拍摄和输电线路缺陷故障数据汇总，共收集和标注10kv线路瓷瓶裂缝数据集图片或照片不少于5000张，且照片内容涵盖了多场景多种类的瓷瓶裂缝数据，可以为后续的模型训练提供数据支撑，采集的瓷瓶裂缝数据集和裂缝语义分割照片具体如图1所示。

步骤2：构建轻量级实时语义分割深度学习模型，以YOLACT为基本算法模型，进行模型优化和剪枝操作，构建适合移动端的轻量级深度学习推理模型；主要包含以下步骤：

步骤2.1：本发明使用的轻量级基础网络YOLACT算法采用ResNet-101作为特征提取网络，虽然ResNet-101利用残差网络结构使得网络的训练难度得到降低，但是由于网络太深导致参数数量庞大，最终使得训练复杂、并且减慢识别速度。由于需要在移动端进行实时语义理解，直接采用YOACT算法无法有效的实现计算的实时性；因此本方法采用了轻量级的GhostNet作为基础网络，如图2所示：

具体计算步骤包含以下几个阶段：

步骤2.1.1：输入瓷瓶裂缝图像首先经过5个卷积模块，这五个模块的输出分别对应图2的C1到C5，经过上述5个卷积模块，输出深度特征尺寸分别为112×112、56×56、28×28、14×14、7×7；

步骤2.1.2：经过步骤2.1.1得到的多尺度特征，进入P3-P7的FPN网络进行学习；其中P5是由C5经过一个卷积层得到的；接着对P5进行一次双线性插值将其放大，与经过卷积的C4相加得到P4；同样的方法得到P3。此外，还对P5进行了卷积得到P6，对P6进行卷积得到P7；

步骤2.1.3：经过步骤2.1.2后，网络采用分支并行的操作。P3被送入Protonet模块，P3-P7也被同时送到Prediction Head模块；

步骤2.1.4：Protonet分支模块预测整个图像的一组K个原型掩码。

步骤2.1.5：Prediction Head模块有三个分支，第一个用于预测类别的置信度，第二个用于预测边界框的坐标，第三个分支用于预测k个掩膜系数，然后通过快速非极大值抑制（FAST NMS）操作去除重复检测框。

步骤2.1.6：掩模集成。采用线性加权将Protonet和Prediction Head分支相结合，然后使用sigmoid非线性激活生成最终的掩模，然后在所预测的边界框中对最终掩模进行剪切。

步骤2.1.7：设定阈值，最终显示出瓷瓶裂缝的类别、类别置信度、掩码以及边界框。

步骤2.2：结合瓷瓶裂缝几何特征设计锚框：

在本发明改进的YOLACT算法模型中，引入FPN网络，同时利用低层特征的高分辨率和高层特征的高语义信息，并通过上采样融合不同层的特征，在3个不同尺度的特征层上识别物；原算法锚框宽高比2、1、1/2，对于裂缝宽高比并不适合，需要对宽高比重新设定，所以本方法将宽高比设置为6、1、1/6。

步骤2.3：尺度一致性裂缝长度及裂缝严重程度分析：

因为瓷瓶大小固定，根据算法可以求出图片中的瓷瓶大小与现实场景中的瓷瓶大小比例，然后根据比例可以还原出现实场景中裂缝的长度，根据长度来判别裂缝的严重程度，裂缝长度与严重程度对应如表1所示：

表1

基于瓷瓶的直径固定且已知的条件，采用尺度变化一致性来估计真实裂缝长度，可表示为公式：

；

其中，L表示估计的真实瓷瓶裂缝长度，R表示已知的真实瓷瓶直径，l和r分别表示图像中获取的瓷瓶直径像素值和裂缝回归框对角线像素值。

步骤3：模型训练和推理。基于本方法改进的YOLACT模型进行训练，并部署在移动端嵌入式设备进行实时推理分析，流程图如图3所示。

步骤4：严重程度实时分析。对于训练好的模型在实际输变电线路环境中测试并显示裂缝形状和严重程度分析，效果如图4所示。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，其特征在于：包括如下步骤：

；

2.根据权利要求1所述的一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，其特征在于：所述步骤2.1.1中输入瓷瓶裂缝图像经过5个卷积模块，输出深度特征尺寸分别为112×112、56×56、28×28、14×14、7×7。

3.根据权利要求2所述的一种基于YOLACT算法对输变电线路瓷瓶裂缝实时分析方法，其特征在于：所述步骤2.2中融合不同层的特征，在3个不同尺度的特征层上识别物，具体将宽高比设置为6、1、1/6。