CN113744267A - 一种基于深度学习的输电导线覆冰检测和厚度估计的方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的输电导线覆冰检测和厚度估计的方法，属于输电智能运检领域。该方法包括以下步骤：利用安装在输电线路上的监拍设备拍摄图像，构建输电导线覆冰图像样本库；标注未覆冰图像中的导线区域，得到不同导线区域的像素宽度；利用MaskR‑CNN实例分割算法，完成对输电线路覆冰的检测并提取覆冰区域；通过输电导线的实际宽度和标定的像素值，计算出覆冰区域的实际厚度。本发明基于图像检测输电导线的覆冰厚度估计，能够应对复杂场景的导线检测效果差的问题，具有准确性高、成本低的优点，满足了输电场景覆冰隐患检测的要求。

Description

一种基于深度学习的输电导线覆冰检测和厚度估计的方法

技术领域

本发明涉及输电智能运检技术领域，具体涉及一种基于深度学习的输电导线覆冰检测和厚度估计的方法。

背景技术

我国幅员辽阔，输电线路所处的环境复杂，北方地区雨雪和高原地区复杂的天气状况，对输电线路造成了极大的隐患。近年来，覆冰引起输电导线的故障频频发生，威胁着电力系统的安全稳定运行，给国民经济带来了巨大的损失。传统的覆冰检测基本上基于传感器检测，限制条件较多，设备昂贵，不具备大面积推广的条件。目前提出的基于图像的覆冰检测，基于传统机器学习处理，只能检测设定好的特征信息，鲁棒性较差。随着人工智能技术的不断进步，使得基于深度学习的覆冰图像分析技术变成可能。现有的技术方法在检测覆冰时需要使用相机的内参标定图像，计算公式复杂，或者是使用数字图像处理技术对覆冰图像的特定特征进行检测，在特定环境下抗干扰能力较好，技术的普适性较差。

综上所述，如何提供一种可靠、廉价的覆冰检测和厚度估计方法，能够应对复杂的环境变化，进行大面积推广，是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的在于提供一种基于深度学习的输电导线覆冰检测和厚度估计的方法，该方法使用深度学习中的实例分割技术来实现对输电导线覆冰的检测，结合标注的先验信息计算覆冰的厚度，能够应对复杂变化的场景，且本发明的准确性、实时性均满足了输电线路覆冰检测的实际需求。

为实现上述目的，本发明采用了以下技术方案：

一种基于深度学习的输电导线覆冰检测和厚度估计的方法，该方法包括以下步骤：

S1、构建MaskR-CNN模型，通过安装在输电线路上的监拍设备，收集输电导线覆冰图像，建立输电导线覆冰图像样本库，利用输电导线覆冰图像样本库训练MaskR-CNN模型。

S2、获取输电导线未覆冰时的图像，对输电导线未覆冰时的图像中的输电导线进行分段标注，得到输电导线的像素宽度和输电导线标定区域数据。

S3、利用训练好的MaskR-CNN模型对监控设备拍摄到的待检测图像进行分析，进行覆冰导线检测，根据输出类型判断输电导线是否覆冰，若覆冰，则输出输电导线覆冰区域的Mask值和bbox检测框，并结合输电导线标定区域数据，定位出分段标注时用到的矩形框与bbox检测框的相交边界框并截取保存，得到二值化Mask图像；待检测图像可根据实际需求定时拍摄，如30分钟一拍；输出的bbox检测框是Mask区域的外接矩形。MaskR-CNN模型是神经网络的一种。将待检测图像输入到MaskR-CNN模型中后，MaskR-CNN模型先对待检测图像进行处理，从待检测图像中提取特征，得到特征图，然后对特征图进行分类和回归操作，提取目标的类别和目标的位置，最终根据目标的类别和目标的位置输出检测结果。

S4、计算二值化Mask图像的像素宽度，结合标注数据转换为实际厚度值，得到待检测图像的覆冰厚度。

进一步的，所述监控设备安装在输电线路中的铁架塔上，所述输电导线未覆冰时的图像通过监控设备获取。监控设备的镜头固定，保证输电导线在图像中的位置基本不变。通过监控设备的历史拍摄数据收集输电导线覆冰图像数据，图像分辨率不低于1920×1080，要求数量不低于5000张，构建输电线路覆冰图像样本库。输电导线未覆冰时的图像数据也是通过监控设备获取的。

进一步的，所述MaskR-CNN模型的主干网络采用ResNet50。MaskR-CNN模型输出三个结果：目标类型、目标位置、目标mask值。本发明使用MaskR-CNN模型对输电导线是否覆冰进行检测，利用MaskR-CNN模型的输出结果的目标类型对拍摄的输电导线图像是否有覆冰进行判断，如果有覆冰，则继续进行后续的厚度估计。

进一步的，所述“获取输电导线未覆冰时的图像，对输电导线未覆冰时的图像中的输电导线进行分段标注，得到输电导线的像素宽度和输电导线标定区域数据；”，其具体包括以下步骤：

S21、采用labelme标注工具对输电导线未覆冰时的图像中的一条输电导线进行分段标注。图像中会拍摄到很多条导线，选取导线目标较大的区域，即选择一条完整的、距离镜头近的、清晰的输电导线，在该输电导线上进行分段标注。由于输电导线在图像中不同位置的像素宽度不同，需要在同一根导线上多选取几个位置进行标注。在一条输电导线上选取a个位置进行矩形框标注，每个矩形框所在位置处的导线要保证没有巨大弧度，且其像素宽度要满足一定要求。设定弧度阈值范围和宽度阈值范围，每个矩形框所在位置处的输电导线的弧度要在弧度阈值范围内，宽度要在宽度阈值范围内。a的取值范围为2~3。优选的，在输电导线未覆冰时的图像中，在每条输电导线上选取3个直线位置，分别采用标注工具的矩形框对各输电导线的3个位置进行标注，得到输电导线标定区域数据；输电导线标定区域数据为使用labelme标注工具标注的矩形框位置的数据。对导线进行标注的矩形框所在的位置为标定区域，对导线进行标注的矩形框的坐标值（即矩形框四个顶点的坐标值）为输电导线标定区域数据。

S22、在上述标注用矩形框内，利用b个分界点将输电导线平均分成b+1段，采用labelme标注工具中的线段对b个分界点处的导线线宽进行标注，求取b个导线线宽求平均值，将该平均值作为该段导线的像素宽度M ₀ 。优选的，b的取值范围为4~7。

获取了输电导线未覆冰时的图像后，不需要对该图像进行任何处理，直接对输电导线进行标注。每台监拍设备取一张图像标注即可。未覆冰时的输电导线的像素宽度，用来计算像素与实际尺寸的比例关系，根据这个比例关系以及覆冰导线的像素宽度，计算覆冰导线的实际厚度。

进一步的，所述“结合输电导线标定区域数据，定位出分段标注时用到的矩形框与bbox检测框的相交边界框并截取保存，得到二值化Mask图像；”，其具体包括以下步骤：

设标注用矩形框的左下顶点和右上定点的坐标分别为(x1, y1)和 (x2, y2)，bbox检测框的左下顶点和右上顶点的坐标分别为(x1’, y1’) 和(x2’, y2’)，若max{x1,x1’}<min{x2,x2’}且max{y1,y1’}<min{y2, y2’}，则该标注用矩形框与bbox检测框有交集，取两个矩形框的交集，得到相交边界框，相交边界框的左下顶点和右上顶点分别为：（max（x1,x1’），max（y1,y1’））和(min（x2,x2’），min（y2,y2’））。

覆冰检测区域的Mask值即为MaskR-CNN模型输出的目标Mask值，其为检测出的覆冰导线的每个像素的合集。bbox检测框是各个Mask值的外接矩形框，用于和步骤S21中标注用矩形框做交集计算，找出相交的区域。即求检测的一个矩形框与所有的标注的矩形框的交集，只有一个标注框和检测框存在交集。二值化的Mask值就是目标Mask值，将相交区域裁剪出来，就得到了存在Mask值的图像。

进一步的，所述“计算二值化Mask图像的像素宽度，结合标注数据转换为实际厚度值，得到待检测图像的覆冰厚度”，其具体包括以下步骤：

S41、对二值化Mask图像进行灰度处理，将二值化Mask图像转换为灰度图像。

S42、利用canny算法对经灰度处理后的二值化Mask图像进行边缘检测，并采用opencv的形态学方法对检测到的二值化Mask图像的边缘进行膨胀和腐蚀操作，使边缘特征圆润，减少噪声的影响，从而得到二值化Mask图像的边缘图像。

S43、提取二值化Mask图像的边缘图像的最小外接矩形，根据最小外接矩形的四个顶点坐标（x₀，y₀），（x₁，y₁），（x₂，y₂），（x₃，y₃），采用以下公式求得最小外接矩形的边长：

根据最小外接矩形短边的长度D=min（C1，C2），求得最小外接矩形的像素宽度D₀，其中，D₀=D，C1和C2分别为最小外接矩形的两个边长。

S44、根据标注的输电导线的像素宽度M ₀ 和输电导线实际尺寸L ₀ ，计算出比例尺R ₀ ，其中，R ₀ =L ₀ /M ₀ ；根据比例尺R ₀ ，采用公式M ₁ =D ₀ *R ₀ 求得bbox检测框的实际宽度M ₁ 。bbox检测框的实际宽度M ₁ ，即为覆冰输电导线的直径。输电导线实际尺寸L ₀ 指的是输电导线的宽度，也就是输电导线的直径。

S45、采用公式H=（M ₁ -L ₀ ）/2计算得到输电导线的覆冰厚度H。

由以上技术方案可知，本发明提出了一种基于深度学习的覆冰检测方法，提出了使用MaskR-CNN实例分割算法来检测覆冰，深度学习使用神经网络技术提取图像特征，对复杂多变的外界环境有很强的抗干扰能力，提升了覆冰检测的准确性和可靠性。在此基础上，本发明还提出了基于标注导线区域来估算覆冰厚度的方法，计算检测框和标注框的交集，将检测结果与图像位置对应，从而得到覆冰厚度。该方法计算成本低，速度快。本发明无需对输电图像做特定的特征提取，采用深度学习技术实现输电覆冰区域的提取，计算简单。

附图说明

图1是本发明的方法流程图；

图2是本发明实施例中的标注示例图；

图3是本发明实施例中MaskR-CNN模型检测的图像；

图4是本发明实施例中截取的相交的图像；

图5是本发明实施例中二值化后的图像；

图6是本发明实施例中计算最小外接矩形的图像。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，该方法包括以下步骤：利用安装在输电线路上的监拍设备拍摄图像，构建输电导线覆冰图像样本库；标注未覆冰图像中的导线区域，得到不同导线区域的像素宽度；利用MaskR-CNN实例分割算法，完成对输电线路覆冰的检测并提取覆冰区域；通过输电导线的实际宽度和标定的像素值，计算出覆冰区域的实际厚度。本发明基于图像检测输电导线的覆冰厚度估计，能够应对复杂场景的导线检测效果差的问题，具有准确性高、成本低的优点，满足了输电场景覆冰隐患检测的要求。

以下为应用本发明所述的方法的实施例：

某地输电线路架设一台监拍设备，拍照间隔15分钟，基于覆冰样本库训练MaskR-CNN模型对待检测图像进行覆冰检测，如果存在覆冰，则计算覆冰厚度，具体步骤如下：

S1、构建MaskR-CNN模型，通过安装在输电线路上的监拍设备，收集输电导线覆冰图像，建立输电导线覆冰图像样本库，利用输电导线覆冰图像样本库训练MaskR-CNN模型。

S2、获取输电导线未覆冰时的图像，对输电导线未覆冰时的图像中的输电导线进行分段标注，得到输电导线的像素宽度和输电导线标定区域数据。具体地说，采用labelme标注工具对一条输电导线进行分段标注，并在每个标注矩形框内部，标注输电导线的宽度，标注结果示例如图2所示。每条导线选取直线段标注，图2中的rec1_1，rec1_2即为标注的导线区域框，框内的线段即为标注的导线宽度。

S3、采用步骤S1训练好的MaskR-CNN模型分析现场实时图像，输出的结果如图3所示，其中A指出的区域为未覆冰的导线区域，B指出的区域为覆冰导线区域，根据标注的矩形框和检测出的目标框，求两个矩形框的交集区域，输出交集区域的图像，取其中一块区域展示如图4所示。

S4、根据S3的输出图像，结合标注信息，计算实际覆冰厚度：

S41、将图像转换为灰度图，并进行二值化操作。

S42、提取二值化Mask图像的Mask边缘，并利用canny算法对图像进行边缘检测，再使用opencv的形态学方法处理膨胀、腐蚀操作，使边缘特征圆润，减少噪声的影响，结果如图5所示。

S43、提取二值化Mask图像的边缘图像的最小外接矩形，根据矩形的四个顶点坐标，计算矩形检测框的宽度，此例中得出的宽度为D ₀ =6.4个像素值：提取后的结果如图6所示。

S44、根据图片标注的像素宽和导线实际尺寸L ₀ 计算出的比例尺R ₀ ，得出矩形检测框的实际宽度M ₁ =D ₀ *R ₀ ，即为覆冰导线的直径，计算得出覆冰厚度H=（M ₁ -L ₀ ）/2：

（1）步骤S2标注的导线像素线段数据如下，线段格式：[point1,point2]：

线段1:[(1320.1,214.2),(1326.4,214.3)],

线段2:[(1319.5,252.1),(1325.4,252.1)];

线段3:[(1319.2,296.5),(1324.0,296.4)],

线段4:[(1318.1,348.4),(1323.3,348.4)]；

线段5:[(1318.5,407.4),(1323.8,407.4)],

线段6:[(1317.4,466.0),(1321.9,466.0)]；

线段7:[(1316.6,509.5),(1320.2,509.4)]；

根据标注的线段像素，求的平均像素宽度为：P ₀ =5.09,实际导线宽度为L ₀ =3.0cm；则

（2）根据步骤S53输出的最小外接矩形的宽度6.4像素值，得出覆冰导线的实际宽度

（3）计算得出覆冰厚度：

综上所述，本发明通过深度学习算法模型检测导线是否存在覆冰，并利用标注的先验信息来计算覆冰的厚度，能够应对复杂场景的变化，不依赖任何传感器设备，准确性、实时性大大提高，抗干扰能力强。本发明中的深度学习模型直接输出覆冰区域的二值化值，无需进行过多的数字图像处理方法，简单方便。本发明使用深度学习检测技术，能够提取覆冰图像的多种特征，鲁棒性强。本发明创新性地使用对图像的标注方法，将检测的覆冰区域确定好位置，再来估算覆冰厚度，方法简单实用。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：该方法包括以下步骤：

S1、构建MaskR-CNN模型，通过安装在输电线路上的监拍设备，收集输电导线覆冰图像，建立输电导线覆冰图像样本库，利用输电导线覆冰图像样本库训练MaskR-CNN模型；

S2、获取输电导线未覆冰时的图像，对输电导线未覆冰时的图像中的输电导线进行分段标注，得到输电导线的像素宽度和输电导线标定区域数据；

S3、利用训练好的MaskR-CNN模型对监控设备拍摄到的待检测图像进行分析，进行覆冰导线检测，根据输出类型判断输电导线是否覆冰，若覆冰，则输出输电导线覆冰区域的Mask值和bbox检测框，并结合输电导线标定区域数据，定位出分段标注时用到的矩形框与bbox检测框的相交边界框并截取保存，得到二值化Mask图像；

S4、计算二值化Mask图像的像素宽度，结合标注数据转换为实际厚度值，得到待检测图像的覆冰厚度。

2.根据权利要求1所述的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：所述监控设备安装在输电线路中的铁架塔上，所述输电导线未覆冰时的图像通过监控设备获取。

3.根据权利要求1所述的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：所述MaskR-CNN模型的主干网络采用ResNet50。

4.根据权利要求1所述的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：所述“获取输电导线未覆冰时的图像，对输电导线未覆冰时的图像中的输电导线进行分段标注，得到输电导线的像素宽度和输电导线标定区域数据；”，其具体包括以下步骤：

S21、采用labelme标注工具对输电导线未覆冰时的图像中的一条输电导线进行分段标注，由于输电导线在图像中不同位置的像素宽度不同，在输电导线上选取a个直线位置，分别采用标注工具的矩形框对a个直线位置进行标注，得到输电导线标定区域数据；a的取值范围为2~3；

S22、在上述标注用矩形框内，利用b个分界点将输电导线平均分成b+1段，采用labelme标注工具中的线段对b个分界点处的导线线宽进行标注，求取b个导线线宽的平均值，将该平均值作为该段导线的像素宽度M ₀ ；b的取值范围为4~7。

5.根据权利要求4所述的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：所述“结合输电导线标定区域数据，定位出分段标注时用到的矩形框与bbox检测框的相交边界框并截取保存，得到二值化Mask图像；”，其具体包括以下步骤：

设标注用矩形框的左下顶点和右上定点的坐标分别为(x1,y1) 和 (x2,y2)，bbox检测框的左下顶点和右上顶点的坐标分别为(x1’,y1’) 和(x2’,y2’)，若max{x1,x1’} < min{x2,x2’}且max{y1,y1’}<min{y2, y2’}，则该标注用矩形框与bbox检测框有交集，取两个矩形框的交集，得到相交边界框，相交边界框的左下顶点和右上顶点分别为：（max（x1,x1’），max（y1,y1’））和(min（x2,x2’），min（y2,y2’））。

6.根据权利要求5所述的一种基于深度学习的输电导线覆冰检测和厚度估计的方法，其特征在于：所述“计算二值化Mask图像的像素宽度，结合标注数据转换为实际厚度值，得到待检测图像的覆冰厚度”，其具体包括以下步骤：

S41、对二值化Mask图像进行灰度处理，将二值化Mask图像转换为灰度图像；

S42、利用canny算法对经灰度处理后的二值化Mask图像进行边缘检测，并采用opencv的形态学方法对检测到的二值化Mask图像的边缘进行膨胀和腐蚀操作，得到二值化Mask图像的边缘图像；

S43、提取二值化Mask图像的边缘图像的最小外接矩形，根据最小外接矩形的四个顶点坐标（x₀，y₀），（x₁，y₁），（x₂，y₂），（x₃，y₃），采用以下公式求得最小外接矩形的边长：

根据最小外接矩形短边的长度D=min（C1，C2），求得最小外接矩形的像素宽度D₀，其中，D₀=D，C1和C2分别为最小外接矩形的两个边长；

S44、根据标注的输电导线的像素宽度M ₀ 和输电导线实际尺寸L ₀ ,计算出比例尺R ₀ ，其中，R ₀ =L ₀ /M ₀ ；根据比例尺R ₀ ，采用公式M ₁ =D ₀ *R ₀ 求得bbox检测框的实际宽度M ₁ ；

S45、采用公式H=（M ₁ -L ₀ ）/2计算得到输电导线的覆冰厚度H。

Images