CN114331965A - 一种架空输电线路销钉缺失检测方法、介质及系统 - Google Patents

Abstract

本发明公开一种架空输电线路销钉缺失检测方法、介质及系统，包括：获取架空输电线路的若干第一图像，第一图像中的架空输电线路上具有销钉；对若干第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，销钉标注框为可旋转的矩形框；将第一图像的标注向量沿着第一图像中的输电线路的走向组成输入序列；采用第一图像和第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的基于pixel2seq的目标检测模型；实时采集架空输电线路的第二图像；将第二图像输入训练后的目标检测模型后，输出销钉的预测框，预测框包含销钉的位置以及销钉是否缺失的信息。本发明大大提高检测性能。

Description

一种架空输电线路销钉缺失检测方法、介质及系统

技术领域

本发明涉及架空输电线路技术领域，尤其涉及一种架空输电线路销钉缺失检测方法、介质及系统。

背景技术

销钉是高压输电铁塔固定绝缘子等设备的关键组件。高空中的线路一直处于振动状态，会连带其上绝缘子的连接部件销钉反复振动，这些振动累积效应会带来销钉脱落的风险，一旦销钉脱落就可能导致高压线断裂落地，造成断电甚至危及高压铁塔附近区域的安全。及时发现缺失销钉可以避免严重事故的发生以及巨大的经济损失。架空输电线路多部署在恶劣的自然环境中，且跨度很长，动辄几十、上百公里。相比于机器视觉检测方法，传统的人工巡检需要工程师到现场使用望远镜逐段监测，监测效率、监测准确率和人员安全性较低。随着信息技术与计算机视觉技术的发展，利用无人机或塔基摄像头对架空输电线路进行现场采集逐渐代替传统人工巡检的方式，并具有高效、快捷、可靠、成本低、不受地域影响等优点。

常用检测销钉是否缺失方法主要分为传统图像处理方法，机器学习方法与基于卷积神经网络的深度学习方法。传统图像处理方法主要分为图像预处理，特征选取，分类三个步骤。其中图像预处理为了使采集到的图像在不同成像条件下具有相同地图像灰度分布，方便后续进行特征提取；特征提取部分主要使用人工设计的特征提取器，例如sift算子，hog算子，模板匹配等，进行特征提取；在分类阶段，对具有判别性的特征进行目标-背景分类。机器学习方法和深度学习方法主要改进了传统方法地特征提取和分类两个步骤，其中深度学习方法对于特征提取地改进大大提高了目标检测与分类地性能。

目前，利用无人机或塔基摄像头对电路进行巡检得研究取得一定的成果，使用卷积神经网络能够对简单背景下的包含销钉的螺丝件进行检测，但在输电线路上存在着与销钉相似的背景结构干扰检测。与此同时，现有的销钉缺陷方法大多使用水平框标注的销钉数据进行检测，水平框的标注包含了大量的背景区域，导致模型对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测性能有待提高。

发明内容

本发明实施例提供一种架空输电线路销钉缺失检测方法、介质及系统，以解决现有技术对架空输电线路销钉缺失检测的效果不佳的问题。

第一方面，提供一种架空输电线路销钉缺失检测方法，包括：

获取架空输电线路的若干第一图像，其中，所述第一图像中的架空输电线路上具有销钉；

对若干所述第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，其中，所述销钉标注框为可旋转的矩形框；

对于每一所述第一图像，将该第一图像的所述标注向量沿着该第一图像中的输电线路的走向组成输入序列；

采用所述第一图像和所述第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的所述基于pixel2seq的目标检测模型；

实时采集架空输电线路的第二图像；

将所述第二图像输入训练后的所述基于pixel2seq的目标检测模型后，输出销钉的预测框，其中，所述预测框包含销钉的位置以及销钉是否缺失的信息。

第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的架空输电线路销钉缺失检测方法。

第三方面，提供一种架空输电线路销钉缺失检测系统，包括：如上述第二方面实施例所述的计算机可读存储介质。

这样，本发明实施例，在输电线路上存在着与销钉相似的背景结构干扰检测的情况下，以及，对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测的场景，本发明实施例的方法可大大提高检测性能，使得检测结果准确且检测速度较快。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的架空输电线路销钉缺失检测方法的流程图；

图2是销钉未缺失和销钉缺失的照片；

图3是本发明实施例的销钉先验示意图；

图4是本发明实施例的基于pixel2seq的目标检测模型训练示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种架空输电线路销钉缺失检测方法。如图2所示，分别为销钉未缺失和销钉缺失的照片。具体的，如图1所示，该方法包括如下的步骤：

步骤S1：获取架空输电线路的若干第一图像。

其中，第一图像中的架空输电线路上具有销钉。第一图像可通过无人机或者塔基摄像头采集。

步骤S2：对若干第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量。

在语言模型中，预测的序列使用整数标记(token)序列来表示，在构建目标的位置与类别时，本发明实施例使用的基于pixel2seq的目标检测模型将连续的位置信息以及角度信息通过离散采样的方式转化为整数标记。

本发明实施例的销钉标注框为可旋转的矩形框，即使用目标在图像中的像素坐标以及角度来描述一个旋转的销钉目标。因此，标注向量为[xywhαp]。x表示销钉标注框的中心像素点的横坐标，y表示销钉标注框的中心像素点的纵坐标。w表示销钉标注框的中心像素点的长边尺寸，h表示销钉标注框的中心像素点的短边尺寸。α表示销钉标注框的旋转角度，该旋转角度指的是，销钉标注框的长边顺时针旋转到坐标系的横轴正向所旋转的角度。q表示销钉标注框内的销钉是否缺失的状态，销钉缺失，q为1，销钉未缺失，q为0。例如，对于一个中心像素点坐标为(100，200)，长、短边尺寸为(9，5)，旋转角度为30°的销钉缺失目标，构造的标注向量为[100 200 9 5 30 1]。对于一个中心点像素坐标为(100，200)，长、短边尺寸为(9，5)，角度为30°的正常销钉目标(即销钉未缺失)，构造的标注向量为[100 200 95 30 0]。

相比于遥感影像领域和文本识别领域，销钉缺失检测往往需要通过挂载在无人机上的计算设备进行计算，算力相比于服务器设备弱很多，遥感领域中使用的基于卷积的旋转目标检测方法往往需要在预测结果后进行旋转预测框的非极大值(NMS)抑制去除重复框。而旋转目标的交并比(IoU)计算较难实现并行处理，不仅花费计算力，同时导致实时性较差，并且会因为角度预测不准导致残留重复的检测框，导致精度较差。与此同时，为了获得精准的角度预测，基于卷积的旋转目标检测模型往往采用旋转-感兴趣区域池化层进行特征的修正，这一操作虽然有效的提高了特征对齐，但是也进一步的消耗了显存和算力。

因此，相较于现有技术，本发明实施例使用可旋转的矩形框对销钉数据进行标注，并在下述训练过程中增加了角度信息的预测，可以解决现有技术的水平标注框包含较多背景，限制检测精度，以及，卷积神经网络提取旋转特征效率较低和密集预测中旋转的后处理操作效果差且耗时的问题，提高销钉缺失检测的精确度。

优选的，在步骤S2之后，可先对销钉目标数据扩增，具体如下：

对若干第一图像进行随机缩放(获得不同尺寸的图像来模拟拍摄距离和不同的相机焦距)、裁剪、灰度变化(模拟光照的影响)等操作。现有技术中一幅图像的多个目标构建出的整个标注序列是无序的：将每个目标的序列随机的组合在一起，并在结尾增加一个结束标志符；这样构造的训练序列训练出的模型具有较差的泛化性；例如，在实际情况下，模型预测标注序列时，因为受到相似目标的干扰导致较晚出现结束标识符；在遇到较难检测的目标时，模型预测会提前出现结束标识符。为了解决上述的问题，采用加噪声的扩增方式，即在输入的序列中加入了噪声目标的序列信息，输出序列在噪声目标序列的对应位置为无效值。此外，针对旋转目标中的角度参量，以及无人机采集时拍摄角度的不同，对图像进行旋转扩增，从而模拟实际场景下的情况。

由于扩增是对标注好的数据进行扩增，后续的图像数据扩增无需进行二次标注，目标位置信息可自动化获得。

步骤S3：对于每一第一图像，将该第一图像的标注向量沿着该第一图像中的输电线路的走向组成输入序列。

虽然通过前述的单一的序列扩增方法可以提高自然场景的检测性能，但是，遥感场景下目标分布与自然场景有较大不同，例如遥感场景下可能存在密集的车辆目标，也可能在同一个场景中同时出现很大的桥梁，而pixel2seq的编码器-解码器结构丢弃了卷积模型中人为设计的滑动框，从全图的特征中进行目标的提取，因此会漏掉局部的密集分布的某些目标。具体的，在销钉检测任务中存在这一问题：在无人机航拍的图像中，销钉目标通常很小，销钉目标并非在全图中占据较大的区域，并且两个目标之间有一定的重叠联系，对目标序列进行随机组合意味着网络模型要在整幅图像中的各个位置上交替预测，因为较小的销钉目标无法保证像自然图像中那样距离较近，销钉之间的距离与销钉的尺寸相比很大，这对特征提取和解码器的要求很高。

因此，为了解决这一潜在的问题，本发明实施例通过本步骤加入了针对销钉检测的人工的先验信息：销钉只在输电线路上出现，并且在某些局部的区域，销钉目标具有较高的出现频率，并将其加入到序列构造和增强中。通过此先验的加入，可以让基于pixel2seq的目标检测模型沿着输电线路的走向进行销钉的预测，而不是从全图中随机区域进行销钉的检测。

具体来说，销钉在输电线路中的某些部位会密集出现，而在有些区域出现的较为稀疏。为了让模型的预测更加有规律和高效，在序列构造的时候沿着输电线路的走向将各个目标序列链接在一起，这样让模型在预测销钉目标位置信息时遵循分布规律，能够减轻模型的预测难度。除此之外，沿着输电线路方向可能会有销钉稀疏分布的区域和密集分布的区域，为了进一步降低模型在密集分布区域的销钉预测的难度，将密集区域的目标进行随机打乱，允许模型进行任意顺序的预测。

具体的，该步骤包括如下的过程：

(1)对于每一第一图像，根据该第一图像中销钉的分布，划分多个销钉集中区域。

如图3所示，按照销钉的分布，划分为三个销钉集中区域a、b和c。

(2)按照预设标准，判断该第一图像中的每一销钉集中区域是否为密集区域。

具体的，该预设标准可根据经验及实际情况设置。本发明实施例中，预设标准为200m*200m的面积内有9个以上的销钉则该销钉集中区域为密集区域。

(3)若销钉集中区域为密集区域，则将该销钉集中区域的销钉的标注向量随机排列组成该销钉集中区域的序列。

具体的，为了便于说明，将图3所示的a区域作为密集区域，因此，a区域中的销钉的标注向量可随机排列。

(4)若销钉集中区域不为密集区域，则将该销钉集中区域的销钉的标注向量按照该第一图像中的输电线路的走向排列组成该销钉集中区域的序列。

具体的，为了便于说明，令图3所示的b区域和c区域不为密集区域，则b区域和c区域的销钉的标注向量需要按照输电线路的走向排列。b区域只有一个销钉的标注向量3，不涉及排序。该图中，输电线路的走向为a-b-c(或者c-b-a)，则c区域中的两个销钉的标注向量按照输电线路的走向排列为标注向量4-标注向量5(或者对应c-b-a的走向，排序为标注向量5-标注向量4)。

(5)沿着该第一图像中的输电线路的走向排列该第一图像的所有销钉集中区域的序列，得到输入序列。

以图3的输电线路的走向为a-b-c，则输入序列：标注向量1-标注向量2(由于a区域随机排列，也可以是标注向量2-标注向量1)-标注向量3-标注向量4-标注向量5。

步骤S4：采用第一图像和第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的基于pixel2seq的目标检测模型。

具体的，基于pixel2seq的目标检测模型依次包括：特征提取模块、编码模块、解码模块和预测头部模块。

具体的，如图4所示，该步骤包括：

(1)将第一图像输入特征提取模块后，输出特征图像。

其中，特征提取模块为Resnet50网络，Resnet50网络是共有50层的残差网络，为现有技术，在此不再赘述。

(2)将特征图像输入到编码模块后，输出编码序列。

其中，编码模块为Deformable-DETR编码器。Deformable-DETR编码器由顺次连接的多个形变自注意力模块组成。

现有技术的transformer中的自注意力模块，只有三个嵌入层(key，querty和value)，需要关注整个序列长度的信息，关注区域很大，没有引入太多关注区域的先验信息，导致小目标检测结果交叉，并且模型的收敛较慢。

相对于现有技术的transformer中的自注意力模块，本发明采用的形变自注意力模块不仅拥有自注意力模块的query，key，value三个嵌入层，同时也有一个形变偏移预测的嵌入层。query，key，value三个嵌入层分别把输入的特征序列转换为query序列，key序列和value序列，其中query反映的是目标的字段信息，key反映的是输入的字段信息，value是输入的内容信息。序列中的每个元素互相之间进行key与value的相关操作，获得互相的关联，并将关联信息与value相乘，获得输出的目标序列。形变偏移预测的嵌入层的输入是query序列，并输出此query关注的位置信息以及对应关注位置的关注程度。自注意力模块在应用时，每个query只关注形变偏置位置上的key，关注的程度也由key与query的相关程度以及形变偏移的关注程度同时决定。

形变自注意力模块的作用是将输入特征序列进行相互之间的联系并输出处理后的序列。对于编码模块，以输入的图像的特征图(即Resnet50网络输出的特征图)作为输入序列，通过多个形变自注意力模块进行序列信息的编码，并将输出的编码序列的key与value传输到解码器中。

(3)将编码序列的key与value以及输入序列输入到解码模块后，输出解码序列。

其中，解码模块为Deformable-DETR解码器。Deformable-DETR解码器由顺次连接的一个交叉注意力模块和多个形变自注意力模块组成。形变自注意力模块与编码模块的形变自注意力模块相同，在此不再赘述。

编码器输出的编码序列输入到交叉注意力模块的key嵌入层和value嵌入层，输出key与value序列，输入序列输入到交叉注意力模块的query嵌入层，输出query序列。其中编码器部分的序列长度不发生改变，而解码器部分的序列长度与object query保持一致，其余的操作与自注意力模块相同。

(4)将解码序列输入到预测头部模块，输出置信度向量，并通过置信度向量计算得到损失函数的计算值。

预测头部模块为前馈神经网络，也为现有技术，在此不再赘述。该置信度向量为销钉的预测框。预测框包含销钉的位置以及销钉是否缺失的信息，与前述的标注向量的形式一致，在此不再赘述。

所有的置信度向量组成了置信度向量序列Y＝{y₁,y₂,…,y_n}。置信度向量通过离散编码方式(例如类别编码只需要y＝[0,1]代表销钉缺陷，y＝[1,0]代表销钉未缺陷)获得最终的输出序列。

训练采用的损失函数为置信度向量的似然函数

其可以理解为网络在已知图像和序列中之前所有置信度向量的前提下的概率大小。如果当前序列位置不是结束位置，那么概率P的真值是1，否则是0。

本发明实施例训练网络的优化目标是满足下式要求：

其中，x表示输入的图像，y和

表示输入序列和目标序列。L为目标序列的长度。ω_j是序列中第j个标注的预先分配的权重。由于角度的预测更为重要，本发明实施例给角度标注的权重分配为2，其余的标注预测权重分配为1。这一损失函数可以让网络在看到前一个预测序列和图像的特征时，预测下个标注与目标序列相同。

(5)通过梯度回传损失函数的计算值进行网络参数更新。

最终，通过上述的过程，将训练好的参数导入到基于pixel2seq的目标检测模型中，可以得到训练好的基于pixel2seq的目标检测模型的目标检测模型。

步骤S5：实时采集架空输电线路的第二图像。

同样的，第二图像可通过无人机或者塔基摄像头采集。

步骤S6：将第二图像输入训练后的基于pixel2seq的目标检测模型后，输出销钉的预测框。

其中，预测框包含销钉的位置以及销钉是否缺失的信息，其与前述的标注向量的形式一致，在此不再赘述。

因此，基于pix2seq的目标检测模型可灵活提取特征，为每一个目标预测唯一的预测框，减少了非极大值抑制的操作流程。

通过上述的步骤，可知与目前卷积神经网络的检测模型中认为地集成待检测目标的分布先验知识不同，基于pix2seq的目标检测模型简单地将目标检测转换为以像素输入为条件的语言建模任务，即训练好的网络模型通过提取得到的特征图，用序列化的“语言”描述图中的目标分布信息。具体来说，网络通过卷积或者其他图像领域特征提取模块获得目标与背景的判别性的特征，通过语言模型中的解码器对特征进行解码，解码的训练目标由语言建模任务中的“一段话”变为需要的目标检测结果，例如“目标1中心坐标，目标1尺寸，目标1角度，目标1类别，…,目标n中心坐标，目标n尺寸，目标n角度，目标n类别”。因此，在输电线路上存在着与销钉相似的背景结构干扰检测的情况下，以及，对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测的场景，本发明实施例的方法可大大提高检测性能。

本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述实施例所述的架空输电线路销钉缺失检测方法。

本发明实施例还公开了一种架空输电线路销钉缺失检测系统，包括：如上述实施例所述的计算机可读存储介质。

综上，本发明实施例，在输电线路上存在着与销钉相似的背景结构干扰检测的情况下，以及，对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测的场景，本发明实施例的方法可大大提高检测性能，使得检测结果准确且检测速度较快。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种架空输电线路销钉缺失检测方法，其特征在于，包括：

获取架空输电线路的若干第一图像，其中，所述第一图像中的架空输电线路上具有销钉；

对若干所述第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，其中，所述销钉标注框为可旋转的矩形框；

对于每一所述第一图像，将该第一图像的所述标注向量沿着该第一图像中的输电线路的走向组成输入序列；

采用所述第一图像和所述第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的所述基于pixel2seq的目标检测模型；

实时采集架空输电线路的第二图像；

将所述第二图像输入训练后的所述基于pixel2seq的目标检测模型后，输出销钉的预测框，其中，所述预测框包含销钉的位置以及销钉是否缺失的信息。

2.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于，所述将该第一图像的所述标注向量沿着该第一图像中的输电线路的走向组成输入序列的步骤，包括：

对于每一所述第一图像，根据该第一图像中销钉的分布，划分多个销钉集中区域；

按照预设标准，判断该第一图像中的每一所述销钉集中区域是否为密集区域；

若所述销钉集中区域为密集区域，则将该销钉集中区域的销钉的标注向量随机排列组成该销钉集中区域的序列；

若所述销钉集中区域不为密集区域，则将该销钉集中区域的销钉的标注向量按照该第一图像中的输电线路的走向排列组成该销钉集中区域的序列；

沿着该第一图像中的输电线路的走向排列该第一图像的所有销钉集中区域的序列，得到输入序列。

3.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于，所述基于pixel2seq的目标检测模型依次包括：特征提取模块、编码模块、解码模块和预测头部模块，其中，所述特征提取模块为Resnet50网络，所述编码模块为Deformable-DETR编码器，所述解码模块为Deformable-DETR解码器，所述预测头部模块为前馈神经网络。

4.根据权利要求3所述的架空输电线路销钉缺失检测方法，其特征在于：所述Deformable-DETR编码器由顺次连接的多个形变自注意力模块组成。

5.根据权利要求3所述的架空输电线路销钉缺失检测方法，其特征在于：所述Deformable-DETR解码器由顺次连接的一个交叉注意力模块和多个形变自注意力模块组成。

6.根据权利要求5所述的架空输电线路销钉缺失检测方法，其特征在于：所述编码器输出的编码序列输入到所述交叉注意力模块的key嵌入层和value嵌入层，所述输入序列输入到所述交叉注意力模块的query嵌入层。

7.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于：所述训练采用的损失函数为置信度向量的似然函数。

8.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于：所述标注向量为[x y w h α p]，其中，x表示销钉标注框的中心像素点的横坐标，y表示销钉标注框的中心像素点的纵坐标，w表示销钉标注框的中心像素点的长边尺寸，h表示销钉标注框的中心像素点的短边尺寸，α表示销钉标注框的旋转角度，q表示销钉标注框内的销钉是否缺失的状态，其中，销钉缺失，q为1，销钉未缺失，q为0。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求1～8中任一项所述的架空输电线路销钉缺失检测方法。

10.一种架空输电线路销钉缺失检测系统，其特征在于，包括：如权利要求9所述的计算机可读存储介质。

Images