CN114419559B - 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法 - Google Patents

Abstract

本申请涉及一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，所述方法包括：获取待识别的杆塔区域图像；对杆塔区域图像中是否存在藤蔓和杆塔进行识别；若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患。采用本方法能够有效提高配电杆塔藤蔓攀爬隐患识别的准确性。

Description

基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法

技术领域

本申请涉及配电网安全监测技术领域，特别是涉及一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法。

背景技术

藤曼攀爬是影响配电安全稳定运行的一类隐患，配电线路大部分都集中在山区，藤曼植物较多而且生长较快，常常会攀爬到台架、横担以及导线上，这些藤曼如果没有及时清理，容易造成跳闸、触电、火灾等安全事故，所以每间隔一段时间都要对配电线路进行巡检。过去线路巡检主要采用人工巡检的方式，随着无人机技术的发展成熟，采用无人机对输电线路进行巡检的方式得到广泛推广和应用，从而基于无人机巡检时拍摄的图片，对藤蔓攀爬隐患进行识别。

然而，目前识别配电杆塔藤蔓攀爬隐患的方法，存在准确性不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法。

一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，方法包括：

获取待识别的杆塔区域图像；

对杆塔区域图像中是否存在藤蔓和杆塔进行识别；

若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患。

在其中一个实施例中，对杆塔区域图像中是否存在藤蔓和杆塔进行识别的步骤，包括：

采用改进后的目标检测模型对杆塔区域图像中是否存在藤蔓和杆塔两种目标进行识别；改进后的目标检测模型为将Ghost模块和ECA通道注意力模块引入YOLO v5基础网络结构中得到；Ghost模块用于减少网络的整体参数和计算量；ECA通道注意力模块用于对重要的特征通道给予更多的关注，以提升特征的提取能力。

在其中一个实施例中，将Ghost模块和ECA通道注意力模块引入YOLO v5基础网络结构中的步骤，包括：

基于Mobilenet v3网络块，通过使用Ghost模块代替Mobilenet v3网络块中的1*1卷积，以及使用ECA通道注意力模块代替Mobilenet v3网络块中的SE操作，构建两个替换模块；

采用两个替换模块分别替换YOLO v5基础网络结构中的CBL操作和CSP操作，得到改进后的目标检测模块。

在其中一个实施例中，识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域的步骤，包括：

以预设外扩规则将识别到杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，得到外扩后的杆塔检测框；

将外扩后的杆塔检测框所占区域确认为主杆塔所占区域，以及将识别到藤蔓的藤蔓检测框所占区域确认为藤蔓所占区域。

在其中一个实施例中，确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患的步骤，包括：

计算主杆塔所占区域的面积以及主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠面积；

根据主杆塔所占区域的面积和重叠面积，得到重叠面积与主杆塔所占区域的面积的比值，并将比值确定为重叠度；

将重叠度与阈值进行比较；

若比较的结果为重叠度大于阈值，则确认主杆塔存在藤蔓攀爬隐患；

若比较的结果为重叠度小于等于阈值，则确认主杆塔不存在藤蔓攀爬隐患。

在其中一个实施例中，方法还包括：

若识别的结果为杆塔区域图像中只存在藤蔓或只存在杆塔，则确认杆塔区域图像中的杆塔区域不存在藤蔓攀爬隐患。

一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置，装置包括：

获取模块，用于获取待识别的杆塔区域图像；

识别模块，用于对杆塔区域图像中是否存在藤蔓和杆塔进行识别；

第一处理模块，用于若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

第二处理模块，用于确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。

一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别系统，包括：无人机和上述的计算机设备；计算机设备连接无人机；

无人机用于对配电线路上的配电杆塔进行拍摄，并将拍摄到的待识别的杆塔区域图像发送至计算机设备。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。

上述基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，通过获取待识别的杆塔区域图像，对杆塔区域图像中是否存在藤蔓和杆塔进行识别，并且在识别到杆塔区域图像中存在藤蔓和杆塔的情况下，识别出杆塔区域图像中藤蔓所占区域和所有杆塔中的主杆塔所占区域，并根据主杆塔所占区域和藤蔓所占区域的重叠度确认主杆塔是否存在藤蔓攀爬风险。本申请根据杆塔和藤蔓之间的依赖关系减少藤蔓的误识别情况，在识别到藤蔓和杆塔同时存在的情况下，识别出所有杆塔中的主杆塔所占区域，以及根据识别出的藤蔓所占区域和主杆塔所占区域的重叠度确认杆塔是否存在藤蔓攀爬隐患，从而避免了把自然环境中生长的与杆塔不存在攀爬关系的绿色植物误识别成藤蔓，同时过滤了杆塔区域图像中的次要杆塔，避免了在杆塔区域图像中存在信号杆塔或其他线路的杆塔的情况下的误识别，减少了不在关注区域内的藤蔓误检，进而有效提高了藤蔓攀爬隐患识别的准确性。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法的流程示意图；

图2为一个实施例中I_B1模块的结构示意图；

图3为一个实施例中I_B2模块的结构示意图；

图4为一个实施例中改进后的目标检测模型的结构示意图；

图5为一个实施例中识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域的步骤的流程示意图；

图6为一个实施例中根据重叠度确认主杆塔是否存在藤蔓攀爬隐患的步骤的流程示意图；

图7为一个具体的实施例中基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法的流程示意图；

图8为一个实施例中基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置的结构框图；

图9为一个实施例中计算机设备的内部结构图；

图10为一个实施例中基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别系统的结构框图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。此外，以下实施例中的“连接”，如果被连接的对象之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。

在一个实施例中，如图1所示，提供了一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法可以包括以下步骤：

步骤202，获取待识别的杆塔区域图像；

其中，待识别的杆塔区域图像可以为摄像设备对配电线路上的配电杆塔进行拍摄得到的，也可以为具有摄像功能的无人机对配电线路进行巡视的过程中，对配电杆塔的局部、细节以及通道进行拍摄得到的。

摄像设备或无人机可以通过网络与终端进行通信，将拍摄到的待识别的杆塔区域图像发送给终端进行图像处理。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机以及平板电脑等。

具体地，在摄像设备或无人机拍摄到待识别的杆塔区域图像的情况下，则将待识别的杆塔区域图像发送给终端进行图像识别分析，进而分析配电杆塔是否存在藤蔓攀爬隐患。

步骤204，对杆塔区域图像中是否存在藤蔓和杆塔进行识别；

其中，由于配电线路大部分都集中在山区，藤蔓植物较多且生长速度较快，常常会攀爬到台架、横担以及导线上，因此需要对藤蔓进行及时清理，以免造成跳闸、触电或者火灾等安全事故，藤蔓攀爬隐患可以通过对配电杆塔上是否存在藤蔓进行识别，在识别到藤蔓攀爬隐患的情况下，可以及时对存在藤蔓攀爬隐患的杆塔进行及时处理，保障配网安全。

具体地，在获取到待识别的杆塔区域图像时，可以对杆塔区域图像中是否存在藤蔓和杆塔进行识别，具体识别的方法可以采用目标检测算法或其他图像识别方法，具体采用的识别方法可以根据实际情况进行选择。

步骤206，若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

具体地，若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则说明杆塔区域图像中的配电杆塔可能存在藤蔓攀爬隐患，而杆塔区域图像中可能存在拍摄到的周围的电话线和网线的水泥杆塔，和/或其他巡检线路上的杆塔，这些杆塔都是次要杆塔，不是本次识别所针对的杆塔，本次识别所针对的杆塔为主杆塔，在识别出杆塔区域图像中所有杆塔的情况下，需要对这些次要杆塔进行过滤，以提高识别准确率，减少不在关注区域内的藤蔓误检；而当识别出杆塔区域图像中只有一个杆塔，则该杆塔为主杆塔。因此只需识别出杆塔区域图像中所有杆塔中的主杆塔所占区域和藤蔓所占区域，并根据主杆塔所占区域和藤蔓所占区域进行图像分析处理即可确定藤蔓攀爬隐患，从而可以有效提高配电杆塔藤蔓攀爬隐患识别的准确性。

步骤208，确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患。

具体地，根据藤蔓和杆塔之间的依赖关系，即具有藤蔓攀爬隐患的杆塔上会存在藤蔓，因此，在识别出杆塔区域图像中所有杆塔中主杆塔所占区域和藤蔓所占区域的情况下，可以通过确定主杆塔所占区域和藤蔓所占区域的重叠度，确定主杆塔是否存在藤蔓攀爬隐患，从而也可以排除主杆塔所占区域外的误识别藤蔓，从而提高配电杆塔藤蔓攀爬隐患识别准确率。

本申请的配电杆塔藤蔓攀爬隐患识别方法通过获取摄像设备或无人机拍摄的待识别的杆塔区域图像，对杆塔区域图像中是否存在藤蔓和杆塔进行识别，在识别的结果为杆塔区域图像中存在藤蔓和杆塔的情况下，识别出藤蔓所占区域以及所有杆塔中的主杆塔所占区域，并根据主杆塔所占区域与藤蔓所占区域的重叠度确认主杆塔是否存在藤蔓攀爬隐患。从而本申请不仅过滤了杆塔区域图像中的次要杆塔，避免了对信号杆塔或其他线路的杆塔的误识别，减少了不在关注区域内的藤蔓误检，还根据藤蔓和杆塔之间的依赖关系，排除了主杆塔所占区域外的误识别藤蔓，从而有效提高了配电杆塔藤蔓攀爬隐患识别的准确性，在确定主杆塔存在藤蔓攀爬隐患的情况下及时对藤蔓进行清理，进而有效提高了配网安全性。

在其中一个实施例中，基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法还可以包括：

若识别的结果为杆塔区域图像中只存在藤蔓或只存在杆塔，则确认杆塔区域图像中的杆塔区域不存在藤蔓攀爬隐患。

具体地，若识别的结果为杆塔区域图像中未同时存在杆塔和藤蔓，例如只识别到存在杆塔而未识别到藤蔓，则可以认为该杆塔不存在藤蔓攀爬隐患；若识别的结果为杆塔区域图像中只存在藤蔓，而未识别到杆塔，则可以认为识别出的藤蔓是在自然环境中生长的，与杆塔不存在攀爬关系，因此可以确认杆塔区域图像中的杆塔区域不存在藤蔓攀爬隐患。

在其中一个实施例中，对杆塔区域图像中是否存在藤蔓和杆塔进行识别的步骤204，可以包括：

采用改进后的目标检测模型对杆塔区域图像中是否存在藤蔓和杆塔两种目标进行识别；改进后的目标检测模型为将Ghost模块和ECA通道注意力模块引入YOLO v5基础网络结构中得到；Ghost模块用于减少网络的整体参数和计算量；ECA通道注意力模块用于对重要的特征通道给予更多的关注，以提升特征的提取能力。

其中，本申请对YOLO v5目标检测算法进行了改进，得到改进后的目标检测模型（Improved YOLO v5目标检测算法），改进后的目标检测模型以YOLO v5作为基础网络结构，通过将用于减少网络的整体参数和计算量的Ghost模块以及用于对重要的特征通道给予更多的关注，以提升特征的提取能力的ECA通道注意力模块引入YOLO v5基础网络结构中，从而构建该改进后的目标检测模型。

具体地，由于改进后的目标检测模型不仅减少了网络整体参数和计算量，还提升了特征提取的能力，因此，采用改进后的目标检测模型对杆塔区域图像是否存在藤蔓和杆塔两种目标进行识别，可以进一步提高识别的准确性。

在其中一个实施例中，将Ghost模块和ECA通道注意力模块引入YOLO v5基础网络结构中的步骤，可以包括：

基于Mobilenet v3网络块，通过使用Ghost模块代替Mobilenet v3网络块中的1*1卷积，以及使用ECA通道注意力模块代替Mobilenet v3网络块中的SE操作，构建两个替换模块；

采用两个替换模块分别替换YOLO v5基础网络结构中的CBL操作和CSP操作，得到改进后的目标检测模块。

具体地，参考Mobilenet v3 网络块的设计，本申请使用Ghost模块代替Mobilenetv3 网络块中的1*1卷积，以及使用ECA通道注意力模块代替Mobilenet v3 block中SE操作，从而构建了I_B1和I_B2两种替换模块，结构分别如图2和图3所示。其中，Ghost模块是网络GhostNet中的模块，由1*1卷积和3*3的深度可分离卷积以及Concat组合构成，比常规1*1卷积参数量少，而且两种不同尺度的卷积核提升了网络的特征提取能力；ECA通道注意力模块基于ECA-Net网络中提出来的，ECA首先采用全局平均池化操作得到一维的特征向量，然后通过一维卷积来学习各个通道的权值，这样解决了SE因为通道维度缩减而带来的信息丢失问题。而I_B1和I_B2的区别在于：I_B1多了一个残差连接，DW Conv层的步长Stride=1，特征图经过I_B1模块前后特征尺度和维度保持不变，I_B2的DW Conv层的步长Stride=2，特征图经过I_B2模块前后特征尺度和维度会发生变化。

为了兼顾配网杆塔藤曼攀爬识别的准确率和效率，本申请利用构建的I_B1和I_B2两种模块对YOLO v5进行改进，采用I_B2替换模型替换YOLO v5中的CBL（Conv+BN+Leakyrule）操作，以及采用I_B1替换模型替换YOLO v5中的CSP操作，从而构建了一个比YOLO v5更加轻量、识别效果更优的改进后的目标检测模型Improved YOLO v5，其网络结构如图4所示。Improved YOLO v5中包含Input、Backbone、Neck、Prediction四个部分，其中，主干网络Backbone由Focus、SPP、I_B1以及I_B2四个模块构成，I_B1模块和I_B2模块中的Ghost模块用以减少网络的整体参数和计算量，ECA通道注意力模块用以对重要的特征通道给予给多的关注，提升特征的提取能力；Neck主要进行FPN+PAN操作，FPN模块用于将高层特征图经过上采样之后与低层特征图进行合并，得到不同尺度大小的金字塔层次的特征图，FPN模块的后面还添加了一个自底向上的特征金字塔，其中包含两个PAN结构，PAN结构对两个宽高一样的特征图采用Concat操作进行通道维度的拼接。由于藤蔓、杆塔尺度变化大，可以采用kmeans聚类算法产生合适的anchor_box（锚框），预测输出的三个特征图大小为76×76、38×38以及19×19，分别对应最小、中等、最大的anchor_box（锚框），特征图的通道维度为num_classes+5，num_classes为类别数量。

本申请通过采用改进后的目标检测算法对杆塔区域图像中是否存在藤蔓和杆塔两种目标进行识别，其中，改进后的目标检测算法引入了用于减少网络的整体参数和计算量的Ghost模块，以及用于对重要的特征通道给予更多的关注、以提升特征的提取能力的ECA通道注意力模块，从而可以更准确高效地对藤蔓和杆塔两种目标进行识别。

在其中一个实施例中，如图5所示，识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域的步骤206，可以包括：

步骤302，以预设外扩规则将识别到杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，得到外扩后的杆塔检测框；

其中，在采用改进后的目标检测模型识别出杆塔区域图像中存在藤蔓和杆塔的情况下，由于杆塔区域图像中可能识别出了多个杆塔，这是由于摄像设备或无人机在拍摄主线路杆塔时把信号杆塔或者其他线路的杆塔拍摄进来了，但是主杆塔往往是杆塔区域图像中识别出的各杆塔中最大的杆塔，因此识别到杆塔的所有杆塔检测框中最大的杆塔检测框识别到的杆塔即为主杆塔，从而将次要杆塔进行了过滤。

具体地，可以将识别到杆塔的所有杆塔检测框中最大的杆塔检测框以预设外扩规则进行外扩，得到外扩后的杆塔检测框，例如主杆塔检测框的左上角坐标为(x₁，y₁)，右下角坐标为(x₂，y₂)，则主杆塔检测框的宽为w=x₂-x₁，高为h=y₂-y₁；以预设外扩规则往外扩充后的主杆塔检测框的左上角坐标为(xx₁，yy₁)，右下角坐标为(xx₂，yy₂)，则：

xx₁=x₁-w/3

yy₁=y₁-h/8

xx₂=x₂+w/3

yy₂=y₂+h/8

从而可以保证识别到主杆塔的主杆塔检测框中保留杆塔的完整图像特征信息，避免识别到主杆塔的主杆塔检测框中丢失部分图像特征信息，进而间接提高了配电杆塔藤蔓攀爬隐患识别的准确性。

步骤304，将外扩后的杆塔检测框所占区域确认为主杆塔所占区域，以及将识别到藤蔓的藤蔓检测框所占区域确认为藤蔓所占区域。

具体地，在对识别到主杆塔的杆塔检测框进行外扩得到外扩后的杆塔检测框的情况下，可以将该外扩后的杆塔检测框确认为主杆塔所占区域，并且可以将识别到藤蔓的藤蔓检测框所占区域确认为藤蔓所占区域。从而本申请可以根据从杆塔区域图像中识别出的藤蔓所占区域以及主杆塔所占区域进行进一步分析处理，准确有效地识别出配电杆塔是否存在藤蔓攀爬隐患。

在其中一个实施例中，如图6所示，确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患的步骤208，可以包括：

步骤402，计算主杆塔所占区域的面积以及主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠面积；

具体地，在识别出杆塔区域图像中藤蔓所占区域和主杆塔所占区域的情况下，可以计算主杆塔所占区域的面积S₁、藤蔓所占区域的面积S₂以及主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠面积（S₁∩S₂）。

步骤404，根据主杆塔所占区域的面积和重叠面积，得到重叠面积与主杆塔所占区域的面积的比值，并将比值确定为重叠度；

具体地，主杆塔所占区域与藤蔓所占区域的重叠度可以为主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠面积与主杆塔所占区域的面积的比值：IOU=（S₁∩S₂）/S₁

其中，IOU为主杆塔所占区域与藤蔓所占区域的重叠度。

步骤406，将重叠度与阈值进行比较；

其中，阈值可以为0，阈值可以根据实际情况进行设定。

具体地，可以通过将主杆塔所占区域与藤蔓所占区域的重叠度与预设的阈值进行比较，根据比较的结果判断主杆塔是否存在藤蔓攀爬隐患。

步骤408，若比较的结果为重叠度大于阈值，则确认主杆塔存在藤蔓攀爬隐患；

步骤410，若比较的结果为重叠度小于等于阈值，则确认主杆塔不存在藤蔓攀爬隐患。

具体地，若重叠度IOU大于0，说明主杆塔上存在藤蔓攀爬，则确认主杆塔存在藤蔓攀爬隐患；若重叠度IOU小于等于0，说明藤蔓存在自然环境中，与主杆塔存在一定距离，不构成隐患，则确认主杆塔不存在藤蔓攀爬隐患。根据主杆塔所占区域和藤蔓所占区域的重叠度确认主杆塔是否存在藤蔓攀爬隐患，排除了主杆塔所占区域以外的误识别藤蔓，从而提高了配电杆塔藤蔓攀爬隐患识别的准确性。

在一个具体的实施例中，如图7所示，终端接收到待识别的杆塔区域图像的情况下，采用改进后的目标检测模型（Improved YOLO v5）对杆塔区域图像中是否存在藤蔓和杆塔进行识别，若识别的结果为杆塔区域图像中未同时存在杆塔和藤蔓，即只存在藤蔓或只存在杆塔时，则终端确认杆塔区域图像中的杆塔区域不存在藤蔓攀爬隐患；在识别到藤蔓和杆塔的情况下，过滤次要杆塔，保留主杆塔，以预设外扩规则将识别到杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，即往外扩充主杆塔区域，并计算扩充后的主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠度IOU，当重叠度IOU大于0时，则终端确认主杆塔存在藤蔓攀爬隐患，当重叠度IOU不大于0时，则终端确认主杆塔不存在藤蔓攀爬隐患。

以上，本申请采用改进后的目标检测模型对获取到的待识别的杆塔区域图像中是否存在藤蔓和杆塔进行识别，改进后的目标检测模型基于YOLO v5基础网络，在Mobilenetv3网络块中引入了Ghost模块和ECA通道注意力模块构建了两个替换模块，并将两个替换模块替换了YOLO v5中的相应模块，从而可以更准确高效地识别出杆塔区域图像中的藤蔓和杆塔；在识别的结果为杆塔区域图像中存在藤蔓和杆塔的情况下，识别出杆塔区域图像中的藤蔓所占区域和所有杆塔中的主杆塔所占区域，其中识别到主杆塔的主杆塔检测框是所有杆塔检测框中最大的检测框；根据主杆塔所占区域与藤蔓所占区域的重叠区域的重叠面积与主杆塔所占区域的面积的比值，确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患，从而本申请可以实现在识别到杆塔区域图像中存在多个杆塔的情况下，对杆塔区域图像中的次要杆塔进行过滤，有效减小了不在关注区域内的藤蔓误检，并且本申请根据了藤蔓和杆塔之间的依赖关系，派出了主杆塔区域以外的误识别藤蔓，降低了藤蔓的误识别情况，进而有效提高了配电杆塔藤蔓攀爬隐患的识别准确性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置实施例中的具体限定可以参见上文中对于基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置，基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置可以包括：

获取模块110，用于获取待识别的杆塔区域图像；

识别模块120，用于对杆塔区域图像中是否存在藤蔓和杆塔进行识别；

第一处理模块130，用于若识别的结果为杆塔区域图像中存在藤蔓和杆塔，则识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

第二处理模块140，用于确定主杆塔所占区域与藤蔓所占区域的重叠度，并根据重叠度确认主杆塔是否存在藤蔓攀爬隐患。

在其中一个实施例中，识别模块120，还用于采用改进后的目标检测模型对杆塔区域图像中是否存在藤蔓和杆塔两种目标进行识别；改进后的目标检测模型为将Ghost模块和ECA通道注意力模块引入YOLO v5基础网络结构中得到；Ghost模块用于减少网络的整体参数和计算量；ECA通道注意力模块用于对重要的特征通道给予更多的关注，以提升特征的提取能力。

在其中一个实施例中，识别模块120，还用于基于Mobilenet v3网络块，通过使用Ghost模块代替Mobilenet v3网络块中的1*1卷积，以及使用ECA通道注意力模块代替Mobilenet v3网络块中的SE操作，构建两个替换模块；采用两个替换模块分别替换YOLO v5基础网络结构中的CBL操作和CSP操作，得到改进后的目标检测模块。

在其中一个实施例中，第一处理模块130，还用于以预设外扩规则将识别到杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，得到外扩后的杆塔检测框；将外扩后的杆塔检测框所占区域确认为主杆塔所占区域，以及将识别到藤蔓的藤蔓检测框所占区域确认为藤蔓所占区域。

在其中一个实施例中，第二处理模块140，还用于计算主杆塔所占区域的面积以及主杆塔所占区域与藤蔓所占区域之间的重叠区域的重叠面积；根据主杆塔所占区域的面积和重叠面积，得到重叠面积与主杆塔所占区域的面积的比值，并将比值确定为重叠度；将重叠度与阈值进行比较；若比较的结果为重叠度大于阈值，则确认主杆塔存在藤蔓攀爬隐患；若比较的结果为重叠度小于等于阈值，则确认主杆塔不存在藤蔓攀爬隐患。

在其中一个实施例中，基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置还可以包括：

第三处理模块，用于若识别的结果为杆塔区域图像中只存在藤蔓或只存在杆塔，则确认杆塔区域图像中的杆塔区域不存在藤蔓攀爬隐患。

上述基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如图10所示，提供了一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别系统，可以包括：无人机和上述的计算机设备；计算机设备连接无人机；

无人机用于对配电线路上的配电杆塔进行拍摄，并将拍摄到的待识别的杆塔区域图像发送至计算机设备。

其中，无人机具备图像拍摄功能。

具体地，采用无人机对配电线路进行巡视，巡视过程中无人机对配电杆塔地局部、细节以及通道拍摄多张图片，无人机将拍摄到的多张杆塔区域图像发送至计算机设备，计算机设备在接收到待识别的杆塔区域图像的情况下，对杆塔区域图像中的杆塔是否存在藤蔓攀爬隐患进行识别，并且在识别结果为杆塔区域图像中存在藤蔓和杆塔的情况下，识别出杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；计算机设备通过确定主杆塔所占区域与藤蔓所占区域的重叠度，确认主杆塔是否存在藤蔓攀爬隐患，从而配电杆塔藤蔓攀爬隐患识别系统可以实现高效且准确地识别配电杆塔藤蔓攀爬隐患。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，其特征在于，所述方法包括：

获取待识别的杆塔区域图像；

对所述杆塔区域图像中是否存在藤蔓和杆塔进行识别；

若所述识别的结果为所述杆塔区域图像中存在藤蔓和杆塔，则识别出所述杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

确定所述主杆塔所占区域与所述藤蔓所占区域的重叠度，并根据所述重叠度确认主杆塔是否存在藤蔓攀爬隐患；

所述对所述杆塔区域图像中是否存在藤蔓和杆塔进行识别的步骤，包括：

采用改进后的目标检测模型对所述杆塔区域图像中是否存在所述藤蔓和所述杆塔两种目标进行识别；所述改进后的目标检测模型为将Ghost模块和Efficient ChannelAttention模块引入YOLO v5基础网络结构中得到；所述Ghost模块用于减少网络的整体参数和计算量；所述Efficient Channel Attention模块用于提升特征的提取能力；

所述将Ghost模块和Efficient Channel Attention模块引入YOLO v5基础网络结构中的步骤，包括：

基于Mobilenet v3网络块，通过使用所述Ghost模块代替所述Mobilenet v3网络块中的1*1卷积，以及使用所述Efficient Channel Attention模块代替所述Mobilenet v3网络块中的Squeeze-and-Excitation操作，构建两个替换模块；

采用所述两个替换模块分别替换所述YOLO v5基础网络结构中的CBL操作和CSP操作，得到所述改进后的目标检测模型；

所述识别出所述杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域的步骤，包括：

以预设外扩规则将识别到所述杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，得到外扩后的杆塔检测框；

将所述外扩后的杆塔检测框所占区域确认为所述主杆塔所占区域，以及将识别到所述藤蔓的藤蔓检测框所占区域确认为所述藤蔓所占区域。

2.根据权利要求1所述的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，其特征在于，所述确定所述主杆塔所占区域与所述藤蔓所占区域的重叠度，并根据所述重叠度确认主杆塔是否存在藤蔓攀爬隐患的步骤，包括：

计算所述主杆塔所占区域的面积以及所述主杆塔所占区域与所述藤蔓所占区域之间的重叠区域的重叠面积；

根据所述主杆塔所占区域的面积和所述重叠面积，得到所述重叠面积与所述主杆塔所占区域的面积的比值，并将所述比值确定为所述重叠度；

将所述重叠度与阈值进行比较；

若所述比较的结果为所述重叠度大于所述阈值，则确认所述主杆塔存在所述藤蔓攀爬隐患；

若所述比较的结果为所述重叠度小于等于所述阈值，则确认所述主杆塔不存在所述藤蔓攀爬隐患。

3.根据权利要求1所述的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法，其特征在于，所述方法还包括：

若所述识别的结果为所述杆塔区域图像中只存在所述藤蔓或只存在所述杆塔，则确认所述杆塔区域图像中的杆塔区域不存在所述藤蔓攀爬隐患。

4.一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别的杆塔区域图像；

识别模块，用于对所述杆塔区域图像中是否存在藤蔓和杆塔进行识别；

第一处理模块，用于若所述识别的结果为所述杆塔区域图像中存在藤蔓和杆塔，则识别出所述杆塔区域图像中的藤蔓所占区域以及所有杆塔中的主杆塔所占区域；

第二处理模块，用于确定所述主杆塔所占区域与所述藤蔓所占区域的重叠度，并根据所述重叠度确认主杆塔是否存在藤蔓攀爬隐患；

所述识别模块还用于采用改进后的目标检测模型对所述杆塔区域图像中是否存在所述藤蔓和所述杆塔两种目标进行识别；所述改进后的目标检测模型为将Ghost模块和Efficient Channel Attention模块引入YOLO v5基础网络结构中得到；所述Ghost模块用于减少网络的整体参数和计算量；所述Efficient Channel Attention模块用于提升特征的提取能力；基于Mobilenet v3网络块，通过使用所述Ghost模块代替所述Mobilenet v3网络块中的1*1卷积，以及使用所述Efficient Channel Attention模块代替所述Mobilenetv3网络块中的Squeeze-and-Excitation操作，构建两个替换模块；采用所述两个替换模块分别替换所述YOLO v5基础网络结构中的CBL操作和CSP操作，得到所述改进后的目标检测模型；

所述第一处理模块，还用于以预设外扩规则将识别到所述杆塔的所有杆塔检测框中最大的杆塔检测框进行外扩，得到外扩后的杆塔检测框；将所述外扩后的杆塔检测框所占区域确认为所述主杆塔所占区域，以及将识别到所述藤蔓的藤蔓检测框所占区域确认为所述藤蔓所占区域。

5.根据权利要求4所述的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置，其特征在于，

所述第二处理模块，还用于计算所述主杆塔所占区域的面积以及所述主杆塔所占区域与所述藤蔓所占区域之间的重叠区域的重叠面积；根据所述主杆塔所占区域的面积和所述重叠面积，得到所述重叠面积与所述主杆塔所占区域的面积的比值，并将所述比值确定为所述重叠度；将所述重叠度与阈值进行比较；若所述比较的结果为所述重叠度大于所述阈值，则确认所述主杆塔存在所述藤蔓攀爬隐患；若所述比较的结果为所述重叠度小于等于所述阈值，则确认所述主杆塔不存在所述藤蔓攀爬隐患。

6.根据权利要求4所述的基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别装置，其特征在于，还包括：

第三处理模块，用于若所述识别的结果为所述杆塔区域图像中只存在所述藤蔓或只存在所述杆塔，则确认所述杆塔区域图像中的杆塔区域不存在所述藤蔓攀爬隐患。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。

8.一种基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别系统，其特征在于，包括：无人机和权利要求7所述的计算机设备；所述计算机设备连接所述无人机；

所述无人机用于对配电线路上的配电杆塔进行拍摄，并将拍摄到的待识别的杆塔区域图像发送至所述计算机设备。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。

Images