CN115409776A - 一种基于方位推理的输电线路金具图卷积检测方法及系统 - Google Patents

一种基于方位推理的输电线路金具图卷积检测方法及系统 Download PDF

Info

Publication number
CN115409776A
CN115409776A CN202210881028.5A CN202210881028A CN115409776A CN 115409776 A CN115409776 A CN 115409776A CN 202210881028 A CN202210881028 A CN 202210881028A CN 115409776 A CN115409776 A CN 115409776A
Authority
CN
China
Prior art keywords
orientation
category
matrix
feature
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210881028.5A
Other languages
English (en)
Inventor
翟永杰
陈年昊
白云山
赵宽
李冰
郭聪彬
王乾铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202210881028.5A priority Critical patent/CN115409776A/zh
Publication of CN115409776A publication Critical patent/CN115409776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于方位推理的输电线路金具图卷积检测方法及系统，所述方法包括如下步骤：基于特征提取网路模型，获得基础特征图；基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；将增强特征图级联到基础特征图上；将级联特征图输入全连接层进行金具类型和方位的识别。本发明将方位先验矩阵作为不同金具空间结构的先验知识，构建空间连接图，并设计图卷积神经网络采用方位推理的方式将空间连接图融合进检测和识别的过程中，提升了输电线路金具检测的精度。

Description

一种基于方位推理的输电线路金具图卷积检测方法及系统
技术领域
本发明涉及输电线路检测技术领域，特别是涉及一种基于方位推理的输电线路金具图卷积检测方法及系统。
背景技术
输电线路作为电网输送电力的关键一环，其稳定的运行对电网的安全和发展都起着至关重要的作用。而金具作为输电线路上最常见也最为频繁使用的器件，对整个输电线路的正常且稳定得运行都有着举足轻重的影响。金具常因为处于恶劣的外部环境下容易出现各种破裂、掉落、锈化等不良问题，从而影响其功能的正常使用。因此定期检测输电线路的缺损和各类金具的损毁情况并及时进行维修更替将有效降低输电线路故障的发生频率。
当前图像处理技术发展迅猛，与无人机拍摄技术结合大大提升了输电线路金具巡检的有效性。目前输电线路金具检测技术大致分为以下几类：基于传统图像处理算法、基于机器学习算法和基于深度学习算法。传统图像处理算法一般对图像进行特征提取、图像分割、目标定位等多阶段操作，利用对形状、边缘、轮廓等特征的描述来实现对金具的特征提取。虽然传统图像处理算法在实验条件下能取得良好效果，但实际应用中往往受到外界环境的影响，并且该算法只能针对部分特征突出的金具目标进行识别，难以满足实际需求。基于机器学习算法通过特征提取与分类器结合的方法进行金具识别，一定程度上比传统的图像处理算法要可靠，但模型构建的特征容易受到背景及目标材质、形态、大小等因素的影响，难以深度挖掘样本特征的信息。
深度学习方法一经提出便受到广泛关注，并且使用深度学习方法去对金具数据集进行定位和检测具有超参数对结果影响更小、特征提取能力和抗干扰能力更强的优点。例如如下两个方案：
方案一：针对由于金具尺度变化大且部分金具为小尺度目标进而导致金具检测精确度低的问题，提出了一种基于改进Cascade R-CNN的典型金具及其部分缺陷检测方法，有效提高金具检测精度；
方案二：针对防震锤和线夹两类目标检测时的多角度需求与样本量较少的问题，提出基于迁移学习的改进训练方法训练YOLOv3模型，提高模型最终的准确性与泛化能力。
然而上述方案一、二是运用相关模型结合目标固有特性进行改进，没有融合电力领域知识，导致上述模型在金具密集情况下往往不能取得很好的检测效果。
发明内容
有鉴于此，本发明提供了一种基于方位推理的输电线路金具图卷积检测方法，以提供一种能够融合电力领域知识的检测方法，实现提高在金具密集情况下的检测精度。
为实现上述目的，本发明提供了如下方案：
一种基于方位推理的输电线路金具图卷积检测方法，所述方法包括如下步骤：
将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图；
基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；
将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；
将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；
将所述增强特征图级联到所述基础特征图上，得到级联特征图；
将所述级联特征图输入全连接层进行金具类型和方位的识别。
可选的，所述基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵，具体包括：
利用如下公式计算基础特征图中的基础特征向量之间的距离，构建距离矩阵；
Figure BDA0003764170450000021
其中，dij为第i个与第j个基础特征向量之间的距离，fi为第i个基础特征向量，
Figure BDA0003764170450000031
为对第j个基础特征向量进行维度拓展和前两维转置得到的向量；
将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边；
基于当前迭代的预测边和方位先验矩阵中的期望边，利用如下公式计算当前迭代的损失函数值；
Figure BDA0003764170450000032
其中，Losse表示损失函数值；
Figure BDA0003764170450000033
为第i个基础特征向量与第j个基础特征向量之间的预测边，
Figure BDA0003764170450000034
为方位先验矩阵中的第(i，j)个元素，用于表征第i个基础特征向量与第j个基础特征向量之间的期望边，
Figure BDA0003764170450000035
的数值等于相对类别方位概率图中第i个行向量与第j个行向量之间的散度，N表示基础特征向量的数量，其数值等于金具类别的数量；
根据当前迭代的损失函数值更新自适应卷积激活网络的参数，返回步骤“将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边”，直到满足迭代结束条件，输出最后一次迭代获得的预测边；
对最后一次迭代获得的预测边进行softmax函数规范化，并将规范化后的预测边作为元素构建区域方位邻接矩阵。
可选的，所述基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵，之前还包括：
获取已知金具类别和方位的金具航拍图像作为样本，构建样本集；
基于所述样本集，采用如下公式计算类别y相对于类别x在s方位上出现的概率，构建相对类别方位概率图；
Figure BDA0003764170450000036
其中，Ps(Cy|Cx)为类别y相对于类别x在s方位上出现的概率，s∈{0,1,2,3}，0,1,2,3分别为上，下，左，右，x，y＝1,2,3,…,M，M为金具类别的数量；Ns(Cy|Cx)为类别y在类别x的s方位上出现的次数，Ni(Cy|Cx)为类别y在类别x的s'方位上出现的次数；
利用如下公式计算相对类别方位概率图中任意两个行向量之间的散度，构建所述散度作为元素的方位先验矩阵；
Figure BDA0003764170450000041
其中，JS(Ri|Rj)表示相对类别方位概率图中第i个行向量与第j个行向量之间的散度，Ri和Rj分别表示相对类别方位概率图中第i个行向量和第j个行向量，DKL(·)为相对熵计算函数。
可选的，所述特征提取网路模型包括主干网络ResNet101、区域建议网络和感兴趣区域池化单元。
一种基于方位推理的输电线路金具图卷积检测系统，所述系统包括：
特征提取模块，用于将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图；
自适应学习模块，用于基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；
空间连接图构建模块，用于将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；
方位推理模块，用于将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；
级联模块，用于将所述增强特征图级联到所述基础特征图上，得到级联特征图；
识别模块，用于将所述级联特征图输入全连接层进行金具类型和方位的识别。
可选的，所述自适应学习模块，具体包括：
距离计算子模块，用于利用如下公式计算基础特征图中的基础特征向量之间的距离，构建距离矩阵；
Figure BDA0003764170450000042
其中，dij为第i个与第j个基础特征向量之间的距离，fi为第i个基础特征向量，
Figure BDA0003764170450000051
为对第j个基础特征向量进行维度拓展和前两维转置得到的向量；
预测子模块，用于将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边；
损失函数值计算子模块，用于基于当前迭代的预测边和方位先验矩阵中的期望边，利用如下公式计算当前迭代的损失函数值；
Figure BDA0003764170450000052
其中，Losse表示损失函数值；
Figure BDA0003764170450000053
为第i个基础特征向量与第j个基础特征向量之间的预测边，
Figure BDA0003764170450000054
为方位先验矩阵中的第(i，j)个元素，用于表征第i个基础特征向量与第j个基础特征向量之间的期望边，
Figure BDA0003764170450000055
的数值等于相对类别方位概率图中第i个行向量与第j个行向量之间的散度，N表示基础特征向量的数量；
参数更新子模块，用于根据当前迭代的损失函数值更新自适应卷积激活网络的参数，返回步骤“将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边”，直到满足迭代结束条件，输出最后一次迭代获得的预测边；
softmax函数规范化子模块，用于对最后一次迭代获得的预测边进行softmax函数规范化，并将规范化后的预测边作为元素构建区域方位邻接矩阵。
可选的，所述系统还包括：
样本集构建模块，用于获取已知金具类别和方位的金具航拍图像作为样本，构建样本集；
概率计算模块，用于基于所述样本集，采用如下公式计算类别y相对于类别x在s方位上出现的概率，构建相对类别方位概率图；
Figure BDA0003764170450000056
其中，Ps(Cy|Cx)为类别y相对于类别x在s方位上出现的概率，s∈{0,1,2,3}，0,1,2,3分别为上，下，左，右，x，y＝1,2,3,…,M，M为金具类别的数量；Ns(Cy|Cx)为类别y在类别x的s方位上出现的次数，Ni(Cy|Cx)为类别y在类别x的s'方位上出现的次数；
散度计算模块，用于利用如下公式计算相对类别方位概率图中任意两个行向量之间的散度，构建所述散度作为元素的方位先验矩阵；
Figure BDA0003764170450000061
其中，JS(Ri|Rj)表示相对类别方位概率图中第i个行向量与第j个行向量之间的散度，Ri和Rj分别表示相对类别方位概率图中第i个行向量和第j个行向量，DKL(·)为相对熵计算函数。
可选的，所述特征提取网路模型包括主干网络ResNet101、区域建议网络和感兴趣区域池化单元。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种基于方位推理的输电线路金具图卷积检测方法及系统，所述方法包括如下步骤：将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图；基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；将所述增强特征图级联到所述基础特征图上，得到级联特征图；将所述级联特征图输入全连接层进行金具类型和方位的识别。本发明将方位先验矩阵作为不同金具空间结构的先验知识，构建空间连接图，并设计图卷积神经网络采用方位推理的方式将空间连接图融合进检测和识别的过程中，提升了输电线路金具检测的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术行人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于输电线路金具的网络框架图；
图2为本发明实施例提供的金具组合结构图；图2中的(a)图、(b)图分别为防舞动结构的结构图和单联悬垂结构的结构图；
图3为本发明实施例提供的平面方位模型的结构图；
图4为本发明实施例提供的相对类别方位概率图；图4中的(a)图、(b)图、(c)图和(d)图为四个方位的相对类别方位概率图；
图5为本发明实施例提供的自适应学习过程的流程图；
图6为本发明实施例提供的自适应卷积激活网络的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术行人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于方位推理的输电线路金具图卷积检测方法，以提供一种能够融合电力领域知识的检测方法，实现提高在金具密集情况下的检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明为了解决金具密集造成的遮挡问题，推进深度学习模型与电力金具结构的深层融合，本发明根据无人机巡检拍摄规范，通过自上而下的拍摄标准深入研究输电线路中金具存在的结构化规则，提出各金具之间的相对类别方位概念，运用输电线路航拍所得图像对金具相对类别方位矩阵进行构建。将得到的金具相对类别方位矩阵作为不同金具空间结构的先验知识，并设计图卷积融合的方位推理模块融合进目标检测模型中，进一步提升检测模型分类和定位的效果。
实施例1
本发明实施例1提供一种基于方位推理的输电线路金具图卷积检测方法，本发明实施例1提供的方法基于如图1所示的网络框架，如图1所示，本发明首先将金具航拍图像作为输入，通过主干网络ResNet101进行特征提取，然后经过区域建议网络RPN(RegionProposalNetwork，RPN)和感兴趣区域池化单元(region ofinterestpooling，RoIPooling)得到基础特征图(Base Feature)。然后从航拍图像数据集中提取出相对类别方位知识，并与Base Feature一起进行自适应学习得到区域方位邻接矩阵。之后，将BaseFeature的每个基础特征作为GCN图卷积网络节点，构成空间连接图，特征中包含的信息视为节点的信号强度，将区域方位邻接矩阵当成空间连接图的关系，建立方位推理模型，进行特征聚合增强。最后将方位推理模型生成的增强特征级联到原来的基础特征上，共同完成金具的类别检测和定位任务。本发明在实施过程中使用的网络框架中的网络模型均为训练后的网络模型，对于网络模型的训练方式为：本发明选取了14类金具作为实验对象，参考PASCALVOC2007数据集的构建方法，构建了金具数据集，其中训练集与测试集样本图像分别为1092和363张，数量比例为3:1，共包含金具目标数9101个。本发明采用NVIDIA 1080Ti专业加速卡进行训练与测试；采用的操作系统为Ubuntu16.04.6LTS，利用CUDA10.0加速训练；使用的计算机语言Python3.8，网络开发框架为Pytorch。在训练阶段，将batchsize设为1，使用了随机梯度下降(SGD)算法，初始学习率设为0.0024，每经过9个epoch，学习率下降为原来的10％，最多迭代训练了20个epoch。增强特征维度K定为256，ACAN网络通过1×1卷积核进行尺度缩减，通过使用GPUs，该方法可以很容易拓展到分布式系统中。本发明的模型只适用于具有稳定静态空间结构的金具数据集，对于非空间结构关联密切的数据集如PASCALVOC2007等不能较好得提升类别检测效果。
基于上述网络框架所述方法包括如下步骤：
步骤101，将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图。
步骤102，基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵。
在执行步骤102之前，首先要获得方位先验矩阵，方位先验矩阵的获取方式包括如下步骤：
步骤1：金具空间直觉信息
在输电线路的设计和建造过程中为了满足输电的安全和稳定，输电线路金具按照往往具有一定的组合规则和结构，金具组合间固定的结构表征它们有方位上的密切联系。如图2所示，由提包式悬垂线夹、联板和重锤组成防舞动结构(图2中的(a)图)；由提包式悬垂线夹、u型挂环、联板和均压环组成单联悬垂结构(图2中的(b)图)。某个类别物体相对于另一个类别物体存在空间结构上的信息，尤其是针对金具这一类静态稳定不变的物体。通过无人机拍摄的图片可观察到相对类别物体间左右方位领域的直觉信息会因为无人机拍摄的角度而影响，但上下方位领域直觉信息不会受到无人机的拍摄角度的影响，能够较好地提取金具类别间空间结构化知识。
步骤2：相对类别方位知识提取
基于上下方位的规则，本发明提出了相对类别方位概念。相对类别方位的先验知识通过平面方位模型来提取，平面方位模型是图3所示，其由人为定义，将图片内物体的方向等比例对称地分割成四个方向，分别定为top(0)、top(1)、down(2)和down(3)，严格贴合无人机拍摄的相关习惯，将物体上下两个方向严格区分，而左右两个方向同区间内有机结合，使相对类别之间的方位信息能够比较有效得提取。
共现关系指不同金具之间存在明显的结构上共生关系，因此常常出现在同一张图片上，例如均压环和提包式悬垂线夹往往同时出现。本发明在共现关系基础上创新性提取相对类别方位知识。本发明以条件概率进行建模，先针对某一特定类别y，利用共现关系将一个不同类别x相对y在不同方位的出现数量给统计出来，Ns(Cy|Cx)表示y类别在x类别的s方位上出现的次数，其中s∈{0,1,2,3}。将y类别相对x类别出现的数量除以y类别相对x类别在四个方位出现的总数量得到条件概率Ps(Cy|Cx)，表示类别y相对于类别x在s方位上出现的概率。计算式子如式(1)所示：
Figure BDA0003764170450000101
根据式(1)计算得到的相对类别方位概率图如图4所示，图4中的(a)图、(b)图、(c)图和(d)图为四个方位的相对类别方位概率图，结合图3，可明显看出当均压环和重锤一起出现的时候，重锤大概率出现在均压环下方的3方位上，P3(C重锤|C均压环)＝0.85。由于金具结构的影响，相对地，均压环出现在重锤下方的概率就会降低，P3(C均压环|C重锤)＝0.01。对于P1(C重锤|C均压环)＝P3(C均压环|C重锤)＝0.85，可以看出相对方位知识图是跨方位对称的。提包式悬垂线夹相对于重锤而言，在平面方位模型的方位中概率基本一致，由于会有辅助邻近重锤固定的提包式悬垂线夹的影响，所以水平方位的概率会适当提高。这与每个重锤需要四个提包式悬垂线夹固定、至少一个均压环来平衡电压的金具结构一致，可知相对方位矩阵能有效表达出类别间的方位关系，有助于模型学习到高效且合理的知识。
步骤3：方位先验矩阵
FasterR-CNN的RPN网络将生成一系列感兴趣的区域，本发明实施例使用这些感兴趣的区域来构建图，进行图推理，自适应学习到区域方位邻接矩阵。首先由FasterR-CNN算法所提取的具有固定尺度信息的N个特征图基础特征向量对方位图G:G＝<v,ε,W>进行定义，其中v是图节点，即|v|＝N，也是基础特征向量的数量。ε是图的边，需通过自适应学习得到，并以节点边缘加权形式表达。W表示图的传播权重，也是训练过程中需要学习的内容。
对于方位图的邻接矩阵，本发明采用有监督的自学习方式将金具相对类别结构方位特征通过GCN的方位邻接矩阵形式融合到目标检测模型中。为了得到方位邻接矩阵，本发明实施例先对得到的相对类别方位概率图进行相似化计算，使用JS散度从概率分布的角度去计算方位图各行向量之间的距离，丰富知识图的表达，如下式(2)所示：
Figure BDA0003764170450000111
其中DKL表示进行相对熵计算，如式(3)所示：
Figure BDA0003764170450000112
JS散度的值与相对类别方位先验矩阵E是相等的，根据图2所示，先对相对方位概率图进行相似化计算，由相对方位概率图各行向量之间的距离计算JS散度，如公式(2)所示。公式(3)是根据Ri和Rj求得公式(2)中的DKL。
式(2)、(3)中Ri和Rj表示方位图的行向量概率函数，Ri(x)＞0,Rj(x)＞0。JS散度的结果是对称的，其取值在0到1之间，这样就得到了去稀疏化的相对类别方位先验矩阵E，(JS散度的值与相对类别方位先验矩阵E是相等的，即E＝JS，二者是相等的)，可以作为先验知识真值嵌入进模型中。
本发明步骤102的具体实现方式为：
如图5所示，该步骤使用方位先验矩阵E里面的元素作为期望边
Figure BDA0003764170450000113
其中i,j∈[1,N]，然后使用神经网络去转换节点间的特征，目的是自适应学习所需的预测边
Figure BDA0003764170450000114
表示模型学习到方位图中第i个节点与第j个节点间的方位关联关系。为了得到预测边
Figure BDA0003764170450000115
先对基础特征向量fi，fj进行维度拓展，将原来的f∈[N,D]拓展成[1,N,D]，D是节点的特征维度，再对拓展的f进行前两维度转置得到fT∈[N,1,D]，接着进行L1范式处理得到元素距离矩阵d∈[N,N,D]，由下式(4)表达:
Figure BDA0003764170450000116
式(4)中基础特征向量里的元素距离矩阵d能反映不同基础向量之间元素的相似度，表达出视觉特征区域的相关性。之后将计算得到的距离矩阵输入堆叠的自适应卷积激活网络(Adaptive Convolutional Activation Network，ACAN)，公式如下式(5)所示。
Figure BDA0003764170450000117
ACAN如图6所示，由四层的全连通网络构成，其中每层网络包括一个卷积层和一个修正线性单元ReLu(Rectified linearunit)激活函数。通过ACAN去进行尺度缩减，推理学习形成不同节点间的边缘关系，并迭代更新ACAN学习到的矩阵参数α，能够实现知识有效学习，还能使模型对静态的知识带有一定的自适应能力。
为了高效学习到合适的ACANα矩阵参数，采取有监督方式更新α矩阵参数，以期望的边
Figure BDA0003764170450000121
构成的矩阵为真值，其中
Figure BDA0003764170450000122
通过Base feature的RPN框真实类别对应相对类别方位先验矩阵E的行与列来进行提取的。经过ACAN学习的预测边作为训练值，使用下式(6)损失函数去进行对N个候选区域的边缘权重学习，并在训练中更新网络参数。
Figure BDA0003764170450000123
为了后面嵌入进GCN网络中，对应图邻接矩阵的加权形式，生成边的权重后再经过softmax函数规范化就得到自适应学习到的区域方位邻接矩阵
Figure BDA0003764170450000124
如式(7)所示，并在下一步中融合进GCN网络中。
Figure BDA0003764170450000125
步骤103，将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；
步骤104，将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图。
步骤105，将所述增强特征图级联到所述基础特征图上，得到级联特征图。
步骤106，将所述级联特征图输入全连接层进行金具类型和方位的识别。
在步骤103-106中，为了将学习到的方位知识融合进目标检测模型中，本发明实施例构建图卷积融合的方位推理模块。首先经过区域建议框(RPN)得到基础特征图(Basefeature)，基础特征图的基础特征之间构成连通图，包含着目标间的空间信息，将每个基础特征当成图卷积网络的节点。图卷积网络通过区域邻接矩阵在节点之间传播信息，挖掘出目标框之间的空间关系信息，从而辅助模型对目标进行定位和回归。具体网络框架可参考图1。
目标定位具体步骤：首先根据无人机巡检拍摄规范，通过自上而下的拍摄标准分析金具类别间的空间直觉信息，从而提出各金具之间的相对类别方位概念，以数据驱动的方式显性表达出金具结构之间的方位关系。为了将空间方位信息融入深度学习模型中，将感兴趣区域(ROI)结果输出的视觉特征当成空间连接图的节点，将自适应学习得到的区域方位邻接矩阵当成空间连接图的关系，然后利用图卷积网络建立方位推理模型。
为了说明本发明的效果，本发明还提供了如下说明本发明的效果的实施方式。
为了验证方位推理模块的有效性，以Faster R-CNN作为基础框架进行改进，FasterR-CNN可以使RPN与下游检测网络共享卷积层使得一个统一且基于深度学习的目标检测系统能够以接近实时的帧速率运行。本文使用目前目标检测模型中常用的评价指标平均精度均值(meanAverage Precision，mAP)对模型进行总体的评估，平均精度均值定义为：
Figure BDA0003764170450000131
其中C是金具的类别数量，Rn表示类别n的召回率，Pn(Rn)是当类别n的召回率是Rn时对应的类别n的精度。mAP用于定量评估模型的训练效果，能反映出训练模型的性能。
本发明能够正确识别防舞动结构下的重锤，同时由于GCN网络和方位知识模块的引入，使得重锤的定位也更加准确。
实施例2
本发明实施例2提供一种基于方位推理的输电线路金具图卷积检测系统，所述系统包括：
特征提取模块，用于将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图。所述特征提取网路模型包括主干网络ResNet101、区域建议网络和感兴趣区域池化单元。
自适应学习模块，用于基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵。
所述自适应学习模块，具体包括：
距离计算子模块，用于利用如下公式计算基础特征图中的基础特征向量之间的距离，构建距离矩阵。
Figure BDA0003764170450000141
其中，dij为第i个与第j个基础特征向量之间的距离，fi为第i个基础特征向量，
Figure BDA0003764170450000142
为对第j个基础特征向量进行维度拓展和前两维转置得到的向量。
预测子模块，用于将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边。
损失函数值计算子模块，用于基于当前迭代的预测边和方位先验矩阵中的期望边，利用如下公式计算当前迭代的损失函数值。
Figure BDA0003764170450000143
其中，Losse表示损失函数值；
Figure BDA0003764170450000144
为第i个基础特征向量与第j个基础特征向量之间的预测边，
Figure BDA0003764170450000145
为方位先验矩阵中的第(i，j)个元素，用于表征第i个基础特征向量与第j个基础特征向量之间的期望边，
Figure BDA0003764170450000146
的数值等于相对类别方位概率图中第i个行向量与第j个行向量之间的散度，N表示基础特征向量的数量。
参数更新子模块，用于根据当前迭代的损失函数值更新自适应卷积激活网络的参数，返回步骤“将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边”，直到满足迭代结束条件，输出最后一次迭代获得的预测边。
softmax函数规范化子模块，用于对最后一次迭代获得的预测边进行softmax函数规范化，并将规范化后的预测边作为元素构建区域方位邻接矩阵。
空间连接图构建模块，用于将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图。
方位推理模块，用于将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图。
级联模块，用于将所述增强特征图级联到所述基础特征图上，得到级联特征图。
识别模块，用于将所述级联特征图输入全连接层进行金具类型和方位的识别。
所述系统还包括：
样本集构建模块，用于获取已知金具类别和方位的金具航拍图像作为样本，构建样本集。
概率计算模块，用于基于所述样本集，采用如下公式计算类别y相对于类别x在s方位上出现的概率，构建相对类别方位概率图。
Figure BDA0003764170450000151
其中，Ps(Cy|Cx)为类别y相对于类别x在s方位上出现的概率，s∈{0,1,2,3}，0,1,2,3分别为上，下，左，右，x，y＝1,2,3,…,M，M为金具类别的数量；Ns(Cy|Cx)为类别y在类别x的s方位上出现的次数，Ni(Cy|Cx)为类别y在类别x的s'
方位上出现的次数。
散度计算模块，用于利用如下公式计算相对类别方位概率图中任意两个行向量之间的散度，构建所述散度作为元素的方位先验矩阵。
Figure BDA0003764170450000152
其中，JS(Ri|Rj)表示相对类别方位概率图中第i个行向量与第j个行向量之间的散度，Ri和Rj分别表示相对类别方位概率图中第i个行向量和第j个行向量，DKL(·)为相对熵计算函数。
本发明的有益效果如下：
针对输电线路航拍图像中广泛存在的金具目标密集和相互遮挡的问题，本文提出了基于方位推理的输电线路金具图卷积检测方法。
首先根据无人机航拍规范深入学习金具数据集，设计平面方位模型提取出不同金具之间的相对类别方位知识。然后通过去稀疏化的操作丰富方位知识的表达，通过自适应学习模块学习得到区域方位邻接矩阵。接着将感兴趣区域(ROI)结果输出的视觉特征当成空间连接图的节点，将区域方位邻接矩阵当成空间连接图的关系，使用图卷积网络建立基于方位推理的图卷积融合模型，将外部知识与深度学习模型进行融合，最后进行分类任务和回归任务。
实验结果表明，本发明能够有效解决目标密集问题，对输电线路多金具数据集的检测效果优于其他先进模型。本发明使用平面方位模型提取相关方位知识，并将自学习的区域方位矩阵嵌进GCN网络中来改善金具的检测效果，为输电线路设备部件智能巡检技术提供了新的思路。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术行人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于方位推理的输电线路金具图卷积检测方法，其特征在于，所述方法包括如下步骤：
将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图；
基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；
将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；
将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；
将所述增强特征图级联到所述基础特征图上，得到级联特征图；
将所述级联特征图输入全连接层进行金具类型和方位的识别。
2.根据权利要求1所述的基于方位推理的输电线路金具图卷积检测方法，其特征在于，所述基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵，具体包括：
利用如下公式计算基础特征图中的基础特征向量之间的距离，构建距离矩阵；
Figure FDA0003764170440000011
其中，dij为第i个与第j个基础特征向量之间的距离，fi为第i个基础特征向量，
Figure FDA0003764170440000015
为对第j个基础特征向量进行维度拓展和前两维转置得到的向量；
将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边；
基于当前迭代的预测边和方位先验矩阵中的期望边，利用如下公式计算当前迭代的损失函数值；
Figure FDA0003764170440000012
其中，Losse表示损失函数值；
Figure FDA0003764170440000013
为第i个基础特征向量与第j个基础特征向量之间的预测边，
Figure FDA0003764170440000014
为方位先验矩阵中的第(i，j)个元素，用于表征第i个基础特征向量与第j个基础特征向量之间的期望边，
Figure FDA0003764170440000023
的数值等于相对类别方位概率图中第i个行向量与第j个行向量之间的散度，N表示基础特征向量的数量；
根据当前迭代的损失函数值更新自适应卷积激活网络的参数，返回步骤“将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边”，直到满足迭代结束条件，输出最后一次迭代获得的预测边；
对最后一次迭代获得的预测边进行softmax函数规范化，并将规范化后的预测边作为元素构建区域方位邻接矩阵。
3.根据权利要求1所述的基于方位推理的输电线路金具图卷积检测方法，其特征在于，所述基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵，之前还包括：
获取已知金具类别和方位的金具航拍图像作为样本，构建样本集；
基于所述样本集，采用如下公式计算类别y相对于类别x在s方位上出现的概率，构建相对类别方位概率图；
Figure FDA0003764170440000021
其中，Ps(Cy|Cx)为类别y相对于类别x在s方位上出现的概率，s∈{0,1,2,3}，0,1,2,3分别为上，下，左，右，x，y＝1,2,3,…,M，M为金具类别的数量；Ns(Cy|Cx)为类别y在类别x的s方位上出现的次数，Ni(Cy|Cx)为类别y在类别x的s'方位上出现的次数；
利用如下公式计算相对类别方位概率图中任意两个行向量之间的散度，构建所述散度作为元素的方位先验矩阵；
Figure FDA0003764170440000022
其中，JS(Ri|Rj)表示相对类别方位概率图中第i个行向量与第j个行向量之间的散度，Ri和Rj分别表示相对类别方位概率图中第i个行向量和第j个行向量，DKL(·)为相对熵计算函数。
4.根据权利要求1所述的基于方位推理的输电线路金具图卷积检测方法，其特征在于，所述特征提取网路模型包括主干网络ResNet101、区域建议网络和感兴趣区域池化单元。
5.一种基于方位推理的输电线路金具图卷积检测系统，其特征在于，所述系统包括：
特征提取模块，用于将金具航拍图像输入特征提取网路模型，进行特征提取，获得基础特征图；
自适应学习模块，用于基于方位先验矩阵，对基础特征图进行自适应学习，获得区域方位邻接矩阵；
空间连接图构建模块，用于将基础特征图中的基础特征作为节点，将区域方位邻接矩阵作为节点之间的连接关系，构建空间连接图；
方位推理模块，用于将空间连接图输入图卷积神经网络进行方位推理，获得增强特征图；
级联模块，用于将所述增强特征图级联到所述基础特征图上，得到级联特征图；
识别模块，用于将所述级联特征图输入全连接层进行金具类型和方位的识别。
6.根据权利要求5所述的基于方位推理的输电线路金具图卷积检测系统，其特征在于，自适应学习模块，具体包括：
距离计算子模块，用于利用如下公式计算基础特征图中的基础特征向量之间的距离，构建距离矩阵；
Figure FDA0003764170440000031
其中，dij为第i个与第j个基础特征向量之间的距离，fi为第i个基础特征向量，
Figure FDA0003764170440000032
为对第j个基础特征向量进行维度拓展和前两维转置得到的向量；
预测子模块，用于将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边；
损失函数值计算子模块，用于基于当前迭代的预测边和方位先验矩阵中的期望边，利用如下公式计算当前迭代的损失函数值；
Figure FDA0003764170440000041
其中，Losse表示损失函数值；
Figure FDA0003764170440000042
为第i个基础特征向量与第j个基础特征向量之间的预测边，
Figure FDA0003764170440000043
为方位先验矩阵中的第(i，j)个元素，用于表征第i个基础特征向量与第j个基础特征向量之间的期望边，
Figure FDA0003764170440000044
的数值等于相对类别方位概率图中第i个行向量与第j个行向量之间的散度，N表示基础特征向量的数量；
参数更新子模块，用于根据当前迭代的损失函数值更新自适应卷积激活网络的参数，返回步骤“将所述距离矩阵输入自适应卷积激活网络，获得当前迭代的预测边”，直到满足迭代结束条件，输出最后一次迭代获得的预测边；
softmax函数规范化子模块，用于对最后一次迭代获得的预测边进行softmax函数规范化，并将规范化后的预测边作为元素构建区域方位邻接矩阵。
7.根据权利要求5所述的基于方位推理的输电线路金具图卷积检测系统，其特征在于，所述系统还包括：
样本集构建模块，用于获取已知金具类别和方位的金具航拍图像作为样本，构建样本集；
概率计算模块，用于基于所述样本集，采用如下公式计算类别y相对于类别x在s方位上出现的概率，构建相对类别方位概率图；
Figure FDA0003764170440000045
其中，Ps(Cy|Cx)为类别y相对于类别x在s方位上出现的概率，s∈{0,1,2,3}，0,1,2,3分别为上，下，左，右，x，y＝1,2,3,…,M，M为金具类别的数量；Ns(Cy|Cx)为类别y在类别x的s方位上出现的次数，Ni(Cy|Cx)为类别y在类别x的s'方位上出现的次数；
散度计算模块，用于利用如下公式计算相对类别方位概率图中任意两个行向量之间的散度，构建所述散度作为元素的方位先验矩阵；
Figure FDA0003764170440000051
其中，JS(Ri|Rj)表示相对类别方位概率图中第i个行向量与第j个行向量之间的散度，Ri和Rj分别表示相对类别方位概率图中第i个行向量和第j个行向量，DKL(·)为相对熵计算函数。
8.根据权利要求5所述的基于方位推理的输电线路金具图卷积检测系统，其特征在于，所述特征提取网路模型包括主干网络ResNet101、区域建议网络和感兴趣区域池化单元。
CN202210881028.5A 2022-07-26 2022-07-26 一种基于方位推理的输电线路金具图卷积检测方法及系统 Pending CN115409776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210881028.5A CN115409776A (zh) 2022-07-26 2022-07-26 一种基于方位推理的输电线路金具图卷积检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210881028.5A CN115409776A (zh) 2022-07-26 2022-07-26 一种基于方位推理的输电线路金具图卷积检测方法及系统

Publications (1)

Publication Number Publication Date
CN115409776A true CN115409776A (zh) 2022-11-29

Family

ID=84157582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210881028.5A Pending CN115409776A (zh) 2022-07-26 2022-07-26 一种基于方位推理的输电线路金具图卷积检测方法及系统

Country Status (1)

Country Link
CN (1) CN115409776A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561696A (zh) * 2023-01-11 2023-08-08 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561696A (zh) * 2023-01-11 2023-08-08 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统
CN116561696B (zh) * 2023-01-11 2024-04-16 上海合煌能源科技有限公司 基于多维度的用户可调节负荷快速聚合方法及其系统

Similar Documents

Publication Publication Date Title
Yang et al. Pipeline magnetic flux leakage image detection algorithm based on multiscale SSD network
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
Si et al. A deep convolutional neural network model for intelligent discrimination between coal and rocks in coal mining face
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN109635763B (zh) 一种人群密度估计方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN110222636B (zh) 基于背景抑制的行人属性识别方法
CN115564766B (zh) 水轮机蜗壳座环的制备方法及其系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN111400572A (zh) 一种基于卷积神经网络实现图像特征识别的内容安全监测系统及其方法
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN114119610A (zh) 基于旋转目标检测的缺陷检测方法
Coenen et al. Semi-supervised segmentation of concrete aggregate using consensus regularisation and prior guidance
CN115409776A (zh) 一种基于方位推理的输电线路金具图卷积检测方法及系统
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN113012107A (zh) 电网缺陷检测方法及系统
CN112329879A (zh) 基于反事实多智能体学习的图像场景图的生成方法和系统
CN114821200B (zh) 一种应用于工业视觉检测领域的图像检测模型及方法
Liu et al. Generated pseudo-labels guided by background skeletons for overcoming under-segmentation in overlapping particle objects
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination