CN115393714A - 一种融合图论推理的输电线路螺栓缺销钉检测方法 - Google Patents

Abstract

本发明提出一种融合图论推理的输电线路螺栓缺销钉检测方法，所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；所述图像语义算法以Faster R‑CNN框架为基础来加入GRM模块并构建GR‑RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉；本发明能提高小目标检测精度，和解决螺栓缺销钉的缺陷样本不足的问题。

Description

一种融合图论推理的输电线路螺栓缺销钉检测方法

技术领域

本发明涉及机器学习、图像处理和无人机输电线路巡检技术领域，尤其是一种融合图论推理的输电线路螺栓缺销钉检测方法。

背景技术

现有技术的技术方案为：基于经典的目标检测算法框架(如Faster R-CNN)，采用多尺度策略、数据增强、提高特征分辨率等方法加强算法对小目标的识别能力。再通过生成对抗网络生成新的缺陷样本来训练缺陷检测模型，实现对缺销钉的螺栓进行缺陷检测。

但现有的缺陷检测一般是对航拍图像使用目标检测算法找到目标，再对其进行缺陷检测，或者直接使用目标检测算法对部件进行缺陷检测。已有的目标检测算法检测输电线路上体积较大的部件如绝缘子、均压环、防震锤的精度较高，能够满足智能检测的要求。但是螺栓这种小目标一般在航拍图像中很难被目标检测算法检测出来。并且目前的算法大多是对各部件进行独立检测，而忽略了杆塔上部件之间的连接关系，较少地运用了输电线路巡检相关的业务知识。同时螺栓缺销钉缺陷的样本不足的问题导致对于需要大量样本的深度学习算法来说会极大程度的影响其缺陷检测的精度。因此本申请提案要解决的技术问题是提高小目标检测精度，和解决螺栓缺销钉的缺陷样本不足的问题。

发明内容

本发明提出一种融合图论推理的输电线路螺栓缺销钉检测方法，能提高小目标检测精度，和解决螺栓缺销钉的缺陷样本不足的问题。

本发明采用以下技术方案。

一种融合图论推理的输电线路螺栓缺销钉检测方法，所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；

所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，该模块包括但不仅限于用在Faster R-CNN上，还可用于其他的目标检测算法；在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。

所述检测方法包括以下流程：

流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练，训练好的模型输出能够表达图像包含的空间结构的语义特征；

流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型，进行识别检测以判定图像中是否有螺栓；

流程三、当判定图像中有螺栓后，再以缺陷检测算法检测图像中的螺栓是否缺销钉。

所述流程一、流程二采用的方法具体包括以下步骤；

步骤S1、制作电力巡检输电线路部件的图像数据集；

步骤S2、提取结构语义特征，以GRM模块(Graph Reasonning Module)作为特征提取网络的结构语义表达模型，模型的输入为图像的视觉特征，模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据；图数据的节点为各部件图像特征和图像标签，边为连接关系，以公式表述为

P(S＝(V，E，O，R)|I) 公式一；

其中I表示图像，V是I中各部件的图像特征对应的节点，

表示节点之间的关系，即图数据中的边，O表示各部件的标签，R表示各连接关系的标签；GRM模块包括ORPObject Region Proposal目标候选区域)、RsPN(Relationship Proposal Network关系候选网络)和Graph Labeling(图数据标记)，其用公式表达为：

P(S|I)＝P(V|I)P(E|V，I)P(R，O|V，E，I) 公式二；

将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph ReasonningRegion Convolutional Neural Networks)，所述GR-RCNN算法包括一阶段算法和二阶段算法，通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果；

步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个objectproposal，每个object proposal对应一个目标节点，包含空间区域

经过池化的特征向量

关于类C＝{1，...，k}中的初始预测的标签分布

将所有proposals的向量集合分别表示为矩阵R^o∈R^n×4，X^o∈R^n×d，P^o∈R^n×|C|；

步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性；通过修剪没有关联的边，对结构语义模型进行稀疏操作，以保留有效的边，抑制毫无关联的边产生的噪声；

初始化类分布P^o，总共有n*(n-1)对不同方向的关系对

计算其相关性

其中f(x，y)是可以输出相关性分数的多层感知器，以非对称核函数的公式表述为

其中φ(x)，ψ(y)分别为关系中主体与客体的投影函数，由两个相同结构的多层感知器构成，计算出分数矩阵S＝{s_ij}^n×n；最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0，1]；

步骤S5、将处理后的分数矩阵S按降序进行排序，并选择前K对，然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对；

计算两个关系对{u，v}和{p，q}之间重叠程度的公式为：

其中字符I表示交集，U表示并集。将重叠度高的关系对去除之后，剩下m个关系对均为有效的关系E；最终可以得到图数据G＝(V，E)，即为经过稀疏操作后的图数据；

步骤S6、构建一个AGCN(Attention-based Graph Convolutional Network)来学习图数据的结构特征和上下文信息，AGCN由两层GCN网络和一个注意力模块组成，网络的逐层传播为：对于图数据中的目标节点i，通过训练后的隐藏权重矩阵W对相邻节点{z_i∈R^d}进行线性变换，并集合一个权重α，最后经过激活函数ReLU；整个逐层传播过程用公式表示为：

或者等价于一个矩阵表示：

其中α_i∈[0，1]ⁿ；

步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的α_i，为α_i添加一个可训练的注意力模块，以公式表述为

其中w_h和W_a是学习参数，[x，y]形式的表述是连接操作，设α_ii＝1，α_ij＝0，

所述注意力模块是学习节点特征的函数，其每次迭代都会导致值发生改变，从而影响后续迭代，公式为

α_i＝softmax(u_i) 公式八；

步骤S8、计算损失函数，具体为：公式二表述GR-RCNN分为的三部分中，P(V|I)使用与FasterR-CNN中RPN相同的损失函数；P(E|V，I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数；P(R，O|V，E，I)使用两个多类交叉熵损失函数进行分类；

步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后，将Faster R-CNN提取的视觉特征与图数据的结构特征进行特征融合，其公式如下：

f′＝εfW_e 公式九；

ε为表示图数据节点的邻接矩阵，f是Faster R-CNN提取的视觉特征，W_e∈R^n×d是权重矩阵；

步骤S10、将增强的融合特征f′输入到Faster R-CNN网络的边界框回归层和分类层，得到螺栓是否存在的识别结果；

流程三采用的方法包括以下步骤；

步骤S11、根据步骤S10的识别结果检测到螺栓所在区域，经裁剪后得到螺栓图像；所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉；

步骤S12、建立缺陷检测模型，缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块；

步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图，进行多尺度卷积操作后，输入FastFlow模块；

步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成，如下公式表示

f₁、f₂、f₃…f_k为K个变换块。每个变换块变换流程如下：

y_a，y_b＝split(y)

y′_a＝y_a

y′_b＝s(y_a)⊙y_b+b(y_a)

y′＝concat(y′_a，y′_b)，

公式十一；

其中s(y_a)和b(y_a)是两个神经网络的输出；split(·)和concat(·)函数按通道维度执行拆分和连接操作；

两个子网s(·)和b(·)将原始的归一化流转换为二维方式，在默认子网中采用二维卷积层来保留流模型中的空间信息，并相应地调整损失函数；模型采用全卷积网络，其中3×3卷积和1×1卷积交替出现，以在FastFlow模型中保留空间信息；

步骤S15、步骤S14中，f：X→Z表示将图像特征x∈p_x(x)投影到隐藏变量z∈p_z(z)的可逆映射；对于这个函数，以变量的变换公式定义模型在X上的分布：

根据下列公式求特征图的对数似然估计函数值：

其中z～N(o，I)和

为f的雅可比行列式z＝f_θ(x)，

θ为f模型的参数；

螺栓缺失销钉的图像为异常图像，其特征会超出分布范围，异常图像的似然值相比正常图像更低，其似然值可以作为异常得分；具体操作为：将每个通道的二位概率相加得到最终的概率图，并使用双线性插值将其上采样到输入图像的像素中去，最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。

所述检测方法由具有GPU计算设备的计算机执行。

所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。

本发明充分利用了输电线路部件的空间结构与部件间的连接特点，提高螺栓的检测精度，更加针对电力巡检场景。同时能够解决缺陷样本数量不足的问题。

本发明能针对无人机电力巡检场景提高小目标检测精度，并且能解决螺栓缺销钉的缺陷样本不足的问题。

本发明提出一种基于图像语义算法的杆塔螺栓缺销钉检测方法，针对螺栓目标小的问题，提出一种利用图像语义算法提取图像的结构语义特征的方法，并将其应用在目标检测算法里，使得目标检测算法可以学习输电线路部件的空间关系和部件间的连接关系，并利用这种关系特征辅助找出螺栓的位置；本发明有益效果为：该方法较为灵活，可以用于任何主流的目标检测算法中。针对螺栓缺销钉样本数量少的问题，提出利用工业异常的检测算法，只输入正样本来检测出螺栓图像是否缺销钉；充分利用了输电线路部件的空间结构与部件间的连接特点，提升了算法对小目标的识别精度。同时也解决了缺少缺陷样本的问题。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是本发明的流程示意图；

附图2是GR-RCNN算法的结构示意图；

附图3是螺栓缺销钉检测方法采用算法的结构示意图。

具体实施方式

如图所示，一种融合图论推理的输电线路螺栓缺销钉检测方法，所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；

所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。

所述检测方法包括以下流程：

流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练，训练好的模型输出能够表达图像包含的空间结构的语义特征；

流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型，进行识别检测以判定图像中是否有螺栓；

流程三、当判定图像中有螺栓后，再以缺陷检测算法检测图像中的螺栓是否缺销钉。

所述流程一、流程二采用的方法具体包括以下步骤；

步骤S1、制作电力巡检输电线路部件的图像数据集；

步骤S2、提取结构语义特征，以GRM模块(Graph Reasonning Module)作为特征提取网络的结构语义表达模型，模型的输入为图像的视觉特征，模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据；图数据的节点为各部件图像特征和图像标签，边为连接关系，以公式表述为

P(S＝(V，E，O，R)|I) 公式一；

其中I表示图像，V是I中各部件的图像特征对应的节点，

表示节点之间的关系，即图数据中的边，O表示各部件的标签，R表示各连接关系的标签；GRM模块包括ORPObject Region Proposal目标候选区域)、RsPN(Relationship Proposal Network关系候选网络)和Graph Labeling(图数据标记)，其用公式表达为：

P(S|I)＝P(V|I)P(E|V，I)P(R，O|V，E，I) 公式二；

将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph ReasonningRegion Convolutional Neural Networks)，所述GR-RCNN算法包括一阶段算法和二阶段算法，通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果；

GR-RCNN算法的具体算法结构如图2所示；

步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个objectproposal，每个object proposal对应一个目标节点，包含空间区域

经过池化的特征向量

关于类C＝{1，...，k}中的初始预测的标签分布

将所有proposals的向量集合分别表示为矩阵R^o∈R^n×4，X^o∈R^n×d，P^o∈R^n×|C|；

步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性；通过修剪没有关联的边，对结构语义模型进行稀疏操作，以保留有效的边，抑制毫无关联的边产生的噪声；

初始化类分布P^o，总共有n*(n-1)对不同方向的关系对

计算其相关性

其中f(x，y)是可以输出相关性分数的多层感知器，以非对称核函数的公式表述为

其中φ(x)，ψ(y)分别为关系中主体与客体的投影函数，由两个相同结构的多层感知器构成，计算出分数矩阵S＝{s_ij}^n×n；最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0，1]；

步骤S5、将处理后的分数矩阵S按降序进行排序，并选择前K对，然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对；

计算两个关系对{u，v}和{p，q}之间重叠程度的公式为：

其中字符I表示交集，U表示并集。将重叠度高的关系对去除之后，剩下m个关系对均为有效的关系E；最终可以得到图数据G＝(V，E)，即为经过稀疏操作后的图数据；

步骤S6、构建一个AGCN(Attention-based Graph Convolutional Network)来学习图数据的结构特征和上下文信息，AGCN由两层GCN网络和一个注意力模块组成，网络的逐层传播为：对于图数据中的目标节点i，通过训练后的隐藏权重矩阵W对相邻节点{z_i∈R^d}进行线性变换，并集合一个权重α，最后经过激活函数ReLU；整个逐层传播过程用公式表示为：

或者等价于一个矩阵表示：

其中α_i∈[0，1]ⁿ；

步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的α_i，为α_i添加一个可训练的注意力模块，以公式表述为

其中w_h和W_a是学习参数，[x，y]形式的表述是连接操作，设α_ii＝1，α_ij＝0，

所述注意力模块是学习节点特征的函数，其每次迭代都会导致值发生改变，从而影响后续迭代，公式为

α_i＝softmax(u_i) 公式八；

步骤S8、计算损失函数，具体为：公式二表述GR-RCNN分为的三部分中，P(V|I)使用与FasterR-CNN中RPN相同的损失函数；P(E|V，I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数；P(R，O|V，E，I)使用两个多类交叉熵损失函数进行分类；

步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后，将Faster R-CNN提取的视觉特征与图数据的结构特征进行特征融合，其公式如下：

f′＝εfW_e 公式九；

ε为表示图数据节点的邻接矩阵，f是Faster R-CNN提取的视觉特征，W_e∈R^n×d是权重矩阵；

步骤S10、将增强的融合特征f′输入到Faster R-CNN网络的边界框回归层和分类层，得到螺栓是否存在的识别结果；

流程三采用的方法包括以下步骤；

步骤S11、根据步骤S10的识别结果检测到螺栓所在区域，经裁剪后得到螺栓图像；所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉；

步骤S12、建立缺陷检测模型，缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块；

缺陷检测模型的网络结构，即螺栓缺销钉检测方法的算法结构，如图3所示；

步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图，进行多尺度卷积操作后，输入FastFlow模块；

步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成，如下公式表示

f₁、f₂、f₃…f_k为K个变换块。每个变换块变换流程如下：

y_a，y_b＝split(y)

y′_a＝y_a

y′_b＝s(y_a)⊙y_b+b(y_a)

y′＝concat(y′_a，y′_b)，

公式十一；

其中s(y_a)和b(y_a)是两个神经网络的输出；split(·)和concat(·)函数按通道维度执行拆分和连接操作；

两个子网s(·)和b(·)将原始的归一化流转换为二维方式，在默认子网中采用二维卷积层来保留流模型中的空间信息，并相应地调整损失函数；模型采用全卷积网络，其中3×3卷积和1×1卷积交替出现，以在FastFlow模型中保留空间信息；

步骤S15、步骤S14中，f：X→Z表示将图像特征x∈p_x(x)投影到隐藏变量z∈p_z(z)的可逆映射；对于这个函数，以变量的变换公式定义模型在X上的分布：

根据下列公式求特征图的对数似然估计函数值：

其中z～N(o，I)和

为f的雅可比行列式z＝f_θ(x)，

θ为f模型的参数；

螺栓缺失销钉的图像为异常图像，其特征会超出分布范围，异常图像的似然值相比正常图像更低，其似然值可以作为异常得分；具体操作为：将每个通道的二位概率相加得到最终的概率图，并使用双线性插值将其上采样到输入图像的像素中去，最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。

所述检测方法由具有GPU计算设备的计算机执行。

所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。

Claims (6)

1.一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述检测方法基于的目标检测算法利用图像语义算法提取图像的结构语义特征，学习输电线路部件的空间关系和部件间的连接关系，并与特征提取网络输出的视觉特征相融合来增强特征，由分类器和回归器输出图中螺栓的位置并判定销钉是否缺失；所述图像语义算法以Faster R-CNN框架为基础来加入GRM模块并构建GR-RCNN算法，以加强目标检测算法对图中螺栓类小目标的识别能力，在判定销钉是否缺失时，以销钉未缺失的螺栓类图像为正样本，利用Fastflow算法来判定待检测图像中的螺栓是否缺销钉。

2.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述检测方法包括以下流程：

流程一、首先将航拍图像和图像数据输入结构语义表达模型进行训练，训练好的模型输出能够表达图像包含的空间结构的语义特征；

流程二、将结构语义表达模型的输出与航拍图像一起输入目标检测模型，进行识别检测以判定图像中是否有螺栓；

流程三、当判定图像中有螺栓后，再以缺陷检测算法检测图像中的螺栓是否缺销钉。

3.根据权利要求2所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述流程一、流程二采用的方法具体包括以下步骤；

步骤S1、制作电力巡检输电线路部件的图像数据集；

步骤S2、提取结构语义特征，以GRM模块作为特征提取网络的结构语义表达模型，模型的输入为图像的视觉特征，模型输出的图数据包含具有空间结构、部件连接关系的图像特征数据；图数据的节点为各部件图像特征和图像标签，边为连接关系，以公式表述为

P(S＝(V，E，O，R)|I) 公式一；

其中I表示图像，V是I中各部件的图像特征对应的节点，

表示节点之间的关系，即图数据中的边，O表示各部件的标签,R表示各连接关系的标签；

GRM模块包括目标候选区域ORP、关系候选网络RsPN和图数据标记Graph Labeling，其用公式表达为：

P(S|I)＝P(V|I)P(E|V，I)P(R，O|V，E，I) 公式二；

将结构语义表达模型嵌入Faster-RCNN形成GR-RCNN算法(Graph Reasonning RegionConvolutional Neural Networks)，所述GR-RCNN算法包括一阶段算法和二阶段算法，通过融合结构语义表达模型的图像视觉特征来增强并提高最终的检测效果；

步骤S3、ORP中使用Faster R-CNN框架从输入图像中提取一组n个object proposal，每个object proposal对应一个目标节点，包含空间区域

经过池化的特征向量

关于类C＝{1，...，k}中的初始预测的标签分布

将所有proposals的向量集合分别表示为矩阵R^o∈R^n×4，X^o∈R^n×d,P^o∈R^n×|C|；

步骤S4、引入RsPN网络进行学习并预测杆塔中输电线路部件之间的相关性；通过修剪没有关联的边，对结构语义模型进行稀疏操作，以保留有效的边，抑制毫无关联的边产生的噪声；

初始化类分布P^o，总共有n*(n-1)对不同方向的关系对

计算其相关性

其中f(x,y)是可以输出相关性分数的多层感知器，以非对称核函数的公式表述为

其中φ(x)，ψ(y)分别为关系中主体与客体的投影函数，由两个相同结构的多层感知器构成，计算出分数矩阵S＝{s_ij)^n×n；最后经过sigmoid激活函数将分数矩阵S各个元素映射到[0,1]；

步骤S5、将处理后的分数矩阵S按降序进行排序，并选择前K对，然后使用NMS(NonMaximum Suppression非极大抑制)过滤掉与其他对象有明显重叠的对象对；

计算两个关系对{u,v}和{p,q}之间重叠程度的公式为：

其中字符I表示交集，U表示并集。将重叠度高的关系对去除之后，剩下m个关系对均为有效的关系E；最终可以得到图数据G＝(V,E)，即为经过稀疏操作后的图数据；

步骤S6、构建一个AGCN来学习图数据的结构特征和上下文信息，AGCN由两层GCN网络和一个注意力模块组成，网络的逐层传播为：对于图数据中的目标节点i，通过训练后的隐藏权重矩阵W对相邻节点{z_i∈R^d}进行线性变换，并集合一个权重α，最后经过激活函数ReLU；整个逐层传播过程用公式表示为：

或者等价于一个矩阵表示：

其中α_i∈[0，1]ⁿ；

步骤S7、GCN中的图数据的连接关系是已知的且基于节点特征预测的α_i，为α_i添加一个可训练的注意力模块，以公式表述为

其中w_h和W_a是学习参数，[x,y]形式的表述是连接操作，设α_ii＝1，α_ij＝0，

所述注意力模块是学习节点特征的函数，其每次迭代都会导致值发生改变,从而影响后续迭代，公式为

α_i＝softmax(u_i) 公式八；

步骤S8、计算损失函数，具体为：公式二表述GR-RCNN分为的三部分中，P(V|I)使用与FasterR-CNN中RPN相同的损失函数；P(E|V，I)在RsPN上使用二元交叉熵损失和anchors的回归损失函数；P(R，O|V，E，I)使用两个多类交叉熵损失函数进行分类；

步骤S9、基于图数据对图像特征进行增强。通过上述步骤构建语义结构模型后，将FasterR-CNN提取的视觉特征与图数据的结构特征进行特征融合，其公式如下：

f′＝εfW_e 公式九；

ε为表示图数据节点的邻接矩阵,f是FasterR-CNN提取的视觉特征，W_e∈R^n×d是权重矩阵；

步骤S10、将增强的融合特征f′输入到FasterR-CNN网络的边界框回归层和分类层，得到螺栓是否存在的识别结果。

4.根据权利要求3所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：流程三采用的方法包括以下步骤；

步骤S11、根据步骤S10的识别结果检测到螺栓所在区域，经裁剪后得到螺栓图像；所述螺栓图像用于输入缺陷检测模型来检测螺栓是否缺销钉；

步骤S12、建立缺陷检测模型，缺陷检测模型的网络结构为一个特征提取器和一个FastFlow模块；

步骤S13、特征提取器直接使用CNN网络ResNet的前三个block中最后一层提取的特征图，进行多尺度卷积操作后，输入FastFlow模块；

步骤S14、FastFlow模块由3×3和1×1大小的多个可逆的变换块构成，如下公式表示

f₁、f₂、f₃…f_k为K个变换块。每个变换块变换流程如下：

y_a，y_b＝split(y)

y′_a＝y_a

y′_b＝s(y_a)⊙y_b+b(y_a)

y′＝concat(y′_a，y′_b)，

公式十一；

其中s(y_a)和b(y_a)是两个神经网络的输出；split(·)和concat(·)函数按通道维度执行拆分和连接操作；

两个子网s(·)和b(·)将原始的归一化流转换为二维方式，在默认子网中采用二维卷积层来保留流模型中的空间信息，并相应地调整损失函数；模型采用全卷积网络，其中3×3卷积和1×1卷积交替出现，以在FastFlow模型中保留空间信息；

步骤S15、步骤S14中，f:X→Z表示将图像特征x∈px(x)投影到隐藏变量z∈p_z(z)的可逆映射；对于这个函数，以变量的变换公式定义模型在X上的分布：

根据下列公式求特征图的对数似然估计函数值：

其中z～N(o,I)和

为f的雅可比行列式z＝f_θ(x)，

θ为f模型的参数；

螺栓缺失销钉的图像为异常图像，其特征会超出分布范围，异常图像的似然值相比正常图像更低，其似然值可以作为异常得分；具体操作为：将每个通道的二位概率相加得到最终的概率图，并使用双线性插值将其上采样到输入图像的像素中去，最终异常像素点聚集处即为螺栓缺失的缺陷在图像中的位置。

5.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述检测方法由具有GPU计算设备的计算机执行。

6.根据权利要求1所述的一种融合图论推理的输电线路螺栓缺销钉检测方法，其特征在于：所述待检测图像为无人机对输电线路进行智能巡检时的航拍图像。

Images