CN116188359A - 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法 - Google Patents

基于邻域信息交互注意力的任意角度航拍绝缘子检测方法 Download PDF

Info

Publication number
CN116188359A
CN116188359A CN202211380952.1A CN202211380952A CN116188359A CN 116188359 A CN116188359 A CN 116188359A CN 202211380952 A CN202211380952 A CN 202211380952A CN 116188359 A CN116188359 A CN 116188359A
Authority
CN
China
Prior art keywords
insulator
formula
detection
output
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211380952.1A
Other languages
English (en)
Inventor
李冰锋
阮皓皓
张家欣
杨艺
段鑫鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202211380952.1A priority Critical patent/CN116188359A/zh
Publication of CN116188359A publication Critical patent/CN116188359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，具体包括：建立绝缘子训练数据集和绝缘子测试数据集；构建绝缘子检测网络模型，包括特征提取模块、解码器模块以及检测头模块，在特征提取模块中引入邻域信息交互注意力机制，在检测头模块中引入角度检测头分支；根据绝缘子训练数据集，对绝缘子检测网络模型进行训练，得到训练后的绝缘子检测网络模型；根据绝缘子测试数据集，通过训练后的绝缘子检测网络模型，获取绝缘子检测结果；本发明通过引入邻域信息交互注意力机制和角度检测头分支，能有效减少航拍图像中背景信息对检测结果的影响，从而更精准地得到绝缘子的位置信息，提高检测效率和精度。

Description

基于邻域信息交互注意力的任意角度航拍绝缘子检测方法
技术领域
本发明涉及绝缘子检测领域，特别是涉及到一种基于邻域信息交互注意力的任意角度航拍绝缘子检测方法。
背景技术
作为电力能源输送的重要载体，架空输电线路一般由塔杆和塔杆基础、导线、绝缘子以及接地装置等部分构成。而在整个线路结构中，绝缘子是十分重要的部件，对绝缘子的精准检测和维护是十分重要的工作。但是由于架空输电线路的搭建一般多分布于野外地形复杂地区，且绝缘子体积在整体结构中属于较小体积，利用人工巡检不仅低效，而且还存在成本高、难度大的问题。
伴随着无人机技术及人工智能等相关技术的发展，基于无人机航拍图像的绝缘子检测方法逐渐被研究出来，而绝缘子检测则多依赖于绝缘子检测。因此，研究基于航拍图像的绝缘子检测方法具有重要的现实意义。
目前基于深度学习的目标检测方法已逐渐成为主流。传统机器视觉方法采用卷积神经网络提取特征，再结合图像分割和边缘检测算法，实现对绝缘子的分类检测。近年来，人们将深度学习中R-CNN(region-based convolutional neural-network)系列、YOLO(YouOnly Look Once)系列等目标检测方法应用于绝缘子检测，均取得较好的检测效果。但这几类引入锚框算法的缺点在于：正负样本不均衡，算法中锚框数量巨大，而目标数量相对较少。并且还会引入更多的超参数，增加计算成本。
基于此，相关研究人员利用中心点网络(CenterNet)算法，对输电线路绝缘子进行检测，因为该算法无需设定锚框，也不需要进行非极大值抑制(Non-Maximum Suppression)操作，且模型结构简单，运行效率高，所以检测结果可以得到较高的精度。虽然中心点网络(CenterNet)算法使得检测效果有所提升，但该算法的矩形检测框的角度固定，其检测结果会引入大量的背景信息，这将为后续的检测任务的增加难度。
发明内容
针对现有技术中关于航拍图像中，绝缘子具有大长宽比、背景复杂多变、检测难度较大的问题，本发明提出了基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，采用旋转框对倾斜的绝缘子进行检测，以提取有效特征信息，并通过在浅层网络融入邻域信息交互的注意力机制，提高倾斜绝缘子的检测精度。
本发明的目的可以通过以下技术方案来实现：
基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，所述检测方法具体包括以下步骤：
S1：从无人机航拍的输电线路图像中，选取绝缘子图像，建立绝缘子图像数据集，所述绝缘子图像数据集至少包括绝缘子训练数据集和绝缘子测试数据集；
S2：构建绝缘子检测网络模型，所述绝缘子检测网络模型包括特征提取模块、解码器模块以及检测头模块，所述特征提取模块包括第一预处理模块、第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块，在所述第二瓶颈模块和第三瓶颈模块之间引入邻域信息交互注意力机制模块，所述特征提取模块用于实现对输入图像的特征提取，获取图像的语义特征；
所述解码器模块通过三次反卷积操作进行上采样，获取高分辨率特征图；
所述检测头模块包括中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支，在所述检测头模块中引入角度检测头分支，用于预测目标绝缘子的空间倾斜角度；
S3：根据所述绝缘子训练数据集，对S2中的绝缘子检测网络模型进行训练，得到训练后的绝缘子检测网络模型；
S4：根据所述绝缘子测试数据集，将其输入训练后的绝缘子检测网络模型，获取绝缘子检测结果。
进一步的，所述绝缘子训练数据集和绝缘子测试数据集的制作步骤包括：
S21：对不同无人机平台航拍的绝缘子原始图像进行尺寸归一化处理；
S22：对尺寸归一化处理后的绝缘子图像中的绝缘子本体进行标注，采用LabelImg标注工具对所述绝缘子本体进行标注，其标注内容包括标注框类别及位置信息，所述标注框类别信息包括绝缘子本体信息和背景信息，所述标注框位置信息包括标注框中心点的横、纵坐标、标注框长度和宽度，将标注内容保存在xml格式的文件中。
S23：将S22中标注后的绝缘子图像数据集按比例划分为绝缘子训练数据集和绝缘子测试数据集。
进一步的，所述特征提取模块采用卷积神经网络中的残差网络(Resnet50)；
所述第一预处理模块将大小为512×512的输入图像通过一层卷积核大小为7×7，步长为2，填充为3的卷积层，输出大小为256×256的特征图，然后通过归一化和Relu函数激活之后，将大小为256×256特征图，输入步长为2的池化层，输出大小为128×128的特征图；
所述第二瓶颈模块包括3个卷积块，所述第三瓶颈模块包括4个卷积块，所述第四瓶颈模块包括6个卷积块，所述第五瓶颈模块包括3个卷积块，其中每个卷积块均由卷积核大小分别为1×1、3×3、1×1的三层卷积层构成；
经过所述第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块处理后，所述特征提取模块输出大小为16×16的特征图。
进一步的，引入所述邻域信息交互注意力机制模块的具体步骤包括：
S41：将所述第一预处理模块输出大小128×128的特征图作为所述邻域信息交互注意力机制模块的输入特征图，分别沿着高度、宽度方向进行全局平均池化，所述具体步骤包括：
S411：将输入特征图表示为X∈RC×H×W，其中，C，H，W分别代表其在通道，高度，宽度三个维度上的取值，将输入特征图X∈RC×H×W沿着宽度维度进行1维全局平均池化，则宽度索引为w的第i通道的输出可如式(1)所示：
Figure SMS_1
式(1)中，Z(i，w)表示宽度索引为w的第i通道的输出，x(i，j，w)表示通道，高度，宽度索引分别为i，j，w时的X的值；
S412：将输入特征图X∈RC×H×W，沿着高度维度进行1维全局平均池化，则高度索引为h的第i通道的输出可如式(2)所示：
Figure SMS_2
式(2)中，Z(i，h)表示高度索引为h的第i通道的输出，x(i，h，k)表示通道，高度，宽度索引分别为i，h，k时的X的值；
S413：将S411和S412中的Z(i，w)和Z(i，h)分别沿着各自维度构建矩阵算子Zw和Zh，如式(3)所示：
Figure SMS_3
式(3)中，Zw和Zh表示能描述空间特征信息的矩阵算子，0≤i≤C，0≤w≤W，0≤h≤H；
S42：对S4l中的输出Zw和Zh分别沿着高度，宽度维度进行卷积操作，然后再分别进行批归一化(Batch Normalization)操作，具体步骤包括：
S421：将所述矩阵算子Zw∈RC×W和Zh∈RC×H分别进行一维卷积运算，运算过程如式(4)所示：
Figure SMS_4
式(4)中，函数fconv表示一维卷积运算，其中卷积核大小为5×5，步长为1，填充为2，
Figure SMS_5
和/>
Figure SMS_6
分别表示对Zw和Zh进行一维卷积运算的输出；
S422：将S421得到的一维卷积运算后的矩阵
Figure SMS_7
和/>
Figure SMS_8
进行批归一化运算，运算过程如式(5)所示：
Figure SMS_9
式(5)中，函数fnorm表示批归一化运算，
Figure SMS_10
和/>
Figure SMS_11
分别表示对
Figure SMS_12
和/>
Figure SMS_13
进行批归一化运算的输出；
S423：对S41中的输出Zw和Zh分别进行转置和一维卷积运算，运算过程如式(6)所示：
Figure SMS_14
式(6)中，函数fT，conv表示先进行转置运算后再进行一维卷积运算，其中卷积核大小为3×3，步长为1，填充为1，
Figure SMS_15
和/>
Figure SMS_16
表示先进行转置运算后再进行一维卷积运算的输出；
S424：将S423得到的
Figure SMS_17
和/>
Figure SMS_18
先进行批归一化运算，再进行转置运算，运算过程如式(7)所示：
Figure SMS_19
式(7)中，函数fnorm，T表示先进行批归一化运算后再进行转置运算，
Figure SMS_20
和/>
Figure SMS_21
表示先进行批归一化运算后再进行转置运算的输出；
S43：对S42得到的输出进行融合计算和激活计算，然后对计算结果进行拓展(Unsqueeze)运算，其具体步骤包括：
S431：将S422中的输出
Figure SMS_22
和S424中的输出
Figure SMS_23
进行如式(8)所示融合和激活运算：
Figure SMS_24
式(8)中，函数fsig表示的是sigmoid函数，其表达式如式(9)所示：
Figure SMS_25
Figure SMS_26
表示沿宽度维度激活运算的输出，/>
Figure SMS_27
表示沿高度维度激活运算的输出；
S432：对S431中激活运算后的输出
Figure SMS_28
和/>
Figure SMS_29
分别沿宽度维度和高度维度进行拓展运算，其运算过程如式(10)所示：
Figure SMS_30
式(10)中，函数funsq表示的是拓展运算，
Figure SMS_31
表示对/>
Figure SMS_32
进行宽度维度拓展后的输出，/>
Figure SMS_33
表示对/>
Figure SMS_34
进行高度维度拓展后的输出；
S44：对S432中得到的
Figure SMS_35
进行维度次序调整，然后将/>
Figure SMS_36
与调整后的/>
Figure SMS_37
进行矩阵点乘运算，再将得到的结果与输入特征图X∈RC×H×W进行矩阵点乘运算，并将矩阵点乘后的输出作为第二瓶颈模块的输入，具体步骤如下：
S441：将
Figure SMS_38
的宽度和高度维度进行交换，得到/>
Figure SMS_39
S442：对S441中得到的
Figure SMS_40
和S432中得到的/>
Figure SMS_41
进行矩阵点乘运算，其运算过程如式(11)所示：/>
Figure SMS_42
式(11)中，Y∈RC×H×W为权重矩阵，表示领域信息交互注意力机制模块的输出，
Figure SMS_43
表示矩阵点乘运算；
S443：将S442得到的Y∈RC×H×W与S411中的X∈RC×H×W，进行矩阵点乘运算，其运算过程如式(12)所示：
Figure SMS_44
式(12)中，Z∈RC×H×W表示对输入特征图X中每个元素施加Y所对应的权重后的输出矩阵。
进一步的，在所述解码器模块中获取高分辨率特征图的具体步骤包括：
S51：将从特征提取模块输出的16×16的特征图，进行一次反卷积得到大小为32×32的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S52：对S51中32×32的特征图，进行一次反卷积得到大小为64×64的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S53：对S52中64×64的特征图，进行一次反卷积得到大小为128×128的特征图，其中反卷积核大小为4×4，步长为2，填充为1。
进一步的，所述中心点检测头分支利用热力图对目标绝缘子的中心点位置进行预测，得到中心点预测值的高斯分布
Figure SMS_45
所述中心点偏置检测头分支用于对中心点位置进行误差补偿，提高定位准确度，通过中心点偏置检测头分支可得到中心点偏置的预测值
Figure SMS_46
所述检测框高、宽检测头分支用于计算检测框的高、宽，通过检测框高、宽检测头分支可得到检测框的高、宽预测值
Figure SMS_47
所述角度检测头分支用于预测目标绝缘子的空间倾斜角度，通过角度检测头分支可得到倾斜角度的预测值
Figure SMS_48
结合所述中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支的预测输出结果，得到绝缘子目标的预测框。
进一步的，引入所述角度检测头分支的具体步骤包括：
S71：将所述解码器模块输出的128×128特征图作为角度检测头分支的输入，通过一个卷积核大小为3×3，步长为1，填充为1的卷积层进行卷积，其结果表示为
Figure SMS_49
S72：将S71中卷积结果通过Relu激活函数，其计算过程如式(13)所示：
xrelu＝frelu(xconv3) (13)
式(13)中，xrelu为通过Relu函数激活后的输出，frelu函数为Relu函数，其表达式如式(14)所示：
Figure SMS_50
S73：将S72中的输出xrelu，通过一个1×1的卷积核进行卷积，所得输出结果即为所述角度检测头分支的输出-角度预测值
Figure SMS_51
进一步的，得到所述训练后的绝缘子检测网络模型的具体步骤包括：
S81：将所述绝缘子训练数据集中的图像及对应的标注内容所包含的信息送入绝缘子检测网络模型；
S82：获取所述检测头模块中各个检测头分支的损失函数，其具体过程如下：
S821：所述绝缘子检测网络模型的损失函数包含4个部分，如式(15)所示：
Lnet＝Lkey+λsizeLsize+λoffsetLoffset+λangLang (15)
式(15)中，Lkey表示中心点损失函数，Lsize表示检测框高、宽损失函数，Loffset表示中心点偏置损失函数，Lang表示角度损失函数；
S822：中心点损失函数计算过程如式(16)所示：
Figure SMS_52
式(16)中，
Figure SMS_53
表示中心点预测值高斯分布，Yi∈[0，1]表示中心点实际值高斯分布由训练数据集中的对应数据提供，N表示中心点的个数，α和β是超参数；
S823：中心点偏置损失函数的计算过程如式(17)所示：
Figure SMS_54
式(17)中，
Figure SMS_55
表示中心点偏置的预测值，Oi表示中心点偏置的真实值-由训练数据集中的对应数据提供；
S824：检测框高、宽损失函数的计算过程如式(18)所示：
Figure SMS_56
式(18)中，
Figure SMS_57
表示检测框的高、宽预测值，Si表示检测框的高、宽实际值由训练数据集中的对应数据提供；
S825：角度损失函数的计算过程如式(19)所示：
Figure SMS_58
式(19)中，
Figure SMS_59
表示倾斜角度的预测值，θi表示倾斜角度的真实值-由训练数据集中的对应数据提供；
S83：根据绝缘子检测网络模型损失函数Lnet，基于梯度下降方法，如式(20)所示，对所述绝缘子检测网络模型中的训练参数进行迭代更新：
Figure SMS_60
式(20)中，
Figure SMS_61
表示网络模型更新前的所有训练参数，wτ表示更新后的所有训练参数，η表示相应的学习率，在下一轮迭代更新时，将上一轮得到的wτ赋值给/>
Figure SMS_62
S84：选择迭代更新运算的轮数，并对迭代更新后的最后一轮参数进行保存。
进一步的，加载S84所保存的最后一轮的训练参数，将所述测试数据集输入所述绝缘子检测网络模型中，获取绝缘子检测结果。
根据绝缘子检测结果以及图像中标注的真实绝缘子的分布情况，采用平均精确率(AP，Average Precision)指标，对本发明所述的方法进行效果评估，具体如下：
S91：将真实的绝缘子标识框，记为真实框。
S92：为得到平均精确率AP，需要计算真实框和检测框的交并比(IOU，Intersection over Union)。当检测框和真实框的交并比大于设定阈值时，记为一次真正的正样本(TP，True Positive)，当检测框和真实框的交并比小于设定阈值时，记为一次错误的正样本(FP，False Positive)，若绝缘子没有被检测到，记为一次错误的负样本(FN，False Negative)。
S93：采用TP+FP的值表示所有检测框的数目，采用TP+FN的值表示真实框的数目，根据如下公式分别计算出所有检测框的平均精确率AP中的相关指标：精确率(Precision)和召回率(Recall)。
Figure SMS_63
Figure SMS_64
在得到召回率和准确率后，以召回率为横坐标，以准确率为纵坐标绘制曲线，计算该曲线包围的坐标系的面积，面积值即为AP值。AP值越高，表示检测精度越好。
与现有的技术相比，本发明有益的效果为：
(1)通过在现有的绝缘子检测算法的基础上，引入了一种邻域信息交互注意力结构，提出了基于邻域交互注意力的任意角度航拍绝缘子检测网络模型，该模型能有效减少航拍图像中背景信息对检测结果的影响；
(2)加入角度预测网络结构，可以得到任意倾斜角度的目标边界框，从而可以更精准地得到绝缘子的位置信息，从而提高检测效率和精度。
附图说明
图1为本发明流程图；
图2为绝缘子检测网络模型结构图；
图3为邻域信息交互注意力机制结构图；
图4为检测头模块中角度检测头分支结构图；
图5为不同算法模型平均准确率对比图；
图6为训练过程损失函数收敛情况对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1所示，基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，所述检测方法具体包括以下步骤：
S1：从无人机航拍的输电线路图像中，选取绝缘子图像，建立绝缘子图像数据集，所述绝缘子图像数据集至少包括绝缘子训练数据集和绝缘子测试数据集；
S2：构建绝缘子检测网络模型，所述绝缘子检测网络模型包括特征提取模块、解码器模块以及检测头模块，所述特征提取模块包括第一预处理模块、第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块，在所述第二瓶颈模块和第三瓶颈模块之间引入邻域信息交互注意力机制模块，所述特征提取模块用于实现对输入图像的特征提取，获取图像的语义特征；
所述解码器模块通过三次反卷积操作进行上采样，获取高分辨率特征图；
所述检测头模块包括中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支，在所述检测头模块中引入角度检测头分支，用于预测目标绝缘子的空间倾斜角度；
S3：根据所述绝缘子训练数据集，对S2中的绝缘子检测网络模型进行训练，得到训练后的绝缘子检测网络模型；
S4：根据所述绝缘子测试数据集，将其输入训练后的绝缘子检测网络模型，获取绝缘子检测结果。
所述绝缘子训练数据集和绝缘子测试数据集的制作步骤包括：
S21：对不同无人机平台航拍的绝缘子原始图像进行尺寸归一化处理；
S22：对尺寸归一化处理后的绝缘子图像中的绝缘子本体进行标注，采用LabelImg标注工具对所述绝缘子本体进行标注，其标注内容包括标注框类别及位置信息，所述标注框类别信息包括绝缘子本体信息和背景信息，所述标注框位置信息包括标注框中心点的横、纵坐标、标注框长度和宽度，将标注内容保存在xml格式的文件中。
S23：将S22中标注后的绝缘子图像数据集按比例划分为绝缘子训练数据集和绝缘子测试数据集。
所述特征提取模块采用卷积神经网络中的残差网络(Resnet50)；
所述第一预处理模块将大小为512×512的输入图像通过一层卷积核大小为7×7，步长为2，填充为3的卷积层，输出大小为256×256的特征图，然后通过归一化和Relu函数激活之后，将大小为256×256特征图，输入步长为2的池化层，输出大小为128×128的特征图；
所述第二瓶颈模块包括3个卷积块，所述第三瓶颈模块包括4个卷积块，所述第四瓶颈模块包括6个卷积块，所述第五瓶颈模块包括3个卷积块，其中每个卷积块均由卷积核大小分别为1×1、3×3、1×1的三层卷积层构成；
经过所述第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块处理后，所述特征提取模块输出大小为16×16的特征图。
如图3所示，引入所述邻域信息交互注意力机制模块的具体步骤包括：
S41：将所述第一预处理模块输出大小128×128的特征图作为所述邻域信息交互注意力机制模块的输入特征图，分别沿着高度、宽度方向进行全局平均池化，所述具体步骤包括：
S411：将输入特征图表示为X∈RC×H×W，其中，C，H，W分别代表其在通道，高度，宽度三个维度上的取值，将输入特征图X∈RC×H×W沿着宽度维度进行1维全局平均池化，则宽度索引为w的第i通道的输出可如式(1)所示：
Figure SMS_65
式(1)中，Z(i，w)表示宽度索引为w的第i通道的输出，x(i，j，w)表示通道，高度，宽度索引分别为i，j，w时的X的值；
S412：将输入特征图X∈RC×H×W，沿着高度维度进行1维全局平均池化，则高度索引为h的第i通道的输出可如式(2)所示：
Figure SMS_66
式(2)中，Z(i，h)表示高度索引为h的第i通道的输出，x(i，h，k)表示通道，高度，宽度索引分别为i，h，k时的X的值；
S413：将S411和S412中的Z(i，w)和Z(i，h)分别沿着各自维度构建矩阵算子Zw和Zh，如式(3)所示：
Figure SMS_67
式(3)中，Zw和Zh表示能描述空间特征信息的矩阵算子，0≤i≤C，0≤w≤W，0≤h≤H；
S42：对S41中的输出Zw和Zh分别沿着高度，宽度维度进行卷积操作，然后再分别进行批归一化(Batch Normalization)操作，具体步骤包括：
S421：将所述矩阵算子Zw∈RC×W和Zh∈RC×H分别进行一维卷积运算，运算过程如式(4)所示：
Figure SMS_68
式(4)中，函数fconv表示一维卷积运算，其中卷积核大小为5×5，步长为1，填充为2，
Figure SMS_69
和/>
Figure SMS_70
分别表示对Zw和Zh进行一维卷积运算的输出；
S422：将S421得到的一维卷积运算后的矩阵
Figure SMS_71
和/>
Figure SMS_72
进行批归一化运算，运算过程如式(5)所示：
Figure SMS_73
式(5)中，函数fnorm表示批归一化运算，
Figure SMS_74
和/>
Figure SMS_75
分别表示对
Figure SMS_76
和/>
Figure SMS_77
进行批归一化运算的输出；/>
S423：对S41中的输出Zw和Zh分别进行转置和一维卷积运算，运算过程如式(6)所示：
Figure SMS_78
式(6)中，函数fT，conv表示先进行转置运算后再进行一维卷积运算，其中卷积核大小为3×3，步长为1，填充为1，
Figure SMS_79
和/>
Figure SMS_80
表示先进行转置运算后再进行一维卷积运算的输出；
S424：将S423得到的
Figure SMS_81
和/>
Figure SMS_82
先进行批归一化运算，再进行转置运算，运算过程如式(7)所示：
Figure SMS_83
式(7)中，函数fnorm，T表示先进行批归一化运算后再进行转置运算，
Figure SMS_84
和/>
Figure SMS_85
表示先进行批归一化运算后再进行转置运算的输出；
S43：对S42得到的输出进行融合计算和激活计算，然后对计算结果进行拓展(Unsqueeze)运算，其具体步骤包括：
S431：将S422中的输出
Figure SMS_86
和S424中的输出
Figure SMS_87
进行如式(8)所示融合和激活运算：
Figure SMS_88
式(8)中，函数fsig表示的是sigmoid函数，其表达式如式(9)所示：
Figure SMS_89
Figure SMS_90
表示沿宽度维度激活运算的输出，/>
Figure SMS_91
表示沿高度维度激活运算的输出；
S432：对S431中激活运算后的输出
Figure SMS_92
和/>
Figure SMS_93
分别沿宽度维度和高度维度进行拓展运算，其运算过程如式(10)所示：
Figure SMS_94
式(10)中，函数funsq表示的是拓展运算，
Figure SMS_95
表示对/>
Figure SMS_96
进行宽度维度拓展后的输出，/>
Figure SMS_97
表示对/>
Figure SMS_98
进行高度维度拓展后的输出；/>
S44：对S432中得到的
Figure SMS_99
进行维度次序调整，然后将/>
Figure SMS_100
与调整后的/>
Figure SMS_101
进行矩阵点乘运算，再将得到的结果与输入特征图X∈RC×H×W进行矩阵点乘运算，并将矩阵点乘后的输出作为第二瓶颈模块的输入，具体步骤如下：
S441：将
Figure SMS_102
的宽度和高度维度进行交换，得到/>
Figure SMS_103
S442：对S441中得到的
Figure SMS_104
和S432中得到的/>
Figure SMS_105
进行矩阵点乘运算，其运算过程如式(11)所示：
Figure SMS_106
式(11)中，Y∈RC×H×W为权重矩阵，表示领域信息交互注意力机制模块的输出，
Figure SMS_107
表示矩阵点乘运算；
S443：将S442得到的Y∈RC×H×W与S411中的X∈RC×H×W，进行矩阵点乘运算，其运算过程如式(12)所示：
Figure SMS_108
式(12)中，Z∈RC×H×W表示对输入特征图X中每个元素施加Y所对应的权重后的输出矩阵。
在所述解码器模块中获取高分辨率特征图的具体步骤包括：
S51：将从特征提取模块输出的16×16的特征图，进行一次反卷积得到大小为32×32的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S52：对S51中32×32的特征图，进行一次反卷积得到大小为64×64的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S53：对S52中64×64的特征图，进行一次反卷积得到大小为128×128的特征图，其中反卷积核大小为4×4，步长为2，填充为1。
所述中心点检测头分支利用热力图对目标绝缘子的中心点位置进行预测，得到中心点预测值的高斯分布
Figure SMS_109
所述中心点偏置检测头分支用于对中心点位置进行误差补偿，提高定位准确度，通过中心点偏置检测头分支可得到中心点偏置的预测值
Figure SMS_110
所述检测框高、宽检测头分支用于计算检测框的高、宽，通过检测框高、宽检测头分支可得到检测框的高、宽预测值
Figure SMS_111
所述角度检测头分支用于预测目标绝缘子的空间倾斜角度，通过角度检测头分支可得到倾斜角度的预测值
Figure SMS_112
结合所述中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支的预测输出结果，得到绝缘子目标的预测框。如图4所示，引入所述角度检测头分支的具体步骤包括：
S71：将所述解码器模块输出的128×128特征图作为角度检测头分支的输入，通过一个卷积核大小为3×3，步长为1，填充为1的卷积层进行卷积，其结果表示为
Figure SMS_113
优选的，C1＝256，H1＝W1＝128；/>
S72：将S71中卷积结果通过Relu激活函数，其计算过程如式(13)所示：
xrelu＝frelu(xconv3) (13)
式(13)中，xrelu为通过Relu函数激活后的输出，frelu函数为Relu函数，其表达式如式(14)所示：
Figure SMS_114
S73：将S72中的输出xrelu，通过一个1×1的卷积核进行卷积，所得输出结果即为所述角度检测头分支的输出-角度预测值
Figure SMS_115
得到所述训练后的绝缘子检测网络模型的具体步骤包括：
S81：将所述绝缘子训练数据集中的图像及对应的标注内容所包含的信息送入绝缘子检测网络模型；
S82：获取所述检测头模块中各个检测头分支的损失函数，其具体过程如下：
S821：所述绝缘子检测网络模型的损失函数包含4个部分，如式(15)所示：
Lnet＝Lkey+λsizeLsize+λoffsetLoffset+λangLang (15)
式(15)中，Lkey表示中心点损失函数，Lsize表示检测框高、宽损失函数，Loffset表示中心点偏置损失函数，Lang表示角度损失函数；
优选的，λsize＝λang＝0.1，λoffseet＝1；
S822：中心点损失函数计算过程如式(16)所示：
Figure SMS_116
式(16)中，
Figure SMS_117
表示中心点预测值高斯分布，Yi∈[0，1]表示中心点实际值高斯分布由训练数据集中的对应数据提供，N表示中心点的个数，α和β是超参数；优选的，α＝2，β＝4；
S823：中心点偏置损失函数的计算过程如式(17)所示：
Figure SMS_118
式(17)中，
Figure SMS_119
表示中心点偏置的预测值，Oi表示中心点偏置的真实值-由训练数据集中的对应数据提供；
S824：检测框高、宽损失函数的计算过程如式(18)所示：
Figure SMS_120
式(18)中，
Figure SMS_121
表示检测框的高、宽预测值，Si表示检测框的高、宽实际值由训练数据集中的对应数据提供；
S825：角度损失函数的计算过程如式(19)所示：
Figure SMS_122
式(19)中，
Figure SMS_123
表示倾斜角度的预测值，θi表示倾斜角度的真实值-由训练数据集中的对应数据提供；
S83：根据绝缘子检测网络模型损失函数Lnet，基于梯度下降方法，如式(20)所示，对所述绝缘子检测网络模型中的训练参数进行迭代更新：
Figure SMS_124
式(20)中，
Figure SMS_125
表示网络模型更新前的所有训练参数，wτ表示更新后的所有训练参数，η表示相应的学习率，在下一轮迭代更新时，将上一轮得到的wτ赋值给/>
Figure SMS_126
S84：选择迭代更新运算的轮数，并对迭代更新后的最后一轮参数进行保存。
优选的，本发明共进行了100轮的迭代更新运算。
加载S84所保存的最后一轮的训练参数，将所述测试数据集输入所述绝缘子检测网络模型中，获取绝缘子检测结果。
根据绝缘子检测结果以及图像中标注的真实绝缘子的分布情况，采用平均精确率(AP，Average Precision)指标，对本发明所述的方法进行效果评估，具体如下：
S91：将真实的绝缘子标识框，记为真实框。
S92：为得到平均精确率AP，需要计算真实框和检测框的交并比(IOU，Intersection over Union)。当检测框和真实框的交并比大于设定阈值时，记为一次真正的正样本(TP，True Positive)，当检测框和真实框的交并比小于设定阈值时，记为一次错误的正样本(FP，False Positive)，若绝缘子没有被检测到，记为一次错误的负样本(FN，False Negative)。
S93：采用TP+FP的值表示所有检测框的数目，采用TP+FN的值表示真实框的数目，根据如下公式分别计算出所有检测框的平均精确率AP中的相关指标：精确率(Precision)和召回率(Recall)。
Figure SMS_127
Figure SMS_128
在得到召回率和准确率后，以召
回率为横坐标，以准确率为纵坐标绘制曲线，计算该曲线包围的坐标系的面积，面积值即为AP值。AP值越高，表示检测精度越好。
如图5所示，为验证本发明的有效性，将本发明的网络模型与带有通道注意力的网络模型(ResNet50+SE-Net)以及带有空间和通道融合注意力的网络模型(ResNet50+CBAM、ResNet50+CA-Net)进行了比较。在实验参数设置一致的情况下，本发明增加的参数量可忽略不计，而检测精度最高，达到了93.8％。这依赖于本发明的邻域信息交互注意力机制可以有效的捕捉到绝缘子的空间位置信息，可以准确定位到绝缘子所在的目标区域，还可以建模通道特征的依赖关系，这有助于网络对无用信息的抑制。
如图6所示，本发明方法与中心点网络方法训练时的损失函数收敛情况对比，可以得出本发明提出的基于邻域交互注意力的任意角度航拍绝缘子检测方法能快速收敛，进一步反应了本发明方法的有效性。

Claims (9)

1.基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，所述检测方法具体包括以下步骤：
S1：从无人机航拍的输电线路图像中，选取绝缘子图像，建立绝缘子图像数据集，所述绝缘子图像数据集至少包括绝缘子训练数据集和绝缘子测试数据集；
S2：构建绝缘子检测网络模型，所述绝缘子检测网络模型包括特征提取模块、解码器模块以及检测头模块，所述特征提取模块包括第一预处理模块、第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块，在所述第二瓶颈模块和第三瓶颈模块之间引入邻域信息交互注意力机制模块，所述特征提取模块用于实现对输入图像的特征提取，获取图像的语义特征；
所述解码器模块通过三次反卷积操作进行上采样，获取高分辨率特征图；
所述检测头模块包括中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支，在所述检测头模块中引入角度检测头分支，用于预测目标绝缘子的空间倾斜角度；
S3：根据所述绝缘子训练数据集，对S2中的绝缘子检测网络模型进行训练，得到训练后的绝缘子检测网络模型；
S4：根据所述绝缘子测试数据集，将其输入训练后的绝缘子检测网络模型，获取绝缘子检测结果。
2.根据权利要求1所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，所述绝缘子训练数据集和绝缘子测试数据集的制作步骤包括：
S21：对不同无人机平台航拍的绝缘子原始图像进行尺寸归一化处理；
S22：对尺寸归一化处理后的绝缘子图像中的绝缘子本体进行标注，采用LabelImg标注工具对所述绝缘子本体进行标注，其标注内容包括标注框类别及位置信息，所述标注框类别信息包括绝缘子本体信息和背景信息，所述标注框位置信息包括标注框中心点的横、纵坐标、标注框长度和宽度，将标注内容保存在xml格式的文件中。
S23：将S22中标注后的绝缘子图像数据集按比例划分为绝缘子训练数据集和绝缘子测试数据集。
3.根据权利要求2所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，所述特征提取模块采用卷积神经网络中的残差网络(Resnet50)；
所述第一预处理模块将大小为512×512的输入图像通过一层卷积核大小为7×7，步长为2，填充为3的卷积层，输出大小为256×256的特征图，然后通过归一化和Relu函数激活之后，将大小为256×256特征图，输入步长为2的池化层，输出大小为128×128的特征图；
所述第二瓶颈模块包括3个卷积块，所述第三瓶颈模块包括4个卷积块，所述第四瓶颈模块包括6个卷积块，所述第五瓶颈模块包括3个卷积块，其中每个卷积块均由卷积核大小分别为1×1、3×3、1×1的三层卷积层构成；
经过所述第二瓶颈模块、第三瓶颈模块、第四瓶颈模块以及第五瓶颈模块处理后，所述特征提取模块输出大小为16×16的特征图。
4.根据权利要求3所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，引入所述邻域信息交互注意力机制模块的具体步骤包括：
S41：将所述第一预处理模块输出大小128×128的特征图作为所述邻域信息交互注意力机制模块的输入特征图，分别沿着高度、宽度方向进行全局平均池化，所述具体步骤包括：
S411：将输入特征图表示为X∈RC×H×W，其中，C，H，W分别代表其在通道，高度，宽度三个维度上的取值，将输入特征图X∈RC×H×W沿着宽度维度进行1维全局平均池化，则宽度索引为w的第i通道的输出可如式(1)所示：
Figure QLYQS_1
式(1)中，Z(i，w)表示宽度索引为w的第i通道的输出，x(i，j，w)表示通道，高度，宽度索引分别为i，j，w时的X的值；
S412：将输入特征图X∈RC×H×W，沿着高度维度进行1维全局平均池化，则高度索引为h的第i通道的输出可如式(2)所示：
Figure QLYQS_2
式(2)中，Z(i，h)表示高度索引为h的第i通道的输出，x(i，h，k)表示通道，高度，宽度索引分别为i，h，k时的X的值；
S413：将S411和S412中的Z(i，w)和Z(i，h)分别沿着各自维度构建矩阵算子Zw和Zh，如式(3)所示：
Figure QLYQS_3
式(3)中，Zw和Zh表示能描述空间特征信息的矩阵算子，0≤i≤C，0≤w≤W，0≤h≤H；
S42：对S41中的输出Zw和Zh分别沿着高度，宽度维度进行卷积操作，然后再分别进行批归一化操作，具体步骤包括：
S421：将所述矩阵算子Zw∈RC×W和Zh∈RC×H分别进行一维卷积运算，运算过程如式(4)所示：
Figure QLYQS_4
式(4)中，函数fconv表示一维卷积运算，其中卷积核大小为5×5，步长为1，填充为2，
Figure QLYQS_5
和/>
Figure QLYQS_6
分别表示对Zw和Zh进行一维卷积运算的输出；
S422：将S421得到的一维卷积运算后的矩阵
Figure QLYQS_7
和/>
Figure QLYQS_8
进行批归一化运算，运算过程如式(5)所示：
Figure QLYQS_9
式(5)中，函数fnorm表示批归一化运算，
Figure QLYQS_10
和/>
Figure QLYQS_11
分别表示对/>
Figure QLYQS_12
和/>
Figure QLYQS_13
进行批归一化运算的输出；
S423：对S41中的输出Zw和Zh分别进行转置和一维卷积运算，运算过程如式(6)所示：
Figure QLYQS_14
式(6)中，函数fT，conv表示先进行转置运算后再进行一维卷积运算，其中卷积核大小为3×3，步长为1，填充为1，
Figure QLYQS_15
和/>
Figure QLYQS_16
表示先进行转置运算后再进行一维卷积运算的输出；
S424：将S423得到的
Figure QLYQS_17
和/>
Figure QLYQS_18
先进行批归一化运算，再进行转置运算，运算过程如式(7)所示：
Figure QLYQS_19
式(7)中，函数fnorm，T表示先进行批归一化运算后再进行转置运算，
Figure QLYQS_20
和
Figure QLYQS_21
表示先进行批归一化运算后再进行转置运算的输出；
S43：对S42得到的输出进行融合计算和激活计算，然后对计算结果进行拓展运算，其具体步骤包括：
S431：将S422中的输出
Figure QLYQS_22
和S424中的输出
Figure QLYQS_23
进行如式(8)所示融合和激活运算：
Figure QLYQS_24
式(8)中，函数fsig表示的是sigmoid函数，其表达式如式(9)所示：
Figure QLYQS_25
Figure QLYQS_26
表示沿宽度维度激活运算的输出，/>
Figure QLYQS_27
表示沿高度维度激活运算的输出；
S432：对S431中激活运算后的输出
Figure QLYQS_28
和/>
Figure QLYQS_29
分别沿宽度维度和高度维度进行拓展运算，其运算过程如式(10)所示：
Figure QLYQS_30
式(10)中，函数funsq表示的是拓展运算，
Figure QLYQS_31
表示对/>
Figure QLYQS_32
进行宽度维度拓展后的输出，/>
Figure QLYQS_33
表示对/>
Figure QLYQS_34
进行高度维度拓展后的输出；/>
S44：对S432中得到的
Figure QLYQS_35
进行维度次序调整，然后将/>
Figure QLYQS_36
与调整后的/>
Figure QLYQS_37
进行矩阵点乘运算，再将得到的结果与输入特征图X∈RC×H×W进行矩阵点乘运算，并将矩阵点乘后的输出作为第二瓶颈模块的输入，具体步骤如下：
S441：将
Figure QLYQS_38
的宽度和高度维度进行交换，得到/>
Figure QLYQS_39
S442：对S441中得到的
Figure QLYQS_40
和S432中得到的/>
Figure QLYQS_41
进行矩阵点乘运算，其运算过程如式(11)所示：
Figure QLYQS_42
式(11)中，Y∈RC×H×W为权重矩阵，表示领域信息交互注意力机制模块的输出，
Figure QLYQS_43
表示矩阵点乘运算；
S443：将S442得到的Y∈RC×H×W与S411中的X∈RC×H×W，进行矩阵点乘运算，其运算过程如式(12)所示：
Figure QLYQS_44
式(12)中，Z∈RC×H×W表示对输入特征图X中每个元素施加Y所对应的权重后的输出矩阵。
5.根据权利要求4所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，在所述解码器模块中获取高分辨率特征图的具体步骤包括：
S51：将从特征提取模块输出的16×16的特征图，进行一次反卷积得到大小为32×32的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S52：对S51中32×32的特征图，进行一次反卷积得到大小为64×64的特征图，其中反卷积核大小为4×4，步长为2，填充为1；
S53：对S52中64×64的特征图，进行一次反卷积得到大小为128×128的特征图，其中反卷积核大小为4×4，步长为2，填充为1。
6.根据权利要求5所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，所述中心点检测头分支利用热力图对目标绝缘子的中心点位置进行预测，得到中心点预测值的高斯分布
Figure QLYQS_45
所述中心点偏置检测头分支用于对中心点位置进行误差补偿，提高定位准确度，通过中心点偏置检测头分支可得到中心点偏置的预测值
Figure QLYQS_46
所述检测框高、宽检测头分支用于计算检测框的高、宽，通过检测框高、宽检测头分支可得到检测框的高、宽预测值
Figure QLYQS_47
所述角度检测头分支用于预测目标绝缘子的空间倾斜角度，通过角度检测头分支可得到倾斜角度的预测值
Figure QLYQS_48
结合所述中心点检测头分支，中心点偏置检测头分支，检测框高、宽检测头分支以及角度检测头分支的预测输出结果，得到绝缘子目标的预测框。
7.根据权利要求6所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，引入所述角度检测头分支的具体步骤包括：
S71：将所述解码器模块输出的128×128特征图作为角度检测头分支的输入，通过一个卷积核大小为3×3，步长为1，填充为1的卷积层进行卷积，其结果表示为
Figure QLYQS_49
S72：将S71中卷积结果通过Relu激活函数，其计算过程如式(13)所示：
xrelu＝frelu(xconv3) (13)
式(13)中，xrelu为通过Relu函数激活后的输出，frelu函数为Relu函数，其表达式如式(14)所示：
Figure QLYQS_50
S73：将S72中的输出xrelu，通过一个1×1的卷积核进行卷积，所得输出结果即为所述角度检测头分支的输出-角度预测值
Figure QLYQS_51
8.根据权利要求7所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，得到所述训练后的绝缘子检测网络模型的具体步骤包括：
S81：将所述绝缘子训练数据集中的图像及对应的标注内容所包含的信息送入绝缘子检测网络模型；
S82：获取所述检测头模块中各个检测头分支的损失函数，其具体过程如下：
S821：所述绝缘子检测网络模型的损失函数包含4个部分，如式(15)所示：
Lnet＝Lkey+λsizeLsize+λoffsetLoffset+λangLang (15)
式(15)中，Lkey表示中心点损失函数，Lsize表示检测框高、宽损失函数，Loffset表示中心点偏置损失函数，Lang表示角度损失函数；
S822：中心点损失函数计算过程如式(16)所示：
Figure QLYQS_52
式(16)中，
Figure QLYQS_53
表示中心点预测值高斯分布，Yi∈[0，1]表示中心点实际值高斯分布由训练数据集中的对应数据提供，N表示中心点的个数，α和β是超参数；
S823：中心点偏置损失函数的计算过程如式(17)所示：
Figure QLYQS_54
式(17)中，
Figure QLYQS_55
表示中心点偏置的预测值，Oi表示中心点偏置的真实值-由训练数据集中的对应数据提供；
S824：检测框高、宽损失函数的计算过程如式(18)所示：
Figure QLYQS_56
式(18)中，
Figure QLYQS_57
表示检测框的高、宽预测值，Si表示检测框的高、宽实际值由训练数据集中的对应数据提供；
S825：角度损失函数的计算过程如式(19)所示：
Figure QLYQS_58
式(19)中，
Figure QLYQS_59
表示倾斜角度的预测值，θi表示倾斜角度的真实值-由训练数据集中的对应数据提供；
S83：根据绝缘子检测网络模型损失函数Lnet，基于梯度下降方法，如式(20)所示，对所述绝缘子检测网络模型中的训练参数进行迭代更新：
Figure QLYQS_60
式(20)中，
Figure QLYQS_61
表示网络模型更新前的所有训练参数，wτ表示更新后的所有训练参数，η表示相应的学习率，在下一轮迭代更新时，将上一轮得到的wτ赋值给/>
Figure QLYQS_62
S84：选择迭代更新运算的轮数，并对迭代更新后的最后一轮参数进行保存。
9.根据权利要求8所述基于邻域信息交互注意力的任意角度航拍绝缘子检测方法，其特征在于，加载S84所保存的最后一轮的训练参数，将所述测试数据集输入所述绝缘子检测网络模型中，获取绝缘子检测结果。
CN202211380952.1A 2022-11-05 2022-11-05 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法 Pending CN116188359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211380952.1A CN116188359A (zh) 2022-11-05 2022-11-05 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211380952.1A CN116188359A (zh) 2022-11-05 2022-11-05 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法

Publications (1)

Publication Number Publication Date
CN116188359A true CN116188359A (zh) 2023-05-30

Family

ID=86431403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211380952.1A Pending CN116188359A (zh) 2022-11-05 2022-11-05 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法

Country Status (1)

Country Link
CN (1) CN116188359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523437A (zh) * 2023-10-30 2024-02-06 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523437A (zh) * 2023-10-30 2024-02-06 河南送变电建设有限公司 一种用于变电站近电作业现场实时风险识别方法

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Fan et al. Real-time dense stereo embedded in a uav for road inspection
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN108280455B (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN110826520A (zh) 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
EP4229540A1 (en) Systems and methods for image detection
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
CN112149643B (zh) 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN116188359A (zh) 基于邻域信息交互注意力的任意角度航拍绝缘子检测方法
CN113408340A (zh) 基于增强型特征金字塔的双极化sar小型船只检测方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN116342628B (zh) 病理图像分割方法、装置和计算机设备
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN116977859A (zh) 基于多尺度图像切割和实例困难度的弱监督目标检测方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN116310323A (zh) 一种飞机目标实例分割方法、系统和可读存储介质
Zou et al. YOLOv7‐EAS: A Small Target Detection of Camera Module Surface Based on Improved YOLOv7
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination