CN116385950A - 一种小样本条件下电力线路隐患目标检测方法 - Google Patents
一种小样本条件下电力线路隐患目标检测方法 Download PDFInfo
- Publication number
- CN116385950A CN116385950A CN202310361771.2A CN202310361771A CN116385950A CN 116385950 A CN116385950 A CN 116385950A CN 202310361771 A CN202310361771 A CN 202310361771A CN 116385950 A CN116385950 A CN 116385950A
- Authority
- CN
- China
- Prior art keywords
- network
- sknet
- data set
- loss
- small sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000013508 migration Methods 0.000 claims abstract description 5
- 230000005012 migration Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 101150064138 MAP1 gene Proteins 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001373 regressive effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 235000005770 birds nest Nutrition 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 235000005765 wild carrot Nutrition 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
一种小样本条件下电力线路隐患目标检测方法，通过引入双路SKNet网络，结合ResNet152网络构建主干特征提取网络SKNet‑ResNet152；将主干特征提取网络和区域候选网络进行组合，构建新的Faster R‑CNN++网络；建立基础数据集和小样本数据集，使用基础数据集对网络进行训练，得到网络参数权重；去除最后一层参数，保持其他层参数不变，使用小样本数据集对最后一层的分类器和回归器参数进行微调；采用余弦相似度计算分类结果。本发明通过引入双路SKNet及跨域迁移参数调整机制，增强了网络特征提取能力及样本不平衡条件下的参数可靠性，提升了算法对小样本、多尺度目标的自适应能力，适用于对小样本条件下电力线路隐患的目标检测。
Description
技术领域
本发明属于电力系统巡检防灾技术领域，涉及电力线路隐患目标识别方法。
背景技术
电力线路的安全运行是电网稳定发展的坚实保证。但由于各种原因，电力线路常存在各种安全隐患，如绝缘子自爆、变压器漏油、鸟巢、蜂窝、导线断股、悬挂异物、铲车、吊车等重型机械施工等，对电网安全运行来说无疑是一种威胁。
随着经济社会的高速发展，巨大的线路、复杂的电网环境导致检测维护成本逐渐增加，依靠传统的检测手段不仅耗费人力而且对高压线路的检测容易造成检测危险，目测的检测精度也容易随着工作时间、检测对象的复杂性而降低，从而造成检测成本增加，导致电力线路安全事故。在此背景下，无人机电力巡检可在24小时不间断进行检测、形式多样且人员伤亡率低，克服了人工电力巡检的诸多不足，从而在越来越多的国家和地区得到普及，以更高的巡检效率保障输电线路等重要电力设备、设施的安全稳定运行。但无人机采集到的图片数据量庞大，人工排查方式会耗费大量的时间，效率不高，容易造成误判和漏判，难以准确发现存在的安全隐患，导致故障处理不及时，发生不可避免的损失，因此发展基于人工智能技术的电力线路智能巡检技术势在必行。
采用深度学习技术的图像分类技术已得到广泛应用，深度学习中目标检测、目标分割、异常检测、目标跟踪等方面同样也取得较大的进展并应用在各个领域。电力线路检测存在着各种复杂的自然背景、成像条件的差异、检测对象多尺度、同一张图像的不同物体在同焦距下的清晰度不同等检测难点，深度学习技术可以解决这些问题。但是常用的深度学习技术均依赖于对大量样本的学习，样本数量够大，训练出的模型才能达到精度要求。而在现实应用中，往往面临着样本获取难度大与标注成本高等问题，例如在电力线路巡检中，一些安全隐患或设备故障的样本无法大量获取(如线路上的异常悬挂物、电线断裂、鸟巢、大型机械施工等)，另外一些故障图像数据也需要专业技术人员进行标注(如绝缘子自爆、防震锤脱落/移位/变形等)，这为样本库的建立带来困难，无法满足常用深度学习网络模型的训练要求，因此对小样本目标检测进行研究十分必要。
目前小样本目标检测的研究还存在着许多难点，少量样本容易导致特征提取器和分类器性能的下降，传统深度学习的训练方法不符合小样本目标检测的真实环境，也不适合小样本目标检测网络的训练，更无法得到具有优秀分类性能的小样本目标检测网络。只有解决上述问题，才可以得到分类效果更好的小样本目标检测网络。由于样本数量过少和网络过于复杂等原因，直接将深度学习算法应用于这些情况容易产生过拟合，即训练准确率高，测试准确率低，所以小样本条件下的目标检测对电力线路安全隐患智能检测具有重要意义，也是计算机视觉领域亟待解决的问题之一。
综上所述，对小样本目标检测的研究可以减少传统深度学习网络对大量训练数据的依赖，有利于提高电力线路安全隐患检测的准确度，能更好的保障电力线路的安全运行，也更符合国家未来科技发展的需求。
发明内容
本发明以电力线路巡检典型安全隐患目标为研究对象，提出了一种小样本条件下基于注意力机制和跨域迁移学习的电力线路隐患目标检测方法。针对变压器漏油、鸟巢、蜂窝、悬挂异物、铲车、吊车等重型机械施工等安全隐患目标，构建小样本数据集；选择基于Res152网络的Faster R-CNN为目标检测主网络；利用PASCAL VOC 2007数据集作为基准数据集，对主网络进行训练；对主网络最后一层进行微调，并冻结网络的其他参数，然后在包含小样本类别的数据集上继续训练，从而构建出适用于小样本条件下的电力线路隐患识别模型。实验结果表明，利用基于迁移学习和微调的Faster R-CNN网络来实现对小样本条件下电力线路安全隐患目标的识别是可行的。
为达到上述目的，本发明采用以下技术方案。
本发明所述的一种小样本条件下电力线路隐患目标检测方法，包括下述步骤：
S1、构建数据集，包括用于预训练的基准数据集和用于迁移学习的电力线路隐患目标小样本数据集。
S2、引入双通道SKNet注意力模块，对图像做预处理，快速提取特征并生成特征映射图。如图1所示。SKNet试图针对不同的图像找到最适合的不同大小的卷积核，它对不同的图像动态生成卷积核。与Inception网络中的多尺度不同，SKNet是让网络自己选择合适的尺度。如图1所示。
具体过程如下：
S2.1、对输入的图像使用两个大小不一样的卷积核进行分组卷积(操作)，使用不同大小的卷积核主要是为了提升精度；
S2.2、通过S21处理分成两个分支以后，再将两个分支的结果进行融合；
S2.3、利用两个softmax归一化函数，将把S22的结果回归出每个通道的权重信息，然后将两个权重矩阵对两路进行加权处理，再求和得出输出向量，即特征映射。由于SKNet采用不同的卷积核，可以自适应的调整自身的感受野，因此比SENet具有更高的精度。
S3、以ResNet152为基础网络，用SKNet替换卷积模块改进残差网络结构，形成新的SKNet-ResNet152网络结构，如图2所示。
具体过程如下：
S3.1、Conv1保持与ResNet152网络不变；
S3.2、Conv2中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv2_x模块；
S3.3、Conv3中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv3_x模块；
S3.4、Conv4中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv4_x模块；
S3.5、Conv5中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv5_x模块；
S3.6、最后平均池化、全连接、归一化等操作保持不变，形成新的SKNet-ResNet152网络结构。
S4、基于S3中的SKNet-ResNet152网络和区域候选网络，构建引入SKNet的FasterR-CNN++网络，如图3所示。
具体过程如下：
S4.1、对输入的图像数据用Conv1模块进行卷积操作，生成特征图1；
S4.2、对特征图1用3组SKNet-Conv2_x模块进行卷积操作，生成特征图2；
S4.3、对特征图2用8组SKNet-Conv3_x模块进行卷积操作，生成特征图3；
S4.4、对特征图3用36组SKNet-Conv4_x模块进行卷积操作，生成特征图4；
S4.5、将特征图4作为输入，用区域候选网络进行处理生成候选区域信息；
S4.6、将特征图4和候选区域信息进行感兴趣区域池化，生成特征图5；
S4.7、对特征图5用3组SKNet-Conv5_x模块进行卷积操作，利用逻辑回归函数获取最终分类并获取最终的目标检测框位置。
其中，区域候选网络的作用是对要处理的图片区域进行预处理，以减少后续的计算量，主要包括两部分操作：
a.建议区域分类：对特征图进行区域分割，并从中分辨出前景和背景区域；
b.边框回归：提取前景区域的大概位置坐标。区域候选网络训练时需要将两部分的损失值加起来。设锚框预测为目标的概率为pi，pi*是前景的标签值，正样本为1，负样本为0；Ncls是一个批次的大小，Nreg是锚框的总数，λ是两种损失值的平衡比例，前景与背景的对数损失为Lcls(pi,pi*)，ti是第i个预测锚框的参数化坐标，ti*是第i个预测锚框对应的人工标注锚框的参数化坐标，R是平滑L1函数，Faster R-CNN的损失函数如公式1、公式2、公式3所示。
S5、计算网络的损失值。网络的损失函数包括三部分：a.区域候选网络损失Lrpn：取决于是否区分了前景和背景；b.分类分支损失Lcls：采用交叉熵损失函数；c.边框回归损失Lloc：采用平滑L1损失函数。
在训练方式上，仅使用基础数据集训练特征提取网络，联合训练损失为：
L＝Lrpn+Lcls+Lloc (4)
Lrpn包括候选区域前景背景的二分类损失和区域优化的第一次回归损失，Lcls是最后分类束的交叉熵损失，Lloc是回归束的平滑L1损失。
S6、跨域迁移学习及参数微调。使用基准数据集和小样本数据集，采用两阶段训练和微调机制构建小样本目标检测模型，如图4所示。
具体过程如下：
S6.1、基于以上网络结构，使用基础数据集对网络进行训练，得到初步的网络模型；
S6.2、在S61得到的网络模型基础上，保持模型中整个特征提取器参数不变，去除模型最后一层参数；
S6.3、用小样本数据集对模型最后一层的分类器和回归器参数进行微调，得到小样本类的权重，如图5所示；
S6.4、在包含基准数据集和小样本数据集的平衡数据集上进行迁移学习训练，实现对参数的微调；
S6.5、微调损失计算，损失函数与S4中相同。
S7、最后采用余弦相似度分类，权重矩阵[w1,w2,...,wc],wi表示每个类别的权重向量，输出的是相似性得分S，S中的元素计算公式为：
Si,j表示为输入图像x第i个建议区域和第j个类别的权重向量的相似性得分，α是一个缩放因子，此处设为10。使用实力级特征归一化的余弦相似度分类能够减少类内方差，改进新类的检测精度。
本发明以小样本条件下的复杂图像特征提取、目标检测等相关科学问题作为研究主线，旨在建立一套小样本条件下的电力线路安全隐患目标检测模型，以提升电力线路安全隐患目标检测准确率和增强检测模型的稳定性。基于注意力机制、Faster R-CNN、元学习等方法相结合，通过研究小样本条件下复杂图像的特征提取策略及参数调整机制，构建基于注意力机制和跨域迁移学习的小样本目标检测模型，实现小样本条件下的电力线路安全隐患目标准确检测。该方法具有极强的理论和现实意义。
本发明相比现有技术，具有以下有益的技术效果：
1)本发明在特征提取阶段引入双路SKNet，增强了网络对多尺度目标的检测能力，更适用于背景复杂的电力线路巡检图像。
2)针对电力线路巡检图像数据的高复杂度特点，本发明将两阶段目标检测和两阶段参数微调机制相结合，增强了网络对小样本图像的特征提取能力，提高了网络参数在小样本数据集上的可靠性。
3)针对个别类别因单样本、样本极度不均衡导致检测准确率低的情况，本发明引入跨域迁移学习和参数调整策略，进一步提升了模型在小样本/不均衡样本条件下的检测准确率及整体稳定性。
附图说明
图1为双路SKNet网络结构图。
图2为本发明引入SKNet的残差网络结构图。
图3为本发明引入SKNet的Faster R-CNN+ResNet152网络结构图。
图4为本发明两阶段训练及参数微调步骤示意图。
图5为本发明跨域迁移学习参数调整步骤。
具体实施方式
下面结合附图，通过具体实施例对本发明作更进一步的说明。
小样本条件下基于注意力机制和跨域迁移学习的电力线路隐患目标检测方法，包括步骤如下：
S1、构建数据集，利用PASCAL VOC 2007数据集作为基础数据集；另外以采集的电力线路隐患目标图像制作小样本数据集，主要包括变压器漏油、悬挂异物、火灾、鸟窝、蜂巢、大型机械6种类别，每种类别有10个样本。
S2、构建双通道SKNet注意力网络模块，如表1所示。SKNet的处理过程如下：
1)对输入数据进行卷积处理，得到初步的特征图。
2)对卷积层处理后的特征图分别用3*3、7*7的卷积核进行卷积操作，得到输出U1、U2。
3)将上一步的多尺度特征以特征图对应元素相加的方式，融合两个分支的结果。U是一个C*H*W(C表示通道数，H表示高度，W表示宽度)大小且融合了多个感受野信息的特征图。然后通过对H、W维度方向求平均，得到一个C*1*1大小的向量s，表示的是每个通道的重要程度。
4)对C*1*1的向量再用一个全连接层进行线性变换，得到一个Z*1*1的信息z(如式(5)，然后分别使用三个线性变换，又从Z维恢复到C维向量，提取每个通道维度的信息。
z＝Ffc(s)＝δ(B(Ws))。 (5)
其中：z∈Rd×1；δ为ReLU函数；B为批量标准化，W∈Rd×C，其中d＝max(C/r,L)，r表示reduction ratio，L为d的最小值。
4)使用softmax进行归一化处理，得到表示每个channel重要程度的对应分数，然后再分别乘以对应的U1、U2，得到A1、A2。再将两个模块相加进行融合，得到V，V相对于U经过了信息提炼，融合了多个感受野信息。设a、b为Select的两个个权重矩阵，A,B∈RC×d，Ai表示A的第i行，ai是a的第i个元素，Bi、bi和Ai同理，且ai+bi＝1，最终的特征映射V如式(6)、(7)(其中e为自然数)。
Vi＝ai×A1+bi×A2 (6)
表1 SKNet网络结构
其中，M代表步骤2)中的网络分支数，G代表步骤3)中组卷积的分组数，r代表步骤3)中全连接层的缩减率。
S3、用SKNet替换ResNet152网络中的卷积模块，构建SKNet-ResNet152网络模块，如表2所示。具体过程如下：
1)Conv1采用7×7的卷积模块，步长为2，通道数为64；
2)Conv2先进行3×3的最大池化，步长为2；然后用SKNet替换Conv2模块中64通道的3×3卷积模块，形成新的SKNet-Conv2_x模块；
3)用SKNet替换Conv3模块中128通道的3×3卷积模块，形成新的SKNet-Conv3_x模块；
4)用SKNet替换Conv4模块中256通道的3×3卷积模块，形成新的SKNet-Conv4_x模块；
5)用SKNet替换Conv5模块中512通道的3×3卷积模块，形成新的SKNet-Conv5_x模块；
6)最后进行平均池化、全连接、归一化等操作，形成新的SKNet-ResNet152网络结构，共152层。
表2 SKNet-ResNet152网络结构
S4、基于SKNet-ResNet152网络，构建新的Faster R-CNN++网络，用新网络对图像进行特征提取处理。具体过程如下：
1)对输入的图像数据用Conv1模块进行处理，生成112×112的特征图1；
2)对特征图1用3组SKNet-Conv2_x模块进行处理，生成56×56的特征图2；
3)对特征图2用8组SKNet-Conv3_x模块进行处理，生成28×28的特征图3；
4)对特征图3用36组SKNet-Conv4_x模块进行处理，生成14×14的特征图4；
5)将特征图4作为输入，用区域候选网络进行处理生成候选区域信息；
6)将特征图4进行感兴趣区域池化，融合候选区域信息；
7)对融合后的信息用3组SKNet-Conv5_x模块进行处理，然后利用平均池化、全连接、逻辑回归函数等处理，获取最终分类并获取最终的目标检测框位置。
S5、计算网络的联合损失值。
S6、网络训练。具体训练步骤如下：
1)使用均值为0、方差为δ的高斯分布对Faster R-CNN++网络各层参数进行初始化。
2)设置模型超参数。
表3模型超参数
3)使用基础数据集对进行训练。基础数据集包含20个类别，共有5371张训练图片。
4)本实例中设置9个锚点，分别对应128×128、256×256、512×512像素的尺寸，以及1：1、1：2、2：1的长宽比，对Faster R-CNN++网络进行近似联合训练，得到在基础数据集上的训练模型。
5)保持模型中整个特征提取器参数不变，去除模型最后一层参数。
6)用小样本数据集对模型进行迁移学习训练，实现对最后一层的分类器和回归器参数的微调，得到小样本类的权重。训练迭代次数为300次，其他训练参数不变。
7)微调损失计算，损失函数与4)中相同。
8)余弦相似度计算，通过计算每个类别的相似性得分，得到相似度最高的输出类别。结果如表4所示：
表4小样本数据集训练结果
综上所述，本发明通过引入双路SKNet对Faster R-CNN网络进行改进，提升网络对多尺度目标的检测能力；另外通过跨域迁移学习和两阶段参数微调机制，提高网络对小样本数据特征的提取能力和学习参数的可靠性，实现对小样本条件下电力线路巡检安全隐患目标的检测。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (2)
1.一种小样本条件下电力线路隐患目标检测方法，其特征是包括下述步骤：
S1、构建数据集，包括用于预训练的基准数据集和用于迁移学习的电力线路隐患目标小样本数据集；
S2、引入双通道SKNet注意力模块，对图像做预处理，快速提取特征并生成特征映射图：
S2.1、对输入的图像使用两个大小不一样的卷积核进行分组卷积；
S2.2、通过S2.1处理分成两个分支以后，再将两个分支的结果进行融合；
S2.3、利用两个softmax归一化函数，将把S2.2的结果回归出每个通道的权重信息，然后将两个权重矩阵对两路进行加权处理，再求和得出输出向量，即特征映射；
S3、以ResNet152为基础网络，用SKNet替换卷积模块改进残差网络结构，形成新的SKNet-ResNet152网络结构：
S3.1、Conv1保持与ResNet152网络不变；
S3.2、Conv2中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv2_x模块；
S3.3、Conv3中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv3_x模块；
S3.4、Conv4中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv4_x模块；
S3.5、Conv5中用SKNet替换3×3卷积模块，其他保持不变，形成新的SKNet-Conv5_x模块；
S3.6、最后平均池化、全连接、归一化等操作保持不变，形成新的SKNet-ResNet152网络结构；
S4、基于S3中的SKNet-ResNet152网络和区域候选网络，构建引入SKNet的Faster R-CNN++网络：
S4.1、对输入的图像数据用Conv1模块进行卷积操作，生成特征图1；
S4.2、对特征图1用3组SKNet-Conv2_x模块进行卷积操作，生成特征图2；
S4.3、对特征图2用8组SKNet-Conv3_x模块进行卷积操作，生成特征图3；
S4.4、对特征图3用36组SKNet-Conv4_x模块进行卷积操作，生成特征图4；
S4.5、将特征图4作为输入，用区域候选网络进行处理生成候选区域信息；
S4.6、将特征图4和候选区域信息进行感兴趣区域池化，生成特征图5；
S4.7、对特征图5用3组SKNet-Conv5_x模块进行卷积操作，利用逻辑回归函数获取最终分类并获取最终的目标检测框位置；
S5、计算网络的损失值：网络的损失函数包括三部分：a.区域候选网络损失Lrpn：取决于是否区分了前景和背景；b.分类分支损失Lcls：采用交叉熵损失函数；c.边框回归损失Lloc：采用平滑L1损失函数；
在训练方式上，仅使用基础数据集训练特征提取网络，联合训练损失为：
L＝Lrpn+Lcls+Lloc (4)
Lrpn包括候选区域前景背景的二分类损失和区域优化的第一次回归损失，Lcls是最后分类束的交叉熵损失，Lloc是回归束的平滑L1损失；
S6、跨域迁移学习及参数微调：使用基准数据集和小样本数据集，采用两阶段训练和微调机制构建小样本目标检测模型：
S6.1、基于以上网络结构，使用基础数据集对网络进行训练，得到初步的网络模型；
S6.2、在S6.1得到的网络模型基础上，保持模型中整个特征提取器参数不变，去除模型最后一层参数；
S6.3、用小样本数据集对模型最后一层的分类器和回归器参数进行微调，得到小样本类的权重；
S6.4、在包含基准数据集和小样本数据集的平衡数据集上进行迁移学习训练，实现对参数的微调；
S6.5、微调损失计算，损失函数与S4中相同；
S7、最后采用余弦相似度分类，权重矩阵[w1,w2,...,wc],wi表示每个类别的权重向量，输出的是相似性得分S，S中的元素计算公式为：
Si,j表示为输入图像x第i个建议区域和第j个类别的权重向量的相似性得分，α是一个缩放因子，设为10。
2.根据权利要求1所述的一种小样本条件下电力线路隐患目标检测方法，其特征是S4所述的区域候选网络包括两部分操作：
a.建议区域分类：对特征图进行区域分割，并从中分辨出前景和背景区域；
b.边框回归：提取前景区域的大概位置坐标；区域候选网络训练时将两部分的损失值加起来；设锚框预测为目标的概率为pi，pi*是前景的标签值，正样本为1，负样本为0；Ncls是一个批次的大小，Nreg是锚框的总数，λ是两种损失值的平衡比例，前景与背景的对数损失为Lcls(pi,pi*)，ti是第i个预测锚框的参数化坐标，ti*是第i个预测锚框对应的人工标注锚框的参数化坐标，R是平滑L1函数，Faster R-CNN的损失函数如公式1、公式2、公式3所示：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310361771.2A CN116385950A (zh) | 2023-04-07 | 2023-04-07 | 一种小样本条件下电力线路隐患目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310361771.2A CN116385950A (zh) | 2023-04-07 | 2023-04-07 | 一种小样本条件下电力线路隐患目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385950A true CN116385950A (zh) | 2023-07-04 |
Family
ID=86965237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310361771.2A Pending CN116385950A (zh) | 2023-04-07 | 2023-04-07 | 一种小样本条件下电力线路隐患目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385950A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496243A (zh) * | 2023-11-06 | 2024-02-02 | 南宁师范大学 | 基于对比学习的小样本分类方法及系统 |
-
2023
- 2023-04-07 CN CN202310361771.2A patent/CN116385950A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496243A (zh) * | 2023-11-06 | 2024-02-02 | 南宁师范大学 | 基于对比学习的小样本分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| CN113486865A (zh) | 一种基于深度学习的输电线路悬挂异物目标检测方法 | |
| CN111223087B (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
| CN112750125B (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
| CN114529839A (zh) | 一种面向无人机巡检的输电线金具异常检测方法及系统 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN114021741A (zh) | 一种基于深度学习的光伏电池板巡检方法 | |
| CN116385950A (zh) | 一种小样本条件下电力线路隐患目标检测方法 | |
| CN112419333A (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN107545281B (zh) | 一种基于深度学习的单一有害气体红外图像分类识别方法 | |
| CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| Bai et al. | Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (match 2018) | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN113781466A (zh) | 基于多尺度注意力密集网络的太阳能电池板缺陷识别方法 | |
| CN117392102A (zh) | 一种改进YOLOv7-tiny的轻量级绝缘子缺陷检测方法 | |
| CN113221614A (zh) | 一种基于混合神经网络的电网绝缘子破损图像识别方法 | |
| CN116895030A (zh) | 基于目标检测算法和注意力机制的绝缘子检测方法 | |
| CN115953408A (zh) | 一种基于YOLOv7的避雷器表面缺陷检测方法 | |
| Zhang et al. | Defect detection of anti-vibration hammer based on improved faster R-CNN | |
| CN114861771A (zh) | 基于特征提取和深度学习的工业ct图像缺陷分类方法 | |
| CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
| Zhouhua et al. | Multi-target defect intelligent recognition of transmission line based on improved Faster-RCNN | |
| CN117113066B (zh) | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |