CN116205916B - 电力小样本缺陷检测方法、装置、计算机设备及存储介质 - Google Patents

电力小样本缺陷检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116205916B
CN116205916B CN202310474218.XA CN202310474218A CN116205916B CN 116205916 B CN116205916 B CN 116205916B CN 202310474218 A CN202310474218 A CN 202310474218A CN 116205916 B CN116205916 B CN 116205916B
Authority
CN
China
Prior art keywords
feature
feature extraction
image
sample
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310474218.XA
Other languages
English (en)
Other versions
CN116205916A (zh
Inventor
李鹏
黄文琦
梁凌宇
曾群生
吴洋
蔡卓骏
樊灵孟
李艳飞
刘高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202310474218.XA priority Critical patent/CN116205916B/zh
Publication of CN116205916A publication Critical patent/CN116205916A/zh
Application granted granted Critical
Publication of CN116205916B publication Critical patent/CN116205916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种电力小样本缺陷检测方法、装置、计算机设备及存储介质。所述方法包括：获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果；采用本方法对巡视图像进行目标检测，得到的缺陷检测结果的准确率高。

Description

电力小样本缺陷检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及电力系统巡检技术领域，特别是涉及一种电力小样本缺陷检测方法、装置、计算机设备及存储介质。
背景技术
目前，采用无人机巡视电力架空路线，获取对电力架空路线的巡视图像，根据巡视图像判断电力架空路线是否存在缺陷已经全面替换传统的人工巡检方式。
根据巡视图像判断电力架空路线是否存在缺陷的过程可以包括：使用基于神经网络模型的缺陷检测方法对巡视图像进行缺陷检测，得到巡视图像对应的缺陷检测结果；根据缺陷检测结果判断该巡视图像对应的电力架空路线部分是否存在缺陷。
然而，电力架空路线的巡视图像存在小样本情况，即部分缺陷类别对应的样本巡视图像的数量非常少；将传统的基于神经网络模型的缺陷检测方法应用到电力小样本场景中，存在缺陷检测准确率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高电力场景中缺陷检测准确率的电力小样本缺陷检测方法、装置、计算机设备及存储介质。
第一方面，本申请提供了一种电力小样本缺陷检测方法。该方法包括：
获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；
将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；
将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
在其中一个实施例中，特征提取层包括依次连接的k个特征提取子网络，将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，包括：
将巡视图像和各参考图像输入至k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征；
将中间融合特征输入至k个特征提取子网络中的第二个特征提取子网络中，直至得到目标融合特征，目标融合特征为k个特征提取子网络中的第k个特征提取子网络输出的特征提取结果。
在其中一个实施例中，k个特征提取子网络的输出特征尺度依次减小。
在其中一个实施例中，第一个特征提取子网络包括第一局部特征提取结构、第二局部特征提取结构、联合全局特征提取结构和特征融合结构，将巡视图像和各参考图像输入至k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征，包括：
将巡视图像输入至第一局部特征提取结构中，得到中间第一局部特征；
将各参考图像输入至第二局部特征提取结构中，得到各中间第二局部特征；
将巡视图像和各参考图像输入至联合全局特征提取结构中，得到中间联合全局特征；
将中间第一局部特征、各中间第二局部特征和中间联合全局特征输入至特征融合结构中，得到中间融合特征。
在其中一个实施例中，目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络，将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果，包括：
将目标融合特征分别输入至候选框生成子网络和平均子网络中，得到候选框生成子网络输出的候选框特征以及平均子网络输出的平均特征；
将候选框特征和平均特征输入至特征提取子网络中，得到候选融合特征；候选融合特征是对候选框特征对应的第一局部特征、平均特征对应的第二局部特征以及候选框特征和平均特征对应的联合全局特征进行融合处理得到的；
将候选融合特征输入至匹配检测子网络中，得到缺陷检测结果。
在其中一个实施例中，该方法还包括：
获取多个样本巡视图像和各样本巡视图像对应的样本参考图像集合，样本参考图像集合中包括的各样本参考图像具有预设的缺陷标签；
利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到目标检测模型；
其中，对于每次迭代过程，将样本巡视图像和各样本参考图像输入至中间检测模型的特征提取层中，得到样本融合特征，并将样本融合特征输入至中间检测模型的目标检测层中，得到样本巡视图像的缺陷检测结果；样本巡视图像的缺陷检测结果用于调整中间检测模型的模型参数，样本融合特征是对样本巡视图像对应的样本第一局部特征、各样本参考图像分别对应的样本第二局部特征以及样本巡视图像和各样本参考图像对应的样本联合全局特征进行融合处理得到的。
在其中一个实施例中，样本巡视图像包括基类样本巡视图像；基类样本巡视图像为图像数量大于或者等于预设值的缺陷标签对应的样本巡视图像；
利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到目标检测模型，包括：
利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对初始检测模型进行单分支迭代学习，得到第一训练后模型；
利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对第一训练后模型进行双分支迭代学习，得到第二训练后模型；
利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对第二训练后模型进行双分支迭代学习，得到目标检测模型。
第二方面，本申请还提供了一种电力小样本缺陷检测装置。该装置包括：
图像获取模块，用于获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；
特征提取模块，用于将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；
结果检测模块，用于将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；
将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；
将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；
将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；
将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
上述电力小样本缺陷检测方法、装置、计算机设备及存储介质，通过获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果；由于局部特征具有较强的细节描述能力，本申请实施例中将联合全局特征与第一局部特征和第二局部特征进行融合，得到目标融合特征，这样，目标融合特征既能关注各个图像中的图像细节与重点，也关注了巡视图像和各参考图像之间的关系，使用该目标融合特征进行缺陷检测分类，避免了传统技术中的缺陷检测方法中只使用联合全局特征进行目标检测，丢失了巡视图像各参考图像中的细节和重点，导致的检测结果准确率低的问题；本申请实施例使用联合全局特征与第一局部特征和第二局部特征融合后的目标融合特征进行目标检测，提高了缺陷检测结果的准确率。
附图说明
图1为一个实施例中电力小样本缺陷检测方法的流程示意图；
图2为一个实施例中局部特征提取结构的结构示意图；
图3为一个实施例中联合全局特征提取结构的结构示意图；
图4为一个实施例中特征融合结构的结构示意图
图5为一个实施例中特征提取层的结构示意图；
图6为一个实施例中目标检测层的结构示意图；
图7为另一个实施例中电力小样本缺陷检测方法的流程示意图；
图8为一个实施例中对得到目标检测模型的流程示意图；
图9为另一个实施例中特征提取层的结构示意图；
图10为一个实施例中电力小样本缺陷检测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种电力小样本缺陷检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签。
终端获取巡视图像和巡视图像对应的参考图像集合，其中，巡视图像为无人机拍摄的且待分析的电力架空路线图像。巡视图像对应的参考图像集合中包括的各参考图像为电力架空路线场景中具有预设的缺陷标签的历史巡视图像；示例性的，预设的缺陷标签包括参考图像中具有的缺陷的位置信息以及类别信息；例如，缺陷的类别信息为鸟巢时，即该参考图像反应的电力架空路线上存在鸟巢，对应的缺陷的位置信息对应于鸟巢部分在该参考图像中的坐标信息；缺陷的类别信息为绝缘子爆炸时，即该参考图像对应的电力架空路线上的绝缘子存在爆炸的情况。
终端可以通过无线通信网络与无人机进行通信，实时获取无人机拍摄的巡视图像；无人机也可以先将拍摄的巡视图像发送至数据库中，终端从数据库中读取巡视图像依次进行目标检测。
其中，参考图像集合中每个缺陷标签对应的参考图像的数量均小于预设值；示例性的，参考图像集合中每个缺陷标签对应的参考图像的数量均为1，即每种缺陷标签各对应一个参考图像。
步骤104，将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的。
其中，目标检测模型是一种具有特征提取层和目标检测层的神经网络模型。在电力架空路线巡检的应用场景中，部分缺陷标签对应的样本图像数量非常少，因此，传统的缺陷检测方法得到的检测结果准确率较低；本申请实施例中，在缺陷检测过程中，利用包含各个预设的缺陷标签的参考图像集合与巡视图像一起进行检测，让目标检测模型学习巡视图像和各参考图像之间的相似性，从而提高检测结果的准确率。其中，在一些实施例中，也将可以学习巡视图像和各参考图像之间相似性的目标检测模型称为双分支目标检测模型。
在将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征的过程中，特征提取层先得到巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征，再将第一局部特征、各第二局部特征和联合全局特征进行融合，得到目标融合特征。其中，目标融合特征包括第一局部特征和联合全局特征融合得到的第一目标融合特征，以及第二局部特征和联合全局特征融合得到的第二目标融合特征。
其中，第一局部特征用于表示该局部特征对应于巡视图像，第二局部特征用于表示该局部特征对应于参考图像，第一、第二并不对局部特征的提取方式进行限定。
在一种可能的实施方式中，特征提取层中包括局部特征提取结构、联合全局特征提取结构和特征融合结构；利用该局部特征提取结构分别对巡视图像和各参考图像进行局部特征提取，得到第一局部特征和各第二局部特征，并利用该联合特征提取结构对巡视图像和各参考图像进行联合全局特征提取，得到联合全局特征；再利用特征融合结构对第一局部特征、各第二局部特征和联合全局特征进行融合，得到目标融合特征。
请参考图2，示例性给出一种局部特征提取结构的结构示意图，在本示例中，局部特征提取结构为一种残差卷积网络，包括依次连接的三个卷积层，第一个卷积层的输入通道数为256，卷积核大小为11，输出通道数为64；第二个卷积层的输入通道数为64，卷积核大小为3/>3，输出通道数为64；第三个卷积层的输入通道数为64，卷积核大小为1/>1，输出通道数为256，第三个卷积层的输出数据与该局部特征提取结构的输入数据进行相加运算，得到该局部特征提取结构输入数据对应的局部特征。
示例性的，联合全局特征提取结构采用cross-transformer网络。请参考图3，为本示例中利用cross-transformer网络提取巡视图像和各参考图像对应的联合全局特征的过程示意图。在该示例中，巡视图像和各参考图像对应的联合全局特征包括第一联合全局特征和第二联合全局特征，其中第一联合全局特征用于表示对应于巡视图像的联合全局特征。如图3所示，本示例过程包括：
先利用cross-transformer网络提取巡视图像对应的查询向量Qq、键向量Kq和值向量Vq，以及各参考图像对应的查询向量Qs、键向量Ks和值向量Vs；再利用cross-transformer网络将各参考图像对应的键向量Ks进行平均池化，得到池化后键向量Kspc，以及将各参考图像对应的值向量Vs进行平均池化，得到各参考图像对应的池化后值向量Vspc，再将巡视图像对应键向量Kq和池化后键向量Kspc进行连接，得到巡视图像对应的连接后键向量Kq-cat，以及将巡视图像对应值向量Vq和池化后值向量Vspc进行连接，得到巡视图像对应的连接后值向量Vq-cat；以及利用cross-transformer网络将巡图像对应的键向量Kq和值向量Vq进行复制，得到多个键向量Kq和多个值向量Vq，再将多个键向量Kq依次与各参考图像对应的键向量Ks进行连接，得到各参考图像对应的连接后键向量Ks-cat，多个值向量Vq依次与各参考图像对应的值向量Vs进行连接，得到各参考图像对应的连接后值向量Vs-cat；再利用cross-transformer网络将巡视图像对应的查询向量Qq、连接后键向量Kq-cat、连接后值向量Vq-cat进行编码，得到巡视图像对应的第一联合全局特征，以及将各参考图像对应的查询向量Qs、连接后键向量Ks-cat和连接后值向量Vs-cat；进行编码，得到各巡视图像对应的第二联合全局特征。其中，在图3中巡视图像对应的图像和特征向量用实线表示，参考图像对应的图像和特征用虚线表示。
其中第一联合全局特征中不仅涉及巡视图像中的上下文全局特征，还涉及各参考图像中的上下文全局特征还涉及各参考图像对应的全局特征，类似的，第二联合全局特征用于表示对应于各参考图像的联合全局特征，其中第二联合全局特征中不仅涉及参考图像对应的上下文全局特征，还涉及巡视图像对应的上下文特征。
在其他示例中，联合全局特征提取结构可以采用其他神经网络结构，只需要实现输出的联合全局特征反映巡视图像的全局特征和各参考图像的全局特征联合之后的特征即可。
请参考图4，示例性给出一种特征融合结构的结构示意图。在本示例中，特征融合结构包括一个全连接层和一个卷积层；示例性的，卷积层的输入通道数为512，卷积核大小为11，输出通道数为256。本示例中，利用特征融合结构将第一局部特征、各第二局部特征以及联合全局特征进行融合，可以包括：利用全连接层将第一局部特征和联合全局特征进行通道拼接，再通过卷积层将拼接后结果进行卷积处理，输出对应于巡视图像的第一融合特征；以及利用全连接层将各第二局部特征和联合全局特征进行通道拼接，再通过卷积层将各拼接后结果进行卷积处理，输出对应于各参考图像的第二融合特征，其中，目标融合特征包括第一目标融合特征和各第二目标融合特征。
在另一种可能的实施方式中，在上一种可能的实施方式的基础上，局部特征提取结构包括第一局部特征提取结构和第二特征提取结构，用于同时对巡视图像和各参考图像进行局部特征提取，得到第一局部特征和各第二局部特征。
在图像特征提取过程，全局特征能够对图像的全局信息有较好的表述，因此，本申请实施例中将巡视图像和各参考图像在全局特征层面进行联合处理，得到的联合全局特征能够体现巡视图像与各参考图像在全局特征层面的相似性；局部特征具有较强的细节描述能力，为防止丢失图像自身的细节和重点（比如轮廓、形状特征、颜色等），本申请实施例中将联合全局特征与第一局部特征和第二局部特征进行融合，得到的目标融合特征；目标融合特征既能关注各个图像中的图像细节与重点，也关注巡视图像的全局特征和各参考图像的全局特征之间的关系，使用该目标融合特征进行目标检测分类，得到的结果准确率更高。
步骤106，将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
其中，缺陷检测结果中可能包括多个缺陷位置以及相应的缺陷类别信息，也可能只包括一个缺陷位置信息以及相应的缺陷类别信息。
在一种可能的实施方式中，目标检测层可以基于Faster RCNN（Faster Regionwith CNN feature，具有卷积神经网络特征的快速区域）网络实现。
上述电力小样本缺陷检测方法中，获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签；将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的；将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果；由于局部特征具有较强的细节描述能力，本申请实施例中将联合全局特征与第一局部特征和第二局部特征进行融合，得到目标融合特征，这样，目标融合特征既能关注各个图像中的图像细节与重点，也关注巡视图像的全局特征和各参考图像的全局特征之间的关系，使用该目标融合特征进行目标检测分类，避免了传统技术中的缺陷检测方法中只使用联合全局特征进行目标检测，丢失了巡视图像各参考图像中的细节和重点，导致的检测结果准确率低的问题；本申请实施例使用联合全局特征与第一局部特征和第二局部特征融合后的目标融合特征进行目标检测，提高了缺陷检测结果的准确率。
在一种实施例中，基于图1所示的实施例，本申请实施例涉及的是在特征提取层包括依次连接的k个特征提取子网络时得到目标融合特征的过程。该实施例提供的电力小样本缺陷检测方法中，将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征的过程包括：
将巡视图像和各参考图像输入至k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征；将中间融合特征输入至k个特征提取子网络中的第二个特征提取子网络中，直至得到目标融合特征，目标融合特征为k个特征提取子网络中的第k个特征提取子网络输出的特征提取结果。
在一种可能的实现方式中，k个特征提取子网络的输出特征尺度依次减小。示例性的，第二个特征提取子网络的输出特征尺度是第一个特征提取子网络的输出特征尺度的二分之一，第三个特征提取子网络的输出特征尺度是第二个特征提取子网络的输出特征尺度的二分之一，依次递减。示例性的，特征提取子网络还包括位置编码结构，用于分别将巡视图像和各参考图像分割成不重叠的预设大小的补丁，将补丁形式的巡视图像和各参考图像分别输入至第一局部特征提取结构、第二局部特征提取结构和联合特征提取结构。示例性的，位置编码结构可以基于pacth embedding结构实现。在一种可能的实施方式中，通过位置编码结构实现各特征提取子网络的输出尺度依次减小。
请参考图5，在一种可能的实施方式中，特征提取层包括依次连接的3个特征提取子网络，每个特征提取子网络的网络结构类似，网络参数一般不同。其中，第一个特征提取子网络包括第一局部特征提取结构、第二局部特征提取结构、联合全局特征提取结构和特征融合结构。在这种实施方式中，将巡视图像和各参考图像输入至k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征，包括：
将巡视图像输入至第一局部特征提取结构中，得到中间第一局部特征；将各参考图像输入至第二局部特征提取结构中，得到各中间第二局部特征。示例性的，第一局部特征提取结构和第二局部特征提取结构均采用残差卷积网络。
将巡视图像和各参考图像输入至联合全局特征提取结构中，得到中间联合全局特征。将中间第一局部特征、各中间第二局部特征和中间联合全局特征输入至特征融合结构中，得到中间融合特征；其中，中间融合特征包括巡视图像对应的第一中间融合特征和各参考图像对应的第二中间融合特征。
将中间融合特征输入至第二个特征提取子网络，再将第二个特征提取子网络输出的中间融合特征在输入至第三个特征提取子网络，得到第三个特征提取子网络输出的目标融合特征结果。
在一个实施例中，基于图1所示的实施例，本实施例涉及的是将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果的过程。在本实施例中，如图6所示，目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络。将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果，包括：
将目标融合特征分别输入至候选框生成子网络和平均子网络中，得到候选框生成子网络输出的候选框特征以及平均子网络输出的平均特征。
其中，候选框生成子网络根据目标融合特征生成巡视图像相对于各参考图像的候选框特征，示例性的，候选框生成子网络可以采用RPN（Region Proposal Network，候选区域生成）网络；平均子网络用于将目标融合特征中对应于各参考图像的第二目标融合特征进行平均池化处理，得到平均特征。
将候选框特征和平均特征输入至特征提取子网络中，得到候选融合特征；候选融合特征是对候选框特征对应的第一局部特征、平均特征对应的第二局部特征以及候选框特征和平均特征对应的联合全局特征进行融合处理得到的。
其中，本实施例中在目标检测层的特征提取子网络中依然采取使用局部特征和联合全局特征融合后的候选融合特征进行后续的匹配检测，以提高匹配检测的准确率。示例性的，该特征提取子网络可以采取与特征提取层相似的网络结构。
将候选融合特征输入至匹配检测子网络中，得到缺陷检测结果。示例性的，匹配检测子网络可以采用卷积网络和全连接网络构造。
在一个实施例中，提供的电力小样本缺陷检测方法还包括目标检测模型的训练过程。如图7所示，在本实施例中，该电力小样本缺陷检测方法还包括：
步骤702，获取多个样本巡视图像和各样本巡视图像对应的样本参考图像集合，样本参考图像集合中包括的各样本参考图像具有预设的缺陷标签。
步骤704，利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到目标检测模型。
其中，对于每次迭代过程，将样本巡视图像和各样本参考图像输入至中间检测模型的特征提取层中，得到样本融合特征，并将样本融合特征输入至中间检测模型的目标检测层中，得到样本巡视图像的缺陷检测结果；样本巡视图像的缺陷检测结果用于调整中间检测模型的模型参数，样本融合特征是对样本巡视图像对应的样本第一局部特征、各样本参考图像分别对应的样本第二局部特征以及样本巡视图像和各样本参考图像对应的样本联合全局特征进行融合处理得到的。
在一种可能的实施方式中，电力架空线路场景对应的样本巡视图像存在一部分缺陷标签对应的样本巡视图像比较多，另外一部分缺陷标签对应的样本巡视图像数量比较少的情况，本实施例中，将参与训练的样本巡视图像分为基类样本巡视图像和新类样本巡视图像，其中，基类样本巡视图像指的是图像数量大于等于预设值的缺陷标签对应的样本巡视图像，新类样本巡视图像指的是图像数量小于预设值的缺陷类别对应的样本巡视图像；分别利用基类样本巡视图像和新类样本巡视图像对初始检测模型进行多阶段的模型训练，提高训练得到的目标检测模型的可靠性。
在该种可能的实施方式中，如图8所示，利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到目标检测模型，包括：
步骤802，利用各基类样本巡视图像和各基类样本参考图像对初始检测模型进行单分支迭代学习，得到第一训练后模型。
示例性的，在电力架空路线场景中，缺陷标签为鸟巢的样本巡视图像和缺陷标签为绝缘子自爆的样本巡视图像的数量较多，可以根据这两类样本巡视图像得到基类数据集。每次单分支迭代学习过程中，从基类数据集中的每个类别中均随机抽取N张样本巡视图像作为基类样本参考图像集合，然后再从基类数据集中剩下的样本巡视图像中随机抽取1张作为基类样本巡视图像，得到该次单分支迭代学习中的基类样本巡视图像和对应的基类样本参考图像集合。
步骤804，利用各基类样本巡视图像和各基类样本参考图像对第一训练后模型进行双分支迭代学习，得到第二训练后模型。
其中，每次双分支迭代学习过程中，从基类数据集中的每个类别中均随机抽取N张样本巡视图像，得到基类样本参考图像集合，然后再从基类数据集中剩下的样本巡视图像中随机抽取1张作为基类样本巡视图像，得到该次双分支迭代学习中的基类样本巡视图像和对应的基类样本参考图像集合。
步骤806，利用各样本巡视图像和各样本参考图像对第二训练后模型进行双分支迭代学习，得到目标检测模型。
其中，将样本巡视图像数量比较少的新类样本巡视图像加入到双分支迭代过程中，对第二训练后模型进行双分支训练，优化训练参数。从全部的样本巡视图像中每个缺陷类别中均随机抽取K张样本巡视图像作为小样本数据集。示例性的K的具体值可以按照以下方式确认：获取每个缺陷类别对应的样本巡视图像的数量，确定最小的数量为K；或者一个比最小的数量小的值作为K。在对第二训练后模型进行双分支迭代学习时，每次迭代学习过程中，每次从小样本数据集中每个缺陷类别中均随机抽取1张样本巡视图像，得到样本参考图像集合，然后再从小样本数据集中省下的样本巡视图像中随机抽取1张作为样本巡视图像，即得到该次单分支迭代学习过程中的样本巡视图像和对应的样本参考图像集合。
在一个实施例中，基于图1所示的实施例，本申请实施例提供的电力小样本缺陷检测方法包括：
步骤102，获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签。
步骤104，将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的。
其中，参考图9所示，特征提取层包括依次连接的3个特征提取子网络，3个特征提取子网络的输出特征尺度依次减小；每个特征提取子网络的网络结构类似，网络参数一般不同。第一个特征提取子网络包括第一位置编码模块、第一局部特征提取结构、第二位置编码模块、第二局部特征提取结构、联合全局特征提取结构、第一特征融合结构和第二特征融合结构。
可选的，将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，包括：
将巡视图像输入至第一位置编码模块中，得到第一位置编码模块输出的巡视图像对应的第一编码图像；将第一编码图像输入至第一局部特征提取结构中，得到第一局部特征提取结构中间第一局部特征；将各参考图像输入至第二位置编码模块中，得到第二位置编码模块输出的各参考图像对应的第二编码图像；将各第二编码图像输入至第二局部特征提取结构中，得到各参考图像对应的中间第二局部特征。
将第一编码图像和各第二编码图像输入至联合全局特征提取结构中，得到巡视图像对应的第一中间联合全局特征和各第二中间联合特征。
将中间第一局部特征和第一中间联合全局特征输入至第一特征融合结构中，得到巡视图像对应的第一中间融合特征；将各中间第二局部特征和各第二中间联合全局特征输入至第二特征融合结构中，得到第二中间融合特征；其中，中间融合特征包括巡视图像对应的第一中间融合特征和各参考图像对应的第二中间融合特征。
将第一中间融合特征和各第二中间融合特征输入至第二特征提取子网络，得到第二特征提取子网络对应的中间融合特征的过程与利用第一特征提取子网络得到中间融合特征的过程类似，在此不再赘述。
将第二特征提取子网络的中间融合特征输入至第三特征提取子网络，得到第三特征提取子网络输出的目标融合特征。其中，目标融合特征包括第一目标融合特征和第二目标融合特征。
步骤106，将目标融合特征输入至目标检测模型的目标检测层，得到巡视图像的缺陷检测结果。
可选的，目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络；将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果，包括：
将目标融合特征分别输入至候选框生成子网络和平均子网络中，得到候选框生成子网络输出的候选框特征以及平均子网络输出的平均特征。
将候选框特征和平均特征输入至特征提取子网络中，得到候选融合特征；候选融合特征是对候选框特征对应的第一局部特征、平均特征对应的第二局部特征以及候选框特征和平均特征对应的联合全局特征进行融合处理得到的；
将候选融合特征输入至匹配检测子网络中，得到缺陷检测结果。
可选的，目标检测层的特征提取子网络包括与特征提取层中的特征提取子网络的网络结构类似。第一个特征提取子网络包括第一位置编码模块、第一局部特征提取结构、第二位置编码模块、第二局部特征提取结构、联合全局特征提取结构、第一特征融合结构和第二特征融合结构。与之不同的是，联合全局特征提取结构中的联合交叉处理方向是相反的，因为相对应巡视图像的一侧输入的候选框特征有多个，相对应参考图像的一侧输入的平均特征只有一个。
可选的，本实施例中的目标检测模型的训练过程如下：
获取多个样本巡视图像和各样本巡视图像对应的样本参考图像集合，样本参考图像集合中包括的各样本参考图像具有预设的缺陷标签；其中，样本巡视图像包括基类样本巡视图像；基类样本巡视图像为图像数量大于或者等于预设值的缺陷标签对应的样本巡视图像；
利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对初始检测模型进行单分支迭代学习，得到第一训练后模型；
利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对第一训练后模型进行双分支迭代学习，得到第二训练后模型；
利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对第二训练后模型进行双分支迭代学习，得到目标检测模型。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的电力小样本缺陷检测方法的电力小样本缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电力小样本缺陷检测装置实施例中的具体限定可以参见上文中对于电力小样本缺陷检测方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种电力小样本缺陷检测装置，包括：图像获取模块1002、特征提取模块1004和结果检测模块1006，其中：
图像获取模块1002，用于获取巡视图像和巡视图像对应的参考图像集合，参考图像集合中包括的各参考图像具有预设的缺陷标签。
特征提取模块1004，用于将巡视图像和各参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，目标融合特征是对巡视图像对应的第一局部特征、各参考图像分别对应的第二局部特征以及巡视图像和各参考图像对应的联合全局特征进行融合处理得到的。
结果检测模块1006，用于将目标融合特征输入至目标检测模型的目标检测层中，得到巡视图像的缺陷检测结果。
在一个实施例中，特征提取层包括依次连接的k个特征提取子网络；特征提取模块1004用于将巡视图像和各参考图像输入至k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征；以及用于将中间融合特征输入至k个特征提取子网络中的第二个特征提取子网络中，直至得到目标融合特征，目标融合特征为k个特征提取子网络中的第k个特征提取子网络输出的特征提取结果。
在一个实施例中，k个特征提取子网络的输出特征尺度依次减小。
在一个实施例中，第一个特征提取子网络包括第一局部特征提取结构、第二局部特征提取结构、联合全局特征提取结构和特征融合结构，特征提取模块1004用于将巡视图像输入至第一局部特征提取结构中，得到中间第一局部特征；将各参考图像输入至第二局部特征提取结构中，得到各中间第二局部特征；将巡视图像和各参考图像输入至联合全局特征提取结构中，得到中间联合全局特征；将中间第一局部特征、各中间第二局部特征和中间联合全局特征输入至特征融合结构中，得到中间融合特征。
在一个实施例中，目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络，结果检测模块1006用于将目标融合特征分别输入至候选框生成子网络和平均子网络中，得到候选框生成子网络输出的候选框特征以及平均子网络输出的平均特征；以及用于将候选框特征和平均特征输入至特征提取子网络中，得到候选融合特征；候选融合特征是对候选框特征对应的第一局部特征、平均特征对应的第二局部特征以及候选框特征和平均特征对应的联合全局特征进行融合处理得到的；以及用于将候选融合特征输入至匹配检测子网络中，得到缺陷检测结果。
在一个实施例中，电力小样本缺陷检测装置还包括样本数据获取模块和模型训练模块；
样本数据获取模块用于获取多个样本巡视图像和各样本巡视图像对应的样本参考图像集合，样本参考图像集合中包括的各样本参考图像具有预设的缺陷标签；模型训练模块用于利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到目标检测模型；其中，对于每次迭代过程，将样本巡视图像和各样本参考图像输入至中间检测模型的特征提取层中，得到样本融合特征，并将样本融合特征输入至中间检测模型的目标检测层中，得到样本巡视图像的缺陷检测结果；样本巡视图像的缺陷检测结果用于调整中间检测模型的模型参数，样本融合特征是对样本巡视图像对应的样本第一局部特征、各样本参考图像分别对应的样本第二局部特征以及样本巡视图像和各样本参考图像对应的样本联合全局特征进行融合处理得到的。
在一个实施例中，样本巡视图像包括基类样本巡视图像；基类样本巡视图像为图像数量大于或者等于预设值的缺陷标签对应的样本巡视图像；
模型训练模块，包括：第一模型训练单元，用于利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对初始检测模型进行单分支迭代学习，得到第一训练后模型；第二模型训练单元，用于利用各基类样本巡视图像和各基类样本巡视图像对应的基类样本参考图像集合对第一训练后模型进行双分支迭代学习，得到第二训练后模型；第三模型训练单元，用于利用各样本巡视图像和各样本巡视图像对应的样本参考图像集合对第二训练后模型进行双分支迭代学习，得到目标检测模型。
上述电力小样本缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储巡视图像、参考图像集合、各样本巡视图像等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力小样本缺陷检测方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种电力小样本缺陷检测方法，其特征在于，所述方法包括：
获取巡视图像和所述巡视图像对应的参考图像集合，所述参考图像集合中包括的各参考图像具有预设的缺陷标签；
将所述巡视图像和各所述参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，所述目标融合特征是对所述巡视图像对应的第一局部特征、各所述参考图像分别对应的第二局部特征以及所述巡视图像和各所述参考图像对应的联合全局特征进行融合处理得到的，所述特征提取层中包括采用残差卷积网络的局部特征提取结构以及采用cross-transformer网络的联合全局特征提取结构，所述联合全局特征是利用所述联合全局特征提取结构对所述巡视图像和各所述参考图像进行联合全局特征提取得到的，所述第一局部特征是利用所述局部特征提取结构对所述巡视图像进行局部特征提取得到的，所述第二局部特征是利用所述局部特征提取结构对所述参考图像进行局部特征提取得到的；
将所述目标融合特征输入至所述目标检测模型的目标检测层中，得到所述巡视图像的缺陷检测结果；
其中，所述特征提取层包括依次连接的k个特征提取子网络，所述将所述巡视图像和各所述参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，包括：
将所述巡视图像和各所述参考图像输入至所述k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征；
将所述中间融合特征输入至所述k个特征提取子网络中的第二个特征提取子网络中，直至得到所述目标融合特征，所述目标融合特征为所述k个特征提取子网络中的第k个特征提取子网络输出的特征提取结果；
其中，所述第一个特征提取子网络包括第一局部特征提取结构、第二局部特征提取结构、联合全局特征提取结构和特征融合结构，所述将所述巡视图像和各所述参考图像输入至所述k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征，包括：
将所述巡视图像输入至所述第一局部特征提取结构中，得到中间第一局部特征；
将各所述参考图像输入至所述第二局部特征提取结构中，得到各中间第二局部特征；
将所述巡视图像和各所述参考图像输入至所述联合全局特征提取结构中，得到中间联合全局特征；
将所述中间第一局部特征、各所述中间第二局部特征和所述中间联合全局特征输入至所述特征融合结构中，得到所述中间融合特征。
2.根据权利要求1所述的方法，其特征在于，所述k个特征提取子网络的输出特征尺度依次减小。
3.根据权利要求1所述的方法，其特征在于，所述目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络，所述将所述目标融合特征输入至所述目标检测模型的目标检测层中，得到所述巡视图像的缺陷检测结果，包括：
将所述目标融合特征分别输入至所述候选框生成子网络和所述平均子网络中，得到所述候选框生成子网络输出的候选框特征以及所述平均子网络输出的平均特征；
将所述候选框特征和所述平均特征输入至所述特征提取子网络中，得到候选融合特征；所述候选融合特征是对所述候选框特征对应的第一局部特征、所述平均特征对应的第二局部特征以及所述候选框特征和所述平均特征对应的联合全局特征进行融合处理得到的；
将所述候选融合特征输入至所述匹配检测子网络中，得到所述缺陷检测结果。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
获取多个样本巡视图像和各所述样本巡视图像对应的样本参考图像集合，所述样本参考图像集合中包括的各样本参考图像具有预设的缺陷标签；
利用各所述样本巡视图像和各所述样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到所述目标检测模型；
其中，对于每次迭代过程，将所述样本巡视图像和各所述样本参考图像输入至中间检测模型的特征提取层中，得到样本融合特征，并将所述样本融合特征输入至所述中间检测模型的目标检测层中，得到所述样本巡视图像的缺陷检测结果；所述样本巡视图像的缺陷检测结果用于调整所述中间检测模型的模型参数，所述样本融合特征是对所述样本巡视图像对应的样本第一局部特征、各所述样本参考图像分别对应的样本第二局部特征以及所述样本巡视图像和各所述样本参考图像对应的样本联合全局特征进行融合处理得到的。
5.根据权利要求4所述的方法，其特征在于，所述样本巡视图像包括基类样本巡视图像；所述基类样本巡视图像为图像数量大于或者等于预设值的缺陷标签对应的样本巡视图像；
所述利用各所述样本巡视图像和各所述样本巡视图像对应的样本参考图像集合对初始检测模型进行迭代学习，得到所述目标检测模型，包括：
利用各基类样本巡视图像和各所述基类样本巡视图像对应的基类样本参考图像集合对初始检测模型进行单分支迭代学习，得到第一训练后模型；
利用各基类样本巡视图像和各所述基类样本巡视图像对应的基类样本参考图像集合对所述第一训练后模型进行双分支迭代学习，得到第二训练后模型；
利用各所述样本巡视图像和各所述样本巡视图像对应的样本参考图像集合对所述第二训练后模型进行双分支迭代学习，得到所述目标检测模型。
6.一种电力小样本缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取巡视图像和所述巡视图像对应的参考图像集合，所述参考图像集合中包括的各参考图像具有预设的缺陷标签；
特征提取模块，用于将所述巡视图像和各所述参考图像输入至目标检测模型的特征提取层中，得到目标融合特征，所述目标融合特征是对所述巡视图像对应的第一局部特征、各所述参考图像分别对应的第二局部特征以及所述巡视图像和各所述参考图像对应的联合全局特征进行融合处理得到的，所述特征提取层中包括采用残差卷积网络的局部特征提取结构以及采用cross-transformer网络的联合全局特征提取结构，所述联合全局特征是利用所述联合全局特征提取结构对所述巡视图像和各所述参考图像进行联合全局特征提取得到的，所述第一局部特征是利用所述局部特征提取结构对所述巡视图像进行局部特征提取得到的，所述第二局部特征是利用所述局部特征提取结构对所述参考图像进行局部特征提取得到的；
结果检测模块，用于将所述目标融合特征输入至所述目标检测模型的目标检测层中，得到所述巡视图像的缺陷检测结果；
其中，所述特征提取层包括依次连接的k个特征提取子网络；所述特征提取模块用于将所述巡视图像和各所述参考图像输入至所述k个特征提取子网络中的第一个特征提取子网络中，得到中间融合特征；以及用于将所述中间融合特征输入至所述k个特征提取子网络中的第二个特征提取子网络中，直至得到所述目标融合特征，所述目标融合特征为所述k个特征提取子网络中的第k个特征提取子网络输出的特征提取结果；
其中，所述第一个特征提取子网络包括第一局部特征提取结构、第二局部特征提取结构、联合全局特征提取结构和特征融合结构，所述特征提取模块用于将所述巡视图像输入至所述第一局部特征提取结构中，得到中间第一局部特征；将各所述参考图像输入至所述第二局部特征提取结构中，得到各中间第二局部特征；将所述巡视图像和各所述参考图像输入至所述联合全局特征提取结构中，得到中间联合全局特征；将所述中间第一局部特征、各所述中间第二局部特征和所述中间联合全局特征输入至所述特征融合结构中，得到所述中间融合特征。
7.根据权利要求6所述的装置，其特征在于，所述k个特征提取子网络的输出特征尺度依次减小。
8.根据权利要求6所述的装置，其特征在于，所述目标检测层包括候选框生成子网络、平均子网络、特征提取子网络和匹配检测子网络，所述结果检测模块用于将所述目标融合特征分别输入至所述候选框生成子网络和所述平均子网络中，得到所述候选框生成子网络输出的候选框特征以及平均子网络输出的平均特征；以及用于将所述候选框特征和所述平均特征输入至所述特征提取子网络中，得到候选融合特征；所述候选融合特征是对所述候选框特征对应的第一局部特征、所述平均特征对应的第二局部特征以及所述候选框特征和所述平均特征对应的联合全局特征进行融合处理得到的；以及用于将所述候选融合特征输入至所述匹配检测子网络中，得到所述缺陷检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202310474218.XA 2023-04-28 2023-04-28 电力小样本缺陷检测方法、装置、计算机设备及存储介质 Active CN116205916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474218.XA CN116205916B (zh) 2023-04-28 2023-04-28 电力小样本缺陷检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474218.XA CN116205916B (zh) 2023-04-28 2023-04-28 电力小样本缺陷检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116205916A CN116205916A (zh) 2023-06-02
CN116205916B true CN116205916B (zh) 2023-09-15

Family

ID=86515034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474218.XA Active CN116205916B (zh) 2023-04-28 2023-04-28 电力小样本缺陷检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116205916B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114627360A (zh) * 2020-12-14 2022-06-14 国电南瑞科技股份有限公司 基于级联检测模型的变电站设备缺陷识别方法
CN114692393A (zh) * 2022-03-10 2022-07-01 广东电网有限责任公司广州供电局 基于桑基图的电表状态监控方法及装置
CN115564773A (zh) * 2022-11-18 2023-01-03 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN115731420A (zh) * 2022-11-29 2023-03-03 国网浙江省电力有限公司信息通信分公司 基于孪生网络的小样本目标检测方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627360A (zh) * 2020-12-14 2022-06-14 国电南瑞科技股份有限公司 基于级联检测模型的变电站设备缺陷识别方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN114692393A (zh) * 2022-03-10 2022-07-01 广东电网有限责任公司广州供电局 基于桑基图的电表状态监控方法及装置
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN115564773A (zh) * 2022-11-18 2023-01-03 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN115731420A (zh) * 2022-11-29 2023-03-03 国网浙江省电力有限公司信息通信分公司 基于孪生网络的小样本目标检测方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Few-Shot Object Detection with Fully Cross-Transformer;G Han等;《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;第1-10页 *

Also Published As

Publication number Publication date
CN116205916A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN113065525B (zh) 年龄识别模型训练方法、人脸年龄识别方法及相关装置
CN115564773B (zh) 基于元学习的小样本图像缺陷检测方法、装置和设备
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN116978011A (zh) 一种用于智能目标识别的图像语义通信方法及系统
CN113254687B (zh) 图像检索、图像量化模型训练方法、装置和存储介质
CN116205916B (zh) 电力小样本缺陷检测方法、装置、计算机设备及存储介质
CN116894974A (zh) 图像分类方法、装置、计算机设备及其存储介质
CN116704206A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115797291A (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统
CN112801138A (zh) 基于人体拓扑结构对齐的多人姿态估计方法
CN114413910B (zh) 视觉目标导航方法及装置
CN116343132B (zh) 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN116188998B (zh) 输电架空线路缺陷识别方法、装置、设备和存储介质
CN113313079B (zh) 一种车辆属性识别模型的训练方法、系统及相关设备
Xiao et al. Dual-attention-transformer-based semantic reranking for large-scale image localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant