CN113657517A - 一种基于注意力机制和度量学习少样本电力缺陷检测方法 - Google Patents

一种基于注意力机制和度量学习少样本电力缺陷检测方法 Download PDF

Info

Publication number
CN113657517A
CN113657517A CN202110963980.5A CN202110963980A CN113657517A CN 113657517 A CN113657517 A CN 113657517A CN 202110963980 A CN202110963980 A CN 202110963980A CN 113657517 A CN113657517 A CN 113657517A
Authority
CN
China
Prior art keywords
model
meta
network
data set
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110963980.5A
Other languages
English (en)
Inventor
琚小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jierui Power Technology Co ltd
Original Assignee
Zhejiang Jierui Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jierui Power Technology Co ltd filed Critical Zhejiang Jierui Power Technology Co ltd
Priority to CN202110963980.5A priority Critical patent/CN113657517A/zh
Publication of CN113657517A publication Critical patent/CN113657517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制和度量学习少样本电力缺陷检测方法，包括以下步骤：S1：构建数据集，构建数据集构建包括所需的训练集以及目标数据集；S2：模型创建，在S1中的训练集上进行元学习，获取充分的先验知识，得到元模型；S3：将进行元模型应用到目标数据集，进行目标数据的分类，本发明不需要依赖于庞大的数据集来进行模型的训练，具有更强的现实意义，为现实场景中数据不足的一种解决思路；且，基于元学习的理论，可以快速适应新的任务，不需要将模型从头开始进行训练，只需对模型参数进行微调；在关系网络中引入了attent i on网络，使网络更加专注于找到输入图像中有价值的部分，进而实现少样本电力缺陷检测。

Description

一种基于注意力机制和度量学习少样本电力缺陷检测方法
技术领域
本发明涉及计算机视觉识别、元学习、度量学习、小样本学习领域，更具体地，涉及一种基于注意力机制和度量学习少样本电力缺陷检测方法。
背景技术
电网安全一直是一个重要的话题，此处的安全并非只是数据安全，同时设备线路安全同样重要，由于输电线、杆塔等设备由于外部环境的影响，很容易受到影响，例如：设备老化、破损；绝缘子爆裂；输电线断裂；设备起火等问题，因此需要及时发现并进行维护。
然而人工对这些设备进行排查，需要耗费大量的人力和时间成本。近年来，深度学习在计算机视觉等方面取得了卓越的成就，但是，深度学习很大的一个限制在于它对充足的数据集具有强依赖型，然而在该场景中，并没有足够的电网缺陷图像训练深度学习模型，数据不足是一项巨大的挑战。
发明内容
本发明针对上述输电线设备缺陷检测存在的问题，而提出了一种基于注意力机制和度量学习少样本电力缺陷检测方法，用于克服上述问题。利用元学习的方法，积累先验知识，快速适应电网缺陷检测的任务。
为实现上述目的，本发明采取的技术方案为：设计一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，包括以下步骤：
S1：构建数据集，所述构建数据集构建包括所需的训练集以及目标数据集；
S2：模型创建，在S1中的训练集上进行元学习，获取充分的先验知识，得到元模型；
S3：将进行元模型应用到目标数据集，进行目标数据的分类。
进一步的，所述训练集为开源的miniImagenet数据集；所述的目标数据集为电网无人机拍摄或监控图像中包含电网各类缺陷的图像所构成的数据集。
进一步的，所述的模型创建包括：特征映射网络、attention模块，特征连接模块和关系网络；
所述特征映射网络用于实现特征提取，且，所述特征映射网络包括四层卷积神经网络，第1层卷积神经网络和第2层卷积神经网络由卷积层、BN层、激活函数层以及最大池化层构成，第3层卷积神经网络以及第4层卷积神经网络与第1层卷积神经网络和第2层卷积神经网络的区别在于没有最大池化层以及输出特征映射；
所述attention模块用于关注特征映射中有意义的部分，筛选出权重较高的信息，得到attention特征；
所述特征连接模块用于特征描述并进行合并操作，并将生成的特征作为关系网络的输入；
所述关系网络关系网络分析样本之间的匹配度，根据关系分数，实现判断测试图像的类别。
进一步的，所述S2中的训练集上进行元学习，具体包括以下步骤：
S1：从训练集中随机抽取C个类别，每个类别中随机挑选K个样本，构成元模型的支撑集
Figure BDA0003223279680000021
然后从C个类别中，选取每个类别中m剩余的样本，构成元模型的查询集
Figure BDA0003223279680000022
S2：将支撑集图像以及查询集图像输入所述的特征映射网络F，生成对应的特征映射F(xi)和F(xj)；将特征映射输入attention网络，得到attention特征Fa(xi)和Fa(xj)，attention特征与原特征相乘，得到F′(xi)和F′(xj)
S3：将各个类别的F′(xi)和查询图像的F′(xj)特征向量进行拼接合并C(F′(xi)，F′(xj))，输入到关系网络R中，计算关系分数，从而判断查询图像所属类别relation_scorei＝R(c(F′(xi)，F′(xj)))；
S4：重复上述3个步骤，训练元模型，直至模型的参数收敛。
进一步的，元模型应用到目标数据集，目标数据集按照训练集划分规则分为支撑集与查询集，对元模型进行参数微调，使模型迅速适应目标数据集，实现电力缺陷检测。
本发明相对于现有技术具有以下有益效果：
1、本发明不需要依赖于庞大的数据集来进行模型的训练，具有更强的现实意义，为现实场景中数据不足的一种解决思路。
2、本发明基于元学习的理论，可以快速适应新的任务，不需要将模型从头开始进行训练，只需对模型参数进行微调。
3、在关系网络中引入了attention网络，使网络更加专注于找到输入图像中有价值的部分。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其它的附图。
图1为本发明一种基于注意力机制和度量学习少样本电力缺陷检测方法的整体的流程架构图；
图2为本发明一种基于注意力机制和度量学习少样本电力缺陷检测方法的训练模型的组成模块示意图；
图3为本发明一种基于注意力机制和度量学习少样本电力缺陷检测方法训练模型中attention模块的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考说明书附图1，一种基于注意力机制和度量学习少样本电力缺陷检测方法，具体包括以下步骤：
第一步:构建所需的训练集以及目标数据集；
其中，所述训练集为开源的miniImagenet数据集；所述的目标数据集为电网无人机拍摄或者监控图像中包含电网各类缺陷的图像所构成的数据集。
第二步:模型构建，在训练集上进行元学习，获取充分的先验知识，得到元模型；
其中，第二步模型构建，如说明书附图2所示，主要包括四个部分：特征映射网络、attention模块，特征连接模块和关系网络；
具体的，所述的特征映射网络主要实现特征提取。
具体的，特征映射网络包括四层卷积神经网络，第1层卷积神经网络和第2层卷积神经网络由卷积层、BN层、激活函数层以及最大池化层构成，第3层卷积神经网络以及第4层卷积神经网络与第1层卷积神经网络和第2层卷积神经网络的区别在于没有最大池化层以及输出特征映射；
具体的，所述的attention模块，主要实现提高输出质量，关注特征中有价值的部分；
参考说明书附图3所示，attention模块利用最大池化和平均池化，对输入的特征向量进行压缩，生成两个空间背景描述，然后共享网络对其进行计算得到attention特征；
其中，所述的特征连接模块，将特征描述进行合并操作，并将生成的特征作为关系网络的输入；
其中，所述的关系网络用以分析样本之间的匹配度，根据关系分数，实现判断测试图像的类别，关系网络由两个卷积模块和两个全连接层组成，其中，卷积模块包括卷积层、BN层、激活函数层以及最大池化层。
进一步的，所述的在训练集上进行元学习，具体包括：
S1：从训练集中随机抽取C个类别，每个类别中随机挑选K个样本，构成元模型的支撑集
Figure BDA0003223279680000051
然后从C个类别中，选取每个类别中m剩余的样本，构成元模型的查询集
Figure BDA0003223279680000052
S2：将支撑集图像以及查询集图像输入所述的特征映射网络F，生成对应的特征映射F(xi)和F(xj)；将特征映射输入attention网络，得到attention特征Fa(xi)和Fa(xj)，attention特征与原特征相乘，得到F′(xi)和F′(xj)
S3：将各个类别的F′(xi)和查询图像的F′(xj)特征向量进行拼接合并C(F′(xi)，F′(xj))，输入到关系网络R中，计算关系分数，从而判断查询图像所属类别relation_scorei＝R(C(F′(xi)，F′(xj)))：
S4：重复上述3个步骤，训练元模型，直至模型的参数收敛。
第三步：将进行元模型应用到目标数据集，进行目标数据的分类。
其中，目标数据集，即电网缺陷数据集，同样从该数据集中随机抽选C类，每个类别中随机挑选K个样本构成目标数据集的支撑集
Figure BDA0003223279680000053
C个类别中任选m个数据作为查询集
Figure BDA0003223279680000054
利用目标数据集对元模型参数进行微调，使其快速适应电网缺陷检测任务，输出对应的结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未违背本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包括在本发明的保护范围之内。

Claims (5)

1.一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，包括以下步骤：
S1：构建数据集，所述构建数据集构建包括所需的训练集以及目标数据集；
S2：模型创建，在S1中的训练集上进行元学习，获取充分的先验知识，得到元模型；
S3：将进行元模型应用到目标数据集，进行目标数据的分类。
2.根据权利要求1所述的一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，所述训练集为开源的minilmagenet数据集；所述的目标数据集为电网无人机拍摄或监控图像中包含电网各类缺陷的图像所构成的数据集。
3.根据权利要求1所述的一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，所述的模型创建包括：特征映射网络、attention模块，特征连接模块和关系网络；
所述特征映射网络用于实现特征提取，且，所述特征映射网络包括四层卷积神经网络，第1层卷积神经网络和第2层卷积神经网络由卷积层、BN层、激活函数层以及最大池化层构成，第3层卷积神经网络以及第4层卷积神经网络与第1层卷积神经网络和第2层卷积神经网络的区别在于没有最大池化层以及输出特征映射；
所述attention模块用于关注特征映射中有意义的部分，筛选出权重较高的信息，得到attention特征；
所述特征连接模块用于特征描述并进行合并操作，并将生成的特征作为关系网络的输入；
所述关系网络关系网络分析样本之间的匹配度，根据关系分数，实现判断测试图像的类别。
4.根据权利要求3所述的一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，所述S2中的训练集上进行元学习，具体包括以下步骤：
S1：从训练集中随机抽取C个类别，每个类别中随机挑选K个样本，构成元模型的支撑集
Figure FDA0003223279670000021
然后从C个类别中，选取每个类别中m剩余的样本，构成元模型的查询集
Figure FDA0003223279670000022
S2：将支撑集图像以及查询集图像输入所述的特征映射网络F，生成对应的特征映射F(xi)和F(xj)；将特征映射输入attention网络，得到attention特征Fa(xi)和Fa(xj)，attention特征与原特征相乘，得到F′(xi)和F′(xj)
S3：将各个类别的F′(xi)和查询图像的F′(xj)特征向量进行拼接合并C(F′(xi)，F′(xj))，输入到关系网络R中，计算关系分数，从而判断查询图像所属类别relation_scorei＝R(C(F′(xi)，F′(xj)))；
S4：重复上述3个步骤，训练元模型，直至模型的参数收敛。
5.根据权利要求1所述的一种基于注意力机制和度量学习少样本电力缺陷检测方法，其特征在于，所述元模型应用到目标数据集，目标数据集按照训练集划分规则分为支撑集与查询集，对元模型进行参数微调，使模型迅速适应目标数据集，实现电力缺陷检测。
CN202110963980.5A 2021-08-21 2021-08-21 一种基于注意力机制和度量学习少样本电力缺陷检测方法 Pending CN113657517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110963980.5A CN113657517A (zh) 2021-08-21 2021-08-21 一种基于注意力机制和度量学习少样本电力缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110963980.5A CN113657517A (zh) 2021-08-21 2021-08-21 一种基于注意力机制和度量学习少样本电力缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113657517A true CN113657517A (zh) 2021-11-16

Family

ID=78481570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110963980.5A Pending CN113657517A (zh) 2021-08-21 2021-08-21 一种基于注意力机制和度量学习少样本电力缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113657517A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114447838A (zh) * 2022-01-21 2022-05-06 山东电工电气集团有限公司 一种基于小样本的高压电缆局部放电模式识别方法
CN114529517A (zh) * 2022-01-17 2022-05-24 华南理工大学 基于单样本学习的工业产品缺陷检测方法
CN115100432A (zh) * 2022-08-23 2022-09-23 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODIE YU等: "A metric learning network based on attention mechanism for Power grid defect identification", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》, pages 1 - 6 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529517A (zh) * 2022-01-17 2022-05-24 华南理工大学 基于单样本学习的工业产品缺陷检测方法
CN114529517B (zh) * 2022-01-17 2024-08-09 华南理工大学 基于单样本学习的工业产品缺陷检测方法
CN114447838A (zh) * 2022-01-21 2022-05-06 山东电工电气集团有限公司 一种基于小样本的高压电缆局部放电模式识别方法
CN115100432A (zh) * 2022-08-23 2022-09-23 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质
CN115100432B (zh) * 2022-08-23 2022-11-18 浙江大华技术股份有限公司 一种小样本目标检测方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN113657517A (zh) 一种基于注意力机制和度量学习少样本电力缺陷检测方法
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN113378890B (zh) 一种基于改进YOLO v4的轻量级行人车辆检测方法
TWI715888B (zh) 車險影像處理方法、裝置、電腦可讀取儲存媒體和計算設備
CN111126278B (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN113037783B (zh) 一种异常行为检测方法及系统
CN112367273B (zh) 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
CN109919252A (zh) 利用少数标注图像生成分类器的方法
KR20180109658A (ko) 영상 처리 방법과 장치
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN111079822A (zh) 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN114359167B (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
Chen et al. Subjective and objective quality evaluation of sonar images for underwater acoustic transmission
CN114925720A (zh) 基于时空混合特征提取网络的小样本调制信号识别方法
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN115115950A (zh) 一种基于图像直方图特征的无人机图像查重方法
Zhang et al. Sonar image quality evaluation using deep neural network
CN111027542A (zh) 一种基于Faster RCNN算法改进的目标检测方法
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
Liu et al. Quality assessment for inspection images of power lines based on spatial and sharpness evaluation
CN112395952A (zh) 一种用于铁轨缺陷检测的无人机
CN105488099B (zh) 一种基于相似度学习的车辆检索方法
CN111507396A (zh) 缓解神经网络对未知类样本产生错误分类的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211116

RJ01 Rejection of invention patent application after publication