CN111598842A - 一种绝缘子缺陷样本生成模型的方法、系统及存储介质 - Google Patents

一种绝缘子缺陷样本生成模型的方法、系统及存储介质 Download PDF

Info

Publication number
CN111598842A
CN111598842A CN202010330327.0A CN202010330327A CN111598842A CN 111598842 A CN111598842 A CN 111598842A CN 202010330327 A CN202010330327 A CN 202010330327A CN 111598842 A CN111598842 A CN 111598842A
Authority
CN
China
Prior art keywords
image
insulator
model
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010330327.0A
Other languages
English (en)
Inventor
李仕林
赵旭
李正志
李梅玉
张�诚
李宏杰
杨勇
樊蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202010330327.0A priority Critical patent/CN111598842A/zh
Publication of CN111598842A publication Critical patent/CN111598842A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于绝缘子缺陷样本生成模型的方法、系统及存储介质，本发明提供的绝缘子缺陷样本生成模型的方法，用于输电线路绝缘子缺陷图像样本的生成，本发明提供的方法通过训练样本集，获取高频特征和低频特征，然后将高频特征和低频特征进行拼接，最后通过亚像素卷积对拼接后的特征生成图像，所生成的图像由融合效果差的存在差异的绝缘子缺陷样本生成，得到的图像清晰，所需的样本集少。

Description

一种绝缘子缺陷样本生成模型的方法、系统及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种绝缘子缺陷样本生成模型的方法、系统及存储介质。
背景技术
在现今关于与高压电路相关的电力项目中，主要的样本来源于现场的拍摄。但是高架塔和高压电线都处于比较高的地方或者是一些环境较为恶劣的山上，在地面进行拍摄时，由于拍摄设备的性能有限，变焦距离有限，对于较远距离的样本进行拍摄采集的时候，往往会使得采集的样本照片清晰度不够，或者是对于想要的目标区域并不能很清晰的显示出来。随着无人机的出现，这个问题得到一定程度的缓解，但是由于无人机受天气影响非常大，特别是在有风的时候，加上无人机的不稳定性，使得拍摄的照片的质量会与理想的有一定的偏差。在电力相关的绝缘子缺陷样本的采集这一块，由于现存的实际样本缺陷较少，加上拍摄条件的限制，能得到的有效的绝缘子缺陷样本的数量较少，不能满足现有的神经网络的训练需求。
近几年来，生成自然图像的探索在提出变分自动编码器后已经取得了一些成功。在训练中输入图像输入编码器得到输入图像的均值和方差，从服从该均值和方差的高斯分布中采样隐藏表示输入解码器得到生成图像，在测试中直接从该高斯分布采样生成图像，由于损失函数是生成图像和输入图像欧式距离和的均值的最小化，所以生成图像比较模糊。为了提高生成图像的清晰度，Ian J.Goodfellow等人于2014年10月在《GenerativeAdversarial Networks》中提出生成对抗网络。生成对抗网络由生成器和鉴别器组成，生成器和鉴别器对抗学习，生成器尽可能混淆鉴别器，生成鉴别器识别不出来的图像；鉴别器尽可能地从真实图像和生成图像中识别出生成器生成的图像。但是对抗生成网络的生成图像具有很大的不确定性，它只满足和输入图像一个域，生成图像不具有特定的属性。编码器和生成器组合的网络能够解决上述问题，网络训练好后，直接从特定高斯分布中采样输入生成器得到绝缘子缺陷图像。
然而，通过实验发现生成图像模糊，很难达到预期效果，生成图像对神经网络的训练起不到良好的效果，这是因为该图像生成方法需要大量的特征和细节信息，网络提取特征和生成图像的负担很重，并且该方法要求大量的训练样本，这对于绝缘子缺陷样本在现实中采集是一个很大的困难。
因此，如何发明一种生成图像清晰、训练样本少的绝缘子缺陷样本生成模型的方法成为亟待解决的问题。
发明内容
本发明提供了一种绝缘子缺陷样本生成模型的方法、系统及存储介质，以解决现有技术的不足。
第一方面，本发明提供一种绝缘子缺陷样本生成模型的方法，包括：
S1：采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；
S2：通过所述训练样本集，分别获取高频特征和低频特征；
S3：将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
可选择的，所述通过所述训练样本集，分别获取高频特征和低频特征包括以下步骤：
S21：通过所述训练样本集，采用LZM变换和知识蒸馏的方式，获取高频特征：
S22：通过所述训练样本集，采用深度卷积神经网络构造FGAN网络，获取低频特征。
可选择的，所述采用LZM变换和知识蒸馏的方式，获取高频特征包括以下步骤：
S211：在训练样本集中获取绝缘子图像；
S212：采用LZM对获取的绝缘子图像进行多尺度分解，得到含有高频特征的多尺度分解图像；
S213：通过知识蒸馏训练学生流网络，将所述含有高频特征的多尺度分解图像输入到所述学生流网络中，得到高频特征，所述高频特征包括图像的纹理特征、形状特征和空间结构特征。
可选择的，所述采用深度卷积神经网络构造FGAN网络，获取低频特征包括以下步骤：
S221：在训练样本集中获取绝缘子图像；
S222：采用深度卷积神经网络构造FGAN网络并对所述FGAN网络进行训练，得到训练好的FGAN网络；
S223：将在训练样本集中获取的绝缘子图像输入到所述训练好的FGAN网络中，得到无颜色差异的模糊图像；
S224：通过低通高斯滤波器在所述无颜色差异的模糊图像中提取低频特征，所述低频特征包括颜色特征。
可选择的，所述知识蒸馏训练学生流网络包括以下步骤：
S11：获取绝缘子正常图像；
S12：通过所述绝缘子正常图像，训练教师流支路模型，所述教师流支路模型提取所述含有高频特征的多尺度分解图像的特征；
S13：采用知识蒸馏方式训练学生流模型，所述学生流模型学习所述教师流支路模型提取的所述含有高频特征的多尺度分解图像的特征。
可选择的，所述FGAN网络包括生成器和鉴别器，所述生成器包括四层卷积层、一层空间金字塔层和四层反卷积层；所述鉴别器包括两个卷积层和三个全连接层。
可选择的，所述生成器的四层卷积层的前三个卷积层采用卷积核为4、步长stride等于2和填充padding等予一的跨步卷积,采用批归一化和Relu的激活函数。
可选择的，所述生成器的四层卷积层的第四层采用步长stride等于2、填充padding等于1的跨步卷积，激活函数为Tanh激活函数；
所述鉴别器的两个卷积层均采用卷积核为5、填充padding等于2的跨步卷积，激活函数为leaky relu激活函数和卷积核为2且步长为2的全局最大平均池化；
三个所述全连接层的激活函数分别为leaky relu函数、leaky relu函数胡和sigmoid函数。
第二方面，本发明提供一种用于绝缘子缺陷样本生成的系统，包括训练样本集获取模块、特征模块获取模块和缺陷绝缘子图像获取模块，其中：
训练样本集获取模块，用于采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；
特征获取模块，用于通过所述训练样本集，分别获取高频特征和低频特征；
缺陷绝缘子图像获取模块，用于将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
第三方面，本发明提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现第一方面所述的绝缘子缺陷样本生成模型的方法。
本发明提供一种绝缘子缺陷样本生成模型的方法，包括：采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；通过所述训练样本集，分别获取高频特征和低频特征；将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。本发明提供的绝缘子缺陷样本生成模型的方法，用于输电线路绝缘子缺陷图像样本的生成，本发明通过训练样本集，获取高频特征和低频特征，然后将高频特征和低频特征进行拼接，最后通过亚像素卷积对拼接后的特征生成图像，所生成的图像由融合效果差的存在差异的绝缘子缺陷样本生成，得到的图像清晰，所需的样本集少。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种绝缘子缺陷样本生成模型的方法的流程图；
图2为输电线路绝缘子缺陷样本生成模型的测试结构图；
图3为本发明的FGAN结构图；
图4为本发明采用的空间金字塔池化结构图；
图5为本发明的知识蒸馏网络图；
图6为本发明绝缘子缺陷样本生成模型的方法实施例中的生成模型训练图；
图7为本发明的绝缘子缺陷样本生成模型的方法实施例中的生成模型测试图。
具体实施方式
下面结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于再次描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
参见图1至图7，第一方面，本发明提供一种绝缘子缺陷样本生成模型的方法，包括：
S1：采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；
构建2000组数据集，所构建的数据集包括存在背景差异的图像和绝缘子缺陷差异的图像，有几乎不存在背景差异和绝缘子缺陷差异的标签图像，所以在Photoshop软件上复制含背景的绝缘子缺陷图像粘贴到另一张风格差异大的正常绝缘子图像上，完成输入图像的制作。在Photoshop软件上对输入图像进行细化，使得混合图像可以以假乱真，与真实缺陷绝缘子图像几乎无异。然后对数据集进行标注，用256像素乘以256像素的框框住缺陷部分，保证本发明提出的绝缘子缺陷样本生成模型的方法在训练阶段对缺陷部分使用注意力机制。
S2：通过所述训练样本集，分别获取高频特征和低频特征；
S3：将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
对拼接后的特征进行亚像素卷积得到输出图像，生成图像和真实图像输进去鉴别器。
回归损失函数为
Figure BDA0002464722230000041
其中xh是真实的高分辨率融合图像，
Figure BDA0002464722230000042
是模型生成的图像。||·||2是l2范数运算。
Figure BDA0002464722230000043
其中，
其中，D是鉴别器，G(x)是本发明模型的缺陷绝缘子生成图像。鉴别器尽可能分辨出真实图像和生成的假图像，生成器G尽可能使得生成的假图像逼真，以此来混淆鉴别器。生成器和鉴别器进行对抗训练，使得生成图像比较像真实图像。
本发明的缺陷绝缘子样本生成模型总的损失函数为：
Figure BDA0002464722230000051
训练使用小批量，选择随机梯度下降法对模型进行优化，δ的值设为1，当L总损失函数达到最小时，模型训练完成。
本发明提供的绝缘子缺陷样本生成模型的方法，用于输电线路绝缘子缺陷图像样本的生成，本发明通过训练样本集，获取高频特征和低频特征，然后将高频特征和低频特征进行拼接，最后通过亚像素卷积对拼接后的特征生成图像，所生成的图像由融合效果差的存在差异的绝缘子缺陷样本生成，得到的图像清晰，所需的样本集少。
本发明的有益效果是：
1、本发明设计一种基于混合图像的输电线路绝缘子缺陷样本生成方法，用于输电线路绝缘子缺陷图像样本生成。不同于以往的模型直接输入噪音生成图像，本发明提出的模型是将融合效果差的存在差异的绝缘子缺陷样本变成融合效果较好而且较清晰的绝缘子缺陷样本。
2、本发明设计两个支路，FGAN支路生成无颜色差异的模糊图像，用低通的高斯滤波器提取到丰富的输出图像所需要的颜色信息；学生流网络提取到输出图像所需要的丰富的高频信息。
3、本发明提出的图像融合的方法不是由噪音生成图像，而是由融合效果差的存在差异的绝缘子缺陷样本生成图像，无论是从人眼视觉上还是从客观评价指标上，本文方法均优于其它几种融合方法。
可选择的，所述采用LZM变换和知识蒸馏的方式，获取高频特征包括以下步骤：
S211：在训练样本集中获取绝缘子图像；
S212：采用LZM对获取的绝缘子图像进行多尺度分解，得到含有高频特征的多尺度分解图像；
S213：通过知识蒸馏训练学生流网络，将所述含有高频特征的多尺度分解图像输入到所述学生流网络中，得到高频特征，所述高频特征包括图像的纹理特征、形状特征和空间结构特征。
可选择的，所述采用深度卷积神经网络构造FGAN网络，获取低频特征包括以下步骤：
S221：在训练样本集中获取绝缘子图像；
S222：采用深度卷积神经网络构造FGAN网络并对所述FGAN网络进行训练，得到训练好的FGAN网络；
对FGAN网络训练，将正常绝缘子样本图像输入到FGAN支路，首先经过卷积层1，得到64个像素减半的特征图，经过卷积层2，得到128个像素再次减半的特征图，经过卷积层3，得到256个像素再次减半的特征图，经过卷积层4，得到512个像素再次减半的特征图，卷积层的结构如表1所示：
Figure BDA0002464722230000061
表1卷积层结构及相关参数
进一步地，对卷积层4的输出特征图进行空间金字塔池化，整合全局信息。首先对conv4层的输出特征图平均池化，得到1*1*c的特征向量；对conv4层的输出特征图均分为4份，对每份平均池化得到4个1*1*c的特征向量；同样地，对conv4层的特征图均分为16、32、64份，对每份平均池化得到16、32、64个1*1*c的特征向量。然后，对特征向量拼接，得到117个1*1*c的特征向量。最后，117个1*1*c的特征向量经过全连接层，得到隐藏向量z。隐藏向量z经过生成器得到和原图一样大小的模糊图像，将生成的模糊图像和真实的模糊标签图像输入鉴别器。
进一步地，对FGAN网络进行有监督的预训练，标签图像xg由专业用户使用图像编辑软件photoshop来获得。本发明约束函数采用l2损失和改进GAN损失的组合函数，公式如下：
Figure BDA0002464722230000062
其中||G(x)-xg||2计算标签图像xg和FGAN输出图像G(x)的欧式距离，D是鉴别器，λ是超参数。采用SGD的优化方式，使用batch size＝128的小批量训练，所有的参数都采用0均值，标准差0.02的初始化方式，leaky relu的斜率的取值是0.2。当
Figure BDA0002464722230000071
最小，而且改进对抗损失函数
Figure BDA0002464722230000072
最小时(理想状态下是0，鉴别器完全分辨不出真假图像)，λ设为1，总损失函数最小达到最小，这时FGAN网络完成训练。
在FGAN网络预训练完成后，存在差异的混合图像输入FGAN网络得到无颜色差异的模糊图像，用低通的高斯滤波器提取到输出图像所需要的丰富的颜色信息。
S223：将在训练样本集中获取的绝缘子图像输入到所述训练好的FGAN网络中，得到无颜色差异的模糊图像；
S224：通过低通高斯滤波器在所述无颜色差异的模糊图像中提取低频特征，所述低频特征包括颜色特征。
可选择的，所述知识蒸馏训练学生流网络包括以下步骤：
S11：获取绝缘子正常图像；
S12：通过所述绝缘子正常图像，训练教师流支路模型，所述教师流支路模型提取所述含有高频特征的多尺度分解图像的特征；
S13：采用知识蒸馏方式训练学生流模型，所述学生流模型学习所述教师流支路模型提取的所述含有高频特征的多尺度分解图像的特征。
采用知识蒸馏的方式对学生流网络进行预训练，保证学生流网络提取到输出图像所需要的丰富的高频信息。在知识蒸馏网络训练过程中，首先，将正常绝缘子样本图像输进去LZM转换模块得到只含有纹理、形状和空间位置信息等高频特征的多尺度分解图像，然后多尺度分解图像输入到教师流网提取特征。
教师流网络是已经预训练好的深度残差网络，训练样本是电力项目采集的输电线路部件图像，样本类别有正常绝缘子、鸟巢、缺陷绝缘子、垃圾、防震锤。训练样本输入深度残差网络进行有监督的图像识别训练，保证教师流网络能提取到昂贵的特征。此外，本发明中教师流网络预训练时的约束函数为交叉熵和改进三元组损失的组合函数，公式如下：
Figure BDA0002464722230000073
Figure BDA0002464722230000074
Figure BDA0002464722230000081
L组合＝H+βLctri
其中C是一个批次中包含的总类别数，N是一个训练批次中样本的总数量，q(x)是真实类别下的预测值，yi是预测类别概率，xa是锚点，xp是与xa图像类别一致的正样本，xn是与xa图像类别不一致的负样本，m是常数。
进一步地，利用adam优化算法对教师流网络进行优化，当教师流总的损失函数L组合达到最小值条件时，教师流网络训练完成，固定教师流网络的参数，去参与学生流网络的教学。学生流网络是简单的卷积神经网络，采用回归损失进行知识蒸馏，公式为：
Ltz＝||ft(x)-fs(x)||2
其中ft(x)是教师流网络提取到的特征，fs(x)是学生流网络得到的特征。
进一步地，利用随机梯度下降法对知识蒸馏网络进行优化，当网络的损失函数Ltz达到最小条件时，知识蒸馏网络训练完成，学生流网络预训练完成后，存在差异的混合图像输入学生流网络得到输出图像所需要的丰富的高频信息。
可选择的，所述FGAN网络包括生成器和鉴别器，所述生成器包括四层卷积层、一层空间金字塔层和四层反卷积层；所述鉴别器包括两个卷积层和三个全连接层。
可选择的，所述生成器的四层卷积层的前三个卷积层采用卷积核为4、步长stride等于2和填充padding等予一的跨步卷积,采用批归一化和Relu的激活函数。
可选择的，所述生成器的四层卷积层的第四层采用步长stride等于2、填充padding等于1的跨步卷积，激活函数为Tanh激活函数；
所述鉴别器的两个卷积层均采用卷积核为5、填充padding等于2的跨步卷积，激活函数为leaky relu激活函数和卷积核为2且步长为2的全局最大平均池化；
三个所述全连接层的激活函数分别为leaky relu函数、leaky relu函数胡和sigmoid函数。
第二方面，本发明提供一种用于绝缘子缺陷样本生成的系统，包括训练样本集获取模块、特征模块获取模块和缺陷绝缘子图像获取模块，其中：
训练样本集获取模块，用于采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；
特征获取模块，用于通过所述训练样本集，分别获取高频特征和低频特征；
缺陷绝缘子图像获取模块，用于将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
第三方面，本发明提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现第一方面所述的绝缘子缺陷样本生成模型的方法。
由以上技术方案可知，本发明提供的绝缘子缺陷样本生成模型的方法，用于输电线路绝缘子缺陷图像样本的生成，本发明通过训练样本集，获取高频特征和低频特征，然后将高频特征和低频特征进行拼接，最后通过亚像素卷积对拼接后的特征生成图像，所生成的图像由融合效果差的存在差异的绝缘子缺陷样本生成，得到的图像清晰，所需的样本集少。
从图2可知，首先，样本图像经过FGAN网络提取到输出图像所需要的丰富的颜色特征。然后，样本图像经过学生流网络提取到输出图像所需要的丰富的高频特征。最后，对高频特征和颜色特征拼接后的特征进行上采样得到输出图像。
以上仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种绝缘子缺陷样本生成模型的方法，其特征在于，所述方法包括：
S1：采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在label ing软件中标注，得到训练样本集；
S2：通过所述训练样本集，分别获取高频特征和低频特征；
S3：将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
2.如权利要求1所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述通过所述训练样本集，分别获取高频特征和低频特征包括以下步骤：
S21：通过所述训练样本集，采用LZM变换和知识蒸馏的方式，获取高频特征：
S22：通过所述训练样本集，采用深度卷积神经网络构造FGAN网络，获取低频特征。
3.如权利要求2所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述采用LZM变换和知识蒸馏的方式，获取高频特征包括以下步骤：
S211：在训练样本集中获取绝缘子图像；
S212：采用LZM对获取的绝缘子图像进行多尺度分解，得到含有高频特征的多尺度分解图像；
S213：通过知识蒸馏训练学生流网络，将所述含有高频特征的多尺度分解图像输入到所述学生流网络中，得到高频特征，所述高频特征包括图像的纹理特征、形状特征和空间结构特征。
4.如权利要求2所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述采用深度卷积神经网络构造FGAN网络，获取低频特征包括以下步骤：
S221：在训练样本集中获取绝缘子图像；
S222：采用深度卷积神经网络构造FGAN网络并对所述FGAN网络进行训练，得到训练好的FGAN网络；
S223：将在训练样本集中获取的绝缘子图像输入到所述训练好的FGAN网络中，得到无颜色差异的模糊图像；
S224：通过低通高斯滤波器在所述无颜色差异的模糊图像中提取低频特征，所述低频特征包括颜色特征。
5.如权利要求3所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述知识蒸馏训练学生流网络包括以下步骤：
S11：获取绝缘子正常图像；
S12：通过所述绝缘子正常图像，训练教师流支路模型，所述教师流支路模型提取所述含有高频特征的多尺度分解图像的特征；
S13：采用知识蒸馏方式训练学生流模型，所述学生流模型学习所述教师流支路模型提取的所述含有高频特征的多尺度分解图像的特征。
6.如权利要求4所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述FGAN网络包括生成器和鉴别器，所述生成器包括四层卷积层、一层空间金字塔层和四层反卷积层；所述鉴别器包括两个卷积层和三个全连接层。
7.如权利要求6所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述生成器的四层卷积层的前三个卷积层采用卷积核为4、步长stride等于2和填充padding等予一的跨步卷积,采用批归一化和Relu的激活函数。
8.如权利要求6所述的绝缘子缺陷样本生成模型的方法，其特征在于，所述生成器的四层卷积层的第四层采用步长stride等于2、填充padding等于1的跨步卷积，激活函数为Tanh激活函数；
所述鉴别器的两个卷积层均采用卷积核为5、填充padding等于2的跨步卷积，激活函数为leaky relu激活函数和卷积核为2且步长为2的全局最大平均池化；
三个所述全连接层的激活函数分别为leaky relu函数、leaky relu函数胡和sigmoid函数。
9.一种用于绝缘子缺陷样本生成的系统，其特征在于，所述用于绝缘子缺陷样本生成的系统包括训练样本集获取模块、特征模块获取模块和缺陷绝缘子图像获取模块，其中：
训练样本集获取模块，用于采集多个绝缘子图像，对采集的每个绝缘子图像通过Photoshop软件中处理和在labeling软件中标注，得到训练样本集；
特征获取模块，用于通过所述训练样本集，分别获取高频特征和低频特征；
缺陷绝缘子图像获取模块，用于将所述高频特征和所述低频特征进行拼接，通过亚像素卷积对拼接后的特征生成图像，得到缺陷绝缘子图像，所述缺陷绝缘子图像即绝缘子缺陷样本模型。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-8中任一项所述的绝缘子缺陷样本生成模型的方法。
CN202010330327.0A 2020-04-24 2020-04-24 一种绝缘子缺陷样本生成模型的方法、系统及存储介质 Withdrawn CN111598842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010330327.0A CN111598842A (zh) 2020-04-24 2020-04-24 一种绝缘子缺陷样本生成模型的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010330327.0A CN111598842A (zh) 2020-04-24 2020-04-24 一种绝缘子缺陷样本生成模型的方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111598842A true CN111598842A (zh) 2020-08-28

Family

ID=72183553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010330327.0A Withdrawn CN111598842A (zh) 2020-04-24 2020-04-24 一种绝缘子缺陷样本生成模型的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111598842A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419268A (zh) * 2020-11-23 2021-02-26 广东电网有限责任公司广州供电局 一种输电线路图像缺陷检测方法、装置、设备及介质
CN112508126A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 深度学习模型训练方法、装置、电子设备及可读存储介质
CN112766348A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种基于对抗神经网络生成样本数据的方法以及装置
CN112767239A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种样本自动生成方法、系统、设备和存储介质
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN115631178A (zh) * 2022-11-03 2023-01-20 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124076A (zh) * 2017-11-29 2018-06-05 山东师范大学 基于异构混沌和keccak哈希函数的图像加密方法
CN109801284A (zh) * 2019-01-25 2019-05-24 华中科技大学 一种基于深度学习的高铁接触网绝缘子故障检测方法
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124076A (zh) * 2017-11-29 2018-06-05 山东师范大学 基于异构混沌和keccak哈希函数的图像加密方法
CN109801284A (zh) * 2019-01-25 2019-05-24 华中科技大学 一种基于深度学习的高铁接触网绝缘子故障检测方法
CN110211038A (zh) * 2019-04-29 2019-09-06 南京航空航天大学 基于dirac残差深度神经网络的超分辨率重建方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
肖昌炎;贾康成;王耀南;: "线扫描铁轨表面缺陷成像与检测" *
高钦泉: "基于知识蒸馏的超分辨率卷积神经网络压缩方法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419268A (zh) * 2020-11-23 2021-02-26 广东电网有限责任公司广州供电局 一种输电线路图像缺陷检测方法、装置、设备及介质
CN112508126A (zh) * 2020-12-22 2021-03-16 北京百度网讯科技有限公司 深度学习模型训练方法、装置、电子设备及可读存储介质
CN112508126B (zh) * 2020-12-22 2023-08-01 北京百度网讯科技有限公司 深度学习模型训练方法、装置、电子设备及可读存储介质
CN112766348A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种基于对抗神经网络生成样本数据的方法以及装置
CN112767239A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种样本自动生成方法、系统、设备和存储介质
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN115631178A (zh) * 2022-11-03 2023-01-20 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN115631178B (zh) * 2022-11-03 2023-11-10 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111598842A (zh) 一种绝缘子缺陷样本生成模型的方法、系统及存储介质
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN112308860B (zh) 基于自监督学习的对地观测图像语义分割方法
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN114299380A (zh) 对比一致性学习的遥感图像语义分割模型训练方法及装置
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN108596243B (zh) 基于分级注视图和条件随机场的眼动注视图预测方法
CN110070517A (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN113807340B (zh) 一种基于注意力机制的不规则自然场景文本识别方法
CN113450278B (zh) 一种基于跨域协同学习的图像去雨方法
Zhao et al. Cloud removal using multimodal GAN with adversarial consistency loss
CN113256520A (zh) 一种域自适应的水下图像增强方法
CN112967178A (zh) 一种图像转换方法、装置、设备及存储介质
CN112905828A (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
CN113129310A (zh) 一种基于注意力路由的医学图像分割系统
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN111079807A (zh) 一种地物分类方法及装置
CN114972869B (zh) 一种基于反事实因果学习的红外微弱目标检测方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200828