CN111860593B - 一种基于生成对抗网络的风机叶片故障检测方法 - Google Patents

一种基于生成对抗网络的风机叶片故障检测方法 Download PDF

Info

Publication number
CN111860593B
CN111860593B CN202010546316.6A CN202010546316A CN111860593B CN 111860593 B CN111860593 B CN 111860593B CN 202010546316 A CN202010546316 A CN 202010546316A CN 111860593 B CN111860593 B CN 111860593B
Authority
CN
China
Prior art keywords
fan blade
image
fan
discriminator
fault detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010546316.6A
Other languages
English (en)
Other versions
CN111860593A (zh
Inventor
赵计生
米路中
强保华
陈锐东
谢元
范婧
郭强
张艳萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Xinkong Internet Technology Co Ltd
Original Assignee
Guoneng Xinkong Internet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Xinkong Internet Technology Co Ltd filed Critical Guoneng Xinkong Internet Technology Co Ltd
Priority to CN202010546316.6A priority Critical patent/CN111860593B/zh
Publication of CN111860593A publication Critical patent/CN111860593A/zh
Application granted granted Critical
Publication of CN111860593B publication Critical patent/CN111860593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于生成对抗网络的风机叶片故障检测方法，首先，利用无人机等设备采集风机叶片图像；其次，利用生成对抗网络对已标注的风机叶片图像构建生成遮挡和形变的生成器和风机叶片故障检测辨别器，扩充已标注风机叶片图像数据集，并且通过生成器和辨别器之间的对抗，提高风机叶片故障检测辨别器的辨别性能；最后，将待检测风机叶片图像输入风机叶片故障检测辨别器，获取检测类别结果。本发明可以较好地检测风机叶片是否故障，方便管理人员做出相应的处理，有效提高工作人员的效率。

Description

一种基于生成对抗网络的风机叶片故障检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于生成对抗网络的风机叶片故障检测方法。
背景技术
风能是一种无公害的可再生能源，能量近乎无尽，分布广泛。风电缓解了能源的供应，对环境的保护意义重大。风电设备一般安装在风力资源丰富但交通不便的地区，比如山区、高原地区、草原牧场等。这些地区环境恶劣，雷电、暴雨或者台风等都可能损坏风机叶片，需要定期对风机进行巡检，以保证风电设备的稳定运行。但是风电设备地处偏远地区，巡检工作量大，且不能全面及时发现已损坏的设备。
风机叶片是风力发电设备的核心部件之一，它直接关系到风机的性能以及效益。而风机叶片高速运转时，不可避免会形变，甚至断裂，影响发电量。所以需要对叶片进行检查以保证风机的正常运行。
随着风力发电技术的成熟，风机规模不断扩大，对于大规模的风力发电站，人工巡检效率太低，巡检成本过高。迫切需要提供一种高效准确的方法来判断风机叶片是否故障。无人机的运用极大地提高了工作人员的观察角度。无人机搭载高分辨率的摄像机拍摄风机叶片表面，向工作人员传回高清图像，但是需要工作人员进行查看分析，工作效率仍然较低，所以需要自动对风机叶片图像进行分析，高效准确的判断风机叶片是否故障。
随着深度学习的发展，深度学习在图像处理方面的运用逐渐成熟，因此可以利用深度学习技术去判断风机叶片是否故障。基于深度学习构建风机叶片故障检测模型需要大量标注良好的样本,获取标注信息需要耗费大量人力物力。为了减少标注耗费的人力物力，本发明利用生成对抗网络对已标注故障的风机叶片图像构建生成遮挡和形变的生成器和风机叶片检测辨别器，扩充已标注风机叶片图像数据集。其次，在实际测试过程中只需要运用风机叶片故障检测辨别器，结构简单，易于部署。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于生成对抗网络的风机叶片故障检测方法，通过生成对抗网络扩充风机叶片图像数据集，并通过风机叶片的图像判断风机叶片是否故障。
为实现上述发明目的，本发明具体采用以下技术方案。
一种基于生成对抗网络的风机叶片故障检测方法，所述风机叶片故障检测方法包括以下步骤：
步骤1：采集风机叶片图像，并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障；
步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型，其中干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自所述干扰生成器的拟真样本，并对其真伪进行判别；
步骤3：对所述故障检测辨别器预训练模型和所述干扰生成器预训练模型进行对抗训练，即，所述故障检测辨别器接收来自原图像的真实样本和所述拟真样本，并对其真伪性进行判断；
步骤4：计算故障检测辨别器损失和干扰生成器损失，其中，所述故障检测辨别器损失为所述故障检测辨别器判断错误时的损失，所述干扰生成器损失为所述故障检测辨别器判断正确时的损失；
步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6；
步骤6：判断迭代次数达到设定的最大迭代次数上限，或者所述故障检测辨别器和所述干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回所述步骤3；
步骤7：在所述步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型；
步骤8：将待检测的风机叶片的图像输入所述步骤7中所述故障检测辨别器模型中，对风机叶片的故障状态进行检测。
本发明还进一步采用以下优选技术方案：
在所述步骤1中，采集到风机叶片的图像样本之后，将风机叶片的原图像输入示例分割算法，输出对应图像的示例分割掩膜数据。
在所述步骤2中，通过在已开源的目标检测数据集上对所述干扰生成器模型和故障检测辨别器模型进行训练，并赋予初始参数，构建所述干扰生成器预训练模型和所述故障检测辨别器预训练模型。
在所述步骤2中，所述生成器生成拟真样本包括以下步骤：
S201：接收所述步骤1中已标注的风机叶片图像的对应的掩膜数据，提取风机特征，所述风机特征值包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接/邻接关系、交叠/重叠关系以及包含/包容关系；
S202：根据所述示例分割算法生成的掩膜数据和在所述S201中提取的特征值构建空间遮蔽网络；
S203：将空间遮蔽网络作为掩膜生成器，示例分割算法作为掩膜辨别器，利用生成对抗网络进行对抗学习，生成遮挡掩膜；
S204：根据空间变换规则构建空间变换网络，所述空间变换网络根据形变规则对所述风机特征进行形变，其中，所述形变规则包括平移、缩放以及旋转；
S205：基于图像特征值、所生成的遮挡掩膜和形变后的风机特征，在所述生成器中生成拟真样本。
所述步骤3包括以下步骤：
步骤301：故障检测辨别器接收所述干扰生成器生成的拟真样本和步骤1中所采集风机叶片图像的真实样本；
步骤302：所述故障检测辨别器对拟真样本和真实样本的真伪性进行判断，当所述故障辨别器的输出为1时，判断结果为输入来自真实样本；所述故障辨别器输出为0时，判断结果为输入来自拟真样本。
在所述步骤4中，通过以下损失函数计算所述辨别器损失和所述生成器损失：
LSDN&STN-GAN(GSDN&STN,DMask)＝Ex[ln(DMask(x))]+ESDN&STN[ln(1-DMask(GSDN&STN(x,m)))]
其中，E(*)表示分布函数的期望值；GSDN&STN表示干扰生成器；x表示接收的真实图像；和m表示由示例分割算法生成的掩膜数据，GSDN&STN(x,m)表示生成的拟真样本；辨别器DMask表示故障检测辨别器。
在所述步骤5中，根据所计算得到的所述辨别器损失、所述生成器损失，利用优化器对所述生成器和所述辨别器进行优化，其中所述优化器的初始参数为：一阶矩阵衰减系数β1＝0.9、二阶矩衰减系数β2＝0.999、偏置ε＝10-8和学习率α＝0.001；包括以下步骤：
步骤501：计算所述损失函数对参数θ的梯度gt；
步骤502：计算梯度的一阶矩nt＝β1×nt-1+(1-β1)×gt；
步骤503：计算梯度的二阶矩
步骤504：更新参数
其中，θ为生成对抗网络的网络参数，gt为t时刻损失函数对θ的梯度，β1为第一矩阵衰减系数，β2为第二矩阵衰减系数，nt为t时刻的梯度的一阶矩，nt-1为t-1时刻的梯度的一阶矩，mt为t时刻的梯度的二阶矩，mt-1为t-1时刻的梯度的二阶矩，α为学习率，ε为偏置，θt为t时刻的θ值，ε为偏置。
在步骤6中，当更新参数θt收敛时，则认为所述博弈结果趋近于纳什平衡。
故障检测方法的风机叶片故障检测器，包括特征提取器、干扰生成器以及故障检测辨别器，其特征在于，
所述特征提取器提取输入的图像中的风机特征并输入所述干扰生成器，其中，所述风机特征包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接/邻接关系、交叠/重叠关系以及包含/包容关系；
所述干扰生成器包括空间遮蔽网络SDN模块、空间变换网络STN模块以及变换模块以及掩膜分支模块；
所述空间遮蔽网络SDN模块接收所述风机特征与原始图像的掩膜数据，生成对应风机的遮挡掩膜；
所述空间变换网络STN分支模块接收所述风机特征与所述掩膜数据，生成对应风机图像的形变规则；
所述变换模块将同时接收原图像、遮挡掩膜和形变规则，生成带干扰的风机特征，其中所述形变规则包括平移、缩放、旋转；
所述掩膜分支模块接收所述风机特征，生成风机的掩膜位置信息，并生成带干扰的图像；
所述故障检测辨别器包括边界框回归分支模块以及分类模块；
所述分类分支模块接收携带干扰的风机特征，并对其类别进行区分，并对输入的图像进行真伪判断；
所述边界框回归分支模块接收带干扰的风机特征，并生成风机的位置信息，辅助所述分类分支模块对图像进行真伪判断。
所述特征提取器包括深层残差网络模块、候选区域提议网络模块以及兴趣区域对齐层；
所述深层残差网络模块提取输入风机图像中的图像特征并分别输入候选区域提议网络模块和兴趣区域对齐层；
所述候选区域提议网络模块接收图像特征，生成图像中风机的位置信息并将风机的位置信息输入兴趣区域对齐层；
所述兴趣区域对齐层接收风机位置信息与图像特征，将图像特征分别转化为大小固定的风机特征。
本发明具有以下技术效果：
(1)针对目前已标注的风机叶片图像数据较少，本发明利用生成对抗网络扩充风机叶片图像数据集，以提高风机叶片故障检测模型的性能。
(2)针对目前人工巡检效率太低，巡检成本过高，本发明利用风机叶片图像构建基于生成对抗网络的风机叶片故障检测模型，通过生成器和辨别器之间的对抗，提高风机叶片故障检测辨别器的辨别性能。
附图说明
图1为本发明公开的一种基于生成对抗网络的风机叶片故障检测方法流程示意图；
图2为本发明中生成对抗网络的对抗流程图；
图3为本发明的基于生成对抗网络的风机叶片故障检测的示意图。
具体实施方式
下面结合说明书附图以及具体实施例对本发明的技术方案做进一步详细介绍。
图1为本发明公开的一种基于生成对抗网络的风机叶片故障检测方法流程示意图，图2为本发明中生成对抗网络的对抗流程图；如图1、图2所示，本发明的基于生成对抗网络的风机叶片故障检测方法，具体包括了如下步骤：
步骤1：采集风机叶片图像并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障。
具体地，其中，采集到风机叶片的图像样本之后，将原图像输入示例分割算法，输出对应的示例分割掩膜数据，并对原图像人工标注风机是否故障；并将所有原图像和示例分割掩膜图像收缩或放大至相同的大小后作为风机叶片故障检测模型的输入数据。
在本发明的一个实施例中，将原图像输入示例分割算法Mask R-CNN网络，进行处理。具体包括以下步骤：
S101：将一幅原图片输入到示例分割算法Mask R-CNN网络，利用特征金字塔网络(FPN)经过一系列的卷积、池化操作提取出图像的特征图(featuremap)；
S202：候选区域提议网络(RPN)在特征图上选出候选目标，使用softmax分类器来判别候选目标属于背景还是前景，同时利用范围框回归器修正候选目标的位置，生成候选目标区域；
S203：利用全卷积网络(FCN)预测相应的目标分割掩膜并输出目标分割掩膜数据。
在本发明的另一个实施例中，还可以使用示例分割算法Faster R-CNN网络对原图像进行处理。但由于Mask R-CNN网络在图像特征提取方面效率更高，且在候选区域提取阶段后，独立添加了一个Mask分支，用于生成精准标记目标的掩膜，因此在本发明中，优选采用Mask R-CNN网络对原图进行处理。
步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型。其中，干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自干扰生成器的拟真样本，并对其真伪进行判别。
具体地，通过在已开源的目标检测数据集(比如MS COCO数据集)上对所述生成器模型和故障检测辨别器模型进行训练，并赋予初始参数，构建所述干扰生成器预训练模型和所述故障检测辨别器预训练模型。将赋予初始参数的生成器和故障检测辨别器模型在风机叶片数据集上训练，可加快模型训练速度。
干扰生成器生成拟真样本的具体步骤如下：
S201：接收步骤1中已标注的风机叶片图像的对应的掩膜数据，提取风机特征，风机特征包括颜色特征、纹理特征、形状特征和空间关系特征，其中，空间关系特征指图像中的多个物体之间的相互的空间位置或相对方向关系，具体包括连接/邻接关系、交叠/重叠关系以及包含/包容关系。
在本发明中，采用深度学习方法提取图像特征值，深度学习可以从训练数据中自动学习得到有效的特征的表示，更能够刻画数据的丰富内在信息。
S202：以示例分割算法为识别主体，通过其生成的掩膜数据和S201中提取的特征值构建空间遮蔽网络。
S203：将空间遮蔽网络作为掩膜生成器，示例分割算法作为掩膜辨别器，利用生成对抗网络进行对抗学习，生成对应的遮挡掩膜。
S204：根据空间变换规则构建空间变换网络，空间变换网络根据形变规则对风机特征进行形变。其中，形变规则包括平移、缩放以及旋转。
S205：基于图像特征值、所生成的遮挡掩膜和形变后的风机特征，在所述生成器中生成拟真样本。
步骤3：对故障检测辨别器预训练模型和干扰生成器预训练模型进行对抗训练，即，故障检测辨别器接收来自原图像的真实样本和拟真样本，并对其真伪性进行判断。
具体地，通过以下步骤进行判断：
步骤301：故障检测辨别器接收干扰生成器生成的拟真样本和步骤1中所采集风机叶片图像的真实样本；
步骤302：故障检测辨别器对拟真样本和真实样本的真伪性进行判断，故障检测辨别器的输出是一个概率值，如果概率值大于等于0.5，则辨别器输出为1，表示输入来自真实样本；如果概率值小于0.5，则辨别器输出为0，表示输入来自拟真样本。
步骤4：计算故障检测辨别器损失和干扰生成器损失。其中，在生成对抗网络训练过程中，干扰生成器和故障检测辨别器互相对抗，会出现故障检测辨别器判断正确和判断错误两种情况。当故障检测辨别器判断正确时，本次博弈中故障检测辨别器获得了胜利，干扰生成器对抗失败，给予生成器一定的惩罚，这个惩罚值就是干扰生成器损失。当故障检测辨别器判断错误时，本次博弈中干扰生成器获得胜利，故障检测辨别器对抗失败。给予故障检测辨别器一定的惩罚，这个惩罚值就是故障检测辨别器损失。
具体地，通过以下损失函数计算故障检测辨别器损失和干扰生成器损失：
LSDN&STN-GAN(GSDN&STN,DMask)＝Ex[ln(DMask(x))]+ESDN&STN[ln(1-DMask(GSDN&STN(x,m)))]
其中，E(*)表示分布函数的期望值。生成器GSDN&STN接收真实图像x和由Mask R-CNN算法生成的掩膜数据m，生成拟真样本GSDN&STN(x,m)。辨别器DMask的输入由两部分组成，分别是真实数据x和生成器生成的数据GSDN&STN(x,m)。
对于生成器G来说，通过随机噪声m作为输入，生成器G期望自己生成的样本尽可能地欺骗判别器D，所以需要最大化判别概率DMask(GSDN&STN(x,m))，于是对于生成器G，它的目标函数是最小化ln(1-DMask(GSDN&STN(x,m)))。
对于辨别器D，为了尽可能地区分真实样本和虚假的生成样本，它希望最小化判别概率DMask(GSDN&STN(x,m))的同时，最大化判别概率DMask(x)，其中x是真实样本。于是辨别器的目标函数是最大化ln(DMask(x))+ln(1-DMask(GSDN&STN(x,m)))。
步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6。
在本发明的一个实施例中，使用Adam算法作为图像重建模型的优化器，其中Adam优化器的初始参数：一阶矩阵衰减系数β1＝0.9、二阶矩衰减系数β2＝0.999、偏置ε＝10-8和学习率α＝0.001。且具体优化步骤如下：
步骤501：计算所述损失函数对参数θ的梯度gt；
步骤502：计算梯度的一阶矩nt＝β1×nt-1+(1-β1)×gt；
步骤503：计算梯度的二阶矩
步骤504：更新参数
步骤505：循环执行步骤501-504，直到参数θt收敛。
其中，θ为生成对抗网络的网络参数，gt为t时刻损失函数对θ的梯度，β1为第一矩阵衰减系数，β2为第二矩阵衰减系数，nt为t时刻的梯度的一阶矩，nt-1为t-1时刻的梯度的一阶矩，mt为t时刻的梯度的二阶矩，mt-1为t-1时刻的梯度的二阶矩，α为学习率，ε为偏置，θt为t时刻的θ值。
Adam算法通常对超参数的选择相当鲁棒，收敛速度以及运行速度较快。
在本发明的另一个实施例中，采用标准梯度下降法作为优化器对故障检测辨别器和干扰生成器进行优化：
具体地，假设要学习训练的模型参数为S，代价函数为J(S)，则代价函数关于模型参数的偏导数即相关梯度为ΔJ(S)，学习率为ηt，则使用梯度下降法更新参数为：
St+1＝St-ηtΔJ(S)
其中，St表示t时刻的模型参数，St+1表示t+1时刻的模型参数。
从表达式来看，模型参数的更新调整，与代价函数关于模型参数的梯度有关，即沿着梯度的方向不断减小模型参数，从而最小化代价函数。
在本发明中，优选使用Adam算法作为故障检测辨别器和干扰生成器的优化器。
步骤6：判断迭代次数达到设定的最大迭代次数上限，或者故障检测辨别器和干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回步骤3。具体地，在步骤5中当θ收敛时，认为博弈结果趋近于纳什平衡。
步骤7：在步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型。
步骤8：将待检测的风机叶片的图像输入步骤7中故障检测辨别器模型中，对风机叶片的故障状态进行检测。
获得步骤8中故障检测辨别器输出的风机叶片故障检测类别结果后，可以通过以下公式计算模型的检测准确率，对模型进行准确率评估，验证模型的可靠性：
准确率＝检测准确样本数/检测总数。
图3是本发明的基于生成对抗网络的风机叶片故障检测的示意图。如图3所示，本发明的用于基于生成对抗网络的风机叶片故障检测方法的基于生成对抗网络的风机叶片故障检测器，包括：特征提取器、生成器以及辨别器。
所述特征提取器提取输入的图像特征并输入生成器，其中，所述图像特征包括颜色特征、纹理特征、形状特征和空间关系特征。
具体地，特征提取器包括深层残差网络模块、候选区域提议网络(RPN)模块以及兴趣区域对齐层(ROI Align)。
深层残差网络模块提取输入图像的图像特征并分别入输入候选区域提议网络(RPN)模块和兴趣区域对齐层(ROI Align)。
候选区域提议网络(RPN)模块接收图像特征，生成图像中风机的位置信息并将风机的位置信息输入兴趣区域对齐层(ROI Align)。
兴趣区域对齐层(ROI Align)接收风机位置信息与图像特征，将图像特征分别转化为大小固定的风机图像特征。
干扰生成器包括空间遮蔽网络SDN模块、空间变换网络STN模块以及变换模块以及掩膜分支模块；
空间遮蔽网络SDN模块接收风机图像特征与其对应掩膜，生成对应风机的遮挡掩膜。
空间变换网络STN分支模块接收风机图像特征与其对应掩膜，生成对应风机图像的形变规则。
变换模块将同时接收原图像、遮挡掩膜和形变规则，生成带干扰的风机特征。
掩膜分支模块接收所述带干扰的风机特征生成风机的掩膜位置信息，并生成带干扰的图像。
故障检测辨别器包括边界框回归分支模块以及分类模块。
分类分支模块接收携带干扰的风机特征，并对其类别进行区分，并对输入的图像进行真伪判断。
边界框回归分支模块，所述边界框回归分支模块接收带干扰的风机特征，并生成风机的位置信息，以辅助所述分类分支模块对图像进行真伪判断。
申请人结合说明书附图对本发明的实施例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的风机叶片故障检测方法，所述风机叶片故障检测方法包括以下步骤：
步骤1：采集风机叶片图像，并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障；
步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型，其中干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自所述干扰生成器的拟真样本，并对其真伪进行判别，所述生成器生成拟真样本包括以下步骤：
S201：接收所述步骤1中已标注的风机叶片图像的对应的掩膜数据，提取风机特征，风机特征值包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接和邻接关系、交叠和重叠关系以及包含和包容关系；
S202：根据示例分割算法生成的掩膜数据和在所述S201中提取的特征值构建空间遮蔽网络；
S203：将空间遮蔽网络作为掩膜生成器，示例分割算法作为掩膜辨别器，利用生成对抗网络进行对抗学习，生成遮挡掩膜；
S204：根据空间变换规则构建空间变换网络，所述空间变换网络根据形变规则对所述风机特征进行形变，其中，所述形变规则包括平移、缩放以及旋转；
S205：基于图像特征值、所生成的遮挡掩膜和形变后的风机特征，在所述生成器中生成拟真样本；
步骤3：对所述故障检测辨别器预训练模型和所述干扰生成器预训练模型进行对抗训练，即，所述故障检测辨别器接收来自原图像的真实样本和所述拟真样本，并对其真伪性进行判断；
步骤4：计算故障检测辨别器损失和干扰生成器损失，其中，所述故障检测辨别器损失为所述故障检测辨别器判断错误时的损失，所述干扰生成器损失为所述故障检测辨别器判断正确时的损失；
步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6；
步骤6：判断迭代次数达到设定的最大迭代次数上限，或者所述故障检测辨别器和所述干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回所述步骤3；
步骤7：在所述步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型；
步骤8：将待检测的风机叶片的图像输入所述步骤7中所述故障检测辨别器模型中，对风机叶片的故障状态进行检测。
2.根据权利要求1所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤1中，采集到风机叶片的图像样本之后，将风机叶片的原图像输入示例分割算法，输出对应图像的示例分割掩膜数据。
3.根据权利要求1或2所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤2中，通过在已开源的目标检测数据集上对所述干扰生成器模型和故障检测辨别器模型进行训练，并赋予初始参数，构建所述干扰生成器预训练模型和所述故障检测辨别器预训练模型。
4.根据权利要求1所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
所述步骤3包括以下步骤：
步骤301：故障检测辨别器接收所述干扰生成器生成的拟真样本和步骤1中所采集风机叶片图像的真实样本；
步骤302：所述故障检测辨别器对拟真样本和真实样本的真伪性进行判断，当所述故障辨别器的输出为1时，判断结果为输入来自真实样本；所述故障辨别器输出为0时，判断结果为输入来自拟真样本。
5.根据权利要求1所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤4中，通过以下损失函数计算所述辨别器损失和所述生成器损失：
LSDN&STN-GAN(GSDN&STN,DMask)＝Ex[ln(DMask(x))]+ESDN&STN[ln(1-DMask(GSDN&STN(x,m)))]
其中，E(*)表示分布函数的期望值；GSDN&STN表示干扰生成器；x表示接收的真实图像；m表示由示例分割算法生成的掩膜数据，GSDN&STN(x,m)表示生成的拟真样本；辨别器DMask表示故障检测辨别器。
6.根据权利要求1或5所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤5中，根据所计算得到的所述辨别器损失、所述生成器损失，利用优化器对所述生成器和所述辨别器进行优化，其中所述优化器的初始参数为：一阶矩阵衰减系数β1＝0.9、二阶矩衰减系数β2＝0.999、偏置ε＝10-8和学习率α＝0.001；包括以下步骤：
步骤501：计算所述损失函数对参数θ的梯度gt；
步骤502：计算梯度的一阶矩nt＝β1×nt-1+(1-β1)×gt；
步骤503：计算梯度的二阶矩
步骤504：更新参数
其中，θ为生成对抗网络的网络参数，gt为t时刻损失函数对θ的梯度，β1为第一矩阵衰减系数，β2为第二矩阵衰减系数，nt为t时刻的梯度的一阶矩，nt-1为t-1时刻的梯度的一阶矩，mt为t时刻的梯度的二阶矩，mt-1为t-1时刻的梯度的二阶矩，α为学习率，ε为偏置，θt为t时刻的θ值，ε为偏置。
7.根据权利要求6所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在步骤6中，当更新参数θt收敛时，则认为所述博弈结果趋近于纳什平衡。
8.一种利用权利要求1-7任意一项权利要求所述的基于生成对抗网络的风机叶片故障检测方法的风机叶片故障检测器，包括特征提取器、干扰生成器以及故障检测辨别器，其特征在于，
所述特征提取器提取输入的图像中的风机特征并输入所述干扰生成器，其中，所述风机特征包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接/邻接关系、交叠/重叠关系以及包含/包容关系；
所述干扰生成器包括空间遮蔽网络SDN模块、空间变换网络STN模块以及变换模块以及掩膜分支模块；
所述空间遮蔽网络SDN模块接收所述风机特征与原始图像的掩膜数据，生成对应风机的遮挡掩膜；
所述空间变换网络STN分支模块接收所述风机特征与所述掩膜数据，生成对应风机图像的形变规则；
所述变换模块将同时接收原图像、遮挡掩膜和形变规则，生成带干扰的风机特征，其中所述形变规则包括平移、缩放、旋转；
所述掩膜分支模块接收所述风机特征，生成风机的掩膜位置信息，并生成带干扰的图像；
所述故障检测辨别器包括边界框回归分支模块以及分类模块；
所述分类模块接收携带干扰的风机特征，并对其类别进行区分，并对输入的图像进行真伪判断；
所述边界框回归分支模块接收带干扰的风机特征，并生成风机的位置信息，辅助所述分类分支模块对图像进行真伪判断。
9.根据权利要求8所述的基于生成对抗网络的风机叶片故障检测方法的风机叶片故障检测器，其特征在于：
所述特征提取器包括深层残差网络模块、候选区域提议网络模块以及兴趣区域对齐层；
所述深层残差网络模块提取输入风机图像中的图像特征并分别输入候选区域提议网络模块和兴趣区域对齐层；
所述候选区域提议网络模块接收图像特征，生成图像中风机的位置信息并将风机的位置信息输入兴趣区域对齐层；
所述兴趣区域对齐层接收风机位置信息与图像特征，将图像特征分别转化为大小固定的风机特征。
CN202010546316.6A 2020-06-15 2020-06-15 一种基于生成对抗网络的风机叶片故障检测方法 Active CN111860593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010546316.6A CN111860593B (zh) 2020-06-15 2020-06-15 一种基于生成对抗网络的风机叶片故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010546316.6A CN111860593B (zh) 2020-06-15 2020-06-15 一种基于生成对抗网络的风机叶片故障检测方法

Publications (2)

Publication Number Publication Date
CN111860593A CN111860593A (zh) 2020-10-30
CN111860593B true CN111860593B (zh) 2023-08-18

Family

ID=72987686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010546316.6A Active CN111860593B (zh) 2020-06-15 2020-06-15 一种基于生成对抗网络的风机叶片故障检测方法

Country Status (1)

Country Link
CN (1) CN111860593B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860593B (zh) * 2020-06-15 2023-08-18 国能信控互联技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
CN112541557B (zh) * 2020-12-25 2024-04-05 北京百度网讯科技有限公司 生成式对抗网络的训练方法、装置及电子设备
CN113658115B (zh) * 2021-07-30 2023-02-14 华南理工大学 一种基于深度卷积生成对抗网络的图像异常检测方法
KR102471441B1 (ko) * 2021-12-20 2022-11-28 주식회사 아이코어 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템
CN118014948A (zh) * 2024-01-31 2024-05-10 中国能源建设集团安徽省电力设计院有限公司 一种小样本无人机图像的风机叶片表面故障检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技（深圳）有限公司 一种人脸图像的处理方法、装置以及存储介质
CN109242835A (zh) * 2018-08-24 2019-01-18 深圳市兆泰云智能科技有限公司 基于人工智能的车底缺陷检测方法、装置、设备及系统
CN109753902A (zh) * 2018-12-21 2019-05-14 广西电网有限责任公司来宾供电局 基于hough变换图像处理的配电柜方形压板状态识别方法
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416294B (zh) * 2018-03-08 2022-04-01 上海天数智芯半导体有限公司 一种基于深度学习的风机叶片故障智能识别方法
CN109543740B (zh) * 2018-11-14 2022-07-15 哈尔滨工程大学 一种基于生成对抗网络的目标检测方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110866455B (zh) * 2019-10-25 2022-09-13 南京理工大学 一种路面水体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875594A (zh) * 2018-05-28 2018-11-23 腾讯科技（深圳）有限公司 一种人脸图像的处理方法、装置以及存储介质
CN109242835A (zh) * 2018-08-24 2019-01-18 深圳市兆泰云智能科技有限公司 基于人工智能的车底缺陷检测方法、装置、设备及系统
CN109753902A (zh) * 2018-12-21 2019-05-14 广西电网有限责任公司来宾供电局 基于hough变换图像处理的配电柜方形压板状态识别方法
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法

Also Published As

Publication number Publication date
CN111860593A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860593B (zh) 一种基于生成对抗网络的风机叶片故障检测方法
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN112233091B (zh) 一种风力机叶片图像损伤检测和定位方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN111798412A (zh) 一种基于红外图像的变电设备缺陷智能诊断方法及系统
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及系统
CN111179262B (zh) 一种结合形状属性的电力巡检图像金具检测方法
CN111539355A (zh) 一种基于深层神经网络的光伏板异物检测系统及检测方法
CN113505726A (zh) 一种地图中的光伏组串识别与定位方法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN104865269A (zh) 风力机叶片故障诊断方法
CN116229380A (zh) 一种变电站涉鸟故障相关鸟种识别方法
CN115861263A (zh) 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
Wang et al. Insulator defect recognition based on faster R-CNN
CN111862065A (zh) 基于多任务深度卷积神经网络的输电线路诊断方法和系统
CN113326667B (zh) 一种太阳能电池板故障诊断方法及系统
Özer et al. An approach based on deep learning methods to detect the condition of solar panels in solar power plants
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN117877189A (zh) 一种基于半监督学习的架空线路通道山火隐患识别方法
CN117972419A (zh) 一种Anomaly-Transformer光伏发电异常检测方法
CN117496223A (zh) 一种基于深度学习的轻量化绝缘子缺陷检测方法及装置
Chaoyue et al. Pin defect detection method of UAV patrol overhead line based on cascaded convolution network
Hu et al. A detecting algorithm for occlusion on the surface of photovoltaic modules based on improved YOLOv5
CN113205487B (zh) 一种基于残差网络融合异构数据的电缆状态检测方法
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 102209 Building 1, Yard 16, West Fourth Ring Middle Road, Changping District, Beijing

Applicant after: Guoneng xinkong Internet Technology Co.,Ltd.

Address before: Building 1, yard 16, West Fourth Ring Middle Road, Haidian District, Beijing 100039

Applicant before: BEIJING HUADIAN TIANREN ELECTRIC POWER CONTROL TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant