CN116049758A - 基于门控融合Transformer的风机叶片开裂故障检测方法 - Google Patents

基于门控融合Transformer的风机叶片开裂故障检测方法 Download PDF

Info

Publication number
CN116049758A
CN116049758A CN202211356267.5A CN202211356267A CN116049758A CN 116049758 A CN116049758 A CN 116049758A CN 202211356267 A CN202211356267 A CN 202211356267A CN 116049758 A CN116049758 A CN 116049758A
Authority
CN
China
Prior art keywords
feature
fan blade
fusion
data
fault detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211356267.5A
Other languages
English (en)
Inventor
汤文阳
张波
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202211356267.5A priority Critical patent/CN116049758A/zh
Publication of CN116049758A publication Critical patent/CN116049758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Positive-Displacement Air Blowers (AREA)

Abstract

本发明公开了一种基于门控融合Transformer的风机叶片开裂故障检测方法，该方法包括采用门控残差神经网络对风机叶片数据进行特征提取并强化关键特征的表达，接着通过融合模块进行风机数据在同一特征的不同通道以及不同特征的同一通道上的信息融合，并将融合后的特征向量输入至Transformer(一种深度学习模型)中进行特征学习，增强重要特征信息的影响力，提高模型的抗噪能力。本发明利用基于门控融合Transformer的深度模型可以挖掘风机叶片数据的深层信息，与传统的故障诊断方法相比，重点关注了数据中各特征之间的内在联系，提升了故障检测的精度。

Description

基于门控融合Transformer的风机叶片开裂故障检测方法
技术领域
本发明涉及机械设备故障诊断技术领域，具体来讲是一种基于门控融合Transformer的风机叶片开裂故障检测方法。
背景技术
随着工业和科技的发展，传统化石能源日益枯竭。风能凭借清洁环保、可持续而被广泛使用。得益于风能的优势，风力发电技术开始成为新的技术增长点并进入高速发展阶段。然而由于风力发电机工作环境的恶劣，大型风力发电机组的容量不断增大，风机结构日趋复杂，风力发电机极易出现故障，不利于风机的正常工作。
叶片是风力发电机的主要部件之一，叶片的安全有效的工作对整个风电机组的稳定运行有着重要的影响。然而恶劣的工作环境，不间断的工作以及叶片与其他机组不见的磨损会累计潜在的故障，容易导致风力发电机叶片开裂损伤。根据某公司统计，风机运行8年中，由于叶片开裂而导致的风电机组停机超过7天及以上的事故占风电机组发生事故的30%。叶片开裂危害风电机组轴系、塔筒等机组部件，如果不进行处理，将会致使事故的发生。而叶片开裂的维修所需的费用和时间成本都非常高昂。因此，检测叶片的状态，特别是在复杂的工况下叶片出现裂纹时快速而准确地判断出叶片损伤状态，对于确保风电机组的整机效率和安全可靠性，减少企业损失、提高企业经济效益都有着至关重要的作用。
尽管目前已出现一些基于数据分析的风机叶片故障检测方法，但目前常用的基于决策树模型的风机叶片故障检测方法不能有效地学习离散型特征变量，且容易忽略数据中各特征之间的相互关联，模型的准确性和泛化性能较差。
为解决以上问题，本发明提出了一种基于门控融合Transformer的风机叶片开裂故障检测方法，采用门控残差神经网络去除特征变量的冗余信息，强化关键特征的表达，利用特征融合模块对同一特征变量的不同通道及不同特征变量的同一通道进行深层信息融合，提高了模型的检测性能；最后，利用Transformer对风机叶片数据施加注意力机制，增强重要信息的影响力，增强模型的抗噪声能力, 从而提高模型的检测准确率。
发明内容
本发明的目的是提供一种基于门控融合Transformer的风机叶片开裂故障检测方法，改善目前风机叶片开裂故障检测方法中容易忽略数据中各特征之间的相互关联的问题，具有故障检测精度高的优点。
为解决上述目的，本发明提供如下方案：本发明提供一种基于门控融合Transformer的风机叶片开裂故障检测方法，包括以下步骤。
步骤1、对SCADA系统采集的风机叶片数据进行数据清洗。
步骤2、采用门控残差神经网络对数据进行特征提取。
步骤3、将步骤2处理后的特征向量通过融合模块实现特征列之间与特征通道间的信息融合。
步骤4、将步骤3获取的特征向量输入Transformer网络进行特征学习。
步骤5、对步骤4输出的特征进行分类，得到分类结果，实现风机叶片开裂故障检测。
所述步骤1中包括对风机叶片数据进行清洗，解决由于传感器错误，线路等问题导致的部分特征数据缺失或不合理等问题。
所述步骤2中采用门控神经网络对风机叶片进行特征提取，并强化了关键特征地表达。具体来说，首先将每个特征通过多层感知机映射为一维特征向量，其中一维向量的长度为C，并将风机叶片的每个特征通过特征映射得到的特征向量组合得到大小为S*C的二维向量，其中S为特征数量，最后将二维特征向量输入门控线性单元，并将原始的二维向量输入添加到门控线性单元的输出以执行跳跃（残差）连接。门控机制可以确保有效数据在网络的通过，降低噪声数据对实验结果的干扰。残差网络可以防止神经网络出现梯度消失或是梯度爆炸的问题，同时可以有效保护风机叶片数据的完整性。
所述步骤3采用融合模块对步骤2输出地向量进行特征融合。具体来说，首先将步骤2输出地向量进行层归一化，并输入多层感知机，以此构成Channel-mixing MLP对二维数据的列（叶片数据的通道信息）进行特征融合。接着，将Channel-mixing MLP的输出向量进行转置，并输出多层感知机，以此构成Column-mixing MLP对二维数据的行（风机数据的列）进行特征融合。最后，将输出的向量再次进行转置并添加步骤2的输出向量以执行跳跃连接，保护数据的完整性。Channel-mixing MLP和Channel-mixing MLP交替对风机叶片二维数据进行特征提取，从而进行不同维度信息融合。
所述步骤4通过Transformer进行特征学习，增强重要特征信息的影响力，增强模型地抗噪能力。具体来说，本发明的Transformer实质是Transformer网络的编码器，包括多头注意力层和前馈神经网络，两层网络后面都接上残差计算。通过注意力机制对模型的输入特征赋予不同的权重，聚焦于分类检测地关键性特征信息，突出更关键的影响因素，帮助模型做出更加准确的判断。
所述步骤5将步骤4的输出向量展平为一维特征向量，并采用Softmax函数对风机叶片特征进行分类。本发明模型学习所采用的损失函数为交叉熵损失函数，其计算方法如下：
式中，表示第n个风机叶片数据样本的标签，正类为0，负类为1；表示预测第n个样本为正类的概率。
本发明利用训练好的深度模型对风机叶片数据进行状态分类，并按F1-score、Accuracy、Recall以及Precision对网络模型进行评估。
本发明提供一种基于门控融合Transformer的风机叶片开裂故障检测方法，与现有方法相比，本发明采用门控残差神经网络对风机叶片特征进行信息过滤，并强化了关键特征的表达，使用Transformer对风机数据施加注意力机制, 增强重要信息的影响力, 增强模型的抗噪声能力, 从而提高模型的检测准确率。此外，本发明提出了融合模块，融合模块包括Channel-mixing MLP和Column-mixing MLP。通过以此使用Channel-mixing MLP和Column-mixing MLP对风机叶片二维向量的列(作用于数据通道)、行(作用于数据特征列)进行映射，实现空间域和通道域的信息融合。由于模块中的MLP在二维向量的不同列、行的映射过程中共享权重，极大减少了参数的个数，降低了网络的复杂性。实验结果表明，本发明提供一种基于门控融合Transformer的风机叶片开裂故障检测方法与现有的方法相比,具有更好的检测效果, 可以更好的满足实际风机维护需求。同时, 本发明也为表格数据处理提供了一种新的解决思路。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的风机叶片开裂故障检测的流程示意图。
图2为本发明实施例提供的风机叶片开裂故障检测的门控残差神经网络结构图。
图3为本发明实施例提供的风机叶片开裂故障检测的融合模块结构图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供一种基于门控融合Transformer的风机叶片开裂故障检测方法，包括以下步骤，如图1所示。
S1, 对SCADA系统采集的风叶片数据进行预处理并划分数据集。本实施例使用风电场采集的真实的数据集，数据集包括叶片正常和叶片开裂两种标签的数据，每条风机叶片数据有75个特征变量。对数据集进行数据清洗并对预处理后的数据进行数据集划分，需要将数据划分为 K个不重叠的子集。
S2, 采用门控残差神经网络对步骤S1处理后的数据进行特征提取。门控残差神经网络如图2所示。首先将每个特征通过多层感知机映射为一维特征向量，其中一维向量的长度为C，并将风机叶片的每个特征通过特征映射得到的特征向量组合得到大小为S*C的二维向量，其中S为特征数量，最后将二维特征向量输入门控线性单元，并将原始的二维向量输入添加到门控线性单元的输出以执行跳跃（残差）连接。门控机制可以确保有效数据在网络的通过，降低噪声数据对实验结果的干扰。残差网络可以防止神经网络出现梯度消失或是梯度爆炸的问题，同时可以有效保护风机叶片数据的完整性。同时，在网络中添加Dropout层和Swish激活函数，增强模型的性能。采用门控神经网络对风机叶片进行特征提取，并强化了关键特征地表达。
S3,将步骤S2处理后的特征向量通过融合模块实现特征列之间与特征通道间的信息融合。融合模型如图3所示。具体来讲，首先将S2输出地向量进行层归一化，并输入多层感知机，以此构成Channel-mixing MLP对二维数据的列（叶片数据的通道信息）进行特征融合。接着，将Channel-mixing MLP的输出向量进行转置，并输出多层感知机，以此构成Column-mixing MLP对二维数据的行（风机数据的列）进行特征融合。最后，将输出的向量再次进行转置并添加步骤2的输出向量以执行跳跃连接，保护数据的完整性。Channel-mixingMLP和Channel-mixing MLP交替对风机叶片二维数据进行特征提取，从而进行不同维度信息融合。由于模块中的MLP在二维向量的不同列、行的映射过程中共享权重，极大减少了参数的个数，降低了网络的复杂性。
S4,将步骤S3获取的特征向量输入Transformer网络进行特征学习。Transformer包括多头注意力层和前馈神经网络，两层网络后面都接上残差计算。通过注意力机制对模型的输入特征赋予不同的权重，聚焦于分类检测地关键性特征信息，突出更关键的影响因素，帮助模型做出更加准确的判断。最后，通过Flatten层将二维向量变为一维向量。
S5,将步骤S4输出的一维特征向量进行展平和分类，输入Softmax层进行特征分类，从而获得特征结果。
在对模型进行实验时，从预先划分的4个不重叠的子集中，每次选用其中的3个子集进行训练，另一个子集做测试，并将10%的训练集数据划分为验证集，重复4次。设置参数对模型进行训练，模型的训练迭代次数设置为100个epoch，初始学习率设置为0.01，batchsize设置为64，选用Adam作为优化器。损失函数采用交叉熵损失函数，其计算方法如下：
式中，表示第n个风机叶片数据样本的标签，正类为0，负类为1；表示预测第n个样本为正类的概率。
最终模型个评价指标结果为4次实验结果的均值。利用F1-score、Accuracy、Precision以及Recall对网络模型性能进行评估。
为了进一步验证本发明所提出的网络模型的故障检测性能，我们选用XGBoost、TabNet等经典的数据挖掘模型与之进行故障检测性能的对比，下表展示了对比实验的结果。相较于其他经典的数据挖掘模型，本发明所用的网络由于Transformer和门控特征融合网络的加入，其在风机叶片开裂故障上的检测效果要优于其他故障检测模型。
表1 对比实验结果。
模型 F1-score Accuracy Recall Precision
XGBoost 0.9835 ± 0.0019 0.9838±0.0017 0.9779±0.0035 0.9891±0.0014
LightGBM 0.9869 ± 0.0006 0.9869±0.0005 0.9815±0.0008 0.9925±0.0011
LSTM 0.9698 ± 0.0052 0.9695±0.0044 0.9601±0.0098 0.9797±0.0046
TabNet 0.9740 ± 0.0047 0.9738±0.0063 0.9653±0.0052 0.9828±0.0035
VSN 0.9827 ± 0.0029 0.9826±0.0035 0.9757±0.0022 0.9898±0.0036
TabTransformer 0.9788 ± 0.0025 0.9787±0.0023 0.9711±0.0039 0.9867±0.0022
SAINT 0.9853 ± 0.0035 0.9894±0.0034 0.9844±0.0043 0.9862±0.0037
Our model 0.9907 ± 0.0043 0.9907±0.0024 0.9853±0.0045 0.9961±0.0011
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。

Claims (5)

1.一种基于门控融合Transformer的风机叶片开裂故障检测方法，其特征在于，包括如下步骤：
S1,构建门控残差神经网络对风机叶片数据进行特征提取；
S2,构建融合模块实现特征列之间与特征通道间的信息融合；
S3,构建Transformer网络对信息融合后的特征向量进行学习；
S4,结合S1、S2和S3的网络模型构建基于门控融合Transformer的深度模型对风机叶片开裂故障进行检测。
2.如权利要求1所述的一种基于门控融合Transformer的风机叶片开裂故障检测方法，其特征在于，所述S1的具体过程为：每个特征通过多层感知机映射为一维特征向量，其中一维向量的长度为C，并将风机叶片的每个特征通过特征映射得到的特征向量组合得到大小为S*C的二维向量，其中S为特征数量，最后将二维特征向量输入门控线性单元，并将原始的二维向量输入添加到门控线性单元的输出以执行跳跃（残差）连接。
3.如权利要求1所述的一种基于门控融合Transformer的风机叶片开裂故障检测方法，其特征在于，所述S2中融合模块先后使用Channel-mixing MLP和Column-mixing MLP先后对二维向量的列(作用于数据通道)、行(作用于数据特征列)进行映射，实现空间域和通道域的信息融合。
4.如权利要求3所述的方法，其特征在于，所述融合模块的具体过程为：
S401、将步骤S1的输出特征进行层归一化，并输入多层感知机，用于实现不同特征通道之间的信息融合；
S402、将步骤S401的输出特征进行维度转置，并输入多层感知机，用于实现同一特征的不同通道之间的信息融合；
S403、将步骤S402的输出特征进行维度转置，并将步骤S1的输出向量添加到转置后的维度以执行跳跃连接，最终实现风机叶片特征数据不同维度的信息融合。
5.如权利要求3-4任意一项所示的方法，其特征还包括：
Channel-mixing MLP和Column-mixing MLP在二维向量的不同列、行的映射过程中共享权重。
CN202211356267.5A 2022-11-01 2022-11-01 基于门控融合Transformer的风机叶片开裂故障检测方法 Pending CN116049758A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211356267.5A CN116049758A (zh) 2022-11-01 2022-11-01 基于门控融合Transformer的风机叶片开裂故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211356267.5A CN116049758A (zh) 2022-11-01 2022-11-01 基于门控融合Transformer的风机叶片开裂故障检测方法

Publications (1)

Publication Number Publication Date
CN116049758A true CN116049758A (zh) 2023-05-02

Family

ID=86124309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211356267.5A Pending CN116049758A (zh) 2022-11-01 2022-11-01 基于门控融合Transformer的风机叶片开裂故障检测方法

Country Status (1)

Country Link
CN (1) CN116049758A (zh)

Similar Documents

Publication Publication Date Title
CN105550700B (zh) 一种基于关联分析和主成分分析的时间序列数据清洗方法
CN104142254B (zh) 一种汽轮机通流部分故障诊断方法
CN111426950B (zh) 多尺度时空卷积深度信念网络的风力发电机故障诊断方法
CN110555478B (zh) 基于难样本挖掘的深度度量网络的风机多故障诊断方法
CN108363382A (zh) 一种复杂装备故障诊断方法及系统
CN105426839A (zh) 基于稀疏自动编码器的电力系统过电压分类方法
CN110726898B (zh) 一种配电网故障类型识别方法
Mian et al. A literature review of fault diagnosis based on ensemble learning
CN114998294A (zh) 一种基于知识蒸馏的高铁绝缘子缺陷检测方法
Li et al. Intelligent fault diagnosis of aeroengine sensors using improved pattern gradient spectrum entropy
CN116187508A (zh) 一种融合知识图谱和深度学习的风电机组故障预测方法
Zhang et al. Internal combustion engine fault identification based on FBG vibration sensor and support vector machines algorithm
Pa et al. A Fault Detection Scheme Utilizing Convolutional Neural Network for PV Solar Panels with High Accuracy
Chen Review on supervised and unsupervised learning techniques for electrical power systems: Algorithms and applications
Yu et al. Early fault diagnosis model design of reciprocating compressor valve based on multiclass support vector machine and decision tree
CN111062569A (zh) 一种基于bp神经网络的小电流故障判别方法
Liu et al. Collaborate Global and Local: An Efficient PV Compound Fault Diagnosis Scheme With Multi-Label Learning and Model Fusion
CN113610119A (zh) 基于卷积神经网络识别输电线路发展性故障的方法
CN111122160B (zh) 一种基于堆栈降噪自编码器的异常信号检测方法
Feng et al. Research on intelligent diagnosis method for large-scale ship engine fault in non-deterministic environment
CN112163474A (zh) 一种基于模型融合的齿轮箱智能诊断方法
CN116049758A (zh) 基于门控融合Transformer的风机叶片开裂故障检测方法
Wang et al. A new class of fault recognition method for wind turbine systems based on deep learning
CN115684786A (zh) 基于格拉姆角场和并行cnn的逆变器开关管健康诊断方法、装置及系统
Ferreira et al. Intelligent Industrial IoT system for detection of short-circuit failure in windings of wind turbines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination