CN115659283A - 基于多任务学习的注意力机制的风电设备损伤预测方法 - Google Patents

基于多任务学习的注意力机制的风电设备损伤预测方法 Download PDF

Info

Publication number
CN115659283A
CN115659283A CN202211587330.6A CN202211587330A CN115659283A CN 115659283 A CN115659283 A CN 115659283A CN 202211587330 A CN202211587330 A CN 202211587330A CN 115659283 A CN115659283 A CN 115659283A
Authority
CN
China
Prior art keywords
attention
wind power
data
power equipment
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211587330.6A
Other languages
English (en)
Inventor
姚国强
石开缔
赖剑晶
张辉
袁仕能
张光明
方明
魏翔
李进
何清跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Jinyuan New Energy Co ltd
Original Assignee
Shaanxi Jinyuan New Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Jinyuan New Energy Co ltd filed Critical Shaanxi Jinyuan New Energy Co ltd
Priority to CN202211587330.6A priority Critical patent/CN115659283A/zh
Publication of CN115659283A publication Critical patent/CN115659283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于多任务学习的注意力机制的风电设备损伤预测方法，包括以下步骤：采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值；通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。本发明通过结合多任务学习可以有效提高模型的特征学习效果。

Description

基于多任务学习的注意力机制的风电设备损伤预测方法
技术领域
本发明涉及损伤预测技术领域，具体涉及一种基于多任务学习的注意力机制的风电设备损伤预测方法。
背景技术
风能是新能源发展的主要能源选择，风电设备对于捕获风能用于发电必不可少。但在风电设备工作过程中，其主要的部件包括齿轮、轴承、主轴等零件常常工作在高负载、变转速等工况下。如果缺乏必要的维护，这些零部件很容易出现损伤，并给风电企业造成不必要的经济损失甚至伤亡事故。在实际的运行情况下，通过对风电设备进行进行损伤预测可以有效评估设备的损伤状态，及时做出预警，避免悲剧发生。
对于风电设备的损伤预警主要可以分为三个阶段，即数据获取-退化评估-损伤预测。其中退化评估能够建立设备的健康因子，并且能够从收集的数据中提取设备的运行特征信息，从而可以有效的识别和量化设备的损伤状态。目前，主流的设备损伤评估的构建方法主要分为基于物理模型与基于数据驱动的方法。对于基于物理模型的方法，主要根据设备的内在物理机制、机械损伤以及专家经验建立设备的机械物理模型。然而由于整个系统和运行工况的复杂性，确定设备的整个退化过程十分困难。对于基于数据驱动的方法使用监测数据构建设备的损伤退化模型，该过程不需要过多的系统先验知识，因此被广泛地应用于设备损伤预测中。但是在实际应用过程中仍然存在很多缺陷，例如构建量化损伤状态的设备健康因子需要严重依赖特征选择。而选择特征的过程需要依靠人工来完成，该过程不仅要耗费大量时间，对专家知识也有较高要求。同时，基于人工选取特征的方法泛化性能差，难以有效应用到不同的设备损伤评估中。
发明内容
为解决上述问题，本发明提出了一种基于多任务学习的注意力机制模型，通过结合学习的多任务可以有效提高模型的特征学习效果。
为实现上述目的，本发明提供了如下的技术方案。
一种基于多任务学习的注意力机制的风电设备损伤预测方法，包括以下步骤：
采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号；
构建多组卷积网络模型；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征；
构建多个相同的注意力机制；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值；
通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。
优选地，还包括：
通过传感器采集待预测的风电设备在运状态的信号，并对风电设备在运状态的信号进行格式转换；
通过傅里叶变换生成时域振动加速度数据对应的频域数据。
优选地，还包括：
预测前对所有风电设备在运状态的信号进行统一的z-score归一化处理，使所有数据均位于[0,1]的区间范围内；
其中，所述z-score归一化的具体公式为：
Figure 938108DEST_PATH_IMAGE001
式中，
Figure 85056DEST_PATH_IMAGE002
为第
Figure 378634DEST_PATH_IMAGE003
个原始数据样本，μ、σ分别为采样数据的均值和方差；
Figure 91375DEST_PATH_IMAGE004
为对应于原始数据样本的归一化结果。
优选地，所述卷积网络模型包括交替连接的卷积层、激活层和池化层，以及一个全连接层；所述通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，包括以下步骤：
将信号数据输入卷积层，进行卷积运算：
Figure 343365DEST_PATH_IMAGE005
式中，
Figure 774346DEST_PATH_IMAGE006
分别表示卷积层的权重矩阵和偏执向量，
Figure 74877DEST_PATH_IMAGE007
指代第
Figure 907704DEST_PATH_IMAGE007
个卷积核，
Figure 65016DEST_PATH_IMAGE008
号为卷积运算符号，因此
Figure 186556DEST_PATH_IMAGE009
为第
Figure 821936DEST_PATH_IMAGE003
个输入数据
Figure 774849DEST_PATH_IMAGE002
经过第
Figure 306324DEST_PATH_IMAGE007
个卷积核后的输出结果；
经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层；
其中，激活层运算过程为：
Figure 446319DEST_PATH_IMAGE010
式中，
Figure 416549DEST_PATH_IMAGE011
为激活函数，
Figure 161651DEST_PATH_IMAGE012
为激活运算的输出数据；
其中，使用修正线性单元函数作为激活函数，公式表示如下：
Figure 100002_DEST_PATH_IMAGE013
其偏导数为：
Figure 460433DEST_PATH_IMAGE014
其中，当函数
Figure 290985DEST_PATH_IMAGE015
的输入值小于0时，输出值恒等于0；当输入大于或等于0时，
Figure 268169DEST_PATH_IMAGE016
的输出等于输入值，而
Figure 195673DEST_PATH_IMAGE017
的输出值恒等于1；
在最后一个池化层输出后，提取的特征传入全连接层进行线性变换，由此获得卷积网络的最终输出特征；
其中，池化层的运算过程为：
Figure 68951DEST_PATH_IMAGE018
式中，函数
Figure 449117DEST_PATH_IMAGE019
表示池化运算，
Figure 229991DEST_PATH_IMAGE020
为池化层输出结果；
其中，全连接层的运算过程为：
Figure 949686DEST_PATH_IMAGE021
式中，
Figure 790603DEST_PATH_IMAGE022
为全连接层的输入数据，
Figure 658065DEST_PATH_IMAGE023
为输入数据的第
Figure 445892DEST_PATH_IMAGE003
个值与全连接层的第
Figure 82410DEST_PATH_IMAGE024
个神经元之间的权重值，
Figure 297490DEST_PATH_IMAGE025
为全连接层第
Figure 386669DEST_PATH_IMAGE024
个神经元的偏置值，
Figure 978188DEST_PATH_IMAGE026
为全连接层的第
Figure 203633DEST_PATH_IMAGE024
个神经元的输出值。
优选地，通过所述注意力机制获取行为特征，包括下步骤：
在注意力机制中，通过使用键值对来表示输入信息，对于维度为N的样本的输入信息表示为：
Figure 651931DEST_PATH_IMAGE027
式中，K，
Figure 431669DEST_PATH_IMAGE028
表示键，用来计算注意分布，V，
Figure 623616DEST_PATH_IMAGE029
表示值，用来计算聚合信息；
把输入信息看作是一个信息存储器，对于给定的查询向量Q，用来查找并选择输入信息中的某些信息，需要根据存储信息的K，V值来确定，计算过程包括以下步骤：
根据Q，K计算二者的相似度，使用缩放点积来获得注意力得分
Figure 906829DEST_PATH_IMAGE030
：
Figure 791609DEST_PATH_IMAGE031
式中，N示输入信息的维度；
Figure 793063DEST_PATH_IMAGE032
为各样本的查询向量；
使用soft-max函数对注意力得分进行数值转换，生成概率之和为1的注意力系数；同时又能够利用soft-max函数的特性突出重要特征的注意力系数权重：
Figure 523121DEST_PATH_IMAGE033
式中，
Figure 926421DEST_PATH_IMAGE034
为对应于第
Figure 982102DEST_PATH_IMAGE003
个元素的注意力系数；
根据生成的注意力系数对v值进行加权求和：
Figure 205272DEST_PATH_IMAGE035
。
优选地，所述卷积网络模型和注意力机制分别为两组，两组所述卷积网络模型的输入分别为时域信号和频域信号，用于学习不同的任务。
优选地，还包括：
构建风电设备信号的训练集；
分别将训练集的时域数据和频域数据输入到两组卷积模型中学习不同的抽象特征，通过两组注意力机制模块获得不同的学习任务；
根据输出的预测值与目标值的误差计算对应的损失值，并使用Adam优化器来更新网络参数，当训练过程满足迭代条件时终止训练，获得训练好的网络模型。
本发明的有益效果：
本发明提出一种基于多任务学习的注意力机制的风电设备损伤预测方法，引入了深度学习的方法，通过自主学习原始数据的抽象特征，可以有效避免因人工选取特征所带来的缺点。同时为了提高模型的学习效率，确保模型能快速学习到表征设备损伤状态的敏感特征，本发明提出了多任务学习的注意力机制结构，该结构能够聚焦反映设备状态的有效特征信息，并忽视无用信息。因此，在所提方法学习特征信息的过程中，能快速定位有价值信息，并快速学习，极大提高了模型的学习效率和效果。
附图说明
图1是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的流程图；
图2是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的为基于多任务学习的注意力机制网络结构；
图3是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的数据样本生成示意图；
图4是本发明实施例的一种基于多任务学习的注意力机制的风电设备损伤预测方法的测试数据预测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明的一种基于多任务学习的注意力机制的风电设备损伤预测方法，如图1-4所示：
S1：采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号。对所有风电设备在运状态的信号进行统一的z-score归一化处理，使所有数据均位于[0,1]的区间范围内：
Figure 25109DEST_PATH_IMAGE001
式中，
Figure 282915DEST_PATH_IMAGE002
为第
Figure 978339DEST_PATH_IMAGE003
个原始数据样本，μ、σ分别为采样数据的均值和方差；
Figure 16702DEST_PATH_IMAGE004
为对应于原始数据样本的归一化结果。
S2：构建多组卷积网络模型；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征。
S3：构建多个相同的注意力机制；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值。
S4：通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。
其中，模型训练包括以下步骤：
构建风电设备信号的训练集；
分别将训练集的时域数据和频域数据输入到两组卷积模型中学习不同的抽象特征，通过两组注意力机制模块获得不同的学习任务；
根据输出的预测值与目标值的误差计算对应的损失值，并使用Adam优化器来更新网络参数，当训练过程满足迭代条件时终止训练，获得训练好的网络模型。
具体的，基于多任务学习的注意力机制网络模型构建包括以下内容：
（1）构建卷积神经网络模型。标准的卷积神经网络结构包括卷积层、激活层、池化层和全连接层。本发明中使用的卷积网络包含两组交替连接的卷积层、激活层和池化层和一个全连接层组成。根据卷积网络数据流向，网络的输入数据首先从第一个卷积层输入，经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层。如此往复，输入数据经过卷积网络的特征转换后生成的抽象特征能够表征设备当前的损伤情况。在最后一个池化层的输出后，提取的特征紧接着传入全连接层进行线性变换，由此获得卷积网络的最终输出特征。
将信号数据输入卷积层，进行卷积运算：
Figure 291825DEST_PATH_IMAGE036
式中，
Figure 466455DEST_PATH_IMAGE006
分别表示卷积层的权重矩阵和偏执向量，
Figure 801621DEST_PATH_IMAGE007
指代第
Figure 61701DEST_PATH_IMAGE007
个卷积核，
Figure 140516DEST_PATH_IMAGE008
号为卷积运算符号，因此
Figure 435231DEST_PATH_IMAGE009
为第
Figure 675719DEST_PATH_IMAGE003
个输入数据
Figure 688675DEST_PATH_IMAGE002
经过第
Figure 305601DEST_PATH_IMAGE007
个卷积核后的输出结果；
经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层；
其中，激活层运算过程为：
Figure 454822DEST_PATH_IMAGE010
式中，
Figure 662950DEST_PATH_IMAGE011
为激活函数，
Figure 835305DEST_PATH_IMAGE012
为激活运算的输出数据；
其中，使用修正线性单元函数作为激活函数，公式表示如下：
Figure 318239DEST_PATH_IMAGE037
其偏导数为：
Figure 259650DEST_PATH_IMAGE014
其中，当函数
Figure 169837DEST_PATH_IMAGE015
的输入值小于0时，输出值恒等于0；当输入大于或等于0时，
Figure 829489DEST_PATH_IMAGE016
的输出等于输入值，而
Figure 850534DEST_PATH_IMAGE017
的输出值恒等于1；
在最后一个池化层输出后，提取的特征传入全连接层进行线性变换，由此获得卷积网络的最终输出特征；
其中，池化层的运算过程为：
Figure 912031DEST_PATH_IMAGE038
式中，函数
Figure 993120DEST_PATH_IMAGE019
表示池化运算，
Figure 874488DEST_PATH_IMAGE020
为池化层输出结果；
其中，全连接层的运算过程为：
Figure 699225DEST_PATH_IMAGE039
式中，
Figure 615228DEST_PATH_IMAGE022
为全连接层的输入数据，
Figure 867218DEST_PATH_IMAGE023
为输入数据的第
Figure 501462DEST_PATH_IMAGE003
个值与全连接层的第
Figure 864310DEST_PATH_IMAGE024
个神经元之间的权重值，
Figure 634820DEST_PATH_IMAGE025
为全连接层第
Figure 795061DEST_PATH_IMAGE024
个神经元的偏置值，
Figure 713339DEST_PATH_IMAGE026
为全连接层的第
Figure 614299DEST_PATH_IMAGE024
个神经元的输出值。
（2）建立基于多任务学习的注意力机制。上述建立卷积网络模型用于对输入数据进行特征提取，为了提高网络模型对于特征学习的效果，将学习的重心聚焦于能够有效反映设备状态的部分，并尽可能忽视数据中的无效信息，本发明建立了基于多任务学习的注意力机制。该多任务学习的注意力机制通过使用多个相同的注意力机制学习到不同的行为，然后将不同的行为作为知识结合起来，并通过一个新的全连接线性投影进行线性变换，最终获得新的输出。该过程使用了多个相同的注意力机制来学习不同的任务，因此对于每个注意力机制，其原理可以表述如下：
在注意力机制中，通过使用键值对来表示输入信息，对于维度为N的样本的输入信息表示为：
Figure 504894DEST_PATH_IMAGE040
式中，K，
Figure 98687DEST_PATH_IMAGE028
表示键，用来计算注意分布，V，
Figure 441943DEST_PATH_IMAGE029
表示值，用来计算聚合信息；
把输入信息看作是一个信息存储器，对于给定的查询向量Q，用来查找并选择输入信息中的某些信息，需要根据存储信息的K，V值来确定，计算过程包括以下步骤：
根据Q，K计算二者的相似度，使用缩放点积来获得注意力得分
Figure 881015DEST_PATH_IMAGE030
：
Figure 688434DEST_PATH_IMAGE041
式中，N示输入信息的维度；
Figure 390811DEST_PATH_IMAGE032
为各样本的查询向量；
使用soft-max函数对注意力得分进行数值转换，生成概率之和为1的注意力系数；同时又能够利用soft-max函数的特性突出重要特征的注意力系数权重：
Figure 18101DEST_PATH_IMAGE033
式中，
Figure 526443DEST_PATH_IMAGE034
为对应于第
Figure 391631DEST_PATH_IMAGE003
个元素的注意力系数；
根据生成的注意力系数对v值进行加权求和：
Figure 327226DEST_PATH_IMAGE035
。
（3）结合卷积模型与多任务注意力机制。该过程针对多任务注意力机制，学习不同的行为特征，因此需要生成多组卷积网络模型，每组卷积网络用于学习不同的抽象特征。然后各组卷积网络输出特征进行特征拼接、融合。根据建立的多组注意力机制完成多任务学习，对学习的不同行为特征进行再次拼接融合。最后通过全连接层对融合后的注意力值进行线性变换，输出最后的预测结果。在本发明中，分别建立了两组卷积网络模型和两组注意力机制用于学习不同的任务。
本实施例中，针对本发明提出的基于多任务学习的注意力机制预测模型，搭建风电齿轮箱设备系统实验台。
通过该实验台采集齿轮运行过程中的退化数据，共采集10组齿轮运行的退化数据。图3为数据样本生成示意图。在每组数据中，每次采样数据包含2560个采样点，将数据转换为数组类型，并保存为.csv格式的文件，按照每次采样的顺序对保存的数据进行命名，如1.csv, 2.csv, 3.csv。将采集的多组齿轮箱加速退化数据按照7：3的划分比切分为训练集和测试集。对于每组采集的齿轮箱退化数据，均生成数据集
Figure 379495DEST_PATH_IMAGE042
，其中
Figure 691528DEST_PATH_IMAGE043
表示第
Figure 411222DEST_PATH_IMAGE024
组采集的齿轮箱加速退化数据集，
Figure 517718DEST_PATH_IMAGE044
为第
Figure 57284DEST_PATH_IMAGE045
个间隔采样的数据，
Figure 641849DEST_PATH_IMAGE046
每次采样数据的尺寸格式，因此在本发明使用的实验数据中
Figure 278367DEST_PATH_IMAGE047
。
Figure 493448DEST_PATH_IMAGE048
为对应于第
Figure 848206DEST_PATH_IMAGE003
个间隔采样数据的损伤因子。在对采集的原始数据输入到网络模型之前，对数据进行z-score归一化处理，从而使所有数据均位于[0,1]的区间范围内。将处理后的数据输入到多任务学习的注意力机制网络中，模型结构如图2所示，通过自主迭代训练实现对风电齿轮设备的损伤预测。本发明中所使用的模型包含两个卷积网络和两个注意力机制。
图4为两组实验测试齿轮的损伤预测结果，图4中的（A）为测试齿轮1测试结果，图4中的（B）为测试齿轮2的测试结果。在本发明应用的齿轮中，考虑在初期齿轮处于磨合阶段，因此假定齿轮没有损伤，根据采样时长，定义当前时刻到采样终止时刻的时间差作为齿轮的损伤状态。因此在图4中，预测的两组测试齿轮的损伤情况逐渐下降，根据预测曲线于实际理论曲线的吻合程度，可以有效验证本发明所提方法的有效性。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，包括以下步骤：
采集待预测的风电设备在运状态的信号，分别获得时域信号和频域信号；
构建多组卷积网络模型；分别输入时域信号和频域信号，通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，并将多组抽象特征进行拼接融合，获得融合特征；
构建多个相同的注意力机制；分别输入融合特征，通过多个注意力机制进行多任务学习，获得多个不同的行为特征，并将多个不同的行为特征拼接融合获得融合后的注意力值；
通过全连接层对融合后的注意力值进行线性变换，获得风电设备的预测结果，并根据预测结果评估设备的损伤状态。
2.根据权利要求1所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，还包括：
通过传感器采集待预测的风电设备在运状态的信号，并对风电设备在运状态的信号进行格式转换；
通过傅里叶变换生成时域振动加速度数据对应的频域数据。
3.根据权利要求1所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，还包括：
预测前对所有风电设备在运状态的信号进行统一的z-score归一化处理，使所有数据均位于[0,1]的区间范围内；
其中，所述z-score归一化的具体公式为：
Figure 912879DEST_PATH_IMAGE001
式中，
Figure 694891DEST_PATH_IMAGE002
为第
Figure 739070DEST_PATH_IMAGE003
个原始数据样本，μ、σ分别为采样数据的均值和方差；
Figure 340953DEST_PATH_IMAGE004
为对应于原始数据样本的归一化结果。
4.根据权利要求1所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，所述卷积网络模型包括交替连接的卷积层、激活层和池化层，以及一个全连接层；所述通过多组卷积网络模型输出多组不同的能够表征设备当前损伤情况的抽象特征，包括以下步骤：
将信号数据输入卷积层，进行卷积运算：
Figure 191097DEST_PATH_IMAGE005
式中，
Figure 765298DEST_PATH_IMAGE006
分别表示卷积层的权重矩阵和偏执向量，
Figure 777116DEST_PATH_IMAGE007
指代第
Figure 866295DEST_PATH_IMAGE007
个卷积核，
Figure 457813DEST_PATH_IMAGE008
号为卷积运算符号，因此
Figure 683258DEST_PATH_IMAGE009
为第
Figure 131557DEST_PATH_IMAGE003
个输入数据
Figure 911294DEST_PATH_IMAGE002
经过第
Figure 840592DEST_PATH_IMAGE007
个卷积核后的输出结果；
经过卷积运算后产生的输出数据输入到激活层，激活函数对数据进行激活运算后输出到池化层；
其中，激活层运算过程为：
Figure 186122DEST_PATH_IMAGE010
式中，
Figure 8585DEST_PATH_IMAGE011
为激活函数，
Figure 806777DEST_PATH_IMAGE012
为激活运算的输出数据；
其中，使用修正线性单元函数作为激活函数，公式表示如下：
Figure DEST_PATH_IMAGE013
其偏导数为：
Figure 333573DEST_PATH_IMAGE014
其中，当函数
Figure 471293DEST_PATH_IMAGE015
的输入值小于0时，输出值恒等于0；当输入大于或等于0时，
Figure 526974DEST_PATH_IMAGE016
的输出等于输入值，而
Figure 812462DEST_PATH_IMAGE017
的输出值恒等于1；
在最后一个池化层输出后，提取的特征传入全连接层进行线性变换，由此获得卷积网络的最终输出特征；
其中，池化层的运算过程为：
Figure 283894DEST_PATH_IMAGE018
式中，函数
Figure 604017DEST_PATH_IMAGE019
表示池化运算，
Figure 768282DEST_PATH_IMAGE020
为池化层输出结果；
其中，全连接层的运算过程为：
Figure 275487DEST_PATH_IMAGE021
式中，
Figure 612927DEST_PATH_IMAGE022
为全连接层的输入数据，
Figure 990819DEST_PATH_IMAGE023
为输入数据的第
Figure 857144DEST_PATH_IMAGE003
个值与全连接层的第
Figure 382803DEST_PATH_IMAGE024
个神经元之间的权重值，
Figure 992776DEST_PATH_IMAGE025
为全连接层第
Figure 225174DEST_PATH_IMAGE024
个神经元的偏置值，
Figure 527980DEST_PATH_IMAGE026
为全连接层的第
Figure 275356DEST_PATH_IMAGE024
个神经元的输出值。
5.根据权利要求1所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，通过所述注意力机制获取行为特征，包括下步骤：
在注意力机制中，通过使用键值对来表示输入信息，对于维度为N的样本的输入信息表示为：
Figure 892282DEST_PATH_IMAGE027
式中，K，
Figure 41504DEST_PATH_IMAGE028
表示键，用来计算注意分布，V，
Figure 512281DEST_PATH_IMAGE029
表示值，用来计算聚合信息；
把输入信息看作是一个信息存储器，对于给定的查询向量Q，用来查找并选择输入信息中的某些信息，需要根据存储信息的K，V值来确定，计算过程包括以下步骤：
根据Q，K计算二者的相似度，使用缩放点积来获得注意力得分
Figure 684636DEST_PATH_IMAGE030
：
Figure 636411DEST_PATH_IMAGE031
式中，N示输入信息的维度；
Figure 905719DEST_PATH_IMAGE032
为各样本的查询向量；
使用soft-max函数对注意力得分进行数值转换，生成概率之和为1的注意力系数；同时又能够利用soft-max函数的特性突出重要特征的注意力系数权重：
Figure 488010DEST_PATH_IMAGE033
式中，
Figure 944399DEST_PATH_IMAGE034
为对应于第
Figure 965445DEST_PATH_IMAGE003
个元素的注意力系数；
根据生成的注意力系数对v值进行加权求和：
Figure 26941DEST_PATH_IMAGE035
。
6.根据权利要求1所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，所述卷积网络模型和注意力机制分别为两组，两组所述卷积网络模型的输入分别为时域信号和频域信号，用于学习不同的任务。
7.根据权利要求6所述的一种基于多任务学习的注意力机制的风电设备损伤预测方法，其特征在于，还包括：
构建风电设备信号的训练集；
分别将训练集的时域数据和频域数据输入到两组卷积模型中学习不同的抽象特征，通过两组注意力机制模块获得不同的学习任务；
根据输出的预测值与目标值的误差计算对应的损失值，并使用Adam优化器来更新网络参数，当训练过程满足迭代条件时终止训练，获得训练好的网络模型。
CN202211587330.6A 2022-12-12 2022-12-12 基于多任务学习的注意力机制的风电设备损伤预测方法 Pending CN115659283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211587330.6A CN115659283A (zh) 2022-12-12 2022-12-12 基于多任务学习的注意力机制的风电设备损伤预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211587330.6A CN115659283A (zh) 2022-12-12 2022-12-12 基于多任务学习的注意力机制的风电设备损伤预测方法

Publications (1)

Publication Number Publication Date
CN115659283A true CN115659283A (zh) 2023-01-31

Family

ID=85018796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211587330.6A Pending CN115659283A (zh) 2022-12-12 2022-12-12 基于多任务学习的注意力机制的风电设备损伤预测方法

Country Status (1)

Country Link
CN (1) CN115659283A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN113553988A (zh) * 2021-08-03 2021-10-26 同济大学 一种基于复数神经网络和注意力机制的模拟信号识别方法
CN114707731A (zh) * 2022-04-11 2022-07-05 合肥工业大学 基于双层注意力网络多域特征融合的设备剩余寿命预测方法
CN114893390A (zh) * 2022-07-15 2022-08-12 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法
CN113553988A (zh) * 2021-08-03 2021-10-26 同济大学 一种基于复数神经网络和注意力机制的模拟信号识别方法
CN114707731A (zh) * 2022-04-11 2022-07-05 合肥工业大学 基于双层注意力网络多域特征融合的设备剩余寿命预测方法
CN114893390A (zh) * 2022-07-15 2022-08-12 安徽云磬科技产业发展有限公司 一种基于注意力与集成学习机制的泵机设备故障检测方法

Similar Documents

Publication Publication Date Title
Zhao et al. Deep residual shrinkage networks for fault diagnosis
CN112161784B (zh) 基于多传感器信息融合迁移网络的机械故障诊断方法
WO2020244134A1 (zh) 一种基于多任务特征共享神经网络的智能故障诊断方法
Li et al. A novel deep autoencoder and hyperparametric adaptive learning for imbalance intelligent fault diagnosis of rotating machinery
Jiang et al. Few-shot fault diagnosis of rotating machinery with two-branch prototypical networks
CN113033309B (zh) 一种基于信号下采样及一维卷积神经网络的故障诊断方法
Gao et al. ASM1D-GAN: An intelligent fault diagnosis method based on assembled 1D convolutional neural network and generative adversarial networks
Deng et al. An improved deep residual network with multiscale feature fusion for rotating machinery fault diagnosis
Chen et al. Application of nonlinear output frequency response functions and deep learning to RV reducer fault diagnosis
Thoppil et al. Deep learning algorithms for machinery health prognostics using time-series data: A review
CN115859077A (zh) 一种变工况下多特征融合的电机小样本故障诊断方法
CN114091504A (zh) 一种基于生成对抗网络的旋转机械小样本故障诊断方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
Bao et al. A transformer model-based approach to bearing fault diagnosis
CN113221996A (zh) 一种基于多头注意力机制的轴承故障诊断方法及系统
CN115659283A (zh) 基于多任务学习的注意力机制的风电设备损伤预测方法
Lee et al. Identifying bearing faults using multiscale residual attention and multichannel neural network
CN113962289B (zh) 面向终身学习的旋转机械在线智能故障诊断方法及系统
CN115392323A (zh) 基于云边协同的轴承故障监测方法及系统
Guan et al. Fault diagnosis of rolling bearing with imbalanced small sample scenarios
Wen et al. Bearing fault diagnosis via fusing small samples and training multi-state siamese neural networks
Nemer et al. A review of research on industrial time series classification for machinery based on deep learning
Si et al. Application of a Taylor expansion criterion-based pruning convolutional network for bearing intelligent diagnosis
Zou et al. Overview of Bearing Fault Diagnosis Based on Deep Learning
CN113158769A (zh) 基于CEEMDAN和FastICA的机电设备轴承振动信号除噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230131