CN113639993A - 多模态多任务卷积神经网络的齿轮箱故障诊断方法 - Google Patents

Abstract

本发明涉及风力发电机组故障诊断技术领域，多模态多任务卷积神经网络的齿轮箱故障诊断方法，获取齿轮箱的多传感器数据，对数据进行连续小波变换作为预处理；将预处理得到的小波图像并行输入到多个卷积网络中进行特征学习后，获得的多通道特征输入到动态加权模块中进行加权，构成特征空间矩阵；将所获得的的特征空间矩阵输入到多任务模块中进行处理，主任务为分类任务，将所获得的的特征空间矩阵输入到softmax层进行分类，辅助任务为多模态信号典型相关分析，将得到的结果反馈给主任务，提升主任务的分类精度；本发明有效提取并融合了故障特征，并以相关性分析的方法改善了分类的效果，提高了故障诊断和分类的精度和效果。

Description

多模态多任务卷积神经网络的齿轮箱故障诊断方法

技术领域

本发明涉及风力发电机组故障诊断技术领域，具体涉及多模态多任务卷积神经网络的齿轮箱故障诊断方法。

背景技术

齿轮箱是风电机组的传动部件，承载着传送动能用以发电的关键作用。在实际应用中，风力发电机组的安全性和稳定性在长时运行、气候复杂多变的环境下，齿轮箱承受着高载荷、高风速的巨大冲击，故障率高是造成风力发电机停机的重要原因。所以实时监测风电齿轮箱的运行状态，以及在停机后对故障进行及时准确诊断具有重要的意义。

近年来以深度学习的方法对风电齿轮箱进行状态预测和故障诊断取得了大量研究成果，但目前的研究集中与算法的优化，对电信号等特殊信号以及信号融合的研究还有发展的空间，仅对风力发电机组在运行过程中的单一运行信号进行分析，无法准确的捕获其中所包含的特征，常常会丢失一些重要的机组运行信息。

实验表明，齿轮箱内部部件产生异常时会引起电动机定子磁通变化，最终会导致包括定子电流等一系列电流参数的变化。因此振动信号和电流信号在故障诊断中存在耦合关系。当前，风电齿轮箱的故障诊断主要以基于振动信号的方法为主，但信号采集设备的安装方式给基于振动信号的故障诊断造成不便；电流信号相比于振动信号具有易获取，稳定性高等优势，但故障信息微弱。因此设计针对多信号的多任务融合的方法，利用信号间的相关性和互补性，提高对故障特征的学习能力，对信号特征进行自监督特征学习及融合，实现故障信号的智能化分析，是至关重要的。

发明内容

针对上述的缺陷，本发明提供多模态多任务卷积神经网络的齿轮箱故障诊断方法，对多模态信号的特征进行提取融合，提高风力发电机组的故障识别率和分类能力，具有工程实用价值的故障诊断方法。

实现上述目的，本发明提供如下技术方案：

多模态多任务卷积神经网络的齿轮箱故障诊断方法，包括如下步骤：

步骤1：获取分布在机组中传感器采集到的振动信号以及发电机定子电流信号，选取M个通道的振动信号以及N个通道的电流信号，针对所述健康状态，对获取到的信号切分后进行连续小波变换，并用转换生成的图像构建数据集，所述M≥3，1≤N≤3；

步骤2：将所述小波图像以并行的方式输入M+N个卷积神经网络中，不同通道的信号输入到不同的卷积网络中学习特征，提取不同种类信号中的故障特征，并将其输入到动态加权模块中进行加权操作，为包含有效特征量不同的通道赋予相应的权重，构成特征空间矩阵；

步骤3：将步骤2中所获得的特征空间矩阵以并行方式输入到所设计的多任务学习模块中进行处理；多任务学习模块包括两个任务，主任务为故障分类诊断，辅助任务为振动与电流多模态特征相关性分析任；将步骤2中所获得的特征空间矩阵输入Softmax分类器中进行分类，产生最终的诊断及分类结果，所获得的结果将作为主任务的约束，提高分类精度。

本发明技术方案的进一步改进在于：步骤1包括如下步骤：

步骤11：先将所获得的多通道数据根据故障类型的数目进行打标，并将其利用滑动窗技术分割成若干个长度为L的无重叠片段，得到可供网络训练使用的数据集；

步骤12：将获得的小片段进行傅里叶变换，对其进行平移伸缩变换，最后选择morlet小波基函数进行连续小波变换，变换转化为图像，将获得的图像构成用于输入网络的数据集。

本发明技术方案的进一步改进在于：步骤2包括如下步骤：

步骤21：将步骤S1中得到的小波图像并行输入到M+N个通道的卷积网络模块中，进行特征提取，所提取的特征将作为后面融合层的输入；

步骤22：设置每个通道的卷积神经网络的层数，每个通道分别包括两个卷积层，两个最大池化层，两个Dropout层，提取出信号的故障特征表示，其中卷积层和池化层的滤波器大小相同；

步骤23：将所学习到的信号的故障特征沿着变量轴的方向级联在一起，构成一个特征空间矩阵，每一个通道所得到的特征初始权重相同，用于进一步的加权操作；

步骤24：将特征矩阵输入到动态加权模块，获取全局特征，学习特征通道之间的关联后赋予各通道不同的权重；

步骤25：将上述步骤24中学习到的权重与输入相乘，得到一个重构的特征空间矩阵。

本发明技术方案的进一步改进在于：所述步骤3包括如下步骤：

步骤31：将步骤S2中所获得的M个通道的振动信号特征和N个通道的电流信号沿变量轴方向连接在一起，构成两个特征空间矩阵；

步骤32：辅助任务将两个特征空间矩阵输入到典型相关分析网络中，分析信号间的相关性，具体算法如下：

其中，为不同信号的视图表示，即振动信号和电流信号为齿轮箱运行信号的两个不同视图；

步骤33：定义风电齿轮箱故障诊断为一个四分类问题；

步骤34：主任务将步骤S2获取的带有多通道权重的特征空间矩阵输入到具有交叉熵损失函数的Softmax分类器中，对所含故障信息进行分类，其中交叉熵的计算公式如下所示：

其中，M为故障类别数量，y_ic为符号函数(0或1)，若该类别i和样本c的类别相同就是1，否则是0，p_ic对于观测样本i属于类别c的预测概率；

步骤35：多任务模块的总损失函数表达式如下：

Loss_total＝Loss_{cross-entropy}-αLoss_CCA

其中，α为辅助任务的权重系数；将所得的结果作为网络的输出，得到最后的诊断以及分类结果。

与现有技术相比，本发明提供的多模态多任务卷积神经网络的齿轮箱故障诊断方法有益效果如下：

1.本发明提供多模态多任务卷积神经网络的齿轮箱故障诊断方法，该方法利用振动信号和电流信号之间的冗余性和互补性，设计具有图像通道注意力机制的卷积神经网络以动态加权重构的方式捕捉不同通道之间的信号的权重，并对融合后的信号进行相关性分析以及分类的多任务处理，同时在一个特征空间里互补故障特征；上述技术手段融合了连续小波变换提取信号特征以及基于图像的通道注意力的学习方法，并结合典型相关性分析方法对信号间的关联性进行分析，因此本发明能够提取更为丰富的故障诊断信息，能够增强对故障类型的分类性能，为风电齿轮箱故障诊断领域提供了新的途径。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多模态多任务卷积神经网络的齿轮箱故障诊断方法的流程图。

图2为图1中信号采集获取流程图。

图3为图1中多模态信号特征融合流程图。

具体实施方式

下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例结合附图对本发明进行详细说明：

如图1所示，提供了多模态多任务卷积神经网络的齿轮箱故障诊断方法，包括如下步骤：

步骤1：如图2信号采集获取流程图所示，获取分布在机组中传感器采集到的振动信号数据以及电机转子电流信号数据，选取一个通道的振动信号以及两个通道的电流信号，针对所述健康状态，对获取到的信号切分后进行连续小波变换，并用转换生成的图像构建数据集，具体操作步骤如下：

步骤11：先将所获得的多通道数据根据故障类型的数目进行打标，并将其利用滑动窗技术分割成若干个长度为N的无重叠片段，得到可供网络训练使用的数据集；

步骤12：将上述步骤中获得的小片段通过连续小波变换转化为图像，选择morlet小波基函数对信号进行小波变换，该小波的表达式为：

最终对其进行小波变换：

变换转化为图像后，将获得的图像构成用于输入网络的数据集；

步骤2：如图3的多模态信号特征融合流程图所示，将所述小波图像以并行的方式输入M+N个卷积神经网络中，不同通道的信号输入到不同的卷积网络中学习特征，提取不同种类信号中的故障特征，并将其输入到动态加权模块中进行加权操作，为包含有效特征量不同的通道赋予相应的权重，构成特征空间矩阵；具体操作步骤如下：

步骤21：将步骤S1中得到的小波图像并行输入到M+N个通道的卷积网络模块中，进行特征提取，所提取的特征将作为后面融合层的输入；

步骤22：设置每个通道的卷积神经网络的层数，每个通道分别包括两个卷积层，两个最大池化层，两个Dropout层，提取出信号的故障特征表示，其中卷积层和池化层的滤波器大小相同；

步骤23：将所学习到的信号的故障特征沿着变量轴的方向级联在一起，构成一个特征空间矩阵，每一个通道所得到的特征初始权重相同，用于进一步的加权操作；

步骤24：将特征矩阵输入到动态加权模块，获取全局特征，学习特征通道之间的关联后赋予各通道不同的权重；

步骤25：将上述步骤24学习到的权重与输入相乘，得到一个重构的特征空间矩阵；

步骤3：如图3的多模态信号特征融合流程图所示，将上述步骤2所获得的特征空间矩阵以并行方式输入典型相关分析网络中分析多通道信号之间的相关性；具体操作步骤如下：

步骤31：将步骤2中所获得的M个通道的振动信号特征和N个通道的电流信号沿变量轴方向连接在一起，构成两个特征空间矩阵；

步骤32：将所获得的特征空间矩阵输入到多任务模块中；进行辅助任务：将两个特征空间矩阵输入到典型相关分析网络中，分析信号间的相关性，具体算法如下：

其中，ω为不同信号的视图表示，即振动信号和电流信号为齿轮箱运行信号的两个不同视图；

进行主任务：定义风电齿轮箱故障诊断为一个四分类问题，将步骤S2获取的带有多通道权重的特征空间矩阵输入到具有交叉熵损失函数的Softmax分类器中，对所含故障信息进行分类；其中交叉熵的计算公式如下所示：

其中，M为故障类别数量；y_ic为符号函数(0或1)，若该类别i和样本c的类别相同就是1，否则是0；p_ic对于观测样本i属于类别c的预测概率；

步骤33：多任务模块的总损失函数表达式如下：

Loss_{classfication}＝Loss_{cross-entropy}-αLoss_CCA

其中，α为辅助任务的权重系数；将所得的结果作为网络的输出，得到最后的诊断以及分类结果。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明装置权利要求书确定的保护范围内。

Claims (4)

1.多模态多任务卷积神经网络的齿轮箱故障诊断方法，其特征在于，包括如下步骤：

步骤1：获取分布在机组中传感器采集到的振动信号以及发电机定子电流信号，选取M个通道的振动信号以及N个通道的电流信号，针对所述健康状态，对获取到的信号切分后进行连续小波变换，并用转换生成的图像构建数据集，所述M≥3，1≤N≤3；

步骤2：将所述小波图像以并行的方式输入M+N个卷积神经网络中，不同通道的信号输入到不同的卷积网络中学习特征，提取不同种类信号中的故障特征，并将其输入到动态加权模块中进行加权操作，为包含有效特征量不同的通道赋予相应的权重，构成特征空间矩阵；

步骤3：将步骤2中所获得的特征空间矩阵以并行方式输入到所设计的多任务学习模块中进行处理；多任务学习模块包括两个任务，主任务为故障分类诊断，辅助任务为振动与电流多模态特征相关性分析任；将步骤2中所获得的特征空间矩阵输入Softmax分类器中进行分类，产生最终的诊断及分类结果，所获得的结果将作为主任务的约束，提高分类精度。

2.根据权利要求1所述多模态多任务卷积神经网络的齿轮箱故障诊断方法，其特征在于：步骤1包括如下步骤：

步骤11：先将所获得的多通道数据根据故障类型的数目进行打标，并将其利用滑动窗技术分割成若干个长度为L的无重叠片段，得到可供网络训练使用的数据集；

步骤12：将获得的小片段进行傅里叶变换，对其进行平移伸缩变换，最后选择morlet小波基函数进行连续小波变换，变换转化为图像，将获得的图像构成用于输入网络的数据集。

3.根据权利要求1多模态多任务卷积神经网络的齿轮箱故障诊断方法，其特征在于：步骤2包括如下步骤：

步骤21：将步骤S1中得到的小波图像并行输入到M+N个通道的卷积网络模块中，进行特征提取，所提取的特征将作为后面融合层的输入；

步骤22：设置每个通道的卷积神经网络的层数，每个通道分别包括两个卷积层，两个最大池化层，两个Dropout层，提取出信号的故障特征表示，其中卷积层和池化层的滤波器大小相同；

步骤23：将所学习到的信号的故障特征沿着变量轴的方向级联在一起，构成一个特征空间矩阵，每一个通道所得到的特征初始权重相同，用于进一步的加权操作；

步骤24：将特征矩阵输入到动态加权模块，获取全局特征，学习特征通道之间的关联后赋予各通道不同的权重；

步骤25：将上述步骤24中学习到的权重与输入相乘，得到一个重构的特征空间矩阵。

4.根据权利要求1所述多模态多任务卷积神经网络的齿轮箱故障诊断方法，其特征在于：所述步骤3包括如下步骤：

步骤31：将步骤S2中所获得的M个通道的振动信号特征和N个通道的电流信号沿变量轴方向连接在一起，构成两个特征空间矩阵；

步骤32：辅助任务将两个特征空间矩阵输入到典型相关分析网络中，分析信号间的相关性，具体算法如下：

其中，为不同信号的视图表示，即振动信号和电流信号为齿轮箱运行信号的两个不同视图；

步骤33：定义风电齿轮箱故障诊断为一个四分类问题；

步骤34：主任务将步骤S2获取的带有多通道权重的特征空间矩阵输入到具有交叉熵损失函数的Softmax分类器中，对所含故障信息进行分类，其中交叉熵的计算公式如下所示：

其中，M为故障类别数量，y_ic为符号函数(0或1)，若该类别i和样本c的类别相同就是1，否则是0，p_ic对于观测样本i属于类别c的预测概率；

步骤35：多任务模块的总损失函数表达式如下：

Loss_total＝Loss_{cross-entropy}-αLoss_CCA

其中，α为辅助任务的权重系数；将所得的结果作为网络的输出，得到最后的诊断以及分类结果。

Images