CN115965057B - 一种面向列车传动系统的类脑持续学习故障诊断方法 - Google Patents

Abstract

本发明提供了一种面向列车传动系统的类脑持续学习故障诊断方法。该方法模拟了人脑神经突触的记忆与新生，设计了类突触表征结构的生长机制，以实现类脑持续学习的列车传动系统故障诊断。具体地，冻结原有特征提取分支并配合少量旧类样本示例缓解“灾难性遗忘”；同时引入新的特征提取分支，为模型提供可塑性，在多目标损失函数引导下，学习新故障特征，提升模型学习能力上限。此外，该机制集成了端到端的网络剪枝，根据任务难度而动态调整结构生长规模，缓解渐进学习过程中模型的结构化冗余问题。本发明提出的方法，可以高精度、高实时性拓展可诊断故障的边界，对提升基于深度学习的轨道车辆传动系统智能故障诊断模型的应用潜力具有重要意义。

Description

一种面向列车传动系统的类脑持续学习故障诊断方法

技术领域

本发明属于轨道交通安全保障领域，具体涉及一种面向列车传动系统的类脑持续学习故障诊断方法。

背景技术

轨道车辆传动系统主要包括牵引电机、齿轮箱、轮对轴箱等，起到传递牵引力实现车辆行进的重要作用。由于列车运行环境复杂多变，传动系统不可避免地发生各类故障，给轨道车辆运行带来安全风险。当前列车传动系统的检修通常以里程为依据，达到一定里程数后，对各部件进行维修和更换，这种基于经验的“定期修”往往伴随着过维修和欠维修的问题。随着多源全息感知和智能物联技术的发展，基于深度学习的智能故障诊断技术通过对监测数据的自动辨识实时发现故障，在轨道交通安全保障和智能运维领域受到青睐，引发了从传统的“定期修”到费效比更高的“按需修”的变革。然而，现有的基于深度学习的智能诊断模型在训练完成后，可诊断的故障类型便被固定，如果想增加可诊断故障类别，则需要重新训练模型。轨道车辆传动系统的部件繁多、型号各异，很难预先得到全部潜在故障类型的监测数据，而受制于计算和存储资源、数据传输等限制重新训练模型在很多工程场景下无法实现，限制了智能诊断模型的应用潜力。目前，针对列车传动系统故障诊断问题，缺乏一种类脑持续学习范式，使诊断模型部署后，面对非独立同分布的新故障数据集时，无须从头训练，通过模仿人脑神经突触的学习与记忆机制，在保持既有故障诊断能力的同时，拓展可诊断故障类型的边界。

发明内容

为了克服现有技术的局限，本发明的目的在于提出一种面向列车传动系统的类脑持续学习故障诊断方法，诊断模型部署后可以在不依赖人为重新训练的情况下，对渐进式获取的新类别故障数据集进行持续学习，从而拓展可诊断故障类型的边界。该方法具有如下优点：1)无须存储不断膨胀的故障数据，仅利用少量额外存储空间保存典型旧类别故障数据就可以有效缓解因新知识与旧知识分布不同而造成的“灾难性遗忘”问题；2)模型随着类脑持续学习进入新阶段而不断生成新的类突触表征结构，在多目标优化指导下，专注学习新类特征，面对故障特征模态多变的列车传动系统故障诊断问题时，不会因欠参数而引发诊断性能退化；3)在模型新表征结构生成过程中，嵌入了与学习同步的剪枝，可根据不同阶段学习任务的难度自适应地调节表征结构规模，避免结构化冗余的加剧。

为了达到上述目的，本发明采取的技术方案为：

一种面向列车传动系统的类脑持续学习故障诊断方法，包括以下步骤：

1)设当前持续学习阶段s＝0，获取既有的轨道车辆传动系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y⁰表示自主学习初始阶段的轨道车辆传动系统健康状态标签集合，n⁰表示/>所包含的样本个数；

构造智能诊断模型F⁰(x|θ⁰)，其中，F⁰(x|θ⁰)由卷积堆叠的表征学习子网E⁰(x|ξ⁰)和由Softmax函数激活的全连接层构造的分类子网CL⁰(x|ψ⁰)组成；θ⁰，ξ⁰，ψ⁰分别是F⁰，E⁰，CL⁰的可训练参数，且θ⁰＝{ξ⁰,ψ⁰}；

设置损失函数训练代数t，学习率η，训练批次bs，对模型可训练参数进行如下优化：

其中，l()为指示函数，y_i和分别是当前样本的健康状态标签和模型预测概率，c表示Y⁰中标签；

优化流程如下：

i.输入θ⁰、F⁰、损失函数/>训练代数t、学习率η；

ii.初始化θ⁰

iii.利用反向传播算法训练模型，基于下式将θ⁰ _old更新为θ⁰ _new，

iv.重复iii直到训练代数达到t；

v.得到训练完成的模型F^0*(x|θ^0*)，其中优化后的可训练参数为θ^0*；

优化完成后，从中采样得到少量样本示例ε⁰保存到单独的存储空间中，其余样本则删除以释放存储空间；

2)设当前持续学习阶段s＝1，获取新一阶段的列车走行系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y¹表示阶段s＝1的轨道车辆传动系统健康状态标签空间，且/>n¹表示/>所包含的样本个数；

构造智能诊断模型F¹(x|θ¹)，其中，F¹(x|θ¹)由表征学习子网E¹(x|ξ¹)和分类子网CL¹(x|ψ¹)组成，E¹(x|ξ¹)由之前阶段的表征结构分支E⁰(x|ξ⁰)和当前阶段新生长的表征学习分支B¹(x|ξ¹)组成，E¹＝{E⁰,B¹}，θ¹，ξ¹，ψ¹分别是F¹，E¹，CL¹的可训练参数，且θ¹＝{ξ¹,ψ¹}；

采用训练同步的动态剪枝策略，具体地：

2.1)获取B¹内各卷积层后批归一化层中的缩放因子γ^j，j＝1,2,...,L，L为批归一化层总数，计算各卷积核对应的缩放因子对于该层缩放因子集合的对数概率，如下式：

其中，Y_k是第k采样通道的缩放因子，Y_m是第m采样通道的缩放因子；

2.2)在各批归一化层内，基于P^j进行若干次无放回的采样直到被采样通道对应的之和大于等于设定的阈值τ，并根据将采样通道序号写入数组sc^j中，如下式：

sc^j＝sampling(P^j)until∑p(sc^j)≥τ

2.3)根据采样得到的sc^j，进行二值化编码得到剪枝掩码向量m^j，具体地，被采样通道赋值1，未被采样通道赋值0；

2.4)将m^j与对应的特征图进行通道维度乘法，完成剪枝，如下式：

其中，Z^j和分别是第j层卷积层输出的特征图和剪枝后的特征图，/>表示通道维度乘法；

设置损失函数训练代数t，学习率η，训练批次bs，对模型可训练参数进行如下优化：

如下所示：

其中，构成了模型优化的多目标损失函数，分别表示诊断分类交叉熵损失、辅助损失和稀疏损失，/>和/>是辅助损失和稀疏损失的权重，/>和/>分别是当前样本属于过去学习阶段或当前学习阶段故障类的二值化标签和辅助分类网络的预测结果，||·||₂表示二范数；

优化流程如下：

i.输入θ¹、F¹，损失函数/>训练代数t，学习率η，剪枝阈值τ＝{τ¹,τ²,...}；

ii.初始化θ¹

iii.如果当前训练代数大于20且可被10整除，则执行iv-vii，否则执行vi-vii

iv.执行2.1)-2.4)剪枝过程

v.剪枝阈值根据序列τ＝{τ¹,τ²,...}下调

vi.利用反向传播算法训练模型，具体地，根据下式更新θ¹

vii.跳回至iii直到训练代数达到t；

viii.得到训练完成的模型F^1*(x|θ^1*)，其中优化后的可训练参数为θ^1*；

优化完成后，从中采样得到少量样本示例，并与ε⁰合并得到ε¹，保存到单独的存储空间中，其余样本则可以删除以释放存储空间。

本发明的有益效果为：

本发明能够在诊断模型部署后对序列形式的新故障数据集进行类脑持续学习，从而不断拓展其可诊断故障的范围，并且具备如下优点，1)无须基于全历史数据集对模型进行重训练，利用少量旧类别示例配合既有模型结构的冻结就可以有效缓解新知识与旧知识分布不同造成的“灾难性遗忘”问题；2)模型随着类脑持续学习进入新阶段而不断生成新的类突触表征结构，在多目标优化指导下，可以高效学习新类特征，不会因特征模态多样造成欠参数问题继而引发诊断性能退化；3)在模型新表征结构生成过程中，嵌入了与学习同步的剪枝，可根据不同阶段学习任务的难度自适应地调节表征结构规模，避免模型的超冗余。

附图说明

图1为本发明方法工作流程图。

图2为类脑持续学习智能诊断原理示意图。

图3为动态剪枝工作原理图。

图4为本发明方法同现有方法的持续学习性能对比图。

具体实施方式

下面结合附图对本发明做进一步详细阐述。

参照图1、图2和图3，一种面向列车传动系统的类脑持续学习故障诊断方法，包括以下步骤：

1)设当前持续学习阶段s＝0。获取既有的轨道车辆传动系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y⁰表示自主学习初始阶段的轨道车辆传动系统健康状态标签集合，n⁰表示/>所包含的样本个数。然后，构造智能诊断模型F⁰(x|θ⁰)。其中，智能诊断模型F⁰(x|θ⁰)由卷积堆叠的表征学习子网E⁰(x|ξ⁰)和由Softmax函数激活的全连接层构造的分类子网CL⁰(x|ψ⁰)组成。θ⁰，ξ⁰，ψ⁰分别是F⁰，E⁰，CL⁰的可训练参数，且θ⁰＝{ξ⁰,ψ⁰}。设置损失函数/>训练代数T，学习率η，训练批次bs，对模型可训练参数进行如下优化：

其中，可选择多分类交叉熵函数，如下所示：

其中，l()为指示函数，y_i和分别是当前样本的健康状态标签和模型预测概率。

优化流程如下：

i.输入θ⁰、F⁰、损失函数/>训练代数t、学习率η。

ii.初始化θ⁰

iii.利用反向传播算法训练模型，具体地，基于下式更新θ⁰ _old更新为θ⁰ _new，

iv.重复iii直到训练代数达到t；

v.得到训练完成的模型F^0*(x|θ^0*)，其中优化后的可训练参数为θ^0*。

优化完成后，从中采样得到少量样本示例ε⁰保存到单独的存储空间中，其余样本则可以删除以释放存储空间。

2)设当前持续学习阶段s＝1。获取新一阶段的列车走行系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y¹表示阶段s＝1的轨道车辆传动系统健康状态标签空间，且/>n₁表示/>所包含的样本个数。构造智能诊断模型F¹(x|θ¹)。其中，F¹(x|θ¹)由表征学习子网E¹(x|ξ¹)和分类子网CL¹(x|ψ¹)组成。E¹(x|ξ¹)又由之前阶段的表征结构分支E⁰(x|ξ⁰)和当前阶段新生长的表征学习分支B¹(x|ξ¹)组成，即E¹＝{E⁰,B¹}。冻结E⁰以保留之前阶段学习到的故障特征从而缓解“灾难性遗忘”。θ¹，ξ¹，ψ¹分别是F¹，E¹(也即B¹)，CL¹的可训练参数，且θ¹＝{ξ¹,ψ¹}。为根据新故障诊断的学习难度，动态调整模型生长规模，尽可能减少模型复杂度，设计了一种训练同步的动态剪枝策略，该策略可以随训练过程完成端到端的灵活剪枝，具体地

2.1)获取B¹内各卷积层后批归一化层中的缩放因子γ^j，j＝1,2,...,L，L为批归一化层总数。计算各卷积核对应的缩放因子对于该层缩放因子集合的对数概率，如下式：

其中，γ_k是第k采样通道的缩放因子，γ_m是第m采样通道的缩放因子；

2.2)在各批归一化层内，基于P^j进行若干次无放回的采样直到被采样通道对应的之和大于等于设定的阈值τ，并根据将采样通道序号写入数组sc^j中，如下式：

sc^j＝sampling(P^j)until∑p(sc^j)≥τ

2.3)根据采样得到的sc^j，进行二值化编码得到剪枝掩码向量m^j，具体地，被采样通道赋值1，未被采样通道赋值0。

2.4)将m^j与对应的特征图进行通道维度乘法，完成剪枝，如下式：

其中，Z^j和分别是第j层卷积层输出的特征图和剪枝后的特征图，/>表示通道维度乘法。

需要说明的是，模型训练的初始阶段，参数更新幅度较大，剪枝往往表现出剧烈波动。如果将2.1)-2.4)直接嵌入到模型训练中，则可能剪除有潜力的通道。为此，建议上述剪枝流程在训练的第20代之后引入。除此之外，剪枝带来模型结构的变化，造成训练优化的不平滑，因此，每10个epoch进行一次剪枝。随着代数的增加，τ应以渐进的方式减少。当剪枝后10个epoch的诊断精度如果明显下降，则将网络参数回溯到剪枝之前，并保持上次剪枝的模型结构继续训练，停止进一步的剪枝。

设置损失函数训练代数T，学习率η，训练批次bs，对模型可训练参数进行如下优化：

如下所示：

其中，构成了模型优化的多目标损失函数，分别表示诊断分类交叉熵损失，辅助损失和稀疏损失。/>和/>是辅助损失和稀疏损失的权重，可根据实际训练效果进行调整。对于/>其作用是鼓励新引入的表征学习分支学习新类与旧类的高可分性的故障特征，/>和/>分别是当前样本属于过去学习阶段或当前学习阶段故障类的二值化标签和辅助分类网络的预测结果。对于/>其作用是迫使γ^j稀疏以便于剪枝，||·||₂表示二范数。

优化流程如下：

i.输入θ¹、F¹，损失函数/>训练代数t，学习率η，剪枝阈值τ＝{τ¹,τ²,...}。

ii.初始化θ¹

iii.如果当前训练代数大于20且可被10整除，则执行iv-vii，否则执行vi-vii

iv.执行2.1)-2.4)剪枝过程

v.剪枝阈值根据序列τ＝{τ¹,τ²,...}下调

vi.利用反向传播算法训练模型，具体地，根据下式更新θ¹

vii.跳回至iii直到训练代数达到Tviii.得到训练完成的模型F^1*(x|θ^1*)，其中优化后的可训练参数为θ^1*。

优化完成后，从中采样得到少量样本示例，并与ε⁰合并得到ε¹，保存到单独的存储空间中，其余样本则可以删除以释放存储空间。

基于上述方法，诊断模型则可以以高诊断精度和低冗余度不断拓展可诊断故障的类型，并且不会发生明显的“灾难性遗忘”。

实施例

以轨道车辆传动系统的牵引电机故障诊断为案例，基于牵引电机模拟实验台数据，对本发明方法的有效性进行了验证。本实施例所采用的实验台由利用变频器控制交流电机的转速，通过电涡流制动器对电机施加扭矩，以此模拟牵引电机的各种工况。在电机驱动端和非驱动端分别安装了三向加速度传感器，在电源线处安装了电流钳采集电机工作电压，并在电机旁安装了声传感器，共采集10通道传感数据。实验中考虑了11种电机健康状态，包括正常状态、4种轴承故障(内圈故障、外圈故障、滚动体故障和保持架故障)、3种转子故障(转子不平衡、转子弯曲和转子断条)和3种电气故障(电机缺相、电压不平衡和短路)。每种健康状态包括1000个样本，每个样本包括1024个采样点。在此基础上，根据轴承故障、转子故障和电气故障将数据集划分为三个阶段，每阶段数据按照1：1比例用于训练和测试。对于每阶段的训练集，包括之前阶段训练数据采样得到的少量示例原本和当前阶段训练数据，对于测试集，包括之前阶段和当前阶段的全部测试数据。实验对比了本发明提出的方法与全网络参数微调和分类器参数微调两种在线学习常用方法，网络基本结构见表1，训练相关参数见表2。实验结果被汇总于表3及图4。通过实验结果可以看出，本发明方法随着持续学习阶段的增加，诊断效果显著优于两种对比方法。这得益于诊断模型的生长拓展机制有效缓解了“灾难性遗忘”问题。此外，该机制还为模型注入了可塑性，提升了模型学习能力上限，从而对新故障的诊断也有更好的效果。上述实验结果证明了方法的优越性。

表1.网络基本结构汇总表

注：对比方法表征学习部分不拓展，全网络参数微调基于前一阶段参数对E和CL的全部可训练参数更新，而分类器微调则仅更新CL的参数。

表2.训练相关参数汇总表

参数名称	设置
		训练代数	80
学习率	0.001(每10代减半)
		剪枝阈值	0.9
优化器	Adam
		损失函数权重	λau＝0.5，λsp＝10-4

表3.持续学习阶段s＝2准确率汇总

Claims (1)

1.一种面向列车传动系统的类脑持续学习故障诊断方法，其特征在于，包括以下步骤：

1)设当前持续学习阶段s＝0，获取既有的轨道车辆传动系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y⁰表示自主学习初始阶段的轨道车辆传动系统健康状态标签集合，n⁰表示/>所包含的样本个数；

构造智能诊断模型F⁰(x|θ⁰)，其中，F⁰(x|θ⁰)由卷积堆叠的表征学习子网E⁰(x|ξ⁰)和由Softmax函数激活的全连接层构造的分类子网CL⁰(x|ψ⁰)组成；θ⁰，ξ⁰，ψ⁰分别是F⁰，E⁰，CL⁰的可训练参数，且θ⁰＝{ξ⁰,ψ⁰}；

设置损失函数训练代数t，学习率η，训练批次bs，对模型可训练参数进行如下优化：

其中，I()为指示函数，y_i和分别是当前样本的健康状态标签和模型预测概率，c表示Y⁰中标签；

优化流程如下：

i.输入θ⁰、F⁰、损失函数/>训练代数t、学习率η；

ii.初始化θ⁰

iii.利用反向传播算法训练模型，基于下式将θ⁰ _old更新为θ⁰ _new，

iv.重复iii直到训练代数达到t；

v.得到训练完成的模型F^0*(x|θ^0*)，其中优化后的可训练参数为θ^0*；

优化完成后，从中采样得到少量样本示例ε⁰保存到单独的存储空间中，其余样本则删除以释放存储空间；

2)设当前持续学习阶段s＝1，获取新一阶段的列车走行系统故障数据集其中，/>表示多源传感数据，/>表示对应的标签，/>Y¹表示阶段s＝1的轨道车辆传动系统健康状态标签空间，且/>n¹表示/>所包含的样本个数；

构造智能诊断模型F¹(x|θ¹)，其中，F¹(x|θ¹)由表征学习子网E¹(x|ξ¹)和分类子网CL¹(x|ψ¹)组成，E¹(x|ξ¹)由之前阶段的表征学习子网E⁰(x|ξ⁰)和当前阶段新生长的表征学习分支B¹(x|ξ¹)组成，E¹＝{E⁰,B¹}，θ¹，ξ¹，ψ¹分别是F¹，E¹，CL¹的可训练参数，且θ¹＝{ξ¹,ψ¹}；

采用训练同步的动态剪枝策略，具体地：

2.1)获取B¹内各卷积层后批归一化层中的缩放因子γ_j，j＝1,2,...,L，L为批归一化层总数，计算各卷积核对应的缩放因子对于各卷积层缩放因子集合的对数概率，如下式：

其中，Y_k是第k个采样通道的缩放因子，Y_m是第m个采样通道的缩放因子；

2.2)在各批归一化层内，基于P^j进行若干次无放回的采样直到被采样通道对应的之和大于等于设定的阈值τ，并将采样通道序号写入数组sc^j中，如下式：

sc^j＝sampling(P^j),until∑p(sc^j)≥τ

2.3)根据采样得到的sc^j，进行二值化编码得到剪枝掩码向量m^j，具体地，被采样通道赋值1，未被采样通道赋值0；

2.4)将m^j与对应的特征图进行通道维度乘法，完成剪枝，如下式：

其中，Z^j和分别是第j层卷积层输出的特征图和剪枝后的特征图，/>表示通道维度乘法；

设置损失函数训练代数t，学习率η，训练批次bs，对模型可训练参数进行如下优化：

如下所示：

其中，分别表示诊断分类交叉熵损失、辅助损失和稀疏损失，λ_au和λ_sp是辅助损失和稀疏损失的权重，/>和/>分别是当前样本属于过去学习阶段或当前学习阶段故障类的二值化标签和辅助分类网络的预测结果，

||·||₂表示二范数；

优化流程如下：

i.输入θ¹、F¹，损失函数/>训练代数t，学习率η，剪枝阈值τ＝{τ¹,τ²,...}；

ii.初始化θ¹

iii.如果当前训练代数大于20且可被10整除，则执行iv-vii，否则执行vi-vii

iv.执行2.1)-2.4)剪枝过程

v.剪枝阈值根据序列τ＝{τ¹,τ²,...}下调

vi.利用反向传播算法训练模型，具体地，根据下式更新θ¹

vii.跳回至iii直到训练代数达到t；

viii.得到训练完成的模型F^1*(x|θ^1*)，其中优化后的可训练参数为θ^1*；

优化完成后，从中采样得到少量样本示例，并与ε⁰合并得到ε¹，保存到单独的存储空间中，其余样本则可以删除以释放存储空间。