CN117111464A - 一种多工况下的自适应故障诊断方法 - Google Patents
一种多工况下的自适应故障诊断方法 Download PDFInfo
- Publication number
- CN117111464A CN117111464A CN202310991047.8A CN202310991047A CN117111464A CN 117111464 A CN117111464 A CN 117111464A CN 202310991047 A CN202310991047 A CN 202310991047A CN 117111464 A CN117111464 A CN 117111464A
- Authority
- CN
- China
- Prior art keywords
- graph
- neural network
- feature
- data
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000003745 diagnosis Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 82
- 238000000547 structure data Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000013508 migration Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 41
- 238000013507 mapping Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 239000002243 precursor Substances 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 2
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种多工况下的自适应故障诊断方法,其步骤包括:1)在一所选设备上部署多个传感器用于感知该设备在一已知工况下的状态监测数据,对状态监测数据进行标注作为一个训练样本,得到源域的样本集D并转化为一图G;2)从图G中提取相邻节点连接的图结构数据H对图神经网络进行训练并输出每一节点的嵌入向量;3)基于各节点的嵌入向量采用可微神经网络结构搜索方法搜索最优的图神经网络结构和特征掩膜;4)利用图神经网络结构和特征掩膜进行源域到多目标域的迁移学习,得到适用于每一目标域图神经网络模型;5)采集该设备的状态监测数据并利用特征掩膜进行特征提取后输入到各目标域图神经网络模型,检测该设备是否存在故障。
Description
技术领域
本发明属于计算机软件技术领域,涉及一种多工况下的自适应故障诊断方法。
背景技术
近年来,随着深度学习理论在国内外研究的日益成熟,大量深度学习方法逐步应用于故障诊断领域,目前已成为该领域常用的方法。由于深度学习方法强大的非线性拟合和特征提取能力,使得其能够自动学习和提取设备监测数据的深层逻辑特征,减少人工提取特征的不确定性,极大的调高了故障诊断的准确率。
深度信念网络(深度学习和概率图模型相结合的一种方法,用于解决结构化预测和推断问题)可实现设备状态监测数据的自适应提取,且方法不限制于输入数据的维度,具有较强的普适性。卷积神经网络通过卷积层和池化层分别对设备状态监测数据进行故障的特征提取和压缩,最后使用全连接层将数据特征映射为故障诊断结果。递归神经网络考虑了时间序列数据的序列相关性,可有效捕获序列数据之间的依赖关系,在故障诊断中有着天然的优势。图神经网络通过节点之间的信息传播,聚合相邻节点间的特征,并抽取图像的表征,进而反映设备中多个传感器物理测量之间的相互依赖性,进而完成故障诊断。
当前,研究人员普遍采用深度学习的方法提取设备状态监测数据中的故障信号特征,进而对设备故障进行识别和分类,极大提升了设备故障诊断领域的智能化发展。虽然,大多数基于深度学习的故障诊断方法在故障分类识别精度上取得了不错的效果,但在实际应用场景中意义并不大,其主要原因在于现有基于深度学习的故障诊断方法在训练模型时,采用的训练数据集(源域)和测试数据集(目标域)都处于相同的工况下,然而通常情况下,在不同的环境和工作负载下运行的同类型设备采集到的数据分布会发生变化,导致在单一工况下训练的深度学习模型泛化能力较差。其次,采用基于深度学习的故障诊断方法在训练过程中过于依赖人工设计网络结构和优化网络参数,然而深度学习模型中网络结构超参数较多,且不同超参数对故障诊断结果影响较大,设计人员需要通过不断尝试与试验得到高精度的故障诊断模型,导致在模型的设计和训练过程中花费大量的人力和时间。上述两个问题阻碍了深度学习方法在设备故障诊断领域的进一步推广,因而亟需开展智能化故障诊断方法的研究与应用。
发明内容
针对现有技术中存在的问题,本发明的目的在于提供一种多工况下的自适应故障诊断方法。本发明旨在将基于扰动的可微神经网络结构搜索方法和域适应方法相结合,通过深度学习模型的自动化设计和多工况下的模型泛化性以实现在设备故障诊断中的应用。该方法的主要步骤包括:首先,将传感器状态监测数据转化为图结构,将传感器之间的关联性纳入图结构数据中,并利用图结构数据对图神经网络进行训练并更新模型权重参数并输出图中节点的嵌入向量,作为基于扰动的可微神经网络结构搜索方法的输入。接着,采用基于扰动的可微神经网络结构搜索方法对图神经网络模型的网络结构和特征掩膜进行搜索,即模型性能最好的特征选择方式或特征过滤方式,进而自动确定最佳的网络结构和特征掩膜,以最大程度地提高模型的性能和泛化能力。最后,利用搜索到的最优网络结构和特征掩膜进行源域到多目标域的迁移学习,使模型完成其它工况下的故障诊断任务,以提高模型在多工况下的泛化能力和设备故障诊断的准确性。该方法能够自动化设计深度学习模型,并利用多工况数据进行模型的泛化,为设备故障诊断提供了一种新的方法,并有望提高模型在不同工况下的性能。
特征掩膜(Feature Mask)常用于特征工程和机器学习中,用于选择、过滤或突出特定特征的技术或方法。
可微神经网络结构搜索是一种可微分架构搜索方法,用于自动化神经网络结构搜索的方法,通过在搜索空间中优化参数,自动发现最佳的网络结构,从而实现模型自动设计和优化。
本发明的关键点包括:
1、将可微神经网络结构搜索和领域自适应相结合,通过深度学习模型的自动化设计和多工况下的模型泛化性以实现在设备故障诊断中的应用。
2、将传感器状态监测数据转化为图结构数据,将传感器之间的关联性纳入模型,通过图神经网络实现对图结构数据的编码。
3、采用基于扰动的可微神经网络结构搜索方法对网络结构和特征掩膜进行搜索,自动确定最佳的网络结构和特征掩膜,以最大程度地提高模型的性能和泛化能力。
4、利用搜索到的最优网络结构和特征掩膜进行源域到多目标域的迁移学习,以提高模型在多工况下的泛化能力和设备故障诊断的准确性。
5、本发明能够自动化设计深度学习模型,并利用多工况数据进行模型的泛化,为设备故障诊断提供了一种新的方法,并有望提高模型在不同工况下的性能。
本发明的技术方案为:
一种多工况下的自适应故障诊断方法,其步骤包括:
1)在一所选设备上部署多个传感器用于感知该设备运行在时的不同状态;利用各所述传感器采集该设备在一已知工况下的状态监测数据,对每一传感器每一设定时段内采集的状态监测数据进行标注作为一个训练样本,得到源域的样本集D;将该样本集D转化为一图其中,V是n个节点构成的节点集合,每一节点对应一样本,E是包含m条边的边集合,边表示节点之间的关系;A是相邻矩阵,当第i个节点vi和第j个节点vj之间存在一条边时,相邻矩阵A中第i行第j列的元素A[vi,vj]=1,否则A[vi,vj]=0;/>是状态监测数据的特征矩阵;
2)从所述图G中提取相邻节点连接的图结构数据H,利用图结构数据H对图神经网络进行训练,更新所述图神经网络的参数并输出每一节点的嵌入向量;
3)初始化可微神经网络结构搜索的搜索空间,基于各节点的嵌入向量采用可微神经网络结构搜索方法在所述搜索空间中搜索最优的图神经网络结构和特征掩膜;
4)利用搜索到的最优的图神经网络结构和特征掩膜进行源域到多目标域的迁移学习,得到适用于每一目标域图神经网络模型;不同目标域对应不同工况;
5)利用各所述传感器采集该设备的状态监测数据并利用所述特征掩膜进行特征提取后输入到各目标域图神经网络模型,检测该设备是否存在故障。
进一步的,所述图神经网络对节点迭代更新的公式为hv=f(xv,xco[v],xne[v],hne[v]);其中,f(·)为各节点特征计算中共享的局部转移函数,即节点隐藏状态的更新函数,xco[v]为节点v的关联边的特征向量,xne[v]为节点v的邻接节点特征向量,hne[v]为节点v的邻接节点在t时刻的隐藏状态。
进一步的,所述图神经网络包括多层感知器,所述图神经网络模型通过在图结构数据H上进行信息传递和聚合来提取图的特征表示,通过在节点之间传播和更新信息来捕捉节点之间的关系和邻居的影响;每一层感知器将节点的特征与邻居节点的特征进行聚合来更新节点的特征表示,所述聚合是指将节点的特征与邻居节点的特征进行加权和汇总;第L层感知器的输出为所有节点的转台向量的叠加HL=σ(AHL-1WL);其中H0=H,σ是非线性的激活函数,WL是图神经网络在第L层感知器的网络权重。
进一步的,所述可微分神经网络结构搜索中引入一并行结构块;每一所述并行结构块包含多个不同尺寸的卷积核,用于并行处理输入的节点的嵌入向量,并将处理结果在通道维度上拼接起来。
进一步的,在所述搜索空间中搜索最优的图神经网络结构和特征掩膜的方法为:首先将所述搜索空间表示为一个有向无环图,将所述有向无环图中的顶点进行连接,两顶点之间的边代表这两个顶点之间的操作顺序,即一个并行结构块的分支;所述有向无环图中每个顶点代表该顶点输出的特征图,每个中间顶点的特征图由其所有的前驱顶点经过操作计算得到,则所述并行结构块输出的特征图Hj=∑i<jo(i,j)(Hi),其中Hi代表第i个顶点对应的特征图,o(i,j)代表第i个顶点到第j个顶点选择的操作;所述并行结构块的类型包括普通块和降维块;然后采用可微神经网络结构搜索方法在所述搜索空间中搜索所述并行结构块确定出最优的图神经网络结构和特征掩膜。
进一步的,利用搜索到的最优的图神经网络结构和特征掩膜进行源域到多目标域的迁移学习的方法为:首先生成多个任务工况,包括源域任务工况和多个目标域任务工况,将源域任务工况的带标签的图结构数据和各目标域任务工况的无标签的图结构数据映射到同一特征空间,在所述特征空间内用源域任务工况的带标签的图结构数据适配生成各目标域任务工况的带标签的图结构数据,并利用所述特征掩膜对目标域任务工况的带标签的图结构数据进行特征提取后训练搜索到的最优的图神经网络结构,得到各目标域图神经网络模型;其中,利用最大化均值差异衡量源域任务工况的图结构数据与各目标域任务工况的图结构数据之间的距离,以提高域之间的相似度;然后利用确定的网络结构参数aS和特征选择参数af训练搜索到的最优的图神经网络结构。
进一步的,源域任务工况的带标签的图结构数据为{XS,YS},XS为源域任务工况的图结构数据,YS为源域任务工况的图结构数据的标签;目标域任务工况的无标签的图结构数据为 为第K个目标域任务工况的无标签的图结构数据;将{XS,YS}映射到所述特征空间,所述特征空间中包含源域有效特征/>计算源域的分类损失确定数据到标签的映射;其中/>是图神经网络对第i个样本xi∈XS的预测值,yi∈YS是xi的真实标签,nS是源域数据的数量,log(·)为对数函数;然后将/>映射到所述特征空间中,特征空间中包含目标域有效特征/>同时使用源域匹配多个目标域并设定源域和目标域之间差异的损失函数提高源域与目标域之间的相似性;其中nT是目标域数据数量,和/>分别为源域和目标域中选择的第i个有效特征,φ(·)是一个从输入空间到再生希尔伯特空间/>的映射,/>分别是源域和目标域第i个有效特征对应的再生希尔伯特核;单个源域适配K个目标域的损失函数为其中u是所述特征空间中的特征维度,K是目标域的数量,/>是第k个目标域中的第i个有效特征;通过优化/>减少源域和各目标域之间的分布差异;设置特征掩膜的离散损失/>对离散化的特征掩膜参数af进行优化;训练搜索到的最优的图神经网络结构的总体损失函数为 其中λ和λ0-1分别为域适配损失权重和0-1损失权重。
进一步的,所述图结构数据所述传感器包括:温度传感器、压力传感器、振动传感器、电流传感器、电压传感器、流量传感器、液位传感器、湿度传感器。
一种服务器,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行上述方法中各步骤的指令。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的优点如下:
1、结合域适应和可微神经网络结构搜索方法,可以自适应的搜索适合不同设备和故障类型的网络结构,搜索到的网络结构更好的适应目标域的数据分布,从而提高故障诊断的准确性和泛化性。
2、将设备的传感器状态监测数据转化为图结构数据可以捕捉传感器之间的关联和相互作用,通过图神经网络学习传感器之间的复杂关系和设备状态的深层特征,提升故障诊断的准确性。
3、利用设计的可微神经网络结构搜索方法中降维块和普通块的操作,使其能够应对设备在不同工况下的不同数据分布,进而对多工况的设备状态数据进行泛化,使模型更好的完成其它工况下的故障诊断任务。
附图说明
图1为基于多维相关表示的神经网络结构搜索结构框图。
图2为相邻矩阵示意图。
图3为图结构数据示意图。
图4为图结构数据状态图。
图5为图结构数据的图神经网络结构图。
图6为可微神经网络结构搜索的搜索流程图。
具体实施方式
下面结合附图对本发明进行进一步详细描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
由于设备在运行过程中会受到磨损、侵蚀等因素的影响,设备在实际工作中会出现各种类型的故障。本发明所提出的方法主要面向多工况且装备单个传感器的运行设备,即通过单维状态监测数据实现多工况下的故障诊断。
假设在运行的设备中部署一个用于感知设备振动的传感器,且设备在不同工况下运行,可获取不同工况下的设备数据样本集Ddiff,记其中,XS为源域数据,是带有标签的数据集,为第i个工况的目标域数据,是无标签的数据集,同时给定DS、χS和/>分别为XS上的源域数据分布、样本空间和标签空间,由故障诊断函数F(·)和标签空间/>组成故障诊断任务/>记/>其中,F(·)能够对目标工况的样本进行故障诊断,即故障分类。
针对多工况下的故障诊断,给定和源域下的学习任务/>多目标域数据分布/>和多目标域下的学习任务/>其中/>并且标签空间/> 为目标域的样本空间。通过迁移学习可获取DS和学习任务/>中的知识,找到一个共有特征提取器h(·),在样本空间/>和/>上得到源域特征空间/>和目标域特征空间/>使得F(·)在源域特征空间/>和k个目标域特征空间/>上有较好的泛化性能力,进而提升多工况下的故障诊断函数F(·)的故障分类准确率。
本发明提出了一种多工况下的自适应故障诊断方法,结构框图如图1所示。首先,将单变量时间序列数据转化为图结构数据,通过初始化时间序列中的相邻矩阵,为数据创建一个相关性表示。然后,设计了一种基于扰动的可微神经网络结构搜索方法,对网络结构和特征掩膜进行搜索,获得最优网络结构和特征掩膜。最后,通过搜索到的最优网络结构和特征掩膜进行源域到多目标域的迁移学习,使源域同时适配多个目标域,以提高模型在多目标域下的泛化能力,有效挖掘样本内的关联,从而提高故障诊断的性能。
S1,故障诊断数据的图结构化表示:根据设备在一已知工况下运行时采样得到传感器状态监测数据的时间关系初始化相邻矩阵A,然后利用相邻矩阵将采样信号转化成图结构数据。
为了将单变量的时间序列数据构建成图结构数据,首先将每一传感器采集的长度为l的原始状态监测数据划分成长度为d的样本,并为每个样本分配相应的故障诊断标签,每个样本之间有重叠,得到的样本集可以表示为D={d1,…,di,…,dn}。其中,D为样本集,di为样本集中的第i个样本,样本集的数量为n,对于样本集D,存在一个相应的图其中V是节点集合,其中包含n个节点。E是边的集合,其中包含m条边,边表示节点之间的关系。/>是相邻矩阵,当节点vi和vj之间存在一条边时,A[vi,vj]=1,否则A[vi,vj]=0,相邻矩阵的维度与节点数相同,如图2所示。/>是特征矩阵,其中/>是特征维度。D中的每一个样本都可以表示为一个节点,具有与图G中相应节点相同的属性。
图3为图结构数据,一个样本序列中的相邻样本在时间上是相邻的,因此可以利用样本在时间上的联系来初始化相邻矩阵,即给定一个时间范围,让节点vi与其时间范围内的所有节点相连,并根据节点之间的相连关系更新相邻矩阵A,从而完成根据采样序列中存在的顺序初始化A的操作。接下来,将初始化的相邻矩阵与特征矩阵进行关联,可以得到相邻节点连接的图结构数据H,作为后续图神经网络的输入:
在采样数据转化而成的图结构数据中,具有可比性和时间相关性的样本,且该样本是相互连接的,通过连接这些节点,可以保留数据之间的内部关联信息。因此,采用图结构数据可以很直接地表现出数据之间的相互关系,且图结构数据具有很强的灵活性,可以提高网络的性能。这些图结构数据随后会被输入到神经网络结构搜索和域适应的后续网络中进行下一步操作。
S2,基于图神经网络的设备状态监测数据编码:利用图神经网络挖掘图结构数据中相邻节点之间的关系,经过多层感知器的层层迭代,获得包含途中重要信息的特征表达。
图神经网络利用图的拓扑结构信息和特征信息对节点向量进行表征,其核心思想是先聚合节点邻域的信息,再合并节点自身和邻域的信息用以更新节点拓扑结构信息(即节点自身和邻域的信息,或者加入节点和邻域节点连边的信息)。如图4所示,给定一张图,图中每个节点都有自己的特征,用xv来表示节点v的特征,节点之间的每条边也都具有自己的特征,用xv来表示节点v的特征,节点之间的每条边也都具有自己的特征,用来表示节点vi和节点vj之间边的特征。图神经网络的目的是为了学习到每个节点的隐藏状态hv,这个隐藏状态具有来自此节点所有相邻节点的信息,这些信息包含节点所有相邻节点的特征、节点关联的所有边的特征和节点所有相邻节点在当前时刻的隐藏状态。通过迭代,图神经网络不断更新每个节点的隐藏状态,最终得到每个节点的特征向量。图神经网络节点迭代更新的过程可用如下公式表示:
hv=f(xv,xco[v],xne[v],hne[v])
其中,f(·)为局部转移函数,即节点隐藏状态的更新函数,此函数在全部节点特征的计算中是共享的,xco[v]为节点v的关联边的特征向量,xne[v]为节点v的邻接节点特征向量,hne[v]为节点v的邻接节点在t时刻的隐藏状态。利用此隐藏状态更新函数,可根据此时刻各个节点的隐藏状态来更新下个时刻各个节点的隐藏状态,直到所有节点的隐藏状态变化很小,即视作收敛,可认为此时所有节点已经获取其周围所有邻接节点的信息。
本发明提出的方法所采用的图神经网络模型结构如图5所示,使用了多层感知器作为基本的神经网络结构,图神经网络模型的输入是图结构数据H,经过多层的迭代计算后得到图特征作为输出。具体而言,图神经网络模型通过在图结构上进行信息传递和聚合来提取图的特征表示,通过在节点之间传播和更新信息来捕捉节点之间的关系和邻居的影响,使得图神经网络模型在多层的迭代计算过程中可以逐渐融合和聚合图中的信息,从而得到更全局和丰富的特征表示。
预训练初始化是指基于一个预训练的图神经网络模型,在进行特定任务的微调时,可以使用预训练模型的权重作为初始值;这对于迁移学习和在较小的数据集上训练图神经网络模型是有效的。本发明采用预训练权重W0作为初始化权重。在每一层中,图神经网络模型通过将节点的特征与邻居节点的特征进行聚合来更新节点的表示,这个聚合过程通常是通过将节点的特征与邻居节点的特征进行加权和汇总来实现的。而在每一层的聚合过程中,使用多层感知器作为非线性变换函数,每个全连接层都包含一组权重和激活函数,从而对输入特征进行非线性映射和转换,对于第L层的感知器,其输出为所有节点的状态向量的叠加,用HL表示
HL=σ(AHL-1WL)
其中H0=H,σ是非线性的激活函数,WL是图神经网络在第L层的网络权重,A为相邻矩阵。图神经网络模型最终的输出特征HL′为:
HL′=MLP(HL)
其中MLP是多层感知器,MLP(·)可以表示为σ(FC(…σ(FC(·)))),FC(·)为全连接层。
S3,基于扰动的可微分神经网络结构搜索:首先初始化搜索空间,然后采用可微分神经网络结构搜索方法在搜索空间中搜索最佳的网络结构和选择领域自适应最有效的特征掩膜,并使用给予扰动来辅助选择对网络性能贡献最大的操作,已得到最终的网络结构参数aS和特征掩膜参数af。
采用基于扰动的可微分神经网络结构搜索,引入并行结构块B(Inception block)构成搜索空间,并行结构块B包含了多个不同尺寸的卷积核,并行处理输入数据,并将它们的输出在通道维度上拼接起来。这种结构使得网络能够同时学习到不同尺寸的特征,从而提高了网络整体的特征提取能力。并行结构块分为普通块和降维块两种类型,每个普通块都有Nnor个分支,每个降维块都有Nred个分支。每个分支都有一些候选操作,比如卷积,池化等操作,在普通块的输出端,所有分支的操作结果会被串联起来,而降维块的执行过程与普通块的执行过程相同,不同的是,降维块的输出尺寸将减小为输入尺寸的一半,而普通块的输出尺寸保持与输入尺寸相同。搜索策略会在普通块和降维块中反复进行搜索,对于这两类并行结构块,使用可学习的网络结构参数as来进行网络结构的选择。
此外,由于本发明所提出的方法需要将源域和多个目标域的特征进行适配,通过学习源域和多个目标域的共同特征表示,可将特征映射到新的特征空间中,进而减少领域之间的差异性,提升模型的泛化能力。然而,如果网络提取的特征维度过多,会引发过拟合现象,导致多工况下的故障诊断准确率下降。因此,利用正则化思想,设计了可学习的特征掩膜参数af,使最终特征向量具有一定的稀疏性。
可微分神经网络结构搜索的搜索过程如图6所示,首先将搜索空间表示为一个有向无环图,如图6中的步骤(a)所示,将有向无环图中的顶点进行连接,顶点之间的边代表这两个顶点之间的操作顺序,即一个并行结构块B的分支。有向无环图中每个顶点代表该顶点输出的特征图,每个中间顶点的特征图都是由其所有的前驱顶点经过操作计算得来的,则并行结构块B输出的特征图表示为:
其中代表第i个顶点对应的特征图,o(i,j)代表第i个顶点到第j个顶点选择的操作。
并行结构块B分为普通块和降维块两种类型,其中普通块的分支数为4(Nnor=4),降维块的分支数为2(Nnor=2),可微分神经网络结构搜索的目的是搜索这两种块结构,每类结构均包括3×3卷积、5×5卷积、7×7卷积、9×9卷积、11×11卷积、3×3最大池化、5×5最大池化、3×3平均池化、5×5平均池化和残差连接等10个候选操作。因此,其结构参数为搜索空间大小为104×102=1000000。
如图6中的步骤(b)所示,为了让搜索空间从离散状态变为连续状态,需要把搜索空间松弛化,可给每个顶点之间的边赋予权重参数,在搜索过程中使用softmax函数得到每个操作的权重,即重要程度。然后将这个顶点按照加权和得到顶点输出特征图,将前一层的输出,即经过不同操作得到的特征图输入到第i个分支中,通过加权平均的方式获得该分支的输出特征图/>为:
其中代表第i个分支中操作o的结构参数,/>为所有候选操作的集合,exp(·)为指数函数。
通过上一步将搜索空间松弛化后,搜索问题可以转化成对参数a0的联合优化问题,如图6中的步骤(c)所示,对结构参数进行联合优化,然后对其进行更新迭代。如图6中的步骤(d)所示,搜索结束后,选择每个支路具有最大结构参数的操作,即最后,将并行结构块B的所有分支输出串联起来就得到了结构块的输出,其具体表示为:
其中oi代表第i节点选择的操作,ξ为并行结构块的分支数量,concat(·)表示串联操作。
在可微分神经网络结构搜索中,训练得到的网络结构参数as通过argmax函数来确定最终的网络结构,这会在搜索阶段和评估阶段之间产生一个从连续域到离散域的缺口,一定程度上导致模型性能的下降,且选择的as对应的最大操作并不一定代表对网络性能贡献最大的操作。因此,本节使用离散精度来进一步完成操作的选择,引入基于扰动的结构选择可以缓解由离散化而导致性能下降的问题,且可以直接测量某一操作对网络性能的贡献程度,从而选择对网络性能贡献最佳的操作。
对边层面和节点层面都可以采用基于扰动的结构选择操作,在边层面上,对于在搜索阶段已经收敛的网络,随机抽取一条边,依次屏蔽此边上的所有操作,然后评估此时网络的验证准确性,选择被屏蔽时网络验证准确性下降最多的操作为最佳操作,将此边离散化,重新训练剩余网络,直至再次收敛,根据此方法得到最有效的网络结构。在节点层面进行的是针对普通块和降维块的操作选择。在选择普通快操作时,首先需要固定降维块操作,然后在普通块中随机选择一个节点,依次屏蔽此节点的所有输入边缘,评估此时网络的验证准确性,将被屏蔽时网络验证准确性下降最多和第二多的边缘选择出来,修剪掉剩余的边缘,并训练剩余网络,直至再次收敛。该方法在降维块中的操作也同样适用。此过程对网络结构的扰动较小,因为每次只从网络中删除一个操作,删除某一操作之后的网络与原网络的验证精度相差不会特别大,从而减轻了将剩余网络调整至收敛做出的操作。
网络结构搜索的另一个重要任务是选择适合参加域的适应特征,从源域到目标域的迁移学习是学习到域不变特征,因此为了提高网络的可迁移性,需要筛选出适配的源域和目标域特征。但由于网络提取的特征维度通常较高,采用离散精度会导致训练开销较大,且容易产生过拟合现象,所以本方法通过设计特征掩膜,过滤出域之间相似度较高的共有特征。假设网络提取的特征向量特征掩膜参数/>其中/>为特征维度。为了过滤出域之间相似度较高的共有特征,使用sigmoid函数将特征掩膜参数af中每个元素的取值范围限定在0至1之间,并与网络提取的特征向量H′进行逐元素点积运算:
其中⊙表示点积,sigmod(·)是二元激活函数。利用过滤之后的目标域和源域特征进行域适应损失计算,即通过网络训练,更新网络参数as和特征掩膜参数af。搜索结束后,可根据af得到特征掩膜f={f1,…,fi,…,fn},其中:
在确定特征掩膜f后,与特征向量进行点积运算,进而选择出域之间相似度较高的特征,丢弃相似度较低的特征,实现共有特征优化。
由于本发明对损失函数的定义与域适应方法也有关,所以在S4中对损失函数进行更详细的描述。
S4,基于无监督领域自适应的多目标域故障诊断:把任务工况分为源域和目标域,将多域数据(即基于传感器采集的状态监测数据得到的图结构数据,包括一个源域的图结构数据和多个其它工况下的目标域数据)映射到同一共享空间中,直接用源域去适配多个目标域,即输入图结构数据进行训练,利用最大化均值差异衡量源域与目标域之间的距离,降低损失函数以提高域之间的相似度,从而完成领域自适应,然后再利用确定的网络结构参数aS和特征选择参数af进行第二阶段的训练,最后学习得到最优的特征权重,进而实现高准确率的故障诊断。
再生希尔伯特空间(Reproducing kernel Hilbert Spaces,RKHS)常用于机器学习和核方法,其中核函数的选择决定了学习算法的性能核效果;通过使用适合的再生核函数,可以在高维特征空间中进行非线性分类、回归核特征映射等任务。针对多工况下故障诊断的迁移学习问题,将源域数据的映射关系迁移到目标域进行学习,然而域之间的分布通常不同,一般情况下目标域有极少或没有可用的标签数据,进而导致域偏移。同时,多工况环境意味着有多个目标域,如果仅将一个源域迁移至一个目标域,有多少目标域就需要训练多少网络结构,这会导致大量的时间开销和网络模型的冗余。因此,将初始数据映射到再生希尔伯特空间中,将线性不可分的数据转化为易比较的高维数据,并使用最大均值差异来衡量源域与目标域之间的距离,用以解决域偏移的问题。另外,为了减少训练时间开销和网络模型冗余,将采用源域适配多个目标域,搜索出一个适配于多个目标域的网络结构。最大均值差异(Maximum Mean Discrepancy,MMD)是一种用于衡量两个概率分布之间差异的统计度量方法,可以用于比较两个样本集合或两个概率分布之间的相似性或差异程度。
本发明所述网络训练损失函数由两部分组成,一是在网络结构搜索过程中,通过降低损失函数值得到合适的图神经网络的权重参数、网络结构参数以及特征掩膜参数。二是在网络结构搜索过程后,利用第一步得到的网络结构和特征掩膜进行第二阶段的训练,从而得到多目标域的网络结构。
在搜索过程中,初始采样数据经图结构化表达转换为图结构数据,将有效数据分为源域数据集和目标域数据集,源域数据{XS,YS}有相对丰富的标签,而目标域数据没有标签。将源域特征映射到特征空间,特征空间中包含源域有效特征计算源域的分类损失/>以确定数据到标签的映射:
其中是网络对xi∈XS的预测值,yi∈YS是xi的真实标签,nS是源域数据的数量,log(·)为对数函数。
然后将多个目标域映射到同一特征空间中,特征空间中包含目标域有效特征同时使用源域匹配多个目标域。此处设定了一个源域和目标域之间差异的损失函数,通过降低此损失函数,提高源域与目标域之间的相似性,以完成领域自适应。领域自适应损失使用MMD来度量源域与目标域之间的差异,即:
其中nT是目标域数据数量,和/>分别为源域和目标域中选择的第i个有效特征,φ(·)是一个从输入空间到再生希尔伯特空间/>的映射,分别是源域和目标域第i个有效特征对应的再生希尔伯特核。单个源域适配K个目标域的损失函数为:
其中u是特征空间中的特征维度,K是目标域的数量,是第k个目标域中的第i个有效特征。
通过优化可以减少源域和每个目标域之间的分布差异,同时为了选择参加领域自适应训练最适合的特征参数,设计了离散损失/>对经sigmod离散化的特征掩膜参数af进行优化:
经过训练,可使af中的有效值更趋于1,无效值更趋于0。
在网络结构搜索过程中,可通过改变网络参数来提高故障诊断准确率,进而提升领域适应性,最终优化整个特征过滤过程。因此,搜索过程中的总体损失为:/>
其中λ和λ0-1分别为域适配损失权重和0-1损失权重,为源域的分类损失,为多目标域适配损失,/>为特征掩膜的离散损失,/>为搜索过程中的总体损失。
因此,网络结构搜索在多目标域下的适配问题就可以转化成如下优化问题:
其中,Γ是搜索策略,Υ是搜索空间,Θ是网络参数,是第k个目标域中的有效特征,Xtrain是训练集数据,Xval是验证集数据,L(·)是损失函数。在搜索过程结束后,模型可以获得多目标域下的最优网络结构参数aS和特征掩膜参数af。
经过第一阶段的训练,可以得到确定的图神经网络的网络参数、网络结构参数aS和特征掩膜参数af,然后再进行第二阶段的训练,即将图结构化表达后的图结构数据输入到权重参数确定的图神经网络模型中,进一步获取图结构中的相邻信息,再将图神经网络的输出特征输入到确定的网络结构中进行训练,采用已有的特征掩膜进行邻域自适应有效特征的选择。这一阶段的总损失只考虑源域的分类损失和多目标域适配损失,即:
其中,⊙是连续相乘,f是每个域计算损失的映射函数。通过优化/>可以获得最终图神经网络的网络权重参数和并行结构块的网络权重参数。
在线应用阶段
将设备在其它工况的目标域传感器状态数据转换成图结构数据,采用S4中得到的最佳网络结构的图神经网络,并使用S4中得到的最有效特征掩码进行故障诊断的推断,对其它工况中设备进行故障诊断任务;经过S4的模型,在多个工况下进行了训练和模型参数拟合,泛化性得到了提升,因此再进行其它工况下故障诊断任务时,可以提高故障诊断的准确性。
对于S2中使用图神经网络对传感器状态监测的图结构数据进行学习,对于图神经网络可以替换为图卷积网络、图注意力网络、图生成模型、图注意力池化网络。
对于S3中提出的可微分神经网络结构搜索的块结构,不局限于卷积、最大池化、平均池化、残差连接等候选操作。
尽管为说明目的公开了本发明的具体实施例,其目的在于帮助理解本发明的内容并据以实施,本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换、变化和修改都是可能的。因此,本发明不应局限于最佳实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种多工况下的自适应故障诊断方法,其步骤包括:
1)在一所选设备上部署多个传感器用于感知该设备运行在时的不同状态;利用各所述传感器采集该设备在一已知工况下的状态监测数据,对每一传感器每一设定时段内采集的状态监测数据进行标注作为一个训练样本,得到源域的样本集D;将该样本集D转化为一图其中,V是n个节点构成的节点集合,每一节点对应一样本,E是包含m条边的边集合,边表示节点之间的关系;A是相邻矩阵,当第i个节点vi和第j个节点vj之间存在一条边时,相邻矩阵A中第i行第j列的元素A[vi,vj]=1,
否则A[vi,vj]=0;是状态监测数据的特征矩阵;
2)从所述图G中提取相邻节点连接的图结构数据H,利用图结构数据H对图神经网络进行训练,更新所述图神经网络的参数并输出每一节点的嵌入向量;
3)初始化可微神经网络结构搜索的搜索空间,基于各节点的嵌入向量采用可微神经网络结构搜索方法在所述搜索空间中搜索最优的图神经网络结构和特征掩膜;
4)利用搜索到的最优的图神经网络结构和特征掩膜进行源域到多目标域的迁移学习,得到适用于每一目标域图神经网络模型;不同目标域对应不同工况;
5)利用各所述传感器采集该设备的状态监测数据并利用所述特征掩膜进行特征提取后输入到各目标域图神经网络模型,检测该设备是否存在故障。
2.根据权利要求1所述的方法,其特征在于,所述图神经网络对节点迭代更新的公式为hv=f(xv,xco[v],xne[v],hne[v]);其中,f(·)为各节点特征计算中共享的局部转移函数,即节点隐藏状态的更新函数,xco[v]为节点v的关联边的特征向量,xne[v]为节点v的邻接节点特征向量,hne[v]为节点v的邻接节点在t时刻的隐藏状态。
3.根据权利要求1或2所述的方法,其特征在于,所述图神经网络包括多层感知器,所述图神经网络模型通过在图结构数据H上进行信息传递和聚合来提取图的特征表示,通过在节点之间传播和更新信息来捕捉节点之间的关系和邻居的影响;每一层感知器将节点的特征与邻居节点的特征进行聚合来更新节点的特征表示,所述聚合是指将节点的特征与邻居节点的特征进行加权和汇总;第L层感知器的输出为所有节点的转台向量的叠加HL=σ(AHL -1WL);其中H0=H,σ是非线性的激活函数,WL是图神经网络在第L层感知器的网络权重。
4.根据权利要求1所述的方法,其特征在于,所述可微分神经网络结构搜索中引入一并行结构块;每一所述并行结构块包含多个不同尺寸的卷积核,用于并行处理输入的节点的嵌入向量,并将处理结果在通道维度上拼接起来。
5.根据权利要求1或4所述的方法,其特征在于,在所述搜索空间中搜索最优的图神经网络结构和特征掩膜的方法为:首先将所述搜索空间表示为一个有向无环图,将所述有向无环图中的顶点进行连接,两顶点之间的边代表这两个顶点之间的操作顺序,即一个并行结构块的分支;所述有向无环图中每个顶点代表该顶点输出的特征图,每个中间顶点的特征图由其所有的前驱顶点经过操作计算得到,则所述并行结构块输出的特征图Hj=∑i<jo(i,j)(Hi),其中Hi代表第i个顶点对应的特征图,o(i,j)代表第i个顶点到第j个顶点选择的操作;所述并行结构块的类型包括普通块和降维块;然后采用可微神经网络结构搜索方法在所述搜索空间中搜索所述并行结构块确定出最优的图神经网络结构和特征掩膜。
6.根据权利要求1所述的方法,其特征在于,利用搜索到的最优的图神经网络结构和特征掩膜进行源域到多目标域的迁移学习的方法为:首先生成多个任务工况,包括源域任务工况和多个目标域任务工况,将源域任务工况的带标签的图结构数据和各目标域任务工况的无标签的图结构数据映射到同一特征空间,在所述特征空间内用源域任务工况的带标签的图结构数据适配生成各目标域任务工况的带标签的图结构数据,并利用所述特征掩膜对目标域任务工况的带标签的图结构数据进行特征提取后训练搜索到的最优的图神经网络结构,得到各目标域图神经网络模型;其中,利用最大化均值差异衡量源域任务工况的图结构数据与各目标域任务工况的图结构数据之间的距离,以提高域之间的相似度;然后利用确定的网络结构参数aS和特征选择参数af训练搜索到的最优的图神经网络结构。
7.根据权利要求6所述的方法,其特征在于,源域任务工况的带标签的图结构数据为{XS,YS},XS为源域任务工况的图结构数据,YS为源域任务工况的图结构数据的标签;目标域任务工况的无标签的图结构数据为 为第K个目标域任务工况的无标签的图结构数据;将{XS,YS}映射到所述特征空间,所述特征空间中包含源域有效特征/>计算源域的分类损失/>确定数据到标签的映射;其中/>是图神经网络对第i个样本xi∈XS的预测值,yi∈YS是xi的真实标签,nS是源域数据的数量,log(·)为对数函数;然后将/>映射到所述特征空间中,特征空间中包含目标域有效特征/>同时使用源域匹配多个目标域并设定源域和目标域之间差异的损失函数/>提高源域与目标域之间的相似性;/> 其中nT是目标域数据数量,/>和/>分别为源域和目标域中选择的第i个有效特征,φ(·)是一个从输入空间到再生希尔伯特空间/>的映射,/>分别是源域和目标域第i个有效特征对应的再生希尔伯特核;单个源域适配K个目标域的损失函数为/>其中u是所述特征空间中的特征维度,K是目标域的数量,/>是第k个目标域中的第i个有效特征;通过优化/>减少源域和各目标域之间的分布差异;设置特征掩膜的离散损失对离散化的特征掩膜参数af进行优化;训练搜索到的最优的图神经网络结构的总体损失函数为/>其中λ和λ0-1分别为域适配损失权重和0-1损失权重。
8.根据权利要求1所述的方法,其特征在于,所述图结构数据所述传感器包括:温度传感器、压力传感器、振动传感器、电流传感器、电压传感器、流量传感器、液位传感器、湿度传感器。
9.一种服务器,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行权利要求1至8任一所述方法中各步骤的指令。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310991047.8A CN117111464A (zh) | 2023-08-08 | 2023-08-08 | 一种多工况下的自适应故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310991047.8A CN117111464A (zh) | 2023-08-08 | 2023-08-08 | 一种多工况下的自适应故障诊断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117111464A true CN117111464A (zh) | 2023-11-24 |
Family
ID=88804756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310991047.8A Pending CN117111464A (zh) | 2023-08-08 | 2023-08-08 | 一种多工况下的自适应故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117111464A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117829265A (zh) * | 2024-03-01 | 2024-04-05 | 国网智能电网研究院有限公司 | 一种基于中介空间构建的电力跨模态双向知识迁移方法 |
-
2023
- 2023-08-08 CN CN202310991047.8A patent/CN117111464A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117829265A (zh) * | 2024-03-01 | 2024-04-05 | 国网智能电网研究院有限公司 | 一种基于中介空间构建的电力跨模态双向知识迁移方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Uncu et al. | A novel feature selection approach: combining feature wrappers and filters | |
CN111612243A (zh) | 交通速度预测方法、系统及存储介质 | |
CN115618296A (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
Gopal | Artificial neural networks in geospatial analysis | |
CN113693563A (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
CN117111464A (zh) | 一种多工况下的自适应故障诊断方法 | |
Xingrong | Research on time series data mining algorithm based on Bayesian node incremental decision tree | |
CN112949009A (zh) | 基于迁移学习的主动配电网分布式状态估计方法及系统 | |
CN115660135A (zh) | 基于贝叶斯方法和图卷积的交通流预测方法及系统 | |
CN114740726B (zh) | 基于深度最优特征传输的工业过程小样本故障诊断方法 | |
CN113988263A (zh) | 工业物联网边缘设备中基于知识蒸馏的空时预测方法 | |
CN110289987B (zh) | 基于表征学习的多智能体系统网络抗攻击能力评估方法 | |
CN113269274B (zh) | 一种基于循环一致性的零样本识别方法及系统 | |
Pandhiani et al. | Time series forecasting by using hybrid models for monthly streamflow data | |
CN115130617B (zh) | 一种自适应卫星数据模式不断增长的检测方法 | |
CN117112992A (zh) | 一种聚酯酯化阶段的故障诊断方法 | |
CN116912576A (zh) | 基于脑网络高阶结构的自适应图卷积脑疾病分类方法 | |
CN117079017A (zh) | 可信的小样本图像识别分类方法 | |
CN115359297A (zh) | 一种基于高阶脑网络的分类方法、系统、电子设备及介质 | |
CN114943328A (zh) | 基于bp神经网络非线性组合的sarima-gru时序预测模型 | |
Wang | A new variable selection method for soft sensor based on deep learning | |
Yu et al. | A Deep Learning-Based Multi-model Ensemble Method for Hydrological Forecasting | |
US20210365794A1 (en) | Discovering Novel Artificial Neural Network Architectures | |
CN118041814A (zh) | 一种基于图强化学习的内容安全风险监测方法及装置 | |
CN117520991A (zh) | 一种基于粗细度聚类和大数据的用电异常诊断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |