CN116520814A - 云边协同架构下基于联邦学习的设备故障预测方法及装置 - Google Patents
云边协同架构下基于联邦学习的设备故障预测方法及装置 Download PDFInfo
- Publication number
- CN116520814A CN116520814A CN202310801358.3A CN202310801358A CN116520814A CN 116520814 A CN116520814 A CN 116520814A CN 202310801358 A CN202310801358 A CN 202310801358A CN 116520814 A CN116520814 A CN 116520814A
- Authority
- CN
- China
- Prior art keywords
- model
- edge
- cloud
- fault prediction
- model parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 2
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及工业设备故障预测技术领域，特别涉及一种云边协同架构下基于联邦学习的设备故障预测方法及装置，其中，方法包括：构建目标设备的时间序列数据集；利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将云端模型的模型参数下发到各边缘端；根据云端模型的模型参数更新故障预测模型的模型参数，利用更新后的故障预测模型对目标设备进行故障预测，当故障预测值超过设定阈值时，诊断目标工业设备故障。由此，解决了相关技术中计算资源受限，模型对于故障预测需求的响应时间较长等问题。
Description
技术领域
本申请涉及工业设备故障预测技术领域，特别涉及一种云边协同架构下基于联邦学习的设备故障预测方法及装置。
背景技术
在实际工业生产中，机械设备和工业系统难以避免会出现磨损和老化，部件工业性能的退化随着时间的累积会从性能下降的量化程度变成设备故障的质变程度，导致巨大的经济财产损失和庞大的维护维修成本，更有甚者会导致安全事故和人员伤亡。因此针对机械设备和工业系统进行故障预测已经成为学术界和工业界的研究热点之一。
目前针对工业设备的故障预测方法主要分为四种，即基于物理模型的故障预测方法，基于统计模型的故障预测方法、基于机器学习的故障预测方法以及基于混合模型的故障预测方法。其中目前最为热门是基于机器学习的故障预测方法尤其是基于深度学习的故障预测方法。然而，在实际应用中深度学习的主要挑战是难以有充分的计算资源满足训练和推理，工业界真正期望的是一种计算复杂度低且预测精度高的算法。
除此之外，目前针对数据驱动的预测方法还有几个挑战需要解决，即交互延迟、数据隐私和数据孤岛问题。首先，在实际工业生产中，对设备的健康监测结果被期望具有实时性，而计算密集性或者云端部署的算法难以满足交互延迟短的需求。其次，由于数据可能包含敏感的制造参数，而实际情况下，制造商并不愿意共享数据以保证自己的竞争优势，因此数据的隐私和安全是一个重要问题。最后，不同边缘收集的数据出于实际情况难以共享，数据以孤岛形式存在，这会显著减少设备的诊断预测性能。
发明内容
本申请提供一种云边协同架构下基于联邦学习的设备故障预测方法、装置、设备及存储介质，以解决相关技术中计算资源受限，模型对于故障预测需求的响应时间较长等问题。
本申请第一方面实施例提供一种云边协同架构下基于联邦学习的设备故障预测方法，所述方法应用于边缘端，其中，所述方法包括以下步骤：构建目标设备的时间序列数据集；利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，所述云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将所述云端模型的模型参数下发到各边缘端；根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
可选地，所述故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，所述线性层将输入数据映射到高维空间，将所述高维空间的数据在通道维度分成第一部分数据和第二部分数据；将所述第一部分数据输入所述注意力层，所述注意力层提取全局特征；将所述第二部分数据输入所述卷积层，所述卷积层利用一维卷积提取局部特征；将所述全局特征和所述局部特征的拼接特征输入所述扁平化前馈层得到隐藏向量，且通过预设标识使得所述扁平化前馈层不进行维度变换；将所述隐藏向量输入所述第二线性层，所述第二线性层输出故障预测值。
可选地，所述联邦学习算法的聚合公式为：
，
其中，表示第/>次更新后的云端模型的模型参数，/>表示第e个边缘端的第/>次的故障预测模型的模型参数，/>表示每个阶段的参数权重，E标识边缘端节点的数量。
可选地，在利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，还包括：对所述时间序列数据集中的数据进行数据增强和/或数据标准化。
本申请第二方面实施例提供一种云边协同架构下基于联邦学习的设备故障预测方法，所述方法应用于云端，其中，所述方法包括以下步骤：获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，所述各边缘端构建目标设备的时间序列数据集，利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型；利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将所述云端模型的模型参数下发到各边缘端，其中，所述各边缘端根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
本申请第三方面实施例提供一种云边协同架构下的基于联邦学习的设备故障预测装置，所述装置应用于边缘端，其中，所述装置包括：构建模块，用于构建目标设备的时间序列数据集；训练模块，用于利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，所述云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将所述云端模型的模型参数下发到各边缘端；预测模块，用于根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
可选地，所述故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，所述线性层将输入数据映射到高维空间，将所述高维空间的数据在通道维度分成第一部分数据和第二部分数据；将所述第一部分数据输入所述注意力层，所述注意力层提取全局特征；将所述第二部分数据输入所述卷积层，所述卷积层利用一维卷积提取局部特征；将所述全局特征和所述局部特征的拼接特征输入所述扁平化前馈层得到隐藏向量，且通过预设标识使得所述扁平化前馈层不进行维度变换；将所述隐藏向量输入所述第二线性层，所述第二线性层输出故障预测值。
可选地，所述联邦学习算法的聚合公式为：
，
其中，表示第/>次更新后的云端模型的模型参数，/>表示第e个边缘端的第/>次的故障预测模型的模型参数，/>表示每个阶段的参数权重，E标识边缘端节点的数量。
可选地，所述云边协同架构下基于联邦学习的工业设备故障预测装置，还包括：处理模块，用于在利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，对所述时间序列数据集中的数据进行数据增强和/或数据标准化。
本申请第四方面实施例提供一种云边协同架构下基于联邦学习的设备故障预测装置，所述装置应用于云端，其中，所述装置包括：获取模块，用于获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，所述各边缘端构建目标设备的时间序列数据集，利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型；下发模块，用于利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将所述云端模型的模型参数下发到各边缘端，其中，所述各边缘端根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
本申请第五方面实施例提供一种边缘端设备，包括如上述实施例所述的云边协同架构下基于联邦学习的设备故障预测装置。
本申请第六方面实施例提供一种云端设备，包括如上述实施例所述的云边协同架构下基于联邦学习的设备故障预测装置。
本申请第七方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的云边协同架构下基于联邦学习的设备故障预测方法。
由此，本申请至少具有如下有益效果：
本申请实施例可以构建一个轻量化的故障预测模型，能够在保证故障预测准确度的同时，大幅减少模型的参数量、计算量和模型尺寸，使工业设备、边缘端和云端实时通信，能够在保证数据的隐私性和安全性的同时，减少了对网络带宽资源的依赖和交互延迟等有益效果。由此，解决了相关技术中计算资源受限，模型对于故障预测需求的响应时间较长等技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的云边协同架构下基于联邦学习的设备故障预测方法的流程图；
图2为根据本申请实施例提供的云边协同架构下基于联邦学习的设备故障预测模型的结构图；
图3为根据本申请一个实施例提供的云边协同架构下基于联邦学习的设备故障预测方法的流程图；
图4为根据本申请另一个实施例提供的云边协同架构下基于联邦学习的设备故障预测方法的流程图；
图5为根据本申请实施例提供的云边协同架构下基于联邦学习的设备故障预测的结构图；
图6为根据本申请实施例提供的云边协同架构下基于联邦学习的设备故障预测装置的示意图；
图7为根据本申请另一个实施例提供的云边协同架构下基于联邦学习的设备故障预测装置的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的云边协同架构下基于联邦学习的设备故障预测方法、装置、设备及存储介质。针对上述背景技术中提到的相关技术中计算资源受限，模型对于故障预测需求的响应时间较长的问题，本申请提供了一种云边协同架构下基于联邦学习的设备故障预测方法，在该方法中，构建一个轻量化故障预测模型，保证故障预测准确度的同时，大幅减少模型的参数量、计算量和模型尺寸，使设备端、云端和边缘端进行实时通信，保证数据的隐私性和安全性的同时，减少了对网络带宽资源的依赖和交互延迟。由此，解决了相关技术中计算资源受限，模型对于故障预测需求的响应时间较长等问题。
具体而言，图1为本申请实施例所提供的一种云边协同架构下基于联邦学习的设备故障预测方法的流程示意图。
如图1所示，该云边协同架构下基于联邦学习的设备故障预测方法，应用于边缘端，包括以下步骤：
在步骤S101中，构建目标设备的时间序列数据集。
本申请实施例可以利用已有或新增的数据构建时间序列数据集，包括目标设备从运行初期到当前传感器记录时刻的全部数据，数据包含流速传感器数据、压强传感器数据、温度传感器数据等能够实时反映工业设备的健康状态的数据以及设备工况记录、操作参数数据等。
在步骤S102中，利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将云端模型的模型参数下发到各边缘端。
可以理解的是，本申请实施例可以利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障模型的模型参数传输至云端，云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将云端模型的模型参数下发至各边缘端，其中，故障预测模型和联邦学习算法将在下述实施例中进行阐述，此处不再赘述。
在本申请实施例中，在利用时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，还包括：对时间序列数据集中的数据进行数据增强和/或数据标准化。
由于数据需要统一进行数据预处理后才能满足后续模型的需要，因此本申请实施例在利用时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，对时间序列数据集中的数据进行数据增加和/或数据标准化。
其中，进行数据增强的目的在于提高模型训练时的样本数量，从而提升模型的泛化能力，而数据标准化的目的在于将不同数值范围的传感器数据维度标准化到0-1之间，从而提高模型训练和收敛速度。
具体而言，数据增强主要是为时间序列数据添加高斯/均值噪声，本申请实施例可以采用添加均值噪声的方法，即针对标准化之前的数据，随机生成一定幅度的噪声加到原始数据上，采用的幅度比例可以在±10%之间。
数据标准化方式可以使用Max-Min标准化方式，其计算公式如下：
，
其中特征维度中数值最大的为，数值最小的为/>，标准化后的数据为/>。
需要说明的是，本申请实施例边缘端需要快速响应设备端的故障预测的需求，并且需要满足使用新的故障样本进行训练的需求，由于边缘端的计算资源有限，因此必须使用轻量化的模型，并且边缘端需要向云端传输使用新故障样本训练后的模型参数，同时也需要有接受云端全局参数更新的能力。
在本申请实施例中，故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，线性层将输入数据映射到高维空间，将高维空间的数据在通道维度分成第一部分数据和第二部分数据；将第一部分数据输入注意力层，注意力层提取全局特征；将第二部分数据输入卷积层，卷积层利用一维卷积提取局部特征；将全局特征和局部特征的拼接特征输入扁平化前馈层得到隐藏向量，且通过预设标识使得扁平化前馈层不进行维度变换；将隐藏向量输入第二线性层，第二线性层输出故障预测值。
其中，预设标识可以自行设定，对此不做限定。
可以理解的是，本申请实施例故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，利用第一线性层将输入数据输入映射到高维空间，随后数据在通道维度被分为两部分，第一部分数据进入注意力层进行全局特征捕获，第二部分数据进入卷积层进行局部特征提取，这样大幅减少了注意力层的计算量，将全局特征和局部特征的拼接特征输入扁平化前馈层得到隐藏向量，并且通过预设标识使得扁平化前馈层不进行维度变化，将隐藏向量输入第二线性层，利用第二线性层输出故障预测值。
需要说明的是，本申请实施例的故障预测模型是轻量化模型，如图2所示，是基于改进的Transformer编码器模型，改进之处在于对模型进行了扁平化设计和轻量化设计，图2中Sigmoid表示激活函数，h表示Transformer模型中的多头注意力层的子头个数。
其中，扁平化设计是针对Transformer网络中的前馈层，在详细分析了Transformer网络的计算量组成后提出的改进方法。在Transformer编码器中主要包含注意力层和前馈层。前者的计算量又可以分为两部分，即查询向量，键值向量（）的注意力计算和/>向量以及注意力层输出的线性变换组成，那么该层的计算量可以表示为/>，其中/>代表隐向量维度，/>代表编码器层的数量。后者的计算量由变换维度的两个线性层组成，其计算量为/>，其中D表示进行维度变换后的高维维度，在原始的Transformer编码器中，一般设置为/>，此时前馈层的计算量可以表示为/>。可以发现前馈层消耗了很大一部分计算量，但是这是不可取的，因为前馈层本身并不进行任何的时序特征提取，消耗如此多的计算资源反而会压缩注意力层的大小，从而降低模型的特征提取能力。因此本申请舍弃了原始的前馈层中的维度变换设计，即扁平化设计。
轻量化设计是考虑到原始的Transformer网络中，直接使用了自注意力机制提取时间序列的全局特征，这将大大提高了模型的计算负担。轻量化模型在特征提取时使用一维卷积辅助提取局部特征，使用注意力机制提取全局特征。具体而言，本申请首先利用线性层输入数据将输入数据映射到高维空间，随后数据在通道维度被分为两部分，一部分进入注意力层进行全局特征捕获，另一部分进入卷积层进行局部特征提取，这样做大幅减少了注意力层的计算量。
除此之外，本申请实施例对轻量化模型进行动态INT8量化，进一步减少模型计算量和模型尺寸。
在深度学习中，量化方案根据量化函数的性质，可以分为线性量化和非线性量化，考虑到剩余寿命预测任务较为简单，本申请采用线性量化计算。量化公式如下所示：
，
其中，表示量化之后的参数数值，/>是指/>中的四舍五入的函数，S表示规整因子，Z表示偏移因子，R表示原始的/>位的参数数值。当R取得在/>中的最大值/>时，Q此时也必须得到在其量化空间内的最大值/>，同理在R取得在/>中的最小值/>时，Q此时得到的是/>。那么此时根据上下界，可以推导出S和Z的数学关系。
，
，
本申请实施例针对改进后的轻量化模型进行动态INT8量化，进一步减少模型计算量和模型尺寸。
在本申请实施例中，联邦学习算法的聚合公式为：
，
其中，表示第/>次更新后的云端模型的模型参数，/>表示第e个边缘端的第/>次的故障预测模型的模型参数，/>表示每个阶段的参数权重，E标识边缘端节点的数量。
可以理解的是，本申请实施例利用上述的计算方法联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数发送到各边缘端，用于后续的故障诊断。
在步骤S103中，根据云端模型的模型参数更新故障预测模型的模型参数，利用更新后的故障预测模型对目标设备进行故障预测，当故障预测值超过设定阈值时，诊断目标工业设备故障。
可以理解的是，本申请实施例可以根据云端模型的模型参数更新故障预测模型的模型参数，根据更新后的故障预测模型对目标设备进行故障预测，如果故障预测值超过设定阈值则诊断为目标工业设备故障。
本申请实施例可以采用故障预测领域常用的评价函数即均方根误差（RMSE）来评估模型的预测准确性。其计算方式为：
，
其中，n为样本数量，为真实标签，/>为预测标签。
具体而言，如图3所示，本申请实施例所述的云边协同架构下基于联邦学习的设备故障预测方法的具体步骤包括：
步骤S01：采集工业设备时序数据并进行预处理，形成目标设备的源域和目标域时间序列数据集；
步骤S02：根据源域的丰富故障数据构建满足伪任务数据集，形成适用于元学习模型训练的伪任务集合；
步骤S03：使用伪任务集合进行元学习训练并得到适用于源域的元学习模型，并将模型迁移至目标域微调；
步骤S04：使用微调后的元学习模型实现对目标工业设备的故障预测。
根据本申请实施例提出的云边协同架构下基于联邦学习的设备故障预测方法，可以构建一个轻量化的故障预测模型，能够在保证故障预测准确度的同时，大幅减少模型的参数量、计算量和模型尺寸，使工业设备、边缘端和云端实时通信，能够在保证数据的隐私性和安全性的同时，减少了对网络带宽资源的依赖和交互延迟。
上述实施例从边缘端的角度描述云边协同架构下基于联邦学习的设备故障预测方法，下述实施例从云端的角度描述云边协同架构下基于联邦学习的设备故障预测方法，两个实施例之间未详尽之处可以互相参考。
图4为本申请实施例所提供的一种云边协同架构下基于联邦学习的设备故障预测方法的流程示意图。
如图4所示，该云边协同架构下基于联邦学习的设备故障预测方法，应用于云端，包括以下步骤：
在步骤S201中，获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，各边缘端构建目标设备的时间序列数据集，利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型。
其中，故障预测模型的训练方法在上述实施例中已经阐述，此处不再赘述。
可以理解的是，本申请实施例云端接收各边缘端上传的训练完成的故障预测模型的模型参数，用于后续的模型参数的集成与更新。
在步骤S202中，利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数下发到各边缘端，其中，各边缘端根据云端模型的模型参数更新故障预测模型的模型参数，利用更新后的故障预测模型对目标设备进行故障预测，当故障预测值超过设定阈值时，诊断目标工业设备故障。
其中，联邦学习算法在上述实施例中已经阐述，此处不再赘述。
可以理解的是，本申请实施例可以利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数下发到各边缘端，根据更新后的故障预测模型对目标设备进行故障预测，如果故障预测值超过设定阈值则诊断为目标工业设备故障。
根据本申请实施例提出的云边协同架构下基于联邦学习的工业设备故障预测方法，云端可以接收各边缘端上传的训练完成的故障预测模型的模型参数，利用联邦学习算法实现将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数下发到各边缘端，根据更新后的故障预测模型对目标设备进行故障预测，实现工业设备故障的及时诊断。
本申请实施例利用如图5所示，故障预测架构进行工业设备的故障预测，故障预测架构包括设备端、边缘端和云端三个部分。其中，设备端存在着故障预测的需求，设备端产生的故障预测请求需要对应的边缘端快速响应并反馈结果。同时设备端也会积累一定的新的故障样本，并定时向边缘端传输。边缘端需要快速响应设备端的故障预测的需求，同时需要满足使用新的故障样本进行训练的需求。由于边缘端的计算资源有限，因此必须使用轻量化的模型。最后边缘端需要向云端传输使用新故障样本训练后的模型参数，同时也需要有接受云端全局参数更新的能力。云端需要持续监听各个边缘端文件发送请求并进行安全验证，当云端接收到全部的边缘发送的模型参数后，将对模型参数进行集成和更新。
其次参照附图描述根据本申请实施例提出的云边协同架构下的基于联邦学习的设备故障预测装置。
图6是本申请实施例的云边协同架构下的基于联邦学习的设备故障预测装置的方框示意图。
如图6所示，该云边协同架构下的基于联邦学习的设备故障预测装置10，应用于边缘端，包括：构建模块101、训练模块102和预测模块103。
其中，构建模块101用于构建目标设备的时间序列数据集；训练模块102用于利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将云端模型的模型参数下发到各边缘端；预测模块103用于根据云端模型的模型参数更新故障预测模型的模型参数，利用更新后的故障预测模型对目标设备进行故障预测，当故障预测值超过设定阈值时，诊断目标工业设备故障。
在本申请实施例中，故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，线性层将输入数据映射到高维空间，将高维空间的数据在通道维度分成第一部分数据和第二部分数据；将第一部分数据输入注意力层，注意力层提取全局特征；将第二部分数据输入卷积层，卷积层利用一维卷积提取局部特征；将全局特征和局部特征的拼接特征输入扁平化前馈层得到隐藏向量，且通过预设标识使得扁平化前馈层不进行维度变换；将隐藏向量输入第二线性层，第二线性层输出故障预测值。
在本申请实施例中，联邦学习算法的聚合公式为：
，
其中，表示第/>次更新后的云端模型的模型参数，/>表示第e个边缘端的第/>次的故障预测模型的模型参数，/>表示每个阶段的参数权重，E标识边缘端节点的数量。
在本申请实施例中，本申请实施例的装置10还包括：处理模块。
其中，处理模块用于在利用时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，对时间序列数据集中的数据进行数据增强和/或数据标准化。
需要说明的是，前述对云边协同架构下基于联邦学习的设备故障预测方法实施例的解释说明也适用于该实施例的云边协同架构下基于联邦学习的设备故障预测装置，此处不再赘述。
根据本申请实施例提出的云边协同架构下基于联邦学习的设备故障预测装置，可以构建一个轻量化的故障预测模型，能够在保证故障预测准确度的同时，大幅减少模型的参数量、计算量和模型尺寸，使工业设备、边缘端和云端实时通信，能够在保证数据的隐私性和安全性的同时，减少了对网络带宽资源的依赖和交互延迟。
如图7所示，该云边协同架构下的基于联邦学习的设备故障预测装置20，应用于云端，包括：获取模块201和下发模块202。
其中，获取模块201用于获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，各边缘端构建目标设备的时间序列数据集，利用时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型；下发模块202用于利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数下发到各边缘端，其中，各边缘端根据云端模型的模型参数更新故障预测模型的模型参数，利用更新后的故障预测模型对目标设备进行故障预测，当故障预测值超过设定阈值时，诊断目标工业设备故障。
需要说明的是，前述对云边协同架构下基于联邦学习的设备故障预测方法实施例的解释说明也适用于该实施例的云边协同架构下基于联邦学习的设备故障预测装置，此处不再赘述。
根据本申请实施例提出的云边协同架构下基于联邦学习的设备故障预测装置，云端可以接收各边缘端上传的训练完成的故障预测模型的模型参数，利用联邦学习算法实现将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将云端模型的模型参数下发到各边缘端，根据更新后的故障预测模型对目标设备进行故障预测，实现工业设备故障的及时诊断。
本申请实施例还提供一种边缘端设备，包括如上述的云边协同架构下基于联邦学习的设备故障预测装置。
本申请实施例还提供一种云端设备，包括如上述的云边协同架构下基于联邦学习的设备故障预测装置。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的云边协同架构下基于联邦学习的设备故障预测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
Claims (10)
1.一种云边协同架构下基于联邦学习的设备故障预测方法，其特征在于，所述方法应用于边缘端，其中，所述方法包括以下步骤：
构建目标设备的时间序列数据集；
利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，所述云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将所述云端模型的模型参数下发到各边缘端；
根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
2.根据权利要求1所述的云边协同架构下基于联邦学习的设备故障预测方法，其特征在于，所述故障预测模型的网络包括第一线性层、第二线性层、注意力层、卷积层和扁平化前馈层，其中，所述线性层将输入数据映射到高维空间，将所述高维空间的数据在通道维度分成第一部分数据和第二部分数据；将所述第一部分数据输入所述注意力层，所述注意力层提取全局特征；将所述第二部分数据输入所述卷积层，所述卷积层利用一维卷积提取局部特征；将所述全局特征和所述局部特征的拼接特征输入所述扁平化前馈层得到隐藏向量，且通过预设标识使得所述扁平化前馈层不进行维度变换；将所述隐藏向量输入所述第二线性层，所述第二线性层输出故障预测值。
3.根据权利要求1所述的云边协同架构下基于联邦学习的设备故障预测方法，其特征在于，所述联邦学习算法的聚合公式为：
，
其中，表示第/>次更新后的云端模型的模型参数，/>表示第e个边缘端的第/>次的故障预测模型的模型参数，/>表示每个阶段的参数权重，E标识边缘端节点的数量。
4.根据权利要求1所述的云边协同架构下基于联邦学习的设备故障预测方法，其特征在于，在利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练之前，还包括：
对所述时间序列数据集中的数据进行数据增强和/或数据标准化。
5.一种云边协同架构下基于联邦学习的设备故障预测方法，其特征在于，所述方法应用于云端，其中，所述方法包括以下步骤：
获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，所述各边缘端构建目标设备的时间序列数据集，利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型；
利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将所述云端模型的模型参数下发到各边缘端，其中，所述各边缘端根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
6.一种云边协同架构下的基于联邦学习的设备故障预测装置，其特征在于，所述装置应用于边缘端，其中，所述装置包括：
构建模块，用于构建目标设备的时间序列数据集；
训练模块，用于利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，并将训练完成的故障预测模型的模型参数传输到云端，其中，所述云端利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，并将所述云端模型的模型参数下发到各边缘端；
预测模块，用于根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
7.一种云边协同架构下的基于联邦学习的设备故障预测装置，其特征在于，所述装置应用于云端，其中，所述装置包括：
获取模块，用于获取各边缘端上传的训练完成的故障预测模型的模型参数，其中，所述各边缘端构建目标设备的时间序列数据集，利用所述时间序列数据集对边缘端的轻量化故障预测模型进行训练，得到训练完成的故障预测模型；
下发模块，用于利用联邦学习算法将各边缘端的故障预测模型的模型参数聚合为云端模型的模型参数，将所述云端模型的模型参数下发到各边缘端，其中，所述各边缘端根据所述云端模型的模型参数更新所述故障预测模型的模型参数，利用更新后的故障预测模型对所述目标设备进行故障预测，当故障预测值超过设定阈值时，诊断所述目标工业设备故障。
8.一种边缘端设备，其特征在于，包括如权利要求6所述的云边协同架构下基于联邦学习的设备故障预测装置。
9.一种云端设备，其特征在于，包括如权利要求7所述的云边协同架构下基于联邦学习的设备故障预测装置。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的云边协同架构下基于联邦学习的设备故障预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801358.3A CN116520814B (zh) | 2023-07-03 | 2023-07-03 | 云边协同架构下基于联邦学习的设备故障预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801358.3A CN116520814B (zh) | 2023-07-03 | 2023-07-03 | 云边协同架构下基于联邦学习的设备故障预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116520814A true CN116520814A (zh) | 2023-08-01 |
| CN116520814B CN116520814B (zh) | 2023-09-05 |
Family
ID=87394464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310801358.3A Active CN116520814B (zh) | 2023-07-03 | 2023-07-03 | 云边协同架构下基于联邦学习的设备故障预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116520814B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117891214A (zh) * | 2023-12-28 | 2024-04-16 | 北京科技大学 | 云边端协同下热连轧过程监测与故障诊断方法及装置 |
| CN117934931A (zh) * | 2024-01-16 | 2024-04-26 | 广州杰鑫科技股份有限公司 | 一种模型更新方法、装置、光缆智能运维系统和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
| CN113486584A (zh) * | 2021-07-06 | 2021-10-08 | 新智数字科技有限公司 | 设备故障的预测方法、装置、计算机设备及计算机可读存储介质 |
| CN114330741A (zh) * | 2021-12-17 | 2022-04-12 | 青岛鹏海软件有限公司 | 一种基于联邦学习的制造业装备故障监测模型训练方法 |
| CN115186904A (zh) * | 2022-07-13 | 2022-10-14 | 清华大学 | 基于Transformer的工业设备故障预测方法及装置 |
| US20230064656A1 (en) * | 2021-08-31 | 2023-03-02 | Accenture Global Solutions Limited | Predictive maintenance of equipment |
| CN116089870A (zh) * | 2022-12-16 | 2023-05-09 | 清华大学 | 基于元学习的小样本条件下工业设备故障预测方法及装置 |
| CN116192852A (zh) * | 2023-02-17 | 2023-05-30 | 清华大学 | 一种端边云多级联邦学习知识传输方法及装置 |
-
2023
- 2023-07-03 CN CN202310801358.3A patent/CN116520814B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
| CN113486584A (zh) * | 2021-07-06 | 2021-10-08 | 新智数字科技有限公司 | 设备故障的预测方法、装置、计算机设备及计算机可读存储介质 |
| US20230064656A1 (en) * | 2021-08-31 | 2023-03-02 | Accenture Global Solutions Limited | Predictive maintenance of equipment |
| CN114330741A (zh) * | 2021-12-17 | 2022-04-12 | 青岛鹏海软件有限公司 | 一种基于联邦学习的制造业装备故障监测模型训练方法 |
| CN115186904A (zh) * | 2022-07-13 | 2022-10-14 | 清华大学 | 基于Transformer的工业设备故障预测方法及装置 |
| CN116089870A (zh) * | 2022-12-16 | 2023-05-09 | 清华大学 | 基于元学习的小样本条件下工业设备故障预测方法及装置 |
| CN116192852A (zh) * | 2023-02-17 | 2023-05-30 | 清华大学 | 一种端边云多级联邦学习知识传输方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘爱华 等: "基于自适应神经网络集成的电子设备故障预测方法", 解放军理工大学学报(自然科学版), no. 05 * |
| 张继军 等: "基于改进HMM和LS-SVM的机载设备故障预测研究", 海军航空工程学院学报, no. 06 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117891214A (zh) * | 2023-12-28 | 2024-04-16 | 北京科技大学 | 云边端协同下热连轧过程监测与故障诊断方法及装置 |
| CN117891214B (zh) * | 2023-12-28 | 2024-07-09 | 北京科技大学 | 云边端协同下热连轧过程监测与故障诊断方法及装置 |
| CN117934931A (zh) * | 2024-01-16 | 2024-04-26 | 广州杰鑫科技股份有限公司 | 一种模型更新方法、装置、光缆智能运维系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116520814B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116520814B (zh) | 云边协同架构下基于联邦学习的设备故障预测方法及装置 | |
| US11181894B2 (en) | Computer system and method of defining a set of anomaly thresholds for an anomaly detection model | |
| US20200287814A1 (en) | Training method and apparatus for service quality assessment model | |
| WO2023093177A1 (zh) | 设备故障诊断方法、装置、电子设备及存储介质 | |
| WO2011135606A1 (ja) | 時系列データ診断圧縮方法 | |
| CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
| CN116502162A (zh) | 边缘算力网络中的异常算力联邦检测方法、系统及介质 | |
| Mandala | Integrating AWS IoT and Kafka for Real-Time Engine Failure Prediction in Commercial Vehicles Using Machine Learning Techniques | |
| WO2019037634A1 (zh) | 车辆状态信息的显示方法、装置及移动终端 | |
| CN117113266B (zh) | 基于图同构网络的无人工厂异常检测方法、装置 | |
| WO2021209023A1 (zh) | 智能体动作的决策方法及相关设备 | |
| Wu et al. | Short-message communication Lossy data compression algorithm for BeiDou-3 satellite information transmission | |
| US20240061739A1 (en) | Incremental causal discovery and root cause localization for online system fault diagnosis | |
| CN117744874A (zh) | 设备故障预测方法、装置及电子设备 | |
| CN116860823A (zh) | 基于联合知识蒸馏的动设备故障诊断难样本双向挖掘方法 | |
| KR102389317B1 (ko) | 순환 신경망(rnn)을 이용한 스마트팜 센서의 고장여부 판단방법 | |
| CN108600046A (zh) | 基于感知哈希的设备状态监测终端、系统及方法 | |
| EP4328857A1 (en) | Disparity estimation method and apparatus, and image processing device and storage medium | |
| CN118484636A (zh) | 一种基于八叉树的大坝安全监测数据快速插补方法及系统 | |
| WO2024082706A1 (zh) | 数据处理方法、设备、系统及可读存储介质 | |
| CN118211071A (zh) | 一种基于增强现实的数据服务方法、装置及相关设备 | |
| CN118033429A (zh) | 一种蓄电池的电压故障预测方法、装置、设备及存储介质 | |
| CN116563777A (zh) | 电力设备图像监控方法及装置 | |
| CN118396401A (zh) | 一种用户用电量预测方法、装置及计算机可读存储介质 | |
| CN116777210A (zh) | 一种电力系统故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |