CN115081585A - 一种强化异构图神经网络的人机物协同异常状态检测方法 - Google Patents
一种强化异构图神经网络的人机物协同异常状态检测方法 Download PDFInfo
- Publication number
- CN115081585A CN115081585A CN202210540044.8A CN202210540044A CN115081585A CN 115081585 A CN115081585 A CN 115081585A CN 202210540044 A CN202210540044 A CN 202210540044A CN 115081585 A CN115081585 A CN 115081585A
- Authority
- CN
- China
- Prior art keywords
- network
- data
- value
- state detection
- abnormal state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 230000003014 reinforcing effect Effects 0.000 title description 2
- 238000004519 manufacturing process Methods 0.000 claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000009776 industrial production Methods 0.000 claims abstract description 8
- 238000012423 maintenance Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 35
- 239000003795 chemical substances by application Substances 0.000 claims description 12
- 238000005265 energy consumption Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开一种强化异构图神经网络的人机物协同异常状态检测方法，包括采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据；确定多源异构的原始数据之间的关联，建立异构信息网络图，利用强化图神经网络进行表示学习和分类，得到异常状态检测判别器；自动探索元结构，根据元结构进行信息聚合，实现异常状态检测。本发明为确保车间员工的生产安全，实现对于生产线设备、装配产品的全周期监测与及时维护，对于生产线设备、装配产品的全周期监测与及时维护，能够同步检测多源异构数据的人机物协同异常状态检测方法，从而满足对智能制造中对于生产线数据生命周期的监控需要。
Description
技术领域
本发明属于智能制造的生产线数据在线监测技术领域，特别是涉及一种强化异构图神经网络的人机物协同异常状态检测方法。
背景技术
智能制造是先进制造、信息、人工智能以及物联网等技术高度集成和深度融合的新一轮制造业革命性技术。智能制造系统可对机器正常生产过程进行实时监测并自主分析，预测可能产生的故障，做出科学决策。
智能制造中，生产线异常状态检测方法可根据数据结构特征大致分为两种：一种是对结构化数据的异常检测方法，该方法通常需要设置清晰的决策边界；另一种是对非结构化数据的异常检测方法，该方法多采用模板匹配等方式，用于对图像目标的检测任务。
随着车间大数据技术的发展，智能生产线上的监测、检测单元不断增多，生产线数据呈现出多模态、多尺度的特征，无法同步检测多源异构数据的人机物协同异常状态，无法实现生产线数据生命周期的有效监控。
发明内容
为了解决上述问题，服现有智能生产线异常状态检测算法中未考虑多来源，多结构数据同步融合检测的技术不足，本发明提出了一种强化异构图神经网络的人机物协同异常状态检测方法，为确保车间员工的生产安全，实现对于生产线设备、装配产品的全周期监测与及时维护，对于生产线设备、装配产品的全周期监测与及时维护，能够同步检测多源异构数据的人机物协同异常状态检测方法，从而满足对智能制造中对于生产线数据生命周期的监控需要。
为达到上述目的，本发明采用的技术方案是：一种强化异构图神经网络的人机物协同异常状态检测方法，包括步骤：
S10，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据；
S20，确定多源异构的原始数据之间的关联，建立异构信息网络图，利用强化图神经网络进行表示学习和分类，得到异常状态检测判别器；
S30，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测。
进一步的是，在步骤S10中，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据，包括：基于设备运行维护系统的设备属性数据、能耗管理系统的能耗数据、生产监控系统的运行数据和环境数据构成的结构化数据，工业自动化系统产生的接口类型数据构成半结构化数据，以及制造执行管理系统的生产计划数据、生产监控系统产生的监控数据构成非结构化数据。
进一步的是，在步骤S20中，利用异构信息网络图整合各种采集到的各种原始数据，梳理出数据之间的关联性，一个设备节点关联多种设备属性，不同的设备之间可能拥有同一规格型号，设备拥有不同的能耗属性、环境参数和运行参数；通过找出设备之间的关系，对于智能生产线上的数据进行建模，描述设备全生命周期的多维度状态。
进一步的是，利用强化图神经网络算法进行表示学习和分类，得到异常状态检测判别器，包括步骤：
S201，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构；
S202，在智能体的探索阶段，引入噪声网络机制方法进行参数更新；扩展的元结构将用于学习节点表示，用于异常状态检测；
S203，基于当前时间步的路径状态数据产生动作，并利用主网络的主价值Q1网络计算动作的奖励值，并将当前时刻的路径状态数据、动作、奖励值，以及下一时刻的路径状态数据存储到缓冲区内用以进行经验重放，完成状态转换；利用时间步状态值估计误差TD-error在经验重放时对经验进行排序，优先重放优先级高的经验；
S204，在上述步骤的基础上，利用双Q学习同时构建表现网络和目标网络，分别产生动作以及动作产生的价值；利用目标网络的目标价值Q2网络根据缓冲区的奖励值和路径状态数据计算累积奖励值；
S205，根据奖励值和累积奖励值计算损失函数，利用损失函数更新主价值Q1网络的参数；根据参数更新后的主价值Q1网络计算的动作的更新价值和主策略网络产生的动作变化值计算累计奖励函数的梯度，利用该梯度来更新主策略网络的参数；根据主策略网络参数和主价值Q1网络参数采用软更新方式更新目标策略网络参数和目标价值Q2网络参数；
S206，在基于当前时间步的元结构状态聚合信息时，利用最近邻函数逼近的方法，在保留丰富语义的同时，提高信息聚合的效率；从而构建出用于判别下一时间步的路径状态所聚合信息的异常状态判别器。
进一步的是，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构，包括：
在t时间步设置元路径Ω从节点vi开始，状态表示为
其中，|D(i)|表示当前节点在时间步t采取动作ai，
表示时间步t的平均属性；遍历图中和vi有关系的节点vj，添加到当前路径Ω中，扩展元结构。
进一步的是，所述基于噪声网络机制的参数更新方法包括：
利用噪声网络使智能体实现产线状态的敏捷感知；构建两个学习网络，分别学习动作以及动作产生的价值；将状态转换过程存储在经验回放缓冲区D中，作为经验数据集；
在训练过程中定期从D中采样N个高优先级经验数据，通过最小化实际累积的奖励函数和动作值函数之间的损失函数来更新主网络的主价值网路的网络参数；通过计算动作值函数的梯度来更新主网络的主策略网络的策略参数；通过软更新的方式来更新目标网络参数。
进一步的是，所述状态转换的函数使用深度神经网络MLP，包括：
在时间步t感知节点的状态st，根据当前状态选择动作at＝argmaxa(Q(st,a；θ)表示选择一个节点来扩展当前路径，更新状态st+1；
算法中的参数θ通过反向传播和随机梯度下降更新，使平方损失最小化，因此损失函数定义如下：
其中，T＝(st,at,st+1,Rt)是内存缓存中的随机重放样本，θ-是这些并行的Q网络对象，
是优化目标值，Q(st,a；θ)是Q网络的预测值，根据损失函数更新Q网络中的参数；
智能体依据TD-error来将经验按照优先级排序，其定义为：Q(s,a):＝θφ(s,a)，优先重放有价值的经验而非随机选择经验，从而提升经验重放的有效性。
进一步的是，定义决策网络中贝尔曼方程的递归Q值函数
以此构建两个结构相同但是参数不同的两个模型，分别记为表现网络和目标网络，由表现网络给出每一个时间步的最优动作，由目标网络给出最优动作的价值估计。
进一步的是，在所述步骤S30中，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测，包括：
根据强化学习过程中更新的元结构，进行信息聚合；
然后根据分类器的结果，作为奖励反馈给强化学习的智能体，以指导学习。
采用本技术方案的有益效果：
本发明首先将各类生产线传感器采集到的多源异构数据建模表征为异构信息图网络；然后针对异构图关系和属性，使用最近邻函数逼近优化的强化学习的过程，自动挖掘出相应的元结构，根据元结构进行图嵌入，对于图的信息进行表征；最后，通过比较正常数据样本的分布情况和观测到的数据样本分布情况，来界定正常数据和异常数据，以达到数据检测的效果。本发明能够对于生产线设备、装配产品的全周期监测与及时维护，能够同步检测多源异构数据的人机物协同异常状态检测方法，从而满足对智能制造中对于生产线数据生命周期的监控需要。
本发明通过异构信息图网络可以检测出正常状态数据样本的分布情况；该方法消除了对手动特征工程和专家经验数据的依赖，尽可能保留原始网络的丰富语义，自动挖掘出有意义的元结构；该方法采用递归聚合和邻域采样策略，优化了计算过程，提高了计算效率。实现了对智能制造中人机物协同数据的异常状态检测。
附图说明
图1为本发明的一种强化异构图神经网络的人机物协同异常状态检测方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了一种强化异构图神经网络的人机物协同异常状态检测方法，包括步骤：
S10，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据；
S20，确定多源异构的原始数据之间的关联，建立异构信息网络图，利用强化图神经网络进行表示学习和分类，得到异常状态检测判别器；
S30，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测。
作为上述实施例的优化方案，在步骤S10中，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据，包括：基于设备运行维护系统的设备属性数据、能耗管理系统的能耗数据、生产监控系统的运行数据和环境数据构成的结构化数据，工业自动化系统产生的接口类型数据构成半结构化数据，以及制造执行管理系统的生产计划数据、生产监控系统产生的监控数据构成非结构化数据。
工业生产线的多种监控数据包括，设备运行维护系统产生的生产日期、规格型号、编号等设备属性，能耗管理系统产生的耗电量等能耗数据，生产监控系统产生的设备温度、电流、电压等运行数据和传感器上的环境数据，这些数据构成结构化数据，工业自动化系统产生的接口类型数据构成半结构化数据，制造执行管理系统产生的人员配置、排班等生产计划数据，生产监控系统产生的监控图片、音视频构成非结构化数据。
作为上述实施例的优化方案，在步骤S20中，利用异构信息网络图整合各种采集到的各种原始数据，梳理出数据之间的关联性，一个设备节点关联多种设备属性，不同的设备之间可能拥有同一规格型号，设备拥有不同的能耗属性、环境参数和运行参数；通过找出设备之间的关系，对于智能生产线上的数据进行建模，描述设备全生命周期的多维度状态。
利用强化图神经网络算法进行表示学习和分类，得到异常状态检测判别器，包括步骤：
S201，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构；
S202，在智能体的探索阶段，引入噪声网络机制方法进行参数更新；扩展的元结构将用于学习节点表示，用于异常状态检测；
S203，基于当前时间步的路径状态数据产生动作，并利用主网络的主价值Q1网络计算动作的奖励值，并将当前时刻的路径状态数据、动作、奖励值，以及下一时刻的路径状态数据存储到缓冲区内用以进行经验重放，完成状态转换；利用时间步状态值估计误差TD-error在经验重放时对经验进行排序，优先重放优先级高的经验；
S204，在上述步骤的基础上，利用双Q学习同时构建表现网络和目标网络，分别产生动作以及动作产生的价值；利用目标网络的目标价值Q2网络根据缓冲区的奖励值和路径状态数据计算累积奖励值；
S205，根据奖励值和累积奖励值计算损失函数，利用损失函数更新主价值Q1网络的参数；根据参数更新后的主价值Q1网络计算的动作的更新价值和主策略网络产生的动作变化值计算累计奖励函数的梯度，利用该梯度来更新主策略网络的参数；根据主策略网络参数和主价值Q1网络参数采用软更新方式更新目标策略网络参数和目标价值Q2网络参数；
S206，在基于当前时间步的元结构状态聚合信息时，利用最近邻函数逼近的方法，在保留丰富语义的同时，提高信息聚合的效率；从而构建出用于判别下一时间步的路径状态所聚合信息的异常状态判别器。
其中，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构，包括：
在t时间步设置元路径Ω从节点vi开始，状态表示为
其中，|D(i)|表示当前节点在时间步t采取动作ai，
表示时间步t的平均属性；遍历图中和vi有关系的节点vj，添加到当前路径Ω中，扩展元结构。
其中，所述基于噪声网络机制的参数更新方法包括：
利用噪声网络使智能体实现产线状态的敏捷感知；构建两个学习网络，分别学习动作以及动作产生的价值；将状态转换过程(状态、动作、奖励、下一个状态)存储在经验回放缓冲区D中，作为经验数据集；
在训练过程中定期从D中采样N个高优先级经验数据，通过最小化实际累积的奖励函数和动作值函数之间的损失函数来更新主网络的主价值网路的网络参数；通过计算动作值函数的梯度来更新主网络的主策略网络的策略参数；通过软更新的方式来更新目标网络参数。
其中，所述状态转换的函数使用深度神经网络MLP，包括：
在时间步t感知节点的状态st，根据当前状态选择动作at＝argmaxa(Q(st,a；θ)表示选择一个节点来扩展当前路径，更新状态st+1；
算法中的参数θ通过反向传播和随机梯度下降更新，使平方损失最小化，因此损失函数定义如下：
其中，T＝(st,at,st+1,Rt)是内存缓存中的随机重放样本，θ-是这些并行的Q网络对象，
是优化目标值，Q(st,a；θ)是Q网络的预测值，根据损失函数更新Q网络中的参数；
智能体依据TD-error来将经验按照优先级排序，其定义为：Q(s,a):＝θφ(s,a)，优先重放有价值的经验而非随机选择经验，从而提升经验重放的有效性。
深度神经网络MLP原理为：
其中，Wm和cm表示权重矩阵和偏移向量；
奖励函数
其中，
表示最近b步的平均性能，M(st,at)是一个学习到的节点表示Ht[i]在生产线异常检测任务中的性能，以节点分类为目标任务，以在数据集上的准确性来评估性能。
其中，定义决策网络中贝尔曼方程的递归Q值函数
以此构建两个结构相同但是参数不同的两个模型，分别记为表现网络和目标网络，由表现网络给出每一个时间步的最优动作，由目标网络给出最优动作的价值估计。
作为上述实施例的优化方案，在所述步骤S30中，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测，包括：
根据强化学习过程中更新的元结构，进行信息聚合；
然后根据分类器的结果，作为奖励反馈给强化学习的智能体，以指导学习。
本发明采用多代理强化学习的方法，为每个关系安排一个代理，以学习该关系下节点数的保留阈值，为聚合工作做准备。代理之间需要协同工作，以平衡每个关系对最终聚合效应的影响，从而达到最佳的全局性能。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，包括步骤：
S10，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据；
S20，确定多源异构的原始数据之间的关联，建立异构信息网络图，利用强化图神经网络进行表示学习和分类，得到异常状态检测判别器；
S30，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测。
2.根据权利要求1所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，在步骤S10中，采集工业生产中的智能生产线上的多种传感器测控系统的数据，形成状态检测的原始数据，包括：基于设备运行维护系统的设备属性数据、能耗管理系统的能耗数据、生产监控系统的运行数据和环境数据构成的结构化数据，工业自动化系统产生的接口类型数据构成半结构化数据，以及制造执行管理系统的生产计划数据、生产监控系统产生的监控数据构成非结构化数据。
3.根据权利要求1或2所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，在步骤S20中，利用异构信息网络图整合各种采集到的各种原始数据，梳理出数据之间的关联性，一个设备节点关联多种设备属性，不同的设备之间可能拥有同一规格型号，设备拥有不同的能耗属性、环境参数和运行参数；通过找出设备之间的关系，对于智能生产线上的数据进行建模，描述设备全生命周期的多维度状态。
4.根据权利要求3所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，利用强化图神经网络算法进行表示学习和分类，得到异常状态检测判别器，包括步骤：
S201，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构；
S202，在智能体的探索阶段，引入噪声网络机制方法进行参数更新；扩展的元结构将用于学习节点表示，用于异常状态检测；
S203，基于当前时间步的路径状态数据产生动作，并利用主网络的主价值Q1网络计算动作的奖励值，并将当前时刻的路径状态数据、动作、奖励值，以及下一时刻的路径状态数据存储到缓冲区内用以进行经验重放，完成状态转换；利用时间步状态值估计误差TD-error在经验重放时对经验进行排序，优先重放优先级高的经验；
S204，在上述步骤的基础上，利用双Q学习同时构建表现网络和目标网络，分别产生动作以及动作产生的价值；利用目标网络的目标价值Q2网络根据缓冲区的奖励值和路径状态数据计算累积奖励值；
S205，根据奖励值和累积奖励值计算损失函数，利用损失函数更新主价值Q1网络的参数；根据参数更新后的主价值Q1网络计算的动作的更新价值和主策略网络产生的动作变化值计算累计奖励函数的梯度，利用该梯度来更新主策略网络的参数；根据主策略网络参数和主价值Q1网络参数采用软更新方式更新目标策略网络参数和目标价值Q2网络参数；
S206，在基于当前时间步的元结构状态聚合信息时，利用最近邻函数逼近的方法，在保留丰富语义的同时，提高信息聚合的效率；从而构建出用于判别下一时间步的路径状态所聚合信息的异常状态判别器。
5.根据权利要求4所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，基于当前的异构信息网络图，从初始节点开始，决定每个时间步，选择一个关系来扩展一步元结构，包括：
在t时间步设置元路径Ω从节点vi开始，状态表示为
其中，|D(i)|表示当前节点在时间步t采取动作ai，
表示时间步t的平均属性；遍历图中和vi有关系的节点vj，添加到当前路径Ω中，扩展元结构。
6.根据权利要求4所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，所述基于噪声网络机制的参数更新方法包括：
利用噪声网络使智能体实现产线状态的敏捷感知；构建两个学习网络，分别学习动作以及动作产生的价值；将状态转换过程存储在经验回放缓冲区D中，作为经验数据集；
在训练过程中定期从D中采样N个高优先级经验数据，通过最小化实际累积的奖励函数和动作值函数之间的损失函数来更新主网络的主价值网路的网络参数；通过计算动作值函数的梯度来更新主网络的主策略网络的策略参数；通过软更新的方式来更新目标网络参数。
7.根据权利要求4所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，所述状态转换的函数使用深度神经网络MLP，包括：
在时间步t感知节点的状态st，根据当前状态选择动作at＝argmaxa(Q(st,a；θ)表示选择一个节点来扩展当前路径，更新状态st+1；
算法中的参数θ通过反向传播和随机梯度下降更新，使平方损失最小化，因此损失函数定义如下：
其中，T＝(st,at,st+1,Rt)是内存缓存中的随机重放样本，θ-是这些并行的Q网络对象，
是优化目标值，Q(st,a；θ)是Q网络的预测值，根据损失函数更新Q网络中的参数；
智能体依据TD-error来将经验按照优先级排序，其定义为：Q(s,a):＝θφ(s,a)，优先重放有价值的经验而非随机选择经验，从而提升经验重放的有效性。
8.根据权利要求4所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，定义决策网络中贝尔曼方程的递归Q值函数
以此构建两个结构相同但是参数不同的两个模型，分别记为表现网络和目标网络，由表现网络给出每一个时间步的最优动作，由目标网络给出最优动作的价值估计。
9.根据权利要求1所述的一种强化异构图神经网络的人机物协同异常状态检测方法，其特征在于，在所述步骤S30中，自动探索元结构，根据元结构进行信息聚合，实现异常状态检测，包括：
根据强化学习过程中更新的元结构，进行信息聚合；
然后根据分类器的结果，作为奖励反馈给强化学习的智能体，以指导学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210540044.8A CN115081585A (zh) | 2022-05-18 | 2022-05-18 | 一种强化异构图神经网络的人机物协同异常状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210540044.8A CN115081585A (zh) | 2022-05-18 | 2022-05-18 | 一种强化异构图神经网络的人机物协同异常状态检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115081585A true CN115081585A (zh) | 2022-09-20 |
Family
ID=83250242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210540044.8A Pending CN115081585A (zh) | 2022-05-18 | 2022-05-18 | 一种强化异构图神经网络的人机物协同异常状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115081585A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115514614A (zh) * | 2022-11-15 | 2022-12-23 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
| CN115600826B (zh) * | 2022-12-14 | 2023-05-23 | 中建科技集团有限公司 | 一种基于强化学习的生产流程监控优化方法 |
| CN117556217A (zh) * | 2023-12-25 | 2024-02-13 | 南京天溯自动化控制系统有限公司 | 基于异构图神经网络和强化学习的水冷中央空调节能控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612126A (zh) * | 2020-04-18 | 2020-09-01 | 华为技术有限公司 | 强化学习的方法和装置 |
| CN114239712A (zh) * | 2021-12-06 | 2022-03-25 | 中国人民解放军国防科技大学 | 基于异构信息网络元学习架构的异常检测方法 |
-
2022
- 2022-05-18 CN CN202210540044.8A patent/CN115081585A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612126A (zh) * | 2020-04-18 | 2020-09-01 | 华为技术有限公司 | 强化学习的方法和装置 |
| CN114239712A (zh) * | 2021-12-06 | 2022-03-25 | 中国人民解放军国防科技大学 | 基于异构信息网络元学习架构的异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HADO VAN HASSELT等: "Deep Reinforcement Learning with Double Q-learning", 《ARXIV》, 8 December 2015 (2015-12-08) * |
| 夏火松;孙泽林;: "基于自编码器和集成学习的半监督异常检测算法", 计算机工程与科学, no. 08, 15 August 2020 (2020-08-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115514614A (zh) * | 2022-11-15 | 2022-12-23 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
| CN115514614B (zh) * | 2022-11-15 | 2023-02-24 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
| CN115600826B (zh) * | 2022-12-14 | 2023-05-23 | 中建科技集团有限公司 | 一种基于强化学习的生产流程监控优化方法 |
| CN117556217A (zh) * | 2023-12-25 | 2024-02-13 | 南京天溯自动化控制系统有限公司 | 基于异构图神经网络和强化学习的水冷中央空调节能控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633855B (zh) | 一种桥梁健康状态检测与管养决策系统及方法 | |
| CN115081585A (zh) | 一种强化异构图神经网络的人机物协同异常状态检测方法 | |
| CN111596604B (zh) | 一种基于数字孪生的工程装备故障智能诊断与自愈控制系统及方法 | |
| CN108584592B (zh) | 一种基于时间序列预测模型的电梯轿厢振动异常预警方法 | |
| CN112085261B (zh) | 基于云端融合和数字孪生技术的企业生产现状诊断方法 | |
| CN111178553A (zh) | 一种基于arima和lstm算法的工业设备健康趋势分析方法及系统 | |
| WO2022126526A1 (zh) | 一种电池温度预测方法及系统 | |
| CN114048600A (zh) | 一种数字孪生驱动的多模型融合工业系统异常检测方法 | |
| CN113704956A (zh) | 一种基于数字孪生技术的城市道路在线微观仿真方法及系统 | |
| KR20010086121A (ko) | 기술적 프로세스에 있어서 센서 예측을 위한 케이스베이스 추론 시스템의 방법 및 장치 | |
| CN109634233A (zh) | 工业大数据智能分析决策方法、可读存储介质和终端 | |
| Li et al. | An end-to-end framework with multisource monitoring data for bridge health anomaly identification | |
| Giobergia et al. | Mining sensor data for predictive maintenance in the automotive industry | |
| CN114282443A (zh) | 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法 | |
| CN110757510A (zh) | 一种机器人剩余寿命预测方法及系统 | |
| CN109614451A (zh) | 工业大数据智能分析决策装置 | |
| CN116520806A (zh) | 一种工业系统智能故障诊断系统及其方法 | |
| CN115146798A (zh) | 基于本体数据的装配机器人全流程监测与辅助方法及系统 | |
| CN116723034A (zh) | 一种用于互联网信息安全的智能数据监测系统及方法 | |
| CN114841076A (zh) | 基于时空图模型的动力电池生产工艺波动异常检测方法 | |
| CN114419507A (zh) | 一种基于联邦学习的互联网工厂运行诊断方法及系统 | |
| KR20230050812A (ko) | 연료전지 시스템의 잔여 수명 예측 방법 및 이를 수행하는 디지털 트윈 장치 | |
| CN117312770A (zh) | 基于多层次图特征融合的航空发动机剩余寿命预测方法 | |
| CN117371607A (zh) | 基于物联网技术的锅炉汽水流程再造监测系统 | |
| Ferreiro et al. | A Bayesian network for burr detection in the drilling process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |