CN113673696A - 一种基于强化联邦学习的电力行业起重作业违章检测方法 - Google Patents
一种基于强化联邦学习的电力行业起重作业违章检测方法 Download PDFInfo
- Publication number
- CN113673696A CN113673696A CN202110963263.2A CN202110963263A CN113673696A CN 113673696 A CN113673696 A CN 113673696A CN 202110963263 A CN202110963263 A CN 202110963263A CN 113673696 A CN113673696 A CN 113673696A
- Authority
- CN
- China
- Prior art keywords
- node
- model
- learning
- reinforced
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 13
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 230000002787 reinforcement Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 56
- 230000009471 action Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于强化联邦学习的电力行业起重作业违章检测方法，该方法包括以下步骤：S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；S3、强化学习模块通过强化学习，生成强化融合模型；S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；S5、将融合后的模型下发到A节点和B节点；S6、重复步骤S1到S5，直至模型训练完成。有益效果：使用强化学习保证联邦学习共同建模效果，选择优质节点共同建立模型，降低异构性问题的影响。
Description
技术领域
本发明涉及电力行业起重作业违章检测方法技术领域，具体来说，涉及一种基于强化联邦学习的电力行业起重作业违章检测方法。
背景技术
联邦学习作为一门新兴技术，其保护个人及组织的隐私数据能力与新基建中的科技助力公共价值理念不谋而合，同时帮助各产业研究的机构组织进行合规的数据价值释放，近年来受到广泛的关注。联邦学习的明显好处是在大量设备上分配知识质量，而无需集中用于优化和训练模型的数据，同时该方法还能够在保持训练数据集的隐私的同时提高集中式机器学习模型的质量。
强化学习(ReinforcementLearning，RL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题，非常适合加入联邦学习中来进行模型融合，最接近本发明的技术有：
(1)、分布式机器学习：分布式机器学习是指利用多个计算节点进行机器学习或者深度学习的算法和系统，能扩展至更大规模的数据和更大的模型，与但是其缺乏隐私性，无法保证数据不互传。
(1)、模型平均融合：平均融合即模型融合时对每个节点的设置相同的权值，这样的好处是简单快捷，但是在各个节点数据量不同以及数据分布不同时，各个节点模型效果有好有坏，平均融合并不能很好的解决这个问题。
(2)、加权融合：加权融合即模型融合时根据各个字节的数据量，设备性能设置各个节点的权值，这样会比平均融合得到的模型效果更好，但是缺点是无法定量的去评价各个节点，对于融合哪些节点依靠经验。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于强化联邦学习的电力行业起重作业违章检测方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于强化联邦学习的电力行业起重作业违章检测方法，该方法包括以下步骤：
S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；
S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；
S3、强化学习模块通过强化学习，生成强化融合模型；
S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；
S5、将融合后的模型下发到A节点和B节点；
S6、重复步骤S1到S5，直至模型训练完成。
进一步的，使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型：
S11、联邦学习C把公钥分发给A节点和B节点，用以对训练过程中需要交换的数据进行加密；
S12、A节点和B节点之间以加密形式交互用于计算梯度的中间结果；
S13、A节点和B节点分别基于加密的梯度值进行计算，同时B节点根据其标签数据计算损失，并把结果汇总给联邦学习C，联邦学习C通过汇总结果计算总梯度值并将其解密；
S14、联邦学习C将解密后的梯度分别回传给A节点和B节点，A节点和B节点根据梯度更新各自模型的参数。
进一步的，所述模型的训练过程中，A节点和B节点各自的数据均保留在本地，且训练过程中的数据交互也不会导致数据隐私泄露，A节点和B节点会在在联邦学习的帮助下得以实现合作训练模型。
进一步的，所述将S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值还包括以下步骤：
S21、强化学习DQN使用神经网络来近似值函，即神经网络的输入是函数值statess，输出是函数值Q(s，a)，
(s，a)，
(action space)；
S22、通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action；
S23、根据Rew去更新值函数网络的参数，重复步骤S21至S22并进行模型融合。
进一步的，所述通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action还包括以下步骤：
S221、通过环境给出一个函数值obs，智能体根据值函数网络得到关于这个obs的所有函数值Q(s，a)Q(s，a)；
S222、利用∈-greedy∈-greedy选择函数值action并做出决策，环境接收到此函数值action后会给出一个奖励函数值Rew及下一个obs。
进一步的，所述智能体根据值函数网络得到关于这个obs的所有函数值的Q(s，a)Q(s，a)的估算公式如下：
Q(s，a)Q(s，a)≈^Q(s，a，w)≈Qπ(s，a)Q^(s，a，w)≈Qπ(s，a)。
进一步的，所述强化学习DQN的算法如下：
初始化Q(s，a)，Vs∈S，a∈A(s)，且Q(终止状态，)＝0；
重复，对于每个片段；
初始化状态S；
重复，对于每个片段的每一步；
根据Q选择一个S处的动作A；
执行动作A，观测R，S'；
Q(S，A)←Q(S，A)+a(R+γmaxgQ(S'，a)-Q(S，A))；
S←S'；
直到S是终止状态并收敛。
进一步的，所述强化学习模块通过强化学习，生成强化融合模型还包括以下步骤：
S31、感知强化学习模型，并提供当前环境下的状态信息；
S32、从环境中获取目标观测信息；
S33、对强化学习模型进行决策，将当前状态映射到相应动作；
S34、基于预期回报评判动作价值，并生成强化融合模型。
进一步的，所述联邦学习C中心节点使用强化融合模型，采用摒弃差的模型来对A节点和B节点的模型进行模型融合还包括以下步骤：
S41、联邦学习C中心节点的强化融合模型在联邦机制上会分发给各个机构反馈；
S42、激励更多机构加入这一数据联邦，并保护多个机构间共同建模的隐私；
S43、采用闭环的学习机制，以一个共识机制奖励贡献数据多的机构，并采用采用摒弃差的模型来对A节点和B节点的模型进行模型融合。
进一步的，所述摒弃差的模型的步骤还包括将A节点和B节点中差的模型进行剔除。
本发明的有益效果为：
1、本发明中联邦学习本质上是一种分布式机器学习技术，其目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升模型的效果，同时，由于各节点数据和设备等异构性问题，使用强化学习的方式来改进联邦学习的共同建模过程，使之能够具有高效性与高准确率。
2、本发明提出一种基于强化联邦学习的电力行业起重作业违章检测方法，使用联邦学习在提高模型数据量，同时保证安全性，使用强化学习保证联邦学习共同建模效果，选择优质节点共同建立模型，降低异构性问题的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于强化联邦学习的电力行业起重作业违章检测方法的流程图；
图2是根据本发明实施例的一种基于强化联邦学习的电力行业起重作业违章检测方法中联邦学习的原理框图；
图3是根据本发明实施例的一种基于强化联邦学习的电力行业起重作业违章检测方法中感知学习的原理框图；
图4是根据本发明实施例的一种基于强化联邦学习的电力行业起重作业违章检测方法的原理框图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于强化联邦学习的电力行业起重作业违章检测方法。
现结合附图和具体实施方式对本发明进一步说明，如图1与图4所示，根据本发明实施例的基于强化联邦学习的电力行业起重作业违章检测方法，该方法包括以下步骤：
S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；
如图2所示，在一个实施例中，使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型：
S11、联邦学习C把公钥分发给A节点和B节点，用以对训练过程中需要交换的数据进行加密；
S12、A节点和B节点之间以加密形式交互用于计算梯度的中间结果；
S13、A节点和B节点分别基于加密的梯度值进行计算，同时B节点根据其标签数据计算损失，并把结果汇总给联邦学习C，联邦学习C通过汇总结果计算总梯度值并将其解密；
S14、联邦学习C将解密后的梯度分别回传给A节点和B节点(A节点和B节点指本地数据中的各个节点的代表)，A节点和B节点根据梯度更新各自模型的参数；
在具体应用时，以包含两个数据拥有方(A节点和B节点)的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个数据拥有方的场景。假设A节点和B节点想联合训练一个机器学习模型，它们的业务系统分别拥有各自用户的相关数据，此外，B节点还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑，A节点和B节点无法直接进行数据交换，可使用联邦学习系统建立模型；
此外，加密样本对齐。由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在A节点和B节点不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。第二部分：加密模型训练。在确定共有用户群体后，就可以利用这些数据训练机器学习模型，为了保证训练过程中数据的保密性，需要借助第三方联邦学习C进行加密训练；
在一个实施例中，所述模型的训练过程中，A节点和B节点各自的数据均保留在本地，且训练过程中的数据交互也不会导致数据隐私泄露，A节点和B节点会在在联邦学习的帮助下得以实现合作训练模型。
S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；
在一个实施例中，所述将S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值还包括以下步骤：
S21、强化学习DQN使用神经网络来近似值函，即神经网络的输入是函数值statess，输出是函数值Q(s，a)，
(s，a)，
(action space)；
S22、通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action；
S23、根据Rew去更新值函数网络的参数，重复步骤S21至S22并进行模型融合；
在一个实施例中，所述通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action还包括以下步骤：
S221、通过环境给出一个函数值obs，智能体根据值函数网络得到关于这个obs的所有函数值Q(s，a)Q(s，a)；
S222、利用∈-greedy∈-greedy选择函数值action并做出决策，环境接收到此函数值action后会给出一个奖励函数值Rew及下一个obs。
在一个实施例中，所述智能体根据值函数网络得到关于这个obs的所有函数值的Q(s，a)Q(s，a)的估算公式如下：
Q(s，a)Q(s，a)≈^Q(s，a，w)≈Qπ(s，a)Q^(s，a，w)≈Qπ(s，a)；
在一个实施例中，所述强化学习DQN的算法如下：
初始化Q(s，a)，Vs∈S，a∈A(s)，且Q(终止状态，)＝0；
重复，对于每个片段；
初始化状态S；
重复，对于每个片段的每一步；
根据Q选择一个S处的动作A；
执行动作A，观测R，S'；
Q(S，A)←Q(S，A)+a(R+γmaxgQ(S'，a)-Q(S，A))；
S←S'；
直到S是终止状态并收敛。
在具体应用时，说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个概念，叫值函数近似，在基本概念这篇中有讲过，一个stateaction pair(s，a)(s，a)对应一个值函数Q(s，a)Q(s，a)，理论上对于任意的(s，a)(s，a)我们都可以由公式求出它的值函数，即用一个查询表lookuptable来表示值函数。但是当state或action的个数过多时，分别去求每一个值函数会很慢，因此我们用函数近似的方式去估计值函数。
S3、强化学习模块通过强化学习，生成强化融合模型；
如图3所示，在一个实施例中，所述强化学习模块通过强化学习，生成强化融合模型还包括以下步骤：
S31、感知强化学习模型，并提供当前环境下的状态信息；
S32、从环境中获取目标观测信息；
S33、对强化学习模型进行决策，将当前状态映射到相应动作；
S34、基于预期回报评判动作价值，并生成强化融合模型。
S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；
具体的，权值是A节点和B节点模型融合时使用的权值融合，若权值为[0.3，0.7]，则融合后的模型＝0.3*A+0.7*B。
在一个实施例中，所述联邦学习C中心节点使用强化融合模型，采用摒弃差的模型来对A节点和B节点的模型进行模型融合还包括以下步骤：
S41、联邦学习C中心节点的强化融合模型在联邦机制上会分发给各个机构反馈；
S42、激励更多机构加入这一数据联邦，并保护多个机构间共同建模的隐私；
S43、采用闭环的学习机制，以一个共识机制奖励贡献数据多的机构，并采用采用摒弃差的模型来对A节点和B节点的模型进行模型融合。
在一个实施例中，所述摒弃差的模型的步骤还包括将A节点和B节点中差的模型进行剔除。
S5、将融合后的模型下发到A节点和B节点。
S6、重复步骤S1到S5，直至模型训练完成。
为了方便理解本发明的上述技术方案，以下就本发明在实际过程中的工作原理或者操作方式进行详细说明。
综上所述，借助于本发明的上述技术方案，本发明中联邦学习本质上是一种分布式机器学习技术，其目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升模型的效果，同时，由于各节点数据和设备等异构性问题，使用强化学习的方式来改进联邦学习的共同建模过程，使之能够具有高效性与高准确率；本发明提出一种基于强化联邦学习的电力行业起重作业违章检测方法，使用联邦学习在提高模型数据量，同时保证安全性，使用强化学习保证联邦学习共同建模效果，选择优质节点共同建立模型，降低异构性问题的影响。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，该方法包括以下步骤：
S1、使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型；
S2、将步骤S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值；
S3、强化学习模块通过强化学习，生成强化融合模型；
S4、联邦学习C中心节点使用强化融合模型采用加权平均来对A节点和B节点的模型进行模型融合；
S5、将融合后的模型下发到A节点和B节点；
S6、重复步骤S1到S5，直至模型训练完成。
2.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，使用联邦学习C，对A节点和B节点使用本地数据进行训练并得到模型：
S11、联邦学习C把公钥分发给A节点和B节点，用以对训练过程中需要交换的数据进行加密；
S12、A节点和B节点之间以加密形式交互用于计算梯度的中间结果；
S13、A节点和B节点分别基于加密的梯度值进行计算，同时B节点根据其标签数据计算损失，并把结果汇总给联邦学习C，联邦学习C通过汇总结果计算总梯度值并将其解密；
S14、联邦学习C将解密后的梯度分别回传给A节点和B节点，A节点和B节点根据梯度更新各自模型的参数。
3.根据权利要求2所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述模型的训练过程中，A节点和B节点各自的数据均保留在本地，且训练过程中的数据交互也不会导致数据隐私泄露，A节点和B节点会在在联邦学习的帮助下得以实现合作训练模型。
4.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述将S1中得到的模型输入强化学习模块，使用强化学习DQN进行模型融合，调整A节点和B节点模型的权值还包括以下步骤：
S21、强化学习DQN使用神经网络来近似值函，即神经网络的输入是函数值state ss，输出是函数值Q(s，a)，
S22、通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action；
S23、根据Rew去更新值函数网络的参数，重复步骤S21至S22并进行模型融合。
5.根据权利要求4所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述通过神经网络计算出值函数后，强化学习DQN使用∈-greedy∈-greedy策略来输出函数值action还包括以下步骤：
S221、通过环境给出一个函数值obs，智能体根据值函数网络得到关于这个obs的所有函数值Q(s，a)Q(s，a)；
S222、利用∈-greedy∈-greedy选择函数值action并做出决策，环境接收到此函数值action后会给出一个奖励函数值Rew及下一个obs。
6.根据权利要求5所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述智能体根据值函数网络得到关于这个obs的所有函数值的Q(s，a)Q(s，a)的估算公式如下：
Q(s，a)Q(s，a)≈^Q(s，a，w)≈Qπ(s，a)Q^(s，a，w)≈Qπ(s，a)。
7.根据权利要求6所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述强化学习DQN的算法如下：
初始化Q(s，a)，Vs∈S，a∈A(s)，且Q(终止状态，)＝0；
重复，对于每个片段；
初始化状态S；
重复，对于每个片段的每一步；
根据Q选择一个S处的动作A；
执行动作A，观测R，S'；
Q(S，A)←Q(S，A)+a(R+γmaxg Q(S'，a)-Q(S，A))；
S←S'；
直到S是终止状态并收敛。
8.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述强化学习模块通过强化学习，生成强化融合模型还包括以下步骤：
S31、感知强化学习模型，并提供当前环境下的状态信息；
S32、从环境中获取目标观测信息；
S33、对强化学习模型进行决策，将当前状态映射到相应动作；
S34、基于预期回报评判动作价值，并生成强化融合模型。
9.根据权利要求1所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述联邦学习C中心节点使用强化融合模型，采用摒弃差的模型来对A节点和B节点的模型进行模型融合还包括以下步骤：
S41、联邦学习C中心节点的强化融合模型在联邦机制上会分发给各个机构反馈；
S42、激励更多机构加入这一数据联邦，并保护多个机构间共同建模的隐私；
S43、采用闭环的学习机制，以一个共识机制奖励贡献数据多的机构，并采用采用摒弃差的模型来对A节点和B节点的模型进行模型融合。
10.根据权利要求9所述的一种基于强化联邦学习的电力行业起重作业违章检测方法，其特征在于，所述摒弃差的模型的步骤还包括将A节点和B节点中差的模型进行剔除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110963263.2A CN113673696B (zh) | 2021-08-20 | 2021-08-20 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110963263.2A CN113673696B (zh) | 2021-08-20 | 2021-08-20 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113673696A true CN113673696A (zh) | 2021-11-19 |
| CN113673696B CN113673696B (zh) | 2024-03-22 |
Family
ID=78544936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110963263.2A Active CN113673696B (zh) | 2021-08-20 | 2021-08-20 | 一种基于强化联邦学习的电力行业起重作业违章检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673696B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037521A (zh) * | 2021-11-25 | 2022-02-11 | 工银科技有限公司 | 融资预授信方法、装置、设备及介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130290223A1 (en) * | 2012-04-27 | 2013-10-31 | Yahoo! Inc. | Method and system for distributed machine learning |
| CN109711529A (zh) * | 2018-11-13 | 2019-05-03 | 中山大学 | 一种基于值迭代网络的跨领域联邦学习模型及方法 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN110782042A (zh) * | 2019-10-29 | 2020-02-11 | 深圳前海微众银行股份有限公司 | 横向联邦和纵向联邦联合方法、装置、设备及介质 |
| CN111091200A (zh) * | 2019-12-20 | 2020-05-01 | 深圳前海微众银行股份有限公司 | 训练模型的更新方法、系统、智能体、服务器及存储介质 |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN112418434A (zh) * | 2020-11-06 | 2021-02-26 | 中国石油大学(华东) | 一种基于强化学习的联邦学习模型融合策略 |
| CN112465151A (zh) * | 2020-12-17 | 2021-03-09 | 电子科技大学长三角研究院(衢州) | 一种基于深度强化学习的多智能体联邦协作方法 |
| CN112598150A (zh) * | 2020-11-09 | 2021-04-02 | 西安君能清洁能源有限公司 | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 |
| CN112668128A (zh) * | 2020-12-21 | 2021-04-16 | 国网辽宁省电力有限公司物资分公司 | 联邦学习系统中终端设备节点的选择方法及装置 |
| CN112712182A (zh) * | 2021-03-29 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 一种基于联邦学习的模型训练方法、装置及存储介质 |
| US20210150269A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | Anonymizing data for preserving privacy during use for federated machine learning |
| CN113033624A (zh) * | 2021-03-08 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的工业图像故障诊断方法 |
| CN113112026A (zh) * | 2021-04-02 | 2021-07-13 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 一种联邦学习模型优化方法及装置 |
| CN113191484A (zh) * | 2021-04-25 | 2021-07-30 | 清华大学 | 基于深度强化学习的联邦学习客户端智能选取方法及系统 |
| US11080602B1 (en) * | 2020-06-27 | 2021-08-03 | Sas Institute Inc. | Universal attention-based reinforcement learning model for control systems |
-
2021
- 2021-08-20 CN CN202110963263.2A patent/CN113673696B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130290223A1 (en) * | 2012-04-27 | 2013-10-31 | Yahoo! Inc. | Method and system for distributed machine learning |
| CN109711529A (zh) * | 2018-11-13 | 2019-05-03 | 中山大学 | 一种基于值迭代网络的跨领域联邦学习模型及方法 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及系统 |
| CN110782042A (zh) * | 2019-10-29 | 2020-02-11 | 深圳前海微众银行股份有限公司 | 横向联邦和纵向联邦联合方法、装置、设备及介质 |
| US20210150269A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | Anonymizing data for preserving privacy during use for federated machine learning |
| CN111091200A (zh) * | 2019-12-20 | 2020-05-01 | 深圳前海微众银行股份有限公司 | 训练模型的更新方法、系统、智能体、服务器及存储介质 |
| US11080602B1 (en) * | 2020-06-27 | 2021-08-03 | Sas Institute Inc. | Universal attention-based reinforcement learning model for control systems |
| CN112418434A (zh) * | 2020-11-06 | 2021-02-26 | 中国石油大学(华东) | 一种基于强化学习的联邦学习模型融合策略 |
| CN112598150A (zh) * | 2020-11-09 | 2021-04-02 | 西安君能清洁能源有限公司 | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 |
| CN112348201A (zh) * | 2020-11-11 | 2021-02-09 | 扬州大学 | 一种基于联邦深度强化学习的自动驾驶群车的智能决策实现方法 |
| CN112465151A (zh) * | 2020-12-17 | 2021-03-09 | 电子科技大学长三角研究院(衢州) | 一种基于深度强化学习的多智能体联邦协作方法 |
| CN112668128A (zh) * | 2020-12-21 | 2021-04-16 | 国网辽宁省电力有限公司物资分公司 | 联邦学习系统中终端设备节点的选择方法及装置 |
| CN113033624A (zh) * | 2021-03-08 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的工业图像故障诊断方法 |
| CN112712182A (zh) * | 2021-03-29 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 一种基于联邦学习的模型训练方法、装置及存储介质 |
| CN113112026A (zh) * | 2021-04-02 | 2021-07-13 | 佳讯飞鸿（北京）智能科技研究院有限公司 | 一种联邦学习模型优化方法及装置 |
| CN113191484A (zh) * | 2021-04-25 | 2021-07-30 | 清华大学 | 基于深度强化学习的联邦学习客户端智能选取方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王春凯;冯键;: "联邦学习在保险行业的应用研究", 保险职业学院学报, no. 01, 15 February 2020 (2020-02-15) * |
| 王晓昌 等: "基于联邦深度强化学习的车联网资源分配", 《电子测量技术》, vol. 40, no. 10, pages 114 - 120 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037521A (zh) * | 2021-11-25 | 2022-02-11 | 工银科技有限公司 | 融资预授信方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113673696B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | DeepFed: Federated deep learning for intrusion detection in industrial cyber–physical systems | |
| CN112733967B (zh) | 联邦学习的模型训练方法、装置、设备及存储介质 | |
| CN112383396B (zh) | 一种联邦学习模型训练方法及系统 | |
| Wang et al. | An efficient and privacy-preserving outsourced support vector machine training for internet of medical things | |
| US11205137B2 (en) | Distributed training in a parameter dataset | |
| CN110572253A (zh) | 一种联邦学习训练数据隐私性增强方法及系统 | |
| Zhang et al. | A double-blind anonymous evaluation-based trust model in cloud computing environments | |
| WO2021092980A1 (zh) | 纵向联邦学习优化方法、装置、设备及存储介质 | |
| Mao et al. | Spread of information with confirmation bias in cyber-social networks | |
| CN107567700A (zh) | 使用基于密钥的加入协议的物联网组形成 | |
| CN111460478B (zh) | 一种面向协同深度学习模型训练的隐私保护方法 | |
| CN103688490B (zh) | 一种保护路径计算方法、相关设备和系统 | |
| CN106203956A (zh) | 基于云计算的项目管理系统 | |
| CN113673696A (zh) | 一种基于强化联邦学习的电力行业起重作业违章检测方法 | |
| CN112613618A (zh) | 一种安全联邦学习逻辑回归算法 | |
| Zhou et al. | Securing federated learning enabled NWDAF architecture with partial homomorphic encryption | |
| Plesa et al. | A key agreement protocol based on spiking neural P systems with anti-spikes | |
| CN106559782B (zh) | 基于混沌神经网络公钥加密算法的异构传感网加密方法 | |
| CN114462626A (zh) | 联邦模型训练方法、装置、终端设备以及存储介质 | |
| Khalid et al. | Quantum Network Engineering in the NISQ Age: Principles, Missions, and Challenges | |
| Wang et al. | Privacy-preserving distributed online stochastic optimization with time-varying distributions | |
| CN113657616B (zh) | 联邦学习模型的更新方法和装置 | |
| CN114444659A (zh) | 一种基于图计算的联邦学习方法和系统 | |
| Abbas et al. | Exploring deep federated learning for the internet of things: A gdpr-compliant architecture | |
| CN112054891A (zh) | 基于区块链的共有用户确定方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |