CN115459982A - 一种电力网络虚假数据注入攻击检测方法 - Google Patents

一种电力网络虚假数据注入攻击检测方法 Download PDF

Info

Publication number
CN115459982A
CN115459982A CN202211067124.2A CN202211067124A CN115459982A CN 115459982 A CN115459982 A CN 115459982A CN 202211067124 A CN202211067124 A CN 202211067124A CN 115459982 A CN115459982 A CN 115459982A
Authority
CN
China
Prior art keywords
agent
data
actor
intelligent agent
critic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211067124.2A
Other languages
English (en)
Inventor
潘裕庆
张苏宁
薛劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202211067124.2A priority Critical patent/CN115459982A/zh
Publication of CN115459982A publication Critical patent/CN115459982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种电力网络虚假数据注入攻击检测方法，包括：以强化学习的方式对环境建立深度学习模型，智能体与环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将多元组收集至经验池，作为后续训练的采样轨迹；将经验池中的采样轨迹分别输入至行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化深度学习模型的数据检测功能。本发明提供的检测方法利用长短期记忆网络模块将历史的状态输入也作为检测的依据，提升了系统对于注入攻击的检测识别准确率。

Description

一种电力网络虚假数据注入攻击检测方法
技术领域
本发明涉及网络数据安全技术领域，尤其涉及一种电力网络虚假数据注入攻击检测方法。
背景技术
随着社会的高速发展与可再生能源的使用，社会的用电量也急剧增大，作为国民经济建设的基础，国家电网承担着维护国家能源体系与社会发展的责任，为了满足日益多样化的用户需求与提升智能化水平，世界不少国家都提出了传统电网向智能电网转型的规划与方案。智能电网是一个完全自动化的电力传输网络，它能够监视和控制每个用户和电网节点，保证从电厂到终端用户整个输配电过程中所有节点之间的信息和电能的双向流动。通过融合电力流、信息流与业务流，智能电网能够合理地分配用户需求的电能质量并降低系统的总体运营成本。
然而，现有的智能电网大都采取信息和电力网络相互依存的架构，在这种情况下，局部的恶意攻击也可能威胁整个电力系统的安全。虚假数据注入攻击是一种较为常见的恶意攻击，由于其攻击目的在于破坏数据地完整性，因此可以绕过传统的状态监测机制，直接干扰电网控制中心的决策。虚假数据注入攻击给当前智能电网的安全性带来了极大的威胁。目前，检测虚假数据攻击主要采取状态估测与差值判断的方法，通过计算状态预测前后的差值判断数据是否存在错误。然而这种方法只使用单步的特征进行判断，忽略了数据所具有的时间序列特点，所以并不能有效的检测攻击。尤其在电力网络中，由于其数据具有时序性的特点，因此亟需一种能充分利用时间序列数据的虚假数据注入攻击检测方法。
最大熵离线式行动者评论家方法结合了离线式策略、行动者评论家方法以及最大熵，利用了离线式策略提高样本效率，利用最大化熵来保证稳定性和探索，因此，方法效果好且稳定性高。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了克服现有技术存在的不足，本发明提供一种电力网络虚假数据注入攻击检测方法，具体技术方案如下：
一方面，提供了一种电力网络虚假数据注入攻击检测方法，包括以下步骤：以强化学习的方式对环境建立深度学习模型，其中，所述强化学习采用基于最大熵离线式行动者评论家方法进行模型的迭代更新，所述环境为电力系统被虚假数据注入攻击；在所述深度学习模型中，智能体与所述环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将所述多元组收集至经验池，作为后续训练的采样轨迹；
所述多元组包括状态值、智能体的判断、奖励值以及下一步状态，其中，所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前电力系统是否受到攻击的判断，在所述智能体做出决策之后，电力系统进入下一步状态，所述奖励值为所述智能体在交互中获得的对应奖励；
所述智能体包括行动者智能体和评论家智能体，所述行动者智能体和评论家智能体均包括长短期记忆网络模块和多层线性网络模块；将所述经验池中的采样轨迹分别输入至所述行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得所述行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化所述深度学习模型的数据检测功能。
进一步地，所述环境为针对自动电压控制的虚假数据注入攻击，所述状态值为电力系统的观测值，其包括母线上的电压幅值、总线功率注入值、节点间的真实功率、无功功率；所述智能体决策获得的对应奖励的计算方式如下：
A.若数据被篡改，智能体判定为受到攻击，则智能体得到奖励值a；
B.若数据被篡改，智能体判定为未受到攻击，则智能体得到奖励值b；
C.若数据未被篡改，智能体判定为受到攻击，则智能体得到奖励值c；
D.若数据未被篡改，智能体判定为未受到攻击，则智能体得到奖励值d；
其中，a>d>0，c<b<0。
进一步地，在所述长短期记忆网络模块中，其对应的输入为状态值zt和历史输入信息的留存特征ht-1，对应的输出是提取的特征pt，并根据提取的特征pt得到本次输出对应的历史信息的存留特征ht。
进一步地，使用多层线性网络模块对所述长短期记忆网络模块提取的特征继续提取特征并做出判断，根据判断的离散属性，最终行动者的输出为一个分类分布，从该分类分布中采样以得到所述智能体对于当前数据是否被篡改的判断，执行判断之后，环境将返回下一步状态。
进一步地，若每次从经验池采样的轨迹集合为B，则所述行动者智能体的损失函数由评论家对状态动作对的Q值评估和行动者输出的熵组成，其计算公式如下所示，
Figure BDA0003828061180000031
其中ψi对应第i个评论家网络，α对应网络输出分布的熵，
Figure BDA0003828061180000032
对应输入状态为z时行动者网络的输出。
进一步地，所述评论家智能体的损失函数计算公式如下所示，
Figure BDA0003828061180000033
其中，γ代表折扣系数，V对应状态zt+1的价值。
进一步地，根据所述行动者智能体和评论家智能体的损失函数计算损失之后，再使用梯度下降方法计算梯度，以此指导智能体中网络参数的更新。
进一步地，所述行动者智能体和评论家智能体内部结构相同，而两者输入输出的维度不同。
又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的检测方法。
再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的检测方法。
与现有技术相比，本发明具有下列优点：采用强化学习的方法进行攻击检测，在网络中加入长短期记忆网络模块，将历史的状态输入也作为检测的依据，以提升系统对于注入攻击的检测识别准确率。
附图说明
图1是本发明实施例提供的电力网络虚假数据注入攻击检测方法中模型架构示意图；
图2是本发明实施例提供的电力网络虚假数据注入攻击检测方法中行动者智能体内部结构示意图；
图3是本发明实施例提供的电力网络虚假数据注入攻击检测方法中评论家智能体内部结构示意图；
图4是本发明实施例提供的电力网络虚假数据注入攻击检测方法中长短期记忆网络模块框架示意图；
图5是本发明实施例提供的电力网络虚假数据注入攻击检测方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
强化学习是一种“试错型”的机器学习方法，在与环境的交互过程中逐渐提升智能体的表现。与传统的机器学习方法相比，强化学习并不需要准确无误的标签，只需针对性的设计奖励函数即可引导智能体的训练方向。基于最大熵离线式行动者评论家方法是强化学习中的一种方法，它在优化策略以获取更高累计收益的同时，也会最大化策略的熵，避免智能体陷入局部最优。同时，软行动者评论家方法采取了双评论家网络的架构，能够有效避免智能体陷入估值过大的问题，同时该方法并不需要预先知道环境的状态转移信息，能够解决一系列随机环境问题。
在本发明的一个实施例中，提供了一种电力网络虚假数据注入攻击检测方法，包括以下步骤：以强化学习的方式对环境建立深度学习模型，其中，所述强化学习采用基于最大熵离线式行动者评论家方法进行模型的迭代更新，所述环境为电力系统被虚假数据注入攻击；在所述深度学习模型中，参见图1，智能体与所述环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将所述多元组收集至经验池，作为后续训练的采样轨迹；
所述多元组包括状态值、智能体的判断、奖励值以及下一步状态，其中，所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前电力系统是否受到攻击的判断，在所述智能体做出决策之后，电力系统进入下一步状态，所述奖励值为所述智能体在交互中获得的对应奖励；
所述智能体包括行动者智能体和评论家智能体，所述行动者智能体和评论家智能体内部结构相同，而两者输入输出的维度不同。参见图2与图3，所述行动者智能体和评论家智能体均包括长短期记忆网络模块(Long Short-Term Memory，LSTM)和多层线性网络模块(Multilayer Perceptron，MLP)；将所述经验池中的采样轨迹分别输入至所述行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得所述行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化所述深度学习模型的数据检测功能。
本实施例以强化学习的方式对环境进行建模，替代之前的单步状态估计方法，采用强化学习中的基于最大熵离线式行动者评论家方法进行虚假数据注入攻击的检测，利用数据之间的前后序列关系来判定系统是否受到攻击，提升系统对于注入攻击的检测识别准确率。
具体地，本实施例包括以下步骤：
(1)建模及初始化模型
首先，以强化学习的方式对环境进行建模，将多元组设为四元组。以基于最优潮流模型的自动电压控制为例，给出相应的强化学习中的四元组(z，y，b，z’)的定义，其中，状态值(z):电力系统的观测值，具体包含母线上的电压幅值、总线功率注入值、节点间的真实功率、无功功率等观测信息与最优潮流模型做出的决策信息；智能体判断(y):智能体对于当前系统是否受到攻击的判断；下一步状态(z’)：最优潮流模型做出决策之后电力系统进入的下一个状态以及最优潮流模型的下一步决策的组合；奖励值(b):智能体在该次交互中获得的奖励，具体计算方式如下：
数据被篡改，智能体判定为受到攻击，智能体得到+1奖励；
数据被篡改，智能体判定为未受到攻击，智能体得到-1奖励；
数据未被篡改，智能体判定为受到攻击，智能体得到-10奖励；
数据未被篡改，智能体判定为未受到攻击，智能体得到0.1奖励。
随后初始化行动者智能体中的行动者网络φ(z)、评论家智能体中的评论家网络ψ(z，y)以及经验池U，考虑到环境中观测值暗含的时间序列关系，行动者与评论家智能体设计中均包含考虑历史输入特征的长短期记忆网络模块。
(2)数据收集
接下来使用行动者网络与仿真环境进行交互收集数据。环境的状态值传入网络之后，首先经过LSTM模块，参见图4，其对应的输入为状态值zt和历史输入信息的留存特征ht-1,而输出是提取的特征pt。在LSTM模块中存在三个单元：输入门、遗忘门与输出门，公式(1)-(6)详细描述了网络的传输过程，其中公式(1)描述了遗忘门的传输，这一层决定了应从细胞状态中舍弃哪些特征，公式中Wl与bl分别代表该层网络的权重和偏置，σ对应了sigmoid激活函数；公式(2)与公式(3)描述了输入门的传输，这一层决定了细胞状态中应该保存哪些信息，公式(2)描述了哪些信息需要更新，而公式(3)则完成了对应细胞状态的更新，公式中We与be分别代表确定更新信息网络的权重和偏置，WN与bN分别代表更新信息网络的权重和偏置，tanh对应双曲正切激活函数；公式(4)与公式(5)对应输出门的传输，将细胞状态通过双曲正切激活函数tanh处理之后再和公式(3)得到的输出值相乘即可得到最终提取的特征pt，公式中Wp与bp分别代表该层网络的权重和偏置，pt对应最终网络提取的特征,ht对应加入了本次过程对应的历史信息存留。
ft＝σ(Wl×[ht-1,zt]+bl) (1)
et＝σ(We×[ht-1,zt]+be) (2)
Nt＝ft*Nt-1+et*(tanh(WN×[ht-1,zt]+bN)) (3)
pt＝σ(Wp×[ht-1,zt]+bp) (4)
ht＝pt*tanh(Nt) (5)
接下来再使用多层线性网络继续提取特征并做出判断，由于判断为离散属性，所以最终行动者的输出为一个分类分布，再从该分布中采样即可得到智能体对于当前数据是否被篡改的判断y，执行判断之后，环境将返回下一个状态z’,随后可以将四元组(z,y,b,z’)存入经验池U中。
在收集过程中智能体的决策是通过LSTM完成时序特征的提取，再采用强化学习的模型完成的。
(3)更新网络
当数据收集到设定数目时，可以从经验池中采样并更新网络，考虑到信息的时序关系，在采样时以段为单位进行采样，一段包括多个时序点数据，假设每次采样的轨迹集合为B，则相应的行动者损失函数计算如公式(6)所示，损失由评论家对状态动作对的Q值评估和行动者输出的熵组成，其中ψi对应第i个评论家网络，α对应网络输出分布的熵，避免智能体过拟合，yφ(z)对应输入状态为z时行动者网络的输出，计算方式如公式(7)所示，首先根据网络的输出构造对应概率的分布函数p，再从p中采样得到对应的动作，函数f对应构造分布并采样的过程。
Figure BDA0003828061180000071
Figure BDA0003828061180000072
相应的，也可得到如下公式(8)所示的评论家的损失函数，其中γ代表折扣系数，衡量之后状态的价值对于当前状态的影响；V对应状态zt+1的价值，可进一步展开为行动者在zt+1时获得的预估Q值。
Figure BDA0003828061180000073
根据上述损失函数计算损失之后，再使用梯度下降方法计算梯度，然后使用公式(9)所示的平滑方法更新模型参数，式中，利用
Figure BDA0003828061180000074
和初步的
Figure BDA0003828061180000075
以更新得到新的
Figure BDA0003828061180000076
使用新的
Figure BDA0003828061180000077
参与下一步的更新。
Figure BDA0003828061180000078
其中，当刚开始优化更新时，通过损失函数计算梯度，并利用优化器根据梯度下降的信息以相应更新的网络参数，经过多次的调整，梯度将逐步接近于0，直到网络参数不再变化，说明此时达到最优的网络参数，训练完成。
在更新网络中，使用强化学习中的基于最大熵离线式行动者评论家方法来完成模型的迭代更新。需要说明的是，收集数据至经验池和更新网络可以同步进行，即边收集边更新，也可以分步交替进行。
在本发明的一个实施例中，参见图5，进行环境建模和网络初始化后，将四元组的数据收集至经验池，当经验池已满足训练条件，从经验池中采样来进行神经网络训练，以更新模型，直到模型收敛，否则需要继续收集数据，以丰富训练集的内容，当模型收敛后，则输出模型。
在上述实施例的基础，得到优化模型，进而得到更加精确的判断，从而能够根据准确地进行决策，若判断结果属于预设的警报条件，则认为发现攻击，发出警报，进而提升网络安全。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的检测方法。本设备实施例的思想与上述实施例中检测方法的工作过程属于同一思想，通过全文引用的方式将上述检测方法实施例的全部内容并入本设备实施例，不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的检测方法。本存储介质实施例的思想与上述实施例中检测方法的工作过程属于同一思想，通过全文引用的方式将上述检测方法实施例的全部内容并入本存储介质实施例，不再赘述。
本发明提供的检测方法是基于最大熵离线式行动者评论家的用于电力网络的虚假数据注入攻击检测方法，其不同于传统的基于差值的检测方式，采用强化学习的方法进行攻击检测，通过对环境的建模与时间序列输入特征的提取，并在网络中加入长短期记忆网络模块，将历史的状态输入也作为检测的依据。
以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电力网络虚假数据注入攻击检测方法，其特征在于，包括以下步骤：
以强化学习的方式对环境建立深度学习模型，其中，所述强化学习采用基于最大熵离线式行动者评论家方法进行模型的迭代更新，所述环境为电力系统被虚假数据注入攻击；在所述深度学习模型中，智能体与所述环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将所述多元组收集至经验池，作为后续训练的采样轨迹；
所述多元组包括状态值、智能体的判断、奖励值以及下一步状态，其中，所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前电力系统是否受到攻击的判断，在所述智能体做出决策之后，电力系统进入下一步状态，所述奖励值为所述智能体在交互中获得的对应奖励；
所述智能体包括行动者智能体和评论家智能体，所述行动者智能体和评论家智能体均包括长短期记忆网络模块和多层线性网络模块；将所述经验池中的采样轨迹分别输入至所述行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得所述行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化所述深度学习模型的数据检测功能。
2.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，所述环境为针对自动电压控制的虚假数据注入攻击，所述状态值为电力系统的观测值，其包括母线上的电压幅值、总线功率注入值、节点间的真实功率、无功功率；所述智能体决策获得的对应奖励的计算方式如下：
A.若数据被篡改，智能体判定为受到攻击，则智能体得到奖励值a；
B.若数据被篡改，智能体判定为未受到攻击，则智能体得到奖励值b；
C.若数据未被篡改，智能体判定为受到攻击，则智能体得到奖励值c；
D.若数据未被篡改，智能体判定为未受到攻击，则智能体得到奖励值d；
其中，a>d>0，c<b<0。
3.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，在所述长短期记忆网络模块中，其对应的输入为状态值zt和历史输入信息的留存特征ht-1，对应的输出是提取的特征pt，并根据提取的特征pt得到本次输出对应的历史信息的存留特征ht。
4.根据权利要求3所述的电力网络虚假数据注入攻击检测方法，其特征在于，使用所述多层线性网络模块对所述长短期记忆网络模块提取的特征继续提取特征并做出判断，根据判断的离散属性，最终行动者的输出为一个分类分布，从该分类分布中采样以得到所述智能体对于当前数据是否被篡改的判断，执行判断之后，环境将返回下一步状态。
5.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，若每次从经验池采样的轨迹集合为B，则所述行动者智能体的损失函数由评论家对状态动作对的Q值评估和行动者输出的熵组成，其计算公式如下所示，
Figure FDA0003828061170000021
其中ψi对应第i个评论家网络，α对应网络输出分布的熵，
Figure FDA0003828061170000022
对应输入状态为z时行动者网络的输出。
6.根据权利要求5所述的电力网络虚假数据注入攻击检测方法，其特征在于，所述评论家智能体的损失函数计算公式如下所示，
Figure FDA0003828061170000023
其中，γ代表折扣系数，V对应状态zt+1的价值。
7.根据权利要求6所述的电力网络虚假数据注入攻击检测方法，其特征在于，根据所述行动者智能体和评论家智能体的损失函数计算损失之后，再使用梯度下降方法计算梯度，以此指导所述智能体中网络参数的更新。
8.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，所述行动者智能体和评论家智能体内部结构相同，而两者输入输出的维度不同。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的检测方法。
CN202211067124.2A 2022-09-01 2022-09-01 一种电力网络虚假数据注入攻击检测方法 Pending CN115459982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067124.2A CN115459982A (zh) 2022-09-01 2022-09-01 一种电力网络虚假数据注入攻击检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067124.2A CN115459982A (zh) 2022-09-01 2022-09-01 一种电力网络虚假数据注入攻击检测方法

Publications (1)

Publication Number Publication Date
CN115459982A true CN115459982A (zh) 2022-12-09

Family

ID=84301364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067124.2A Pending CN115459982A (zh) 2022-09-01 2022-09-01 一种电力网络虚假数据注入攻击检测方法

Country Status (1)

Country Link
CN (1) CN115459982A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117527451A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 一种网络入侵检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117527451A (zh) * 2024-01-08 2024-02-06 国网江苏省电力有限公司苏州供电分公司 一种网络入侵检测方法、装置、电子设备及存储介质
CN117527451B (zh) * 2024-01-08 2024-04-02 国网江苏省电力有限公司苏州供电分公司 一种网络入侵检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Fan et al. A novel machine learning method based approach for Li-ion battery prognostic and health management
CN108445752B (zh) 一种自适应选择深度特征的随机权神经网络集成建模方法
CN114297036B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN108133225A (zh) 一种基于支持向量机的覆冰闪络故障预警方法
CN113449919B (zh) 一种基于特征和趋势感知的用电量预测方法及系统
CN112884008B (zh) 一种电力信息采集系统运行状态的预测评估方法及装置
CN114676742A (zh) 一种基于注意力机制和残差网络的电网异常用电检测方法
CN112733997A (zh) 基于woa-lstm-mc的水文时间序列预测优化方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN110580213A (zh) 一种基于循环标记时间点过程的数据库异常检测方法
CN115459982A (zh) 一种电力网络虚假数据注入攻击检测方法
CN113884807B (zh) 基于随机森林和多层架构聚类的配电网故障预测方法
CN116244647A (zh) 一种无人机集群的运行状态估计方法
CN115577637A (zh) 一种知识和数据融合的电源系统剩余寿命预计方法
CN116186633A (zh) 一种基于小样本学习的用电异常诊断方法和系统
CN108459933B (zh) 一种基于深度递归网络的大数据计算机系统故障检测方法
CN116842459B (zh) 一种基于小样本学习的电能计量故障诊断方法及诊断终端
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
CN116303786B (zh) 一种基于多维数据融合算法的区块链金融大数据管理系统
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
CN114841063A (zh) 一种基于深度学习的航空发动机剩余寿命预测方法
CN114021465A (zh) 基于深度学习的电力系统鲁棒状态估计方法及系统
CN113837443A (zh) 基于深度BiLSTM的变电站线路负载预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination