CN115473674A - 一种基于强化学习和脉冲网络的电力网络入侵检测方法 - Google Patents

一种基于强化学习和脉冲网络的电力网络入侵检测方法 Download PDF

Info

Publication number
CN115473674A
CN115473674A CN202210932287.6A CN202210932287A CN115473674A CN 115473674 A CN115473674 A CN 115473674A CN 202210932287 A CN202210932287 A CN 202210932287A CN 115473674 A CN115473674 A CN 115473674A
Authority
CN
China
Prior art keywords
agent
network
intrusion detection
neural network
invaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210932287.6A
Other languages
English (en)
Inventor
孟凡军
王震宇
薛劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202210932287.6A priority Critical patent/CN115473674A/zh
Publication of CN115473674A publication Critical patent/CN115473674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于强化学习和脉冲网络的电力网络入侵检测方法，包括：以强化学习的方式对网络入侵检测问题建立深度学习模型，所述深度学习模型利用神经网络进行判断，神经网络包括线性网络和脉冲神经网络；依据入侵检测的数据集构建强化学习的多元组，使用智能体与环境进行交互并将数据以多元组为单位存入经验回放单元，以实现所述经验回放单元的轨迹采样；所述神经网络通过智能体提取输入特征，利用采样的轨迹进行线性网络的训练与脉冲神经网络参数的更新，进而得到优化的判断结果。本发明提供的强化学习入侵检测方法利用脉冲神经网络，使得模型判别具有更强的生物学基础和鲁棒性，并提高了入侵检测的准确率。

Description

一种基于强化学习和脉冲网络的电力网络入侵检测方法
技术领域
本发明涉及网络安全技术领域，尤其涉及一种基于强化学习和脉冲网络的电力网络入侵检测方法。
背景技术
随着互联网的发展，人们在享受网络带来的诸多便利之外，同时也面临着更多风险，黑客侵入网络盗取数据的案例屡见不鲜，网络安全问题已经日益成为互联网领域的突出问题之一，需要行之有效的方法切实提高网络的安全性。目前，在电力系统的各大部门均部署了电力信息网络，管理着电力系统的各主要领域，涉及生产、配送、控制和用户数据收集等。电力信息网络的安全性极为重要。但是近年来，针对电力信息网络的攻击越来越频繁、攻击方法种类也层出不穷，使网络随时面临着各类安全问题。这就对保障电力信息网络安全的方法提出了更高的要求。
入侵检测是一种帮助系统应对网络攻击的有效方式，它扩展了系统管理员的安全管理能力，提高了信息安全基础结构的完整性。入侵检测通过从计算机网络系统中的若干关键点收集的信息，分析查看网络中是否有违反安全策略的行为和遭到袭击的迹象，进而发出警报或采取主动反应措施。与其它安全策略不同的是，入侵检测是一种主动的安全防护技术，在不影响网络和主机性能的情况下进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。
然而，传统的基于规则的入侵检测系统在面临当下复杂且多样的攻击方式时往往会力不从心，很容易遗漏未被规则收录的入侵，很难胜任网络的防护工作；而基于机器学习(包括深度学习)的入侵检测方法虽然有学习能力、智能等优点，但是也存在着很多不足，主要表现为：需要大量带标签的数据、容易过拟合于训练数据、在面对针对性的对抗样本时准确率会急剧下降、场景适应性弱，因此需要新方法来构建入侵检测系统。
强化学习是机器学习的一个分支，具有无特定数据、不需要给出“正确”标签作为监督信息、只需要奖励信号，并通过调整策略来取得最大化的期望回报。强化学习兼备了监督学习和无监督学习的优势，在控制和决策领域获得较多的研究和应用。深度强化学习结合了深度学习和强化学习，利用了深度学习的感知能力，来解决策略和值函数的建模问题，然后使用误差反向传播方法来优化目标函数，同时利用了强化学习的决策能力来定义问题和优化目标。深度强化学习在一定程度上具备了解决复杂问题的通用智能，并在一些领域取得了成功。但是在使用深度强化学习解决具体问题时需要根据实际情况设计模型，来提高最终表现。
脉冲神经网络模型使用最拟合生物神经元机制的模型来进行计算，与神经科学的结合更加紧密，更贴近与人脑的工作机理，将脉冲神经网络与深度强化学习方法结合起来会提高整体模型的表现。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了克服现有技术存在的不足，本发明提供一种基于强化学习和脉冲网络的电力网络入侵检测方法，具体技术方案如下：
提供了一种基于强化学习和脉冲网络的电力网络入侵检测方法，包括以下步骤：
以强化学习的方式对网络入侵检测问题建立深度学习模型，并初始化环境，所述深度学习模型利用神经网络进行判断，所述神经网络由线性网络和脉冲神经网络构成；
依据入侵检测的数据集构建强化学习的多元组，多元组包括状态值、智能体的判断、奖励值以及环境返回的下一个状态值，其中所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前输入数据受到攻击类型的判断，在智能体做出决策之后，环境才给出下一个状态值，所述奖励值为通过智能体决策获得的对应奖励；
使用智能体与环境进行交互并将数据以多元组为单位存入经验回放单元，以实现所述经验回放单元的轨迹采样；神经网络通过智能体提取输入特征，利用采样的轨迹进行线性网络的训练与脉冲神经网络参数的更新，进而得到优化的判断结果。
进一步地，所述智能体决策获得的对应奖励的计算函数如下：
A.系统被入侵，智能体判定为被入侵且类型判断准确：智能体得到奖励值a；
B.系统被入侵，智能体判定为被入侵且类型判断错误：智能体得到奖励值b；
C.系统被入侵，智能体判定为未被入侵：智能体得到奖励值c；
D.系统未被入侵，智能体判定为未被入侵：智能体得到奖励值d；
E.系统未被入侵，智能体判定为被入侵：智能体得到奖励值e；
其中，a>b>0，a>d>0，c<e<0。
进一步地，所述输入特征包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量特征及基于主机的网络流量统计特征；所述深度学习模型根据所述数据集的输入特征将入侵检测的判断结果归结为若干类标签，所述标签包括正常数据、拒绝服务攻击、探查攻击、未授权的本地超级用户特权访问和远程主机的未授权访问。
进一步地，假设当前时间步为k，对于智能体的输入特征，采用动态统计均值方差的方式进行数据的标准化，以得到标准化的输入特征；生成一个0至1之间的随机数，若该随机数小于预设的随机探索概率，则随机输出一个判断值，否则将标准化的输入特征作为智能体的输入传入所述神经网络。
进一步地，采用以下公式得到智能体的判断，
Figure BDA0003781968130000031
其中，
Figure BDA0003781968130000032
对应训练的智能体，Ni对应第i层线性网络(i＝1,2,…)，P对应脉冲神经单元，
Figure BDA0003781968130000033
对应标准化的输入特征，yk对应智能体的判断；
依据奖励计算函数计算智能体获得的奖励，然后获得环境给出的下一个观测值，以构成一个多元组。
进一步地，使用深度学习模型计算所述输入特征对应轨迹的时序差分误差，将相应的多元组和时序差分误差一起存入经验回放单元。
进一步地，对所述经验回放单元采取带权重的经验回放，所述经验回放单元里的每条轨迹都对应一个采样概率，当所述经验回放单元中的轨迹数目达到预先设置数目时，优先替换采样概率最低的轨迹。
进一步地，使用随机梯度下降方法更新所述线性网络的权值。
进一步地，使用粒子群方法对所述脉冲神经网络进行更新。
进一步地，所述智能体的激活函数采取的是基于LIF神经元的脉冲神经网络。
与现有技术相比，本发明具有下列优点：利用脉冲神经网络，使得模型判别具有更强的生物学基础和鲁棒性，并提高了入侵检测的准确率。
附图说明
图1是本发明实施例提供的基于强化学习和脉冲网络的电力网络入侵检测方法模型架构示意图；
图2是本发明实施例提供的基于强化学习和脉冲网络的电力网络入侵检测方法的神经网络示意图；
图3是本发明实施例提供的基于强化学习和脉冲网络的电力网络入侵检测方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
强化学习是一种基于“试错型”的机器学习方法，它在与环境的交互过程中进行无监督学习，学习如何获得最大的累计式奖励。与监督学习相比，强化学习并不需要准确无误的标签，只需要针对性的设计奖励函数引导智能体进行训练，让智能体在与环境的交互过程中实现自我学习。当前的强化学习智能体通常由深度神经网络组成，在前向传播中只会输出一个值，对噪声、不完整和误导性输入数据具有高度敏感性，而脉冲神经网络在前向传播中传递的是一个个脉冲，具有更强的生物学基础和鲁棒性。
在本发明的一个实施例中，提供了一种基于强化学习和脉冲网络的电力网络入侵检测方法，参见图1，包括以下步骤：
以强化学习的方式对网络入侵检测问题建立深度学习模型，并初始化环境，所述深度学习模型利用神经网络进行判断，所述神经网络由多个线性网络和脉冲神经网络构成；
依据入侵检测的数据集构建强化学习的多元组，多元组包括状态值、智能体的判断、奖励值以及环境返回的下一个状态值，其中所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前输入数据受到攻击类型的判断，在智能体做出决策之后，环境才给出下一个状态值，所述奖励值为通过智能体决策获得的对应奖励；其中，所述智能体决策获得的对应奖励的计算函数如下：
A.系统被入侵，智能体判定为被入侵且类型判断准确：智能体得到奖励值a；
B.系统被入侵，智能体判定为被入侵且类型判断错误：智能体得到奖励值b；
C.系统被入侵，智能体判定为未被入侵：智能体得到奖励值c；
D.系统未被入侵，智能体判定为未被入侵：智能体得到奖励值d；
E.系统未被入侵，智能体判定为被入侵：智能体得到奖励值e。
使用智能体与环境进行交互并将数据以多元组为单位存入经验回放单元，以实现所述经验回放单元的轨迹采样；所述神经网络通过智能体提取输入特征，利用采样的轨迹进行线性网络的训练并完成脉冲神经网络参数的更新，进而得到优化的判断结果。
其中，a>b>0，a>d>0，c<e<0。
参见图2和图3，下面以多元组为四元组为例进行具体步骤说明：
步骤一：环境建模及初始化
首先，将入侵检测问题建模为强化学习的交互式环境。以入侵检测常用数据集NSL-KDD数据集为例，其输入特征包含41个维度，主要包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量特征及基于主机的网络流量统计特征；对应判别的标签可以分为五类：正常数据、拒绝服务攻击、探查攻击、未授权的本地超级用户特权访问(User-to-Root，U2R)和远程主机的未授权访问(Remote-to-User，R2L)。依据该数据集给出强化学习中四元组(z,y,b,z’)的定义，状态值(z)：环境给出的观测值，即数据集的41个输入特征；智能体的判断(y)：智能体对于当前输入数据受到攻击类型的判断；环境返回的下一个状态值(z’)：在智能体做出决策之后，环境给出的下一个状态值；奖励值(b)：智能体决策获得的对应奖励，具体计算方式如下：
系统被入侵，智能体判定为被入侵且类型判断准确：智能体得到+1奖励；
系统被入侵，智能体判定为被入侵且类型判断错误：智能体得到+0.1奖励；
系统被入侵，智能体判定为未被入侵：智能体得到-10奖励；
系统未被入侵，智能体判定为未被入侵：智能体得到+0.1奖励；
系统未被入侵，智能体判定为被入侵：智能体得到-1奖励。
随后初始化智能体的模型
Figure BDA0003781968130000051
智能体的模型副本
Figure BDA0003781968130000052
经验回放单元U、衰减因子γ及随机探索概率ε。
步骤二：收集数据并计算时序差分误差
使用智能体与环境进行交互并将数据以四元组(z,y,b,z’)为单位存入经验回放单元U。假设当前时间步为k,对于智能体的输入zk，采用动态统计均值方差的方式进行数据的标准化，即将数据转化为均值为0方差为1的正态分布。假设当前维护的均值为μk,方差为σk,则对输入数据作如下公式(1)所示的运算，以得到经过标准化的输入
Figure BDA0003781968130000061
然后用如下所示的公式(2)与公式(3)更新维护的均值与方差。
Figure BDA0003781968130000062
Figure BDA0003781968130000063
σk+1＝σk+(zk-σk)*(zk-μk+1) (3)
接着生成一个0-1的随机数，若该随机数小于随机探索概率ε，则随机输出一个判断值，否则将标准化输入
Figure BDA0003781968130000064
作为智能体的输入传入神经网络，因为输入特征相对简单，所以神经网络由多个线性网络构成，中间的激活函数使用脉冲神经网络。
具体的传输过程如下方公式(4)所示，其中
Figure BDA0003781968130000065
对应训练的智能体，Ni对应第i层线性网络(i＝1,2,3)，P对应脉冲神经单元，
Figure BDA0003781968130000066
对应标准化的输入特征，yk对应智能体的判断。智能体的输出为一个长度为5的一维向量，每个数对应每种标签的Q值，将最大的值对应标签作为智能体的判断yk。
Figure BDA0003781968130000067
随后依据上文的奖励计算函数计算智能体获得的奖励，然后获得环境给出的下一个观测值z’k,由此即可构成一个四元组(zk,yk,bk,z’k)，同时使用模型计算该条轨迹的时序差分误差(TD-error)，TD-error衡量了当前网络对于状态动作对的Q值估计的精确程度，具体计算方式如公式(5)所示，取即时奖励加上衰减因子倍数的下一个状态的最大估计Q值减去当前状态动作对的估计Q值的绝对值，公式中γ为衰减因子,i代表当前的回合数。最后将四元组和计算得到的TD-error一起存入经验回放单元U，TD-error作为下一步计算采样权值的依据。
Figure BDA0003781968130000068
步骤三：轨迹采样
当经验回放单元U中的轨迹数目达到预先设置数目时，从经验回放单元U中采样轨迹进行更新。为了加快智能体的训练速度与学习进程，采样时采取带权重的经验回放，提升高质量轨迹被采样的概率,用高采样概率的轨迹替换低采样概率的轨迹。经验回放单元里的每条轨迹都对应一个采样概率p，计算方法如公式(6)所示，用收集数据时计算得到的TD-error衡量对应轨迹的价值和对应的采样概率，公式中o为调节系数，用于调整优先级占据的比例，|U|表示当前经验回放单元的轨迹总数。
Figure BDA0003781968130000071
需要说明的是，当经验回放单元即经验池已满之前，都会重复执行步骤二，直到满足经验池已满，然后依据权值进行采样以训练神经网络，直到模型收敛，再输出模型，否则重新返回执行步骤二，再次进行上述流程进行判断是否收敛。
步骤四：模型更新
模型的更新分为两部分：线性网络的更新与脉冲神经网络的更新。
首先是对线性网络的更新。采样完成之后，采用如下公式(7)计算梯度，其中
Figure BDA0003781968130000072
为保存的智能体网络
Figure BDA0003781968130000073
的副本，每隔固定轮次之后拷贝
Figure BDA0003781968130000074
的权值进行更新，用于缓解智能体Q值估值偏大的问题；
Figure BDA0003781968130000075
对应网络
Figure BDA0003781968130000076
对于状态z下采取动作y的估计Q值；B为当前批次采样得到的数据。
Figure BDA0003781968130000077
在计算完梯度之后，使用随机梯度下降方法更新网络的权值，同时为了限制网络的更新速度，采取如下公式(8)所示的滑动平均的方式进行软更新。
Figure BDA0003781968130000078
接着是脉冲神经网络的更新。本实施例使用粒子群方法对脉冲神经网络进行更新，群大小设置为13，每个粒子的适合度由超过100回合的平均奖励给出,粒子群的优化方式如公式(9)所示，i对应群中的第i个粒子，
Figure BDA0003781968130000079
为粒子的当前位置，a为粒子的速度，c1、c2为对应的学习率，rand()为0-1之间的随机数，pbest为自身的最佳过去位置，gbest为整个群或近邻的最佳过去位置，本发明中，粒子位置第i维的值对应缩放脉冲神经网络的第i层。
Figure BDA00037819681300000710
其中，
Figure BDA00037819681300000711
需要说明的是，在上述实施例中，步骤一主要工作是环境的建模和模型的初始化，步骤二主要工作是与环境交互收集数据，步骤三和四主要工作是更新模型。其中，步骤二中智能体的激活函数采取的是脉冲神经网络P，此处的P采取LIF(Leaky Integrate andFired，LIF)神经元的实现方式，它的传输过程如公式(10)-(12)所示，首先，计算输入h，它由多个输入累加得到，随后LIF神经元累积输入h到模电压Em,再计算Em与临界电压Eth差值得到最后的输出脉冲θ。公式中F为单位阶跃函数，满足输出1，不满足输出0，w和b为权值和偏置，其中权值是通过输入特征一系列计算得到的。
Figure BDA0003781968130000081
Em(t)＝Vm(t-1)+h(t)-EthΘ(t) (11)
Θ(t)＝F(Em(t)-Eth) (12)
与传统的人工神经网络不同，脉冲神经网络需要进行一段时间的模拟，以生成脉冲序列并解释所产生的活动，仿真是在离散时间步骤中完成的。
在上述实施例的基础，得到优化模型，进而得到更加精确的判断标签，若该标签属于预设的警报标签范围，则认为发现可疑传输，发出警报，进而提升网络安全。
本发明提供的强化学习入侵检测方法采用脉冲神经网络的方法来进行入侵检测，训练一个引入脉冲神经网络的智能体来判定系统是否被入侵及入侵者的攻击类型，以强化学习的方式对入侵检测问题进行建模，然后使用神经网络提取输入的特征，接着使用深度Q网络进行线性网络的训练，使用粒子群方法更新脉冲神经网络的参数，提升系统对于入侵行为检测的检测准确率和鲁棒性。
以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于强化学习和脉冲网络的电力网络入侵检测方法，其特征在于，包括以下步骤：
以强化学习的方式对网络入侵检测问题建立深度学习模型，并初始化环境，所述深度学习模型利用神经网络进行判断，所述神经网络包括线性网络和脉冲神经网络，其中脉冲神经网络作为线性网络的激活函数；
依据入侵检测的数据集构建强化学习的多元组，多元组包括状态值、智能体的判断、奖励值以及环境返回的下一个状态值，其中所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前输入数据受到攻击类型的判断，在智能体做出决策之后，环境才给出下一个状态值，所述奖励值为通过智能体决策获得的对应奖励；
使用智能体与环境进行交互并将数据以多元组为单位存入经验回放单元，以实现所述经验回放单元的轨迹采样；所述神经网络通过智能体提取输入特征，利用采样的轨迹进行线性网络的训练与脉冲神经网络参数的更新，进而得到优化的判断结果。
2.根据权利要求1所述的电力网络入侵检测方法，其特征在于，所述智能体决策获得的对应奖励的计算函数如下：
A.系统被入侵，智能体判定为被入侵且类型判断准确：智能体得到奖励值a；
B.系统被入侵，智能体判定为被入侵且类型判断错误：智能体得到奖励值b；
C.系统被入侵，智能体判定为未被入侵：智能体得到奖励值c；
D.系统未被入侵，智能体判定为未被入侵：智能体得到奖励值d；
E.系统未被入侵，智能体判定为被入侵：智能体得到奖励值e；
其中，a>b>0，a>d>0，c<e<0。
3.根据权利要求1所述的电力网络入侵检测方法，其特征在于，所述输入特征包括TCP连接的基本特征、TCP连接的内容特征、基于时间的网络流量特征及基于主机的网络流量统计特征；所述深度学习模型根据所述数据集的输入特征将入侵检测的判断结果归结为若干类标签，所述标签包括正常数据、拒绝服务攻击、探查攻击、未授权的本地超级用户特权访问和远程主机的未授权访问。
4.根据权利要求2所述的电力网络入侵检测方法，其特征在于，假设当前时间步为k，对于智能体的输入特征，采用动态统计均值方差的方式进行数据的标准化，以得到标准化的输入特征；生成一个0至1之间的随机数，若该随机数小于预设的随机探索概率，则随机输出一个判断值，否则将标准化的输入特征作为智能体的输入传入所述神经网络。
5.根据权利要求4所述的电力网络入侵检测方法，其特征在于，采用以下公式得到智能体的判断，
Figure FDA0003781968120000021
其中，
Figure FDA0003781968120000022
对应训练的智能体；Ni对应第i层线性网络，i＝1,2,…；P对应脉冲神经单元；
Figure FDA0003781968120000023
对应标准化的输入特征，yk对应智能体的判断；
依据奖励计算函数计算智能体获得的奖励，然后获得环境给出的下一个观测值，以构成一个多元组。
6.根据权利要求5所述的电力网络入侵检测方法，其特征在于，使用深度学习模型计算所述输入特征对应轨迹的时序差分误差，将相应的多元组和时序差分误差一起存入经验回放单元。
7.根据权利要求6所述的电力网络入侵检测方法，其特征在于，对所述经验回放单元采取带权重的经验回放，所述经验回放单元里的每条轨迹都对应一个采样概率，当所述经验回放单元中的轨迹数目达到预先设置数目时，优先替换采样概率最低的轨迹。
8.根据权利要求1所述的电力网络入侵检测方法，其特征在于，使用随机梯度下降方法更新所述线性网络的权值。
9.根据权利要求1所述的电力网络入侵检测方法，其特征在于，使用粒子群方法对所述脉冲神经网络进行更新。
10.根据权利要求1所述的电力网络入侵检测方法，其特征在于，所述智能体的激活函数采取的是基于LIF神经元的脉冲神经网络。
CN202210932287.6A 2022-08-04 2022-08-04 一种基于强化学习和脉冲网络的电力网络入侵检测方法 Pending CN115473674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210932287.6A CN115473674A (zh) 2022-08-04 2022-08-04 一种基于强化学习和脉冲网络的电力网络入侵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210932287.6A CN115473674A (zh) 2022-08-04 2022-08-04 一种基于强化学习和脉冲网络的电力网络入侵检测方法

Publications (1)

Publication Number Publication Date
CN115473674A true CN115473674A (zh) 2022-12-13

Family

ID=84368106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210932287.6A Pending CN115473674A (zh) 2022-08-04 2022-08-04 一种基于强化学习和脉冲网络的电力网络入侵检测方法

Country Status (1)

Country Link
CN (1) CN115473674A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866084A (zh) * 2023-08-30 2023-10-10 国网山东省电力公司信息通信公司 基于强化学习的入侵响应决策方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866084A (zh) * 2023-08-30 2023-10-10 国网山东省电力公司信息通信公司 基于强化学习的入侵响应决策方法及系统
CN116866084B (zh) * 2023-08-30 2023-11-21 国网山东省电力公司信息通信公司 基于强化学习的入侵响应决策方法及系统

Similar Documents

Publication Publication Date Title
Zhu et al. The Bayesian sampler: Generic Bayesian inference causes incoherence in human probability judgments.
Aldwairi et al. An evaluation of the performance of Restricted Boltzmann Machines as a model for anomaly network intrusion detection
Debar et al. A neural network component for an intrusion detection system.
Zhang et al. Effective arterial road incident detection: a Bayesian network based algorithm
Panda et al. Network intrusion detection using naive bayes
CN108400895A (zh) 一种基于遗传算法改进的bp神经网络安全态势评估算法
Liang et al. Modeling Trajectories with Neural Ordinary Differential Equations.
Alsharafat Applying Artificial Neural Network and eXtended Classifier System for Network Intrusion Detection.
Thames et al. Cybersecurity for Industry 4.0 and advanced manufacturing environments with ensemble intelligence
CN115473674A (zh) 一种基于强化学习和脉冲网络的电力网络入侵检测方法
Sheng et al. Water quality prediction method based on preferred classification
CN112733170B (zh) 一种基于证据序列提取的主动信任评估方法
Gnanavel et al. Smart Surveillance System and Prediction of Abnormal Activity in ATM Using Deep Learning
CN114401135B (zh) 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法
CN116094765A (zh) 基于量子生成对抗网络的内部用户异常行为检测与评估方法
Jin et al. Anomaly detection in electricity cyber infrastructures
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
CN114915496A (zh) 基于时间权重和深度神经网络的网络入侵检测方法和装置
Ghanbari Adaptive machine learning and signal processing detection schemes for DDoS attacks
Zhao et al. Compound attack prediction method based on improved algorithm of hidden Markov model
Lian et al. Critical meter identification and network embedding based attack detection for power systems against false data injection attacks
Bouhamed COVID-19 Deaths Previsions With Deep Learning Sequence Prediction: Bacille Calmette-Guérin (BCG) and Tuberculosis Track
Habashy et al. Artificial intelligence approaches for studying the pp interactions at high energy using adaptive neuro-fuzzy interface system
Alsuhibany et al. Detection of attack strategies
CN117834304B (zh) 自主可控的主控网络安全防护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination