CN110324332A - 一种用于微电网在网络攻击下的安全控制方法 - Google Patents

Abstract

本发明涉及一种用于微电网在网络攻击下的安全控制方法，属于电网领域。该方法包括以下步骤：S1：识别网络攻击类型，利用基于累积量的网络攻击算法检测；S2：执行周期性网络攻击抵御决策；S3：执行随机性网络攻击抵御决策。本发明利用基于累积量的网络攻击算法可迅速发现网络攻击，及时应对网络攻击，避免造成因错误决策而带来的经济损失；事件触发方式可减少非必要的状态数据传输，提高了计算效率，减少对有限通讯资源的利用；通过基于事件触发的零极点配置控制器及时解决周期性网络攻击对微电网造成的损害，通过最优控制来解决微电网网络被随机性网络攻击造成的损害，有效抵御网络攻击，保障微电网的正常运行。

Description

一种用于微电网在网络攻击下的安全控制方法

技术领域

本发明属于电网领域，涉及一种用于微电网在网络攻击下的安全控制方法。

背景技术

在当今发展迅速的微电网系统中，由于分布式的发电单元需要利用网络通讯层来进行信 息交换，若通讯层的信息受到环境或者恶意攻击的威胁，微电网的稳定性会大幅下降，甚至 造成整个系统的崩溃，同时造成巨大的经济损失。由于微电网系统兴起不久，现有的技术针 对于微电网的物理层，使微电网系统有更强的鲁棒性，实现高精度和更经济的调度，能抵御 微电网所受到的物理层面的攻击，比如内部故障、天气原因、电力系统环境影响等，然而对 微电网网络信息安全方面局限于评价微电网网络结构的鲁棒性，无法解决网络攻击问题。但 信息层一旦受到攻击所造成控制决策错误，经济调度错误，控制精度低，控制行为过于鲁莽 会使微电网系统内部瓦解，造成巨大的经济损失，这些都是现有对物理层的控制决策不能解 决的。

目前有许多针对微电网网络安全方面的申请专利，如申请号CN201810640459.6，发明名 称为一种电网网络数据安全测试系统及方法，针对智能电网发明出的一种检测智能电网系统 传输信息是否安全的方法；申请号CN201410840412.6，发明名称为一种用于智能电网的数据 安全管理方法，针对智能电网安全提出的一种关于数据存储管理安全的方法；申请号 CN201721693767.2，发明为一种智能电网网络安全防护暨电力调度数据网实训系统，发明内 容为提出一种鲁棒性很强的一种网络信息传输拓扑方式，对于常见的网络攻击可由自身网络 结构抵御。

这些专利或是解决了微电网网络安全的检测问题；或是提出一种如何储存数据而免受网 络攻击的方法，或是提出了一种强有力的网络拓扑结构来防止网络攻击对电网自身产生过大 影响。

但这些技术都没有直接对网络攻击进行防御动作，在实际系统中由于网络攻击的多样性， 单是强有力的拓扑网络也可能无法抵挡所有的攻击，仅仅是检测到了信息网络安全正在遭受 威胁而无法做出技术的应对决策，把信息数据用安全有效的方式管理储存起来，若是网络拓 扑出现故障信息也无法传输。不及时做出针对于微电网的网络信息安全控制策略，则微电网 系统无法运行在正常工作状态下，微电网系统的可靠性降低，一旦被攻击将直接造成经济损 失和安全问题。

发明内容

有鉴于此，本发明的目的在于提供一种用于微电网在网络攻击下的安全控制方法。

为达到上述目的，本发明提供如下技术方案：

一种用于微电网在网络攻击下的安全控制方法，该方法包括以下步骤：

S1：识别网络攻击类型，利用基于累积量的网络攻击算法检测；

S2：执行周期性网络攻击抵御决策；

S3：执行随机性网络攻击抵御决策。

进一步，所述步骤S1具体为：

微电网系统传输网络中的数据以数据包的形式传送，令数据包分别P₁,P₂,P₃,...P_n表示， 其中每个数据包的传送字节数为p₁,...,p_n，流量大小为单位时间内网络中传送的数据量总和 假设在流量采集中某个时间点获取n个数据包，此时流量值T表示为：

设网络数据包的采样时间为t，产生的连续信号序列T(n)为：

T(n)＝[T₁,T₂,T₃…T_n] (2)

流量信号为：

x_i(n)＝[T₁,T₂,T₃,…T_n],n＝1000L/t (3)

特征提取：

对于随机信号X(n)，三阶累积量和四阶累积量的高阶累积量定义为：

其中N₁和N₂是选取样本数目，当n∈[0,N-1]时，只对x_i(n)求和，N₃为了获取累积量的 无偏估计而选择；

到此处已经对网络流量信号进行了分割、量化，得到了每个窗口的流量信号高阶累积值， 再增加信号序列x_i(n)的均值

和方差D(x)＝E{[x-E(x)]²}来提高算法检测率；用均值，方差，三阶累积量和四阶累 积量四个特征值表征每个窗口流量信号x_i(n)，即

x_i(n)＝(E,D,C_3x,C_4x) (7)

通过这四个特征值对比数据库判断出是哪种类型的网络攻击。

进一步，所述步骤S2具体为：

针对周期性的信息丢失，利用周期性网络攻击的特性，流量数据呈周期性的变化，利用 此特性进行基于累积量的网络攻击算法识别，用于描述周期性的网络攻击的数学模型为 其中为来自控制器的控制输入，输出为u(k)，同时实际估计器输出为 y(k)，是微电网的实际控制输入， 表示为攻击控制器的攻击数列， 表示为攻击传感器的攻击数列，k∈Z遭受攻击为1，未遭受 攻击为0；

为保证微电网系统的功率稳定，期望在信息丢失的期间有一个频繁的控制行为，使上一 次控件更新时进程状态的值与当前进程状态的值之间的误差大范围稳定并趋近于零；

设计周期性网络攻击控制器步骤如下：

步骤1.建立系统控制模型如下

其中，x(t)∈Rⁿ表示微电网在t时刻的状态，t_u是上一次控制更新时刻，A是系统状态矩 阵，B是系统输入矩阵；

步骤2.状态反馈控制器设计

令e(t)＝x(t_k)-x(t)表示上一次控制更新时系统状态的值与当前状态的值之间的误差，利 用极点配置设计控制器K₁，使被控系统达到稳定；将误差带入式(8)中，闭环动态系统表 示为：

令x(t)＝T₁x₁(t)，e(t)＝T₁e₁(t)，且T₁ ^-1(A+BK)T₁＝J₁利用Jordan分解来证明系统输入状 态稳定ISS；

其中J₁是Jordan分解后的对角矩阵，证明零极点配置后的控制器保证微电网系统在周期 性网络攻击下的稳定；

步骤3.事件触发条件设计

利用李雅普诺夫函数V＝x^TPx,得出事件触发条件为：

其中，σ∈(0,1)，P是一个对称正定矩阵。

进一步，所述步骤S3具体为：

针对随机性的信息丢失和信息纂改等攻击，其估计到的状态网络流量呈随机波动的特性， 利用基于累积量的网络攻击算法检测；基于输出反馈的数学模型为其中，μ_k和ν_k为随机变量满足伯努利随机分布，ν_k代表错误信息注入的概率，μ_k代表信息丢失概率，θ(k)是注入到信息网络中的错误数据；

为了更具体的描述微电网网络攻击，建立如下的能量约束条件：

其中，I(k)表示微电网系统的被攻击次数，μ_i∈{0,1}表示攻击者攻击成功与否，τ∈[0,∞)；

设计随机性网络攻击控制器步骤如下：

步骤1.建立基于输出反馈的被攻击模型：

令s_i为控制器和设备之间尝试进行数据传输的时刻，其满足事件驱动条件：

其中η∈N，V(x)是李雅普诺夫函数，V(Ax(t)+Bu(s_i))＞σV(x(s_i))为触发控制条件， σ∈(0,1)，基于输出反馈的控制器表达为：

其中，K∈R^m×n表示反馈增益矩阵，为了客观描述网络攻击，建立其能量约束为：

根据最优控制四要素，建立其最优控制的性能指标函数为：

其中，Q^xx＞0，Q分解成

步骤2.考虑网络攻击下微电网系统的能量约束和安全约束及其对应的优化决策：

能量约束为：

安全约束为：

首先从攻击者方面进行能量约束，攻击者期望以最少的能量输出达到最大破坏效果，然 后进行最优控制求解，建立平均期望的误差协方差性能指标为：

其最优控制决策描述成为：

其中，Γ是二值函数集，从防御者方面进行安全约束，防御者期望以最少的能量得到最 好的保护效果，然后进行最优控制求解，建立其性能指标为：

式(21)中的Q^xx如式(16)中解释，其最优控制决策描述为：

步骤3.利用进化博弈论构建互动决策

由上述的攻击者和防御者的能量约束和安全约束特性所得，为在式(20)和式(22)两 个最优决策的矛盾之间找到一个攻击者和防御者都相对满意的决策，利用博弈论来建立其互 动过程；

从攻击者和防御者建立有限单纯的决策集：

A＝{a₁,a₂,...,a_r,...} (23)

式(23)中r＝1,2,...,|A|，攻击者集合为A，同理防御者集合为D＝{d₁,d₂,...,d_r,...}， 混合决策集为：

S＝{ρ_s:ρ_s∈[0,1]} (24)

式(24)为A的权重，如何分配由玩家自行配置；令M为博弈论的状态空间，P为数据能够成功传送的概率，F表示A和D的玩家收益满足：

以上六个元素构成解决攻击者和防御者互相约束的随机博弈集：

G＝{A,D,S,M,P,F} (26)

最终得到A和D都满足的收益，获均衡条件π；

步骤4.纳什平衡下的加强学习算法

由于攻击者和防御者不唯一，首先定义多个攻击者和防御者的加强学习变量 Q(s,u₁,...,u_n)，构建加强学习函数：

其中，(π₁,...,π_n)是整个过程中纳什均衡下的决策规则，rⁱ(s,u₁,...,u_n)是第i个攻击在s 状态下的收益，υⁱ(s',π₁,...,π_n)是从状态s'开始在遵循平衡策略下的总折扣收益，u_k是控制行 为，P(s'|s,u₁)是在采取u₁决策之后从状态s转移到s'的概率，ζ∈[0,1)；表示当前收益加所 有攻击者从下一个时期起执行特定纳什均衡策略时的未来收益；

加强函数更新表达式为：

其中，ε_t∈[0,1)为学习速率序列，r_t ⁱ是第i个参与者 在t时的收益由式(18)得到，当时，ε_t＝0；为计算出纳什均衡， 第i个参与者需要知道并且其余参与者的加强学习变量Q未知，则需要进 行以下算法：

初始化：

h.令t＝0，得到初始状态s₀；

i.令参与者都能被i检索；

j.和令

循环：

k.选择控制行为

l.检测令s_t+1＝s'；

m.更新其j＝1,...,n；

n.令t＝t+1；

步骤5.最优防御控制器设计

为描述在博弈论下的随机攻击控制方法，考虑在离散域中有自适应能力的控制模型：

其中采样时间是T_s，A_k和B_k是适合维度的矩阵，随机变量μ_i表示攻击对控制作用的影响 控制集符合纳什均衡条件下的协同控制策略u_i＝-K_kx(s_i)控制集中的元素已知的用来解决网络攻击的控制器；在多任务优化控制结构下 利用博弈论将式(16)中的Q矩阵用构建互动决策的Qⁱ代替，Qⁱ为博弈论中的权重矩阵来自 玩家收益集合F，构建最优控制决策形式为：

解式(30)最优决策会选择出在博弈之后获得最大收益的最优的控制器u_k。

本发明的有益效果在于：

(1)利用基于累积量的网络攻击算法可迅速发现网络攻击，及时应对网络攻击，避免造 成因错误决策而带来的经济损失；

(2)事件触发方式可减少非必要的状态数据传输，提高了计算效率，减少对有限通讯资 源的利用；

(3)通过基于事件触发的零极点配置控制器及时解决周期性网络攻击对微电网造成的损 害，通过最优控制来解决微电网网络被随机性网络攻击造成的损害，有效抵御网络攻击，保 障微电网的正常运行。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某 种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发 明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详 细描述，其中：

图1为周期性网络攻击抵御策略；

图2为随机性网络攻击抵御策略；

图3为网络攻击下的微电网系统；

图4为基于模型的网络控制结构；

图5为网络攻击检测算法整体框图；

图6为系统流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本 发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明 的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表 实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中， 需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位 或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不 是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图 中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通 技术人员而言，可以根据具体情况理解上述术语的具体含义。

1.首先识别网络攻击类型，利用基于累积量的网络攻击算法检测。

微电网系统传输网络中的数据以数据包的形式传送，令数据包分别P₁,P₂,P₃,...P_n表示， 其中每个数据包的传送字节数为p₁,...,p_n，流量大小为单位时间内网络中传送的数据量总和 假设在流量采集中某个时间点获取n个数据包，此时流量值T可表示为：

设网络数据包的采样时间为t，产生的连续信号序列T(n)为：

T(n)＝[T₁,T₂,T₃...T_n] (2)

流量信号为：

x_i(n)＝[T₁,T₂,T₃,…T_n],n＝1000L/t (3)

特征提取：

对于随机信号X(n)，以三阶累积量和四阶累积量为例，其高阶累积量定义为：

其中N₁和N₂是选取样本数目，当n∈[0,N-1]时，只对x_i(n)求和，N₃为了获取累积量的 无偏估计而选择。

到此处已经对网络流量信号进行了分割、量化得到了每个窗口的

流量信号高阶累积值，再增加信号序列x_i(n)的均值

和方差D(x)＝E{[x-E(x)]²}来提高算法检测率。用均值，方差，三阶累积量和四阶累 积量四个特征值表征每个窗口流量信号x_i(n)，即

x_i(n)＝(E,D,C_3x,C_4x) (7)

通过这四个特征值对比数据库即可判断出是哪种类型的网络攻击。

2.周期性网络攻击抵御决策

针对周期性的信息丢失(也称通讯中断)，利用周期性网络攻击的特性，其流量数据呈周 期性的变化，利用此特性进行基于累积量的网络攻击算法识别，可用于描述周期性的网络攻 击的数学模型

为其中为来自控制器的控制输入，其输出

为u(k)，同时实际估计器输出为y(k)，是微电网的实际控制输入，其物理模型见 图3所示。 表示为攻击控制器的攻击数列， 表示为攻击传感器的攻击数列，k∈Z遭受攻击为1，未遭受攻击为0。本方案为了保证微电网系统的功率稳定，期望在信息丢失的期间有一个频繁的控制行为，使上一次控件更新时 进程状态的值与当前进程状态的值之间的误差大范围稳定并趋近于零，周期性攻击抵御流程 图如图1所示：

设计周期性网络攻击控制器步骤如下：

步骤1.建立系统控制模型如下

其中，x(t)∈Rⁿ表示微电网在t时刻的状态(电压、电流、功率等)，t_u是上一次控制更 新时刻，A是系统状态矩阵，B是系统输入矩阵。

步骤2.状态反馈控制器设计

令e(t)＝x(t_k)-x(t)表示上一次控制更新时系统状态的值与当前状态的值之间的误差，利 用极点配置设计控制器K₁，使被控系统达到稳定。将误差带入式(8)中，闭环动态系统可 表示为：

令x(t)＝T₁x₁(t)，e(t)＝T₁e₁(t)，且T₁ ^-1(A+BK)T₁＝J₁利用Jordan分解来证明系统输入状 态稳定(ISS)。

其中J₁是Jordan分解后的对角矩阵，即可证明零极点配置后的控制器可保证微电网系统 在周期性网络攻击下的稳定。

步骤3.事件触发条件设计

利用李雅普诺夫函数V＝x^TPx,得出事件触发条件为：

其中，σ∈(0,1)，P是一个对称正定矩阵。

3.随机性网络攻击抵御决策

针对随机性的信息丢失和信息纂改等攻击，其估计到的状态网络流量呈随机波动的特性， 可利用基于累积量的网络攻击算法检测。其基于输出反馈的数学模型为其中，μ_k和ν_k为随机变量满足伯努利随机分布，ν_k代表错误信息注入的概率，μ_k代表信息丢失概率，θ(k)是注入到信息网络中的错误数据。设计抵御决策如图2所示：

为了更具体的描述微电网网络攻击，建立如下的能量约束条件：

其中，I(k)表示微电网系统的被攻击次数，μ_i∈{0,1}表示攻击者攻击成功与否，τ∈[0,∞)。

设计随机性网络攻击控制器步骤如下：

步骤1.建立基于输出反馈的被攻击模型：

令s_i为控制器和设备之间尝试进行数据传输的时刻，其满足事件驱动条件：

其中η∈N，V(x)是李雅普诺夫函数，V(Ax(t)+Bu(s_i))＞σV(x(s_i))为触发控制条件， σ∈(0,1)，基于输出反馈的控制器表达为：

其中，K∈R^m×n表示反馈增益矩阵，为了客观描述网络攻击，建立其能量约束为：

根据最优控制四要素，建立其最优控制的性能指标函数为：

其中，Q^xx＞0，Q可分解成

步骤2.考虑网络攻击下微电网系统的能量约束和安全约束及其对应的优化决策：

能量约束为：

安全约束为：

首先从攻击者方面进行能量约束，攻击者期望以最少的能量输出达到最大破坏效果，然 后进行最优控制求解，建立平均期望的误差协方差性能指标为：

其最优控制决策可以描述成为：

其中，Γ是二值函数集，从防御者方面进行安全约束，防御者期望以最少的能量得到最 好的保护效果，然后进行最优控制求解，建立其性能指标为：

式(21)中的Q^xx如式(16)中解释，其最优控制决策可描述为：

步骤3.利用进化博弈论构建互动决策

由上述的攻击者和防御者的能量约束和安全约束特性所得，为了在式(20)和式(22) 两个最优决策的矛盾之间找到一个攻击者和防御者都相对满意的决策，利用博弈论来建立其 互动过程。

从攻击者和防御者建立有限单纯的决策集：

A＝{a₁,a₂,…,a_r,...} (23)

式(23)中r＝1,2,...,|A|，攻击者集合为A，同理防御者集合为D＝{d₁,d₂,...,d_r,...}， 混合决策集为：

S＝{ρ_s:ρ_s∈[0,1]} (24)

式(24)为A的权重，如何分配由玩家自行配置。令M为博弈论的状态空间，P为数据能够成功传送的概率，F表示A和D的玩家收益满足：

以上六个元素构成解决攻击者和防御者互相约束的随机博弈集：

G＝{A,D,S,M,P,F} (26)

此博弈论实质是为了寻找攻击者和防御者之间的纳什平衡，利用加强学习的方法可求解 将所有的情况都带入此博弈。最终得到A和D都满足的收益，可获均衡条件π。

步骤4.纳什平衡下的加强学习算法

由于攻击者和防御者不唯一，首先定义多个攻击者和防御者的加强学习变量 Q(s,u₁,...,u_n)，构建加强学习函数：

其中，(π₁,...,π_n)是整个过程中纳什均衡下的决策规则，rⁱ(s,u₁,...,u_n)是第i个攻击在s 状态下的收益，υⁱ(s',π₁,...,π_n)是从状态s'开始在遵循平衡策略下的总折扣收益，u_k是控制行 为，P(s'|s,u₁)是在采取u₁决策之后从状态s转移到s'的概率，ζ∈[0,1)。表示当前收益加所 有攻击者从下一个时期起执行特定纳什均衡策略时的未来收益。

加强函数更新表达式为：

其中，ε_t∈[0,1)为学习速率序列，是第i个参与者 在t时的收益由式(18)可得，当时，ε_t＝0。为了计算出纳什均衡， 第i个参与者需要知道并且其余参与者的加强学习变量Q未知，则需要进 行以下算法：

初始化：

o.令t＝0，得到初始状态s₀；

p.令参与者都能被i检索；

q.和令

循环：

r.选择控制行为

s.检测令s_t+1＝s'；

t.更新其j＝1,...,n；

u.令t＝t+1。

步骤5.最优防御控制器设计

为了描述在博弈论下的随机攻击控制方法，考虑在离散域中有自适应能力的控制模型：

其中采样时间是T_s，A_k和B_k是适合维度的矩阵，随机变量μ_i表示攻击对控制作用的影响 控制集符合纳什均衡条件下的协同控制策略u_i＝-K_kx(s_i)其控制集中的元素已知的可用来解决网络攻击的控制器。在多任务优化控制结 构下利用博弈论可将式(16)中的Q矩阵用构建互动决策的Qⁱ代替，Qⁱ为博弈论中的权重矩 阵来自玩家收益集合F，可构建最优控制决策形式为：

因此，解式(30)最优决策会选择出在博弈之后能获得最大收益的最优的控制器u_k。

4.系统的总体描述

当各个网络传输结构受到网络攻击时，微电网网络通讯层所传输的实时信息被篡改、丢 失，到达控制器的信息便不准确。这时控制器中的触发事件条件被激活，根据网络攻击检测 算法检测到的攻击类型去执行相应的控制决策。最终，只要传输网络结构中发生了网络攻击， 控制器就会通过触发条件及时对攻击做出相应的抵御决策，实现攻击后最优控制输出，解决 了网络攻击对微电网系统的危害。

简单描述两个发电单元(风力发电和光伏发电)以及大电网共同为直流母线提供能量的 微电网结构，其网络通讯通过网络传输结构实现，其中虚线代表通讯，根据实际情况可增加 分布式发电单元。本方案中虚线方框以内是物理层，方框外为通讯层。系统的总体示意图如 图3所示：

5.相关理论知识

①事件触发控制

设备和模型的状态误差大于或等于某个预先设定的阈值作为一个事件，只有在必要的时 候网络中传感器节点才会发送状态，如状态误差大于阈值时。事件触发控制方案如图4所示。

考虑一般设备和模型的动态方程如下：

定义误差为系统状态方程为

x(k+1)＝(A+BK)x(k)+BKe(k)

定理：系统初始状态有界||x(0)||≤β₁，对于有状态反馈更新触发||e(k)||＞α的系统有一个 有界状态，只要A+BK的所有特征值严格在一个单位圆里。

其中

基于模型的事件触发控制的渐进稳定性控制器：系统模型提供状态估计，增益控制器提 供系统输入。若需系统稳定，则其必须满足李雅普诺夫稳定性，当误差大于李雅普诺夫的临 界稳定值，其条件||e(k)||≥k_cri为事件触发条件。

ISS李雅普诺夫函数V＝x^TPx，当满足：

α₁(||x||)≤V(x)≤a₂(||x||)

V(f(x,u))-V(x)≤-a₃(||x||)+γ(||u||)

即可证明系统是ISS稳定。P是一个对称正定矩阵，且是闭环模型离散时间李雅普诺夫 等式的解。

其中，上式满足并且满足不等式

对于有控输入和基于误差事件产生的反馈系统是渐进稳定的，当满足 ||e||＞a_r||x||，李雅普诺夫函数最终转化为

V(x(k+1))-V(x(k))≤(σ-1)(q-Δ)||x||²

可反解出触发控制条件。

②基于累积量的攻击检测算法

基于累积量的攻击检测算法是基于数据流量异常模型的检测系统，通过对网络流量信号 进行分割量化，得到网络流量的高阶累积量特征，以此为分类依据进行攻击检测，如图5所 示。

微电网系统网络传输中的数据以数据包的形式传送，首先进行原始数据采集，获取网络 中的每个网络数据包。然后从数据包中统计计算网络中的流量大小，按照划分的窗口大小， 将网络流量转换成信号形式，在得到的每个窗口信号序列上，计算窗口信号的累积量值，作 为本窗口的特征。将累积量特征作为支持向量机的特征值，进行分类器训练。

③进化博弈论

主要研究公式化了的激励结构间的互相作用，是研究具有斗争或竞争性质现象的数学理 论和方法。进化博弈理论中每个参与人都是随机地从群体中抽取并进行重复、匿名博弈，他 们没有特定的博弈对手。在这种情况下，参与人既可以通过自己的经验直接获得决策信息， 可以通过观察在相似环境中其他参与人的决策并模仿而间接地获得决策信息，还可以通过观 察博弈的历史而从群体分布中获得决策信息。

博弈论五要素：

a局中人：在一场竞赛或博弈中，每一个有决策权的参与者成为一个局中人。

b策略：一局博弈中，每个局中人都有选择实际可行的完整的行动方案，方案不是某阶 段的行动方案，而是指导整个行动的一个方案，一个局中人的一个可行的自始至终全局筹划 的一个行动方案，称为这个局中人的一个策略。

c得失：一局博弈结局时的结果称为得失。每个局中人在一局博弈结束时的得失，不仅 与该局中人自身所选择的策略有关，而且与全局中人所取定的一组策略有关。

d对于博弈参与者来说，存在着博弈结果。

e博弈涉及到均衡：均衡是平衡的意思，在经济学中，均衡意即相关量处于稳定值。

纳什均衡(Nash Equilibrium)：在一个策略组合中，所有的参与者面临这样一种情况，当 其他人不改变策略时，他此时的策略是最好的。也就是说，此时如果他改变策略他的支付将 会降低。在纳什均衡点上，每一个理性的参与者都不会有单独改变策略的冲动。

在n个参与人的博弈G＝<N,S_i,u_i>中，其中称这个 策略组合为对于是G的一个纳什均衡(NE)。如果对于 是i在的对手策略组合为 条件下参与人i的最优反应策略，即对于si∈S_i成立。亦即是以 下优化问题的解：

如果以上不等式严格成立，称为严格纳什均衡。

④加强学习算法

步骤如下：

a设置gamma参数以及矩阵R；

b初始化矩阵Q；

c对于每次探索随机选择一个初始状态；

d目标状态没有达到；

e从当前状态的所有行为中选择一个；

f转移到下一状态；

g计算；

h将下一状态设置为当前状态。

微电网通过以上算法进行学习，每次探索相当于一次训练。在每一次训练中，微电网将 探索环境(用矩阵R表示)，接收奖励直到达到目标状态，如果Q矩阵被加强了，而不是反 复探索不断回到同一房间，这样就能快速找到目标状态。

6.系统流程图如图6所示。

在微电网正常运行中，引入事件触发条件式(11)或式(13)检测网络攻击是否到来， 当网络攻击发生以后利用基于累积量的攻击检测算法进行网络攻击识别，根据攻击的特性判 定是哪种攻击，提取当前的状态变量去执行控制决策1(图1)来解决周期性的网络攻击，执 行决策2(图2)来解决随机性的网络攻击，使微电网系统在抵御网络攻击之后工作在正常状 态下。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求 范围当中。

Claims (4)

1.一种用于微电网在网络攻击下的安全控制方法，其特征在于：该方法包括以下步骤：

S1：识别网络攻击类型，利用基于累积量的网络攻击算法检测；

S2：执行周期性网络攻击抵御决策；

S3：执行随机性网络攻击抵御决策。

2.根据权利要求1所述的一种用于微电网在网络攻击下的安全控制方法，其特征在于：所述步骤S1具体为：

微电网系统传输网络中的数据以数据包的形式传送，令数据包分别P₁,P₂,P₃,...P_n表示，其中每个数据包的传送字节数为p₁,...,p_n，流量大小为单位时间内网络中传送的数据量总和假设在流量采集中某个时间点获取n个数据包，此时流量值T表示为：

设网络数据包的采样时间为t，产生的连续信号序列T(n)为：

T(n)＝[T₁,T₂,T₃…T_n] (2)

流量信号为：

x_i(n)＝[T₁,T₂,T₃,…T_n],n＝1000L/t (3)

特征提取：

对于随机信号X(n)，三阶累积量和四阶累积量的高阶累积量定义为：

其中N₁和N₂是选取样本数目，当n∈[0,N-1]时，只对x_i(n)求和，N₃为了获取累积量的无偏估计而选择；

到此处已经对网络流量信号进行了分割、量化，得到了每个窗口的流量信号高阶累积值，再增加信号序列x_i(n)的均值

和方差D(x)＝E{[x-E(x)]²}来提高算法检测率；用均值，方差，三阶累积量和四阶累积量四个特征值表征每个窗口流量信号x_i(n)，即

x_i(n)＝(E,D,C_3x,C_4x) (7)

通过这四个特征值对比数据库判断出是哪种类型的网络攻击。

3.根据权利要求1所述的一种用于微电网在网络攻击下的安全控制方法，其特征在于：所述步骤S2具体为：

针对周期性的信息丢失，利用周期性网络攻击的特性，流量数据呈周期性的变化，利用此特性进行基于累积量的网络攻击算法识别，用于描述周期性的网络攻击的数学模型为其中为来自控制器的控制输入，输出为u(k)，同时实际估计器输出为y(k)，是微电网的实际控制输入， 表示为攻击控制器的攻击数列， 表示为攻击传感器的攻击数列， k∈Z遭受攻击为1，未遭受攻击为0；

为保证微电网系统的功率稳定，期望在信息丢失的期间有一个频繁的控制行为，使上一次控件更新时进程状态的值与当前进程状态的值之间的误差大范围稳定并趋近于零；

设计周期性网络攻击控制器步骤如下：

步骤1.建立系统控制模型如下

其中，x(t)∈Rⁿ表示微电网在t时刻的状态，t_u是上一次控制更新时刻，A是系统状态矩阵，B是系统输入矩阵；

步骤2.状态反馈控制器设计

令e(t)＝x(t_k)-x(t)表示上一次控制更新时系统状态的值与当前状态的值之间的误差，利用极点配置设计控制器K₁，使被控系统达到稳定；将误差带入式(8)中，闭环动态系统表示为：

令x(t)＝T₁x₁(t)，e(t)＝T₁e₁(t)，且T₁ ^-1(A+BK)T₁＝J₁利用Jordan分解来证明系统输入状态稳定ISS；

其中J₁是Jordan分解后的对角矩阵，证明零极点配置后的控制器保证微电网系统在周期性网络攻击下的稳定；

步骤3.事件触发条件设计

利用李雅普诺夫函数V＝x^TPx,得出事件触发条件为：

其中，σ∈(0,1)，P是一个对称正定矩阵。

4.根据权利要求1所述的一种用于微电网在网络攻击下的安全控制方法，其特征在于：所述步骤S3具体为：

针对随机性的信息丢失和信息纂改等攻击，其估计到的状态网络流量呈随机波动的特性，利用基于累积量的网络攻击算法检测；基于输出反馈的数学模型为其中，μ_k和ν_k为随机变量满足伯努利随机分布，ν_k代表错误信息注入的概率，μ_k代表信息丢失概率，θ(k)是注入到信息网络中的错误数据；

为了更具体的描述微电网网络攻击，建立如下的能量约束条件：

其中，I(k)表示微电网系统的被攻击次数，μ_i∈{0,1}表示攻击者攻击成功与否，τ∈[0,∞)；

设计随机性网络攻击控制器步骤如下：

步骤1.建立基于输出反馈的被攻击模型：

令s_i为控制器和设备之间尝试进行数据传输的时刻，其满足事件驱动条件：

其中η∈N，V(x)是李雅普诺夫函数，V(Ax(t)+Bu(s_i))＞σV(x(s_i))为触发控制条件，σ∈(0,1)，基于输出反馈的控制器表达为：

其中，K∈R^m×n表示反馈增益矩阵，为了客观描述网络攻击，建立其能量约束为：

根据最优控制四要素，建立其最优控制的性能指标函数为：

其中，Q分解成

步骤2.考虑网络攻击下微电网系统的能量约束和安全约束及其对应的优化决策：

能量约束为：

安全约束为：

首先从攻击者方面进行能量约束，攻击者期望以最少的能量输出达到最大破坏效果，然后进行最优控制求解，建立平均期望的误差协方差性能指标为：

其最优控制决策描述成为：

其中，Γ是二值函数集，从防御者方面进行安全约束，防御者期望以最少的能量得到最好的保护效果，然后进行最优控制求解，建立其性能指标为：

式(21)中的Q^xx如式(16)中解释，其最优控制决策描述为：

步骤3.利用进化博弈论构建互动决策

由上述的攻击者和防御者的能量约束和安全约束特性所得，为在式(20)和式(22)两个最优决策的矛盾之间找到一个攻击者和防御者都相对满意的决策，利用博弈论来建立其互动过程；

从攻击者和防御者建立有限单纯的决策集：

A＝{a₁,a₂,...,a_r,...} (23)

式(23)中r＝1,2,...,|A|，攻击者集合为A，同理防御者集合为D＝{d₁,d₂,...,d_r,...}，混合决策集为：

S＝{ρ_s:ρ_s∈[0,1]} (24)

式(24)为A的权重，如何分配由玩家自行配置；令M为博弈论的状态空间，P为数据能够成功传送的概率，F表示A和D的玩家收益满足：

以上六个元素构成解决攻击者和防御者互相约束的随机博弈集：

G＝{A,D,S,M,P,F} (26)

最终得到A和D都满足的收益，获均衡条件π；

步骤4.纳什平衡下的加强学习算法

由于攻击者和防御者不唯一，首先定义多个攻击者和防御者的加强学习变量Q(s,u₁,...,u_n)，构建加强学习函数：

其中，(π₁,...,π_n)是整个过程中纳什均衡下的决策规则，rⁱ(s,u₁,...,u_n)是第i个攻击在s状态下的收益，υⁱ(s',π₁,...,π_n)是从状态s'开始在遵循平衡策略下的总折扣收益，u_k是控制行为，P(s'|s,u₁)是在采取u₁决策之后从状态s转移到s'的概率，ζ∈[0,1)；表示当前收益加所有攻击者从下一个时期起执行特定纳什均衡策略时的未来收益；

加强函数更新表达式为：

其中，ε_t∈[0,1)为学习速率序列，r_t ⁱ是第i个参与者在t时的收益由式(18)得到，当时，ε_t＝0；为计算出纳什均衡，第i个参与者需要知道并且其余参与者的加强学习变量Q未知，则需要进行以下算法：

初始化：

a.令t＝0，得到初始状态s₀；

b.令参与者都能被i检索；

c.和令

循环：

d.选择控制行为

e.检测令s_t+1＝s'；

f.更新其j＝1,...,n；

g.令t＝t+1；

步骤5.最优防御控制器设计

为描述在博弈论下的随机攻击控制方法，考虑在离散域中有自适应能力的控制模型：

其中采样时间是T_s，A_k和B_k是适合维度的矩阵，随机变量μ_i表示攻击对控制作用的影响控制集符合纳什均衡条件下的协同控制策略u_i＝-K_kx(s_i)控制集中的元素已知的用来解决网络攻击的控制器；在多任务优化控制结构下利用博弈论将式(16)中的Q矩阵用构建互动决策的Qⁱ代替，Qⁱ为博弈论中的权重矩阵来自玩家收益集合F，构建最优控制决策形式为：

解式(30)最优决策会选择出在博弈之后获得最大收益的最优的控制器u_k。