CN112039864B - 一种电力cps跨层安全风险分析的方法 - Google Patents

一种电力cps跨层安全风险分析的方法 Download PDF

Info

Publication number
CN112039864B
CN112039864B CN202010866041.4A CN202010866041A CN112039864B CN 112039864 B CN112039864 B CN 112039864B CN 202010866041 A CN202010866041 A CN 202010866041A CN 112039864 B CN112039864 B CN 112039864B
Authority
CN
China
Prior art keywords
attack
path
network
node
information system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010866041.4A
Other languages
English (en)
Other versions
CN112039864A (zh
Inventor
吴润泽
巩金鑫
樊冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202010866041.4A priority Critical patent/CN112039864B/zh
Publication of CN112039864A publication Critical patent/CN112039864A/zh
Application granted granted Critical
Publication of CN112039864B publication Critical patent/CN112039864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Fuzzy Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络数据攻击下基于确定最佳攻击路径的电力CPS跨层安全风险分析的方法，包括：综合信息系统元件存在的安全漏洞以及访问途径利用模糊Petri网建立攻击模型；根据深度优先搜索算法确定所有可能的攻击路径；根据攻击者的攻击成本和攻击收益定义攻击增益这一指标，以量化攻击路径对信息系统造成的威胁；基于改进的FPN‑Q Learning算法得出各攻击路径的攻击收益，以确定最佳攻击路径。本发明能够很好地分析电力CPS潜在攻击路径，评估数据篡改对于CPS造成的风险，可为电力CPS的安全分析与防护方法研究提供新的视角，为电网运行人员制定防御措施提供准确依据。

Description

一种电力CPS跨层安全风险分析的方法
技术领域
本发明属于电力CPS跨层安全风险评估技术领域，具体涉及一种电力CPS跨层安全风险分析的方法。
背景技术
随着泛在电力物联网的提出和发展，电网承载的业务也更加多样化、智能化、信息化、高效化，电力信息物理融合系统(cyber physical system，CPS)中物理电网的能量流与信息系统的信息流联系将更加紧密，以实现对电网运行状态的实时感知与精细化控制，这种耦合关系使系统面临了更多来自网络的攻击，并且攻击类型的多样化增加了系统运行的不稳定性，因此，如何加强电力CPS抵抗网络攻击的能力和如何评价网络攻击带给CPS的风险是迫在眉睫的问题。为了有效地应对网络攻击，评价网络攻击对系统的影响，应从攻击者的角度找出最有效的攻击路径，即系统中最易受攻击的路径，以提供可靠的分析和有效的保护。
目前已有大量的研究来发现有效的攻击路径，Swiler等人采用正向搜索策略发现隐藏的攻击路径，但会引起状态空间爆炸问题。Song等人采用启发式搜索算法生成攻击图，并将其分为两个阶段：匹配索引表构建和攻击图构建。S.Shunhong等人提出修剪攻击图分支以通过贪婪搜索策略发现攻击路径。上述的研究工作仍存在较大局限性，大部分研究没有从攻击者角度出发，默认攻击者对系统模型有充分的了解，然而攻击往往是在有限的对抗知识下进行的，攻击者对于攻击路径的选择与其对系统的掌握程度、攻击带来收益有关；同时，目前的研究缺少对信息—物理连锁故障危害性的定量评估。
发明内容
有鉴于此，本发明的目的是提出一种网络数据攻击下基于确定最佳攻击路径的电力CPS跨层安全风险分析的方法，以实现完整、有效的风险评估，提高风险评估的准确性。
本发明采用以下方案实现：网络数据攻击下基于确定最佳攻击路径的电力CPS跨层安全风险分析的方法，具体包括以下步骤：
一种电力CPS跨层安全风险分析的方法，包括如下过程：
步骤1：基于FPN-Q Learning算法计算可能攻击路径的攻击增益G，由此确定最佳攻击路径；
步骤2：计算信息系统遭受攻击对电力业务造成的影响I；
步骤3：根据步骤1中的攻击增益G和步骤2中的影响I计算信息系统遭受攻击对CPS造成的风险R；
步骤4：根据信息系统遭受攻击对CPS造成的风险R找到最易受攻击的路径，对该最易受攻击的路径进行防护。
进一步的，所述步骤1具体包括以下步骤：
步骤1.1：综合信息系统元件存在的安全漏洞以及访问途径利用模糊Petri网建立攻击模型；
步骤1.2：基于深度优先搜索算法确定所有可能的攻击路径；
步骤1.3：根据攻击者的攻击成本和攻击收益定义攻击增益这一指标，以量化攻击路径对信息系统造成的威胁；
步骤1.4：基于改进的FPN-Q Learning算法得出各攻击路径的攻击收益，以确定最佳攻击路径。
进一步的，所述步骤1.1包括以下步骤：
步骤1.1.1：确定信息系统可入侵的元件；
步骤1.1.2：确定元件存在的安全漏洞；
步骤1.1.3：基于模糊Petri网定义模型四元组：
M＝{P，T，α，μ}
其中：P＝{p1，p2，p3，…，pn}为库所p有限集合，在模型中表示组成信息系统的元件；T＝{t1，t2，t3，…，tm}为变迁t有限合集，在模型中表示系统元件可利用的漏洞；α表示库所代表的系统元件被入侵后造成的风险值，即威胁指数；μ表示变迁规则的置信度，在网络攻击模型中代表攻击过程的攻击复杂度。
进一步的，所述步骤1.3包括以下步骤：
步骤1.3.1：定义奖赏函数
rij＝αi·αj
奖赏函数rij表示攻击者通过元件i入侵元件j对网络造成的威胁，其中αi为入侵系统元件i给网络造成的威胁值，αj为入侵系统元件j给网络造成的威胁值；
步骤1.3.2：定义Q更新函数
Figure GDA0003180388110000031
Q(pi,tij,pj)为攻击者通过步骤2的最佳攻击路径算法经过多次入侵学习后得到的由元件i入侵元件j对网络造成的威胁累加值；
步骤1.3.3：定义攻击收益M
M＝Q(p1,t1i,pi)+Q(pi,tij,pj)+...+Q(pl,tle,pe)
攻击收益M表示攻击者通过既定的路径对网络发起攻击会对信息系统造成的威胁；
步骤1.3.4：定义攻击增益G
G＝M/(μ1i+μij+...+μle)
式中，μij表示攻击者通过元件i的安全漏洞j的攻击复杂度。
进一步的，所述步骤1.4具体包括以下步骤：
步骤1.4.1：确定攻击接入口和目标原件，根据系统元件漏洞构建网络攻击FPN模型；
步骤1.4.2：初始化网络攻击FPN模型参数；
步骤1.4.3：对于每一幕执行循环；
步骤1.4.4：对每一幕中的每一步执行循环；
步骤1.4.5：在当前库所pi处，按概率sir从安全漏洞合集ti中选择一个漏洞tir，同时找到对系统造成最大威胁的安全漏洞tis；
Figure GDA0003180388110000041
其中，sir表示探索阶段元件i的安全漏洞r被利用的概率，n表示元件i的安全漏洞的个数；
步骤1.4.6：产生一个随机数δ，如果
Figure GDA0003180388110000042
则选择变迁tir，否则选择tis；
步骤1.4.7：更新Q值：
Figure GDA0003180388110000043
式中，Q(pi,tij,pj)表示利用库所元件pi通过漏洞tij入侵库所元件pj后对系统造成的威胁值，ω∈[0，1]表示学习速率；γ∈[0，1]表示未来奖励值对于现在Q值的折扣因子；
步骤1.4.8：执行变迁后转移到库所pj，判断是否为目标库所，如果是目标库所则根据退火算法的降温策略对Tem进行降温，进入下一幕学习，返回步骤1.4.3；如果不是目标库所则进入下一步学习，返回步骤1.4.4；
步骤1.4.9：直至Q值收敛，结束学习；
步骤1.4.10：计算各攻击路径的攻击增益G。
进一步的，所述步骤2具体包括以下步骤：
步骤2.1：计算物理系统过负荷时，物理电网各节点的失负荷量；
在物理系统过负荷时，信息系统会以失负荷最小为目标进行负荷削减：
Figure GDA0003180388110000051
其中，PLOSS为物理系统失负荷总量，N为物理系统可切负荷节点数，Lsi为节点i的失负荷；
同时考虑配电网潮流约束和节点可观、可控得到以下约束条件：
Figure GDA0003180388110000052
Figure GDA0003180388110000053
其中，Pi、Qi分别为节点i的有功功率和无功功率；s(i)为与节点i相连的节的集合；Gii、Bii分别为节点i的自电导和自电纳；Gij、Bij分别为节点i、j间电导和电纳；Ui、Uj分别为节点i、j的电压；θij为节点i、j的相角差；Umin、Umax分别为节点i电压的下限与上限；Imin、Imax分别为线路电流的下限与上限；
Figure GDA0003180388110000054
PGi min≤PGi≤PGi max
0≤Lsi≤PDi
其中，PGi为节点i所连可控发电设备的发电量，PGi min和PGi max为该发电机发电容量的下限与上限；PDi为节点i的负荷；
步骤2.2：计算信息系统遭受攻击对电力业务造成的影响I
Figure GDA0003180388110000055
式中，wj表示节点i的负荷重要度，Lsi表示节点i的失负荷。
进一步的，所述步骤3具体包括以下步骤：
定义数据攻击下CPS面临的风险为：
R＝G·I
式中，R为数据攻击下CPS面临的风险值，包括通过攻击者通过最佳攻击路径获得的攻击增益G，以及数据篡改攻击对电力业务造成的影响I。
进一步的，信息系统可入侵的元件包括智能终端、FTP服务器、Web服务器、Database服务器、防火墙、SQL服务器、应用服务器。
与现有技术相比，本发明的有益效果是：
本发明提出了一种网络数据攻击下基于确定最佳攻击路径的CPS跨层安全风险分析的方法，首先攻击者角度出发，综合考虑了攻击者的攻击成本和攻击收益等因素提出了攻击效率这一指标，以找出最佳攻击路径，后利用模糊Petri网(FPN)来对模糊、不确定的网络攻击过程进行建模，并利用FPN模型参数对Q-Learning算法进行改进。同时基于负荷控制这一功能，建立了信息——物理系统的耦合模型，提出了量化风险指标，以分析数据篡改攻击下级联故障在信息系统和物理电网之间的传播。仿真分析结果表明所提出的方法具有较高的效率和准确性，同时可以很好地评估数据篡改对于CPS造成的风险，为保障电力CPS稳定运行提供了可靠的依据，为判定数据篡改攻击下系统的运行情况提供了可行的分析方案。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的基于确定最佳攻击路径的电力CPS跨层安全风险分析流程图；
图2为本发明实施例的信息系统攻击场景图；
图3为本发明实施例的攻击路径攻击增益收敛过程图；
图4为本发明实施例的数据篡改物理电网节点负荷影响图；
图5为本发明实施例的方法与传统方法的对比示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
如图1所示，本实施例提供了一种网络数据攻击下基于确定最佳攻击路径的电力CPS跨层安全风险分析的方法，具体包括以下步骤：
步骤1：基于FPN-Q Learning算法计算可能攻击路径的攻击增益G，由此确定最佳攻击路径；
步骤2：计算信息系统遭受攻击对电力业务造成的影响I；
步骤3：根据步骤1中的攻击增益G和步骤2中的影响I计算信息系统遭受攻击对CPS造成的风险R；
步骤4：根据信息系统遭受攻击对CPS造成的风险R找到最易受攻击的路径，对该最易受攻击的路径进行防护。
所述步骤1具体包括以下步骤：
步骤1.1：综合信息系统元件存在的安全漏洞以及访问途径利用模糊Petri网(FPN)建立攻击模型；
步骤1.2：基于深度优先搜索算法确定所有可能的攻击路径；
步骤1.3：根据攻击者的攻击成本和攻击收益定义攻击增益这一指标，以量化攻击路径对信息系统造成的威胁；
步骤1.4：基于改进的FPN-Q Learning算法得出各攻击路径的攻击收益，以确定最佳攻击路径。
所述步骤1.1包括以下步骤：
步骤1.1.1：确定信息系统可入侵的元件；
在本实施例中配电网信息系统可入侵的元件如图2所示，包括智能终端、FTP服务器、Web服务器、Database服务器、防火墙、SQL服务器、应用服务器；
步骤1.1.2：确定元件存在的安全漏洞；
配电自动化信息系统可入侵的元件存在的安全漏洞如表所示：
Figure GDA0003180388110000081
步骤1.1.3：基于模糊Petri网定义模型四元组：
M＝{P，T，α,μ}
其中：P＝{p1，p2，p3，…，pn}为库所p有限集合，在模型中表示组成信息系统的元件，在信息系统攻击模型中各库所含义如表所示：
库所 含义 库所 含义
p<sub>1</sub> 智能终端 p<sub>5</sub> 防火墙
p<sub>2</sub> FTP服务器 p<sub>6</sub> SQL服务器
p<sub>3</sub> Web服务器 p<sub>7</sub> 数据库文件
p<sub>4</sub> Database服务器 p<sub>8</sub> 应用服务器
T＝{t1，t2，t3，…，tm}为变迁t有限合集，在模型中表示系统元件可利用的漏洞；
α:表示库所代表的系统元件被入侵后造成的风险值，即威胁指数，在信息系统攻击模型中各系统元件威胁指数如表所示：
α<sub>1</sub> 9.3 α<sub>2</sub> 5.0 α<sub>3</sub> 4.6 α<sub>4</sub> 2.1
α<sub>5</sub> 5.8 α<sub>6</sub> 9.0 α<sub>7</sub> 7.5 α<sub>8</sub> 7.2
μ:表示变迁规则的置信度，在网络攻击模型中代表攻击过程的攻击复杂度，攻击复杂度受诸如攻击工具和攻击者经验等多种因素影响；
步骤1.2：基于深度优先搜索算法确定所有可能的攻击路径，在本实施例中根据深度优先搜索算法得到以下四条攻击路径：
路径一：p1→p2→p4→p5→p6→p7→p8；
路径二：p1→p2→p5→p6→p7→p8；
路径三：p1→p3→p4→p5→p6→p7→p8；
路径四：p1→p3→p5→p6→p7→p8；
步骤1.3：根据攻击者的攻击成本和攻击收益定义攻击路径的攻击收益：
步骤1.3.1：定义奖赏函数
rij＝αi·αj
奖赏函数rij表示攻击者通过元件i入侵元件j对网络造成的威胁，其中αi为入侵系统元件i给网络造成的威胁值，αj为入侵系统元件j给网络造成的威胁值，在本实施例中奖励函数rij的值如下表所示；
Figure GDA0003180388110000091
Figure GDA0003180388110000101
步骤1.3.2：定义Q更新函数
Figure GDA0003180388110000102
Q(pi,tij,pj)为攻击者通过步骤2的最佳攻击路径算法经过多次入侵学习后得到的由元件i入侵元件j对网络造成的威胁累加值；
步骤1.3.3：定义攻击收益M
M＝Q(p1,t1i,pi)+Q(pi,tij,pj)+...+Q(pl,tle,pe)
攻击收益M表示攻击者通过既定的路径对网络发起攻击会对信息系统造成的威胁。
步骤1.3.4：定义攻击增益G
G＝M/(μ1i+μij+...+μle)
式中，μij表示攻击者通过元件i的安全漏洞j的攻击复杂度，在本实施例中
Figure GDA0003180388110000103
取值如下表所示：
Figure GDA0003180388110000104
所述步骤1.4具体包括以下步骤：
步骤1.4.1：确定攻击接入口和目标元件，根据系统元件漏洞构建网络攻击FPN模型；
步骤1.4.2：初始化网络攻击FPN模型参数；
步骤1.4.3：对于每一幕即周期，执行循环；
步骤1.4.4：对每一幕中的每一步执行循环；
步骤1.4.5：在当前库所pi处，按概率从安全漏洞合集ti中选择一个漏洞tir，同时找到对系统造成最大威胁的安全漏洞tis；
Figure GDA0003180388110000111
其中，sir表示探索阶段元件i的安全漏洞r被利用的概率，n表示元件i的安全漏洞的个数；
步骤1.4.6：产生一个随机数δ，如果
Figure GDA0003180388110000112
则选择变迁tir，否则选择tis；
步骤1.4.7：更新Q值：
Figure GDA0003180388110000113
式中，Q(pi,tij,pj)表示利用库所元件pi通过漏洞tij入侵库所元件pj后对系统造成的威胁值，ω∈[0，1]表示学习速率，它决定了新旧经验所占的比重；γ∈[0，1]表示未来奖励值对于现在Q值的折扣因子，在本实施例中，ω＝0.9，γ＝0.7；
步骤1.4.8：执行变迁后转移到库所pj，判断是否为目标库所。如果是目标库所则根据退火算法的降温策略对Tem进行降温，进入下一幕学习，返回步骤1.4.3；如果不是目标库所则进入下一步学习，返回步骤1.4.4；
步骤1.4.9：直至Q值收敛，结束学习；最终得到的Q收敛值为：
1 2 3 4 5 6 7 8
1 0 128.49 123.151 0 0 0 0 0
2 0 0 0 75.327 117.137 0 0 0
3 0 0 0 74.487 114.817 0 0 0
4 0 0 0 0 0 92.61 0 0
5 0 0 0 0 0 125.91 0 0
6 0 0 0 0 0 0 105.3 64.8
7 0 0 0 0 0 0 0 54
8 0 0 0 0 0 0 0 0
步骤1.4.10：计算各攻击路径的攻击增益G，各攻击路径收益G如图3所示。由图可知路径1对信息系统造成的威胁最大，路径3次之。这是由于这两条攻击路径中攻击者通过入侵本地数据库获取了敏感信息，更加容易地通过了防火墙进入控制中心。
所述步骤2具体包括以下步骤：
步骤2.1：计算物理系统过负荷时，物理电网各节点的失负荷量
在物理系统过负荷时，信息系统会以失负荷最小为目标进行负荷削减：
Figure GDA0003180388110000121
其中，PLOSS为物理系统失负荷总量，N为物理系统可切负荷节点数，Lsi为节点i的失负荷。
同时考虑配电网潮流约束和节点可观、可控得到以下约束条件：
Figure GDA0003180388110000122
Figure GDA0003180388110000123
其中，Pi、Qi分别为节点i的有功功率和无功功率；s(i)为与节点i相连的节的集合；Gii、Bii分别为节点i的自电导和自电纳；Gij、Bij分别为节点i、j间电导和电纳；Ui、Uj分别为节点i、j的电压；θij为节点i、j的相角差；Umin、Umax分别为节点i电压的下限与上限；Imin、Imax分别为线路电流的下限与上限。
Figure GDA0003180388110000124
PGi min≤PGi≤PGi max
0≤Lsi≤PDi
其中，PGi为节点i所连可控发电设备的发电量，PGi min和PGi max为该发电机发电容量的下限与上限；PDi为节点i的负荷。
步骤2.2：计算信息系统遭受攻击对电力业务造成的影响I
Figure GDA0003180388110000131
式中，wj表示节点i的负荷重要度，Lsi表示节点i的失负荷。
在本实施例中，选取IEEE14节点有源配电系统作为仿真算例，在该系统的1、2、5、7号节点接入分布式电源；其中4、8、13号节点为重要负荷节点。分布式电源的总发电能力为3.7MW；各个负荷的功率需求之和为3.19MW，若有源配电网不同类型负荷遭受虚假数据注入攻击，且偏移量均为1MW时，得到各节点对电力业务造成的影响I如图4所示。
所述步骤3具体包括以下步骤：
定义数据攻击下CPS面临的风险为：
R＝G·I
式中，R为数据攻击下CPS面临的风险值，包括通过攻击者通过最佳攻击路径获得的攻击增益即对信息系统造成的威胁，以及数据篡改攻击对电力业务造成的影响I。
在本实施例中由于攻击路径1进入控制中心后入侵了主站的数据库服务器，可以对业务数据进行蓄意篡改，对物理电网造成更大的失负荷损失。根据对物理侧的仿真可知，修改6号节点业务数据对系统造成的失负荷损失最大。若攻击者通过路径2对信息系统进行攻击再修改6号节点业务数据，对整个系统造成的风险为：
R＝G·I＝29.54×2.41＝71.194
所述步骤4包括以下步骤；
根据信息系统遭受攻击对CPS造成的风险R找到最易受攻击的路径，对该最易受攻击的路径进行防护。
在本实施例中，寻找到最易受攻击的路径为：攻击者通过攻击路径1入侵应用服务器并对对物理电网中的6号节点业务数据进行蓄意篡改；因此需要对该条路径上的信息、物理元件进行防护，减少网络攻击电力CPS造成的风险。
特别的，接下来本实施例将传统Q-Learning算法与本发明改进的Q-Learning的算法进行对比，比较两种算法的收敛速度，包括以下步骤：
步骤1：根据传统Q-Learning算法计算各攻击路径的攻击增益，其算法步骤如下：
步骤1.1：确定攻击接入口和目标原件，根据系统元件漏洞构建网络攻击FPN模型；
步骤1.2：初始化参数；
步骤1.3：对于每一幕即周期，执行循环；
步骤1.4：对每一幕中的每一步执行循环；
步骤1.5：在当前库所pi处，等概率随机从安全漏洞合集ti中选择一个漏洞tir，同时找到对系统造成最大威胁的安全漏洞tis；
步骤1.6：产生一个随机数δ，如果
Figure GDA0003180388110000141
则选择变迁tir，否则选择tis；
步骤1.7：更新Q值：
Figure GDA0003180388110000142
式中，Q(pi,tij,pj)表示利用库所元件pi通过漏洞tij入侵库所元件pj后对系统造成的威胁值，ω∈[0，1]表示学习速率，它决定了新旧经验所占的比重；γ∈[0，1]表示未来奖励值对于现在Q值的折扣因子；
步骤1.8：执行变迁后转移到库所pj，判断是否为目标库所。如果是目标库所则根据退火算法的降温策略对Tem进行降温，进入下一幕学习，返回步骤2.3；如果不是目标库所则进入下一步学习，返回步骤2.4；
步骤1.9：直至Q值收敛，结束学习；
步骤1.10：计算各攻击路径的攻击增益G。
传统的Q-Learning算法得到的结果与本发明提出的改进的Q-Learning算法对比结果如图5所示。由图5可知，本发明的算法得到的结果与未改进的算法一致，并未出现局部最优的情况，但收敛速度更快。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (6)

1.一种电力CPS跨层安全风险分析的方法，其特征在于，包括如下过程：
步骤1：基于FPN-Q Learning算法计算可能攻击路径的攻击增益G，由此确定最佳攻击路径；
步骤2：计算信息系统遭受攻击对电力业务造成的影响I；
步骤3：根据步骤1中的攻击增益G和步骤2中的影响I计算信息系统遭受攻击对CPS造成的风险R；
步骤4：根据信息系统遭受攻击对CPS造成的风险R找到最易受攻击的路径，对该最易受攻击的路径进行防护；
所述步骤1具体包括以下步骤：
步骤1.1：综合信息系统元件存在的安全漏洞以及访问途径利用模糊Petri网建立攻击模型；
步骤1.2：基于深度优先搜索算法确定所有可能的攻击路径；
步骤1.3：根据攻击者的攻击成本和攻击收益定义攻击增益这一指标，以量化攻击路径对信息系统造成的威胁；
步骤1.4：基于改进的FPN-Q Learning算法得出各攻击路径的攻击收益，以确定最佳攻击路径；
所述步骤1.4具体包括以下步骤：
步骤1.4.1：确定攻击接入口和目标原件，根据系统元件漏洞构建网络攻击FPN模型；
步骤1.4.2：初始化网络攻击FPN模型参数；
步骤1.4.3：对于每一幕执行循环；
步骤1.4.4：对每一幕中的每一步执行循环；
步骤1.4.5：在当前库所pi处，按概率sir从安全漏洞合集ti中选择一个漏洞tir，同时找到对系统造成最大威胁的安全漏洞tis；
Figure FDA0003180388100000021
其中，sir表示探索阶段元件i的安全漏洞r被利用的概率，n表示元件i的安全漏洞的个数；
步骤1.4.6：产生一个随机数δ，如果
Figure FDA0003180388100000022
则选择变迁tir，否则选择tis；
步骤1.4.7：更新Q值：
Figure FDA0003180388100000023
式中，Q(pi,tij,pj)表示利用库所元件pi通过漏洞tij入侵库所元件pj后对系统造成的威胁值，ω∈[0，1]表示学习速率；γ∈[0，1]表示未来奖励值对于现在Q值的折扣因子；
步骤1.4.8：执行变迁后转移到库所pj，判断是否为目标库所，如果是目标库所则根据退火算法的降温策略对Tem进行降温，进入下一幕学习，返回步骤1.4.3；如果不是目标库所则进入下一步学习，返回步骤1.4.4；
步骤1.4.9：直至Q值收敛，结束学习；
步骤1.4.10：计算各攻击路径的攻击增益G。
2.根据权利要求1所述的方法，其特征在于，所述步骤1.1包括以下步骤：
步骤1.1.1：确定信息系统可入侵的元件；
步骤1.1.2：确定元件存在的安全漏洞；
步骤1.1.3：基于模糊Petri网定义模型四元组：
M＝{P，T，α，μ}
其中：P＝{p1，p2，p3，…，pn}为库所p有限集合，在模型中表示组成信息系统的元件；T＝{t1，t2，t3，…，tm}为变迁t有限合集，在模型中表示系统元件可利用的漏洞；α表示库所代表的系统元件被入侵后造成的风险值，即威胁指数；μ表示变迁规则的置信度，在网络攻击模型中代表攻击过程的攻击复杂度。
3.根据权利要求2所述的方法，其特征在于，所述步骤1.3包括以下步骤：
步骤1.3.1：定义奖赏函数
rij＝αi·αj
奖赏函数rij表示攻击者通过元件i入侵元件j对网络造成的威胁，其中αi为入侵系统元件i给网络造成的威胁值，αj为入侵系统元件j给网络造成的威胁值；
步骤1.3.2：定义Q更新函数
Figure FDA0003180388100000031
Q(pi，tij，pj)为攻击者通过步骤2的最佳攻击路径算法经过多次入侵学习后得到的由元件i入侵元件j对网络造成的威胁累加值；
步骤1.3.3：定义攻击收益M
M＝Q(p1，t1i，pi)+Q(pi，tij，pj)+...+Q(pl，tle，pe)
攻击收益M表示攻击者通过既定的路径对网络发起攻击会对信息系统造成的威胁；
步骤1.3.4：定义攻击增益G
G＝M/(μ1i+μij+...+μle)
式中，μij表示攻击者通过元件i的安全漏洞j的攻击复杂度。
4.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1：计算物理系统过负荷时，物理电网各节点的失负荷量；
在物理系统过负荷时，信息系统会以失负荷最小为目标进行负荷削减：
Figure FDA0003180388100000032
其中，PLOSS为物理系统失负荷总量，N为物理系统可切负荷节点数，Lsi为节点i的失负荷；
同时考虑配电网潮流约束和节点可观、可控得到以下约束条件：
Figure FDA0003180388100000041
Figure FDA0003180388100000042
其中，Pi、Qi分别为节点i的有功功率和无功功率；s(i)为与节点i相连的节的集合；Gii、Bii分别为节点i的自电导和自电纳；Gij、Bij分别为节点i、j间电导和电纳；Ui、Uj分别为节点i、j的电压；θij为节点i、j的相角差；Umin、Umax分别为节点i电压的下限与上限；Imin、Imax分别为线路电流的下限与上限；
Figure FDA0003180388100000043
PGi min≤PGi≤PGi max
0≤Lsi≤PDi
其中，PGi为节点i所连可控发电设备的发电量，PGi min和PGi max为该发电机发电容量的下限与上限；PDi为节点i的负荷；
步骤2.2：计算信息系统遭受攻击对电力业务造成的影响I
Figure FDA0003180388100000044
式中，wj表示节点i的负荷重要度，Lsi表示节点i的失负荷。
5.根据权利要求4所述的方法，其特征在于，所述步骤3具体包括以下步骤：
定义数据攻击下CPS面临的风险为：
R＝G·I
式中，R为数据攻击下CPS面临的风险值，包括通过攻击者通过最佳攻击路径获得的攻击增益G，以及数据篡改攻击对电力业务造成的影响I。
6.根据权利要求2所述的方法，其特征在于，信息系统可入侵的元件包括智能终端、FTP服务器、Web服务器、Database服务器、防火墙、SQL服务器、应用服务器。
CN202010866041.4A 2020-08-25 2020-08-25 一种电力cps跨层安全风险分析的方法 Active CN112039864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010866041.4A CN112039864B (zh) 2020-08-25 2020-08-25 一种电力cps跨层安全风险分析的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010866041.4A CN112039864B (zh) 2020-08-25 2020-08-25 一种电力cps跨层安全风险分析的方法

Publications (2)

Publication Number Publication Date
CN112039864A CN112039864A (zh) 2020-12-04
CN112039864B true CN112039864B (zh) 2021-09-14

Family

ID=73580959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010866041.4A Active CN112039864B (zh) 2020-08-25 2020-08-25 一种电力cps跨层安全风险分析的方法

Country Status (1)

Country Link
CN (1) CN112039864B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819300B (zh) * 2021-01-21 2024-04-30 南京邮电大学 网络攻击下基于随机博弈网的配电网风险评估方法
CN113011775B (zh) * 2021-04-06 2023-03-10 上海交通大学 基于事件驱动的配电网信息物理系统风险评估计算方法
CN113452673B (zh) * 2021-05-18 2022-05-03 广西电网有限责任公司电力科学研究院 一种面向电力系统的网络攻击破坏程度量化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512837A (zh) * 2018-03-16 2018-09-07 西安电子科技大学 一种基于攻防演化博弈的网络安全态势评估的方法及系统
CN108809979A (zh) * 2018-06-11 2018-11-13 中国人民解放军战略支援部队信息工程大学 基于Q-learning的自动入侵响应决策方法
CN109191326A (zh) * 2018-08-23 2019-01-11 东北大学 基于攻击方视角的配电网cps相依存系统网络攻击风险评估方法
CN109711176A (zh) * 2018-12-12 2019-05-03 曲阜师范大学 一种基于Q-Learning智能合约有效性检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539601B (zh) * 2014-12-19 2017-01-04 北京航空航天大学 动态网络攻击过程可靠性分析方法及系统
CN107317756A (zh) * 2017-07-10 2017-11-03 北京理工大学 一种基于q学习的最佳攻击路径规划方法
CN107277039B (zh) * 2017-07-18 2020-01-14 河北省科学院应用数学研究所 一种网络攻击数据分析及智能处理方法
CN107948137A (zh) * 2017-11-01 2018-04-20 北京理工大学 一种基于改进的q学习的最佳攻击路径规划方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512837A (zh) * 2018-03-16 2018-09-07 西安电子科技大学 一种基于攻防演化博弈的网络安全态势评估的方法及系统
CN108809979A (zh) * 2018-06-11 2018-11-13 中国人民解放军战略支援部队信息工程大学 基于Q-learning的自动入侵响应决策方法
CN109191326A (zh) * 2018-08-23 2019-01-11 东北大学 基于攻击方视角的配电网cps相依存系统网络攻击风险评估方法
CN109711176A (zh) * 2018-12-12 2019-05-03 曲阜师范大学 一种基于Q-Learning智能合约有效性检测方法

Also Published As

Publication number Publication date
CN112039864A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112039864B (zh) 一种电力cps跨层安全风险分析的方法
Miehling et al. A POMDP approach to the dynamic defense of large-scale cyber networks
CN105681338B (zh) 漏洞利用成功概率计算方法及网络安全风险管理方法
Higgins et al. Stealthy MTD against unsupervised learning-based blind FDI attacks in power systems
Liu et al. Modeling cyber-physical attacks based on probabilistic colored Petri nets and mixed-strategy game theory
CN102724199A (zh) 基于贝叶斯网络推理的攻击意图识别方法
Alcaraz et al. Recovery of structural controllability for control systems
Tian et al. Prospect theoretic study of honeypot defense against advanced persistent threats in power grid
Wu et al. Risk assessment method for cybersecurity of cyber-physical systems based on inter-dependency of vulnerabilities
Ali et al. Attributed multi-objective comprehensive learning particle swarm optimization for optimal security of networks
Lin et al. False data injection attack in smart grid: Attack model and reinforcement learning-based detection method
Baiardi et al. Application Vulnerabilities in Risk Assessment and Management.
Luo et al. A fictitious play‐based response strategy for multistage intrusion defense systems
CN116707909A (zh) 电网攻击风险感知防御方法及系统
Suhaimi et al. Network intrusion detection system using immune-genetic algorithm (IGA)
Sun Research on the optimization management of cloud privacy strategy based on evolution game
Sakhnini Security of smart cyber-physical grids: a deep learning approach
Swarup et al. Risk assessment of cyber-attacks in multi area load frequency control
Guan et al. A Bayesian Improved Defense Model for Deceptive Attack in Honeypot-Enabled Networks
Moskal et al. Simulating attack behaviors in enterprise networks
Rausch et al. A comparison of different intrusion detection approaches in an advanced metering infrastructure network using ADVISE
CN115296830A (zh) 基于博弈论的网络协同攻击建模和危害定量分析方法
Azar et al. Biased random walks
CN114465758A (zh) 一种基于贝叶斯决策网络的网络态势感知方法
Rezaee et al. A risk estimation framework for security threats in computer networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant