CN116866084B - 基于强化学习的入侵响应决策方法及系统 - Google Patents

基于强化学习的入侵响应决策方法及系统 Download PDF

Info

Publication number
CN116866084B
CN116866084B CN202311098883.XA CN202311098883A CN116866084B CN 116866084 B CN116866084 B CN 116866084B CN 202311098883 A CN202311098883 A CN 202311098883A CN 116866084 B CN116866084 B CN 116866084B
Authority
CN
China
Prior art keywords
attack
protection
state
response
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311098883.XA
Other languages
English (en)
Other versions
CN116866084A (zh
Inventor
曲延盛
李明
王云霄
黄华
张文斌
张婕
任乐
刘维特
赵丽娜
赵大伟
徐丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan, Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202311098883.XA priority Critical patent/CN116866084B/zh
Publication of CN116866084A publication Critical patent/CN116866084A/zh
Application granted granted Critical
Publication of CN116866084B publication Critical patent/CN116866084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了基于强化学习的入侵响应决策方法及系统，涉及电力控制技术领域，获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；入侵发生后，基于构建的贝叶斯攻击图，利用Q‑Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；本发明在攻击发生时采用深度强化学习DDQN算法进行策略选择，解决了强化学习DQN算法的高估问题，提高了决策质量；在攻击发生后采用Q‑Learning优化粒子群算法的参数进行策略选择，避免了局部最优解。

Description

基于强化学习的入侵响应决策方法及系统
技术领域
本发明属于入侵检测技术领域，尤其涉及基于强化学习的入侵响应决策方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着智能电网建设的不断发展、智能化设备的不断推广和电网系统自动化水平的迅速提高，调度中心、电厂、用户之间的数据交换也越来越频繁，电网系统与控制系统的交互机理日益复杂，对控制系统的依存度越来越高，电力控制系统越来越多地接入到电网系统，其隔离性被严重削弱，安全机制的不合理问题暴露在网络下，电力控制系统受入侵的风险与日俱增，网络安全在整个电力系统运行中扮演的角色也愈加重要，对电力控制系统的安全性、可靠性、实时性提出了新的挑战。
目前，最优安全防护策略选择和策略决策技术引起了大家的广泛研究；Jaquith提出了安全指标，如攻击成本、防御实施成本、攻击影响、运营成本和其他指标，以定义最优解决方案的因素；然而，这种方法缺乏具体和常用的测量系统来可靠地评估对策；Poolsapasit等人提出了一种基于成本和效益的多指标定量分析方法，并通过遗传算法计算出最优安全保护策略，但容易陷入局部最优；Iannucci Stefano提出了一种基于强化学习的弹性应用入侵响应方法，旨在提高网络安全性，该方法结合了弹性计算的概念，即根据当前的工作负载动态调整系统资源的能力，以及强化学习的技术，利用历史信息来学习最佳响应策略，然后在面对大型电力控制网络环境中，这种方法的效率不高，影响对电力控制系统入侵的响应性能。
总之，安全问题日益重要，如何从已经构建的多个策略中，快速寻找最优安全防护策略和如何在大型电力控制网络中实现入侵响应就显得尤为重要；大多数寻找最优安全防护策略的方法要么容易陷入局部最优，要么在选择量化指标上存在问题，因此整体上入侵响应度不高。
发明内容
为克服上述现有技术的不足，本发明提供了基于强化学习的入侵响应决策方法及系统，在攻击发生时的防护策略选择方法采用了深度强化学习DDQN算法，解决了强化学习DQN算法的高估问题，提高了决策质量，同时此方法在大型电力控制环境中也具有可行性；在攻击发生后的防护策略选择采用Q-Learning优化粒子群算法的参数，避免了局部最优解，提高入侵响应度。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了基于强化学习的入侵响应决策方法。
基于强化学习的入侵响应决策方法，包括：
获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优。
进一步的，所述从动态策略集中选择最优的防护策略进行动态响应，具体步骤为：
将攻击者的行为、攻击的方法和攻击的目标进行可视化，得到攻击图；
基于攻击图，对电力控制系统网络中的状态进行建模；
根据ICS的网络配置和资产信息构建所有可能的防护策略，作为动态策略集，然后根据防护策略所达到的目的，量化响应目的，构建目标函数；
基于深度强化学习算法，从动态策略集中选择最优的防护策略，进行入侵响应。
进一步的，所述对电力控制系统网络中的状态进行建模，是利用原子攻击模式，得到攻击模式矩阵；
其中，当攻击者利用漏洞进行攻击，并且成功达到下一个设备节点/>时，这种模式为原子攻击模式/>。
进一步的，所述响应目的是为了防御某种威胁而采取的具体行动；
将响应目的分为8类：追踪攻击、分析攻击/>、屏蔽攻击/>、最大化系统机密性/>、最大化数据完整性/>、最小化资源成本/>、恢复系统/>和维持服务/>。
进一步的，所述目标函数为：
其中，表示第i类响应目的的回报，/>为第i类响应目的的回报的权重，/>表示状态，/>表示动态策略集。
进一步的，所述分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励，具体为：
利用漏洞达到了设备节点/>，即当原子攻击模式/>时才可被称为状态；
动作为防护决策，根据在状态/>下选择动作/>；
引入安全阈值，如果在状态下选择一个动作/>使得防护收益大于安全阈值，则进行奖励；小于则进行惩罚；等于则不进行奖励或惩罚。
进一步的，所述从静态策略集中选择最优的防护策略进行静态响应，具体步骤为：
结合网络配置和资产信息，构建贝叶斯攻击图；
基于贝叶斯攻击图，对电力控制系统的环境进行安全风险评估，得到各个网络节点被攻击的先验概率；
根据ICS的网络配置和资产信息构建所有可能的防护策略，作为静态策略集，量化每种策略的攻击收益和防护成本；构建基于攻击收益和防护成本的目标函数;
基于Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略，进行入侵响应。
进一步的，所述对电力控制系统的环境进行安全风险评估，具体为：
计算攻击图各边的利用成功率；
利用成功率构造局部条件概率分布表；
基于局部条件概率分布表，计算所有设备节点被攻击的先验概率。
进一步的，所述Q-Learning粒子群优化算法，以最小化攻击收益和防护成本的和为目标，以目标空间状态和决策空间状态为Q-Learning的状态进行寻优，所述目标空间状态表示粒子与全局最优粒子位置之间的关系，所述决策空间表示粒子的适合度和全局最优粒子的适合性之间的关系。
进一步的，所述攻击收益，基于设备节点被攻击的先验概率，计算防护策略下的攻击收益，具体为：
其中，表示设备节点，/>表示防护策略，/>表示设备节点/>被攻击的先验概率。
本发明第二方面提供了基于强化学习的电力控制系统入侵响应系统。
基于强化学习的电力控制系统入侵响应系统，包括图构建模块、动态响应模块和静态响应模块：
图构建模块，被配置为：获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
动态响应模块，被配置为：入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
静态响应模块，被配置为：入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优。
以上一个或多个技术方案存在以下有益效果：
本发明提供的基于强化学习的入侵响应决策方法及系统，在攻击发生时的防护策略选择方法采用了深度强化学习DDQN算法；在攻击发生后的防护策略选择采用Q-Learning优化粒子群算法的参数。
本发明提出的基于深度强化学习的动态入侵响应决策方法，可以适用于大型电力控制环境中，解决了强化学习DQN算法的高估问题，提高了决策质量，使得收敛速度更快。
本发明提出的基于Q-Learning粒子群优化的静态入侵响应决策方法，可以避免局部最优解，快速寻找到最优防护策略。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第一个实施例基于深度强化学习的动态入侵响应决策方法的流程图。
图3为第一个实施例攻击图的示意图。
图4为第一个实施例基于Q-Learning粒子群优化的静态入侵响应决策方法的流程图。
图5为第一个实施例QLPSO算法的重要元素图。
图6为第一个实施例三维Q表。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了基于强化学习的入侵响应决策方法，如图1所示，包括如下步骤：
步骤S101：获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
步骤S102：入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
步骤S103：入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优；
所述Q-Learning粒子群优化算法，以最小化攻击收益和防护成本的和为目标，以目标空间状态和决策空间状态为Q-Learning的状态进行寻优，所述目标空间状态表示粒子与全局最优粒子位置之间的关系，所述决策空间表示粒子的适合度和全局最优粒子的适合性之间的关系。
下面对本实施例基于强化学习的入侵响应决策方法的实现过程进行详细说明。
基于强化学习的入侵响应决策方法，包括基于深度强化学习的动态入侵响应决策方法和基于Q-Learning粒子群优化的静态入侵响应决策方法两部分，在攻击发生时的策略决策选择方法采用了DDQN算法，解决了DQN的高估问题，提高了决策质量，同时此方法在大型电力控制环境中也具有可行性；在攻击发生后的防护策略选择采用Q-Learning优化粒子群算法的参数，避免了局部最优解。
一、基于深度强化学习的动态入侵响应决策方法
基于深度强化学习的动态入侵响应决策方法的流程图，如图2所示，包括：
步骤S201：将攻击者的行为、攻击的方法和攻击的目标进行可视化，得到攻击图。
攻击图（Attack Graph，AG）是一种用于表示计算机系统中可能存在的安全漏洞和攻击路径的图形化工具，它使用图形化的方式表示系统中的各种组件、网络连接、用户权限等，以及攻击者可能利用的漏洞和攻击方式。
攻击图主要由两种元素组成：节点和边。节点代表系统中的不同组件或实体，例如计算机系统中的应用程序、网络协议、网络设备等等。每个节点都具有一些安全属性信息，例如漏洞、弱点、配置错误等，这些安全属性可能导致系统受到攻击，边表示节点之间的依赖关系或攻击路径。攻击路径指攻击者可能利用系统中的漏洞和弱点来攻击系统的路径，依赖关系则指节点之间的相互依赖关系。
图3是攻击图的示意图，其中，表示设备节点，/>表示漏洞。
步骤S202：基于攻击图对电力控制系统网络中的状态进行建模，利用原子攻击模式，得到攻击模式矩阵；
具体的，当攻击者利用漏洞进行攻击，并且成功达到下一个设备节点/>时，这种情况被称作为原子攻击模式(Atomic Attack Mode，aam)，定义公式如下：
(1)
那么，完整的攻击模式矩阵am就可以定义如下所示：
(2)
若，那么表示攻击者不具有原子攻击模式，反之，则代表攻击者具有原子攻击模式；所有原子攻击模式共同组成了攻击者的攻击模式。
图3的攻击图，对应的攻击模式矩阵为：
步骤S203：根据ICS的网络配置和资产信息构建所有可能的防护策略，作为动态策略集，然后根据防护策略所达到的目的，量化响应目的，构建目标函数。
根据ICS的网络配置和资产信息构建所有可能的防护策略，作为动态策略集；在构建防护策略时，除了考虑收益外，也需要考虑成本。在选择安全防护策略时，需要全面评估收益与成本之间的平衡，确定适合电力控制当时情况的防护策略。防护策略实施的目的是为了降低某种风险或威胁的影响，这就是响应目的，所以要对防护策略的响应目的进行量化，得到防护收益。
防护策略用表示，动态策略集/>表示在状态/>时可以选择的防护策略。
响应目的是指在面对攻击时，所采取的行动所要达到的预定目标。CARVER是一种常用的风险评估方法，它可以用于评估各种威胁对系统的影响；在CARVER方法中，响应目的（Response purpose，Rp）是指为了防御某种威胁而采取的具体行动，CARVER方法将响应目的分为以下8类：追踪攻击（）、分析攻击（/>）、屏蔽攻击（/>）、最大化系统机密性（）、最大化数据完整性（/>）、最小化资源成本（/>）、恢复系统（/>）和维持服务（/>）。本实施例提供了基于CARVER响应目的的量化方法，以确保响应策略能够满足各种安全需求。
（1）追踪攻击（）
为了追踪攻击者，收集关于攻击者身份、位置和意图的信息，追踪攻击回报（）的量化方法如表1所示。
表1追踪攻击回报的量化方法
（2）分析攻击（）
为了对攻击进行分析，以便识别攻击的弱点和脆弱性，并确定防御措施，分析攻击回报（）的量化方法如表2所示。
表2分析攻击回报的量化方法
（3）屏蔽攻击（）
为了限制攻击者的行动范围，降低攻击的效力和危害，屏蔽攻击回报（）的量化方法如表3所示。
表3屏蔽攻击回报的量化方法
（4）最大化系统机密性（）
为了保护系统中最有价值的资产、数据和信息的机密性，机密性（）的定义如表4所示。
表4机密性的定义
最大化系统机密性回报（）的量化方法如式（3）所示。
(3)
其中，代表信息泄露情况，/>，代表信息未泄露；/>，代表信息已经泄露。/>为机密性取值，/>为信息泄露数量。
（5）最大化数据完整性（）
为了确保数据不被篡改或损坏，并保证系统功能不受影响，完整性（）的定义如表5所示。
表5 完整性的定义
最大化数据完整性回报（）的量化方法如式（4）所示。
(4)
其中，代表数据篡改情况，/>，代表数据未被篡改；/>，代表数据已经被篡改，/>为数据完整性取值，/>为数据被篡改的数量。
（6）最小化资源成本（）
为了以最小的成本实现防御措施，并避免对系统正常运行的影响。最小化资源成本回报（）的量化方法如表6所示。
表6 最小化资源成本回报的量化方法
（7）恢复系统（）
为了快速恢复系统功能并减少损失，但不求终止攻击。恢复系统回报（）的量化方法如式（5）所示。
(5)
其中，代表系统恢复的情况，/>，代表系统未恢复；/>，代表系统已经恢复，/>为资产的价值，/>为系统恢复的数量。
（8）维持服务（）
为了确保系统继续提供服务并满足用户需求，即使在遭受攻击时也能保持运行。维持服务回报（）的量化方法如式（6）所示。
(6)
其中，代表服务是否能正常使用的情况，/>，代表维持服务未成功；，代表维持服务成功。/>为服务的价值。/>为维持服务成功的数量。
当面临决策时，通常并不只有一个目的或响应需要考虑，这些目的可能会涉及到不同的利益相关方和优先级，有些可能会相互矛盾或者产生冲突；因此，选择一个合适的防护策略需要综合考虑多个目的的结果，并进行权衡，每个响应目的具有一定的权重，权重用表示，即/>，这个权重可以设定；在此基础上，防护收益如公式（7）所示。
(7)
步骤S204：基于深度强化学习算法，从动态策略集中选择最优的防护策略，进行入侵响应。
以防护收益最大化为目标，设计基于的深度强化学习（DDQN）的策略选择方法（DDQN-IRP），然后根据DDQN-IRP方法获得最优的防护策略。
在深度强化学习DDQN算法中重点在于状态、动作和奖励。
状态是描述当前情境的变量或特征。在DDQN中，智能体需要根据当前的状态来做出下一步的决策，以获得最大的奖励。
在本实施例中，状态指的是利用某个漏洞达到了某个状态，即状态指的是原子攻击模式，且当原子攻击模式/>时才可被称为状态。
如图3所示的攻击图中，一共有三条路径，分别对应着三条状态变化路线：，/>，/>。
动作是指智能体在当前所处的状态下可以执行的一系列操作或选择，这些操作或选择可以是不同的决策或策略。在DDQN中，智能体需要从可用的动作中选择一个最优的动作，以最大化未来的奖励。通过智能体选择最佳的动作，可以帮助应对当前状态下的挑战和问题，并在长期中最大化奖励和效益。
在本实施例中，动作指的是各种防护决策，即，根据在状态/>下选择动作/>。
奖励是智能体在某个状态下执行某个动作后获得的反馈信号，在DDQN中，智能体的目标是最大化未来的累计奖励，智能体将在每个时间步骤中接收到一个奖励信号，以衡量它在该状态下所采取的动作的好坏。奖励可以是正的、负的或零。
在本实施例中，引入安全阈值（safety threshold，st）。如果在一个状态下选择完一个动作/>使得防护策略的收益/>，则进行奖励；如果防护策略的收益，则进行惩罚；如果防护策略的收益/>，则不进行奖励或惩罚，即如式（8）：
(8)
在上述基础上，使用DDQN-IRP寻找最优策略的步骤如下：
(1) 初始化经验回放池、深度神经网络的权重和目标网络的权重;
(2)根据状态选择动作;
(3) 输出响应策略并观察奖励；
(4) 将转移数据：当前状态、动作、奖励和下一个状态放入经验回放池中;
(5) 从经验回放池中取出一个批次的转移数据;
(6)计算目标Q值，当前Q值和损失函数；
(7)使用梯度下降法更新权重；
(8) 每步，更新目标网络的权重;
(9)将下一个状态设为当前状态，重复步骤(3-9)，直到达到迭代次数。
二、基于Q-Learning粒子群优化的静态入侵响应决策方法
基于Q-Learning粒子群优化的静态入侵响应决策方法的流程图，如图4所示，包括：
步骤S401：根据ICS的网络配置和资产信息构建贝叶斯攻击图。
贝叶斯攻击图是通过结合网络配置和资产信息建立的，可以使用MulVAL工具直接构建，在MulVAL中，网络拓扑图通常使用XML格式定义，可以使用现有的网络拓扑图定义。在拓扑图中，需要定义网络设备、连接和端口等信息；MulVAL提供了攻击者建模语言，可以用来描述攻击者的行为和目标；攻击者建模语言允许定义攻击者的目标、攻击技术和行为，例如攻击者使用哪些工具和技术进行攻击等；MulVAL还提供了漏洞描述语言，可以用来描述漏洞类型、影响和可能的修复措施；在定义好网络拓扑图、攻击者模型和漏洞模型后，可以使用MulVAL运行贝叶斯攻击图分析。MulVAL会分析网络拓扑图、攻击者模型和漏洞模型，然后生成贝叶斯攻击图。
贝叶斯攻击图是一个有向无环图，定义为：，其中：
(1)是攻击图的所有属性节点的集合。
(2)是攻击图的所有有向边的集合，其中/>有两个端节点/>和/>，/>是父节点，/>是子节点。
(3)表示原子攻击。/>表示攻击已启动，反之/>表示攻击未启动。
(4)是属性节点可以被攻击的概率集合。/>表示属性节点/>被攻击的成功概率。
步骤S402：基于贝叶斯攻击图，对电力控制系统的环境进行安全风险评估，得到各个网络节点被攻击的先验概率。
具体的，计算攻击图各边的利用成功率；利用成功率构造局部条件概率分布(LCPD)表；计算所有属性节点被攻击的先验概率。
其中，利用成功率由式（9）计算得出：
(9)
其中，AV、AC和AU是CVSS可用性指示符，AV是攻击路径，AC是攻击复杂性值，AU是身份验证值，表示当前节点与其父节点之间的漏洞。
局部条件概率分布(LCPD)表由式（10）（11）计算得出：
当属性节点仅在其所有父节点被利用时的局部条件概率为：
(10)
当属性节点的任一父节点被利用时，属性节点/>可以被利用时的局部条件概率为：
(11)
指的是/>的父节点集。
属性节点被攻击的先验概率计算如式（12）（13）所示：
当属性节点只有在父节点全部被利用时才被利用时的先验概率为：
(12)
当属性节点的任一父节点被利用时的先验概率为：
(13)
步骤S403：根据ICS的网络配置和资产信息构建所有可能的防护策略，作为静态策略集，量化每种策略的攻击收益和防护成本；构建基于攻击收益和防护成本的目标函数。
是构建出来的静态策略集，记为/>，其中/>是一种防护策略，可以对属性节点/>进行操作，以降低其被攻击的风险，/>表示启用防护策略，反之表示未启用防护策略。
启用防护策略后，属性节点利用成功的概率会受到影响，利用概率会有一定的降低，即：
(14)
实施防护策略，需要投入一定的资源和成本来保障安全，因此防护成本是不可避免的。防护成本用，其中/>表示实施防护策略/>的成本，/>定义为:/>
(15)
其中,为防护策略的归一化权重，/>为资产的价值。因此，在某种防护策略的情况下，每个属性节点都有一定的效益，这些效益可以通过加总每个属性节点的效益来得到总的攻击收益。换句话说，防护策略/>的总体有效性可以通过考虑每个属性节点的效益来评估，公式如下所示：
(16)
其中，是防护策略，/>是防护策略的成本。
属性节点的攻击收益表示为/>，即攻击属性节点/>成功所获得的攻击收益，/>可计算为：
(17)
此外，属性节点在防护策略/>下的攻击收益为：
(18)
因此，防护策略下的总攻击收益可由所有属性节点的效益之和得到，即：
(19)
属性节点在防护策略/>下的攻击收益如式（20）计算得出：
(20)
在上述攻击收益和防护成本的定义下，更容易说明优化的目标是最小化攻击收益和防护成本。攻击收益指攻击者通过攻击属性节点而获得的收益，防护成本指的是管理员实施防护策略产生的成本。
因此，目标函数可以表示为：
(21)
满足于：
(22)
其中，和/>分别为攻击收益和防护成本的偏好权重，/>，/>为总防护成本约束。
步骤S404：基于Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略，进行入侵响应。
具体的，设计Q-Learning粒子群优化算法(QLPSO)，利用QLPSO求解目标函数，最终找到最优防护策略。
粒子群优化PSO算法可直接用于求解优化目标函数，然而，PSO算法存在一些局限性，其中最主要的问题就是可能会陷入局部最优解而无法找到全局最优解，这种局部最优问题通常是由于PSO算法使用了固定的参数设置，导致搜索过程过早收敛到局部最优解；因此，在使用PSO算法时，需要对其参数进行优化，以提高其全局搜索能力和避免陷入局部最优。在实施例中，采用Q-Learning粒子群优化算法QLPSO算法，通过Q-Learning更新PSO算法的参数，以避免局部最优问题。
状态、动作、Q表和奖励也是QLPSO算法的核心元素，如图5所示。
（1）与PSO只有一个状态不同，QLPSO有两个状态：目标空间状态和决策空间状态，目标空间状态需要考虑粒子与全局最优粒子位置之间的关系，决策空间需要考虑粒子的适合度和全局最优粒子的适合性之间的关系。
决策空间状态有四个子状态：DFarthest，DFarther，DNearer和DNearest。它们分别表示粒子与全局最优位置之间的欧几里得距离相对于搜索空间大小的状态，目标空间状态也有四个子状态：最大适应度差，较大适应度差，较小适应度差和最小适应度差，它们表示粒子的适应度与全局最优适应度和全局最差适应度差之间的相对状态；在本实施例中，只需要考虑两个解之间的适应度值差异。
决策空间状态和目标空间状态的具体信息如表7和表8所示。
表7 决策空间状态
表8 目标空间状态
在表7中，是某个粒子与全局最优粒子/>之间的欧几里得距离，/>是决策空间搜索的范围；在表8中，/>是适应度，指某个粒子与全局最优粒子/>之间的适应度差，是全局最佳粒子的适应度与全局最差粒子的适应之间的差。
（2）有四种类型的动作，它们对应于粒子群的不同参数：、/>和/>。/>、/>和/>的不同值将影响粒子的探索形式；/>越大，全局探索能力越强，局部探索能力越弱；相反，/>越小，全局探索能力越弱，局部探索能力越强；/>越大，全球勘探能力越强。/>越大，粒子收敛能力越强；四种类型动作的详细参数设置如表9所示。
表9 动作的详细参数设置
（3）由于有四种类型的目标空间状态、决策空间状态和动作，QLPSO的Q表不同于一般Q-Learning中使用的二维Q表，这里使用的三维Q表是4×4×4三维Q表，三维Q表如图6所示，如,6所示，首先确定目标空间的状态和决策空间的状态，例如（最近的距离，最小的适应度差），然后，根据目标空间的状态和决策空间的状态，选择与状态对应的Q值最大的动作。
（4） 在选择了某个动作后，如果适应度值变得更差，应该受到惩罚。否则，如果适应度值变得更好，就应该得到奖励。本实施例中定义的奖励函数如下：
(23)
其中，和/>分别表示当前状态和下一状态的适应度值。
在上述基础上，QLPSO算法的具体步骤为：
(1) 初始化种群和Q表;
(2) 根据粒子在目标空间和决策空间中的位置确定其状态;
(3) 使用Q表确定粒子的动作(参数);
(4) 根据前一步确定的参数更新粒子;
(5) 根据奖励函数更新Q表;
(6) 在每一代中，对所有粒子重复执行以上步骤，直到达到迭代次数。
实施例二
在一个或多个实施例中，公开了基于强化学习的电力控制系统入侵响应系统，包括图构建模块、动态响应模块和静态响应模块：
图构建模块，被配置为：获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
动态响应模块，被配置为：入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
静态响应模块，被配置为：入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于强化学习的入侵响应决策方法，其特征在于，包括：
获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优；
所述Q-Learning粒子群优化算法，以最小化攻击收益和防护成本的和为目标，以目标空间状态和决策空间状态为Q-Learning的状态进行寻优，所述目标空间状态表示粒子与全局最优粒子位置之间的关系，所述决策空间表示粒子的适合度和全局最优粒子的适合性之间的关系；
所述分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励，具体为：
利用漏洞vi达到了设备节点Dnj，即当原子攻击模式amij＝1时才可被称为状态；
动作为防护决策Dsi，根据在状态st下选择动作Dsi；
引入安全阈值，如果在状态si下选择一个动作Dsj使得防护收益大于安全阈值，则进行奖励；小于则进行惩罚；等于则不进行奖励或惩罚。
2.如权利要求1所述的基于强化学习的入侵响应决策方法，其特征在于，所述从动态策略集中选择最优的防护策略进行动态响应，具体步骤为：
将攻击者的行为、攻击的方法和攻击的目标进行可视化，得到攻击图；
基于攻击图，对电力控制系统网络中的状态进行建模；
根据ICS的网络配置和资产信息构建所有可能的防护策略，作为动态策略集，然后根据防护策略所达到的目的，量化响应目的，构建目标函数；
基于深度强化学习算法，从动态策略集中选择最优的防护策略，进行入侵响应。
3.如权利要求2所述的基于强化学习的入侵响应决策方法，其特征在于，所述对电力控制系统网络中的状态进行建模，是利用原子攻击模式，得到攻击模式矩阵am；
其中，当攻击者利用漏洞vi进行攻击，并且成功达到下一个设备节点Dnj时，这种模式为原子攻击模式amij。
4.如权利要求2所述的基于强化学习的入侵响应决策方法，其特征在于，所述响应目的是为了防御某种威胁而采取的具体行动；
将响应目的分为8类：追踪攻击Rp1、分析攻击Rp2、屏蔽攻击Rp3、最大化系统机密性Rp4、最大化数据完整性Rp5、最小化资源成本Rp6、恢复系统Rp7和维持服务Rp8。
5.如权利要求4所述的基于强化学习的入侵响应决策方法，其特征在于，所述目标函数为：
其中，表示第i类响应目的的回报，ωi为第i类响应目的的回报的权重，s表示状态，Ds表示动态策略集。
6.如权利要求1所述的基于强化学习的入侵响应决策方法，其特征在于，所述从静态策略集中选择最优的防护策略进行静态响应，具体步骤为：
结合网络配置和资产信息，构建贝叶斯攻击图；
基于贝叶斯攻击图，对电力控制系统的环境进行安全风险评估，得到各个网络节点被攻击的先验概率；
根据ICS的网络配置和资产信息构建所有可能的防护策略，作为静态策略集，量化每种策略的攻击收益和防护成本；构建基于攻击收益和防护成本的目标函数；
基于Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略，进行入侵响应。
7.如权利要求6所述的基于强化学习的入侵响应决策方法，其特征在于，所述攻击收益，基于设备节点被攻击的先验概率，计算防护策略下的攻击收益，具体为：
AG(Si|M)＝P(Si|M)×value
其中，Si表示设备节点，M表示防护策略，P(Si|M)表示设备节点Si被攻击的先验概率，value表示资产的价值。
8.基于强化学习的电力控制系统入侵响应系统，其特征在于，包括图构建模块、动态响应模块和静态响应模块：
图构建模块，被配置为：获取电力控制系统的网络配置及设备的资产信息和安全信息，构建攻击图和贝叶斯攻击图；
动态响应模块，被配置为：入侵发生时，基于构建的攻击图，利用深度强化学习算法，从动态策略集中选择最优的防护策略进行动态响应；
静态响应模块，被配置为：入侵发生后，基于构建的贝叶斯攻击图，利用Q-Learning粒子群优化算法，从静态策略集中选择最优的防护策略进行静态响应；
其中，所述深度强化学习算法，以最大化防护收益为目标，分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励进行寻优；
所述Q-Learning粒子群优化算法，以最小化攻击收益和防护成本的和为目标，以目标空间状态和决策空间状态为Q-Learning的状态进行寻优，所述目标空间状态表示粒子与全局最优粒子位置之间的关系，所述决策空间表示粒子的适合度和全局最优粒子的适合性之间的关系；
所述分别以漏洞状态、防护策略、防护收益为深度强化学习的状态、动作和奖励，具体为：
利用漏洞vi达到了设备节点Dnj，即当原子攻击模式amij＝1时才可被称为状态；
动作为防护决策Dsi，根据在状态st下选择动作Dsi；
引入安全阈值，如果在状态si下选择一个动作Dsj使得防护收益大于安全阈值，则进行奖励；小于则进行惩罚；等于则不进行奖励或惩罚。
CN202311098883.XA 2023-08-30 2023-08-30 基于强化学习的入侵响应决策方法及系统 Active CN116866084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311098883.XA CN116866084B (zh) 2023-08-30 2023-08-30 基于强化学习的入侵响应决策方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311098883.XA CN116866084B (zh) 2023-08-30 2023-08-30 基于强化学习的入侵响应决策方法及系统

Publications (2)

Publication Number Publication Date
CN116866084A CN116866084A (zh) 2023-10-10
CN116866084B true CN116866084B (zh) 2023-11-21

Family

ID=88219352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311098883.XA Active CN116866084B (zh) 2023-08-30 2023-08-30 基于强化学习的入侵响应决策方法及系统

Country Status (1)

Country Link
CN (1) CN116866084B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439817B (zh) * 2023-12-20 2024-03-08 山东省计算中心（国家超级计算济南中心） 一种工业控制系统入侵响应方法、系统、设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107528850A (zh) * 2017-09-05 2017-12-29 西北大学 一种基于改进蚁群算法的最优防护策略分析系统及方法
CN108809979A (zh) * 2018-06-11 2018-11-13 中国人民解放军战略支援部队信息工程大学 基于Q-learning的自动入侵响应决策方法
CN110602047A (zh) * 2019-08-14 2019-12-20 中国人民解放军战略支援部队信息工程大学 面向网络攻防的多步攻击动态防御决策选取方法及系统
CN111614609A (zh) * 2020-03-26 2020-09-01 诺得物流股份有限公司 一种基于ga-pso-dbn的入侵检测方法
CN113378988A (zh) * 2021-07-06 2021-09-10 浙江工业大学 基于粒子群算法的深度学习系统鲁棒性增强方法及装置
CN113810406A (zh) * 2021-09-15 2021-12-17 浙江工业大学 一种基于动态防御图与强化学习的网络空间安全防御方法
CN114501457A (zh) * 2022-01-25 2022-05-13 绍兴文理学院 一种传感边缘云卸载链路的隐形干扰攻击防护方法及系统
CN114897266A (zh) * 2022-06-13 2022-08-12 南京邮电大学 基于深度强化学习的微电网能源系统的多目标安全优化方法
CN115169642A (zh) * 2022-06-10 2022-10-11 上海工程技术大学 基于ipso-gru网络模型的列车脱轨系数预测方法
CN115473674A (zh) * 2022-08-04 2022-12-13 国网江苏省电力有限公司苏州供电分公司 一种基于强化学习和脉冲网络的电力网络入侵检测方法
CN115986839A (zh) * 2022-12-26 2023-04-18 华中科技大学 一种风-水-火综合能源系统的智能调度方法及系统
CN116248311A (zh) * 2022-12-05 2023-06-09 中国人民解放军战略支援部队信息工程大学 基于深度强化学习的网络节点安全措施缓解部署优化方法及系统
CN116318818A (zh) * 2022-12-30 2023-06-23 中国人民解放军战略支援部队信息工程大学 网络安全智能决策自动编排响应方法及系统
CN116319060A (zh) * 2023-04-17 2023-06-23 北京理工大学 一种基于drl模型的网络威胁处置策略智能自进化生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022099596A1 (zh) * 2020-11-13 2022-05-19 浙江大学 一种面向工业个性化定制生产的自适应学习智能调度统一计算框架及系统
US20220209885A1 (en) * 2020-12-24 2022-06-30 Viettel Group Method and apparatus for adaptive anti-jamming communications based on deep double-q reinforcement learning

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107528850A (zh) * 2017-09-05 2017-12-29 西北大学 一种基于改进蚁群算法的最优防护策略分析系统及方法
CN108809979A (zh) * 2018-06-11 2018-11-13 中国人民解放军战略支援部队信息工程大学 基于Q-learning的自动入侵响应决策方法
CN110602047A (zh) * 2019-08-14 2019-12-20 中国人民解放军战略支援部队信息工程大学 面向网络攻防的多步攻击动态防御决策选取方法及系统
CN111614609A (zh) * 2020-03-26 2020-09-01 诺得物流股份有限公司 一种基于ga-pso-dbn的入侵检测方法
CN113378988A (zh) * 2021-07-06 2021-09-10 浙江工业大学 基于粒子群算法的深度学习系统鲁棒性增强方法及装置
CN113810406A (zh) * 2021-09-15 2021-12-17 浙江工业大学 一种基于动态防御图与强化学习的网络空间安全防御方法
CN114501457A (zh) * 2022-01-25 2022-05-13 绍兴文理学院 一种传感边缘云卸载链路的隐形干扰攻击防护方法及系统
CN115169642A (zh) * 2022-06-10 2022-10-11 上海工程技术大学 基于ipso-gru网络模型的列车脱轨系数预测方法
CN114897266A (zh) * 2022-06-13 2022-08-12 南京邮电大学 基于深度强化学习的微电网能源系统的多目标安全优化方法
CN115473674A (zh) * 2022-08-04 2022-12-13 国网江苏省电力有限公司苏州供电分公司 一种基于强化学习和脉冲网络的电力网络入侵检测方法
CN116248311A (zh) * 2022-12-05 2023-06-09 中国人民解放军战略支援部队信息工程大学 基于深度强化学习的网络节点安全措施缓解部署优化方法及系统
CN115986839A (zh) * 2022-12-26 2023-04-18 华中科技大学 一种风-水-火综合能源系统的智能调度方法及系统
CN116318818A (zh) * 2022-12-30 2023-06-23 中国人民解放军战略支援部队信息工程大学 网络安全智能决策自动编排响应方法及系统
CN116319060A (zh) * 2023-04-17 2023-06-23 北京理工大学 一种基于drl模型的网络威胁处置策略智能自进化生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于PSO-BP神经网络的入侵检测技术优化算法的研究;雷宇飞;林玉梅;;软件工程(09);全文 *
基于贝叶斯攻击图的最优安全防护策略选择模型;高妮;高岭;贺毅岳;王帆;;计算机工程与应用(11);全文 *

Also Published As

Publication number Publication date
CN116866084A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Ali et al. A new intrusion detection system based on fast learning network and particle swarm optimization
Kotenko et al. Attack modeling and security evaluation in SIEM systems
CN108494810A (zh) 面向攻击的网络安全态势预测方法、装置及系统
CN116866084B (zh) 基于强化学习的入侵响应决策方法及系统
Wang et al. Constructing robust community structure against edge-based attacks
CN112904817B (zh) 一种面向智能制造生产线的全局安全检测系统及其工作方法
Chen et al. Robust networking: Dynamic topology evolution learning for Internet of Things
Zhang et al. Prediction algorithm for network security situation based on bp neural network optimized by sa-soa
Li et al. Research on multi-target network security assessment with attack graph expert system model
Li et al. Network security situation assessment method based on Markov game model
Deng et al. Optimal defense resource allocation for attacks in wireless sensor networks based on risk assessment model
Lan et al. E-minbatch graphsage: An industrial internet attack detection model
Li et al. An early warning model for customer churn prediction in telecommunication sector based on improved bat algorithm to optimize ELM
Fan et al. An improved integrated prediction method of cyber security situation based on spatial-time analysis
Shao et al. Multistage attack–defense graph game analysis for protection resources allocation optimization against cyber attacks considering rationality evolution
Sharma et al. An efficient cyber‐physical system using hybridized enhanced support‐vector machine with Ada‐Boost classification algorithm
Dehghan et al. Proapt: Projection of apt threats with deep reinforcement learning
Zhou et al. Intrusion detection system for IoT heterogeneous perceptual network based on game theory
Lagerström et al. Automatic design of secure enterprise architecture: Work in progress paper
Liu et al. Efficient defense decision-making approach for Multistep attacks based on the attack graph and game theory
Wan et al. State-based control feature extraction for effective anomaly detection in process industries
Li Security and Risk Analysis of Financial Industry Based on the Internet of Things
Mesadieu et al. Leveraging Deep Reinforcement Learning Technique for Intrusion Detection in SCADA Infrastructure
Wang et al. A prioritizing interdiction surface-based vulnerability remediation composite metric for industrial control systems
Zhang et al. A Game-Theoretical Self-Adaptation Framework for Securing Software-Intensive Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant