CN116319060A - 一种基于drl模型的网络威胁处置策略智能自进化生成方法 - Google Patents
一种基于drl模型的网络威胁处置策略智能自进化生成方法 Download PDFInfo
- Publication number
- CN116319060A CN116319060A CN202310408850.4A CN202310408850A CN116319060A CN 116319060 A CN116319060 A CN 116319060A CN 202310408850 A CN202310408850 A CN 202310408850A CN 116319060 A CN116319060 A CN 116319060A
- Authority
- CN
- China
- Prior art keywords
- defense
- model
- threat
- network
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1491—Countermeasures against malicious traffic using deception as countermeasure, e.g. honeypots, honeynets, decoys or entrapment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于DRL模型的网络威胁处置策略智能自进化生成方法,考虑了在网络空间安全防护过程中防御方只能采取被动防御式策略的问题,提出了基于DRL模型的MTD方法,实现了防御方在动态网络威胁环境下自适应生成最优防御策略的目的,进一步地在策略生成过程中建立了防御方法执行代价和收益平衡机制,达到了依据防御目标导向动态调整防御机制的效果。
Description
技术领域
本发明属于网络空间安全威胁智能响应技术领域,具体涉及一种基于DRL模型的网络威胁处置策略智能自进化生成方法。
背景技术
近些年来,网络安全防御机制面临严峻挑战,其中,网络攻防信息的不对等是核心挑战之一。攻击方有充足的时间对攻击目标进行侦查、分析,往往只需发现一个目标系统的漏洞,即可发起网络攻击并造成严重的影响。而入侵检测系统(Intrusion DetectionSystem,IDS)、入侵防御系统(Intrusion Prevention System,IPS)、防火墙等传统的防御方法普遍缺乏自进化、实时防御、动态更新、环境自适应等能力,属于被动式的防御方法。被动式的防御方法往往作用于网络安全事件发生之后,在面临新型未知攻击时难以生成有效、主动、安全的动态防御策略。网络安全防御体制急需由被动式、应急式向主动式、预防式转变。
近年来研究者提出了一种主动防御式解决方案即移动目标防御(Moving TargetDefense,MTD)方法,MTD方法采用主机指纹跳变、域内IP地址及端口跳变、Web服务动态多样化的方式,使攻击方需要花费更多时间来侦查和分析目标系统的信息,从而削弱了攻击方相对于传统防御机制固有的侦查优势,平衡了攻防双方的博弈成本。软件定义网络(Software-defined Networking,SDN)技术已被用来高效地部署各种类型的MTD技术。SDN技术的主要优点是通过使用可以部署MTD方法的SDN控制器,将网络控制层与数据转发层分离,以增强网络系统的灵活性、稳健性和可编程性。
然而,当MTD方法遵循一定的规律时(例如固定时间间隔、固定备选范围执行域内IP地址的跳变),攻击方通过攻击前的侦查和分析即可掌握并破解MTD方法的规律,据此设计针对性的攻击,导致MTD方法失效。因此,执行MTD方法的时机、具体内容以及执行方法,是MTD方法有效防御网络攻击的三个决定性条件。
作为人工智能算法的重要分支,深度强化学习(Deep Reinforcement Learning,DRL)模型集成了深度学习强大的信息表征能力与强化学习对序列决策问题的优化能力,可以从原始的高维输入数据中提取出有效信息并输出最优策略。将DRL模型具有的实时最优决策能力应用到传统MTD方法中,对于网络空间安全中防御方防御能力的提升具有重要的意义。现有基于DRL模型的MTD方法,一般通过深度感知网络环境信息,并与其动态交互,达到防御策略智能生成的目的,实现了增加攻击方攻击难度以及降低攻击成功率的效果,提升了网络空间的安全性。然而,因DRL模型内生性泛化能力差的特点,不具备自进化能力的DRL-MTD方法在面临新型未知攻击时,其防御性能会大幅度下降,导致不可估量的安全损失和经济代价。因此,需要研究依据外部攻击变化而进化自身决策能力的MTD方法,降低网络空间防御机制因新型未知攻击而失效的概率,减少失效恢复的时间,使得MTD方法能够通过自进化来适应日益复杂严峻的网络安全形势。
发明内容
有鉴于此,本发明提供了一种基于DRL模型的网络威胁处置策略智能自进化生成方法,能够实现根据外部攻击的变化而不断进化的网络威胁防御。
本发明提供的一种基于DRL模型的网络威胁处置策略智能自进化生成方法,包括以下步骤:
步骤1、基于马尔可夫决策过程建立目标网络空间环境模型描述防御的目标网络空间,资产实时状态表示为St,St=[hi,h2,…,hn,…,hN],N表示网络空间中的资产总数,hn表示第n个资产的安全状态;资产间的关系表示为 为t时刻资产j和资产k的连通关系且满足/> st表示网络空间环境状态;动作为防御策略a;奖励rt为奖励函数计算得到;
步骤2、基于深度强化学习模型建立网络空间威胁防御模型,将目标网络空间环境模型中网络空间环境状态st作为网络空间威胁防御模型的输入,网络空间威胁防御模型中智能体的输出为当前网络空间环境状态下的最优防御策略a;当执行防御策略a后网络空间环境状态由st变为st′,智能体得到策略执行的奖励rt;
步骤3、采用攻防博弈轨迹数据Dk,基于深度强化学习模型的训练方式完成网络空间威胁防御模型的训练,Dk={τi},其中τi=(st,a,r,s′t……)i为攻防博弈轨迹数据;
步骤4、将训练得到的网络空间威胁防御模型部署在目标网络空间中,当目标网络空间中的IDS发出报警信息时,识别出的攻击路径得到当前的网络空间环境状态,网络空间威胁防御模型根据当前的网络空间环境状态生成最优的防御策略阻断攻击。
进一步地,所述奖励函数为rt=αrt s-βrt c,其中rt s表示维持正常服务及防御的收益,rt c表示执行防御策略的代价,α和β分别为权重。
进一步地,在目标网络空间之外还部署蜜罐用于获取未知的攻击流量,在所述蜜罐中部署训练得到的网络空间威胁防御模型;当出现异常流量时,蜜罐获取攻防博弈轨迹数据D′k={τ′i}后执行步骤3完成网络空间威胁防御模型的自进化训练。
进一步地,所述蜜罐采用虚拟化方式部署。
进一步地,hn=0表示该资产尚未被入侵,hn=1表示该资产已经被入侵。
进一步地,hn=0表示该资产尚未被入侵,hn=1表示该资产已经被入侵,hn=2表示该资产在入侵路径上。
有益效果:
1、本发明考虑了在网络空间安全防护过程中防御方只能采取被动防御式策略的问题,提出了基于DRL模型的MTD方法,达到了防御方在动态网络威胁环境下自适应生成最优防御策略的目的。
2、本发明在策略生成过程中,建立了防御方法执行代价和收益平衡机制,达到了依据防御目标导向动态调整防御机制的效果。
3、本发明针对DRL赋能的MTD方法在实际应用中面临新型未知攻击时性能大幅下降的问题,通过设置蜜罐的方式,引诱攻击方对目标网络中的蜜罐发起攻击,从而及时分析新型未知攻击的特征,将分析到的新型未知攻击的特征应用于防御方智能体的自进化训练过程中,进而实现DRL-SEMTD方法在应对网络环境下复杂多变且未知性强的攻击时,能够实时响应并持续生成最优防御策略的目的,使得本发明具有更高的实用性能。
附图说明
图1为本发明提供的一种基于DRL模型的网络威胁处置策略智能自进化生成方法的流程图。
图2为本发明建立的网络空间环境模型。
图3为采用本发明提供的一种基于DRL模型的网络威胁处置策略智能自进化生成方法得到的策略执行收益与代价实验效果图。
图4为采用本发明提供的一种基于DRL模型的网络威胁处置策略智能自进化生成方法得到的针对未知恶意攻击实验效果图。
具体实施方式
下面结合附图,对本发明进行详细描述。
本发明提供了一种基于DRL模型的网络威胁处置策略智能自进化生成方法,其核心思想是:使用近端策略优化(Proximal Policy Optimization,PPO)算法建立深度强化学习(DRL)模型,DRL模型的输入、输出分别为网络环境攻防博弈态势信息和所执行的策略;在此基础上,通过设置蜜罐获取未知攻击的攻击路径和攻击方式等特征,再将获取到的特征反馈至DRL模型的自进化训练过程中实现面临新型未知攻击时具备防御能力自进化。
本发明提供的一种基于DRL模型的网络威胁处置策略智能自进化生成方法,简称DRL-SEMTD方法,其流程如图1所示,具体包括以下步骤:
步骤1、基于马尔可夫决策过程建立目标网络空间环境模型,资产实时状态表示为S0,S1,S2,…,St,…ST,其中T表示状态空间总数,St=[hi,h2,…,hn,…,hN],N表示网络空间中的资产总数,hn表示第n个资产的安全状态,例如,hn=1表示该资产已经被入侵,hn=0表示该资产尚未被入侵,此外,hn还可表示更复杂的情况,例如,hn=0表示该资产尚未被入侵,hn=1表示该资产已经被入侵,hn=2表示该资产在入侵路径上;资产间的关系表示为 表示t时刻网络中资产j和资产k的连通关系,/>的取值为两个节点之间通信时延或布尔变量且满足/> st表示网络空间环境状态;动作为防御策略a;奖励rt为奖励函数计算得到。目标网络空间环境模型表示防御的目标网络。
步骤2、采用近端策略优化算法基于深度强化学习模型建立网络空间威胁防御模型,将目标网络空间环境模型中网络空间环境状态st作为网络空间威胁防御模型的输入,网络空间威胁防御模型中智能体的输出为当前网络空间环境状态下的最优防御策略a;当防御方执行防御策略a后,网络空间环境状态由st变为st′,智能体同时获得策略执行的奖励rt,再将网络空间环境状态st′输入到网络空间威胁防御模型中,获得st′状态下的最优防御策略a′。
其中,最优防御策略a表示为防御动作空间(Fjk)n×n,以IP地址跳变为例,Fjk表示将资产j对资产k访问的虚拟IP地址执行跳变。
进一步地,本发明通过构建特定的奖励函数,建立了防御方法执行代价和收益平衡机制,达到了依据防御目标导向动态调整防御机制的效果。本发明设计的奖励函数为rt=αrt s-βrt c,其中rt s表示系统维持正常服务以及防御的收益,rt c表示执行防御策略的代价,通过设置权重α和β的取值使模型中的智能体具备根据不同任务需求调整自身决策行为的能力。
具体而言,在确保网络环境中核心资产安全性的前提下,若目标侧重于防御策略执行代价最小,则DRL-SEMTD方法生成的策略将无法保证其他资产的安全性,若目标侧重于保障尽可能多的资产的安全性,则DRL-SEMTD方法将会生成具有过高执行代价的防御策略。因此,在设计DRL-SEMTD方法的奖励函数时,需要合理地权衡智能体的执行代价和资产安全性需求。
此外,为了量化攻击方的动作,使得其攻击效果便于作为DRL-SEMTD防御方法的输入,定义攻击方动作空间为(Ajk)N×N,Ajk表示在某一时刻通过资产j发起对资产k的扫描攻击或root权限获取攻击,每次攻击的成功率为γc,其中γ为参数,c为资产通用漏洞评分系统分数。
步骤3、采用攻防博弈轨迹数据Dk,基于深度强化学习模型的训练方式完成网络空间威胁防御模型的训练,Dk={τi},其中τi=(st,a,r,s′t……)i为一条攻防博弈轨迹数据i=0,1,2,…表示多条攻防博弈轨迹数据。
其中,近端策略优化算法优化策略完成网络空间威胁防御模型的训练的过程包括以下步骤:
步骤2.2、在k次循环下,基于策略πk=π(θk)在环境下执行动作,采集攻防博弈轨迹数据Dk={τi}。
步骤2.5、使用PPO-Clip的方法更新策略函数:
步骤2.6、基于梯度下降的方法更新值函数的参数,梯度下降公式如下:
步骤4、在网络空间中除了目标网络空间外还部署蜜罐,蜜罐中部署训练得到的网络空间威胁防御模型,当攻击方对蜜罐发起攻击时,蜜罐获取蜜罐中的攻防博弈轨迹数据。
其中,蜜罐基于虚拟化的方式部署在物理的网络空间中,其目的在于迷惑攻击方侦查目标网络的过程。通常只有攻击方会对蜜罐进行访问,因此通过在蜜罐环境中DRL-SEMTD智能体进行与攻击方的网络空间攻防博弈即可获取攻防博弈轨迹数据D′k={τ′i}。
步骤5、将训练得到的DRL-SEMTD智能体部署在网络空间中,当网络空间中的IDS发出报警信息时,通过分析当前环境状态信息,DRL-SEMTD方法能够识别出网络空间中被攻击的资产情况、预判此次攻击的攻击路径,进而生成最优的MTD策略,从而阻断攻击;当网络空间中涌现IDS不能够准确分析识别的异常流量时,通过蜜罐获取攻防博弈轨迹数据D′k={τ′i},执行步骤3完成网络空间威胁防御模型的自进化训练。
下面将通过实验测试本发明方法的有效性。
本发明使用Nmap工具模拟网络扫描攻击,使用Arpspoof工具模拟ARP欺骗攻击,使用Snort工具作为防御方的入侵检测系统,使用虚拟机模拟连接到网络的终端设备。
实施案例1:检验防御策略收益与代价平衡机制
为了验证本发明提出的防御策略执行收益与代价平衡机制,分别训练了远视和短视两个不同任务取向的智能体,远视智能体的奖励函数参数设置为α=5,β=10,短视智能体的奖励函数参数设置为α=10,β=5。通过如图3所示的实验结果可以看出,在确保网络环境中核心资产安全性的前提下,若目标是防御策略执行代价最小,远视智能体侧重于生成执行代价最小的防御策略,但无法保证其他资产的安全性,而短视智能体侧重于保障尽可能多的资产的安全性,但防御策略的执行代价过高。
实施案例2:防御新型未知攻击
为了验证本发明对新型未知攻击的防御能力,使用网络攻击工具模拟20种攻击特点、攻击路径、攻击类型不同的APT攻击,其中10种攻击数据用于训练基于常规PPO模型的MTD方法和DRL-SEMTD方法。在此基础上,通过另外10种攻击分别测试两种方法面临新型未知攻击时的防御能力。从图4实验结果中分析得出,相比基于常规的PPO模型的MTD方法,DRL-SEMTD方法在面临新型未知攻击时,具有更高的防御得分,展现了更好的防御效果。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于DRL模型的网络威胁处置策略智能自进化生成方法,其特征在于,包括以下步骤:
步骤1、基于马尔可夫决策过程建立目标网络空间环境模型描述防御的目标网络空间,资产实时状态表示为St,St=[hi,h2,…,hn,…,hN],N表示网络空间中的资产总数,hn表示第n个资产的安全状态;资产间的关系表示为 为t时刻资产j和资产k的连通关系且满足st表示网络空间环境状态;动作为防御策略a;奖励rt为奖励函数计算得到;
步骤2、基于深度强化学习模型建立网络空间威胁防御模型,将目标网络空间环境模型中网络空间环境状态st作为网络空间威胁防御模型的输入,网络空间威胁防御模型中智能体的输出为当前网络空间环境状态下的最优防御策略a;当执行防御策略a后网络空间环境状态由st变为st′,智能体得到策略执行的奖励rt;
步骤3、采用攻防博弈轨迹数据Dk,基于深度强化学习模型的训练方式完成网络空间威胁防御模型的训练,Dk={τi},其中τi=(st,a,r,st′……)i为攻防博弈轨迹数据;
步骤4、将训练得到的网络空间威胁防御模型部署在目标网络空间中,当目标网络空间中的IDS发出报警信息时,识别出的攻击路径得到当前的网络空间环境状态,网络空间威胁防御模型根据当前的网络空间环境状态生成最优的防御策略阻断攻击。
2.根据权利要求1所述的网络威胁处置策略智能自进化生成方法,其特征在于,所述奖励函数为rt=αrt s-βrt c,其中rt s表示维持正常服务及防御的收益,rt c表示执行防御策略的代价,α和β分别为权重。
5.根据权利要求1所述的网络威胁处置策略智能自进化生成方法,其特征在于,在目标网络空间之外还部署蜜罐用于获取未知的攻击流量,在所述蜜罐中部署训练得到的网络空间威胁防御模型;当出现异常流量时,蜜罐获取攻防博弈轨迹数据D′k={τ′i}后执行步骤3完成网络空间威胁防御模型的自进化训练。
6.根据权利要求5所述的网络威胁处置策略智能自进化生成方法,其特征在于,所述蜜罐采用虚拟化方式部署。
7.根据权利要求1所述的网络威胁处置策略智能自进化生成方法,其特征在于,hn=0表示该资产尚未被入侵,hn=1表示该资产已经被入侵。
8.根据权利要求1所述的网络威胁处置策略智能自进化生成方法,其特征在于,hn=0表示该资产尚未被入侵,hn=1表示该资产已经被入侵,hn=2表示该资产在入侵路径上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310408850.4A CN116319060A (zh) | 2023-04-17 | 2023-04-17 | 一种基于drl模型的网络威胁处置策略智能自进化生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310408850.4A CN116319060A (zh) | 2023-04-17 | 2023-04-17 | 一种基于drl模型的网络威胁处置策略智能自进化生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116319060A true CN116319060A (zh) | 2023-06-23 |
Family
ID=86824211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310408850.4A Pending CN116319060A (zh) | 2023-04-17 | 2023-04-17 | 一种基于drl模型的网络威胁处置策略智能自进化生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116319060A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116866084A (zh) * | 2023-08-30 | 2023-10-10 | 国网山东省电力公司信息通信公司 | 基于强化学习的入侵响应决策方法及系统 |
CN117081855A (zh) * | 2023-10-13 | 2023-11-17 | 深圳市前海新型互联网交换中心有限公司 | 蜜罐优化方法、蜜罐防护方法以及蜜罐优化系统 |
CN117808174A (zh) * | 2024-03-01 | 2024-04-02 | 山东大学 | 网络攻击下基于强化学习的微电网运行优化方法及系统 |
CN117808174B (zh) * | 2024-03-01 | 2024-05-28 | 山东大学 | 网络攻击下基于强化学习的微电网运行优化方法及系统 |
-
2023
- 2023-04-17 CN CN202310408850.4A patent/CN116319060A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116866084A (zh) * | 2023-08-30 | 2023-10-10 | 国网山东省电力公司信息通信公司 | 基于强化学习的入侵响应决策方法及系统 |
CN116866084B (zh) * | 2023-08-30 | 2023-11-21 | 国网山东省电力公司信息通信公司 | 基于强化学习的入侵响应决策方法及系统 |
CN117081855A (zh) * | 2023-10-13 | 2023-11-17 | 深圳市前海新型互联网交换中心有限公司 | 蜜罐优化方法、蜜罐防护方法以及蜜罐优化系统 |
CN117081855B (zh) * | 2023-10-13 | 2024-02-02 | 深圳市前海新型互联网交换中心有限公司 | 蜜罐优化方法、蜜罐防护方法以及蜜罐优化系统 |
CN117808174A (zh) * | 2024-03-01 | 2024-04-02 | 山东大学 | 网络攻击下基于强化学习的微电网运行优化方法及系统 |
CN117808174B (zh) * | 2024-03-01 | 2024-05-28 | 山东大学 | 网络攻击下基于强化学习的微电网运行优化方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nguyen et al. | Deep reinforcement learning for cyber security | |
CN116319060A (zh) | 一种基于drl模型的网络威胁处置策略智能自进化生成方法 | |
Maeda et al. | Automating post-exploitation with deep reinforcement learning | |
Huang et al. | Adaptive honeypot engagement through reinforcement learning of semi-markov decision processes | |
Ferguson-Walter et al. | Game theory for adaptive defensive cyber deception | |
Zhou et al. | An SDN-enabled proactive defense framework for DDoS mitigation in IoT networks | |
CN110602062B (zh) | 基于强化学习的网络主动防御方法及装置 | |
Wan et al. | Foureye: Defensive deception against advanced persistent threats via hypergame theory | |
Tian et al. | Defense Strategies Against Network Attacks in Cyber-Physical Systems with Analysis Cost Constraint Based on Honeypot Game Model. | |
Fielder et al. | Defense-in-depth vs. critical component defense for industrial control systems | |
Jakóbik | Stackelberg game modeling of cloud security defending strategy in the case of information leaks and corruption | |
CN110401638B (zh) | 一种网络流量分析方法及装置 | |
CN115913731A (zh) | 基于智能化渗透测试的战略蜜罐部署防御方法 | |
Li et al. | Anti-honeypot enabled optimal attack strategy for industrial cyber-physical systems | |
Lin et al. | Effective proactive and reactive defense strategies against malicious attacks in a virtualized honeynet | |
Qin et al. | Hybrid cyber defense strategies using Honey-X: A survey | |
Chowdhary et al. | Sdn-based moving target defense using multi-agent reinforcement learning | |
Aggarwal et al. | Decoys in cybersecurity: an exploratory study to test the effectiveness of 2-sided deception | |
LaBar et al. | Honeypots: Security by deceiving threats | |
KR101200055B1 (ko) | 합동전력군사지휘소용 지휘통제통신컴퓨터감시정찰 종합운용체계 및 데이터 센터 시스템에 대한 실시간 해킹 및 침입 방지 시스템 | |
Chen et al. | An autonomic detection and protection system for denial of service attack | |
Gao et al. | A cyber deception defense method based on signal game to deal with network intrusion | |
Gutierrez et al. | Adapting honeypot configurations to detect evolving exploits | |
Shandilya et al. | On a generic security game model | |
Hasan et al. | Predictive cyber defense remediation against advanced persistent threat in cyber-physical systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |