CN115639769B - 一种安全智能控制方法及系统 - Google Patents
一种安全智能控制方法及系统 Download PDFInfo
- Publication number
- CN115639769B CN115639769B CN202211205426.1A CN202211205426A CN115639769B CN 115639769 B CN115639769 B CN 115639769B CN 202211205426 A CN202211205426 A CN 202211205426A CN 115639769 B CN115639769 B CN 115639769B
- Authority
- CN
- China
- Prior art keywords
- security level
- unmanned
- security
- information
- running
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Safety Devices In Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开提出一种安全智能控制方法及系统,属于系统控制技术领域。其中,所述方法包括:步骤S1、根据预设任务目标的位置信息和无人设备的位置信息获取所述无人设备的行驶路径;步骤S2、根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;步骤S3、所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;步骤S4、基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式。上述方法在系统出现故障的情况下能够快速进行故障诊断定位以及安全控制切换,从而避免系统崩溃造成更严重的后果。
Description
技术领域
本发明属于系统控制技术领域,尤其涉及一种安全智能控制方法及系统。
背景技术
目前,随着人工智能技术和网络技术的发展,以及信息物理系统(CPS,Cyber-Physical System,作为计算进程和物理进程的统一体,是集成计算、通信与控制于一体的下一代智能控制系统。信息物理系统通过人机交互接口实现和物理进程的交互,使用网络化空间以远程的、可靠的、实时的、安全的、协作的方式操控一个物理实体)规模的不断增长,CPS系统智能化、网络化成为必然趋势,从而导致CPS系统越来越容易受到网络攻击。网络攻击导致信息安全风险的同时,也可能导致系统功能受到一定程度的破坏,影响CPS的系统安全。CPS的系统安全关键技术研究已经不能单独的通过风险分析,而是需要在风险分析阶段综合考虑网络攻击给CPS系统安全带来的风险和影响,在保障CPS系统的连续性、可靠性、功能安全的同时,还需要关注CPS系统的信息安全因素。
随着CPS系统的复杂性和自主性不断提高,安全监控、设备管理、任务规划、自主协同等需求使得软件在既定任务中的角色越来越重要。针对传统CPS系统的信息物理系统安全技术问题而言,通常使用的方法是找出软件中可能存在的安全漏洞,通过打补丁的方式消除发现的安全漏洞。
然而,在未知的复杂环境中,CPS系统的软件需要使安全监控、设备管理、任务规划、自主协同等功能紧密配合,软件功能更为复杂,找出所有安全漏洞不可能实现,对CPS系统安全防护做出更合理的设计,在满足CPS系统实时性、并发性等要求的同时,需要设计一种CPS系统安全解决方案,提升整个CPS系统的安全等级。
运行时保证(RTA,Runtime Assurance,通过运用实时的检查手段,以安全检查为核心,确定系统的安全边界,判断安全等级,切换系统控制方式,达到确保安全的目的),是一种可行的解决方案,在整个RTA基本设计架构中,通过运用实时的检查手段,以安全检查为核心,判断安全情况,切换控制系统为技术思路,配合其他检查手段,确保CPS系统运行时安全。
基于故障诊断的容错控制研究最早在计算机科学领域中被提出来,它是指计算机系统的内部环节出现了局部的故障或失效后,系统仍可以继续正常运行的一种特别属性。为提高控制系统的整体安全性和可靠性,早期的学者们将这个概念引入到了控制系统,容错控制的概念也由此产生。
容错控制是指控制系统对系统内部故障的容受技术,特别是当系统的元部件(执行器或传感器)发生故障的时候,所采用的容错控制系统,例如闭环控制系统,依然能够稳定地控制,并且控制系统对外呈现较为理想的控制效果。容错控制,是指能在系统发生某些故障的情形时,仍然能够保持系统原有的性能,或是在不影响系统安全性的前提下通过适当降低部分性能指标,同时还能成功地完成任务。与容错控制交叉作用且发展起来的控制系统的故障检测和诊断技术是一个包容性很强的研究领域,也作为控制系统容错控制的重要支柱技术之一。
基于故障诊断的容错控制技术主要分为两种类型,即主动容错控制和被动容错控制。
主动容错控制主要是指在故障发生之后,根据掌握的信息有效的调节控制器的参数甚至改变控制器的结构,使得系统仍然保持一定的性能指标。故障信息在主动容错控制中发挥着重要的作用。大部分主动容错控制器必须借助故障诊断的环节,以借此构建故障诊断子系统并提供故障信息;另外一部分主动容错控制器可以独立于故障诊断子系统存在,但是同样离不开故障的各种已知先验知识。通常情况下,设计一个主动容错控制系统主要包含三个部分:可重组控制器、故障诊断或者控制律重组机制、子系统。
被动容错控制多利用鲁棒控制设计恒定增益的控制策略,进而保障控制系统的稳定性。被动容错控制主要分为完整性、可靠控制联立镇定这三种类型。从构造思路上讲,被动容错控制在与鲁棒控制技术有许多相似之处,该方法采用单一的控制器,以此保证设计的闭环系统对于某些特定的故障具有鲁棒性,并以此来保证系统的稳定性。
随着智能控制系统的结构日益复杂,规模日益扩大,智能控制系统可能发生的故障也是变得更加复杂多样。同时对系统性能的指标正在不断提高,面临的网络攻击等风险增加,基于故障诊断的容错控制技术在安全性、速度、精度、稳定性上已经难以满足智能控制系统的需要。
发明内容
为了使智能控制系统的能够安全运行,确保设备硬件可靠、软件可信、信息安全得到保障,提出一种安全智能控制方案,在保证控制规则完备的同时,在系统出现故障的情况下能够快速的进行故障的诊断和定位以及安全控制切换,从而避免系统崩溃,造成更严重的后果。
本发明第一方面公开了一种安全智能控制方法。所述方法包括:步骤S1、根据预设任务目标的位置信息和无人设备的位置信息获取所述无人设备的行驶路径;步骤S2、根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;步骤S3、所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;步骤S4、基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式。
根据本发明第一方面的方法,所述无人设备包括无人机、无人车和无人水下设备。
根据本发明第一方面的方法,在所述步骤S1中,根据所述预设任务目标的位置信息和所述无人设备的位置信息确定若干条通路作为候选行驶路径,计算每一条候选行驶路径的行驶距离、避障复杂度、环境干扰程度和所述无人设备的剩余能源,并基于计算结果选出最优路径作为所述无人设备的行驶路径。
根据本发明第一方面的方法,在所述步骤S2中,根据所述无人设备的当前行驶状态,在运行时保证(Runtime Assurance)框架内确定所述无人设备的行驶控制方式,具体包括:获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;为所述无人设备选取与所述安全等级对应的行驶控制方式。
根据本发明第一方面的方法,所述安全等级包括第三安全级、第二安全级和第一安全级,其中:所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
根据本发明第一方面的方法,在所述步骤S3中,所述实时环境信息包括突发的气象信息、临时的障碍物信息和意外的干扰信息,所述实时参数信息包括所述无人设备的各个部件的实时运行参数。
根据本发明第一方面的方法,在所述步骤S4中,基于所述实时环境信息和所述实时参数信息更新所述无人设备在所述运行时保证框架内的安全等级,并根据更新的安全等级来更新所述行驶控制方式。
本发明第二方面公开了一种安全智能控制系统。所述系统包括安装在无人设备上的多个处理单元,其中:第一处理单元,被配置为:根据预设任务目标的位置信息和所述无人设备的位置信息获取所述无人设备的行驶路径;第二处理单元,被配置为:根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;第三处理单元,被配置为:所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;第四处理单元,被配置为:基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式。
根据本发明第二方面的系统,所述无人设备包括无人机、无人车和无人水下设备。
根据本发明第二方面的系统,所述第一处理单元具体被配置为:根据所述预设任务目标的位置信息和所述无人设备的位置信息确定若干条通路作为候选行驶路径,计算每一条候选行驶路径的行驶距离、避障复杂度、环境干扰程度和所述无人设备的剩余能源,并基于计算结果选出最优路径作为所述无人设备的行驶路径。
根据本发明第二方面的系统,所述第二处理单元具体被配置为:根据所述无人设备的当前行驶状态,在运行时保证(Runtime Assurance)框架内确定所述无人设备的行驶控制方式,具体包括:获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;为所述无人设备选取与所述安全等级对应的行驶控制方式。
根据本发明第二方面的系统,所述安全等级包括第三安全级、第二安全级和第一安全级,其中:所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
根据本发明第二方面的系统,所述实时环境信息包括突发的气象信息、临时的障碍物信息和意外的干扰信息,所述实时参数信息包括所述无人设备的各个部件的实时运行参数。
根据本发明第二方面的系统,所述第四处理单元具体被配置为:基于所述实时环境信息和所述实时参数信息更新所述无人设备在所述运行时保证框架内的安全等级,并根据更新的安全等级来更新所述行驶控制方式。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现本公开第一方面中任一项所述的一种安全智能控制方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本公开第一方面中任一项所述的一种安全智能控制方法中的步骤。
本发明提供的技术方案针对智能控制系统,特别是CPS系统存在的安全问题,提出了基于运行时保证技术的智能控制系统安全框架,适用于无人机、无人车等无人系统的运行时安全防护,能够保证智能控制系统即使在网络攻击、未知环境或硬件部分故障等条件下,依然具备安全防护能力,确保顺利完成既定任务。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的运行时保证架构的示意图;
图2为根据本发明实施例的基于运行时保证架构的无人机飞行控制的示意图;
图3为根据本发明实施例的基于俯仰角的安全控制示意图;
图4为根据本发明实施例的基于穿窗场景的安全控制示意图;
图5为根据本发明实施例的基于运行时保证架构的无人车飞行控制的示意图;
图6为根据本发明实施例的基于电池使用的安全控制示意图;
图7为根据本发明实施例的基于地理围栏的安全控制示意图;
图8为根据本发明实施例的基于弹坑避险的安全控制示意图;
图9为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明第一方面公开了一种安全智能控制方法。所述方法包括:步骤S1、根据预设任务目标的位置信息和无人设备的位置信息获取所述无人设备的行驶路径;步骤S2、根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;步骤S3、所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;步骤S4、基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式。
其中,所述无人设备包括无人机、无人车和无人水下设备。
其中,在所述步骤S1中,根据所述预设任务目标的位置信息和所述无人设备的位置信息确定若干条通路作为候选行驶路径,计算每一条候选行驶路径的行驶距离、避障复杂度、环境干扰程度和所述无人设备的剩余能源,并基于计算结果选出最优路径作为所述无人设备的行驶路径。
其中,在所述步骤S2中,根据所述无人设备的当前行驶状态,在运行时保证(Runtime Assurance)框架内确定所述无人设备的行驶控制方式,具体包括:获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;为所述无人设备选取与所述安全等级对应的行驶控制方式。
所述安全等级包括第三安全级、第二安全级和第一安全级,其中,所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
其中,在所述步骤S3中,所述实时环境信息包括突发的气象信息、临时的障碍物信息和意外的干扰信息,所述实时参数信息包括所述无人设备的各个部件的实时运行参数。
其中,在所述步骤S4中,基于所述实时环境信息和所述实时参数信息更新所述无人设备在所述运行时保证框架内的安全等级,并根据更新的安全等级来更新所述行驶控制方式。
具体地,运行时确保(Runtime Assurance,RTA),是在被控对象运行非确定性系统时,实时进行监视和控制的过程,以观察判断非确定性系统是否正常运行,对无人系统进行容错控制。在RTA中,如果确定非确定性系统未正确运行或检测到异常或不安全的行为,RTA就会为了减轻可能发生的任何不利影响,切换无人系统控制方式,使得无人系统始终处于安全的区域内,或是终止不受信任的软件,并将控制权切换到受信任的软件。即RTA系统会激活某种类型的恢复操作以确保持续的安全或正确操作。需要指出的是,安全软件具有与不受信任的软件相同的基本功能,安全系统在设计时是受信任和认证的,因此它不会具有高级系统所具有的更大功能,但具有恢复安全操作所需的最低能力。
围绕智能控制系统的安全问题,以描述智能控制系统的安全边界为核心,如图1所示,基于RTA的智能控制系统的安全层级划分为三个层级:分别为I级安全层级、II级安全层级和III级安全层级,其中III级安全层级表示智能控制系统当前处于最高安全状态下,II级次之,I级为最低安全状态。安全状态是指,以智能控制系统为关注对象,该系统对于当前所处环境的一个评估。安全可以是指物理空间安全,例如,无人飞行器在无风、无雾、无雨,周围(一定范围内)无任何其他障碍物的空中飞行,认为是安全的状态;安全可以是指赛博空间安全,例如,无人飞行器在无电磁干扰、无导航定位信号干扰、无网络攻击的环境下执行任务,认为是安全的状态。
基于RTA的智能控制系统的三个安全层级具有如下特征:I级安全层级:非安全环境下,针对应急安全使用完全可靠、完全受信任的传统控制系统和传统传感器设备。II级安全层级:阈值边界范围。系统初始处于非安全环境下,经过给定时间可以将系统稳定收敛到安全环境内的边界范围。III级安全层级:安全环境下,系统使用先进智能控制系统,依托先进智能传感器设备,对未知环境进行探索,当检测到故障行为后,由II级安全层级过渡到I级安全层级。
其中,III级安全层是最安全的状态,在此范围内可以使用不完全信任的先进智能控制器,该控制器在执行速度、效率等方面更优,但是存在一定概率输出不完全信任的控制信号。
其中,II级安全层级是指可以通过控制器切换,将智能控制系统从该安全层级调整至III级安全层级。一旦基于RTA的智能控制系统发现系统状态超出III级安全层级进入II级安全层级,就会自动切换控制器,使系统状态返回III级安全层。II级安全层的外边界代表智能控制系统的安全状态一旦超出这个边界,就无法再返回III级安全层级了。
其中,I级安全层级,是指除了III级安全层级和II级安全层级的安全状态,在此安全范围内,智能控制系统只能接受由完全可靠、可信任的控制器进行控制,才能够确保系统安全。
在一些实施例中,监测容错控制切换框架的主要思想是对不同故障进行检测诊断获取故障信息,然后让不同故障情况下的容错控制器在切换机制的指导下按顺序进行切换,直到与当前故障情况相对应的控制器被切入系统,切换停止。在不同等级的安全区域,一般的系统会根据系统类似于故障的不同,分别在相应故障模型的典型工作点上建立多个线性模型构成一个故障模型集,然后根据这些模型设计相应的滤波器。为简化故障检测,去除冗余的模型估计或滤波器,使用基于输入状态稳定理论实现对无人系统故障的检测。
故障检测根据不同应用场景下的具体实施案例分为不同的故障检测技术手段,具体有以下两点:(1)系统按照预设的故障模型,根据检测执行器控制结构反馈信号失常,即执行器无法输出反馈信号或是反馈信号大于预先设定阙值;(2)高级控制器控制期间,由先进传感器设备通过智能算法检测出当前传感器和控制策略不足以满足系统安全运行的环境,即故障行为环境的检测。
在容错算法切换方面,通过预先设计好的控制器之间进行切换完成故障隔离的任务,在这种切换控制算法的作用下,对应的控制器一旦被选中便可直接切入故障系统,故障隔离的环节被包含在容错控制的设计中去了,因而减少了故障隔离的复杂性。具体的切换控制算法需引入性能指标函数来决定控制器的切换顺序,这样就能避免一个控制被重复选中的问题,切换规则是首先选取较轻的故障情况对应的容错控制器,那些控制能耗较大但使多种故障情况成立的控制器的选择顺序靠后,从而避免选错控制器的问题。
无人系统的RTA系统控制,综合考虑无人系统在因某种作战场景下失去原有机械结构或智能算法无法满足安全范围时,需在原有无人控制系统的基础上,为了保障高安全高可靠性进行容错系统设计。在出现运行时安全问题时在原有基准系统至容错过渡系统的平缓切换,在将无人系统导至安全区域后再切换控制权至基准系统进行安全控制,保证系统切换的流畅和平稳。
RTA系统的思想是通过监测无人系统的安全状态来切换控制系统,例如针对无人机模型这种非线性强耦合系统来进行RTA系统设计,即当无人飞行器受到外界攻击或者部分硬件受损时,或是遇到如穿窗这类特殊应用场景以及无GPS信号与通信信号下无人飞行器室内定位、导航、路径规划、避障等要求,无人飞行器的瞬时飞行姿态必然会受到严重的干扰,则此刻通过内部监视器实行硬件区域安全检查,对系统硬件运行状况进行检查,确定故障情况是由于硬件问题还是由于软件故障,此时RTA控制切换器介入无人飞行器姿态环控制,对其内部角度控制器的目标速率矢量分量进行相应的控制,进而转化为目标对机体部分的转换,对横滚轴角度、俯仰轴角度和航向轴角度控制器的加速度进行限制,在无人飞行器因特殊场景而介入RTA控制的情况下保障其稳定飞行。
由于无人系统平台的工作环境复杂多变,在执行任务过程中可能存在多种传感器、执行器的潜在故障情况,因此单一容错控制器存在局限性:它只能应对有限故障模式(通常是单一故障模式)。这就需要一种能够根据不同故障模式从容错控制器集合中选择相对应控制器的机制,使得无人平台在不同故障环境下可能会采取不同的、适合于当前情况的容错控制方法。切换控制通过让预先设计好的控制器在切换机制的指导下进行切换工作,而使系统达到性能指标的要求,可以为此问题提供一条有效的解决途径。容错控制切换结构由通常由两级控制层构成:连续层和离散层。其中,连续层由有限连续控制器集合来描述;离散层负责决策,根据当前故障情况来选择最合适的控制器和无人系统运行方式,可以用离散事件系统理论来描述不同控制器之间的切换。
在不同等级的安全区域,一般的系统会根据系统类似于故障的不同,分别在相应故障模型的典型工作点上建立多个线性模型构成一个故障模型集,然后根据这些模型设计相应的滤波器。为简化故障检测,去除冗余的模型估计或滤波器,使用基于输入状态稳定理论实现对无人系统故障的检测。
在一些实施例中,无人机系统的RTA控制,综合考虑无人机在因某种任务场景下失去原有飞行结构,需在原有飞控系统的基础上,为了保障高安全高可靠性进行第二套容错飞控系统设计。将RTA控制环引入姿态飞行控制策略,在原有的姿态内外环控制中,当出现运行时安全问题时,RTA控制策略取代原有的操纵杆控制机制,切换控制权,具体如图2所示。在出现运行时安全问题时在原有基准系统至容错过渡系统的平缓切换,在将无人机导至安全区域后再切换控制权至基准系统进行安全控制。保证系统切换的流畅和平稳。
在一些实施例中,如图3所示,控制结构冗余场景下:使用基于输入状态稳定理论实现对无人机故障的检测,即通过无人机内置的陀螺仪传感器,当其输入姿态角超过某一阈值范围内,判断此时无人机受到致使其大机动飞行的扰动,继而飞控系统按照预设的故障模型集,根据无人机不同的飞行结构信号输出反馈,判断RTA边界情况,并选择采用何种飞行结构取代原有飞行模式,将无人机控制在安全范围内。
在一些实施例中,如图4所示,飞行器穿窗场景下:无人机先进智能控制器可以使无人机完成更加复杂的任务,虽然在设计控制器时尽可能的保证飞行安全,但还可能存在不可靠的控制输出。在无人机穿窗场景下,无人机大部分时间都由先进智能控制器控制。在到达窗口位置后,飞行器做穿窗准备,此时RTA系统实时监测飞行器安全,将先进智能控制系统切换到传统飞行控制系统,依靠常规传感器(如声纳、光流、激光雷达等传感器)进行避障,保证避障的可靠性,选择安全、合理的穿窗路线,平稳的飞入室内。
在一些实施例中,运行时安全监控组件是面向信息物理系统的无人车系统开发过程中不可分割的一部分,运行时安全监控对于保持态势感知、评估机器人系统的安全状况至关重要,对于检测运行时的任何异常状态并在此类异常状态发生时部署必要的对策尤为重要。面向信息物理系统的无人车系统的复杂性不断增加,加上在无人车系统中使用未经安全认证的现成组件,使得运行时安全智能控制技术成为构建完备的无人车系统的关键组件。
面向无人车的信息物理系统的智能控制在运行时安全保障框架下,用于构建安全的分布式移动机器人。基于信息物理系统的RTA模块由两个控制器组成,一个高级控制器(Advanced Controller,AC)和一个安全控制器(Safe Controller,SC),以及一个决策模块,该模块实现AC和SC之间的切换逻辑。AC用于常规环境下运行无人车系统,其通常为基于高级启发式或复杂学习组件(如基于机器学习的感知模块)的优化控制器,这使得无人车系统在未知环境下运行时很难对AC的控制行为提供任何的安全保障,特别是当AC是一个无法在设计时安全验证的现成组件时。所以为了保证使用AC这类控制器的无人车系统的安全性,系统可以切换使用经过安全认证的备用控制器,即SC,当无人车系统检测到AC的异常行为时,SC接管无人车的控制操作系统。SC通常是只基于可靠的传感器所构建的基础导航模块,唯一的功能即将无人车导航至安全区域。上述的无人车系统故障行为的检测是由决策模块来保证的,决策模块是一个经过安全认证的监视器系统,它可以有效的观测无人车系统的实时运行状态,决策模块决定是否需要将无人车系统的AC切换到SC以保持无人车系统处于安全状态,以及何时切换回AC以利用AC的高性能最优地实现无人车系统的任务目标,如图5所示。
随着智能算法的飞速发展,对于无人车群的移动控制,AC目前主要采用人工势场法、蚁群算法等智能算法取代原本传统的路径规划方法。以蚁群算法为例,这是一种用来寻找优化路径的概率型算法,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。但是蚁群算法也有自身不足之处,当环境较为复杂时,其搜索时间很长,算法的收敛速度变慢,效率低下;在简单的环境中也极易陷入局部最优解,使搜索停滞,无法找到最佳路径。此外,考虑智能机器人身处复杂环境,情况会更加恶劣,假设前进路线突然出现弹坑等大坡度变化地形,继续沿用基于二维地形建模的蚁群算法搜索路线很可能导致无人机倾覆,造成任务失败。
为了解决这种问题,RTA系统可以及时的通过无人车姿态角的变化幅度,监测到无人车运行时出现危险,然后通过切换控制系统,将原本的蚁群算法控制方法,切换到传统的路径规划方法,优先保证无人车的姿态稳定,不会发生倾覆,同时迅速逃离该危险区域。当RTA系统确认当前环境安全时,再次切换回蚁群路径规划方法,继续执行未完成的任务。
在面向信息物理系统的运行时安全无人车系统智能控制技术的研究中,通过使用RTA模块在多个监视器上异步运行多个无人车。在本专利研究中,定义了一个具有3个不同的运行时安全监视器的决策模块:(1)电池安全;(2)地理围栏;(3)弹坑避险。
在一些实施例中,如图6所示,以无人车为例,界定RTA系统切换边界。电池安全RTA系统模块,优先考虑将无人车安全导至充电站。决策模块通过电压电流模块单元观察每个方向点的电量百分比,检测无人车系统的电压电流值以确保是否有足够的电量执行下一个目标点,当其输入电压电流值低于某几项设定阈值范围时,判断此时无人车的供电系统无法连续提供足够的电源使无人车继续行至既定目标点,继而无人车根据不同的电量阈值,选择该阈值范围内无人车所能到达的距离下一目标点较近的充电站,将无人车始终保持在一个电池安全的范围内。在这里,高级控制器作为一个节点,使用先进的智能控制算法,它计算给定的当前运动规划的控制信息,并驱动无人车在不考虑能源消耗的情况下快速行至规划中的下一个路径点。而安全控制器是一个经过安全认证的传统控制规划模块,负责将无人车从当前位置安全地平稳地导至相应的充电站。
在一些实施例中,如图7所示,地理围栏RTA系统模块,使用该RTA模块监视器可以确保无人车不会导航至预设的地理围栏区域范围外。在这里,高级控制器作为一个节点,使用先进的智能控制算法,它计算给定的当前运动规划的控制信息,并驱动无人车在不考虑能源消耗的情况下快速行至规划中的下一个路径点。当系统通过自身机体的高精度激光雷达定位信息检测到无人车即将穿越预设的地理围栏范围,则安全控制器阻止之前的规划进一步执行,RTA系统实时监测,将先进智能控制系统切换到传统控制系统,使用常规传感器(如GPS/SINS系统等传感器)进行路径的重规划,并转至下一个安全边界范围内的目的地点,确保无人车留在安全区域范围内。决策模块在每一步观察下一个目标点的选定,判断当前无人车最终是否会探索一个非安全区域。
上述两个决策模块机制包含无人车的两个不同方面,它必须同时进行实时监控。每个RTA模块拥有独立的AC和SC,每个RTA模块同时组成以提供所需的运行时安全保证。因此,决策模块必须对这两个RTA模块监视器有一个隐式的优先级,以决定在多个监视器报告不安全的情况下,执行器必须运行哪个安全控制器。按照以下顺序对RTA模块进行优先排序:地理围栏→电池安全。
在一些实施例中,如图8所示,弹坑避险RTA系统模块,在地面场景中,当无人车遇到大型弹坑时,使用该RTA模块监视器来保障无人车在即将或刚导航至大型弹坑的大角度斜坡区域范围时,有效实现紧急避险避障。高级控制器作为一个节点,使用先进的智能控制算法,通过立体视觉里程计(VO)三维三角测量景深的输入信息估计无人车的运动信息,通过相邻帧的变换关系,即取得当前帧与原始位置之间的变换关系,计算给定的当前运动规划的控制信息并驱动无人车快速行至规划中的下一个路径点。当高级控制器系统通过双目摄像头视觉图像处理技术检测到无人车到达弹坑斜盘的倾角范围时,安全控制器阻止之前的规划进一步执行,RTA系统实时监测,将先进智能控制系统切换到传统控制系统,使用常规传感器(如IMU惯导系统等传感器)进行自身无人车机体的重定位,重新获取当前无人车的位置和姿态信息,并重规划下一个安全边界范围内的目的地点,确保无人车留在安全区域范围内。决策模块在每一步观察下一个目标点的选定,判断当前无人车最终是否会探索一个非安全区域。
上述方法为了使无人平台的信息物理系统的功能能够正确运行,在保证设备硬件可靠、软件可信、信息安全得到保障,控制规则完备的同时,在系统出现故障的情况下能够更加快速、精准、稳定的进行故障的诊断和定位以及安全切换控制。
本发明第二方面公开了一种安全智能控制系统。所述系统包括安装在无人设备上的多个处理单元,其中:第一处理单元,被配置为:根据预设任务目标的位置信息和所述无人设备的位置信息获取所述无人设备的行驶路径;第二处理单元,被配置为:根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;第三处理单元,被配置为:所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;第四处理单元,被配置为:基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式。
根据本发明第二方面的系统,所述无人设备包括无人机、无人车和无人水下设备。
根据本发明第二方面的系统,所述第一处理单元具体被配置为:根据所述预设任务目标的位置信息和所述无人设备的位置信息确定若干条通路作为候选行驶路径,计算每一条候选行驶路径的行驶距离、避障复杂度、环境干扰程度和所述无人设备的剩余能源,并基于计算结果选出最优路径作为所述无人设备的行驶路径。
根据本发明第二方面的系统,所述第二处理单元具体被配置为:根据所述无人设备的当前行驶状态,在运行时保证(Runtime Assurance)框架内确定所述无人设备的行驶控制方式,具体包括:获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;为所述无人设备选取与所述安全等级对应的行驶控制方式。
根据本发明第二方面的系统,所述安全等级包括第三安全级、第二安全级和第一安全级,其中:所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
根据本发明第二方面的系统,所述实时环境信息包括突发的气象信息、临时的障碍物信息和意外的干扰信息,所述实时参数信息包括所述无人设备的各个部件的实时运行参数。
根据本发明第二方面的系统,所述第四处理单元具体被配置为:基于所述实时环境信息和所述实时参数信息更新所述无人设备在所述运行时保证框架内的安全等级,并根据更新的安全等级来更新所述行驶控制方式。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现本公开第一方面中任一项所述的一种安全智能控制方法中的步骤。
图9为根据本发明实施例的一种电子设备的结构图,如图9所示,电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本公开的技术方案相关的部分的结构图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本公开第一方面中任一项所述的一种安全智能控制方法中的步骤。
本发明提供的技术方案针对智能控制系统,特别是CPS系统存在的安全问题,提出了基于运行时保证技术的智能控制系统安全框架,适用于无人机、无人车等无人系统的运行时安全防护,能够保证智能控制系统即使在网络攻击、未知环境或硬件部分故障等条件下,依然具备安全防护能力,确保顺利完成既定任务。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种安全智能控制方法,其特征在于,所述方法包括:
步骤S1、根据预设任务目标的位置信息和无人设备的位置信息获取所述无人设备的行驶路径;
步骤S2、根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;
步骤S3、所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;
步骤S4、基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式;
其中,在所述步骤S2中,根据所述无人设备的当前行驶状态,在运行时保证框架内确定所述无人设备的行驶控制方式,具体包括:
获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;
根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;
为所述无人设备选取与所述安全等级对应的行驶控制方式;
所述安全等级包括第三安全级、第二安全级和第一安全级,其中:
所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;
所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;
所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
2.根据权利要求1所述的一种安全智能控制方法,其特征在于,所述无人设备包括无人机、无人车和无人水下设备。
3.根据权利要求2所述的一种安全智能控制方法,其特征在于,在所述步骤S1中,根据所述预设任务目标的位置信息和所述无人设备的位置信息确定若干条通路作为候选行驶路径,计算每一条候选行驶路径的行驶距离、避障复杂度、环境干扰程度和所述无人设备的剩余能源,并基于计算结果选出最优路径作为所述无人设备的行驶路径。
4.根据权利要求1所述的一种安全智能控制方法,其特征在于,在所述步骤S3中,所述实时环境信息包括突发的气象信息、临时的障碍物信息和意外的干扰信息,所述实时参数信息包括所述无人设备的各个部件的实时运行参数。
5.根据权利要求4所述的一种安全智能控制方法,其特征在于,在所述步骤S4中,基于所述实时环境信息和所述实时参数信息更新所述无人设备在所述运行时保证框架内的安全等级,并根据更新的安全等级来更新所述行驶控制方式。
6.一种安全智能控制系统,其特征在于,所述系统包括安装在无人设备上的多个处理单元,其中:
第一处理单元,被配置为:根据预设任务目标的位置信息和所述无人设备的位置信息获取所述无人设备的行驶路径;
第二处理单元,被配置为:根据所述无人设备的当前行驶状态确定所述无人设备的行驶控制方式;
第三处理单元,被配置为:所述无人设备采用所述行驶控制方式在所述行驶路径上行驶,并采集行驶过程中的实时环境信息和实时参数信息;
第四处理单元,被配置为:基于所述实时环境信息和所述实时参数信息更新所述行驶控制方式,所述无人设备切换至经更新的行驶控制方式;
其中,所述第二处理单元被配置为,根据所述无人设备的当前行驶状态,在运行时保证框架内确定所述无人设备的行驶控制方式,具体包括:
获取所述无人设备的当前行驶状态,包括所述无人设备的当前位置信息、当前姿态信息、当前故障信息以及当前行驶环境信息;
根据所述当前位置信息、所述当前姿态信息和所述当前故障信息确定所述无人设备在所述运行时保证框架内的安全等级;
为所述无人设备选取与所述安全等级对应的行驶控制方式;
所述安全等级包括第三安全级、第二安全级和第一安全级,其中:
所述第三安全级为绝对安全级,包括物理空间安全、赛博空间安全和设备状态安全,在所述第三安全级采用非完全信任的智能控制作为所述行驶控制方式;
所述第二安全级为边界安全级,包括物理空间、赛博空间和设备状态中的至少一个处于非安全状态,所述第二安全级的安全状态在安全状态边界内且在一定时间间隔内能够收敛至所述第三安全级,在所述第二安全级仍采用所述非完全信任的智能控制作为所述行驶控制方式;
所述第一安全级为非安全级,包括所述物理空间、所述赛博空间和所述设备状态中的至少一个处于所述非安全状态,所述第一安全级的安全状态逾越所述安全状态边界,在所述第一安全级采用完全信任的非智能控制作为所述行驶控制方式。
7.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1-5任一项所述的一种安全智能控制方法中的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-5任一项所述的一种安全智能控制方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205426.1A CN115639769B (zh) | 2022-09-30 | 2022-09-30 | 一种安全智能控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211205426.1A CN115639769B (zh) | 2022-09-30 | 2022-09-30 | 一种安全智能控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115639769A CN115639769A (zh) | 2023-01-24 |
CN115639769B true CN115639769B (zh) | 2023-08-22 |
Family
ID=84942049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211205426.1A Active CN115639769B (zh) | 2022-09-30 | 2022-09-30 | 一种安全智能控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115639769B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117215294A (zh) * | 2023-11-07 | 2023-12-12 | 中国民航大学 | 一种基于运行时保证技术的飞机智能驾驶系统及控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150516A (ja) * | 2010-01-21 | 2011-08-04 | Ihi Aerospace Co Ltd | 無人車両の半自律走行システム |
CN109345836A (zh) * | 2018-10-26 | 2019-02-15 | 北理慧动(常熟)车辆科技有限公司 | 一种多模式无人车远程操控系统及方法 |
CN110832419A (zh) * | 2018-07-25 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
CN113085901A (zh) * | 2021-05-13 | 2021-07-09 | 京东鲲鹏(江苏)科技有限公司 | 无人车控制方法、装置、电子设备及存储介质 |
CN113492872A (zh) * | 2020-03-20 | 2021-10-12 | 际络科技(上海)有限公司 | 驾驶模式切换方法、系统以及计算机可读存储介质 |
-
2022
- 2022-09-30 CN CN202211205426.1A patent/CN115639769B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150516A (ja) * | 2010-01-21 | 2011-08-04 | Ihi Aerospace Co Ltd | 無人車両の半自律走行システム |
CN110832419A (zh) * | 2018-07-25 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
CN109345836A (zh) * | 2018-10-26 | 2019-02-15 | 北理慧动(常熟)车辆科技有限公司 | 一种多模式无人车远程操控系统及方法 |
CN113492872A (zh) * | 2020-03-20 | 2021-10-12 | 际络科技(上海)有限公司 | 驾驶模式切换方法、系统以及计算机可读存储介质 |
CN113085901A (zh) * | 2021-05-13 | 2021-07-09 | 京东鲲鹏(江苏)科技有限公司 | 无人车控制方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115639769A (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Saska et al. | Fault-tolerant formation driving mechanism designed for heterogeneous MAVs-UGVs groups | |
Marino et al. | A decentralized architecture for multi-robot systems based on the null-space-behavioral control with application to multi-robot border patrolling | |
Shao et al. | Leader-following formation control of multiple mobile robots | |
US8271132B2 (en) | System and method for seamless task-directed autonomy for robots | |
US7584020B2 (en) | Occupancy change detection system and method | |
US7801644B2 (en) | Generic robot architecture | |
US7587260B2 (en) | Autonomous navigation system and method | |
US7668621B2 (en) | Robotic guarded motion system and method | |
US7211980B1 (en) | Robotic follow system and method | |
US20080009969A1 (en) | Multi-Robot Control Interface | |
Roucek et al. | System for multi-robotic exploration of underground environments ctu-cras-norlab in the darpa subterranean challenge | |
Scherer et al. | Resilient and modular subterranean exploration with a team of roving and flying robots | |
WO2008005660A2 (en) | Robotics virtual rail system and method | |
Teck et al. | Hierarchical agent-based command and control system for autonomous underwater vehicles | |
CN115639769B (zh) | 一种安全智能控制方法及系统 | |
Best et al. | Resilient multi-sensor exploration of multifarious environments with a team of aerial robots | |
Boskovic et al. | A multi-layer autonomous intelligent control architecture for unmanned aerial vehicles | |
Yang et al. | A cooperative formation‐based collision avoidance approach for a group of autonomous vehicles | |
Mylvaganam et al. | Approximate optimal monitoring | |
Phadke et al. | Increasing Operational Resiliency of UAV Swarms: An Agent-Focused Search and Rescue Framework | |
Min et al. | Online trajectory planning strategy for UAV in dynamic threats based on bug-rapidly-exploring random tree algorithm | |
Zhu et al. | Hawkeye: Open source framework for field surveillance | |
Krishna et al. | Autonomous observation of multiple USVs from UAV while prioritizing camera tilt and yaw over UAV motion | |
Yang et al. | Auxiliary decision-making strategy for physical quadrotor by actively interacting with virtual system | |
Karimoddini et al. | Developments in hybrid modeling and control of unmanned aerial vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |