CN115755829A - 用于验证智能控制系统安全性的方法及装置 - Google Patents

用于验证智能控制系统安全性的方法及装置 Download PDF

Info

Publication number
CN115755829A
CN115755829A CN202211342934.4A CN202211342934A CN115755829A CN 115755829 A CN115755829 A CN 115755829A CN 202211342934 A CN202211342934 A CN 202211342934A CN 115755829 A CN115755829 A CN 115755829A
Authority
CN
China
Prior art keywords
environment
simulation
control system
data
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211342934.4A
Other languages
English (en)
Inventor
杨林
张龙
杨峰
唐盖盖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Original Assignee
Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences filed Critical Institute of Network Engineering Institute of Systems Engineering Academy of Military Sciences
Priority to CN202211342934.4A priority Critical patent/CN115755829A/zh
Publication of CN115755829A publication Critical patent/CN115755829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种用于验证智能控制系统安全性的方法及装置,涉及安全性验证方法及装置技术领域,该装置包括:智能控制系统的建模子系统、三维显示子系统、环境建模子系统、实物交互子系统以及辅助测试子系统;所述智能控制系统的建模子系统包括:任务生成单元、控制软件和AirSim仿真软件;所述任务生成单元生成任务并发送给所述控制软件,所述控制软件根据该任务生成任务指令并发送给所述AirSim仿真软件,所述AirSim仿真软件根据该任务指令生成系统指令,并发送给所述实物交互子系统,接收所述实物交互子系统返回的系统状态数据;所述AirSim仿真软件向所述三维显示子系统发送模型动力数据并接收所述三维显示子系统发送的虚拟环境数据。

Description

用于验证智能控制系统安全性的方法及装置
技术领域
本发明涉及安全性验证方法及装置技术领域,尤其涉及一种用于验证智能控制系统安全性的方法及装置。
背景技术
在现代信息化时代潮流下,控制系统正朝着无人化、自主化的方向发展,具备侦查、巡回、等功能的智能控制系统已日渐成熟,如无人机、无人车等都属于智能控制系统。但是,针对智能控制系统传感器、控制系统、组网通信的攻击手段更是日新月异,其中,能够对智能控制系统产生有效打击,并最大程度破坏其任务执行能力的一种攻击方式是构建一种拒止环境(Denied Environments),对智能控制系统所依赖的卫星定位,实时通讯,及传感器信号进行干扰和压制。这些因素对智能控制系统设备的安全技术提出了新的挑战。
在针对拒止环境防护手段的研究上,构建具有拒止环境的用于验证智能控制系统安全性的虚拟仿真平台可以提供极大便利。智能控制系统仿真的研究已经非常普遍,且相对成熟,常见的智能控制系统仿真系统主要分为软件在环(SITL)仿真与硬件在环(HITL)仿真,其中软件在环仿真的系统固件代码运行在虚拟环境所运行的同一台计算机,或是同一网络上的另一台计算机上,而硬件在环仿真以实时处理器运行仿真模型来模拟受控对象的运行状态,通过I/0接口与被测对象相连接。
目前广泛使用于二次开发的智能控制系统仿真环境为Gazebo。Gazebo具有强大的3D仿真环境,特别适用于测试对象避障和计算机视觉,现用于国外的多载具仿真,并能配合ROS这类用于自动控制的工具集使用。Gazebo目前支持智能控制系统的仿真载具包括:固定翼、多旋翼、混合翼无人机,无人车,无人潜艇等。
一个基于Gazebo虚拟环境构建的支持PX4飞控硬件的半实物仿真系统具有飞控板硬件,其在环模式被激活,该模式下不会启动飞控板上任何传感器,所有传感器数据来自仿真。Gazebo虚拟环境通过USB连接到飞控板,并通过UDP连接到地面站并通过MAVLink传输数据。通过串口可将操纵杆/游戏手柄通过地面站连接至仿真回路中。
Gazebo仿真的数据处理流中,仿真环境产生的飞行模拟数据首先被输入到附加在仿真上的插件上。这里的插件是指针对仿真环境中无人机模型的控制程序,如DroneKit无人机自主飞行程序等。数据在被插件处理之后,依照Mavlink协议打包,发送至启动了硬件在环模式的飞行控制板,由其中的无人机飞行控制栈(如PX4)产生飞行指令及控制信号。在Gazebo仿真环境中构建拒止区域依赖于自定义插件的开发。目前,较为可行的方案的是使用ROS系统创建一个可以模拟拒止效果的程序节点作为仿真插件,对Gazebo环境中的模拟数据进行处理。Gazebo仿真虽然存在构建拒止仿真环境的技术路线,但实现起来仍有许多问题:
(1)Gazebo仿真中的实物模型大多是简单的几何体,无法构建逼真复杂的3D场景,不利于真实场景的模拟与重现。Gazebo仿真中的虚拟环境理论上是ROS系统中的程序节点,它与Gazebo环境本体间的通信依赖于ROS消息包,这会带来一些数据实时性方面的问题。
(2)现有的安全测试方法主要是在真实环境中进行,资源消耗大,也受测试场地的空间大小限制。
发明内容
为解决上述技术问题,本发明提出了一种用于验证智能控制系统安全性的方法及装置。
本发明采用以下技术方案:
一种用于验证智能控制系统安全性的装置,包括:
智能控制系统的建模子系统、三维显示子系统、环境建模子系统、实物交互子系统以及辅助测试子系统;
所述智能控制系统的建模子系统包括:任务生成单元、控制软件和AirSim仿真软件;
所述任务生成单元生成任务并发送给所述控制软件,所述控制软件根据该任务生成任务指令并发送给所述AirSim仿真软件,所述AirSim仿真软件根据该任务指令生成系统指令,并发送给所述实物交互子系统,接收所述实物交互子系统返回的系统状态数据;所述AirSim仿真软件向所述三维显示子系统发送模型动力数据并接收所述三维显示子系统发送的虚拟环境数据;
所述三维显示子系统包括工作站和UE仿真环境,所述工作站搭载运行所述UE仿真环境;
所述UE仿真环境分别向所述AirSim仿真软件和所述实物交互子系统发送所述虚拟环境数据,并分别接收所述模型动力数据和所述系统状态数据;
所述环境建模子系统包括UE开发引擎和环境建模单元;所述UE开发引擎将环境素材包发送给所述环境建模单元,所述环境建模单元利用所述环境素材包生成所述UE仿真环境,并向所述UE仿真环境发送拒止环境类型信息;
所述实物交互子系统采集原始数据,接收所述UE仿真环境发送的所述虚拟环境数据、接收所述系统指令和所述系统状态数据,并分析所述原始数据得到解析数据,所述实物交互子系统将所述解析数据处理为所述系统状态数据和待分析通信数据,并将所述系统状态数据发送给所述UE仿真环境和所述AirSim仿真软件、将所述待分析通信数据发送给所述辅助测试子系统;
所述辅助测试子系统接收控制硬件发送的所述待分析通信数据,对所述待分析通信数据进行分析和处理。
所述实物交互子系统包括传感器、机载计算机、控制硬件和通讯加密模块;所述传感器采集原始数据并将所述原始数据发送给所述机载计算机,所述机载计算机分析所述原始数据,得到解析数据,所述机载计算机将所述解析数据发送给所述控制硬件,所述控制硬件将所述解析数据处理为所述系统状态数据和待分析通信数据,并将所述系统状态数据发送给所述通讯加密模块、将所述待分析通信数据发送给所述辅助测试子系统;所述控制硬件接收所述UE仿真环境发送的所述虚拟环境数据;
所述通讯加密模块接收所述系统指令和所述系统状态数据,所述通讯加密模块对所述系统状态数据和所述系统指令进行加密处理得到所述系统状态数据;并将所述系统状态数据分别发送给所述AirSim仿真软件和所述UE仿真环境。
所述辅助测试子系统包括:示波器、频谱仪、可编程电源、信号发生器、无线信号分析仪和矢量网络分析仪;所述环境建模单元包括工具,所述工具包括:资源部署工具、地形地貌修改工具和物理环境配置工具;利用所述工具完成对虚拟战场场景的资源部署和拒止环境因素的修改。
所述环境建模单元利用所述工具生成所述UE仿真环境,模拟得到所述虚拟环境数据;按照安全性测试需求配置所述UE仿真环境;
所述UE仿真环境通过向所述AirSim仿真软件发送所述虚拟环境数据修改所述AirSim仿真软件的配置文件;所述配置文件包括:仿真载具、视图模式和放置时间。
所述智能控制系统的建模子系统用于将所述智能控制系统虚拟化为智能控制系统模型;
所述智能控制系统建模子系统与所述UE仿真环境的交互过程包括:
当所述智能控制系统模型进入虚拟拒止环境中,所述任务生成单元配置拒止环境类型,并将所述拒止环境类型转化为所述任务,发送给所述控制软件;
所述控制软件将所述任务转换为所述任务指令发送给所述Airsim仿真软件,所述AirSim仿真软件接收所述任务指令后,向所述UE仿真环境发送所述模型动力数据,以令所述UE仿真环境通过仿真接口触发所述UE开发引擎;
所述UE开发引擎调用搜索函数,获取所述模型动力数据,通过所述仿真接口向所述UE仿真环境发送所述虚拟拒止环境的所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应。
所述UE仿真环境依据所述拒止环境类型信息响应后,所述Airsim仿真软件根据所述拒止环境类型信息响应不同的策略,并执行相应的所述任务;根据所述智能控制系统模型的任务状态,验证所述智能控制系统的安全性。
所述环境素材包包括:海洋、山地、城市的所述虚拟战场场景和所述拒止环境因素;所述待分析通信数据包括:脉宽调制信号和控制器局域网络总线信号。
所述虚拟拒止环境采用硬件在环的模式,确保工作在所述控制硬件上的软件接收所述UE仿真环境发送的所述虚拟环境数据,并将所述虚拟环境数据作为真实外部环境数据进行处理,计算出对应的所述真实外部环境的所述系统状态数据。
一种用于验证智能控制系统安全性的方法,该方法采用所述的用于验证智能控制系统安全性的装置,该方法包括以下步骤:
首先,利用所述环境建模单元完成UE仿真系统的部署与配置;
而后,利用所述UE仿真环境进行虚拟环境的模拟,配置所述UE仿真环境的设置项;
所述智能控制系统模型进入虚拟拒止环境中,同时所述UE开发引擎配置所述UE仿真环境的所述拒止环境类型信息;
所述智能控制系统模型进入所述虚拟拒止环境后,触发所述UE开发引擎,所述UE开发引擎调用搜索函数,获取所述模型动力数据,所述UE开发引擎通过仿真接口向所述UE仿真环境发送所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应;
所述智能控制系统模型根据所述拒止环境类型信息进行不同策略的响应,并执行相应的任务;
最后,根据所述智能控制系统的任务状态:验证所述智能控制系统安全性。
本发明实施例提供的一种用于验证智能控制系统安全性的方法及装置中,用于验证智能控制系统安全性的装置包括:智能控制系统建模子系统,三维显示子系统,环境建模子系统,实物交互子系统和辅助测试子系统。智能控制系统建模子系统用于对真实的智能控制系统进行模拟,得到智能控制系统模型;三维显示子系统用于显示可将三维的虚拟拒止环境、智能控制系统模型的位置和姿态等可视化地呈现出来,便于系统安全性测试过程更加直观地观察;环境建模子系统用于生成三维显示子系统中的UE仿真环境,包括其中的拒止环境;实物交互子系统通过将三维显示子系统、真实的智能控制系统的硬件设备和辅助测试子系统连接起来,实现半实物模拟仿真形式的安全性测试环境;辅助测试子系统用于对智能控制系统的控制硬件运行中的通信数据进行分析,获取系统安全性测试过程中用于评估系统安全性的信息数据。用于验证智能控制系统安全性的方法及装置工作流程为:安全性测试环境配置:首先利用环境建模子系统的环境建模单元完成三维显示子系统的UE仿真环境的部署与配置,而后,利用UE仿真环境进行拒止环境的模拟,按照安全性测试需求配置UE仿真环境的设置项;接着,通过实物交互子系统通过将三维显示子系统、真实的智能控制系统的硬件设备和辅助测试子系统连接起来,实现半实物模拟仿真形式的安全性测试环境;安全性测试过程:智能控制系统模型进入虚拟的拒止环境中,其任务生成单元配置UE仿真环境的拒止类型;智能控制系统模型进入所述拒止环境后,触发UE开发引擎在UE仿真环境中设置的拒止电磁网内的触发器,继而调用搜索函数,使UE开发引擎获取所述智能控制系统的角色身份信息及所述角色身份信息中的仿真接口,UE开发引擎通过仿真接口向UE仿真环境传递拒止环境的类型信息,而后所述UE仿真环境依据所述拒止环境类型信息响应;而后,智能控制系统模型根据拒止类型进行不同策略的响应,并执行相应的任务;根据智能控制系统拒止环境的任务状态和辅助测试子系统输出的测试结果信息数据来验证智能控制系统安全性能力。
附图说明
图1为本发明实施例提供的一种用于验证智能控制系统安全性的装置组成示意图。
具体实施方式
以下结合附图对本发明的具体实施方式作出详细说明。
拒止环境:指一种电子技术手段,可域内设置对智能控制系统所依赖的卫星定位、实时通讯及传感器信号进行干扰和压制的对抗环境,目标是使进入该区域的智能控制系统无法正确完成任务或丧失控制能力。
智能控制系统半实物仿真:即硬件在环仿真,指智能控制系统固件运行在真实的智能控制系统控制器板卡上,经由通讯链路与仿真环境进行数据交互的仿真模式。
仿真拒止环境:指在在仿真系统内构建的虚拟拒止区域,该区域通过编写程序修改环境数据的形式,模拟真实拒止环境对智能控制系统控制器的影响。
本发明实施例提供的用于验证智能控制系统的安全性的方法及装置主要解决以下问题:
针对智能控制系统的物理安全,构建了复杂的物理虚拟场景。基于Airsim平台,针对常见地形,如海洋、山地、城市等,构建具有一定区域大小,一定复杂程度,完备自然环境因素及建筑物、车辆、船只等可见物的虚拟环境,满足典型物理安全验证场景的基本需求,且可实现对不同物理场景的快速模拟。
针对智能控制系统网络空间安全构建了数据的实时性传输的拒止环境。在仿真系统虚拟战场中,利用自定义程序修改仿真数据,产生虚拟的通信受阻、定位干扰欺骗、传感器干扰等作业拒止环境,突破实物试验的各种限制。
拒止环境的数据处理模块集成在仿真程序内部,具有严格的实时操作顺序。实现便捷的Windows操作系统下仿真环境的迁移,降低使用人员操作仿真程序的难度。
参见图1,本发明实施例提供了一种用于验证智能控制系统安全性的装置包括五个子系统:智能控制系统的建模子系统、三维显示子系统、环境建模子系统、实物交互子系统以及辅助测试子系统。
其中,三维显示子系统可将三维的模拟环境、智能控制系统的位置和姿态、智能控制系统在物理环境中的动态等,可视化地呈现出来,便于在智能控制系统开发和系统测试过程更加直观地观察和把握全局状况,该三维显示子系统的硬件环境为一套高性能开发工作站,软件环境为UE仿真系统。
环境建模子系统尽可能地将物理环境进行虚拟重建,包含环境的三维地形、电磁环境、网络环境的虚拟构建,最终生成UE仿真环境。该子系统包含UE开发引擎,以及该UE开发引擎下的多种环境素材包,基于UE开发引擎和环境素材包构建环境建模单元。
智能控制系统的建模子系统在保留智能控制系统实际运行控制、通信机制的基础上,将智能控制系统虚拟化,虚拟的智能控制系统模型可以获取外部环境的各变量,受到环境影响,做出不同的反馈,尽可能地体现真实智能控制系统在飞运行过程中的动态变化。
该智能控制系统的建模子系统包含任务生成单元和自主研发的控制系统软件、AirSim二次开发的AirSim仿真软件及其素材库,蓝图以及环境变量,任务生成单元生成任务发送给控制软件,控制软件生成任务指令发送给基于Airsim二次开发的AirSim仿真软件,而后获得模型动力数据发送给UE仿真环境。AirSim仿真软件代表真实的智能控制系统。模型动力数据为真实的智能控制系统的真实运动状态信息。当AirSim仿真软件为无人机时,所述模型动力数据为无人机的运动状态数据,例如,无人机的飞行速度、飞行高度、飞行姿态角等。所述UE开发引擎通过调取搜索函数,获取所述模型动力数据,形成拒止环境类型信息,通过所述仿真接口向所述UE仿真环境发送所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应。
实物交互子系统将UE仿真环境、智能控制系统模型与机载计算机、传感器、通讯加密模块等硬件实体连接成一个整体,为智能控制系统半实物模拟仿真提供真实的通信、导航、识别等实物支撑。待分析通信数据包括:各种总线的控制信号,如PWM(脉宽调制)信号,CAN(控制器局域网络)总线信号。
所述辅助测试子系统包括:示波器、频谱仪、可编程电源、信号发生器、无线信号分析仪以及矢量网络分析仪,所述辅助测试子系统接收所述控制硬件发送来的待分析通信数据,对所述待分析通信数据进行分析和处理。
智能控制系统在仿真环境中的模型结构主要分为两个部分:一是与仿真环境进行数据交互的角色模型,一是与飞行控制器实物进行数据交互的通讯模型。二者受仿真系统的统一调度,对仿真系统公开必要的参数与功能接口。智能控制系统角色模型负责控制三维引擎中智能控制系统角色的行为,其主要成员包含与仿真环境互动所需的各类信息:
1)基本信息:包含仿真环境识别此角色的身份信息。
2)拒止环境信息:包含角色所处仿真环境中存在的拒止干扰类别信息。
3)环境信息:包含角色所处的仿真环境中风阻,气压,温度等物理信息。
4)物理结构:包含角色所对应的智能控制系统的物理结构信息,如轴距,扭矩,重量等。
5)视点信息:包含角色所拥有的观察视点的信息,即使用者可以观察仿真模型的视角。
6)事件类型:包含角色在仿真环境中产生的特殊事件类型,如碰撞,失控等。
7)功能接口:即角色模型对仿真系统开放的方法函数,仿真系统通过各种方法函数控制角色模型在仿真环境中的行为。
智能控制系统的通讯模型通过通讯协议,向控制器传递UE仿真环境中的传感器信息,并向接受其发送的控制信号,其主要成员包含与控制器数据交换所需的各类信息:
1)基本信息:包含仿真系统与控制器硬件间交互的智能控制系统身份信息。
2)拒止环境信息:包含仿真系统与控制器硬件间交互的拒止区域信息
3)链接信息:包含仿真系统与控制器硬件间交互的通讯链路信息。
4)方针信息:包含仿真系统与控制器硬件间交互的任务策略信息。
5)控制信息:包含控制器硬件向仿真系统发送的控制器控制信息。
6)传感器信息:包含仿真系统向控制器硬件发送的模拟传感器信息。
虚拟环境构建流程包括:
1)搭建虚拟场景。搭建虚拟场景需要用到的主要工具有:资源部署工具、地形地貌修改工具、物理环境配置工具等。利用它们可以完成对虚拟场景的资源部署,地形地貌等做出修改。
在场景中部署资源(如几何体、触发器,物体)的方法:基础模型可自左侧“模式”编辑栏中拖拽进入场景,导入的模型则可由下方“资源浏览器”中拖拽进入场景。
2)迁移虚拟场景。将一个已有场景迁移到一个新建的UE4工程的方法为:即将原场景工程中的“content”文件夹中的资源直接复制到新工程的“content”文件夹内,之后在UE4开发界面中“内容浏览器”栏内寻找对应的地图文件即可打开场景。相对于ROS系统仅支持在Linux操作系统中部署与运行,本发明中的基于UE4的虚拟场景系统可在windows下通过简单的复制目录和加载工程文件的简单步骤实现便捷的仿真环境的迁移与部署。
3)仿真系统的部署与配置。模拟仿真系统同时满足控制系统固件软、硬件在环以及物理和视觉逼真的模拟,按照对应的安全性测试需求进行配置仿真系统设置项。
4)配置文件修改。修改AirSim仿真软件配置文件可以改变包括仿真载具(智能控制系统),视图模式,放置时间等系统参数。
不同场景的虚拟环境皆在开发阶段配置完毕,拒止因素也被预设在了场景的特定区域,具备快速启动,快速生成,自动连接飞控设备的特性,实现了对复杂的物理场景的快速模拟。
智能控制系统与虚拟仿真平台的交互流程即任务生成单元到UE仿真环境的交互过程,包括:
首先,利用所述环境建模单元完成所述UE仿真系统的部署与配置;
而后,利用所述UE仿真环境进行虚拟环境的模拟,配置所述UE仿真环境的设置项;
所述智能控制系统模型进入虚拟的所述虚拟拒止环境中,同时所述UE开发引擎配置所述UE仿真环境的所述拒止环境类型信息;
所述智能控制系统模型进入所述拒止环境后,触发所述UE开发引擎,所述UE开发引擎设置在拒止电磁网内,调用搜索函数,所述UE开发引擎获取所述模型动力数据,所述UE开发引擎通过所述仿真接口向所述UE仿真环境发送所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应;
所述智能控制系统模型根据所述拒止环境类型信息进行不同策略的响应,并执行相应的任务;
最后,根据所述智能控制系统的任务状态:验证所述智能控制系统安全性。
应用本发明开展了三个实施例。
实施例1:构建的虚拟场景为山地沙漠地形,场景中存在敌方军事基地,其周围空间部署有导航定位欺骗拒止环境。无人机飞入该区域中,导航定位信息会受拒止环境影响产生偏差,无人机将无法正常飞行,最终迫降。
实施例2:构建的虚拟场景为海洋岛屿地形,场景中存在敌方军事基地,其周围空间部署有传感器干扰拒止环境。无人机飞入该区域中,传感器数据会受拒止环境影响产生巨大噪声,无人机将无法正常飞行,最终坠落。
实施例3:构建的虚拟场景为城市地形,场景中存在大量建筑物,在一定空间范围内部署有通讯压制拒止环境。无人机飞入该区域中,通讯链路会受拒止环境影响中断,无人机将无法与地面站正常通讯。
本发明实施例提供的一种用于验证智能控制系统安全性的方法及装置中,用于验证智能控制系统安全性的装置包括:智能控制系统建模子系统,三维显示子系统,环境建模子系统,实物交互子系统和辅助测试子系统。智能控制系统建模子系统用于对真实的智能控制系统进行模拟,得到智能控制系统模型;三维显示子系统用于显示可将三维的虚拟拒止环境、智能控制系统模型的位置和姿态等可视化地呈现出来,便于系统安全性测试过程更加直观地观察;环境建模子系统用于生成三维显示子系统中的UE仿真环境,包括其中的拒止环境;实物交互子系统通过将三维显示子系统、真实的智能控制系统的硬件设备和辅助测试子系统连接起来,实现半实物模拟仿真形式的安全性测试环境;辅助测试子系统用于对智能控制系统的控制硬件运行中的通信数据进行分析,获取系统安全性测试过程中用于评估系统安全性的信息数据。用于验证智能控制系统安全性的方法及装置工作流程为:安全性测试环境配置:首先利用环境建模子系统的环境建模单元完成三维显示子系统的UE仿真环境的部署与配置,而后,利用UE仿真环境进行拒止环境的模拟,按照安全性测试需求配置UE仿真环境的设置项;接着,通过实物交互子系统通过将三维显示子系统、真实的智能控制系统的硬件设备和辅助测试子系统连接起来,实现半实物模拟仿真形式的安全性测试环境;安全性测试过程:智能控制系统模型进入虚拟的拒止环境中,其任务生成单元配置UE仿真环境的拒止类型;智能控制系统模型进入所述拒止环境后,触发UE开发引擎在UE仿真环境中设置的拒止电磁网内的触发器,继而调用搜索函数,使UE开发引擎获取所述智能控制系统的角色身份信息及所述角色身份信息中的仿真接口,UE开发引擎通过仿真接口向UE仿真环境传递拒止环境的类型信息,而后所述UE仿真环境依据所述拒止环境类型信息响应;而后,智能控制系统模型根据拒止类型进行不同策略的响应,并执行相应的任务;根据智能控制系统拒止环境的任务状态和辅助测试子系统输出的测试结果信息数据来验证智能控制系统安全性能力。
本发明的一种用于验证智能控制系统安全性的方法及装置可以实现以下功能:
1.三维显示子系统的UE仿真环境基于UE开发引擎,可以实现真实环境的三维地形、电磁环境、网络环境的逼真模拟;拒止环境采用硬件在环的模式,确保工作在智能控制系统硬件设备上的控制软件接收UE仿真环境按固定时序逻辑提供的虚拟环境数据,并将其作真实的外部环境处理,计算出对应的实际状况下的系统状态数据,实现控制硬件和UE仿真环境的数据实时传输。
2.优先在仿真环境对智能控制系统安全性进行初步测试,能有效规避实物测试中的风险,通过针对性、目的性地构建UE仿真环境,可以测试智能控制系统在特定环境中的运动状态,摆脱实物测试的空间限制。并且可以根据特定的安全性测试需求,人为添加干扰因素,构建拒止环境,模拟对抗场景,测试智能控制系统针对特定任务的安全执行情况。
本发明的装置的硬件在环仿真子系统包含实物智能控制系统和虚拟仿真平台。将虚拟环境、智能控制系统模型与实际的电台、传感器等硬件实体连接成一个整体,提供真实的通信、导航、识别等实物支撑。该智能控制系统可以包含控制板,机载计算机,地面站设备,通讯加密模块,以及双目相机,激光雷达,卫星天线阵列等辅助传感器。虚拟仿真平台可以包含三个主要模型:智能控制系统模型,环境模型,拒止环境模型。智能控制系统模型构建目的是为使得虚拟仿真平台中的智能控制系统与实物智能控制系统功能保持一致。环境模型构建目的是使得虚拟仿真平台中智能控制系统所处的环境与现实环境保持一致。拒止环境模型构建的目的是在虚拟仿真平台中验证智能控制系统系统的安全性。虚拟仿真平台主要基于AirSim开发。AirSim是一款基于UE4引擎构建的无人机、汽车等模拟器的开源平台,并且可以跨平台的通过PX4飞行控制器进行仿真控制,具有在物理和视觉上逼真的模拟环境。不仅模拟了无人机动力学模型,甚至对天气效果灯光控制也做出了非常好的模拟。此外,AirSim提供了大量C++及python的编程API,极大地方便了不同项目、不同开发者对其进行二次开发。
采用本申请所述用于验证智能控制系统的安全性的方法及装置可以达到以下效果:
(1)在不具备实物运行的条件下,该系统能快速有效地对开发中的智能控制系统控制器进行测试与验证,减少算法改进所需的测试时间,提升开发效率。
(2)支持在控制算法进行硬件部署后进行在环测试,相对完全软件仿真而言,更贴近于实物运行,测试结果也更为可靠。
(3)优先在仿真环境对智能控制系统控制器功能性、安全性进行初步测试,能有效规避实物运行中的风险。
(4)在仿真过程中,开发人员可以与智能控制系统硬件进行实时通讯,采集数据更为方便,更有利于对模型及算法的正确性与有效性进行实时验证。
(5)通过针对性、目的性地构建虚拟场景,可以测试智能控制系统在特定环境中的飞行表现,摆脱实物运行的空间限制。
可以根据需求,人为添加干扰因素,构建拒止环境,模拟物理对抗场景,测试智能控制系统的针对特定任务的执行情况。
对于本领域技术人员而言,显然本发明实施例不限于上述示范性实施例的细节,而且在不背离本发明实施例的精神或基本特征的情况下,能够以其他的具体形式实现本发明实施例。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明实施例的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施方式仅用以说明本发明实施例的技术方案而非限制,尽管参照以上较佳实施方式对本发明实施例进行了详细说明,本领域的普通技术人员应当理解,可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (9)

1.一种用于验证智能控制系统安全性的装置,其特征在于,包括:
智能控制系统的建模子系统、三维显示子系统、环境建模子系统、实物交互子系统以及辅助测试子系统;
所述智能控制系统的建模子系统包括:任务生成单元、控制软件和AirSim仿真软件;
所述任务生成单元生成任务并发送给所述控制软件,所述控制软件根据该任务生成任务指令并发送给所述AirSim仿真软件,所述AirSim仿真软件根据该任务指令生成系统指令,并发送给所述实物交互子系统,接收所述实物交互子系统返回的系统状态数据;所述AirSim仿真软件向所述三维显示子系统发送模型动力数据并接收所述三维显示子系统发送的虚拟环境数据;
所述三维显示子系统包括工作站和UE仿真环境,所述工作站搭载运行所述UE仿真环境;
所述UE仿真环境分别向所述AirSim仿真软件和所述实物交互子系统发送所述虚拟环境数据,并分别接收所述模型动力数据和所述系统状态数据;
所述环境建模子系统包括UE开发引擎和环境建模单元;所述UE开发引擎将环境素材包发送给所述环境建模单元,所述环境建模单元利用所述环境素材包生成所述UE仿真环境,并向所述UE仿真环境发送拒止环境类型信息;
所述实物交互子系统采集原始数据,接收所述UE仿真环境发送的所述虚拟环境数据、接收所述系统指令和所述系统状态数据,并分析所述原始数据得到解析数据,所述实物交互子系统将所述解析数据处理为所述系统状态数据和待分析通信数据,并将所述系统状态数据发送给所述UE仿真环境和所述AirSim仿真软件、将所述待分析通信数据发送给所述辅助测试子系统;
所述辅助测试子系统接收控制硬件发送的所述待分析通信数据,对所述待分析通信数据进行分析和处理。
2.根据权利要求1所述的用于验证智能控制系统安全性的装置,其特征在于,所述实物交互子系统包括传感器、机载计算机、控制硬件和通讯加密模块;所述传感器采集原始数据并将所述原始数据发送给所述机载计算机,所述机载计算机分析所述原始数据,得到解析数据,所述机载计算机将所述解析数据发送给所述控制硬件,所述控制硬件将所述解析数据处理为所述系统状态数据和待分析通信数据,并将所述系统状态数据发送给所述通讯加密模块、将所述待分析通信数据发送给所述辅助测试子系统;所述控制硬件接收所述UE仿真环境发送的所述虚拟环境数据;
所述通讯加密模块接收所述系统指令和所述系统状态数据,所述通讯加密模块对所述系统状态数据和所述系统指令进行加密处理得到所述系统状态数据;并将所述系统状态数据分别发送给所述AirSim仿真软件和所述UE仿真环境。
3.根据权利要求2所述的用于验证智能控制系统安全性的装置,其特征在于,所述辅助测试子系统包括:示波器、频谱仪、可编程电源、信号发生器、无线信号分析仪和矢量网络分析仪;所述环境建模单元包括工具,所述工具包括:资源部署工具、地形地貌修改工具和物理环境配置工具;利用所述工具完成对虚拟战场场景的资源部署和拒止环境因素的修改。
4.根据权利要求3所述的用于验证智能控制系统安全性的装置,其特征在于,所述环境建模单元利用所述工具生成所述UE仿真环境,模拟得到所述虚拟环境数据;按照安全性测试需求配置所述UE仿真环境;
所述UE仿真环境通过向所述AirSim仿真软件发送所述虚拟环境数据修改所述AirSim仿真软件的配置文件;所述配置文件包括:仿真载具、视图模式和放置时间。
5.根据权利要求4所述的用于验证智能控制系统安全性的装置,其特征在于,所述智能控制系统的建模子系统用于将所述智能控制系统虚拟化为智能控制系统模型;
所述智能控制系统建模子系统与所述UE仿真环境的交互过程包括:
当所述智能控制系统模型进入虚拟拒止环境中,所述任务生成单元配置拒止环境类型,并将所述拒止环境类型转化为所述任务,发送给所述控制软件;
所述控制软件将所述任务转换为所述任务指令发送给所述Airsim仿真软件,所述AirSim仿真软件接收所述任务指令后,向所述UE仿真环境发送所述模型动力数据,以令所述UE仿真环境通过仿真接口触发所述UE开发引擎;
所述UE开发引擎调用搜索函数,获取所述模型动力数据,通过所述仿真接口向所述UE仿真环境发送所述虚拟拒止环境的所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应。
6.根据权利要求5所述的用于验证智能控制系统安全性的装置,其特征在于,所述UE仿真环境依据所述拒止环境类型信息响应后,所述Airsim仿真软件根据所述拒止环境类型信息响应不同的策略,并执行相应的所述任务;根据所述智能控制系统模型的任务状态,验证所述智能控制系统的安全性。
7.根据权利要求6所述的用于验证智能控制系统安全性的装置,其特征在于,所述环境素材包包括:海洋、山地、城市的所述虚拟战场场景和所述拒止环境因素;所述待分析通信数据包括:脉宽调制信号和控制器局域网络总线信号。
8.根据权利要求7所述的用于验证智能控制系统安全性的装置,其特征在于,所述虚拟拒止环境采用硬件在环的模式,确保工作在所述控制硬件上的软件接收所述UE仿真环境发送的所述虚拟环境数据,并将所述虚拟环境数据作为真实外部环境数据进行处理,计算出对应的所述真实外部环境的所述系统状态数据。
9.一种用于验证智能控制系统安全性的方法,其特征在于,该方法采用权利要求1-8任一项所述的用于验证智能控制系统安全性的装置,该方法包括以下步骤:
首先,利用所述环境建模单元完成UE仿真系统的部署与配置;
而后,利用所述UE仿真环境进行虚拟环境的模拟,配置所述UE仿真环境的设置项;
所述智能控制系统模型进入虚拟拒止环境中,同时所述UE开发引擎配置所述UE仿真环境的所述拒止环境类型信息;
所述智能控制系统模型进入所述虚拟拒止环境后,触发所述UE开发引擎,所述UE开发引擎调用搜索函数,获取所述模型动力数据,所述UE开发引擎通过仿真接口向所述UE仿真环境发送所述拒止环境类型信息,所述UE仿真环境依据所述拒止环境类型信息响应;
所述智能控制系统模型根据所述拒止环境类型信息进行不同策略的响应,并执行相应的任务;
最后,根据所述智能控制系统的任务状态:验证所述智能控制系统安全性。
CN202211342934.4A 2022-10-31 2022-10-31 用于验证智能控制系统安全性的方法及装置 Pending CN115755829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211342934.4A CN115755829A (zh) 2022-10-31 2022-10-31 用于验证智能控制系统安全性的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211342934.4A CN115755829A (zh) 2022-10-31 2022-10-31 用于验证智能控制系统安全性的方法及装置

Publications (1)

Publication Number Publication Date
CN115755829A true CN115755829A (zh) 2023-03-07

Family

ID=85354338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211342934.4A Pending CN115755829A (zh) 2022-10-31 2022-10-31 用于验证智能控制系统安全性的方法及装置

Country Status (1)

Country Link
CN (1) CN115755829A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647934A (zh) * 2024-01-29 2024-03-05 西北工业大学 一种基于大模型的无人集群编队控制算法智能生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647934A (zh) * 2024-01-29 2024-03-05 西北工业大学 一种基于大模型的无人集群编队控制算法智能生成方法
CN117647934B (zh) * 2024-01-29 2024-04-23 西北工业大学 一种基于大模型的无人集群编队控制算法智能生成方法

Similar Documents

Publication Publication Date Title
Hentati et al. Simulation tools, environments and frameworks for UAV systems performance analysis
CN107293183B (zh) 用于目标的实时飞行模拟的装置和方法
Day et al. Multi-UAV software systems and simulation architecture
CN102789171A (zh) 一种可视化无人机飞行控制半实物仿真测试方法及系统
Marconato et al. Avens-a novel flying ad hoc network simulator with automatic code generation for unmanned aircraft system
CN114488848B (zh) 面向室内建筑空间的无人机自主飞行系统及仿真实验平台
CN114186348A (zh) 一种多飞行器协同运用仿真环境精细化敏捷构建方法
CN115755829A (zh) 用于验证智能控制系统安全性的方法及装置
CN108701164A (zh) 获得飞行模拟数据的方法、装置、存储介质及设备
Moréac et al. Hardware-in-the-loop simulation with dynamic partial FPGA reconfiguration applied to computer vision in ROS-based UAV
CN116522570A (zh) 一种智能无人集群系统区域覆盖中继通信应用仿真与试验系统
Kumar et al. Erle-copter Simulation using ROS and Gazebo
CN211577684U (zh) 一种无人机救援仿真平台
CN108959805B (zh) 一种自动驾驶的硬件在环仿真的云平台及方法
De Benedetti et al. 3D Simulation of Unmanned Aerial Vehicles.
CN114186347A (zh) 一种多飞行器协同运用仿真系统
KR20190040558A (ko) 인공지능 및 물리 시뮬레이션을 이용한 비행체 제어 방법
Koutsoubelias et al. A modular simulation environment for multiple UAVs with virtual WiFi and sensing capability
Pannocchi et al. Integrated framework for fast prototyping and testing of autonomous systems
Śmigielski et al. Visual simulator for MavLink-protocol-based UAV, applied for search and analyze task
Pant et al. MIXED-SENSE: A Mixed Reality Sensor Emulation Framework for Test and Evaluation of UAVs Against False Data Injection Attacks
Zeng et al. Design of UAV 3D visual simulation system based on X-plane
Bakker et al. RAMS: a fast, low-fidelity, multiple agent discrete-event simulator
Taganov et al. Simulation of the behavior of an unmanned aerial vehicle in virtual 3D scenes
Kolev et al. Augmented Reality in an Enhanced Command and Control Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination