CN103699106B - 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统 - Google Patents

基于VR-Forces仿真平台的多无人机协同任务规划仿真系统 Download PDF

Info

Publication number
CN103699106B
CN103699106B CN201310751055.1A CN201310751055A CN103699106B CN 103699106 B CN103699106 B CN 103699106B CN 201310751055 A CN201310751055 A CN 201310751055A CN 103699106 B CN103699106 B CN 103699106B
Authority
CN
China
Prior art keywords
unmanned plane
module
simulation
subsystem
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310751055.1A
Other languages
English (en)
Other versions
CN103699106A (zh
Inventor
杨善林
王国强
罗贺
胡笑旋
马华伟
靳鹏
夏维
叶青松
汪永康
秦英祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201310751055.1A priority Critical patent/CN103699106B/zh
Publication of CN103699106A publication Critical patent/CN103699106A/zh
Application granted granted Critical
Publication of CN103699106B publication Critical patent/CN103699106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,其特征是:多无人机协同任务规划仿真系统由n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统组成;无人机仿真子系统用于仿真多无人机的协同任务规划,并实时展示出各自无人机的状态信息;地面控制中心仿真系子统用于仿真对无人机的远程控制;任务规划仿真场景管理子系统用于创建、加载和展示任务规划仿真场景。本发明不仅能快速有效地仿真不同的多无人机协同任务规划场景,并保证各个无人机仿真实体状态信息和仿真时间的一致性,而且能以二维图像形式实时展示出任务规划仿真场景,从而提高多无人机协同任务规划系统的研发效率。

Description

基于VR-Forces仿真平台的多无人机协同任务规划仿真系统
技术领域
本发明涉及多无人机控制技术,特别涉及多无人机协同任务规划的仿真平台及仿真方法。
背景技术
多无人机协同任务规划技术是指从任务确定到任务完成的整个过程中,多个无人机之间通过网络通信进行信息交互和协同,根据环境态势的变化,实时地将任务分配给各个无人机,并为每个无人机设计出协同的飞行航路,从而使得整个多无人机的生存概率和整体任务效能达到最优或近似最优的一种协同控制决策技术。
多无人机协同任务规划涉及到自动化控制、空气动力学、网络通信、信息融合、协同任务分配、协同航迹规划等多个领域,除了需要考虑任务本身构成要素的要求外,还必须考虑多个无人机之间协调一致共同执行任务的约束关系,因此是一个约束条件众多而复杂的多目标优化与决策问题,往往需要通过大量的实验才可能获取到一个满意的解决方案,如果使用真实的无人机进行实验不仅成本高而且风险性大,因此需要先建立仿真平台来反复验证多无人机协同任务规划算法的有效性,最后才能进行真实无人机的协同任务规划实验。
传统的多无人机协同任务规划仿真技术主要分为单系统仿真、自主研发的分布式系统仿真和基于HLA(HighLevelArchitecture,高级体系结构)的分布式系统仿真三种,但各自都存在着不足之处:单系统仿真的与真实多无人机的分布式体系结构不符,不能有效地仿真无人机之间的分布式协同;自主研发的分布式系统仿真难以保证各个分散子系统之间的无人机仿真实体状态信息和仿真时间的一致性,同时需要自主实现无人机仿真实体之间的底层通信传输,难度较大,研发周期会比较长;HLA是分布式系统仿真的主流技术,现已成为IEEE仿真与建模的标准,基于HLA的分布式系统仿真不需要关心底层通信传输、仿真运行管理的细节,它们由底层的RTI(Run-TimeInfrastructure,运行支撑环境)自动完成,用户可将主要精力放在具体的仿真功能实现上,即联邦成员的研发上,虽然可以保证各个无人机仿真实体状态信息和仿真时间的一致性,但复杂任务场景下需要研发的联邦成员较多,研发周期会比较长。此外,传统的多无人机协同任务规划仿真技术还缺少对多无人机协同任务规划仿真场景的二维或三维图像的实时展示,仿真展示度不高。
发明内容
本发明为克服现有多无人机协同任务规划仿真技术存在的不足之处,提出了一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,不仅能快速有效地仿真不同的多无人机协同任务规划场景,并保证各个无人机仿真实体状态信息和仿真时间的一致性,而且能以二维图像形式实时展示出任务规划仿真场景,从而提高多无人机协同任务规划系统的研发效率、降低真实的多无人机协同任务规划系统的研发验证成本和风险。
本发明为达到上述目的所采用的技术方案是:
本发明一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统的特点是:所述多无人机协同任务规划仿真系统由n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统组成;所述n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统各自运行在同一个局域网中的不同计算机上;
所述任务规划仿真场景管理子系统通过添加和修改所述VR-Forces仿真平台的配置文件生成无人机仿真实体、地面控制中心仿真实体和目标仿真实体;
所述任务规划仿真场景管理子系统通过VR-Forces前端加载地形数据文件创建地形环境,并在所述地形环境中添加n个无人机仿真实体、一个地面控制中心仿真实体和m个目标仿真实体以生成任务规划仿真场景,同时保存为任务规划仿真场景文件;
所述任务规划仿真场景管理子系统通过VR-Forces前端加载所述任务规划仿真场景文件,从n个无人机仿真子系统获取n个无人机仿真实体的状态信息;并发送m个目标仿真实体的状态信息和地形环境信息给所述n个无人机仿真子系统和地面控制中心仿真子系统;同时实时展示出所述任务规划仿真场景;
所述无人机仿真子系统的组成包括:无人机仿真引擎模块、信息获取模块、信息融合模块、协同编队管理模块、协同任务分配模块、协同航迹规划模块、全局信息池模块和飞行控制模块;
所述无人机仿真引擎模块通过VR-Forces后端加载本地无人机仿真实体并从n-1个远程无人机仿真子系统获取n-1个远程无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息以及从地面控制中心仿真子系统接收VR-Forces远程控制命令;所述VR-Forces远程控制命令包括编队管理命令、任务分配命令和航迹规划命令;同时发送本地无人机仿真实体的状态信息给所述n-1个远程无人机仿真子系统、任务规划仿真场景管理子系统和地面控制中心仿真子系统;
所述信息获取模块通过所述无人机仿真引擎模块获取异构信息,并将所述异构信息存入所述全局信息池模块,所述异构信息包括n个无人机仿真实体的状态信息、m个目标仿真实体的状态信息和地形环境信息;所述信息获取模块同时通过所述无人机仿真引擎模块获取所述地面控制中心仿真子系统发送的VR-Forces远程控制命令,并将所述VR-Forces远程控制命令存入所述全局信息池模块中的命令列表中;
所述信息融合模块对所述异构信息进行信息融合获得全局态势信息后存入所述全局信息池模块;
所述协同编队管理模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述编队管理命令,若含有编队管理命令,则所述协同编队管理模块对所述编队管理命令进行解析获得无人机编队结构后存入所述全局信息池模块,否则,所述协同编队管理模块与所述n-1个远程无人机仿真子系统的协同编队管理模块进行协同编队管理获得无人机编队结构后存入所述全局信息池模块;
所述协同任务分配模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述任务分配命令,若含有任务分配命令,则所述协同任务分配模块对所述任务分配命令进行解析获得无人机任务列表后存入所述全局信息池模块,否则,所述协同任务分配模块与所述n-1个远程无人机仿真子系统的协同任务分配模块进行协同任务分配获得无人机任务列表后存入所述全局信息池模块;
所述协同航迹规划模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述航迹规划命令,若含有航迹规划命令,则所述协同航迹规划模块对所述航迹规划命令进行解析获得无人机航迹点列表后存入所述全局信息池模块,否则,所述协同航迹规划模块与所述n-1个远程无人机仿真子系统的协同航迹规划模块进行协同航迹规划获得无人机航迹点列表后存入所述全局信息池模块;
所述全局信息池模块用于存储所述异构信息、所述命令列表、所述全局态势信息、所述无人机编队结构、所述无人机任务列表和所述无人机航迹点列表;
所述飞行控制模块将所述全局信息池模块中的无人机编队结构、无人机任务列表和所述无人机航迹点列表分别转换成VR-Forces仿真平台中各自的无人机仿真实体飞行控制指令,并将所述各自的无人机仿真实体飞行控制指令发送给所述无人机仿真引擎模块;
所述无人机仿真引擎模块控制本地无人机仿真实体执行所述无人机仿真实体飞行控制指令并更新本地无人机仿真实体的状态信息。
本发明基于VR-Forces仿真平台的多无人机协同任务规划仿真系统的特点在于:
所述无人机仿真子系统的组成还包括无人机信息展示模块;所述无人机信息展示模块从所述全局信息池模块中n个无人机仿真实体的状态信息中获取自身无人机仿真实体的状态信息,并实时展示出自身无人机仿真实体的状态信息。
所述地面控制中心仿真子系统的组成包括地面控制中心仿真引擎模块、全局信息展示模块和人工控制模块;
所述地面控制中心仿真引擎模块通过VR-Forces后端加载地面控制中心仿真实体并从n个无人机仿真子系统获取n个无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息;同时发送所述VR-Forces远程控制命令给n个无人机仿真子系统;
所述全局信息展示模块从所述地面控制中心仿真引擎模块中获取n个无人机仿真实体的状态信息和m个目标仿真实体的状态信息并实时展示;
所述人工控制模块用于修改所述无人机编队结构、无人机任务列表和无人机航迹点列表并分别转换成VR-Forces远程控制指令中的编队管理命令、任务分配命令和航迹规划命令,同时通过所述地面控制中心仿真引擎模块发送给所述无人机仿真子系统。
与现有技术相比,本发明的有益效果体现在:
1、本发明利用VR-Forces仿真平台能够快速有效地仿真不同的多无人机协同任务规划场景,并保证各个无人机仿真实体状态信息和仿真时间的一致性,同时以二维图像形式实时地展示出多无人机协同任务规划仿真过程的任务规划仿真场景,提高了多无人机协同任务规划系统的研发效率。
2、本发明利用VR-Forces仿真平台的分布式仿真架构,基于VR-Forces后端研发了n个无人机仿真子系统,每个无人机仿真子系统各自运行在同一个局域网的不同计算机上,从而充分仿真了多无人机之间的分布式特征,克服了传统的多无人机协同任务规划仿真技术中的单系统仿真与真实的多无人机之间的分布式体系结构不符的不足。
3、本发明利用VR-Forces前端和VR-Forces后端自动完成各个子系统之间的底层网络通信,并自动维护各个子系统之间的无人机仿真实体的状态信息、目标仿真实体的状态信息和仿真时间的一致性,使得用户不需要关心底层通信传输、仿真运行管理的细节,从而提高了多无人机协同任务规划系统的研发效率。
4、本发明的任务规划仿真场景管理子系统利用VR-Forces仿真平台具有大量自带仿真实体模型并可快速添加新的仿真实体的特性,可以快速创建不同的多无人机协同任务规划仿真场景,克服了传统的多无人机协同任务规划仿真技术不能快速有效地仿真不同的多无人机协同任务规划场景的不足。
5、本发明的无人机仿真子系统和地面控制中心仿真子系统利用VR-Forces后端可以快速地查询到n个无人机和m个目标仿真实体的状态信息,使得用户不需要花费大量时间去实现无人机仿真实体的信息获取功能,从而提高了多无人机协同任务规划系统的研发效率。
6、本发明的无人机仿真子系统利用VR-Forces后端可以快速实现对自身无人机仿真实体的飞行控制,比如控制自身无人机仿真实体形成无人机编队结构、执行攻击或目标识别任务以及沿预定航迹点飞行等,从而避免用户花费大量时间去实现无人机仿真实体的飞行控制功能,进而提高了多无人机协同任务规划系统的研发效率。
7、本发明的地面控制中心仿真子系统利用VR-Forces后端可以快速实现对无人机仿真实体的远程飞行控制,比如远程控制无人机仿真实体形成无人机编队结构、执行攻击或目标识别任务以及沿预定航迹点飞行等,从而可以快速实现地面控制中心仿真子系统的远程控制功能,进而提高了多无人机协同任务规划系统的研发效率。
8、本发明的任务规划仿真场景管理子系统利用VR-Forces前端的二维视景仿真功能,能以二维图像的形式实时展示出多无人机协同任务规划仿真过程的任务规划仿真场景,仿真展示度高,克服了传统的多无人机协同任务规划仿真技术缺少对多无人机协同任务规划仿真场景的二维或三维图像的实时展示的不足。
9、本发明的无人机仿真子系统通过信息融合模块、协同编队管理模块、协同任务分配模块和协同航迹规划模块可以仿真不同类型的协同任务规划算法,从而可以验证和改进不同的协同任务规划算法,进而提高了多无人机协同任务规划系统的研发效率。
附图说明
图1是本发明总体结构框图。
具体实施方式
为了使得本发明的技术方案更加清楚、完整,下面结合附图及本发明仿真n架无人机协同搜索m个目标的多无人机协同任务规划场景的具体实施案例作进一步描述。
本实施例中,一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,是利用目前应用广泛的美国MAK公司的VR-Forces仿真平台研发而成。VR-Forces仿真平台是一种基于HLA的分布式仿真平台,它首先使用VR-Link工具包封装了底层的HLA,又使用仿真、图形用户界面、地形和远程控制四类应用程序接口封装了VR-Link工具包,从而简化了基于VR-Forces仿真平台的分布式仿真系统的研发;同时还自带了基于这四类应用程序接口研发的VR-Forces后端vrfSim和VR-Forces前端vrfGui以供用户直接使用或二次研发,从而进一步提高了基于VR-Forces仿真平台的分布式仿真系统的研发效率。其中,VR-Forces后端vrfSim又可以称为VR-Forces仿真引擎,它完成VR-Forces仿真的绝大部分功能,包括读取VR-Forces配置文件、载入仿真实体模型、加入HLA联邦、底层网络通信、仿真运行管理等;VR-Forces前端vrfGui即VR-Forces操控界面,它以图形用户界面的形式提供了灵活丰富的操控手段,既可以快速创建和加载仿真场景,又可以在仿真过程中以二维图像的形式实时展示出仿真场景。
参照图1,该多无人机协同任务规划仿真系统由n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统组成;每个子系统各自运行在同一个局域网的不同计算机上;n个无人机仿真子系统和一个地面控制中心仿真子系统分别使用不同的VR-Forces仿真地址进行区分。
任务规划仿真场景管理子系统用于创建无人机仿真实体、地面控制中心仿真实体和目标仿真实体,创建、加载和运行多无人机协同任务规划仿真场景文件,并在仿真过程以二维图像形式实时展示出多无人机协同任务规划仿真过程的任务规划仿真场景;n个无人机仿真子系统分别用于仿真自身无人机的网络通信、信息获取、信息融合、协同编队管理、协同任务分配、协同航迹规划和飞行控制功能,并实时展示出自身无人机仿真实体的状态信息;地面控制中心仿真子系统用于仿真地面控制中心对n个无人机的实时监测功能和远程控制功能以及对m个目标的实时监测功能,并实时展示出n个无人机仿真实体的状态信息和m个目标仿真实体的状态信息。
任务规划仿真场景管理子系统首先通过添加和修改VR-Forces仿真平台的配置文件来生成无人机仿真实体、地面控制中心仿真实体和目标仿真实体,以生成无人机仿真实体为例,其一般步骤如下:
(1)进入VR-Forces仿真平台的安装目录,接下来的操作步骤都在此安装目录中进行;
(2)修改data\parameters\vrfSim.opd文件,在“parameter-files”一节中添加无人机仿真实体的类型编号和相应的参数文件路径名:
(parameter-entry
(object-type1(122258811))
(filename“.\vrfSim\UAV_1_1_2_225_8_8_1_1.ope”)
)
其中,“1(122258811)”为无人机仿真实体的类型编号,“.\vrfSim\UAV_1_1_2_225_8_8_1_1.ope”为无人机仿真实体的参数文件路径名;
(3)在data\parameters\vrfSim目录中参照其它的ope文件添加无人机仿真实体参数文件UAV_1_1_2_225_8_8_1_1.ope,并将其中的相关参数修改为无人机的参数;
(4)修改config\symbolmap-images.mtl文件,在“fixedwing”一节中添加无人机仿真实体的显示图标文件路径名:
(symbol-map(list1-112225881-1)“bmp”“../data/symbols/images/CN_Pterosaur.png”)
其中,“../data/symbols/images/CN_Pterosaur.png”为无人机仿真实体的显示图标文件路径名;
(5)使用常用的制图工具如photoshop制作64像素*64像素的无人机仿真实体的显示图标文件CN_Pterosaur.png,并保存到data\symbols\images目录中;
(6)修改config\vrf.ent文件,在“FixedWing-Friendly”一节中添加无人机仿真实体在VR-Forces前端中的创建子菜单:
其中,“UAV”是无人机仿真实体在VR-Forces前端中的创建子菜单的名称;
(7)重启VR-Forces仿真平台,就可以在VR-Forces前端的”Create”→“Entity”→“FixedWing-Friendly”菜单中看到新增的”UAV”子菜单,在VR-Forces前端中使用此子菜单就可以在地形环境中的任意位置添加对应的无人机仿真实体。
任务规划仿真场景管理子系统然后通过VR-Forces前端加载GDB格式的地形数据文件创建地形环境,并在地形环境中添加n个无人机仿真实体、一个地面控制中心仿真实体和m个目标仿真实体以生成任务规划仿真场景,同时保存为任务规划仿真场景文件;其中,既可以使用地形建模软件如Creator制作生成的GDB格式的地形数据文件,也可以使用VR-Forces仿真平台中自带的GDB格式的地形数据文件。
任务规划仿真场景管理子系统最后通过VR-Forces前端加载任务规划仿真场景文件;当用户在地面控制中心仿真子系统中命令仿真开始后,任务规划仿真场景管理子系统利用VR-Forces前端与底层的局域网网络进行连接,不断地从n个无人机仿真子系统获取n个无人机仿真实体的状态信息;并发送m个目标仿真实体的状态信息和地形环境信息给所述n个无人机仿真子系统和地面控制中心仿真子系统;以确保自身任务规划仿真场景管理子系统与n个无人机仿真子系统和地面控制中心仿真子系统的状态信息的一致性;同时以二维图像形式实时展示出多无人机协同任务规划仿真过程的任务规划仿真场景,即地形环境的展示、n个无人机仿真实体和m个目标仿真实体的状态的展示。
n个无人机仿真子系统分别用于仿真自身无人机的网络通信、信息获取、信息融合、协同编队管理、协同任务分配、协同航迹规划和飞行控制功能,并实时展示出自身无人机的状态信息;无人机仿真子系统的组成包括:无人机仿真引擎模块、信息获取模块、信息融合模块、协同编队管理模块、协同任务分配模块、协同航迹规划模块、全局信息池模块、飞行控制模块和无人机信息展示模块。
无人机仿真引擎模块通过VR-Forces后端加载本地无人机仿真实体;当用户在地面控制中心仿真子系统中命令仿真开始后,无人机仿真引擎模块利用VR-Forces后端与底层的局域网网络进行连接,不断地从n-1个远程无人机仿真子系统获取n-1个远程无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息以及从地面控制中心仿真子系统接收VR-Forces远程控制命令;VR-Forces远程控制命令包括编队管理命令、任务分配命令和航迹规划命令,用于实现对本地无人机仿真实体的远程控制;同时发送本地无人机仿真实体的状态信息给n-1个远程无人机仿真子系统、任务规划仿真场景管理子系统和地面控制中心仿真子系统;从而确保自身无人机仿真子系统与其它无人机仿真子系统、地面控制中心仿真子系统和任务规划仿真场景管理子系统之间的状态信息的一致性。
信息获取模块通过无人机仿真引擎模块获取异构信息,并将异构信息存入全局信息池模块,异构信息包括n个无人机仿真实体的状态信息、m个目标仿真实体的状态信息和地形环境信息;信息获取模块同时通过无人机仿真引擎模块获取地面控制中心仿真子系统发送的VR-Forces远程控制命令,并将VR-Forces远程控制命令存入全局信息池模块中的命令列表中;
信息融合模块利用信息融合方法对异构信息进行信息融合获得全局态势信息后存入全局信息池模块;在现有技术中存在多种可实现的信息融合方法,本实施例中采用现有技术中的基于证据理论的信息融合方法来实现,基于证据理论的信息融合方法的步骤是:
(1)基于证据理论中的基本可信数的概念,分别建立“无人机的传感器与目标之间的水平距离”证据的基本可信数函数、“无人机的传感器与目标之间的方位夹角”证据的基本可信数函数和“无人机的传感器与目标之间的俯仰夹角”证据的基本可信数函数;
(2)计算出每个无人机的传感器与每个目标之间的水平距离的值,并将这些值传入“无人机的传感器与目标之间的水平距离”证据的基本可信数函数,计算出每个无人机针对每个目标的水平距离证据值;
(3)计算出每个无人机的传感器与每个目标之间的方位夹角的值,并将这些值传入“无人机的传感器与目标之间的方位夹角”证据的基本可信数函数,计算出每个无人机针对每个目标的方位夹角证据值;
(4)计算出每个无人机与每个目标之间的俯仰夹角的值,并将这些值传入“无人机的传感器与目标之间的俯仰夹角”证据的基本可信数函数,计算出每个无人机针对每个目标的俯仰夹角证据值;
(5)基于证据理论中的Dempster合成规则,对每个无人机针对每个目标的水平距离证据值、方位夹角证据值和俯仰夹角证据值进行合成,得到并输出全局态势信息,即每个无人机搜索每个目标时的收益值和代价值。
协同编队管理模块从全局信息池模块中获取命令列表并判断命令列表中是否含有地面控制中心仿真子系统发送的编队管理命令,若含有地面控制中心仿真子系统发送的编队管理命令,则协同编队管理模块对编队管理命令进行解析获得无人机编队结构后存入全局信息池模块,否则,协同编队管理模块基于协同编队管理方法与所述n-1个远程无人机仿真子系统的协同编队管理模块进行协同编队管理获得无人机编队结构后存入全局信息池模块;本地无人机仿真子系统的协同编队管理模块和其他远程无人机仿真子系统的协同编队管理模块的信息交互通过自身无人机仿真引擎模块来实现;
在现有技术中存在多种可实现的协同编队管理方法,本实施例中采用现有技术中的基于自适应遗传算法的协同编队管理方法来实现,基于自适应遗传算法的协同编队管理方法的步骤是:
(1)采用二进制数编码策略对无人机编队结构进行编码;
(2)利用此无人机编队结构下n个无人机针协同搜索m个目标的总收益值与总代价值的差,构造出无人机编队结构的适应度函数;
(3)随机生成初始的无人机编队结构种群;
(4)对无人机编队结构种群的每一个无人机编队结构个体进行解码,并计算出此无人机编队结构个体的适应度函数值,适应度函数值越高,代表此无人机编队结构个体越优秀;
(5)利用当前无人机编队结构个体的适应度函数的值,除以所有无人机编队结构个体的适应度函数的值之和,得到当前无人机编队结构个体的选择概率,并根据选择概率选择此无人机编队结构个体是否保留到下一代种群中;
(6)计算种群的多样性以优化遗传算法的交叉概率和变异概率:当种群的多样性下降时提高交叉概率和变异概率,当种群的多样性上升时降低交叉概率和变异概率;
(7)根据优化后的交叉概率和变异概率,对当前无人机编队结构种群进行交叉操作和变异操作,得到下一代无人机编队结构种群;
(6)判断是否满足遗传算法的收敛条件或达到预定的进化代数,如果满足则算法终止,否则转向步骤(4);
(7)找到并输出当前无人机编队结构种群中适应度函数值最高的无人机编队结构个体。
协同任务分配模块从全局信息池模块中获取命令列表并判断命令列表中是否含有地面控制中心仿真子系统发送的任务分配命令,若含有地面控制中心仿真子系统发送的任务分配命令,则协同任务分配模块对任务分配命令进行解析获得无人机任务列表后存入全局信息池模块,否则,协同任务分配模块基于协同任务分配方法与所述n-1个远程无人机仿真子系统的协同任务分配模块进行协同任务分配获得无人机任务列表后存入全局信息池模块;本地无人机仿真子系统的协同任务分配模块和其他远程无人机仿真子系统的协同任务分配模块的信息交互也是通过自身无人机仿真引擎模块来实现;
在现有技术中存在多种可实现的协同任务分配方法,本实施例中采用现有技术中的基于市场拍卖机制的协同任务分配方法来实现,基于市场拍卖机制的协同任务分配方法的步骤是:
(1)随机产生m个目标的招标顺序;
(2)随机产生n个无人机的投标顺序;
(3)按招标顺序选择一个未被分配的目标进行招标;
(4)按投标顺序,利用每个无人机搜索此目标时的收益值和代价值的差,计算出每个无人机的投标标值;
(5)将目标分配给投标标值最大的无人机;
(6)判断所有目标是否完成招标,如果完成招标则算法终止,否则转向步骤(3);
(7)根据目标的分配结果,输出无人机任务列表。
协同航迹规划模块从全局信息池模块中获取命令列表并判断命令列表中是否含有地面控制中心仿真子系统发送的航迹规划命令,若含有地面控制中心仿真子系统发送的航迹规划命令,则协同航迹规划模块对航迹规划命令进行解析获得无人机航迹点列表后存入全局信息池模块,否则,协同航迹规划模块基于协同航迹规划方法与所述n-1个远程无人机仿真子系统的协同航迹规划模块进行协同航迹规划获得无人机航迹点列表后存入全局信息池模块;本地无人机仿真子系统的协同航迹规划模块和其他远程无人机仿真子系统的协同航迹规划模块的信息交互也是通过自身无人机仿真引擎模块来实现;
在现有技术中存在多种可实现的协同航迹规划方法,本实施例中采用现有技术中的基于Voronoi图的协同航迹规划方法来实现,基于Voronoi图的协同航迹规划方法的步骤是:
(1)根据地形环境信息生成Voronoi图;
(2)通过Voronoi图进行代价搜索,得到代价最小的无人机初始航路;
(3)将无人机初始航路转换成无人机航迹点列表;
(4)对无人机航迹点列表进行平滑和优化,并保持无人机原规划航路长度;
(5)输出无人机航迹点列表。
全局信息池模块用于存储异构信息、命令列表、全局态势信息、无人机编队结构、无人机任务列表和无人机航迹点列表;
飞行控制模块将全局信息池模块中的无人机编队结构、无人机任务列表和无人机航迹点列表分别转换成VR-Forces仿真平台中各自的无人机仿真实体飞行控制指令,并将各自的无人机仿真实体飞行控制指令发送给无人机仿真引擎模块,无人机仿真引擎模块接收到无人机仿真实体飞行控制指令后,控制本地无人机仿真实体执行此无人机仿真实体飞行控制指令以形成无人机编队结构、执行攻击或目标识别任务以及沿预定航迹点飞行等并更新本地无人机仿真实体的状态信息。
无人机信息展示模块从全局信息池模块中n个无人机仿真实体的状态信息中获取自身无人机仿真实体的状态信息,并使用模拟无人机机舱仪表盘的图形界面实时展示出自身无人机仿真实体的坐标、速度、加速度、燃料、偏航角、俯仰角、翻转角、雷达扫描图等状态信息。
地面控制中心仿真子系统用于仿真地面控制中心对n个无人机的实时监测功能、对m个目标的实时监测功能和对n个无人机的远程控制功能,并实时展示出n个无人机仿真实体的状态信息和m个目标仿真实体的状态信息;地面控制中心仿真子系统的组成包括地面控制中心仿真引擎模块、全局信息展示模块和人工控制模块。
地面控制中心仿真引擎模块通过VR-Forces后端加载地面控制中心仿真实体;当用户在地面控制中心仿真子系统中命令仿真开始后,地面控制中心仿真引擎模块利用VR-Forces后端与底层的局域网网络进行连接,不断地从n个无人机仿真子系统获取n个无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息;同时发送所述VR-Forces远程控制命令给n个无人机仿真子系统;
全局信息展示模块从地面控制中心仿真引擎模块中获取n个无人机仿真实体的状态信息和m个目标仿真实体的状态信息并以图形化的界面实时展示;
人工控制模块提供图形化的操控界面用于修改无人机编队结构、无人机任务列表和无人机航迹点列表后分别转换成VR-Forces远程控制指令中的编队管理命令、任务分配命令和航迹规划命令,并通过地面控制中心仿真引擎模块发送给无人机仿真子系统;编队管理命令、任务分配命令和航迹规划命令包含VR-Forces仿真地址格式的目标地址,以确保此命令发送给指定的无人机仿真子系统。
此外,人工控制模块还提供图形化的操控界面用于控制仿真过程的开始、暂停、继续和结束,并分别转换成VR-Forces仿真开始命令、VR-Forces仿真暂停命令、VR-Forces仿真继续命令和VR-Forces仿真结束命令,同时通过地面控制中心仿真引擎模块发送给n个无人机仿真子系统和任务规划仿真场景管理子系统。
以仿真3个无人机协同搜索4个目标的多无人机协同任务规划场景为例,本发明的具体操作步骤如下:
(1)分别运行3个无人机仿真子系统、1个地面控制中心仿真子系统和1个任务规划仿真场景管理子系统,每个系统分别运行在同一个局域网的不同计算机上,3个无人机仿真子系统和1个地面控制中心仿真子系统分别具有不同的“site:application”格式的VR-Forces仿真地址,即“1:3001”、“1:3002”、“1:3003”和“1:3025”。
(2)在任务规划仿真场景管理子系统中通过添加和修改VR-Forces仿真平台的配置文件生成无人机仿真实体、地面控制中心仿真实体和目标仿真实体,然后重新启动任务规划仿真场景管理子系统。
(3)在任务规划仿真场景管理子系统中通过VR-Forces前端加载VR-Forces仿真平台中自带的GDB格式的地形数据文件“berkeley.gdb”以创建地形环境,并在地形环境中添加3个无人机仿真实体“UAV1”、“UAV2”和“UAV3”、一个地面控制中心仿真实体“GCC1”、和4个目标仿真实体“Object1”、“Object2”、“Object3”和“Object4”以生成任务规划仿真场景,同时保存为任务规划仿真场景文件“1.scn”。
(4)在任务规划仿真场景管理子系统中通过VR-Forces前端加载任务规划仿真场景文件“1.scn”。
(5)在地面控制中心仿真子系统中命令仿真开始,然后地面控制中心仿真子系统通过地面控制中心仿真引擎模块将对应的VR-Forces仿真开始命令发送给3个无人机仿真子系统和任务规划仿真场景管理子系统。
(6)3个无人机仿真子系统接收到地面控制中心仿真子系统发送的VR-Forces仿真开始命令后,各自控制自身的无人机仿真实体朝搜索区域飞行;
(7)任务规划仿真场景管理子系统接收到地面控制中心仿真子系统发送的VR-Forces仿真开始命令后,持续地从n个无人机仿真子系统获取n个无人机仿真实体的状态信息,并以二维图像形式实时展示出地形环境、3个无人机仿真实体和4个目标仿真实体的状态。
(8)在地面控制中心仿真子系统中修改3个无人机仿真实体组成的无人机编队结构为长僚编队,即“UAV1”为长机,“UAV2”和“UAV3”为僚机,然后地面控制中心仿真子系统通过地面控制中心仿真引擎模块将对应的编队管理命令发送给3个无人机仿真子系统。
(9)3个无人机仿真子系统接收到地面控制中心仿真子系统发送的编队管理命令后,各自控制自身的无人机仿真实体形成长僚编队队形,即长机在后、僚机在前,并保持长僚编队队形不变朝搜索区域飞行。
(10)进入搜索区域后,3个无人机仿真子系统利用基于证据理论的信息融合方法对异构信息进行信息融合获得全局态势信息,如果发现当前的编队队形无法快速完成搜索任务时,3个无人机仿真子系统利用基于自适应遗传算法的协同编队管理方法计算出新的无人机编队结构,然后通过调整无人机编队结构比如调整为并行编队结构来扩大无人机编队的搜索范围。
(11)然后,3个无人机仿真子系统利用基于市场拍卖机制的协同任务分配方法将4个目标的搜索任务分配给3架无人机,比如将目标1和4分配给无人机3,将目标2分配给无人机2,将目标3分配给无人机1。
(12)当3个无人机搜索到各自的目标后,对应的无人机仿真子系统分别向地面控制中心仿真子系统发送任务完成的无人机仿真实体状态信息,地面控制中心仿真子系统接收到3个无人机仿真子系统发送来的任务完成的无人机仿真实体状态消息后,命令仿真结束,然后对任务执行效能进行评估,并实时展示出评估结果。
(13)3个无人机仿真子系统和任务规划仿真场景管理子系统接收到地面控制中心仿真子系统发送的VR-Forces仿真结束命令后,各自结束仿真。

Claims (3)

1.一种基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,所述多无人机协同任务规划仿真系统由n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统组成;所述n个无人机仿真子系统、一个地面控制中心仿真子系统和一个任务规划仿真场景管理子系统各自运行在同一个局域网中的不同计算机上;其特征是:
所述任务规划仿真场景管理子系统通过添加和修改所述VR-Forces仿真平台的配置文件生成无人机仿真实体、地面控制中心仿真实体和目标仿真实体;
所述任务规划仿真场景管理子系统通过VR-Forces前端加载地形数据文件创建地形环境,并在所述地形环境中添加n个无人机仿真实体、一个地面控制中心仿真实体和m个目标仿真实体以生成任务规划仿真场景,同时保存为任务规划仿真场景文件;
所述任务规划仿真场景管理子系统通过VR-Forces前端加载所述任务规划仿真场景文件,从n个无人机仿真子系统获取n个无人机仿真实体的状态信息;并发送m个目标仿真实体的状态信息和地形环境信息给所述n个无人机仿真子系统和地面控制中心仿真子系统;同时实时展示出所述任务规划仿真场景;
所述无人机仿真子系统的组成包括:无人机仿真引擎模块、信息获取模块、信息融合模块、协同编队管理模块、协同任务分配模块、协同航迹规划模块、全局信息池模块和飞行控制模块;
所述无人机仿真引擎模块通过VR-Forces后端加载本地无人机仿真实体并从n-1个远程无人机仿真子系统获取n-1个远程无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息以及从地面控制中心仿真子系统接收VR-Forces远程控制命令;所述VR-Forces远程控制命令包括编队管理命令、任务分配命令和航迹规划命令;同时发送本地无人机仿真实体的状态信息给所述n-1个远程无人机仿真子系统、任务规划仿真场景管理子系统和地面控制中心仿真子系统;
所述信息获取模块通过所述无人机仿真引擎模块获取异构信息,并将所述异构信息存入所述全局信息池模块,所述异构信息包括n个无人机仿真实体的状态信息、m个目标仿真实体的状态信息和地形环境信息;所述信息获取模块同时通过所述无人机仿真引擎模块获取所述地面控制中心仿真子系统发送的VR-Forces远程控制命令,并将所述VR-Forces远程控制命令存入所述全局信息池模块中的命令列表中;
所述信息融合模块对所述异构信息进行信息融合获得全局态势信息后存入所述全局信息池模块;
所述协同编队管理模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述编队管理命令,若含有编队管理命令,则所述协同编队管理模块对所述编队管理命令进行解析获得无人机编队结构后存入所述全局信息池模块,否则,所述协同编队管理模块与所述n-1个远程无人机仿真子系统的协同编队管理模块进行协同编队管理获得无人机编队结构后存入所述全局信息池模块;
所述协同任务分配模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述任务分配命令,若含有任务分配命令,则所述协同任务分配模块对所述任务分配命令进行解析获得无人机任务列表后存入所述全局信息池模块,否则,所述协同任务分配模块与所述n-1个远程无人机仿真子系统的协同任务分配模块进行协同任务分配获得无人机任务列表后存入所述全局信息池模块;
所述协同航迹规划模块从所述全局信息池模块中获取所述命令列表并判断所述命令列表中是否含有所述航迹规划命令,若含有航迹规划命令,则所述协同航迹规划模块对所述航迹规划命令进行解析获得无人机航迹点列表后存入所述全局信息池模块,否则,所述协同航迹规划模块与所述n-1个远程无人机仿真子系统的协同航迹规划模块进行协同航迹规划获得无人机航迹点列表后存入所述全局信息池模块;
所述全局信息池模块用于存储所述异构信息、所述命令列表、所述全局态势信息、所述无人机编队结构、所述无人机任务列表和所述无人机航迹点列表;
所述飞行控制模块将所述全局信息池模块中的无人机编队结构、无人机任务列表和所述无人机航迹点列表分别转换成VR-Forces仿真平台中各自的无人机仿真实体飞行控制指令,并将所述各自的无人机仿真实体飞行控制指令发送给所述无人机仿真引擎模块;
所述无人机仿真引擎模块控制本地无人机仿真实体执行所述无人机仿真实体飞行控制指令并更新本地无人机仿真实体的状态信息。
2.根据权利要求1所述的基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,其特征在于:所述无人机仿真子系统的组成还包括无人机信息展示模块;所述无人机信息展示模块从所述全局信息池模块中n个无人机仿真实体的状态信息中获取自身无人机仿真实体的状态信息,并实时展示出自身无人机仿真实体的状态信息。
3.根据权利要求1所述的基于VR-Forces仿真平台的多无人机协同任务规划仿真系统,其特征在于:所述地面控制中心仿真子系统的组成包括地面控制中心仿真引擎模块、全局信息展示模块和人工控制模块;
所述地面控制中心仿真引擎模块通过VR-Forces后端加载地面控制中心仿真实体并从n个无人机仿真子系统获取n个无人机仿真实体的状态信息、从任务规划仿真场景管理子系统获取地形环境信息和m个目标仿真实体的状态信息;同时发送所述VR-Forces远程控制命令给n个无人机仿真子系统;
所述全局信息展示模块从所述地面控制中心仿真引擎模块中获取n个无人机仿真实体的状态信息和m个目标仿真实体的状态信息并实时展示;
所述人工控制模块用于修改所述无人机编队结构、无人机任务列表和无人机航迹点列表并分别转换成VR-Forces远程控制指令中的编队管理命令、任务分配命令和航迹规划命令,同时通过所述地面控制中心仿真引擎模块发送给所述无人机仿真子系统。
CN201310751055.1A 2013-12-30 2013-12-30 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统 Active CN103699106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310751055.1A CN103699106B (zh) 2013-12-30 2013-12-30 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310751055.1A CN103699106B (zh) 2013-12-30 2013-12-30 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统

Publications (2)

Publication Number Publication Date
CN103699106A CN103699106A (zh) 2014-04-02
CN103699106B true CN103699106B (zh) 2016-03-30

Family

ID=50360670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310751055.1A Active CN103699106B (zh) 2013-12-30 2013-12-30 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统

Country Status (1)

Country Link
CN (1) CN103699106B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995537B (zh) * 2014-05-09 2017-04-05 上海大学 飞行器室内外混合自主巡航系统与方法
KR101666132B1 (ko) * 2014-12-26 2016-10-18 서울대학교산학협력단 무인기의 시장기반 분산형 임무 할당 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체
CN105468018B (zh) * 2015-11-26 2018-05-25 北京航天科颐技术有限公司 一种无人机目标特性模拟系统
CN106937456B (zh) * 2015-12-30 2020-07-31 海洋王照明科技股份有限公司 救援照明系统
CN108089456B (zh) * 2016-11-22 2021-01-08 江西洪都航空工业集团有限责任公司 一种基于攻防对抗的飞行器信息化体系数学仿真系统
CN107238388B (zh) * 2017-05-27 2018-02-23 合肥工业大学 多无人机任务分配与航迹规划联合优化方法及装置
CN106980324B (zh) * 2017-06-05 2020-07-07 合肥工业大学 无人机编队动态自适应信息分发处理方法
CN107168365B (zh) * 2017-06-05 2020-07-07 合肥工业大学 无人-有人机编队信息动态分发处理方法
CN107085385B (zh) * 2017-06-20 2020-05-08 中仿智能科技(上海)股份有限公司 一种模拟多飞行器自主飞行的仿真系统及方法
CN107643695B (zh) * 2017-09-07 2020-11-20 天津大学 基于脑电的有人/无人机集群编队vr仿真方法及系统
CN107991905A (zh) * 2017-12-25 2018-05-04 南京邮电大学 一种基于Web的多无人机任务规划的仿真系统
CN108832997B (zh) * 2018-08-07 2024-01-12 华诺星空技术股份有限公司 一种无人机群搜索救援方法及系统
CN109444897B (zh) * 2018-09-13 2021-04-13 中国船舶重工集团公司第七一五研究所 一种基于多特征的多阵航迹关联方法
CN109460060A (zh) * 2018-12-05 2019-03-12 四川航天系统工程研究所 无人装备智能协同控制组件及控制方法
CN109669477A (zh) * 2019-01-29 2019-04-23 华南理工大学 一种面向无人机集群的协同控制系统及控制方法
CN112149467A (zh) * 2019-06-28 2020-12-29 北京京东尚科信息技术有限公司 飞机集群执行任务的方法和长机
CN110442039A (zh) * 2019-07-26 2019-11-12 南京航空航天大学 一种基于hla的无人机协同目标跟踪分布式仿真方法
CN110852486B (zh) * 2019-10-16 2022-04-15 中国人民解放军国防科技大学 一种无人机集群自主协同的任务规划方法
CN110737283B (zh) * 2019-11-04 2022-09-27 中国人民解放军军事科学院国防科技创新研究院 一种面向视觉集群的编队解耦控制方法
CN113022884A (zh) * 2019-12-25 2021-06-25 海鹰航空通用装备有限责任公司 无人机载荷试验仿真方法及系统
CN111399533B (zh) * 2020-02-10 2022-07-26 合肥工业大学 异构多无人机协同任务分配与路径优化方法
CN112034737A (zh) * 2020-09-07 2020-12-04 中国航空工业集团公司成都飞机设计研究所 一种无人机多机模拟训练的仿真控制系统及控制方法
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备
CN114019828A (zh) * 2021-11-29 2022-02-08 中国人民解放军国防科技大学 一种无人机集群多模态虚实交互仿真系统及方法
CN114201925B (zh) * 2022-02-17 2022-06-17 佛山科学技术学院 无人机集群协同任务规划方法、电子设备及可读存储介质
CN117234107A (zh) * 2023-11-16 2023-12-15 南京理工大学 一种基于虚幻引擎的多无人机自组网仿真系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009051644A1 (de) * 2009-11-02 2011-05-05 Eurosimtec Gmbh Ausbildungssimulationssystem für ein Drohnensystem
CN102508439B (zh) * 2011-11-18 2013-07-24 天津大学 基于hla的多无人机分布式仿真方法
CN102592025B (zh) * 2012-01-12 2013-12-11 中国人民解放军国防科学技术大学 一种无人潜航器任务规划系统的虚拟试验平台及试验方法
CN102591358B (zh) * 2012-03-12 2015-07-08 北京航空航天大学 一种多无人机的动态编队控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Agent Infrastructure over HLA for Distributed Simulation of Reconfigurable Systems and its Application to UAV coordination;Franco Cicirelli etc.;《SIMULATION》;20090131;第85卷(第1期);第17-32页 *
An Operation-time Simulation Framework for UAV Swarm Configuration and Mission Planning;Yi Wei etc.;《Procedia Computer Science》;20130601;第18卷;第1949-1958页 *
CoUAV:a multi-UAV cooperative search path planning simulation environment;Jens Happe etc.;《Proceeding of the 2010 Summer Computer Simulation Conference》;20100731;第10卷;第86-93页 *
Swarming Unmanned Aircraft Systems;MAJ Edward Teague;《DTIC Document》;20081031;第1-28页 *

Also Published As

Publication number Publication date
CN103699106A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN103699106B (zh) 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统
CN109669477A (zh) 一种面向无人机集群的协同控制系统及控制方法
CN112001585B (zh) 多智能体决策方法、装置、电子设备及存储介质
CN108845802A (zh) 无人机集群编队交互式仿真验证系统及实现方法
CN107507488A (zh) 一种轨道交通虚拟电子沙盘仿真训练系统及方法
CN107643695A (zh) 基于脑电的有人/无人机集群编队vr仿真方法及系统
CN104007971B (zh) 非代码化快速构建大规模虚拟战场仿真平台
CN102426424B (zh) 基于分布式架构的临近空间飞行器视景仿真方法
CN104657563A (zh) 一种光伏电站的智能化设计平台及其智能化设计方法
CN111813144B (zh) 一种基于改进羊群算法的多无人机协同航路规划方法
CN104881518A (zh) 一种飞行器的三维视景仿真系统
Wei et al. Editable Scene Simulation for Autonomous Driving via Collaborative LLM-Agents
CN114019828A (zh) 一种无人机集群多模态虚实交互仿真系统及方法
Fu et al. [Retracted] UAV Mission Path Planning Based on Reinforcement Learning in Dynamic Environment
CN112037330A (zh) 基于AirSim的无人机运行场景仿真方法
Zhang et al. A novel multi-objective evolutionary algorithm with a two-fold constraint-handling mechanism for multiple UAV path planning
CN115221799B (zh) 一种基于多分支的无人集群超实时推演系统及方法
Bai et al. Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform
CN114882759B (zh) 虚实混合一体化仿真的智能船多通道交互模拟系统和方法
CN113885353B (zh) 一种分布式智能无人机集群对抗的硬件在回路仿真系统
CN114047783A (zh) 无人机系统及无人机仿真系统
CN114662213A (zh) 一种基于模型的可视化导弹突防概率验证方法及装置
CN114326821A (zh) 基于深度强化学习的无人机自主避障系统及方法
CN112634446A (zh) 一种基于时空一致性的多引擎三维场景数据转换方法
Trefilov et al. Developing a flight mission simulator in the context of UAVs group control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant