CN113722912B - 一种虚实融合的无人集群协同验证系统 - Google Patents

Abstract

本发明属于无人集群协同演示验证技术领域，为有效解决面向复杂任务的无人集群协同算法半实物演示验证问题，本发明提供了一种虚实融合的无人集群协同验证系统，该验证系统同时包含计算机端的半集中‑半分布式的数字仿真节点以及基于嵌入式板载系统的分布式半实物节点两种模态，且不同模态的无人集群节点间能实现数据交互、任务协同。整体系统架构中将核心算法逻辑分解为集中式算子和分布式算子两部分，进一步对二者的任务逻辑、部署方式进行划分。该系统既能为无人集群协同算法提供验证平台，又能为任务要素及场景设计提供同半实物验证途径。

Description

一种虚实融合的无人集群协同验证系统

技术领域

本发明一种虚实融合的无人集群协同验证系统属于无人集群协同演示验证技术领域，特别涉及了一种融合虚拟无人集群仿真环境及嵌入式半实物仿真节点的无人集群协同验证系统。

背景技术

群体智能具有分布性、简单性、灵活性和健壮性等优势，为很多极具挑战的复杂性问题提供了崭新的解决方案，是我国《新一代人工智能发展规划》确立重点发展的五大智能形态之一。而随着微纳电子、计算平台、自主控制等新兴技术的迅猛发展，由无人机组成的集群系统在关乎国计民生以及国家和国防安全的重大场景中获得了越来越多的应用。无人机集群系统能以网络化、分布化、协同化方式快速形成区域覆盖，实现集群资源优化调度，提高任务完成率和响应速度。尽管群体智能系统在无人作业、军事应用、应急救援等任务中具有重大应用前景，但当前对于无人自主集群系统群智激发和汇聚机理、群智协同决策与控制技术的研究尚处于起步阶段，特别是在面向实际应用场景时，当前存在群智协同机理不明、群体行为知识缺乏、群智系统验证困难等诸多问题和挑战，难以直接在实际应用中发挥作用。

面向各类场景的无人集群算法、功能、协同效果验证问题，已成为阻碍无人集群技术从理论研究向工程应用过度的主要瓶颈之一。首先，无人集群算法方面发展迅速，但大多在理论及仿真层面，距离实际应用存在较大差距；其次，无人集群协同算法往往复杂度较高，难以直接在实物系统中验证，存在系统稳定性、无人平台控制、导航定位、有限的计算资源等众多与算法本身无关的条件做支撑；最后，从算法层面到工程应用通常经由算法设计、算法仿真、半实物仿真、实物系统设计、实物系统试验等一系列流程，仿真及半实物仿真必不可少。当前针对无人集群验证的数字环境多为纯仿真环境，而作为重要过渡的有效半实物仿真环境鲜有涉及。因此，如何构建既能为无人集群协同算法提供验证平台、又能为实际应用提供要素及场景设计的无人集群协同半实物验证系统，对无人集群在众多特殊场景下的应用效果验证具有重要理论及现实意义。

发明内容

为有效解决面向复杂任务的无人集群协同算法半实物演示验证问题，本发明提供了一种虚实融合的无人集群协同验证系统，该验证系统同时包含计算机端的半集中-半分布式的数字仿真节点以及基于嵌入式板载系统的分布式半实物节点两种模态，且不同模态的无人集群节点间能实现数据交互、任务协同，其核心是支持节点可扩展的系统架构、分布式数据交互机制以及模块化的主体功能实现。

本发明采用的技术方案为：

一种虚实融合的无人集群协同验证系统，包括可视化人机交互模块、典型任务模块、计算机端算法模块、多个同构嵌入式端算法模块和模型知识库；

可视化人机交互模块，用于为典型任务模块提供任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态的初始设置及管理，同时接收计算机端算法模块及嵌入式端算法模块发送的无人机编号、无人机实时任务状态及位置参数，对任务执行结果进行分析评估，并对所有参数进行实时监控显示；

典型任务模块，用于将接收的任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态信息按规定数据协议进行编码，并发送至计算机端算法模块及嵌入式端算法模块；

计算机端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至嵌入式端算法模块；

嵌入式端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至计算机端算法模块；

模型知识库，用于接收计算机端算法模块及嵌入式端算法模块发送的数据接口参数及服务接口参数，封装成各类模型，并为计算机端算法模块及嵌入式端算法模块分别提供调用各类模型的接口。

其中，模型知识库封装的各类模型包括无人机模型、目标模型、通信模型、传感器模型、任务模型和地图模型；封装过程为：将无人集群典型要素通过数学表达式进行相应描述，形成各类要素的数学模型，将各类要素的数学模型采用指定语言的程序代码实现并封装，并根据需要定义其数据接口和服务接口；其中数据接口用以定义输入和输出数据的描述，服务接口用以对模块属性和参数进行配置。

本发明与现有无人集群验证系统相比具有如下优点：

1)较传统单一数字仿真系统增加了分布式半实物节点，并通过半集中-半分布式设计优化了数字仿真节点；

2)融入开放式、层次化的系统架构设计思想，以及对系统所需模型、算法的模块化集成，具有任务可扩展、节点可裁剪、功能即插即用等特点。

附图说明

图1为本发明实施例系统设计原理图。

图2为本发明实施例模块化封装示意图。

图3为本发明实施例系统组成示意图。

图4为本发明的信息交互图。

具体实施方式

下面结合技术方案和附图详细说明本发明的具体实施步骤，整个技术方案设计原理如图1所示。

1、将待构建的无人集群协同验证系统分为虚拟部分及半实物部分，虚拟部分需部署于一台通用计算机，半实物部分需部署于机载嵌入式板载系统。

其中，通用计算机采用便携式工作站搭配Ubuntu 16.04操作系统，作为虚拟部分的运行环境；嵌入式板载系统采用Nvidia Jetson TX2搭配同样的Ubuntu16.04操作系统，作为半实物部分的运行环境。

2、构建由一台计算机及M个机载嵌入式板载系统为核心的基础硬件环境，两者的数据交互方式可由无线或有线网络实现。

在描述的本例实施方式中，构建由一台步骤1确定的1台便携工作站及3台(可根据实际情况进行数量调整)机载嵌入式板载系统为核心的基础硬件环境，两种类型的4台设备均连接到统一的WIFI无线网络下，为设备间的数据交互提供传输途径。

3、将无人集群协同算法验证中所需的各类共性数学模型进行模块化封装，形成可供计算机端及机载嵌入式板载系统端可共用的模型知识库；

3.1假设无人集群待执行的任务包括协同探测、协同干扰、协同保障三类任务，针对无人集群任务执行过程中的典型流程节点划分若干功能子模块，各子模块可进一步根据需要拆分为更细粒度的模型要素，如无人机模型、目标模型、环境模型、地图模型、探测模型、干扰模型、保障模型、通信模型等。

3.2将无人集群典型要素通过数学表达式进行相应描述，形成各类要素的数学模型，如地图模型可采用蜂窝六边形栅格化地图方式实现地图离散化表达，针对协同探测、协同干扰、协同保障三类既定任务，可构建以下要素模型：

3.2.1无人机模型：采用简单的一阶非完整约束运动学模型，也可建立二阶、高阶运动学模型及无人机动力学模型。

3.2.2目标模型：采用简单的一阶全向非完整约束运动学模型，也可建立二阶、高阶运动学模型及动力学模型。

3.2.3环境模型：环境模型考虑环境中除无人机、目标以外的其他环境要素，如障碍物、敌方威胁等，并保留其他环境模型接口。

3.2.4地图模型：采用六边形栅格化地图方式实现地图离散化表达，同时结合不同目标类型设置每一个栅格的地图属性，便于无人机实现主动感知。

3.2.5探测模型：探测模型模拟无人机搭载的探测载荷，配合地图模型实现无人机对环境的探测感知，参数包括探测范围、探测波段等。

3.2.6干扰模型：干扰模型模拟干扰无人机搭载的干扰载荷，实现干扰任务，模型参数包括干扰半径、波段、功率等。

3.2.7保障模型：保障模型模拟保障无人机搭载的保障载荷，实现保障任务，模型参数包括保障半径、保障能力等。

3.2.8通信模型：无人集群间的通信模型包括最大支持跳数、最大通信节点数、通信时延、通信带宽等。

3.3针对各典型要素数学模型，采用指定语言的程序代码实现并封装，并根据需要定义其数据接口和服务接口。其中，数据接口用以定义其输入、输出数据的描述，服务接口用以对模块属性、参数进行配置。具体封装步骤如下：

3.3.1定义各典型要素数学模型的数据接口和服务接口，其中数据接口用以定义其输入、输出数据的描述，服务接口用以对模块属性、参数进行配置，数据和服务接口屏蔽了模块内的功能体实现，从而使得系统具有较强的可扩展性和开放性，如图2所示。

3.3.2采用模型接入脚本、独立的模型求解模块等方式实现各种模型的嵌入，其中计算机端和嵌入式端模型在逻辑上采用统一形式，并根据各自系统需求进行针对性设计和编码，实现模型封装。

3.3.3封装后的各典型要素数学模型之间数据通信采用对象请求代理等黑板通信模型，模块间不进行直接通信，而是基于统一的消息代理进行消息管理，进一步实现模块间的松散耦合和异步通信。

4、设计在计算机端运行的数字仿真系统，数字仿真系统由可视化人机交互模块、典型任务模块、模型知识库、集中式算子、多个分布式虚拟个体组成，各模块通过多线程的方式实现并行计算；

4.1可视化人机交互模块主要根据需求实现无人集群信息管理及设置、任务信息管理及设置、任务的开始及停止指令、目标管理及参数设置、整体态势综合显示、任务效能分析评估等定制化人机交互功能。各功能描述如下：

4.1.1集群管理：可设置集群无人机数量、个体特征参数(最大速度、最小步长等)，并对集群进行任务相关的人工干预。

4.1.2任务管理：用于对协同探测、协同保障、协同干扰等不同任务进行初始化设置，包括协同探测模型参数、协同保障模型参数、协同干扰模型参数、集群通信模型参数，此外还包括对任务的开始、停止指令以及部分人工干预指令的响应等。

4.1.3目标管理：用于随机生成任务目标，并对目标模型参数进行设置，由于目标数量较大，可设置若干宏观的目标行为模式(如静止、一致移动、随机移动)进行验证测试。

4.1.4状态显示：完整显示任务执行状态，包括以地图形式呈现无人机、目标整体态势，以列表信息形式对单个无人机/目标的基本状态信息息等进行显示。

4.1.5分析评估：以文字、图表等形式对个体/群体关键信息进行可视化辅助分析，对任务总体执行情况等进行统计分析和评估。

4.2典型任务场景是针对项目需求的任务类型、协同模式、集群形态等演示验证场景，通过设定任务区域及任务类型实现针对各类任务的有效验证，实现对所设计算法的任务适应性检测。针对步骤3设定的三类任务协同探测、协同干扰以及协同保障，构建典型任务场景如下：

4.2.1协同探测：根据已经设置的保障无人机数量，干扰无人机数量，合作目标点数量等参数显示各集群，利用不同颜色半径区域展示无人机探测范围，利用不同颜色线条表示各无人机间连接状态，使用不同颜色的点表示探测到的不同类型目标，如待干扰目标、待保障目标。

4.2.2协同保障/干扰：协同探测完成后，整个无人集群根据探测结果及整体态势分布，完成无人集群任务实时调整及通连关系调整，对待干扰目标执行干扰操作，对待保障目标执行保障操作。当待干扰/保障目标移动或发生变化时，无人集群实时进行任务调整及通连关系调整，直至任务结束返航。

4.3集中式算子主要实现整个无人集群功能中全局共性的算法，如全局地图表示、全局态势生成、全局路径预规划、任务效能评估等，以全局地图信息、无人集群位置、任务类型、任务区域等作为形参输入，通过函数接口的调用，输出所需的全局性决策信息。针对步骤3设定的三类任务，可部署集中式算子如下(亦可根据实际需求进行定制化设计)：

4.3.1全局地图表示：采用蜂窝覆盖的离散地图方式，各蜂窝存储不同目标等信息，并能够与数据库进行数据交互。

4.3.2全局态势生成：通过蜂窝地图展现任务区域以及保障无人机、干扰无人机、待干扰目标、待保障目标等，利用不同区域半径圆表示探测/干扰范围。

4.3.3全局协同探测：基于全局信息的协同目标搜索和区域覆盖方法，形成协同探测模块。将全局信息、无人机个数、搜索区域等作为形参输入，通过函数接口的调用，获取探测到的目标信息，作为其他模块的数据来源。

4.3.4路径预规划：基于地图信息，结合目标位置和无人机当前位置，采用全局规划方法，并将其封装成路径预规划模块，通过函数接口的调用，获取无人机预规划路径数据，并输出到无人机模型驱动其运动。

4.3.5任务评估：对各无人机的任务执行情况进行综合评价，包括探测面积、保障范围、干扰目标数量等，建立任务评估模型，并将其封装成任务评估模块，针对既定任务进行评估和分析。

4.4分布式虚拟个体由分布式算子实现，主要实现局部感知表达以及基于局部感知信息的个体行动决策，基于局部信息的自主感知模型，获取无人机周围对象的信息数据，包括位置、速度、类型，以及其他属性等，根据获取的环境数据，调用行为决策模型，实现虚拟个体的动作输出。针对步骤3设定的三类任务，可部署集分布式算子如下(亦可根据实际需求进行定制化设计)：

4.4.1局部感知表达：基于局部信息的自主感知方法，获取无人机周围对象的信息数据，包括位置、速度、类型，以及其他属性等，建立感知信息表达模型，封装成模块化感知表达模块，通过步骤3.2.8中的通信模型分发到感知信息请求模块。

4.4.2虚拟个体动作输出：根据每个无人机周围环境的信息数据，结合所需执行任务的目标位置和无人机当前位置，调用步骤4.3.4构建的路径预规划模块，输出每个虚拟无人机个体下一步的飞行动作，并封装成虚拟个体动作输出模块，通过步骤3.2.8中的通信模型分发到各虚拟个体驱动其执行。

5、在M个嵌入式板载系统部署与计算机端分布式虚拟个体算法模块相同的个体算法，形成部署于M个相同嵌入式板载系统的分布式半实物个体群。

5.1计算机端不同算子或分布式虚拟个体节点部署在不同进程上运行，从而实现分布式计算。每一个嵌入式节点内运行的多种计算任务，并采用多线程、中断和回调函数三种软硬件机制协调这些任务。其中三种机制可进一步描述为：

5.1.1通过多线程的方法可以实现并行处理各计算模块、各模块之间的数据交互以及信息整合等底层任务。计算机端采用多线程方式进行系统设计，每个分布式虚拟无人机节点为一个(或多个)单独线程，集中式算子也将设计为若干单独的线程，每个线程设计输入输出端口封装，通过多线程信息交互技术实现线程间的通信。

5.1.2中断(尤其是定时中断)可以有节律地调取控制各个体数据的获取，实施各类局部数据和虚拟个体决策行动的控制；

5.1.3通过设立回调函数的方法，可高效地解决底层计算/信息交互任务中频繁遇到的轮询和等待问题。

6、将计算机以及M个嵌入式板载系统通过无线网络或有线网络进行联通，确保每个节点间可相互收发信息，实现整个无人集群协同验证系统各节点的互相通联及信息共享。

6.1部署于嵌入式板载系统的M个节点运行均采用ROS(Robot Operating System，机器人操作系统)，通过ROS的发布/订阅异步通信机制，实现M个嵌入式板载系统节点间的松散耦合的数据交互。

6.1.1嵌入式板载系统采用Nvidia Jetson TX2搭配ROS中间件，并运行分布式半实物节点的核心功能算法，ROS包含便捷的发布/订阅异步通信机制，实现系统内各节点间的松散耦合通信。

6.1.2在实现系统的任务过程中，首选ROS系统中message消息机制以保证效率；对于少部分需要即时反馈的通讯需求，将会使用ROS中的service服务机制从而保障信息能够及时得到回应。

6.2在1个计算机端节点与3个嵌入式端节点间以及3个嵌入式节点之间的通信方面，采用Wifi无线通信网络实现物理连接，并通过TCP协议保障通信的可靠性。同时通过定义应用层的通信协议，实现对数据的发送编码与接收解析。

6.3通过定义应用层的通信协议，实现对数据的发送编码与接收解析。在通信内容上，灵活运用ROS系统message、Google ProtoBuf以及可扩展标记语言XML等消息包装机构，便捷地实现跨操作系统、跨编程语言的消息传递。根据该设计流程形成的虚实融合的无人集群协同验证系统组成图如图3所示。

如图4所示，为本发明最终设计的一种虚实融合的无人集群协同验证系统，包括可视化人机交互模块、典型任务模块、计算机端算法模块、多个同构嵌入式端算法模块和模型知识库；

可视化人机交互模块，用于为典型任务模块提供任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态的初始设置及管理，同时接收计算机端算法模块及嵌入式端算法模块发送的无人机编号、无人机实时任务状态及位置参数，对任务执行结果进行分析评估，并对所有参数进行实时监控显示；

典型任务模块，用于将接收的任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态信息按规定数据协议进行编码，并发送至计算机端算法模块及嵌入式端算法模块；

计算机端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至嵌入式端算法模块；

嵌入式端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至计算机端算法模块；

模型知识库，用于接收计算机端算法模块及嵌入式端算法模块发送的数据接口参数及服务接口参数，封装成各类模型，并为计算机端算法模块及嵌入式端算法模块分别提供调用各类模型的接口。

Claims (2)

1.一种虚实融合的无人集群协同验证系统，其特征在于，包括可视化人机交互模块、典型任务模块、计算机端算法模块、多个同构嵌入式端算法模块和模型知识库；

可视化人机交互模块，用于为典型任务模块提供任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态的初始设置及管理，同时接收计算机端算法模块及嵌入式端算法模块发送的无人机编号、无人机实时任务状态及位置参数，对任务执行结果进行分析评估，并对所有参数进行实时监控显示；

典型任务模块，用于将接收的任务区域、任务类型、环境参数、无人机数量及位置、目标数量及位置和目标运动状态信息按规定数据协议进行编码，并发送至计算机端算法模块及嵌入式端算法模块；

计算机端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至嵌入式端算法模块；

嵌入式端算法模块，用于通过数据接口及服务接口将所需模型参数发送至模型知识库模块，并通过各类定义的模型接口从模型知识库调用所需模型；还用于计算生成无人机编号、位置数据及任务状态发送至可视化人机交互模块进行显示，并同时发送至计算机端算法模块；

模型知识库，用于接收计算机端算法模块及嵌入式端算法模块发送的数据接口参数及服务接口参数，封装成各类模型，并为计算机端算法模块及嵌入式端算法模块分别提供调用各类模型的接口。

2.根据权利要求1所述的虚实融合的无人集群协同验证系统，其特征在于，模型知识库封装的各类模型包括无人机模型、目标模型、通信模型、传感器模型、任务模型和地图模型；封装过程为：将无人集群典型要素通过数学表达式进行相应描述，形成各类要素的数学模型，将各类要素的数学模型采用指定语言的程序代码实现并封装，并根据需要定义其数据接口和服务接口；其中数据接口用以定义输入和输出数据的描述，服务接口用以对模块属性和参数进行配置。

Images