CN114047786A - 一种用于集散式异构无人机集群的协同处理系统和方法 - Google Patents

Abstract

本发明涉及一种用于集散式异构无人机集群的协同处理系统和方法，属于无人机技术领域，解决现有系统缺乏自组织能力和无法根据战场态势进行人为的任务信息修改的问题。该系统包括：多个无人机和与多个无人机通信连接的地面站，每个无人机包括：飞行控制器用于控制无人机姿态并且调整无人机的速度和飞行方向；光电吊舱用于实时拍摄视频帧并进行目标跟踪；以及信息处理模块用于主机根据地面站的任务信息规划整体航迹，多个无人机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行，基于视频帧进行目标识别和目标定位，通过地面站随时修改任务信息，实时根据修改的任务信息规划出修改航迹。能够根据战场态势实时根据修改的任务信息规划出修改航迹。

Description

一种用于集散式异构无人机集群的协同处理系统和方法

技术领域

本发明涉及无人机技术领域，尤其涉及一种用于集散式异构无人机集群的协同处理系统和方法。

背景技术

多无人机集群协同控制分为集中式控制、分布式控制和集散式控制。

集中式控制方法具有唯一中央主机，控制全局节点，具有绝对的决策权。这种控制结构系统复杂性低，数据通信压力小。然而，这种控制结构对主机的要求很高，当系统中节点数量过多时，进行全局规划控制十分困难。此外，一旦主机被摧毁或者出现故障，系统将失去工作能力。

分布式控制结构中，各节点地位相同，各节点对任务进行联合求解，灵活性高，系统不易被摧毁，具有很强的适应能力。然而，该结构过于复杂，通信量大，控制难度太高。

现有异构蜂群无人机协同攻击系统及方法存在以下缺点：

(1)可控制的异构无人机种类不足。

(2)不支持执行任务无人机数量的动态调控。且机群无法重构，当有无人机退出任务时，缺乏重新分配任务的能力。

(3)无人机集群系统缺乏侦察和任务执行一体的能力，侦察机只能负责侦察，需要后方发射新的无人机进行任务的具体执行，造成任务最佳执行时机的错过。

(4)缺少便捷的人机交互过程，无法在线上传任务区域信息，在任务执行过程中无法根据战场态势进行人为的任务信息修改。无法保证在突发状况下无人机继续执行任务的能力

(5)缺乏动态自组织能力，一旦空地之间数据出现中断，任务将无法执行。

(6)发现目标后，只能由无人机进行自主判断目标是否准确，缺少人工确认的步骤，无法避免误识别或者漏识别的风险。

(7)缺少动态任务的重新分配，无法根据实时战场态势、和侦察结果进行搜索路线的更新，并绕过一定的障碍区域或危险禁飞区域。

(8)缺少前方任务执行人员与后方控制人员的交互终端，不易于前方人员单独执行无人系统的部署及操控。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种用于集散式异构无人机集群的协同处理系统和方法，用以解决现有系统缺乏自组织能力和在任务执行过程中无法根据战场态势进行人为的任务信息修改等的问题。

一方面，本发明实施例提供了一种用于集散式异构无人机集群的协同处理系统，包括：多个无人机和与所述多个无人机通信连接的地面站，其中，所述多个无人机中的每个无人机包括：飞行控制器，用于控制无人机姿态并且调整无人机的速度和飞行方向；光电吊舱，用于实时拍摄视频帧并进行目标跟踪；以及信息处理模块，用于根据所述地面站的任务信息由主机规划整体航迹，然后多个无人机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，以及基于所述视频帧进行目标识别和目标定位，其中，通过所述地面站随时修改所述任务信息，实时根据修改的任务信息规划出修改航迹。

上述技术方案的有益效果如下：根据本发明实施例的信息处理模块充分融合了信息传导、视觉识别、视觉定位、任务规划和目标分配等功能。与不同的飞行控制器和光电吊舱通过串口连接，适应多种通信协议，能够将数据根据不同构型无人机的通信协议定义精确推送到飞行控制器和光电吊舱，完成异构无人机的控制。另外，在任务执行过程中根据战场态势能够实时根据修改的任务信息规划出修改航迹。

基于上述系统的进一步改进，所述多个无人机包括多种构型的无人机，每种构型的无人机包括主机和其余节点，所述主机用于收集本机构型中的所有其余节点的无人机信息，进行整体任务规划与目标分配，其中，不同构型的主机形成分布式控制结构，对同一任务拆分后进行协同处理。

基于上述系统的进一步改进，所述信息处理模块包括数据分发模块，其中，所述数据分发模块与所述飞行控制器、所述光电吊舱和所述地面站通信连接，所述数据分发模块用于：接收所述飞行控制器的遥测数据，将所述遥测数据作为任务规划模块的输入，并将所述遥测数据通过数据链传输至所述地面站；通过所述数据链从所述地面站的控制指令，并将所述控制指令发送给所述飞行控制器以控制无人机的飞行，以及所述飞行控制器收到所述控制指令后，将所述飞行控制器发送的回传指令中转至所述地面站；通过所述数据链从所述地面站接收任务信息并将所述任务信息提供给所述任务规划模块；从所述光电吊舱接收拍摄的图像数据，在所述图像数据上叠加识别框信息后，进行编码，通过所述数据链推流至所述地面站；从所述光电吊舱接收吊舱伺服数据，并将所述吊舱伺服数据中转至所述地面站，并接收所述地面站的伺服控制指令，以控制所述光电吊舱的锁定、解锁、俯仰、偏航动作；以及将所述任务规划模块的输出发送给其他无人机，并接收其它无人机发送的任务规划模块的信息。

基于上述系统的进一步改进，所述信息处理模块包括目标识别模块，用于基于人工智能的识别模型在所述视频帧中每一帧图像中进行检索，并在所述图像中对目标进行框选标注，同时赋予所述目标一个目标ID，并将相邻帧中位置、大小、方向发生改变的同一目标进行跟踪识别，并所述同一目标被赋予相同的目标ID，并记录所述同一目标被成功跟踪识别的帧数，对叠加识别框、目标ID和对应目标被成功跟踪上的帧数的视频画面进行编码后，推流至所述地面站。

基于上述系统的进一步改进，所述信息处理模块包括目标定位模块，用于在连续的视频帧中识别出所述同一目标后，解算出目标的绝对位置，以对目标进行视觉定位。

基于上述系统的进一步改进，所述信息处理模块包括任务规划模块，用于从所述地面站同时接收到任务信息后推举临时主机，所述临时主机设计本机构型的整体航迹并将所述整体航迹分发给同构型的临时从机；所述临时主机和所述临时从机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，其中，在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据所述禁飞区域自主规划第一航迹以扰开所述禁飞区域；以及在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

基于上述系统的进一步改进，所述地面站包括显示屏，用于在所述地面站接收到无人机的速度、位置、飞行方向和电量时，在所述显示屏上进行显示；以及通过所述地面站选择目标无人机，随后所述地面站将所述目标无人机的信息处理模块推送的视频流进行解码后，在所述显示屏上显示画面，其中，所述地面站切换目标无人机后，切断先前无人机的视频流，并显示切换的目标无人机推送的视频流的画面；以及当第一无人机识别到特定目标，并且所述地面站显示的视频流不是所述第一无人机推送的视频流时，所述地面站提供提示，操作员根据所述提示将当前画面切换至所述第一无人机推送的视频流的画面。

基于上述系统的进一步改进，所述地面站包括任务输入模块和任务执行确认模块，其中，所述任务输入模块，用于在无人机飞行前进入任务信息输入画面，并在所述任务信息输入画面中设置所述任务信息，其中，所述任务信息包括无人机数量、任务区域和禁飞区域，以通过数据链将所述任务信息发送给执行任务的所有无人机的信息处理模块；所述任务执行确认模块，用于在所述显示屏的显示画面下方由小到大排列出在当前光电吊舱画面中识别到的所有目标的ID号，确认待搜索目标的ID号，并将目标确认指令上传至对应无人机的信息处理模块。

另一方面，本发明实施例提供了一种用于集散式异构无人机集群的协同处理方法，包括：在所有无人机上电后，在地面站选择任务区域和禁飞区域，选择执行任务的无人机种类、数量及对应编号，并且所述地面站确认后，将任务信息上传至各无人机的信息处理模块；在所述信息处理模块中，根据所述地面站的任务信息由主机规划整体航迹，然后多个无人机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行；在飞行过程中，基于所述视频帧进行目标识别和目标定位，其中，通过所述地面站随时修改所述任务信息，实时根据修改的任务信息规划出修改航迹。

基于上述方法的进一步改进，根据所述地面站的任务信息规划整体航迹，然后所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行进一步包括：从所述地面站同时接收到任务信息后，各个无人机推举本机构型的临时主机，其中，通过所述临时主机设计本机构型的整体航迹并将所述整体航迹分发给同构型的临时从机；以及所述临时主机和所述临时从机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，其中，在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据所述禁飞区域自主规划第一航迹，以扰开所述禁飞区域；以及在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、信息处理模块充分融合了信息传导、视觉识别、视觉定位、任务规划和目标分配等功能。与不同的飞行控制器和光电吊舱通过串口连接，适应多种通信协议，能够将数据根据不同构型无人机的通信协议定义精确推送到飞行控制器和光电吊舱，完成异构无人机的控制。同时任务决策软件的存在能够对所有无人机进行任务层面的统一的任务规划管理，实现了真正的异构协同。

2、信息处理模块同时具备视觉识别及视觉定位的功能，不但能够对特定目标进行有效的识别，在连续的视频帧中对该目标进行跟踪识别，还能对其进行位置解算。通过单模吊舱就能完成识别与定位的功能，大大节省了飞机的成本。

3、系统具有完备的人机交互功能，由操作员完成任务信息预设、目标确认或选择等简单的操作，并可根据情况随时修改，机器提供了无人机航迹的自动生成以及任务方案的自动优化。系统将无人机的状态信息、拍摄的画面直观地展现给操作员，操作员无需复杂操作就能了解所有无人机的飞行及侦察情况，对战场态势进行有效把控。同时地面手持终端便携特性让前方任务人员与后方操作员共享任务区域态势，共同操作保证任务成功性。

4、离线的动态任务规划功能让飞机在空地通信出现干扰或者中断的情况下保持任务的成功执行。同时根据战场态势的变换，不但可以由操作员手动修改任务，也能自适应修改任务方案。机群的重组功能增加了飞机的抗干扰及突防能力，当主节点或其它节点出现故障后，不会影响其它系统整体功能，大大提升了任务的成功性。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为根据本发明实施例的用于集散式异构无人机集群的协同处理系统的示图。

图2为根据本发明实施例的集散式控制结构图。

图3为根据本发明实施例的用于集散式异构无人机集群的协同处理系统的核心部件连接示意图。

图4为根据本发明实施例的用于集散式异构无人机集群的协同处理方法流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种用于集散式异构无人机集群的协同处理系统。参考图1，用于集散式异构无人机集群的协同处理系统包括多个无人机和与多个无人机通信连接的地面站108，其中，多个无人机中的每个无人机包括：飞行控制器102，用于控制无人机姿态并且调整无人机100的速度和飞行方向；光电吊舱104，用于实时拍摄视频帧并进行目标跟踪；以及信息处理模块106，用于根据地面站108的任务信息由主机规划整体航迹，然后多个无人机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器102执行，以及基于视频帧进行目标识别和目标定位，其中，通过地面站108随时修改任务信息，实时根据修改的任务信息规划出修改航迹。

与现有技术相比，本实施例提供的用于集散式异构无人机集群的协同处理系统中，信息处理模块充分融合了信息传导、视觉识别、视觉定位、任务规划和目标分配等功能。与不同的飞行控制器和光电吊舱通过串口连接，适应多种通信协议，能够将数据根据不同构型无人机的通信协议定义精确推送到飞行控制器和光电吊舱，完成异构无人机的控制。另外，在任务执行过程中根据战场态势能够实时根据修改的任务信息规划出修改航迹。

下文中，将参考图1至图3，对集散式异构无人机集群的协同处理系统进行详细描述。根据本发明实施例的集散式异构无人机集群的协同处理系统包括多个无人机、地面站108和手持终端。地面站108与多个无人机通信连接。

多个无人机中的每个无人机包括：飞行控制器102、光电吊舱104和信息处理模块106。参考图2，多个无人机包括多种构型的无人机，每种构型的无人机包括主机和其余节点。主机用于收集本机构型中的所有其余节点的无人机信息，进行整体任务规划与目标分配，其中，不同构型的主机形成分布式控制结构，对同一任务拆分后进行协同处理。每个构型的飞机在通信架构上都相同，构型的不同指的是无人机按照飞行方式的不同区分为固定翼、旋翼等。一个构型中只存在一个主机，每个无人机均可成为主机，在硬件结构上没有太大区别，软件层面上也是一致的。区别是推举出主机后，在任何规划层面，由主机进行整体航迹的规划，并且各构型中的主机又能够互相通信，进行分布式协同。从机根据自己的位置、速度等信息，在整体航迹的基础上进行跟随。另外，主机仅负责同一构型内无人机任何规划。构型1中的主机无法给构型2中的无人机下达任务，但是构型1的主机可以与构型2中的主机交互数据。当构型1确认目标后，构型1的信息处理模块会判断是否需要构型2的协同，如果需要，会让构型2的主机进行构型2内的任务分配。

飞行控制器102用于控制无人机姿态并且调整无人机的速度和飞行方向。飞行控制器102与光电吊舱104和信息处理模块106通信连接。具体地，飞行控制器102通过串口与光电吊舱104和信息处理模块106连接。

光电吊舱104用于实时拍摄视频帧并进行目标跟踪。光电吊舱104通过串口与信息处理模块106连接，以及光电吊舱104通过串行数字接口SDI(serial digital interface)将视频流传输至信息处理模块106，该SDI是空间的物理数据接口。光电吊舱104是本发明实施例中的一个通用设备，例如，可见光三种10倍变焦光电吊舱。

信息处理模块106用于根据地面站的任务信息由主机规划整体航迹，然后多个无人机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行，以及基于视频帧进行目标识别和目标定位，其中，通过地面站随时修改任务信息，实时根据修改的任务信息规划出修改航迹。

参考图3，信息处理模块106包括数据分发模块、目标识别模块、目标定位模块和任务规划模块。数据分发模块与飞行控制器、光电吊舱和地面站通信连接。下文中，将对数据分发模块、目标识别模块、目标定位模块和任务规划模块进行详细描述。

数据分发模块用于接收飞行控制器的遥测数据，将遥测数据作为任务规划模块的输入，并将遥测数据通过数据链传输至地面站；通过数据链从地面站的控制指令，并将控制指令发送给飞行控制器以控制无人机的飞行，以及飞行控制器收到控制指令后，将飞行控制器发送的回传指令中转至地面站；通过数据链从地面站接收任务信息并将任务信息提供给任务规划模块；从光电吊舱接收拍摄的图像数据，在图像数据上叠加识别框信息后，进行编码，通过数据链推流至地面站，其中，推流是一种通用技术手段，将视频编码后，建立一个服务器，如果有客户端请求这个数据，就通过数据链推送给客户端；从光电吊舱接收吊舱伺服数据，并将吊舱伺服数据中转至地面站，并接收地面站的伺服控制指令，以控制光电吊舱的锁定、解锁、俯仰、偏航动作；以及将任务规划模块的输出发送给其他无人机，并接收其它无人机发送的任务规划模块的信息。

目标识别模块用于基于人工智能的识别模型在视频帧中每一帧图像中进行检索，并在图像中对目标进行框选标注，同时赋予目标一个目标ID，并将相邻帧中位置、大小、方向发生改变的同一目标进行跟踪识别，并同一目标被赋予相同的目标ID，并记录同一目标被成功跟踪识别的帧数，对叠加识别框、目标ID和对应目标被成功跟踪上的帧数的视频画面进行编码后，推流至地面站。

目标定位模块用于在连续的视频帧中识别出同一目标后，解算出目标的绝对位置，以对目标进行视觉定位。

任务规划模块用于从地面站同时接收到任务信息后推举临时主机，临时主机设计本机构型的整体航迹并将整体航迹分发给同构型的临时从机；临时主机和临时从机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行。具体地，在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据禁飞区域自主规划第一航迹以扰开禁飞区域。在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

地面站108包括显示屏、任务输入模块和任务执行确认模块。地面站与所有无人机都进行交互，可以通过地面站选择进行交互的无人机。主机和从机与地面站交互信息没有任何区别，主机只是在收到任务信息后，进行整体的任务规划。当主机被摧毁后，会重新推选新的主机进行这个任务。显示屏用于在地面站接收到无人机的速度、位置、飞行方向和电量时，在显示屏上进行显示；以及通过地面站选择目标无人机，随后地面站将目标无人机的信息处理模块推送的视频流进行解码后，在显示屏上显示画面。地面站切换目标无人机后，切断先前无人机的视频流，并显示切换的目标无人机推送的视频流的画面；以及当第一无人机识别到特定目标，并且地面站显示的视频流不是第一无人机推送的视频流时，地面站提供提示，操作员根据提示将当前画面切换至第一无人机推送的视频流的画面。

任务输入模块用于在无人机飞行前进入任务信息输入画面，并在任务信息输入画面中设置任务信息，其中，任务信息包括无人机数量、任务区域和禁飞区域，以通过数据链将任务信息发送给执行任务的所有无人机的信息处理模块。例如，地面站选择任务区域后，向所有飞机上传任务信息，所有无人机都接收该任务信息。任务信息中包含执行任务的飞机ID号，当无人机接收到该任务信息后，如果自己的ID号包含在任务信息中，则该无人机就会执行此次任务。

任务执行确认模块用于在显示屏的显示画面下方由小到大排列出在当前光电吊舱画面中识别到的所有目标的ID号，确认待搜索目标的ID号，并将目标确认指令上传至对应无人机的信息处理模块。

下文中，将参考图4，对根据本发明实施例的用于集散式异构无人机集群的协同处理方法进行详细描述。

用于集散式异构无人机集群的协同处理方法包括：在步骤S402中，在所有无人机上电后，在地面站选择任务区域和禁飞区域，选择执行任务的无人机种类、数量及对应编号，并且地面站确认后，将任务信息上传至各无人机的信息处理模块；在步骤S404中，在信息处理模块中，根据地面站的任务信息由主机规划整体航迹，然后多个无人机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行；在步骤S406中，在飞行过程中，基于视频帧进行目标识别和目标定位，其中，通过地面站随时修改任务信息，实时根据修改的任务信息规划出修改航迹。

具体地，根据地面站的任务信息规划整体航迹，然后整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行进一步包括：从地面站同时接收到任务信息后，各个无人机推举本机构型的临时主机，其中，通过临时主机设计本机构型的整体航迹并将整体航迹分发给同构型的临时从机；以及临时主机和临时从机根据整体航迹规划自身航迹并将自身航迹发送给飞行控制器执行，其中，在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据禁飞区域自主规划第一航迹，以扰开禁飞区域；以及在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

下文中，将参考图2至图3，以具体实例的方式对用于集散式异构无人机集群的协同处理装置进行详细描述。

系统架构上看，如图1所示，所有构型中，存在一个主机(C)，主机收集该构型内其余节点的所有无人机信息，进行整体的任务规划与目标分配。同时，不同构型的主机形成一种分布式控制结构，各主机具有相同的地位，对同一任务进行拆分后协同处理。

如图2所示，系统核心部件包括飞行控制器、光电吊舱、数据链、信息处理模块、地面站以及手持终端。飞行控制器控制无人机姿态、调整无人机速度和方向。光电吊舱进行成像与跟踪。数据链负责机间及空地数据通信传输。信息处理模块进行无人机内部信息的分发、目标的视觉识别、目标的视觉定位以及任务规划与目标分配。地面站能够显示无人机的飞行信息、无人机吊舱画面并记录所有无人机的航迹。同时，地面站也是任务规划、目标框选、任务执行确认等人机交互的终端。手持终端能够显示吊舱画面及无人机信息，用以战场态势显示，并辅助地面站对无人机群进行操作。

特别的，本发明区别与其他发明的核心硬件模块在于信息处理模块，该模块通过串口与吊舱的伺服、无人机飞行控制器进行双向数据通信，同时通过网口与数据链进行双向通信，通过SDI接收吊舱拍摄的画面。

该模块具备以下4大功能：

(1)内部信息分发功能

信息处理模块的内部信息分发功能主要体现在：

A、接收飞行控制器的遥测数据，将该数据作为任务决策软件的输入，并将该数据发送给数据链传输至地面站。

B、从机载数据链接收来自地面站的控制指令，发送给飞行控制器控制无人机的飞行。飞行控制器收到地面站指令后，信息处理模块将飞行控制器发送的回令中转至地面站。

C、从机载数据链接收来自地面站任务信息(包括侦察区域及禁飞区等)，将该信息交由任务决策软件。

D、接收吊舱拍摄的画面，叠加识别框等信息后，进行编码，通过数据链推流至地面站。

E、接收吊舱伺服数据，并将其中转至地面站。并接收地面站的伺服控制指令，进而控制吊舱的锁定、解锁、俯仰、偏航等动作。

F、将任务决策软件的输出发送给其他无人机，并接受其它无人机发送的任务决策软件的信息。

(2)智能识别

无人机在飞行过程中，光电吊舱始终保持一定的偏航和俯仰角进行搜索，并将拍摄到的画面通过SDI传输给信息处理模块。信息处理模块接收到视频后，利用基于人工智能的识别算法在视频的每一帧图像中检索，在拍摄的画面中识别出特定的目标，并在画面中对目标进行框选标注，同时赋予其一个目标ID。在连续的视频中，信息处理模块对每一帧进行视觉识别，将相邻帧中位置、大小、方向等发生改变的同一目标进行跟踪识别，在每一帧的画面中都赋予被识别到的同一目标相同的目标ID，并记录该目标被成功跟踪识别的帧数。目标ID及被成功跟踪识别的帧数均显示在识别框的旁边。信息处理模块将叠加了识别框、目标ID以及对应目标被跟踪上的帧数的视频画面进行编码后，推流至地面站。

(3)视觉定位

信息处理模块记录无人机的飞行高度、速度、经纬高以及光电吊舱的俯仰角和偏航角，在连续的视频帧中，对同一目标进行识别后，解算出目标的大概绝对位置，对目标进行视觉定位。

(4)任务规划与目标分配

信息处理模块通过运行在其上的任务决策软件执行该功能。任务规划具体说明如下：

信息处理模块接收来自地面站的任务信息，包括搜索区域、禁飞区、无人机数量等必要信息。各无人机同时收到上述信息后，推举临时主机。临时主机的任务决策软件针对自身构型设计优化本构型整体航迹，并将该航迹通过数据链分发给同样构型的无人机，收到航迹的无人机根据整体航迹规划自身航迹，并发送给飞行控制器执行。在任务过程中，通过地面站随时修改任务信息，机上信息处理模块实时根据任务信息的修改规划出最优航迹。此外，飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区信息，所有无人机自主规划航迹均扰开禁飞区域。在飞行过程中，任务决策软件接收所有无人机的位置、速度等信息，根据无人机相对位置、速度差及覆盖区域大小等条件，实时改变自身的飞行速度及方向，并发送给自身飞行控制器，控制无人机以一定的队形对任务区域进行搜索覆盖。

目标分配功能具体说明如下：

当信息处理模块接收到来自地面站的目标确认指令后，任务决策软件接收到目标ID号和位置，同时信息处理器将目标归类。结合目标类型及位置信息，自动分配合适数量的距离目标最近或路径最优的无人机执行进一步任务。

地面站是系统人机交互的终端，具有无人机信息显示、任务信息上传及修改、吊舱画面显示、任务执行确认等功能。

(1)无人机信息显示

地面站接收无人机的速度、位置、飞行方向、电量等必要信息，在屏幕进行显示。

(2)任务信息上传

无人机飞行前，操作员点击地面站上的任务开始按钮后，进入任务信息输入画面，设置无人机数量、任务区域、禁飞区等信息后，点击确认按钮，通过数据链将这些信息发送给所有执行任务的人机的信息处理模块，随后交由任务决策软件处理。

(3)吊舱画面显示

通过地面站选择目标无人机，随后地面站将该无人机的信息处理模块推送的视频流进行解码后，显示画面。地面站能够随时切换目标无人机，切换目标无人机后立刻切断前一个无人机的视频流，显示新切换无人机推送的画面。当有无人机识别到特定目标，地面站显示的画面却不是识别到目标的无人机推送的画面时，地面站会有明显的提示，操作员通过点击提示将画面切换至识别到目标的无人机推送的视频。

(4)任务执行确认

地面站显示的吊舱画面中，若出现特定目标，信息处理模块将该目标框选出，并显示ID号。显示画面下方由小到大排列出信息处理模块在当前吊舱画面中识别到的所有目标的ID号。操作员点击ID号，对目标进行确认，此时地面站上传确认指令至对应无人机的信息处理模块，信息处理模块收到目标确认指令后执行后续操作。操作员也能在当前显示的吊舱画面中，框处任意区域，将该区域中心附近的物体作为确认目标，并且该目标确认指令发送至机上信息处理模块。

地面手持终端是便携式地面手持设备，通过数据链与地面站连接，显示与地面站相同的画面。持有手持终端的操作员与地面站操作员通过对讲机进行沟通，工作控制无人机群执行任务。

本发明实施例的地面站和手持终端的连接方式不仅仅局限于数据链连接，也可以是蓝牙连接、5G或者其它通信连接方式。

本发明实施例中，光电吊舱也可以被导引头等光学成像设备代替。成像方式包括可见光成像和红外成像。

本发明实施例中，无人机大小包括中型、大型、小型，无人机构型包括旋翼、固定翼、折叠翼、垂直起降固定翼等。

本发明实施例中，无人机执行任务的距离分为中、远、近型。

本发明实施例中，信息处理模块中视觉识别、视觉定位、任务规划与目标分配、数据传到四个功能也能够拆分为多个硬件系统分别执行其中一个或两个功能，多个硬件系统集成后与信息处理模块具有相似或相同的功能。

本发明实施例中，视觉定位功能也可以被多模吊舱中的激光测距仪替代。

根据本发明实施例的用于集散式异构无人机集群的协同处理方法包括以下步骤：

步骤一：所有飞机上电后，数据链、飞行控制器、信息处理器、光电吊舱依次启动，启动地面站与机群建立连接，确认飞机GPS、遥测信息通信正常，吊舱画面及伺服信息在地面站显示正常。

步骤二：在地面站选择任务区域，禁飞区域。选择执行任务的飞机种类、数量及对应编号，在地面站点击确认后任务信息上传至各飞机信息处理模块。

步骤三：各构型飞机的任务决策软件自动推举所在构型中当前编号最小的飞机为临时主机，主机的任务决策软件整体规划集群从出发点到任务区域的航迹。以两种构型分别具有三架飞机，编号分别为1-1、1-2、1-3、2-1、2-2、2-3为例，1-1和1-2号机为临时主机，临时主机根据自身飞行平台的特点自主规划出该构型飞机适合执行任务的区域、出发前往任务区域及覆盖任务区域的航迹。规划完航迹后，通过机间数据链发送给自身构型的其它飞机，其它飞机接收到自身构型对应的航迹后，根据本机所处位置规划本机航迹，发送给飞行控制器。随后飞机顺次起飞，飞行控制器以一定的频率从信息处理模块接受航迹，控制飞机延航迹飞行。

步骤四：飞行过程中，相同构型的飞机以一定的频率不断进行飞机位置、速度、加速度、飞行方向等信息的交换，根据信息实时调整自身的飞行速度、飞行方向，并优化自身航迹，使飞机保持一定的队形，并能够分散执行区域覆盖任务。如果在飞行过程中发现部分区域出现危险或需要绕行区域，将该区域记录为禁飞区，并发送其它飞机。若任务情况出现变化，在地面站重新部署任务信息，通过数据链上传给机群后，机群执行新的任务。

步骤五：飞行过程中，各构型中，当飞机无法收到临时主机发送的飞机信息超过20秒。飞机将再推举该构型中编号最小的飞机成为信息临时主机，进行整体航迹的规划。

步骤六：飞行过程中，光电吊舱实时采集影像，通过SDI传输给信息处理模块。信息处理模块对目标进行识别。地面站选择飞机编号，观测对应编号飞机吊舱拍摄的画面，及信息处理模块自动识别的结果，识别到得每一个目标都有一个对应的ID号显示在吊舱画面下方。操作员发现识别结果中出现理想目标，点击吊舱画面下方的ID，进行确认。光电吊舱将该目标锁定，控制伺服转动吊舱让目标移动到画面中央。同时信息处理模块对该目标进行视觉定位。

步骤六：视觉识别得到的目标类型和视觉定位得到的位置自动输入任务决策软件，任务决策软件根据目标类型和位置分配一定数量的飞机，规划最优路径召集飞机前往目标区域进行协同侦察工作。

步骤七：如果画面中理想目标未被自动识别框选，通过地面站手动框选吊舱画面中的目标，将该选框中心位置发送给信息处理模块，信息处理模块将中心位置处附近的物体作为目标，执行步骤五和步骤六的过程。

步骤八：在确认目标飞机锁定住该目标并召集协同后，地面站拥有取消任务的功能，点击取消协同按钮后所有飞机停止协同任务，转为地面站确认目标前各自执行的分散侦察任务。

步骤九：地面站点击飞机编号，切换至对应编号飞机推送的图像，若非当前观察的飞机吊舱画面中自动识别到了目标，对应的飞机编号红光闪烁，操作人员点击红光闪烁的飞机编号后，切换至该飞机推送的画面。

步骤十：任务执行完毕，地面站点击一键降落，所有飞机顺次降落于待降区域。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、信息处理模块将蜂群控制、任务规划、信息传导、智能感知与识别等功能高度集中。将模块与不同飞行平台的飞行控制器与数据链以一定协议连通后就能实现多种异构无人平台的集群控制。克服无人平台种类及数量的局限性。

2、地面站、手持终端与机载信息处理模块通过数据链连接，具备丰富的人机交互功能，能够实现任务在线规划，任务实时修改，目标人工确认，目标框选锁定等功能。人在回路的操作方式保证了任务各阶段的精准性，规避了任务执行过程中可能产生的各项风险。

3、集群飞行过程中，各无人机采取任务层面的协同，在航迹上对任务区域进行分散的覆盖，并适当加入一定的队形保持功能。有效规避了实施严格编队带来的计算及数据传输压力。

4、支持无人机群的重构，当无人机数量发生变化时，不影响任务的执行。

5、集散式的控制结构结合任务决策系统根据实时战场态势和侦察结果对集群中所有无人机的航迹进行实时更新，让无人机蜂群能够使覆盖整个任务区域。根据飞行危险程度设立禁飞区并绕行。根据目标情况进行合理的目标分配。实现了无人机动态任务的重新分配。

6、任务决策软件能够离线进行任务规划与目标分配，实现了无人机群的动态自组织。

7、地面站与手持终端双地面系统，前线人员利用手持终端观察战场态势，下达作战指令，后方人员进行集群系统部署及保障的工作。解决了单兵部署集群系统困难的问题。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种用于集散式异构无人机集群的协同处理系统，其特征在于，包括：多个无人机和与所述多个无人机通信连接的地面站，其中，所述多个无人机中的每个无人机包括：

飞行控制器，用于控制无人机姿态并且调整无人机的速度和飞行方向；

光电吊舱，用于实时拍摄视频帧并进行目标跟踪；以及

信息处理模块，用于根据所述地面站的任务信息由主机规划整体航迹，然后多个无人机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，以及基于所述视频帧进行目标识别和目标定位，其中，通过所述地面站随时修改所述任务信息，实时根据修改的任务信息规划出修改航迹。

2.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述多个无人机包括多种构型的无人机，每种构型的无人机包括主机和其余节点，其中，

所述主机，用于收集本机构型中的所有其余节点的无人机信息，进行整体任务规划与目标分配，其中，不同构型的主机形成分布式控制结构，对同一任务拆分后进行协同处理。

3.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述信息处理模块包括数据分发模块，其中，所述数据分发模块与所述飞行控制器、所述光电吊舱和所述地面站通信连接，所述数据分发模块用于：

接收所述飞行控制器的遥测数据，将所述遥测数据作为任务规划模块的输入，并将所述遥测数据通过数据链传输至所述地面站；

通过所述数据链从所述地面站的控制指令，并将所述控制指令发送给所述飞行控制器以控制无人机的飞行，以及所述飞行控制器收到所述控制指令后，将所述飞行控制器发送的回传指令中转至所述地面站；

通过所述数据链从所述地面站接收任务信息并将所述任务信息提供给所述任务规划模块；

从所述光电吊舱接收拍摄的图像数据，在所述图像数据上叠加识别框信息后，进行编码，通过所述数据链推流至所述地面站；

从所述光电吊舱接收吊舱伺服数据，并将所述吊舱伺服数据中转至所述地面站，并接收所述地面站的伺服控制指令，以控制所述光电吊舱的锁定、解锁、俯仰、偏航动作；以及

将所述任务规划模块的输出发送给其他无人机，并接收其它无人机发送的任务规划模块的信息。

4.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述信息处理模块包括目标识别模块，用于基于人工智能的识别模型在所述视频帧中每一帧图像中进行检索，并在所述图像中对目标进行框选标注，同时赋予所述目标一个目标ID，并将相邻帧中位置、大小、方向发生改变的同一目标进行跟踪识别，并所述同一目标被赋予相同的目标ID，并记录所述同一目标被成功跟踪识别的帧数，对叠加识别框、目标ID和对应目标被成功跟踪上的帧数的视频画面进行编码后，推流至所述地面站。

5.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述信息处理模块包括目标定位模块，用于在连续的视频帧中识别出所述同一目标后，解算出目标的绝对位置，以对目标进行视觉定位。

6.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述信息处理模块包括任务规划模块，用于从所述地面站同时接收到任务信息后推举临时主机，所述临时主机设计本机构型的整体航迹并将所述整体航迹分发给同构型的临时从机；所述临时主机和所述临时从机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，其中，

在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据所述禁飞区域自主规划第一航迹以扰开所述禁飞区域；以及

在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

7.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述地面站包括显示屏，用于在所述地面站接收到无人机的速度、位置、飞行方向和电量时，在所述显示屏上进行显示；以及

通过所述地面站选择目标无人机，随后所述地面站将所述目标无人机的信息处理模块推送的视频流进行解码后，在所述显示屏上显示画面，其中，

所述地面站切换目标无人机后，切断先前无人机的视频流，并显示切换的目标无人机推送的视频流的画面；以及

当第一无人机识别到特定目标，并且所述地面站显示的视频流不是所述第一无人机推送的视频流时，所述地面站提供提示，操作员根据所述提示将当前画面切换至所述第一无人机推送的视频流的画面。

8.根据权利要求1所述的用于集散式异构无人机集群的协同处理系统，其特征在于，所述地面站包括任务输入模块和任务执行确认模块，其中，

所述任务输入模块，用于在无人机飞行前进入任务信息输入画面，并在所述任务信息输入画面中设置所述任务信息，其中，所述任务信息包括无人机数量、任务区域和禁飞区域，以通过数据链将所述任务信息发送给执行任务的所有无人机的信息处理模块；

所述任务执行确认模块，用于在所述显示屏的显示画面下方由小到大排列出在当前光电吊舱画面中识别到的所有目标的ID号，确认待搜索目标的ID号，并将目标确认指令上传至对应无人机的信息处理模块。

9.一种用于集散式异构无人机集群的协同处理方法，其特征在于，包括：

在所有无人机上电后，在地面站选择任务区域和禁飞区域，选择执行任务的无人机种类、数量及对应编号，并且所述地面站确认后，将任务信息上传至各无人机的信息处理模块；

在所述信息处理模块中，根据所述地面站的任务信息由主机规划整体航迹，然后多个无人机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行；

在飞行过程中，基于所述视频帧进行目标识别和目标定位，其中，通过所述地面站随时修改所述任务信息，实时根据修改的任务信息规划出修改航迹。

10.根据权利要求9所述的用于集散式异构无人机集群的协同处理方法，其特征在于，根据所述地面站的任务信息规划整体航迹，然后所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行进一步包括：

从所述地面站同时接收到任务信息后，各个无人机推举本机构型的临时主机，其中，通过所述临时主机设计本机构型的整体航迹并将所述整体航迹分发给同构型的临时从机；以及所述临时主机和所述临时从机根据所述整体航迹规划自身航迹并将所述自身航迹发送给所述飞行控制器执行，其中，

在飞行过程中，无人机根据战场态势设立禁飞区域，通过数据链共享禁飞区域的信息，所有无人机根据所述禁飞区域自主规划第一航迹，以扰开所述禁飞区域；以及

在飞行过程中，接收所有无人机的位置、速度信息，并根据无人机相对位置、速度差及覆盖区域大小，实时改变自身飞行速度及方向，并发送给自身飞行控制器，以控制无人机以一定队形对任务区域进行搜索覆盖。

Images