CN107798388A - 基于Multi‑Agent与DNN的测控资源调度分配的方法 - Google Patents

Abstract

本发明公开了一种基于Multi‑Agent与DNN的测控资源调度分配方法，步骤为：设计测控资源动态调度问题的3大类智能体；基于对策论的Multi‑Agent协商分配机制，对测控任务与测控资源的初步安排；创建测控任务知识库，利用具有深度学习结构的DNN深度神经网络算法对测控任务知识库进行反复训练，进而消除测控任务之间相互冲突问题；深度学习后生成测控任务动态事实库，然后根据生成的最优测控任务执行序列把任务分发至各个测控站进行准确执行。本发明通过采用基于对策论Multi‑Agent协作技术以及深度神经网络技术优化了测控资源规划与调度问题。利用DNN深度神经网络算法的深度学习过程，不断完善测控任务知识库，从而提高测控资源调度管理的动态调整和智能化执行。

Description

基于Multi-Agent与DNN的测控资源调度分配的方法

技术领域

本发明属于智能体技术领域，涉及基于Multi-Agent与DNN的测控资源调度分配的方法。

背景技术

随着世界各国航天事业的不断壮大，各个不同种类的卫星以及相应载荷对世界各地的文化、经济及军事方面起到了至关重要的作用。由于卫星种类及数量不断增多，进而引入了多星测控资源调度的相关研究。目前测控资源数量是一定的，多星测控资源调度问题指的是在测控资源有限的条件下，来研究如何针对各类卫星的测控需求和任务问题，通过对测控资源进行合理的调度和分配，使得各类卫星发挥最大的应用效能，更大的满足各类卫星的需求。在测控问题上，如果测控需求和任务很少并且没有冲突的背景下，现有的人工与智能相结合的算法即可满足需要，但随着卫星数量的不断增多，用户的测控需求种类和数量进而变得越来越多，从而使得测控压力变得越来越大。一定数量的测控资源和越来越多的测控需求间的冲突不断加大，使得测控问题的求解难度日益增大。因此，迫切需要更加智能高效的测控调度管理软件。

随着人工智能在专业领域的使用不断增多，研究人员更为重视智能化在测控资源调度和分配中的使用，多智能体系统理论(multi-agentsystem,MAS)技术被广泛地运用到实时管理系统中。为解决测控资源调度问题，本发明从实际卫星运行情况出发，结合对过往卫星实际运行数据的分析，采用Agent技术构建混合式层次结构的测控资源调度模型，运用神经网络算法，构建智能化测控资源调度系统。达到提升测控资源利用效率和自动化运行的能力。

发明内容

发明所要解决的课题是通过提供的基于对策论Multi-Agent协作技术与DNN深度神经网络相结合的测控资源调度分配方法，实现了资源约束和执行冲突的任务计划充分消解、动态感知、动态调整，使测控资源的调度过程进行智能、动态的调整，从而提升测控资源利用效率和任务的自动化运行能力。

用于解决课题的技术手段

基于Multi-Agent与DNN的测控资源调度分配的方法，具体包含如下步骤：

步骤A,设计测控资源动态调度问题的智能体；

步骤B，基于对策论的Multi-Agent协商调度分配机制，对测控任务与测控资源进行分配，生成测控任务与测控资源分配与调度的初步方案；

步骤C，创建测控任务知识库，利用具有深度学习结构的DNN深度神经网络算法对测控任务知识库进行反复训练，进而消除测控任务之间相互冲突问题；

步骤D，深度学习后生成测控任务动态事实库，进而根据生成的最优测控任务执行序列把任务分发至各个测控站进行准确执行。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，所述智能体具体包括管理者Agent、资源Agent、任务组Agent。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，在步骤B中，基于对策论Multi-Agent协作技术是一种面向多层次以及多目标问题的协商机制。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，在步骤C中，测控任务知识库中存储的是与测控任务相关的判别规则与执行规则。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，在步骤C中，深度学习结构的DNN深度神经网络的基本单位是神经元，神经网络中的每一个神经元输出都会作为其他神经元的输入。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，在步骤D中，已生成的测控任务在未分配执行之前经历过多次的推理过程而生成测控任务动态事实库。

作为本发明基于Multi-Agent与DNN的测控资源调度分配的方法的进一步优选方案，管理者Agent、资源Agent和任务组Agent具体如下：

其中，管理者Agent：测控资源分配调度的核心，负责整个测控资源调度与分配的管理工作,包括任务的分配、管理、调度以及测控资源管理；

任务Agent：包含将要被分配调度的所有任务的集合，与实际任务的关系是相互对应和映射的，正常情况下，任务Agent中的任务是动态的，随着实际测控任务的发布而产生，并且随着测控任务的结束而结束；

资源Agent：在测控资源池中用于调度的一切资源实体,且是卫星、测控站、多功能的测控设备，资源Agent直接控制着测控资源中的资源实体,位置在整个系统的最底端，可用的资源队列是资源Agent的基本信息单元,该队列是动态生成的，在资源Agent产生时刻利用外部数据生成的，并且在注册时全部发送给管理Agent。

发明效果

(1)基于对策论的Multi-Agent协调机制，建立测控资源分配优化模型测控资源调度和分配问题是比较复杂的多种约束、高矛盾的NP组合优化问题，在计算时，其难度高，强度大，需要建立问题的标准化描述，已有模型类型不同，缺乏一个统一标准，不能完全反应测控资源调度的特点，且模型集成困难。因此，通过分析航天测控资源调度问题的特点和工程需求，针对问题求解中涉及的冲突与约束条件，提出基于对策论的Multi-Agent协商机制，建立测控资源调度的Agent优化模型，通过各智能体之间协商、竞争等智能行为完成复杂测控任务的初步求解，生成测控资源的初步调度方案。

(2)提出基于DNN深度神经网络的测控任务动态推理机制，传统算法迭代寻优需要大量的预计计算，耗时多，严重影响问题求解效率，基于DNN深度神经网络的测控资源智能调度算法通过动态调节进化的参数，提高寻优能力，并且采用衰减因子改善了网络参数中梯度内容信息的计算方法，防止学习过程早熟从而陷入局部最优的不足。

(3)建立智能体协调与深度学习的测控任务专家原型系统，基于对策论的Multi-Agent协调机制的测控资源分配优化模型与基于DNN深度神经网络的测控任务动态推理机制，建立具有良好模块性和扩展性的动态学习智能调度管理专家原型系统，充分发挥已有资源的最大作用，满足日益增加的航天测控资源调度需求，并能为航天规划顶层设计提供有效的辅助决策支持。

附图说明

图1是本发明数据处理方法流程图；

图2是本发明对策论协商机制的协商过程。

具体实施方式

以下，基于附图针对本发明进行详细地说明。

下面结合附图对发明的方式进行进一步的详细描述：

1.采取的技术路线如图1所示。基于多智能体协作技术的调度方法，测控资源动态调度问题包含3大类智能体。具体内容如下：

(1)管理者Agent。测控资源分配调度的核心，负责整个测控资源调度与分配的管理工作,包括任务的分配、管理、调度以及测控资源管理等等。

(2)任务Agent。包含将要被分配调度的所有任务的集合，与实际任务的关系是相互对应和映射的。正常情况下，任务Agent中的任务是动态的，随着实际测控任务的发布而产生，并且随着测控任务的结束而结束。

(3)资源Agent。测控资源池中可以用于调度的一切资源实体,它可以是卫星、测控站、多功能的测控设备。资源Agent直接控制着测控资源中的资源实体,位置在整个系统的最底端。可用的资源队列是资源Agent的基本信息单元,该队列是动态生成的，在资源Agent产生时刻利用外部数据生成的。并且在注册时全部发送给管理Agent。

(4)基于对策论的Multi-Agent协商调度分配机制。在多智能体的多边协作商议过程中，为取得自身的最大效益值，单个Agent之间的关系是一种竞争关系，整个过程是一个互赢的过程，对于参加协商的各个Agent而言，它并不是零和的结果。将具备多属性、多层次以及多目标特点并且参加协商过程的多智能体组成的Agent集合称作基于对策论的多边协商U，在这个过程中组成的联盟Agent是随机选择的。

(5)在对策论协商机制的基础上定义Multi-Agent系统。该协商原理一般是指的面向多个目标、多个层次的问题。整个协商流程通常是通过随机的Agent进行提出的。整个过程是包含多个Agent组成的集合。该组合一般由9个不同属性构成的，基于对策论的协商机制的集合定义为：{TD，PT，TA，AA，UA，TM，LA，OA，CA}。每个属性的定义如表1所示。

(6)该协商机制协商过程如图2所示。针对需要协商的问题，某Agent可对该问题向集合中其他的Agent发出协商通知，该通知以广播的形式发送给集合中其余的Agent。对该通知感兴趣的Agent就接收发送来的邀请，接收邀请的Agent组成一个联盟。在协商时，联盟中的Agent需要对通知的问题提出自己的最大期望值并且在互相讨论的过程中提出自身的期望效益。综合各种约束条件，协商过程中联盟给出综合最高效益值，尽可能大的满足所有Agent的认可。整个过程中，各个Agent相互妥协和协商，假若不能达到共同认可的最高效益值，则整个协商过程终止。

(7)测控任务知识库。专家系统知识库中存储的是与测控任务相关的判别规则与执行规则。采用植物学中的门、纲、目、科、属、种的分类方法，每种测控任务都可以组成一颗分类树，该树是由抽象种类到具体特征构成的。利用二元产生式的规则知识表达方法进行编码，将编码好的数值形式输入神经网络，完成对测控任务相关知识的存储。在使用DNN深度学习网络进行推理的过程中，积累的历史经验也会反馈给测控任务知识库，对其进行不断的丰富。

(8)深度学习结构的DNN深度神经网络算法。一种深层次的神经网络结构，基本单位是神经元，神经网络中的每一个神经元输出都会作为其他神经元的输入。将DNN深度神经网络可以视为一种非线性动力学系统，对离散型DNN深度神经网络，可以利用一组非线性差分或者微分方程进行描述。对于系统中的稳定性可以利用能量函数进行分析描述，在符合一定的条件下，网络在运作过程当中的“能量”越来越少，最终能量趋于平衡稳定状态。如表2所示为神经元与观测任务的类比表。为了应用DNN深度神经网络算法解决以上问题，首先使测控任务类比成神经元。行代表不同的测控任务i,列代表不同的时间片j。如果任务i可以在时间片j执行，那么表中的位置(i，j)就用一个黑圆代替，否则就用白圆代替，这里黑圆和白圆表示一个神经元。DNN深度神经网络算法要实现的功能就是确定每一个任务对应在哪一个时间片进行执行表1和表2具体如下：

表1

属性	定义
		TD	Agent进行协商的线程。
PT	基于对策论的Multi-Agent协商协议。
		TA	参与协商问题的集合。
AA	Agent在协商中效用值的集合。
		UA	参与多层次、多目标协商过程的Agent集合。
TM	以自然数表示每个Agent参加协商的系统时钟。
		LA	协商主题的范围集合，是参加协商Agent间的共有部分。
OA	进行协商Agent集合中的每个Agent所属协商问题中的目标群体。
		CA	协商Agent集合中各Agent所属协商问题中的层次级别。

表2

(9)测控任务动态事实库。根据测控任务知识库中的知识，经过DNN深度神经网络算法反复计算而生成的冲突完全消解的测控任务集合。它既可以作为基于DNN推理的输入，又可以作为其的输出。DNN的推理过程是一个实时、动态的过程，如果已生成的测控任务序列尚未完全执行，已生成的测控任务又重新参与到深度学习的推理当中。所以已生成的测控任务在未分配执行之前都不是最终确定的，它们都会经历过多次的推理过程而生成测控任务动态事实库。在生成动态实时库的过程中，会有新的经验知识产生，以上过程也是不断丰富测控任务知识库的过程。

2.根据上述算法设计说明，利用实验证明算法可靠性。通过设计不同场景来验证算法对不同规模场景的适应性。场景分为三个：大规模场景、中等规模场景、小规模场景。利用STK软件模拟不同场景的初始数据，对于每颗卫星的测控任务安排为降圈测3圈次，升圈测3圈次。针对开始调度分配计划的场景为：有300多个任务分配给15个测控设施，来模拟将来测控调度分配系统面临的“卫星多、测控站少”的供求关系。

在动态智能调度专家原型系统中，通过STK星历文件，实现与STK的交互；在主界面对地面站、卫星以及相关属性进行仿真设定；在资源调度分配界面对测控调度分配依据进行设定，对测控站设施转换时间进行设定；对测控站及卫星优先级进行设定，进而调用神经网络算法，生成资源调度策略；通过代理Agent之间的互动来安排新增任务，并将各种约束条件写进交互信息，通过已设定的任务需求强度及各种场景对算法性能进行测试，并对仿真结果进行对比分析。

结果表明，采用基于对策论Multi-Agent的方法建立航天测控资源分配问题的模型,通过多Agent灵活性及智能性特点，能够对问题进行全面的描述，并且有良好的扩展性。与此同时，该算法能够针对繁杂测控问题分配到单个Agent上来完成，进而简化调度分配的流程。并且利用DNN深度神经网络算法的深度学习过程，具有模拟人工记忆的功能，因此它对每次的学习过程进行经验的累积，同时不断完善测控任务知识库，从而提高测控资源调度管理的动态调整和智能化执行。

发明未详细阐述的部分属于本领域公知技术

需要说明的是，以上说明仅是本发明的优选实施方式，应当理解，对于本领域技术人员来说，在不脱离本发明技术构思的前提下还可以做出若干改变和改进，这些都包括在本发明的保护范围内。

Claims (7)

1.基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：具体包含如下步骤：

步骤A,设计测控资源动态调度问题的智能体；

步骤B，基于对策论的Multi-Agent协商调度分配机制，对测控任务与测控资源进行分配，生成测控任务与测控资源分配与调度的初步方案；

步骤C，创建测控任务知识库，利用具有深度学习结构的DNN深度神经网络算法对测控任务知识库进行反复训练，进而消除测控任务之间相互冲突问题；

步骤D，深度学习后生成测控任务动态事实库，进而根据生成的最优测控任务执行序列把任务分发至各个测控站进行准确执行。

2.根据权利要求1所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：所述智能体具体包括管理者Agent、资源Agent、任务组Agent。

3.根据权利要求1所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：在步骤B中，基于对策论Multi-Agent协作技术是一种面向多层次以及多目标问题的协商机制。

4.根据权利要求1所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：在步骤C中，测控任务知识库中存储的是与测控任务相关的判别规则与执行规则。

5.根据权利要求1所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：在步骤C中，深度学习结构的DNN深度神经网络的基本单位是神经元，神经网络中的每一个神经元输出都会作为其他神经元的输入。

6.根据权利要求1所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：在步骤D中，已生成的测控任务在未分配执行之前经历过多次的推理过程而生成测控任务动态事实库。

7.根据权利要求2所述的基于Multi-Agent与DNN的测控资源调度分配的方法，其特征在于：管理者Agent、资源Agent和任务组Agent具体如下：

其中，管理者Agent：测控资源分配调度的核心，负责整个测控资源调度与分配的管理工作,包括任务的分配、管理、调度以及测控资源管理；

任务Agent：包含将要被分配调度的所有任务的集合，与实际任务的关系是相互对应和映射的，正常情况下，任务Agent中的任务是动态的，随着实际测控任务的发布而产生，并且随着测控任务的结束而结束；

资源Agent：在测控资源池中用于调度的一切资源实体,且是卫星、测控站、多功能的测控设备，资源Agent直接控制着测控资源中的资源实体,位置在整个系统的最底端，可用的资源队列是资源Agent的基本信息单元,该队列是动态生成的，在资源Agent产生时刻利用外部数据生成的，并且在注册时全部发送给管理Agent。