CN112381454A

CN112381454A - 基于角色的多智能体任务协同系统

Info

Publication number: CN112381454A
Application number: CN202011408940.6A
Authority: CN
Inventors: 陈琳; 武利娟; 刘尚卿; 段旭磊; 其他发明人请求不公开姓名
Original assignee: Pla 96901; Institute of Automation of Chinese Academy of Science
Current assignee: Pla 96901; Institute of Automation of Chinese Academy of Science
Priority date: 2020-12-04
Filing date: 2020-12-04
Publication date: 2021-02-19
Anticipated expiration: 2040-12-04
Also published as: CN112381454B

Abstract

本发明属于多智能体调度领域，具体涉及一种基于角色的多智能体任务协同系统，旨在为了解决现有多智能体任务协作系统的鲁棒性不高的问题。本发明系统包括第一单元、第二单元、第三单元；第一单元，配置为将输入任务拆解为一组子任务，并基于行为树建立各子任务之间组织关系，得到任务分解策略，构建子任务树；第二单元，配置为基于预设的角色‑任务的映射关系与分配算法，依据所述子任务树进行子任务的角色分配，得到角色分配策略；第三单元，配置为基于预设的智能体‑角色的关系与分配算法，将任务配置后的角色配置到智能体，输出智能体调度策略。本发明实现了复杂环境下的任务建模和角色分配，提高了多智能体任务协作系统的鲁棒性。

Description

基于角色的多智能体任务协同系统

技术领域

本发明属于多智能体调度领域，具体涉及一种基于角色的多智能体任务协同系统。

背景技术

目前常见的多智能体体系架构中没有采用角色。现有研究工作往往将角色定义为仅发生在分析阶段的概念，从用例中抽象出来的角色往往用于概念化理解系统。在分析阶段之后，它们在已实现的系统中并没有实现。在大多数情况下，所有角色都是原子结构，不能根据其他角色定义。但是在异构系统中，动态变化的未知环境下，为实现动态分配任务、提高集群系统的鲁棒性，角色层的设计和实现将起到关键的作用。因此，本发明提出的基于角色的任务协同系统框架，对解决分布式异构多智能体的协同任务与角色分配问题具有重要意义。

发明内容

为了解决现有技术中的上述问题，即为了解决现有多智能体任务协作系统鲁棒性不高的问题，本发明提出了一种基于角色的多智能体任务协同调度系统，包括第一单元、第二单元、第三单元；

所述第一单元，配置为将输入任务拆解为一组子任务，并基于行为树建立各子任务之间组织关系，得到任务分解策略，构建子任务树；

所述第二单元，配置为基于预设的角色-任务的映射关系与分配算法，依据所述子任务树进行子任务的角色分配，得到角色分配策略；

所述第三单元，配置为基于预设的智能体-角色的关系与分配算法，将任务配置后的角色配置到智能体，输出智能体调度策略。

在一些优选实施方式中，该系统还包括第四单元；所述第四单元包括第一模块、第二模块、第三模块；

所述第一模块，配置为存储预设类型的任务模型；

所述第二模块，配置为依据所述子任务树，基于所述第一模块存储的任务模型生成任务实例；

所述第三模块，配置为存储所述第二模块生成的任务实例及其组织关系。

在一些优选实施方式中，所述第四单元还包括第四模块、第五模块、第六模块；

所述第四模块，配置为存储预设类型的角色模型；

所述第五模块，配置为依据所述第二模块输出的任务实例，基于所述第四模块存储的角色模型，按照所述角色分配策略配置生成角色实例；

所述第六模块，配置为存储所述第五模块生成的角色实例及各角色实例之间的关系。

在一些优选实施方式中，所述第四单元还包括第七模块、第八模块、第九模块；

所述第七模块，配置为存储预设类型的智能体模型；

所述第八模块，配置为依据所述第五模块输出的角色实例，基于所述第七模块存储的智能体模型，按照所述智能体调度策略配置生成智能体实例；

所述第九模块，配置为存储所述第八模块生成的智能体实例及各智能体实例之间的关系。

在一些优选实施方式中，该系统还包括第五单元；所述第五单元配置为与各智能体进行信息交互，存储并更新各角色的任务状态信息。

在一些优选实施方式中，所述第一单元中基于输入任务获取对应子任务树的方法为：

对输入任务，采用领域专家定义任务分解规则，基于输入任务的组织关系，进行任务分解的自动解析，并基于行为树建立各子任务之间组织关系，得到任务分解策略，构建子任务树。

在一些优选实施方式中，该系统还包括第六单元；所述第六单元配置为进行一个或多个智能体容器的管理；所述智能体容器包括对应于所述输入任务实时更新的一组智能体实例。

在一些优选实施方式中，子任务之间组织关系包括：顺序关系、与关系、或关系。

在一些优选实施方式中，所述第一模块所存储任务模型的预设类型包括：循环任务、一次任务、序列任务、非确定性任务、中断任务。

在一些优选实施方式中，智能体可进行角色的动态切换，以执行所分配角色的一个或多个子任务。

本发明的有益效果：

本发明建立多智能体间通用的分布式自适应的协同任务处理机制，实现复杂环境下的任务建模和角色分配，提高了多智能体任务协作系统的鲁棒性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于角色的多智能体任务协同调度系统框架示意图；

图2是本发明一种实施例多层级组织结构的系统框架静态关系结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

协同任务模型体系是指面向多智能体协同控制全流程建立的任务多维知识构型及自适应配置机制，是体系架构的底层规范和指导。研究人类协作原理及基于角色的任务协同知识构型，构建基于角色的多智能体协同模型体系，建立多智能体间通用的分布式自适应的协同任务处理机制，实现复杂环境下的任务建模和角色分配。本发明在众多领域都能实现任务建模和角色分配，在复杂环境多智能体协同控制领域中表现尤为突出。

以复杂决策系统为例，面向不确定环境的多智能体集群协同模式，适用于环境复杂多变、异常事件多发的协同决策过程，多智能体任务协同既要统筹系统感知全过程，又要具备实时突发事件应急处置的能力。协同架构需支持多智能体的多级自主决策、交互协同决策及消息处理机制，因此面向不确定环境下协同感知场景的系统架构设计是本项目的关键技术。

针对不稳定环境集群任务协同问题，本发明实施借鉴人类团队合作协同中的基于角色分配的协同机制，面向多智能体系统在复杂未知或部分已知环境下的典型协同任务需求，提出面向不稳定通信环境下基于人类协同机制的角色模型体系，设计群体协同自组织协作架构及信息交互共享机制，支持多智能体协同环境认知以及面向协同任务的自适应配置。

本发明的一种基于角色的多智能体任务协同调度系统，如图1所示，包括第一单元、第二单元、第三单元；

为了更清晰地对本发明进行说明，下面结合附图对本方发明方法一种实施例进行展开详述。

本发明的一种实施例的基于角色的多智能体任务协同调度系统，包括第一单元、第二单元、第三单元；优选的还包括第四单元、第五单元。

第一单元，配置为将输入任务拆解为一组子任务，并基于行为树建立各子任务之间组织关系，得到任务分解策略，构建子任务树。第一单元中基于输入任务获取对应子任务树的方法为：对输入任务，采用领域专家定义任务分解规则，基于输入任务的组织关系，进行任务分解的自动解析，并基于行为树建立各子任务之间组织关系，得到任务分解策略，构建子任务树。子任务之间组织关系包括：顺序关系、与关系、或关系。

第二单元，配置为基于预设的角色-任务的映射关系与分配算法，依据所述子任务树进行子任务的角色分配，得到角色分配策略。

第三单元，配置为基于预设的智能体-角色的关系与分配算法，将任务配置后的角色配置到智能体，输出智能体调度策略。

第四单元包括第一模块组、第二模块组、第三模块组。

第一模块组包括第一模块、第二模块、第三模块；第一模块，配置为存储预设类型的任务模型；第二模块，配置为依据所述子任务树，基于所述第一模块存储的任务模型生成任务实例；第三模块，配置为存储所述第二模块生成的任务实例及其组织关系。第一模块所存储任务模型的预设类型包括：循环任务、一次任务、序列任务、非确定性任务、中断任务。

第二模块组包括第四模块、第五模块、第六模块；第四模块，配置为存储预设类型的角色模型；第五模块，配置为依据所述第二模块输出的任务实例，基于所述第四模块存储的角色模型，按照所述角色分配策略配置生成角色实例；第六模块，配置为存储所述第五模块生成的角色实例及各角色实例之间的关系。

第三模块组包括第四单元还包括第七模块、第八模块、第九模块；第七模块，配置为存储预设类型的智能体模型；第八模块，配置为依据所述第五模块输出的角色实例，基于所述第七模块存储的智能体模型，按照所述智能体调度策略配置生成智能体实例；第九模块，配置为存储所述第八模块生成的智能体实例及各智能体实例之间的关系。

第五单元，配置为与各智能体进行信息交互，存储并更新各角色的任务状态信息。

本实施的优选方案中，还包括第六单元；所述第六单元配置为进行一个或多个智能体容器的管理；所述智能体容器包括对应于所述输入任务实时更新的一组智能体实例。

本实施例中，智能体可进行角色的动态切换，以执行所分配角色的一个或多个子任务。

本发明可以实现全局的任务管理，融合领域知识实现任务与子任务的预分配和预定义，对任务进行分解，任务分解后将任务进行恰当的分配，实现任务的动态分配；可以实现全局的角色管理，融合领域知识实现多角色关系的管理，通过角色实例化分配、释放对象实现角色的动态切换；可以实现系统对智能体的全局宏观管理，实现智能体的创建、删除，及决策层级分配和子群管理。

下面再结合本发明的第二实施例，对本发明一个实施例的方案中多层级组织结构、多任务建模、多角色建模、智能体建模进行说明。

1、基于Agent-Role-Task(智能体-角色-任务)的多层级组织结构

集群系统是一种指挥控制系统，采用了分层式控制与交互协作的逻辑。系统框架整体的静态关系如图2所示。

任务管理模块(TaskOrganization，相当于上述实施例中的第三模块)：存储任务与子任务的分配策略和预定义，融合领域知识；并通过实例化维护各Agent、各Role中的子任务关系(树/图结构)，实现任务的动态分配；并通过中断任务机制实现异常任务响应。

任务容器模块(TaskContainer，相当于上述实施例中的第二模块)：单例模式实现。实现全局的任务管理，包括增删任务实例、任务关联关系管理等。

角色管理模块(RoleOrganization，相当于上述实施例中的第六模块)：存储多角色关联关系，融合领域知识；通过Role的实例化分配、释放对象进行对Agent的角色分配，并通过各角色内的任务类组合，实现“角色-任务”的映射与分配。

角色容器模块(RoleContainer，相当于上述实施例中的第五模块)：单例模式实现。实现全局的角色管理，包括增删角色实例、角色关联关系管理等；

智能体管理模块(AgentOrganization，相当于上述实施例中的第九模块)：根据各Agent能力、决策层级的不同单独维护，形成树状结构；对每个Agent单独维护其执行角色序列。Agent实例模块会记录与本身实例有关系的其他Agent，定义为关联关系(Relations)，是<Agent，relationship>二元组的集合。具有关系链的Agent，会共同完成目标任务，协作形成集群。

智能体容器模块(AgentContainer，相当于上述实施例中的第八模块)：实现系统对Agent的全局宏观管理，实现智能体的创建、删除，及决策层级分配(管理Agent、执行Agent)和子群(相当于上述实施例中的智能体容器)管理；支持智能体的自主决策和特殊情况下指挥权限的人为调整。

通信管理模块：存放和发布多智能体中的各类消息。在Agent里也有对应的通讯方式类，返回相应共享对象(分布式消息处理单元的句柄)，用于实现集群内和集群之间的协作。

图2中的Agent模型库、Role模型库、Task模型库相当于上述实施例中的第一模块、第三模块、第七模块，包括预设类别的模型。

2、多任务建模

(1)任务分解

在多智能体系统中，完成的是复杂任务，进行任务分解以帮助实现优化的任务分配，提高多智能体系统的高效协作完成复杂任务。分解应当遵循下而几个原则：

(a)任务的层次性原则：一个上层任务可以通过一组下层任务来实现；

(b)任务的完整性原则：子任务不能遗漏原复杂任务中的任何必要组成部分；

(c)任务的独立性原则：所划分的各子任务具有一定的相对独立性；

(d)任务的均衡性原则：均分解后的各子任务的大小、规模和任务的难易程度应该尽量均匀。

(2)任务的组织关系存储模型

任务分解的方案，采用领域专家定义任务分解规则，对指定事件下的任务的组织关系，在多智能体框架中将实现任务分解的自动解析，并通过任务管理模块动态实例化对象，建立任务间的关系。组织关系模型里主要包括两个类：TaskOrganization(任务管理模块)负责存储任务分解的树形表示，以及解析；TaskContainer(任务容器模块)是任务的管理模块，负责动态生成任务实例，维护任务实例的关系，以及任务的状态跟踪，同时跟RoleContainer(角色容器模块)角色管理模块共同驱动任务到角色的映射。

(3)任务层次模型

多智能体系统设计框架里提供了一些预定义的任务类型：循环任务、一次任务、序列任务、非确定性任务、中断任务。这些类型有助于实现Agent执行不同的任务。Task抽象类是泛型接口，用于任务调度，提供要执行的基本任务的框架。被具有特殊任务调度需求的子类实现。在程序设计时，它有两个公开方法，表示执行特定的任务doTask()以及任务调度程序使用的done()，当任务完成并可以从任务调度队列中移除时，该方法必须返回为true。当任务尚未完成时，该方法返回为false，表示必须再次执行doTask()方法。

3、多角色建模

本发明系统框架设计了基于角色的多任务系统，基本包括Role模型库，RoleOrganization(角色管理模块)和RoleContainer(角色容器模块)，实现角色之间的动态切换。通过对环境的感知，运用事件触发任务，生成角色实例，将每个子任务交给角色去完成。每个角色能够完成的任务类型不同，角色实例之间有多种关系。因此在多角色的建模中，包括两个部分：

(1)角色类的静态模型，说明角色类的基本属性与操作。主要包含智能体完成任务所对应的功能，包括各种功能属性、任务容器实例的引用、角色容器实例的引用。属性主要描述角色的特征，包括角色的ID、名称等；capabilities属性指这个角色有能力执行的一些，即该角色的能力。beTaken属性描述了角色实例是否被采用的标志，即是否已经给该角色分配了任务。Permissions属性指对角色权限的设定，在系统初始化时生成角色0实例，角色0是个管理角色，根任务实例的完成是由角色0实例承担，它负责匹配角色和任务的类型，角色之间的身份存在差异。Protocols属性设定通信协议，描述角色之间的通信协议。MsgTemplate属性设定角色间通信的数据格式。relatedRoles属性描述与该角色实例有关联的其它角色。

(2)角色组织关系模型，说明完成任务的角色之间的各种关系。本发明所述协同系统框架的角色组织关系主要功能有两个，一是任务到角色的动态映射，二是角色到Agent的动态映射。在任务分配模型中将分解后的子任务匹配给合适的角色，通过TaskContainer发起任务分配，完成任务到角色的动态映射。通过RoleContainer向AgentContainer发起角色分配，运用角色分配算法让Agent承担角色身份，通过角色到Agent的动态映射完成了动态切换角色。采用领域专家定义角色之间的关系，用有向图指定角色组织关系。多智能体框架中将实现任务到角色类型的自动解析，并通过角色管理模块动态实例化对象，建立角色实例间的关系。在获得与任务匹配的角色实例后，通过判断Agent的能力，实现角色到Agent的自动解析，最终让Agent完成相应的任务。组织关系模型里主要包括两个类：RoleOrganization负责存储角色关系表示以及解析；RoleContainer是角色的管理模块，负责动态生成角色实例，维护角色实例的关系，驱动任务->角色的映射和角色->Agent的映射。

4、智能体建模

Agent类定义内容有动作、观测值以及角色容器实例的引用。Agent属性包括AgentID、Agent名称等；动作被定义为完成任务而进行的预期推理所采取的行为；观测值定义为通过感知相关环境变化而产生的一组观测值。roles属性描述了Agent被赋予的角色集合。

需要说明的是，上述实施例提供的基于角色的多智能体任务协同调度系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

特别地，根据本公开的实施例，上文系统实施例的各部分可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于实现上述系统功能的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的框图，示出了按照本申请各种实施例的系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于角色的多智能体任务协同调度系统，其特征在于，包括第一单元、第二单元、第三单元；

2.根据权利要求1所述的基于角色的多智能体任务协同调度系统，其特征在于，该系统还包括第四单元；所述第四单元包括第一模块、第二模块、第三模块；

所述第一模块，配置为存储预设类型的任务模型；

3.根据权利要求2所述的基于角色的多智能体任务协同调度系统，其特征在于，所述第四单元还包括第四模块、第五模块、第六模块；

所述第四模块，配置为存储预设类型的角色模型；

4.根据权利要求3所述的基于角色的多智能体任务协同调度系统，其特征在于，所述第四单元还包括第七模块、第八模块、第九模块；

所述第七模块，配置为存储预设类型的智能体模型；

5.根据权利要求1-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，该系统还包括第五单元；所述第五单元配置为与各智能体进行信息交互，存储并更新各角色的任务状态信息。

6.根据权利要求1-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，所述第一单元中基于输入任务获取对应子任务树的方法为：

7.根据权利要求2-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，该系统还包括第六单元；所述第六单元配置为进行一个或多个智能体容器的管理；所述智能体容器包括对应于所述输入任务实时更新的一组智能体实例。

8.根据权利要求1-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，子任务之间组织关系包括：顺序关系、与关系、或关系。

9.根据权利要求1-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，所述第一模块所存储任务模型的预设类型包括：循环任务、一次任务、序列任务、非确定性任务、中断任务。

10.根据权利要求1-4任一项所述的基于角色的多智能体任务协同调度系统，其特征在于，智能体可进行角色的动态切换，以执行所分配角色的一个或多个子任务。