CN116260882B - 一种低通信流量的多智能体调度异步一致性方法和装置 - Google Patents

一种低通信流量的多智能体调度异步一致性方法和装置 Download PDF

Info

Publication number
CN116260882B
CN116260882B CN202310543221.2A CN202310543221A CN116260882B CN 116260882 B CN116260882 B CN 116260882B CN 202310543221 A CN202310543221 A CN 202310543221A CN 116260882 B CN116260882 B CN 116260882B
Authority
CN
China
Prior art keywords
agent
agents
task
intelligent
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310543221.2A
Other languages
English (en)
Other versions
CN116260882A (zh
Inventor
李�杰
陈润丰
王祥科
彭婷
陈钇廷
黄钰翀
刘天晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310543221.2A priority Critical patent/CN116260882B/zh
Publication of CN116260882A publication Critical patent/CN116260882A/zh
Application granted granted Critical
Publication of CN116260882B publication Critical patent/CN116260882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本申请涉及一种低通信流量的多智能体调度异步一致性方法和装置。所述方法包括:通过构建基于异步通信条件下的多智能体任务调度模型并求解,在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;在冲突解决阶段,通过比较智能体的本地任务调度信息,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,完成多智能体之间的任务调度。采用本方法能够快速解决任务冲突,有效减少发送的消息数量和通信流量,缩短总任务调度时间。

Description

一种低通信流量的多智能体调度异步一致性方法和装置
技术领域
本申请涉及多智能体任务调度技术领域,特别是涉及一种低通信流量的多智能体调度异步一致性方法和装置。
背景技术
近年来,无人机(UAV)蜂群因可用于搜救、物流配送、环境监测等而引起了研究人员的广泛关注。多智能体调度作为蜂群的一项重要技术,是对任务进行分配和定时的过程,是实现这些复杂应用的有效途径。
多智能体调度问题是旅行商问题(TSP)的一种变体,是图论中著名的NP-hard组合优化问题。它有更复杂的约束,比如时间约束,要求任务在一定的期限内完成,而任务的执行时间与智能体的路径是耦合的。此外,需要调度更多的智能体,这需要更多的计算,并加剧了原来的组合爆炸问题。
集中式调度是解决上述调度问题的一种传统方法,将智能体信息、任务信息和态势信息集中在一个集中的计算节点上,计算出调度并分发给智能体。如果能够保证集中计算节点所需信息的全面和准确,则可以据此计算出最优调度方法,但随着智能体和任务数量的增加,计算时间急剧增。即使采用遗传算法、蚁群算法、粒子群优化等启发式算法,在规模不小的情况下,也难以满足群调度的时效性。此外,为了获得集中计算节点所需的情况等信息,需要进行大量的通信,这给通信带来了很大的压力。而且一旦集中计算节点被破坏,蜂群就会完全崩溃,非常脆弱。分布式方法是一种无中心的计算方式,每个智能体都是一个计算节点,通过交互协商得到无冲突调度具有较强的灵活性和鲁棒性。此外,通过个体贪婪策略和个体只计算自己的调度机制,可以大大减少计算量,快速获得调度。基于市场的方法是最具竞争力的分布式方法,因为它自然符合群体的特点。最具代表性的调度算法,基于一致性的捆绑算法(CBBA),性能影响(PI)算法及其扩展是基于市场的方法。通过调度计算和冲突解决两个阶段的多次迭代,得到了无任务冲突的群调度算法。
然而,大多数基于市场的算法采用同步通信来解决冲突,因为它们所采用的一致性无法处理异步通信引起的无序信息到达问题。它们需要通信同步和一致的迭代轮,使得蜂群在每个迭代中等待通信的时间。如果等待时间较短,则可能无法接收到其他智能体的消息,从而影响算法的收敛。如果等待时间过长,会造成时间的严重浪费,延长调度时间。特别是在恶劣的通信环境中,包损失、延迟等加剧,为了保证智能体之间的通信完成,等待时间会被设置得更长,加剧了原本很长的调度时间。
考虑到同步方法的问题,有学者提出了一种异步方法ACBBA (AsynchronousConsensus-Based Bundle Algorithm,基于异步一致性的捆绑算法),使同步CBBA算法异步化。尽管问题是由异步通信引起的ACBBA很好地解决了的任务冲突,但是它的通信内容和一致性规则仍然需要相当多的通信流量以及发送的信息。它使用获胜者任务的时间戳,其中不仅流量随着任务数量的增加而增加,而且发送的消息数量也会增加,因为它不包含非获胜者任务的时间戳,因此一些冲突必须通过多次广播来解决,通信流量和发送消息的数量还有待减少。
发明内容
基于此,有必要针对上述技术问题,提供一种能够进一步减少基于市场的通信流量和发送消息的数量的一种低通信流量的多智能体调度异步一致性方法和装置。
一种低通信流量的多智能体调度异步一致性方法,所述方法包括:
构建基于异步通信条件下的多智能体任务调度模型并求解,其中,多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段;
在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且所述时间戳通过智能体广播本地任务调度消息进行更新;
在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛。
在其中一个实施例中,多智能体任务调度模型表示为
多智能体任务调度模型的约束条件分别为:
其中,为二进制变量,智能体i执行任务j时,/>,智能体i不执行任务j时,;/>表示智能体i执行任务j的时间,n表示智能体个数,m表示任务数;/>表示智能体i执行任务j的得分,取决于/>和/>;约束条件分别表示任意任务j最多只能由一个智能体执行,智能体i最多可以执行m个任务,以及智能体i执行任意任务j的时间/>不能超过任务j的截止日期/>,/>表示智能体集合,/>表示任务集合。
在其中一个实施例中,在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息,包括:
在调度计算阶段,智能体i根据本地信息进行连续迭代调度计算,得到智能体i的本地任务调度信息,智能体i的本地任务调度信息包括智能体i考虑的任务获胜者,任务获胜者的出价/>和时间戳/>,且时间戳/>通过智能体i广播本地任务调度消息进行更新。
在其中一个实施例中,时间戳通过智能体i广播本地任务调度信息进行更新,包括:
通过智能体i广播本地任务调度信息对所述时间戳中的组成元素进行更新,其中,作为时间戳/>中的第i个元素表示智能体i的信息更新时间,/>作为时间戳/>中的第k个元素表示其他智能体k更新智能体i信息的最新时间,表示为
其中,当智能体i与其他智能体k连接时,,/>表示智能体i获得的其他智能体k的信息更新时间;当智能体i与其他智能体k不连接时,/>表示智能体i与第三方智能体q连接时,间接获得的其他智能体k的信息更新时间。
在其中一个实施例中,在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛,包括:
在冲突解决阶段,通过获取并比较智能体i与其他智能体k考虑的任务j的本地任务调度信息,判断智能体i与其他智能体k之间是否对于任务j存在任务冲突,并将智能体i进行消息广播的广播原因矩阵中的所有元素初始化为0;
当不存在任务冲突时,不进行冲突解决;当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛;其中,下一步行为包括智能体i进行信息更新、信息保留以及信息重置,分别表示为、/>,其中,/>表示智能体i考虑的任务j的本地任务调度信息,/>表示其他智能体k考虑的任务j的本地任务调度信息。
在其中一个实施例中,智能体i根据智能体相关的异步一致性规则进行下一步行为,包括:
当智能体i与其他智能体k考虑的任务j的获胜者一致且存在时,智能体i根据智能体相关的异步一致性规则进行信息更新或保留,此时,智能体i与其他智能体k的考虑的任务获胜者的时间戳和任务获胜者的出价分别为
其中,表示智能体x考虑的任务j的获胜者,/>表示/>的时间戳,/>表示/>的出价,/>表示/>取最大时对应的智能体,/>表示智能体i考虑的任务j的获胜者,/>表示/>的时间戳,/>表示其他智能体k考虑的任务j的获胜者,/>表示/>的时间戳,且,/>表示空集;
当存在第三方智能体q,且时,智能体i根据所述智能体相关的异步一致性规则进行的下一步行为表示为
式中,p表示第四方智能体,表示其他智能体k考虑的任务获胜者q的时间戳,/>表示智能体i考虑的任务获胜者q的时间戳;
当智能体i与其他智能体k中的一方考虑的任务j的获胜者不存在,且另一方考虑的任务j的获胜者是智能体i或其他智能体k时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
当智能体i与其他智能体k考虑的任务j的获胜者都为本身时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
式中,为其他智能体k考虑的任务j获胜者的出价,/>为智能体i考虑的任务j获胜者的出价;
当智能体i与其他智能体k考虑的任务j的获胜者不一致且存在,且时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
在其中一个实施例中,当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛,包括:
当智能体i与其他智能体k之间对于任务j存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为和消息广播,并记录智能体i进行消息广播的广播原因矩阵,当智能体i当前的广播原因矩阵/>与前一次的广播原因矩阵/>相同时,记录相同广播原因的计数器c的值增加;否则,将计数器c的值清零;
根据消息广播和冲突解决判断条件,判断智能体i是否继续进行消息广播和冲突解决,当智能体停止进行消息广播和冲突解决时,记录无广播时间为;否则,将无广播时间/>置为零;
当无广播时间超过预先设置的无广播时间阈值/>时,判断所有智能体之间不存在任务冲突,所有智能体停止消息广播,多智能体之间的任务调度达到全局收敛。
在其中一个实施例中,根据消息广播和冲突解决判断条件,判断智能体i是否继续进行消息广播和冲突解决,当智能体停止进行消息广播和冲突解决时,记录无广播时间为;否则,将无广播时间/>置为零,包括:
消息广播和冲突解决判断条件,表示为
式中,为预先设置的计数器阈值,/>为广播标志,/>为任务冲突标志;
时,广播标志/>,判断智能体i停止消息广播和冲突解决,广播标志,并记录无广播时间为/>
,且智能体i与剩余的其他智能体之间不存在任务冲突时,广播标志,判断智能体i停止进行消息广播和冲突解决,并记录无广播时间为/>
,且智能体i与剩余的其他智能体之间存在任务冲突时,广播标志/>,判断智能体i继续进行消息广播和冲突解决,并将无广播时间/>置为零。
在其中一个实施例中,在所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛之后,还包括:
根据发送收敛条件判断单个智能体是否收敛,当单个智能体没有发送消息的时间间隔超过发送消息的时间间隔阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,发送消息的时间间隔阈值为发送消息之间的最大持续时间时间;
根据信息化融合条件判断单个智能体是否完成收敛,当单个智能体的个体信息未改变的时间低于信息未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,信息未改变时间阈值为个体信息未改变的最长时间;
根据时间表收敛条件判断单个智能体是否完成收敛,当单个智能体的个体调度未改变的时间低于个体调度未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,个体调度未改变时间阈值为个体调度未改变的最长时间。
一种低通信流量的多智能体调度异步一致性装置,所述装置包括:
模型构建模块,用于构建基于异步通信条件下的多智能体任务调度模型并求解,其中,多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段;
调度计算模块,用于在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且时间戳通过智能体广播本地任务调度消息进行更新;
冲突解决模块,用于在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛。
上述一种低通信流量的多智能体调度异步一致性方法和装置,相比于现有技术,有益效果在于:
(1)在调度计算阶段,智能体通过广播本地任务调度信息对时间戳进行更新,减少了原始任务信息更新时间戳的通信流量,新的时间戳包含了更多的非获胜者的信息,这有助于更快地解决任务冲突。
(2)在冲突解决阶段,根据智能体相关的异步一致性规则和消息避免机制来解决任务冲突,有效地解决了信息无序到达的问题,并潜在地减少了发送的消息数量,以避免由于丢包、链路断裂、节点退出等通信问题而导致的无休止广播。
附图说明
图1为一个实施例中一种低通信流量的多智能体调度异步一致性方法的流程示意图;
图2为一个实施例中异步框架示意图;
图3为一个实施例中运行一种低通信流量的多智能体调度异步一致性方法的总体架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种低通信流量的多智能体调度异步一致性方法,包括以下步骤:
S1、构建基于异步通信条件下的多智能体任务调度模型并求解,其中,多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段。
S2、在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且所述时间戳通过智能体广播本地任务调度消息进行更新。
S3、在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛。
结合图2可以知道,本申请提供的一种低通信流量的多智能体调度异步一致性方法是在异步框架下进行,异步框架可以避免浪费时间等待,它采用智能体相关的异步一致性规则来解决智能体与其他智能体的冲突,尽管它们处于不同的迭代中,减少了计算后等待通信的时间和冲突解决前等待同步通信的时间,虽然智能体需要更多的迭代,但每次迭代的时间变短,总调度时间变短,
在其中一个实施例中,多智能体任务调度模型表示为
多智能体任务调度模型的约束条件分别为:
其中,为二进制变量,智能体i执行任务j时,/>,智能体i不执行任务j时,;/>表示智能体i执行任务j的时间,n表示智能体个数,m表示任务数;/>表示智能体i执行任务j的得分,取决于/>和/>;约束条件分别表示任意任务j最多只能由一个智能体执行,智能体i最多可以执行m个任务,以及智能体i执行任意任务j的时间/>不能超过任务j的截止日期/>,/>表示智能体集合,/>表示任务集合。
在其中一个实施例中,在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息,包括:
在调度计算阶段,智能体i根据本地信息进行连续迭代调度计算,得到智能体i的本地任务调度信息,智能体i的本地任务调度信息包括智能体i考虑的任务获胜者,任务获胜者的出价/>和时间戳/>,且时间戳/>通过智能体i广播本地任务调度消息进行更新。
在其中一个实施例中,时间戳通过智能体i广播本地任务调度信息进行更新,包括:
通过智能体i广播本地任务调度信息对所述时间戳中的组成元素进行更新,其中,作为时间戳/>中的第i个元素表示智能体i的信息更新时间,/>作为时间戳/>中的第k个元素表示其他智能体k更新智能体i信息的最新时间,表示为
其中,当智能体i与其他智能体k连接时,,/>表示智能体i获得的其他智能体k的信息更新时间;当智能体i与其他智能体k不连接时,/>表示智能体i与第三方智能体q连接时,间接获得的其他智能体k的信息更新时间。
可以理解,时间戳n个智能体更新智能体i所拥有的信息时,而不是m个任务的信息被获胜者的更新时间,这样可以将属于同一智能体的各种任务的任务相关时间戳统一为单个智能体时间戳,将通信流量(单位:4B)从m减少到n,减少了发送的消息数量和通信流量,而且时间戳/>还包括任务相关时间戳中缺失的非任务赢家的更新时间,允许智能体判断第三方消息的有效性,并决定是否更新他们的信息。此外,在时间戳进行更新时,每个智能体都能获取其他智能体的信息更新时间,促进智能体相关的异步一致性规则的设计,以进一步减少发送的消息数量。
在其中一个实施例中,在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛,包括:
在冲突解决阶段,通过获取并比较智能体i(接收者)与其他智能体k(发送者)考虑的任务j的本地任务调度信息,判断智能体i与其他智能体k之间是否对于任务j存在任务冲突,并将智能体i进行消息广播的广播原因矩阵中的所有元素初始化为0;
当不存在任务冲突时,不进行冲突解决;当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛;其中,下一步行为包括智能体i进行信息更新、信息保留以及信息重置。具体地,信息更新、信息保留以及信息重置分别表示为:
1) 信息更新:,/>,/>,缩写为/>
2) 信息保留:,/>,/>,缩写为/>
3) 信息重置:,/>,/>,缩写为/>
其中,表示智能体i考虑的任务j的获胜者,/>表示其他智能体k考虑的任务j的获胜者,/>是智能体i考虑的任务j获胜者的出价,/>是其他智能体k考虑的任务j获胜者的出价,/>表示/>的时间戳,/>表示/>的时间戳,/>表示无广播时间阈值,/>表示智能体i考虑的任务j的本地任务调度信息,/>表示其他智能体k考虑的任务j的本地任务调度信息。
在其中一个实施例中,智能体i根据智能体相关的异步一致性规则进行下一步行为,包括以下五种典型情况:
案例1(相互一致性):当智能体i与其他智能体k考虑的任务j的获胜者一致且存在时,智能体i根据智能体相关的异步一致性规则进行信息更新或保留,此时,智能体i与其他智能体k的考虑的任务获胜者的时间戳和任务获胜者的出价分别为
其中,表示智能体x考虑的任务j的获胜者,/>表示/>的时间戳,/>表示/>的出价,/>表示/>取最大时对应的智能体,/>表示智能体i考虑的任务j的获胜者,/>表示/>的时间戳,/>表示其他智能体k考虑的任务j的获胜者,/>表示/>的时间戳,且,/>表示空集。
此时,智能体i和其他智能体k都将拥有最新的任务获胜者的时间戳/>和任务j的出价/>
案例2(第三方消息):当存在第三方智能体q,且时,智能体i根据所述智能体相关的异步一致性规则进行的下一步行为表示为
式中,p表示第四方智能体,表示其他智能体k考虑的任务获胜者q的时间戳,/>表示智能体i考虑的任务获胜者q的时间戳;此时,智能体i将根据其他智能体k的消息更新其任务j的信息,需要注意的是,例外情况是智能体i认为自己或其他智能体/>是任务j的赢家,这时需要更高的出价/>作为附加条件。
案例3(单边无):当智能体i与其他智能体k中的一方考虑的任务j的获胜者不存在,且另一方考虑的任务j的获胜者是智能体i或其他智能体k时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
案例4(双方):当智能体i与其他智能体k考虑的任务j的获胜者都为本身时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
式中,为其他智能体k考虑的任务j获胜者的出价,/>为智能体i考虑的任务j获胜者的出价。此时,如果智能体i的出价/>低于其他智能体k的出价/>,则更新智能体i关于任务j的信息;若智能体i的出价/>高于其他智能体k的出价/>,则保留智能体i关于任务j的信息;当二者的出价相等时(/>),指数ID最小的智能体获胜。
案例5 (时间戳互斥):当智能体i与其他智能体k考虑的任务j的获胜者不一致且存在,且时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
此时,智能体i和其他智能体k考虑的任务j的获胜者可能是集合中的一个元素,但其他智能体k自身的时间戳/>不能小于智能体i的时间戳。
除上述五种典型情况外,还有其他的情况,详细的智能体相关的异步一致性规则如表1(a)和表1(b)所示,其中,根据智能体i是否传播其信息,将其分为广播和不广播两种类型。保留和不广播(如果没有指定)是本申请的默认行为。
表1(a) 智能体相关的异步一致性规则
表1(b) 智能体相关的异步一致性规则
上述表1(a)和表1(b)中记载的智能体相关的异步一致性规则还存在以下特性:
1) 快速一致性(表1(a)第6、7、8行):当智能体i(接收方)认为任务j的获胜者是第三方智能体q时,如果其他智能体k(发送方)有更高的出价(表1(a)第6行)或更新的第三方智能体q的消息(表1(a)第7行),智能体i将更新自己的任务j的本地任务调度信息并进行广播,使接收方与发送方快速一致。而当其他智能体k的竞价较小时,无论时间如何,智能体i都会保持自己的信息并广播给其他智能体k(表1(a)第8行),这有助于其他智能体k与智能体i快速对齐。
2) 其他智能体的抢断(表1(a)第9、10行,表1(b)第10-12行):智能体i不仅可以打破其竞价与其他智能体相同的情况(表1(a)第2、3、20-22行),还可以帮助其他智能体提前打破竞价等价(表1(a)第9、10行,表1(b)第10-12行),通过防止冗余信息的广播,降低了网络上的通信负载。
3) 冗余检测(表1(a)第5行和第12行,表1(b)第3行和第4行):通过配置错误,接收方不进行广播。除了有冲突需要处理和转发的消息外,只有当接收方时间较长(表1(a)第5行、表1(b)第3行)或发送方时间较长(表1(a)第12行,表1(b)第4行)时才需要广播,这有助于减少发送的消息数量并改进收敛速度。
4)谨慎更新(表1(a)第17、20行,表1(b)第1、5、6、13和17行):拟议的规则在更新时更加谨慎,不仅依赖于出价,而且依赖于时间,从而避免了高出价与旧时间的干扰。
5)避免传播错误信息(表1(a)第13、14行,表1(b)第7行):当收到消息后难以做出判断时,使用重置来避免错误更新,避免传播不确定的信息。
可以理解,本申请提供的智能体相关的异步一致性规则的更新和传播方式快速谨慎,不仅对接收到的信息做出了更多的判断更快地解决任务冲突,但也更加谨慎地传播信息,并减少解决冲突所需发送的消息数量。
在其中一个实施例中,当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛,包括:
当智能体i与其他智能体k之间对于任务j存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为和消息广播,并记录智能体i进行消息广播的广播原因矩阵,当智能体i当前的广播原因矩阵/>与前一次的广播原因矩阵/>相同时,记录相同广播原因的计数器c的值增加;否则,将计数器c的值清零;
根据消息广播和冲突解决判断条件,判断智能体i是否继续进行消息广播和冲突解决,当智能体停止进行消息广播和冲突解决时,记录无广播时间为;否则,将无广播时间/>置为零;
当无广播时间超过预先设置的无广播时间阈值/>时,判断所有智能体之间不存在任务冲突,所有智能体停止消息广播,多智能体之间的任务调度达到全局收敛。
具体地,消息广播和冲突解决判断条件,表示为
式中,为预先设置的计数器阈值,/>为广播标志,/>为任务冲突标志;
时,广播标志/>,判断智能体i停止消息广播和冲突解决,广播标志,并记录无广播时间为/>;当/>,且智能体i与剩余的其他智能体之间不存在任务冲突时,广播标志/>,判断智能体i停止进行消息广播和冲突解决,并记录无广播时间为/>;当/>,且智能体i与剩余的其他智能体之间存在任务冲突时,广播标志/>,判断智能体i继续进行消息广播和冲突解决,并将无广播时间/>置为零。
可以理解,消息泛洪避免机制通过限制智能体不浪费通信资源继续广播它无用的消息,避免造成由于丢包、链路断裂、节点退出等通信问题而导致的网络消息泛滥和调度算法无法收敛。
在其中一个实施例中,在所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛之后,还包括:
根据发送收敛条件判断单个智能体是否收敛,当单个智能体没有发送消息的时间间隔超过发送消息的时间间隔阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,发送消息的时间间隔阈值为发送消息之间的最大持续时间时间。可以理解,单个智能体发送消息的原因可能是它自己的信息刚刚被更正,也可能是其他人的信息需要更正。
根据信息化融合条件判断单个智能体是否完成收敛,当单个智能体的个体信息未改变的时间低于信息未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,信息未改变时间阈值为个体信息未改变的最长时间。可以理解,由于个体信息不仅包含个体的任务,而且还包含其他主体的任务,因此它就像是个体已知的所有任务的个体收敛。
根据时间表收敛条件判断单个智能体是否完成收敛,当单个智能体的个体调度未改变的时间低于个体调度未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,个体调度未改变时间阈值为个体调度未改变的最长时间。可以理解,因为个体调度只是个体要做的任务,只要任务与其他智能体没有冲突就可以执行,这是个体收敛的最小条件。
可以理解,由于单个调度算法连续运行,因此单个调度算法需要知道何时可以开始执行当前调度。很容易知道,当全网没有智能体发送消息时,全网所有智能体都与当前调度一致,即全局收敛,此时执行当前调度的单个智能体必须是无冲突的。但是,个体不可能知道什么时候整个网络是沉默的,这时就需要探索个体的收敛。并且采用哪种个体收敛方式主要取决于统计前阈值是否有规律,或者变化不大。如果阈值不具有统计规律性,则不能作为判断条件。如果在统计中阈值随着条件的不同而不同,可以根据实际情况选择一个值。如果阈值在统计上变化不大,且受不断变化的条件影响较小,则上限为限制值可以直接作为阈值。可以发现,最佳阈值是在各种条件下变化不大的值,因此在任何条件下都可以采用相同的阈值。
在其中一个实施例中,如图3所示,本申请还提供了以双线程的形式运行一种低通信流量的多智能体调度异步一致性方法的总体架构,图3中的参数表示路径,/>表示标价,T2表示任务2,Mi表示任务i。Mk表示任务k。图3中线程1是调度算法的主进程,线程2是连续接收其他智能体消息而不挂起的接收者,这使得算法对于通信时延较长等通信退化具有更强的鲁棒性。在线程1中,调度计算和冲突解决循环进行,直到收敛。调度计算是将个体更新后的调度信息整合到冲突解决后的无冲突信息中。大致来说,首先删除与无冲突信息相矛盾的任务,然后添加出价高于当前获胜者的任务。最后,生成该迭代的局部调度,并在智能体i的信息中进行更新。随后,在冲突解决阶段,广播智能体i的信息,并获得其他智能体的最新消息。智能体i和其他智能体通过与智能体相关的异步一致性规则进行解析,从而获得无冲突信息。值得一提的是,在获取其他智能体的最新消息时,是将已经在线程2中获得的其他智能体的最新消息更新到本地缓冲区。在线程2中,接收者总是运行以接收其他智能体的消息,这确保了其他智能体的本地信息是最新的。如前所述,消息内容是任务获胜者/>、任务获胜者出价/>和其他智能体k的时间戳/>
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种低通信流量的多智能体调度异步一致性装置,包括:模型构建模块、调度计算模块和冲突解决模块,其中:
模型构建模块,用于构建基于异步通信条件下的多智能体任务调度模型并求解,其中,多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段;
调度计算模块,用于在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且时间戳通过智能体广播本地任务调度消息进行更新;
冲突解决模块,用于在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛。
关于低通信流量的多智能体调度异步一致性装置的具体限定可以参见上文中对于低通信流量的多智能体调度异步一致性方法的限定,在此不再赘述。上述低通信流量的多智能体调度异步一致性装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种低通信流量的多智能体调度异步一致性方法,其特征在于,所述方法包括:
构建基于异步通信条件下的多智能体任务调度模型并求解,其中,所述多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段;
在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且所述时间戳通过智能体广播本地任务调度消息进行更新;
在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛;
其中,时间戳通过智能体i广播本地任务调度信息进行更新,包括:
通过智能体i广播本地任务调度信息对所述时间戳中的组成元素进行更新,其中,/>作为时间戳/>中的第i个元素表示智能体i的信息更新时间,/>作为时间戳/>中的第k个元素表示其他智能体k更新智能体i信息的最新时间,表示为
其中,当智能体i与其他智能体k连接时,,/>表示智能体i获得的其他智能体k的信息更新时间;当智能体i与其他智能体k不连接时,/>表示智能体i与第三方智能体q连接时,间接获得的其他智能体k的信息更新时间。
2.根据权利要求1所述的方法,其特征在于,所述多智能体任务调度模型表示为
所述多智能体任务调度模型的约束条件分别为:
其中,为二进制变量,智能体i执行任务j时,/>,智能体i不执行任务j时,;/>表示智能体i执行任务j的时间,n表示智能体个数,m表示任务数;/>表示智能体i执行任务j的得分,取决于/>和/>;所述约束条件分别表示任意任务j最多只能由一个智能体执行,智能体i最多可以执行m个任务,以及智能体i执行任意任务j的时间/>不能超过任务j的截止日期/>,/>表示智能体集合,/>表示任务集合。
3.根据权利要求1所述的方法,其特征在于,在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息,包括:
在调度计算阶段,智能体i根据本地信息进行连续迭代调度计算,得到智能体i的本地任务调度信息,所述智能体i的本地任务调度信息包括智能体i考虑的任务获胜者,任务获胜者的出价/>和时间戳/>,且所述时间戳/>通过智能体i广播本地任务调度信息进行更新。
4.根据权利要求1所述的方法,在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛,包括:
在冲突解决阶段,通过获取并比较智能体i与其他智能体k考虑的任务j的本地任务调度信息,判断智能体i与其他智能体k之间是否对于任务j存在任务冲突,并将智能体i进行消息广播的广播原因矩阵中的所有元素初始化为0;
当不存在任务冲突时,不进行冲突解决;当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛;其中,所述下一步行为包括智能体i进行信息更新、信息保留以及信息重置,分别表示为、/>,其中,/>表示智能体i考虑的任务j的本地任务调度信息,/>表示其他智能体k考虑的任务j的本地任务调度信息。
5.根据权利要求4所述的方法,其特征在于,智能体i根据智能体相关的异步一致性规则进行下一步行为,包括:
当智能体i与其他智能体k考虑的任务j的获胜者一致且存在时,智能体i根据所述智能体相关的异步一致性规则进行信息更新或保留,此时,智能体i与其他智能体k考虑的任务获胜者的时间戳和任务获胜者的出价分别为
其中,表示智能体x考虑的任务j的获胜者,/>表示/>的时间戳,/>表示/>的出价,/>表示/>取最大时对应的智能体,/>表示智能体i考虑的任务j的获胜者,/>表示/>的时间戳,/>表示其他智能体k考虑的任务j的获胜者,/>表示/>的时间戳,且,/>表示空集;
当存在第三方智能体q,且时,智能体i根据所述智能体相关的异步一致性规则进行的下一步行为表示为
式中,表示第四方智能体,/>表示其他智能体k考虑的任务获胜者q的时间戳,/>表示智能体i考虑的任务获胜者q的时间戳;
当智能体i与其他智能体k中的一方考虑的任务j的获胜者不存在,且另一方考虑的任务j的获胜者是智能体i或其他智能体k时,智能体i根据所述智能体相关的异步一致性规则进行的下一步行为表示为
当智能体i与其他智能体k考虑的任务j的获胜者都为本身时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
式中,为其他智能体k考虑的任务j获胜者的出价,/>为智能体i考虑的任务j获胜者的出价;
当智能体i与其他智能体k考虑的任务j的获胜者不一致且存在,且时,智能体i根据智能体相关的异步一致性规则进行的下一步行为表示为
6.根据权利要求4所述的方法,其特征在于,当存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为,并采用消息泛洪避免机制进行消息广播,直至解决所有智能体之间的任务冲突,多智能体之间的任务调度达到全局收敛,包括:
当智能体i与其他智能体k之间对于任务j存在任务冲突时,智能体i采用智能体相关的异步一致性规则进行下一步行为和消息广播,并记录智能体i进行消息广播的广播原因矩阵,当智能体i当前的广播原因矩阵/>与前一次的广播原因矩阵/>相同时,记录相同广播原因的计数器c的值增加;否则,将计数器c的值清零;
根据消息广播和冲突解决判断条件,判断智能体i是否继续进行消息广播和冲突解决,当智能体停止进行消息广播和冲突解决时,记录无广播时间为;否则,将无广播时间/>置为零;
当所述无广播时间超过预先设置的无广播时间阈值/>时,判断所有智能体之间不存在任务冲突,所有智能体停止消息广播,多智能体之间的任务调度达到全局收敛。
7.根据权利要求6所述的方法,其特征在于,根据消息广播和冲突解决判断条件,判断智能体i是否继续进行消息广播和冲突解决,当智能体停止进行消息广播和冲突解决时,记录无广播时间为;否则,将无广播时间/>置为零,包括:
所述消息广播和冲突解决判断条件,表示为
式中,为预先设置的计数器阈值,/>为广播标志,/>为任务冲突标志;
时,广播标志/>,判断智能体i停止消息广播和冲突解决,广播标志/>,并记录无广播时间为/>
,且智能体i与剩余的其他智能体之间不存在任务冲突时,广播标志/>,判断智能体i停止进行消息广播和冲突解决,并记录无广播时间为/>
,且智能体i与剩余的其他智能体之间存在任务冲突时,广播标志/>,判断智能体i继续进行消息广播和冲突解决,并将无广播时间/>置为零。
8.根据权利要求1所述的方法,其特征在于,在所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛之后,还包括:
根据发送收敛条件判断单个智能体是否收敛,当单个智能体没有发送消息的时间间隔超过发送消息的时间间隔阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,所述发送消息的时间间隔阈值为发送消息之间的最大持续时间时间;
根据信息化融合条件判断单个智能体是否完成收敛,当单个智能体的个体信息未改变的时间低于信息未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,所述信息未改变时间阈值为个体信息未改变的最长时间;
根据时间表收敛条件判断单个智能体是否完成收敛,当单个智能体的个体调度未改变的时间低于个体调度未改变时间阈值时,判断单个智能体收敛;否则,判断单个智能体不收敛;其中,所述个体调度未改变时间阈值为个体调度未改变的最长时间。
9.一种低通信流量的多智能体调度异步一致性装置,其特征在于,所述装置包括:
模型构建模块,用于构建基于异步通信条件下的多智能体任务调度模型并求解,其中,所述多智能体任务调度模型的求解过程包括调度计算阶段和冲突解决阶段;
调度计算模块,用于在调度计算阶段,各智能体根据本地信息进行连续迭代调度计算,得到各智能体的本地任务调度信息;其中,各智能体的本地任务调度信息包括各智能体考虑的任务获胜者,任务获胜者的出价和时间戳,且所述时间戳通过智能体广播本地任务调度消息进行更新;
冲突解决模块,用于在冲突解决阶段,各智能体获取其他智能体的本地任务调度信息并进行比较,判断智能体之间是否存在任务冲突,并采用智能体相关的异步一致性规则和消息泛洪避免机制解决任务冲突,直至所有智能体之间不存在任务冲突,多智能体之间的任务调度达到全局收敛;
其中,时间戳通过智能体i广播本地任务调度信息进行更新,包括:
通过智能体i广播本地任务调度信息对所述时间戳中的组成元素进行更新,其中,/>作为时间戳/>中的第i个元素表示智能体i的信息更新时间,/>作为时间戳/>中的第k个元素表示其他智能体k更新智能体i信息的最新时间,表示为
其中,当智能体i与其他智能体k连接时,,/>表示智能体i获得的其他智能体k的信息更新时间;当智能体i与其他智能体k不连接时,/>表示智能体i与第三方智能体q连接时,间接获得的其他智能体k的信息更新时间。
CN202310543221.2A 2023-05-15 2023-05-15 一种低通信流量的多智能体调度异步一致性方法和装置 Active CN116260882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310543221.2A CN116260882B (zh) 2023-05-15 2023-05-15 一种低通信流量的多智能体调度异步一致性方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310543221.2A CN116260882B (zh) 2023-05-15 2023-05-15 一种低通信流量的多智能体调度异步一致性方法和装置

Publications (2)

Publication Number Publication Date
CN116260882A CN116260882A (zh) 2023-06-13
CN116260882B true CN116260882B (zh) 2023-07-28

Family

ID=86682878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310543221.2A Active CN116260882B (zh) 2023-05-15 2023-05-15 一种低通信流量的多智能体调度异步一致性方法和装置

Country Status (1)

Country Link
CN (1) CN116260882B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415690A (zh) * 2022-01-28 2022-04-29 上海仙工智能科技有限公司 一种多智能体路径规划方法、导航服务器及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076142A (ja) * 1993-04-20 1995-01-10 Mitsubishi Electric Corp マルチエージェント協調システム及びその方法
US20090222875A1 (en) * 2002-04-18 2009-09-03 Cheng David J Distributed tuner allocation and conflict resolution
US9774517B2 (en) * 2012-11-26 2017-09-26 EMC IP Holding Company LLC Correlative monitoring, analysis, and control of multi-service, multi-network systems
CN108259608B (zh) * 2018-01-19 2020-07-07 中国科学院生态环境研究中心 一种多智能体集群运算方法
CN111489049B (zh) * 2020-03-03 2022-07-05 北京理工大学 一种多智能体分布式任务分配方法
CN111836409B (zh) * 2020-06-30 2023-06-09 镇江宇诚智能装备科技有限责任公司 一种多智能体系统结构及其控制方法
CN112070383B (zh) * 2020-08-31 2022-04-12 北京理工大学 一种面向动态任务的多智能体分布式任务分配方法
CN114202168A (zh) * 2021-11-18 2022-03-18 中山大学 一种基于多智能体强化学习的协同充电方法
CN114091251B (zh) * 2021-11-19 2024-07-09 中国人民解放军国防科技大学 面向多智能体群体行为的仿真系统及方法
CN114896899B (zh) * 2022-07-15 2022-10-11 中国人民解放军国防科技大学 一种基于信息交互的多智能体分散式决策方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415690A (zh) * 2022-01-28 2022-04-29 上海仙工智能科技有限公司 一种多智能体路径规划方法、导航服务器及可读存储介质

Also Published As

Publication number Publication date
CN116260882A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US10171284B2 (en) Reachability-based coordination for cyclic dataflow
US11271799B2 (en) Blockchain consensus method, node, and system based on honey badger byzantine fault tolerance consensus mechanism
Bauer et al. ARIES: A rearrangeable inexpensive edge-based on-line Steiner algorithm
Michail et al. Naming and counting in anonymous unknown dynamic networks
US20040153473A1 (en) Method and system for synchronizing data in peer to peer networking environments
JP6931745B2 (ja) 状態更新の一貫性に基づきコンピュータクラスタを管理すること
Hong A distributed, asynchronous and incremental algorithm for nonconvex optimization: An admm based approach
WO2020238989A1 (zh) 一种调度任务处理实体的方法及装置
Beauquier et al. A self-stabilizing transformer for population protocols with covering
CN116260882B (zh) 一种低通信流量的多智能体调度异步一致性方法和装置
Hu et al. Transactional mobility in distributed content-based publish/subscribe systems
CN117061365B (zh) 一种节点选择方法、装置、设备及可读存储介质
Jergler et al. Multi-client transactions in distributed publish/subscribe systems
CN110336706B (zh) 网络报文传输处理方法和装置
Mebrek et al. Energy-efficient solution based on reinforcement learning approach in fog networks
US9767217B1 (en) Streaming graph computations in a distributed processing system
CN115168434A (zh) 一种共享存储集群数据库的数据同步方法及设备
CN116431314A (zh) 一种消息泛洪避免方法、装置、计算机设备和存储介质
Jahja et al. Sublinear Algorithms in T-interval Dynamic Networks
CN115774736B (zh) 一种数据延迟发送的numa架构时变图处理方法与装置
Ma et al. Scalable and elastic total order in content-based publish/subscribe systems
Kondru et al. Improving scalability of permissioned blockchains by making Raft Orderer to understand the underlying network topology
CN112118118B (zh) 基于反熵算法的指令通知消息广播方法及装置
CN114827174B (zh) 面向社会制造的制造资源一实多虚同步方法及系统
CN114116266B (zh) 一种基于流计算自动化拆分消息的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant