CN114115157A - 针对智能体集群不确定丢包的优化控制方法、系统和装置 - Google Patents

针对智能体集群不确定丢包的优化控制方法、系统和装置 Download PDF

Info

Publication number
CN114115157A
CN114115157A CN202111427401.1A CN202111427401A CN114115157A CN 114115157 A CN114115157 A CN 114115157A CN 202111427401 A CN202111427401 A CN 202111427401A CN 114115157 A CN114115157 A CN 114115157A
Authority
CN
China
Prior art keywords
agent
intelligent agent
intelligent
packet loss
neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111427401.1A
Other languages
English (en)
Other versions
CN114115157B (zh
Inventor
喻骁
邱佳钰
马骥
兰维瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202111427401.1A priority Critical patent/CN114115157B/zh
Publication of CN114115157A publication Critical patent/CN114115157A/zh
Application granted granted Critical
Publication of CN114115157B publication Critical patent/CN114115157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31282—Data acquisition, BDE MDE
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种针对智能体集群的不确定丢包的优化控制方法、系统和装置，该控制方法中智能体被配置为适于与至少一个作为其邻居的智能体建立通信以获取邻居当前状态信息；智能体在周期起始判断与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息，每一周期内智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合目标局部函数和下降步长对该之鞥呢提的速度进行控制，从而使该智能体集群中的智能体可以在通信过程中发生不确定数据丢包的情况下仍然可以达到最优速度的一致。

Description

针对智能体集群不确定丢包的优化控制方法、系统和装置
技术领域
本发明涉及智能体集群控制技术领域，具体涉及一种针对智能体集群的不确定丢包的优化控制方法、系统和装置。
背景技术
智能体集群控制，例如航天器控制、自动驾驶车辆控制等，使用的的控制方法一般包括集中式控制和分布式控制，其中分布式控制方式具有负载小、通信负担低、任务风险低等优势，因此在智能体集群控制中采用分布式控制方式日趋普遍。但分布式控制方式要求智能体集群中的每个智能体均需要与其邻居保持通信顺畅，从而根据邻居的状态而调整自身的状态，而实际控制运行过程中，由于通信干扰等问题，智能体无法始终保持与其邻居之间的稳定通信，二者之间可能出现数据丢包等通信问题，并且这种数据丢包是随机的，即对于智能体而言，与其邻居之间的通信情况是无法预测的，而当智能体无法与其邻居建立通信时，就会导致智能体无法获知其邻居的状态，导致最终智能体集群无法实现编队系统的最终一致性。
现有的智能体集群编队控制的工作中，往往要求测量环境处于理想状况，不允许测量噪声以及丢包等不确定性的存在。然而，在实际通信过程中，由于外界环境干扰因素的存在，信道的不确定性是不可避免的。现有研究中考虑的通信信道中丢包模型是确定的情况，即通信信道每次失效关闭的时间必须满足有界的情况，指出当动力学系统满足一定假设情况下，多自主体仍然能完成协同任务。但值得注意的是，在实际工程中，通信信道失效时间具有一定随机特性，因此并不满足有界的假设。
同时在现有研究中有通信信道的不确定性是统一的，即所有通信信道同时导通，同时关闭。这显然对于覆盖面积巨大，空间环境差异巨大的智能体集群编队，是不成立。因此，无法直接使用以上结果处理智能体集群编队控制问题。由此，一套针对非统一不确定信道的智能体集群编队控制方案，具有重要的理论意义与实践意义。
发明内容
本发明的目的在于克服背景技术中存在的上述缺陷或问题，提供一种针对智能体集群的不确定丢包的优化控制方法、系统和装置，该控制方法可以应用于智能体的实际控制，并可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
为达成上述目的，本发明采用如下技术方案：
一种针对智能体集群的不确定丢包的优化控制方法，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共同的坐标系确定；所述控制方法应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；每一所述智能体均被配置为适于与至少一个作为其邻居的其他智能体建立通信，以获取邻居当前的状态信息；其中，每一所述智能体均基于预设的重复周期在周期起始时刻判断其与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息；在每一所述周期中，每一所述智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合预设的目标局部函数和用于调整该目标局部函数的下降步长对该智能体的速度进行控制；所述目标局部函数用于引导所述智能体达到其最优速度；所述下降步长为辅助衰减函数。
进一步的，所述智能体集群由若干一阶积分器模型的智能体组成，其运动学模型为：
Figure BDA0003377334170000021
其中，xi(t)表示智能体集群中第i个智能体的状态，ui(t)为t时刻智能体的控制输入，且xi(t)和ui(t)均属于
Figure BDA0003377334170000022
此外，ui(t)其参照以下模型调整：
Figure BDA0003377334170000023
其中，xj(kT)表示智能体集群中第i个智能体的第j个邻居在所述周期内的状态；
γij(k)表示智能体集群中第i个智能体与其第j个邻居在周期起始时刻的通信状态，其为伯努利分布白色序列；
Γ(x)为以下形式的特殊函数：
Figure BDA0003377334170000024
β(t)为下降步长，其为满足以下条件的辅助衰减函数：
Figure BDA0003377334170000025
fi(x(t))为所述目标局部函数，其为连续可微的凸函数，且其对于任意意[0,1]中的实数λ和智能体集群中的任意两个智能体的状态x1和x2总有：
fi(λx1+(1-λ)x2)≤λfi(x1)+(1-λ)fi(x2)。
进一步的，所述γij(k)在不同的邻居间彼此独立。
进一步的，所述目标局部函数的和为目标总和函数，所述目标总和函数满足以下函数：
Figure BDA0003377334170000031
其中，智能体集群中第i个智能体的局部目标函数fi(x)的最优解集
Figure BDA0003377334170000032
Figure BDA0003377334170000033
非空且有界，且所述目标总和函数的最优解集
Figure BDA0003377334170000034
非空且有界。
此外，本发明还提供一种针对智能体集群的不确定丢包的优化控制系统，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共用的坐标系确定；所述控制系统应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；该控制系统包括：通信模块，其用于供所述智能体与至少一个作为其邻居的智能体建立通信并获取邻居的状态信息；周期采样模块，其用于基于预设的重复周期在周期起始时刻判断所述智能体与其邻居的通信是否正常，以使所述通信模块在该周期内仅获取被判定为通信正常的邻居的状态信息；模型构建模块，其用于根据被判定为与所述智能体在该周期内通信正常的邻居的数量和该智能体的所有邻居的数量的比值调整该智能体所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合一预设的目标函数和用于调整该目标函数的下降步长对该智能体进行控制；所述目标局部函数用于引导所述智能体达到其最优速度；所述下降步长为辅助衰减函数；和驱动控制模块，其用于根据所述模型构件模块所输出的控制量控制所述智能体运动；其中，每一所述周期内，所述智能体与其任一邻居通信状态正常的概率均大于与该邻居通信状态不正常的概率。
此外，本发明还提供一种针对智能体集群的不确定丢包的优化控制装置，其包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的针对智能体集群的不确定丢包的优化控制方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任一项所述的针对智能体集群的不确定丢包的优化控制方法的步骤。
由上述对本发明的描述可知，相对于现有技术，本发明具有如下有益效果：
本发明提供的控制方法对现有的分布式控制方法进行优化，针对智能体实际运行中可能随机出现的智能体之间的通信数据丢包的问题提出了解决方案，通过设定预设的重复周期，在每个周期起始时刻对智能体与其邻居的通信状态进行采样，可以判断在该周期起始时刻该智能体与其邻居是否处于正常通信状态，并且在该周期内仅获取在周期起始时刻判定通信状态为正常的邻居所传递的信息，同时利用本发明所提供的相应算法，即可在该周期内根据邻居的状态信息对该智能体进行相应的状态调整，并最终使得该智能体集群中的所有智能体的最优速度趋于一致，达到形成智能体集群编队的目的。
本发明提供的控制方法可以应用于智能体的实际控制，并可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的优选实施例，且不应被看作对其他实施例的排除。基于本发明实施例，本领域的普通技术人员在不作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的权利要求书、说明书中，如使用术语“包括”、“具有”以及它们的变形，意图在于“包含但不限于”。
示例性方法
本实施例公开了一种针对智能体集群的不确定丢包的优化控制方法，其中的智能体集群包括若干智能体，智能体的状态由其位置和速度表示，且智能体的位置基于一共用的坐标系确定，该控制方法应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，智能体发生数据丢包的概率小于其不发生数据丢包的概率，该控制方法主要包括：每一智能体均被配置为适于与至少一个作为其邻居的其他智能体建立通信，以获取邻居当前的状态信息；其中，每一智能体均基于预设的重复周期在周期起始时刻判断其与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息；在每一周期中，每一智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合预设的目标局部函数和用于调整该目标局部函数的下降步长对该智能体的速度进行控制；目标局部函数用于引导智能体达到其最优速度；下降步长为辅助衰减函数。
具体的，智能体集群由若干一阶积分器模型的智能体组成，基于无向图论，可用一无向图
Figure BDA0003377334170000041
来描述智能体之间的相互作用。
Figure BDA0003377334170000042
定义为由N个智能体构成的一个集合即一个智能体集群编队，则
Figure BDA0003377334170000043
就代表着一个智能体集群编队中第i个智能体。定义
Figure BDA0003377334170000044
Figure BDA0003377334170000045
为边集，即智能体之间的所有通信路径，(j,i)∈ε的边表示信息可以在某个智能体集群编队中的第i个和第j个智能体之间交换。
由于
Figure BDA0003377334170000051
是无向的，因此
Figure BDA0003377334170000052
并且
Figure BDA0003377334170000053
是对称的。
用非负矩阵
Figure BDA0003377334170000054
表示无向图
Figure BDA0003377334170000055
的加权邻接矩阵，如果第i个智能体与第j个智能体之间存在路径进行信息交互，则aij＝1，若没有这样的路径，则aij＝0。
第i个智能体的邻域集
Figure BDA0003377334170000056
即邻居。
该无向图的拉普拉斯矩阵
Figure BDA0003377334170000057
定义为，如果i≠j，则lij＝-aij，否则
Figure BDA0003377334170000058
如果智能体集群构成的网络是连通的，那么拉普拉斯矩阵
Figure BDA0003377334170000059
包含一个零特征值并且所有特征都是实数，则
Figure BDA00033773341700000510
的特征值可以排序为
Figure BDA00033773341700000511
由N个智能体组成的智能体集群的运动模型被描述为：
Figure BDA00033773341700000512
其中，xi(t)表示智能体集群中第i个智能体的状态，ui(t)为t时刻智能体的控制输入，且xi(t)和ui(t)均属于
Figure BDA00033773341700000513
并且，假设对任意两个智能体i和j达到
Figure BDA00033773341700000514
渐进稳定，其数学表达式为
Figure BDA00033773341700000515
其中E{·}表示数学期望，‖x‖表示
Figure BDA00033773341700000516
的二范数，由上式可知其概率上的共识的数学表达式
Figure BDA00033773341700000517
其中∈是大于0的常数。
同时，如果
Figure BDA00033773341700000518
则说明xi(t)在概率上渐进收敛到最优集合X*，其中
Figure BDA00033773341700000519
Figure BDA00033773341700000520
此外，ui(t)其参照以下模型调整：
Figure BDA00033773341700000521
其中，xj(kT)表示智能体集群中第i个智能体的第j个邻居在周期T内的状态；
γij(k)表示智能体集群中第i个智能体与其第j个邻居在周期起始时刻的通信状态，其为伯努利分布白色序列，其只具有0和1两个值，并且定义：
P{γij(k)＝1}＝E{γij(k)}＝pij
P{γij(k)＝0}＝1-E{γij(k)}＝1-pij
其中，E{·}代表数学期望，其中pij的值域为(0,1]，并且在每一周期T内，表示通信状态正常的pij的值始终大于表示通信状态不正常的1-pij，这会导致在实际的控制过程中，智能体与其邻居在多数情况下是处于通信正常状态的，通信状态不正常属于少数情况。
并且，对于不同的通信信道，例如(j0,i0)∈ε和(j1,i1)∈ε，其对应的随机变量
Figure BDA0003377334170000068
和
Figure BDA0003377334170000069
彼此独立。
Γ(x)为以下形式的特殊函数：
Figure BDA0003377334170000061
β(t)为下降步长，其为满足以下条件的辅助衰减函数：
Figure BDA0003377334170000062
fi(x(t))为所述目标局部函数，其为连续可微的凸函数，且其对于任意意[0,1]中的实数λ和智能体集群中的任意两个智能体的状态x1和x2总有：
fi(λx1+(1-λ)x2)≤λfi(x1)+(1-λ)fi(x2)。
此外，
Figure BDA0003377334170000063
还可使得所有智能体的状态都收敛于目标总和的最优解，即目标总和函数的最优解，其函数表示为，
Figure BDA0003377334170000064
并且，智能体集群中第i个智能体的局部目标函数fi(x)的最优解集
Figure BDA0003377334170000065
Figure BDA0003377334170000066
非空且有界，且所述目标总和函数的最优解集
Figure BDA0003377334170000067
非空且有界。
因此，在智能体的实际控制中，每个智能体均有其自身的目标功能，并且每个智能体均可在其与其邻居之间进行状态信息的交换，通过本实施例所提供的控制方法，在进行周期采样判断智能体与其邻居通信状态的基础上，即可使每个智能体在确保自身状态的同时优化其目标局部函数，并最终使所有智能体同步收敛至目标总和函数的最优解。
基于上述说明，智能体集群的闭环系统被表述为：
Figure BDA0003377334170000071
以下对上述智能体集群的闭环系统能够达成其目的进行说明。
根据文献《Consensus in Multi-Agent Systems With Coupling Delays andSwitching Topology》(doi:10.1109/TAC.2011.2161052)的内容可知，当通信图连通时，有：
Figure BDA0003377334170000072
Figure BDA0003377334170000073
当通信图不连通时，有：
E{max||xi((k+1)T)-xj((k+1)T)||}≤max||xi(kT)-xj(kT)||,
Figure BDA0003377334170000074
即，当航天器i有邻居与之相连通，其会向着邻居的方向进行移动，当航天器i没有与之连通的邻居航天器，则最坏的情况即为自身位置不会发生改变。
在本实施例所提供的方法中，第i个智能体根据邻居j交互的信息进行自身调整的过程，其表达式为
Figure BDA0003377334170000075
定义当智能体i与邻居不产生通信丢包事件时，即智能体i是可以接收到来自邻居j的信息，那么此时智能体一定会趋向于邻居的位置进行改变，当智能体i与邻居产生通信丢包事件时，其不会基于邻居给予的信息做出改变。
随着时间推移，E{||xi(t)-xj(t)||}≤ce-rt，其呈指数收敛形式，总有一刻，第i个智能体与邻居j的速度是一致的。
考虑闭合回路系统
Figure BDA0003377334170000076
其中
Figure BDA0003377334170000077
为智能体根据最初给予的局部目标函数做出调整，以定义好的下降步长β(t)进行改变，慢慢都调整到一个最优值。由于β(t)为衰减函数，随着时间推移
Figure BDA0003377334170000078
会趋于0，此时fi(x)已达到最优解
基于
Figure BDA0003377334170000079
由此存在一个衰减函数C(t)满足
Figure BDA00033773341700000710
基于
Figure BDA0003377334170000081
的结果，我们能够得出
Figure BDA0003377334170000082
即，闭合回路系统是满足
Figure BDA0003377334170000083
一致性的。
定义
Figure BDA0003377334170000084
由于最优解集
Figure BDA0003377334170000085
是非空且有界的，存在∈>0，ω>0，当
Figure BDA0003377334170000086
有
Figure BDA0003377334170000087
基于闭合回路系统是满足
Figure BDA0003377334170000088
一致性且闭环系统中所有智能体的位置信息xi(t)是一定在我们所定义的一个半径为r的闭和球空间
Figure BDA0003377334170000089
内，
Figure BDA00033773341700000810
是连续的，以及
Figure BDA00033773341700000811
存在某时间T2>T1和正常数D，使得
Figure BDA00033773341700000812
由此可得出
Figure BDA00033773341700000813
所以
Figure BDA00033773341700000814
即本发明所设计的一种针对随机数据丢包通信问题的智能体集群的控制方法可以实现。
此外，为保证采用本实施例所提供的分布式优化控制方法所进行控制的智能体能够达成目的，在智能体的通信过程中，智能体与其邻居之间发生数据丢包的概率要小于其不发生数据丢包的概率，即对于一采样时间周期T和未发生随机性丢包的概率pij要满足如下关系且其不发生丢包的概率要大于丢包的概率，
Figure BDA00033773341700000815
其中λ2是系统拉普拉斯矩阵的一个特征值，
证明:
若已知随机性丢包的概率pij的值，那么就可以得到采样周期时间T的上界值，而且，显然发生随机性丢包的概率随着概率pij的值增大而减小，也越容易实现控制目标。并且基于时间不断地发生，其某通讯通道一直断开的概率是很小的。
引用上述内容中的“该无向图的拉普拉斯矩阵
Figure BDA0003377334170000091
定义为，如果i≠j，则lij＝-aij，否则
Figure BDA0003377334170000092
如果智能体集群构成的网络是连通的，那么拉普拉斯矩阵
Figure BDA00033773341700000915
包含一个零特征值并且所有特征都是实数，则
Figure BDA0003377334170000093
的特征值可以排序为
Figure BDA0003377334170000094
”
证明：存在一个时刻k′T>hT使得
Figure BDA0003377334170000095
由于所述的闭环系统中所有航天器的位置信息xi(t)是一定在我们所定义的一个半径为r的闭和球空间
Figure BDA0003377334170000096
内。因此存在一个正的常数M1,满足
Figure BDA0003377334170000097
Figure BDA0003377334170000098
Figure BDA0003377334170000099
Figure BDA00033773341700000910
Figure BDA00033773341700000911
上式表明
Figure BDA00033773341700000912
因此，可进一步得到如下结果：
Figure BDA00033773341700000913
得
Figure BDA00033773341700000914
示例性设备
此外，本发明的实施例还公开了一种针对智能体集群的不确定丢包的优化控制系统，该智能体集群包括若干智能体，智能体的状态由其位置和速度表示，且智能体的位置基于一共用的坐标系确定，控制系统应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，智能体发生数据丢包的概率小于其不发生数据丢包的概率；该控制系统包括：
通信模块，其用于供智能体与至少一个作为其邻居的智能体建立通信并获取邻居的状态信息；
周期采样模块，其用于基于预设的重复周期在周期起始时刻判断智能体与其邻居的通信是否正常，以使通信模块在该周期内仅获取被判定为通信正常的邻居的状态信息；
模型构建模块，其用于根据被判定为与智能体在该周期内通信正常的邻居的数量和该智能体的所有邻居的数量的比值调整该智能体所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合一预设的目标函数和用于调整该目标函数的下降步长对该智能体进行控制；目标局部函数用于引导智能体达到其最优速度；下降步长为辅助衰减函数；
驱动控制模块，其用于根据模型构件模块所输出的控制量控制智能体运动；
其中，每一周期内，智能体与其任一邻居通信状态正常的概率均大于与该邻居通信状态不正常的概率。
通过上述的控制系统，即可根据上述的控制方法对智能体集群的运动进行控制。
此外，在上述方法的基础上，本实施例还公开了一种针对智能体集群的不确定丢包的优化控制装置，其包括至少一个处理器(processor)以及存储器(memory)，还可以包括显示屏、通信接口(CommunicationsInterface)和总线。其中，处理器、显示屏、存储器和通信接口可以通过总线完成相互间的通信。显示屏设置为显示初始设置模式中预设的用户引导界面。通信接口可以传输信息。处理器可以调用存储器中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器通过运行存储在存储器中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
本发明提供的一种针对随机数据丢包通信问题的智能体集群的控制方法、系统和装置，针对智能体实际运行中可能随机出现的智能体之间的通信数据丢包的问题提出了解决方案，通过设定预设的重复周期，在每个周期起始时刻对智能体与其邻居的通信状态进行采样，可以判断在该周期起始时刻该智能体与其邻居是否处于正常通信状态，并且在该周期内仅获取在周期起始时刻判定通信状态为正常的邻居所传递的信息，同时利用本发明所提供的相应算法，即可在该周期内根据邻居的状态信息对该智能体进行相应的状态调整，并最终使得该智能体集群中的所有智能体的最优速度趋于一致，达到形成智能体集群编队的目的，其可有效解决通过分布式控制算法对智能体进行状态控制时因通信干扰等因素导致的智能体无法与其邻居达到速度一致的问题，可以使智能体集群中的每个智能体的状态均概率收敛至最优解，同时该控制方法所采用的算法计算简单，无需大型算力支持，可有效减小智能体的计算负担，适用性广泛。
上述说明书和实施例的描述，用于解释本发明保护范围，但并不构成对本发明保护范围的限定。通过本发明或上述实施例的启示，本领域普通技术人员结合公知常识、本领域的普通技术知识和/或现有技术，通过合乎逻辑的分析、推理或有限的试验可以得到的对本发明实施例或其中一部分技术特征的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对智能体集群不确定丢包的优化控制方法，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共同的坐标系确定；
所述控制方法采用分布式控制方法，并应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；
其特征是：
每一所述智能体均被配置为适于与至少一个作为其邻居的其他智能体建立通信，以获取邻居当前的状态信息；
其中，每一所述智能体均基于预设的重复周期在周期起始时刻判断其与其邻居的通信是否发生数据丢包，并在该周期内仅获取被判定为未发生数据丢包的邻居的状态信息；
在每一所述周期中，每一所述智能体根据被判定为与其未发生数据丢包的邻居的数量调整其所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合预设的目标局部函数和用于调整该目标局部函数的下降步长对该智能体的速度进行控制；
所述目标局部函数用于引导所述智能体达到其最优速度；
所述下降步长为辅助衰减函数。
2.如权利要求1所述的一种针对智能体集群不确定丢包的优化控制方法，其特征是：所述智能体集群由若干一阶积分器模型的智能体组成，其运动学模型为：
Figure FDA0003377334160000014
其中，xi(t)表示智能体集群中第i个智能体的状态，ui(t)为t时刻智能体的控制输入，且xi(t)和ui(t)均属于
Figure FDA0003377334160000013
此外，ui(t)其参照以下模型调整：
Figure FDA0003377334160000011
其中，xj(kT)表示智能体集群中第i个智能体的第j个邻居在所述周期内的状态；
γij(k)表示智能体集群中第i个智能体与其第j个邻居在周期起始时刻的通信状态，其为伯努利分布白色序列；
Γ(x)为以下形式的特殊函数：
Figure FDA0003377334160000012
β(t)为下降步长，其为满足以下条件的辅助衰减函数：
Figure FDA0003377334160000021
fi(x(t))为所述目标局部函数，其为连续可微的凸函数，且其对于任意意[0，1]中的实数λ和智能体集群中的任意两个智能体的状态x1和x2总有：
fi(λx1+(1-λ)x2)≤λfi(x1)+(1-λ)fi(x2)。
3.如权利要求2所述的一种针对智能体集群不确定丢包的优化控制方法，其特征是，所述γij(k)在不同的邻居间彼此独立。
4.如权利要求3所述的一种针对智能体集群不确定丢包的优化控制方法，其特征是，所述目标局部函数的和为目标总和函数，所述目标总和函数满足以下函数：
Figure FDA0003377334160000022
其中，智能体集群中第i个智能体的局部目标函数fi(x)的最优解集
Figure FDA0003377334160000023
非空且有界，且所述目标总和函数的最优解集
Figure FDA0003377334160000024
非空且有界。
5.一种针对智能体集群不确定丢包的优化控制系统，所述智能体集群包括若干智能体，所述智能体的状态由其位置和速度表示，且所述智能体的位置基于一共用的坐标系确定；
所述控制系统采用分布式控制方法，并应用于在通信过程中发生不确定数据丢包的智能体，且在通信过程中，所述智能体发生数据丢包的概率小于其不发生数据丢包的概率；
其特征是，包括：
通信模块，其用于供所述智能体与至少一个作为其邻居的智能体建立通信并获取邻居的状态信息；
周期采样模块，其用于基于预设的重复周期在周期起始时刻判断所述智能体与其邻居的通信是否正常，以使所述通信模块在该周期内仅获取被判定为通信正常的邻居的状态信息；
模型构建模块，其用于根据被判定为与所述智能体在该周期内通信正常的邻居的数量和该智能体的所有邻居的数量的比值调整该智能体所获取的每一邻居的状态信息与其自身的状态信息的差值，并结合一预设的目标函数和用于调整该目标函数的下降步长对该智能体进行控制；所述目标局部函数用于引导所述智能体达到其最优速度；所述下降步长为辅助衰减函数；和
驱动控制模块，其用于根据所述模型构件模块所输出的控制量控制所述智能体运动；
其中，每一所述周期内，所述智能体与其任一邻居通信状态正常的概率均大于与该邻居通信状态不正常的概率。
6.一种针对智能体集群不确定丢包的优化控制装置，其特征是，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-4任一项所述的针对智能体集群不确定丢包的优化控制方法的步骤。
7.一种计算机可读存储介质，其特征是，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4任一项所述的针对智能体集群的不确定丢包优化控制方法的步骤。
CN202111427401.1A 2021-11-26 2021-11-26 针对智能体集群不确定丢包的优化控制方法、系统和装置 Active CN114115157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111427401.1A CN114115157B (zh) 2021-11-26 2021-11-26 针对智能体集群不确定丢包的优化控制方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111427401.1A CN114115157B (zh) 2021-11-26 2021-11-26 针对智能体集群不确定丢包的优化控制方法、系统和装置

Publications (2)

Publication Number Publication Date
CN114115157A true CN114115157A (zh) 2022-03-01
CN114115157B CN114115157B (zh) 2024-03-08

Family

ID=80370979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111427401.1A Active CN114115157B (zh) 2021-11-26 2021-11-26 针对智能体集群不确定丢包的优化控制方法、系统和装置

Country Status (1)

Country Link
CN (1) CN114115157B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278699A (zh) * 2022-06-17 2022-11-01 深圳市人工智能与机器人研究院 通信连通保持约束下的多智能体覆盖控制方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502097A (zh) * 2016-11-18 2017-03-15 厦门大学 一种基于时延滑模控制的分布式平均跟踪方法
CN109379125A (zh) * 2018-09-30 2019-02-22 北京航空航天大学 一种多智能体编队控制方法及系统
WO2019196788A1 (zh) * 2018-04-10 2019-10-17 华为技术有限公司 通信方法和通信装置
WO2020073870A1 (zh) * 2018-10-12 2020-04-16 中兴通讯股份有限公司 移动网络自优化方法、系统、终端及计算机可读存储介质
CN112311589A (zh) * 2020-09-09 2021-02-02 重庆邮电大学 多智能体在Markov切换拓扑下的分组一致控制方法
CN113110039A (zh) * 2021-04-08 2021-07-13 东北大学秦皇岛分校 一种多智能体系统的有限时间分布式聚合优化方法
CN113625747A (zh) * 2021-07-23 2021-11-09 北京航空航天大学 一种集群系统编队避障控制方法
CN113645317A (zh) * 2021-10-15 2021-11-12 中国科学院自动化研究所 一种松散的集群控制方法、装置、设备、介质和产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502097A (zh) * 2016-11-18 2017-03-15 厦门大学 一种基于时延滑模控制的分布式平均跟踪方法
WO2019196788A1 (zh) * 2018-04-10 2019-10-17 华为技术有限公司 通信方法和通信装置
CN109379125A (zh) * 2018-09-30 2019-02-22 北京航空航天大学 一种多智能体编队控制方法及系统
WO2020073870A1 (zh) * 2018-10-12 2020-04-16 中兴通讯股份有限公司 移动网络自优化方法、系统、终端及计算机可读存储介质
CN112311589A (zh) * 2020-09-09 2021-02-02 重庆邮电大学 多智能体在Markov切换拓扑下的分组一致控制方法
CN113110039A (zh) * 2021-04-08 2021-07-13 东北大学秦皇岛分校 一种多智能体系统的有限时间分布式聚合优化方法
CN113625747A (zh) * 2021-07-23 2021-11-09 北京航空航天大学 一种集群系统编队避障控制方法
CN113645317A (zh) * 2021-10-15 2021-11-12 中国科学院自动化研究所 一种松散的集群控制方法、装置、设备、介质和产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈世明;聂森;李慧敏;方华京;: "移动智能体网络的优化功率控制及同步", 华中科技大学学报(自然科学版), no. 07, 23 July 2011 (2011-07-23) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278699A (zh) * 2022-06-17 2022-11-01 深圳市人工智能与机器人研究院 通信连通保持约束下的多智能体覆盖控制方法和装置
CN115278699B (zh) * 2022-06-17 2024-01-16 深圳市人工智能与机器人研究院 通信连通保持约束下的多智能体覆盖控制方法和装置

Also Published As

Publication number Publication date
CN114115157B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN113254197A (zh) 一种基于深度强化学习的网络资源调度方法及系统
CN107766135B (zh) 移动朵云中基于粒子群和模拟退火优化的任务分配方法
CN110413392A (zh) 一种移动边缘计算场景下制定单任务迁移策略的方法
CN111050330B (zh) 移动网络自优化方法、系统、终端及计算机可读存储介质
CN110809306A (zh) 一种基于深度强化学习的终端接入选择方法
CN104994031A (zh) 一种主动队列自适应管理方法asred
Shan et al. “DRL+ FL”: An intelligent resource allocation model based on deep reinforcement learning for mobile edge computing
CN114115157A (zh) 针对智能体集群不确定丢包的优化控制方法、系统和装置
CN114285853B (zh) 设备密集型工业物联网中基于端边云协同的任务卸载方法
CN113392539B (zh) 基于联邦强化学习的机器人通信控制方法、系统及设备
CN103064743A (zh) 一种用于多机器人的资源调度方法及其资源调度系统
CN102710515B (zh) 一种适用于网络控制系统的死区调度方法
CN115665869A (zh) 基于边缘计算和有向无环图的多用户协作平台及其方法
Bae et al. Beyond max-weight scheduling: A reinforcement learning-based approach
CN111092779B (zh) 网络资源配置方法、装置、计算机设备及可读存储介质
CN110009164B (zh) 基于资源转化和互补的多功能组网雷达任务规划方法
Lu et al. Distributed task offloading for large-scale vec systems: A multi-agent deep reinforcement learning method
Tang et al. Feedback scheduling of model-based networked control systems with flexible workload
CN115116879A (zh) 一种面向晶圆表面缺陷检测的动态权值优化负载均衡算法
Fourati et al. An efficient energy saving scheme using reinforcement learning for 5G and beyond in H-CRAN
CN210640693U (zh) 一种用于微电网的数字控制器装置
US20220019871A1 (en) Method for Adapting a Software Application Executed in a Gateway
Gatsis et al. Decentralized channel access for wireless control systems
Lee et al. Multi-agent reinforcement learning for a random access game
CN116909717B (zh) 一种任务调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant