CN113300890B - 一种网络化机器学习系统的自适应通信方法 - Google Patents

一种网络化机器学习系统的自适应通信方法 Download PDF

Info

Publication number
CN113300890B
CN113300890B CN202110565504.8A CN202110565504A CN113300890B CN 113300890 B CN113300890 B CN 113300890B CN 202110565504 A CN202110565504 A CN 202110565504A CN 113300890 B CN113300890 B CN 113300890B
Authority
CN
China
Prior art keywords
agent
communication
machine learning
learning system
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110565504.8A
Other languages
English (en)
Other versions
CN113300890A (zh
Inventor
衣鹏
洪奕光
雷金龙
陈杰
李莉
梁舒
马晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110565504.8A priority Critical patent/CN113300890B/zh
Priority to PCT/CN2021/095671 priority patent/WO2022246625A1/zh
Publication of CN113300890A publication Critical patent/CN113300890A/zh
Application granted granted Critical
Publication of CN113300890B publication Critical patent/CN113300890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络化机器学习系统的自适应通信方法，网络化机器学习系统包括多个智能体，该方法包括：初始化各智能体之间的网络拓扑，使得各智能体通过通信链路连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。通过该自适应通信方法可以在保持训练效果的同时降低总的通信成本。

Description

一种网络化机器学习系统的自适应通信方法
技术领域
本发明涉及计算机技术领域，具体涉及一种网络化机器学习系统的自适应通信方法。
背景技术
近年来，随着机器学习中数据的爆炸式增长，单个计算机的存储容量已很难满足要求，且提高单机计算性能的方法成本太高，网络化系统机器学习被越来越多地应用。网络化系统包含多个具有感知、计算和通信功能的智能体，网络结构如附图1所示，图中圆点代表智能体，直线代表通信链路，该网络没有中心节点。每个智能体只存储部分数据，它们通过局部计算并将计算结果与各自的邻居通信，训练机器学习的模型。网络化系统机器学习仅依赖于智能体的局部数据、局部计算和局部通信，该方法因其自主性、鲁棒性和可扩展性比传统的集中式方法更为合理高效。
但是，网络化系统机器学习的性能常常会受到通信的影响。在实际应用中，智能体通信模块的带宽和耗电量常常是有限制的，因此智能体通信时发送的数据量也受到限制，这就需要设计高效的通信机制，在使用尽量少的通信成本的情况下，使网络化系统机器学习拥有不错的性能表现。
目前，网络化系统机器学习中的通信高效机制主要有固定量化(fixquantization)和随机稀疏(random sparsification)两种方法，固定量化就是引入量化器(quantizer)，将通信信息中的元素量化成固定点，降低通信信息的精度，达到降低通信成本的目的；随机稀疏方法是将通信信息中较小的元素稀疏为0，只传输主要信息，忽略次要信息，从而减少通信成本。
但以上方法都是开环的，要根据具体问题调节参数，费时费力，不具有普适性。我们希望开发一种具有自主调节能力的高效通信机制。
发明内容
本发明的目的是根据上述现有技术的不足之处，提供一种网络化机器学习系统的自适应通信方法，其根据智能体之间通信信息的相似度对通信链路的状态以及通信信息的稀疏度进行自适应调节，在不降低收敛精度的前提下，实现了节约通信成本的目的。
本发明目的实现由以下技术方案完成：
一种网络化机器学习系统的自适应通信方法，网络化机器学习系统包括多个智能体，所述自适应通信方法包括：
(S1)初始化各智能体之间的网络拓扑，使得各智能体通过通信链路连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；初始化之后，各通信链路处于活跃状态；
(S2)在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。
本发明的进一步改进在于，概率值的表达式为：
Figure BDA0003080563690000021
其中：i为智能体的编号，j为相邻智能体的编号；pij(t+1)为概率值；xi(t)为最新一次交换过程中智能体的通信信息；xj(t)为最新一次交换过程中来自相邻智能体的通信信息；||xi(t)-xj(t)||2表示最新一次交换的两个通信信息之间的差值的2范数；
当上述表达式的计算结果小于0时，令pij(t+1)＝Δ，Δ的取值范围为0.01≤Δ≤0.1。
本发明的进一步改进在于，当智能体与某个相邻智能体之间的通信链路在至少两个连续的时间步中均保持活跃状态时，从第二个时间步开始，该智能体与相邻智能体交换通信信息的过程中采用随机稀疏器对通信信息进行稀疏化，并根据上一时间步计算得到的概率值确定当前时间步所述随机稀疏器所采用的稀疏度；稀疏度的表示为：
sij(t)＝1-pij(t)
其中，i为所述智能体的编号，j为相邻智能体的编号。
本发明的进一步改进在于，参数a的大小与网络化机器学习系统的收敛速度负相关，参数a以及b的取值范围均为(0,1]。
本发明的进一步改进在于，网络化机器学习系统的运行的算法为QDGD算法。
本发明的进一步改进在于，所述通信信息包括梯度向量。
本发明的优点是：通过该自适应通信方法，可以在保持训练效果的同时，降低总的通信成本。对随机稀疏器所采用的稀疏度进行自适应调节，可以在确保通信质量的同时，进一步降低通信成本。
附图说明
图1为本实施例网络化机器学习系统的原理图；
图2为自适应通信方法在仿真过程中优化精度随迭代次数的变化曲线；
图3为自适应通信方法在仿真过程中优化精度随通信成本的变化曲线。
具体实施方式
以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：
实施例：本发明的实施例包括一种网络化机器学习系统的自适应通信方法，应用于网络化机器学习系统的智能体。如图1所示，网络化机器学习系统(networked machinelearning systems)使用分布式梯度下降算法，该系统包括多个智能体(agent)，图1中每个点表示一个智能体，智能体为计算机、传感器、无人机等具有计算和通信能力的实体。智能体总数n＝10，令di表示智能体i的连通度，
Figure BDA0003080563690000034
表示i的邻居的集合。每个智能体更新状态变量的公式为：
Figure BDA0003080563690000031
其中混合矩阵W＝[ωij]为双随机矩阵，当
Figure BDA0003080563690000032
时，ωij＝1/di，当
Figure BDA0003080563690000033
时，ωij＝0。
本实施的自适应通信方法具体包括以下步骤：
(S1)初始化各智能体之间的网络拓扑(network)，使得各智能体通过通信链路(communication link)连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；初始化之后，各通信链路处于活跃状态。通信链路用于交换通信信息(transform information)，本实施例中通信信息包括梯度向量。
在本实施例中，使用理想数据集，每个智能体有5条数据，数据维数为50。使用完全图作为网络拓扑的基图，即t＝1(t表示时间步)时，每个智能体的连通度(通信链路的数目)为n-1。
(S2)在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异(difference)计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。若某个通信链路不再活跃，它连接的两个智能体也停止通信。具体的，概率值的表达式为：
Figure BDA0003080563690000041
其中：i为智能体的编号，j为相邻智能体的编号；pij(t+1)为概率值；xi(t)为最新一次交换过程中智能体的通信信息；xj(t)为最新一次交换过程中来自相邻智能体的通信信息；||xi(t)-xj(t)||2表示最新一次交换的两个通信信息之间的差值的2范数(Euclideannorm)；当上述表达式的计算结果小于0时，令pij(t+1)＝Δ，Δ的取值范围为0.01≤Δ≤0.1。
上述的“最新一次交换过程”未必指的是当前时间步t所交换的通信信息。若相应的通信链路在当前时间步t不处于活跃状态，则计算概率值的过程中采用通信链路连接的两个智能体在最近一次通信过程中交换的通信信息。由于各通信链路在初始化(时间步t＝1)时均处于活跃状态，因此对于任意一个通信链路，总会有“最新一次交换过程”。
上述过程的原理是：若两个智能体的状态相等或接近时，对方的信息对自身的决策作用不大，让状态接近的两个智能体互相之间不通信，从而降低通信成本。上述概率值pij的计算过程中，最终的概率值与两个智能体的通信信息的差异度正相关。
上述表达式中，参数a的大小与网络化机器学习系统的收敛速度(convergencerate)负相关，a越小，算法的收敛速度越快，a越大，算法的收敛速度越慢。参数a以及b的取值范围均为(0,1]。参数b是状态差值的缩放比例。
将该实施例与采用固定的完全图的系统进行对比试验。试验过程中，步长a＝0.01/t0.5，实验总共跑10轮，每轮迭代10000步。实验结果如图2、3所示，图2横坐标为迭代次数，纵坐标为优化精度
Figure BDA0003080563690000042
可以看出使用自适应的网络通信算法的收敛速度与使用固定图相当。图3为优化精度随通信成本的变化曲线，说明通信成本相同时，使用自适应的拓扑动态管理可以达到更高的优化精度。
在另一些实施例中，当某个智能体与某个相邻智能体之间的通信链路在至少两个连续的时间步中均保持活跃状态时，从持续活跃的第二个时间步开始，该智能体与相邻智能体交换通信信息的过程中采用随机稀疏器(sparsifi)对通信信息进行梯度稀疏，并根据上一时间步计算得到的概率值确定当前时间步所述随机稀疏器所采用的稀疏度(sparsity)；稀疏度的表示为：
sij(t)＝1-pij(t)
其中，i为智能体的编号，j为相邻智能体的编号。
随机稀疏器Q(·)为一种将通信信息x＝[x1,…,xd]T无偏稀疏化的计算方法。每一个数据xi有pi的概率稀疏为0，有1-pi的概率被保留为xi/(1-pi)，即P(xi＝0)＝pi,P(xi＝xi/(1-pi))＝1-pi。稀疏化后，通信信息的总量减小，可节省通信带宽。
采用概率值pij对稀疏度进行调节的原理为：若上一时间步发起交换的智能体i和相邻智能体j的通信信息接近，表示本时间步二者可采用更大稀疏度，使得智能体i发出的通信信息较上一时间步更加稀疏，以降低通信成本。反之，若差异较大，则减小智能体i的稀疏度，保留更多的信息。采用这种方式，使得智能体与各相邻的智能体在交换通信信息的过程中采用各自的稀疏度，从而实现稀疏度的自适应量化。
以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种网络化机器学习系统的自适应通信方法，网络化机器学习系统包括多个智能体，其特征在于，所述自适应通信方法包括：
(S1)初始化各智能体之间的网络拓扑，使得各智能体通过通信链路连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；初始化之后，各通信链路处于活跃状态；
(S2)在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。
2.根据权利要求1所述的一种网络化机器学习系统的自适应通信方法，其特征在于，概率值的表达式为：
Figure FDA0003564393390000011
其中：t表示时间步；参数a,b的取值范围为均为(0,1]；i为智能体的编号，j为相邻智能体的编号；pij(t+1)为概率值；xi(t)为最新一次交换过程中智能体的通信信息；xj(t)为最新一次交换过程中来自相邻智能体的通信信息；||xi(t)-xj(t)||2表示最新一次交换的两个通信信息之间的差值的2范数；
当上述表达式的计算结果小于0时，令pij(t+1)＝Δ，Δ的取值范围为0.01≤Δ≤0.1。
3.根据权利要求2所述的一种网络化机器学习系统的自适应通信方法，其特征在于，当智能体与某个相邻智能体之间的通信链路在至少两个连续的时间步中均保持活跃状态时，从第二个时间步开始，该智能体与相邻智能体交换通信信息的过程中采用随机稀疏器对通信信息进行稀疏化，并根据上一时间步计算得到的概率值确定当前时间步所述随机稀疏器所采用的稀疏度；稀疏度的表示为：
sij(t)＝1-pij(t)
其中，i为所述智能体的编号，j为相邻智能体的编号。
4.根据权利要求2所述的一种网络化机器学习系统的自适应通信方法，其特征在于，参数a的大小与网络化机器学习系统的收敛速度负相关，参数a以及b的取值范围均为(0,1]。
5.根据权利要求1所述的一种网络化机器学习系统的自适应通信方法，其特征在于，网络化机器学习系统运行的算法为QDGD算法。
6.根据权利要求1所述的一种网络化机器学习系统的自适应通信方法，其特征在于，所述通信信息包括梯度向量。
CN202110565504.8A 2021-05-24 2021-05-24 一种网络化机器学习系统的自适应通信方法 Active CN113300890B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110565504.8A CN113300890B (zh) 2021-05-24 2021-05-24 一种网络化机器学习系统的自适应通信方法
PCT/CN2021/095671 WO2022246625A1 (zh) 2021-05-24 2021-05-25 一种网络化机器学习系统的自适应通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110565504.8A CN113300890B (zh) 2021-05-24 2021-05-24 一种网络化机器学习系统的自适应通信方法

Publications (2)

Publication Number Publication Date
CN113300890A CN113300890A (zh) 2021-08-24
CN113300890B true CN113300890B (zh) 2022-06-14

Family

ID=77324342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110565504.8A Active CN113300890B (zh) 2021-05-24 2021-05-24 一种网络化机器学习系统的自适应通信方法

Country Status (2)

Country Link
CN (1) CN113300890B (zh)
WO (1) WO2022246625A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592671A (zh) * 2017-10-19 2018-01-16 中国空间技术研究院 一种网络化多智能体主动变拓扑的自主协同定位方法
CN110958680A (zh) * 2019-12-09 2020-04-03 长江师范学院 面向能量效率的无人机群多智能体深度强化学习优化方法
CN111953515A (zh) * 2020-07-07 2020-11-17 西南大学 一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867673B2 (en) * 2010-07-23 2014-10-21 Qualcomm Incorporated Selective quantization of decision metrics in wireless communication
PL399698A1 (pl) * 2012-06-27 2014-01-07 Voice Lab Spólka Z Ograniczona Odpowiedzialnoscia Sposób doboru zlozonosci dyskretnego modelu akustycznego w systemie automatycznego rozpoznawania mowy
US10715395B2 (en) * 2017-11-27 2020-07-14 Massachusetts Institute Of Technology Methods and apparatus for communication network
US11509770B2 (en) * 2018-09-25 2022-11-22 International Business Machines Corporation Live agent recommendation for a human-robot symbiosis conversation system
CN109996294B (zh) * 2019-03-22 2022-07-29 东南大学 基于多智能体网络状态值差异的分布式自适应调节算法
CN110289980A (zh) * 2019-05-13 2019-09-27 南昌航空大学 采用学习自动机预测口袋交换网络链路的方法及系统
CN110287031B (zh) * 2019-07-01 2023-05-09 南京大学 一种减少分布式机器学习通信开销的方法
CN110782011B (zh) * 2019-10-21 2023-11-24 辽宁石油化工大学 一种基于强化学习的网络化多智能体系统分布式优化控制方法
CN113159331B (zh) * 2021-05-24 2023-06-30 同济大学 一种网络化机器学习系统的自适应稀疏度量化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592671A (zh) * 2017-10-19 2018-01-16 中国空间技术研究院 一种网络化多智能体主动变拓扑的自主协同定位方法
CN110958680A (zh) * 2019-12-09 2020-04-03 长江师范学院 面向能量效率的无人机群多智能体深度强化学习优化方法
CN111953515A (zh) * 2020-07-07 2020-11-17 西南大学 一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李辰龙等.《基于神经网络的多智能体量化迭代学习控制》.《电子测量技术》.2020,第43卷(第14期), *

Also Published As

Publication number Publication date
CN113300890A (zh) 2021-08-24
WO2022246625A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN112565331B (zh) 一种基于边缘计算的端-边协同联邦学习优化方法
CN109784490B (zh) 神经网络的训练方法、装置和电子设备
CN112181971A (zh) 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN113110039B (zh) 一种多智能体系统的有限时间分布式聚合优化方法
Elbir et al. A hybrid architecture for federated and centralized learning
CN113159287B (zh) 一种基于梯度稀疏的分布式深度学习方法
CN113159331B (zh) 一种网络化机器学习系统的自适应稀疏度量化方法
CN109818792B (zh) 一种基于二阶线性系统时变耦合复杂动态网络模型的控制器
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
CN111832637B (zh) 基于交替方向乘子法admm的分布式深度学习分类方法
CN116156563A (zh) 基于数字孪生的异构任务与资源端边协同调度方法
Du et al. Decentralized federated learning with markov chain based consensus for industrial iot networks
CN113300890B (zh) 一种网络化机器学习系统的自适应通信方法
CN114519306A (zh) 一种去中心化的终端节点网络模型训练方法及系统
CN113890795A (zh) 大规模mimo信道估计模型的构建方法、装置及介质
CN116484959B (zh) 量子电路处理方法、装置、设备以及存储介质
Yu et al. A data-driven distributed adaptive control approach for nonlinear multi-agent systems
CN111683023A (zh) 一种模型驱动的基于深度学习的大规模设备检测方法
CN115345306A (zh) 深度神经网络调度方法及调度器
CN114997400A (zh) 一种神经网络加速推理方法
CN113986812B (zh) 基于chnn的光片上网络映射方法及装置
Kou et al. Intelligent selection: A neural network-based mac protocol-selection mechanism for wireless ad hoc networks
CN115556090B (zh) 一种全状态约束多机械臂的快速有限时间稳定控制方法
CN112000920B (zh) 一种基于迭代处理的主对偶分布式加速优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant