CN115580891A - 基于联邦学习的流量预测模型训练方法、预测方法和装置 - Google Patents
基于联邦学习的流量预测模型训练方法、预测方法和装置 Download PDFInfo
- Publication number
- CN115580891A CN115580891A CN202211578050.9A CN202211578050A CN115580891A CN 115580891 A CN115580891 A CN 115580891A CN 202211578050 A CN202211578050 A CN 202211578050A CN 115580891 A CN115580891 A CN 115580891A
- Authority
- CN
- China
- Prior art keywords
- base station
- alliance
- wireless communication
- base stations
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000004891 communication Methods 0.000 claims abstract description 159
- 238000009826 distribution Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 2
- 230000001413 cellular effect Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 239000011541 reaction mixture Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000011273 social behavior Effects 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请提供一种基于联邦学习的流量预测模型训练方法、预测方法和装置,训练方法包括:对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟;在应用各个初始基站联盟进行联邦训练的同时,根据合作博弈方式对各个初始基站联盟中的基站进行筛选以得到各个目标基站联盟;采用各个目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型。本申请能够提高基于联邦学习训练得到的用于预测无线通信流量的全局模型性能,能够有效激励基站继续参与联邦学习,进而能够提高应用流量预测模型进行无线通信流量预测的准确性及有效性。
Description
技术领域
本申请涉及无线通信技术领域,尤其涉及基于联邦学习的流量预测模型训练方法、预测方法和装置。
背景技术
联邦学习是一种能够采用客户端/服务器(C/S)架构的分布式机器学习训练框架,多个客户端在一个中心服务器的协同之下共同训练一个算法模型。将联邦学习应用于无线通信流量预测,每个客户端仅需负责部分区域级的蜂窝流量预测,多个客户端协同起来共同进行城市全域流量预测。联邦学习所提出来的分布式算法架构对协同大范围的基站进行并行化的流量预测建模,因此,部署在客户端的流量预测模型能够保持较低的复杂度。此外,由于联邦学习是一种分布式机器学习训练框架,不需要将城市全域的流量汇聚到某一个集中节点上进行全域流量预测,因此,在预测时效性上能够保持较低的预测时延。
目前,直接将联邦学习应用于无线通信流量预测的方式面临着预测准确性不足的问题。这是因为,联邦学习算法能够获得性能提升,是基于参与联邦学习的客户端的数据样本是独立同分布(Independent Identically Distribution,IID)的假设。然而,这一假设在无线通信流量预测场景下则并不一定成立。因为在真实的无线通信网络中,基站之间的流量数据之间是呈非独立同分布(non-IDD)的。因此,将不同基站上流量分布差异性较大的流量预测模型直接融合会导致融合后的模型性能较差,甚至可能面临着部分参与联邦训练的基站的实际预测效果并不一定比该基站独自训练流量预测模型的效果更好。其次,现有的基于联邦学习的无线通信流量预测方法还面临着参与者积极性的问题。因为在联邦训练过程中,会存在有个别基站在联盟训练之后的预测性能反而不如未经过联邦训练之前的预测性能,因此会影响基站联盟整体合作的稳定性。
因此,亟需设计一种能够提高无线通信流量预测准确性并保证参与联邦训练的基站联盟稳定性的方案。
发明内容
鉴于此,本申请实施例提供了基于联邦学习的流量预测模型训练方法、预测方法和装置,以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的第一方面提供了一种基于联邦学习的流量预测模型训练方法,包括:
对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站;
应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟;
采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型。本申请的一些实施例中,所述对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,包括:
对目标区域范围内的各个基站的地理位置进行统计,计算每个基站的地理位置分别与其他基站的地理相似性;以及,对目标区域范围内的各个基站的无线通信流量分布进行统计,计算每个基站的无线通信流量分布分别与其他基站的无线通信流量分布之间的相似性;
根据每个基站分别与其他基站之间的地理位置的相似性以及无线通信流量的相似性对目标区域范围内的各个基站进行聚类,得到多个初始基站联盟。
在本申请的一些实施例中,所述对目标区域范围内的各个基站的地理位置进行统计,计算每个基站的地理位置分别与其他基站的地理相似性;对目标区域范围内的各个基站的无线通信流量分布进行统计,计算每个基站的无线通信流量分布分别与其他基站的无线通信流量分布之间的相似性,包括:
基于各个所述基站的地理位置,计算各个所述基站分别与其他基站之间的地理距离的倒数,以得到包含有每个基站分别与其他基站之间的地理距离倒数的地理相似性矩阵;
根据预获取的所述目标区域范围内的每个基站的流量概率分布值,确定每个所述基站分别与其他基站之间的流量概率分布值之和的平均值;
基于各个所述基站的流量概率分布值,以及各个所述基站分别与其他基站之间的流量概率分布值之和的平均值,分别确定各个所述基站分别与其他基站之间的KL散度;
根据各个所述基站的无线通信流量与其他基站的无线通信流量之间的KL散度,分别确定每个基站的无线通信流量分别与其他基站的无线通信流量之间的JS散度,以得到包含有每个基站分别与其他基站之间的无线通信流量的JS散度的无线通信流量相似性矩阵。
在本申请的一些实施例中,所述根据每个基站分别与其他基站之间的地理位置的相似性以及无线通信流量的相似性对目标区域范围内的各个基站进行聚类,得到多个初始基站联盟,包括:
将所述地理相似性矩阵与所述流量相似性矩阵相乘,得到目标基站网络的相似性矩阵;
基于各个所述目标基站网络的相似性矩阵进行聚类,得到各个均包含有多个基站的分簇,并将各个所述多个基站的分簇分别作为初始基站联盟。
在本申请的一些实施例中,所述根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟,包括:
在应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练的过程中,针对每个所述初始基站联盟均构建对应的基站合作博弈组,其中,所述基站合作博弈组中包含有对应的初始基站联盟中的各个基站和该初始基站联盟中的各个基站合作进行联邦学习获得的收益;
分别构建各个所述基站合作博弈组对应的联盟博弈树,在该联盟博弈树中,最高层中的一个节点为包含有对应的初始基站联盟中的所有基站的集合;位于所述最高层之下的中间层中的各个节点分别为该中间层的上一层中的所述集合的不重复子集;所述联盟博弈树的最底层中的各个节点分别为仅包含有一个基站的不重复子集;
在所述联盟博弈树中查找稳定性不满足预设的合作博弈中的超可加性原则的节点,并基于不满足超可加性原则的节点对所述联盟博弈树进行剪枝,得到目标联盟博弈树;
查找各个所述目标联盟博弈树中收益最高的以形成目标基站联盟。
在本申请的一些实施例中,所述对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型,包括:
在应用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练的过程中,采用Shapley值法对各个所述目标基站联盟的合作产生盈余进行分配,并对各个所述目标基站联盟各自本地训练得到的基站流量预测模型进行融合处理,以得到用于预测无线通信流量的流量预测模型;
将所述流量预测模型分别发送至各个所述基站,以使各个所述基站分别在本地存储所述流量预测模型。
本申请的第二方面提供了一种基于联邦学习的无线通信流量预测方法,包括:
分别接收各个目标基站联盟采用各自本地存储的用于预测无线通信流量的流量预测模型得到的当前预设时段内的区域级无线通信流量预测结果,其中,所述流量预测模型预先基于本申请的第一方面提供的所述的基于联邦学习的流量预测模型训练方法训练得到;
将各个所述区域级无线通信流量预测结果进行汇总。
本申请的另一个方面还提供了一种基于联邦学习的流量预测模型训练装置,包括:
联盟初始建立模块,用于对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站;
联盟成员筛选模块,用于应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟;
训练及成员激励模块,用于采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到各个所述目标基站联盟各自对应的用于预测无线通信流量的流量预测模型。
本申请的另一个方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请的第一方面提供的所述的基于联邦学习的流量预测模型训练方法,和/或,实现如本申请的第二方面提供的所述的基于联邦学习的无线通信流量预测方法。
本申请的另一个方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本申请的第一方面提供的所述的基于联邦学习的流量预测模型训练方法,和/或,实现如本申请的第二方面提供的所述的基于联邦学习的无线通信流量预测方法。
本申请提供的基于联邦学习的流量预测模型训练方法,首先挑选出无线通信流量分布相似的基站组成初始基站联盟,能够有效降低同一基站联盟中的各个基站的无线通信流量分布差异性,进而能够在后续对基站联盟中各个基站本地生成的基站流量预测模型融合后,提高融合得到的用于预测无线通信流量的全局模型性能,进而能够有效提高无线通信流量预测结果的准确性及有效性;然后在各个边缘服务器执行联邦训练过程中,将基站作为合作博弈的参与者,利用合作博弈对参与联邦学习的基站进行进一步筛选,能够进一步提高各个基站联盟的稳定性,能够保证参与联邦训练的基站的实际预测效果好于该基站独自训练流量预测模型的效果;而后再对合作产生盈余的进行合理分配,能够有效激励基站继续参与联邦学习,能够补偿为了基站联盟整体收益提升牺牲了个体性能的基站,能够确保基站联盟整体合作的稳定性,能够进一步提高融合得到的用于预测无线通信流量的全局模型性能,进而能够进一步提高无线通信流量预测结果的准确性及有效性。
本申请的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本申请实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,并不构成对本申请的限定。附图中的部件不是成比例绘制的,而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分,附图中对应部分可能被放大,即,相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中:
图1为本申请一实施例中的基于联邦学习的流量预测模型训练方法的总流程示意图。
图2为本申请一实施例中的基于联邦学习的流量预测模型训练方法的一种具体流程示意图。
图3为本申请一实施例中的基于联邦学习的流量预测模型训练方法中步骤110和步骤120的具体流程示意图。
图4为本申请另一实施例中的基于联邦学习的流量预测模型训练装置的结构示意图。
图5为本申请另一实施例中的基于联邦学习的无线通信流量预测方法的总流程示意图。
图6为本申请另一实施例中的基于联邦学习的无线通信流量预测装置的结构示意图。
图7为本申请应用实例中提供的三层联盟博弈树的举例示意图。
图8为本申请应用实例中提供的四层联盟博弈树的举例示意图。
图9(a)为本申请应用实例中提供的M个初始基站联盟最终形成的第一个目标基站联盟的举例示意图。
图9(b)为本申请应用实例中提供的M个初始基站联盟最终形成的第m个目标基站联盟的举例示意图。
图9(c)为本申请应用实例中提供的M个初始基站联盟最终形成的最后一个目标基站联盟的举例示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本申请做进一步详细说明。在此,本申请的示意性实施方式及其说明用于解释本申请,但并不作为对本申请的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本申请,在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤,而省略了与本申请关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本申请的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
无线通信网络流量预测对运营商进行网络建设、基站无线资源管理以及用户体验提升具有重要意义。精准地预测城市全域尺度通信网络流量能够辅助运营商进行精细化运营、更高效地配备与部署基站资源,从而满足大量涌现的各种业务需求。
传统算法普遍采用统计概率模型或者时间序列预测模型进行流量预测。此外,传统流量预测算法都是针对单个小区进行独立建模,然而,针对单个小区的流量预测模型无法直接适用于所有小区。在实际应用中,对于千万数量级别小区流量进行并行化建模,这无疑非常困难。
随着深度学习算法在各领域取得突破进展,能够捕获空间相关性的卷积神经网络(Convolutional Neural Network, CNN)以及能够捕获时间相关性的长短时记忆(LongShort-Term Memory, LSTM)网络被逐步应用到通信流量预测领域。深度学习模型由于具有复杂非线性拟合的能力,因此可以同时对多个小区的流量进行并行化的建模预测。然而,随着流量预测范围扩大到城市全域尺度,预测范围的扩大必然导致预测模型的复杂度提高,实际预测效果不理想。
由此可见,传统基于统计机器学习和深度学习的流量预测算法,当应用到大规模城市级别的蜂窝基站流量预测时,都面临复杂度和泛化性的难题。为了解决以上难题,现有研究将联邦学习引入到流量预测领域。联邦学习是一种能够具有隐私保护的分布式机器学习训练框架,多个客户端在一个中心服务器的协同之下共同训练一个流量预测模型。联邦学习所提出来的分布式算法架构对协同大范围的基站进行并行化的流量预测建模,这将带来如下优势:首先,大范围的基站协同进行流量预测建模,数据集增多可以提高预测精度;其次,联邦学习并行化的训练架构可以保持,同时也不会出现复杂度高实时性低的难题。
然而,若直接将联邦学习应用于无线通信流量预测场景,则面临着预测准确性不足的问题。这是因为,联邦学习算法能够获得性能提升,是基于参与联邦学习的客户端的数据样本是独立同分布(Independent Identically Distribution,IID)的假设。然而,这一假设在无线通信流量预测场景下则并不一定成立。因为在真实的无线通信网络中,基站之间的流量数据之间是呈非独立同分布(non-IDD)的。因此,将不同基站上流量分布差异性较大的流量预测模型直接融合会导致融合后的全局模型性能较差,甚至可能面临着部分参与联邦训练的基站的实际预测效果并不一定比该基站独自训练流量预测模型的效果更好。因此,构成初始基站联盟的中需要进行筛选。
其次,将联邦学习应用于流量预测场景还面临着参与者积极性的问题。因为在联邦训练过程中,会存在有个别基站在联盟训练之后的预测性能反而不如未经过联邦训练之前的预测性能,这些基站在联邦训练过程中,为整体联盟的预测性能提升牺牲了自身的预测性能。因此,在结成的新的基站联盟中,需要对合作后的收益进行分配,以补偿这些为了基站联盟整体收益提升牺牲了个体性能的基站,以确保整体基站联盟合作的稳定性。
基于此,为了提高无线通信流量预测准确性并保证参与联邦训练的基站联盟稳定性,本申请分别提供基于联邦学习的流量预测模型训练方法的实施例、基于联邦学习的无线通信流量预测方法的实施例、用于实现基于联邦学习的流量预测模型训练方法的基于联邦学习的流量预测模型训练装置的实施例、用于实现基于联邦学习的无线通信流量预测方法的基于联邦学习的无线通信流量预测装置的实施例、用于实现基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法的电子设备的实施例、以及用于实现基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法的计算机可读存储介质的实施例。
具体通过下述实施例进行详细说明。
基于此,本申请实施例提供一种可以由基于联邦学习的流量预测模型训练装置执行的基于联邦学习的流量预测模型训练方法,参见图1,所述基于联邦学习的流量预测模型训练方法具体包含有如下内容:
步骤100:对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站。
在本申请的一个或多个实施例中,所述目标区域范围可以指某一个或多个城市的区域范围,也可以指具备其他自定义特征的区域范围,具体可以根据实际应用情形设置。所述基站是指蜂窝基站。
在步骤100中,相似性聚类是指对无线通信流量这一数据的分布相似的基站进行聚类。其中,各个基站的无线通信流量分布是否相似的具体实现方式可以为:比较各个基站各自在预设时段内的流量总和或单位时间的平均流量等流量数据之间的差值是否小于流量差异阈值,并将流量数据之间的差值小于流量差异阈值的基站进行聚类,而为了进一步提高相似性聚类的智能化程度及聚类可靠性,还可以采用如JS散度等手段计算各个基站的无线通信流量分布的相似性,然后再进行聚类处理,其中,采用JS散度计算各个基站的无线通信流量分布的相似性的方式具体在后续实施例中详细说明,此处不再赘述。
在本申请的一个或多个实施例中,所述初始基站联盟是指其中的各个基站的无线通信流量分布相似的基站联盟,且在实际应用中,每个所述初始基站联盟中的各个基站不重复,但不同的初始基站联盟之间可能存在重叠的同一基站,比如,基站1既在第一个初始基站联盟中,也在第m个初始基站联盟中,其中,m≥2。
步骤200:应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟。
在步骤200中,应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练是指:协调每个所述初始基站联盟中的各个所述基站上部署的基站流量预测模型进行训练,若所述基于联邦学习的流量预测模型训练装置的功能实现在中心云服务器中,且若机器学习模型以能够捕获时间相关性的长短时记忆(Long Short-Term Memory, LSTM)网络为例,则在应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练的一种具体举例中:在第一轮训练中,中心云服务器将LSTM网络发送至各个基站,以使各个所述基站分别基于本地历史流程数据训练该LSTM网络;中心云服务器接收各个所述基站分别发送的当前训练得到的LSTM网络的参数(当前训练结果),再对各个所述基站分别发送的参数进行联邦参数融合以形成对应的融合结果(更新后的模型参数),然后进入到下一轮训练。
可以理解的是,在对各个所述初始基站联盟进行针对无线通信流量预测的联邦训练的同时,需要根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选,筛减掉初始基站联盟中不符合合作博弈规则的基站,进而形成新的基站联盟,即:目标基站联盟。
其中,所述合作博弈方式是指是指一些参与者以同盟、合作的方式进行的博弈,博弈活动就是不同集团之间的对抗。在合作博弈中,参与者未必会做出合作行为,中心云服务器就会将做出不合作行为的参与者基站从初始基站联盟中删除。
步骤300:采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型。
可以理解的是,通过对各个所述目标基站联盟的合作产生盈余进行分配,以巩固目标基站联盟中基站成员的合作。
在步骤300中,应用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练是指:协调每个所述目标基站联盟中的各个所述基站上部署的基站流量预测模型进行训练,若所述基于联邦学习的流量预测模型训练装置的功能实现在中心云服务器中,则在应用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练的一种具体举例中:在第一轮训练中,中心云服务器将LSTM网络发送至各个基站,以使各个所述基站分别基于本地历史流程数据训练该LSTM网络;中心云服务器接收各个所述基站分别发送的当前训练得到的LSTM网络的参数(当前训练结果),再对各个所述基站分别发送的参数进行联邦参数融合以形成对应的融合结果(更新后的模型参数),然后进入到下一轮训练,中心云服务器将上一轮融合结果分别发送至各个所述基站,以使各个所述基站分别基于本地历史流程数据训练该上一轮融合结果,直至达到最大融合次数或最大训练轮次,此时,将各个所述基站分别训练得到的子模型确定为基站流量预测模型,中心云服务器接收各个所述基站流量预测模型,并对各个所述目标基站联盟各自本地训练得到的基站流量预测模型进行融合处理,以得到用于预测无线通信流量的流量预测模型。
可以理解的是,在对各个所述目标基站联盟进行针对无线通信流量预测的联邦训练的同时,需要对各个所述目标基站联盟的合作产生盈余进行分配,以有效激励基站继续参与联邦学习,并补偿为了基站联盟整体收益提升牺牲了个体性能的基站,能够确保基站联盟整体合作的稳定性。
从上述描述可知,本申请实施例提供的基于联邦学习的流量预测模型训练方法,能够提高基于联邦学习训练得到的用于预测无线通信流量的全局模型性能,能够有效激励基站继续参与联邦学习,能够提高各个基站联盟的稳定性,并能够提高训练得到的流量预测模型的应用准确性及可靠性,进而能够提高应用流量预测模型进行无线通信流量预测的准确性及有效性。
为了进一步提高相似性聚类的可靠性及有效性,在本申请实施例提供的一种基于联邦学习的流量预测模型训练方法中,参见图2,所述基于联邦学习的流量预测模型训练方法中的步骤100具体包含有如下内容:
步骤110:对目标区域范围内的各个基站的地理位置进行统计,计算每个基站的地理位置分别与其他基站的地理相似性;以及,对目标区域范围内的各个基站的无线通信流量分布进行统计,计算每个基站的无线通信流量分布分别与其他基站的无线通信流量分布之间的相似性。
步骤120:根据每个基站分别与其他基站之间的地理位置的相似性以及无线通信流量的相似性对目标区域范围内的各个基站进行聚类,得到多个初始基站联盟。
为了进一步提高相似性计算的可靠性及有效性,在本申请实施例提供的一种基于联邦学习的流量预测模型训练方法中,参见图3,所述基于联邦学习的流量预测模型训练方法中的步骤110具体包含有如下内容:
步骤111:构建所述目标区域范围对应的初始基站网络拓扑结构,其中,所述初始基站网络拓扑结构中的各个节点分别为所述目标区域范围内的各个基站,所述初始基站网络拓扑结构中的不同节点之间的连边为不同基站之间的连接关系。
具体来说,中心云服务器将蜂窝基站视为网络节点,节点之间的连边指两个蜂窝基站之间的相似性关系,将蜂窝基站地理分布映射为图 ,以形成初始基站网络拓扑结构,其中 表示网络中的所有节点,N为图中节点总数目,用矩阵表示网络中的所有节点的相似性,如式(1)所示:
网络中的所有节点的相似性由地理相似性以及流量相似性共同决定。
步骤113:计算目标区域范围中所有基站的无线流量相似性矩阵。首先,根据目标区域中所有基站获取的无线流量数据,得到所有基站的无线流量分布。其次,根据计算得到的基站的无线流量分布,计算其与其他基站的无线流量分布之间的KL散度。最后,根据各个所述基站的无线流量分布分别与其他基站的无线流量分布之间的KL散度,分别确定每个基站的无线流量分布分别与其他基站的无线流量分布之间的JS散度,以得到基站之间无线流量相似性矩阵。
为了进一步提高基站聚类的可靠性及有效性,在本申请实施例提供的一种基于联邦学习的流量预测模型训练方法中,参见图3,所述基于联邦学习的流量预测模型训练方法中的步骤120具体包含有如下内容:
具体来说,步骤122在步骤121构建的目标基站网络拓扑结构的基础上,中心云服务器利用聚类算法对基站联盟构建,形成初始蜂窝基站联盟。将基站之间边的相似性表示为。距离较近、数据分布较相似的基站之间的边权重值较高,距离较远、数据分布差异较大的基站之间的边权重值较低。针对自新的基站网络拓扑结构(即:蜂窝基站网络拓扑图进行切图,使得到切得的子图之间的边权重和尽可能的低,例如可以切分边权重和小于一预设阈值或阈值范围的边,以形成各个子图;子图内的边权重和尽可能的高,达到将具有相似流量特征的基站聚类在一起的目的,最终形成M个初始基站联盟,M为大于等于2的数值。
为了进一步提高基站筛选的可靠性及有效性,在本申请实施例提供的一种基于联邦学习的流量预测模型训练方法中,参见图2,所述基于联邦学习的流量预测模型训练方法中的步骤200具体包含有如下内容:
步骤210:应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,并在应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练的过程中,针对每个所述初始基站联盟均构建对应的基站合作博弈组,其中,所述基站合作博弈组中包含有对应的初始基站联盟中的各个基站和该初始基站联盟中的各个基站合作进行联邦学习获得的收益。
其中,所述收益为用于表示各个所述边缘服务器各自对应的流量预测模型的准确性的预测均方根误差。具体来说,对于第m个初始基站联盟,定义基站合作博弈。合作博弈中,表示参与初始基站联盟m的基站集合,其中,表示初始基站联盟m中的第i个基站,初始基站联盟m总共有个基站成员,表示集合的势;表示集合的子集,即:且。表示特征函数,表示子集中所有基站结成基站联盟进行联邦学习后所获得的收益。
步骤220:分别构建各个所述基站合作博弈组对应的联盟博弈树,在该联盟博弈树中,最高层中的一个节点为包含有对应的初始基站联盟中的所有基站的集合;位于所述最高层之下的中间层中的各个节点分别为该中间层的上一层中的所述集合的不重复子集;所述联盟博弈树的最底层中的各个节点分别为仅包含有一个基站的不重复子集。
具体来说,该联盟博弈树第k层的第i个节点所包含的基站联盟与其下挂的第k-1层C(k,k-1)个叶子节点所包含的基站联盟关系是:所有叶子节点所包含的基站联盟是父节点所包含基站联盟的不重复的子集,其中,C是组合符号,且上一层的集合均与下一层的子集之间连线。
步骤230:在所述联盟博弈树中查找稳定性不满足预设的合作博弈中的超可加性原则的节点,并基于不满足超可加性原则的节点对所述联盟博弈树进行剪枝,得到目标联盟博弈树。
具体来说,由合作博弈超可加性的定义可知,如果非最高层的小基站联盟不满足超可加性,则包含该小基站联盟的上一层大基站联盟一定不满足超可加性。因此,如果子节点不稳定,则父节点也不稳定。因此,采用自低至高的向上判定方法,从联盟博弈树的第k层节点的稳定性开始判定,再判定第k+1层的联盟博弈树的节点的稳定,直到联盟博弈树的第K层(即最高层)的节点的稳定。另外,由于只包含一个基站的基站联盟肯定是稳定的,合作博弈树的第1层(最底层)的子节点都是稳定的,因此只需要从合作博弈树的第2层的节点的稳定性开始判定即可,即k>=2。
步骤240:查找各个所述目标联盟博弈树中收益最高的以形成目标基站联盟。
具体来说,可以从步骤230中最终形成的联盟博弈树上筛选出包含基站成员数最多的并且联盟收益最大的节点所包含的基站集合,作为最终的目标基站联盟。
为了进一步提高合作产生盈余分配的可靠性及有效性,在本申请实施例提供的一种基于联邦学习的流量预测模型训练方法中,参见图2,所述基于联邦学习的流量预测模型训练方法中的步骤300具体包含有如下内容:
步骤310:采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并在应用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练的过程中,采用Shapley值法对各个所述目标基站联盟的合作产生盈余进行分配,并对各个所述目标基站联盟各自本地训练得到的基站流量预测模型进行融合处理,以得到用于预测无线通信流量的流量预测模型。
具体来说,Shapley值法能够在联盟产生合作盈余的情况下,提供一种相对公平的收益分配结果。其中,Shapley值是公平地定量评估用户边际贡献度的常用指标,Shapley值法(Shapley Value Method)是指基于Shapley值进行联盟成员的利益分配体现了各盟员对联盟总目标的贡献程度,避免了分配上的平均主义,比任何一种仅按资源投入价值、资源配置效率及将二者相结合的分配方式都更具合理性和公平性,也体现了各联盟成员相互博弈的过程。
假设新形成的第m个目标基站联盟包含的所有基站集合为
步骤320:将所述流量预测模型分别发送至各个所述基站,以使各个所述基站分别在本地存储所述流量预测模型。
具体来说,各个所述基站分别在本地存储所述流量预测模型,并可以直接在本地应用各自存储的流量预测模型进行无线通信流量本地预测,并将对应的预测结果发送给中心云服务器。
从软件层面来说,本申请还提供一种用于执行所述基于联邦学习的流量预测模型训练方法中全部或部分内的基于联邦学习的流量预测模型训练装置,参见图4,所述基于联邦学习的流量预测模型训练装置具体包含有如下内容:
联盟初始建立模块10,用于对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站。
联盟成员筛选模块20,用于应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟。
训练及成员激励模块30,用于采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到各个所述目标基站联盟各自对应的用于预测无线通信流量的流量预测模型。
本申请提供的基于联邦学习的流量预测模型训练装置的实施例具体可以用于执行上述实施例中的基于联邦学习的流量预测模型训练方法的实施例的处理流程,其功能在此不再赘述,可以参照上述基于联邦学习的流量预测模型训练方法实施例的详细描述。
所述基于联邦学习的流量预测模型训练装置进行基于联邦学习的流量预测模型训练的部分可以在服务器中执行,例如中心云服务器,而在另一种实际应用情形中,也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于基于联邦学习的流量预测模型训练的具体处理。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
从上述描述可知,本申请实施例提供的基于联邦学习的流量预测模型训练装置,首先挑选出无线通信流量分布相似的基站组成初始基站联盟,能够有效降低同一基站联盟中的各个基站的无线通信流量分布差异性,进而能够在后续对基站联盟中各个基站本地生成的基站流量预测模型融合后,提高融合得到的用于预测无线通信流量的全局模型性能,进而能够有效提高无线通信流量预测结果的准确性及有效性;然后在各个边缘服务器执行联邦训练过程中,将基站作为合作博弈的参与者,利用合作博弈对参与联邦学习的基站进行进一步筛选,能够进一步提高各个基站联盟的稳定性,能够保证参与联邦训练的基站的实际预测效果好于该基站独自训练流量预测模型的效果;而后再对合作产生盈余的进行合理分配,能够有效激励基站继续参与联邦学习,能够补偿为了基站联盟整体收益提升牺牲了个体性能的基站,能够确保基站联盟整体合作的稳定性,能够进一步提高融合得到的用于预测无线通信流量的全局模型性能,进而能够进一步提高无线通信流量预测结果的准确性及有效性。
基于上述基于联邦学习的流量预测模型训练方法和/或基于联邦学习的流量预测模型训练装置的实施例,本申请还提供一种基于联邦学习的无线通信流量预测方法,该基于联邦学习的无线通信流量预测方法可以由基于联邦学习的无线通信流量预测装置实现,且该基于联邦学习的无线通信流量预测装置的功能也可以在中心云服务器中实现。
因此,为了提高应用流量预测模型进行无线通信流量预测的准确性及有效性,在本申请实施例提供的一种基于联邦学习的无线通信流量预测方法中,参见图5,所述基于联邦学习的无线通信流量预测方法具体包含有如下内容:
步骤400:分别接收各个目标基站联盟采用各自本地存储的用于预测无线通信流量的流量预测模型得到的当前预设时段内的区域级无线通信流量预测结果,其中,所述流量预测模型预先基于所述基于联邦学习的流量预测模型训练方法训练得到。
具体来说,基站将当前预设时段(例如每一个小时)内接收的无线通信流量数据输入本地存储的用于预测无线通信流量的流量预测模型中,以使该流量预测模型输出对应的未来的无线通信流量预测结果,而后各个所述基站分别将该无线通信流量预测结果发送给所述中心云服务器。
步骤500:将各个所述区域级无线通信流量预测结果进行汇总。
从软件层面来说,本申请还提供一种用于执行所述基于联邦学习的无线通信流量预测方法中全部或部分内的基于联邦学习的无线通信流量预测装置,参见图6,所述基于联邦学习的无线通信流量预测装置具体包含有如下内容:
区域级无线通信流量预测模块40,用于分别接收各个目标基站联盟采用各自本地存储的用于预测无线通信流量的流量预测模型得到的当前预设时段内的区域级无线通信流量预测结果,其中,所述流量预测模型预先基于所述基于联邦学习的流量预测模型训练方法训练得到。
预测结果汇总模块50,用于将各个所述区域级无线通信流量预测结果进行汇总。
本申请提供的基于联邦学习的无线通信流量预测装置的实施例具体可以用于执行上述实施例中的基于联邦学习的无线通信流量预测方法的实施例的处理流程,其功能在此不再赘述,可以参照上述基于联邦学习的无线通信流量预测方法实施例的详细描述。
所述基于联邦学习的无线通信流量预测装置进行基于联邦学习的无线通信流量预测的部分可以在服务器中执行,例如中心云服务器,而在另一种实际应用情形中,也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于基于联邦学习的无线通信流量预测的具体处理。
为了进一步说明本方案,本申请还提供一种用于实现基于联邦学习的流量预测模型训练方法的具体应用实例,具体涉及一种联邦学习中联邦成员筛选和激励的方法,首先,中心云服务器利用JS散度挑选出流量分布相似的基站组成初始联邦。其次,中心云服务器在执行联邦训练过程中,将基站作为合作博弈的参与者,利用合作博弈中的超可加性准则对参与联邦学习的基站进行筛选。最后,中心云服务器采用基于Shapley值的收益分配方法对合作产生盈余的进行合理分配,以激励基站继续参与联邦学习。本申请应用实例采用的技术方案包括以下步骤:
步骤1,中心云服务器构建基站的初始联邦。针对城市全域尺度范围内的基站,中心云服务器根据基站流量数据分布相似性以及基站距离形成蜂窝基站网络拓扑,并利用谱聚类算法对基站拓扑聚类,构建初始联邦。具体步骤如下所述:
步骤101,构建蜂窝基站的复杂网络拓扑。中心云服务器将蜂窝基站视为网络节点,节点之间的连边指两个蜂窝基站之间的连接关系(存在光纤连接),将蜂窝基站地理分布映射为图,其中表示网络中的所有节点,N为图中节点总数目,用矩阵表示网络中的所有连边,如式(1)所示:
步骤102,在步骤101定义蜂窝基站网络拓扑的基础之上,中心云服务器重新计算蜂窝基站节点之间的连接的密切程度,形成新的蜂窝基站(也可简称为:基站)的拓扑结构。引入散度来定义蜂窝基站i,以及邻居蜂窝基站j之间数据分布的差异性。JS散度定义为,如公式(2)所示:
将JS散度表示为散度矩阵,如公式(5)所示:
步骤103,在步骤102构建的新的蜂窝基站网络拓扑的基础上,中心云服务器利用聚类算法对基站联邦构建,形成初始蜂窝基站联邦。将基站之间边的权重表示为。距离较近、数据分布较相似的基站之间的边权重值较高,距离较远、数据分布差异较大的基站之间的边权重值较低。针对自新的蜂窝基站网络拓扑图进行切图,使得到切得的子图之间的边权重和尽可能的低,例如可以切分边权重和小于一预设阈值或阈值范围的边,以形成各个子图;子图内的边权重和尽可能的高,达到将具有相似流量特征的基站聚类在一起的目的。
步骤104,最终形成M个初始基站联盟。
步骤2,M个初始基站联盟中基站成员筛选。
步骤202,合作博弈中,表示参与初始基站联盟m的基站集合,其中,表示初始基站联盟m中的第i个基站,初始基站联盟m总共有个基站成员, 表示集合的势;表示集合的子集,即:且。表示特征函数,表示子集中所有基站结成基站联盟进行联邦学习后所获得的收益。在流量预测问题中,收益为联邦学习后各个基站流量预测模型的准确性,由均方根误差(Root Mean Squared Error,RMSE)进行衡量。
步骤3,构建联盟博弈树,如图7所示的三层联盟博弈树,如图8所示的四层联盟博弈树。其中,1-4分别代表一个初始基站联盟m中的各个基站。
步骤301(a),该联盟博弈树共有K层构成。K为构成初始基站联盟m的全部基站数量,即使集合F的基。
1)最高层,即第K层,是全体成员构成的大联盟;
3)最底层,即第1层,由任意1个联盟成员组成C(K,1)个子联盟组成该层的子节点,其中,C是组合符号。
步骤301(b), 该联盟博弈树第k层的第i个节点所包含的基站联盟与其下挂的第k-1层C(k,k-1)个叶子节点所包含的基站联盟关系是:所有叶子节点所包含的基站联盟是父节点所包含基站联盟的不重复的子集,其中,C是组合符号。
步骤4,联盟博弈树上节点稳定性判定。由合作博弈超可加性的定义可知,如果非最高层的小基站联盟不满足超可加性,则包含该小基站联盟的上一层大基站联盟一定不满足超可加性。因此,如果子节点不稳定,则父节点也不稳定。因此,采用自低至高的向上判定方法,从联盟博弈树的第k层节点的稳定性开始判定,再判定第k+1层的联盟博弈树的节点的稳定,直到联盟博弈树的第K层(即最高层)的节点的稳定。另外,由于只包含一个基站的基站联盟肯定是稳定的,合作博弈树的第1层(最底层)的子节点都是稳定的,只需要从合作博弈树的第2层的节点的稳定开始判定,因此,k>=2。
步骤401,判定合作博弈树第k层(k>=2)的所有叶子节点的稳定性。第k层合作博弈树上有不超过C(K,k)个叶子节点,其中,C是组合符号。
步骤401(a),对于第k层第i个节点,假设该节点包含基站成员为集合U,其下挂的一个叶子节点包含的基站成员集合为U1,判断RMSE(U)< RMSE(U1)+ RMSE(U-U1)。若对于其下挂的任意一个叶子节点均满足上式,则说明该节点i稳定;否则,该节点i不稳定。
步骤401(b),联盟博弈树剪枝。对于第k层第i个叶子节点,如果该节点不稳定,则回溯该博弈树,包含该叶子节点的所有父节点均是不稳定的,从整个联盟博弈树上剪除掉。
步骤401(c),i=i+1, 重复步骤401(a)-401(c),直至i= C(K,k),或则该层已无叶子节点。
步骤402, k=k+1,重复步骤401(a)-401(c),直至k=K,或者该层已无叶子节点。
步骤403,经过步骤402,新形成的联盟博弈树上所有的叶子节点都是稳定的。
步骤5,从最终形成的联盟博弈树上筛选出包含基站成员数最多的并且联盟收益最大的节点所包含的基站集合,作为最终的目标基站联盟。其中,M个初始基站联盟最终形成的目标基站联盟如图9(a)、图9(b)和图9(c)所示,其中,L1代表第一个目标基站联盟,Lm代表第m个目标基站联盟,若目标基站联盟的总数M大于2个,则有LM代表最后一个目标基站联盟。
步骤6,基于步骤5形成的新的M个目标基站联盟,对M个新的目标基站联盟需要进行联盟内基站成员间的收益分配以巩固联盟。
步骤601,本实施例采用基于Shapley值的收益分配方法。因为,Shapley值能够在联盟产生合作盈余的情况下,提供一种相对公平的收益分配结果。其中,Shapley值是公平地定量评估用户边际贡献度的常用指标,Shapley值法(Shapley Value Method)是指基于Shapley值进行联盟成员的利益分配体现了各盟员对联盟总目标的贡献程度,避免了分配上的平均主义,比任何一种仅按资源投入价值、资源配置效率及将二者相结合的分配方式都更具合理性和公平性,也体现了各联盟成员相互博弈的过程。
假设新形成的第m个稳定基站联盟包含的所有基站集合为
综上所述,本申请应用实例提出了一种联邦学习的联邦成员筛选和成员激励方法。首先,中心云服务器利用JS散度挑选出流量分布相似的基站组成初始联邦。其次,中心云服务器在执行联邦训练过程中,将基站作为合作博弈的参与者,利用合作博弈中的超可加性准则对参与联邦学习的基站进行筛选。最后,中心云服务器采用基于Shapley值的收益分配方法对合作产生盈余的进行合理分配,以激励基站继续参与联邦学习。
本申请实施例还提供了一种电子设备(也即电子设备),例如中心服务器,该电子设备可以包括处理器、存储器、接收器及发送器,处理器用于执行上述实施例提及的基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法,其中处理器和存储器可以通过总线或者其他方式连接,以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。所述电子设备可自所述无线多媒体传感器网络中的传感器接收实时运动数据,并自所述视频采集装置接收原始视频序列。
处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中,当被所述处理器执行时,执行实施例中的基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法。
在本申请的一些实施例中,用户设备可以包括处理器、存储器和收发单元,该收发单元可包括接收器和发送器,处理器、存储器、接收器和发送器可通过总线系统连接,存储器用于存储计算机指令,处理器用于执行存储器中存储的计算机指令,以控制收发单元收发信号。
作为一种实现方式,本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现,处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式,可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器,接收器和发送器功能的程序代码存储在存储器中,通用处理器通过执行存储器中的代码来实现处理器,接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述基于联邦学习的流量预测模型训练方法和/或基于联邦学习的无线通信流量预测方法的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
本申请中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于联邦学习的流量预测模型训练方法,其特征在于,包括:
对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站;
应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟;
采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型。
2.根据权利要求1所述的基于联邦学习的流量预测模型训练方法,其特征在于,所述对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,包括:
对目标区域范围内的各个基站的地理位置进行统计,计算每个基站的地理位置分别与其他基站的地理相似性;以及,对目标区域范围内的各个基站的无线通信流量分布进行统计,计算每个基站的无线通信流量分布分别与其他基站的无线通信流量分布之间的相似性;
根据每个基站分别与其他基站之间的地理位置的相似性以及无线通信流量的相似性对目标区域范围内的各个基站进行聚类,得到多个初始基站联盟。
3.根据权利要求2所述的基于联邦学习的流量预测模型训练方法,其特征在于,所述对目标区域范围内的各个基站的地理位置进行统计,计算每个基站的地理位置分别与其他基站的地理相似性;以及,对目标区域范围内的各个基站的无线通信流量分布进行统计,计算每个基站的无线通信流量分布分别与其他基站的无线通信流量分布之间的相似性,包括:
基于各个所述基站的地理位置,计算各个所述基站分别与其他基站之间的地理距离的倒数,以得到包含有每个基站分别与其他基站之间的地理距离倒数的地理相似性矩阵;
根据预获取的所述目标区域范围内的每个基站的流量概率分布值,确定每个所述基站分别与其他基站之间的流量概率分布值之和的平均值;
基于各个所述基站的流量概率分布值,以及各个所述基站分别与其他基站之间的流量概率分布值之和的平均值,分别确定各个所述基站分别与其他基站之间的KL散度;
根据各个所述基站的无线通信流量与其他基站的无线通信流量之间的KL散度,分别确定每个基站的无线通信流量分别与其他基站的无线通信流量之间的JS散度,以得到包含有每个基站分别与其他基站之间的无线通信流量的JS散度的无线通信流量相似性矩阵。
4.根据权利要求3所述的基于联邦学习的流量预测模型训练方法,其特征在于,所述根据每个基站分别与其他基站之间的地理位置的相似性以及无线通信流量的相似性对目标区域范围内的各个基站进行聚类,得到多个初始基站联盟,包括:
将所述地理相似性矩阵与所述流量相似性矩阵相乘,得到目标基站网络的相似性矩阵;
基于各个所述目标基站网络的相似性矩阵进行聚类,得到各个均包含有多个基站的分簇,并将各个所述分簇分别作为初始基站联盟。
5.根据权利要求1所述的基于联邦学习的流量预测模型训练方法,其特征在于,所述根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟,包括:
在应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练的过程中,针对每个所述初始基站联盟均构建对应的基站合作博弈组,其中,所述基站合作博弈组中包含有对应的初始基站联盟中的各个基站和该初始基站联盟中的各个基站合作进行联邦学习获得的收益;
分别构建各个所述基站合作博弈组对应的联盟博弈树,在该联盟博弈树中,最高层中的一个节点为包含有对应的初始基站联盟中的所有基站的集合;位于所述最高层之下的中间层中的各个节点分别为该中间层的上一层中的所述集合的不重复子集;所述联盟博弈树的最底层中的各个节点分别为仅包含有一个基站的不重复子集;
在所述联盟博弈树中查找稳定性不满足预设的合作博弈中的超可加性原则的节点,并基于不满足超可加性原则的节点对所述联盟博弈树进行剪枝,得到目标联盟博弈树;
查找各个所述目标联盟博弈树中收益最高的以形成目标基站联盟。
6.根据权利要求1所述的基于联邦学习的流量预测模型训练方法,其特征在于,所述对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到用于预测无线通信流量的流量预测模型,包括:
在应用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练的过程中,采用Shapley值法对各个所述目标基站联盟的合作产生盈余进行分配,并对各个所述目标基站联盟各自本地训练得到的基站流量预测模型进行融合处理,以得到用于预测无线通信流量的流量预测模型;
将所述流量预测模型分别发送至各个所述基站,以使各个所述基站分别在本地存储所述流量预测模型。
7.一种基于联邦学习的无线通信流量预测方法,其特征在于,包括:
分别接收各个目标基站联盟采用各自本地存储的用于预测无线通信流量的流量预测模型得到的当前预设时段内的区域级无线通信流量预测结果,其中,所述流量预测模型预先基于如权利要求1至6任一项所述的基于联邦学习的流量预测模型训练方法训练得到;
将各个所述区域级无线通信流量预测结果进行汇总。
8.一种基于联邦学习的流量预测模型训练装置,其特征在于,包括:
联盟初始建立模块,用于对目标区域范围内的各个基站进行相似性聚类以得到多个初始基站联盟,其中,每个所述初始基站联盟中均包含有多个所述基站;
联盟成员筛选模块,用于应用各个所述初始基站联盟进行针对无线通信流量预测的联邦训练,同时根据预设的合作博弈方式对各个所述初始基站联盟中的基站进行筛选以得到各个所述初始基站联盟各自对应的目标基站联盟;
训练及成员激励模块,用于采用各个所述目标基站联盟进行针对无线通信流量预测的联邦训练,并对各个所述目标基站联盟的合作产生盈余进行分配,以训练得到各个所述目标基站联盟各自对应的用于预测无线通信流量的流量预测模型。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于联邦学习的流量预测模型训练方法,或者,实现如权利要求7所述的基于联邦学习的无线通信流量预测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于联邦学习的流量预测模型训练方法,或者,实现如权利要求7所述的基于联邦学习的无线通信流量预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211578050.9A CN115580891B (zh) | 2022-12-09 | 2022-12-09 | 基于联邦学习的流量预测模型训练方法、预测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211578050.9A CN115580891B (zh) | 2022-12-09 | 2022-12-09 | 基于联邦学习的流量预测模型训练方法、预测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115580891A true CN115580891A (zh) | 2023-01-06 |
CN115580891B CN115580891B (zh) | 2023-05-19 |
Family
ID=84590601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211578050.9A Active CN115580891B (zh) | 2022-12-09 | 2022-12-09 | 基于联邦学习的流量预测模型训练方法、预测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115580891B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115860153A (zh) * | 2023-03-01 | 2023-03-28 | 北京邮电大学 | 基于个性化分组联邦学习的无线流量预测方法及系统 |
CN116321219A (zh) * | 2023-01-09 | 2023-06-23 | 北京邮电大学 | 自适应蜂窝基站联邦形成方法、联邦学习方法及装置 |
CN117892339A (zh) * | 2023-12-28 | 2024-04-16 | 暨南大学 | 一种基于区块链的高可信度联合模型训练方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469373A (zh) * | 2021-08-17 | 2021-10-01 | 北京神州新桥科技有限公司 | 基于联邦学习的模型训练方法、系统、设备及存储介质 |
US20220052925A1 (en) * | 2018-12-07 | 2022-02-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Predicting Network Communication Performance using Federated Learning |
CN115119233A (zh) * | 2022-06-10 | 2022-09-27 | 浙江大学 | 一种分簇的无线通信方法和系统 |
-
2022
- 2022-12-09 CN CN202211578050.9A patent/CN115580891B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220052925A1 (en) * | 2018-12-07 | 2022-02-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Predicting Network Communication Performance using Federated Learning |
CN113469373A (zh) * | 2021-08-17 | 2021-10-01 | 北京神州新桥科技有限公司 | 基于联邦学习的模型训练方法、系统、设备及存储介质 |
CN115119233A (zh) * | 2022-06-10 | 2022-09-27 | 浙江大学 | 一种分簇的无线通信方法和系统 |
Non-Patent Citations (1)
Title |
---|
SANAZ SHAKER SEPASGOZAR 等: "Fed-NTP: A Federated Learning Algorithm for Network Traffic Prediction in VANET", 《IEEE》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116321219A (zh) * | 2023-01-09 | 2023-06-23 | 北京邮电大学 | 自适应蜂窝基站联邦形成方法、联邦学习方法及装置 |
CN116321219B (zh) * | 2023-01-09 | 2024-04-19 | 北京邮电大学 | 自适应蜂窝基站联邦形成方法、联邦学习方法及装置 |
CN115860153A (zh) * | 2023-03-01 | 2023-03-28 | 北京邮电大学 | 基于个性化分组联邦学习的无线流量预测方法及系统 |
CN117892339A (zh) * | 2023-12-28 | 2024-04-16 | 暨南大学 | 一种基于区块链的高可信度联合模型训练方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115580891B (zh) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115580891B (zh) | 基于联邦学习的流量预测模型训练方法、预测方法和装置 | |
Ng et al. | Joint auction-coalition formation framework for communication-efficient federated learning in UAV-enabled internet of vehicles | |
Sun et al. | Task replication for vehicular edge computing: A combinatorial multi-armed bandit based approach | |
Liu et al. | Wireless distributed learning: A new hybrid split and federated learning approach | |
Shi et al. | A novel deep Q-learning-based air-assisted vehicular caching scheme for safe autonomous driving | |
Pu et al. | Crowd foraging: A QoS-oriented self-organized mobile crowdsourcing framework over opportunistic networks | |
Fu et al. | Performance optimization for blockchain-enabled distributed network function virtualization management and orchestration | |
Goudarzi et al. | Dynamic resource allocation model for distribution operations using SDN | |
CN113313264B (zh) | 车联网场景下的高效联邦学习方法 | |
Zhao et al. | CTrust: trust management in cyclic mobile ad hoc networks | |
Nomikos et al. | A survey on reinforcement learning-aided caching in heterogeneous mobile edge networks | |
Kang et al. | Quality-aware online task assignment in mobile crowdsourcing | |
Toutouh et al. | Parallel swarm intelligence for VANETs optimization | |
Yuan et al. | CESense: Cost-effective urban environment sensing in vehicular sensor networks | |
CN114301935B (zh) | 一种基于声誉的物联网边云协同联邦学习节点选择方法 | |
Li et al. | FEEL: Federated end-to-end learning with non-IID data for vehicular ad hoc networks | |
WO2021008675A1 (en) | Dynamic network configuration | |
da Silva et al. | Resource optimizing federated learning for use with IoT: A systematic review | |
Ding et al. | Distributed machine learning for uav swarms: Computing, sensing, and semantics | |
da Silva et al. | Towards federated learning in edge computing for real-time traffic estimation in smart cities | |
Seyfollahi et al. | Enhancing mobile crowdsensing in Fog-based Internet of Things utilizing Harris hawks optimization | |
Du et al. | Virtual relay selection in LTE-V: A deep reinforcement learning approach to heterogeneous data | |
Liwang et al. | Graph-represented computation-intensive task scheduling over air-ground integrated vehicular networks | |
Ghanshala et al. | Self-organizing sustainable spectrum management methodology in cognitive radio vehicular adhoc network (cravenet) environment: A reinforcement learning approach | |
US20220353795A1 (en) | Network Capability Exposure Method and Device Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |