CN112600697B - 基于联邦学习的QoS预测方法及系统、客户端和服务端 - Google Patents

基于联邦学习的QoS预测方法及系统、客户端和服务端 Download PDF

Info

Publication number
CN112600697B
CN112600697B CN202011417276.1A CN202011417276A CN112600697B CN 112600697 B CN112600697 B CN 112600697B CN 202011417276 A CN202011417276 A CN 202011417276A CN 112600697 B CN112600697 B CN 112600697B
Authority
CN
China
Prior art keywords
local
client
server
public
public part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011417276.1A
Other languages
English (en)
Other versions
CN112600697A (zh
Inventor
李世璇
陈川
周育人
李晓丽
郑子彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011417276.1A priority Critical patent/CN112600697B/zh
Publication of CN112600697A publication Critical patent/CN112600697A/zh
Application granted granted Critical
Publication of CN112600697B publication Critical patent/CN112600697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于联邦学习的QoS预测方法及系统、客户端和服务端，方法包括：下载服务端上的全局公共部分；对客户端上保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；根据上传的本地公共部分，聚合得到新的全局公共部分；其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。本申请实施例提出了联邦学习与张量分解结合的创新框架，在确保用户隐私的前提下解决了分布式的QoS预测问题。

Description

基于联邦学习的QoS预测方法及系统、客户端和服务端
技术领域
本发明属于Web服务QoS预测技术领域，尤其涉及一种基于联邦学习的QoS预测方法及系统、客户端和服务端。
背景技术
随着功能相似的可选web服务数量增长，如何根据QoS(Quality of Service，服务质量)为用户推荐最适合的web服务成为了一个重要的研究课题。传统的QoS预测模型通常需要将历史QoS数据集中后用于模型训练。而实际情况中，QoS数据可能分布式存储在不同平台，例如有两个不同的用户在两个平台调用同一个Web服务，那么这两个平台就会记录了对于共同Web服务的QoS数据。如果将这些分散的数据集中在一起，共同Web服务用户集合将被扩大，这将有助于解决数据稀疏的问题，进而帮助平台完成更精准的QoS预测。然而出于数据隐私问题的考虑，平台之间通常不敢轻易交换数据。
因此，如何解决分布式QoS数据在模型训练过程中的隐私安全问题，成为本领域技术人员所要研究的课题。
发明内容
本发明的目的在于提供一种基于联邦学习的QoS预测方法及系统、客户端和服务端，以解决分布式QoS数据在模型训练过程中的隐私安全问题。
为达此目的，本发明采用以下技术方案：
第一方面，提供了一种基于联邦学习的QoS预测方法，包括以下步骤：
下载服务端上的全局公共部分；
对客户端上保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；
将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；
每当服务端收集到预设数量的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
可选地，所述对客户端上保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分，具体包括：
引入L2范数正则，以平衡重构损失和平衡本地公共部分和全局公共部分之间的差值比例。
可选地，还包括：
采用交替方向乘子法或弹性平均随机梯度下降法或FedProx法，以优化各客户端和服务端之间的通信效率。
第二方面，提供了一种基于联邦学习的QoS预测客户端，包括：
下载模块，用于下载服务端上的全局公共部分；
联邦张量分解模块，用于对本地保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；
上传保存模块，用于在每当服务端收集到预设数量的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；还用于将本地私有部分保存在各自客户端；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
可选地，所述联邦张量分解模块还可以引入L2范数正则，以平衡重构损失和平衡本地公共部分和全局公共部分之间的差值比例。
第三方面，提供了一种基于联邦学习的QoS预测服务端，包括：
发送模块，用于将当前的全局公共部分发送给所有参与训练的客户端；
收集模块，用于收集来自客户端更新的本地公共部分；
聚合模块，用于在每当服务端收集到预设数量的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
可选地，每当所述收集模块收集到预设数量的本地公共部分的服务潜在因子时，触发一次所述聚合模块聚合得到一个新的全局公共部分。
第四方面，提供了一种基于联邦学习的QoS预测系统，包括客户端和服务端；
所述客户端用于下载服务端上的全局公共部分；还用于对本地保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；还用于将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；
所述服务端用于在每当服务端收集到预设数量的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例提供的一种基于联邦学习的QoS预测方法，提出联邦学习与张量分解结合的创新框架，在确保用户隐私的前提下解决了分布式的QoS预测问题。
本发明实施例还提供了一种基于联邦学习的QoS预测系统、客户端和服务端，同样具备上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。
图1为本发明实施例提供的基于联邦张量分解的Web服务分布式QoS预测框架图。
具体实施方式
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
联邦学习是一种分布式的机器学习框架，参与训练的多个平台(客户端)可以在不直接上传私有数据，而是上传本地模型训练的部分数据或是中间训练数据，在保护隐私的前提下，多个平台协同训练一个公共的全局模型。这样的特性使联邦学习成为隐私保护的数据协同分析和推荐系统的重要方法。
已有研究者将基于联邦学习的技术应用于隐私保护的协作数据分析和推荐系统。例如，联邦元学习、联邦矩阵分解、联邦张量分解等。受到这些技术的启发，我们提出了一种将联邦学习与张量分解结合应用于隐私保护的Web服务QoS预测的框架。
张量是一个可用于表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，可以用坐标系统来表示。这些线性关系包括内积、外积、线性映射和笛卡儿积等。在同构意义下，0阶张量是标量，1阶张量是矢量，2阶张量则是矩阵。张量分解是矩阵分解的高阶泛化，常用于数据降维处理、缺失数据填补和数据间的隐性关系挖掘。采用集中化张量分解对多维的QoS数据进行缺失填充是一种经典的预测方法。
考虑到多维的QoS数据可以被表示为多维的数组，因此可以采用张量来表示不同平台产生的多维QoS数据。采用N维的张量
Figure GDA0003659379420000052
来记录历史QoS数据，坐标为(i1，i2，...，iN)的项表示为
Figure GDA0003659379420000051
例如，Web服务的QoS性能与服务调用的时间高度相关，因为服务状态(例如工作负载，客户端数量)和网络环境(例如拥塞)是随着时间变化的。因此，时间因素是QoS预测中一个非常重要的因素，可以建模为一个单独的维度，进而构成一个三维空间的张量：m用户，nweb服务，和t时间。这个QoS数据的张量表示为
Figure GDA0003659379420000061
表示用户i1在i2时刻调用服务i3的QoS值。
一个N路的张量可以被重排为一个矩阵，这个操作被称为矩阵化。我们将一个模N的张量
Figure GDA0003659379420000066
矩阵化得到的矩阵表示为
Figure GDA0003659379420000067
张量分解则是一种将原始张量表示为低维潜在矩阵的降维方法。其中，我们重点关注一种经典的张量分解方法，CANDECOMP/PARAFAC(CP)分解。它可以通过R个一阶张量的和逼近原始张量
Figure GDA0003659379420000068
来捕获多线性结构。一个R阶的CP张量分解表示如下：
Figure GDA0003659379420000062
其中，A(n)(n∈1，2...，N)是模n的因子矩阵，A(N)(：，r)表示A(n)的第r行，R表示矩阵的秩。
张量分解的目标函数是找到一组R归一化一阶张量集合
Figure GDA0003659379420000063
用于逼近原张量
Figure GDA0003659379420000069
使得下面的F范数最小：
Figure GDA0003659379420000064
其中，
Figure GDA0003659379420000065
已有的张量分解预测方法通常是中心化的，需要将所有数据集中到中央服务器参与训练，进而得到更好的预测效果。
协同过滤(Collaborative Filtering)是最经典的QoS预测技术，它需要利用历史数据预测未知的QoS数据值。传统的基于协同过滤的QoS预测方法以及前面介绍的传统的张量分解方法通常要求将所有QoS数据集中在一起处理。因此，在进行预测模型训练之前，需要将各平台的QoS数据传输到中央服务器进行集中。而传输过程中存在隐私风险。
已有许多研究尝试解决数据传输的隐私问题。例如：在传输前采用同态加密等技术对数据进行额外的编码，可以隐藏隐私信息，但同态加密需要的时间较长，这会导致显著的传输延迟；在数据中注入噪声也可以起保护隐私的作用，但这会使模型的预测精确度明显下降。
放大局部敏感散列(Locality-Sensitive Hashing，LSH)和最小化散列(MinHash)的方法可以用于计算不同平台的用户之间的相似度。有学者基于该方法提出了一种时间感知且保护隐私的QoS方法，拓展了传统的LSH技术，纳入了时间因素。这种LSH方法可以保护用户的关键隐私，但如果处理的是稀疏数据，预测结果会受到很大影响。此外，它面临冷启动、难扩展等问题。
基于此，为了解决分布式QoS数据在模型训练过程中的隐私安全问题，本实施例设计了基于联邦张量分解的Web服务分布式QoS预测框架，如图1所示。
为了简化描述，我们假设总共有K个平台参与模型训练。给定一个公共的Web服务集合，每个平台保存的QoS数据构成一个本地的QoS张量
Figure GDA0003659379420000081
我们将张量分解模型分为公共部分和私有部分。私有部分由用户潜在因子构成，各平台间差异较大，且对于隐私保护要求较高，因此在联邦训练的过程中，这一部分数据将保存在本地；而公共部分由服务潜在因子构成，由于各平台的服务来自一个公共服务集，它们的服务潜在因子是所有平台共享的，可以协同训练得到。
模型每轮迭代训练流程如下：
(1)各平台与参数中央服务器建立连接并下载全局公共部分；
(2)各平台基于其本地保存的QoS数据进行张量分解，并更新其公共部分和私有部分；
(3)各平台将本轮训练得到的本地公共部分上传到参数中央服务器，并聚合得到一个新的全局公共部分；
以上训练步骤将不断循环，直至模型收敛或者达到某个预设的停止条件。在我们的模型框架中，参数中央服务器不要求所有平台每轮都将其本地公共部分上传。收到一定数目的本地公共部分后，中央服务器会生成全局的公共部分。由于涉及到用户隐私信息的部分没有上传到中央服务器与其他平台共享，联邦张量分解框架可以确保用户的隐私安全。
在实际应用中，每个用户在一段时间内通常只会调用有限的几种服务，这导致单个用户调用的服务集合非常有限；而每个平台存储的QoS数据分布依赖于它覆盖的用户，这可能导致不同平台中不同的用户调用的服务集差异非常大，即non-i.i.d(notindependent and identically distributed，非独立同分布的)；因此，作为本实施例的一种可选实施方式，本实施例还提供了一种用于non-i.i.d QoS数据的联邦张量分解方法。
具体地，为参与联邦张量分解的各个平台设定目标函数，根据公式(2)，第k个参与平台的目标函数如下：
Figure GDA0003659379420000091
其中，
Figure GDA0003659379420000092
平台k将它的本地张量分解为两部分：私有部分
Figure GDA0003659379420000093
和公共部分
Figure GDA0003659379420000094
根据不同参与平台包含的用户集合不相同，但服务集合相同的特性，我们将所有本地的用户潜在因子矩阵
Figure GDA0003659379420000095
连接在一起组成全局的用户潜在因子矩阵A(1):
Figure GDA0003659379420000101
而协同训练得到的公共部分由所有参与平台共享，我们假设所有参与联邦训练的平7)台的本地服务潜在因子矩阵是
Figure GDA0003659379420000102
与全局的服务潜在因子矩阵
Figure GDA0003659379420000103
相等：
Figure GDA0003659379420000104
因此，等式(2)中的
Figure GDA0003659379420000105
可以用
Figure GDA0003659379420000106
表示为：
Figure GDA0003659379420000107
等式(2)的需要解决的优化问题可以表示为：
Figure GDA0003659379420000108
其中，
Figure GDA0003659379420000109
Figure GDA00036593794200001010
由于不同平台的QoS数据是non-i.i.d的，为了得到更准确的预测结果，我们在公式(7)的基础上引入l2范数正则：
Figure GDA00036593794200001011
其中，参数γ用于平衡重构损失和本地-全局公共部分的差值比例。由于所有参与训练的平台分解所得本地公共部分应当与全局的公共部分接近，增加一个二次的惩罚，可以在本地-全局差距较大的情况下，调整本地产生的偏差。
进一步地，分布式的训练要求每个平台基于自己存储的QoS数据进行训练，并与中心节点通讯，传输数据。不同平台之间由于网络环境等差异可能导致通讯延迟。因此，如何避免延迟，实现高效的通讯也是待解决的关键问题。
为此，作为本实施例的另一种可选实施方式，本实施例还提供了优化通信效率的联邦学习方法。
具体地，我们的目标是找到使得等式(8)目标函数最小化的用户潜在因子矩阵
Figure GDA0003659379420000111
和全局的服务潜在因子矩阵A(n)(n∈{2，...，N})。为了解决优化的问题，常用交替方向乘子法(ADMM)，弹性平均随机梯度下降法(EASGD)。其中，EASGD是基于随机梯度下降的算法，它的计算复杂度由非零元素数量决定，因此适用于稀疏张量的运算。此外，EASGD比侧重参数选择的ADMM更稳定。然而EASGD不适用于QoS预测中存在延迟参与者的情景。
因此，我们使用FedProx用于优化更新，FedProx是一种基于随机梯度下降的优化方法。结合FedProx，我们下面介绍完成一轮联邦学习模型训练所需要的流程，假设当前正在进行第t轮训练：
1、本地模型更新
每个参与平台通过解决等式(8)的子问题完成本地模型的更新，包括本地私有部分和本地公共部分。
(1.1)本地私有部分，主要是用户潜在因子矩阵，不同参与者生成的用户潜在因子矩阵各不相同。假设
Figure GDA0003659379420000121
是第k个参与平台的用户潜在因子矩阵，则
Figure GDA0003659379420000122
的梯度如下：
Figure GDA0003659379420000123
其中，
Figure GDA0003659379420000124
和
Figure GDA0003659379420000125
分别是张量
Figure GDA0003659379420000126
和
Figure GDA0003659379420000127
的mode-1矩阵，
Figure GDA0003659379420000128
⊙符号表示Khatri-Rao乘积。对于每个参与平台k，它将自己的用户潜在因子保留在本地，并基于本地的数据集更新它的用户潜在因子矩阵：
Figure GDA0003659379420000129
其中，αk是第t轮的学习率，用于控制梯度下降的速度。
(1.2)本地公共部分，是服务潜在因子矩阵。它的梯度计算方法如下：
Figure GDA0003659379420000131
其中，
Figure GDA0003659379420000132
是第k个参与者的本地服务潜在因子矩阵，A(n)是收集各参与平台的本地服务潜在因子矩阵，习得的全局服务潜在因子矩阵。
A(-n)＝A(N)⊙...⊙A(n+1)⊙A(n-1)⊙...⊙A(1)，n≥2。 (12)
每个参与平台k发送它本轮的本地服务潜在因子矩阵
Figure GDA0003659379420000133
到中央参数服务器，然后收到来自中央服务器的全局服务潜在矩阵A(n)，t(n≥2)。接下来，参与者k将基于本地数据集进行多次张量分解，使得等式(8)中的目标函数接近最小值：
Figure GDA0003659379420000134
2、全局模型更新
中央参数服务器将它当前的全局服务潜在因子矩阵A(n)，t(n≥2)发送给所有客户端/平台。由于训练过程中，并不是所有参与平台都能快速将本地的参数上传到服务器，因此，服务器只要收集到足够数目的本地服务潜在因子矩阵
Figure GDA0003659379420000141
就能更新得到新一轮的全局服务潜在因子矩阵A(n)，t+1(n∈{2，...，N})，全局的更新公式如下所示：
Figure GDA0003659379420000142
其中St+1代表所有平台
Figure GDA0003659379420000143
中，成功向服务器上传了本地服务潜在因子矩阵的平台子集。最后总结联邦张量分解的流程：
(2.1)在服务端运行的流程：
输入：A(n)，t(t＝0，n∈{2，...，N})，γ＞0，αt；在时间t：
(a)将当前的全局公共部分
Figure GDA0003659379420000144
发送给所有参与训练的客户端(或平台)；
(b)收集一定数量来自客户端的本地公共部分
Figure GDA0003659379420000145
(c)根据等式(13)更新全局公共部分。
(2.2)在客户端k运行的流程：
输入：
Figure GDA0003659379420000146
在时间k：
(a)将当前的本地公共部分
Figure GDA0003659379420000147
发送给服务器；
(b)收到服务器发送的全局公共部分A(n)，t(n∈{2，...，N})；
(c)根据等式(10)更新本地私有部分；
(d)根据等式(12)更新本地公共部分。
因此，本实施例提供的基于联邦学习的QoS预测方法，提出了联邦学习与张量分解结合的创新框架，在确保用户隐私的前提下解决分布式的QoS预测问题，同时该框架适用于non-i.i.d分布的数据集；在此基础上结合QoS数据特性，我们提出了更加高效的优化流程，使用了一种有助于优化传输效率的梯度下降算法。
在本申请的另一实施例中，还提供了一种基于联邦学习的QoS预测客户端，包括：
下载模块，用于下载服务端上的全局公共部分；
联邦张量分解模块，用于对本地保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；
上传保存模块，用于将更新的本地公共部分上传到服务端，以使服务端聚合得到新的全局公共部分；还用于将本地私有部分保存在各自客户端；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
具体地，联邦张量分解模块还用于引入L2范数正则，以平衡重构损失和平衡本地公共部分和全局公共部分之间的差值比例。
在本申请的另一实施例中，还提供了一种基于联邦学习的QoS预测服务端，包括：
发送模块，用于将当前的全局公共部分发送给所有参与训练的客户端；
收集模块，用于收集来自客户端更新的本地公共部分；
聚合模块，用于根据客户端更新的本地公共部分，聚合得到新的全局公共部分；
具体地，每当收集模块收集到预设数量的本地公共部分的服务潜在因子时，触发一次聚合模块聚合得到一个新的全局公共部分。
在本申请的另一实施例中，还提供了一种基于联邦学习的QoS预测系统，包括客户端和服务端。
客户端用于下载服务端上的全局公共部分；还用于对本地保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分；还用于将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；
服务端用于根据更新的本地公共部分聚合得到新的全局公共部分；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
综上所述，本申请提供的实施例，在分布式系统中，在保证用户隐私信息不被泄露的前提下收集分布在不同平台的QoS数据是非常有实际意义的。此外QoS数据通常是稀疏，non-i.i.d，且多维的。针对这些特性，我们基于联邦学习和张量分解设计的分布式隐私保护QoS预测模型可以突破已有方法的限制。
首先是分布式预测的隐私保护问题，与传统的数据集中预测不同，将联邦学习应用于QoS可以确保用户相关的隐私信息被保存在本地，向服务器上传模型的部分中间训练产物即可协同训练公共模型；而联邦学习的模型传输过程中由于训练数据non-i.i.d，参与平台存在传输延迟等限制，可能导致不好的预测效果。针对这些问题，我们优化了模型训练方案，使用一种更高效的随机梯度下降算法，使模型的通信效率得到提高。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.基于联邦学习的QoS预测方法，其特征在于，包括以下步骤：
客户端下载服务端上的全局公共部分；
客户端将本地公共部分替换为下载的全局公共部分，然后对客户端上保存的QoS数据进行张量分解，张量分解的结果得到新的公共部分和私有部分，并对应更新本地公共部分和本地私有部分；
将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；
每当服务端收集到预设数量的多个不同的客户端上传的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
2.根据权利要求1所述的基于联邦学习的QoS预测方法，其特征在于，所述对客户端上保存的QoS数据进行张量分解，并更新本地公共部分和本地私有部分，具体包括：
引入L2范数正则，以平衡重构损失和平衡本地公共部分和全局公共部分之间的差值比例。
3.根据权利要求2所述的基于联邦学习的QoS预测方法，其特征在于，还包括：
采用交替方向乘子法或弹性平均随机梯度下降法或FedProx法，以优化各客户端和服务端之间的通信效率。
4.基于联邦学习的QoS预测服务端，其特征在于，包括：
发送模块，用于将当前的全局公共部分发送给所有参与训练的客户端；
收集模块，用于收集来自客户端更新的本地公共部分；
聚合模块，用于在每当服务端收集到预设数量的多个不同的客户端上传的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
其中，客户端能够将本地公共部分替换为下载的全局公共部分，然后对本地保存的QoS数据进行张量分解，张量分解的结果得到新的公共部分和私有部分，并对应更新本地公共部分和本地私有部分；更新的本地私有部分保存在客户端；本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
5.基于联邦学习的QoS预测系统，其特征在于，包括客户端和服务端；
所述客户端用于下载服务端上的全局公共部分并替换本地公共部分；还用于对本地保存的QoS数据进行张量分解，张量分解的结果得到新的公共部分和私有部分，并对应更新本地公共部分和本地私有部分；还用于将更新的本地公共部分上传到服务端，将本地私有部分保存在各自客户端；
所述服务端用于在每当服务端收集到预设数量的多个不同的客户端上传的本地公共部分的服务潜在因子时，触发一次聚合，以得到一个新的全局公共部分；
其中，本地私有部分由用户潜在因子构成，本地公共部分由服务潜在因子构成。
CN202011417276.1A 2020-12-07 2020-12-07 基于联邦学习的QoS预测方法及系统、客户端和服务端 Active CN112600697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011417276.1A CN112600697B (zh) 2020-12-07 2020-12-07 基于联邦学习的QoS预测方法及系统、客户端和服务端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011417276.1A CN112600697B (zh) 2020-12-07 2020-12-07 基于联邦学习的QoS预测方法及系统、客户端和服务端

Publications (2)

Publication Number Publication Date
CN112600697A CN112600697A (zh) 2021-04-02
CN112600697B true CN112600697B (zh) 2023-03-14

Family

ID=75188625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011417276.1A Active CN112600697B (zh) 2020-12-07 2020-12-07 基于联邦学习的QoS预测方法及系统、客户端和服务端

Country Status (1)

Country Link
CN (1) CN112600697B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4121906A1 (en) * 2021-04-06 2023-01-25 Telefonaktiebolaget LM ERICSSON (PUBL) Server and agent for reporting of computational results during an iterative learning process
CN112966307B (zh) * 2021-04-20 2023-08-22 钟爱健康科技(广东)有限公司 一种基于联邦学习张量因子分解的医疗隐私数据保护方法
CN114760191B (zh) * 2022-05-24 2023-09-19 咪咕文化科技有限公司 数据服务质量预警方法、系统、设备与可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376901B (zh) * 2018-09-07 2021-09-03 苏州大学 一种基于去中心化矩阵分解的服务质量预测方法
US11323514B2 (en) * 2019-04-30 2022-05-03 EMC IP Holding Company LLC Data tiering for edge computers, hubs and central systems
CN110222213B (zh) * 2019-05-28 2021-07-16 天津大学 一种基于异构张量分解的图像分类方法
CN110443063B (zh) * 2019-06-26 2023-03-28 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN111553745A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于联邦的模型更新方法、装置、设备及计算机存储介质
CN111537945B (zh) * 2020-06-28 2021-05-11 南方电网科学研究院有限责任公司 基于联邦学习的智能电表故障诊断方法及设备

Also Published As

Publication number Publication date
CN112600697A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112600697B (zh) 基于联邦学习的QoS预测方法及系统、客户端和服务端
Konecný et al. Federated learning: Strategies for improving communication efficiency
Konečný et al. Federated learning: Strategies for improving communication efficiency
Wei et al. A framework for evaluating gradient leakage attacks in federated learning
Wahab et al. Federated machine learning: Survey, multi-level classification, desirable criteria and future directions in communication and networking systems
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
WO2021051610A1 (zh) 数据的训练方法及装置、系统
CN112712182B (zh) 一种基于联邦学习的模型训练方法、装置及存储介质
CN110262819B (zh) 一种联邦学习的模型参数更新方法及装置
US20210089878A1 (en) Bayesian nonparametric learning of neural networks
CN113469373B (zh) 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113609398B (zh) 一种基于异构图神经网络的社交推荐方法
CN112235384A (zh) 分布式系统中的数据传输方法、装置、设备及存储介质
US20160004874A1 (en) A method and system for privacy preserving matrix factorization
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
Tuor et al. Demo abstract: Distributed machine learning at resource-limited edge nodes
CN114514519A (zh) 使用异构模型类型和架构的联合学习
Fagbohungbe et al. Efficient privacy preserving edge intelligent computing framework for image classification in IoT
CN115249073A (zh) 一种联邦学习方法以及装置
Beguier et al. Safer: Sparse secure aggregation for federated learning
Chiaro et al. FL-Enhance: A federated learning framework for balancing non-IID data with augmented and shared compressed samples
Shankar et al. Multiple share creation with optimal hash function for image security in wsn aid of ogwo
WO2020189496A1 (ja) 変換システム、方法及びプログラム
Yang et al. Horizontal federated learning
CN116029390A (zh) 一种模型聚合训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant