CN116471072A - 一种基于邻居协作的联邦服务质量预测方法 - Google Patents

一种基于邻居协作的联邦服务质量预测方法 Download PDF

Info

Publication number
CN116471072A
CN116471072A CN202310385145.7A CN202310385145A CN116471072A CN 116471072 A CN116471072 A CN 116471072A CN 202310385145 A CN202310385145 A CN 202310385145A CN 116471072 A CN116471072 A CN 116471072A
Authority
CN
China
Prior art keywords
user
neighbor
community
service
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310385145.7A
Other languages
English (en)
Inventor
许建龙
徐卓
林健
蔡浩
熊智
朱长盛
汪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN202310385145.7A priority Critical patent/CN116471072A/zh
Publication of CN116471072A publication Critical patent/CN116471072A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种基于邻居协作的联邦服务质量预测方法，引入边缘服务器用于管理真实边缘用户，本发明采用联邦学习作为分布式学习框架，与传统的预测方法不同的是，联邦学习方法只需要用户上传模型参数，隐私数据仍然存在于用户本地。本发明还采用了邻居协作的方式，用于解决传统联邦学习参数传递中可能存在的隐私泄露风险。通过邻居间的合作，用户上传的参数被扰动，想要窃取隐私的恶意用户很难恢复原始参数信息，解决了传统联邦学习参数传递过程中仍然可能存在的隐私泄露风险，为服务质量预测领域中的隐私保护问题提供了新思路。

Description

一种基于邻居协作的联邦服务质量预测方法
技术领域
本发明涉及服务质量预测方法，尤其涉及一种基于邻居协作的联邦服务质量预测方法。
背景技术
近年来，一切皆服务（XaaS）[1]的概念和面向服务的架构（SOA）[2]的发展，改变了现代网络应用程序开发模式，一个云应用程序往往通过调用多种云服务以实现目标功能。如一个旅游云平台可能是由住宿服务、出行服务、天气服务、导游服务等组合而成。而由不同云服务提供商开发的具有相同或相似功能的云服务大量存在于云服务系统中。在这样背景下，催生了具有大数据特色的云服务计算环境。
云服务计算大数据主要包涵以下特点：
1)海量的云服务产生的数据规模庞大，管理困难。
2)服务的非功能属性，服务质量（QoS），主要来自于用户的报告，产生的QoS大数据具有用户特异性且包含用户隐私。
3)由不同云服务提供商开发的云服务通常是地理位置分布不同的，具有的网络环境和地理环境存在差异。
4)云应用程序的开发人员对于云服务的内在架构和设计细节是不可知的，只能通过功能选择调用目标类型的服务。
5)相似功能的服务充斥在云服务系统中，难以准确选取满足用户需求的优质服务。
为了实现高质量云服务推荐，很多学者普遍采用基于协同过滤的方法对未知的QoS值进行预测。传统的基于协同过滤的方法通常需要收集用户原始数据，然而这种方法不仅造成了巨大的通信代价还会带来用户隐私泄露的风险。如何在实现高质量的预测结果的同时保护用户隐私，已经成为服务计算领域研究的关键问题。
在如何实现高精确度的服务质量预测和隐私保护的问题上，雪珍门已经进行了大量的研究：
（1）大数据驱动的服务质量预测研究
随着大数据技术的发展，服务计算领域已形成了基于服务质量（QoS）的大数据环境。如何有效地评估云服务的用户端质量已成为一个紧迫和关键的问题，但是从用户端调用所有可用的云服务以进行评估其质量是昂贵和不切实际的。为了解决这一问题，服务质量（QoS）预测任务被提出来。QoS预测是指通过用户端报告的已经被调用过的QoS值，预测候选服务的QoS以实现服务推荐的过程。在现有的研究中，协同过滤(CF)是推荐系统中最成功的个性化预测技术之一，已广泛应用于Web服务的QoS预测。CF方法大致可以分为基于内存的方法、基于模型的方法和混合方法。基于内存的CF的核心假设是，过去观察过类似QoS值的用户在未来可能会观察到常见的QoS值，而基于模型的CF方法是基于使用以前QoS值训练过的预测模型。混合CF方法是基于内存和基于模型的CF方法的组合。
在基于内存的CF的研究中， Wu等人[3] 考虑到数据的稀疏性通过K-means算法对所有用户进行聚类，并使用数据平滑技术来填补缺失的QoS值。而Zheng等人[4]和Ma 等[5]则认为没有预测比糟糕的预测更好，并将缺失的QoS值的填充限制在拥有相似用户或相似服务的人群中。考虑到QoS的归一化有利于CF的准确性，Zhang等[6]采用高斯归一化方法和3-sigma规则将各种类型的QoS值转换为范围[0,1]。同样的，Zhu[7]等人观察到QoS值的变化范围很大，且与典型的评级分布相比，QoS数据分布高度倾斜，方差较大，他们将Box-Cox数据转换的方式用于稳定数据方差，使数据更接近正态分布，提高了QoS预测的精度。相似度在基于内存的CF中也起着十分重要的作用。Chen等人[8]使用A-余弦[9]来计算服务之间的余弦相似性，并通过减去服务的平均QoS值的向量来消除不同QoS尺度的影响。
传统的基于模型的CF方法已经被提出用于QoS预测。例如，Luo等人[10]提出了核最小均方算法(KLMS)，该算法分析所有已知的QoS数据与相似度最高的对应QoS数据之间的隐藏关系。然后应用得到的系数来预测丢失的Web服务QoS值。Wu等[11]提出了一种基于嵌入的分解机器方法，该方法将用户id和服务id嵌入到向量中，利用分解机器预测用户的QoS。矩阵分解（MF）是目前最流行的基于模型的CF方法，并被广泛应用于QoS预测任务中。Cai等人[12]结合区块链技术和MF提出了一种个性化的 Web 服务 QoS 预测方法，他们开发了一种基于同态哈希的用户验证方法，并使用拜占庭协议去除不可靠的用户。Wu等人[13]结合上下文信息和矩阵分解技术协作进行QoS预测，通过考虑服务调用的复杂性, 他们提出的CSMF方法同时对用户到服务和环境到环境的交互进行建模，并充分利用 QoS 数据中的隐式和显式上下文因素。
随着神经网络和深度学习技术的发展，相关的QOS预测方法也被提出来。Sahu等人[14]融合了基于邻域的和基于神经网络的模型，提出了用于QoS预测的深度神经网络集成方法（EDNN）。其中，两种模型的输出通过另一种不同的神经网络模型进行组合。他们的方法略微由于其他的经典方法。Yin等人[15]在移动边缘环境下对QoS预测的神经网络技术进行了探索，他们提出了几种新技术，包括模糊聚类去噪自动编码器（DAFC）和重组嵌入网络，重点关注如何使用上下文信息以及如何缓解过拟合问题。他们的实验证明了这两种网络结构确实提高了性能并减少了过拟合问题。Gao等人[16]基于神经协同过滤（NCF）和模糊聚类用来预测物联网环境中的QoS。他们设计了一种能够对上下文信息进行聚类的模糊聚类算法，然后提出了一种新的组合相似度计算方法。接下来，设计了一个新的可以利用本地和全局特性的NCF 模型。
（2）服务质量预测中的隐私保护研究
随着人们隐私意识的增强和相关法律法规的健全，大数据时代对隐私的要求更加严格。如欧盟出台了《通用数据保护条例（GDPR）》，该条例的适用范围极为广泛，任何收集、传输、保留或处理涉及到欧盟所有成员国内的个人信息的机构组织均受该条例的约束。如何在不破坏用户隐私的情况下实现预期目标成为了大数据相关技术研究的重点，服务计算领域也不例外。目前有很多研究将各种隐私保护技术用于QoS预测任务中。如Zhu等人[17]设计了一种相似性保持隐私保护策略(SPP)，其目的是在保护用户隐私的同时保持用户数据的效用。同时，他们提出了一种位置感知低秩矩阵分解 (LLMF) 算法用于预测QoS。Zhang等人[28]则然后利用拉普拉斯机制在发布前为用户提供可衡量程度的差异隐私保护，他们提出了DEDP算法来考虑用户偏好和移动性的影响。Zhang等人[19]提出了一种新颖的隐私保护 QoS 预测方法——Edge-Laplace QoS（在移动边缘环境中使用拉普拉斯噪声进行QoS 预测），以解决移动边缘环境中 QoS 预测遇到的用户移动性和信息泄露的挑战。他们采用改进的差分隐私方法，对边缘环境中的原始 QoS 数据进行动态伪装，以保护用户数据隐私。Qi 等人[20]增强了经典的局部敏感哈希 (LSH) 技术用于保护用户隐私，他们提出了一种基于增强 LSH 的方法用于准确且不敏感的跨平台服务推荐决策。
（3）基于联邦学习的隐私保护研究
大数据驱动的QoS预测中除了隐私保护以外，还面临着数据孤岛的问题。大部分的数据为个人或公司所有，他们往往不愿意将自己的数据资产贡献出来，有限的低质量的数据难以满足大规模训练模型的要求。针对隐私保护和数据孤岛的挑战，谷歌公司于2016年首次提出了联邦学习（Federated Learning，FL）的框架[21]。该框架的核心思想是基于分布式数据集构建分布式机器学习模型，同时防止数据隐私的泄露，保护数据隐私安全。换句话说，联邦学习框架中，用户不共享数据，只需要共享模型参数。学术界和工业界也对联邦学习框架以及其安全性进行了广泛的研究。Chai等人[22]提出了一个在联邦学习设置下的安全矩阵分解框架，称为 FedMF。首先，他们设计了一个用户级分布式矩阵分解框架，当每个用户只将梯度信息（而不是原始偏好数据）上传到服务器时，就可以学习模型。同时他们也证明了梯度信息的传输也有可能泄露用户隐私并使用同态加密增强了分布式矩阵分解框架。Perifanis 等人[23]改进了He等人[24]提出的神经协同过滤算法，提出了联邦神经协同过滤，并借鉴多方安全计算技术增强的联邦学习的隐私保护强度。最近有研究注意到联邦学习中存在的恶意攻击行为。Zhang等人[25]注意到联邦学习架构容易受到内部参与者的主动攻击，称为中毒攻击，攻击者可以充当联邦学习的良性参与者，将中毒更新上传到服务器，以便他可以轻松影响全局模型的性能。他们还研究和评估了基于生成对抗网络(GAN) 的联邦学习系统中的中毒攻击。
为了建立一个去中心化、可公开审计、健康、具有信任和激励的 FL 生态系统，Bao等人[26]结合区块链提出了使用FLChain取代传统的 FL 参数服务器，其计算结果必须在链上达成共识。为了降低不当行为检测和模型查询的时间成本，他们还设计了 DDCBF 来加速区块链文档信息的查询。Lu等人[27]为了实现车联网的安全数据共享开发了一种混合区块链架构，该架构由许可区块链和本地有向无环图（DAG）组成。他们还提出了一种异步联邦学习方案，采用深度强化学习（DRL）进行节点选择以提高效率。
通过联邦学习保护隐私的方法在服务计算领域还比较少。
参考文献
[1]Duan Y, Fu G, Zhou N, et al. Everything as a service (XaaS) on thecloud: origins, current and future trends[C]//2015 IEEE 8th InternationalConference on Cloud Computing. IEEE, 2015: 621-628.
[2]Bertino E, Martino L, Paci F, et al. Security for web services andservice-oriented architectures[M]. Heidelberg: Springer, 2010.
[3]Wu J, Chen L, Feng Y, et al. Predicting quality of service forselection by neighborhood-based collaborative filtering[J]. IEEE Transactionson Systems, Man, and Cybernetics: Systems, 2012, 43(2): 428-439.
[4]Zheng Z, Ma H, Lyu M R, et al. QoS-aware web servicerecommendation by collaborative filtering[J]. IEEE Transactions on servicescomputing, 2010, 4(2): 140-152.
[5]Ma H, King I, Lyu M R. Effective missing data prediction forcollaborative filtering[C]//Proceedings of the 30th annual international ACMSIGIR conference on Research and development in information retrieval. 2007:39-46.
[6]Zhang M, Liu X, Zhang R, et al. A web service recommendationapproach based on QoS prediction using fuzzy clustering[C]//2012 IEEE ninthinternational conference on services computing. IEEE, 2012: 138-145.
[7]Zhu J, He P, Zheng Z, et al. Online QoS prediction for runtimeservice adaptation via adaptive matrix factorization[J]. IEEE Transactions onParallel and Distributed Systems, 2017, 28(10): 2911-2924.
[8]Chen L, Feng Y, Wu J, et al. An enhanced QoS prediction approachfor service selection[C]//2011 IEEE International Conference on ServicesComputing. IEEE, 2011: 727-728.
[9]Sarwar B, Karypis G, Konstan J, et al. Item-based collaborativefiltering recommendation algorithms[C]//Proceedings of the 10th internationalconference on World Wide Web. 2001: 285-295.
[10]Luo X, Liu J, Zhang D, et al. A large-scale web QoS predictionscheme for the Industrial Internet of Things based on a kernel machinelearning algorithm[J]. Computer Networks, 2016, 101: 81-89.
[11]Wu Y, Xie F, Chen L, et al. An embedding based factorizationmachine approach for web service qos prediction[C]//International Conferenceon Service-Oriented Computing. Springer, Cham, 2017: 272-286.
[12]Cai W, Du X, Xu J. A personalized QoS prediction method for webservices via blockchain-based matrix factorization[J]. Sensors, 2019, 19(12):2749.
[13]Wu H, Yue K, Li B, et al. Collaborative QoS prediction withcontext-sensitive matrix factorization[J]. Future Generation ComputerSystems, 2018, 82: 669-678.
[14]Sahu P, Raghavan S, Chandrasekaran K. Ensemble deep neuralnetwork based quality of service prediction for cloud service recommendation[J]. Neurocomputing, 2021, 465: 476-489.
[15]Yin Y, Cao Z, Xu Y, et al. QoS prediction for servicerecommendation with features learning in mobile edge computing environment[J]. IEEE Transactions on Cognitive Communications and Networking, 2020, 6(4): 1136-1145.
[16]Gao H, Xu Y, Yin Y, et al. Context-aware QoS prediction withneural collaborative filtering for Internet-of-Things services[J]. IEEEInternet of Things Journal, 2019, 7(5): 4532-4542.
[17]X. Zhuet al., "Similarity-Maintaining Privacy Preservation andLocation-Aware Low-Rank Matrix Factorization for QoS Prediction Based WebService Recommendation," inIEEE Transactions on Services Computing, vol. 14,no. 3, pp. 889-902, 1 May-June 2021, doi: 10.1109/TSC.2018.2839741.
[18]Zhang Y, Pan J, Qi L, et al. Privacy-preserving qualityprediction for edge-based IoT services[J]. Future Generation ComputerSystems, 2021, 114: 336-348.
[19]P. Zhang, H. Jin, H. Dong, W. Song and A. Bouguettaya, "Privacy-Preserving QoS Forecasting in Mobile Edge Environments," inIEEE Transactions on Services Computing, vol. 15, no. 2, pp. 1103-1117, 1 March-April 2022,doi: 10.1109/TSC.2020.2977018.
[20]L. Qi, X. Wang, X. Xu, W. Dou and S. Li, "Privacy-Aware Cross-Platform Service Recommendation Based on Enhanced Locality-SensitiveHashing," inIEEE Transactions on Network Science and Engineering, vol. 8, no.2, pp. 1145-1153, 1 April-June 2021, doi: 10.1109/TNSE.2020.2969489.
[21]McMahan, B., Moore, E., Ramage, D., Hampson, S.,&y Arcas, B. A.(2017, April). Communication-efficient learning of deep networks fromdecentralized data. InArtificial intelligence and statistics(pp. 1273-1282).PMLR.
[22]D. Chai, L. Wang, K. Chen and Q. Yang, "Secure Federated MatrixFactorization," inIEEE Intelligent Systems, vol. 36, no. 5, pp. 11-20, 1Sept.-Oct. 2021, doi: 10.1109/MIS.2020.3014880.
[23]Perifanis V, Efraimidis P S. Federated neural collaborativefiltering[J]. Knowledge-Based Systems, 2022, 242: 108441.
[24]He, Xiangnan, et al. "Neural collaborative filtering."Proceedings of the 26th international conference on world wide web. 2017.
[25]Zhang J, Zhang J, Chen J, et al. Gan enhanced membershipinference: A passive local attack in federated learning[C]//ICC 2020-2020IEEE International Conference on Communications (ICC). IEEE, 2020: 1-6.
[26]Bao X, Su C, Xiong Y, et al. Flchain: A blockchain for auditablefederated learning with trust and incentive[C]//2019 5th InternationalConference on Big Data Computing and Communications (BIGCOM). IEEE, 2019:151-159.
[27]Lu Y, Huang X, Zhang K, et al. Blockchain empowered asynchronousfederated learning for secure data sharing in internet of vehicles[J]. IEEETransactions on Vehicular Technology, 2020, 69(4): 4298-4311.
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于邻居协作的联邦服务质量预测方法，可解决传统联邦学习参数传递中可能存在的隐私泄露风险。
为了解决上述技术问题，本发明实施例提供了一种基于邻居协作的联邦服务质量预测方法，包括以下步骤：
S1：在边缘服务器中生成{i,(a,),(b,/>),/>}的任务描述，其中i表示收到该任务的用户，（a，/>）是i的邻居a的编号id以及其公钥/>是用户本轮更新所使用的初始权重；
S2：用户i使用本地服务质量数据集和接收到的初始权重执行用户服务质量预测的本地模型训练，输出得到本地更新参数/>；
S3：用户i使用邻居协作的隐私保护方式对本地更新参数进行分片为两份权重参数/>和/>；
S4：用户i将所述两份权重参数和/>向其所在的社区边缘服务器S上传；
S5：所述社区边缘服务器S聚合本社区的所有本地更新，得到社区全局更新参数；
S6：所述社区边缘服务器将本社区全局更新参数上传至中心服务器；
S7：在确认所有边缘服务器均上传更新后，所述中心服务器更新全局模型参数并发送至所述社区边缘服务器；
S8：所述社区边缘服务器将全局模型参数作为新的全局参数发送至社区内的每个用户；
S9：重复S1-S8的操作，直至预测的QoS值达到服务质量预测的准确度要求；
S10：向用户进行服务推荐。
其中，所述S1中还包括步骤：所述边缘服务器对其社区用户进行随机排序，并根据设定的邻居数n执行用户配对。
其中，所述S3中还包括步骤：用户i使用接收到的任务描述中的公钥和/>加密两个种子/>和/>，然后发送给相应的邻居，用户i使用自己的私钥/>对这两个秘文解密得到/>和/>，与自己发送出去的/>以及/>结合后形成双方认可的种子/>，/>；
得到双方认可的种子后，用户i利用两个种子，/>生成用于扰动参数的两个随机噪声/>和/>，噪声形状与本地更新参数/>相同，如果用户i的id大于其邻居，那随机生成的噪声为原始噪声，否则对生成的噪声取相反数。
其中，所述S3中还包括步骤：当邻居数设定为2 时，设置一个形状与相同的分片器，所述分片器中元素值范围取（-1,1），将本地更新参数/>的每一位与分片器对应位置相乘，结果与/>相加得到/>，本地更新参数/>每一位与/>相应位置元素相减的结果与相加得到/>，而当邻居数n设置大于2 时，需要多个分片器，得到n个参数片，使所述n个参数片对应位置相加后与本地更新参数/>相同。
其中，所述S3中还包括用户i添加噪声的步骤：
其中，表示扰动后被上传至边缘服务器的一部分权重，/>表示分片后的一片权重，/>表示用户i使用与其邻居j协商的种子生成的高斯噪声,根据用户i和用户j的ID大小，决定噪声的正负号。
其中，所述S5中还包括在所述社区边缘服务器按以下规则聚合的方法：
其中表示边缘服务器聚合本边缘社区的权重之和，/>表示用户i的第k个权重分片添加噪声后的权重，/>表示用户i的第k个权重分片，/>和/>表示用户i和j使用协商的种子生成的用于扰动权重的噪声，R表示社区参与用户集合。
其中，所述S7中所述中心服务器更新全局模型参数的方法为：
，
其中，N是社区内所有参与用户的个数，R表示社区参与用户集合。
实施本发明实施例，具有如下有益效果：
1．本发明提出的基于邻居协作的联邦服务质量预测方法，采用隐私增强保证了用户隐私数据安全，解决了传统联邦学习参数传递过程中仍然可能存在的隐私泄露风险，为服务质量预测领域中的隐私保护问题提供了新思路。
2．如图4所示，本发明提出的基于邻居协作的联邦服务质量预测方法与传统的联邦学习方法相比不会降低预测精度。
3．本发明在实现隐私保护的同时，不会带来大量的时间开销。如图5、6所示，增加邻居数能够提高系统的安全性，同时只带来了线性的计算时间增加。
4．本发明每轮只挑选部分用户参与联邦学习，如图7所示，50%用户参与即可达到较好的训练结果，在计算资源和处理速度上都具有优势。
5．本发明提出的针对掉线用户的处理策略，有效解决了因为用户掉线对全局模型造成的不利影响。如图9所示，模拟的用户掉线实验证明了该策略的有效性。
附图说明
图1是边缘环境中的联邦服务质量预测框架；
图2是基于数据分片和邻居协作的隐私增强过程；
图3是单一社区内的联邦学习架构；
图4是在真实世界服务质量数据集WSDream上的不同类别预测方法的预测误差对比表。
图5是不同数据密度和邻居设定下单个用户训练时间（响应时间）的对比图；
其中横坐标表示设定的邻居数（也是数据分片数），纵坐标表示单个边缘用户执行一轮本地更新所花费的时间。Density表示原始服务质量数据的密度
图6是不同数据密度和邻居设定下单个用户训练时间（吞吐量）的对比图；
其中横坐标表示设定的邻居数（也是数据分片数），纵坐标表示单个边缘用户执行一轮本地更新所花费的时间。Density表示原始服务质量数据的密度；
图7是不同比例参与联邦学习训练过程和预测精度（响应时间）的对比图；
其中横坐标表示全局训练轮次，纵坐标表示预测准确度（值越小，准确度越高），Density表示原始服务质量数据的密度；
图8是不同比例用户掉线对全局联邦学习过程的影响（响应时间）的对比图；
其中横坐标表示全局训练轮次，纵坐标表示预测准确度（值越小，准确度越高）。drop表示掉线用户占全部参与训练用户的比例；
图9是不同比例用户掉线和引入处理策略的比较（响应时间）的对比图；
其中横坐标表示全局训练轮次，纵坐标表示预测准确度（值越小，准确度越高），drop表示掉线用户占全部参与训练用户的比例，handle表示使用了掉线用户处理策略。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
本发明实施的一种基于邻居协作的联邦服务质量预测方法实施于如图1所述的结构框架，并通过以下方法过程进行实施。
（1）社区边缘服务器生成{i,(a,),(b,/>),/>}的任务描述，其中i表示收到该任务的用户，（a，/>）是i的邻居a的编号id以及它的公钥/>是用户本轮更新所使用的初始权重。
社区边缘服务器首先从接收到来自云中心的需要执行本轮任务的用户集合中抽取所有本社区的用户，对本社区用户进行随机排序，然后再根据设定的邻居数n执行用户配对，以n=2为例，将用户i与其前后两个用户a和b进行配对。依照以上过程得到基于邻居协作的隐私保护过程中的“邻居对”。
边缘服务器生成{i,(a,),(b,/>),/>}的任务描述，其中i表示收到该任务的用户，（a，/>）是i的邻居a的id以及它的公钥/>是用户本轮更新所使用的初始权重。注意，n=2时邻居是从随机排序后的用户序列中选取i的前后两个用户。
（2）用户i使用本地服务质量数据集和接收到的执行用户服务质量预测的本地模型训练，输出得到本地更新参数/>。
通过神经协同过滤算法得到。
（3）用户i采用基于邻居协作的隐私保护方式对进行分片扰动，并生成两份权重参数（/>和/>），使用协定的两个种子生成随机噪声对分片分别进行扰动，最终生成，/>。
结合图3所示，基于邻居协作的隐私保护方式执行过程为：用户i使用接收到的任务描述中的公钥和/>加密两个种子/>和/>，然后发送给相应的邻居。同样的，i也会收到来自邻居a和b的使用i的公钥Pk_i加密的两个种子/>和。i使用自己的私钥/>对这两个秘文解密得到/>和/>，与自己发送出去的/>以及/>结合后形成双方认可的种子/>，/>。
这里，双方认可的种子是指，双方使用发出的种子与收到后解密的种子相加（或拼接等数据操作）得到的种子，如i与a认可的种子为（+/>）。
具体来说，本发明中用户i收到边缘服务器的任务描述{i,(a,),(b,/>),}后，使用邻居a的公钥来加密生成的/>，根据非对称加密原理，密文/>只能由用户a使用其持有的私钥/>解密。同样的，用户a也需要向用户i发送其生成的/>的密文/>。用户i使用自己的私钥/>对/>解密，得到/>。这样，用户i与用户a形成的“双方认可的”种子为“/>”，其中在用户i侧将其称为/>，在用户a侧将其称为/>。
得到双方认可的种子后，用户i利用两个种子（，/>）生成用于扰动参数的两个随机噪声（/>,/>），噪声形状与/>相同。注意，如果i的id大于其邻居，那随机生成的噪声为原始噪声，否则对生成的噪声取相反数。
和/>的生成过程为：当邻居数设定为2 时，设置一个形状与/>相同的分片器，该分片器中元素值范围取（-1,1），将/>的每一位与分片器对应位置相乘，结果与/>相加得到/>，/>每一位与/>相应位置元素相减的结果与/>相加得到/>。而当邻居数n设置大于2 时，需要多个分片器，得到n个参数片，只需要保证这些参数片对应位置相加后与相同即可。
结合图2所示，对用户i添加噪声的过程如下：
其中，表示扰动后被上传至边缘服务器的一部分权重，/>表示分片后的一片权重，/>表示用户i使用与其邻居j协商的种子生成的高斯噪声。根据用户i和用户j的ID大小，决定噪声的正负号。
当邻居数被设置为2时，用户i的更新权重被分片为和/>。
如当邻居为a,b时，j=a,j=b。
基于邻居协作的隐私保护方式的逻辑是，当邻居数被设置为n时，生成n个形状与用户更新权重相等的分片器，其中，分片器的相同位置值的和为1。用户在得到更新权重后，将该权重与所有的分片器相乘，得到了被分片的权重集。权重和中的所有权重按位相加即可恢复原始权重。为了提高系统的安全性，每个用户可以按规则自主的生成分片器。
（4）用户i向社区边缘服务器S上传得到的和/>。
（5）社区边缘服务器S聚合本社区的所有本地更新，得到社区全局更新参数。
由于在噪声生成阶段根据用户i和其邻居的id大小取原始噪声或相反数，那么可以证明的是，在社区内所有用户上传至社区边缘服务器的参数中的噪声刚好可以互相抵消：
其中表示边缘服务器聚合本边缘社区的权重之和，/>表示用户i的第k个权重分片添加噪声后的权重，/>表示用户i的第k个权重分片，/>和/>表示用户i和j使用协商的种子生成的用于扰动权重的噪声, R表示社区参与用户集合。
（6）社区边缘服务器将本社区全局更新上传至中心服务器。
（7）在确认所有边缘服务器均上传更新后，中心服务器更新全局模型参数并发送至社区边缘服务器/>
（8）社区边缘服务器将作为新的全局参数发送至社区内的每个用户。
（9）重复执行（1）至（8）的操作，直至预测出的QoS值达到服务质量预测的准确度要求。
（10）向用户进行服务推荐。
在本实施例中，还包括使用可信授权方TAP管理新用户的注册和老用户的注销。具体来说，当一个新用户想要加入该系统时，由TAP验证其合法性。合法性检查通过后，TAP为该用户生成公钥-私钥对，其中私钥由用户个人保管，公钥由TAP向各级服务器广播并保存在相应的文件位置。
在上述中云中心包括两个模块：任务生成模块和参数聚合模块，一个完整轮次的联邦学习由云中心的任务生成模块开启。
具体来说，由于用户在线情况的差异性，不可能所有的用户都能同时在线并参与联邦学习，所以云中心的任务生成模块负责从系统中所有在线用户中选择一部分作为联邦学习的参与者。
云中心的任务生成模块只负责用户的选取。此外，为了协调各个边缘社区的联邦学习，云中心的参数聚合模块用于聚合与分配全局参数。该过程可用如下公式表示：
其中，表示全局参数，N表示本轮参与的所有用户总数，/>表示社区i上传的参数。
在本实施例中，本发明还包括用户掉线处理策略，由于提出的基于邻居协作的联邦服务质量预测方法在用户上传过程中引入了噪声扰动，如果有用户掉线，那么其邻居生成的噪声无法被抵消，这对全局的联邦学习过程会产生影响。本发明所提出的用户掉线处理策略为：
边缘服务器在将社区内的用户打乱后以一种环状的结构进行配对。以一个4户家庭的社区举例，若邻居数为2，设家庭ID为{a，b， c，d}，打乱后的顺序为{c,b,a,d}，则用户对为（c,b）（b,a）（a,d）（d,c）.若在第一阶段用户a掉线，那么其邻居b或者c无法在规定的时间内收到相应的随机种子信息，这时邻居用户b或者c应立即向边缘服务器报告该情况。若在第二阶段掉线，那么边缘服务器在规定的时间内无法收到该用户的本地更新。对两种掉线的处理都是通过边缘服务器将该掉线用户移除任务环，并连接其两侧用户形成新的环状结构，如{c，b，d}。
本发明实施例可以取得以下优点：
1．本发明提出的基于邻居协作的联邦服务质量预测方法，采用隐私增强保证了用户隐私数据安全，解决了传统联邦学习参数传递过程中仍然可能存在的隐私泄露风险，为服务质量预测领域中的隐私保护问题提供了新思路。
2．如图4所示，本发明提出的基于邻居协作的联邦服务质量预测方法与传统的联邦学习方法相比不会降低预测精度。
在图4中，误差评估指标分别为1). 绝对平均误差 (MAE); 2). 均方误差(MSE);3). 均方根误差 (RMSE); 4). 平均绝对误差百分比(MAPE)，每个指标都是值越小表示预测准确度越高。
WSDream数据集包含响应时间和吞吐量两类服务质量数据。
表中，PMF、GMF、LDCF均为传统的集中式训练方式，未考虑用户隐私问题。带有Fed前缀的为相应方法的联邦学习版本，采用的联邦平均（FedAVG）的聚合方式，带有NCSF的是本发明提出的基于邻居协作的安全联邦学习在三种预测算法上的实现。Diff.表示NCSF与FedAVG的预测精度差，其中“+”表示NCSF优于FedAVG，“-”表示NCSF精度低于FedAVG。可以看到和FedAVG的预测精度相比，NCSF并不会降低模型的预测精度，同时又能实现较高的隐私安全。
3．本发明在实现隐私保护的同时，不会带来大量的时间开销。如图5、6所示，增加邻居数能够提高系统的安全性，同时只带来了线性的计算时间增加。
4．本发明每轮只挑选部分用户参与联邦学习，如图7所示，50%用户参与即可达到较好的训练结果，在计算资源和处理速度上都具有优势。
5．本发明提出的针对掉线用户的处理策略，有效解决了因为用户掉线对全局模型造成的不利影响。如图9所示，模拟的用户掉线实验证明了该策略的有效性。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于邻居协作的联邦服务质量预测方法，其特征在于，包括以下步骤：
S1：在边缘服务器中生成{i,(a,),(b,/>),/>}的任务描述，其中i表示收到该任务的用户，（a，/>）是i的邻居a的编号id以及其公钥/>是用户本轮更新所使用的初始权重；
S2：用户i使用本地服务质量数据集和接收到的初始权重执行用户服务质量预测的本地模型训练，输出得到本地更新参数/>；
S3：用户i使用邻居协作的隐私保护方式对本地更新参数进行分片为两份权重参数和/>；
S4：用户i将所述两份权重参数和/>向其所在的社区边缘服务器S上传；
S5：所述社区边缘服务器S聚合本社区的所有本地更新，得到社区全局更新参数；
S6：所述社区边缘服务器将本社区全局更新参数上传至中心服务器；
S7：在确认所有边缘服务器均上传更新后，所述中心服务器更新全局模型参数 并发送至所述社区边缘服务器；
S8：所述社区边缘服务器将全局模型参数作为新的全局参数发送至社区内的每个用户；
S9：重复S1-S8的操作，直至预测的QoS值达到服务质量预测的准确度要求；
S10：向用户进行服务推荐。
2.根据权利要求1所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S1中还包括步骤：所述边缘服务器对其社区用户进行随机排序，并根据设定的邻居数n执行用户配对。
3.根据权利要求2所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S3中还包括步骤：用户i使用接收到的任务描述中的公钥和/>加密两个种子/>和/>，然后发送给相应的邻居，用户i使用自己的私钥/>对这两个秘文解密得到和/>，与自己发送出去的/>以及/>结合后形成双方认可的种子，/>；
得到双方认可的种子后，用户i利用两个种子，/>生成用于扰动参数的两个随机噪声/>和/>，噪声形状与本地更新参数/>相同，如果用户i的id大于其邻居，那随机生成的噪声为原始噪声，否则对生成的噪声取相反数。
4.根据权利要求3所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S3中还包括步骤：当邻居数设定为2 时，设置一个形状与相同的分片器，所述分片器中元素值范围取（-1,1），将本地更新参数/>的每一位与分片器对应位置相乘，结果与/>相加得到/>，本地更新参数/>每一位与/>相应位置元素相减的结果与/>相加得到/>，而当邻居数n设置大于2 时，需要多个分片器，得到n个参数片，使所述n个参数片对应位置相加后与本地更新参数/>相同。
5.根据权利要求3所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S3中还包括用户i添加噪声的步骤：
其中， 表示扰动后被上传至边缘服务器的一部分权重，/>表示分片后的一片权重，表示用户i使用与其邻居j协商的种子生成的高斯噪声,根据用户i和用户j的ID大小，决定噪声的正负号。
6.根据权利要求5所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S5中还包括在所述社区边缘服务器按以下规则聚合的方法：
其中表示边缘服务器聚合本边缘社区的权重之和，/>表示用户i的第k个权重分片添加噪声后的权重，/>表示用户i的第k个权重分片，/>和/>表示用户i和j使用协商的种子生成的用于扰动权重的噪声，R表示社区参与用户集合。
7.根据权利要求6所述的基于邻居协作的联邦服务质量预测方法，其特征在于，所述S7中所述中心服务器更新全局模型参数的方法为：
，
其中，N是社区内所有参与用户的个数，R表示社区参与用户集合。
CN202310385145.7A 2023-04-12 2023-04-12 一种基于邻居协作的联邦服务质量预测方法 Pending CN116471072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385145.7A CN116471072A (zh) 2023-04-12 2023-04-12 一种基于邻居协作的联邦服务质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385145.7A CN116471072A (zh) 2023-04-12 2023-04-12 一种基于邻居协作的联邦服务质量预测方法

Publications (1)

Publication Number Publication Date
CN116471072A true CN116471072A (zh) 2023-07-21

Family

ID=87178309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385145.7A Pending CN116471072A (zh) 2023-04-12 2023-04-12 一种基于邻居协作的联邦服务质量预测方法

Country Status (1)

Country Link
CN (1) CN116471072A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117560229A (zh) * 2024-01-11 2024-02-13 吉林大学 一种联邦非介入式负荷监测用户验证方法
CN117744833A (zh) * 2023-12-27 2024-03-22 云海链控股股份有限公司 应用于智慧医疗的联邦机器学习方法，装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744833A (zh) * 2023-12-27 2024-03-22 云海链控股股份有限公司 应用于智慧医疗的联邦机器学习方法，装置、设备及介质
CN117560229A (zh) * 2024-01-11 2024-02-13 吉林大学 一种联邦非介入式负荷监测用户验证方法
CN117560229B (zh) * 2024-01-11 2024-04-05 吉林大学 一种联邦非介入式负荷监测用户验证方法

Similar Documents

Publication Publication Date Title
Shen et al. From distributed machine learning to federated learning: In the view of data privacy and security
Wang et al. A blockchain based privacy-preserving federated learning scheme for Internet of Vehicles
CN116471072A (zh) 一种基于邻居协作的联邦服务质量预测方法
Perifanis et al. FedPOIRec: Privacy-preserving federated poi recommendation with social influence
Casino et al. An efficient blockchain-based privacy-preserving collaborative filtering architecture
CN113420232B (zh) 一种面向隐私保护的图神经网络联邦推荐方法
Wang et al. Beh-Raft-Chain: a behavior-based fast blockchain protocol for complex networks
Lyu et al. Towards fair and decentralized privacy-preserving deep learning with blockchain
Liu et al. Ltsm: Lightweight and trusted sharing mechanism of iot data in smart city
Karumba et al. HARB: A hypergraph-based adaptive consortium blockchain for decentralized energy trading
Fadi et al. A survey on blockchain and artificial intelligence technologies for enhancing security and privacy in smart environments
Xu et al. A scalable two-layer blockchain system for distributed multicloud storage in IIoT
WO2022076826A1 (en) Privacy preserving machine learning via gradient boosting
Halgamuge et al. Trust model to minimize the influence of malicious attacks in sharding based blockchain networks
Putra et al. Blockchain for trust and reputation management in cyber-physical systems
Smahi et al. BV-ICVs: A privacy-preserving and verifiable federated learning framework for V2X environments using blockchain and zkSNARKs
Gao et al. BFR‐SE: A Blockchain‐Based Fair and Reliable Searchable Encryption Scheme for IoT with Fine‐Grained Access Control in Cloud Environment
Sun et al. A survey on federated recommendation systems
Lv et al. Blockchain based decentralized learning for security in digital twins
Zeng et al. TD-MDB: A truth discovery based multi-dimensional bidding strategy for federated learning in industrial IoT systems
Liu et al. Secure Federated Evolutionary Optimization—A Survey
Huang et al. Blockchain‐Enabled Task Offloading and Resource Allocation in Fog Computing Networks
Huang et al. Blockchain-based federated learning: A systematic survey
Tian et al. MSLShard: An efficient sharding-based trust management framework for blockchain-empowered IoT access control
Guo et al. B 2 sfl: A bi-level blockchained architecture for secure federated learning-based traffic prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination