CN113326128A - 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法 - Google Patents

移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法 Download PDF

Info

Publication number
CN113326128A
CN113326128A CN202110594483.2A CN202110594483A CN113326128A CN 113326128 A CN113326128 A CN 113326128A CN 202110594483 A CN202110594483 A CN 202110594483A CN 113326128 A CN113326128 A CN 113326128A
Authority
CN
China
Prior art keywords
user
popularity
network
model
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110594483.2A
Other languages
English (en)
Inventor
黄永明
郑冲
刘升恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110594483.2A priority Critical patent/CN113326128A/zh
Publication of CN113326128A publication Critical patent/CN113326128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，通过对每个用户的局部动态流行度模型的构建，以及对全局动态流行度模型的推导，将系统中的内容流行度预测问题建模成一个分布式预测问题；通过结合循环神经网络、自编码器以及联邦学习架构，提出了一种无监督循环联邦学习；最后通过迭代训练，获得了隐私保护约束下的流行度预测方案设计；本发明有助于实现边缘无线网络中用户隐私保护约束下的流行度预测，并且相比于传统的流行度预测算法，本发明不仅能够保护用户隐私还能够获得更低的预测误差。

Description

移动边缘计算网络中基于无监督循环联邦学习的隐私保护流 行度预测方法
技术领域
本发明涉及流行度预测技术领域，特别是涉及移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法。
背景技术
移动边缘计算技术将缓存和计算资源同时部署在网络边缘，是提供物联网，车联网和智慧城市等业务的有效框架，可以缓解数据中心不断增长的流量负担。移动边缘计算网络中边缘节点的密集部署，例如无线电接入点或微基站等，能够允许对用户近端接入并访问移动边缘计算服务器上的丰富计算资源与缓存资源。但是，缓存资源的有效利用还得进一步依赖于一个有效地缓存策略。边缘缓存被认为是一种经济有效的方法，可以解决回程瓶颈问题并减少内容检索和切换延迟。一个边缘缓存策略的性能很大在很大程度上取决于流行数据的选择机制，该选择必须能够从巨大的数据洪流中选择出值得被缓存的内容，这就需要依赖于对用户的主观兴趣或需求进行一个精准的预测，也称之为流行度预测。
近年来，许多研究工作对动态流行度预测进行了研究，并提出了包括时序预测，社交驱动的预测和基于统计信息的预测等多种流行度预测方法。但是这些预测方法往往都非常依赖于用户的隐私数据，因而会对用户的隐私安全保护带来巨大的隐患。事实上，在当今很多行业，特别是在电子医疗和自动驾驶等相关行业，用户私有数据泄漏可能会导致灾难性的后果，如危及用户生命安全以及或者给数据提供商造成严重的财产损失。以此，充分利用移动边缘计算网络的计算优势，在保护用户隐私的进行下进行流行度预测将是真正可用于实际的研究方向。针对以上描述，本发明提出了一种移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法。
发明内容
有鉴于此，本发明的目的在于提供一种移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，用以解决背景技术中提及的技术问题，本发明通过对每个用户的局部动态流行度模型的构建，以及对全局动态流行度模型的推导，将系统中的内容流行度预测问题建模成一个分布式预测问题；通过结合循环神经网络、自编码器以及联邦学习架构，提出了一种无监督循环联邦学习，最后通过迭代训练，获得了隐私保护约束下的流行度预测方案设计。
为了达到上述目的，本发明采用如下技术方案：
移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，所述预测方法基于移动边缘计算系统，该系统包括服务器端和多个用户端，所述服务器端和所述用户端之间实现通信连接；所述预测方法包括如下步骤：
步骤S1、构建用户端的文件请求概率模型，通过考虑用户端主观兴趣的变化性来构建每个用户端文件请求的动态流行度模型，根据每个用户端的局部流行度得到服务这些用户端的服务器端的动态全局流行度模型；
步骤S2、利用用户端的历史请求，在保护用户的隐私约束下，构建局部流行度和全局流行度的分布式预测模型；
步骤S3、采用联邦学习框架，训练学习迭代得出在用户隐私保护约束下的各流行度分布式预测方案。
进一步的，考虑一个典型的单接入节点服务I个用户的移动边缘计算系统，其中服务内容库包含N个文件，表示为
Figure BDA0003090648050000021
任意用户i在时刻t的产生内容请求记为Fi(t)。我们假设
Figure BDA00030906480500000214
的概率为λi(t)，若该时刻用户i不产生内容请求，则表示为
Figure BDA0003090648050000022
当
Figure BDA0003090648050000023
时，我们假设此时用户i的内容流行度服从参数为αi(t)的Zipf分布，记为
Figure BDA0003090648050000024
因此，用户i在时刻t的内容请求概率模型可以表示为：
Figure BDA0003090648050000025
公式(1)中，
Figure BDA0003090648050000026
表示为
Figure BDA0003090648050000027
情况下用户i在时刻t请求内容库中第n个文件Fn的概率。
进一步的，在所述步骤S1中，通过动态变化的αi(t)来表示用户i主观兴趣的变化性，同时考虑到用户兴趣在时间上的前后相关性以及复杂性，我们将αi(t)的动态性建模成一个包含
Figure BDA0003090648050000028
个状态的无模型马尔科夫链，其中集合
Figure BDA0003090648050000029
为用户i所有可能的Zipf分布参数集。αi(t)的动态性具体建模为：
Figure BDA00030906480500000210
公式(2)中，
Figure BDA00030906480500000211
为αi(t)转移到
Figure BDA00030906480500000213
的转移概率，且在无模型马尔科夫链链中该状态转移概率是未知的。
进一步的，在所述步骤S1中，所述每个用户端文件请求的动态流行度模型的表达式为：
Figure BDA0003090648050000031
公式(3)中，
Figure BDA0003090648050000032
N表示为移动边缘计算系统中的服务内容库包含N个文件，n为内容库中第n个文件Fn的索引号。
进一步的，在所述步骤S1中，所述动态全局流行度模型在时刻t的表达式可以推导得出：
Figure BDA0003090648050000033
进一步的，在所述步骤S2中，在每个用户端，以长短期记忆神经元作为最小单元，搭建一个结构完全相同的自编码器神经网络。第i个用户端所部署的神经网络的网络参数可表示为
Figure BDA0003090648050000034
其中
Figure BDA0003090648050000035
为编码器的网络参数，
Figure BDA0003090648050000036
为解码器的网络参数。通过将用户端的历史文件请求数据投喂给所述自编码器神经网络，来进行局部流行度预测网络模型的无监督训练，其中编码器的输出向量为用户端的本地流行度预测值；
在服务器端，部署与所述自编码器神经网络中的编码器结构相同的网络作为全局流行度的预测网络模型。
进一步的，在所述步骤S2中，任意一个用户端i在t+1时刻的局部流行度预测值的表达式为：
Figure BDA0003090648050000037
公式(5)中，Ri(t)＝{Fi(t-H),Fi(t-H+1),…,Fi(t)}为用户端i的一个提取器用于提取连续H个时刻内的历史请求信息，
Figure BDA0003090648050000038
为用户端i的局部流行度预测网络模型，
Figure BDA0003090648050000039
为局部流行度预测网络模型的参数；
服务器端在时刻t+1的全局流行度预测值的表达式为：
Figure BDA0003090648050000041
公式(6)中，
Figure BDA0003090648050000042
为服务器端所部署的全局流行度预测网络模型，ΘG为全局流行度预测网络模型的参数，
Figure BDA0003090648050000043
为服务器在时刻t所收到的内容请求。
进一步的，所述保护用户的隐私约束具体包括：所述服务器端在时刻t结束之前必须删除所收到的用户内容请求信息RG(t)，用以保障用户端的隐私安全。
进一步的，所述步骤S3具体包括；
步骤S301、每个用户端的历史请求数据表示为
Figure BDA0003090648050000044
其中
Figure BDA0003090648050000045
为保存在用户端i的历史请求数据，并且每个用户端的
Figure BDA0003090648050000046
都只保存在自身的本地设备上，且不允许外界访问；
步骤S302、在用户端，每个用户端部署的神经网络预测模型进行独立训练；
步骤S303、对于用户端i,每次训练，通过提取器Ri(t)从
Figure BDA0003090648050000047
中随机提取S个用于训练的迷你批
Figure BDA0003090648050000048
其中ts是在时刻t的随机采样点，(xs,xs)为一个样本点，xs表示为样本。利用平均MSE作为损失函数来训练各个客户端的局部流行度预测网络，表达式为：
Figure BDA0003090648050000049
公式(7)中，
Figure BDA00030906480500000410
为用户端i的自编码器的输出，Θi表示为局部流行度预测网络的模型参数，S为该批次用于训练的样本总数，s为第s个批的索引号。
步骤S304、每个用户端在进行了T次训练之后，就向服务器端上传一次最近的网络模型参数Θi；
步骤S305、在服务器端，服务器端将所有收到的用户端的网络模型参数堆叠成
Figure BDA00030906480500000411
然后服务器端对用户端的网络模型参数Θi进行参数聚合，表达式为：
Figure BDA00030906480500000412
公式(8)中，ωi反映每个用户端的网络模型参数在全局流行度预测网络模型上的重要性,I为用户的总数。
步骤S306、更新全局流行度预测网络的模型参数，表达式为：
Figure BDA00030906480500000413
公式(9)中，ΘG表示为全局流行度预测网络的模型参数，I为用户的总数。
步骤S307、一旦步骤S305中的参数聚合操作完成，服务器端将通过边缘节点将新的参数ΘAE广播给服务区内所有用户端；
步骤S308、用户端在收到参数ΘAE之后，将局部流行度预测网络的模型参数进行更新Θi＝ΘAE，然后接着进行新一轮的本地训练，直到训练到最大迭代次数。
本发明的有益效果是：
本发明提供的移动边缘计算网络中一种基于无监督循环联邦学习的隐私保护流行度预测方法，能够在保护用户隐私数据的同时，有效地降低流行度的预测误差。仿真结果表明，相比于其它预测算法，本发明提出的移动边缘计算网络中一种基于无监督循环联邦学习的隐私保护流行度预测方法能提供额外的预测准确度增益。
附图说明
图1为本发明实施例中提出的无监督循环联邦学习算法的网络架构图。
图2为本发明实施例中提出的基于长短期记忆元的自编码器神经网络的架构图。
图3为本发明实施例中各个用户端的局部流行度预测误差结果示意图。
图4为不同算法在移动边缘计算服务器端的全局流行度预测性能的对比示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1-图4，本实施例提供一种移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，具体步骤如下：
考虑一个典型的单接入节点服务I各用户的移动边缘计算系统，其中服务内容库包含N个文件，表示为
Figure BDA0003090648050000051
此外，接入节点上配备有移动边缘计算服务器，能够进行一定量的内容缓存，假设能缓存M0个文件，服务器在时刻t所缓存的文件集合记为
Figure BDA0003090648050000052
同时任意用户i的本地设备也具有一定的缓存能力，能缓存Mi个文件，用户i的本地设备在时刻t对应的缓存文件为
Figure BDA0003090648050000053
假设任意用户i在时刻t的产生内容请求
Figure BDA0003090648050000054
的概率为λi(t)，若该时刻用户i不产生内容请求，则表示为
Figure BDA0003090648050000061
当
Figure BDA0003090648050000062
时，我们假设此时用户i的内容流行度服从参数为αi(t)的Zipf分布，记为Fi(t)～Zipf(αi(t))。因此，用户i在时刻t的内容请求概率模型可以表示为：
Figure BDA0003090648050000063
其中，
Figure BDA0003090648050000064
为
Figure BDA0003090648050000065
情况下用户i在时刻t请求文件Fn的概率，具体表示为:
Figure BDA0003090648050000066
用向量
Figure BDA0003090648050000067
表示在时刻t用户i端的局部流行度。
用动态变化的αi(t)来反映用户i主观兴趣的变化性，同时考虑到用户兴趣在时间上的前后相关性以及复杂性，将αi(t)的动态性建模成一个包含
Figure BDA0003090648050000068
个状态的无模型马尔科夫链，其中集合
Figure BDA0003090648050000069
为用户i所有可能的Zipf分布参数集。
因此，αi(t)的动态性可以建模成
Figure BDA00030906480500000610
其中，
Figure BDA00030906480500000611
为αi(t)转移到
Figure BDA00030906480500000612
的转移概率，且在无模型马尔科夫链链中该状态转移概率是未知的。
用向量
Figure BDA00030906480500000613
表示t时刻移动边缘计算服务器端的文件全局流行度，其中
Figure BDA00030906480500000614
为服务器的整个服务范围内，文件Fn在时刻t被请求的概率，可以表示为：
Figure BDA0003090648050000071
因此，时刻t的全局流行度可以表示为：
Figure BDA0003090648050000072
可以看出，局部流行度的动态性涉及到αi(t)的无模型马尔科夫链转移，在实际中，表现为用户主观兴趣的变化，因此很难先验给出。同样，从全局流行度表达式可以看出，全局流行度取决于整个区域内的所有用户的局部流行度，以及所有用户的请求到达率λi(t)。然而，用户的局部流行度和请求到达率都是时变的，很难先验给出。而且这两个属性作为用户的隐私敏感信息，在隐私保护的系统中也是要防止被包括边缘接入节点等在内的外界环境所窥视的。另一方面，准确的局部流行度和全局流行度，对于提升用户的缓存资源利用率和移动边缘计算服务器的缓存资源利用率具有极其重要的。
因此，本实施例考虑隐私保护约束下的局部和全局流行度分布式预测，以帮助提升系统中的缓存资源利用效率。
具体地，任意用户i在t+1时刻的局部流行度预测值可以表示为
Figure BDA0003090648050000081
其中，Ri(t)＝{Fi(t-H),Fi(t-H+1),…,Fi(t)}作为用户i的一个提取器用于提取连续H个时刻内的历史请求信息，
Figure BDA0003090648050000082
为用户i的本地预测模型，
Figure BDA0003090648050000083
为预测模型的参数。
在本实施例中，采用基于自编码器神经网络来构建预测模型从而解决训练过程中训练标签Pi(αi(t+1),t+1)的无法获取的技术瓶颈。因此，用户i的本地设备上部署的本地神经网络模型参数可表示为
Figure BDA0003090648050000084
其中
Figure BDA0003090648050000085
为编码器的网络参数，
Figure BDA0003090648050000086
为解码器的网络参数。相似地，移动边缘计算服务器端在时刻t+1的全局流行度预测值可以表示为：
Figure BDA0003090648050000087
其中
Figure BDA0003090648050000088
为服务器端所部署的神经网络预测模型，ΘG为网络参数，
Figure BDA0003090648050000089
移动边缘计算服务器在服务区内时刻t所收到的内容请求。同时，考虑到系统的隐私保护约束，本实施例要求移动边缘计算服务器必须在时刻t结束之前必须删除用户的内容请求信息RG(t)，以保障用户的隐私安全。因此，服务器端的全局流行度预测模型将不存在可供训练的数据集。
具体的说，在本实施例中，所有用户的局部流行度预测问题以及服务器端的全局流行度预测问题是在用户隐私保护约束下进行分布式并行预测的，因此，本实施例提出一种无监督循环联邦学习(Unsupervised recurrent federated learning,URFL)算法来进行解决。
具体地，系统中UFRL算法的网络架构图，如图1所示。其中，在每个用户的本地设备端，分别部署网络结构完全一样的、基于长短期记忆元的自编码器神经网络(Long short-term memory auto encoder,LSTM-A)用于实时预测各自的局部流行度。
在移动边缘计算服务器端，则只部署与LSTM-AE中编码器相同结构的神经网络作为全局流行度实时预测网络。
具体的说，循环神经网络(Recurrent neural network,RNN)能够对复杂的时间任务执行分层处理，因此，它能够自然地捕捉时间序列中的底层时间依赖关系。而长短期记忆元(Long short-term memory,LSTM)作为循环神经网络中的一个重要基本单元，被用于本实施例中的自编码器框架下，能够挖掘出长历史请求序列Ri(t)和RG(t)中所存在的短期时序依赖关系。
更具体的说，LSTM-AE网络地详细架构，如图2所示。其中xt,ht,Ct分别为LSTM单元在时刻t的输入、输出和记忆状态，σ为控制门，通常采用Sigmoid函数实现，f,i,o分别表示表示遗忘门的输出，输入门的输出和输出门的输出。
更具体的说，本实施例中采用的基于联邦学习的分布式训练具体步骤为：
每个用户的历史请求数据表示为
Figure BDA0003090648050000091
其中
Figure BDA0003090648050000092
为保存在用户i的历史请求数据。由于隐私保护约束，每个用户的
Figure BDA00030906480500000911
都只保存在自身的本地设备上，且不允许外界访问。在URFL的线下训练阶段，每个用户上的LSTM-AE模型都是独立训练。
对于用户i,通过提取器Ri(t)从
Figure BDA0003090648050000093
中随机提取S个用于训练的一个批
Figure BDA0003090648050000094
其中ts是在时刻t的随机采样点。(xs,xs)为一个样本点，xs表示为样本。利用平均MSE作为损失函数来本地训练LSTM-AE，表示为：
Figure BDA0003090648050000095
公式中，
Figure BDA0003090648050000096
为用户端i的自编码器的输出，Θi表示为局部流行度预测网络的模型参数，S为该批次用于训练的样本总数。每个用户在T次本地之后，就上传一次最近的网络模型参数Θi。
在移动边缘计算服务器端，服务器将所有收到的用户本地模型参数堆叠成
Figure BDA0003090648050000097
然后服务器端对本地模型参数进行参数聚合，表示为：
Figure BDA0003090648050000098
其中ωi反映每个用户的本地参数在全局模型上的重要性。在本实施例中不考虑用户的优先级问题，因此设置
Figure BDA0003090648050000099
更新全局模型参数，表达式为：
Figure BDA00030906480500000910
一旦参数聚合操作完成，移动边缘计算服务器将会通过边缘节点将新的参数ΘAE广播给服务区内所有用户。
本地用户在收到参数ΘAE之后，会将本地的LSTM-AE模型参数进行更新Θi＝ΘAE,然后接着进行新一轮的本地训练。
算法总结如下表
Figure BDA0003090648050000101
综上，针对本实施例中考虑隐私保护约束的移动边缘计算通信系统，本实施例限制所有用户的历史请求数据均不可被外界访问。同时移动边缘计算服务器每次所接收到的用户请求信息，也必须被及时删除，不允许保留超过一个时隙。基于此，本实施例在考虑用户隐私保护限制条件下，解决了局部与全局内容流行度的分布式预测问题。本实施例通过结合循环神经网络在时序相关信息挖掘上的优势，自编码器在无监督学习上的去标签训练优势以及联邦学习架构在隐私保护上的优势，提出了一种在无监督循环联邦学习算法。最后通过分布式的迭代训练得到隐私保护下的流行度预测方法。
仿真示例
本发明实施例中，对于一种移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，本实施例采用python进行仿真。仿真中，内容文件总数N＝24，用户的请求信息提取器窗口长度H＝10，所有学习算法训练时的学习率统一设置为10-4。本地训练的迭代次数设置为T＝32。
图3描述了本发明所提出的一种移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法在用户端地实验结果。从图3左侧可以发现所提出的流行度预测方法下，每个用户预测自己局部流行度时，预测误差都能够稳定收敛与一个满意的水平。同时，我们从图3左侧可以观察到，在所提方法下，不同用户在各自局部流行度预测误差上存在一定的差异。这是因为在本实施例提出的系统中，每个用户的兴趣都是非独立同分布的，体现在每个用户的流行度模型参数
Figure BDA0003090648050000111
和Pi都是随机生成的。因此，对于那些兴趣爱好变化更为复杂的用户来说，所提方法的预测性能会有降低。
但是，通过图3右侧的仿真结果可以发现，所提流行度预测方法在任意用户(图中以用户7为例)上的预测性能，依旧始终是优于用户的自我训练(Self-train)方案。这表明，本实施例所提方法在进行用户端的流行度预测时，能够保护用户隐私的同时，提高局部流行度的预测准确率。
图4仿真对比了不同算法在在移动边缘计算服务器端的全局流行度预测性能。从图4可以发现，所提出的基于无监督循环联邦学习流行度预测方法在实现隐私保护的同时，其预测准确率还优于其它所有的基线流行度预测算法。这是因为，所提流行度预测方法的参数聚合过程推动了移动边缘计算服务器深入而准确地学习其覆盖范围内所有用户的底层特征。相比之下，基线方法不仅需要大量的用户私有数据，而且还无法从大量的、混合所有用户在时间和空间上的历史请求数据中精确地提取有用特征。
综上，本实施例分别从用户本地的局部流行度预测和移动边缘服务器端的全局流行度预测两个角度进行仿真验证。同时，本实施例仿真对比了所提算法同奇异值分解(SVD,singular value decomposition)算法、单层全连接自编码器联邦学习(SDAEFL,singledense auto-encoder federated learning)算法、深度全连接自编码器联邦学习(DDAEFL,deep dense auto-encoder federated learning)算法和深度循环自编码器学习(DRAEL,deep recurrent auto-encoder learning)算法之间性能差异。其中，SVD和DRAEL集中式地部署在移动边缘计算服务器上，没有任何隐私保护约束。对于SDAEFL和DDAEFL,都采用联邦学习架构进行数据隐私保护，但是这两个基线分别采用单层全连接的自编码器神经网络结构和深度全连接的自编码器神经网络结构来证明所提出的URFL中LSTM单元所带来的性能增益。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，所述预测方法基于移动边缘计算系统，该系统包括服务器端和多个用户端，所述服务器端和所述用户端之间实现通信连接；其特征在于，所述预测方法包括如下步骤：
步骤S1、构建用户端的文件请求概率模型，通过考虑用户端主观兴趣的变化性来构建每个用户端文件请求的动态流行度模型，根据每个用户端的局部流行度得到服务这些用户端的服务器端的动态全局流行度模型；
步骤S2、利用用户端的历史请求，在保护用户的隐私约束下，构建局部流行度和全局流行度的分布式预测模型；
步骤S3、采用联邦学习框架，训练学习迭代得出在用户隐私保护约束下的各流行度分布式预测方案。
2.根据权利要求1所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，所述移动边缘计算系统为单接入节点服务I个用户的移动边缘计算系统，其中服务内容库包含N个文件，表示为
Figure FDA0003090648040000011
任意用户i在时刻t的产生内容请求记为Fi(t)；
假设
Figure FDA0003090648040000012
的概率为λi(t)，若该时刻用户i不产生内容请求，则表示为
Figure FDA0003090648040000013
当
Figure FDA0003090648040000014
时，假设此时用户i的内容流行度服从参数为αi(t)的Zipf分布，记为Fi(t)～Zipf(αi(t))，因此，用户i在时刻t的内容请求概率模型表示为：
Figure FDA0003090648040000015
公式(1)中，
Figure FDA0003090648040000016
表示为
Figure FDA0003090648040000017
情况下用户i在时刻t请求内容库中第n个文件Fn的概率。
3.根据权利要求2所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，在所述步骤S1中，通过动态变化的αi(t)来表示用户i主观兴趣的变化性，同时考虑到用户兴趣在时间上的前后相关性以及复杂性，将αi(t)的动态性建模成一个包含
Figure FDA0003090648040000018
个状态的无模型马尔科夫链，其中集合
Figure FDA0003090648040000019
为用户i所有可能的Zipf分布参数集；αi(t)的动态性具体建模为：
Figure FDA0003090648040000021
公式(2)中，
Figure FDA0003090648040000022
为αi(t)转移到
Figure FDA0003090648040000023
的转移概率，且在无模型马尔科夫链链中该状态转移概率是未知的。
4.根据权利要求3所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，在所述步骤S1中，所述每个用户端文件请求的动态流行度模型的表达式为：
Figure FDA0003090648040000024
公式(3)中，
Figure FDA0003090648040000025
N表示为移动边缘计算系统中的服务内容库包含N个文件，n为内容库中第n个文件Fn的索引号。
5.根据权利要求4所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，在所述步骤S1中，所述动态全局流行度模型在时刻t的表达式，表示为：
Figure FDA0003090648040000026
6.根据权利要求5所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，在所述步骤S2中，在每个用户端，以长短期记忆神经元作为最小单元，搭建一个结构完全相同的自编码器神经网络，第i个用户端所部署的神经网络的网络参数表示为
Figure FDA0003090648040000027
其中
Figure FDA0003090648040000028
为编码器的网络参数，
Figure FDA0003090648040000029
为解码器的网络参数；
通过将用户端的历史文件请求数据投喂给所述自编码器神经网络，来进行局部流行度预测网络模型的无监督训练，其中编码器的输出向量为用户端的本地流行度预测值；
在服务器端，部署与所述自编码器神经网络中的编码器结构相同的网络作为全局流行度的预测网络模型。
7.根据权利要求6所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，在所述步骤S2中，任意一个用户端i在t+1时刻的局部流行度预测值的表达式为：
Figure FDA0003090648040000031
公式(5)中，Ri(t)＝{Fi(t-H),Fi(t-H+1),…,Fi(t)}为用户端i的一个提取器用于提取连续H个时刻内的历史请求信息，
Figure FDA0003090648040000032
为用户端i的局部流行度预测网络模型，
Figure FDA0003090648040000033
为局部流行度预测网络模型的参数；
服务器端在时刻t+1的全局流行度预测值的表达式为：
Figure FDA0003090648040000034
公式(6)中，
Figure FDA0003090648040000035
为服务器端所部署的全局流行度预测网络模型，ΘG为全局流行度预测网络模型的参数，
Figure FDA0003090648040000036
为服务器在时刻t所收到的内容请求。
8.根据权利要求7所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，所述保护用户的隐私约束具体包括：所述服务器端在时刻t结束之前必须删除所收到的用户内容请求信息RG(t)，用以保障用户端的隐私安全。
9.根据权利要求8所述的移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法，其特征在于，所述步骤S3具体包括；
步骤S301、每个用户端的历史请求数据表示为
Figure FDA0003090648040000037
其中
Figure FDA0003090648040000038
为保存在用户端i的历史请求数据，并且每个用户端的
Figure FDA0003090648040000039
都只保存在自身的本地设备上，且不允许外界访问；
步骤S302、在用户端，每个用户端部署的神经网络预测模型进行独立训练；
步骤S303、对于用户端i,每次训练，通过提取器Ri(t)从
Figure FDA00030906480400000310
中随机提取S个用于训练的迷你批
Figure FDA00030906480400000311
其中ts是在时刻t的随机采样点，(xs,xs)为一个样本点，xs表示为样本，利用平均MSE作为损失函数来训练各个客户端的局部流行度预测网络，表达式为：
Figure FDA00030906480400000312
公式(7)中，
Figure FDA0003090648040000041
为用户端i的自编码器的输出，Θi表示为局部流行度预测网络的模型参数，S为该批次用于训练的样本总数，s为第s个批的索引号；
步骤S304、每个用户端在进行了T次训练之后，就向服务器端上传一次最近的网络模型参数Θi；
步骤S305、在服务器端，服务器端将所有收到的用户端的网络模型参数堆叠成
Figure FDA0003090648040000042
然后服务器端对用户端的网络模型参数Θi进行参数聚合，表达式为：
Figure FDA0003090648040000043
公式(8)中，ωi反映每个用户端的网络模型参数在全局流行度预测网络模型上的重要性,I为用户的总数；
步骤S306、更新全局流行度预测网络的模型参数，表达式为：
Figure FDA0003090648040000044
公式(9)中，ΘG表示为全局流行度预测网络的模型参数，I为用户的总数；
步骤S307、一旦步骤S305中的参数聚合操作完成，服务器端将通过边缘节点将新的参数ΘAE广播给服务区内所有用户端；
步骤S308、用户端在收到参数ΘAE之后，将局部流行度预测网络的模型参数进行更新Θi＝ΘAE，然后接着进行新一轮的本地训练，直到训练到最大迭代次数。
CN202110594483.2A 2021-05-28 2021-05-28 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法 Pending CN113326128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594483.2A CN113326128A (zh) 2021-05-28 2021-05-28 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594483.2A CN113326128A (zh) 2021-05-28 2021-05-28 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法

Publications (1)

Publication Number Publication Date
CN113326128A true CN113326128A (zh) 2021-08-31

Family

ID=77422295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594483.2A Pending CN113326128A (zh) 2021-05-28 2021-05-28 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法

Country Status (1)

Country Link
CN (1) CN113326128A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137299A1 (en) * 2016-11-14 2018-05-17 Google Llc System of enclaves
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137299A1 (en) * 2016-11-14 2018-05-17 Google Llc System of enclaves
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法

Similar Documents

Publication Publication Date Title
Zhou et al. Edge intelligence: Paving the last mile of artificial intelligence with edge computing
Xu et al. Edge intelligence: Empowering intelligence to the edge of network
Xu et al. Edge intelligence: Architectures, challenges, and applications
Ale et al. Online proactive caching in mobile edge computing using bidirectional deep recurrent neural network
WO2021114625A1 (zh) 用于多任务场景的网络结构构建方法和装置
US9990558B2 (en) Generating image features based on robust feature-learning
Zhang et al. PSAC: Proactive sequence-aware content caching via deep learning at the network edge
Thar et al. DeepMEC: Mobile edge caching using deep learning
Xie et al. A survey on machine learning-based mobile big data analysis: Challenges and applications
CN111357019B (zh) 通过对权重矩阵实施空间局部性并实现频率压缩来压缩(多个)深度网络的全连接/递归层
CN114116198A (zh) 一种移动车辆的异步联邦学习方法、系统、设备及终端
CN112287089B (zh) 用于自动问答系统的分类模型训练、自动问答方法及装置
US20220114313A1 (en) Method and apparatus for determining quantum circuit, and storage medium
CN113364854A (zh) 移动边缘计算网络中基于分布式强化学习的隐私保护动态边缘缓存设计方法
WO2023213157A1 (zh) 数据处理方法、装置、程序产品、计算机设备和介质
Bommaraveni et al. Active content popularity learning and caching optimization with hit ratio guarantees
CN114710330A (zh) 一种基于异构分层联邦学习的异常检测方法
Zhang et al. Graph-based traffic forecasting via communication-efficient federated learning
WO2023202543A1 (zh) 文字处理方法、装置、电子设备及存储介质
CN113326128A (zh) 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法
Kousias et al. HINDSIGHT: an R-based framework towards long short term memory (LSTM) optimization
Mills et al. Faster Federated Learning with Decaying Number of Local SGD Steps
CN113610228B (zh) 神经网络模型的构建方法及装置
Mallick et al. Deep Probabilistic Kernels for Sample Efficient Learning
Si et al. A hybrid framework of reinforcement learning and convex optimization for uav-based autonomous metaverse data collection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination