CN111865826A - 一种基于联邦学习的主动内容缓存方法 - Google Patents

一种基于联邦学习的主动内容缓存方法 Download PDF

Info

Publication number
CN111865826A
CN111865826A CN202010625476.XA CN202010625476A CN111865826A CN 111865826 A CN111865826 A CN 111865826A CN 202010625476 A CN202010625476 A CN 202010625476A CN 111865826 A CN111865826 A CN 111865826A
Authority
CN
China
Prior art keywords
user
file
similarity
model
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010625476.XA
Other languages
English (en)
Other versions
CN111865826B (zh
Inventor
邓娜
王凯伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010625476.XA priority Critical patent/CN111865826B/zh
Publication of CN111865826A publication Critical patent/CN111865826A/zh
Application granted granted Critical
Publication of CN111865826B publication Critical patent/CN111865826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9063—Intermediate storage in different physical parts of a node or terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种基于联邦学习的主动内容缓存方法，属于无线通信技术领域。第一，在每一轮通信中，用户下载全局模型，在本地利用堆叠式自动编码器进行训练，得到本地模型和用户、文件的隐含特征。第二，在每一轮通信中，用户将模型更新并发送至服务器，所有本地模型聚合生成全局模型。第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器，服务器首先计算用户相似度和文件相似度，然后随机选择某用户，并使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵。最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存。本发明在保证缓存命中率的前提下，有效规避邻居用户之间的数据共享问题，使用户的私有数据更加安全。

Description

一种基于联邦学习的主动内容缓存方法
技术领域
本发明属于无线通信技术领域，涉及一种基于联邦学习的主动内容缓存方法。
背景技术
当前，移动数据面临爆炸式增长，数据总量大，对数据的搜索和传输时间长，所以需要筛选数据，使有用的数据接近用户侧，以实现快速的数据访问。无线网络内容缓存技术应运而生，它在当今移动数据流量激增的背景下，对于减少回程流量负载、减少移动用户的服务延迟十分有帮助。由于内容缓存设备的容量受到限制，所以预测哪些文件值得缓存是非常重要的。然而传统的内容缓存算法大多是被动的，只是针对已经发生过的访问请求做出反应，并没有考虑未来内容的流行程度，例如先进先出(First Input First Output,FIFO)，最近最少使用(Least Recently Used,LRU)，最不常用(Least Frequently Used,LFU)。它们使用静态规则来更新缓存内容，虽然反应速度很快，但是缓存命中率不高。因此为了提高缓存命中率，即提高缓存效率，可以采用基于学习的方案，学习内容的流行趋势，主动挑选流行内容并将其保存在缓存设备之中。
传统的学习方法一般是集中式的，它将数据收集到服务器或数据中心中进行训练，如使用强化学习和协同过滤的方法。使用强化学习的方法，将内容缓存问题表述为多臂赌博机(Multi-armed Bandit,MAB)问题，通过观察用户的历史需求，在用户偏好未知的情况下，采用多智能体强化学习(MARL)技术作为内容缓存策略(参见文献：W.Jiang,G.Feng,S.Qin and Y.Liu,“Multi-Agent Reinforcement Learning Based Cooperative ContentCaching for Mobile Edge Networks,”in IEEE Access,vol.7,pp.61856-61867,2019.)。使用基于协同过滤的小蜂窝网络缓存算法，利用用户历史需求的稀疏数据训练，对训练后内容的流行度进行估计，然后选出需要缓存的内容(参见文献：E.Bastug,M.Bennis,andM.Debbah,“Living on the edge:The roleof proactive caching in 5G wirelessnetworks,”IEEE CommunicationsMagazine,vol.52,no.8,pp.82–89,2014.)。这两类集中式学习方法虽然提高了缓存效率，但存在两个问题：第一，在无线通信网络中，数据是由数十亿台设备产生的。对于这种大规模的数据，想要保持算法的效率，需要依赖强大的中央机器学习处理器，同时还要面临巨大的通信传输开销，这使得大规模学习在现实中是难以实现的。第二，由于用户的历史需求在多数情况下会涉及用户的隐私，使得用户并不愿意将含有自己隐私的数据进行共享，因此，用户对服务器的不信任性使得收集历史需求数据变得十分困难。基于以上两点分析，如果能将数据集的处理过程放在用户本地，就可以解决效率和隐私这两个问题，因此需要探索分布式机器学习方案。
联邦学习是一种新兴的分布式机器学习方法，它是针对上述效率和隐私问题的解决方案，在保证用户隐私数据不被服务器收集方面有显著成效。它充分利用了边缘设备的处理能力，使边缘设备中的数据只保留在本地，以分散的方式进行模型训练。在联邦学习的训练过程中，每个学习者，例如用户，在其本地执行模型训练，生成一个本地模型。然后每个学习者将其本地模型传送到一个聚合单元，即边缘服务器，例如一台基站。聚合单元使用本地模型来更新全局模型，最终将全局模型反馈给各个本地学习者供其使用。由此可见，联邦学习有两个优点：第一，数据集的训练是在本地学习者中进行的，充分利用了每台设备的计算资源。同时，本地学习者只需发送本地模型给服务器，而不需要发送原始的数据流，因而可有效降低网络带宽和能量消耗。第二，所有的私有数据都保存在学习者本地，在训练的过程中服务器不会接触本地学习者的私有数据，因而保护了本地学习者的隐私。因此，联邦学习可以作为有效处理本地数据集的分布式机器学习方案，来挑选缓存内容。
目前已有使用联邦学习做内容缓存的方法(参见文献：Z.Yu,J.Hu,G.Min,H.Lu,Z.Zhao,H.Wang,and N.Georgalas,“Federated learning based proactive contentcaching in edge computing,”in 2018IEEE Global Communications Conference(GLOBECOM),2018,pp.1–6.)，它在用户端使用自动编码器从用户的历史访问请求中训练出本地模型，并在每次通信过程中向服务器上传自动编码器模型的更新，最后利用混合过滤推荐m个此用户认为的流行文件到服务器。服务器通过联邦平均算法，把每个用户上传的本地模型聚合生成全局模型。另外，服务器还根据每个用户推荐的流行文件的出现次数，从所有用户推荐的文件中选择最流行的M个文件。此种方案在用户和服务器间传输的只是本地模型更新，并非原始数据，增加了安全性降低了隐私风险，但仍存在如下问题亟待解决。具体地，当用户推荐m个文件到服务器时，采用的是混合过滤的方式，需要用到与此用户特征最相似的K个邻居用户的历史需求数据，换句话说，K个最相似用户之间需要共享各自的私有数据。这种邻居用户之间的数据共享方式在现实中难以应用，原因主要在于以下两个方面：第一，保护用户的隐私不被泄露，不仅要保证服务器不直接接触用户的私有数据，也需要保证用户的隐私不被其他用户所访问。如果邻居用户之间的数据相互共享，会增大数据泄露的风险。对于用户来说，无论是把隐私发送给服务器，还是发送给邻居用户，都是难以接受的。第二，用户的空间物理位置是随机的，用户的特征相似不代表他们所处的地点很近，完全有可能相距很远，甚至处在不同的城市。这时候的数据共享就要依赖于中间介质，然而即使采用加密的方法传输，由于传输的过程中数据很有可能被攻击或拦截，因而依然会增加数据外部泄露的可能性。因此，在源头上切断邻居用户之间的数据共享才是真正防止用户隐私不被外泄的有效解决手段。
基于此，本发明提出一种基于联邦学习的主动内容缓存方法，它在保证缓存效率的前提下，有效规避了邻居用户之间的数据共享问题，使用户的私有数据更加安全。具体地，用户对文件的历史访问请求构成了用户的真实评分矩阵，即用户本地数据集，是用户的隐私。对于用户未访问过的文件，真实评分为零。在此我们提出伪评分矩阵，它是与真实评分矩阵相对的概念，其中包含用户对全部文件的预测评价。即使用户已经访问过某些文件并给出了真实评分，伪评分矩阵还是对这些文件的评分进行预测，即矩阵中所有的值均是预测值，不是真实的，这可以有效保护用户隐私。故本算法引入伪评分矩阵，来解决邻居用户之间的数据共享问题，把推荐文件的过程全部放在服务器上，在用户端只进行本地模型的训练。服务器可以利用自动编码器、用户本地模型、用户和文件的隐含特征(即原始数据的低维表示)生成伪评分矩阵，然后根据伪评分矩阵，通过协同过滤预测出流行文件并缓存下来。另外，本方案在用户与服务器之间只传输用户本地模型、用户和文件的隐含特征，这并不会增加多余的传输负荷，反而不用收集每个用户推荐的文件。因此，本发明解决了邻居用户之间数据共享的问题，更好地保护了用户的隐私。
发明内容
在无线通信技术领域内容缓存策略中，需要保护用户的隐私，这不仅要保护用户的私有数据不被服务器访问，也要保护用户的私有数据不泄露给其他用户。针对上述问题，本发明提出一种基于联邦学习的主动内容缓存方法，改进了现有的联邦学习缓存算法，有效的阻止了用户的私有数据泄露给其他用户，同时不增加多余的信息传输负荷。
为了达到上述目的，本发明采用的技术方案如下：
一种基于联邦学习的主动内容缓存方法，包含以下三个内容：第一，在每一轮通信中，用户首先下载全局模型，在本地利用堆叠式自动编码器(Stacked Autoencoder,SAE)进行训练，得到了本地模型和用户、文件的隐含特征。第二，在每一轮通信中，用户将模型的更新发送至服务器，服务器采用联邦平均的方法把所有本地模型聚合生成全局模型。第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器，此时服务器上有了用户本地模型和用户、文件的隐含特征。服务器首先利用用户、文件的隐含特征计算用户相似度和文件相似度。然后随机选择某用户，根据用户相似度挑选出他的K个邻居，使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵。最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存。
下面将分步做详细说明。
步骤一：信息收集与模型建立
步骤1.1收集信息：根据信息类型，边缘服务器基站收集信息过程主要包括两个方面：
1)用户向基站发起的访问请求和用户所提供的背景信息。用户向基站发起访问请求代表此用户与本基站已建立可靠连接，使基站统计出已连接的用户总数。用户所提供的背景信息即上下文信息，包括用户发起访问请求的时间、地点、行为等。
2)基站通过网络侧获取内容信息，这些内容信息(即文件)被用来响应用户的访问请求，以及缓存在边缘服务器基站之中。
步骤1.2模型建立：边缘服务器基站建立堆叠式自动编码器模型作为联邦学习的全局模型，即确定深度神经网络的结构，其中包括隐含层的层数、每个隐含层的节点个数、输入层的节点个数，输出层的节点个数，每个隐含层的激活函数。在神经网络的结构确定以后，初始化输入层、隐含层、输出层之间的映射关系，即初始化权值矩阵和偏置向量。我们需要两个堆叠式自动编码器模型，一个作为用户的联邦学习全局模型，另一个作为文件的联邦学习全局模型。
步骤二：本地模型的训练过程
本轮进行本地模型训练的用户在边缘服务器基站中下载用户和文件的联邦学习全局模型，以此全局模型的网络结构和参数确定本地模型的网络结构，本地模型和全局模型的结构是一样的。然后对每个隐含层进行逐层训练，具体过程如下：
设输入层为一个N维向量x，通过堆叠式自动编码器的编码器(encoders)将其映射到第l个Q维隐含层h(l)上，它的映射关系为:
h(l)＝g(W(l)x+b(l))
解码过程就是通过堆叠式自动编码器的译码器(decoders)在第l个Q维隐含层h(l)中重构出N维向量
Figure BDA0002566223800000043
它的映射关系为：
Figure BDA0002566223800000041
其中，W∈RQ×N,W′∈RN×Q是权值矩阵，b∈RQ,b′∈RN是偏置向量，g(·)为激活函数，可以选择线性整流函数(Rectified Linear Unit,ReLU)、双曲正切函数(tanh)、Sigmoid函数等。
堆叠式自动编码器的训练过程就是通过调整权值矩阵W，W′和偏置向量b，b′使平均重构误差最小，以得到最佳隐含层向量h(l)的过程。重构误差越小，本地模型和Q维的隐含层向量h(l)越准确。在此使用均方误差(Mean Squared Error,MSE)作为重构误差，从而最小化目标函数：
Figure BDA0002566223800000042
其中，第一项是均方误差，第二、三项是正则化项，能够防止模型过拟合，λ是正则化参数。
为了最小化目标函数E，我们采用有效的梯度更新方法自适应矩估计(Adaptivemoment estimation,Adam)，在第一轮的迭代中，需要初始化一阶矩向量m0、二阶矩向量v0为零向量，在接下来的迭代中，我们利用如下公式计算一阶矩向量mt、二阶矩向量vt：
mt←β1·mt-1+(1-β1)·gt
Figure BDA00025662238000000512
其中，t为当前轮的时间，β1、β2∈[0,1)是控制衰减率的参数，gt表示g(θ)关于θ的梯度，这里的θ就是权值矩阵W,W′和偏置向量b,b′，gt可由反向传播算法(BackPropagation,BP)得到。
因为一阶矩向量mt、二阶矩向量vt在初始化时为零向量，矩估计值会偏向零，所以需要对它们做出修正，修正后的一阶矩向量
Figure BDA0002566223800000051
二阶矩向量
Figure BDA0002566223800000052
为：
Figure BDA0002566223800000053
Figure BDA0002566223800000054
得到修正的一阶矩向量
Figure BDA0002566223800000055
二阶矩向量
Figure BDA0002566223800000056
之后，我们可以对参数θ进行更新，更新过程为：
Figure BDA0002566223800000057
其中，t为当前轮的时间，α为步长，是一个常数，∈是用于数值稳定的小常数，这里的θ就是需要迭代的权值矩阵和偏置向量。
至此，在训练结束以后，即权值矩阵和偏置向量调整完毕之后，我们就可以得到每个输入向量x经编码器之后得到的隐含表示h，以及堆叠式自动编码器的深度神经网络。我们将隐含表示h视为x的隐含特征，深度神经网络即用户的本地模型，记为
Figure BDA0002566223800000058
其中n表示用户的索引，t为当前轮的时间。
步骤三：全局模型的聚合过程
边缘服务器基站在每一轮训练中收集全部本地模型的更新，因为本地模型与全局模型的结构是一样的，故以本地模型的更新为基础聚合出全局模型，第n个用户本地模型的更新Ht n为：
Figure BDA0002566223800000059
其中，n表示用户索引，t为当前轮的时间，
Figure BDA00025662238000000510
表示本地模型，Wt表示全局模型。则进行联邦平均得到新的全局模型Wt+1的方案如下：
Wt+1＝Wt+ηtHt
Figure BDA00025662238000000511
其中，ηt为学习速率，t为当前轮的时间，Nt为当前轮参加训练的用户数量。
至此，得到新的全局模型Wt+1之后，将它发送给下一轮需要进行本地训练的每一个用户，然后开始下一轮的训练，直到训练轮数达到预设值。
步骤四：内容缓存过程
步骤4.1)在训练结束之后，边缘服务器基站收集用户、文件的隐含特征向量。根据用户的隐含特征，我们可以得到用户之间的相似度，根据文件的隐含特征，我们可以得到文件之间的相似度。具体地，对于两两用户之间或两两文件之间的隐含特征，即向量A和B，使用余弦相似度(Cosine Similarity)来评估它们之间的相似度，余弦相似度越大，它们之间就越相似，余弦相似度CosSim定义为：
Figure BDA0002566223800000061
其中，kl是A与B的维度，Ai与Bi分别为A与B之中的元素。我们把根据用户的隐含特征得到的余弦相似度记作CosSimU，把根据用户背景信息得到的余弦相似度记作CosSimin，把根据文件的隐含特征得到的余弦相似度记作CosSimF。为了使用户之间的相似度在更少的循环训练中更加准确，本发明将用户之间的相似度改进，在余弦相似度的基础上结合了用户所提供的背景信息即上下文信息，提出了改进的用户相似度SimUser：
Figure BDA0002566223800000062
其中，α是可调参数。相应地，文件相似度SimFile为：
SimFile＝CosSimF
其中，CosSimF是根据文件隐含特征得到的余弦相似度。
最后计算出每两个用户之间的相似度，构成用户相似度矩阵，计算出每两个文件之间的相似度，构成文件相似度矩阵。
步骤4.2)随机选取一个活跃用户P，根据步骤4.1)得到的用户相似度矩阵，挑选出与活跃用户P相似度最高的前K个用户作为他的邻居。K的取值对于算法的缓存命中率及计算复杂度有密切联系。若K选取的过小，会造成后续文件评分的不准确；若K选取的过大，会加大边缘服务器的计算压力，因此K的取值在根据实际系统配置及场景选取一个适当的值，例如，在服务器计算能力范围内，尽可能选择较大的K值。接下来，把活跃用户P与他的K个邻居组成一个用户组S。对于用户组S中的一个用户，边缘服务器基站由他的本地模型的更新
Figure BDA0002566223800000063
可以反推出他的本地模型
Figure BDA0002566223800000064
Figure BDA0002566223800000065
通过堆叠式自动编码器的译码器(decoders)根据本地模型和其隐含特征h可以得到此用户对于文件请求的预测信息
Figure BDA0002566223800000066
Figure BDA0002566223800000067
其中，
Figure BDA0002566223800000068
中包含此用户对全部文件的预测评价，g(·)为激活函数。
将用户组S中全部用户的预测信息
Figure BDA0002566223800000069
组合，得到K+1个用户对全部文件的预测评价，它是一个二维矩阵，记作伪评分矩阵R。
步骤4.3)根据步骤4.2)得到的伪评分矩阵R和步骤4.1)得到的文件相似度矩阵，利用基于项目的协同过滤方法(Item-based Collaborative Filtering,ItemCF)预测用户组S对所有文件的综合评分，预测评分的计算如下所示：
Figure BDA0002566223800000071
其中，pu,i表示用户u对文件i的预测评分，Qp表示与文件i相似项的集合，s(i,j)表示文件i与j之间的相似度，ru,j表示在伪评分矩阵R中用户u对文件j的评分。这样就得到了用户组S对所有文件的综合评分pu,i，可以根据综合评分pu,i来选择需要缓存的文件。
步骤4.4)根据综合评分pu,i，边缘服务器基站对文件的流行程度排序，并把前M个最流行文件缓存下来。具体地，首先由综合评分pu,i求得每个文件的平均评分pi，公式如下：
Figure BDA0002566223800000072
其中，K+1是用户组S中用户的数量，u是用户的索引，i是文件的索引。
然后根据pi值的大小对文件的流行程度进行排序，pi值越大，则文件越流行。由于全局模型是本地模型的联邦平均，它会对热门信息有所偏重，伪评分矩阵R也会对热门信息有所偏重，在协同过滤后，热门文件的权重被放大。所以，我们以用户组S对每个文件的平均评分pi为基准，挑选pi值最大的前M个文件作为流行文件，并缓存到边缘服务器基站之中，M由边缘服务器基站的缓存大小决定。
本发明的有益效果为：本发明所提出的基于联邦学习的主动内容缓存方法在保证缓存效率，即缓存命中率的前提下，有效规避了邻居用户之间的数据共享问题，使用户的私有数据更加安全。同时，采用分布式的联邦学习方法，充分利用了用户设备的计算资源，缓解了服务器端的计算压力。此外，所提出的伪评分矩阵生成过程仅依赖于本地模型和隐含特征，不需要增加多余的传输负荷。而且由边缘服务器基站挑选需要缓存的文件列表，这省去了用户向边缘服务器基站传输推荐的缓存列表的麻烦。
附图说明
图1是本发明的系统结构示意图。
图2(a)是本发明的基站侧工作流程图。
图2(b)是本发明的用户侧工作流程图。
图3是本发明与其他参考算法在缓存效率方面的比较。
具体实施方式
以下结合具体实施例对本发明作进一步说明。
以数据集Movielens为例，Movielens 100K数据集中包含943个用户对1682部电影的100000个评分。每个数据集条目都由一个用户ID，一个电影ID，一个评分和一个时间戳组成。另外，它还提供了用户的人口统计信息，如性别、年龄和职业等。因为用户通常是在看完电影之后才进行评分的，所以我们假设电影代表用户请求的文件，热门电影文件即需要缓存在边缘服务器基站中的文件。
一种基于联邦学习的主动内容缓存方法，包含以下步骤：
步骤一：信息收集与模型建立
步骤1.1收集信息：根据信息类型，边缘服务器基站收集信息过程主要包括两个方面：
1)用户向基站发起的访问请求和用户所提供的背景信息。用户向基站发起访问请求代表此用户与本基站已建立可靠连接，使基站统计出已连接的用户总数。用户所提供的背景信息即上下文信息，在本例中是用户的人口统计信息，如性别、年龄和职业等。
2)基站通过网络侧获取内容信息，这些内容信息(即电影文件)被用来响应用户的访问请求，以及缓存在边缘服务器基站之中。
步骤1.2模型建立：边缘服务器基站建立堆叠式自动编码器模型作为联邦学习的全局模型，即确定深度神经网络的结构，其中包括隐含层的层数、每个隐含层的节点个数、输入层的节点个数，输出层的节点个数，每个隐含层的激活函数。在神经网络的结构确定以后，初始化输入层、隐含层、输出层之间的映射关系，即初始化权值矩阵和偏置向量。我们需要两个堆叠式自动编码器模型，一个作为用户的联邦学习全局模型，另一个作为文件的联邦学习全局模型。
步骤二：本地模型的训练过程
本轮进行本地模型训练的用户在边缘服务器基站中下载用户和文件的联邦学习全局模型，以此全局模型的网络结构和参数确定本地模型的网络结构，本地模型和全局模型的结构是一样的。然后对每个隐含层进行逐层训练，具体过程如下：
假设输入层为一个用户对文件的评分，即N维向量x，通过堆叠式自动编码器的编码器(encoders)将其映射到第l个Q维隐含层h(l)上，它的映射关系为:
h(l)＝g(W(l)x+b(l))
解码过程就是通过堆叠式自动编码器的译码器(decoders)在第l个Q维隐含层h(l)中重构出N维向量
Figure BDA0002566223800000081
它的映射关系为：
Figure BDA0002566223800000082
其中，W∈RQ×N,W′∈RN×Q是权值矩阵，b∈RQ,b′∈RN是偏置向量，g(·)在本例中为线性整流函数(Rectified Linear Unit,ReLU)。
堆叠式自动编码器的训练过程就是通过调整权值矩阵W，W′和偏置向量b，b′使平均重构误差最小，以得到最佳隐含层向量h(l)的过程。重构误差越小，本地模型和Q维的隐含层向量h(l)越准确。在本例中使用均方误差(Mean Squared Error,MSE)作为重构误差，从而最小化目标函数：
Figure BDA0002566223800000091
其中，第一项是均方误差，第二、三项是正则化项，能够防止模型过拟合，λ是正则化参数。
为了最小化目标函数E，我们采用有效的梯度更新方法自适应矩估计(Adaptivemoment estimation,Adam)，在第一轮的迭代中，需要初始化一阶矩向量m0、二阶矩向量v0为零向量，在接下来的迭代中，我们利用如下公式计算一阶矩向量mt、二阶矩向量vt：
mt←β1·mt-1+(1-β1)·gt
Figure BDA0002566223800000099
其中，t为当前轮的时间，β1、β2∈[0,1)是控制衰减率的参数，gt表示g(θ)关于θ的梯度，这里的θ就是权值矩阵W,W′和偏置向量b,b′，gt可由反向传播算法(BackPropagation,BP)得到。
因为一阶矩向量mt、二阶矩向量vt在初始化时为零向量，矩估计值会偏向零，所以需要对它们做出修正，修正后的一阶矩向量
Figure BDA0002566223800000092
二阶矩向量
Figure BDA0002566223800000093
为：
Figure BDA0002566223800000094
Figure BDA0002566223800000095
得到修正的一阶矩向量
Figure BDA0002566223800000096
二阶矩向量
Figure BDA0002566223800000097
之后，我们可以对参数θ进行更新，更新过程为：
Figure BDA0002566223800000098
其中，t为当前轮的时间，α为步长，是一个常数，∈是用于数值稳定的小常数，这里的θ就是需要迭代的权值矩阵和偏置向量。
至此，在训练结束以后，即权值矩阵和偏置向量调整完毕之后，我们就可以得到每个用户的隐含表示hU，以及用户的堆叠式自动编码器的深度神经网络。利用同样的方法，我们可以得到每个文件的隐含表示hF，以及文件的堆叠式自动编码器的深度神经网络。我们将隐含表示视为隐含特征，深度神经网络视为本地模型。
步骤三：全局模型的聚合过程
边缘服务器基站在每一轮训练中收集全部本地模型的更新，因为本地模型与全局模型的结构是一样的，故以本地模型的更新为基础聚合出全局模型，第n个用户本地模型的更新
Figure BDA0002566223800000101
为：
Figure BDA0002566223800000102
其中，n表示用户索引，t为当前轮的时间，
Figure BDA0002566223800000103
表示本地模型，Wt表示全局模型。则进行联邦平均得到新的全局模型Wt+1的方案如下：
Wt+1＝Wt+ηtHt
Figure BDA0002566223800000104
其中，ηt为学习速率，t为当前轮的时间，Nt为当前轮参加训练的用户数量。
至此，得到新的全局模型Wt+1之后，将它发送给下一轮需要进行本地训练的每一个用户，然后开始下一轮的训练，直到训练轮数达到预设值。
步骤四：内容缓存过程
步骤4.1)在训练结束之后，边缘服务器基站收集用户、文件的隐含特征向量。根据用户的隐含特征，我们可以得到用户之间的相似度，根据文件的隐含特征，我们可以得到文件之间的相似度。具体地，对于两两用户之间或两两文件之间的隐含特征，即向量A和B，使用余弦相似度(Cosine Similarity)来评估它们之间的相似度，余弦相似度越大，它们之间就越相似，余弦相似度CosSim定义为：
Figure BDA0002566223800000105
其中，kl是A与B的维度，Ai与Bi分别为A与B之中的元素。我们把根据用户的隐含特征得到的余弦相似度记作CosSimU，把根据用户背景信息得到的余弦相似度记作CosSimin，把根据文件的隐含特征得到的余弦相似度记作CosSimF。
在本例中用户所提供的背景信息即上下文信息要进行预处理，背景信息包括用户性别、年龄、职业等。以性别为例，对性别做独热编码(one-hot code)，男与女分别对应着编码10与01。以年龄为例，首先以年龄的最大值和最小值确定年龄的区间，将此区间平均分为L个子区间Li，然后对子区间做独热编码生成L位编码，子区间Li的第i位为1，其余为0。以职业为例，假设职业有T个，同理，对职业Ti做独热编码生成T位编码，职业Ti的第i位为1，其余为0。最后将性别、年龄、职业的独热编码首尾相连，组成背景信息的独热编码，根据此独热编码计算背景信息的余弦相似度。
为了使用户之间的相似度在更少的循环训练中更加准确，本发明将用户之间的相似度改进，在余弦相似度的基础上结合了用户所提供的背景信息即上下文信息，提出了改进的用户相似度SimUser：
Figure BDA0002566223800000111
其中，CosSimU是根据用户隐含特征得到的余弦相似度，CosSimin是根据用户背景信息得到的余弦相似度，α是可调参数。文件相似度SimFile为：
SimFile＝CosSimF
其中，CosSimF是根据文件隐含特征得到的余弦相似度。
最后计算出每两个用户之间的相似度，构成用户相似度矩阵，计算出每两个文件之间的相似度，构成文件相似度矩阵。
步骤4.2)随机选取一个活跃用户P，根据步骤4.1)得到的用户相似度矩阵，挑选出与活跃用户P相似度最高的前K个用户作为他的邻居，在本例中K的值设定为10。把活跃用户P与他的K个邻居组成一个用户组S。对于用户组S中的一个用户，边缘服务器基站中由他的本地模型的更新
Figure BDA0002566223800000112
可以反推出他的本地模型
Figure BDA0002566223800000113
Figure BDA0002566223800000114
通过堆叠式自动编码器的译码器(decoders)根据本地模型和其隐含特征hU可以得到此用户对于文件请求的预测信息
Figure BDA0002566223800000115
Figure BDA0002566223800000116
其中，
Figure BDA0002566223800000117
中包含此用户对全部文件的预测评价，g(·)为激活函数。
将用户组S中全部用户的预测信息
Figure BDA00025662238000001110
组合，得到K+1个用户对全部文件的预测评价，它是一个二维矩阵，记作伪评分矩阵R。
步骤4.3)根据步骤4.2)得到的伪评分矩阵R和步骤4.1)得到的文件相似度矩阵，利用基于项目的协同过滤方法(Item-based Collaborative Filtering,ItemCF)预测用户组S对所有文件的综合评分，预测评分的计算如下所示：
Figure BDA0002566223800000118
其中，pu,i表示用户u对文件i的预测评分，Qp表示与文件i相似项的集合，s(i,j)表示文件i与j之间的相似度，ru,j表示在伪评分矩阵R中用户u对文件j的评分。这样就得到了用户组S对所有文件的综合评分pu,i，可以根据综合评分pu,i来选择需要缓存的文件。
步骤4.4)根据综合评分pu,i，边缘服务器基站对文件的流行程度排序，并把前M个最流行文件缓存下来。具体地，首先由综合评分pu,i求得每个文件的平均评分pi，公式如下：
Figure BDA0002566223800000119
其中，K+1是用户组S中用户的数量，u是用户的索引，i是文件的索引。
然后根据pi值的大小对文件的流行程度进行排序，pi值越大，则文件越流行。由于全局模型是本地模型的联邦平均，它会对热门信息有所偏重，伪评分矩阵R也会对热门信息有所偏重，在协同过滤后，热门文件的权重被放大。所以，我们以用户组S对每个文件的平均评分pi为基准，挑选pi值最大的前M个文件作为流行文件，并缓存到边缘服务器基站之中，在本例中M的值设定为50到400来观察缓存效率的变化。
本例中使用缓存效率来度量性能，当用户向边缘服务器基站发送访问请求时，如果用户访问的文件在边缘服务器基站的缓存中，记作缓存命中，如果用户访问的文件不在边缘服务器基站的缓存中，记作缓存失败。缓存效率Ef是缓存命中的访问数量与总访问数量的比值，即：
Figure BDA0002566223800000121
其中，NS是缓存命中的次数，Ntotal是总访问次数。如果缓存效率不再随训练次数的增加而增加，说明缓存效率达到了最大值，不需再进行训练。
本例中将本发明提出的算法与其他参考算法的缓存效率进行了比较，缓存大小的范围为50到400个文件，如图3所示。参考算法为FPCC(参见文献：Z.Yu,J.Hu,G.Min,H.Lu,Z.Zhao,H.Wang,and N.Georgalas,“Federated learning based proactive contentcaching in edge computing,”in 2018IEEE Global Communications Conference(GLOBECOM),2018,pp.1–6.)和经典的m-∈-Greedy算法。可以看出随着缓存大小的增加，所有算法的缓存效率都上升了。本发明提出的算法和FPCC明显优于m-∈-Greedy算法，这是由于前两者从隐含特征入手挖掘了数据的潜在信息、预测了文件的流行趋势。本发明提出的算法与FPCC的缓存效率十分接近，可以达到类似的效果，两者缓存效率相差的部分是因本发明舍弃了用户之间的原始数据交流付出的代价，只要保证数据集足够大就能得到补偿。表1比较了一个用户在不同算法下对于基站和邻居用户的原始数据泄露率，其中U是全体用户的数量，K是邻居用户的数量。可以看出集中式算法对于基站的数据泄露率为100％，FPCC对于邻居用户的数据泄露率为K/U，本发明对于基站和邻居用户的数据泄露率均为零，由此可见本发明提出的算法在隐私保护方面明显优于集中式算法和FPCC。
表1本发明与其他参考算法在原始数据泄露率方面的比较。
Figure BDA0002566223800000122
从上述说明可以看出，本发明所提出的联邦学习主动内容缓存方案与现有的主动内容缓存方案有明显不同。所提出的方案融入了伪评分矩阵R，使用伪评分矩阵R来代替用户的真实评分，在判断热门文件时不需要共享用户的真实数据，不需要邻居用户之间的原始数据共享，从而在不影响缓存命中率的前提下保护了用户的隐私。并且，将判断热门文件的过程全部放在服务器端，无须用户向服务器推荐文件，仅需用户、文件的特征和模型，传输成本低。此外，分布式的设计减小了服务器端的计算压力，充分利用了每一台用户设备的计算资源。
以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (3)

1.一种基于联邦学习的主动内容缓存方法，其特征在于，包括以下内容：第一，在每一轮通信中，用户首先下载全局模型，在本地利用堆叠式自动编码器进行训练，得到本地模型和用户、文件的隐含特征；第二，在每一轮通信中，用户将模型更新发送至服务器，服务器采用联邦平均的方法把所有本地模型聚合生成全局模型；第三，当训练结束后，用户把用户、文件的隐含特征也发送至服务器；服务器首先利用用户、文件的隐含特征计算用户相似度和文件相似度；然后随机选择某用户，根据用户相似度挑选出他的K个邻居，使用堆叠式自动编码器的译码器恢复出他们的伪评分矩阵；最后使用协同过滤计算这组用户对全部文件的评分，挑选出平均得分最高的文件进行缓存；具体步骤如下：
步骤一：信息收集与模型建立
步骤1.1收集信息：根据信息类型，边缘服务器基站收集信息，包括两个方面：
1)用户向基站发起的访问请求和用户所提供的背景信息；
2)基站通过网络侧获取内容信息，内容信息被用来响应用户的访问请求，以及缓存在边缘服务器基站之中；
步骤1.2模型建立：边缘服务器基站建立堆叠式自动编码器模型作为联邦学习的全局模型，即确定深度神经网络的结构；在深度神经网络的结构确定以后，初始化输入层、隐含层、输出层之间的映射关系，即初始化权值矩阵和偏置向量；采用两个堆叠式自动编码器模型，一个作为用户的联邦学习全局模型，另一个作为文件的联邦学习全局模型；
步骤二：本地模型的训练过程
本轮进行本地模型训练的用户在边缘服务器基站中下载用户和文件的联邦学习全局模型，以此全局模型的网络结构和参数确定本地模型的网络结构，本地模型和全局模型的结构是一样的；然后对每个隐含层进行逐层训练，具体过程如下：
设输入层为一个N维向量x，通过堆叠式自动编码器的编码器将其映射到第l个Q维隐含层h(l)上，它的映射关系为:
h(l)＝g(W(l)x+b(l))
解码过程是通过堆叠式自动编码器的译码器在第l个Q维隐含层h(l)中重构出N维向量
Figure FDA0002566223790000011
它的映射关系为：
Figure FDA0002566223790000012
其中，W∈RQ×N,W′∈RN×Q是权值矩阵，b∈RQ,b′∈RN是偏置向量，g(·)为激活函数，可以选择线性整流函数(Rectified Linear Unit,ReLU)、双曲正切函数(tanh)、Sigmoid函数等；
堆叠式自动编码器的训练过程是通过调整权值矩阵W，W′和偏置向量b，b′使平均重构误差最小，以得到最佳隐含层向量h(l)的过程；重构误差越小，本地模型和Q维的隐含层向量h(l)越准确；在此使用均方误差作为重构误差，从而最小化目标函数：
Figure FDA0002566223790000021
其中，第一项是均方误差，第二、三项是正则化项，能够防止模型过拟合，λ是正则化参数；
为了最小化目标函数E，采用有效的梯度更新方法自适应矩估计，在第一轮的迭代中，需要初始化一阶矩向量m0、二阶矩向量v0为零向量，在接下来的迭代中，利用如下公式计算一阶矩向量mt、二阶矩向量vt：
mt←β1·mt-1+(1-β1)·gt
Figure FDA0002566223790000022
其中，t为当前轮的时间，β1、β2∈[0,1)是控制衰减率的参数，gt表示g(θ)关于θ的梯度，这里的θ就是权值矩阵W,W′和偏置向量b,b′，gt可由反向传播算法(Back Propagation，BP)得到；
对一阶矩向量mt、二阶矩向量vt做出修正，修正后的一阶矩向量
Figure FDA0002566223790000023
二阶矩向量
Figure FDA0002566223790000024
为：
Figure FDA0002566223790000025
Figure FDA0002566223790000026
再对参数θ进行更新，更新过程为：
Figure FDA0002566223790000027
其中，t为当前轮的时间，α为步长，是一个常数，∈是用于数值稳定的小常数，这里的θ就是需要迭代的权值矩阵和偏置向量；
至此，在训练结束后得到每个输入向量x经编码器之后得到的隐含表示h，以及堆叠式自动编码器的深度神经网络；将隐含表示h视为x的隐含特征，深度神经网络即用户的本地模型，记为
Figure FDA0002566223790000028
其中n表示用户的索引，t为当前轮的时间；
步骤三：全局模型的聚合过程
边缘服务器基站在每一轮训练中收集全部本地模型的更新，以本地模型的更新为基础聚合出全局模型，第n个用户本地模型的更新
Figure FDA0002566223790000029
为：
Figure FDA00025662237900000210
其中，n表示用户索引，t为当前轮的时间，
Figure FDA00025662237900000211
表示本地模型，Wt表示全局模型；则进行联邦平均得到新的全局模型Wt+1的方案如下：
Wt+1＝Wt+ηtHt
Figure FDA0002566223790000031
其中，ηt为学习速率，t为当前轮的时间，Nt为当前轮参加训练的用户数量；
至此，得到新的全局模型Wt+1之后，将它发送给下一轮需要进行本地训练的每一个用户，然后开始下一轮的训练，直到训练轮数达到预设值；
步骤四：内容缓存过程
步骤4.1)在训练结束之后，边缘服务器基站收集用户、文件的隐含特征向量；根据用户的隐含特征得到用户之间的相似度，根据文件的隐含特征得到文件之间的相似度；
将根据用户的隐含特征得到的余弦相似度记作CosSimU，将根据用户背景信息得到的余弦相似度记作CosSimin，将根据文件的隐含特征得到的余弦相似度记作CosSimF；将用户之间的相似度改进，在余弦相似度的基础上结合用户所提供的背景信息即上下文信息，提出改进的用户相似度SimUser：
Figure FDA0002566223790000032
其中，α是可调参数；相应地，文件相似度SimFile为：
SimFile＝CosSimF
其中，CosSimF是根据文件隐含特征得到的余弦相似度；
最后计算出每两个用户之间的相似度，构成用户相似度矩阵，计算出每两个文件之间的相似度，构成文件相似度矩阵；
步骤4.2)随机选取一个活跃用户P，根据步骤4.1)得到的用户相似度矩阵，挑选出与活跃用户P相似度最高的前K个用户作为他的邻居；接下来，把活跃用户P与他的K个邻居组成一个用户组S；对于用户组S中的一个用户，边缘服务器基站由他的本地模型的更新
Figure FDA0002566223790000033
可以反推出他的本地模型
Figure FDA0002566223790000034
Figure FDA0002566223790000035
通过堆叠式自动编码器的译码器，根据本地模型和其隐含特征h可以得到此用户对于文件请求的预测信息
Figure FDA0002566223790000036
Figure FDA0002566223790000037
其中，
Figure FDA0002566223790000038
中包含此用户对全部文件的预测评价，g(·)为激活函数；
将用户组S中全部用户的预测信息
Figure FDA0002566223790000039
组合，得到K+1个用户对全部文件的预测评价，它是一个二维矩阵，记作伪评分矩阵R；
步骤4.3)根据步骤4.2)得到的伪评分矩阵R和步骤4.1)得到的文件相似度矩阵，利用基于项目的协同过滤方法预测用户组S对所有文件的综合评分pu,i；
步骤4.4)根据综合评分pu,i，边缘服务器基站对文件的流行程度排序，并把前M个最流行文件缓存下来；具体地：
首先，由综合评分pu,i求得每个文件的平均评分pi，公式如下：
Figure FDA0002566223790000041
其中，K+1是用户组S中用户的数量，u是用户的索引，i是文件的索引；
然后，根据pi值的大小对文件的流行程度进行排序，pi值越大，则文件越流行；以用户组S对每个文件的平均评分pi为基准，挑选pi值最大的前M个文件作为流行文件，并缓存到边缘服务器基站之中，M由边缘服务器基站的缓存大小决定。
2.根据权利要求1所述的一种基于联邦学习的主动内容缓存方法，其特征在于，步骤4.1)中，对于两两用户之间或两两文件之间的隐含特征，即向量A和B，使用余弦相似度评估它们之间的相似度，余弦相似度CosSim定义为：
Figure FDA0002566223790000042
其中，kl是A与B的维度，Ai与Bi分别为A与B之中的元素。
3.根据权利要求1所述的一种基于联邦学习的主动内容缓存方法，其特征在于，所述步骤4.3)中采用如下公式对所有文件进行综合评分：
Figure FDA0002566223790000043
其中，pu,i表示用户u对文件i的预测评分，Qp表示与文件i相似项的集合，s(i,j)表示文件i与j之间的相似度，ru,j表示在伪评分矩阵R中用户u对文件j的评分。
CN202010625476.XA 2020-07-02 2020-07-02 一种基于联邦学习的主动内容缓存方法 Active CN111865826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625476.XA CN111865826B (zh) 2020-07-02 2020-07-02 一种基于联邦学习的主动内容缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625476.XA CN111865826B (zh) 2020-07-02 2020-07-02 一种基于联邦学习的主动内容缓存方法

Publications (2)

Publication Number Publication Date
CN111865826A true CN111865826A (zh) 2020-10-30
CN111865826B CN111865826B (zh) 2022-01-04

Family

ID=72989759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625476.XA Active CN111865826B (zh) 2020-07-02 2020-07-02 一种基于联邦学习的主动内容缓存方法

Country Status (1)

Country Link
CN (1) CN111865826B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579544A (zh) * 2020-12-18 2021-03-30 北京邮电大学 文件缓存方法、装置、电子设备及存储介质
CN112634059A (zh) * 2020-12-31 2021-04-09 中国移动通信集团江苏有限公司 一种联邦学习优化方法、装置、设备及计算机存储介质
CN112653752A (zh) * 2020-12-18 2021-04-13 重庆大学 基于联邦学习的区块链工业物联网数据共享方法
CN112686385A (zh) * 2021-01-07 2021-04-20 中国人民解放军国防科技大学 面向多站点三维影像的联邦深度学习方法及系统
CN112948289A (zh) * 2021-03-03 2021-06-11 上海天旦网络科技发展有限公司 一种基于机器学习的缓存预测调度方法、系统及介质
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113271339A (zh) * 2021-04-25 2021-08-17 复旦大学 一种用户偏好未知的边缘基站缓存部署方法
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113315978A (zh) * 2021-05-13 2021-08-27 江南大学 一种基于联邦学习的协作式在线视频边缘缓存方法
CN113329344A (zh) * 2021-05-19 2021-08-31 中国科学院计算技术研究所 一种用于通讯网络的文件推荐的方法
CN113672684A (zh) * 2021-08-20 2021-11-19 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN114764967A (zh) * 2021-01-14 2022-07-19 新智数字科技有限公司 联合学习框架下设备故障报警的方法
CN114781545A (zh) * 2022-05-10 2022-07-22 重庆大学 一种联邦学习方法及系统
CN115696296A (zh) * 2022-10-25 2023-02-03 山东大学 一种基于社区发现和加权联邦学习的主动边缘缓存方法
WO2023030493A1 (zh) * 2021-09-02 2023-03-09 大唐移动通信设备有限公司 机器学习模型处理方法、装置及存储介质
CN116362345A (zh) * 2023-02-20 2023-06-30 江南大学 基于多智能体强化学习和联邦学习的边缘缓存方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070813A (zh) * 2017-03-09 2017-08-18 中国科学院声学研究所 一种基于虚拟网络接口的内容缓存的系统及方法
CN108900618A (zh) * 2018-07-04 2018-11-27 重庆邮电大学 一种信息中心网络虚拟化中内容缓存方法
US10225365B1 (en) * 2014-12-19 2019-03-05 Amazon Technologies, Inc. Machine learning based content delivery
CN111107000A (zh) * 2019-12-13 2020-05-05 东南大学 一种基于网络编码的命名数据网络中内容缓存方法
CN111222647A (zh) * 2020-01-09 2020-06-02 深圳前海微众银行股份有限公司 联邦学习系统优化方法、装置、设备及存储介质
CN111325352A (zh) * 2020-02-20 2020-06-23 深圳前海微众银行股份有限公司 基于纵向联邦学习的模型更新方法、装置、设备及介质
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225365B1 (en) * 2014-12-19 2019-03-05 Amazon Technologies, Inc. Machine learning based content delivery
CN107070813A (zh) * 2017-03-09 2017-08-18 中国科学院声学研究所 一种基于虚拟网络接口的内容缓存的系统及方法
CN108900618A (zh) * 2018-07-04 2018-11-27 重庆邮电大学 一种信息中心网络虚拟化中内容缓存方法
CN111107000A (zh) * 2019-12-13 2020-05-05 东南大学 一种基于网络编码的命名数据网络中内容缓存方法
CN111222647A (zh) * 2020-01-09 2020-06-02 深圳前海微众银行股份有限公司 联邦学习系统优化方法、装置、设备及存储介质
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111325352A (zh) * 2020-02-20 2020-06-23 深圳前海微众银行股份有限公司 基于纵向联邦学习的模型更新方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENGXIN YU,JIA HU,GEYONG MIN,HAOCHUAN LU, ZHIWEI ZHAO: "Federated Learning Based Proactive Content Caching in Edge Computing", 《2018 IEEE GLOBAL COMMUNICATIONS CONFERENCE (GLOBECOM)》 *
ZUBAIR MD.FADLULLAH，NEI KATO: "HCP: Heterogeneous Computing Platform for Federated Learning Based Collaborative Content Caching Towards 6G Networks", 《IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTING (EARLY ACCESS)》 *
邓娜,卫海超: "面向毫米波网络定向阵列的一种简单有效的近似模型", 《物联网学报》 *
雷凯，黄硕康，方俊杰，黄济乐，谢英英，彭波: "智能生态网络：知识驱动的未来价值互联网基础设施", 《应用科学学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653752A (zh) * 2020-12-18 2021-04-13 重庆大学 基于联邦学习的区块链工业物联网数据共享方法
CN112579544A (zh) * 2020-12-18 2021-03-30 北京邮电大学 文件缓存方法、装置、电子设备及存储介质
CN112579544B (zh) * 2020-12-18 2023-10-13 北京邮电大学 文件缓存方法、装置、电子设备及存储介质
CN112634059A (zh) * 2020-12-31 2021-04-09 中国移动通信集团江苏有限公司 一种联邦学习优化方法、装置、设备及计算机存储介质
CN112686385A (zh) * 2021-01-07 2021-04-20 中国人民解放军国防科技大学 面向多站点三维影像的联邦深度学习方法及系统
CN114764967A (zh) * 2021-01-14 2022-07-19 新智数字科技有限公司 联合学习框架下设备故障报警的方法
CN112948289A (zh) * 2021-03-03 2021-06-11 上海天旦网络科技发展有限公司 一种基于机器学习的缓存预测调度方法、系统及介质
CN112948289B (zh) * 2021-03-03 2022-09-30 上海天旦网络科技发展有限公司 一种基于机器学习的缓存预测调度方法、系统及介质
CN113271339A (zh) * 2021-04-25 2021-08-17 复旦大学 一种用户偏好未知的边缘基站缓存部署方法
CN113315978A (zh) * 2021-05-13 2021-08-27 江南大学 一种基于联邦学习的协作式在线视频边缘缓存方法
CN113329344A (zh) * 2021-05-19 2021-08-31 中国科学院计算技术研究所 一种用于通讯网络的文件推荐的方法
CN113329344B (zh) * 2021-05-19 2022-08-30 中国科学院计算技术研究所 一种用于通讯网络的文件推荐的方法
CN113255004A (zh) * 2021-06-16 2021-08-13 大连理工大学 一种安全且高效的联邦学习内容缓存方法
CN113283177B (zh) * 2021-06-16 2022-05-24 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113283177A (zh) * 2021-06-16 2021-08-20 江南大学 一种基于异步联邦学习的移动感知缓存方法
CN113672684A (zh) * 2021-08-20 2021-11-19 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN113672684B (zh) * 2021-08-20 2023-04-21 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
WO2023030493A1 (zh) * 2021-09-02 2023-03-09 大唐移动通信设备有限公司 机器学习模型处理方法、装置及存储介质
CN114781545A (zh) * 2022-05-10 2022-07-22 重庆大学 一种联邦学习方法及系统
CN115696296A (zh) * 2022-10-25 2023-02-03 山东大学 一种基于社区发现和加权联邦学习的主动边缘缓存方法
US11943114B1 (en) 2022-10-25 2024-03-26 Shandong University Active edge caching method based on community discovery and weighted federated learning
CN116362345A (zh) * 2023-02-20 2023-06-30 江南大学 基于多智能体强化学习和联邦学习的边缘缓存方法及系统

Also Published As

Publication number Publication date
CN111865826B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN111865826B (zh) 一种基于联邦学习的主动内容缓存方法
Yu et al. Federated learning based proactive content caching in edge computing
Wang et al. Federated deep reinforcement learning for Internet of Things with decentralized cooperative edge caching
Yu et al. Privacy-preserving federated deep learning for cooperative hierarchical caching in fog computing
Wang et al. A novel reputation-aware client selection scheme for federated learning within mobile environments
Zhang et al. Deep learning for wireless coded caching with unknown and time-variant content popularity
CN113283177B (zh) 一种基于异步联邦学习的移动感知缓存方法
CN108848395B (zh) 基于果蝇优化算法的边缘协作缓存布置方法
CN112540845B (zh) 一种基于移动边缘计算的协作系统及方法
Zhang et al. Cooperative edge caching based on temporal convolutional networks
Lin et al. Feedback delay-tolerant proactive caching scheme based on federated learning at the wireless edge
CN113873534B (zh) 一种雾计算中区块链协助的联邦学习主动内容缓存方法
CN105812834A (zh) 基于聚类信息的视频推荐服务器、推荐方法和预缓存方法
Wu et al. Content popularity prediction in fog radio access networks: A federated learning based approach
CN113255004A (zh) 一种安全且高效的联邦学习内容缓存方法
CN113918829A (zh) 一种雾计算网络中基于联邦学习的内容缓存和推荐方法
Zhao et al. Mobility-aware and interest-predicted caching strategy based on IoT data freshness in D2D networks
CN108521640B (zh) 一种蜂窝网络中的内容分发方法
Hao et al. Knowledge-centric proactive edge caching over mobile content distribution network
Jiang et al. Federated learning-based content popularity prediction in fog radio access networks
CN109412661B (zh) 一种大规模mimo系统下的用户分簇方法
Wang et al. An efficient content popularity prediction of privacy preserving based on federated learning and wasserstein gan
Zhu et al. Multi-bitrate video caching for D2D-enabled cellular networks
CN111447506B (zh) 云边环境下基于延迟和成本均衡的流媒体内容放置方法
CN111586439A (zh) 一种认知内容中心网络的视频绿色缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant