CN113965937A - 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法 - Google Patents

一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法 Download PDF

Info

Publication number
CN113965937A
CN113965937A CN202111254524.XA CN202111254524A CN113965937A CN 113965937 A CN113965937 A CN 113965937A CN 202111254524 A CN202111254524 A CN 202111254524A CN 113965937 A CN113965937 A CN 113965937A
Authority
CN
China
Prior art keywords
content
popularity
local
mobile
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111254524.XA
Other languages
English (en)
Other versions
CN113965937B (zh
Inventor
蒋雁翔
王志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202111254524.XA priority Critical patent/CN113965937B/zh
Publication of CN113965937A publication Critical patent/CN113965937A/zh
Application granted granted Critical
Publication of CN113965937B publication Critical patent/CN113965937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，该方法包括：根据雾接入点收集到的本地用户信息和内容信息，构造本地用户与内容的初始特征；根据初始特征与历史请求记录，为每个雾接入点建立本地用户请求内容概率的预测模型；利用聚类联邦学习对各雾接入点的预测模型进行分布式训练并实现模型参数的特殊化；根据内容信息，以移动用户的内容请求概率为预测目标，建立移动用户的偏好模型；对本地流行度和移动流行度的预测结果进行整合，得到内容流行度的最终预测结果。本发明使雾接入点准确预测并动态更新内容流行度，并通过模型特殊化，自适应地区分内容流行度的区域差异，同时减少了通信成本。

Description

一种雾无线接入网中基于聚类联邦学习的内容流行度预测 方法
技术领域
本发明涉及内容流行度预测的技术领域，特别是涉及一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法。
背景技术
随着各类智能设备以及移动应用服务的空前发展，近年来无线网络中出现了大量亟待解决的问题，尤其是在容量有限的回程链路上由爆发式增长的数据流量压力造成的拥塞。雾无线接入网(F-RAN)作为一种前景广阔的新型架构，可以利用部署在网络边缘的雾接入点(F-AP)来减轻回程链路的流量负担。雾接入点可以缓存流行的内容以满足用户的要求，但由于缓存容量和计算资源的限制，雾接入点需要预测未来的内容流行度，以决定在何时存放什么内容，进而提高自身的缓存效率。
传统的缓存策略例如先入先出缓存策略、最近最少使用缓存策略以及最近最不常用缓存策略，在有线网络中得到了长期广泛的应用。但受限于无线网络中边缘节点有限的覆盖范围以及存储空间，这些传统的缓存策略由于无法直接对内容流行度进行提前预测，在无线网络中会遭受严重的性能下降。因此，以上的传统缓存策略在新型的无线网络中很难适用。近期许多研究者的工作已着眼于通过对内容流行度进行预测来提高缓存效率。但在无线网络中，区域差异将导致内容流行度在不同边缘节点处的分布不同，全局内容流行度预测对于缓存性能的提升有限，而且移动网络中收集到的用户信息与内容信息中隐藏着大量有助于内容流行度预测的表征。同时，移动网络中部分用户具有较高的移动性，特定雾接入点的内容流行度会随着用户的移动性不断变化。如果能够在构建预测模型时自适应地区分内容流行度的区域差异，充分学习有助于内容流行度预测的隐藏表征，实现未来内容流行度的精确预测，并根据用户移动性实现动态更新，从而极大地提升雾接入点的缓存效率，最大程度降低回程链路负载。
联邦学习是一种新型人工智能技术，最初被用于解决用户终端在本地的模型更新问题，保障本地模型训练时数据交换的信息安全，同时保护终端数据中的个人隐私。联邦学习实现了多方参与的高效率机器学习。
发明内容
有鉴于此，本发明的目的在于提供一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，用以自适应地区分内容流行度的区域差异并根据用户移动性实现动态更新，在提高缓存效率的同时，具备通信成本低的特点。
为了实现上述目的，本发明采用如下技术方案：
一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，所述预测方法包括以下步骤：
步骤S1、根据本地用户和内容的邻域集，利用雾接入点获取的本地用户信息和内容信息，通过信息融合构建每个本地用户和每个内容的初始特征；
步骤S2、以所述本地用户和内容的初始特征为输入，再以本地用户的内容请求概率为预测目标，为各个雾接入点建立基于双通道神经网络的预测模型，并设定二元交叉熵损失为损失函数以对模型参数进行优化；
步骤S3、利用聚类联邦学习方法，对各个雾接入点的预测模型进行分布式训练，并且自适应地将区域类型相似的雾接入点进行分簇，为每个雾接入点实现模型参数的特殊化；
步骤S4、利用历史请求数量得到本地用户的活跃程度，并根据本地用户的活跃程度和预测的内容请求概率得到本地流行度的预测结果；
步骤S5、根据内容信息，以移动用户的内容请求概率为预测目标，为每个移动用户建立偏好模型的目标函数，并设定偏好模型的优化目标为最小化目标函数；
步骤S6、各雾接入点收集当前与之关联的移动用户的内容请求概率，得到移动流行度的预测结果；
步骤S7、各雾接入点分别对所有内容的本地流行度和移动流行度进行归一化处理，并根据当前移动用户数量占比对本地流行度和移动流行度进行整合，得到各雾接入点的内容流行度。
进一步的，在所述步骤S1中，在F-APm内，其中，F-AP表示雾接入点，m表示雾接入点的标号，通过信息融合构建的本地用户
Figure BDA0003323624080000021
的初始特征
Figure BDA0003323624080000022
和内容i的初始特征
Figure BDA0003323624080000023
分别表示为：
Figure BDA0003323624080000024
Figure BDA0003323624080000025
公式中，
Figure BDA0003323624080000026
和
Figure BDA0003323624080000027
分别为F-APm内本地用户
Figure BDA0003323624080000028
和内容i的邻域集，
Figure BDA0003323624080000029
为本地用户
Figure BDA0003323624080000031
的dU维信息向量，
Figure BDA0003323624080000032
为内容i的dI维信息向量，
Figure BDA0003323624080000033
为初始特征中自信息的权重。
进一步的，在所述步骤S2中，所述的双通道神经网络由并行的本地用户特征变换函数
Figure BDA0003323624080000034
和内容特征变换函数
Figure BDA0003323624080000035
构成，分别表示dU和dI维向量空间到H维向量空间的映射。预测的本地用户的内容请求概率的表达式为：
Figure BDA0003323624080000036
公式中，
Figure BDA0003323624080000037
为本地用户
Figure BDA0003323624080000038
请求内容i的概率，
Figure BDA0003323624080000039
和
Figure BDA00033236240800000310
分别为F-APm的本地用户特征变换函数和内容特征变换函数的参数，所述的特征变换函数采用多层感知机实现；
所述的设定二元交叉熵损失为损失函数以对模型参数进行优化，具体表达式为：
Figure BDA00033236240800000311
公式中，η为单个训练样本的二元交叉熵损失，
Figure BDA00033236240800000312
为本地用户
Figure BDA00033236240800000313
请求内容i的标签。
进一步的，所述步骤S3具体包括：
步骤S301、设定所有F-AP同属于一个初始簇
Figure BDA00033236240800000314
并使用统一的模型初始化参数θM，对各F-AP的基于双通道神经网络的预测模型进行参数初始化，表达式为：
Figure BDA00033236240800000315
公式中，θm为F-APm的基于双通道神经网络的预测模型的模型参数；
步骤S302、各F-AP根据各自的训练样本集和模型参数，利用随机梯度下降算法更新模型权值，表达式为：
Figure BDA00033236240800000316
公式中，Δθm为F-APm的模型权值更新；
步骤S303、各F-AP将模型权值更新上传至云服务器，云服务器对所有的F-AP簇进行一次遍历，并对每个F-AP簇进行如下条件判断：
Figure BDA00033236240800000317
Figure BDA00033236240800000318
公式中，φ为至少包含一个F-AP的簇，
Figure BDA0003323624080000041
为F-APm的训练样本集大小，
Figure BDA0003323624080000042
为F-AP簇φ中所有F-AP的训练样本集大小的总和，ε1和ε2为预设的聚类联邦学习参数；
对于F-AP簇φ，若条件不成立，则跳过该簇φ；若条件成立，则在F-AP簇φ内执行如下步骤：
步骤S3031、在簇内计算每两个F-AP间的余弦相似度，表达式为：
Figure BDA0003323624080000043
公式中，αm,n为F-APm与F-APn之间的余弦相似度，<Δθm,Δθn>为Δθm和Δθn的内积；
步骤S3032、云服务器利用簇内每两个F-AP间的余弦相似度，通过最小化不同子簇的F-AP之间的最大余弦相似度，将簇φ中的F-AP划分为两个子簇，表达式为：
Figure BDA0003323624080000044
其中，φ1和φ2为划分后的两个子簇；
步骤S304、云服务器在每个簇内各自独立地进行模型权值更新的聚合，并将聚合后的模型权值更新传输给对应簇内的每个F-AP，各F-AP利用聚合后的模型权值更新，对各自的模型参数进行更新，表达式为：
Figure BDA0003323624080000045
公式中，φ(m)为包含了F-APm的F-AP簇，|φ(m)|为簇φ(m)中包含的F-AP数量；
步骤S305、重复步骤S302到S304，直到所有F-AP的模型达到收敛，即对任意F-APm，Δθm＜ε2。
进一步的，在所述步骤S4中，本地用户
Figure BDA0003323624080000046
的活跃程度的表达式为：
Figure BDA0003323624080000047
公式中，
Figure BDA0003323624080000048
为本地用户
Figure BDA0003323624080000049
的历史请求数量，
Figure BDA00033236240800000410
为F-APm的本地用户集合；
所述根据本地用户的活跃程度和预测的内容请求概率得到本地流行度的预测结果，表达式为：
Figure BDA0003323624080000051
公式中，
Figure BDA0003323624080000052
为F-APm中内容i的本地流行度预测结果。
进一步的，在所述步骤S5中，所述移动用户的内容请求概率的表达式为：
Figure BDA0003323624080000053
公式中，
Figure BDA0003323624080000054
为移动用户ku请求内容i的概率，au为移动用户ku的偏好模型参数，yu,i∈{0,1}为移动用户ku请求内容i的标签；
所述偏好模型的目标函数的表达式为：
Figure BDA0003323624080000055
其中，
Figure BDA0003323624080000056
为移动用户ku的历史请求信息；
以最小化l(au)为优化目标，利用FTRL-Proximal(Follow The RegularizedLeader Proximal)算法进行求解，得到偏好模型参数au。
进一步的，在所述步骤S6中，各F-AP根据下式计算当前与之关联的移动用户的平均内容请求概率，并将其作为移动流行度的预测结果，表达式为：
Figure BDA0003323624080000057
公式中，
Figure BDA0003323624080000058
为当前与F-APm关联的移动用户集合，
Figure BDA0003323624080000059
为F-APm中内容i的移动流行度预测结果。
进一步的，所述步骤S7具体包括如下步骤：
步骤S701、各F-AP分别对所有内容的本地流行度和移动流行度进行归一化处理，以消除二者之间由于预测方法不同而产生的差异，表达式为：
Figure BDA00033236240800000510
Figure BDA00033236240800000511
步骤S702、各F-AP计算当前移动用户数量占比，表达式为：
Figure BDA0003323624080000061
公式中，wm为F-APm中当前移动用户数量占比；
步骤S703、各F-AP根据当前移动用户数量占比，通过对本地流行度和移动流行度进行整合，得到内容流行度的预测结果：
Figure BDA0003323624080000062
其中，
Figure BDA0003323624080000063
为F-APm中内容i的内容流行度预测结果。
本发明的有益效果是：
(1)本发明充分考虑了内容流行度预测所涉及的本地用户和移动用户，并根据两类用户的特点，分别为两类用户实现了本地流行度和移动流行度的预测，并对本地流行度与移动流行度进行整合，使其更加符合雾无线接入网中边缘缓存场景的实际情况。
(2)本发明通过信息融合构建每个本地用户和每个内容的初始特征，并构建了合适的深度学习模型，充分学习了有助于内容流行度预测的隐藏表征，从而准确地预测本地流行度。
(3)本发明在联邦学习框架的基础上，采用聚类联邦学习方法，在分布式模型训练的过程中，通过自适应地将区域类型相似的F-AP进行分簇，为每个F-AP实现模型参数的特殊化，从而能够有效地区分内容流行度的区域差异，且减少了通信成本。
(4)考虑到移动用户具有较高的移动性，以及移动用户设备计算能力有限的特点，本发明通过学习移动用户的偏好模型，仅需与内容信息相同数量的参数，从而降低模型的训练难度与计算复杂度。
(5)本发明中移动流行度的预测，仅需F-AP实时地收集当前与之关联的移动用户的内容请求概率，从而保护移动用户的数据隐私，同时减少了通信成本。
附图说明
图1为实施例1中提供的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法的流程示意图。
图2为实施例1提供的预测方法与其他预测方法在缓存命中率随缓存空间大小变化方面的对比示意图；
图3为实施例1提供的预测方法与其他预测方法在缓存命中率随移动用户数量占比变化方面的对比示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1-图3，本实施例提供一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，该方法具体包括如下的步骤：
步骤S1、在给定F-AP内，根据本地用户和内容的邻域集，利用F-AP获取的本地用户信息和内容信息，通过信息融合构建每个本地用户和每个内容的初始特征。
具体的说，在本实施例中，该步骤S1具体包括：
步骤S101、在F-APm内，通过信息融合构建本地用户
Figure BDA0003323624080000071
的初始特征
Figure BDA0003323624080000072
Figure BDA0003323624080000073
公式(1)中，
Figure BDA0003323624080000074
为F-APm中本地用户
Figure BDA0003323624080000075
的邻域集，
Figure BDA0003323624080000076
为本地用户
Figure BDA0003323624080000077
的dU维信息向量，
Figure BDA0003323624080000078
为初始特征中自信息的权重；
步骤S102、在F-APm内，通过信息融合构建内容i的初始特征
Figure BDA0003323624080000079
Figure BDA00033236240800000710
公式(2)中，
Figure BDA00033236240800000711
为F-APm中内容i的邻域集，
Figure BDA00033236240800000712
为内容i的dI维信息向量。
步骤S2、以本地用户和内容的初始特征为输入，本地用户的内容请求概率为预测目标，为各F-AP建立基于双通道神经网络的预测模型，设定二元交叉熵损失为损失函数以对模型参数进行优化。
具体的说，在本实施例中，该步骤S2具体包括：
步骤S201、对于给定的F-APm，记录本地用户的历史请求，以及本地用户和内容的初始特征，得到F-APm的训练样本集
Figure BDA00033236240800000713
其中，
Figure BDA00033236240800000714
为F-APm的本地用户集合，
Figure BDA00033236240800000715
为内容库，
Figure BDA00033236240800000716
为本地用户
Figure BDA00033236240800000717
请求内容i的标签，若历史请求中本地用户
Figure BDA00033236240800000718
请求过内容i，
Figure BDA00033236240800000719
否则
Figure BDA00033236240800000720
步骤S202、双通道神经网络由并行的本地用户特征变换函数
Figure BDA0003323624080000081
和内容特征变换函数
Figure BDA0003323624080000082
构成。
以本地用户和内容的初始特征为输入，预测的本地用户的内容请求概率表示为：
Figure BDA0003323624080000083
公式(3)中，
Figure BDA0003323624080000084
为本地用户
Figure BDA0003323624080000085
请求内容i的概率，
Figure BDA0003323624080000086
和
Figure BDA0003323624080000087
分别为F-APm的本地用户特征变换函数和内容特征变换函数的参数。特征变换函数采用多层感知机(multilayerperceptron，MLP)实现；
步骤S203、设定二元交叉熵损失为损失函数以对模型参数进行优化：
Figure BDA0003323624080000088
公式(4)中，η为单个训练样本的二元交叉熵损失。
步骤S3、利用聚类联邦学习方法，在对各F-AP的预测模型进行分布式训练的过程中，自适应地将区域类型相似的F-AP进行分簇，为每个F-AP实现模型参数的特殊化。
具体的说，在本实施例中，该步骤S3具体包括：
步骤S301、设定所有F-AP同属于一个初始簇
Figure BDA0003323624080000089
并使用统一的模型初始化参数
Figure BDA00033236240800000810
对各F-AP的基于双通道神经网络的预测模型进行参数初始化：
Figure BDA00033236240800000811
公式(5)中，θm为F-APm的基于双通道神经网络的预测模型的模型参数；
步骤S302、各F-AP根据各自的训练样本集和模型参数，利用随机梯度下降(stochastic gradient descent，SGD)计算模型权值更新：
Figure BDA00033236240800000812
公式(6)中，Δθm为F-APm的模型权值更新；
步骤S303、各F-AP将模型权值更新上传至云服务器。云服务器对所有的F-AP簇进行一次遍历，并对每个F-AP簇进行如下条件判断：
Figure BDA00033236240800000813
Figure BDA00033236240800000814
公式(7)以及公式(8)中，φ为至少包含一个F-AP的簇，
Figure BDA0003323624080000091
为F-APm的训练样本集大小，
Figure BDA0003323624080000092
为F-AP簇φ中所有F-AP的训练样本集大小的总和，ε1和ε2为预设的聚类联邦学习参数。
对于F-AP簇φ，若条件不成立，则跳过该簇φ；若条件成立，则在F-AP簇φ内执行如下步骤：
步骤S3031、在簇内计算每两个F-AP间的余弦相似度：
Figure BDA0003323624080000093
公式(9)中，αm,n为F-APm与F-APn之间的余弦相似度，<Δθm,Δθn>为Δθm和Δθn的内积；
步骤S3032、云服务器利用簇内每两个F-AP间的余弦相似度，通过最小化不同子簇的F-AP之间的最大余弦相似度，将簇φ中的F-AP划分为两个子簇：
Figure BDA0003323624080000094
公式(10)中，φ1和φ2为划分后的两个子簇；
步骤S304、云服务器在每个簇内各自独立地进行模型权值更新的聚合，并将聚合后的模型权值更新传输给对应簇内的每个F-AP。各F-AP利用聚合后的模型权值更新，对各自的模型参数进行更新：
Figure BDA0003323624080000095
公式(11)中，φ(m)为包含了F-APm的F-AP簇，|φ(m)|为簇φ(m)中包含的F-AP数量；
步骤S305、重复步骤S302到步骤S304，直到所有F-AP的模型达到收敛，即对任意F-APm，Δθm＜ε2。
步骤S4、利用历史请求数量得到本地用户的活跃程度，并根据本地用户的活跃程度和预测的内容请求概率得到本地流行度的预测结果。
具体的说，在本实施例中，该步骤S4具体包括：
步骤S401、本地用户
Figure BDA0003323624080000096
的活跃程度表示为：
Figure BDA0003323624080000101
公式(12)中，
Figure BDA0003323624080000102
为本地用户
Figure BDA0003323624080000103
的历史请求数量；
步骤S402、根据下式计算以活跃程度进行加权的本地用户的平均内容请求概率，并将其作为本地流行度的预测结果：
Figure BDA0003323624080000104
公式(13)中，
Figure BDA0003323624080000105
为F-APm中内容i的本地流行度预测结果。
步骤S5、根据内容信息，以移动用户的内容请求概率为预测目标，为每个移动用户建立偏好模型的目标函数，并设定偏好模型的优化目标为最小化目标函数。
具体的说，在本实施例中，该步骤S5具体包括：
步骤S501、移动用户ku记录其历史请求信息
Figure BDA0003323624080000106
其中包括内容i的内容信息ζi和移动用户ku请求内容i的标签yu,i∈{0,1}，若历史请求中移动用户ku请求过内容i，yu,i＝1，否则，yu,i＝0；
步骤S502、利用sigmoid函数，移动用户的内容请求概率表示为：
Figure BDA0003323624080000107
公式(14)中，
Figure BDA0003323624080000108
为移动用户ku请求内容i的概率，au为移动用户ku的偏好模型参数；
步骤S503、利用移动用户的历史请求信息，建立偏好模型的目标函数：
Figure BDA0003323624080000109
上式即负对数似然函数；
步骤S504、以最小化l(au)为优化目标，利用Follow The(Proximally)Regularized Leader(FTRL-Proximal)算法进行求解，得到偏好模型参数au。每个移动用户都按照S501到S504各自独立地进行线下训练。
步骤S6、各F-AP收集当前与之关联的移动用户的内容请求概率，进而得到移动流行度的预测结果。
具体的说，在本实施例中，该步骤S6具体包括：
步骤S601、各F-AP实时监视各自覆盖范围内的移动用户，并收集覆盖范围内的移动用户的内容请求概率。位于某一F-AP覆盖范围内的移动用户将保持与该F-AP的关联，直至离开其覆盖范围；
步骤S602、各F-AP计算当前与之关联的移动用户的平均内容请求概率，并将其作为移动流行度的预测结果：
Figure BDA0003323624080000111
公式(16)中，
Figure BDA0003323624080000112
为当前与F-APm关联的移动用户集合，
Figure BDA0003323624080000113
为F-APm中内容i的移动流行度预测结果。
步骤S7、各F-AP分别对所有内容的本地流行度和移动流行度进行归一化处理，并根据当前移动用户数量占比对本地流行度和移动流行度进行整合，得到各F-AP的内容流行度。
具体的说，在本实施例中，该步骤S7具体包括：
步骤S701、各F-AP分别对所有内容的本地流行度和移动流行度进行归一化处理，以消除二者之间由于预测方法不同而产生的差异：
Figure BDA0003323624080000114
Figure BDA0003323624080000115
步骤S702、各F-AP计算当前移动用户数量占比：
Figure BDA0003323624080000116
公式(19)中，wm为F-APm中当前移动用户数量占比；
步骤S703、各F-AP根据当前移动用户数量占比，通过对本地流行度和移动流行度进行整合，得到内容流行度的预测结果：
Figure BDA0003323624080000117
公式(20)中，
Figure BDA0003323624080000118
为F-APm中内容i的内容流行度预测结果。
为了验证本实施例中提供的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法的先进性，本实施例还进行了仿真实验，具体请参见图2和图3，图2为缓存命中率随缓存空间大小变化曲线图，图3缓存命中率随移动用户数量占比变化曲线图。其中，DCNN-CFL、DCNN-FL以及DCNN-LC分别代表：不考虑移动流行度，基于聚类联邦学习、联邦学习以及本地学习的双通道神经网络预测模型的内容流行度预测算法；pLSA代表基于概率潜在语义分析的内容流行度预测算法；LFU、LRU分别为最近最少使用缓存策略以及最近最不常用缓存策略。如图2所示，利用本发明预测的内容流行度在缓存命中率方面较传统算法提高了20％左右。如图3所示，随着F-AP覆盖范围内移动用户数量占比增加，利用本发明预测的内容流行度在缓存命中率方面的波动始终控制在3％以内。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，所述预测方法包括以下步骤：
步骤S1、根据本地用户和内容的邻域集，利用雾接入点获取的本地用户信息和内容信息，通过信息融合构建每个本地用户和每个内容的初始特征；
步骤S2、以所述本地用户和内容的初始特征为输入，再以本地用户的内容请求概率为预测目标，为各个雾接入点建立基于双通道神经网络的预测模型，并设定二元交叉熵损失为损失函数以对模型参数进行优化；
步骤S3、利用聚类联邦学习方法，对各个雾接入点的预测模型进行分布式训练，并且自适应地将区域类型相似的雾接入点进行分簇，为每个雾接入点实现模型参数的特殊化；
步骤S4、利用历史请求数量得到本地用户的活跃程度，并根据本地用户的活跃程度和预测的内容请求概率得到本地流行度的预测结果；
步骤S5、根据内容信息，以移动用户的内容请求概率为预测目标，为每个移动用户建立偏好模型的目标函数，并设定偏好模型的优化目标为最小化目标函数；
步骤S6、各雾接入点收集当前与之关联的移动用户的内容请求概率，得到移动流行度的预测结果；
步骤S7、各雾接入点分别对所有内容的本地流行度和移动流行度进行归一化处理，并根据当前移动用户数量占比对本地流行度和移动流行度进行整合，得到各雾接入点的内容流行度。
2.根据权利要求1所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，在所述步骤S1中，在F-APm内，其中，F-AP表示雾接入点，m表示雾接入点的标号，通过信息融合构建的本地用户
Figure FDA0003323624070000011
的初始特征
Figure FDA0003323624070000012
和内容i的初始特征
Figure FDA0003323624070000013
分别表示为：
Figure FDA0003323624070000014
Figure FDA0003323624070000015
公式中，
Figure FDA0003323624070000016
和
Figure FDA0003323624070000017
分别为F-APm内本地用户
Figure FDA0003323624070000018
和内容i的邻域集，
Figure FDA0003323624070000019
为本地用户
Figure FDA00033236240700000110
的dU维信息向量，
Figure FDA00033236240700000111
为内容i的dI维信息向量，
Figure FDA00033236240700000112
为初始特征中自信息的权重。
3.根据权利要求2所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，在所述步骤S2中，所述的双通道神经网络由并行的本地用户特征变换函数
Figure FDA0003323624070000021
和内容特征变换函数
Figure FDA0003323624070000022
构成，分别表示dU和dI维向量空间到H维向量空间的映射，预测的本地用户的内容请求概率的表达式为：
Figure FDA0003323624070000023
公式中，
Figure FDA0003323624070000024
为本地用户
Figure FDA0003323624070000025
请求内容i的概率，
Figure FDA0003323624070000026
和
Figure FDA0003323624070000027
分别为F-APm的本地用户特征变换函数和内容特征变换函数的参数，所述的特征变换函数采用多层感知机实现；
所述的设定二元交叉熵损失为损失函数以对模型参数进行优化，具体表达式为：
Figure FDA0003323624070000028
公式中，η为单个训练样本的二元交叉熵损失，
Figure FDA0003323624070000029
为本地用户
Figure FDA00033236240700000210
请求内容i的标签。
4.根据权利要求3所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，所述步骤S3具体包括：
步骤S301、设定所有F-AP同属于一个初始簇
Figure FDA00033236240700000211
并使用统一的模型初始化参数
Figure FDA00033236240700000212
对各F-AP的基于双通道神经网络的预测模型进行参数初始化，表达式为：
Figure FDA00033236240700000213
公式中，θm为F-APm的基于双通道神经网络的预测模型的模型参数；
步骤S302、各F-AP根据各自的训练样本集和模型参数，利用随机梯度下降算法更新模型权值，表达式为：
Figure FDA00033236240700000214
公式中，Δθm为F-APm的模型权值更新；
步骤S303、各F-AP将模型权值更新上传至云服务器，云服务器对所有的F-AP簇进行一次遍历，并对每个F-AP簇进行如下条件判断：
Figure FDA00033236240700000215
Figure FDA0003323624070000031
公式中，φ为至少包含一个F-AP的簇，
Figure FDA0003323624070000032
为F-APm的训练样本集大小，
Figure FDA0003323624070000033
为F-AP簇φ中所有F-AP的训练样本集大小的总和，ε1和ε2为预设的聚类联邦学习参数；
对于F-AP簇φ，若条件不成立，则跳过该簇φ；若条件成立，则在F-AP簇φ内执行如下步骤：
步骤S3031、在簇内计算每两个F-AP间的余弦相似度，表达式为：
Figure FDA0003323624070000034
公式中，αm,n为F-APm与F-APn之间的余弦相似度，<Δθm,Δθn>为Δθm和Δθn的内积；
步骤S3032、云服务器利用簇内每两个F-AP间的余弦相似度，通过最小化不同子簇的F-AP之间的最大余弦相似度，将簇φ中的F-AP划分为两个子簇，表达式为：
Figure FDA0003323624070000035
其中，φ1和φ2为划分后的两个子簇；
步骤S304、云服务器在每个簇内各自独立地进行模型权值更新的聚合，并将聚合后的模型权值更新传输给对应簇内的每个F-AP，各F-AP利用聚合后的模型权值更新，对各自的模型参数进行更新，表达式为：
Figure FDA0003323624070000036
公式中，φ(m)为包含了F-APm的F-AP簇，|φ(m)|为簇φ(m)中包含的F-AP数量；
步骤S305、重复步骤S302到S304，直到所有F-AP的模型达到收敛，即对任意F-APm，Δθm＜ε2。
5.根据权利要求4所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，在所述步骤S4中，本地用户
Figure FDA0003323624070000037
的活跃程度的表达式为：
Figure FDA0003323624070000038
公式中，
Figure FDA0003323624070000039
为本地用户
Figure FDA00033236240700000310
的历史请求数量，
Figure FDA00033236240700000311
为F-APm的本地用户集合；
所述根据本地用户的活跃程度和预测的内容请求概率得到本地流行度的预测结果，表达式为：
Figure FDA0003323624070000041
公式中，
Figure FDA0003323624070000042
为F-APm中内容i的本地流行度预测结果。
6.根据权利要求5所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，在所述步骤S5中，所述移动用户的内容请求概率的表达式为：
Figure FDA0003323624070000043
公式中，
Figure FDA0003323624070000044
为移动用户ku请求内容i的概率，au为移动用户ku的偏好模型参数，yu,i∈{0,1}为移动用户ku请求内容i的标签；
所述偏好模型的目标函数的表达式为：
Figure FDA0003323624070000045
其中，
Figure FDA0003323624070000046
为移动用户ku的历史请求信息；
以最小化
Figure FDA0003323624070000047
为优化目标，利用FTRL-Proxima算法进行求解，得到偏好模型参数au。
7.根据权利要求6所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，在所述步骤S6中，各F-AP根据下式计算当前与之关联的移动用户的平均内容请求概率，并将其作为移动流行度的预测结果，表达式为：
Figure FDA0003323624070000048
公式中，
Figure FDA0003323624070000049
为当前与F-APm关联的移动用户集合，
Figure FDA00033236240700000410
为F-APm中内容i的移动流行度预测结果。
8.根据权利要求7所述的一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法，其特征在于，所述步骤S7具体包括如下步骤：
步骤S701、各F-AP分别对所有内容的本地流行度和移动流行度进行归一化处理，以消除二者之间由于预测方法不同而产生的差异，表达式为：
Figure FDA0003323624070000051
Figure FDA0003323624070000052
步骤S702、各F-AP计算当前移动用户数量占比，表达式为：
Figure FDA0003323624070000053
公式中，wm为F-APm中当前移动用户数量占比；
步骤S703、各F-AP根据当前移动用户数量占比，通过对本地流行度和移动流行度进行整合，得到内容流行度的预测结果：
Figure FDA0003323624070000054
其中，
Figure FDA0003323624070000055
为F-APm中内容i的内容流行度预测结果。
CN202111254524.XA 2021-10-27 2021-10-27 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法 Active CN113965937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111254524.XA CN113965937B (zh) 2021-10-27 2021-10-27 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111254524.XA CN113965937B (zh) 2021-10-27 2021-10-27 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法

Publications (2)

Publication Number Publication Date
CN113965937A true CN113965937A (zh) 2022-01-21
CN113965937B CN113965937B (zh) 2024-02-13

Family

ID=79467537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254524.XA Active CN113965937B (zh) 2021-10-27 2021-10-27 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法

Country Status (1)

Country Link
CN (1) CN113965937B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243197A (zh) * 2022-07-18 2022-10-25 拉扎斯网络科技（上海）有限公司 配送数据处理方法、装置、设备及存储介质
CN115767596A (zh) * 2022-11-15 2023-03-07 重庆邮电大学 边缘计算中面向用户移动性与偏好的边缘协同缓存方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
CN113315978A (zh) * 2021-05-13 2021-08-27 江南大学 一种基于联邦学习的协作式在线视频边缘缓存方法
CN113382059A (zh) * 2021-06-08 2021-09-10 东南大学 一种雾无线接入网中基于联邦强化学习的协作缓存方法
WO2021179720A1 (zh) * 2020-10-12 2021-09-16 平安科技（深圳）有限公司 基于联邦学习的用户数据分类方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340277A (zh) * 2020-02-19 2020-06-26 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111935784A (zh) * 2020-08-12 2020-11-13 重庆邮电大学 一种雾计算网络中基于联邦学习的内容缓存方法
WO2021179720A1 (zh) * 2020-10-12 2021-09-16 平安科技（深圳）有限公司 基于联邦学习的用户数据分类方法、装置、设备及介质
CN113315978A (zh) * 2021-05-13 2021-08-27 江南大学 一种基于联邦学习的协作式在线视频边缘缓存方法
CN113382059A (zh) * 2021-06-08 2021-09-10 东南大学 一种雾无线接入网中基于联邦强化学习的协作缓存方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIHENG WANG等: "Content Popularity Prediction in Fog-RANs: A Clustered Federated Learning Based Approach", 《 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC 2022)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243197A (zh) * 2022-07-18 2022-10-25 拉扎斯网络科技（上海）有限公司 配送数据处理方法、装置、设备及存储介质
CN115767596A (zh) * 2022-11-15 2023-03-07 重庆邮电大学 边缘计算中面向用户移动性与偏好的边缘协同缓存方法

Also Published As

Publication number Publication date
CN113965937B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
Xu et al. Asynchronous federated learning on heterogeneous devices: A survey
Yu et al. Federated learning based proactive content caching in edge computing
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
Jiang et al. User preference learning-based edge caching for fog radio access network
Chen et al. Machine learning for wireless networks with artificial intelligence: A tutorial on neural networks
US10163420B2 (en) System, apparatus and methods for adaptive data transport and optimization of application execution
CN111340277B (zh) 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
Yu et al. Privacy-preserving federated deep learning for cooperative hierarchical caching in fog computing
Zhang et al. Federated learning with adaptive communication compression under dynamic bandwidth and unreliable networks
CN113965937B (zh) 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法
CN113902021A (zh) 一种高能效的聚类联邦边缘学习策略生成方法和装置
CN108667653B (zh) 超密集网络中基于聚类的缓存配置方法及装置
Wu et al. Content popularity prediction in fog radio access networks: A federated learning based approach
CN111049903B (zh) 一种基于应用感知预测的边缘网络负载分配算法
Jiang et al. A novel caching policy with content popularity prediction and user preference learning in fog-RAN
CN113315669B (zh) 基于云边协同的吞吐量优化的机器学习推断任务部署方法
WO2023178793A1 (zh) 双视角图神经网络模型的训练方法、装置、设备及介质
Jiang et al. Federated learning-based content popularity prediction in fog radio access networks
Li et al. DQN-enabled content caching and quantum ant colony-based computation offloading in MEC
Zhou et al. Content placement with unknown popularity in fog radio access networks
Nithyanantham et al. Hybrid Deep Learning Framework for Privacy Preservation in Geo-Distributed Data Centre.
Wang et al. Caching as an image characterization problem using deep convolutional neural networks
CN116339748A (zh) 基于移动性预测的边缘计算网络中的自适应应用程序部署方法
CN111901394B (zh) 一种联合考虑用户偏好及活跃程度的移动边缘缓存的方法及系统
Qin et al. Adaptive In‐Network Collaborative Caching for Enhanced Ensemble Deep Learning at Edge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant