CN111935784B - 一种雾计算网络中基于联邦学习的内容缓存方法 - Google Patents

一种雾计算网络中基于联邦学习的内容缓存方法 Download PDF

Info

Publication number
CN111935784B
CN111935784B CN202010806971.0A CN202010806971A CN111935784B CN 111935784 B CN111935784 B CN 111935784B CN 202010806971 A CN202010806971 A CN 202010806971A CN 111935784 B CN111935784 B CN 111935784B
Authority
CN
China
Prior art keywords
content
cached
popularity
network
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010806971.0A
Other languages
English (en)
Other versions
CN111935784A (zh
Inventor
崔太平
肖佗
彭贻
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010806971.0A priority Critical patent/CN111935784B/zh
Publication of CN111935784A publication Critical patent/CN111935784A/zh
Application granted granted Critical
Publication of CN111935784B publication Critical patent/CN111935784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/10Flow control between communication endpoints
    • H04W28/14Flow control between communication endpoints using intermediate storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data

Abstract

本发明涉及一种雾计算网络中基于联邦学习的内容缓存方法,属于移动通信技术领域。通过在F‑RAN中部署内容缓存,可以实现快速、重复的数据访问,减轻网络传输流量。由于缓存容量的限制,预测内容的流行度并缓存哪些流行内容是非常重要的。通常,大多数经典的预测方法都需要在一个中央单元收集个人用户信息,导致了许多用户隐私问题。本发明提出了一种基于联邦学习的智能F‑RANs范例。将联邦学习应用于需求预测问题,可以准确预测网络中内容流行度分布。此外,考虑到用户的内容请求,本发明联合优化了网络中存储资源分配和内容放置问题。本发明将联合优化问题表示为一个整数线性规划模型,目标是最小化网络总流量成本。

Description

一种雾计算网络中基于联邦学习的内容缓存方法
技术领域
本发明属于移动通信技术领域,涉及一种雾计算网络中基于联邦学习的内容缓存方法。
背景技术
近年来,可穿戴设备、智能手机、传感器等智能设备在我们日常生活中的日益普及,引发了众多分布式网络设备的激增,产生了海量的异构数据需要进行处理。由于数据量空前,呈指数增长趋势,且这些数据具有典型的私有性质,因此将所有数据发送到云计算中心处理变得不切实际,并且充满了隐私问题。此外,一些应用程序和服务严重依赖高速数据速率和低延迟传输,促使移动网络运营商重新思考当前的网络架构,并寻求更复杂和更先进的技术,以低延迟和低成本的方式将内容更接近终端用户。
因此,为了满足服务质量的多种多维需求,如增强带宽、超可靠性和低延迟,一种雾无线接入网(F-RANs)范例被提出作为未来无线网络架构的一个有前途的演进路径。通过将雾计算集成到无线网络中,它使云计算能力的分布能够到达网络边缘,从而使上下文感知的服务和应用程序能够接近移动用户。有了这个位置,雾设备提供了一个独特的机会,不仅可以实现边缘缓存,还可以执行边缘处理。因此,我们可以直观地利用雾计算资源来设计新的智能内容缓存和分发机制,具有很大的灵活性,可以满足各种应用场景的QoS需求。
由于缓存实体的存储容量限制,估计未来内容的流行度,并主动缓存最受欢迎的内容十分重要。然而,现有的大多数缓存方案是为高度受控的环境设计的,在这种环境中,用户需要将本地数据上传到中央服务器,这可能会带来隐私和安全风险。此外,随着用户数量和用户数据量的增长,无线网络的不可靠性和通信成本不容忽视。因此,需要研究低通信成本的新型学习模式。作为一种数据级分布式学习范式,联邦学习被认为是一种很有前途的方法,可以生成高质量的模型,而无需在服务器上收集所有原始数据。在联邦学习范例中,每个客户机根据本地数据训练自己的模型,将训练结果上传给服务器,并相应的更新全局模型。然后将改进后的全局参数返回给用户,开始新一轮的局部训练。最后,通过客户端和服务器之间的模型级协作,可以生成一个准确的学习模型。将联邦学习应用于需求预测问题,可以准确的预测网络中用户的偏好类型。联邦学习的实现要求网络边缘设备具有强大的计算能力和灵活的协作能力,由于有足够的雾计算资源,F-RANs范式可以充分支持这一点。
移动数据流量的急剧增加,给连接本地服务器和远程云计算中心的fronthaul链路带来了沉重的负担。将内容缓存到网络实体上是保持高数据传输质量、降低内容访问延迟、降低网络流量成本的一种有效技术。当用户请求内容时,预缓存该内容的边缘设备可以直接向用户提供数据,而不用从云计算中心获取该内容。缓存的基本问题是内容放置问题,它决定哪些内容应该放在哪些缓存节点中。此外,缓存性能与存储容量高度相关。使用较小的存储,可以缓存有限的内容,这可能导致与较大的存储相比服务质量的下降。因此,为了最大限度的利用存储资源,必须设计有效的缓存策略来跨不同的网络缓存节点分布存储。存储分配决定应该为每个雾服务器分配多少存储。
在本发明中,考虑在支持缓存的分层F-RAN架构中联合优化存储资源分配和缓存内容放置,目标是最小化网络成本。本发明将网络成本描述为网络流量成本,它是由网络链路中的流量引起的。此外,考虑到用户的内容请求以及隐私安全,本发明采用联邦学习的方法对不同F-APs中的用户偏好进行分布式的预测,并将其应用于缓存内容的放置。提出的缓存方案同时执行高效的缓存部署和内容缓存。
发明内容
有鉴于此,本发明的目的在于提供一种雾计算网络中基于联邦学习的内容缓存方法。
为达到上述目的,本发明提供如下技术方案:
本发明考虑支持缓存的分层F-RAN架构中包含有N个雾节点(表示为
Figure BDA0002629499730000021
)以及U个移动用户(表示为
Figure BDA0002629499730000022
)。F-APs通过fronthaul与云计算中心交换数据,相邻的F-APs之间可以通过X2接口相互通信并与缓存管理器(CacheManager,CM)通信,以实现数据内容共享。F-APs通过无线信道与用户进行通信。
移动用户连接到最近发F-AP,连接的F-AP负责服务用户的内容请求。如果请求的内容位于连接的F-AP的缓存中,则请求将立即被处理。没有额外的负载放在fronthaul链路,这减少了网络流量。另一方面,当被请求的内容没有缓存在连接的F-AP中时,请求被转发到CM。CM检查查找表中所请求的内容是否缓存在相邻F-APs。如果内容缓存在相邻的F-APs中,CM将执行所有必需的信令,以便从相邻F-APs获取内容。相邻F-APs提供的内容可以降低下载延迟并减少网络流量。最后,如果CM无法在任何缓存中找到所请求的文件,它将把请求转发给远程云计算中心以获得内容。
本发明考虑了内容流行度、存储资源分配和内容放置。具体的说,本发明提供了应该为F-AP n分配多少存储空间,表示为cn。本发明还研究了在每个F-AP中应该缓存哪些内容,定义一个内容缓存矩阵
Figure BDA0002629499730000023
该矩阵中的元素xnf的含义:xnf=1,表示内容f被预先缓存到雾服务器n中,否则,xnf=0。本发明将区域中内容流行度表示为Pnf,即,F-AP n中的用户请求内容f的概率,可以采用联邦学习的方法预测得到。因此,问题表述如下:
Figure BDA0002629499730000031
Figure BDA0002629499730000032
Figure BDA0002629499730000033
Figure BDA0002629499730000034
Figure BDA0002629499730000035
目标函数(1)的第一项表示内容f缓存在F-AP n中,构成用户与F-APs之间通过无线信道的流量。第二项表示内容f缓存在相邻F-APs中,流量通过无线信道和Fog-Fog链路。第三项表示从云计算中心请求内容f,流量来自无线信道以及前端链路。约束条件C1表示在所有F-APs中分配的缓存不应超过存储预算Cth。约束条件C2表示每个F-APs中的所有数据不应超过其存储容量。W1、W2和W3分别为通过无线信道、Fog-Fog链路以及前端链路的流量传输成本。
由于(1)中的乘积项,使得该问题是非线性的,难以求解。因此,引入决策变量znf,使得znf=xnfxmf。为了保证变换后的问题与原问题等价,需要满足条件C5-C7。因此,转换后的问题可以表述为:
Figure BDA0002629499730000036
Figure BDA0002629499730000037
Figure BDA0002629499730000038
Figure BDA0002629499730000039
转换问题(2)是一个整数线性规划(ILP)问题,可以通过穷举搜索算法解决,但代价是计算复杂度很高。
本发明的有益效果在于:本发明将联合问题表示为一个整数线性规划(ILP)模型,目标是最小化网络总流量成本。虽然ILP可以得到存储分配和内容放置的联合问题的最优解,但计算复杂度较高。为了提高时间效率,本发明将这个联合优化问题分解为两个子问题,包括存储分配问题和内容放置问题。首先解决存储分配问题,然后利用它的结果作为内容放置问题的输入,所提出的缓存方案同时执行高效的缓存部署和内容缓存。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为F-RANs系统架构图;
图2为联邦学习框架图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
图1是F-RANs的系统架构图。本发明考虑支持缓存的分层F-RAN架构中包含有N个雾节点(表示为
Figure BDA0002629499730000041
)以及U个移动用户(表示为
Figure BDA0002629499730000042
)。F-APs通过fronthaul与云计算中心交换数据,相邻的F-APs之间可以通过X2接口相互通信并与缓存管理器(CacheManager,CM)通信,以实现数据内容共享。F-APs通过无线信道与用户进行通信。本发明认为每个用户只能从与其关联的F-AP下载所请求的内容。此外,本发明考虑在一定的存储预算范围内为每个F-APs分配缓存存储。本发明假设F-APs的存储总量不应超过移动网络运营商指定的预算上限Cth。CM可以监控用户生成的所有内容请求,并负责:
1)从远程云计算中心检索用户请求的内容;
2)维护在网络中存储缓存内容位置的查找表;
3)将内容请求转发到缓存有该内容的相邻F-APs;
4)从F-APs收集关于被请求内容的信息;
5)决定何时更新F-APs的整个内容缓存,可以在特定的时间间隔内刷新,也可以在内容流行度发生显著变化时刷新;
(1)缓存过程
移动用户连接到最近的F-AP,连接的F-AP负责服务用户的内容请求。如果请求的内容位于连接的F-AP的缓存中,则请求将立即被处理。没有额外的负载放在fronthaul链路,这减少了网络流量。另一方面,当被请求的内容没有缓存在连接的F-AP中时,请求被转发到CM。CM检查查找表中所请求的内容是否缓存在相邻F-APs。如果内容缓存在相邻的F-APs中,CM将执行所有必需的信令,以便从相邻F-APs获取内容。相邻F-APs提供的内容可以降低下载延迟并减少网络流量。最后,如果CM无法在任何缓存中找到所请求的文件,它将把请求转发给远程云计算中心以获得内容。由于将内容分割成小块并在不同级别缓存会增加系统的复杂性,因此本发明假设每个数据都是不可分割的,只能缓存在一个缓存节点上。
由于网络流量是动态的,缓存应该定期更新。在每个时期的开始,CM首先优化内容放置和存储分配策略。如果重新优化的策略与上一阶段不同,则可以更新缓存,并相应地重新分配存储资源。此外,本发明假设内容流行度变化缓慢。例如,短生命周期的热门新闻和短视频每隔几小时更新一次,而长生命周期的新电影和新音乐视频则分别每周或每月更新一次。为了减少高峰时间段的流量负载和避免可能的网络流量堵塞,流行的内容,特别是长生命周期的内容可以在非高峰时间段(如深夜)缓存。
(2)内容流行度和用户偏好
A.全局内容流行度
系统中所有移动用户都可以请求的流行内容库集表示为
Figure BDA0002629499730000051
平均内容大小表示为sf。来自所有用户的内容请求统计信息定义如下。
定义网络中全局内容流行度为Pf,为来自网络中所有用户的内容请求的概率分布,其中第f个内容的流行度可以计算为网络中内容f的请求数与网络中所有内容的请求数之比。内容流行度表示网络中所有用户的共同兴趣,通常为服从MZipf分布模型:
Figure BDA0002629499730000061
其中,Rf为内容f的流行度等级,τ≥0为平移因子,β>0为偏度因子。
B.用户偏好
由于不同的F-APs都有各自的内容偏好(即,局部内容流行度),本发明定义来自F-APsn的用户请求内容f的概率为Pnf。通过系统对用户社会行为的学习和分析,可以提前或定期(如每小时、每天或每周)预测用户偏好。在本发明中,考虑到用户的隐私安全,采用联邦学习的方法对区域中的内容流行度进行准确的预测。
图2是联邦学习框架。提出的FL框架包括:用户设备端,负责本地数据训练,并将更新上传至服务器。通常,本地训练数据集是根据用户设备的使用情况生成的,例如日常生活中的视频需求。不同的地点,不同的时间,不同的活动,甚至不同类型的便携设备可能会导致用户请求不同的内容。因此,不同情况下的用户的历史请求信息构成局部训练数据集的一部分。本地训练数据集还包括用户的上下文信息。而雾服务器端,通过合并和聚合用户设备端更新的本地模型来改进全局学习模型。之后,改进后的模型将再次发送给用户端,本发明将上述步骤称为一轮通信。
这种方法基于用户设备端和雾服务器端的交互过程,并且,在每一轮t的算法迭代中,对于训练过程中所涉及的每一个用户u,基于其本地数据集Δu,更新其本地参数向量wu(t):
Figure BDA0002629499730000062
其中α为学习因子。
Figure BDA0002629499730000063
为全局聚合后wu(t-1)的结果。
雾服务器端接收用户上传的更新的本地参数向量wu(t),并相应的更新全局模型,表示为:
Figure BDA0002629499730000064
将联邦学习应用于需求预测问题,它可以从跨多个用户传播的数据中执行学习过程,从而保护敏感数据,准确的对区域中的内容流行度进行分布式的预测。
(3)问题建模
本发明将问题表示为存储分配和内容放置的联合优化问题,目标是最小化预期的网络流量成本。具体的说,本发明提供了应该为F-AP n分配多少存储空间,表示为cn。本发明还研究了在每个F-AP中应该缓存哪些内容,定义一个内容缓存矩阵
Figure BDA0002629499730000071
该矩阵中的元素xnf的含义:xnf=1,表示内容f被预先缓存到雾服务器n中,否则,xnf=0。本发明将区域中内容流行度表示为Pnf,即,F-AP n的用户请求内容f的概率,可以采用联邦学习的方法预测得到。因此,问题表述如下:
Figure BDA0002629499730000072
Figure BDA0002629499730000073
Figure BDA0002629499730000074
Figure BDA0002629499730000075
Figure BDA0002629499730000076
目标函数(6)的第一项表示内容f缓存在F-AP n中,构成用户与F-APs之间通过无线信道的流量。第二项表示内容f缓存在相邻F-APs中,流量通过无线信道和Fog-Fog链路。第三项表示从云计算中心请求内容f,流量来自无线信道以及前端链路。约束条件C1表示在所有F-APs中分配的缓存不应超过存储预算Cth。约束条件C2表示每个F-APs中的所有数据不应超过其存储容量。由于(4)中的乘积项,使得该问题是非线性的,难以求解。因此,引入决策变量znf,使得znf=xnfxmf。为了保证变换后的问题与原问题等价,需要满足条件C5-C7。因此,转换后的问题可以表述为:
Figure BDA0002629499730000077
Figure BDA0002629499730000078
Figure BDA0002629499730000079
Figure BDA00026294997300000710
转换问题(7)是一个整数线性规划(ILP)问题,可以通过穷举搜索算法解决,但代价是计算复杂度很高。为了降低计算复杂度,本发明设计了几个低复杂度次优启发式算法。
(4)启发式算法
虽然ILP可以得到存储分配和内容放置的联合问题的最优解,但计算复杂度较高。为了提高时间效率,本发明提出了两种启发式算法来快速求解。本发明将这个联合优化问题分解为两个子问题,包括存储分配问题和内容放置问题。先解决存储分配问题,然后利用它的结果作为内容放置问题的输入。
A.存储资源分配问题
在存储资源分配问题中,根据总的F-APs的存储预算Cth,将存储资源分配给每个F-APs,以最大化资源利用率。为了最大限度地利用资源,算法应根据不同的流量需求进行设计,流量需求与用户数量、内容流行度、内容大小有关。对于流量需求较高的F-APs,应该分配更多的缓存存储。因此,本发明提出了基于流量的分配算法,根据不同的流量需求按比例分配存储。其中每个雾服务器n的流量需求可以计算为tn=Pnf·sf·Un。基于流量的存储资源分配算法的步骤如下:
1)首先初始化雾服务器中总的流量sumt=0;
2)计算每个雾服务器
Figure BDA0002629499730000081
的流量需求tn
3)计算sumt=sumt+tn
4)对每个雾服务器n,计算cn=tn/sumt*C;
5)算法结束,输出存储资源分配策略cn
B.内容放置问题
内容放置问题决定了应该在每个雾服务器上缓存哪些内容,以最小化流量成本。本发明提出两种启发式算法来解决缓存内容的放置问题:
(1)基于全局内容流行度的贪婪算法:
由于内容流行度在缓存策略设计中扮演着重要角色,因此缓存具有较高流行度的数据可以提供更好的性能。本发明利用贪婪算法的思想在每个缓存节点缓存尽可能多的流行数据。具体来说,本发明基于全局内容流行度的贪婪算法在每个F-APs缓存最流行的数据,直到存储容量已满。基于全局内容流行度的贪婪算法步骤如下:
1)对于每一个雾服务器n,使用所有可用的存储资源cn
2)将缓存内容按照内容流行度Pf做降序排列;
3)在每个雾服务器n缓存最流行的内容,直到存储容量已满;
4)计算传输流量成本P;
由于不同的F-APs中用户偏好的差异,区域中F-APsn的内容流行度不同,因此,这种基于全局内容流行度先验知识假设的缓存策略设计比较理想化且不够准确。
(2)基于联邦学习的本地流行度背包算法:
为了降低网络流量成本,减少跨网络流量是非常重要的。本发明提出的基于联邦学习的本地流行度背包算法,通过考虑每个F-APs的局部流行度,避免了算法2的不足。首先根据存储容量cn内的内容流行度Pnf和内容大小sf来决定每个雾服务器缓存的内容。因此,雾服务器n的内容放置决策可以表示为:
Figure BDA0002629499730000091
Figure BDA0002629499730000092
其中C8表示F-AP n中缓存的所有数据不应超过其容量限制。由问题(8)可知,本发明倾向于缓存流行度较高、数据长度较大的数据。可以观察到问题(8)与0-1背包问题具有相同的形式,其中sf为内容项f的大小,cn为背包容量,Pnfsf为每个项的价值。因此,可以使用动态规划来解决这个问题。动态规划的思想是将原问题分解成几个子问题,然后找出最优解的结构与子问题的解之间的关系。为了将原问题分解为子问题,本发明构造了一个矩阵m,当存储容量j用来缓存内容项{1,2,…,f},则m(f,j)反应了可以获得的最大价值。因此,最优解为m(F,cn)。原问题和子问题的关系是:
Figure BDA0002629499730000093
当存储容量为j且小于内容项f的数据长度sf时,数据无法被缓存。因此,在本发明中,可以移除内容项f,并且只考虑缓存内容项{1,2,…,f-1}的数据,即,m(f,j)=m(f-1,j)。否则,考虑在缓存或不缓存内容项f的数据之间选择较大的值。大括号中的第一项表示内容项f没有缓存在F-APs中,因此不会对原问题产生任何影响,也不会占用任何存储空间。第二项意味着内容项f缓存在F-AP中,因此将Pnfsf值添加到原问题中,并消耗sf的存储容量。通过计算m的所有元素,以决定哪些内容缓存在F-APsn。
综上所述,本发明主要研究的是一种雾计算网络中基于联邦学习的内容缓存方案。在本发明中,考虑在支持缓存的分层F-RAN架构中联合优化存储资源分配和缓存内容放置,目标是最小化网络流量成本。此外,考虑到用户的内容请求以及隐私安全,本发明采用联邦学习的方法对不同F-APs中的用户偏好进行分布式的预测,并将其应用于缓存策略的设计。提出的缓存方案同时执行高效的缓存部署和内容缓存。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种雾计算网络中基于联邦学习的内容缓存方法,其特征在于:该方法为:根据所提供网络场景的特性,联合优化雾服务器存储资源分配和缓存内容放置问题,从而最小化网络流量成本;考虑到网络中内容流行度的动态变化,采用联邦学习的方法对区域中的内容流行度进行准确的预测,以制定内容缓存策略,具体为:
(1)缓存过程
移动用户连接到最近发F-AP,连接的F-AP负责服务用户的内容请求;如果请求的内容位于连接的F-AP的缓存中,则请求将立即被处理;另一方面,当被请求的内容没有缓存在连接的F-AP中时,请求被转发到CM;CM检查查找表中所请求的内容是否缓存在相邻F-APs;如果内容缓存在相邻的F-APs中,CM将执行所有必需的信令,以便从相邻F-APs获取内容;相邻F-APs提供的内容降低下载延迟并减少网络流量;如果CM无法在任何缓存中找到所请求的文件,将把请求转发给远程云计算中心以获得内容;
在每个时期的开始,CM首先优化内容放置和存储分配策略;如果重新优化的策略与上一阶段不同,则更新缓存,并相应地重新分配存储资源;短生命周期的热门新闻和短视频每隔几小时更新一次,而长生命周期的新电影和新音乐视频则分别每周或每月更新一次;为减少高峰时间段的流量负载和避免可能的网络流量堵塞,流行的内容,以及长生命周期的内容在非高峰时间段缓存;
(2)内容流行度和用户偏好
A.全局内容流行度
系统中所有移动用户都请求的流行内容库集表示为
Figure FDA0003534440510000012
平均内容大小表示为sf;来自所有用户的内容请求统计信息定义如下;
定义网络中全局内容流行度为Pf,为来自网络中所有用户的内容请求的概率分布,其中第f个内容的流行度计算为网络中内容f的请求数与网络中所有内容的请求数之比;内容流行度表示网络中所有用户的共同兴趣,为服从MZipf分布模型:
Figure FDA0003534440510000011
其中,Rf为内容f的流行度等级,τ≥0为平移因子,β>0为偏度因子;
B.用户偏好
不同的F-APs都有各自的内容偏好,即局部内容流行度,定义来自F-APs n的用户请求内容f的概率为Pnf;通过系统对用户社会行为的学习和分析,提前或定期预测用户偏好;采用联邦学习的方法对区域中的内容流行度进行准确的预测;
FL框架包括:用户设备端,负责本地数据训练,并将更新上传至服务器;本地训练数据集是根据用户设备的使用情况生成的;不同情况下的用户的历史请求信息构成局部训练数据集的一部分;本地训练数据集还包括用户的上下文信息;而雾服务器端,通过合并和聚合用户设备端更新的本地模型来改进全局学习模型;之后,改进后的模型将再次发送给用户端,将以上步骤称为一轮通信;
基于用户设备端和雾服务器端的交互过程,并且,在每一轮t的算法迭代中,对于训练过程中所涉及的每一个用户u,基于其本地数据集Δu,更新其本地参数向量wu(t):
Figure FDA0003534440510000021
其中α为学习因子;
Figure FDA0003534440510000022
为全局聚合后wu(t-1)的结果;
雾服务器端接收用户上传的更新的本地参数向量wu(t),并相应的更新全局模型,表示为:
Figure FDA0003534440510000023
将联邦学习应用于需求预测问题,从跨多个用户传播的数据中执行学习过程,从而保护敏感数据,准确的对区域中的内容流行度进行分布式的预测;
(3)问题建模
将问题表示为存储分配和内容放置的联合优化问题,目标是最小化预期的网络流量成本;为F-APn分配的存储空间,表示为cn;在每个F-AP中应该缓存哪些内容,定义一个内容缓存矩阵
Figure FDA0003534440510000024
该矩阵中的元素xnf的含义:xnf=1,表示内容f被预先缓存到雾服务器n中,否则,xnf=0;本发明将区域中内容流行度表示为Pnf,即,F-APn的用户请求内容f的概率,采用联邦学习的方法预测得到;问题表述如下:
Figure FDA0003534440510000025
Figure FDA0003534440510000026
Figure FDA0003534440510000027
Figure FDA0003534440510000028
Figure FDA0003534440510000029
目标函数(6)的第一项表示内容f缓存在F-APn中,构成用户与F-APs之间通过无线信道的流量;第二项表示内容f缓存在相邻F-APs中,流量通过无线信道和Fog-Fog链路;第三项表示从云计算中心请求内容f,流量来自无线信道以及前端链路;约束条件C1表示在所有F-APs中分配的缓存不应超过存储预算Cth;约束条件C2表示每个F-APs中的所有数据不应超过其存储容量;由于(4)中的乘积项,使得该问题是非线性的,难以求解;因此,引入决策变量znf,使得znf=xnfxmf;为保证变换后的问题与原问题等价,需要满足条件C5-C7;转换后的问题表述为:
Figure FDA0003534440510000031
Figure FDA0003534440510000032
Figure FDA0003534440510000033
Figure FDA0003534440510000034
为降低计算复杂度,设计启发式算法;
(4)启发式算法
将存储分配和内容放置的联合问题分解为两个子问题,包括存储分配问题和内容放置问题;先解决存储分配问题,然后利用它的结果作为内容放置问题的输入;
A.存储资源分配问题
在存储资源分配问题中,根据总的F-APs的存储预算Cth,将存储资源分配给每个F-APs,以最大化资源利用率;提出基于流量的分配算法,根据不同的流量需求按比例分配存储;其中每个雾服务器n的流量需求计算为tn=Pnf·sf·Un;基于流量的存储资源分配算法的步骤如下:
1)首先初始化雾服务器中总的流量sumt=0;
2)计算每个雾服务器
Figure FDA0003534440510000035
的流量需求tn
3)计算sumt=sumt+tn
4)对每个雾服务器n,计算cn=tn/sumt*C;
5)算法结束,输出存储资源分配策略cn
B.内容放置问题
内容放置问题决定在每个雾服务器上缓存哪些内容,以最小化流量成本;提出基于全局内容流行度的贪婪算法和基于联邦学习的本地流行度背包算法解决缓存内容的放置问题:
(5)基于全局内容流行度的贪婪算法:
1)对于每一个雾服务器n,使用所有可用的存储资源cn
2)将缓存内容按照内容流行度Pf做降序排列;
3)在每个雾服务器n缓存最流行的内容,直到存储容量已满;
4)计算传输流量成本P;
(6)基于联邦学习的本地流行度背包算法:
首先根据存储容量cn内的内容流行度Pnf和内容大小sf来决定每个雾服务器缓存的内容;雾服务器n的内容放置决策表示为:
Figure FDA0003534440510000041
Figure FDA0003534440510000042
其中C8表示F-APn中缓存的所有数据不超过其容量限制;sf为内容项f的大小,cn为背包容量,Pnfsf为每个项的价值;使用动态规划来解决这个问题;为将原问题分解为子问题,构造一个矩阵m,当存储容量j用来缓存内容项{1,2,…,f},则m(f,j)反应可以获得的最大价值;最优解为m(F,cn);原问题和子问题的关系是:
Figure FDA0003534440510000043
当存储容量为j且小于内容项f的数据长度sf时,数据无法被缓存;移除内容项f,并且只考虑缓存内容项{1,2,…,f-1}的数据,即,m(f,j)=m(f-1,j);否则,考虑在缓存或不缓存内容项f的数据之间选择较大的值;大括号中的第一项表示内容项f没有缓存在F-APs中,不会对原问题产生任何影响,不会占用任何存储空间;第二项意味着内容项f缓存在F-AP中,将Pnfsf值添加到原问题中,并消耗sf的存储容量;通过计算m的所有元素,以决定哪些内容缓存在F-APs n。
CN202010806971.0A 2020-08-12 2020-08-12 一种雾计算网络中基于联邦学习的内容缓存方法 Active CN111935784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010806971.0A CN111935784B (zh) 2020-08-12 2020-08-12 一种雾计算网络中基于联邦学习的内容缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010806971.0A CN111935784B (zh) 2020-08-12 2020-08-12 一种雾计算网络中基于联邦学习的内容缓存方法

Publications (2)

Publication Number Publication Date
CN111935784A CN111935784A (zh) 2020-11-13
CN111935784B true CN111935784B (zh) 2022-04-22

Family

ID=73311562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806971.0A Active CN111935784B (zh) 2020-08-12 2020-08-12 一种雾计算网络中基于联邦学习的内容缓存方法

Country Status (1)

Country Link
CN (1) CN111935784B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579544B (zh) * 2020-12-18 2023-10-13 北京邮电大学 文件缓存方法、装置、电子设备及存储介质
CN112597388B (zh) * 2020-12-18 2022-10-14 南京邮电大学 一种缓存使能的d2d通信联合推荐与缓存方法
CN112822726B (zh) * 2020-12-31 2022-06-10 杭州电子科技大学 一种Fog-RAN网络缓存放置问题的建模和决策方法
CN112954026B (zh) * 2021-01-29 2022-07-01 重庆邮电大学 一种基于边缘计算的多约束内容协作缓存优化方法
CN113315978B (zh) * 2021-05-13 2022-03-15 江南大学 一种基于联邦学习的协作式在线视频边缘缓存方法
CN113326128A (zh) * 2021-05-28 2021-08-31 东南大学 移动边缘计算网络中基于无监督循环联邦学习的隐私保护流行度预测方法
CN113379066B (zh) * 2021-06-10 2022-07-08 重庆邮电大学 一种基于雾计算的联邦学习方法
CN113873534B (zh) * 2021-10-15 2024-02-06 深圳点链科技有限公司 一种雾计算中区块链协助的联邦学习主动内容缓存方法
CN113923128B (zh) * 2021-10-27 2024-02-13 东南大学 雾无线接入网中基于联邦强化学习的智能编码缓存方法
CN113965937B (zh) * 2021-10-27 2024-02-13 东南大学 一种雾无线接入网中基于聚类联邦学习的内容流行度预测方法
CN115017435A (zh) * 2022-06-28 2022-09-06 中国电信股份有限公司 确定缓存资源的方法及装置、非易失性存储介质、处理器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844728A (zh) * 2016-10-10 2019-06-04 思科技术公司 基于用户信息迁移用户数据和服务的编排系统
CN109873869A (zh) * 2019-03-05 2019-06-11 东南大学 一种雾无线接入网中基于强化学习的边缘缓存方法
CN109951849A (zh) * 2019-02-25 2019-06-28 重庆邮电大学 一种在f-ran架构中联合资源分配和内容缓存的方法
CN110999258A (zh) * 2017-09-13 2020-04-10 英特尔公司 用于Mesh连网和雾计算系统的公共接口系统
CN111124298A (zh) * 2019-12-17 2020-05-08 河海大学 一种基于价值函数的雾计算网络内容缓存替换方法
CN111314960A (zh) * 2020-02-19 2020-06-19 东南大学 一种雾无线接入网中基于社交意识的协同缓存方法
CN111491331A (zh) * 2020-04-14 2020-08-04 重庆邮电大学 一种雾计算网络中基于迁移学习的网络感知自适应缓存方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10819821B2 (en) * 2017-04-07 2020-10-27 Futurewei Technologies, Inc. Method and system for allocating content using a content-based centrality metric
US11013043B2 (en) * 2019-01-08 2021-05-18 Micron Technology, Inc. Methods and apparatus for routine based fog networking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844728A (zh) * 2016-10-10 2019-06-04 思科技术公司 基于用户信息迁移用户数据和服务的编排系统
CN110999258A (zh) * 2017-09-13 2020-04-10 英特尔公司 用于Mesh连网和雾计算系统的公共接口系统
CN109951849A (zh) * 2019-02-25 2019-06-28 重庆邮电大学 一种在f-ran架构中联合资源分配和内容缓存的方法
CN109873869A (zh) * 2019-03-05 2019-06-11 东南大学 一种雾无线接入网中基于强化学习的边缘缓存方法
CN111124298A (zh) * 2019-12-17 2020-05-08 河海大学 一种基于价值函数的雾计算网络内容缓存替换方法
CN111314960A (zh) * 2020-02-19 2020-06-19 东南大学 一种雾无线接入网中基于社交意识的协同缓存方法
CN111491331A (zh) * 2020-04-14 2020-08-04 重庆邮电大学 一种雾计算网络中基于迁移学习的网络感知自适应缓存方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fog computing based content-aware taxonomy for caching optimization in information-centric networks;Meng Wang 等;《2017 IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS)》;20170504;全文 *
用于万物联网(IoE)中激励式协作缓存的信息中心雾网络;佚名;《无线电通信技术》;20190904;第45卷(第5期);全文 *

Also Published As

Publication number Publication date
CN111935784A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111935784B (zh) 一种雾计算网络中基于联邦学习的内容缓存方法
CN109951821B (zh) 基于移动边缘计算的最小化车辆能耗任务卸载方案
Xu et al. Joint service caching and task offloading for mobile edge computing in dense networks
Wei et al. Wireless edge caching based on content similarity in dynamic environments
Li et al. Adaptive service function chaining mappings in 5G using deep Q-learning
Huang et al. Towards 5G: Joint optimization of video segment caching, transcoding and resource allocation for adaptive video streaming in a multi-access edge computing network
CN111491331B (zh) 一种雾计算网络中基于迁移学习的网络感知自适应缓存方法
CN113810931B (zh) 一种面向移动边缘计算网络的自适应视频缓存方法
Dhiman et al. SHANN: an IoT and machine-learning-assisted edge cross-layered routing protocol using spotted hyena optimizer
Li et al. Learning-based delay-aware caching in wireless D2D caching networks
Al-Hilo et al. Vehicle-assisted RSU caching using deep reinforcement learning
CN111432270A (zh) 一种基于分层缓存的实时业务时延优化方法
Somesula et al. Cooperative cache update using multi-agent recurrent deep reinforcement learning for mobile edge networks
Somesula et al. Deadline-aware caching using echo state network integrated fuzzy logic for mobile edge networks
Tran et al. Hit ratio and latency optimization for caching systems: A survey
Wu et al. Deep reinforcement learning-based video quality selection and radio bearer control for mobile edge computing supported short video applications
CN111447506B (zh) 云边环境下基于延迟和成本均衡的流媒体内容放置方法
US20170207974A1 (en) Method and system for distributed optimal caching of content over a network
CN116546053A (zh) 一种资源受限物联网场景下的边缘计算服务放置系统
Li et al. Video caching and scheduling with edge cooperation
Ren et al. Hierarchical resource distribution network based on mobile edge computing
do Prado et al. Mobile Edge Computing for Content Distribution and Mobility Support in Smart Cities
Abedini et al. Content caching and scheduling in wireless broadcast networks with elastic and inelastic traffic
Mondal et al. CALM: QoS-Aware Vehicular Sensor-as-a-Service Provisioning in Cache-Enabled Multi-Sensor Cloud
CN112887314B (zh) 一种时延感知的云雾协作视频分发方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant