CN111491331B - 一种雾计算网络中基于迁移学习的网络感知自适应缓存方法 - Google Patents

Abstract

本发明涉及一种雾计算网络中基于迁移学习的网络感知自适应缓存方法，属于移动通信技术领域。利用雾计算技术在移动网络边缘开发智能内容缓存，可以解决移动网络上对移动数据服务的巨大需求，以缓解冗余流量，提高内容交付效率。本发明提出一种雾计算网络中基于迁移学习的网络感知自适应缓存方案，以降低内容交付时延，同时提高未来移动网络用户的QoE。本方案考虑到用户的内容请求以及网络的操作特性。所构建的内容与网络感知自适应缓存方案使用迁移学习来估计内容的受欢迎程度，并使用混合整数线性规划MILP来计算内容的放置位置和选择网络中的物理缓存大小。提出的缓存方案同时执行高效的缓存部署和内容缓存。

Description

一种雾计算网络中基于迁移学习的网络感知自适应缓存方法

技术领域

本发明属于移动通信技术领域，涉及一种雾计算网络中基于迁移学习的网络感知自适应缓存方法。

背景技术

随着移动通信的飞速发展，智能设备和移动用户呈爆炸式增长。智能设备的普及极大地丰富了移动用户的体验，催生了大量新兴的多媒体服务，包括视频流、互联网与移动游戏、社交网络应用等。这些应用程序和服务严重依赖高速数据速率和低延迟传输，促使移动网络运营商重新思考当前的网络架构，并寻求更复杂和更先进的技术，以低延迟和低成本的方式将内容更接近终端用户。为了解决这一挑战，在移动网络边缘的非高峰流量期间缓存流行内容已经成为处理移动网络上急剧增长的流量的一种有效方法。由于相同的流行内容可能在不同的时间但相同的位置上被多次请求，通过在移动网络边缘部署缓存，可以让流行内容更贴近用户，减少通过回程链路的数据流量和内容交付所需的时间，维持用户请求内容的用户体验质量(QualityofExperience,QoE)，并帮助在高峰时间平滑流量。

最近，雾计算(FogComputing)作为一种新兴的范例被引入，它使云计算能力的分布能够到达移动网络边缘，从而使上下文感知的服务和应用程序能够接近移动用户。有了这个位置，雾设备提供了一个独特的机会，不仅可以实现边缘缓存，还可以执行边缘处理。因此，我们可以直观地利用雾计算资源来设计新的智能内容缓存和分发机制，从而显著提高缓存性能和效率。

考虑到用户的移动性和大量具有不同流行程度的可用内容，关键问题是决定哪些内容应该缓存在边缘网络节点有限的可用存储空间中。缓存方法大致可分为两类：一是设计具有不同目标的新内容缓存方法，如最小化下载延迟、能耗、网络拥塞或在已知内容流行度的前提下最大化用户的QoE；二是开发预测内容流行度和缓存最流行内容的新方法。内容流行度是主动缓存的一个关键参数，它表示请求特定内容项的概率。在大多数关于主动缓存的现有研究中，内容项的流行度概要被认为是完全已知的，或者定义为遵从ZipF模型或其变体。在实际中，由于移动网络中内容的动态性和用户的移动性，使得内容的流行度难以描述，无法事先获得。最近大数据分析的出现，使得通过智能地利用统计流量模式和用户上下文信息，更准确地预测内容的流行度成为可能。雾设备部署在移动网络的边缘，靠近信息源，能够收集关键实时流量进行大数据分析，实现内容缓存的智能运行。

发明内容

有鉴于此，本发明的目的在于提供一种雾计算网络中基于迁移学习的网络感知自适应缓存方法。本发明考虑了一个地理区域中的异构雾计算网络，整个服务区域内的M个FN通过蜂窝链路服务于区域中分散的U个移动用户的内容请求。此外，FN通过回程链路与移动网络运营商(Mobile Network Operators，MNOs)核心网连接，并且FN之间通过光纤，由Fog-Fog链路实现完全连接。

为达到上述目的，本发明提供如下技术方案：

一种雾计算网络中基于迁移学习的网络感知自适应缓存方法，该方法考虑地理区域中的异构雾计算网络，整个服务区域内的M个FN通过蜂窝链路服务于区域中分散的U个移动用户的内容请求；FN通过回程链路与移动网络运营商MNOs核心网连接，并且FN之间通过光纤，由Fog-Fog链路实现完全连接；

移动用户根据蜂窝网络协议连接到FN，连接的FN负责服务用户的内容请求；如果请求的内容位于连接的FN的缓存中，则请求将立即被处理；没有额外的负载放在回程链路，减少网络流量；当被请求的内容没有缓存在连接的FN中时，请求被转发到MNOs；MNOs检查查找表中所请求的内容是否缓存在相邻FN；如果内容缓存在相邻的FN中，MNOs将执行所有必需的信令，以便从相邻FN获取内容；相邻FN提供的内容降低下载延迟并减少网络流量；当所请求的内容没有缓存在相邻的FN中，或者从相邻FN检索内容的延迟比从内容服务器检索内容的延迟更高时，MNOs从内容服务器获取内容；

参数

为在时间索引t∈{1，…，T}FN

的服务区域内容

的内容流行度；参数

由下式计算：

其中

是在时刻t时FN i处的内容j的总浏览次数；采用迁移学习的方法预测得到内容流行度

使用MILP来计算内容的放置位置和选择网络中的物理缓存大小，在保持缓存总部署成本的同时，考虑到初始内容传输成本和网络中的缓存部署成本，最小化内容下载延迟：

可选的，所述MILP中有三个决策变量：

1)rⁱ∈{1，…，R}表示FN i上使用的内存单元数；FN i使用的物理缓存的总大小等于rⁱs₀，其中s₀是内存单元的物理存储大小；

2)

表示二进制缓存决策变量，若内容j缓存在本地FN中，则

否则

3)

表示缓存有内容j的相邻FN l服务FN i的内容请求；注意

意味着FN l缓存内容j并为请求本身提供服务；为内容流行度和决策变量的简便，省略时间索引t；

约束条件C1确保网络中至少存在一个FN缓存有内容j；

约束条件C2表示只有当FN i缓存了其他FN所请求的内容时，FN i才能为其提供服务；

约束条件C3考虑到FN的存储容量限制，缓存的内容大小不能超过FN的存储容量，s₀是每个物理存储单元的大小，rⁱ是存储单元的数量；

约束条件C4维护网络中的缓存部署预算。

可选的，所述缓存的调整为：首先，初始化网络缓存，内容随机部署在FN中，随着用户对内容的请求，根据用户的历史请求信息预测内容的流行度；然后，使用MILP来计算内容的放置位置和选择网络中的物理缓存大小；最后，使用用户的请求统计信息以及内容流行度，采用LRU算法动态调整缓存的内容。

可选的，为提高所述内容流行度的预测精度，需要收集与所要估计的内容对象具有相似访问特征的内容的历史访问数据作为训练集；在利用迁移学习的思想对各个内容的流行度进行估计前，首先需要对用户访问内容进行细致分类；考虑到不同的用户对内容有不同的偏好，内容归类是以相同时间段内的访问特征相似度为指标，对各个数据内容进行的归类，并不是指基于内容类型相似度进行的分类。

本发明的有益效果在于：本发明提出了一种雾计算网络中基于迁移学习的网络感知自适应缓存方案。利用雾计算技术在网络边缘开发智能内容缓存，以降低内容交付时延，同时提高未来移动网络的用户QoE。此方案考虑到用户的内容请求以及雾计算网络的操作特性。所构建的内容与网络感知自适应缓存方案使用迁移学习来估计内容的受欢迎程度，并使用混合整数线性规划(Mixed Integer Linear Programming，MILP)来计算内容的放置位置和选择网络中的物理缓存大小。提出的缓存方案同时执行高效的缓存部署和内容缓存。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为网络感知自适应缓存的系统模型图；

图2为缓存方案示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1是网络感知自适应缓存的系统模型图。本发明考虑了一个地理区域中的异构雾计算网络，整个服务区域内的M个FN通过蜂窝链路服务于区域中分散的U个移动用户的内容请求。此外，FN通过回程链路与MNO核心网连接，并且FN之间通过光纤，由Fog-Fog链路实现完全连接。MNO通过高速专用链路连接到内容服务器，并负责：

1)从内容服务器(Content Server)检索用户请求的内容；

2)维护在网络中存储缓存内容位置的查找表；

3)将内容请求转发到缓存有该内容的相邻FN；

4)从FN收集关于被请求内容的信息；

5)决定何时刷新FN的整个内容缓存，可以在特定的时间间隔内刷新，也可以在内容流行度发生显著变化时刷新；

6)为自适应缓存执行计算。

移动用户根据蜂窝网络协议连接到FN，连接的FN负责服务用户的内容请求。如果请求的内容位于连接的FN的缓存中，则请求将立即被处理。在这种情况下，内容下载延迟更低，因此提高了用户的QoE。此外，没有额外的负载放在回程链路，这减少了网络流量。另一方面，当被请求的内容没有缓存在连接的FN中时，请求被转发到MNO。MNO检查查找表中所请求的内容是否缓存在相邻FN。如果内容缓存在相邻的FN中，MNO将执行所有必需的信令，以便从相邻FN获取内容。相邻FN提供的内容可以降低下载延迟并减少网络流量。最后，当所请求的内容没有缓存在相邻的FN中，或者从相邻FN检索内容的延迟比从内容服务器检索内容的延迟更高时，MNO从内容服务器获取内容。

本发明考虑了一个由M个FN组成的网络，表示为

每个FN都配备有物理存储容量。FN之间通过光纤连接相互通信并与MNO通信。此外，M＝0表示原始内容服务器。在网络中，每个FN最多可以选择R个硬件单元(例如物理缓存存储)，其中每个硬件单元的存储大小为s₀。由于缓存部署成本的限制，每个FN只能使用rⁱ∈{1，2，…，R}个活动硬件单元。每个被激活的硬件单元都有一个由z₀定义的相关成本。可以缓存的内容项由

索引，为了表示方便，假设每个内容

都有相同的大小s_f。在任何给定时间，网络中可以用来维护目标缓存部署成本的最大物理存储大小用S表示。参数

表示在时间索引t∈{1，…，T}FN

的服务区域内容

的预估流行度。参数

由下式计算：

其中

是在时刻t时FN i处的内容j的总浏览次数。基于迁移学习的方法可以预测得到该内容流行度

MILP如式(2)所示，在保持缓存总部署成本的同时，考虑到初始内容传输成本和网络中的缓存部署成本，最小化了内容下载延迟。MILP中有三个决策变量:

1)rⁱ∈{1，…，R}表示FN i上使用的内存单元数。FN i使用的物理缓存的总大小等于rⁱs₀，其中s₀是内存单元的物理大小。

2)

表示二进制缓存决策变量，若内容j缓存在本地FN中，则

否则

3)

表示缓存有内容j的相邻FN l服务FN i的内容请求。注意

意味着FN l缓存内容j并为请求本身提供服务。注意，为了内容流行度和决策变量的简便性，省略了时间索引t。

MILP(2)中目标函数的第一项表示网络中内容下载延迟的原因，第二项表示网络中的初始内容传输成本，第三项反映了网络中的缓存部署成本。其中d^gi(秒/字节)表示从内容服务器到FN

的内容传输成本。d^il表示FN i和FN l之间的传输时延，FN上每个被激活的硬件单元都有一个由z₀定义的相关成本。W₁和W₂分别为目标函数中下载延迟成本和初始内容传输成本的权重，W₃反映了目标函数中缓存部署成本的权重。

约束条件：

约束条件C1确保网络至少存在一个FN缓存有内容j。约束条件C2表示只有当FN i缓存了其他FN所请求的内容时，FN i才能为其提供服务。约束条件C3考虑到FN的存储容量限制，缓存的内容大小不能超过FN的存储容量，s₀是每个物理存储单元的大小，rⁱ是存储单元的数量。约束条件C4维护网络中的缓存部署预算。

图2是缓存方案示意图。考虑到内容的动态性以及流行度分布，首先，初始化网络缓存，内容随机部署在FN中，随着用户对内容的请求，可以根据用户的历史请求信息预测内容的流行度。然后，使用MILP来计算内容的放置位置和选择网络中的物理缓存大小。最后，使用用户的请求统计信息以及内容流行度，采用LRU算法动态调整缓存的内容。

缓存方案的过程主要包括：

1)初始化，内容随机部署，随着用户对内容的请求，可以根据用户的历史请求信息预测内容的流行度；

2)MILP使用估计的内容流行度

以及网络参数来计算物理缓存大小rⁱ(t₀)s₀；

3)FN根据MILP的结果确定要缓存的物理缓存大小和内容，

表示内容j最初是否缓存在FN i上，t₀表示何时使用MILP的解决方案更新FN缓存。

4)然后，在时间t＞t₀时，缓存替换策略LRU使用来自用户的内容请求和内容流行度来计算

总的来说，首先，初始化网络缓存。然后，FN根据MILP的结果确定要缓存的物理缓存大小和内容。最后，使用缓存替换策略LRU根据用户的请求和内容流行度动态调整缓存的内容。

由于自适应缓存方案要求知道内容的未来流行度，因此，为了提高预测的精度，需要收集与所要估计的内容对象具有相似访问特征的内容的历史访问数据作为训练集。所以，在利用迁移学习的思想对各个内容的流行度进行估计前，首先需要对用户访问内容进行细致分类。考虑到不同的用户对内容有不同的偏好，因此，本发明所描述的内容归类，是以相同时间段内的访问特征相似度为指标，对各个数据内容进行的归类，并不是指基于内容类型相似度进行的分类。

(1)基于K-Means聚类算法的内容分类

令X＝{X_j|X_j∈R²，j＝1，2，3，…，F}为聚类过程的训练样本。其中X_j∈X是二维向量，表示在当前时间段[t-Δt，t)期间内容j的访问特征。使用内容流行度p_j和访问变化率δ_j来表示X_j，即X_j＝(p_j，δ_j)，则：

其中u_i，j(t)，u_i，j(t-Δt)分别表示在当前时间段[t-Δt，t)以及上一时间段[t-2Δt，t-Δt)时从FN i中请求内容j的次数。根据训练样本，将所有内容项聚成一组K个簇，即，V₁，V₂，…，V_K。每个训练样本的聚类中心分别表示为m₁，m₂，…，m_k。假设内容j∈V_i且m_i是V_i的集群中心,则有：

也就是说，x_j到它所属簇的中心的欧式距离是它到所有聚类中心的欧式距离的最小值。为了使被划为同一类别的内容的访问特征相似度比较高，应使该距离尽可能的小。

基于访问特征相关的K-Means聚类算法的总平方误差函数为：

其中

显然，J值越小，同一集群中内容的访问特征相关性越大。因此，我们最小化方程(6)可得：

利用K-Means聚类算法对内容进行组织和分组的步骤如下：

1)从X中随机地选取K个数据作为初始聚类中心m₁，m₂，…，m_K；

2)根据式(7)计算每个数据对象x_j∈X的估计标号b_ij的值，如果b_ij为1，则x_j∈V_i；

3)根据式(8)重新计算聚类中心m₁，m₂，…，m_K；

4)如果对于任意的i∈{1，2，…，K}，聚类中心m_i的值与上一次迭代得到的m_i的值相同，则算法终止，否则，返回步骤(2)；

5)输出最终聚类结果V₁，V₂，…，V_K。

(2)基于迁移学习(TL)的内容流行度预测模型

本发明假设内容集

被划分为K类，即，C＝{c₁，c₂，…，c_k}，其中类型c_k的内容项数量由n_k表示。使用迁移学习的方法进行内容流行度预测，它由目标域S^(T)和源域S^(S)组成，其中，目标域S^(T)定义为所要预测的目标内容在本地FN的历史访问数据，源域S^(S)定义为c_k中各个内容在其他FN的历史访问数据。通过利用源域S^(S)中的有用信息，从而更好地学习目标域S^(T)。

在未来时间段[t，t+Δt]内，内容j的预估流行度可用

表示，则：

其中

表示在时间间隔[t-Δt，t]内FN m中内容j的流行度，

表示在时间间隔[t-Δt，t]内FN l中内容j的流行度，α_k＝{α_1，k，α_2，k，…，α_M，k}表示类型c_k中内容项的学习因子。

使用p_m，j(t+Δt)表示在时间间隔[t，t+Δt]内，FN m的内容j的实际流行度。为了使内容流行度的预测值

更好地接近其真实值p_m，j(t+Δt)，本发明需要通过建立最优预测模型来获得最优α_k，以提高预测精度。本发明首先定义用于估计

的训练集：目标域和源域的样本数据，即，在时间区间[t-Δt，t]和[t-2Δt，t-Δt]内，网络中类型c_k中内容项的历史访问信息。利用式(9)的训练集，得到了推导α_k的公式：

用p_m，j(t)表示在时间区间[t-Δt，t]内，FN m的内容j的实际流行度。对FN m中的内容类型c_k中所有内容项的预测求和的总误差可以表示为：

然后通过以下最优预测模型学习α_k，可得：

上述优化问题是一个线性约束的非线性规划问题，可以用Rosen梯度投影法或者乘子法进行求解。

综上所述，本发明主要研究的是一种雾计算网络中基于迁移学习的网络感知自适应缓存方案。此方案考虑到用户的内容请求以及雾计算网络的操作特性。所构建的内容与网络感知自适应缓存方案使用迁移学习来估计内容的受欢迎程度，并使用混合整数线性规划来计算内容的放置位置和选择网络中的物理缓存大小。提出的缓存方案同时执行高效的缓存部署和内容缓存。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种雾计算网络中基于迁移学习的网络感知自适应缓存方法，其特征在于：该方法考虑地理区域中的异构雾计算网络，整个服务区域内的M个雾节点FN通过蜂窝链路服务于区域中分散的U个移动用户的内容请求；雾节点FN通过回程链路与移动网络运营商MNOs核心网连接，并且雾节点FN之间通过光纤，由Fog-Fog链路实现完全连接；

移动用户根据蜂窝网络协议连接到雾节点FN，连接的雾节点FN负责服务用户的内容请求；如果请求的内容位于连接的FN的缓存中，则请求将立即被处理；没有额外的负载放在回程链路，减少网络流量；当被请求的内容没有缓存在连接的FN中时，请求被转发到移动网络运营商MNOs；移动网络运营商MNOs检查查找表中所请求的内容是否缓存在相邻FN；如果内容缓存在相邻的FN中，MNOs将执行所有必需的信令，以便从相邻FN获取内容；相邻FN提供的内容降低下载延迟并减少网络流量；当所请求的内容没有缓存在相邻的FN中，或者从相邻FN检索内容的延迟比从内容服务器检索内容的延迟更高时，MNOs从内容服务器获取内容；

参数

为在时间索引t∈{1，…，T}FN

的服务区域内容

的内容流行度；参数

由下式计算：

其中

是在时刻t时FNi处的内容j的总浏览次数；采用迁移学习的方法预测得到内容流行度

使用MILP来计算内容的放置位置和选择网络中的物理缓存大小，在保持缓存总部署成本的同时，考虑到初始内容传输成本和网络中的缓存部署成本，最小化内容下载延迟：

s.t.C1：

C2：

C3：

C4：

C5：

C6：

C7：

所述MILP中有三个决策变量：

1)rⁱ∈{1，…，R}表示FNi上使用的内存单元数；FNi使用的物理缓存的总大小等于rⁱs₀，其中s₀是内存单元的物理存储大小；

2)

表示二进制缓存决策变量，若内容j缓存在本地FN中，则

否则

3)

表示缓存有内容j的相邻FNl服务FNi的内容请求；注意

意味着FNl缓存内容j并为请求本身提供服务；为内容流行度和决策变量的简便，省略时间索引t；

约束条件C1确保网络中至少存在一个FN缓存有内容j；

约束条件C2表示只有当FNi缓存了其他FN所请求的内容时，FNi才能为其提供服务；

约束条件C3考虑到FN的存储容量限制，缓存的内容大小不能超过FN的存储容量，s₀是每个物理存储单元的大小，rⁱ是存储单元的数量；

约束条件C4维护网络中的缓存部署预算。

2.根据权利要求1所述的一种雾计算网络中基于迁移学习的网络感知自适应缓存方法，其特征在于：所述缓存在调整时，首先，初始化网络缓存，内容随机部署在FN中，随着用户对内容的请求，根据用户的历史请求信息预测内容的流行度；然后，使用MILP来计算内容的放置位置和选择网络中的物理缓存大小；最后，使用用户的请求统计信息以及内容流行度，采用LRU算法动态调整缓存的内容。

3.根据权利要求2所述的一种雾计算网络中基于迁移学习的网络感知自适应缓存方法，其特征在于：为提高所述内容流行度的预测精度，需要收集与所要估计的内容对象具有相似访问特征的内容的历史访问数据作为训练集；在利用迁移学习的思想对各个内容的流行度进行估计前，首先需要对用户访问内容进行细致分类；考虑到不同的用户对内容有不同的偏好，内容归类是以相同时间段内的访问特征相似度为指标，对各个数据内容进行的归类。

Images