CN109995851B - 基于深度学习的内容流行度预测及边缘缓存方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的内容流行度预测及边缘缓存方法，包括如下步骤：(1)对内容流行度数据进行预处理；(2)线下训练神经网络，得到流行度预测模型以及内容分类器；(3)由内容分类器得到内容所属类别，使用相应类别的预测模型在线预测内容流行度；(4)比较所有内容的流行度预测值，做出相应的缓存决策。本发明可以在只使用内容请求次数这一特征的情况下，使边缘节点在线预测不同内容的流行度并实时追踪其流行度变化，并基于预测的内容流行度做出对应的缓存决策，从而确保边缘节点持续缓存热点内容，获得渐近于理想的缓存方法的缓存命中率。

Description

基于深度学习的内容流行度预测及边缘缓存方法

技术领域

本发明涉及一种基于深度学习的内容流行度预测及边缘缓存方法，属于移动通信中的边缘缓存技术领域。

背景技术

随着各种智能设备和先进移动应用服务的持续迅速地增加，近年来无线网络正在遭受空前的数据传输压力。持续增加的数据传输量给容量有限的回传链路带来了巨大的压力，尤其在业务传输峰值时刻。边缘缓存技术通过放置最流行的内容到更靠近请求用户的节点上，从而可以有效地降低回传负载，近年来受到了业界和学术界的广泛关注。由于节点的存储空间有限且内容流行度随时间和空间变化，边缘缓存技术面临各种各样的挑战，诸如，为使得节点的缓存命中率尽可能地高，应该在何时存放什么内容到本地节点。

传统的缓存策略诸如先入先出缓存策略、最近最少使用缓存策略、最近最不常用缓存策略以及这些算法的变体已经广泛应用于有线网络，然而，由于无线网络中边缘节点的覆盖范围和存储空间有限，以上传统的缓存策略不能直接对内容流行度进行提前预测，这些传统的缓存策略在无线网络中可能遭受严重的性能下降，因此，这些传统的缓存策略不再适用于无线网络。目前的研究工作正在转向基于流行度的边缘缓存策略，但是不同内容流行度趋势不同，对内容流行度的预测复杂度较高且并不能对流行度的变化进行实时的追踪，缓存性能提升有限，而且移动网络中用于预测流行度的信息较少，使用过多特征数据进行预测显然不符合边缘缓存的要求。如果能在只使用较少信息的条件下，保证较为精准的流行度预测以及对流行度的实时跟踪，边缘节点可以持续缓存热点内容，从而逼近理想缓存命中率，最大程度降低回传负载。

发明内容

本发明为克服现有技术中存在的技术缺陷，在无线网络中，提供一种可以高效利用节点存储和计算资源以尽可能降低回传负载的边缘缓存技术。

本发明所采用的技术方案是：基于深度学习的内容流行度预测方法，包括以下步骤：

S1：选定一个初始内容类别，在该初始内容类别中随机选取一个内容的流行度序列数据作为训练数据；

S2：构建基于双向长短期记忆神经网络的流行度预测模型并基于训练数据对其进行训练，得到该内容类别对应的流行度预测模型，所述流行度预测模型，以内容在当前时隙经过预处理的流行度作为输入，以该内容在下一时隙的流行度作为输出；

S3：基于流行度预测模型预测对应的内容类别中内容的流行度，得到该内容类别中的每个内容的流行度预测误差，当该内容的流行度预测误差大于设定的预测误差阈值，将该内容从原类别中划分到一个新的内容类别；

S4：遍历完当前内容类别中的所有内容后，产生一个新的内容类别，在该新的内容类别中随机选取一个内容的流行度序列数据作为训练数据；针对该新的内容类别，训练双向长短期记忆神经网络，得到新的内容类别的流行度预测模型；

S5：重复上述S3-S4产生新的内容类别和重新训练预测模型的过程，直到得到设定数目的内容类别以及对应的流行度预测模型；

S6：构建基于神经网络的内容分类器，该内容分类器的训练集为初始内容类别中的所有内容及其对应的内容类别标签，所述内容分类器，以内容预处理后的流行度趋势信息矢量为输入，以该内容的内容类别为输出；

S7：对每一个内容使用内容分类器得到其所属内容类别，由对应内容类别的流行度预测模型获得该内容的流行度预测值。

进一步的，内容f在时隙t的流行度由内容f在时隙t的请求次数计算得到：

其中，p_f,t为内容f在时隙t的流行度，n_f,t为内容f在时隙t的请求次数，

为所有内容的集合，得到每个内容在每个时隙的流行度，而每个内容在所有时隙的流行度构成该内容的一个流行度序列。

进一步的，所述S2和S6中，预处理方法为对数处理和简单滑动平均处理：

L(p_f,t)＝ln(p_f,t+1) (2)

其中，W_S为简单滑动平均窗口大小，L(p_f,t)代表对流行度进行对数处理的结果，R(L(p_f，t))代表以L(p_f,t)为变量进行R操作，进行简单滑动平均。

进一步的，所述S2中，流行度预测模型的输入为：构建k个预处理后的流行度构建输入矩阵：

其中，

为内容f在时隙t的经过预处理的流行度，下一个时隙流行度作为输出标签：

将输入与对应的输出标签送入双向长短期记忆神经网络，以均方误差作为损失函数，构建流行度预测模型。

进一步的，在得到新的内容类别后，在学习对应的流行度预测模型之前，判断该内容类别的流行度变化是否剧烈：当g/m＞0.5时，表示流行度变化剧烈，其中，

为截止到W_I的流行度最大值，g为截止到W_I的相邻流行度之间的梯度值，W_I为插值窗口的大小，在学习其对应内容类别的流行度预测模型前，使用插值算法处理该内容流行度序列。

进一步的，所述内容分类器的输入为以内容预处理后的流行度趋势信息矢量：

输出标签为内容f的类别：c_f，将输入和对应的输出标签送入神经网络，其中

为内容f在时隙t预处理后的流行度矢量，

为内容f预处理后的长期流行度矢量，其中：

为相邻两个时隙预处理后的流行度梯度矢量，W_I为插值窗口的大小，W_L为长期流行度窗口；

以交叉熵为损失函数，构建得到内容分类器。

本发明还公开了一种基于深度学习的边缘缓存方法，包括以下步骤：

步骤1：对每一个内容使用内容分类器得到其所属内容类别，由对应内容类别的流行度预测模型获得该内容的流行度预测值，并将按照预处理操作的反操作将其恢复到预处理之前的流行度；

步骤2：得到每个内容下一个时隙的流行度，利用边缘节点的信息共享特点比较所有内容的流行度预测值，在每个边缘节点进行缓存更新，存储流行度预测值最大的内容。

有益效果：本发明具有以下优点：

(1)本发明仅利用用户对内容的请求次数，构建流行度序列，通过深度学习得到流行度预测模型，在历史流行度和未来流行度之间构建起关系，实现对流行度的实时跟踪，无须人为设计复杂的预测模型。

(2)考虑到不同内容有不同的流行度变化趋势，而一种模型难以适应所有的流行度趋势，本发明对内容进行趋势分类，并训练得到一个内容分类器，为每个内容类别学习一个流行度预测模型，从而能追踪带有不同流行度趋势的内容流行度。

(3)为了保证该分类器能够提升预测模型的效果，本发明使用预测模型获得训练分类器的数据。

(4)特别地，对于流行度变化剧烈的内容类别，在学习此类预测模型之前使用插值算法处理流行度序列，从而使得预测模型能够追踪该类型的流行度趋势。

(5)本发明中计算复杂的训练过程在线下进行，线上预测对计算资源和存储资源要求不大，可以在边缘节点上直接进行。

(6)本发明也适用于预测新内容的流行度。只需要一段观测期，收集好请求信息，便可以利用分类器进行分类，进而通过合适的预测模型进行流行度预测。

附图说明

图1是基于深度学习的流行度预测及边缘缓存流程图；

图2为缓存命中率随缓存空间大小变化曲线图；

图3为缓存命中率随时间变化曲线图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

附图1为基于深度学习的流行度预测及边缘缓存流程图，整个过程包括分为线下训练阶段、在线预测和缓存阶段。线下训练阶段分为预处理流行度，学习流行度预测模型和训练内容分类器三个部分，其中后两部分紧密联系；在线预测和缓存阶段分为流行度预测和缓存更新两个部分。

线下训练阶段：

对于训练数据中的请求次数按照式(1)进行处理：

其中，p_f,t为内容f在时隙t的流行度，n_f,t为内容f在时隙t的请求次数，

为所有内容的集合，得到每个内容在每个时隙的流行度，而每个内容在所有时隙的流行度构成该内容的一个流行度序列。具体包括以下步骤：

S1：对历史内容流行度序列进行预处理，提取流行度序列中的趋势信息，具体为：

S1-1、对历史流行度进行对数处理：

L(p_f,t)＝ln(p_f,t+1) (2)

S1-2、对上述处理结果进行简单滑动平均处理：

其中，W_S为简单滑动平均窗口大小，L(p_f,t)代表对流行度进行对数处理的结果，R(L(p_f,t))代表以L(p_f,t)为变量进行R操作，进行简单滑动平均。

S2：对训练数据中的内容进行分类，产生新的内容类别，并训练得到对应的流行度预测模型；具体为：

首先，将训练数据中的所有内容视为一个初始内容类别，训练一个双向长短期记忆神经网络，该双向长短期记忆神经网络为三层神经网络，包括输入层、双向长短期记忆层以及输出层，为该类别学习一个流行度预测模型，学习的过程为：

在一个内容类别中随机选取一个内容f的流行度序列数据作为训练数据；

使用k个预处理后的历史流行度构建输入矩阵，此处的预处理采用S1中的预处理步骤：

其中，

为内容f在时隙t的经过预处理的流行度，下一个时隙流行度作为输出标签：

将输入与对应的输出标签送入双向长短期记忆神经网络，l为双向长短期记忆神经网络的输入层大小。

以均方误差作为损失函数：

其中

为内容f在时隙t的经过预处理的流行度预测值。并使用Adam优化器和退化学习率的方法逐步缩小该损失函数。直到损失函数值的变化小于ε，则在历史流行度和未来流行度之间构建了关系，即该内容类别的流行度预测模型，其中ε为损失函数变化阈值。然后，基于该类别的流行度预测模型预测该类别中内容的流行度，得到每个内容的流行度预测误差：

其中，p_f,t为内容f在时隙t的流行度；

当

则将内容f从原类别中划分到一个新的类别，其中τ为预测误差阈值，W_C为分类窗口的大小，

为内容f在时隙W_C的经过预处理的流行度。

当遍历完旧类别中的所有内容后，就产生了一个新的内容类别，而原有的流行度预测模型并不适应该新类别，所以重新为新的内容训练双向长短期记忆神经网络，得到新内容类别的流行度预测模型。

重复上述产生新类别和重新训练预测模型的过程，直到得到原定数目的内容类别以及对应的流行度预测模型。

特别地，对于流行度变化剧烈的内容类别，在学习其预测模型之前，使用插值算法处理其内容流行度序列。首先计算截止到W_I的流行度最大值

其中W_I为插值窗口的大小，然后计算截止到W_I的相邻流行度之间的梯度值g，当流行度变化剧烈时，即g/m＞0.5时，按照指数规律在此相邻流行度之间进行插值。

在将训练集中所有内容分类之后，每个内容就有了一个内容标签。使用该标签数据训练内容分类器。内容分类器是一个四层神经网络，包括输入层、双层隐层以及输出层。输入为内容f预处理后的流行度趋势信息矢量：

输出标签为内容f的类别：c_f。将输入和对应的标签送入四层神经网络。其中

为内容f在时隙t预处理后的流行度矢量，

为内容f预处理后的长期流行度矢量，其中：

为相邻两个时隙预处理后的流行度梯度矢量，W_I为插值窗口的大小，W_L为长期流行度窗口。以交叉熵为损失函数：

其中y_c、

分别为真实和预测的类别概率分布，C为内容类别数目。

使用Adam优化器和退化学习率的方法逐步缩小该损失函数。直到损失函数值的变化小于ε，，则在内容流行度趋势和内容类别之间构建了关系，即内容分类器。

S3：对每一个内容使用内容分类器得到其所属类别，由对应类别的流行度预测模型获得该内容的流行度预测值，并将其恢复到预处理之前的状态。

在每个时隙，一个区域的边缘节点会收集该时隙内该区域用户请求内容次数的信息，在时隙结束前，这些节点会通过分享信息的方式汇总该时隙内用户对每个内容的请求次数。根据请求次数得到预处理后该时隙的内容流行度

长期流行度

以及流行度梯度

构建预处理后的流行度趋势信息矩阵

并将其输入到内容分类器，由此得到每个内容的所属类别。

结合过去k-1个流行度和本时隙流行度，构建预处理后的输入流行度矩阵

并将其输入到内容f对应类别的流行度预测模型，得到下一个时隙的流行度预测值。由于预测值是预处理后的结果，所以需要将预测模型的输出预测值恢复到预处理之前的状态。

S4：得到每个内容下一个时隙的流行度，利用边缘节点的信息共享特点比较所有内容的流行度预测值，在每个边缘节点进行缓存更新，存储流行度预测值最大的内容。

图2为缓存命中率随缓存空间大小变化曲线图，图3为缓存命中率随时间变化曲线图。如图2和图3所示，以ULR(univariate linear regression，单变量线性回归)算法和MLR(multivariate linear regression，多变量线性回归)算法预测流行度作对比，仿真结果表明所提出的方法对缓存命中率的提高达到了20％左右。

Claims (6)

1.基于深度学习的内容流行度预测方法，其特征在于：包括以下步骤：

S1：选定一个初始内容类别，在该初始内容类别中随机选取一个内容的流行度序列数据作为训练数据；

S2：构建基于双向长短期记忆神经网络的流行度预测模型并基于训练数据对其进行训练，得到该内容类别对应的流行度预测模型，所述流行度预测模型，以内容在当前时隙经过预处理的流行度作为输入，以该内容在下一时隙的流行度作为输出；

S3：基于流行度预测模型预测对应的内容类别中内容的流行度，得到该内容类别中的每个内容的流行度预测误差，当该内容的流行度预测误差大于设定的预测误差阈值，将该内容从原类别中划分到一个新的内容类别；

S4：遍历完当前内容类别中的所有内容后，产生一个新的内容类别，在该新的内容类别中随机选取一个内容的流行度序列数据作为训练数据；判断该内容类别的流行度序列数据变化是否剧烈：当g/m＞0.5时，表示流行度变化剧烈，其中，

为截止到W_I的流行度最大值，g为截止到W_I的相邻流行度之间的梯度值，W_I为插值窗口的大小；仅当流行度变化剧烈时，使用插值算法处理该内容的流行度序列数据，将经插值算法处理后的流行度序列数据作为训练数据，针对该新的内容类别，训练双向长短期记忆神经网络，得到新的内容类别的流行度预测模型；

S5：重复上述S3-S4产生新的内容类别和重新训练预测模型的过程，直到得到设定数目的内容类别以及对应的流行度预测模型；

S6：构建基于神经网络的内容分类器，该内容分类器的训练集为初始内容类别中的所有内容及其对应的内容类别标签，所述内容分类器，以内容预处理后的流行度趋势信息矢量为输入，以该内容的内容类别为输出；

S7：对每一个内容使用内容分类器得到其所属内容类别，由对应内容类别的流行度预测模型获得该内容的流行度预测值。

2.根据权利要求1所述的基于深度学习的内容流行度预测方法，其特征在于：内容f在时隙t的流行度由内容f在时隙t的请求次数计算得到：

其中，p_f,t为内容f在时隙t的流行度，n_f,t为内容f在时隙t的请求次数，

为所有内容的集合，得到每个内容在每个时隙的流行度，而每个内容在所有时隙的流行度构成该内容的一个流行度序列。

3.根据权利要求1所述的基于深度学习的内容流行度预测方法，其特征在于：所述S2和S6中，预处理方法为对数处理和简单滑动平均处理：

L(p_f,t)＝ln(p_f,t+1) (2)

其中，W_S为简单滑动平均窗口大小，L(p_f,t)代表对流行度进行对数处理的结果，R(L(p_f,t))代表以L(p_f,t)为变量进行R操作，进行简单滑动平均。

4.根据权利要求3所述的基于深度学习的内容流行度预测方法，其特征在于：所述S2中，流行度预测模型的输入为：构建k个预处理后的流行度构建输入矩阵：

其中，

为内容f在时隙t的经过预处理的流行度，下一个时隙流行度作为输出标签：

将输入与对应的输出标签送入双向长短期记忆神经网络，以均方误差作为损失函数，构建流行度预测模型。

5.根据权利要求3所述的基于深度学习的内容流行度预测方法，其特征在于：所述内容分类器的输入为以内容预处理后的流行度趋势信息矢量：

输出标签为内容f的类别：c_f，将输入和对应的输出标签送入神经网络，其中

为内容f在时隙t预处理后的流行度矢量，

为内容f预处理后的长期流行度矢量，其中：

为相邻两个时隙预处理后的流行度梯度矢量，W_I为插值窗口的大小，W_L为长期流行度窗口；

以交叉熵为损失函数，构建得到内容分类器。

6.基于权利要求1至5任意一项所述的基于深度学习的内容流行度预测方法的边缘缓存方法，其特征在于：包括以下步骤：

步骤1：对每一个内容使用内容分类器得到其所属内容类别，由对应内容类别的流行度预测模型获得该内容的流行度预测值，并将按照预处理操作的反操作将其恢复到预处理之前的流行度；

步骤2：得到每个内容下一个时隙的流行度，利用边缘节点的信息共享特点比较所有内容的流行度预测值，在每个边缘节点进行缓存更新，存储流行度预测值最大的内容。

Images