CN110381524B - 基于Bi-LSTM的大场景移动流量在线预测方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种基于Bi‑LSTM的大场景移动流量在线预测方法、系统及存储介质。本发明把双向长短期记忆神经网络(Bi‑LSTM)作为预测模型的核心算法，利用多种场景下海量的历史流量数据训练模型，把训练好的模型通过迁移学习技术，实现特定场景的移动流量在线预测与学习，进而构建出具有自适应能力的预测模型来对各大场景的移动流量进行在线预测。本发明将先进的深度学习领域算法Bi‑LSTM用于构建移动网络流量预测，在一个模型中同时实现上行和下行流量的双预测，且预测精度高、泛化能力强，能在线预测移动网络流量。

Description

基于Bi-LSTM的大场景移动流量在线预测方法、系统及存储 介质

技术领域

本发明涉及大场景移动互联网流量预测领域，尤其涉及一种基于Bi-LSTM的大场景移动流量在线预测方法、系统及存储介质。

背景技术

随着通信技术的飞速发展和手机科技的进步，人们开始从有线互联时代走进移动互联网时代。移动互联网不仅丰富着人们娱乐生活，而且也给我们的日常生活带来了极大便利，这使得我们的生活和移动网络关系变的越来越紧密。据工信部公布的《2019年1-3月份通信业经济运行情况》，当前中国4G用户规模为12.04亿户，人均流量为7.27GB，并且依然保持增长趋势，尤其是人均流量；移动运营商们也从传统的“话务量”经营转变成“流量”经营。快速增长的用户需求和网络规模给当前的网络设施带来了诸多挑战，对于一些人员高流动、高密集的场景(游乐场、体育竞赛或音乐会现场等)，急剧增长的流量给其网络架构带来极大的压力，用户体验也随着降低。此外，急剧增长的流量也给节假日移动网络的安全保障带来极大的困难。

快速准确的预测移动流量，对网络维护和安全保障具有重大意义，尤其是节假日、大型体育赛事或演唱会等大型活动的网络安全的保障。由于人员的流动性和个人行为特性，使得移动网络流量峰值的出现呈现出不确定性；场景的不同，网络流量的变化趋势也极大的不同；此外，技术的进步和政策也都影响着用户的流量，这些给网络流量预测带来极大困难。因此，当前还没有一个能长期用于不同场景的网络流量的通用预测模型。

发明内容

本发明的主要目的是提出一种基于Bi-LSTM的大场景移动流量在线预测方法、系统及存储介质，旨在解决现有技术中还没有一个能长期用于不同场景的网络流量的通用预测模型的问题。

为实现上述目的，本发明提出一种基于Bi-LSTM的大场景移动流量在线预测方法，把双向长短期记忆神经网络(Bi-LSTM)作为预测模型的核心算法，利用多种场景下海量的历史流量数据训练模型，把训练好的模型通过迁移学习技术，实现特定场景的移动流量在线预测与学习，进而构建出具有自适应能力的预测模型来对各大场景的移动流量进行在线预测。

进一步地，具体包括以下步骤：

S1、以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到特定区间，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

S2、基于双向长短期记忆神经网络(Bi-LSTM)算法，搭建移动网路上行和下行流量预测模型；

S3、把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过自适应梯度下降法Adam实现其参数调整；

S4、将训练好的预测模型保存，然后用于某具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有一定的参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

进一步地，所述步骤S1中的数据映射方法如下：

x′为处理后的流量数据，x为实际流量数据，x_max和x_min分别为输入流量数据的最大值和最小值；其中Δ为取值在0和1之间的变量，Bi-LSTM的输出的取值区间为[0，1]；为允许Bi-LSTM的预测输出的最大值大于输入的历史数据的最大值，本发明把输入流量映射到区间[0，Δ]之内。

优选地，所述步骤S1中处理后的三维输入数据的格式为N×L×D，其中N为样本数，L为时间序列长度，D为时间序列的维度，D取值为2，分别是移动网络的上行和下行流量。

进一步地，所述步骤S2中的基于Bi-LSTM的预测模型的构建方法如下：

预测模型包含输入层、双向隐层记忆网络、一个全连接层和输出层，设时间数列为T，输入序列为{x₁,x₂,…,x_T}，前向隐层状态为{a₁,a₂,…,a_T}，反向隐层的状态为{c₁,c₂,…,c_T}，网络的权值和偏置分别为w和b。对于给定cell，输入门、遗忘门和输出门分别为i、f和o，前向隐层的状态a_t为：

反向隐层的状态c_t为：

记忆网络的输出为：

O_t＝U^o·a_t+w^o·c_t+b^o (4)

全连接层的输入为O_t，输出为：

y_t＝sigmoid(w^y·O_t+b^y) (5)。

优选的，所述预测模型在全连接层后引入一个Dropout层，以增强预测模型的可训练性和防过学习。

进一步地，所述步骤S3中Adam梯度下降实现为：

其中m_t为梯度的第一时刻平均值，v_t为为梯度的第二时刻非中心方差值，ε、β₁和β₂为参数。

此外，为实现上述目的，本发明一种存储介质，所述存储介质上存储有基于Bi-LSTM的大场景移动流量在线预测程序，所述基于Bi-LSTM的大场景移动流量在线预测程序被处理器执行时实现上文所述的基于Bi-LSTM的大场景移动流量在线预测方法的计算流程。

此外，为实现上述目的，本发明还提出一种基于Bi-LSTM的大场景移动流量在线预测系统，该系统包括：

获取上、下行流量模块：以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到特定区间，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

上、下行流量预测模块：基于双向长短期记忆神经网络(Bi-LSTM)算法，搭建移动网路上行和下行流量预测模型；

预测模型训练模块：把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过自适应梯度下降法Adam实现其参数调整；

在线预测模块：将训练好的预测模型保存，然后用于某具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有一定的参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

本发明的技术方案中，具有以下有益效果：(1)本发明将先进的深度学习领域算法Bi-LSTM用于构建移动网络流量预测，在一个模型中同时实现上行和下行流量的双预测，且预测精度高、泛化能力强，能在线预测移动网络流量；(2)本发明模型的训练使用多种场景下长期历史数据，使得训练好的模型具很好的通用性；当模型用于特定场景的移动网络流量预测时，采用迁移学习技术，定期学习该场景下新的历史流量数据并更新自我参数，具有一定的自适应性，能长期用于不同场景的网络流量的在线预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是实施例1中的基于Bi-LSTM的大场景移动流量在线预测方法的实现流程图；

图2是Bi-LSTM预测模型的结构图；

图3是某大型商场2019年4月15日—5月12日上行流量；

图4是某大型商场2019年4月15日—5月12日下行流量；

图5是预测模型训练过程损失曲线；

图6是预测模型训练上行流量与实际上行流量对比；

图7是预测模型训练下行流量与实际下行流量对比；

图8是训练好的模型上行流量测试结果与实际上行流量对比；

图9是训练好的模型下行流量测试结果与实际下行流量对比；

图10是实施例3中的基于Bi-LSTM的大场景移动流量在线预测系统结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种基于Bi-LSTM的大场景移动流量在线预测方法、系统及存储介质，旨在解决现有技术中还没有一个能长期用于不同场景的网络流量的通用预测模型的问题。

实施例1

为实现上述目的，本实施例提出一种基于Bi-LSTM的大场景移动流量在线预测方法，把双向长短期记忆神经网络(Bi-LSTM)作为预测模型的核心算法，利用多种场景下海量的历史流量数据训练模型，把训练好的模型通过迁移学习技术，实现特定场景的移动流量在线预测与学习，进而构建出具有自适应能力的预测模型来对各大场景的移动流量进行在线预测。

需要说明的是，本发明预测模型基于深度学习算法Bi-LSTM，其预测精度高、误差泛化能力强。

应理解的是，本发明模型训练时选用多种场景下的大量历史数据，通用性强，被用于特定场景后又能定期学习该场景下新的历史流量数据并更新自我参数。

在具体实现中，本发明具有一定的自适应性，能长期用于不同场景的网络流量的在线预测。

进一步地，参见图1：具体包括以下步骤：

具体包括以下步骤：

S1、以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到特定区间，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

所述步骤S1中的数据映射方法如下：

x′为处理后的流量数据，x为实际流量数据，x_max和x_min分别为输入流量数据的最大值和最小值；

其中Δ为取值在0和1之间的变量，Bi-LSTM的输出的取值区间为[0，1]；为允许Bi-LSTM的预测输出的最大值大于输入的历史数据的最大值，本发明把输入流量映射到区间[0，Δ]之内。

所述步骤S1中处理后的三维输入数据的格式为N×L×D，其中N为样本数，L为时间序列长度，D为时间序列的维度，D取值为2，分别是移动网络的上行和下行流量。

S2、基于双向长短期记忆神经网络(Bi-LSTM)算法，搭建移动网路上行和下行流量预测模型；

如图2所示为Bi-LSTM预测模型的结构图，基于Bi-LSTM的预测模型的构建方法如下：

本发明构建的Bi-LSTM预测模型包含输入层、双向隐层记忆网络、一个全连接层、Dropout层和输出层；设时间数列为T，输入序列为{x₁,x₂,…,x_T}，前向隐层状态为{a₁,a₂,…,a_T}，反向隐层的状态为{c₁,c₂,…,c_T}，网络的权值和偏置分别为w和b。对于给定cell，输入门、遗忘门和输出门分别为i、f和o，前向隐层的状态a_t为：

反向隐层的状态c_t为：

记忆网络的输出为：

O_t＝U^o·a_t+w^o·c_t+b^o (4)

全连接层的输入为O_t，输出为：

y_t＝sigmoid(w^y·O_t+b^y) (5)。

需要说明的是，双向长短期记忆神经网络(Bi-LSTM)的实质是一种改进型LSTM，核心模块依旧是带有遗忘和记忆功能的cell构成；不同之处在于Bi-LSTM的隐含层由前向隐层和后向隐层构成，传统的Bi-LSTM模型主要包含三部分，分别是输入、双向隐层和输出模块构成。

应当理解的是，所述预测模型在全连接层后引入一个Dropout层，以增强预测模型的可训练性和防过学习。

S3、把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过自适应梯度下降法Adam实现其参数调整；所述步骤S3中Adam梯度下降实现为：

其中m_t为梯度的第一时刻平均值，v_t为为梯度的第二时刻非中心方差值，ε、β₁和β₂为参数。

S4、将训练好的预测模型保存，然后用于某具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有一定的参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

需要说明的是，本发明将先进的深度学习领域算法Bi-LSTM用于构建移动网络流量预测，在一个模型中同时实现上行和下行流量的双预测，且预测精度高、泛化能力强，能在线预测移动网络流量。

应理解的是，本发明模型的训练使用多种场景下长期历史数据，使得训练好的模型具很好的通用性；当模型用于特定场景的移动网络流量预测时，采用迁移学习技术，定期学习该场景下新的历史流量数据并更新自我参数，具有一定的自适应性。

在具体实现中，本发明能长期用于不同场景的网络流量的在线预测，下面以实际案例仿真说明实施方案的有效性。

首先获取移动网络流量数据，实验数据是淮南某大型商场(包含广场)2019年4月15日—5月12日的连续上行和下行流量数据，其中包含五一假期。数据采集的粒度为15分钟，即每小时采集4次流量数据，共2688×2，见附图3和附图4。获取实验数据后将其映射到区间[0，Δ]内，其中Δ的取值为0.8。在本案例中，L取值为96，处理后的输入数据的维度为N×96×2。实验中，4月15日—5月6日的流量数据用于模型的训练，5月6日—5月12日的流量数据用于训练好的模型测试。

预测模型的建立，输入层的维度为96，隐层前、后向记忆网络的cell数分别为128，全连接层神经元数为258，Dropout神经元失效率设定为0.25，优化器Adam的学习率为0.00075，β₁和β₂分别为0.85和0.995。实验平台为深度学习开源框架Tensorflow，数据输入batch-size为32，epochs取值为200，即训练预测模型时，训练数据集使用200次，模型训练时的损失曲线如图5。

从图5的训练损失曲线可知，本发明设计的用于大场景移动网络流量预测的模型可训练性较强，收敛速度快。在训练好的模型在训练集中的上、下行流量预测结果分别见图6和图7，在测试集中的预测结果如图8和图9。从图6、7、8和9中可知，本发明对移动网络的上下行流量预测精度很高，误差泛化能力强。

实施例2

此外，为实现上述目的，本实施例一种存储介质，所述存储介质上存储有基于Bi-LSTM的大场景移动流量在线预测程序，所述基于Bi-LSTM的大场景移动流量在线预测程序被处理器执行时实现上文所述的基于Bi-LSTM的大场景移动流量在线预测方法的计算流程。

实施例3

此外，为实现上述目的，参见图10：本实施例还提出一种基于Bi-LSTM的大场景移动流量在线预测系统，该系统包括：

获取上、下行流量模块：以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到特定区间，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

上、下行流量预测模块：基于双向长短期记忆神经网络(Bi-LSTM)算法，搭建移动网路上行和下行流量预测模型；

预测模型训练模块：把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过自适应梯度下降法Adam实现其参数调整；

在线预测模块：将训练好的预测模型保存，然后用于某具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有一定的参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于Bi-LSTM的大场景移动流量在线预测方法，其特征在于，把Bi-LSTM作为预测模型的核心算法，利用多种场景下海量的历史流量数据训练模型，把训练好的模型通过迁移学习技术，实现不同场景的移动流量在线预测与学习，进而构建出具有自适应能力的预测模型来对各大场景的移动流量进行在线预测，具体包括以下步骤：

S1、以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到区间[0，1]，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

S2、基于Bi-LSTM算法，搭建移动网路上行和下行流量预测模型；

所述步骤S2中的基于Bi-LSTM的预测模型的构建方法如下：

预测模型包含输入层、双向隐层记忆网络、一个全连接层和输出层，设时间数列为T，输入序列为{x₁,x₂,…,x_T}，前向隐层状态为{a₁,a₂,…,a_T}，反向隐层的状态为{c₁,c₂,…,c_T}，网络的权值和偏置分别为w和b；对于给定cell，输入门、遗忘门和输出门分别为i、f和o，前向隐层的状态a_t为：

反向隐层的状态c_t为：

记忆网络的输出为：

O_t＝U^o·a_t+w^o·c_t+b^o (4)

全连接层的输入为O_t，输出为：

y_t＝sigmoid(w^y·O_t+b^y) (5)；

S3、把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过自适应梯度下降法Adam实现其参数调整；

S4、将训练好的预测模型保存，然后用于某具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

2.根据权利要求1所述的基于Bi-LSTM的大场景移动流量在线预测方法，其特征在于，所述步骤S1中的数据映射方法如下：

x′为处理后的流量数据，x为实际流量数据，x_max和x_min分别为输入流量数据的最大值和最小值；其中Δ为取值在0和1之间的变量，Bi-LSTM的输出的取值区间为[0，1]；为允许Bi-LSTM的预测输出的最大值大于输入的历史数据的最大值，把输入流量映射到区间[0，Δ]之内。

3.根据权利要求1所述的基于Bi-LSTM的大场景移动流量在线预测方法，其特征在于，所述步骤S1中处理后的三维输入数据的格式为N×L×D，其中N为样本数，L为时间序列长度，D为时间序列的维度，D取值为2，分别是移动网络的上行和下行流量。

4.根据权利要求1所述的基于Bi-LSTM的大场景移动流量在线预测方法，其特征在于，所述预测模型在全连接层后引入一个Dropout层，以增强预测模型的可训练性和防过学习。

5.根据权利要求1所述的基于Bi-LSTM的大场景移动流量在线预测方法，其特征在于，所述步骤S3中Adam梯度下降实现为：

其中m_t为梯度的第一时刻平均值，v_t为梯度的第二时刻非中心方差值，ε、β₁和β₂为参数。

6.一种存储介质，其特征在于，所述存储介质上存储有基于Bi-LSTM的大场景移动流量在线预测程序，所述基于Bi-LSTM的大场景移动流量在线预测程序被处理器执行时实现如权利要求2至5任一项所述的基于Bi-LSTM的大场景移动流量在线预测方法的计算流程。

7.一种基于Bi-LSTM的大场景移动流量在线预测系统，其特征在于，使用如权利要求1至5任一项所述的基于Bi-LSTM的大场景移动流量在线预测方法的计算流程，该系统包括：

获取上、下行流量模块：以粒度为15分钟，获取多场景下的长期移动网络的上行和下行流量数据，把获取的序列化的流量数据映射到特定区间，然后将其转换成等长的三维输入数据和对应的二维预测输出据；

上、下行流量预测模块：基于Bi-LSTM算法，搭建移动网路上行和下行流量预测模型；

预测模型训练模块：把预处理好的历史流量数据分别作为构建的待训练预测模型的输入和输出，进行预测模型训练，并通过Adam实现其参数调整；

在线预测模块：将训练好的预测模型保存，然后用于具体场景的移动网络的上行和下行流量的在线预测，通过迁移学习技术，定期在闲暇时期把该场景的新的历史流量数据用于预测模型的在线学习，更新预测模型参数，进而构建出具有参数自适应性的流量预测模型，能长期用于不同场景的网络流量的在线预测。

Images