CN109862585B - 一种基于深度时空神经网络的动态异构网络流量预测方法 - Google Patents

Abstract

本发明属于无线通信技术领域，具体涉及一种基于深度时空神经网络的动态异构网络流量预测方法。针对现有移动数据流量预测方法覆盖区域小、预测精度低、预测时间短等问题，研究基于深度时空神经网络的动态异构网络流量预测方法。考虑用户移动性和流量数据时空相关性等特点，深入研究动态异构网络中广覆盖的长期移动数据流量预测数学模型描述方法；在此基础上，研究时空相关的卷积长短时记忆网络模型，以预测动态异构网络中移动流量的长期趋势；研究时空相关的三维卷积神经网络模型，以捕获动态异构网络中移动流量序列的微小波动；融合上述移动流量的长期趋势预测模型和短期变化模型，从而实现动态异构网络中广覆盖、高精度的长期移动流量预测。

Description

一种基于深度时空神经网络的动态异构网络流量预测方法

技术领域

本发明属于无线通信技术领域，具体涉及一种基于深度时空神经网络的动态异构网络流量预测方法。

背景技术

为了满足移动用户日益增长的传输速率和移动数据量的需求，异构网络通过在传统宏蜂窝的基础上部署不同类型的低功率小型蜂窝，系统容量和网络覆盖能力得到明显的提升。为了满足热点区域的按需流量卸载需求，小型蜂窝需要提前优化通信参数以便满足即时通信请求，无人机基站更要通过调整位置提前部署到热点区域。因此，借助于机器学习强大的数据分析手段，预测流量拥塞事件以及估计蜂窝网络内的供需差距，以便提前部署小型蜂窝以服务热点区域。

现有的移动流量预测机制(如线性回归模型、时间序列模型、支持向量机、概率统计模型、人工神经网络模型等)大多采用各个基站观察到的流量数据进行预测建模，忽略了移动流量跨空间和跨时间特征，预测准确度不高，较难实现全网范围估计和长期流量预测。从空间和时间维度的角度来看，移动流量数据与视频或语音具有重要的相似性，移动流量和视频的大规模演进均由“帧”序列组成，小覆盖区域的单个流量消耗序列类似于自然语言序列。因此，成熟的计算机视觉工具(如，卷积神经网络)或自然语言处理技术(如，循环神经网络、长短期记忆网络)在移动数据流量预测方面具有极大的潜力。同时，移动流量数据具有自身独特属性。在细粒度的移动流量快照中相邻“像素”值通常没有明显差异，而这种差异性经常发生在自然图像的边缘区域；不同于视频像素，单个移动流量序列通常表现出周期性；由于用户的移动性，流量消耗更有可能停留或转移到相邻小区，而在视频中像素值不会在相邻视频帧中移动。

因此，本发明利用不同地理位置和时间的用户流量相关性特点，研究基于深度时空神经网络的移动流量预测方法，实现精确的全网范围内移动流量预测，从而克服现有移动数据流量预测方法覆盖区域小、预测精度低、预测时间短等问题。

发明内容

为了克服现有移动数据流量预测方法覆盖区域小、预测精度低、预测时间短等问题，本发明的目的在于提出一种基于深度时空神经网络的动态异构网络流量预测方法。

为了达到上述目的，本发明所采用的技术方案是：一种基于深度时空神经网络的动态异构网络流量预测方法，其特征在于，所述方法包括如下步骤：

步骤1，通过研究用户移动性和流量数据时空相关性特点，对动态异构网络中广覆盖的长期移动数据流量预测数学模型进行描述；

步骤2，在此基础上，通过时空相关的卷积长短时记忆神经网络模型，来预测动态异构网络中移动流量的长期趋势，从而建立移动数据流量的长期趋势预测模型；

步骤3，运用时空相关的三维卷积神经网络模型，来捕获动态异构网络中移动流量序列的微小波动，从而建立移动数据流量的微小波动预测模型；

步骤4，在卷积长短时记忆神经网络模型和三维卷积神经网络模型基础上，建立基于编码器-解码器架构的移动数据流量双重时空预测架构，从而实现动态异构网络中广覆盖、高精度的长期移动流量预测。

进一步地，步骤1中，对动态异构网络中广覆盖的长期移动数据流量预测数学模型进行描述的过程包括：

现有时空流量预测方法通常基于给定先前观测数据的前提下，预测概率较高的多步数据序列。然而，考虑到不同区域流量间的时空相关性，预测的网络流量间存在着统计依赖性。同时，距离较远的蜂窝网络流量对目标蜂窝流量的影响较少，因此，通过将观测的流量限制在一定相邻蜂窝网络区域内，从而将上述预测问题简化成单步流量预测。

用数据点D＝{D₁,D₂,...,D_T}的时空序列表示在时间间隔T上观测到的网络范围内的移动通信量，其中D_t是在时间t处的快照，以X×Y网格表示的地理区域内的移动业务量，d_t ^(x,y)用坐标(x,y)测量正方形单元格中的数据通信量，从机器学习的角度来看，时空流量预测问题是根据先前的S观测，预测最有可能的K阶数据点序列，那意味着需要解决以下问题：

因此，仅考虑(r+1)×(r+1)相邻小区的通信量能够简化问题并表示一步预测

为：

其中，

是(r+1)×(r+1))与位置(x,y)相邻的区域中时间t处的数据流量矩阵。

于是，D_t+1的预测

表示为集合

其中，

是d_t+1 ^(x,y)的预测，并通过求解

得到。

进一步地，步骤2中，建立移动数据流量的长期趋势预测模型的过程包括：

利用长短时记忆神经网络在捕获时间序列数据中的时间相关性方面有优势，解决动态异构网络流量预测问题。同时，考虑到长短时记忆神经网络较难精细地刻画局部特征，本发明在其基础上加上卷积操作，通过堆叠多个卷积长短时记忆神经网络层形成编码预测结构,并采取在每层卷积长短期时记忆神经网络层后增加批量标准化防止网络过拟合,且施加在权重上的正则项使用L₂正则规范化初始化方式防止过拟合，给定一系列表示X＝{X₁,X₂,....,X_T}的三维输入序列，

表示Hadamard积，“*”是二维卷积算子，σ(.)是一个Sigmoid函数，由于该神经网络的每个隐元素都表示为二维映射，因此通过卷积运算能够有效地捕获跨空间业务关联；

其中，W_(..)和b_(..)表示通过模型训练得到的权重和偏差，输入到状态、单元到状态和单元格到单元格之间的转换是由每个门(i_t、ο_t和f_t)按元素控制的，这个特性极大地提高了模型捕捉时空趋势的能力。本发明这种卷积长短时记忆神经网络(卷积LSTM)不仅具有长短时记忆神经网络的时序建模能力，而且像卷积神经网络一样能够刻画局部特征，从而准确地捕获移动数据流量的长期趋势。

进一步地，步骤3中，建立移动数据流量的微小波动预测模型的过程包括：

在传统卷积神经网络中引入第三维信息，通过三维卷积核提取移动流量数据的时间和空间特征。同时，该三维卷积神经网络(3D convNets)由3个三维卷积层(3D conv)，3个池化层(3D max pool)，及一个全连接层组成，如图2所示，其中所有池化均采用maxpooling，这样可以保证特征的位置与旋转不变性，而且减少了过拟合问题。给定一系列具有N个特征映射的时空数据序列X＝{X₁,X₂,....,X_N}，三维卷积层的输出将由H₁,....,H_M复杂的特征映射

给出。三维卷积神经网络在输入的不同位置共享权重，允许维持相邻输入点与特征表示中时空局部性之间的关系，全连接层最终将时空域特征映射为特征向量,不仅可以提高整体模型的泛化能力，而且能够更好捕获移动数据流量的局部依赖性，从而实现动态异构网络中移动数据流量的微小波动预测。

进一步地，步骤4中，建立基于编码器-解码器架构的移动数据流量双重时空预测架构的过程包括：

在上述卷积长短时记忆神经网络模型和三维卷积神经网络模型基础上，研究基于编码器-解码器架构的移动数据流量双重时空预测架构，如图3所示。在编码器结构中，通过多级融合层将上述两个结构提取的时空流量特征进行融合，在编码器输出端，获得兼具流量长期趋势和局部波动的特征。在解码器结构中，利用多层感知器将编码器输出的特征通过全连接层进行最终的流量预测，从而克服了传统编码器-解码器结构受限于固定长度向量的不足。

上述移动数据流量的双重时空预测架构，通过建立边缘分布期望模型，同时提取时空流量特征，进而实现可端到端训练的架构。借助于上述双重时空预测架构，采用“本地”时空流量数据，可预测下一时段的移动数据流量。上述预测过程重复多次，以获得整个蜂窝网络覆盖区域的流量预测。在模型训练过程中，采用最大似然估计模型，利用Adam算法以较快收敛速度获得最小的损失函数。

与现有技术相比，本发明的有益效果是：本发明利用不同地理位置和时间的用户流量相关性特点，研究基于深度时空神经网络的移动流量预测方法，实现精确的全网范围内移动流量预测，从而克服现有移动数据流量预测方法覆盖区域小、预测精度低、预测时间短等问题。

附图说明

图1是本发明卷积长短时记忆神经网络模型示意图。

图2是本发明三维卷积神经网络模型示意图。

图3是本发明基于编码器-解码器架构的移动数据流量双重时空预测架构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明通过研究用户移动性和流量数据时空相关性等特点，对动态异构网络中广覆盖的长期移动数据流量预测数学模型进行描述；在此基础上，通过时空相关的卷积长短时记忆网络模型，来预测动态异构网络中移动流量的长期趋势；运用时空相关的三维卷积神经网络模型，来捕获动态异构网络中移动流量序列的微小波动；最后融合上述移动流量的长期趋势预测模型和短期变化模型，从而达到实现动态异构网络中高精度、广覆盖的长期移动流量预测的目的。

A.移动数据流量预测数学模型

现有时空流量预测方法通常基于给定先前观测数据的前提下，预测概率较高的多步数据序列。然而，考虑到不同区域流量间的时空相关性，预测的网络流量间存在着统计依赖性。同时，距离较远的蜂窝网络流量对目标蜂窝流量的影响较少，因此，本发明通过将观测的流量限制在一定相邻蜂窝网络区域内，从而将上述预测问题简化成单步流量预测。我们用数据点D＝{D₁,D₂,...,D_T}的时空序列表示在时间间隔T上观测到的网络范围内的移动通信量，其中D_t是在时间t处的快照，以X×Y网格表示的地理区域内的移动业务量，d_t ^(x,y)用坐标(x,y)测量正方形单元格中的数据通信量，从机器学习的角度来看，时空流量预测问题是根据先前的S观测，预测最有可能的K阶数据点序列，那意味着需要解决以下问题：

因此，仅考虑(r+1)×(r+1)相邻小区的通信量能够简化问题并表示一步预测

为：

其中，

是(r+1)×(r+1))与位置(x,y)相邻的区域中时间t处的数据流量矩阵。

于是，D_t+1的预测

表示为集合

其中，

是d_t+1 ^(x,y)的预测，并通过求解

得到。

B.移动数据流量的长期趋势预测模型

利用长短时记忆神经网络在捕获时间序列数据中的时间相关性方面有优势，解决动态异构网络流量预测问题。同时，考虑到长短时记忆神经网络较难精细地刻画局部特征，本发明在其基础上加上卷积操作，通过堆叠多个卷积长短时记忆神经网络层形成编码预测结构,并采取在每层卷积长短期时记忆神经网络层后增加批量标准化防止网络过拟合,且施加在权重上的正则项使用L₂正则规范化初始化方式防止过拟合，给定一系列表示X＝{X₁,X₂,....,X_T}的三维输入序列，

表示Hadamard积，“*”是二维卷积算子，σ(.)是一个Sigmoid函数，由于该神经网络的每个隐元素都表示为二维映射，因此通过卷积运算能够有效地捕获跨空间业务关联；

其中，W_(..)和b_(..)表示通过模型训练得到的权重和偏差，输入到状态、单元到状态和单元格到单元格之间的转换是由每个门(i_t、ο_t和f_t)按元素控制的，这个特性极大地提高了模型捕捉时空趋势的能力。本发明这种卷积长短时记忆神经网络(卷积LSTM)不仅具有长短时记忆神经网络的时序建模能力，而且像卷积神经网络一样能够刻画局部特征，从而准确地捕获移动数据流量的长期趋势。

C.移动数据流量的微小波动预测模型

在传统卷积神经网络中引入第三维信息，通过三维卷积核提取移动流量数据的时间和空间特征。同时，该三维卷积神经网络(3D convNets)由3个三维卷积层(3D conv),3个池化层(3D max pool),及一个全连接层组成,如图2所示,其中所有池化均采用maxpooling,这样可以保证特征的位置与旋转不变性，而且减少了过拟合问题。给定一系列具有N个特征映射的时空数据序列X＝{X₁,X₂,....,X_N}，三维卷积层的输出将由H₁,....,H_M复杂的特征映射

给出。三维卷积神经网络在输入的不同位置共享权重，允许维持相邻输入点与特征表示中时空局部性之间的关系，全连接层最终将时空域特征映射为特征向量,不仅可以提高整体模型的泛化能力，而且能够更好捕获移动数据流量的局部依赖性，从而实现动态异构网络中移动数据流量的微小波动预测。

D.基于编码器-解码器架构的移动数据流量双重时空预测架构

在上述卷积长短时记忆神经网络模型和三维卷积神经网络模型基础上，研究基于编码器-解码器架构的移动数据流量双重时空预测架构，如图3所示。在编码器结构中，通过多级融合层将上述两个结构提取的时空流量特征进行融合，在编码器输出端，获得兼具流量长期趋势和局部波动的特征。在解码器结构中，利用多层感知器将编码器输出的特征通过全连接层进行最终的流量预测，从而克服了传统编码器-解码器结构受限于固定长度向量的不足。

上述移动数据流量的双重时空预测架构，通过建立边缘分布期望模型，同时提取时空流量特征，进而实现可端到端训练的架构。借助于上述双重时空预测架构，采用“本地”时空流量数据，可预测下一时段的移动数据流量。上述预测过程重复多次，以获得整个蜂窝网络覆盖区域的流量预测。在模型训练过程中，采用最大似然估计模型，利用Adam算法以较快收敛速度获得最小的损失函数。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于深度时空神经网络的动态异构网络流量预测方法，其特征在于，所述方法包括如下步骤：

步骤1，通过研究用户移动性和流量数据时空相关性特点，对动态异构网络中广覆盖的长期移动数据流量预测数学模型进行描述；

步骤2，在此基础上，通过时空相关的卷积长短时记忆神经网络模型，来预测动态异构网络中移动流量的长期趋势，从而建立移动数据流量的长期趋势预测模型；

步骤3，运用时空相关的三维卷积神经网络模型，来捕获动态异构网络中移动流量序列的微小波动，从而建立移动数据流量的微小波动预测模型；

步骤4，在卷积长短时记忆神经网络模型和三维卷积神经网络模型基础上，建立基于编码器-解码器架构的移动数据流量双重时空预测架构，从而实现动态异构网络中广覆盖、高精度的长期移动流量预测；

步骤1中，对动态异构网络中广覆盖的长期移动数据流量预测数学模型进行描述的过程包括：现有时空流量预测方法通常基于给定先前观测数据的前提下，预测概率较高的多步数据序列，然而，考虑到不同区域流量间的时空相关性，预测的网络流量间存在着统计依赖性，同时，距离较远的蜂窝网络流量对目标蜂窝流量的影响较少，因此，通过将观测的流量限制在一定相邻蜂窝网络区域内，从而将上述预测问题简化成单步流量预测；用数据点D＝{D₁,D₂,...,D_T}的时空序列表示在时间间隔T上观测到的网络范围内的移动通信量，其中D_t是在时间t处的快照，以X×Y网格表示的地理区域内的移动业务量，d_t ^(x,y)用坐标(x,y)测量正方形单元格中的数据通信量，从机器学习的角度来看，时空流量预测问题是根据先前的S观测，预测最有可能的K阶数据点序列，那意味着需要解决以下问题：

因此，仅考虑(r+1)×(r+1)相邻小区的通信量能够简化问题并表示一步预测为：

其中，

是(r+1)×(r+1)与位置(x,y)相邻的区域中时间t处的数据流量矩阵；

于是，D_t+1的预测表示为集合

其中，

是d_t+1 ^(x,y)的预测，并通过求解

得到。

2.根据权利要求1所述的基于深度时空神经网络的动态异构网络流量预测方法，其特征在于：步骤2中，建立移动数据流量的长期趋势预测模型的过程包括：利用长短时记忆神经网络在捕获时间序列数据中的时间相关性方面有优势，解决动态异构网络流量预测问题，同时，考虑到长短时记忆神经网络较难精细地刻画局部特征，本方法在其基础上加上卷积操作，通过堆叠多个卷积长短时记忆神经网络层形成编码预测结构，并采取在每层卷积长短期时记忆神经网络层后增加批量标准化防止网络过拟合，且施加在权重上的正则项使用L₂正则规范化初始化方式防止过拟合，给定一系列表示X＝{X₁,X₂,....,X_T}的三维输入序列，

表示Hadamard积，“*”是二维卷积算子，σ(.)是一个Sigmoid函数，由于该神经网络的每个隐元素都表示为二维映射，因此通过卷积运算能够有效地捕获跨空间业务关联；

其中，W_(..)和b_(..)表示通过模型训练得到的权重和偏差，输入到状态、单元到状态和单元格到单元格之间的转换是由每个门，i_t、ο_t和f_t，按元素控制的，这个特性极大地提高了模型捕捉时空趋势的能力，这种卷积长短时记忆神经网络不仅具有长短时记忆神经网络的时序建模能力，而且像卷积神经网络一样能够刻画局部特征，从而准确地捕获移动数据流量的长期趋势。

3.根据权利要求2所述的基于深度时空神经网络的动态异构网络流量预测方法，其特征在于：步骤3中，建立移动数据流量的微小波动预测模型的过程包括：在传统卷积神经网络中引入第三维信息，通过三维卷积核提取移动流量数据的时间和空间特征，同时，该三维卷积神经网络由3个三维卷积层，3个池化层，及一个全连接层组成，其中所有池化均采用max pooling，这样可以保证特征的位置与旋转不变性，而且减少了过拟合问题；给定一系列具有N个特征映射的时空数据序列X＝{X₁,X₂,....,X_N}，三维卷积层的输出将由H₁,....,H_M复杂的特征映射

给出；三维卷积神经网络在输入的不同位置共享权重，允许维持相邻输入点与特征表示中时空局部性之间的关系，全连接层最终将时空域特征映射为特征向量，不仅可以提高整体模型的泛化能力，而且能够更好捕获移动数据流量的局部依赖性，从而实现动态异构网络中移动数据流量的微小波动预测。

4.根据权利要求3所述的基于深度时空神经网络的动态异构网络流量预测方法，其特征在于：步骤4中，建立基于编码器-解码器架构的移动数据流量双重时空预测架构的过程包括：在上述卷积长短时记忆神经网络模型和三维卷积神经网络模型基础上，研究基于编码器-解码器架构的移动数据流量双重时空预测架构，在编码器结构中，通过多级融合层将上述卷积长短时记忆神经网络模型和三维卷积神经网络模型提取的时空流量特征进行融合，在编码器输出端，获得兼具流量长期趋势和局部波动的特征，在解码器结构中，利用多层感知器将编码器输出的特征通过全连接层进行最终的流量预测，从而克服了传统编码器-解码器结构受限于固定长度向量的不足；

上述移动数据流量的双重时空预测架构，通过建立边缘分布期望模型，同时提取时空流量特征，进而实现可端到端训练的架构，借助于上述双重时空预测架构，采用“本地”时空流量数据，可预测下一时段的移动数据流量；上述预测过程重复多次，以获得整个蜂窝网络覆盖区域的流量预测；在模型训练过程中，采用最大似然估计模型，利用Adam算法以较快收敛速度获得最小的损失函数。

Images