CN115720212A - 一种基于多源数据融合的网络流量预测及自动优化均衡方法 - Google Patents

Abstract

本发明属于通信领域，公开了一种基于多源数据融合的网络流量预测及自动优化均衡方法。采集某一城市基站的多源数据，所述多源数据包括站址信息数据、传输网络流量数据、通用网络数据和移动信令；基于多源数据，利用决策融合方法对数据进行融合处理；对融合后的数据，利用循环神经网络算法，建立流量预测模型；利用流量预测模型，对网络流量进行预测；基于网络流量预测数据，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型，对全局视觉下网络流量均衡模型进行训练并验证。用以解决现有技术中的网络配置和管理有很多是依赖人工，网络结构复杂，问题处理依旧依靠人工分析的问题。

Description

一种基于多源数据融合的网络流量预测及自动优化均衡方法

技术领域

本发明属于通信领域，具体涉及一种基于多源数据融合的网络流量预测及自动优化均衡方法。

背景技术

目前，我们根据实际现网结构，通过对传输流量的精细化分析，助力当前网络质量发展。首先，根据对PTNNNI端口峰值带宽利用率的百分比划分，分为红橙黄三色预警，并组织开展相关专项工作。同时，在红橙黄分级机制的基础上，细化出连续三天峰值超90％且忙时均值超50％和连续三天峰值80％-90％且忙时均值超过40％-50％两个分类，从影响业务感知和预警两个层面进行更精确的分析。最后，结合核心网DPI数据，关联PTN环网与基站对应关系，挖掘传输越限环网与DPI数据中影响业务感知指标的关系。

对全省PTN流量从环网及NNI端口、峰值带宽利用率、连续3天越限、连续7天越限、影响业务等进行多维度全面分析，仅在带宽利用率>90％时会对业务产生影响。

以上针对传输流量的分析和预测算法针对于PTNNNI端口峰值带宽利用率这一个指标进行分析，维度相对单一。

网络中采用的先进技术越来越多，网络规模也越来越复杂，网络结构的多样化是网络管理所需的专业知识也日益增加，网络管理与维护工作变得日益困难，人力成本不断提高，从而提高了对网络管理系统高度自动化和智能化的要求，以减轻网管人员的工作复杂度和工作强度，这也是近几年网络管理发展的一大趋势，相关人员也对动态流量在智能系统里应用做了相关研究，相关预测目前的网络配置和管理有很多是依赖人工，网络结构复杂，问题处理依靠人工分析，提供一事一议的解决方案，没有经验积累，无法跨专业协同，无论是初期的网络建设还是后期维护，这将极大的增加网络的配置和维护成本，而且其配置效果非常不理想，系统的整体性能欠佳，过分依赖于人工的配置和处理故障方法显然已不适用。

随着通信技术的飞速发展，网络流量行为日益复杂，网络业务需求主要有音频，视频，数据和应用业务等不断增多，对网络服务的时延、带宽等网络性能也有了相应要求，由于数据的多源化，基于流量的监测和处理，以及数据源获取后，对数据的性能研究仍然处于不成熟阶段，在大数据和5G科技快速的发展背景下，依靠智能手段对网络流量进行提前预测、拥塞进行自动优化，对有限的网络资源进行合理分配，提高网络利用率对于网络的设计与规划，流量控制，通信质量，研究拥塞控制和带宽分配机制，分析与评价通信性能，进一步优化通行网络质量有着非常重要的意义。

发明内容

本发明提供一种基于多源数据融合的网络流量预测方法及系统自动优化均衡方法，用以解决现有技术中的网络配置和管理有很多是依赖人工，网络结构复杂，问题处理依旧依靠人工分析的问题。

本发明提供一种基于多源数据融合的网络流量预测的自动优化均衡方法及系统，实现依靠智能手段对网络流量进行提前预测、拥塞进行自动优化，对有限的网络资源进行合理分配，提高网络利用率对于网络的设计与规划，流量控制，通信质量，研究拥塞控制和带宽分配机制，分析与评价通信性能，进一步优化通行网络质量的目的。

本发明通过以下技术方案实现：

一种基于多源数据融合的网络流量预测方法，所述网络流量预测方法具体包括一下步骤：

步骤1：采集某一城市基站的多源数据，所述多源数据包括站址信息数据、传输网络流量数据、通用网络数据和移动信令；

步骤2：基于步骤1的多源数据，利用决策融合方法对数据进行融合处理；

步骤3：对步骤2融合后的数据，利用循环神经网络算法，建立流量预测模型；

步骤4：利用步骤3的流量预测模型，对网络流量进行预测。

一种基于多源数据融合的网络流量预测方法，所述步骤2具体为，将不连续特征数据通过embedding网络结构进行特征提取，合并成比原始输入特征更具有判别能力同维度向量特征。

一种基于多源数据融合的网络流量预测方法，进行完数据的特征提取后，将等维度的特征向量输入到特征乘机层Product,输出线性组合Z和非线性组合P；

Z＝concat([emb₁,emb₁,...,emb_n],axis＝1) (1)

P与Z拼接后进入隐藏层，得到下列矩阵，来降低数据处理复杂度：

U^TV×W＝U×W×V^T (2)

之后，将Product层输出结果依次输入到Deepnetwork和Cross层，输出以下向量：

最后，将以上三部分输出向量特征通过Combination Output Layer连接起来，输出最后结果。

一种基于多源数据融合的网络流量预测方法，所述步骤3具体为，

利用用户历史手机信令数据、基站流量、设备及环网关系等数据研究环网、设备及基站流量，利用循环神经网络seq2seq结构模型来对各环网流量进行预测。以基站覆盖区域作为图节点，基站之间的转化关系作为边进行构图，对区域流量的空间相关性进行建模，挖掘信令流量在时间上的模式，对未来环网流量进行预测。

一种基于多源数据融合的网络流量预测方法，流量预测模型由编码器和解码器组成，输入列x₁,x₂,…,x_n通过中间长短期记忆网络(LSTM)h₁,h₂,…,h_n模块，提取和整合输入数据的特征，输出解码器的输入向量C，向量C经过长短时记忆网络模块h’₁,h’₂,…,h’_n，最终输出未来预测数据p₁,p₂,…,p_n。

一种基于多源数据融合的网络流量预测系统，所述预测系统包括采集模块和流量预测计算模块；

所述采集模块，用于采集某一城市基站的多源数据；

所述流量预测计算模块，利用决策融合方法对多源数据数据进行融合处理，再利用循环神经网络算法，建立流量预测模型，对网络流量进行预测。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，所述自动优化均衡方法包括以下步骤：

步骤5：利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型；

步骤6：基于步骤4的网络流量预测数据，对全局视觉下网络流量均衡模型进行训练并验证。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，根据信令数据和网络通用数据的信息，统计一个时间片内网络流量转移邻接矩阵p^flow，p_ij∈N⁺且p_ii＝0；

根据网络基站流量和网络拓扑相关数据，得到基站时延

与网络流量

的关系：集合A＝{α_ij...},B＝{β_ij...}，继而得到基站时延转移邻接矩阵：

并对转移矩阵的每行先利用tanh函数将矩阵元素映射到(-1,1)。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，再利用softmax函数按行归一化得到新的概率转移矩阵p^new：

对新的概率转移矩阵p^new与原概率转移矩阵p^org进行加权求和，从而得到最终的概率转移矩阵p^transf，

其中ρ为超参。

一种基于多源数据融合的网络流量预测的自动优化均衡系统，所述自动优化均衡系统包括均衡优化模块和模型训练模块；

所述均衡优化模块，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型；

所述模型训练模块，对网络流量预测数据，对全局视觉下网络流量均衡模型进行训练并验证。

本发明的有益效果是：

本发明对基站站址信息数据、通用网络数据、移动信令等多源数据进行融合处理，使其整体的数据类型更均衡。

附图说明

图1是现有技术环网下的链路峰值利用率示意图。

图2是现有技术环网下的基站平均TCP建立时延示意图。

图3是本发明的方法流程示意图。

图4是本发明的Embedding网络结构示意图。

图5是本发明的循环神经网络模型示意图。

图6是本发明的某环网工作日及假期期间环网流量情况预测曲线图，其中(a)为某环网工作日期间环网流量情况预测曲线图，(b)为某环网假期期间环网流量情况预测曲线图。

图7是本发明的Seq2Seq算法的预测效果与真实值的比对示意图。

图8是本发明的一个时间片下网络流量分布直方图，其中(a)为某环网调整前网络流量分布直方图，(b)为某环网调整后网络流量分布直方图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于多源数据融合的网络流量预测方法，所述网络流量预测方法具体包括一下步骤：

步骤1：采集某一城市基站的多源数据，所述多源数据包括站址信息数据、传输网络流量数据、通用网络数据和移动信令；

步骤2：基于步骤1的多源数据，利用决策融合方法对数据进行融合处理；

步骤3：对步骤2融合后的数据，利用循环神经网络算法，建立流量预测模型；

步骤4：利用步骤3的流量预测模型，对网络流量进行预测。

一种基于多源数据融合的网络流量预测方法，所述步骤2对数据进行融合处理具体为，特征融合是基于数据不同特征来进行数据融合、处理的手段；把基站信令数据、历史流量数据、闲忙时间段等；

不连续特征数据通过embedding网络结构进行特征提取，合并成比原始输入特征更具有判别能力同维度向量特征。

一种基于多源数据融合的网络流量预测方法，进行完数据的特征提取后，将等维度的特征向量输入到特征乘机层Product,输出线性组合Z和非线性组合P；

Z＝concat([emb₁,emb₁,...,emb_n],axis＝1) (1)

P与Z拼接后进入隐藏层，得到下列矩阵，来降低数据处理复杂度：

U^TV×W＝U×W×V^T (2)

之后，将Product层输出结果依次输入到Deepnetwork和Cross层，输出以下向量：

最后，将以上三部分输出向量特征通过CombinationOutputLayer连接起来，输出最后结果。

一种基于多源数据融合的网络流量预测方法，所述步骤3利用循环神经网络算法，建立流量预测模型具体为，

利用用户历史手机信令数据、基站流量、设备及环网关系等数据研究环网、设备及基站流量，利用循环神经网络seq2seq结构模型来对各环网流量进行预测。以基站覆盖区域作为图节点，基站之间的转化关系作为边进行构图，对区域流量的空间相关性进行建模，挖掘信令流量在时间上的模式，对未来环网流量进行预测。

一种基于多源数据融合的网络流量预测方法，流量预测模型由编码器和解码器组成，输入列x₁,x₂,…,x_n通过中间长短期记忆网络(LSTM)h₁,h₂,…,h_n模块，提取和整合输入数据的特征，输出解码器的输入向量C，向量C经过长短时记忆网络模块h’₁,h’₂,…,h’_n，最终输出未来预测数据p₁,p₂,…,p_n。

一种基于多源数据融合的网络流量预测系统，所述预测系统包括采集模块和流量预测计算模块；

所述采集模块，用于采集某一城市基站的多源数据；

所述流量预测计算模块，利用决策融合方法对多源数据数据进行融合处理，再利用循环神经网络算法，建立流量预测模型，对网络流量进行预测。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，所述自动优化均衡方法利用权利要求1所述网络流量预测数据进行如下操作：

基于网络流量预测数据，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型，对全局视觉下网络流量均衡模型进行训练并验证。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，根据信令数据和网络通用数据的信息，统计一个时间片内网络流量转移邻接矩阵p^flow，p_ij∈N⁺且p_ii＝0；

根据网络基站流量和网络拓扑相关数据，得到基站时延

与网络流量

的关系：集合A＝{α_ij...},B＝{β_ij...}，继而得到基站时延转移邻接矩阵：

并对转移矩阵的每行先利用tanh函数将矩阵元素映射到(-1,1)。

一种基于多源数据融合的网络流量预测的自动优化均衡方法，再利用softmax函数按行归一化得到新的概率转移矩阵p^new：

对新的概率转移矩阵p^new与原概率转移矩阵p^org进行加权求和，从而得到最终的概率转移矩阵p^transf，

其中ρ为超参，实验中设置数值为0.75。

一种基于多源数据融合的网络流量预测的自动优化均衡系统，所述自动优化均衡系统包括均衡优化模块和模型训练模块；

所述均衡优化模块，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型；

所述模型训练模块，对网络流量预测数据，对全局视觉下网络流量均衡模型进行训练并验证。

流量均衡方法的数据验证及效果评估

基于特征融合的数据处理模型结果

本发明采用基站信令数据、环网历史流量数据、闲忙时间段等不连续特征数据通过特征融合的流量预测模型，利用3406座基站分布数据、基站信令数据以及相关传输设备以及相关联的环网关系等信息进行数据匹配，最终得到环网流量数据。图6为通过特征融合流量模型预测某环网工作日及假期各时间段流量结果：

其中，蓝色线为真真实的环网流量，橙色线为通过以上模型预测的环网流量，通过上图结果，此模型可以准确预测不同时间的网络流量情况。

基于循环神经网络流量预测结果

本实验选择10176个基站数据进行评估，将源数据中的记录，划分为等长和等距时间片，并进行统计基站流量。实验中选择了均方根误差(RMSE)和平均绝对误差(MAE)作为模型效果的评价指标。用估计值与真值偏差的平方与估计次数n比值的平方根RSME来衡量测试值与真值之间的偏差：

其中，n为样本数量，y_i为样本真实值，

为估计值。

表1数据集描述

以上数据集通过循环神经网络模型Seq2Seq算法计算的结果为：RMSE6.6399、MAE为4.7492。图7为以上数据通过Seq2Seq算法的预测效果与真实值的比对图，由结果可以看出，Seq2seq模型基本可以对未来基站流量做出相对较为准确的预测。

基于马尔可夫链流量均衡结果

本节随机选取一个时间片内基站流量，并对该时间片运用均衡模型前后网络的流量的分布情况进行整理、绘制如下图所示直方图，其中，横坐标表示环网下连基站时延，纵坐标表示处于该时延下环网数量：

由图8中可以看出，相比调整前的网络状态，本文所提出的算法在提升了基站最低时延段基站段落外，还有效地减少了网络中的低流量环网数量，同时算法将减少的流量合理分配至其他负载不饱和环网，这表明，高流量环网流量被成功引流至低流量段落。从结果可以看出，应用网络流量均衡算法前后网络中各种流量的环网数量变化情况效果明显。

一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述方法步骤。

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DR RAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid statedisc，SSD))等。

Claims (10)

1.一种基于多源数据融合的网络流量预测方法，其特征在于，所述网络流量预测方法具体包括一下步骤：

步骤1：采集某一城市基站的多源数据，所述多源数据包括站址信息数据、传输网络流量数据、通用网络数据和移动信令；

步骤2：基于步骤1的多源数据，利用决策融合方法对数据进行融合处理；

步骤3：对步骤2融合后的数据，利用循环神经网络算法，建立流量预测模型；

步骤4：利用步骤3的流量预测模型，对网络流量进行预测。

2.根据权利要求1所述一种基于多源数据融合的网络流量预测方法，其特征在于，所述步骤2具体为，将不连续特征数据通过embedding网络结构进行特征提取，合并成比原始输入特征更具有判别能力同维度向量特征。

3.根据权利要求2所述一种基于多源数据融合的网络流量预测方法，其特征在于，进行完数据的特征提取后，将等维度的特征向量输入到特征乘机层Product,输出线性组合Z和非线性组合P；

Z＝concat([emb₁,emb₁,…,emb_n],axis＝1) (1)

P与Z拼接后进入隐藏层，得到下列矩阵，来降低数据处理复杂度：

U^TV×W＝U×W×V^T (2)

之后，将Product层输出结果依次输入到Deepnetwork和Cross层，输出以下向量：

最后，将以上三部分输出向量特征通过CombinationOutputLayer连接起来，输出最后结果。

4.根据权利要求1所述一种基于多源数据融合的网络流量预测方法，其特征在于，所述步骤3具体为，利用用户历史手机信令数据、基站流量、设备及环网关系等数据研究环网、设备及基站流量，利用循环神经网络seq2seq结构模型来对各环网流量进行预测。以基站覆盖区域作为图节点，基站之间的转化关系作为边进行构图，对区域流量的空间相关性进行建模，挖掘信令流量在时间上的模式，对未来环网流量进行预测。

5.根据权利要求4所述一种基于多源数据融合的网络流量预测方法，其特征在于，流量预测模型由编码器和解码器组成，输入列x₁,x₂,…,x_n通过中间长短期记忆网络h₁,h₂,…,h_n模块，提取和整合输入数据的特征，输出解码器的输入向量C，向量C经过长短时记忆网络模块h’₁,h’₂,…,h’_n，最终输出未来预测数据p₁,p₂,…,p_n。

6.根据权利要求1所述一种基于多源数据融合的网络流量预测系统，其特征在于，所述预测系统包括采集模块和流量预测计算模块；

所述采集模块，用于采集某一城市基站的多源数据；

所述流量预测计算模块，利用决策融合方法对多源数据数据进行融合处理，再利用循环神经网络算法，建立流量预测模型，对网络流量进行预测。

7.一种基于多源数据融合的网络流量预测的自动优化均衡方法，其特征在于，所述自动优化均衡方法利用权利要求1所述网络流量预测数据进行如下操作：

基于网络流量预测数据，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型，对全局视觉下网络流量均衡模型进行训练并验证。

8.根据权利要求7所述一种基于多源数据融合的网络流量预测的自动优化均衡方法，其特征在于，根据信令数据和网络通用数据的信息，统计一个时间片内网络流量转移邻接矩阵p^flow，p_ij∈N⁺且p_ii＝0；

根据网络基站流量和网络拓扑相关数据，得到基站时延

与网络流量

的关系：集合A＝{α_ij...},B＝{β_ij...}，继而得到基站时延转移邻接矩阵：

并对转移矩阵的每行先利用tanh函数将矩阵元素映射到(-1,1)。

9.根据权利要求8所述一种基于多源数据融合的网络流量预测的自动优化均衡方法，其特征在于，再利用softmax函数按行归一化得到新的概率转移矩阵p^new：

对新的概率转移矩阵p^new与原概率转移矩阵p^org进行加权求和，从而得到最终的概率转移矩阵p^transf，

其中ρ为超参。

10.根据权利要求7所述一种基于多源数据融合的网络流量预测的自动优化均衡系统，其特征在于，所述自动优化均衡系统包括均衡优化模块和模型训练模块；

所述均衡优化模块，利用马尔可夫流量转移方法，建立全局视觉下网络流量均衡模型；

所述模型训练模块，对网络流量预测数据，对全局视觉下网络流量均衡模型进行训练并验证。

Images