CN113783717B - 智慧城市网络流量预测方法及系统 - Google Patents

智慧城市网络流量预测方法及系统 Download PDF

Info

Publication number
CN113783717B
CN113783717B CN202110926805.9A CN202110926805A CN113783717B CN 113783717 B CN113783717 B CN 113783717B CN 202110926805 A CN202110926805 A CN 202110926805A CN 113783717 B CN113783717 B CN 113783717B
Authority
CN
China
Prior art keywords
sequence
network
time sequence
residual block
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110926805.9A
Other languages
English (en)
Other versions
CN113783717A (zh
Inventor
杨杨
高志鹏
芮兰兰
龚兴乐
胡皓
吕睿
龙雨寒
刘澳伦
严雨
高博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110926805.9A priority Critical patent/CN113783717B/zh
Publication of CN113783717A publication Critical patent/CN113783717A/zh
Priority to PCT/CN2022/104839 priority patent/WO2023016159A1/zh
Application granted granted Critical
Publication of CN113783717B publication Critical patent/CN113783717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种智慧城市网络流量预测方法及系统,方法包括:基于卡尔曼滤波器对原始时序网络流量数据进行预处理;基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果。所述系统执行所述方法。本发明将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,通过确定卡尔曼滤波器来消除原始时序网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM实现对原始时序网络流量数据的预测。

Description

智慧城市网络流量预测方法及系统
技术领域
本发明涉及数字信号处理技术领域,尤其涉及一种智慧城市网络流量预测方法及系统。
背景技术
随着信息技术的不断进步,智慧城市成为了目前重点建设的任务。而在智慧城市各项设施中网络为重中之重,巨大的城市基础设施会带来数量及其庞大的网络流量数据,因此处理好网络流量并对其进行高精度的预测是目前的当务之急。一种准确、实时的网络流量预测方法,不仅可以帮助网络运营商来更好地分配资源,保证服务质量,还可以通过比较真实流量和预测流量来检测网络上的恶意攻击。基本上,网络流量预测是一个时间序列预测问题,大多数传统方法是基于统计线性预测模型设计的,包括指数平滑、自回归移动平均模型和自回归集成移动平均模型。
然而,随着网络规模的不断扩大和新业务的快速涌现,网络流量往往呈现出以强非线性为代表的更加不稳定的特征。传统的预测方法过于简化的线性理论假设,不能有效捕捉大规模网络中时间序列的非线性特征。
现有技术中采用基于图神经网络(Graph Neural Networks,GNN)与长短期记忆网络(Long Short Term Memory networks,LSTM)结合的方法,没有对数据集进行去除噪声的处理。由此数据产生的噪声会非常明显,并可能会影响初始数据的处理,从而可能影响网络流量预测的准确度。
基于LSTM方法来对网络流量进行预测,在一定程度上可以对网络流量数据进行预测,但是在处理原始数据方面以及数据特征的进一步提取上难以进一步提升网络流量预测的准确度。
如何实现对原始网络流量数据的高精度预测,是目前亟需解决的问题。
发明内容
本发明提供的智慧城市网络流量预测方法及系统,用于现有技术中存在的上述问题,将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,通过确定卡尔曼滤波器来消除原始时序网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM实现对原始时序网络流量数据的预测。
本发明提供的一种智慧城市网络流量预测方法,包括:
基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果。
根据本发明提供的一种智慧城市网络流量预测方法,所述基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列,包括:
将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列;
根据所述第一特征序列,获取所述时序卷积网络中第二残差块的第二特征序列;
根据所述第二特征序列,获取所述时序卷积网络中第三残差块的第三特征序列;
根据所述第三特征序列,确定所述目标特征序列。
根据本发明提供的一种智慧城市网络流量预测方法,所述将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列,包括:
根据所述时序卷积网络,获取一维序列的第一输出序列;
对所述时序卷积网络中的权重参数进行归一化处理,以获取归一化权重参数;
根据所述归一化权重参数对所述第一输出序列进行优化,并根据优化后的第一输出序列,确定所述第一特征序列;
其中,所述一维序列是通过对所述预处理后的原始时序网络流量数据进行采样后得到的。
根据本发明提供的一种智慧城市网络流量预测方法,所述根据所述第一特征序列,获取所述时序卷积网络中第二残差块的第二特征序列,包括:
根据所述时序卷积网络,获取所述第一特征序列的第二输出序列;
根据所述归一化权重参数对所述第二输出序列进行优化,并根据优化后的第二输出序列,确定所述第二特征序列。
根据本发明提供的一种智慧城市网络流量预测方法,所述根据所述第二特征序列,获取所述时序卷积网络中第三残差块的第三特征序列,包括:
根据所述时序卷积网络,获取所述第二特征序列的第三输出序列;
根据所述归一化权重参数对所述第三输出序列进行优化,并根据优化后的第三输出序列,确定所述第三特征序列。
根据本发明提供的一种智慧城市网络流量预测方法,所述根据优化后的第一输出序列,确定所述第一特征序列,包括:
基于Relu激活函数对所述优化后的第一输出序列进行校正,以获取校正输出序列;
基于dropout正则化技术对所述校正输出序列进行正则化处理;
根据正则化结果和所述预处理后的原始时序网络流量数据,获取所述第一特征序列。
根据本发明提供的一种智慧城市网络流量预测方法,所述将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果,包括:
将所述目标特征序列输入至所述LSTM长短期记忆网络,以获取所述目标特征序列中的长期相关性;
将所述长期相关性作为所述LSTM长短期记忆网络的全连接层的输入,以获取所述原始时序网络流量数据的初始预测结果;
根据所述初始预测结果、所述全连接层的权重参数和所述偏置参数,并基于预设线性函数,获取所述预测结果。
本发明还提供一种智慧城市网络流量预测系统,包括:数据过滤模块、特征获取模块以及数据预测模块;
所述数据过滤模块,用于基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
所述特征获取模块,用于基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
所述数据预测模块,用于将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述智慧城市网络流量预测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述智慧城市网络流量预测方法的步骤。
本发明提供的智慧城市网络流量预测方法及系统,将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,通过确定卡尔曼滤波器来消除原始时序网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM实现对原始时序网络流量数据的预测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的智慧城市网络流量预测方法的流程示意图;
图2是本发明提供的流量数据拟合示意图;
图3是本发明提供的智慧城市网络流量预测系统的结构示意图;
图4是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前非线性模型比传统的预测模型更准确,但是它们捕捉长期相关性的能力较低。
近年来,深度学习方法已经成为时间序列预测的主流方法。循环神经网络(Recurrent Neural Network,RNN),在序列建模任务中显示了它们的优势。作为其典型的例子,LSTM网络不仅可以捕获长期依赖,而且可以有效地解决传统神经网络中的梯度消失问题。另一方面,通过结合RNN网络和卷积神经网络(Convolutional Neural Network,CNN)架构,最近日渐火热的时序卷积网络(Temporal Convolutional Network,TCN),使用因果卷积来提取了长时间的有效特征,并且在序列建模中也表现良好。这个新技术方案可以有效地应用在工业领域,如智慧城市的建设,有效统筹协调大领域内的网络流量。
图1是本发明提供的智慧城市网络流量预测方法的流程示意图,如图1所示,方法包括:
S1、基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
S2、基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
S3、将目标特征序列输入至LSTM长短期记忆网络,以获取原始时序网络流量数据的预测结果。
需要说明的是,上述方法的执行主体可以是计算机设备。
可选地,使用卡尔曼滤波器去除原始时序网络流量数据中的噪声以减少噪声的干扰,并且平滑时间序列数据,从而实现高精度的预测,其中,原始时序网络流量数据来源于智慧城市基础设施带来的数量及其庞大的网络流量数据。:
将原始时间序列网络流量数据输入卡尔曼滤波器进行计算,得到当前状态k的原始时序网络流量数据的最优估计值xk,k
首先,先要引入一个离散控制过程的系统,该离散控制过程的系统的过程模型可用一个线性随机微分方程来描述:
xk=Axk-1+Buk+wk (1)
其中,xk是k时刻离散控制过程的系统的状态,uk是k时刻对离散控制过程的系统的控制量,A和B是预先设置的转移矩阵,wk是高斯白噪声。
zk=Hxk+vk (2)
其中,zk是k时刻的观测值,H是预先设置的观测参数,vk是高斯白噪声。
假设现在的系统状态是k,根据上述过程模型,可以基于原始时序网络流量数据的上一状态k-1而预测出现在状态xk,k-1
xk,k-1=Axk-1,k-1+Buk (3)
其中,xk,k-1是利用上一状态k-1预测的结果,xk-1,k-1是上一状态的原始时序网络流量数据的最优估计值,uk是现在状态的控制量,可以为0。
对于xk,k-1的协方差矩阵Pk,k-1可以基于如下公式进行更新:
Pk,k-1=APk-1,k-1AT+Qk (4)
其中,Pk-1,k-1是xk-1,k-1对应的协方差矩阵,Qk是高斯白噪声wk的协方差矩阵。
卡尔曼滤波器利用对现在状态的观测值优化在预测阶段获得的预测值,以获得一个更精确的新估计值,即最优估计值xk,k,计算观测余量z′k
z′k=zk-Hxk-1,k-1 (5)
基于如下公式计算得到卡尔曼增益Kk
Kk=Pk,k-1·HT(H·Pk,k-1·HT+Rk)-1 (6)
其中,Rk是高斯白噪声vk的协方差矩阵。
根据现在状态的预测结果xk,k-1以及现在状态的观测值z′k,可以得到现在状态k的原始时序网络流量数据的最优估计值xk,k
xk,k=xk,k-1+Kk·z′k (7)
为了要使得卡尔曼滤波器不断的运行下去直到系统过程结束,更新现在状态k下xk,k的协方差矩阵Pk,k
Pk,k=(I-Kk·H)·Pk,k-1 (8)
其中,I是单位矩阵。
基于上述过程可以得到各个状态的原始时序网络流量数据的最优估计值(x1,1~xk,k),并将其作为TCN的输入,基于TCN,获取各个状态的原始时序网络流量数据的最优估计值的目标特征序列。
最后,将目标特征序列输入至LSTM长短期记忆网络,得到原始时序网络流量数据的预测结果。
本发明提供的智慧城市网络流量预测方法,将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,通过确定卡尔曼滤波器来消除原始时序网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM实现对原始时序网络流量数据的预测。
进一步地,在一个实施例中,步骤S2可以具体包括:
S21、将预处理后的原始时序网络流量数据输入至时序卷积网络,以获取时序卷积网络中第一残差块的第一特征序列;
S22、根据第一特征序列,获取时序卷积网络中第二残差块的第二特征序列;
S23、根据第二特征序列,获取时序卷积网络中第三残差块的第三特征序列;
S24、根据第三特征序列,确定目标特征序列。
可选地,在时序卷积神经网络TCN中主要部分为层之间的连接,连接部分称为残差块。残差块的主要功能是扩大提取特征的采样范围,将每一层的采样率扩大,最终可以提取更大范围内的特征。而残差块中有两层包括了膨胀卷积层,WightNorm权重归一化,Relu激活函数以及dropout正则化的结构。
通过TCN对原始时序网络流量数据进行特征提取,TCN由第一残差块、第二残差块和第三残差块组成。第一残差块由两个膨胀因果卷积层组成,卷积核大小为5,膨胀系数(采样率)为1,过滤器数为10。第二个残差块膨胀系数为2,其余参数与第一个相同。第三个残差块膨胀系数为3,其余参数与第一个相同。
基于上述TCN中设计的残差块,将得到的各个状态的原始时序网络流量数据的最优估计值(x1,1~xk,k)输入时序卷积网络TCN中,可以得到第一残差块的第一特征序列L1
基于得到的第一特征序列L1,得到TCN中第二残差块的第二特征序列L2,根据得到第二特征序列L2,得到时序卷积网络中第三残差块的第三特征序列L3
将第三特征序列L3,作为最后TCN输出的目标特征序列。
本发明提供的智慧城市网络流量预测方法,通过使用多个残差块的时序卷积网络提取经卡尔曼滤波器去除噪声后的时序网络流量数据,能够提取到更广泛的特征,从而为后续基于该特征实现高精度的预测奠定了基础。
进一步地,在一个实施例中,步骤S21可以具体包括:
S221、根据时序卷积网络,获取一维序列的第一输出序列;
S222、对时序卷积网络中的权重参数进行归一化处理,以获取归一化权重参数;
S223、根据归一化权重参数对第一输出序列进行优化,并根据优化后的第一输出序列,确定第一特征序列;
其中,一维序列是通过对预处理后的原始时序网络流量数据进行采样后得到的。
进一步地,在一个实施例中,步骤S223可以具体包括:
S2231、基于Relu激活函数对优化后的输出序列进行校正,以获取校正输出序列;
S2232、基于dropout正则化技术对校正输出序列进行正则化处理;
S2233、根据正则化结果和预处理后的原始时序网络流量数据,获取第一特征序列。
可选地,时序卷积神经网络TCN主要部分为膨胀卷积,膨胀卷积采用超参数跳过一部分输入,即使用了高采样率,因此卷积过滤器可以作用于比本身长度更大的范围,具体而言,在将得到的各个状态的原始时序网络流量数据的最优估计值(x1,1~xk,k)输入时序卷积网络TCN后,首先,按照第一个残差块的膨胀系数对上述最优估计值进行采样得到对应的一维序列lt,其中,t是一维序列的长度:
Figure BDA0003209555620000101
其中,dr是第r层的膨胀系数,且dr≤2r-1,F()代表卷积运算,n是最优估计值(x1,1~xk,k)序列的长度。
seq1=(F(l1),...,F(lT)) (10)
其中,T≤t,seq1是第一输出序列。
通过对时序卷积网络中权重向量的重新参数化,将权重向量的长度与其方向分离。通过以这种方式重新参数化,改进了优化的条件,并加快了随机梯度下降的收敛速度,根据归一化权重参数对第一输出序列seq1进行优化,并根据优化后的第一输出序列,确定第一特征序列L1
具体地,基于如下公式对第一输出序列seq1进行优化:
Figure BDA0003209555620000102
其中,fw(WN(seq1))是优化后的第一输出序列,g是权重向量的方向,v是权重向量的长度。
使用Relu激活函数对优化后的第一输出序列fw(WN(seq1))进行校正,以获取校正输出序列,并基于dropout正则化技术对校正输出序列进行正则化处理;
Figure BDA0003209555620000103
根据正则化结果
Figure BDA0003209555620000104
和预处理后的原始时序网络流量数据x1,1~xk,k,得到第一特征序列L1
Figure BDA0003209555620000111
其中,xn代表原始时序网络流量数据的最优估计值x1,1~xk,k
本发明提供的智慧城市网络流量预测方法,基于时序卷积网络中每层的残差块中的两层膨胀卷积、权重归一化处理、校正线性单元以及dropout层以防过拟合,膨胀卷积在提取序列特征时采用不同的采样率,高层采样率高,能够提取更广泛的特征,从而为后续基于该特征实现高精度的预测奠定了基础。
进一步地,在一个实施例中,步骤S22可以具体包括:
S221、根据时序卷积网络,获取第一特征序列的第二输出序列;
S222、根据归一化权重参数对第二输出序列进行优化,并根据优化后的第二输出序列,确定第二特征序列。
进一步地,在一个实施例中,步骤S23可以具体包括:
S231、根据时序卷积网络,获取第二特征序列的第三输出序列;
S232、根据归一化权重参数对第三输出序列进行优化,并根据优化后的第三输出序列,确定第三特征序列。
可选地,按照第二个残差块的膨胀系数对第一特征序列L1进行采样得到对应的一维序列lt′′,其中,t′是一维序列lt′′的长度:
Figure BDA0003209555620000112
其中,m是第一特征序列L1的长度。
seq2=(F(l1′),...,F(lT′)) (15)
其中,T≤t′,seq2是第二输出序列。
根据归一化权重参数对第二输出序列seq2进行优化,并根据优化后的第二输出序列,确定第二特征序列L2
具体地,基于如下公式对第二输出序列seq2进行优化:
Figure BDA0003209555620000113
其中,fw(WN(seq2))是优化后的第二输出序列。
使用Relu激活函数对优化后的第二输出序列fw(WN(seq2))进行校正,以获取校正输出序列,并基于dropout正则化技术对校正输出序列进行正则化处理;
r′j (l)=Bernoull(fw(WN(seq2))) (17)
根据正则化结果r′j (l)和第一特征序列L1,得到第二特征序列L2
L2=r′j (l)*L1 (18)
按照第三个残差块的膨胀系数对第二特征序列L2进行采样得到对应的一维序列l″t″,其中,t″是一维序列l″t″的长度:
Figure BDA0003209555620000121
其中,s是第二特征序列L2的长度。
seq3=(F(l1″),...,F(lT″)) (20)
其中,T≤t″,seq3是第三输出序列。
根据归一化权重参数对第三输出序列seq3进行优化,并根据优化后的第三输出序列,确定第二特征序列L3
具体地,基于如下公式对第三输出序列seq3进行优化:
Figure BDA0003209555620000122
其中,fw(WN(seq3))是优化后的第三输出序列。
使用Relu激活函数对优化后的第三输出序列fw(WN(seq3))进行校正,以获取校正输出序列,并基于dropout正则化技术对校正输出序列进行正则化处理;
r″j (l)=Bernoull(fw(WN(seq3))) (22)
根据正则化结果r″j (l)和第二特征序列L2,得到第三特征序列L3
L3=r″j (l)*L2 (23)
本发明提供的智慧城市网络流量预测方法,基于时序卷积网络中每层的残差块中的两层膨胀卷积、权重归一化处理、校正线性单元以及dropout层以防过拟合,膨胀卷积在提取序列特征时采用不同的采样率,高层采样率高,能够提取更广泛的特征,同时防止过拟合现象的出现,为后续基于该特征实现高精度的预测奠定了基础。
进一步地,在一个实施例中,步骤S3可以具体包括:
S31、将目标特征序列输入至LSTM网络,以获取目标特征序列中的长期相关性;
S32、将长期相关性作为LSTM网络的全连接层的输入,以获取原始时序网络流量数据的初始预测结果;
S33、根据初始预测结果、全连接层的权重参数和偏置参数,并基于预设线性函数,获取预测结果。
可选地,将获取的目标特征序列L3作为LSTM层的输入,LSTM的单元结构由三个门组成,包括忘记门、输入门和输出门。采用遗忘门来控制上次遗忘了多少单元状态信息;采用输入门来控制当前时间的输入的多少信息被添加到当前时间的单元状态;采用输出门来控制当前时间单元状态的多少信息被采用作为输出。LSTM单元从输入到输出的计算公式如下:
fp=σ(Wf*[hp-1,L3]+bf)
ip=σ(Wi*[hp-1,L3]+bi)
Cp′=tanh(WC*[hp-1,L3]+bC)
Cp=fpCp-1+ipCp
op=σ(Wo*[hp-1,L3]+bo)
hp=optanh(Cp)
其中,h为单元格输出向量;f,i,o分别为遗忘门,输入门,输出门;C表示单元状态;下标p表示时刻;σ,tanh分别为sigmoid和tanh激活函数;W和b分别表示权值矩阵和偏差矩阵。
将所述目标特征序列输入到LSTM网络,以获取目标特征序列中的长期相关性hp,并将长期相关性hp作为LSTM网络的全连接层的输入,基于如下公式得到原始时序网络流量数据的初始预测结果zp
zp=Relu(hpv1+bias) (24)
其中,v1、bias和Relu()分别代表权重矩阵、偏置向量和Relu激活函数。
根据初始预测结果zp、全连接层的权重参数u和偏置参数q,并基于预设线性函数linear(),得到预测结果yp
yp=linear(zpu+q) (25)
通过对原始数据流进行处理。卡尔曼滤波器进行去噪,时序卷积神经网络进行特征提取,LSTM网络进行预测,取15条间隔为5S的网络流量数据,持续跟踪数据经过不同阶段的变化,经过卡尔曼滤波器后得到的卡尔曼滤波数据记录表如表1所示:
表1
Figure BDA0003209555620000141
Figure BDA0003209555620000151
在经过TCN处理后记录数据特征的变化情况,得到的数据如表2所示:
表2
Figure BDA0003209555620000152
Figure BDA0003209555620000161
最终经过LSTM模型处理后的记录预测数据以及展示预测数据与原始数据的拟合情况,如表3所示,并绘制流量数据的拟合图,具体如图2所示。
表3
Figure BDA0003209555620000162
Figure BDA0003209555620000171
本发明提供的智慧城市网络流量预测方法,将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,具体来说,使用滤波器来消除网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM捕捉序列中存在的长期相关性,基于此对网络流量数据的预测准确率高于基准模型,如TCN模型,LSTM模型等。
下面对本发明提供的智慧城市网络流量预测系统进行描述,下文描述的智慧城市网络流量预测系统与上文描述的智慧城市网络流量预测方法可相互对应参照。
图3是本发明提供的智慧城市网络流量预测系统的结构示意图,如图3所示,包括:数据过滤模块310、特征获取模块311以及数据预测模块312;
数据过滤模块310,用于基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
特征获取模块311,用于基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
数据预测模块312,用于将目标特征序列输入至LSTM长短期记忆网络,以获取原始时序网络流量数据的预测结果。
本发明提供的智慧城市网络流量预测系统,将卡尔曼滤波器、TCN和LSTM网络协同结合在一起,通过确定卡尔曼滤波器来消除原始时序网络流量数据中存在的噪声,以减少其干扰,从而实现高精度的预测,然后采用TCN从这些数据中提取潜在特征,最后,采用LSTM实现对原始时序网络流量数据的预测。
图4是本发明提供的一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(communication interface)411、存储器(memory)412和总线(bus)413,其中,处理器410,通信接口411,存储器412通过总线413完成相互间的通信。处理器410可以调用存储器412中的逻辑指令,以执行如下方法:
基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
将目标特征序列输入至LSTM长短期记忆网络,以获取原始时序网络流量数据的预测结果。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地,本发明公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的智慧城市网络流量预测方法,例如包括:
基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
将目标特征序列输入至LSTM长短期记忆网络,以获取原始时序网络流量数据的预测结果。
另一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的智慧城市网络流量预测方法,例如包括:
基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
将目标特征序列输入至LSTM长短期记忆网络,以获取原始时序网络流量数据的预测结果。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种智慧城市网络流量预测方法,其特征在于,包括:
基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果;
其中,所述时序卷积网络使用多个残差块,分别为第一残差块、第二残差块和第三残差块,所述第一残差块、所述第二残差块和所述第三残差块均由两个膨胀因果卷积层组成,所述第一残差块的膨胀系数为1,所述第二残差块的膨胀系数为2,所述第三残差块的膨胀系数为3;
所述基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列,包括:
将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列;
根据所述第一特征序列,获取所述时序卷积网络中第二残差块的第二特征序列;
根据所述第二特征序列,获取所述时序卷积网络中第三残差块的第三特征序列;
根据所述第三特征序列,确定所述目标特征序列;
所述将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列,包括:
根据所述时序卷积网络,获取一维序列的第一输出序列;
对所述时序卷积网络中的权重参数进行归一化处理,以获取归一化权重参数;
根据所述归一化权重参数对所述第一输出序列进行优化,并根据优化后的第一输出序列,确定所述第一特征序列;
其中,所述一维序列是通过对所述预处理后的原始时序网络流量数据进行采样后得到的。
2.根据权利要求1所述的智慧城市网络流量预测方法,其特征在于,所述根据所述第一特征序列,获取所述时序卷积网络中第二残差块的第二特征序列,包括:
根据所述时序卷积网络,获取所述第一特征序列的第二输出序列;
根据所述归一化权重参数对所述第二输出序列进行优化,并根据优化后的第二输出序列,确定所述第二特征序列。
3.根据权利要求1所述的智慧城市网络流量预测方法,其特征在于,所述根据所述第二特征序列,获取所述时序卷积网络中第三残差块的第三特征序列,包括:
根据所述时序卷积网络,获取所述第二特征序列的第三输出序列;
根据所述归一化权重参数对所述第三输出序列进行优化,并根据优化后的第三输出序列,确定所述第三特征序列。
4.根据权利要求1所述的智慧城市网络流量预测方法,其特征在于,所述根据优化后的第一输出序列,确定所述第一特征序列,包括:
基于Relu激活函数对所述优化后的第一输出序列进行校正,以获取校正输出序列;
基于dropout正则化技术对所述校正输出序列进行正则化处理;
根据正则化结果和所述预处理后的原始时序网络流量数据,获取所述第一特征序列。
5.根据权利要求1所述的智慧城市网络流量预测方法,其特征在于,所述将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果,包括:
将所述目标特征序列输入至所述LSTM网络,以获取所述目标特征序列中的长期相关性;
将所述长期相关性作为所述LSTM网络的全连接层的输入,以获取所述原始时序网络流量数据的初始预测结果;
根据所述初始预测结果、所述全连接层的权重参数和所述偏置参数,并基于预设线性函数,获取所述预测结果。
6.一种智慧城市网络流量预测系统,其特征在于,包括:数据过滤模块、特征获取模块以及数据预测模块;
所述数据过滤模块,用于基于卡尔曼滤波器对原始时序网络流量数据进行预处理;
所述特征获取模块,用于基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列;
所述数据预测模块,用于将所述目标特征序列输入至LSTM长短期记忆网络,以获取所述原始时序网络流量数据的预测结果;
其中,所述时序卷积网络使用多个残差块,分别为第一残差块、第二残差块和第三残差块,所述第一残差块、所述第二残差块和所述第三残差块均由两个膨胀因果卷积层组成,所述第一残差块的膨胀系数为1,所述第二残差块的膨胀系数为2,所述第三残差块的膨胀系数为3;
所述基于时序卷积网络,获取预处理后的原始时序网络流量数据的目标特征序列,包括:
将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列;
根据所述第一特征序列,获取所述时序卷积网络中第二残差块的第二特征序列;
根据所述第二特征序列,获取所述时序卷积网络中第三残差块的第三特征序列;
根据所述第三特征序列,确定所述目标特征序列;
所述将所述预处理后的原始时序网络流量数据输入至所述时序卷积网络,以获取所述时序卷积网络中第一残差块的第一特征序列,包括:
根据所述时序卷积网络,获取一维序列的第一输出序列;
对所述时序卷积网络中的权重参数进行归一化处理,以获取归一化权重参数;
根据所述归一化权重参数对所述第一输出序列进行优化,并根据优化后的第一输出序列,确定所述第一特征序列;
其中,所述一维序列是通过对所述预处理后的原始时序网络流量数据进行采样后得到的。
7.一种电子设备,包括处理器和存储有计算机程序的存储器,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述智慧城市网络流量预测方法的步骤。
8.一种处理器可读存储介质,其特征在于,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行权利要求1至5任一项所述智慧城市网络流量预测方法的步骤。
CN202110926805.9A 2021-08-12 2021-08-12 智慧城市网络流量预测方法及系统 Active CN113783717B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110926805.9A CN113783717B (zh) 2021-08-12 2021-08-12 智慧城市网络流量预测方法及系统
PCT/CN2022/104839 WO2023016159A1 (zh) 2021-08-12 2022-07-11 智慧城市网络流量预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110926805.9A CN113783717B (zh) 2021-08-12 2021-08-12 智慧城市网络流量预测方法及系统

Publications (2)

Publication Number Publication Date
CN113783717A CN113783717A (zh) 2021-12-10
CN113783717B true CN113783717B (zh) 2023-03-24

Family

ID=78837586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110926805.9A Active CN113783717B (zh) 2021-08-12 2021-08-12 智慧城市网络流量预测方法及系统

Country Status (2)

Country Link
CN (1) CN113783717B (zh)
WO (1) WO2023016159A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113783717B (zh) * 2021-08-12 2023-03-24 北京邮电大学 智慧城市网络流量预测方法及系统
CN114548591B (zh) * 2022-03-01 2024-06-11 成都宓科网络科技服务有限公司 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN115001937B (zh) * 2022-04-11 2023-06-16 北京邮电大学 面向智慧城市物联网的故障预测方法及装置
CN116736895B (zh) * 2023-05-25 2024-05-03 潮州深能城市燃气发展有限公司 基于音速喷嘴法气体流量控制系统
CN116471196B (zh) * 2023-06-19 2023-10-20 宏景科技股份有限公司 运维监控网络维护方法、系统及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688112A (zh) * 2018-12-06 2019-04-26 南京邮电大学 工业物联网异常行为检测装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369689B (zh) * 2011-08-11 2014-05-07 华为技术有限公司 一种网络流量的长期预测方法及装置
US10957053B2 (en) * 2018-10-18 2021-03-23 Deepnorth Inc. Multi-object tracking using online metric learning with long short-term memory
CN111130839B (zh) * 2019-11-04 2021-07-16 清华大学 一种流量需求矩阵预测方法及其系统
CN110896381B (zh) * 2019-11-25 2021-10-29 中国科学院深圳先进技术研究院 一种基于深度神经网络的流量分类方法、系统及电子设备
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
CN111967688B (zh) * 2020-09-02 2024-02-23 沈阳工程学院 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN112437451B (zh) * 2020-11-10 2022-08-02 南京大学 一种基于生成对抗网络的无线网络流量预测方法和设备
CN112468326B (zh) * 2020-11-11 2022-11-04 北京工业大学 基于时间卷积神经网络的访问流量预测方法
CN112291122B (zh) * 2020-12-31 2021-03-16 迈普通信技术股份有限公司 网络流量检测方法、装置、电子设备及可读存储介质
CN112784881B (zh) * 2021-01-06 2021-08-27 北京西南交大盛阳科技股份有限公司 网络异常流量检测方法、模型及系统
CN112819136A (zh) * 2021-01-20 2021-05-18 南京邮电大学 基于cnn-lstm神经网络模型与arima模型的时间序列预测方法及系统
CN112801411B (zh) * 2021-02-26 2024-02-09 南京工业大学 一种基于生成对抗网络的网络流量预测方法
CN113783717B (zh) * 2021-08-12 2023-03-24 北京邮电大学 智慧城市网络流量预测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688112A (zh) * 2018-12-06 2019-04-26 南京邮电大学 工业物联网异常行为检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种数据增强与混合神经网络的异常流量检测;连鸿飞等;《小型微型计算机系统》;20200409(第04期);全文 *

Also Published As

Publication number Publication date
WO2023016159A1 (zh) 2023-02-16
CN113783717A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113783717B (zh) 智慧城市网络流量预测方法及系统
CN111784348B (zh) 账户风险识别方法及装置
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
KR102310490B1 (ko) 재귀적 신경망에서 시계열 데이터의 데이터 누락 및 노이즈에 강건한 gru 기반의 셀 구조 설계
CN110210169B (zh) 一种基于lstm的盾构机故障预测方法
CN113094860B (zh) 一种基于注意力机制的工控网络流量建模方法
CN111178261B (zh) 一种基于视频编码技术的人脸检测加速方法
CN106204597A (zh) 一种基于自步式弱监督学习的视频物体分割方法
CN111192206A (zh) 一种提高图像清晰度的方法
CN116307215A (zh) 一种电力系统的负荷预测方法、装置、设备及存储介质
CN112508299A (zh) 一种电力负荷预测方法、装置、终端设备及存储介质
CN115587666A (zh) 基于季节趋势分解和混合神经网络的负荷预测方法及系统
CN110796485A (zh) 一种提高预测模型的预测精度的方法及装置
CN113705929A (zh) 一种基于负荷特征曲线及典型特征值融合的春节假期负荷预测方法
CN111353534A (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN114615010A (zh) 一种基于深度学习的边缘服务器端入侵防御系统设计方法
CN110610140A (zh) 人脸识别模型的训练方法、装置、设备及可读存储介质
CN112738098A (zh) 一种基于网络行为数据的异常检测方法及装置
CN111400964A (zh) 一种故障发生时间预测方法及装置
CN109033413B (zh) 一种基于神经网络的需求文档和服务文档匹配方法
CN115619563A (zh) 一种基于神经网络的股票价格分析方法
CN112667394B (zh) 一种计算机资源利用率优化方法
CN114202110A (zh) 一种基于rf-xgboost的业务故障预测方法及装置
CN113033422A (zh) 基于边缘计算的人脸检测方法、系统、设备和存储介质
CN112668773B (zh) 一种入库流量的预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant