CN110351123A - 链路流量预测方法、装置及电子设备 - Google Patents

链路流量预测方法、装置及电子设备 Download PDF

Info

Publication number
CN110351123A
CN110351123A CN201910530069.8A CN201910530069A CN110351123A CN 110351123 A CN110351123 A CN 110351123A CN 201910530069 A CN201910530069 A CN 201910530069A CN 110351123 A CN110351123 A CN 110351123A
Authority
CN
China
Prior art keywords
period
model
link flow
prediction
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910530069.8A
Other languages
English (en)
Other versions
CN110351123B (zh
Inventor
王振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201910530069.8A priority Critical patent/CN110351123B/zh
Publication of CN110351123A publication Critical patent/CN110351123A/zh
Application granted granted Critical
Publication of CN110351123B publication Critical patent/CN110351123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供一种链路流量预测方法、装置及电子设备,首先对待测通信链路在多个时间段的实际链路流量进行去噪处理得到去噪链路流量,再根据该多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到该多个时间段之后的待测时间段的预测链路流量。如此,提高了预测结果的准确度。

Description

链路流量预测方法、装置及电子设备
技术领域
本申请涉及大数据技术领域,具体而言,涉及一种链路流量预测方法、装置及电子设备。
背景技术
随着网络的迅速发展,互联网提供的服务越来越多样化,使得各种组网中的通信链路承载的流量越来越大,因此,对通信链路的流量进行智能化的管控非常重要。
为了对通信链路的流量进行精准的管控,通常需要对被控通信链路的流量进行预测。目前,主要通过一些机器学习模型来对通信链路的流量进行预测,但这些机器学习模型实现起来比较复杂,且预测结果的准确度还有待提高。
发明内容
有鉴于此,本申请的目的之一在于提供一种链路流量预测方法、装置及电子设备,以至少部分地改善上述问题。
为了达到上述目的,本申请实施例采用如下技术方案:
第一方面,本申请实施例提供一种链路流量预测方法,所述方法包括:
获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量;
根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量。
第二方面,本申请实施例还提供一种链路流量预测装置,所述装置包括:
去噪模块,获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量;
预测模块,用于根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量。
第三方面,本申请实施例还提供一种电子设备,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所提供的链路流量预测方法方法。
第四方面,本申请实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被读取并执行时,实现上述第一方面所提供的链路流量预测方法。
相对于现有技术,本申请实施例提供的一种链路流量预测方法、装置及电子设备,首先对待测通信链路在多个时间段的实际链路流量进行去噪处理得到去噪链路流量,再根据该多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到该多个时间段之后的待测时间段的预测链路流量。如此,去除了输入流量预测模型的流量中的干扰,使其更符合待测通信链路的流量的历史变化趋势,并通过去除干扰的数据对流量预测模型进行实时在线训练,从而使得得到的预测结果更为准确。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种链路流量预测方法的流程示意图;
图2为本申请实施例提供的实际链路流量的示例;
图3为本申请实施例提供的一种通过网络流量采集器采集实际链路流量的示意图;
图4a为本申请实施例提供的未经去噪处理的实际链路流量的示例性曲线图;
图4b为本申请实施例提供的去噪链路流量的示例性曲线图;
图5为图1所示步骤S12的子步骤示意图;
图6为图5所示步骤S51的子步骤示意图;
图7为本申请实施例提供的SRU模型的一个计算单元的结构示例;
图8为本申请实施例提供的一种电子设备的方框示意图;
图9为本申请实施例提供的一种链路流量预测装置的功能模块框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1,图1是本申请实施例提供的一种链路流量预测方法的流程示意图,该方法可以应用于任意具有数据处理功能的电子设备中,例如,服务器、智能终端、个人计算机等。下面对该方法包括的步骤进行详细说明。
步骤S11,获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量。
其中,所述多个时间段可以是连续的,也可以是不连续的。待测通信链路可以是任意网络中的一条通信链路。本实施例中,可以对待测通信链路在每个时间段的链路流量信息进行统计,每个时间段的链路流量信息可以包括所述待测通信链路的链路标识(比如,链路ID)、在该时间段流经所述待测通信链路的实际链路流量以及采集到该实际链路流量的采集时刻。例如,假设按照时间间隔a进行采集,则采集时刻为t的实际链路流量是紧邻时刻t的前一时间间隔a内流经待测通信链路的流量大小。
详细地,流经待测通信链路的实际链路流量可以分为上行流量和下行流量,上行流量是指进入所述待测通信链路的流量,下行流量是指离开所述待测通信链路的流量。因此,采集到的每个时间段的链路流量信息中的实际链路流量可以分为上行实际链路流量和下行实际链路流量。
如图2所示,其中示出了链路ID为“d1277fd0-da04-4852-a8c0-3e23421043ea”的待测通信链路在2018年3月21日(2018/3/21)的实际链路流量,其中,2018/3/21的每个小时可以视作本实施例的一个时间段。示例性地,2018/3/21 0:00采集的是2018/3/20 23:00-2018/3/21 0:00这一时间段内的实际链路流量,2018/3/21 1:00采集的是2018/3/21 0:00-1:00这一时间段的实际链路流量。
本实施例中,如图3所示,可以采用网络流量采集器对流经待测网络中的待测通信链路的流量进行采集,网络流量采集器通常基于SNMP(Simple Network ManagementProtocol,简单网络管理协议)来实现流量采集。SNMP规定按照一定时间粒度(比如,1-5分钟)对流经特定链路的流量进行采集,每个时刻采集到的实际链路流量即为该时刻前的一个时间粒度内流经所述特定链路的流量。网络流量采集器采集到的实际链路流量可以存储到预设的数据库中,再由电子设备从该预设的数据库获取相应时间段内的实际链路流量。
网络流量采集器采集流量的时间粒度通常比待测时间段的时间跨度小,因此,如果需要采集所述多个时间段的实际链路流量用以预测待测时间段的流量,可以从所述预设的数据库获取每个时间段内各个时间粒度的实际链路流量并求和,即可得到该时间段的实际链路流量。例如,假设网络流量采集器是每隔1分钟采集一次待测通信链路的实际链路流量,那么,图2中每个小时对应的下行流量实际是该小时中每分钟内的下行流量之和,每个小时对应的上行流量实际是该小时中每分钟内的上行流量之和。
值得说明的是,在本实施例中,由于通信链路分上下行,则当要预测待测通信链路在待测时间段内的上行预测链路流量时,可以根据待测通信链路在该待测时间段之前的多个时间段的上行去噪链路流量预测得到;当要预测待测通信链路在待测时间段内的下行预测链路流量时,可以根据待测通信链路在该待测时间段之前的多个时间段的下行去噪链路流量预测得到。
本实施例中,在获取到实际链路流量后,可以对获取的实际链路流量进行去噪处理,去噪处理方式可以但不限于包括小波阈值去噪处理方式或小波包去噪处理方式。下面以小波阈值去噪处理方式为例,对实际链路流量的去噪过程进行详细阐述。
小波阈值去噪的基本原理是对信号进行小波变换得到小波系数,该小波系数包含有所述信号的重要信息。其中,所述信号的小波系数较大,而噪声的小波系数较小,从而可以选取一个合适的阈值,将大于该阈值的小波系数确定为所述信号产生的,将小于该阈值的小波系数确定为噪声产生的,并将由噪声产生的小波系数置为0,从而达到去噪的目的。
详细地,假定存在含有噪声的实际链路流量数据f(t),对f(t)进行小波阈值去噪处理的过程可以如下:
首先,对f(t)进行正交小波变换。
选择合适的小波(如,Haar小波)及小波分解层数(如,2层),对含有噪声的实际链路流量数据f(t)进行正交小波变换,从而将f(t)分解成不同大小、不同方向、不同频率的成分,这些成分以小波分解系数的形式存在。具体地,可以将f(t)分解得到如下所示的一组小波分解系数:
其中,cj,k是尺度系数,wj,k是小波系数,h、g是一对正交镜像滤波器组,j表示分解层数,n的取值范围是[1,N],k的取值范围为[0,N-1],N为离散采样点数,即实际链路流量数据f(t)包含的实际链路流量的个数。
然后,选择一个合适的阈值函数对分解得到的小波系数进行阈值处理,得到估计小波系数。该阈值函数用于将大于给定阈值的小波系数保留,将小于给定阈值的小波系数置为0,例如,本实施例可以采用软阈值函数来进行所述阈值处理。软阈值函数的表达式如下:
其中,sgn(·)为符号分段函数,wj,k表示去噪处理前的小波系数,表示去噪处理后的小波系数,λ为阈值。可选地,该阈值λ可以为通用阈值,则σ为噪声的标准差,其可以通过以下计算式计算得到:
其中,median()是一种计算机函数,可以返回给定输入序列的中值。
所述阈值λ可以采用极大极小阈值估计法确定,估计得到的最小均方差的极值可以作为所述阈值。
通过上述过程,可以得到新的一组小波系数sgn(wj,k)(|wj,k|-λ),该组小波系数中的每一个都由实际链路流量产生。
最后,基于所述新的一组小波系数进行小波重构。其中,小波重构为前述的小波分解的逆过程,具体可以通过以下公式实现:
重构得到的信号cj,n即为去噪链路流量的序列。
通常,在小波分析工具包中提供有用于实现上述小波阈值去噪处理的API(Application Programming Interface,应用程序编程接口),本实施例中,电子设备可以将获取的实际链路流量的序列作为输入参数传递给所述API,并调用所述API,得到的输出结果即为对应的去噪链路流量的序列。
请参照图4a和图4b,图4a示出了某条通信链路的下行实际链路流量的原始曲线图,图4b示出了该条链路的下行实际链路流量经小波阈值去噪后的去噪链路流量构成的流量曲线图。可以看出,去噪后得到的流量曲线图在保持原始曲线图的涨落趋势的前提下,将原始曲线图中的许多微小毛刺处理得较平滑,更加符合该条通信链路的下行实际链路流量当前的实际变化趋势。
步骤S12,根据多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到多个时间段之后的待测时间段的预测链路流量。
其中,所述模型优化条件可以是预测误差符合预设条件,例如,流量预测模型的损失函数满足预设的收敛条件;还可以是在对流量预测模型进行在线实时训练的过程中,迭代次数达到预设的阈值。
在本实施例中,流量预测模型可以在基于历史链路流量预测未来的链路流量时,同步地基于所述历史链路流量进行实时训练以满足预设的模型优化条件,并在满足该模型优化条件时得到所需预测的链路流量。可选地,请参照图5,步骤S12可以通过图5所示步骤实现。
步骤S51,通过流量预测模型对多个时间段中每个时间段的去噪链路流量进行处理,预测得到该时间段的下个时间段的预测链路流量。
在本实施例中,将任意一个时间段的去噪链路流量输入流量预测模型,可以得到这个时间段的下个时间段的预测链路流量。在一种情况下,如果上述多个时间段是连续的,针对上述多个时间段中的每个时间段,可以将该时间段的去噪链路流量输入流量预测模型,流量预测模型将输出该时间段的下个时间段的预测链路流量。如此,可以得到上述多个时间段中除第一个时间段外的所有时间段的预测链路流量。
在又一种情况下,如果获取到的多个时间段不全是连续的,例如,上述多个时间段中某两个相邻的时间段为Ta和Ta+2,这两个时间段之间间隔有一个时间段Ta+1,时间段Ta+1不是上述多个时间段中的一个。在此情况下,上述流量预测模型对时间段Ta的去噪链路流量进行处理,预测得到的是时间段Ta+1的预测链路流量,由于并未获得时间段Ta+1的去噪链路流量,因此,上述流量预测模型可以对时间段Ta+1的预测链路流量进行处理,以得到时间段Ta+2的预测链路流量。可见,当上述多个时间段不全连续时,仍可获得上述多个时间段中除第一个时间段外的所有时间段的预测链路流量。
值得说明的是,后文主要以上述多个时间段是连续的为例来对本实施例的方案进行详细阐述。
可选地,本申请实施例中的流量预测模型可以是简单循环单元(SimpleRecurrentUnit,SRU)模型或其他类似的模型。SRU模型包括多个计算单元,每个计算单元对应SRU模型的输入时间序列的一个时刻。以时刻t对应的计算单元Mt为例,将时刻t-1对应的计算单元输出的内部状态值Ct-1以及时刻t的去噪链路流量xt输入Mt,可以得到该去噪链路流量xt的线性变换结果zt、时刻t的遗忘门输出值ft、时刻t的重置门输出值rt、计算单元Mt的内部状态值Ct(又称,SRU模型在时刻t的内部状态值)、计算单元Mt的隐含层输出值ht(又称,SRU模型在时刻t的输出状态值)以及时刻t的预测链路流量pret。其中,遗忘门输出值ft通常属于[0,1],其可以表示计算单元Mt对上一时刻t-1的计算单元的内部状态值的遗忘比例。
在本实施例中,假定步骤S11中获取了N(N为正整数)个时间段的实际链路流量,N个时间段连续。则,对于N个时间段中第i+1个时间段的预测链路流量,可以通过图6所示的步骤得到。
步骤S61,根据N个时间段中第i个时间段的去噪链路流量及SRU模型在第i-1个时间段的内部状态值,得到SRU模型在第i个时间段的内部状态值。
其中,i为整数且1≤i≤N,值得说明的是,去噪链路流量与时间段一一对应,因此获取到的去噪链路流量的个数也为N。第i-1个时间段的内部状态值可以为随机数或者0。
步骤S62,根据第i个时间段的去噪链路流量以及第i个时间段的内部状态值,得到SRU模型在第i个时间段的输出状态值。
步骤S63,根据第i个时间段的输出状态值得到待测通信链路在第i+1个时间段的预测链路流量。
请参照图7,图7示出了SRU模型中t时刻的计算单元Mt的结构示意图。其中,σ表示sigmoid激活函数,g表示g(·)激活函数,“⊕”表示相加,表示按元素相乘,“w*”表示进行简单线性转换,“1-”表示进行共轭变换。
下面结合图7,对图6所示步骤做进一步的阐述。其中,假定时刻t用于表征第i个时间段,换言之,时刻t-1和时刻t的时间间隔为第i个时间段。
在步骤S61中,可以将时刻t-1的计算单元的内部存储单元Ct-1以及待测通信链路在时刻t的去噪链路流量xt输入计算单元Mt,并通过以下计算式(1)计算时刻t的内部状态值Ct
Ct=ft⊙Ct-1+(1-ft)⊙zt (1)
其中,⊙表示Hadamard乘积,即按元素相乘;zt表示经过简单线性变换的xt,ft表示遗忘门输出值。详细地,遗忘门输出值ft可以通过以下计算式(2)计算得到。
ft=σ(Wfxt+bf), (2)
其中,Wf为SRU模型的参数矩阵,bf为偏置单元向量。
在步骤S42中,可以通过以下计算式(3)计算SRU模型在时刻t的输出状态值ht
ht=rt⊙g(Ct)+(1-rt)⊙xt (3)
其中,SRU模型在时刻t的重置门输出值rt可以通过如下所示的计算式(4)计算得到。
rt=σ(Wrxt+br) (4)
其中,Wr为SRU模型的参数矩阵,br为偏置单元向量。SRU模型在时刻t的内部状态值Ct可以通过如下所示的计算式(5)计算得到。
Ct=ft⊙Ct-1+(1-ft)⊙zt (5)
其中,zt为经过简单变换的去噪链路流量xt,其可以通过计算式zt=Wxt得到,其中,W为SRU模型的参数矩阵。在计算式(3)中,g(Ct)为经过非线性变换的内部状态值Ct
在步骤S63中,可以通过如下计算式(6)得到与时刻t+1对应的预测链路流量,即:待测通信链路在第i+1个时间段的预测链路流量。
pret+1=htWpre+bpre (6)
其中,Wpre为SRU模型的参数矩阵,bpre为偏置单元向量。
可以看出,去噪链路流量的线性变换结果zt、重置门输出值rt以及遗忘门输出值ft的计算均不依赖于前一时刻的计算单元的输出,且它们彼此之间也没有依赖,因此可以并行计算去噪链路流量的线性变换结果zt、重置门输出值rt以及遗忘门输出值ft
进一步地,LSTM模型需要根据前一时刻的输出状态值计算当前时刻的输出状态值,也就是说,必须计算出前一时刻的输出状态值后,才能开始下一时刻的输出状态值的计算,耗时较长。而本实施例采用SRU模型,其输出状态值ht不依赖于前一时刻的计算单元的输出状态值,可以改善前述问题,从而节约训练时长和预测时长。
在本实施例中,上述的各个参数矩阵和偏置单元向量可以在实时训练过程中调整得到,其具体过程如步骤S52所示。
步骤S52,利用流量预测模型的损失函数对各个时间段预测得到的预测链路流量及各个时间段的去噪链路流量进行计算,并根据计算结果调整流量预测模型中的模型参数,使得调整后的流量预测模型满足模型优化条件。
在步骤S51中,预测得到了多个时间段中除第一个时间段之外的所有时间段的预测链路流量,换言之,时间段i(2≤i≤N)存在对应的预测链路流量及去噪链路流量。因此,在步骤S42中,可以利用流量预测模型的损失函数对各个时间段的预测链路流量和去噪链路流量进行计算,从而得到该损失函数的函数值,并基于得到的函数值调整流量预测模型中的模型参数,直至迭代次数达到预设的阈值,或是直至损失函数满足预设的收敛条件,则确定当前的流量预测模型满足了前述的模型优化条件,可以不再进行模型参数的调整。
可选地,上述损失函数可以是:
在上式中,N为步骤S11中时间段或去噪链路流量的个数,prei表示第i个时间段的预测链路流量,yi表示第i个时间段的去噪链路流量。
步骤S53,确定调整后的流量预测模型在满足模型优化条件时基于多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量,根据确定预测链路流量得到待测时间段的预测链路流量。
在本实施例的一种实施方式中,待测时间段可以是单个时间段。以步骤S11中获得了N个时间段的去噪链路流量为例,可以按照步骤S51和S52的描述,采用N个时间段的去噪链路流量对流量预测模型进行实时在线训练并调整其模型参数。由于流量预测模型可以基于前一时间段的链路流量预测得到连续的下一时间段的链路流量,因而,当调整后的流量预测模型满足模型优化条件时,其根据第N个时间段的去噪链路流量预测得到的是第N+1个时间段的预测链路流量。
在一种情况下,如果待测时间段与多个时间段中最后一个时间段连续,即用户需要预测的是第N+1个时间段的预测链路流量,则可以直接将调整后的流量预测模型在满足模型优化条件时基于多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量作为待测时间段的预测链路流量。
在又一种情况下,如果待测时间段与多个时间段中最后一个时间段不连续,例如,用户需要预测的是第N+2个时间段的预测链路流量,则在确定调整后的流量预测模型在满足模型优化条件时基于多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量(即,第N+1个时间段的预测链路流量)时,可以继续通过调整后的流量预测模型对第N+1个时间段的预测链路流量进行处理,预测得到第N+2个时间段的预测链路流量。
在本实施例的另一种实施方式中,待测时间段可以为多个。其中,计算首个待测时间段的预测链路流量的方式与前一实施方式中计算单个待测时间段的预测链路流量相似,在此不再赘述。对于待测时间段中除首个待测时间段外的其他待测时间段,可以利用调整后的流量预测模型对前一待测时间段的预测链路流量进行处理,预测得到下一待测时间段的预测链路流量。可选地,在确定下一待测时间段的预测链路流量时,还可以将待测时间段之前的N个时间段的去噪数据流量、当前待测时间段之前的待测时间段的预测链路流量和当前待测时间段的预测链路流量输入到调整后的流量预测模型中,继续对流量预测模型中的参数进行调整,直至再次调整后的流量预测模型满足模型优化条件时,基于当前待测时间段的预测链路流量输出下一待测时间段的预测链路流量,这样使得再次调整的流量预测模型能够学习到输入的待测时间段的预测链路流量的一些特征,从而在一定程度上提高了下一待测时间段的预测链路流量的预测结果的准确性。
在图1所示方法中,通过去噪处理去除了输入到流量预测模型的链路流量的干扰信息,使得输入到流量预测模型的去噪链路流量更符合待测通信链路的流量的历史变化趋势,相应地,基于该去噪链路流量预测得到的预测链路流量将更为准确。
此外,现有技术的一些场景中通常采用循环神经网络(Recurrent neuralnetwork,RNN)来预测链路流量,但RNN的记忆容量有限,随着时间间隔的不断增大,RNN会丧失学习到远处信息的能力。基于此,在另一些场景中,采用长短期记忆网络(Long-ShortTerm Memory,LSTM)模型来预测链路流量,但LSTM模型的结构复杂,需要耗费比较多的训练时间,在预测过程中也会耗费较多时间,并且容易在反向传播过程中出现梯度消失。而通过采用SRU模型来对通信链路的链路流量进行预测,可以至少部分地改善前述问题。
为了更好地理解本申请的方案,下面以流量预测模型是SRU模型为例,对本实施例提供的链路流量预测方法的详细实现流程做进一步阐述。
假设需要对待测通信链路A在2019年2月21日(2019/1/21)的t3-t4、t4-t5两个时间段的流量进行预测,则该两个时间段均为待测时间段。现将t3-t4时间段描述为待测时间段T1,将t4-t5时间段描述为待测时间段T2。其中,待测时间段T1可以用时刻t4表征,待测时间段T2可以用时刻t5表征,换句话说,待测时间段T1内的链路流量的采集时刻可以为t4,待测时间段T2内的链路流量的采集时刻可以为t5。
示例性地,时刻t3为2019/2/21 0:00,时刻t4为2019/2/21 8:00,时刻t5为2019/2/21 16:00。在此情况下,可以获取待测时间段T1和T2之前的t0-t1、t1-t2以及t2-t3三个时间段的实际链路流量。其中:
t0为2019/2/20 0:00,采集的实际链路流量为xt0
t1为2019/2/20 8:00,采集的实际链路流量为xt1
t2为2019/2/20 16:00,采集的实际链路流量为xt2
如上所述,t3为2019/2/21 0:00,其采集的实际链路流量为xt3
对于采集的实际链路流量xt0、xt1、xt2、xt3,可以调用小波分析工具包中的小波阈值去噪API对{xt0、xt1、xt2、xt3}这一实际链路流量序列进行处理,该小波阈值去噪API输出{xt0′,xt1′,xt2′,xt3′},其中,xt0′为t0-1至t0时间段的去噪链路流量,xt1′为t0-t1时间段的去噪链路流量,xt2′为t1-t2时间段的去噪链路流量,xt3′为t2-t3时间段的去噪链路流量。
下面可以通过SRU模型来对去噪链路流量xt0′,xt1′,xt2′,xt3′进行处理,从而预测出待测时间段T1和T2的预测链路流量。过程如下:
第一、将时刻t0的去噪链路流量xt0′、SRU模型在时刻t0-1的内部状态值Ct0-1输入到SRU模型,其中,Ct0-1可以为随机数或0。按照前述的计算式(1)-(6)进行如下计算:
ft0=σ(Wfxt0′+bf),
rt0=σ(Wrxt0′+br),
Ct0=ft0⊙Ct0-1+(1-ft0)⊙zt0,其中,zt0为xt0′的线性变换结果,即,zt0=Wxt0′,
ht0=rt0⊙g(Ct0)+(1-rt0)⊙xt0'。
第二、计算待测通信链路A在t1时刻所表征的t0-t1时间段的预测链路流量pret1
pret1=ht0Wpre+bpre
第三、将时刻t1的去噪链路流量xt1′、SRU模型在时刻t0的内部状态值Ct0输入SRU模型,并按照计算式(1)-(6)进行如下计算:
ft1=σ(Wfxt1′+bf);
rt1=σ(Wrxt1′+br);
Ct1=ft1⊙Ct0+(1-ft1)⊙zt1,其中,zt1=Wxt1′;
ht1=rt1⊙g(Ct1)+(1-rt1)⊙xt1';
第四、计算待测通信链路A在t2时刻所表征的t1-t2时间段的预测链路流量pret2
pret2=ht1Wpre+bpre
第五、将时刻t2的去噪链路流量xt2′、SRU模型在时刻t1的内部状态值Ct1输入SRU模型,并按照计算式(1)-(6)进行如下计算:
ft2=σ(Wfxt2′+bf);
rt2=σ(Wrxt2′+br);
Ct2=ft2⊙Ct1+(1-ft2)⊙zt2,其中,zt2=Wxt2′;
ht2=rt2⊙g(Ct2)+(1-rt2)⊙xt2'。
第六、计算待测通信链路A在t3时刻所表征的t2-t3时间段的预测链路流量pret3
pret3=ht2Wpre+bpre
第七、将时刻t3的去噪链路流量xt3′、SRU模型在时刻t2的内部状态值Ct2输入SRU模型,并按照计算式(1)-(6)进行如下计算:
ft3=σ(Wfxt3′+bf);
rt3=σ(Wrxt3′+br);
Ct3=ft3⊙Ct2+(1-ft3)⊙zt3;其中,zt3=Wxt3′;
ht3=rt3⊙g(Ct3)+(1-rt3)⊙xt3'。
第八、对于t0-t1时间段、t1-t2时间段以及t2-t3时间段,分别存在对应的预测链路流量和去噪链路流量,根据各个时间段的预测链路流量和去噪链路流量计算损失函数的值:
第九、如果E不满足预设的收敛条件,则对SRU模型的各个参数矩阵和偏置单元向量进行调整,然后再次重复上述的第一至第五个步骤,直至计算得到的E满足所述预设的收敛条件为止。
第十、在计算得到的E满足所述预设的收敛条件时,计算待测通信链路A在t4时刻所表征的待测时间段T1的预测链路流量pret4
pret4=ht3Wpre+bpre
第十一、将时刻t4的预测链路流量pret4、SRU模型在时刻t3的内部状态值Ct3输入满足预设的收敛条件的SRU模型,并按照计算式(1)-(6)进行计算:
ft4=σ(Wfxt4′+bf)=σ(Wfpret4+bf);
rt4=σ(Wrxt4′+br)=σ(Wrpret4+br);
Ct4=ft4⊙Ct3+(1-ft4)⊙zt4=ft4⊙Ct3+(1-ft4)⊙(Wxt4')=ft4⊙Ct3+(1-ft4)⊙(Wpret4);
ht4=rt4⊙g(Ct3)+(1-rt4)⊙xt4'=rt4⊙g(Ct3)+(1-rt4)⊙pret4
第十二、计算待测通信链路A在t5所表征的待测时间段T2的预测链路流量pret5
pret5=ht4Wpre+bpre
如果还需预测待测通信链路A在时刻t5之后的其他时间段Ti的预测链路流量,则可以将前一时间段Ti-1的预测链路流量输入满足上述预设的收敛条件的SRU模型,该SRU模型即可输出所述其他时间段Ti的预测链路流量。例如,可以继续将预测链路流量pret5输入满足所述预设的收敛条件的SRU模型,即可得到时刻t6所表征的t5-t6时间段的预测链路流量pret6
请参照图8,图8是本申请实施例提供的一种电子设备800的方框示意图。电子设备800包括机器可读存储介质810及处理器820,机器可读存储介质810和处理器820可以经由系统总线通信连接。机器可读存储介质810存储有机器可执行指令,处理器820通过调用并执行该机器可执行指令,可以实现本申请实施例提供的链路流量预测方法。
此外,所述机器可执行指令还可以包括用于实现上文描述的流量预测模型的指令。
请参照图9,其中示出了本申请实施例提供的一种链路流量预测装置900的功能模块框图。链路流量预测装置900包括至少一个可以以软件形式存储在机器可读存储介质810中的功能模块,从功能上划分,可以包括去噪模块910以及预测模块920。
其中,去噪模块910用于获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量。
预测模块920用于根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量。
可选地,所述预测模块920可以包括预测子模块921和调参子模块922。
其中,预测子模块921用于通过所述流量预测模型对所述多个时间段中每个时间段的去噪链路流量进行处理,预测得到该时间段的下个时间段的预测链路流量。
调参子模块922用于利用所述流量预测模型的损失函数对各个时间段预测得到的预测链路流量及各个时间段的去噪链路流量进行计算,并根据计算结果调整所述流量预测模型中的模型参数,使得调整后的流量预测模型满足所述模型优化条件。
对应地,所述预测子模块921还可以用于确定所述调整后的流量预测模型在满足所述模型优化条件时基于所述多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量,根据确定的预测链路流量得到所述待测时间段的预测链路流量。
可选地,在本实施例中,流量预测模型可以是SRU模型,则预测子模块921具体可以用于:
根据所述多个时间段中第i个时间段的去噪链路流量以及所述SRU模型在第i-1个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的内部状态值;根据所述第i个时间段的去噪链路流量以及所述第i个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的输出状态值;根据所述第i个时间段的输出状态值得到所述待测通信链路在所述第i+1个时间段的预测链路流量。
其中,i为大于等于1且小于等于所述时间段的数量的整数,当i=1时,第i-1个时间段的内部状态值为随机数或0。
可选地,所述预测子模块921可以通过以下方式得到SRU模型在所述第i个时间段的内部状态值:
对所述第i个时间段的去噪链路流量进行线性变换;
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的遗忘门输出值;
根据所述第i个时间段的去噪链路流量的线性变换结果、所述SRU模型在所述第i-1个时间段的内部状态值以及所述SRU模型在所述第i个时间段的遗忘门输出值,得到所述SRU模型在所述第i个时间段的内部状态值。
可选地,所述预测子模块921可以通过以下方式得到SRU模型在所述第i个时间段的输出状态值:
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的重置门输出值;
根据所述SRU模型在所述第i个时间段的重置门输出值、去噪链路流量以及内部状态值得到所述SRU模型在所述第i个时间段的输出状态值。
在本实施例中,所述第i个时间段的去噪链路流量的线性变换结果以及所述SRU模型在所述第i个时间段的遗忘门输出值和重置门输出值可以由所述预测子模块921并行计算得到。
值得说明的是,关于上述各个模块的描述具体可以参照前文关于对应步骤的详细描述。
综上所述,本申请实施例提供的一种通信链路流量预测方法、装置及电子设备,首先对待测通信链路在多个时间段的实际链路流量进行去噪处理得到去噪链路流量,再根据该多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到该多个时间段之后的待测时间段的预测链路流量。如此,去除了输入流量预测模型的流量中的干扰,使其更符合待测通信链路的流量的历史变化趋势,并通过去除干扰的数据对流量预测模型进行实时训练,从而使得到的预测结果更为准确。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种链路流量预测方法,其特征在于,所述方法包括:
获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量;
根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量的步骤,包括:
通过所述流量预测模型对所述多个时间段中每个时间段的去噪链路流量进行处理,预测得到该时间段的下个时间段的预测链路流量;
利用所述流量预测模型的损失函数对各个时间段预测得到的预测链路流量及各个时间段的去噪链路流量进行计算,并根据计算结果调整所述流量预测模型中的模型参数,使得调整后的流量预测模型满足所述模型优化条件;
确定所述调整后的流量预测模型在满足所述模型优化条件时基于所述多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量,根据确定的预测链路流量得到所述待测时间段的预测链路流量。
3.根据权利要求2所述的方法,其特征在于,所述流量预测模型为简单循环单元SRU模型;
所述通过所述流量预测模型对所述多个时间段中每个时间段的去噪链路流量进行处理,预测得到该时间段的下个时间段的预测链路流量的步骤,包括:
根据所述多个时间段中第i个时间段的去噪链路流量以及所述SRU模型在第i-1个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的内部状态值;其中,i为大于等于1且小于等于所述时间段的数量的整数,当i=1时,第i-1个时间段的内部状态值为随机数或0;
根据所述第i个时间段的去噪链路流量以及所述第i个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的输出状态值;
根据所述第i个时间段的输出状态值得到所述待测通信链路在所述第i+1个时间段的预测链路流量。
4.根据权利要求3所述的方法,其特征在于,
所述根据所述第i个时间段的去噪链路流量以及所述SRU模型在第i-1个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的内部状态值的步骤,包括:
对所述第i个时间段的去噪链路流量进行线性变换;
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的遗忘门输出值;
根据所述第i个时间段的去噪链路流量的线性变换结果、所述SRU模型在所述第i-1个时间段的内部状态值以及所述SRU模型在所述第i个时间段的遗忘门输出值,得到所述SRU模型在所述第i个时间段的内部状态值;
所述根据所述第i个时间段的去噪链路流量以及所述第i个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的输出状态值的步骤,包括:
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的重置门输出值;
根据所述SRU模型在所述第i个时间段的重置门输出值、去噪链路流量以及内部状态值得到所述SRU模型在所述第i个时间段的输出状态值。
5.根据权利要求4所述的方法,其特征在于,所述第i个时间段的去噪链路流量的线性变换结果以及所述SRU模型在所述第i个时间段的遗忘门输出值和重置门输出值为并行计算得到的。
6.一种链路流量预测装置,其特征在于,所述装置包括:
去噪模块,获取待测通信链路分别在多个时间段的实际链路流量,并分别对各个时间段的实际链路流量进行去噪处理得到各个时间段的去噪链路流量;
预测模块,用于根据所述多个时间段的去噪链路流量对流量预测模型中的模型参数进行调整,使调整后的流量预测模型在满足模型优化条件时预测得到所述多个时间段之后的待测时间段的预测链路流量。
7.根据权利要求6所述的装置,其特征在于,所述预测模块包括:
预测子模块,用于通过所述流量预测模型对所述多个时间段中每个时间段的去噪链路流量进行处理,预测得到该时间段的下个时间段的预测链路流量;
调参子模块,用于利用所述流量预测模型的损失函数对各个时间段预测得到的预测链路流量及各个时间段的去噪链路流量进行计算,并根据计算结果调整所述流量预测模型中的模型参数,使得调整后的流量预测模型满足所述模型优化条件;
所述预测子模块,还用于确定所述调整后的流量预测模型在满足所述模型优化条件时基于所述多个时间段中最后一个时间段的去噪链路流量输出的预测链路流量,根据确定的预测链路流量得到所述待测时间段的预测链路流量。
8.根据权利要求7所述的装置,其特征在于,所述流量预测模型为SRU模型;所述预测子模块,具体用于:
根据所述多个时间段中第i个时间段的去噪链路流量以及所述SRU模型在第i-1个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的内部状态值;其中,i为大于等于1且小于等于所述时间段的数量的整数,当i=1时,第i-1个时间段的内部状态值为随机数或0;
根据所述第i个时间段的去噪链路流量以及所述第i个时间段的内部状态值,得到所述SRU模型在所述第i个时间段的输出状态值;
根据所述第i个时间段的输出状态值得到所述待测通信链路在所述第i+1个时间段的预测链路流量。
9.根据权利要求8所述的装置,其特征在于,
所述预测子模块通过以下方式得到所述SRU模型在所述第i个时间段的内部状态值:
对所述第i个时间段的去噪链路流量进行线性变换;
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的遗忘门输出值;
根据所述第i个时间段的去噪链路流量的线性变换结果、所述SRU模型在所述第i-1个时间段的内部状态值以及所述SRU模型在所述第i个时间段的遗忘门输出值,得到所述SRU模型在所述第i个时间段的内部状态值;
所述预测子模块通过以下方式得到所述SRU模型在所述第i个时间段的输出状态值:
根据所述第i个时间段的去噪链路流量得到所述SRU模型在所述第i个时间段的重置门输出值;
根据所述SRU模型在所述第i个时间段的重置门输出值、去噪链路流量以及内部状态值得到所述SRU模型在所述第i个时间段的输出状态值。
10.根据权利要求9所述的装置,其特征在于,所述第i个时间段的去噪链路流量的线性变换结果以及所述SRU模型在所述第i个时间段的遗忘门输出值和重置门输出值由所述预测子模块并行计算得到。
11.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1-5任一项所述的链路流量预测方法。
12.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被读取并执行时,实现上述权利要求1-5任一项所述的链路流量预测方法。
CN201910530069.8A 2019-06-19 2019-06-19 链路流量预测方法、装置及电子设备 Active CN110351123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910530069.8A CN110351123B (zh) 2019-06-19 2019-06-19 链路流量预测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910530069.8A CN110351123B (zh) 2019-06-19 2019-06-19 链路流量预测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110351123A true CN110351123A (zh) 2019-10-18
CN110351123B CN110351123B (zh) 2020-11-10

Family

ID=68182376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910530069.8A Active CN110351123B (zh) 2019-06-19 2019-06-19 链路流量预测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110351123B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795246A (zh) * 2019-10-25 2020-02-14 新华三大数据技术有限公司 资源利用率的预测方法及装置
CN112989540A (zh) * 2021-04-12 2021-06-18 福建省海峡信息技术有限公司 一种基于sru网络异常流量的检测方法及系统
CN113037577A (zh) * 2019-12-09 2021-06-25 中国电信股份有限公司 网络流量预测方法、装置和计算机可读存储介质
WO2021196603A1 (zh) * 2020-03-31 2021-10-07 北京达佳互联信息技术有限公司 带宽确定方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1248383B1 (en) * 2001-04-02 2006-09-20 Alcatel Method and apparatus for identification of an access network by means of 1-port measurements
WO2016078703A1 (en) * 2014-11-19 2016-05-26 Telefonaktiebolaget L M Ericsson (Publ) Inferring component parameters for components in a network
CN107070683A (zh) * 2016-12-12 2017-08-18 国网北京市电力公司 数据预测的方法和装置
CN108167653A (zh) * 2017-12-23 2018-06-15 浙江大学 基于动态神经网络预测的城市供水管网爆管检测方法
CN109873712A (zh) * 2018-05-18 2019-06-11 新华三信息安全技术有限公司 一种网络流量预测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1248383B1 (en) * 2001-04-02 2006-09-20 Alcatel Method and apparatus for identification of an access network by means of 1-port measurements
WO2016078703A1 (en) * 2014-11-19 2016-05-26 Telefonaktiebolaget L M Ericsson (Publ) Inferring component parameters for components in a network
CN107070683A (zh) * 2016-12-12 2017-08-18 国网北京市电力公司 数据预测的方法和装置
CN108167653A (zh) * 2017-12-23 2018-06-15 浙江大学 基于动态神经网络预测的城市供水管网爆管检测方法
CN109873712A (zh) * 2018-05-18 2019-06-11 新华三信息安全技术有限公司 一种网络流量预测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795246A (zh) * 2019-10-25 2020-02-14 新华三大数据技术有限公司 资源利用率的预测方法及装置
CN113037577A (zh) * 2019-12-09 2021-06-25 中国电信股份有限公司 网络流量预测方法、装置和计算机可读存储介质
WO2021196603A1 (zh) * 2020-03-31 2021-10-07 北京达佳互联信息技术有限公司 带宽确定方法、装置、电子设备和存储介质
US11388459B2 (en) 2020-03-31 2022-07-12 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for determining bandwidth, and electronic device and storage medium
CN112989540A (zh) * 2021-04-12 2021-06-18 福建省海峡信息技术有限公司 一种基于sru网络异常流量的检测方法及系统

Also Published As

Publication number Publication date
CN110351123B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN110351123A (zh) 链路流量预测方法、装置及电子设备
CN111130839B (zh) 一种流量需求矩阵预测方法及其系统
Pasquadibisceglie et al. Using convolutional neural networks for predictive process analytics
Borovykh et al. Dilated convolutional neural networks for time series forecasting
Huang et al. A generalized growing and pruning RBF (GGAP-RBF) neural network for function approximation
CN110135637A (zh) 基于长短期记忆与自适应提升的微电网短期负荷预测方法
Ahrens et al. Inferring input nonlinearities in neural encoding models
CN109902832A (zh) 机器学习模型的训练方法、异常预测方法及相关装置
Li et al. Mts-mixers: Multivariate time series forecasting via factorized temporal and channel mixing
CN109873712A (zh) 一种网络流量预测方法及装置
Kim et al. A distribution-free tabular CUSUM chart for autocorrelated data
CN108229718A (zh) 一种信息预测方法及装置
CN115512545B (zh) 一种基于时空动态图卷积网络的交通速度预测方法
CN112532746B (zh) 一种云边协同感知的方法及系统
CN111275479B (zh) 一种人流量预测方法、装置及系统
Jiang et al. Sunspot Forecasting by Using Chaotic Time-series Analysis and NARX Network.
CN110211119A (zh) 图像质量评估方法、装置、电子设备及可读存储介质
CN108228684A (zh) 聚类模型的训练方法、装置、电子设备和计算机存储介质
CN116504060A (zh) 基于Transformer的扩散图注意力网络交通流预测方法
Camehl Penalized estimation of panel vector autoregressive models: A panel LASSO approach
CN105515857B (zh) 一种基于rbf的城域数据网流量测算方法
CN109065176B (zh) 一种血糖预测方法、装置、终端和存储介质
CN113988264A (zh) 获得用于执行流量预测业务的图神经网络的方法及装置
Zhu et al. Variational mode decomposition and sample entropy optimization based transformer framework for cloud resource load prediction
Qing-Fang et al. Small-time scale network traffic prediction based on a local support vector machine regression model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant