CN113660176B - 通信网络的流量预测方法、装置、电子设备及存储介质 - Google Patents
通信网络的流量预测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113660176B CN113660176B CN202110936348.1A CN202110936348A CN113660176B CN 113660176 B CN113660176 B CN 113660176B CN 202110936348 A CN202110936348 A CN 202110936348A CN 113660176 B CN113660176 B CN 113660176B
- Authority
- CN
- China
- Prior art keywords
- historical
- service circuit
- historical flow
- flow
- target service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种通信网络的流量预测方法、装置、电子设备及存储介质,该方法包括:获取样本业务电路的第一历史流量的序列特征,以及第一历史流量的时刻特征;以第一历史流量的序列特征为第一输入,以第一历史流量的时刻特征为第二输入,以样本业务电路的第二历史流量为目标输出,对Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络;获取目标业务电路的历史流量的序列特征,以及目标业务电路的历史流量的时刻特征;将目标业务电路的历史流量的序列特征作为第一输入,并将目标业务电路的历史流量的时刻特征作为第二输入,得到深度神经网络对目标业务电路的流量输出的预测结果。本申请实施例能够提高流量预测的准确性。
Description
技术领域
本申请涉及人工智能领域,具体涉及一种通信网络的流量预测方法、装置、电子设备及存储介质。
背景技术
在通信网络中,业务电路中的流量是体现用户业务使用、业务增长/下降趋势的重要指标。为应对流量突变等异常情况,提前主动地作出预防措施,需要对流量作出准确的预测。现有技术中,对于流量相关的数据特征挖掘不足,从而导致流量预测的准确性较低。
发明内容
本申请的一个目的在于提出一种通信网络的流量预测方法、装置、电子设备及存储介质,能够提高流量预测的准确性。
根据本申请实施例的一方面,公开了一种通信网络的流量预测方法,所述方法包括:
获取通信网络中样本业务电路的第一历史流量的序列特征,以及所述第一历史流量的时刻特征;
以所述第一历史流量的序列特征为第一输入,以所述第一历史流量的时刻特征为第二输入,以所述样本业务电路在所述第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络;
获取通信网络中目标业务电路的历史流量的序列特征,以及所述目标业务电路的历史流量的时刻特征;
将所述目标业务电路的历史流量的序列特征作为所述第一输入,并将所述目标业务电路的历史流量的时刻特征作为所述第二输入,得到所述深度神经网络对所述目标业务电路的流量输出的预测结果。
根据本申请实施例的一方面,公开了一种通信网络的流量预测装置,所述装置包括:
第一获取模块,配置为获取通信网络中样本业务电路的第一历史流量的序列特征,以及所述第一历史流量的时刻特征;
训练模块,配置为以所述第一历史流量的序列特征为第一输入,以所述第一历史流量的时刻特征为第二输入,以所述样本业务电路在所述第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络;
第二获取模块,配置为获取通信网络中目标业务电路的历史流量的序列特征,以及所述目标业务电路的历史流量的时刻特征;
预测模块,配置为将所述目标业务电路的历史流量的序列特征作为所述第一输入,并将所述目标业务电路的历史流量的时刻特征作为所述第二输入,得到所述深度神经网络对所述目标业务电路的流量输出的预测结果。
在本申请的一示例性实施例中,所述时刻特征包含至少两个粒度的特征。
在本申请的一示例性实施例中,所述装置配置为:
获取针对所述至少两个粒度的特征分别设置的权重;
基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述至少两个粒度包括:以月份为单位的粒度,以日期为单位的粒度,以星期为单位的粒度,以小时为单位的粒度以及以分钟为单位的粒度中的至少两个。
在本申请的一示例性实施例中,所述装置配置为:
分别为所述至少两个粒度的特征设置权重,其中,星期粒度的权重以及小时粒度的权重大于其他粒度的权重;
基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述权重为自然数,所述装置配置为:
将所述第一历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述第一历史流量对应的数字向量;
对所述第一历史流量对应的数字向量进行归一化处理,得到所述第一历史流量的时刻特征;
将所述目标业务电路的历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述目标业务电路的历史流量对应的数字向量;
对所述目标业务电路的历史流量对应的数字向量进行归一化处理,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述装置配置为:
通过超参数搜索的方式,为所述深度神经网络处理所述第一输入所使用的第一损失函数分配第一权重,并为所述深度神经网络处理所述第二输入所使用的第二损失函数分别第二权重,其中,所述第一权重高于所述第二权重。
根据本申请实施例的一方面,公开了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现以上权利要求中的任一项所述的方法。
根据本申请实施例的一方面,公开了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行以上权利要求中的任一项所述的方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请实施例中,通过以流量的序列特征以及时刻特征为输入对Transformer结构的深度神经网络进行训练,使得该深度神经网络具备根据在前流量的序列特征以及在前流量的时刻特征准确预测在后流量的能力。从而使得该深度神经网络在进行流量预测的时候,能够综合利用全局的流量变化趋势以及短期的流量周期性规律对在后流量进行预测,从而提高流量预测的准确性。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参考附图详细描述其示例实施例,本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请一个实施例的通信网络的流量预测方法流程图。
图2示出了根据本申请一个实施例的Transformer结构的深度神经网络的结构示意图。
图3示出了根据本申请一个实施例的通信网络的流量预测装置框图。
图4示出了根据本申请一个实施例的电子设备硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本申请的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提供了一种通信网络的流量预测方法,主要用于对通信网络中虚拟的业务电路进行流量预测。通过流量预测,可以主动发现通信网络中的流量突变等异常情况,从而提前主动维护,提高通信网络的网络质量和客户服务质量。
图1示出了本申请一实施例的通信网络的流量预测方法流程图。参考图1所示,该方法包括:
步骤S110、获取通信网络中样本业务电路的第一历史流量的序列特征,以及第一历史流量的时刻特征;
步骤S120、以第一历史流量的序列特征为第一输入,以第一历史流量的时刻特征为第二输入,以样本业务电路在第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络;
步骤S130、获取通信网络中目标业务电路的历史流量的序列特征,以及目标业务电路的历史流量的时刻特征;
步骤S140、将目标业务电路的历史流量的序列特征作为第一输入,并将目标业务电路的历史流量的时刻特征作为第二输入,得到深度神经网络对目标业务电路的流量输出的预测结果。
本申请实施例中,流量预测的实施主要包括两部分:对预设的Transformer结构的深度神经网络进行训练,以及将训练完成的深度神经网络用于流量预测。其中,Transformer结构的深度神经网络的并行能力以及易于训练性方面,普遍优于其他结构的机器学习模型。
详细的,预设的Transformer结构的深度神经网络的网络结构主要包括两个分支:用于处理第一输入的分支,以及用于处理第二输入的分支。并且,样本业务电路的第一历史流量以及第二历史流量均为已经生成的流量,均可以事先确定。其中,第二历史流量为在第一历史流量之后生成的流量。
进而以第一历史流量的序列特征为第一输入,以第一历史流量的时刻特征为第二输入,以第二历史流量为目标输出,对该深度神经网络进行训练,使得该深度神经网络能够根据第一输入以及第二输入正确地预测目标输出(例如:根据第一输入以及第二输入预测目标输出的准确率大于预设准确率阈值),从而得到训练完成的深度神经网络。
训练完成的深度神经网络具备根据在前流量的序列特征以及在前流量的时刻特征准确预测在后流量的能力。
进而针对目标业务电路,将目标业务电路的历史流量的序列特征作为第一输入,并将目标电路的历史流量的时刻特征作为第二输入,从而通过深度神经网络根据目标业务电路的历史流量的序列特征以及目标业务电路的历史流量的时刻特征预测出目标业务电路的流量。
其中,流量的序列特征主要描述的是对应流量的全局变化趋势。流量的时刻特征主要描述的是对应流量在特定时间粒度上的时刻位置。
由此可见,本申请实施例中,通过以流量的序列特征以及时刻特征为输入对Transformer结构的深度神经网络进行训练,使得该深度神经网络具备根据在前流量的序列特征以及在前流量的时刻特征准确预测在后流量的能力。从而使得该深度神经网络在进行流量预测的时候,能够综合利用全局的流量变化趋势以及短期的流量周期性规律对在后流量进行预测,从而提高流量预测的准确性。
在一实施例中,对于流量进行预测的过程中,将上行流量与下行流量分离开来,分别进行深度神经网络的训练以及应用。
具体的,将样本业务电路的流量以及目标业务电路的流量均进行上下行流量的区分。针对上行流量,仅使用上行流量对深度神经网络进行训练,进而将训练完成的该深度神经网络用于对上行流量进行预测;同理,针对下行流量,仅使用下行流量对深度神经网络进行训练,进而将训练完成的该深度神经网络用于对下行流量进行预测。
该实施例的优点在于,通过区分上下行流量的方式,避免了训练过程中上行流量与下行流量相互影响,从而提高了流量训练以及预测的准确性。
在一实施例中,将流量按照生成时间的顺序依次采样,进而将采样所得到的序列作为对应流量的序列特征。
该实施例中,将第一历史流量按照生成时间的顺序依次采样,进而将采样所得到的序列作为第一历史流量的序列特征。同理,将目标业务电路的历史流量按照生成时间的顺序依次采样,进而将采样所得到的序列作为目标业务电路的历史流量的序列特征。进一步的,为保证采样的合理性,保持采样的时间间隔均匀。
例如,假设每个月都为30天,并且待提取序列特征的历史流量为从1月份到3月份的流量。
若采样频率为一天一次,则将该历史流量按照生成时间的顺序依次采样,会得到90个样本。进而将该90个样本组成的序列作为该历史流量的序列特征。
或者,若采样频率为5分钟一次,则将该历史流量按照生成时间的顺序依次采样,会得到(90*288)个样本。并将该(90*288)个样本按照时间顺序排列为一个(90*288)的矩阵,进而将该(90*288)的矩阵作为该历史流量的序列特征。
在一实施例中,流量的时刻特征仅包含一个粒度的特征。
该实施例中,预先设置一个粒度。进而在该粒度上提取得到第一历史流量的时刻特征。同理,在该粒度上提取得到目标业务电路的历史流量的时刻特征。
其中,所设置的粒度可以为以月份为单位的粒度,以日期为单位的粒度,以星期为单位的粒度,以小时为单位的粒度以及以分钟为单位的粒度中的任意一个。
例如,若所设置的粒度为以月份为单位的粒度,则可以将流量所处月份作为该流量的时刻特征——处于4月份的流量的时刻特征为“4”,处于5月份的流量的时刻特征为“5”。也可以将流量所处月份归一化处理后的数值作为该流量的时刻特征——将月份的取值范围1~12归一化处理为0~1的数值,进而处于4月份的流量的时刻特征为“4”归一化处理后的数值。
若所设置的粒度为以日期为单位的粒度,则可以将流量所处日期作为该流量的时刻特征——处于某月15日的流量的时刻特征为“15”,处于某月17日的流量的时刻特征为“17”。也可以将流量所处日期归一化处理后的数值作为该流量的时刻特征——将日期的取值范围1~30归一化处理为0~1的数值,进而处于某月15日的流量的时刻特征为“15”归一化处理后的数值。
同理,不再赘述其他粒度情况下流量的时刻特征的具体表现。
在一实施例中,流量的时刻特征包含多个粒度的特征。
该实施例中,预先设置至少两个粒度。进而提取得到的第一历史流量的时刻特征包含该至少两个粒度的特征,同理,目标业务电路的历史流量的时刻特征也包含该至少两个粒度的特征。
该实施例的优点在于,通过设置多个粒度的特征,提高了时刻特征所描述时刻的丰富性以及准确性。
在一实施例中,针对时刻特征所包含的多个粒度的特征分别设置权重,进而对各个粒度的特征进行加权得到对应的时刻特征。
该实施例中,获取针对至少两个粒度的特征分别设置的权重。进而基于权重对第一历史流量的至少两个粒度的特征进行加权,得到第一历史流量的时刻特征。并基于权重对目标业务电路的历史流量的至少两个粒度的特征进行加权,得到目标业务电路的历史流量的时刻特征。
在一实施例中,将权重设置为实数。通过为深度神经网络中的自注意力模块分配对应权重的系数来实现对至少两个粒度的特征的加权。
在一实施例中,考虑到时刻特征对应的数值的大小一般描述的是时刻的先后,并无大小之分,将每个粒度的特征排列而成的数字向量作为时刻特征。并通过将权重设置为自然数,并按照权重设置每个粒度的特征的数目的方式,实现对至少两个粒度的特征的加权。
例如:时刻特征所包含的特征的粒度包括月份,日期,星期,小时以及分钟。并且,月份的权重为1.0,日期的权重为1.0,星期的权重为2.0,小时的权重为5.0,分钟的权重为1.0。
某一流量的生成时间为2月19日(星期五)15点25分。则按照月份,日期,星期,小时以及分钟的次序排列各个特征所得到的该流量的时刻特征可以表示为[2,19,5,5,15,15,15,15,15,25]。
在一实施例中,时刻特征所包含的至少两个粒度包括:以月份为单位的粒度,以日期为单位的粒度,以星期为单位的粒度,以小时为单位的粒度以及以分钟为单位的粒度中的至少两个。
在一实施例中,按照从大到小进行排序,星期粒度的权重以及小时粒度的权重排在前两位。
该实施例中,分别为至少两个粒度的特征设置权重,其中,星期粒度的权重以及小时粒度的权重大于其他粒度的权重。基于权重对第一历史流量的至少两个粒度的特征进行加权,得到第一历史流量的时刻特征。基于权重对目标业务电路的历史流量的至少两个粒度的特征进行加权,得到目标业务电路的历史流量的时刻特征。
具体的,将时刻特征所包含的至少两个粒度划分为两部分:一、星期粒度以及小时粒度;二、其他粒度。
第一部分中任意一个粒度对应的特征的权重,大于第二部分中任意一个粒度对应的特征的权重。进而再根据为各个粒度的特征所分配的权重,对流量的至少两个粒度的特征进行加权,得到对应流量的时刻特征。
例如:时刻特征所包含特征的粒度有月份,日期,星期,小时以及分钟。将这些粒度划分为两部分:星期以及小时为第一部分;月份,日期以及分钟为第二部分。若为星期的特征分配的权重为5.0,则为月份的特征,日期的特征以及分钟的特征分配的权重均应小于5.0;若为小时的特征分配的权重为3.0,则为月份的特征,日期的特征以及分钟的特征分配的权重均应小于3.0。
该实施例的优点在于,考虑到业务电路中流量的变化与用户的使用习惯存在关联,而用户的使用习惯通常与星期以及小时存在周期性关联(例如,用户一周又一周的使用习惯总是近似周期性地重复,同理,用户一天又一天的使用习惯也总是近似周期性地重复),因此,为星期以及小时分配更高的权重,从而更为精准地描述时刻特征。
在一实施例中,针对用户的使用习惯与小时之间的周期性关联更为紧密的情况,为小时粒度所分配的权重,高于为星期粒度所分配的权重。通过这种方式,进一步精准地描述时刻特征。
在一实施例中,对于按照权重的数目进行排列组合以实现加权的特征,进一步地对加权后特征进行归一化处理,得到对应的时刻特征。
该实施例中,权重为自然数。
将第一历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到第一历史流量对应的数字向量。对第一历史流量对应的数字向量进行归一化处理,得到第一历史流量的时刻特征。
将目标业务电路的历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到目标业务电路的历史流量对应的数字向量。对目标业务电路的历史流量对应的数字向量进行归一化处理,得到目标业务电路的历史流量的时刻特征。
具体的,按照权重的数目进行排列组合得到对应的数字向量后,将该数字向量所包含的向量元素统一归一化至0到1之间,从而得到对应流量的时刻特征。
该实施例的优点在于,通过归一化处理,能够加速深度神经网络的数据收敛,防止梯度爆炸和过拟合。
在一实施例中,为Transformer结构的深度神经网络设置双损失函数:针对第一输入所设置的第一损失函数,以及针对第二输入所设置的第二损失函数。进而通过第一损失函数对深度神经网络的第一输入的分支进行评估优化的同时,通过第二损失函数对深度神经网络的第二输入的分支进行评估优化。
具体的,可以采用MSE均方误差,或是RMSE均方根误差,或是MAE平均绝对误差的方式作为损失函数的计算方法。
在一实施例中,通过超参数搜索的方式,为深度神经网络处理第一输入所使用的第一损失函数分配第一权重,并为深度神经网络处理第二输入所使用的第二损失函数分别第二权重,其中,第一权重高于第二权重。
该实施例的优点在于,通过超参数搜索的方式,提高了超参数选择的准确率,从而提升了深度神经网络进行流量预测的准确性。
图2示出了本申请一实施例的Transformer结构的深度神经网络的结构示意图。
参考图2所示,该实施例中,深度神经网络主要包含两个输入:位于左侧针对序列特征进行处理的第一输入,位于右侧针对时刻特征进行处理的第二输入。
该实施例中,历史流量的时间跨度为90天,采样频率为5分钟一次,则按照生成时间的顺序依次采样,将采样得到的(90*288)的矩阵作为该历史流量的序列特征。并且,待预测流量的时刻特征为由多个粒度的特征排列组合而成的10维数字向量。
针对历史流量的序列特征所设置的第一输入,考虑到历史相关性,采用包含两个Transformer特征编码提取层的神经网络层。
从上至下,第一输入的神经网络层依次为:第一层,Transformer层1,丢弃层1,Transformer层2,丢弃层2,最后全连接层。
第一层:输入数据,不算神经网络计算层,数据形状为None,90,288,描述历史流量的形状和数据类型。
Transformer层1:用于展开90天时间跨度的数据,进行编码特征提取,记忆体大小为100。
丢弃层1:设置0.2的丢弃率,用于防止训练时过拟合。并且,预测试自动不起效。
Transformer层2:用于展开90天时间跨度的数据,进行编码特征提取,记忆体大小为120。
丢弃层2:设置0.2的丢弃率,用于防止训练时过拟合。并且,预测试自动不起效。
最后全连接层:通过回归的方式对输出288个数据输出,对应未来一天的流量预测。进一步的,可以通过更换数据标签和采样率,转而对应未来一周或是未来一月的流量预测。
从上至下,第一输入的神经网络层依次为:第一层,Dense层1,丢弃层1,Dense层2,丢弃层2,最后全连接层。
第一层:输入数据,不算神经网络计算层,数据形状为None,10,描述待预测流量的时刻。
Dense层1:用于提取时刻的特征数据,神经元数量为128。
丢弃层1:设置0.2的丢弃率,用于防止训练时过拟合。并且,预测试自动不起效。
Dense层2:用于提取时刻的特征数据,神经元数量为256。
丢弃层2:设置0.2的丢弃率,用于防止训练时过拟合。并且,预测试自动不起效。
最后全连接层:通过回归的方式对输出288个数据输出,对应未来一天的流量预测。其中,通过调整不同粒度的权重,可以对应未来一周或是未来一月的流量预测。
最终第一输入以及第二输入通过各自的神经网络输出后,再通过层叠加的方式,得到最终的数据输出。考虑到序列特征相比于时刻特征更加重要,因此在训练该深度神经网络时,为第一输入的第一损失函数所分配的权重,大于为第二输入的第二损失函数所分配的权重。
在一实施例中,针对图2所示结构的深度神经网络,基于tensorflow的超参数搜索框架,进行最优参数范围的搜索。为了加快搜索结果,针对以下5个超参数进行设定:Transformer1的编码记忆维度长度,Transformer2的编码记忆维度长度,Dense1的神经元数量,Dense2的神经元数量,以及损失函数的权重。
针对Transformer1的编码记忆维度长度,设置参数范围为64、100、120、128、256。
针对Transformer2的编码记忆维度长度,设置参数范围为64、100、120、128、256、512。
针对Dense1的神经元数量,设置参数范围为64、128、256、512。
针对Dense2的神经元数量,设置参数范围为64、128、256、512。
针对损失函数的权重,设置第一输入的第一损失函数的参数范围为从0.4~0.9,相应的,设置第二输入的第二损失函数的参数范围为从0.6~0.1。
图3示出了根据本申请一实施例的通信网络的流量预测装置,所述装置包括:
第一获取模块210,配置为获取通信网络中样本业务电路的第一历史流量的序列特征,以及所述第一历史流量的时刻特征;
训练模块220,配置为以所述第一历史流量的序列特征为第一输入,以所述第一历史流量的时刻特征为第二输入,以所述样本业务电路在所述第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络;
第二获取模块230,配置为获取通信网络中目标业务电路的历史流量的序列特征,以及所述目标业务电路的历史流量的时刻特征;
预测模块240,配置为将所述目标业务电路的历史流量的序列特征作为所述第一输入,并将所述目标业务电路的历史流量的时刻特征作为所述第二输入,得到所述深度神经网络对所述目标业务电路的流量输出的预测结果。
在本申请的一示例性实施例中,所述时刻特征包含至少两个粒度的特征。
在本申请的一示例性实施例中,所述装置配置为:
获取针对所述至少两个粒度的特征分别设置的权重;
基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述至少两个粒度包括:以月份为单位的粒度,以日期为单位的粒度,以星期为单位的粒度,以小时为单位的粒度以及以分钟为单位的粒度中的至少两个。
在本申请的一示例性实施例中,所述装置配置为:
分别为所述至少两个粒度的特征设置权重,其中,星期粒度的权重以及小时粒度的权重大于其他粒度的权重;
基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述权重为自然数,所述装置配置为:
将所述第一历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述第一历史流量对应的数字向量;
对所述第一历史流量对应的数字向量进行归一化处理,得到所述第一历史流量的时刻特征;
将所述目标业务电路的历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述目标业务电路的历史流量对应的数字向量;
对所述目标业务电路的历史流量对应的数字向量进行归一化处理,得到所述目标业务电路的历史流量的时刻特征。
在本申请的一示例性实施例中,所述装置配置为:
通过超参数搜索的方式,为所述深度神经网络处理所述第一输入所使用的第一损失函数分配第一权重,并为所述深度神经网络处理所述第二输入所使用的第二损失函数分别第二权重,其中,所述第一权重高于所述第二权重。
下面参考图4来描述根据本申请实施例的电子设备30。图4显示的电子设备30仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,电子设备30以通用计算设备的形式表现。电子设备30的组件可以包括但不限于:上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图1中所示的各个步骤。
存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备30交互的设备通信,和/或与使得该电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。输入/输出(I/O)接口350与显示单元340相连。并且,电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器360通过总线330与电子设备30的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种通信网络的流量预测方法,其特征在于,所述方法包括:
获取通信网络中样本业务电路的第一历史流量的序列特征,以及所述第一历史流量的时刻特征;
以所述第一历史流量的序列特征为第一输入,以所述第一历史流量的时刻特征为第二输入,以所述样本业务电路在所述第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络,其中,所述深度神经网络包括用于处理所述第一输入的网络分支和用于处理所述第二输入的网络分支,所述第一输入以及所述第二输入通过各自的网络分支输出后,通过层叠加的方式,得到最终的数据输出;
获取通信网络中目标业务电路的历史流量的序列特征,以及所述目标业务电路的历史流量的时刻特征;
将所述目标业务电路的历史流量的序列特征作为所述第一输入,并将所述目标业务电路的历史流量的时刻特征作为所述第二输入,得到所述深度神经网络对所述目标业务电路的流量输出的预测结果。
2.根据权利要求1所述的方法,其特征在于,所述时刻特征包含至少两个粒度的特征。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:获取针对所述至少两个粒度的特征分别设置的权重;
获取所述第一历史流量的时刻特征,包括:基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
获取所述目标业务电路的历史流量的时刻特征,包括:基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征。
4.根据权利要求2所述的方法,其特征在于,所述至少两个粒度包括:以月份为单位的粒度,以日期为单位的粒度,以星期为单位的粒度,以小时为单位的粒度以及以分钟为单位的粒度中的至少两个。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
分别为所述至少两个粒度的特征设置权重,其中,星期粒度的权重以及小时粒度的权重大于其他粒度的权重;
获取所述第一历史流量的时刻特征,包括:基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征;
获取所述目标业务电路的历史流量的时刻特征,包括:基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路历史流量的时刻特征。
6.根据权利要求3或5所述的方法,其特征在于,所述权重为自然数,基于所述权重对所述第一历史流量的至少两个粒度的特征进行加权,得到所述第一历史流量的时刻特征,包括:
将所述第一历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述第一历史流量对应的数字向量;
对所述第一历史流量对应的数字向量进行归一化处理,得到所述第一历史流量的时刻特征;
基于所述权重对所述目标业务电路的历史流量的至少两个粒度的特征进行加权,得到所述目标业务电路的历史流量的时刻特征,包括:
将所述目标业务电路的历史流量的至少两个粒度的特征分别按照对应权重的数目排列组合,得到所述目标业务电路的历史流量对应的数字向量;
对所述目标业务电路的历史流量对应的数字向量进行归一化处理,得到所述目标业务电路的历史流量的时刻特征。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过超参数搜索的方式,为所述深度神经网络处理所述第一输入所使用的第一损失函数分配第一权重,并为所述深度神经网络处理所述第二输入所使用的第二损失函数分别第二权重,其中,所述第一权重高于所述第二权重。
8.一种通信网络的流量预测装置,其特征在于,所述装置包括:
第一获取模块,配置为获取通信网络中样本业务电路的第一历史流量的序列特征,以及所述第一历史流量的时刻特征;
训练模块,配置为以所述第一历史流量的序列特征为第一输入,以所述第一历史流量的时刻特征为第二输入,以所述样本业务电路在所述第一历史流量之后生成的第二历史流量为目标输出,对预设的Transformer结构的深度神经网络进行训练,得到训练完成的深度神经网络,其中,所述深度神经网络包括用于处理所述第一输入的网络分支和用于处理所述第二输入的网络分支,所述第一输入以及所述第二输入通过各自的网络分支输出后,通过层叠加的方式,得到最终的数据输出;
第二获取模块,配置为获取通信网络中目标业务电路的历史流量的序列特征,以及所述目标业务电路的历史流量的时刻特征;
预测模块,配置为将所述目标业务电路的历史流量的序列特征作为所述第一输入,并将所述目标业务电路的历史流量的时刻特征作为所述第二输入,得到所述深度神经网络对所述目标业务电路的流量输出的预测结果。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1至7中的任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936348.1A CN113660176B (zh) | 2021-08-16 | 2021-08-16 | 通信网络的流量预测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110936348.1A CN113660176B (zh) | 2021-08-16 | 2021-08-16 | 通信网络的流量预测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113660176A CN113660176A (zh) | 2021-11-16 |
CN113660176B true CN113660176B (zh) | 2023-04-07 |
Family
ID=78480419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110936348.1A Active CN113660176B (zh) | 2021-08-16 | 2021-08-16 | 通信网络的流量预测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113660176B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114285773B (zh) * | 2021-11-19 | 2023-11-10 | 中国联合网络通信集团有限公司 | 流量采样方法、装置、设备及可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798365A (zh) * | 2020-01-06 | 2020-02-14 | 支付宝(杭州)信息技术有限公司 | 基于神经网络的流量预测方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110858805A (zh) * | 2018-08-23 | 2020-03-03 | 中国移动通信集团山东有限公司 | 小区网络流量预测方法及装置 |
CN109658741A (zh) * | 2018-12-12 | 2019-04-19 | 中国船舶重工集团公司第七0九研究所 | 一种扇区短时流量预测方法及系统 |
CN110232476B (zh) * | 2019-05-30 | 2021-12-03 | 华中科技大学 | 一种基于深度学习的微电网负荷预测方法 |
CN111862585B (zh) * | 2019-07-23 | 2021-11-02 | 北京嘀嘀无限科技发展有限公司 | 用于交通预测的系统和方法 |
CN110851782B (zh) * | 2019-11-12 | 2023-06-23 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
-
2021
- 2021-08-16 CN CN202110936348.1A patent/CN113660176B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798365A (zh) * | 2020-01-06 | 2020-02-14 | 支付宝(杭州)信息技术有限公司 | 基于神经网络的流量预测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113660176A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110347873B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
US11423325B2 (en) | Regression for metric dataset | |
US20170082665A1 (en) | Detecting Non-Technical Losses in Electrical Networks Based on Multi-Layered Statistical Techniques from Smart Meter Data | |
US11288065B2 (en) | Devops driven cognitive cost function for software defect prediction | |
CN111160626B (zh) | 一种基于分解融合的电力负荷时间序列控制方法 | |
CN112396231B (zh) | 针对时空数据的建模方法、装置、电子设备及可读介质 | |
US11366248B2 (en) | Combining forecasts of varying spatial and temporal resolution | |
Zhu et al. | Power market price forecasting via deep learning | |
CN112468312A (zh) | 一种网络流量预测方法及通信设备和存储介质 | |
CN113660176B (zh) | 通信网络的流量预测方法、装置、电子设备及存储介质 | |
CN115225520B (zh) | 一种基于元学习框架的多模态网络流量预测方法及装置 | |
CN114330934A (zh) | 一种模型参数自适应的gru新能源短期发电功率预测方法 | |
CN115759413A (zh) | 一种气象预测方法、装置、存储介质及电子设备 | |
Sen | Time series prediction based on improved deep learning | |
CN114418093A (zh) | 训练路径表征模型、输出信息的方法和装置 | |
Reis et al. | A scalable load forecasting system for low voltage grids | |
CN115619999A (zh) | 电力设备实时监测方法、装置、电子设备及可读介质 | |
Genet et al. | A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting | |
CN117335389A (zh) | 基于多任务学习的电力负荷预测方法、系统、设备及介质 | |
US11991531B2 (en) | Communication load forecasting accuracy with adaptive feature boosting | |
CN111221896A (zh) | 用户行为预测方法及装置、电子设备、存储介质 | |
Ji et al. | Multi-indicators prediction in microservice using Granger causality test and Attention LSTM | |
Suhartono et al. | Hybrid Machine Learning for Forecasting and Monitoring Air Pollution in Surabaya | |
Derras et al. | Prediction of recovery time of infrastructure functionalities after an earthquake using machine learning | |
CN114510638B (zh) | 信息处理方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |