CN114205690A - 流量预测、模型训练方法及装置、电子设备、存储介质 - Google Patents
流量预测、模型训练方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN114205690A CN114205690A CN202111545269.4A CN202111545269A CN114205690A CN 114205690 A CN114205690 A CN 114205690A CN 202111545269 A CN202111545269 A CN 202111545269A CN 114205690 A CN114205690 A CN 114205690A
- Authority
- CN
- China
- Prior art keywords
- flow
- prediction
- data set
- training
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012360 testing method Methods 0.000 claims abstract description 109
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 59
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 35
- 230000000306 recurrent effect Effects 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
- H04Q2011/0086—Network resource allocation, dimensioning or optimisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请的实施例揭示了一种流量预测、模型训练方法及装置、电子设备、存储介质,该方法包括:获取测试流量数据集,其中测试流量数据集包括目标对象在第一预设历史时间段内的流量数据,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果,其中流量预测模型是基于训练流量数据集对预测网络进行训练得到,预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。本申请实施例的技术方案极大地优化了流量预测方案,提升了流量预测的准确性。
Description
技术领域
本申请涉及计算机通信技术领域,具体而言,涉及一种流量预测方法、模型训练方法、流量预测装置、电子设备以及计算机可读存储介质。
背景技术
光网络作为运营商基础网络,其为包括无线、IP等不同专业的业务网提供重要的传输支撑作用,同时也在逐步直接面向用户提供高品质专线服务,光网络所承载的业务种类和流量特征日趋复杂。由于光网络流量的持续性增长以及不同业务之间的差异性,需要流量预测作为支撑,而相关技术中流量预测的准确性较低,由此难以进行合理的资源分配,为网络规划和带宽扩容等都带来一定困难。
由此,如何提升流量预测准确性是亟待解决的问题。
发明内容
为解决上述技术问题,本申请的实施例提供了一种流量预测、模型训练方法及装置、电子设备、存储介质,进而至少在一定程度上提升了流量预测的准确性。
根据本申请实施例的一个方面,提供了一种流量预测方法,所述方法包括:获取测试流量数据集;其中,所述测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果;其中,所述流量预测模型是基于训练流量数据集对预测网络进行训练得到,所述预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
根据本申请实施例的一个方面,提供了一种模型训练方法,所述方法包括:获取训练流量数据集;其中,所述训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;基于所述训练流量数据集对所述预测网络的参数进行调整,得到流量预测模型;其中,所述流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
根据本申请实施例的一个方面,提供了一种流量预测装置,所述装置包括:第一获取模块,配置为获取测试流量数据集;其中,所述测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;输入与输出模块,配置为将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果;其中,所述流量预测模型是基于训练流量数据集对预测网络进行训练得到,所述预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
在本申请的一个实施例中,基于前述方案,所述卷积神经网络的全连接层对应第一权重值,所述卷积循环神经网络的全连接层对应第二权重值;所述输入与输出模块,具体配置为:将所述测试流量数据集输入至所述卷积神经网络中得到第一子流量预测值,并将所述第一子流量预测值与所述第一权重值进行求乘积运算,得到第一流量预测值;以及,将所述测试流量数据集输入至所述卷积循环神经网络中得到第二子流量预测值,并将所述第二子流量预测值与所述第二权重值进行求乘积运算,得到第二流量预测值;根据所述第一流量预测值和所述第二流量预测值,生成所述目标流量预测结果,并输出所述目标流量预测结果。
在本申请的一个实施例中,基于前述方案,所述指定时间段包括至少两个指定子时间段;所述输入与输出模块,具体配置为:将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定子时间段内的流量预测子结果;根据所述流量预测子结果更新所述测试流量数据集,得到更新后的测试流量数据集,并将所述更新后的测试流量数据集作为所述测试流量数据集,以及执行所述将所述测试流量数据集输入至预先训练好的流量预测模型中的步骤,直至得到所述目标对象在各个指定子时间段内的流量预测子结果;将各个流量预测子结果进行组合,得到所述目标对象在指定时间段内的目标流量预测结果。
在本申请的一个实施例中,基于前述方案,所述流量预测装置还包括:采集模块,配置为采集所述目标对象在所述第一预设历史时间段内的流量数据;预处理模块,配置为对所述流量数据进行预处理,得到预处理后的流量数据;其中,所述预处理包括去重处理以及去噪处理中的至少一项;构建模块,配置为根据所述预处理后的流量数据构建所述测试流量数据集。
在本申请的一个实施例中,基于前述方案,所述流量预测装置还包括:第二获取模块,配置为获取训练流量数据集;其中,所述训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;整合模块,配置为将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;调整模块,配置为基于所述训练流量数据集对所述预测网络的参数进行调整,得到所述流量预测模型。
在本申请的一个实施例中,基于前述方案,调整模块,具体配置为:基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果;基于所述归一化处理结果计算得到损失函数值;基于所述损失函数值对所述预测网络的参数进行调整,得到所述流量预测模型。
根据本申请实施例的一个方面,提供了一种模型训练装置,所述装置包括:第二获取模块,配置为获取训练流量数据集;其中,所述训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;整合模块,配置为将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;调整模块,配置为基于所述训练流量数据集对所述预测网络的参数进行调整,得到流量预测模型;其中,所述流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如前所述的流量预测方法和/或模型训练方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如前所述的流量预测方法和/或模型训练方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如前所述的流量预测方法和/或模型训练方法。
在本申请的实施例所提供的技术方案中,通过将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络,之后基于获取到的训练流量数据集对预测网络的参数进行调整,得到流量预测模型;由于流量预测模型是根据卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合构建得到预测网络进行训练得到,因此,训练得到的流量预测模型同时具备了卷积神经网络和卷积循环神经网络各自的预测优势,即同时兼具了提取局部特征以及跟踪流量变化趋势的预测优势,由此训练得到的流量预测模型泛化能力更高。进而利用训练得到的流量预测模型进行流量预测,得到的目标流量预测结果更为准确,从而为资源分配、网络规划和带宽扩容提供支持,提升了资源分配合理性,降低了网络规划和带宽扩容的难度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是可以应用本申请实施例的技术方案的示例性实施环境的示意图;
图2是本申请的一示例性实施例示出的流量预测方法的流程图;
图3是本申请的一示例性实施例示出的流量预测方法的流程图;
图4是图2所示实施例中的步骤S220在一示例性实施例中的流程图;
图5是图2所示实施例中的步骤S220在一示例性实施例中的流程图;
图6是本申请的一示例性实施例示出的模型训练方法的流程图;
图7是图6所示实施例中的步骤S630在一示例性实施例中的流程图;
图8是本申请的一示例性实施例示出的流量预测方法的流程图;
图9是本申请的一示例性实施例示出的流量预测模型的示意图;
图10是本申请的一示例性实施例示出的流量预测模型的示意图;
图11是本申请的一示例性实施例示出的流量预测的效果示意图;
图12是本申请的一示例性实施例示出的流量预测的效果示意图;
图13是本申请的一示例性实施例示出的流量预测装置的结构示意图;
图14是本申请的一示例性实施例示出的模型训练装置的结构示意图;
图15是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是:在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1,图1是本申请一种示例性实施环境的示意图。该实施环境中包括终端设备110和服务器120,终端设备110和服务器120之间通过有线或者无线网络进行通信。
应该理解,图1中的终端设备110和服务器120的数目仅仅是示意性的。根据实际需要,可以具有任意数目的终端设备110和服务器120。
其中,终端设备110对应客户端,其可以是任意具有用户输入接口的电子设备,包括但不限于智能手机、平板、笔记本电脑、计算机等等,其中,用户输入接口包括但不限于触摸屏、键盘、物理按键、音频拾取装置等。
其中,服务器120对应服务端,其可以是提供各种服务的服务器,其可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器,本处不对此进行限制。
在本申请的一些实施例中,流量预测方法可以由服务器120执行,相应地,流量预测装置配置于服务器120中。可选地,服务器120可以获取到终端设备110发送的测试流量数据集,其中测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;之后,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果,其中流量预测模型是基于训练流量数据集对预测网络进行训练得到,预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到;之后,将目标流量预测结果发送至终端设备110,即终端设备110可以获取到服务器120发送的目标流量预测结果。
在本申请的一些实施例中,模型训练方法可以由服务器120执行,相应地,模型训练装置配置于服务器120中。其中,服务器120可以获取到终端设备110发送的训练流量数据集,其中测试流量数据集包括样本对象在第二预设历史时间段内的流量数据;之后,将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;之后,基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型,其中流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
在本申请的一些实施例中,终端设备110也可以具有与服务器120相似的功能从而执行本申请实施例提供的流量预测方法和/或模型训练方法,请参见前述介绍。
以下对本申请实施例的技术方案的各种实现细节进行详细阐述:
请参阅图2,图2是本申请的一个实施例示出的流量预测方法的流程图。该方法可以应用于图1所示的实施环境中,并由图1所示实施环境中的服务器120执行。如图2所示,流量预测方法至少包括步骤S210至步骤S230,详细介绍如下:
步骤S210,获取测试流量数据集;其中,测试流量数据集包括目标对象在第一预设历史时间段内的流量数据。
本申请实施例中目标对象指的是光网络设备相关的软硬件;例如目标对象具体可以是光网络设备的端口,还可以是光网络设备的板卡等,其中端口和板卡的数量可以是一个或多个,在实际应用中,可以根据具体应用场景进行灵活调整。
本申请实施例中流量数据指的是经由目标对象处理的数据;例如流量数据可以是光网络设备的端口接收到的字节数、还可以是光网络设备的端口发送的字节数等。
本申请实施例中历史时间段是相对于当前时刻来定义的,其属于当前时刻之前的已经过去的时间段中的一个时间段;例如设当前时刻T1为2021-11-30,那么在2021-11-30之前的时间段均为已经过去的时间段,具体地,可以是2021-11-01至2021-11-30这一时间段。
可以理解的是,第一预设历史时间段与后文中所提及的第二预设历史时间段可以相同可以不同,其中三者都为历史的某一个时间段。
本申请实施例中测试流量数据集指的是用于测试的流量数据集,其包括目标对象在第一预设历史时间段内的流量数据,以通过该测试流量数据集预测目标对象在未来指定时间段内的流量值。
在本申请的一个实施例中,可以获取历史时间段内全天的流量数据以预测目标对象在未来指定时间段全天内的流量值;例如设当前时刻T1为2021-11-30,那么可以获取光网络设备的端口A在当前时刻T1之前的任意一个时间段内每天的流量数据作为测试流量数据集D1,具体地,获取光网络设备的端口A在2021-11-01至2021-11-30这30天内每天的总流量数据作为测试流量数据集D1;之后,可以通过测试流量数据集D1预测光网络设备的端口A在当前时刻T1之后的任意一个时间段内每天的流量值,具体地,可以预测光网络设备的端口A在2021-12-01至2021-12-31这31天内每天的流量值。
在本申请的一个实施例中,可以获取历史时间段内固定时刻的流量数据以预测目标对象在未来指定时间段内固定时刻的流量值;举例说明,例如设当前时刻T1为2021-11-30,那么可以获取光网络设备的端口A在当前时刻T1之前的任意一个时间段内固定时刻的流量数据作为测试流量数据集D1,具体地,获取光网络设备的端口A在2021-11-01至2021-11-30这30天内每天09:00:00的流量数据作为测试流量数据集D1;之后,可以通过测试流量数据集D1预测光网络设备的端口A在当前时刻T1之后的任意一个时间段内固定时刻的流量值,具体地,可以预测光网络设备的端口A在2021-12-01至2021-12-31这31天内每天09:00:00的流量值。
在本申请的一个实施例中,请参阅图3,在步骤S210中获取测试流量数据集的过程之前,还可以包括步骤S310至步骤S330,详细介绍如下:
步骤S310,采集目标对象在第一预设历史时间段内的流量数据;
步骤S320,对流量数据进行预处理,得到预处理后的流量数据;其中,预处理包括去重处理以及去噪处理中的至少一项;
步骤S330,根据预处理后的流量数据构建测试流量数据集。
也即,可选实施例中可以采集目标对象在第一预设历史时间段内的流量数据,之后可以对流量数据进行预处理,得到预处理后的流量数据,之后可以根据预处理后的流量数据构建测试流量数据集,以得到测试流量数据集。
其中,可选实施例中预处理包括但不限于去重处理、去噪处理以及清洗处理;具体地,预处理可以包括去重处理、去噪处理以及清洗处理中的任意一项或多项。
示例性地,对流量数据进行去重处理,可以是检测流量数据中是否存在重复的流量数据,若重复的流量数据,则对重复的流量数据中的一个进行保留即可;可以是对相似的流量数据进行数据压缩,如第一流量数据与第二流量数据之间各个数据项的差值小于预设差值阈值,因此将第一流量数据与第二流量数据合并为一个流量数据,合并后的流量数据中的每个数据项的值可以是第一流量数据与第二流量数据中对应数据项之间的平均值。
示例性地,对流量数据集进行去噪处理,可以是检测流量数据是否为异常数据,若为异常数据,则对异常数据进行删除,如检测与第一流量数据相邻的其它流量数据之间的数据漂移量是否大于预设漂移量阈值,若大于预设漂移量阈值,则第一流量数据为异常数据。可以是检测流量数据的数据项中是否存在缺失值,若存在缺失值,则对存在缺失值的数据项进行删除或缺失值补全等操作。
步骤S220,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果;其中,流量预测模型是基于训练流量数据集对预测网络进行训练得到,预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
本申请实施例中获取测试流量数据集,之后可以将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果,以预测得到目标对象在未来指定时间段内的流量值。
本申请实施例中会预先根据训练流量数据集训练好流量预测模型,其中流量预测模型用于预测得到目标对象在未来指定时间段内的流量值,流量预测模型是基于训练流量数据集对预测网络进行训练得到,预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到,具体的训练过程请参见后文介绍。
可以理解的是,卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一,其具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类;在本申请的一个实施例中,卷积神经网络的全连接层对应设置有第一权重值,其中第一权重值可以通过训练得到。
可以理解的是,卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)主要用于端到端地对不定长的文本序列进行识别,不用先对单个文字进行切割,而是将文本识别转化为时序依赖的序列学习问题;在本申请的一个实施例中,卷积循环神经网络的全连接层对应设置有第二权重值,其中第二权重值可以通过训练得到。
在本申请的一个实施例中,请参阅图4,步骤S220中将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果的过程,可以包括步骤S410至步骤S430,详细介绍如下:
步骤S410,将测试流量数据集输入至卷积神经网络中得到第一子流量预测值,并将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值;
步骤S420,将测试流量数据集输入至卷积循环神经网络中得到第二子流量预测值,并将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值;
步骤S430,根据第一流量预测值和第二流量预测值,生成目标流量预测结果,并输出目标流量预测结果。
也即,可选实施例中是将测试流量数据集输入至卷积神经网络中得到第一子流量预测值,并将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值;以及,同时将测试流量数据集输入至卷积循环神经网络中得到第二子流量预测值,并将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值;之后可以根据第一流量预测值和第二流量预测值,生成目标流量预测结果(即目标对象在未来指定时间段内的流量值),以得到目标流量预测结果,并输出目标流量预测结果。
其中,可选实施例中卷积神经网络对应第一预测通道,测试流量数据集经由第一预测通道的全连接层时,会将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值。
其中,可选实施例中卷积循环神经网络对应第二预测通道,测试流量数据集经由第二预测通道的全连接层时,会将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值。
可以理解的是,步骤S410中将测试流量数据集输入至卷积神经网络中得到第一子流量预测值,并将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值的过程,可以和步骤S420中将测试流量数据集输入至卷积循环神经网络中得到第二子流量预测值,并将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值的过程并行执行,也可以任一先执行,任一后执行,在实际应用中,可以根据具体应用场景进行灵活调整。
这样,通过第一预测通道可以提取出流量的局部特征,并且能够定位预测开始时的流量变化起点,通过第二预测通道可以进行长期流量变化趋势的跟踪,进而结合第一预测通道和第二预测通道各自与相应权重值的运算,得到最终的目标流量预测结果,在极大程度上提升了目标流量预测结果的准确性。
在本申请的一个实施例中,指定时间段可以包括至少两个指定子时间段;例如指定时间段为6天,则可以分为两个指定子时间段,具体地,将前3天作为一个指定子时间段,将后3天作为一个指定时间段。在实际应用中,可以根据具体应用场景设置指定时间段以及对指定时间段进行划分。
在本申请的一个实施例中,请参阅图5,步骤S220中将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果的过程,可以包括步骤S510至步骤S530,详细介绍如下:
步骤S510,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定子时间段内的流量预测子结果;
步骤S520,根据流量预测子结果更新测试流量数据集,得到更新后的测试流量数据集,并将更新后的测试流量数据集作为测试流量数据集,以及执行将测试流量数据集输入至预先训练好的流量预测模型中的步骤,直至得到目标对象在各个指定子时间段内的流量预测子结果;
步骤S530,将各个流量预测子结果进行组合,得到目标对象在指定时间段内的目标流量预测结果。
也即,可选实施例中将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定子时间段内的流量预测子结果;之后可以根据流量预测子结果更新测试流量数据集,得到更新后的测试流量数据集,并将更新后的测试流量数据集作为测试流量数据集;之后执行将测试流量数据集输入至预先训练好的流量预测模型中的步骤,直至得到目标对象在各个指定子时间段内的流量预测子结果;之后将各个流量预测子结果进行组合,得到目标对象在指定时间段内的目标流量预测结果。
其中,可选实施例中每次将测试流量数据集输入至预先训练好的流量预测模型中,输出的是目标对象在指定子时间段内的流量预测子结果,并且每次的输入(除第一次输入之外)均结合了之前得到的所有指定子时间段内的流量预测子结果,当得到指定时间段所包含的所有指定子时间段内的流量预测子结果时,将各个流量预测子结果进行组合即可得到目标对象在指定时间段内的目标流量预测结果。
这样,分多次输入得到多个指定子时间段内的流量预测子结果以得到指定时间段内的流量预测结果,并且每次的输入(除第一次输入之外)均结合了之前得到的所有指定子时间段内的流量预测子结果,进一步提升了目标流量预测结果的准确性,尤其是在指定时间段较长时,减短输出的指定时间段的步长,提升目标流量预测结果的准确性的效果则更为明显。
本申请实施例中将获取得到的测试流量数据集输入至预先训练好的流量预测模型中,并行经过预测网络所包含的卷积神经网络的第一预测通道和预测网络所包含的卷积循环神经网络的第二预测通道,并将两者的流量预测值经过加权处理,输出得到最终的目标流量预测结果;因此,输出得到最终的目标流量预测结果同时考虑了局部特征以及流量变化趋势,由此所得到的目标流量预测结果更为准确,在极大程度上提升了流量预测的准确性。
请参阅图6,图6是本申请的一个实施例示出的模型训练方法的流程图。该方法可以应用于图1所示的实施环境中,并由图1所示实施环境中的服务器120执行。如图6所示,模型训练方法至少包括步骤S610至步骤S630,详细介绍如下:
步骤S610,获取训练流量数据集;其中,训练流量数据集包括样本对象在第二预设历史时间段内的流量数据。
本申请实施例中的样本对象指的是光网络设备相关的软硬件;例如样本对象具体可以是光网络设备的端口,还可以是光网络设备的板卡等,其中端口和板卡的数量可以是一个或多个,在实际应用中,可以根据具体应用场景进行灵活调整。其与前文中所提及的目标对象的区别在于,样本对象是针对训练过程而言的对象,而目标对象是针对测试过程而言的对象。
本申请实施例中的流量数据和第二预设历史时间段请参见前文介绍,这里不再赘述。
本申请实施例中训练流量数据集指的是用于训练的流量数据集,其包括目标对象在第二预设历史时间段内的流量数据。
步骤S620,将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络。
本申请实施例中获取训练流量数据集,之后可以将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络。
可以理解的是,只需将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,以得到一个全连接层,而对于卷积神经网络和卷积循环神经网络的其他层无需进行改进,这样能够快速构建得到预测网络,且简单易于实现。其中,卷积神经网络的全连接层与卷积循环神经网络的全连接层虽然整合为一个全连接层,但是对于卷积神经网络与卷积循环神经网络而言,还是对应有各自的全连接层,只是各自占有整合后的全连接层对应的权重值的一定比例;可以理解的是,卷积神经网络的全连接层对应的第一权重值与卷积循环神经网络的全连接层对应的第二权重值进行求和运算应当等于整合后的全连接层对应的权重值;例如卷积神经网络的全连接层对应的第一权重值为70%,卷积循环神经网络的全连接层对应的第二权重值为30%,从而两者相加等于整合后的全连接层对应的权重值100%。
可以理解的是,步骤S610中获取训练流量数据集的过程,可以和步骤S620中将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络的过程并行执行,也可以任一先执行,任一后执行,在实际应用中,可以根据具体应用场景进行灵活调整。
步骤S630,基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型;其中,流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
本申请实施例中将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络,之后可以基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型。
在本申请的一个实施例中,训练流量数据集中包括多个训练样本,各个训练样本包括实际流量值和预测流量值;其中,实际流量值指的是实际获取得到的流量值,预测流量值指的是预测得到的流量值。
在本申请的一个实施例中,请参阅图7,步骤S630中基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型的过程,可以包括步骤S710至步骤S730,详细介绍如下:
步骤S710,基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果;
步骤S720,基于归一化处理结果计算得到损失函数值;
步骤S730,基于损失函数值对预测网络的参数进行调整,得到流量预测模型。
也即,可选实施例中基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果,之后可以基于归一化处理结果计算得到损失函数值,之后可以基于损失函数值对预测网络的参数进行调整,得到流量预测模型。
其中,可选实施例中可以采用如下公式计算多个训练样本的实际流量值和预测流量值,以得到归一化处理结果:
这样,通过归一化偏差的损失函数对预测网络的参数进行调整,使得训练得到流量预测模型的泛化能力更高。
本申请实施例中将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络,之后基于获取到的训练流量数据集对预测网络的参数进行调整,得到流量预测模型;由于流量预测模型是根据卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合构建得到预测网络进行训练得到,因此,训练得到的流量预测模型同时具备了卷积神经网络和卷积循环神经网络各自的预测优势,即同时兼具了提取局部特征以及跟踪流量变化趋势的预测优势,由此训练得到的流量预测模型泛化能力更高。
以下对本申请实施例的具体应用场景进行详细说明:
请参阅图8,图8是本申请的一个实施例示出的流量预测方法的流程图。如图8所示,流量预测方法至少包括步骤S810至步骤S870,详细介绍如下:
步骤S810,获取训练流量数据集;其中,训练流量数据集包括样本对象在第二预设历史时间段内的流量数据。
可选地,可以采集光网络设备(可以是一个或多个)的多个端口在第二预设历史时间段内的流量数据;具体地,以天、时、分或者秒为单位对各个端口的收发字节数进行采集,可以理解的是,采集到的收发字节数即为流量数据。
可选地,对采集到的收发字节数进行预处理和格式化存储。其中,经过预处理可以清洗掉空流量数据、异常流量数据,以得到较为准确的流量数据;在进行格式化存储时,可以存储端口标识、采集时刻、收到的字节数以及发送的字节数等;例如请参见表1,为一种示例性的存储方式。
端口标识 | 采集时刻 | 收到的字节数 | 发送的字节数据 |
A | T1 | K1 | K2 |
B | T1 | K2 | K3 |
…… | …… | …… | …… |
表1
可选地,可以根据预处理后的流量数据生成训练流量数据集、测试流量数据集、验证流量数据集(其中验证流量数据集用于对训练得到的流量预测模型进行验证)。
可选地,请参阅图9,训练流量数据集包括N个训练样本集,其中每个训练样本集包括历史30天的流量数据,即每个训练样本集中包括30个训练样本,一个训练样本对应一天。例如针对训练样本集1,其可以是包括2021-01-01至2021-01-30的训练样本,针对训练样本集2,其可以是包括2021-01-31至2021-02-29的训练样本,其他训练样本集依次类推,这里不再赘述。
其中,将每个训练样本集作为输入,针对每个训练样本集的输出为后3天的流量值(即预测流量值)。例如针对训练样本集1,输入的是包括2021-01-01至2021-01-30的训练样本,输出的是2021-01-31至2021-02-02这3天的流量值;针对训练样本集2,输入的是包括2021-01-31至2021-02-29的训练样本,输出的是2021-03-01至2021-03-03这3天的流量值,其他训练样本集对应的输入输出依次类推,这里不再赘述。
步骤S820,将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络。
可选地,请参阅图10,基于卷积神经网络和卷积循环神经网络构建得到预测网络,其中,卷积神经网络可以包括叠积层、批量规范化及池化层(叠积层、批量规范化及池化层可以有多层)、全连接层,卷积循环神经网络可以包括叠积层、双向长短记忆单元及时间分布式全连接层、批量规范化及池化层、全连接层。其中,卷积神经网络对应第一预测通道,卷积循环神经网络对应第二预测通道,将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,以得到一个全连接层。可以理解的是,卷积神经网络的全连接层与卷积循环神经网络的全连接层虽然整合为一个全连接层,但是对于卷积神经网络与卷积循环神经网络而言,还是对应有各自的全连接层,只是各自占有整合后的全连接层对应的权重值的一定比例。
步骤S830,基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型。
可选地,基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型包括:基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果;之后基于归一化处理结果计算得到损失函数值;之后基于损失函数值对预测网络的参数进行调整,得到流量预测模型。
可选地,请再参阅图9,将训练流量数据集输入至预测网络中,此时训练流量数据集分别输入至卷积神经网络对应第一预测通道得到第三子流量预测值,以及卷积循环神经网络对应第二预测通道得到第四子流量预测值;之后将第三子流量预测值与全连接层的第一权重值进行求乘积运算,得到第三流量预测值,以及将第四子流量预测值与全连接层的第二权重值进行求乘积运算,得到第四流量预测值;之后根据第三流量预测值和第四流量预测值,生成训练流量预测结果,并输出训练流量预测结果。
步骤S840,获取测试流量数据集;其中,测试流量数据集包括目标对象在第一预设历史时间段内的流量数据。
可选地,从前述步骤中获取生成的测试流量数据集。
步骤S850,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定子时间段内的流量预测子结果。
可选地,将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定子时间段内的流量预测子结果包括:将测试流量数据集输入至卷积神经网络中得到第一子流量预测值,并将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值,以及同时将测试流量数据集输入至卷积循环神经网络中得到第二子流量预测值,并将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值,之后根据第一流量预测值和第二流量预测值,生成流量预测子结果,并输出流量预测子结果。
步骤S860,根据流量预测子结果更新测试流量数据集,得到更新后的测试流量数据集,并将更新后的测试流量数据集作为测试流量数据集,并返回执行步骤S850,直至得到目标对象在各个指定子时间段内的流量预测子结果。
可选地,请再参阅图9,第一次预测得到的流量预测子结果又加入到第二次预测中的测试流量数据集,依次类推,直至得到目标对象在各个指定子时间段内的流量预测子结果,其中图9中仅示意出两次预测即得到最终的目标流量预测结果。
步骤S870,将各个流量预测子结果进行组合,得到目标对象在指定时间段内的目标流量预测结果。
可选地,将各个流量预测子结果进行组合,即可得到目标对象在指定时间段内的目标流量预测结果。
可选地,步骤S810至步骤S870的具体实施过程可以参照前述实施例的技术方案。
其中,请参阅图11,为对端口A进行流量预测的预测效果图,其中端口A的预测误差只有0.00117。
其中,请参阅图12,为对端口B进行流量预测的预测效果图,其中端口B的预测误差只有0.00110。
本申请实施例中训练得到的流量预测模型中引入了卷积神经网络和卷积循环神经网络,无论是对于周期性较强还是随机波动性较强的端口,都能进行有效的流量预测,在极大程度上提升了端口流量预测的准确性;并且不需要人工干预,无需人工设计特征,降低了数据处理的复杂度,流量预测的计算开销小,能更好地应用于实时性要求较高的实际场景。
图13是本申请的一个实施例示出的流量预测装置的框图。如图13所示,该流量预测装置包括:
第一获取模块1301,配置为获取测试流量数据集;其中,测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;
输入与输出模块1302,配置为将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定时间段内的目标流量预测结果;其中,流量预测模型是基于训练流量数据集对预测网络进行训练得到,预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
在本申请的一个实施例中,卷积神经网络的全连接层对应第一权重值,卷积循环神经网络的全连接层对应第二权重值;输入与输出模块1302,具体配置为:
将测试流量数据集输入至卷积神经网络中得到第一子流量预测值,并将第一子流量预测值与第一权重值进行求乘积运算,得到第一流量预测值;以及,
将测试流量数据集输入至卷积循环神经网络中得到第二子流量预测值,并将第二子流量预测值与第二权重值进行求乘积运算,得到第二流量预测值;
根据第一流量预测值和第二流量预测值,生成目标流量预测结果,并输出目标流量预测结果。
在本申请的一个实施例中,指定时间段包括至少两个指定子时间段;输入与输出模块1302,具体配置为:
将测试流量数据集输入至预先训练好的流量预测模型中,输出得到目标对象在指定子时间段内的流量预测子结果;
根据流量预测子结果更新测试流量数据集,得到更新后的测试流量数据集,并将更新后的测试流量数据集作为测试流量数据集,以及执行将测试流量数据集输入至预先训练好的流量预测模型中的步骤,直至得到目标对象在各个指定子时间段内的流量预测子结果;
将各个流量预测子结果进行组合,得到目标对象在指定时间段内的目标流量预测结果。
在本申请的一个实施例中,流量预测装置还包括:
采集模块,配置为采集目标对象在第一预设历史时间段内的流量数据;
预处理模块,配置为对流量数据进行预处理,得到预处理后的流量数据;其中,预处理包括去重处理以及去噪处理中的至少一项;
构建模块,配置为根据预处理后的流量数据构建测试流量数据集。
在本申请的一个实施例中,流量预测装置还包括:
第二获取模块,配置为获取训练流量数据集;其中,训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;
整合模块,配置为将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;
调整模块,配置为基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型。
在本申请的一个实施例中,调整模块,具体配置为:
基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果;
基于归一化处理结果计算得到损失函数值;
基于损失函数值对预测网络的参数进行调整,得到流量预测模型。
需要说明的是,上述实施例所提供的流量预测装置与前述实施例所提供的流量预测方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,这里不再赘述。
图14是本申请的一个实施例示出的模型训练装置的框图。如图14所示,该模型训练装置包括:
第二获取模块1401,配置为获取训练流量数据集;其中,训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;
整合模块1402,配置为将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;
调整模块1403,配置为基于训练流量数据集对预测网络的参数进行调整,得到流量预测模型;其中,流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
需要说明的是,上述实施例所提供的模型训练装置与前述实施例所提供的模型训练方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,这里不再赘述。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得电子设备实现前述各个实施例中提供的流量预测方法和/或模型训练方法。
图15示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图15示出的电子设备的计算机系统1500仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图15所示,计算机系统1500包括中央处理单元(Central Processing Unit,CPU)1501,其可以根据存储在只读存储器(Read-Only Memory,ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(Random Access Memory,RAM)1503中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM 1503中,还存储有系统操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(Input/Output,I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505:包括键盘、鼠标等的输入部分1506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1507;包括硬盘等的存储部分1508;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1510上,以便于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1509从网络上被下载和安装,和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前的流量预测方法和/或模型训练方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的流量预测方法和/或模型训练方法。
上述内容,仅为本申请的较佳示例性实施例,并非用于限制本申请的实施方案,本领域普通技术人员根据本申请的主要构思和精神,可以十分方便地进行相应的变通或修改,故本申请的保护范围应以权利要求书所要求的保护范围为准。
Claims (10)
1.一种流量预测方法,其特征在于,所述方法包括:
获取测试流量数据集;其中,所述测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;
将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果;其中,所述流量预测模型是基于训练流量数据集对预测网络进行训练得到,所述预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
2.如权利要求1所述的方法,其特征在于,所述卷积神经网络的全连接层对应第一权重值,所述卷积循环神经网络的全连接层对应第二权重值;所述将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果,包括:
将所述测试流量数据集输入至所述卷积神经网络中得到第一子流量预测值,并将所述第一子流量预测值与所述第一权重值进行求乘积运算,得到第一流量预测值;以及,
将所述测试流量数据集输入至所述卷积循环神经网络中得到第二子流量预测值,并将所述第二子流量预测值与所述第二权重值进行求乘积运算,得到第二流量预测值;
根据所述第一流量预测值和所述第二流量预测值,生成所述目标流量预测结果,并输出所述目标流量预测结果。
3.如权利要求1所述的方法,其特征在于,所述指定时间段包括至少两个指定子时间段;所述将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果,包括:
将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定子时间段内的流量预测子结果;
根据所述流量预测子结果更新所述测试流量数据集,得到更新后的测试流量数据集,并将所述更新后的测试流量数据集作为所述测试流量数据集,以及执行所述将所述测试流量数据集输入至预先训练好的流量预测模型中的步骤,直至得到所述目标对象在各个指定子时间段内的流量预测子结果;
将各个流量预测子结果进行组合,得到所述目标对象在指定时间段内的目标流量预测结果。
4.如权利要求1至3中任一项所述的方法,其特征在于,在所述获取测试流量数据集之前,所述方法还包括:
采集所述目标对象在所述第一预设历史时间段内的流量数据;
对所述流量数据进行预处理,得到预处理后的流量数据;其中,所述预处理包括去重处理以及去噪处理中的至少一项;
根据所述预处理后的流量数据构建所述测试流量数据集。
5.如权利要求1至3中任一项所述的方法,其特征在于,在所述将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果之前,所述方法还包括:
获取训练流量数据集;其中,所述训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;
将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;
基于所述训练流量数据集对所述预测网络的参数进行调整,得到所述流量预测模型。
6.如权利要求5所述的方法,其特征在于,所述训练流量数据集中包括多个训练样本,各个训练样本包括实际流量值和预测流量值;所述基于训练流量数据集对所述预测网络的参数进行调整,得到所述流量预测模型,包括:
基于多个训练样本的实际流量值和预测流量值进行归一化处理,得到归一化处理结果;
基于所述归一化处理结果计算得到损失函数值;
基于所述损失函数值对所述预测网络的参数进行调整,得到所述流量预测模型。
7.一种模型训练方法,其特征在于,所述方法还包括:
获取训练流量数据集;其中,所述训练流量数据集包括样本对象在第二预设历史时间段内的流量数据;
将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合,构建得到预测网络;
基于所述训练流量数据集对所述预测网络的参数进行调整,得到流量预测模型;其中,所述流量预测模型用于得到目标对象在指定时间段内的目标流量预测结果。
8.一种流量预测装置,其特征在于,所述装置包括:
获取模块,配置为获取测试流量数据集;其中,所述测试流量数据集包括目标对象在第一预设历史时间段内的流量数据;
输入与输出模块,配置为将所述测试流量数据集输入至预先训练好的流量预测模型中,输出得到所述目标对象在指定时间段内的目标流量预测结果;其中,所述流量预测模型是基于训练流量数据集对预测网络进行训练得到,所述预测网络是将卷积神经网络的全连接层与卷积循环神经网络的全连接层进行整合并构建得到。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至6中任一项所述的流量预测方法,或者实现如权利要求7所述的模型训练方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的流量预测方法,或者实现如权利要求7所述的模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111545269.4A CN114205690B (zh) | 2021-12-15 | 2021-12-15 | 流量预测、模型训练方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111545269.4A CN114205690B (zh) | 2021-12-15 | 2021-12-15 | 流量预测、模型训练方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114205690A true CN114205690A (zh) | 2022-03-18 |
CN114205690B CN114205690B (zh) | 2024-06-11 |
Family
ID=80654771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111545269.4A Active CN114205690B (zh) | 2021-12-15 | 2021-12-15 | 流量预测、模型训练方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114205690B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114501518A (zh) * | 2022-04-01 | 2022-05-13 | 香港中文大学(深圳) | 流量预测方法、装置、设备、介质和程序产品 |
CN114785701A (zh) * | 2022-04-06 | 2022-07-22 | 中国电信股份有限公司 | 光传送网流量预测方法、装置、电子设备及存储介质 |
CN115762142A (zh) * | 2022-11-02 | 2023-03-07 | 青岛以萨数据技术有限公司 | 卡口流量预测方法、装置、服务器及存储介质 |
CN116016306A (zh) * | 2022-12-15 | 2023-04-25 | 中国联合网络通信集团有限公司 | 数据流量的转发方法、装置、设备及存储介质 |
CN117195083A (zh) * | 2023-11-08 | 2023-12-08 | 福建南方路面机械股份有限公司 | 基于电流曲线的坍落度预测方法、装置及可读介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110837683A (zh) * | 2019-05-20 | 2020-02-25 | 全球能源互联网研究院有限公司 | 电力系统暂态稳定的预测模型的训练及预测方法、装置 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
WO2020224107A1 (zh) * | 2019-05-05 | 2020-11-12 | 平安科技(深圳)有限公司 | 音乐风格分类方法、装置、计算机设备及存储介质 |
CN113315644A (zh) * | 2020-02-27 | 2021-08-27 | 中国电信股份有限公司 | 流量预测方法、装置以及存储介质 |
-
2021
- 2021-12-15 CN CN202111545269.4A patent/CN114205690B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020224107A1 (zh) * | 2019-05-05 | 2020-11-12 | 平安科技(深圳)有限公司 | 音乐风格分类方法、装置、计算机设备及存储介质 |
CN110837683A (zh) * | 2019-05-20 | 2020-02-25 | 全球能源互联网研究院有限公司 | 电力系统暂态稳定的预测模型的训练及预测方法、装置 |
CN110851782A (zh) * | 2019-11-12 | 2020-02-28 | 南京邮电大学 | 一种基于轻量级时空深度学习模型的网络流量预测方法 |
CN113315644A (zh) * | 2020-02-27 | 2021-08-27 | 中国电信股份有限公司 | 流量预测方法、装置以及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114501518A (zh) * | 2022-04-01 | 2022-05-13 | 香港中文大学(深圳) | 流量预测方法、装置、设备、介质和程序产品 |
CN114785701A (zh) * | 2022-04-06 | 2022-07-22 | 中国电信股份有限公司 | 光传送网流量预测方法、装置、电子设备及存储介质 |
CN115762142A (zh) * | 2022-11-02 | 2023-03-07 | 青岛以萨数据技术有限公司 | 卡口流量预测方法、装置、服务器及存储介质 |
CN115762142B (zh) * | 2022-11-02 | 2023-08-29 | 青岛以萨数据技术有限公司 | 卡口流量预测方法、装置、服务器及存储介质 |
CN116016306A (zh) * | 2022-12-15 | 2023-04-25 | 中国联合网络通信集团有限公司 | 数据流量的转发方法、装置、设备及存储介质 |
CN117195083A (zh) * | 2023-11-08 | 2023-12-08 | 福建南方路面机械股份有限公司 | 基于电流曲线的坍落度预测方法、装置及可读介质 |
CN117195083B (zh) * | 2023-11-08 | 2024-03-12 | 福建南方路面机械股份有限公司 | 基于电流曲线的坍落度预测方法、装置及可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114205690B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114205690B (zh) | 流量预测、模型训练方法及装置、电子设备、存储介质 | |
US11915123B2 (en) | Fusing multimodal data using recurrent neural networks | |
CN108520470B (zh) | 用于生成用户属性信息的方法和装置 | |
CN113301442B (zh) | 确定直播资源的方法、设备、介质及程序产品 | |
CN110390408A (zh) | 交易对象预测方法和装置 | |
CN113610239A (zh) | 针对机器学习的特征处理方法及特征处理系统 | |
CN111526119A (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
CN106844550B (zh) | 一种虚拟化平台操作推荐方法及装置 | |
CN106803092B (zh) | 一种标准问题数据的确定方法及装置 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN110766184A (zh) | 订单量预测方法和装置 | |
CN107291835B (zh) | 一种搜索词的推荐方法和装置 | |
CN112396325A (zh) | 案件处理方法、装置、介质及电子设备 | |
CN116894498A (zh) | 网络模型的训练方法、策略识别方法、装置以及设备 | |
CN116504401A (zh) | 一种智能体检项目推荐方法和装置 | |
CN114357242A (zh) | 基于召回模型的训练评估方法及装置、设备、存储介质 | |
CN113362097B (zh) | 一种用户确定方法和装置 | |
CN113762972A (zh) | 数据存储控制方法及装置、电子设备、存储介质 | |
CN109408716B (zh) | 用于推送信息的方法和设备 | |
CN113779335A (zh) | 信息生成方法、装置、电子设备和计算机可读介质 | |
CN114969543B (zh) | 推广方法、系统、电子设备和存储介质 | |
CN110633596A (zh) | 预测车辆方向角的方法和装置 | |
CN116701972B (zh) | 业务数据处理方法、装置、设备以及介质 | |
CN111832304B (zh) | 楼盘名称的查重方法、装置、电子设备及存储介质 | |
CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |