CN115460099A - 模型训练方法和装置、流量预测方法和装置、存储介质 - Google Patents
模型训练方法和装置、流量预测方法和装置、存储介质 Download PDFInfo
- Publication number
- CN115460099A CN115460099A CN202211148056.2A CN202211148056A CN115460099A CN 115460099 A CN115460099 A CN 115460099A CN 202211148056 A CN202211148056 A CN 202211148056A CN 115460099 A CN115460099 A CN 115460099A
- Authority
- CN
- China
- Prior art keywords
- data
- historical
- feature
- model
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000547 structure data Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 15
- WJPPQXQHUQEBGK-UHFFFAOYSA-N 1-[4-(2,4-difluorophenyl)piperazin-1-yl]-2-[(4-fluorophenyl)methoxy]ethanone Chemical compound C1=CC(F)=CC=C1COCC(=O)N1CCN(C=2C(=CC(F)=CC=2)F)CC1 WJPPQXQHUQEBGK-UHFFFAOYSA-N 0.000 claims abstract 5
- 238000012545 processing Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010200 validation analysis Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供一种模型训练方法和装置、流量预测方法和装置、存储介质，涉及网络技术领域。模型训练方法包括：分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征；将融合特征、第一特征和第三特征的相关性信息和第二特征划分为训练集和验证集；利用训练集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行训练；利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证。
Description
技术领域
本公开涉及网络技术领域，特别涉及一种模型训练方法和装置、流量预测方法和装置、存储介质。
背景技术
在现有技术中，通过利用历史网络流量数据对机器学习模型进行训练，以便利用经过训练的机器学习模型对网络流量进行预测。
发明内容
发明人注意到，在相关技术中，由于仅利用历史网络流量数据对机器学习模型进行训练，因此经过训练的机器学习模型在进行网络流量预测时，预测结果无法反映出流量套餐或网络拓扑结构变化对网络流量的影响。
据此，本公开提供一种模型训练方案，能够有效提高网络流量预测的准确性。
根据本公开实施例的第一方面，提供一种模型训练方法，包括：分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；利用数据包特征提取DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；利用多输入张量融合MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征；将融合特征、第一特征和第三特征的相关性信息和第二特征划分为训练集和验证集；利用训练集中包括的融合特征、相关性信息和第二特征对图变换Graphformer模型进行训练；利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证。
在一些实施例中，利用训练集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行训练包括：利用Graphformer模型对训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果；根据第一流量预测结果确定huber损失函数；利用huber损失函数对Graphformer模型进行训练。
在一些实施例中，利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证包括：利用Graphformer模型对验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果；根据第二流量预测结果和对应的预设结果，对Graphformer模型的超参数进行更新。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
根据本公开实施例的第二方面，提供一种模型训练装置，包括：第一处理模块，被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；第二处理模块，被配置为利用数据包特征提取DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；第三处理模块，被配置为利用多输入张量融合MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征；第四处理模块，被配置为将融合特征、第一特征和第三特征的相关性信息和第二特征划分为训练集和验证集；第五处理模块，被配置为利用训练集中包括的融合特征、相关性信息和第二特征对图变换Graphformer模型进行训练；第六处理模块，被配置为利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证。
在一些实施例中，第五处理模块被配置为利用Graphformer模型对训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果，根据第一流量预测结果确定huber损失函数，利用huber损失函数对Graphformer模型进行训练。
在一些实施例中，第六处理模块被配置为利用Graphformer模型对验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果，根据第二流量预测结果和对应的预设结果，对Graphformer模型的超参数进行更新。
在一些实施例中，第一处理模块被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
在一些实施例中，第一处理模块被配置为利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
根据本公开实施例的第三方面，提供一种模型训练装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的模型训练方法。
根据本公开实施例的第四方面，提供一种流量预测方法，包括：分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征；利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
在一些实施例中，分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征包括：分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
在一些实施例中，利用Graphformer模型对所提取的特征进行处理包括：利用Graphformer模型对融合特征、相关性信息和第二特征进行处理，以得到流量预测结果。
在一些实施例中，Graphformer模型利用上述任一实施例的模型训练方法训练得到。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
根据本公开实施例的第五方面，提供一种流量预测装置，包括：第一流量预测模块，被配置为分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征；第二流量预测模块，被配置为利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
在一些实施例中，所述第一流量预测模块包括：预处理模块，被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；特征提取模块，被配置为利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；特征处理模块，被配置为利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
在一些实施例中，第二流量预测模块被配置为利用Graphformer模型对融合特征、相关性信息和第二特征进行处理，以得到流量预测结果。
在一些实施例中，Graphformer模型利用上述任一实施例涉及的模型训练方法训练得到。
在一些实施例中，预处理模块分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
在一些实施例中，预处理模块利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；预处理模块利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；预处理模块利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
根据本公开实施例的第六方面，提供一种流量预测装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的流量预测方法。
根据本公开实施例的第七方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的模型训练方法的流程示意图；
图2为本公开一个实施例的模型训练示意图；
图3为本公开一个实施例的模型训练装置的结构示意图；
图4为本公开另一个实施例的模型训练装置的结构示意图；
图5为本公开一个实施例的流量预测方法的流程示意图；
图6为本公开另一个实施例的流量预测方法的流程示意图；
图7为本公开一个实施例的流量预测装置的结构示意图；
图8为本公开另一个实施例的流量预测装置的结构示意图；
图9为本公开又一个实施例的流量预测装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的模型训练方法的流程示意图。在一些实施例中，下列的模型训练方法由模型训练装置执行。
在步骤101，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗，以便删除超过预设范围的数据。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据中的残缺数据进行补充，以保证模型训练效果。
例如，利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
在步骤102，利用DPFE(Data Package Feature Extraction，数据包特征提取)模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征。
在步骤103，利用MTF(Multi input Tensor Fusion，多输入张量融合)模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
在步骤104，将融合特征、第一特征和第三特征的相关性信息和第二特征划分为训练集和验证集。
例如，分别按照预定比例将所得到的融合特征、第一特征和第三特征的相关性信息和第二特征划分到训练集和验证集中。由此在生成的训练集和验证集中，均具有相应的融合特征、第一特征和第三特征的相关性信息和第二特征。
在步骤105，利用训练集中包括的融合特征、相关性信息和第二特征对Graphformer(图变换)模型进行训练。
在一些实施例中，利用Graphformer模型对训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果。接下来，根据第一流量预测结果确定huber损失函数。然后利用huber损失函数对Graphformer模型进行训练。
在步骤106，利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证。
在一些实施例中，利用Graphformer模型对验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果。接下来，根据第二流量预测结果和对应的预设结果，对Graphformer模型的超参数进行更新。
图2为本公开一个实施例的模型训练示意图。
如图2所示，利用DPFE模型分别提取历史网络流量数据的第一特征、网络拓扑结构数据的第二特征和流量套餐历史数据的第三特征。接下来，例如MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。接下来，利用融合特征、第一特征和第三特征的相关性信息和第二特征对GraphFormer模型进行训练。
在本公开上述实施例提供的模型训练方法中，通过利用历史网络流量数据、网络拓扑结构数据和流量套餐历史数据对模型进行训练，以便经过训练的模型能够在网络拓扑变动和流量套餐调整的情况下准确预测网络流量，以便于更进一步的业务规划和网络调整。
图3为本公开一个实施例的模型训练装置的结构示意图。如图3所示，模型训练模块包括第一处理模块31、第二处理模块32、第三处理模块33、第四处理模块34、第五处理模块35和第六处理模块36。
第一处理模块31被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理。
在一些实施例中，第一处理模块31分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗，以便删除超过预设范围的数据。
在一些实施例中，第一处理模块31分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据中的残缺数据进行补充，以保证模型训练效果。
例如，第一处理模块31利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
第二处理模块32被配置为利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征。
第三处理模块33被配置为利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
第四处理模块34被配置为将融合特征、第一特征和第三特征的相关性信息和第二特征划分为训练集和验证集。
第五处理模块35被配置为利用训练集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行训练。
在一些实施例中，第五处理模块35利用Graphformer模型对训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果，根据第一流量预测结果确定huber损失函数，利用huber损失函数对Graphformer模型进行训练。
第六处理模块36被配置为利用验证集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行验证。
在一些实施例中，第六处理模块36利用Graphformer模型对验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果，根据第二流量预测结果和对应的预设结果，对Graphformer模型的超参数进行更新。
图4为本公开另一个实施例的模型训练装置的结构示意图。如图4所示，模型训练装置包括存储器41和处理器42。
存储器41用于存储指令，处理器42耦合到存储器41，处理器42被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
如图4所示，该模型训练装置还包括通信接口43，用于与其它设备进行信息交互。同时，该模型训练装置还包括总线44，处理器42、通信接口43、以及存储器41通过总线44完成相互间的通信。
存储器41可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器41也可以是存储器阵列。存储器41还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器42可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。
图5为本公开一个实施例的流量预测方法的流程示意图。在一些实施例中，下列的流量预测方法由流量预测装置执行。
在步骤501，分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征。
在一些实施例中，上述步骤501的特征提取步骤如图6中的步骤601-603所示。
在步骤502，利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
在一些实施例中，上述步骤502的特征提取步骤如图6中的步骤604所示。
图6为本公开另一个实施例的流量预测方法的流程示意图。在一些实施例中，下列的流量预测方法由流量预测装置执行。
在步骤601，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗，以便删除超过预设范围的数据。
在一些实施例中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据中的残缺数据进行补充，以保证模型训练效果。
例如，利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
在步骤602，利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征。
在步骤603，利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
在步骤604，利用Graphformer模型对融合特征、相关性信息和第二特征进行处理，以得到流量预测结果。
在一些实施例中，Graphformer模型利用图1任一实施例的模型训练方法训练得到。
图7为本公开一个实施例的流量预测装置的结构示意图。如图7所示，流量预测装置包括第一流量预测模块71和第二流量预测模块72。
第一流量预测模块71被配置为分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征。
第二流量预测模块72被配置为利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
图8为本公开一个实施例的流量预测装置的结构示意图。如图8所示，第一流量预测模块包括预处理模块81、特征提取模块82和特征处理模块83。
预处理模块81被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理。
在一些实施例中，预处理模块81分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗，以便删除超过预设范围的数据。
在一些实施例中，预处理模块81分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据中的残缺数据进行补充，以保证模型训练效果。
例如，预处理模块681利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
特征提取模块82被配置为利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征。
特征处理模块83被配置为利用MTF模型计算第一特征和第三特征的相关性信息，以及第一特征和第三特征的融合特征。
在一些实施例中，第二流量预测模块72被配置为利用Graphformer模型对融合特征、相关性信息和第二特征进行处理，以得到流量预测结果。
在一些实施例中，Graphformer模型利用图1中任一实施例涉及的模型训练方法训练得到。
图9为本公开又一个实施例的流量预测装置的结构示意图。如图9所示，流量预测装置包括存储器91、处理器92、通信接口93和总线94。图9与图4的不同之处在于，在图9所示实施例中，处理器92被配置为基于存储器存储的指令执行实现如图5-6中任一实施例涉及的方法。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图5-6中任一实施例涉及的方法。
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (25)
1.一种模型训练方法，包括：
分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；
利用数据包特征提取DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；
利用多输入张量融合MTF模型计算所述第一特征和第三特征的相关性信息，以及所述第一特征和第三特征的融合特征；
将所述融合特征、所述第一特征和第三特征的相关性信息和所述第二特征划分为训练集和验证集；
利用所述训练集中包括的融合特征、相关性信息和第二特征对图变换Graphformer模型进行训练；
利用所述验证集中包括的融合特征、相关性信息和第二特征对所述Graphformer模型进行验证。
2.根据权利要求1所述的方法，其中，利用所述训练集中包括的融合特征、相关性信息和第二特征对Graphformer模型进行训练包括：
利用所述Graphformer模型对所述训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果；
根据所述第一流量预测结果确定huber损失函数；
利用huber损失函数对所述Graphformer模型进行训练。
3.根据权利要求2所述的方法，其中，利用所述验证集中包括的融合特征、相关性信息和第二特征对所述Graphformer模型进行验证包括：
利用所述Graphformer模型对所述验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果；
根据所述第二流量预测结果和对应的预设结果，对所述Graphformer模型的超参数进行更新。
4.根据权利要求1-3中任一项所述的方法，其中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：
分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
5.根据权利要求4所述的方法，其中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：
利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；
利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；
利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
6.一种模型训练装置，包括：
第一处理模块，被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；
第二处理模块，被配置为利用数据包特征提取DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；
第三处理模块，被配置为利用多输入张量融合MTF模型计算所述第一特征和第三特征的相关性信息，以及所述第一特征和第三特征的融合特征；
第四处理模块，被配置为将所述融合特征、所述第一特征和第三特征的相关性信息和所述第二特征划分为训练集和验证集；
第五处理模块，被配置为利用所述训练集中包括的融合特征、相关性信息和第二特征对图变换Graphformer模型进行训练；
第六处理模块，被配置为利用所述验证集中包括的融合特征、相关性信息和第二特征对所述Graphformer模型进行验证。
7.根据权利要求6所述的装置，其中，
第五处理模块被配置为利用所述Graphformer模型对所述训练集中包括的融合特征、相关性信息和第二特征进行处理，以生成第一流量预测结果，根据所述第一流量预测结果确定huber损失函数，利用huber损失函数对所述Graphformer模型进行训练。
8.根据权利要求7所述的装置，其中，
第六处理模块被配置为利用所述Graphformer模型对所述验证集中包括的融合特征、相关性信息和第二特征进行处理，以生成第二流量预测结果，根据所述第二流量预测结果和对应的预设结果，对所述Graphformer模型的超参数进行更新。
9.根据权利要求6-8中任一项所述的装置，其中，
第一处理模块被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
10.根据权利要求9所述的装置，其中，
第一处理模块被配置为利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充，利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充，利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
11.一种模型训练装置，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-5中任一项所述的方法。
12.一种流量预测方法，包括：
分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征；
利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
13.根据权利要求12所述的方法，其中，分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征包括：
分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；
利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；
利用MTF模型计算所述第一特征和第三特征的相关性信息，以及所述第一特征和第三特征的融合特征。
14.根据权利要求13所述的方法，其中，利用Graphformer模型对所提取的特征进行处理包括：
利用所述Graphformer模型对所述融合特征、所述相关性信息和所述第二特征进行处理，以得到流量预测结果。
15.根据权利要求12所述的方法，其中，
所述Graphformer模型利用权利要求1-5中任一项所述的模型训练方法训练得到。
16.根据权利要求13所述的方法，其中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：
分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
17.根据权利要求16所述的方法，其中，分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理包括：
利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；
利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；
利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
18.一种流量预测装置，包括：
第一流量预测模块，被配置为分别提取历史网络流量数据、网络拓扑结构数据和流量套餐历史数据的特征；
第二流量预测模块，被配置为利用Graphformer模型对所提取的特征进行处理，以得到流量预测结果。
19.根据权利要求18所述的装置，其中，所述第一流量预测模块包括：
预处理模块，被配置为分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行预处理；
特征提取模块，被配置为利用DPFE模型分别提取经过预处理的历史网络流量数据的第一特征、经过预处理的网络拓扑结构数据的第二特征和经过预处理的流量套餐历史数据的第三特征；
特征处理模块，被配置为利用MTF模型计算所述第一特征和第三特征的相关性信息，以及所述第一特征和第三特征的融合特征。
20.根据权利要求19所述的装置，其中，
第二流量预测模块被配置为利用所述Graphformer模型对所述融合特征、所述相关性信息和所述第二特征进行处理，以得到流量预测结果。
21.根据权利要求19所述的装置，其中，
所述Graphformer模型利用权利要求1-5中任一项所述的模型训练方法训练得到。
22.根据权利要求19所述的装置，其中，
预处理模块分别对历史网络流量数据、网络拓扑结构数据和流量套餐历史数据进行异常数据清洗。
23.根据权利要求22所述的装置，其中，
预处理模块利用历史网络流量数据的平均值对历史网络流量数据中的残缺数据进行填充；
预处理模块利用网络拓扑结构数据的平均值对网络拓扑结构数据中的残缺数据进行填充；
预处理模块利用流量套餐历史数据的平均值对流量套餐历史数据中的残缺数据进行填充。
24.一种流量预测装置，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求12-17中任一项所述的方法。
25.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-5、12-17中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211148056.2A CN115460099A (zh) | 2022-09-20 | 2022-09-20 | 模型训练方法和装置、流量预测方法和装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211148056.2A CN115460099A (zh) | 2022-09-20 | 2022-09-20 | 模型训练方法和装置、流量预测方法和装置、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115460099A true CN115460099A (zh) | 2022-12-09 |
Family
ID=84304524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211148056.2A Pending CN115460099A (zh) | 2022-09-20 | 2022-09-20 | 模型训练方法和装置、流量预测方法和装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115460099A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118036714A (zh) * | 2024-04-12 | 2024-05-14 | 中国民用航空飞行学院 | 基于集成学习算法的空域流量预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113316118A (zh) * | 2021-05-31 | 2021-08-27 | 中国人民解放军国防科技大学 | 基于任务认知的无人机集群网络自组织系统及方法 |
| CN114006826A (zh) * | 2022-01-04 | 2022-02-01 | 南京信息工程大学 | 一种融合流量特征的网络流量预测方法 |
| US11269876B1 (en) * | 2020-04-30 | 2022-03-08 | Splunk Inc. | Supporting graph data structure transformations in graphs generated from a query to event data |
| CN114647684A (zh) * | 2022-05-19 | 2022-06-21 | 深圳市万物云科技有限公司 | 基于stacking算法的流量预测方法、装置及相关设备 |
-
2022
- 2022-09-20 CN CN202211148056.2A patent/CN115460099A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11269876B1 (en) * | 2020-04-30 | 2022-03-08 | Splunk Inc. | Supporting graph data structure transformations in graphs generated from a query to event data |
| CN113316118A (zh) * | 2021-05-31 | 2021-08-27 | 中国人民解放军国防科技大学 | 基于任务认知的无人机集群网络自组织系统及方法 |
| CN114006826A (zh) * | 2022-01-04 | 2022-02-01 | 南京信息工程大学 | 一种融合流量特征的网络流量预测方法 |
| CN114647684A (zh) * | 2022-05-19 | 2022-06-21 | 深圳市万物云科技有限公司 | 基于stacking算法的流量预测方法、装置及相关设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118036714A (zh) * | 2024-04-12 | 2024-05-14 | 中国民用航空飞行学院 | 基于集成学习算法的空域流量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126622B (zh) | 一种数据异常检测方法与装置 | |
| CN115460099A (zh) | 模型训练方法和装置、流量预测方法和装置、存储介质 | |
| CN109543029B (zh) | 基于卷积神经网络的文本分类方法、装置、介质和设备 | |
| CN113037577B (zh) | 网络流量预测方法、装置和计算机可读存储介质 | |
| CN112417293B (zh) | 信息推送方法和系统、模型训练方法及相关设备 | |
| CN111177135B (zh) | 一种基于界标的数据填补方法及装置 | |
| TW202312002A (zh) | 用於重建構半導體構件在晶圓上的位置的方法與設備 | |
| CN112380918A (zh) | 一种道路车辆状态识别方法、装置、电子设备及存储介质 | |
| US8190536B2 (en) | Method of performing parallel search optimization | |
| CN109784484A (zh) | 神经网络加速方法、装置、神经网络加速芯片及存储介质 | |
| CN113761026A (zh) | 基于条件互信息的特征选择方法、装置、设备和存储介质 | |
| CN110365507B (zh) | 用于实现链路权重自动赋值的方法和装置 | |
| CN112529218A (zh) | 一种基于关联分析的建筑物安全检测方法及系统 | |
| CN112380919A (zh) | 一种车辆类别统计方法 | |
| CN109144806B (zh) | 一种寄存器传输级电路的功能验证方法及装置 | |
| CN116304569A (zh) | 一种用于分布式光纤传感器缺失数据的填补方法 | |
| CN114937164A (zh) | 动作定位模型的训练方法和装置、动作定位方法和设备 | |
| CN106485526A (zh) | 一种数据挖掘模型的诊断方法和装置 | |
| CN113657613A (zh) | 预测模型训练方法、数据处理装置和系统 | |
| CN110705633B (zh) | 目标物检测、目标物检测模型的建立方法及装置 | |
| CN114037054A (zh) | 一种数据处理方法、装置、芯片、设备及介质 | |
| KR102200809B1 (ko) | 학습기반 데이터 처리 시스템 및 모델 갱신 방법 | |
| CN113486086A (zh) | 一种基于特征工程的数据挖掘方法及系统 | |
| CN115641641A (zh) | 动作识别模型训练方法和装置、动作识别方法和装置 | |
| CN113935387A (zh) | 文本相似度的确定方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |