CN114915563A - 一种网络流量预测方法和系统 - Google Patents
一种网络流量预测方法和系统 Download PDFInfo
- Publication number
- CN114915563A CN114915563A CN202111488229.0A CN202111488229A CN114915563A CN 114915563 A CN114915563 A CN 114915563A CN 202111488229 A CN202111488229 A CN 202111488229A CN 114915563 A CN114915563 A CN 114915563A
- Authority
- CN
- China
- Prior art keywords
- data
- xgboost
- network traffic
- module
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络流量预测方法和系统。对原始数据进行清洗转换和缺失值填充等预处理后,从中提取流量特征,构建加权XGBoost‑Bagging网络流量预测模型,来预测测试数据。通过使用加权XGBoost‑Bagging算法模型提升了网络流量预测的准确度,相比现有网络流量预测方法而言在空间复杂度几乎不变的情况下具有更低的时间复杂度。
Description
技术领域
本发明涉及网络信息技术领域,尤其涉及一种基于加权XGBoost-Bagging的网络流量预测方法和系统。
背景技术
随着移动通信技术的快速发展,网络的规模也在不断地扩大,网络数据量激增。面对越来越复杂的网络环境和成倍翻升的网络流量数据以及由此可能引发的网络流量突发等问题,单纯增加网络带宽是不可能完全解决的,网络管理和运营者们需要花费更多的时间和资源来监控实时的网络流量状况,以便对网络流量数据进行合理分析和预测以提高网络资源利用率,确保网络稳定性以应对突发的网络拥挤和堵塞,同时可以节约基站能源及时关闭不需要的基站。
网络流量预测是根据历史流量数据和现在的已知信息,利用相关算法模型,估计并推测出目前尚未明确和尚未发生的网络流量数据信息。具体而言,就是建立一个网络流量预测模型来刻画流量数据的行为特性,再根据现在已知的流量数据信息,利用所建立的流量模型,在误差允许范围内对未来网络流量的变化趋势或状态作出可解释的合理推断。网络流量的预测效果是否良好,取决于该网络流量预测模型是否能够有效并准确地刻画出网络流量的行为特性。
目前,网络流量预测模型主要分为两类,线性预测模型和非线性预测模型。传统的线性流量预测模型,其运算机理是用多项式拟合函数无限逼近真实流量数据,通过设置足够多的未知参数来达到最佳拟合度,计算量小,适用于短期预测、计算快并且对计算精度要求不高的场合,如对实时性要求较高的在线预测。但以上传统的线性预测模型已经不能完全描述日益复杂的非线性网络业务。针对网络流量具有的突发性、周期性、非线性、长相关等特性,提出了许多新的能够描述网络流量的以上特性的非线性预测模型,如小波分解、支持向量机、人工神经网络等非线性处理方法也被用于网络流量的预测。考虑利用小波分解将具有不同优势的模型进行结合,以进一步提高网络流量的预测效果。机器学习和数据挖掘以及混合模型预测的方法将是网络流量预测领域未来的趋势,然而单个学习器往往容易过拟合,影响网络流量预测的泛化性能。
目前,对建立网络流量预测模型的研究中仍存在着一些不足之处和有待进一步研究的问题,如获取的原始流量数据通常会掺杂一些不必要的信息,同时又存在大量的数据缺失,因此需要经过一定的预处理才能用到预测模型中,预处理的结果将会直接影响到模型的性能。此外,流量数据进行特征挖掘时,提取的流量数据特征的有效性也会直接影响到模型的性能。进一步而言,减少预测模型的结构复杂度与计算复杂度、实现大规模分布式处理等同样是网络预测模型需要进一步研究解决的问题。
本发明提出一种基于加权XGBoost-Bagging的网络流量预测来解决这些问题,引入集成学习以进一步提高准确性。
发明内容
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征;也不旨在用于确定或限制所要求保护的主题的范围。
本发明提出了一种基于机器学习和数据挖掘方法和系统,构建了改进的XGBoost算法模型,可实现基站网络流量的准确预测。本发明应用于预测基站网络流量,是对连续数值预测而不是做分类预测。
针对所采集的基站网络流量数据特性,利用大数据挖掘和机器学习算法,可以实现更加快速、准确、高效的预测。首先对网络流量数据进行统计分析做数据预处理工作,再使用网络流量预测算法对预处理过后的数据采用预测性能较高的算法XGBoost进行建模。同时,根据流量特性提取更多的流量数据特征以进一步提升算法性能,使用加权XGBoost-Bagging算法模型,使其更适合于当前流量特性,以提升模型预测准确度。
本发明的一种基于加权XGBoost-Bagging的网络流量预测方法,包括:对流量数据进行清洗、转换、缺失值填充等预处理;基于时空分布和历史流量数据进行流量特征提取,提取时间特征、空间特征、周期性特征;利用Bagging策略的自助采样法从训练数据有放回地随机采样来抽取K组训练样本,重复训练XGBoost学习器K次,计算每个XGBoost学习器的重要性权重,并将经训练的K个带权重的XGBoost学习器进行组合,以构建加权XGBoost-Bagging网络流量预测模型;以及利用所构建的网络流量预测模型,通过计算出经训练的K个带权重的XGBoost学习器的组合中XGBoost学习器的加权平均值,得到最终流量预测值输出来预测测试数据。
其中,重复训练学习器包括:用所抽取的训练数据训练每个XGBoost学习器,而用所抽取的训练样本之外的袋外数据作为验证数据来对每个经训练的XGBoost学习器进行评估。
本发明的一种基于加权XGBoost-Bagging的网络流量预测系统,包括:流量数据预处理模块、流量特征提取模块、流量预测模型构建模块,以及流量预测模块。
在基于单个学习器XGBoost模型实现的精准度上,通过引入Bagging策略为模型训练增加随机性,引入正则化,有望进一步减小整体的方差,使得模型对噪声数据更具鲁棒性。此外,在给定相同的决策树数量的情况下,加权XGBoost-Bagging融合算法模型在理论上比单个学习器XGBoost算法模型具有更低的时间复杂度,而空间复杂度几乎不变。此优化算法能够有效地提高网络流量的预测性能。
通过阅读下面的详细描述并参考相关联的附图,这些及其他特点和优点将变得显而易见。应该理解,前面的概括说明和下面的详细描述只是说明性的,不会对所要求保护的各方面形成限制。
附图说明
以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。
图1是本发明的基于加权XGBoost-Bagging的网络流量预测方法的流程图;
图2是本发明的加权XGBoost-Bagging算法模型框图;
图3是本发明的基于加权XGBoost-Bagging的网络流量预测系统的框图。
附图中的流程图和框图显示了根据本申请的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
具体实施方式
以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述,本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解,可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
假设原始网络流量数据为D={(xi,yi),i=1,2,…,N},其中yi为流量值,N表示样本容量,xi为M维的输入特征向量{xi1,xi2,…,xiM},其中M表示输入特征个数。
本发明提出的一种基于加权XGBoost-Bagging的网络流量预测方法如图1所示,包括如下步骤:
步骤S1、网络流量数据预处理:预处理主要是针对掺杂了不必要信息同时又存在数据缺失的原始流量数据进行清洗、转换和缺失值填充等预处理。其具体包括以下子步骤:
S1.1、数据清洗:去除异常值、重复值和无用数据。
例如,在对原始数据集的统计分析中,发现原始数据中存在大量的异常数据(如值为-9999999),不利于分析,将这些出现异常数据的记录删除。
再如,发现某些基站在文件中记录的流量值均为同一个重复值,鉴于其流量值保持不变,没有分析价值,故将这些基站的记录也删除。
此外,对流量预测没有帮助的信息也予以删除,如port_type和service_type两个字段记录的均为相同值,属于无用数据,可以删除。再如,某些字段中内容失,也属于无用数据可予以去除。
S1.2、数据转换:将原始数据标准化,转换成能够被机器学习模型识别的数据格式,如将时间信息转换成标准的时间序列格式等。
以时间信息标准化为例,原始数据集将基站每天的流量值按月份采集在多个文件里,月份在文件名中体现,而文件中time字段为1至31,表示该月的第几日。为了获得标准时间格式,如‘2015-05-01’,需要进行整合,同时从文件名和文件中time字段中提取出具体的年月日信息,并转换为标准的时间序列格式,便于机器学习算法识别和分析。
S1.3、缺失值填充:经过数据清洗后,流量数据中几乎所有基站都存在着不同程度的流量值随机性缺失情况,采用基于统计特性填充,如相邻均值填充、前后项填充等方式对缺失数据进行填充。
步骤S2、流量特征提取:基于基站的时空分布和历史流量数据提取出流量特征。其具体包括以下子步骤:
S2.1、时间特征提取:提取流量数据具体日期信息,如星期几、年月日及其组合,同时进一步包括与日期信息相关的时间特征,例如,是否周末、是否节假日、季节、季度、总天数等;
S2.2、空间特征提取:由于地区信息往往是文本信息,需要通过独热编码将文本信息转换为二进制编码;
S2.3、周期性特征提取:对历史流量数据可以利用移动窗口平均法提取周期性特征,根据时间序列逐项推移,依次计算出包含一定项数的平均值,所述一定项数即为窗口取值,例如包含一周、两周、…、五周的平均值。
步骤S3、网络流量预测模型构建:将步骤S2提取的Q个流量特征作为输入数据,网络流量值作为输出数据,划分训练数据集和测试数据集,构建加权XGBoost-Bagging网络流量预测模型。
输入:训练数据集D’={(ai,yi),i=1,2,…,N},其中ai为Q维的输入特征向量{ai1,ai2,…,aiM}
输出:训练得到的加权XGBoost-Bagging算法模型
其具体包括以下子步骤:
S3.1、通过有放回地随机采样来抽取训练样本集:利用Bagging策略的自助采样法,从训练数据集D’中有放回地随机抽取K组训练样本集,其样本容量与D’相同,记为{D1’,D2’,…,Dk’},所抽取的训练样本集之外的为袋外数据,即验证数据,构成后续使用的验证集;
S3.2求取样本占原训练数据的百分比:根据自助采样法原理,由于是有放回地随机采样,每次抽取未被选中的样本的概率是
对P取极限可得其值约为36.8%,也就是每次选取的训练样本数据的样本容量虽然和原训练数据相同,但是实际数据量占原训练数据的63.2%左右;
S3.3、计算每个XGBoost学习器的重要性权重:每次用抽取的训练样本集内的训练数据(占比63.2%)训练每个XGBoost学习器,而抽取的训练样本集之外的袋外数据(占比36.8%)作为验证数据对每个训练过的XGBoost学习器进行评估,计算出每个学习器的重要性权重;
S3.4、重复训练K次:将步骤3.3重复K次,可得到K个XGBoost学习器,通过训练样本的差异性使得各个XGBoost学习器之间具有一定差异性;
S3.5、学习器组合:将训练好的K个带权重的XGBoost学习器进行组合。
步骤S4、用构建的网络流量预测模型预测测试数据,通过计算出组合中XGBoost学习器的加权平均值得到最终流量预测值输出。
本发明的基于加权XGBoost-Bagging的网络流量预测算法模型框图如图2所示。Bagging策略基本思想:给定一个大小为n的训练集D,Bagging算法从中均匀、有放回地(即使用自助抽样法)选出m个大小为n’的子集Di,作为新的训练集。在这m个训练集上使用分类、回归等算法,则可得到m个模型,再通过取平均值、取多数票等方法,即可得到Bagging的结果。
本发明的改进的XGBoost-Bagging算法模型与单个XGBoost算法模型的复杂度相比,时间复杂度降低,空间复杂度几乎不变,具体如下:
假设单个XGBoost算法模型中的决策树总数为L,则提出的融合算法模型中每个XGBoost学习模型均生成棵决策树。XGBoost算法的时间复杂度可记为O(MNlog(N))+O(LMNTD),其中M为特征个数,N是数据集的大小(即样本容量),TD为树的深度。
本发明的XGBoost-Bagging模型使用Bagging策略并行生成K个XGBoost学习器,因此,其时间复杂度可以表示为相比之下,本发明的改进的XGBoost-Bagging算法模型的时间复杂度降低,并与参数K成反比。
同时,由于两者都使用L个决策树,因此空间复杂度几乎不变。
图3是本发明的基于加权XGBoost-Bagging的网络流量预测系统的框图。
该系统包括流量数据预处理模块310、流量特征提取模块320、流量预测模型构建模块330、以及预测模块340。
流量数据预处理模块310可包括用于对原始流量数据进行清洗的清洗模块;将数据标准化,转换成能够被模型识别的数据格式的转换模块;以及基于统计特性进行缺失值填充的缺失值填充模块。数据经预处理后被发送到流量特征提取模块320。
流量特征提取模块320从经预处理的流量数据中提取时间特征、空间特征、以及周期性特征等流量特征数据以发送到流量预测模型构建模块330。
流量预测模型构建模块330可进一步包括训练模块、评估模块、组合模块,划分训练数据集和测试数据集,由训练模块利用Bagging策略自助采样从训练数据集当中抽取训练样本集来训练每个XGBoost学习器,并由评估模块用训练样本集之外的袋外数据作为验证集对每个训练过的XGBoost学习器进行评估,计算出每个XGBoost学习器的重要性权重,并由组合模块将训练后带权重的学习器进行组合。
预测模块340使用所述构建的流量预测模型,通过计算组合中的学习器的加权平均值得到最终流量预测值供输出。
本发明的基于加权XGBoost-Bagging的网络流量预测方法和系统,利用Bagging集成方法集成若干个XGBoost模型,利用袋外数据计算每个XGBoost的权重系数,引入正则化的同时控制集成参数,达到在时间、空间开销几乎不变甚至降低的情况下,进一步减小过拟合,以优化算法的泛化性能。
以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,其均应涵盖在本申请的权利要求和说明书的范围当中。
Claims (10)
1.一种基于加权XGBoost-Bagging的网络流量预测方法,包括:
流量数据预处理;
基于时空分布和历史流量数据进行流量特征提取;
加权XGBoost-Bagging网络流量预测模型构建;以及
利用所构建的网络流量预测模型来预测测试数据。
2.如权利要求1所述的网络流量预测方法,其特征在于,所述流量数据预处理包括:
数据清洗,去除异常值、重复值和无用数据;
数据转换,将数据标准化,转换成能够被模型识别的数据格式;以及
基于统计特性进行缺失值填充。
3.如权利要求1所述的网络流量预测方法,其特征在于,所述流量特征提取包括:
时间特征提取,包括提取日期信息以及与所述日期信息相关的时间特征;
空间特征提取,包括将地区信息的文本信息转换为二进制编码;以及
周期性特征提取,利用移动窗口平均法提取周期性特征,根据时间序列逐项推移,依次计算出包含一定项数的平均值。
4.如权利要求1所述的网络流量预测方法,其特征在于,所述网络流量预测模型构建包括:
利用Bagging策略的自助采样法,通过从训练数据有放回地随机采样来抽取K组训练样本;
求取所述训练样本占所述训练数据的百分比;
重复训练XGBoost学习器K次,计算每个XGBoost学习器的重要性权重;以及
将经训练的K个带权重的XGBoost学习器进行组合。
5.如权利要求4所述的网络流量预测方法,其特征在于,所述重复训练学习器包括:用所抽取的训练数据训练每个XGBoost学习器,而用所抽取的训练样本之外的袋外数据作为验证数据来对每个经训练的XGBoost学习器进行评估。
6.如权利要求4所述的网络流量预测方法,其特征在于,所述预测测试数据包括计算出经训练的K个带权重的XGBoost学习器的组合中XGBoost学习器的加权平均值得到最终流量预测值输出。
8.一种基于加权XGBoost-Bagging的网络流量预测系统,包括:
流量数据预处理模块;
用于基于时空分布和历史流量数据进行流量特征提取的流量特征提取模块;
流量预测模型构建模块,包括训练模块、评估模块、组合模块;以及
用于利用所构建的网络流量预测模型来预测测试数据的流量预测模块。
9.如权利要求8所述的网络流量预测系统,其特征在于,
所述训练模块利用Bagging策略自助采样从训练数据集当中抽取训练样本集来训练每个XGBoost学习器;
所述评估模块用所抽取的训练样本集之外的袋外数据对每个经训练的XGBoost学习器进行评估,计算出每个XGBoost学习器的重要性权重;以及
所述组合模块将经训练带权重的XGBoost学习器进行组合。
10.如权利要求8所述的网络流量预测系统,其特征在于,所述流量数据预处理模块包括:
用于对原始流量数据进行清洗的清洗模块;
将数据标准化,转换成能够被模型识别的数据格式的转换模块;以及
基于统计特性进行缺失值填充的缺失值填充模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111488229.0A CN114915563A (zh) | 2021-12-07 | 2021-12-07 | 一种网络流量预测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111488229.0A CN114915563A (zh) | 2021-12-07 | 2021-12-07 | 一种网络流量预测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114915563A true CN114915563A (zh) | 2022-08-16 |
Family
ID=82762498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111488229.0A Pending CN114915563A (zh) | 2021-12-07 | 2021-12-07 | 一种网络流量预测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114915563A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116566841A (zh) * | 2023-05-09 | 2023-08-08 | 北京有元科技有限公司 | 一种基于网络流量查询的流量趋势预测方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107294993A (zh) * | 2017-07-05 | 2017-10-24 | 重庆邮电大学 | 一种基于集成学习的web异常流量监测方法 |
CN110988804A (zh) * | 2019-11-11 | 2020-04-10 | 浙江大学 | 一种基于雷达脉冲序列的雷达辐射源个体识别系统 |
-
2021
- 2021-12-07 CN CN202111488229.0A patent/CN114915563A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107294993A (zh) * | 2017-07-05 | 2017-10-24 | 重庆邮电大学 | 一种基于集成学习的web异常流量监测方法 |
CN110988804A (zh) * | 2019-11-11 | 2020-04-10 | 浙江大学 | 一种基于雷达脉冲序列的雷达辐射源个体识别系统 |
Non-Patent Citations (2)
Title |
---|
夏慧维: "基于决策树集成和宽度森林的网络流量分析与预测研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 2 - 4 * |
徐树乔: "基于XGBoost的Bagging方法的电信客户流失预测应用研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 3 - 4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116566841A (zh) * | 2023-05-09 | 2023-08-08 | 北京有元科技有限公司 | 一种基于网络流量查询的流量趋势预测方法和装置 |
CN116566841B (zh) * | 2023-05-09 | 2023-12-01 | 北京有元科技有限公司 | 一种基于网络流量查询的流量趋势预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Somu et al. | A hybrid model for building energy consumption forecasting using long short term memory networks | |
CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN109376906B (zh) | 基于多维度轨迹的出行时间预测方法、系统及电子设备 | |
CN106095942A (zh) | 强变量提取方法及装置 | |
JP7401677B2 (ja) | モデル更新システム、モデル更新方法及び関連装置 | |
Zhang et al. | Speed prediction based on a traffic factor state network model | |
Prajam et al. | Applying machine learning approaches for network traffic forecasting | |
CN113891342B (zh) | 基站巡检方法、装置、电子设备及存储介质 | |
CN111461231A (zh) | 一种短信息的发送控制方法、装置及存储介质 | |
CN114611764B (zh) | 一种特定区域内企业工业用水异常监测预警方法 | |
CN117113159A (zh) | 基于深度学习的电力用户侧负荷分类方法及系统 | |
CN114915563A (zh) | 一种网络流量预测方法和系统 | |
CN115883424B (zh) | 一种高速骨干网间流量数据预测方法及系统 | |
CN115604131B (zh) | 一种链路流量预测方法、系统、电子设备及介质 | |
Xu et al. | Interpretable transformer-based model for probabilistic short-term forecasting of residential net load | |
CN114298413B (zh) | 一种水电机组振摆趋势预测方法 | |
Tang et al. | Leveraging socioeconomic information and deep learning for residential load pattern prediction | |
Bonet et al. | Conditional variational graph autoencoder for air quality forecasting | |
Cao et al. | Probabilistic runoff forecasting considering stepwise decomposition framework and external factor integration structure | |
Balamurugan et al. | Implementation of Effective Rainfall Forecast Model using Machine Learning | |
CN111353523A (zh) | 一种对铁路客户进行分类的方法 | |
Smith et al. | Limited-knowledge economic dispatch prediction using bayesian averaging of single-node models | |
CN111833601B (zh) | 一种低通信开销的宏观交通规律建模方法 | |
CN115860574B (zh) | 充电设备的使用效果分析方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |