CN111132209B - 基于变分自编码器估计无线局域网络接入点吞吐量的方法 - Google Patents
基于变分自编码器估计无线局域网络接入点吞吐量的方法 Download PDFInfo
- Publication number
- CN111132209B CN111132209B CN201911232331.7A CN201911232331A CN111132209B CN 111132209 B CN111132209 B CN 111132209B CN 201911232331 A CN201911232331 A CN 201911232331A CN 111132209 B CN111132209 B CN 111132209B
- Authority
- CN
- China
- Prior art keywords
- throughput
- data
- local area
- wireless local
- area network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开一种基于变分自编码器估计无线局域网络接入点吞吐量的方法,该方法包括如下步骤:(1)获取无线局域网络中AP端的吞吐量作为样本,对吞吐量数据做预处理,制作数据集X;(2)根据基于变分自编码器网络(VAE)的异常值检测方法,训练数据集X,获得异常值检测模型;(3)根据基于变分自编码器网络(VAE)的异常值检测方法,对数据集X进行全网AP吞吐量数据异常值过滤,制作新的数据集X1;(4)根据数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测。本发明提高了无线局域网络接入点吞吐量预测的准确度,克服了因为吞吐量异常值带来预测不准确的问题,实现85%以上的无线局域网络吞吐量预测准确率,提高了无线局域网络调优效果。
Description
技术领域:
本发明涉及一种基于变分自编码器估计无线局域网络接入点吞吐量的方法,属于深度学习、时间序列预测领域,尤其涉及无线局域网络中接入点(AP)吞吐量预测的方法。
背景技术:
随着通信技术的进一步发展,无线局域网络已经覆盖到了人类生活的每个角落。现阶段,在公司、学校、商场各个角落都有着自己的无线局域网络,人们对于无线局域网络的依赖与日倍增。此外,随着5G技术的蓬勃发展,无线局域网络对于无人驾驶、无人机、智慧医疗、工业互联网等领域的发展也有着重大的促进作用,工业界对于无线局域网络通信的实时性、可靠性也提出了更高的要求。然而无线通信信道资源是有限的,随着无线局域网络接入点(AP)数量的增加,AP之间的相互干扰也日益严重,这极大地影响了用户体验,对工业界的影响更加严重。因此很多大型互联网公司或IT设备服务提供商会采用优化无线局域网络参数配置的方法来提升网络性能与终端用户体验。
传统无线局域网络调优算法大部分是基于AP之间的邻居干扰进行调优,每个AP赋予相同的权值,通过分配网络参数降低无线局域网络干扰。但是,在实际应用中,每个AP权值是不一样的,这将极大的浪费无线频谱资源。若能够通过建立数学模型,有效预测每个AP的实际吞吐量,基于AP的实际吞吐量进行信道分配与带宽选择,即可以极大提升无线局域网络性能,提高无线频谱资源的利用率。
吞吐量序列预测,本质上是一种复杂的时间序列预测模型,目前已有的吞吐量预测方法有:状态空间模型(SSMs)、α滤波等算法,但这些算法通常适用于简单的时间序列预测,面对复杂时间序列预测,该类算法预测精度与准确性难以得到保障,因此较难适用于吞吐量时间序列预测。近几年来学术界、工业界逐步有人提出用高斯过程回归预测模型(GPR)与XGBoost算法进行时间序列预测,这类算法在时间序列预测的准确性与实时性方面,都有着很好的效果。在直接采用GPR、XGBoost进行吞吐量预测时,因为时间序列具有一定的波动性,且样本中常含有异常值,这对无线局域网络AP吞吐量的预测带来了极大的挑战。
发明内容:
本发明的目的是克服现有技术不足,本发明的目的在于设计一种基于变分自编码器估计无线局域网络接入点吞吐量的方法,通过基于深度学习的VAE-GPR网络对无线局域网络AP端吞吐量数据进行异常检测、过滤、预测,提高AP端吞吐量预测的准确度和效率。
上述目的通过以下技术方案来实现:
基于变分自编码器估计无线局域网络接入点吞吐量的方法,该方法包括如下步骤:
(1)获取无线局域网络中AP端的吞吐量作为样本,对吞吐量数据做预处理,制作数据集X;
(2)根据基于变分自编码器网络(VAE)的异常值检测方法,训练数据集X,获得异常值检测模型;
(3)根据基于变分自编码器网络(VAE)的异常值检测方法,对数据集X进行全网AP吞吐量数据异常值过滤,制作新的数据集X1;
(4)根据数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测。
所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,步骤(1)中所述制作数据集X的具体方法包括:
(11)读取所述预处理后含有噪声、异常值的AP吞吐量数据;
(12)对步骤(11)读取的AP吞吐量数据按照时间序列进行数据预处理,取窗,形成若干个以时间窗口为W的AP吞吐量数据时间序列戳;
(13)将AP吞吐量数据时间序列戳以7:3的比例分为训练集与测试集,训练集与测试集之间无交集。
所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,步骤(2)中所述基于变分自编码器(VAE)的异常值检测方法,采用PyTorch框架,在线性网络中加入常数项,防止方差项较小。
所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,步骤(3)中所述制作新的数据集X1的具体方法包括:
(31)对一个时间窗口为W的AP吞吐量数据时间序列戳x,通过吞吐量异常检测模型获得新的AP吞吐量数据时间序列戳x′与方差σx;
(32)若x∈[x′-λσx,x′+λσx],其中λ是正常数,保留x;
(33)若x<x′-λσx,则x=x′-λσx;
(34)若x>x′+λσx,则x=x′+λσx;
(35)制作新的数据集X1。
所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,步骤(4)中,所述根据数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测,传统的时间序列预测算法包括高斯过程回归、XGBoost。
所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,步骤(1)中获取无线局域网络中AP端的吞吐量作为样本的时候过滤周末节假日数据。
有益效果:
本发明能够实现无线局域网络接入点(AP)吞吐量的快速预测。相比于传统的吞吐量预测方法,本发明提高了吞吐量预测的准确度,降低预测误差。相较于直接采用高斯过程回归模型(GPR),本发明可以提升5个百分点以上。在此基础上可以进行精确指导无线局域网络频谱资源分配,提升无线局域网络资源利用率。
附图说明:
图1为本发明实施例吞吐量预测方法流程图;
图2为本发明实施例制作数据的流程图;
图3为本发明实施例吞吐量异常检测网络与吞吐量预测流程图;
图4为本发明实施例异常检测网络流程图;
图5为本发明实施例吞吐量预测结果对比图。
具体实施方式:
下面结合附图和具体实施例对本发明作进一步的详细说明。
本实施例提供了一种基于变分自编码器估计无线局域网络接入点吞吐量的方法,解决了传统无线局域网络接入点(AP)吞吐量预测方法对于含噪声、异常值数据预测不准确、费时的问题。如图1所示,该方法包括:
步骤S10、获取含有噪声、异常值的AP吞吐量数据作为样本,通过对AP吞吐量数据时间序列进行数据预处理,取窗,形成大量的时间窗口为W的吞吐量时间序列戳,制作数据集。W窗口大小的设置取决于采集的吞吐量样本时间粒度,一般取为样本粒度的整数倍。本实施例中吞吐量的时间粒度为1min,因此W可以取为10,15,30,60等。所述数据预处理包括:对AP吞吐量数据分别进行某一时间粒度滑动平均、平均、取最值等方式。对预处理数据进行时间取窗,窗口一般取为吞吐量预测时间粒度的大小。在不改变原始数据统计特征情况下,对吞吐量数据取预测时间粒度大小的窗口,可以提高吞吐量异常检测模型的准确度与泛化能力。对于吞吐量数据进行统计分析,滑动平均都属于数据预处理。对预处理后的数据做任何与预测时间粒度大小有关的操作都属于取窗。
步骤S20、根据基于变分自编码器(VAE)的异常值检测方法训练所述数据集,获得AP吞吐量数据异常检测模型,采用PyTorch框架,在线性网络中加入常数项,防止方差项较小。所述基于变分自编码器(VAE)的异常值检测方法并不局限于PyTorch框架,只要能对预处理后、取窗的吞吐量数据进行训练,且在训练过程中迭代若干次(千次的数量级)后达到损失函数收敛并且最终能够获得输出数据集x′即可。
从数据中学得模型的过程称为训练或学习,把训练集输入到深度变分自编码器(VAE)网络中,深度变分自编码器(VAE)网络学习含有AP吞吐量数据的统计特征,经过上万次的迭代训练后,就可以得到深度变分自编码器(VAE)网络模型即AP吞吐量异常检测模型。通过AP吞吐量异常检测模型就可以实现对含有异常值的AP吞吐量数据进行定位与替换。
步骤S30、采用AP吞吐量异常检测模型就可以实现对含有异常值的AP吞吐量数据进行定位与替换,制作新数据集X1。
步骤S40、根据所述数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测,传统的时间序列预测算法有高斯过程回归(GPR)、XGBoost等。其采用VAE-GPR方法与直接采用GPR方法对比效果图如图所示。
如图2所示,所述步骤S10包括:
步骤S101、读取所述预处理后含有噪声、异常值的AP吞吐量数据。
步骤S102、对AP吞吐量数据时间序列进行数据预处理,数据预处理包括对AP吞吐量数据分别进行某一时间粒度滑动平均、平均、取最值等方式。
步骤S103、对预处理的数据进行取窗,形成大量的时间窗口为W的AP吞吐量数据时间序列戳,窗口一般取为吞吐量预测时间粒度的大小。
步骤S104、将所述吞吐量时间序列戳以7:3的比例分为训练集和测试集,训练集和测试集之间无交集。训练过程中使用的数据称为训练数据,其中每个样本称为训练样本。训练样本组成的集合称为训练集。而测试集则被用来测试模型对于新样本的判别能力。可理解的,训练集和测试集中所述可读取文件的比例不限于7:3,可以设置成任意比例,但需要确保训练集中可读取文件数量至少是测试集的2倍,且训练集与测试集无交集。
如图3所示,所述步骤S20包括:
步骤S201、对AP吞吐量数据采用基于变分自编码器(VAE)的异常值检测方法,训练数据集,获得吞吐量异常检测模型。
如图4所示,所述步骤S30包括:
步骤S301、对一个窗口为W的时间戳x,通过吞吐量异常检测模型获得新的时间戳x′与方差σx。
步骤S302、若x∈[x′-λσx,x′+λσx],其中λ是正常数,保留x;若x<x′-λσx,则x=x′-λσx;若x>x′+λσx,则x=x′+λσx。
步骤S303、制作新的数据集X1。
如图3所示,所述步骤S40包括:
步骤S401、根据所述新数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测,传统的时间序列预测算法有高斯过程回归、XGBoost等;
如图5所示,采用上述算法对某公司某食堂AP某一天8:00-20:00吞吐量进行预测。全天预测误差为2.28Mbps,95%置信水平的预测准确率为83.3%。在对全网AP采用VAE-GPR算法进行预测,全网AP在白天时间段(8:00-20:00)预测的准确率在80%以上,全天(0:00-24:00)预测准确率在85%以上。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
Claims (3)
1.一种基于变分自编码器估计无线局域网络接入点吞吐量的方法,其特征在于,该方法包括如下步骤:
(1)获取无线局域网络中AP端的吞吐量作为样本,对吞吐量数据做预处理,制作数据集X;
(2)根据基于变分自编码器网络的异常值检测方法,训练数据集X,获得异常值检测模型;
(3)根据基于变分自编码器网络的异常值检测方法,对数据集X进行全网AP吞吐量数据异常值过滤,制作新的数据集X1;
(4)根据数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测;
步骤(1)中所述制作数据集X的具体方法包括:
(11)读取所述预处理后含有噪声、异常值的AP吞吐量数据;
(12)对步骤(11)读取的AP吞吐量数据按照时间序列进行数据预处理,取窗,形成若干个以时间窗口为W的AP吞吐量数据时间序列戳;
(13)将AP吞吐量数据时间序列戳以7:3的比例分为训练集与测试集,训练集与测试集之间无交集;
步骤(2)中所述基于变分自编码器的异常值检测方法,采用PyTorch框架,在线性网络中加入常数项,防止方差项较小;
步骤(3)中所述制作新的数据集X1的具体方法包括:
(31)对一个时间窗口为W的AP吞吐量数据时间序列戳x,通过吞吐量异常检测模型获得新的AP吞吐量数据时间序列戳x′与方差σx;
(32)若x∈[x′-λσx,x′+λσx],其中λ是正常数,保留x;
(33)若x<x′-λσx,则x=x′-λσx;
(34)若x>x′+λσx,则x=x′+λσx;
(35)制作新的数据集X1。
2.根据权利要求1所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,其特征在于,步骤(4)中,所述根据数据集X1,采用传统时间序列预测算法对AP吞吐量进行预测,传统的时间序列预测算法包括高斯过程回归、XGBoost。
3.根据权利要求1所述的基于变分自编码器估计无线局域网络接入点吞吐量的方法,其特征在于,步骤(1)中获取无线局域网络中AP端的吞吐量作为样本的时候过滤周末节假日数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911232331.7A CN111132209B (zh) | 2019-12-04 | 2019-12-04 | 基于变分自编码器估计无线局域网络接入点吞吐量的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911232331.7A CN111132209B (zh) | 2019-12-04 | 2019-12-04 | 基于变分自编码器估计无线局域网络接入点吞吐量的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111132209A CN111132209A (zh) | 2020-05-08 |
CN111132209B true CN111132209B (zh) | 2023-05-05 |
Family
ID=70497531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911232331.7A Active CN111132209B (zh) | 2019-12-04 | 2019-12-04 | 基于变分自编码器估计无线局域网络接入点吞吐量的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111132209B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197736B (zh) * | 2017-12-29 | 2021-08-13 | 北京工业大学 | 一种基于变分自编码器和极限学习机的空气质量预测方法 |
CN109462853B (zh) * | 2018-11-05 | 2022-01-14 | 武汉虹信技术服务有限责任公司 | 一种基于神经网络模型的网络容量预测方法 |
CN109948117B (zh) * | 2019-03-13 | 2023-04-07 | 南京航空航天大学 | 一种对抗网络自编码器的卫星异常检测方法 |
CN110210644A (zh) * | 2019-04-17 | 2019-09-06 | 浙江大学 | 基于深度神经网络集成的交通流量预测方法 |
CN110334881A (zh) * | 2019-07-17 | 2019-10-15 | 深圳大学 | 一种基于长短记忆网络与深度数据清洗的金融时间序列预测方法,装置及服务器 |
-
2019
- 2019-12-04 CN CN201911232331.7A patent/CN111132209B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111132209A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4024261A1 (en) | Model training method, apparatus, and system | |
CN111553463B (zh) | 基于深度学习和网络参数估计无线接入点吞吐量的方法 | |
CN110135635B (zh) | 一种区域电力饱和负荷预测方法及系统 | |
CN112512069B (zh) | 基于信道波束图样的网络智能优化方法及装置 | |
CN107886160B (zh) | 一种bp神经网络区间需水预测方法 | |
CN110380881B (zh) | 一种网络扩容预测方法及装置 | |
CN113382477B (zh) | 应用于无线网络用户间上行干扰建模的方法 | |
CN111008726B (zh) | 一种电力负荷预测中类图片转换方法 | |
CN111026548A (zh) | 一种逆向深度强化学习的电力通信设备测试资源调度方法 | |
WO2021035412A1 (zh) | 一种自动机器学习AutoML系统、方法及设备 | |
CN108596204B (zh) | 一种基于改进型scdae的半监督调制方式分类模型的方法 | |
CN116821832A (zh) | 针对高压工商业用户用电负荷的异常数据辨识与修正方法 | |
CN111191113A (zh) | 一种基于边缘计算环境的数据资源需求预测和调整方法 | |
Nabi et al. | Deep learning based fusion model for multivariate LTE traffic forecasting and optimized radio parameter estimation | |
CN111132209B (zh) | 基于变分自编码器估计无线局域网络接入点吞吐量的方法 | |
CN113361774A (zh) | 一种生态空间集约利用优化方法及系统 | |
CN111090585B (zh) | 一种基于众测过程的众测任务关闭时间自动预测方法 | |
CN115562940A (zh) | 负载能耗监控方法、装置、介质及电子设备 | |
CN110289924B (zh) | 一种变分推断估计噪声功率的方法 | |
CN115794360A (zh) | 租户计算资源的自适应优化方法、装置、设备及存储介质 | |
Ferdiansyah et al. | Forecasting LTE Network Traffic Using Hot-Winter's Multiplicative Seasonal Method and Rolling Forecasting for Telecommunication Company Investment Optimization in Indonesia. | |
CN113068211B (zh) | 一种基于深度学习和高斯过程回归预测无线接入点吞吐量方法 | |
Armstrong et al. | Dimensionality Reduction for Optimization of Radio Base Station Transmission Based on Energy Efficiency | |
US20230004763A1 (en) | Radio frequency environment awareness with explainable results | |
CN113762485B (zh) | 一种基于注意力机制的多数据集联合预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |