CN116643949A - 基于VaDE聚类的多模型边缘云负载预测方法及装置 - Google Patents
基于VaDE聚类的多模型边缘云负载预测方法及装置 Download PDFInfo
- Publication number
- CN116643949A CN116643949A CN202310737492.1A CN202310737492A CN116643949A CN 116643949 A CN116643949 A CN 116643949A CN 202310737492 A CN202310737492 A CN 202310737492A CN 116643949 A CN116643949 A CN 116643949A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- load
- load prediction
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 230000000737 periodic effect Effects 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 230000001932 seasonal effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于VaDE聚类的多模型边缘云负载预测方法及装置，包括：采集边缘云服务器的设备状态数据和资源监控数据，数据向量化，基于PCA和全连接神经网络获取第一嵌入特征；利用STL算法提取周期特征；将向量化后的资源监控数据、周期特征和负载数据进行组合得到第一组合特征向量，利用VaDE模型对第一组合特征向量进行分类；利用位置编码对第一组合特征向量进行更新，将分类结果、更新后的第一组合特征向量和第一嵌入特征输入Transformer模型训练得到每个分类类别的负载预测模型；实时采集数据，确认新负载数据的分类类别，利用对应类别的负载预测模型进行负载预测。本发明提高了预测的效率和准确度。
Description
技术领域
本发明属于边缘计算技术领域，具体涉及一种基于VaDE聚类的多模型边缘云负载预测方法及装置，本申请适用于边缘云场景，且能复用于多个业务场景，包括但不限于IDC、CDN、ARM等实体或虚拟化硬件设备。
背景技术
随着物联网、5G和人工智能等技术的发展，边缘云技术逐渐成为了智能化时代的关键技术之一。传统的云计算架构虽然具有强大的计算和存储能力，但在实时响应和低延迟方面存在局限性。而边缘云技术则可以解决这些问题，将数据处理的重心从云端转移到离终端设备更近的边缘，可以有效提高数据处理的速度和实时性，并降低数据传输的成本和网络带宽的压力。
负载预测是云服务平台进行高效资源供应的一大前提，而目前应用在边缘云场景的传统的负载预测方法，主要有以下问题：1.边缘云整合了大量异质设备，不同设备问的硬件、所处地域、网络环境等方面存在很大差异，这意味着边缘设备的负载特征和模式可能随着设备的类型和位置而不同，导致预测模型的泛化能力受到影响；2.同一边缘设备上部署的应用由于系统调度等因素，存在频繁切换的情况，这意味着边缘设备的负载曲线可能会出现突变和噪声，导致预测模型的稳定性和准确性降低；3.随着时间的变化，边缘设备的负载曲线数据分布可能会逐渐发生缓慢的变化，即概念漂移，这意味着边缘设备的负载特征和模式可能会随着应用需求和用户行为的变化而变化，导致预测模型的时效性和适应性下降；4.基于所有历史数据训练单个负载预测模型无法应对以上情况，预测精度无法满足场景需求，而对每个边缘节点都训练一个模型的训练和维护成本过高，这意味着边缘云场景下的负载预测需要一种能够兼顾泛化能力、稳定性、准确性、时效性、适应性和成本效率的模型，这是一个具有挑战性的问题。
综上，由于边缘云整合了大量异构设备，不同的边缘节点之间存在着巨大差异，且由于系统的频繁调度，边缘节点上的部署应用负载曲线具有不稳定、多样性的特点。现有技术中边缘云的常规负载预测方法如基于统计的传统时序预测模型和基于深度学习的单个模型都无法取得良好的预测效果，第一种是直接在所有边缘节点训练一个模型，第二种是为每个边缘节点分别训练一个模型。前者存在泛化能力低、预测精度不高的间题，后者存在训练维护成本高、可训练数据较少的难题。
发明内容
针对以上技术问题，本发明提出了一种基于VaDE聚类的多模型边缘云负载预测方法及装置，不仅能提升边缘设备的负载预测精度，还能够基于预测负载及时采取最优调度策略，提升边缘云平台资源利用效率。为解决以上技术问题，本发明所采用的技术方案如下：
一种基于VaDE聚类的多模型边缘云负载预测方法，包括如下步骤：
S1，采集边缘云服务器的设备状态数据和资源监控数据，对所有数据进行向量化，基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征；
S2，利用STL算法对负载数据进行分解，提取出负载数据的周期特征，所述负载数据是指仅包含一种特征的任一资源监控数据；
S3，将向量化后的资源监控数据、周期特征和负载数据进行组合得到第一组合特征向量，利用VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则对分类的类别数量进行调整；
S4，利用位置编码对第一组合特征向量进行更新，根据步骤S3得到的分类结果将每类更新后的第一组合特征向量和对应的设备状态数据的第一嵌入特征分别输入Transformer模型进行训练得到每个分类类别所对应的负载预测模型；
S5，实时采集边缘云服务器的设备状态数据和资源监控数据，按照步骤S1、S2和S3的方法对数据依次进行处理以确认新的负载数据的分类类别，根据所确认的类别利用步骤S4得到的该类别的负载预测模型进行负载预测。
所述步骤S1包括：
S1.1，采集各边缘服务器的设备状态数据和资源监控数据；
S1.2，对所有数据进行预处理；
S1.3，根据数据类型对预处理后的数据进行向量化；
S1.4，利用PCA方法对向量化后的设备状态数据进行降维处理，并将处理后的数据输入全连接神经网络得到设备状态数据的第一嵌入特征。
所述设备状态数据包括设备ID、设备所在城市、拨号类型、IP地址、运营商、带宽类型和/或平均测试带宽，资源监控数据包括设备95带宽、CPU利用率和/或内存占用率。
所述周期特征采用St表示，其表达式为：
St＝seasonal_smooth(Dt，ns，p)；
式中，Dt表示负载数据去趋势后的数据，ns表示周期子序列的平衡参数，p表示负载数据的周期长度。
在利用位置编码对第一组合特征向量进行更新时，首先将第一组合特征向量输入全连接神经网络中得到第二嵌入特征向量，再利用位置编码操作将第一组合特征向量的位置信息并入第二嵌入特征向量得到第二组合特征向量，采用表示，对应的表达式为：
式中，pos表示位置，j表示维度，dmodel表示Transformer模型的前馈神经网络的输入和输出的维度。
一种基于VaDE聚类的多模型边缘云负载预测装置，包括：
数据采集模块：用于采集边缘云服务器的设备状态数据和资源监控数据，对所有数据进行向量化，并基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征；
周期特征提取模块：根据数据采集模块采集到的资源监控数据提取负载数据，并基于STL算法对负载数据进行分解，提取出周期特征；
数据分类模块：用于将数据采集模块向量化后的资源监控数据、周期特征提取模块提取出的负载数据和周期特征相结合构成第一组合特征向量，并基于VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则对分类的类别数量进行调整；
负载预测模型构建模块：用于利用位置编码对分类模型构建模块得到的第一组合特征向量进行更新，并基于数据分类模块分类的结果将更新后的每类第一组合特征向量和数据采集模块输出的对应的设备状态数据的第一嵌入特征输入Transformer模型进行训练，获取每个分类类别所对应的负载预测模型；
负载在线预测模块：用于对边缘云服务器的设备状态数据和资源监控数据进行实时采集，并利用数据采集模块、周期特征提取模块和数据分类模块对实时采集到的数据进行分类确认，并根据确认后的分类类别调用负载预测模型构建模块中对应类别的负载预测模型进行负载预测。
本发明的有益效果：
1.引入静态的设备状态数据和动态的资源监控数据，利用PCA算法和轻量全连接神经网络对静态数据进行筛选和特征嵌入，有助于构建更具有描述性和区分性的特征表示；
2.通过使用VaDE聚类算法对历史负载数据进行聚类，将不同的负载模式进行划分和识别，并动态地调整聚类中心和预测模型，能更好地适应边缘云环境下的设备和负载变化，提高预测效果；
3.为每个负载模式维护一个专门的预测模型，不需要为每一个服务器都训练维护一个预测模型，在预测阶段，实时动态地根据时序数据的分类结果动态分配负载预测模型，实现了对不同类型负载数据的个性化和灵活性预测，化解了应用切换和设备异构性带来的预测精度降低问题，提高了边缘节点的资源利用率和服务质量，实现了异构的边缘云系统中的高拓展性和鲁棒性；
4、利用VaDE聚类的深度特征提取能力，相对于基于统计模型或机器学习模型的传统负载预测方法，无需进行复杂的数据预处理和特征工程，提高了预测的效率和准确度；
5、利用STL分解算法提取负载数据的周期特征作为输入的补充特征，使预测模型能够更好地捕捉周期性变化，进一步增强了分类算法和预测算法的精确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为利用PCA方法对数据进行处理的流程示意图。
图2为利用STL算法对负载数据进行分解的结果示意图。
图3为VaDE聚类及时序预测模型训练示意图。
图4为Transformer模型结构示意图。
图5为本发明的流程示意图。
图6为类别数与BIC的关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
STL：STL(Seasonal Decomposition of Time Series，季节性分解时间序列)是一种基于LOESS平滑的季节性趋势分解算法。它可以将时序数据分解为趋势、季节和残差三个部分，从而更好地理解和预测时序数据。STL算法最初由Cleveland等人于1990年提出。它的基本思想是将时序数据分解为三个部分：趋势trend、季节season和残差remainder。趋势是长期变化的部分，季节是周期性变化的部分，残差是随机变化的部分。STL算法通过迭代地进行局部加权回归来估计趋势和季节，并通过减去趋势和季节来得到残差。STL算法可以用于多种时序数据分析任务，例如去除季节性影响、预测未来值、检测异常值等。
VaDE：VaDE聚类算法是一种基于变分自编码器的深度聚类算法。它可以将高维数据映射到低维空间，并在此空间中执行聚类。VaDE算法最初由Jianxin Wu等人于2017年提出。它的基本思想是使用变分自编码器(VAE，Variational Auto Encoder)将高维数据映射到低维空间，并在此空间中执行聚类。VaDE算法通过最大化变分下界来训练VAE，并使用高斯混合模型(GMM，Gaussian mixture model)来对低维表示进行聚类。
Transformer：Transformer模型最初由Google在2017年提出，是目前主流的时序预测模型之一，它的基本思想是使用Transformer模型来对时间序列进行建模。Transformer模型是一种基于注意力机制的深度学习模型，它可以在不使用循环神经网络(RNN)的情况下对时间序列进行建模。Transformer时序预测模型通过将时间序列分解为多个时间窗口来训练模型，并使用多头注意力机制来捕获时间序列中的长期依赖关系。
一种基于VaDE聚类的多模型边缘云负载预测方法，如图5所示，包括如下步骤：
S1，采集边缘云服务器的历史设备状态数据和历史资源监控数据，对所有数据进行向量化，基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征，包括如下步骤：
S1.1，通过SQL指令，从边缘云数据平台中获取采集各节点的相关数据，并将其分为设备状态数据和资源监控数据；
所述设备状态数据包括设备ID、设备所在城市、拨号类型、计费类型如95或平均峰值、IP地址、CPU核数、内存、磁盘大小、线路条数、运营商如电信、移动或联通、带宽类型如汇聚或专线、平均测试带宽、测试TCP带宽、近7日离线次数、设备所运行的业务类型如快手或百度等、业务部署节点数、上线时间和/或NAT类型等特征；所述资源监控数据包括设备95带宽、设备实测带宽、CPU利用率和/或内存占用率等特征。设备状态数据即为静态特征，资源监控数据即为动态特征。
S1.2，对所有数据进行预处理；
所述预处理是指对异常数据进行清洗，具体地，异常数据是指因各类硬件问题、供应商异常上下机、位于空置低跑量时段等导致的字段值缺失和值异常。
S1.3，根据数据类型对预处理后的数据进行向量化；
所述数据类型包括类别特征和数量特征，如设备所在城市、计费类型、运营商等为类别特征，如线路条数、数量特征、平均测试带宽等为数量特征。类别特征采用one-hot编码，如下表将业务类型Task编码为低语义信息。
S1.4，利用PCA方法对向量化后的设备状态数据进行降维处理，并将处理后的数据输入全连接神经网络得到设备状态数据的第一嵌入特征；
主成分分析(Principal Component Analysis，PCA)是一种无监督的线性变换技术，用于降低数据的维度，同时保留尽可能多的信息。PCA的目标是找到一个正交基，使得投影数据的方差最大化。如图1所示，利用PCA对设备状态数据进行降维，可以按照以下步骤和公式进行：
假设设备状态数据矩阵为xs，维度为n*m，其中，n为样本数，m为特征数。首先对矩阵Xs中的每个元素进行中心化处理，即每一列减去该列的均值，得到新的矩阵矩阵/>的表达式如下：
然后计算协方差矩阵，维度为m*m，表达式如下：
之后计算协方差矩阵C的特征值和特征向量，表达式如下：
λi，vi＝eigen(C)； (3)
再将特征值按照从大到小的顺序进行排序，将前k个最大的特征值所对应的特征向量组成一个投影矩阵Vk，维度为m*k，Vk＝[v1，v2，…，vk]，最后将数据投影到选定的特征向量空间中，即将乘以Vk得到降维后的矩阵xreduced，维度为n*k，/>其中，/>表示均值，λi表示第i个特征值，vi表示第i个特征向量，eigen(·)为库函数。
PCA降维后的设备状态数据再经过一层简单的MLP(Multi-Layer Perceptron，多层感知机)输出为特定的特征维度，作为最后的嵌入特征输出，即为设备状态数据的第一嵌入特征，其表达式为Xembedding＝MLP(xreduced)。
S2，利用STL算法对负载数据进行分解，提取出负载数据的周期特征；
所述负载数据可以为任一资源监控数据，均为时间序列数据，具体地，首先选择周期长度p、(例如，对于输入的历史数据为3天72条数据，可选择1天为周期即24条数据，也可以选择输入的历史数据为28天672条数据，选择1周为周期即168条数据)、趋势和周期子序列的平滑参数为nt和ns，使用LOESS平滑方法对负载数据Yt进行平滑处理，得到趋势分量Tt，对应的表达式为：
Tt＝smooth(Yt，nt)； (4)
然后计算去趋势后的数据Dt，对应的表达式为：
Dt＝Yt-Tt； (5)
之后对去趋势后的数据Dt进行周期平滑处理，得到周期分量St，对应的表达式为：
St＝seasonal_smooth(Dt，ns，p)； (6)
再计算残差分量Rt，对应的表达式为：
Rt＝Yt-Tt-St； (7)
如图2所示，负载数据Yt被分解为周期分量St、趋势分量Tt和残差分量Rt，经实验表明，趋势分量和残差分量作为特征输入负载预测模型后并无明显精度提升，所以本申请只需保留周期分量St也即周期特征作为额外特征加入模型训练，为后期的模型训练提供了更多的可学习特征，提高了预测精度。
S3，将向量化后的资源监控数据、周期特征和负载数据进行组合得到第一组合特征向量，利用VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则(BayesianInformation Criterion，BIC)对分类的类别数量进行调整；
所述第一组合特征向量的表达式为：
Xt＝Concat([Dt，St，Yt])； (8)
式中，Dt表示向量化后的t时刻的资源监控数据，且Xt∈RN×T×D；其中，N表示样本数量，D表示特征维度，T表示数据序列长度。
VaDE是一种结合变分自编码器(VAE)和高斯混合模型(GMM)的深度聚类方法，本申请采用该模型对第一组合特征向量Xt进行聚类，具体方法如下：
首先，使用VAE对第一组合特征向量Xt进行编码，得到隐空间表示zt，对应的表达式为：
zt＝encoder(Xt)； (9)
在隐空间上对数据进行高斯混合聚类，计算每个类别k的均值μk，协方差矩阵∑k和权重πk，进而计算类别概率，对应的表达式为：
式中，K表示类别总数。
使用解码器将隐空间表示zt转换回原始空间表示对应的表达式为：
通过最大化重构误差和高斯混合模型的对数似然，进行分类模型训练，
式中，表示重构误差和高斯混合模型的对数似然最大化。公式(12)中第一项是重构误差，通过这项优化，可以让VaDE更好的对数据进行表达，第二项是KL散度。
为了降低多模型训练推理以及调度的负担，并实现更好的预测效果，需要合理指定分类类别数量。根据贝叶斯信息准则，在给定数据的情况下，可以对模型的类别数量进行调整，调整公式如下：
BIC＝-2·log-likelihood+k·log(n)； (13)
式中，log-likelihood表示对数似然，k表示聚类数量，n表示样本数。如图6所示，BIC值与模型类别数成反比，较小的BIC值表示更好的预测效果，同时也意味着需要训练更多的模型，会明显增加调度负担。因此，本申请通过比较不同类别数量下的BIC值，取BIC值90％分位数据点对应的类别数量，可以在保证整体预测效果较好的前提下，使得模型尽量少。
S4，如图3所示，利用位置编码对第一组合特征向量进行更新，根据步骤S3的分类结果将更新后的每类第一组合特征向量和对应的设备状态数据的第一嵌入特征输入Transformer模型进行训练得到每个分类类别所对应的负载预测模型；
如图4所示，Transformer模型采用Encoder-Decoder架构，包括一个编码器和一个解码器。每个编码器层包含两个子层：一个是多头自注意力机制(Multi-Head Self-Attention，MSA)，另一个是前馈神经网络(也即为多层感知机，MLP)。同时，每个子层(Self-Attention层和FNN层)后面都有一个层规范化(Layer Normalization，LN)进行处理。
同时，为了规范、统一不同维度的输入数据，区分时间前后数据以便自注意力层更好的捕获不同时间点之间的时序关系，优选地，先将第一组合特征向量经过一层简单的全连接神经网络进行特征嵌入操作将特征维度由D转换为H得到第二嵌入特征向量，对应的表达式为：
Xe＝WE(Xt)+bE，Xe∈RN×T×H； (14)
式中，Xe表示第一组合特征向量转换后得到的第二嵌入特征向量，bE表示全连接神经网络的偏置项，它是一个实数或者是一个与输出特征向量相同维度的向量，用来对每个特征进行偏移，WE(·)表示表示全连接神经网络的权重矩阵函数，该函数将输入特征向量乘以权重矩阵，来学习并映射到新的特征空间。
然后再利用位置编码操作将位置信息并入第二嵌入特征向量构成新的输入数据作为第二组合特征向量，采用表示，对应的表达式为：
其中，pos表示位置，j表示维度，dmodel表示前馈神经网络的输入和输出的维度。
之后将第二组合特征向量输入编码器，MSA子层可以通过在不同的表示子空间中学习输入的不同位置，允许模型关注不同的位置，每头自注意力机制可以描述为：
式中，Q，K，V分别表示查询、键和值，是键的维度，多头自注意力机制最终将不同头的自注意力机制的输出进行拼接并进行线性变换，对应的表达式为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)Wo； (17)
式中，headi＝Attention(QWiQ，KWi K，VWi V)，Wi Q，Wi K，Wi V和WO均是模型需要学习的参数，h表示头数。
多头注意力机制提取时序特征后，前馈神经网络进一步提取时序信息，对应的表达式为：
FFNN(x)＝max(0，xW1+b1)W2+b2； (18)
式中，W1和W2均表示权重，b1和b2均表示偏置，x表示多头注意力机制的输出。
层规范化是对输入的每一个特征进行规范化，对每一层的输入都进行独立处理，对应的表达式为：
式中，x表示，μ表示均值，∈表示预设的为了避免分母为零的不包括零的小数，σ2表示方差。
采用Transformer时序预测模型，相对于常用的LSTM模型，它支持并行计算，训练和推理速度更快。此外，Transformer解决了LSTM处理长序列容易出现梯度消失或者爆炸的问题，能通过自注意力机制捕获任意俩元素之间的关系同时建模长期依赖和短期依赖，具有更强的多步长预测能力，为边缘云应用场景更加精准的预测支撑。
S5，实时采集边缘云服务器的设备状态数据和资源监控数据，按照步骤S1、步骤S2和步骤S3的方法对数据依次进行处理以确认新的负载数据的分类类别，根据所确认的类别利用步骤S4得到的该类别的负载预测模型进行负载预测；
数据采集后，首先，需要确定每个新输入数据的类别，这通过执行步骤2和3来完成。也就是说，首先对新输入的负载数据应用季节性分解时间序列(STL)算法，将其分解为周期特征。然后，将这个周期特征与资源监控数据和负载数据结合起来，输入到变分深度嵌入聚类(VaDE)模型中进行分类，VaDE模型会输出新输入数据所属的类别。确定了新输入数据的类别后，就可以根据这个类别，选择在步骤4中为该类别训练出的预测模型。这个模型已经被训练过，可以理解该类别的特征，所以可以用它来对新输入数据进行预测。最后，用选定的Transformer模型对新输入数据进行预测。
本申请还提供了一种基于VaDE聚类的多模型边缘云负载预测装置，包括：
数据采集模块：用于采集边缘云服务器的设备状态数据和资源监控数据，对所有数据进行向量化，并基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征；
周期特征提取模块：根据数据采集模块采集到的资源监控数据提取负载数据，并基于STL算法对负载数据进行分解，提取出周期特征；
数据分类模块：用于将数据采集模块向量化后的资源监控数据、周期特征提取模块提取出的负载数据和周期特征相结合构成第一组合特征向量，并基于VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则对分类的类别数量进行调整；
负载预测模型构建模块：用于利用位置编码对分类模型构建模块得到的第一组合特征向量进行更新，并基于数据分类模块分类的结果将更新后的每类第一组合特征向量和数据采集模块输出的对应的设备状态数据的第一嵌入特征输入Transformer模型进行训练，获取每个分类类别所对应的负载预测模型；
负载在线预测模块：用于对边缘云服务器的设备状态数据和资源监控数据进行实时采集，并利用数据采集模块、周期特征提取模块和数据分类模块对实时采集到的数据进行分类确认，并根据确认后的分类类别调用负载预测模型构建模块中对应类别的负载预测模型进行负载预测。
本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于VaDE聚类的多模型边缘云负载预测方法。
本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于VaDE聚类的多模型边缘云负载预测方法。具体地，该存储介质可以为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于VaDE聚类的多模型边缘云负载预测方法的实施例。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于VaDE聚类的多模型边缘云负载预测方法，其特征在于，包括如下步骤：
S1，采集边缘云服务器的设备状态数据和资源监控数据，对所有数据进行向量化，基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征；
S2，利用STL算法对负载数据进行分解，提取出负载数据的周期特征，所述负载数据是指仅包含一种特征的任一资源监控数据；
S3，将向量化后的资源监控数据、周期特征和负载数据进行组合得到第一组合特征向量，利用VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则对分类的类别数量进行调整；
S4，利用位置编码对第一组合特征向量进行更新，根据步骤S3得到的分类结果将每类更新后的第一组合特征向量和对应的设备状态数据的第一嵌入特征分别输入Transformer模型进行训练得到每个分类类别所对应的负载预测模型；
S5，实时采集边缘云服务器的设备状态数据和资源监控数据，按照步骤S1、S2和S3的方法对数据依次进行处理以确认新的负载数据的分类类别，根据所确认的类别利用步骤S4得到的该类别的负载预测模型进行负载预测。
2.根据权利要求1所述的基于VaDE聚类的多模型边缘云负载预测方法，其特征在于，所述步骤S1包括：
S1.1，采集各边缘服务器的设备状态数据和资源监控数据；
S1.2，对所有数据进行预处理；
S1.3，根据数据类型对预处理后的数据进行向量化；
S1.4，利用PCA方法对向量化后的设备状态数据进行降维处理，并将处理后的数据输入全连接神经网络得到设备状态数据的第一嵌入特征。
3.根据权利要求1或2所述的基于VaDE聚类的多模型边缘云负载预测方法，其特征在于，所述设备状态数据包括设备ID、设备所在城市、拨号类型、IP地址、运营商、带宽类型和/或平均测试带宽，资源监控数据包括设备95带宽、CPU利用率和/或内存占用率。
4.根据权利要求1所述的基于VaDE聚类的多模型边缘云负载预测方法，其特征在于，所述周期特征采用St表示，其表达式为：
St＝seasonal_smooth(Dt，ns，p)；
式中，Dt表示负载数据去趋势后的数据，ns表示周期子序列的平衡参数，p表示负载数据的周期长度。
5.根据权利要求1所述的基于VaDE聚类的多模型边缘云负载预测方法，其特征在于，在利用位置编码对第一组合特征向量进行更新时，首先将第一组合特征向量输入全连接神经网络中得到第二嵌入特征向量，再利用位置编码操作将第一组合特征向量的位置信息并入第二嵌入特征向量得到第二组合特征向量，采用表示，对应的表达式为：
式中，pos表示位置，j表示维度，dmodel表示Transformer模型的前馈神经网络的输入和输出的维度。
6.一种基于VaDE聚类的多模型边缘云负载预测装置，其特征在于，包括：
数据采集模块：用于采集边缘云服务器的设备状态数据和资源监控数据，对所有数据进行向量化，并基于PCA和全连接神经网络获取设备状态数据的第一嵌入特征；
周期特征提取模块：根据数据采集模块采集到的资源监控数据提取负载数据，并基于STL算法对负载数据进行分解，提取出周期特征；
数据分类模块：用于将数据采集模块向量化后的资源监控数据、周期特征提取模块提取出的负载数据和周期特征相结合构成第一组合特征向量，并基于VaDE模型对第一组合特征向量进行分类，同时根据贝叶斯信息准则对分类的类别数量进行调整；
负载预测模型构建模块：用于利用位置编码对分类模型构建模块得到的第一组合特征向量进行更新，并基于数据分类模块分类的结果将更新后的每类第一组合特征向量和数据采集模块输出的对应的设备状态数据的第一嵌入特征输入Transformer模型进行训练，获取每个分类类别所对应的负载预测模型；
负载在线预测模块：用于对边缘云服务器的设备状态数据和资源监控数据进行实时采集，并利用数据采集模块、周期特征提取模块和数据分类模块对实时采集到的数据进行分类确认，并根据确认后的分类类别调用负载预测模型构建模块中对应类别的负载预测模型进行负载预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310737492.1A CN116643949A (zh) | 2023-06-20 | 2023-06-20 | 基于VaDE聚类的多模型边缘云负载预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310737492.1A CN116643949A (zh) | 2023-06-20 | 2023-06-20 | 基于VaDE聚类的多模型边缘云负载预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116643949A true CN116643949A (zh) | 2023-08-25 |
Family
ID=87623029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310737492.1A Pending CN116643949A (zh) | 2023-06-20 | 2023-06-20 | 基于VaDE聚类的多模型边缘云负载预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116643949A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170881A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
| CN117239743A (zh) * | 2023-11-15 | 2023-12-15 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
-
2023
- 2023-06-20 CN CN202310737492.1A patent/CN116643949A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170881A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
| CN117170881B (zh) * | 2023-11-02 | 2024-02-02 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
| CN117239743A (zh) * | 2023-11-15 | 2023-12-15 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
| CN117239743B (zh) * | 2023-11-15 | 2024-02-27 | 青岛鼎信通讯股份有限公司 | 一种电能表用电负荷获取方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mo et al. | Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit | |
| CN116643949A (zh) | 基于VaDE聚类的多模型边缘云负载预测方法及装置 | |
| CN113177633B (zh) | 一种深度解耦时间序列预测方法 | |
| CN112418482B (zh) | 一种基于时间序列聚类的云计算能耗预测方法 | |
| CN111832825B (zh) | 融合长短期记忆网络和极限学习机的风电预测方法及系统 | |
| Ellefsen et al. | Validation of data-driven labeling approaches using a novel deep network structure for remaining useful life predictions | |
| CN112308288A (zh) | 一种基于粒子群优化lssvm的违约用户概率预测方法 | |
| CN112580784A (zh) | 基于多输入多输出卷积神经网络的设备智能预警方法 | |
| Li et al. | Deep spatio-temporal wind power forecasting | |
| CN117389824A (zh) | 一种基于信号分解和混合模型的云服务器负载预测方法 | |
| CN114500325A (zh) | 一种基于无监督迁移学习的sdn控制器故障自适应智能检测方法 | |
| Yang et al. | Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning | |
| CN115840893A (zh) | 一种多变量时间序列预测方法及装置 | |
| Tessoni et al. | Advanced statistical and machine learning methods for multi-step multivariate time series forecasting in predictive maintenance | |
| CN110852522B (zh) | 一种短期电力负荷预测方法及系统 | |
| Das et al. | Deep recurrent architecture with attention for remaining useful life estimation | |
| CN115128978A (zh) | 物联网环境大数据检测与智能监控系统 | |
| Surakhi et al. | On the ensemble of recurrent neural network for air pollution forecasting: Issues and challenges | |
| Angelis et al. | Energformer: A new transformer model for energy disaggregation | |
| CN117094451B (zh) | 一种耗电量的预测方法、装置及终端 | |
| Qin et al. | Remaining useful life prediction using temporal deep degradation network for complex machinery with attention-based feature extraction | |
| CN113673774A (zh) | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 | |
| Vidnerová et al. | Evolution Strategies for Deep Neural Network Models Design. | |
| CN112580798A (zh) | 基于多输入多输出ResNet的设备智能预警方法 | |
| US20230376398A1 (en) | System and method for predicting remaining useful life of a machine component |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |