CN114924887A - 一种电力交易平台的微服务资源配置参数优化方法 - Google Patents
一种电力交易平台的微服务资源配置参数优化方法 Download PDFInfo
- Publication number
- CN114924887A CN114924887A CN202210675324.XA CN202210675324A CN114924887A CN 114924887 A CN114924887 A CN 114924887A CN 202210675324 A CN202210675324 A CN 202210675324A CN 114924887 A CN114924887 A CN 114924887A
- Authority
- CN
- China
- Prior art keywords
- vector
- micro
- service resource
- resource configuration
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明个公开一种电力交易平台的微服务资源配合参数优化方法,属于电力交易信息化领域,方法包括:获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据,分别对应地构造网络配置向量、系统感知向量以及微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;根据seq2seq模型的输出,确定优化后的微服务资源配置参数,进而对电力交易平台进行微服务资源参数配置。seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。本发明能够根据用户访问量、微服务性能状态等进行微服务参数的配置,达到平台系统资源配置优化的目的。
Description
技术领域
本发明涉及互联网微服务技术领域,特别是一种电力交易平台的微服务资源配置参数优化方法。
背景技术
电力交易平台要为广大用户提供稳定可靠的电力市场交易技术支持服务。随着一般工商业用户大规模注册入市参与市场,电力市场中长期交易连续运营、现货试点工作的不断推进,用户参与市场交易时对电力交易平台系统的访问压力呈现出随机性和波动性特征,需要系统资源动态适应。
在交易申报等特定应用场景下,电力交易平台某些微服务遭受显著的性能瓶颈,在相同的输入数据的情况下,最好的和最差的完成效率具有很大的差异,系统性能直接或间接地与硬件和软件参数设置相关,甚至可能会带来能耗的变化。一些参数设置问题,可能导致硬件过载,共享资源争用,导致CPU频率降低。除了性能下降之外,微服务降级熔断还也会导致过早的工作终止。
一般情况下,电力交易平台的参数设置依靠操作人员的经验和专业知识。通过持续监控和分析系统日志,观察应用程序资源使用情况,系统操作员可以评估系统健康状况。然而,如今高度复杂的云计算系统,这一过程将转化为每天对数百万甚至千万条数据点的人工检查,并且随着系统规模的增加,人工需要处理的工作越来越复杂。随着电力交易平台的资源规模越来越大,人工设置参数越来越容易出错。另一方面,由于电力交易平台的用户访问量受用电季节、运营、电价因素影响,很难准确估计用户访问量,传统根据用户访问量进行人工设定参数的方法,不能有效解决由于访问量突变导致系统资源不足或过剩情况。因此,科学设置微服务参数并根据应用场景不断优化是系统高效运行的关键。
发明内容
本发明的目的是提供一种电力交易平台的微服务资源配合参数优化方法,能够根据用户访问量、微服务性能状态等进行微服务参数的配置,达到平台系统资源配置优化的目的。本发明采用的技术方案如下。
一方面,本发明提供一种电力交易平台的微服务资源配置参数优化方法,包括:
获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
可选的,所述网络运行参数数据包括当前带宽和微服务处理平均时间延迟;
所述基于网络运行参数数据构造网络配置向量包括:将当前带宽和微服务处理平均时间延迟数据作为文本,分别使用nltk工具包进行分词处理,使用word2vec模型将各分词转化成词向量,对多个词向量进行拼接,得到二维向量的网络配置向量V1。
可选的,所述平台系统运行参数数据包括吞吐量、TPS、QPS、内存利用率和CPU利用率;
所述基于平台系统运行参数数据构造系统感知向量包括:利用分词技术和word2vec对吞吐量、TPS、QPS、内存利用率、CPU利用率做分词和向量转化处理,得到多个一维向量,将所有一维向量拼接成二维向量,得到系统感知向量V2。
可选的,所述微服务性能参数包括当前线程数量和平均故障率;
所述基于微服务性能参数构造微服务性能观测向量包括:利用分词技术和word2vec对当前线程数量和平均故障率做分词和向量转化处理,将所得分词向量作为不同的列向量,拼接得到微服务性能观测向量V3。
可选的,所述网络配置向量V1、系统感知向量V2和微服务性能观测向量V3通过线性排列合并为所述平台处理性能向量V,表示为:V={V1|V2|V3};
seq2seq模型的训练样本中,微服务资源配置向量Y的获取方法为:利用分词技术和word2vec对已知的CPU核数量、内存大小、带宽和实例数分别进行处理得到分词向量,将分词向量进行拼接得到微服务资源配置向量Y;
所述seq2seq模型的输出为与所输入的平台处理性能向量V相对应的微服务资源配置向量Y;所述根据seq2seq模型的输出,确定优化后的微服务资源配置参数包括:对输出的微服务资源配置向量Y进行解析,得到相应的CPU核数量、内存大小、带宽和实例数。
可选的,所述seq2seq模型的训练包括:
基于历史平台处理性能向量V和微服务资源配置向量Y,构造系统观测数据模型R,表示为:R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)},其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y;
初始化训练参数,所述训练参数包括学习率、元素保留概率、训练轮次epochs、Batch size和embedding size,具体可设置:学习率为0.001,元素保留概率为0.8,训练轮次epochs为10,Batch size为64,embedding size为300;
迭代地从[v1,v2,...,vm]中选择连续时间数据序列,作为训练样本序列[v1,v2,...,vn]输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn);基于所述隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻i具有最大被选择概率的微服务资源配置向量yi的被选中概率;
每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
可选的,所述预设的注意力集中机制包括:
确定用于计算编码器隐层表示状态hi与解码器隐层表示状态si之间的非标准对齐分数的attention()函数;其中,si表示第i个token的解码器隐层表示,hj表示第j个token的编码器隐层表示;
计算所有编码时刻对应的相似度系数aij,其中i对应编码器输出层第i个token,j对应编码器隐层第j个token:
根据aij计算模型当前最关注的上下文ci,公式为:
ci=∑jaij×hj。
可选的,在解码时刻i,词向量中各单词被选中的概率计算公式为:
P(yi|y<i,x)=softmax(W[si;ci]+b)
式中,W[si;ci]表示由si和ci构成矩阵,b代表矩阵数值的偏移量,P(yi|y<i,x)代表:将x为上下文词向量库在解码时刻i之前的词向量作为条件,得出的解码时刻i词向量中各单词被选中的概率。
第二方面,本发明提供一种电力交易平台的微服务资源配置参数优化装置,包括:
数据获取模块,被配置用于获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
向量转换模块,被配置用于基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
计算推理模块,被配置用于将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
微服务资源配置参数确定模块,被配置用于根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
以及,参数配置模块,被配置用于根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
可选的,所述seq2seq模型的训练包括:
基于历史平台处理性能向量V和微服务资源配置向量Y,构造系统观测数据模型R,表示为:R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)},其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y;
初始化训练参数,所述训练参数包括学习率、元素保留概率、训练轮次epochs、Batch size和embedding size,具体可设置:学习率为0.001,元素保留概率为0.8,训练轮次epochs为10,Batch size为64,embedding size为300;
迭代地从[v1,v2,...,vn]中选择连续时间数据序列,作为训练样本序列[v1,v2,...,vn]输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn);基于所述隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻具有最大选择概率的微服务资源配置向量yi的被选中概率;
每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
可选的,所述预设的注意力集中机制包括:
确定用于计算编码器隐层表示状态hi与解码器隐层表示状态si之间的非标准对齐分数的attention()函数;其中,si表示第i个token的解码器隐层表示,hj表示第j个token的编码器隐层表示;
计算所有编码时刻对应的相似度系数aij,其中i对应编码器输出层第i个token,j对应编码器隐层第j个token:
根据aij计算模型当前最关注的上下文ci,公式为:
ci=∑jaij×hj。
第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如第一方面所介绍的电力交易平台的微服务资源配置参数优化方法。
有益效果
本发明的微服务资源配置参数优化方法,基于对微服务实时监测数据的理解,将其定义为网络配置、系统感知、微服务观测特征向量,构建微服务性能特征集,利用循环神经网络Seq2Seq体系结构,基于历史微服务性能及资源配置数据,对微服务性能及其对应的微服务资源配置进行学习,训练和优化Seq2Seq的参数,进而利用已训练的Seq2Seq模型对实际电力交易平台的微服务资源进行配置,能够自适应微服务运行监测数据调整微服务资源配置参数,提高了微服务参数配置的合理性和适应性,可有效改善由于访问量的快速变化导致的系统微服务资源严重不足或过剩情况。
附图说明
图1所示为本发明电力交易平台的微服务资源配置参数优化方法实施架构示意图;
图2所示为电力交易平台微服务资源实时监测数据的向量转换示意图;
图3所示为seq2seq模型的计算推理流程示意图。
具体实施方式
以下结合附图和具体实施例进一步描述。
本发明的技术构思为:电力交易平台架构是基于云平台微服务架构,通过对电力交易平台的观测发现,电力交易平台的网络参数、服务器物理性能、微服务执行效率等参数,直接或间接地与系统的资源有效使用关系密切。因此,为了更好的发挥云资源弹性变化的特征,本发明提出一种电力交易平台微服务参数优化方法,将这网络参数、服务器物理性能、微服务执行效率三类参数作为特征向量或特征集进行整合,建立基于循环神经网络的Seq2Seq体系框架,来理解这些参数之间的关系,通过对包含上述特征向量的历史数据的理解,进而获取当前待优化的微服务参数,实现依据具体应用场景科学设定微服务参数,用以解决由于访问量的快速变化导致的系统微服务资源严重不足或过剩的问题,达到根据用户访问量进行系统资源优化配置的目标。
实施例1
本实施例介绍一种电力交易平台的微服务资源配置参数优化方法,参考图1所示,方法包括:
获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
本实施例的方法具体涉及以下内容。
一、平台处理性能数据的获取
在应用时,本发明需要获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据,转换为网络配置向量、系统感知向量和微服务性能观测向量,作为用于输入seq2seq模型的平台处理性能向量。
在seq2seq模型训练时,需要获取历史的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据,转换为对应的历史平台处理性能向量,作为训练样本,同时获得对应各样本的微服务资源配置向量,该微服务资源配置向量基于微服务资源配置参数CPU核数量、内存大小、带宽和实例数转换得到。网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据所涉及的具体参数指标参考表1所示。
表1微服务资源相关术语解释
通过观测近60天电力交易平台运行数据,每分钟获取数据一次,得到86400条数据。每条数据均包含表1中所示指标数据,包括时间延迟、错误率、当前带宽、吞吐量、TPS、QPS、CPU利用率、CPU核数量、内存容量、期望带宽。
具体的,网络运行参数数据包括当前带宽和微服务处理平均时间延迟,词向量转换为,首先将当前带宽和微服务处理平均时间延迟数据作为文本,分别使用nltk工具包进行分词处理,然后使用word2vec模型将各分词转化成词向量,再对多个词向量进行拼接,即得到二维向量的网络配置向量V1。
平台系统运行参数数据包括吞吐量、TPS、QPS、内存利用率和CPU利用率;针对平台系统运行参数,与针对网络运行参数数据同理的,利用分词技术和word2vec对吞吐量、TPS、QPS、内存利用率、CPU利用率做分词和向量转化处理,得到多个一维向量,然后将所有一维向量拼接成二维向量,得到系统感知向量V2。
微服务性能参数包括当前线程数量和平均故障率;同样利用分词技术和word2vec对当前线程数量和平均故障率做分词和向量转化处理,将所得分词向量作为不同的列向量,拼接得到微服务性能观测向量V3。此处,线程数和故障率分别为整型和浮点型数据,通过词向量编码可分别转换成1个列向量,这里的词向量表示形式可以为“3:int”和“0.29:float”。
将网络配置向量V1、系统感知向量V2和微服务性能观测向量V3通过线性排列合并即可得到平台处理性能向量V,表示为:V={V1|V2|V3};
seq2seq模型的训练样本中,微服务资源配置向量Y的获取方法为:利用分词技术和word2vec对已知的CPU核数量、内存大小、带宽和实例数分别进行处理得到分词向量,将分词向量进行拼接即可得到微服务资源配置向量Y。
二、seq2seq模型的训练
基于前述内容已经得到的历史的平台处理性能向量V及其对应的微服务资源配置向量Y,可构造系统观测数据模型R,表示为:
R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)}
其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y。
选择seq2seq模型的编码器及解码器均采用RNN网络,初始化训练参数后开始对seq2seq模型进行训练,训练过程参考图3所示。编码器可以将收集到的向量信息转换成文本中间状态,解码器负责根据这个中间状态实现机器理解,输出一个向量,该向量对应要预测数据。模型的目标是捕获数据模型R的特征和,然后进行理解分析用于实际已知向量V时的向量Y预测。
本实施例中,可初始化训练参数为:学习率为0.001,元素保留概率为0.8,训练轮次epochs为10,Batch size为64,embedding size为300。学习率是seq2seq模型学习数据的速率,过小容易导致模型欠拟合,过大容易导致过拟合,两种情况都会降低模型对新数据的预测能力,经过实验训练分析,学习率设置为0.001时模型泛化能力较强;元素保留概率是模型在训练时会随机舍弃一些数据;当保留率的值为0.8时既防止模型训练过拟合,又确保了泛化能力;当epochs训练轮数为10时,保证了模型训练效果,又节约了训练时间;Batchsize为默认值64进行分批次训练;embeding_size是将数据中的每个分词向量化的维度,维度越高预测效果越好,同时训练耗时也越多,通过经验法设置为300。
在训练过程中,迭代地从[v1,v2,...,vm]中选择连续时间数据序列[v1,v2,...,vn],作为训练样本序列输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn),h是上下文状态,相当于模型对输入数据集的理解。基于隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻i具有最大被选择概率的微服务资源配置向量yi的被选中概率;每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
上述设定的注意力集中机制包括:
确定用于计算编码器隐层表示状态hi与解码器隐层表示状态si之间的非标准对齐分数的attention()函数;其中,si表示第i个token的解码器隐层表示,hj表示第j个token的编码器隐层表示;
计算所有编码时刻对应的相似度系数aij,其中i对应编码器输出层第i个token,j对应编码器隐层第j个token:
根据aij计算模型当前最关注的上下文ci,即,以加权求和的形式将所有的编码状态累加起来获得模型当前最关注的上下文,公式为:
ci=∑jaij×hj。
上述seq2seq模型的推理过程中,解码器负责预测概率,在解码时刻i,词向量中各单词被选中的概率计算公式为:
P(yi|y<i,x)=softmax(W[si;ci]+b)
式中,W[si;ci]表示由si和ci构成矩阵,b代表矩阵数值的偏移量,P(yi|y<i,x)代表,将x为上下文词向量库在解码时刻i之前的词向量作为条件,得出的解码时刻i词向量中各单词被选中的概率,也即,预测第i个token时,词向量库中每个单词被选中的概率。比如要预测下一时刻微服务资源需要配置的cpu核数,yi代表了具体可选核数中具有最大被选中概率的核数。
如图3,经embeding解码,实现yi数据格式转换,得出y概率,进而可得到对应的词向量。每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
实际应用时,结合图1和图2,基于网络运行参数数据构造网络配置向量V1,基于平台系统运行参数数据构造系统感知向量V2,基于微服务性能参数数据构造微服务性能观测向量V3,拼接为平台处理性能向量V,输入训练好的seq2seq模型,可得到微服务资源配置向量Y的预测结果向量,对向量Y进行解码可得到对应的需配置的微服务资源参数,即CPU核数量、内存大小、带宽和实例数。
以下表2示出了在一些应用例中,基于不同的平台处理性能参数组合,由seq2seq模型推算出的微服务资源配置。
表2
三、效果验证
部署2套相同实例数的微服务到相同的硬件环境中,A方案采用15分钟作为间隔,利用本实施例的微服务资源配置参数优化方法动态调整微服务资源配置参数,包括CPU核数、内存、带宽;B方案不采取任何措施。结果表明,在相同的运行时间段内,B方案在访问高峰期出现访问延时,微服务响应时间最长为5秒,系统CPU占用率波动超过60%,A方案在访问高峰期未出现访问延时(页面响应时间均在3秒以内),在系统访问较少时,A方案系统CPU占用率波动小于30%。
可以看出,相较于现有技术,本实施例的微服务资源配置参数优化方法,能够自适应微服务运行监测数据调整微服务资源配置参数,有效改善由于访问量的快速变化导致的系统微服务资源严重不足或过剩情况。
实施例2
与实施例1基于相同的发明构思,本实施例介绍一种电力交易平台的微服务资源配置参数优化装置,包括:
数据获取模块,被配置用于获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
向量转换模块,被配置用于基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
计算推理模块,被配置用于将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
微服务资源配置参数确定模块,被配置用于根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
以及,参数配置模块,被配置用于根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
以上各功能模块的具体功能实现参考实施例1方法中的对应内容,特别指出以下。
seq2seq模型的训练包括:
基于历史平台处理性能向量V和微服务资源配置向量Y,构造系统观测数据模型R,表示为:R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)},其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y;
初始化训练参数,所述训练参数包括学习率、元素保留概率、训练轮次epochs、Batch size和embedding size,具体可设置:学习率为0.001,元素保留概率为0.8,训练轮次epochs为10,Batch size为64,embedding size为300;
迭代地从[v1,v2,...,vn]中选择连续时间数据序列,作为训练样本序列[v1,v2,...,vn]输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn);基于所述隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻具有最大选择概率的微服务资源配置向量yi的被选中概率;
每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
预设的注意力集中机制包括:
确定用于计算编码器隐层表示状态hi与解码器隐层表示状态si之间的非标准对齐分数的attention()函数;其中,si表示第i个token的解码器隐层表示,hj表示第j个token的编码器隐层表示;
计算所有编码时刻对应的相似度系数aij,其中i对应编码器输出层第i个token,j对应编码器隐层第j个token:
根据aij计算模型当前最关注的上下文ci,公式为:
ci=∑jaij×hj。
实施例3
与实施例1和实施例2基于相同的发明构思,本实施例介绍一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如实施例1所介绍的电力交易平台的微服务资源配置参数优化方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (12)
1.一种电力交易平台的微服务资源配置参数优化方法,其特征是,包括:
获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
2.根据权利要求1所述的方法,其特征是,所述网络运行参数数据包括当前带宽和微服务处理平均时间延迟;
所述基于网络运行参数数据构造网络配置向量包括:将当前带宽和微服务处理平均时间延迟数据作为文本,分别使用nltk工具包进行分词处理,使用word2vec模型将各分词转化成词向量,对多个词向量进行拼接,得到二维向量的网络配置向量V1。
3.根据权利要求1所述的方法,其特征是,所述平台系统运行参数数据包括吞吐量、TPS、QPS、内存利用率和CPU利用率;
所述基于平台系统运行参数数据构造系统感知向量包括:利用分词技术和word2vec对吞吐量、TPS、QPS、内存利用率、CPU利用率做分词和向量转化处理,得到多个一维向量,将所有一维向量拼接成二维向量,得到系统感知向量V2。
4.根据权利要求1所述的方法,其特征是,所述微服务性能参数包括当前线程数量和平均故障率;
所述基于微服务性能参数构造微服务性能观测向量包括:利用分词技术和word2vec对当前线程数量和平均故障率做分词和向量转化处理,将所得分词向量作为不同的列向量,拼接得到微服务性能观测向量V3。
5.根据权利要求1所述的方法,其特征是,所述网络配置向量V1、系统感知向量V2和微服务性能观测向量V3通过线性排列合并为所述平台处理性能向量V,表示为:V={V1|V2|V3};
seq2seq模型的训练样本中,微服务资源配置向量Y的获取方法为:利用分词技术和word2vec对已知的CPU核数量、内存大小、带宽和实例数分别进行处理得到分词向量,将分词向量进行拼接得到微服务资源配置向量Y;
所述seq2seq模型的输出为与所输入的平台处理性能向量V相对应的微服务资源配置向量Y;所述根据seq2seq模型的输出,确定优化后的微服务资源配置参数包括:对输出的微服务资源配置向量Y进行解析,得到相应的CPU核数量、内存大小、带宽和实例数。
6.根据权利要求1所述的方法,其特征是,所述seq2seq模型的训练包括:
基于历史平台处理性能向量V和微服务资源配置向量Y,构造系统观测数据模型R,表示为:R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)},其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y;
初始化训练参数,所述训练参数包括学习率、元素保留概率、训练轮次epochs、Batchsize和embedding size;
迭代地从[v1,v2,...,vm]中选择连续时间数据序列,作为训练样本序列[v1,v2,...,vn]输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn);基于所述隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻i具有最大被选择概率的微服务资源配置向量yi的被选中概率;
每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
8.根据权利要求6所述的方法,其特征是,在解码时刻i,词向量中各单词被选中的概率计算公式为:
P(yi|y<i,x)=softmax(W[si;ci]+b)
式中,W[si;ci]表示由si和ci构成矩阵,b代表矩阵数值的偏移量,P(yi|y<i,x)代表:将x为上下文词向量库在解码时刻i之前的词向量作为条件,得出的解码时刻i词向量中各单词被选中的概率。
9.一种电力交易平台的微服务资源配置参数优化装置,其特征是,包括:
数据获取模块,被配置用于获取实时的网络运行参数数据、平台系统运行参数数据以及微服务性能参数数据;
向量转换模块,被配置用于基于所述网络运行参数数据构造网络配置向量,基于所述平台系统运行参数数据构造系统感知向量,以及,基于所述微服务性能参数数据构造微服务性能观测向量;
计算推理模块,被配置用于将所述网络配置向量、系统感知向量和微服务性能观测向量,输入预先训练的序列到序列模型seq2seq进行计算推理;
微服务资源配置参数确定模块,被配置用于根据seq2seq模型的输出,确定优化后的微服务资源配置参数;
以及,参数配置模块,被配置用于根据所述优化后的微服务资源配置参数对电力交易平台进行微服务资源参数配置;
其中,所述seq2seq模型的训练样本为已知微服务资源配置向量的平台处理性能向量的连续时间序列数据,所述平台处理性能向量由所述网络配置向量、系统感知向量和微服务性能观测向量合并得到;所述微服务资源配置向量基于设定的微服务资源配置参数构造,所述设定的微服务资源配置参数包括CPU核数量、内存大小、带宽和实例数。
10.根据权利要求9所述的电力交易平台的微服务资源配置参数优化装置,其特征是,所述seq2seq模型的训练包括:
基于历史平台处理性能向量V和微服务资源配置向量Y,构造系统观测数据模型R,表示为:R={(V,Y)}={r1,r2,...,rm}={(v1,y1),(v2,y2),...,(vm,ym)},其中r1,r2,...,rm表示m个性能与资源配置对,vm和ym分别代表第m个性能与资源配置对中的平台处理性能向量V和微服务资源配置向量Y;
初始化训练参数,所述训练参数包括学习率、元素保留概率、训练轮次epochs、Batchsize和embedding size,具体可设置:学习率为0.001,元素保留概率为0.8,训练轮次epochs为10,Batch size为64,embedding size为300;
迭代地从[v1,v2,...,vn]中选择连续时间数据序列,作为训练样本序列[v1,v2,...,vn]输入seq2seq模型的编码器,其中n表示Batch size;编码器利用RNN网络将输入的序列[v1,v2,...,vn]编码为隐含表示h=(h1,h2,…hn);基于所述隐含表示h,编码器按照设定的注意力集中机制计算得到语义向量ci,作为解码器的输入si;解码器根据si,通过输出层softmax函数计算解码时刻具有最大选择概率的微服务资源配置向量yi的被选中概率;
每次迭代中,基于[v1,v2,...,vn]对应的[y1,y2,...,yn],通过预设的损失函数对seq2seq模型进行优化,调整seq2seq模型的参数,直至达到迭代终止条件,确定训练完成的seq2seq模型。
12.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如权利要求1-8任一项所述的电力交易平台的微服务资源配置参数优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675324.XA CN114924887A (zh) | 2022-06-15 | 2022-06-15 | 一种电力交易平台的微服务资源配置参数优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210675324.XA CN114924887A (zh) | 2022-06-15 | 2022-06-15 | 一种电力交易平台的微服务资源配置参数优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114924887A true CN114924887A (zh) | 2022-08-19 |
Family
ID=82815407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210675324.XA Pending CN114924887A (zh) | 2022-06-15 | 2022-06-15 | 一种电力交易平台的微服务资源配置参数优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114924887A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130765A (zh) * | 2023-01-16 | 2023-11-28 | 荣耀终端有限公司 | 计算资源的配置方法和电子设备 |
-
2022
- 2022-06-15 CN CN202210675324.XA patent/CN114924887A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130765A (zh) * | 2023-01-16 | 2023-11-28 | 荣耀终端有限公司 | 计算资源的配置方法和电子设备 |
CN117130765B (zh) * | 2023-01-16 | 2024-05-07 | 荣耀终端有限公司 | 计算资源的配置方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116415654A (zh) | 一种数据处理方法及相关设备 | |
CN111401084B (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
CN111950302A (zh) | 基于知识蒸馏的机器翻译模型训练方法、装置、设备及介质 | |
CN111638958A (zh) | 云主机负载处理方法、装置、控制设备及存储介质 | |
CN113822776B (zh) | 课程推荐方法、装置、设备及存储介质 | |
CN110781686B (zh) | 一种语句相似度计算方法、装置及计算机设备 | |
CN114924887A (zh) | 一种电力交易平台的微服务资源配置参数优化方法 | |
CN111784062A (zh) | 点击概率预测方法、系统、电子设备和介质 | |
CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
CN115393633A (zh) | 数据处理方法、电子设备、存储介质及程序产品 | |
CN114239949A (zh) | 一种基于双阶段注意力机制的网站访问量预测方法及系统 | |
CN115604131B (zh) | 一种链路流量预测方法、系统、电子设备及介质 | |
CN112529637B (zh) | 基于情景感知的服务需求动态预测方法及系统 | |
CN111626472B (zh) | 一种基于深度混合云模型的场景趋势判断指标计算系统及方法 | |
Shan et al. | DRAC: a delta recurrent neural network-based arithmetic coding algorithm for edge computing | |
CN114610486A (zh) | 一种强化学习在大型仿真环境下的加速训练方法 | |
CN111476408B (zh) | 一种电力通信设备状态预测方法及系统 | |
CN115705478A (zh) | 一种基于库普曼理论和关系推断的多智能体轨迹预测方法和装置 | |
CN113849641A (zh) | 一种跨领域层次关系的知识蒸馏方法和系统 | |
Xu et al. | MultiQuant: Training Once for Multi-bit Quantization of Neural Networks. | |
CN113011555B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN116959489B (zh) | 语音模型的量化方法、装置、服务器及存储介质 | |
CN114363951B (zh) | 一种多小区间流量协同预测方法及装置 | |
Martinez | Autoencoders for Dimension Reduction in Single Cell Data | |
CN118052650A (zh) | 一种共享储能交易方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |