CN111061564A - 服务器容量调整方法、装置及电子设备 - Google Patents
服务器容量调整方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111061564A CN111061564A CN201911268213.1A CN201911268213A CN111061564A CN 111061564 A CN111061564 A CN 111061564A CN 201911268213 A CN201911268213 A CN 201911268213A CN 111061564 A CN111061564 A CN 111061564A
- Authority
- CN
- China
- Prior art keywords
- capacity
- cpu consumption
- capacity adjustment
- server
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种服务器容量调整方法、装置及电子设备,涉及数据处理技术领域。本发明通过采用样本集合对神经网络进行训练,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作,可以使神经网络学习CPU消耗量与容量调整策略之间的映射关系,从而得到预设模型。通过获取当前时刻的CPU消耗量,并根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略,然后,根据目标容量调整策略,对服务器容量进行调整,从而可以实现根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,进而能够对业务需求的变化及时地作出响应。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种服务器容量调整方法、装置及电子设备。
背景技术
企业的数据中心运维部门经常需要根据企业最近的业务需求,对服务器容量进行调整。例如,当某天业务需求增加时,中央处理器(central processing unit,CPU)消耗量会随之增加,为保证业务正常运行,需要对服务器进行扩容。
目前,对服务器进行扩容的方法一般为:数据中心的运维人员根据当前CPU消耗量、并结合自身经验判断是否应该扩容,然后当判断需要扩容时,通过人工手动方式进行服务器扩容。例如,运维人员可以根据当前CPU的消耗量并结合自身经验,预估当天CPU消耗量会在何时达到峰值以及CPU消耗量峰值的大小,并根据预估结果判断是否需要在达到及CPU消耗量峰值前进行服务器扩容,然后,当判断需要进行服务器扩容时,可以预先手动增加服务器容量(如:增加服务器),实现服务器扩容。
但是,上述现有技术中,通过人为判断进行服务器扩容的方式,常常会由于人为判断的结果并不准确,而导致无法对业务需求的变化作出及时地响应。
发明内容
本发明提供一种服务器容量调整方法、装置及电子设备,可以根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,从而能够对业务需求的变化作出及时地响应。
第一方面,本发明实施例提供一种服务器容量调整方法,该方法包括:
获取当前时刻的CPU消耗量;根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略;其中,预设模型通过采用样本集合对神经网络进行训练所获取,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作;根据目标容量调整策略,对服务器容量进行调整。
可选地,所述根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略之前,所述方法还包括:
获取历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略;根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型。
可选地,所述根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型,包括:
采用Q学习算法,并将历史时刻的CPU消耗量作为输入,扩容、减容、以及无操作三种容量调整策略分别对应的Q值作为输出,对神经网络进行训练,得到初步模型;将初步模型输出的三种容量调整策略中,最大Q值对应的容量策略为目标容量调整策略,得到预设模型。
可选地,所述Q学习算法的奖励机制为:当容量调整策略为扩容时,预设时长后CPU消耗量降低的比例;以及,当容量调整策略为减容时,预设时长后CPU消耗量升高的比例。
可选地,所述根据目标容量调整策略,对服务器容量进行调整,包括:
若目标容量调整策略为扩容,则将服务器容量增加预设容量;若目标容量调整策略为减容,则将服务器容量减少预设容量;若目标容量调整策略为无操作,则保持服务器容量不变。
可选地,所述根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取所述预设模型之前,所述方法还包括:
采用数据清洗算法对历史时刻的CPU消耗量进行数据清洗。
可选地,数据清洗算法包括下述任一种:时序数据指数平滑化算法、自回归移动平均模型算法、以及卡尔曼滤波算法。
可选地,样本集合还包括:历史时刻的交易码数据和历史时刻的交易码数据对应的容量调整策略,或者,历史时刻的交易量数据和历史时刻的交易量数据对应的容量调整策略。
相应地,获取当前时刻的CPU消耗量,包括:获取当前时刻的交易码数据或交易量数据。
第二方面,本发明实施例提供一种服务器容量调整装置,所述装置包括:
获取模块,用于获取当前时刻的CPU消耗量;确定模块,用于根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略;其中,预设模型通过采用样本集合对神经网络进行训练所获取,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作;调整模块,用于根据目标容量调整策略,对服务器容量进行调整。
可选地,所述装置还包括:训练模块,用于在确定模块根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略之前,获取历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,并根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型。
可选地,训练模块,具体用于采用Q学习算法,并将历史时刻的CPU消耗量作为输入,扩容、减容、以及无操作三种容量调整策略分别对应的Q值作为输出,对神经网络进行训练,得到初步模型;将初步模型输出的三种容量调整策略中,最大Q值对应的容量策略为目标容量调整策略,得到预设模型。
可选地,Q学习算法的奖励机制为:当容量调整策略为扩容时,预设时长后CPU消耗量降低的比例;以及,当容量调整策略为减容时,预设时长后CPU消耗量升高的比例。
可选地,调整模块,具体用于若目标容量调整策略为扩容,则将服务器容量增加预设容量;若目标容量调整策略为减容,则将服务器容量减少预设容量;若目标容量调整策略为无操作,则保持服务器容量不变。
可选地,所述装置还包括:数据清洗模块,用于在训练模块根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型之前,采用数据清洗算法对历史时刻的CPU消耗量进行数据清洗。
可选地,数据清洗算法包括下述任一种:时序数据指数平滑化算法、自回归移动平均模型算法、以及卡尔曼滤波算法。
可选地,样本集合还包括:历史时刻的交易码数据和历史时刻的交易码数据对应的容量调整策略,或者,历史时刻的交易量数据和历史时刻的交易量数据对应的容量调整策略;相应地,获取模块,具体用于获取当前时刻的交易码数据或交易量数据。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如第一方面所述的服务器容量调整方法。
第四方面,本发明实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如第一方面所述的服务器容量调整方法。
本发明的有益效果是:
本发明实施例通过采用样本集合对神经网络进行训练,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作,可以使神经网络学习CPU消耗量与容量调整策略之间的映射关系,从而得到预设模型。通过获取当前时刻的CPU消耗量,并根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略,然后,根据目标容量调整策略,对服务器容量进行调整,从而可以实现根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,进而能够对业务需求的变化及时地作出响应。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的服务器容量调整方法的流程示意图;
图2示出了本发明实施例提供的服务器容量调整方法的另一流程示意图;
图3示出了本发明实施例提供的服务器容量调整方法的又一流程示意图;
图4示出了本发明实施例提供的服务器容量调整方法的又一流程示意图;
图5示出了本发明实施例提供的服务器容量调整装置的结构示意图;
图6示出了本发明实施例提供的服务器容量调整装置的另一结构示意图;
图7示出了本发明实施例提供的服务器容量调整装置的又一结构示意图;
图8示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本发明实施例提供一种服务器容量调整方法,可以根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,以对业务需求的变化及时地作出响应。该服务器容量调整方法的执行主体可以是服务器或计算机,例如,可以是数据运维中心的运维服务器;或者也可以是单独设置、且与数据运维中心对接的其他数据服务器、计算机等设备;又或者,还可以是服务器或计算机中的某一个或多个处理器,本发明对此不作限制。
图1示出了本发明实施例提供的服务器容量调整方法的流程示意图。
如图1所示,该服务器容量调整方法,可以包括:
S101、获取当前时刻的CPU消耗量。
其中,CPU消耗量可以是指CPU中消耗的计算资源。以用于提供业务功能的服务器为例,当服务器提供业务功能时,需要基于服务器的CPU对数据进行处理,该过程会消耗CPU中的计算资源。可选地,前述业务功能可以是指一些金融中心提供的交易业务、股票业务、证券业务等,本发明在此不作限制。
可选地,当前时刻可以是指某一天当中的任意某个时刻。例如,当前时刻可以是“7时00分”、“8时00分”、“8时30分”等精确度为分的时刻,也可以是“7时00分41秒”、“8时30分05秒”等精确度为秒的时刻,或者,还可以是“7时”、“8时”等精确到小时的时刻,本发明在此亦不作限制。
可选地,本发明中,CPU消耗量可以用CPU消耗资源的大小(如:字节数)进行表示,也可以用CPU占有率(如:百分比)进行表示。
S102、根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略。
其中,预设模型可以通过采用样本集合对神经网络进行训练所获取,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作。
例如,容量调整策略中,扩容可以是指将服务器容量增加预设容量;减容可以是指将服务器容量减小预设容量;无操作可以是指保持当前服务器容量不变。其中,预设容量可以是一个固定配置的服务器的容量大小,例如,若一个固定配置的服务器的容量大小为50G,则扩容可以是指增加一个服务器,从而实现将服务器容量增加50G。需要说明的是,前述预设容量的大小仅仅为示例性的说明,本领域技术人员可以根据实际需求对预设容量的大小进行设定,如:也可以是2个固定配置的服务器的容量大小、3个固定配置的服务器的容量大小等,本发明对预设容量的具体数值不作限定。
可以理解的,前述步骤S102需要基于预设模型确定目标容量调整策略,所以,在前述步骤S102之前,该服务器容量调整方法还可以包括训练获取前述预设模型的步骤。
图2示出了本发明实施例提供的服务器容量调整方法的另一流程示意图。
如图2所示,上述根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略之前,该服务器容量调整方法,还可以包括:
S201、获取历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略。
可选地,历史时刻对应的CPU消耗量可以是过去某一天内每个时刻对应的CPU消耗量,也可以是过去某一天业务高峰期内的每个时刻对应的CPU消耗量,在此不作限制。
历史时刻的CPU消耗量对应的容量调整策略可以是指在历史时刻时,需要对服务器容量所进行的扩容、减容、无操作等容量调整策略。例如,历史时刻可以为过去某一天内的“11时00分”,“11时00分”对应的容量调整策略可以是“扩容”。
可选地,在获取到历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略后,可以将历史时刻的CPU消耗量作为输入、历史时刻的CPU消耗量对应的容量调整策略作为输出,通过下述步骤S202对神经网络进行训练,使神经网络学习CPU消耗量与容量调整策略之间的映射关系。
S202、根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型。
通过根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,使神经网络学习CPU消耗量与容量调整策略之间的映射关系,得到上述预设模型后,该预设模型即可用于前述步骤S102中实现根据当前时刻的CPU消耗量,确定目标容量调整策略。
例如,当前时刻为“11时00分”,则将当前“11时00分”的CPU消耗量输入预设模型后,预设模型可以输出的目标容量调整策略可以为“扩容”。
然后,可以通过下述步骤S103根据目标容量调整策略对服务器容量进行调整。
S103、根据目标容量调整策略,对服务器容量进行调整。
例如,若目标容量调整策略为扩容,则可以将服务器容量增加预设容量;若目标容量调整策略为减容,则可以将服务器容量减少预设容量;若目标容量调整策略为无操作,则可以保持服务器容量不变。
一些实施方式中,步骤S103实现的具体方式可以为:先判断目标容量调整策略是否为扩容,若是,则将服务器容量增加预设容量;若否,则判断目标容量调整策略是否为减容,若是,则将服务器容量减少预设容量;若否,则保持服务器容量不变。需要说明的是,对扩容、减容或无操作三种容量调整策略的判断顺序,本发明不作限制,只需保证判断逻辑上可以确定出具体目标容量调整策略的类型即可。
由上所述,本发明实施例通过采用样本集合对神经网络进行训练,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作,可以使神经网络学习CPU消耗量与容量调整策略之间的映射关系,从而得到预设模型。通过获取当前时刻的CPU消耗量,并根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略,然后,根据目标容量调整策略,对服务器容量进行调整,从而可以实现根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,进而能够对业务需求的变化及时地作出响应。
另外,由于本发明实施例可以根据任意当前时刻的CPU消耗量,对服务器容量进行自动调整,不需要人为干预,所以,在提升响应速度的同时,还可以有效降低人工手动扩容所占用的人工成本。
图3示出了本发明实施例提供的服务器容量调整方法的又一流程示意图。
可选地,如图3所示,上述根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型的步骤,具体可以包括:
S301、采用Q学习算法,并将历史时刻的CPU消耗量作为输入,扩容、减容、以及无操作三种容量调整策略分别对应的Q值作为输出,对神经网络进行训练,得到初步模型。
S302、将初步模型输出的三种容量调整策略中,最大Q值对应的容量策略为目标容量调整策略,得到预设模型。
可选地,Q学习算法的奖励机制可以为:当容量调整策略为扩容时,预设时长后CPU消耗量降低的比例;以及,当容量调整策略为减容时,预设时长后CPU消耗量升高的比例。例如,预设时长可以是5分钟、8分钟、10分钟等,本发明对此不作限制。
现对Q学习算法作举例说明:
Q学习算法的输入可以为历史时刻的CPU消耗量,如:可以是CPU消耗量时序数据;Q学习算法决策空间可以为前述三种容量调整策略:扩容、减容、以及无操作;Q学习算法的奖励(Reward)机制可以为:当输出为扩容时,预设时长(如:五分钟)后CPU消耗量降低的比例,反方向相同的是,当输出为减容时,预设时长后CPU消耗量升高的比例。
Q学习算法的Q表可以如下表1所示:
表1
表1(Q表)中,第一列为状态,即不同历史时刻的CPU消耗量;第二列为容量调整策略为扩容(动作1)时每种状态对应的Reward值;第三列为容量调整策略为减容(动作2)时每种状态对应的Reward值;第四列为容量调整策略为无操作(动作3)时每种状态对应的Reward值。通过不断地模拟或者采用实际数据填充此表,并且更新迭代,可以得到训练神经网络的数据。
Q学习算法也即为如何更新前述Q表的方法,以下述表2为例,Q表更新过程可以如下:
表2
当Q学习算法处于S0的状态时,如果刚好选择的动作为减容(A2),则下一个状态就是S1。执行动作A2后,需要更新Q(S0,A2)数值,具体为:
Q′(S0,A2)=Q(S0,A2)+α*[R(S1)+γ*maxaQ(S1,a)-Q(S0,A2)]
其中,R(S1)表示Q学习算法在S1状态时的奖励(Reward);γ表示衰减值;a表示S1状态下对应的Q值最大的一个;maxaQ(S1,a)表示S1状态下对应的Q值最大的一个,即最大Q值,如表2中所示,S1状态下对应的最大Q值为2;α表示学习速率(Learning Rate);R(S1)+γ*maxaQ(S1,a)-Q(S0,A2)表示Q(S0,A2)的目标数值;Q(S0,A2)表示当前S0状态下对应的执行动作A2时的Q值;Q′(S0,A2)则表示更新后的S0状态下对应的执行动作A2时的Q值。
也即,若将R(S1)+γ*maxaQ(S1,a)-Q(S0,A2)表示为:
Q目标(S0,A2)
则
Q′(S0,A2)=Q(S0,A2)+α*[Q目标(S0,A2)-Q(S0,A2)]。
可选地,Q学习算法中,学习速率α可以是0.001、0.01、0.1等值,可以根据实际需求对α的大小进行调整;衰减值γ可以是0.8、0.9等,例如,当γ为0.9时,则会有10%的概率会选择其他的动作,而到达其他的状态。
基于前述Q学习算法,对神经网络进行训练,即可使得神经网络学习到CpU消耗量与扩容、减容、以及无操作三种容量调整策略之间的映射关系,得到初步模型。例如,将当前时刻的CpU消耗量输入初步模型后,初步模型可以根据当前时刻的CPU消耗量,输出扩容、减容、以及无操作三种容量调整策略分别对应的Q值。然后,再通过在初步模型中增加限定规则:将最大Q值对应的容量策略作为目标容量调整策略,即可预设模型。
因此,将当前时刻的CPU消耗量输入预设模型后,预设模型可以根据当前时刻的CPU消耗量输出扩容、减容、以及无操作三种容量调整策略分别对应的Q值,并从中确定最大Q值对应的容量调整策略为目标容量调整策略。例如,若预设模型输出扩容对应的Q值为3,减容对应的Q值为1,无操作对应的Q值为-1,则可以确定扩容为目标容量调整策略。
可选地,本发明中,神经网络可以由门循环控制单元(Gated Recurrent Unit,GRU)、全连接层和输出层构成,对于神经网络的具体结构,本发明不作限制。
下面以一种具体实施方式对本发明提供的服务器容量调整方法作以说明:
图4示出了本发明实施例提供的服务器容量调整方法的又一流程示意图。
如图4所示,该服务器容量调整方法,可以包括:
S401、获取当前时刻的CPU消耗量并输入预设模型。
S402、将当前时刻的CPU消耗量输入预设模型,得到扩容、减容或无操作三种容量调整策略各自对应的Q值。
S403、判断最大Q值对应的容量调整策略是否为扩容。
若是,则执行步骤S404;若否,则执行步骤S405。
S404、将服务器容量增加预设容量。
S405、判断最大Q值对应的容量调整策略是否为减容。
若是,则执行步骤S406;若否,则执行步骤S407。
S406、将服务器容量减少预设容量。
S407、保持服务器容量不变。
可选地,上述根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取所述预设模型之前,所述方法还可以包括:采用数据清洗算法对历史时刻的CPU消耗量进行数据清洗。例如,数据清洗算法可以包括下述任一种:时序数据指数平滑化算法、自回归移动平均模型算法、卡尔曼滤波算法。
如上所述,CPU消耗量属于典型的时间序列数据,并且在时间分布上有很多噪点,可以根据时序数据指数平滑化算法、自回归移动平均模型算法、卡尔曼滤波算法等经典时序数据预处理方法对其进行清洗。需要说明的是,数据清洗时,可以结合需要的精度和时间周期进行数据清洗。
其中,时序数据指数平滑化算法、自回归移动平均模型算法、卡尔曼滤波算法均为较为成熟的时序数据预处理方法,在此不再赘述。
可选地,样本集合还包括:历史时刻的交易码数据和历史时刻的交易码数据对应的容量调整策略,或者,历史时刻的交易量数据和历史时刻的交易量数据对应的容量调整策略。
相应地,获取当前时刻的CPU消耗量,可以包括:获取当前时刻的交易码数据或交易量数据。
其中,历史时刻的交易码数据包括:某交易码是否在运行、以及同时运行的某交易码的数量等;历史时刻的交易量数据包括:运行的交易码对应的业务量(需要说明的是:某一时刻交易量由不同的交易码代表的业务量组成)。也可以根据历史时刻对应的交易码数据和/或交易量数据,建立预设模型,模型训练方式与前述实施例相同,在此不再赘述。其不同之处在于,此时预设模型的输入为当前时刻的交易码数据和/或交易量数据,预设模型可以根据当前时刻的交易码数据和/或交易量数据,得到目标容量调整策略。
也即,一些实施方式中,可以根据当前时刻的CPU消耗量对服务器容量进行调整。另外一些实施方式中,也可以根据当前时刻的交易码数据和/或交易量数据,对服务器容量进行调整,其原理与CPU消耗量相同,在此不再赘述。
基于前述方法实施例中所述的服务器容量调整方法,本发明实施例还对应提供一种服务器容量调整装置,图5示出了本发明实施例提供的服务器容量调整装置的结构示意图。
如图5所示,该服务器容量调整装置可以包括:获取模块10,可以用于获取当前时刻的CPU消耗量。确定模块20,可以用于根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略;其中,预设模型通过采用样本集合对神经网络进行训练所获取,样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,容量调整策略包括:扩容、减容或无操作。调整模块30,可以用于根据目标容量调整策略,对服务器容量进行调整。
图6示出了本发明实施例提供的服务器容量调整装置的另一结构示意图。
可选地,如图6所示,该服务器容量调整装置还可以包括:训练模块40,可以用于在确定模块20根据预设模型、当前时刻的CPU消耗量,确定目标容量调整策略之前,获取历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,并根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型。
可选地,训练模块40具体可以用于采用Q学习算法,并将历史时刻的CPU消耗量作为输入,扩容、减容、以及无操作三种容量调整策略分别对应的Q值作为输出,对神经网络进行训练,得到初步模型;将初步模型输出的三种容量调整策略中,最大Q值对应的容量策略为目标容量调整策略,得到预设模型。
可选地,Q学习算法的奖励机制可以为:当容量调整策略为扩容时,预设时长后CPU消耗量降低的比例;以及,当容量调整策略为减容时,预设时长后CPU消耗量升高的比例。
可选地,调整模块30具体可以用于若目标容量调整策略为扩容,则将服务器容量增加预设容量;若目标容量调整策略为减容,则将服务器容量减少预设容量;若目标容量调整策略为无操作,则保持服务器容量不变。
图7示出了本发明实施例提供的服务器容量调整装置的又一结构示意图。
可选地,如图7所示,该服务器容量调整装置还可以包括:数据清洗模块50,可以用于在训练模块根据历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取预设模型之前,采用数据清洗算法对历史时刻的CPU消耗量进行数据清洗。
可选地,数据清洗算法包括下述任一种:时序数据指数平滑化算法、自回归移动平均模型算法、以及卡尔曼滤波算法。
可选地,样本集合还可以包括:历史时刻的交易码数据和历史时刻的交易码数据对应的容量调整策略,或者,历史时刻的交易量数据和历史时刻的交易量数据对应的容量调整策略。相应地,获取模块10具体可以用于获取当前时刻的交易码数据或交易量数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中方法的对应过程,本发明中不再赘述。
本发明实施例提供的服务器容量调整装置对应于前述方法实施例中所述的服务器容量调整方法,因此,装置实施例中所述的服务器容量调整装置,具有前述实施例中所述的服务器容量调整方法具备的全部有益效果,在此亦不再赘述。
本发明实施例还提供一种电子设备,该设备可以是前述计算机或服务器,例如,可以是数据运维中心的运维服务器,或者也可以是单独设置、且与数据运维中心对接的其他数据服务器,本发明对此不作限制。
图8示出了本发明实施例提供的电子设备的结构示意图。
如图8所示,该电子设备可以包括:处理器100、存储介质200和总线(图中未标出),存储介质200存储有处理器100可执行的机器可读指令,当电子设备运行时,处理器100与存储介质200之间通过总线通信,处理器100执行机器可读指令,以执行如前述方法实施例中所述的服务器容量调整方法。具体实现方式和技术效果类似,在此不再赘述。
为了便于说明,在上述电子设备中仅描述了一个处理器。然而,应当注意,本发明中的电子设备还可以包括多个处理器,因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,电子设备的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B等。
在一些实施例中,处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等,或其任意组合。
本发明实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行如前述方法实施例中所述的服务器容量调整方法。具体实现方式和技术效果类似,在此同样不再赘述。
可选地,该存储介质可以是U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种服务器容量调整方法,其特征在于,所述方法包括:
获取当前时刻的CPU消耗量;
根据预设模型、所述当前时刻的CPU消耗量,确定目标容量调整策略;其中,所述预设模型通过采用样本集合对神经网络进行训练所获取,所述样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,所述容量调整策略包括:扩容、减容或无操作;
根据所述目标容量调整策略,对服务器容量进行调整。
2.根据权利要求1所述的方法,其特征在于,所述根据预设模型、所述当前时刻的CPU消耗量,确定目标容量调整策略之前,所述方法还包括:
获取历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略;
根据所述历史时刻的CPU消耗量、以及所述历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取所述预设模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述历史时刻的CPU消耗量、以及所述历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取所述预设模型,包括:
采用Q学习算法,并将所述历史时刻的CPU消耗量作为输入,扩容、减容、以及无操作三种容量调整策略分别对应的Q值作为输出,对神经网络进行训练,得到初步模型;
将所述初步模型输出的三种容量调整策略中,最大Q值对应的容量策略为目标容量调整策略,得到所述预设模型。
4.根据权利要求3所述的方法,其特征在于,所述Q学习算法的奖励机制为:当容量调整策略为扩容时,预设时长后CPU消耗量降低的比例;以及,当容量调整策略为减容时,预设时长后CPU消耗量升高的比例。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述目标容量调整策略,对服务器容量进行调整,包括:
若所述目标容量调整策略为扩容,则将服务器容量增加预设容量;
若所述目标容量调整策略为减容,则将服务器容量减少预设容量;
若所述目标容量调整策略为无操作,则保持服务器容量不变。
6.根据权利要求2-4任一项所述的方法,其特征在于,所述根据所述历史时刻的CPU消耗量、以及所述历史时刻的CPU消耗量对应的容量调整策略对神经网络进行训练,获取所述预设模型之前,所述方法还包括:
采用数据清洗算法对所述历史时刻的CPU消耗量进行数据清洗。
7.根据权利要求6所述的方法,其特征在于,所述数据清洗算法包括下述任一种:时序数据指数平滑化算法、自回归移动平均模型算法、以及卡尔曼滤波算法。
8.根据权利要求1所述的方法,其特征在于,所述样本集合还包括:历史时刻的交易码数据和所述历史时刻的交易码数据对应的容量调整策略,或者,历史时刻的交易量数据和所述历史时刻的交易量数据对应的容量调整策略;
相应地,所述获取当前时刻的CPU消耗量,包括:
获取当前时刻的交易码数据或交易量数据。
9.一种服务器容量调整装置,其特征在于,所述装置包括:
获取模块,用于获取当前时刻的CPU消耗量;
确定模块,用于根据预设模型、所述当前时刻的CPU消耗量,确定目标容量调整策略;其中,所述预设模型通过采用样本集合对神经网络进行训练所获取,所述样本集合包括:历史时刻的CPU消耗量、以及历史时刻的CPU消耗量对应的容量调整策略,所述容量调整策略包括:扩容、减容或无操作;
调整模块,用于根据所述目标容量调整策略,对服务器容量进行调整。
10.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过所述总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268213.1A CN111061564A (zh) | 2019-12-11 | 2019-12-11 | 服务器容量调整方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268213.1A CN111061564A (zh) | 2019-12-11 | 2019-12-11 | 服务器容量调整方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111061564A true CN111061564A (zh) | 2020-04-24 |
Family
ID=70300578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911268213.1A Pending CN111061564A (zh) | 2019-12-11 | 2019-12-11 | 服务器容量调整方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111061564A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112217858A (zh) * | 2020-08-28 | 2021-01-12 | 北京思特奇信息技术股份有限公司 | 一种云计算资源弹性伸缩的方法和系统 |
CN112598522A (zh) * | 2020-12-28 | 2021-04-02 | 中国农业银行股份有限公司 | 一种业务系统的控制方法、装置及电子设备 |
CN112953845A (zh) * | 2021-02-04 | 2021-06-11 | 中国工商银行股份有限公司 | 分布式系统流量控制方法及装置 |
CN113642638A (zh) * | 2021-08-12 | 2021-11-12 | 云知声智能科技股份有限公司 | 容量调整方法、模型的训练方法、装置、设备、存储介质 |
CN113688989A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 深度学习网络加速方法、装置、设备及存储介质 |
CN115834388A (zh) * | 2022-10-21 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 系统控制方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284871A (zh) * | 2018-09-30 | 2019-01-29 | 北京金山云网络技术有限公司 | 资源调整方法、装置和云平台 |
CN109451523A (zh) * | 2018-11-23 | 2019-03-08 | 南京邮电大学 | 基于流量识别技术和q学习的快速切换方法 |
CN109445947A (zh) * | 2018-11-07 | 2019-03-08 | 东软集团股份有限公司 | 资源的分配处理方法、装置、设备及存储介质 |
CN110335162A (zh) * | 2019-07-18 | 2019-10-15 | 电子科技大学 | 一种基于深度强化学习的股票市场量化交易系统及算法 |
-
2019
- 2019-12-11 CN CN201911268213.1A patent/CN111061564A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284871A (zh) * | 2018-09-30 | 2019-01-29 | 北京金山云网络技术有限公司 | 资源调整方法、装置和云平台 |
CN109445947A (zh) * | 2018-11-07 | 2019-03-08 | 东软集团股份有限公司 | 资源的分配处理方法、装置、设备及存储介质 |
CN109451523A (zh) * | 2018-11-23 | 2019-03-08 | 南京邮电大学 | 基于流量识别技术和q学习的快速切换方法 |
CN110335162A (zh) * | 2019-07-18 | 2019-10-15 | 电子科技大学 | 一种基于深度强化学习的股票市场量化交易系统及算法 |
Non-Patent Citations (1)
Title |
---|
《模式识别》: "《模式识别》", 西安:西安电子科技大学出版社, pages: 12 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112217858A (zh) * | 2020-08-28 | 2021-01-12 | 北京思特奇信息技术股份有限公司 | 一种云计算资源弹性伸缩的方法和系统 |
CN112598522A (zh) * | 2020-12-28 | 2021-04-02 | 中国农业银行股份有限公司 | 一种业务系统的控制方法、装置及电子设备 |
CN112953845A (zh) * | 2021-02-04 | 2021-06-11 | 中国工商银行股份有限公司 | 分布式系统流量控制方法及装置 |
CN113642638A (zh) * | 2021-08-12 | 2021-11-12 | 云知声智能科技股份有限公司 | 容量调整方法、模型的训练方法、装置、设备、存储介质 |
CN113688989A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 深度学习网络加速方法、装置、设备及存储介质 |
CN113688989B (zh) * | 2021-08-31 | 2024-04-19 | 中国平安人寿保险股份有限公司 | 深度学习网络加速方法、装置、设备及存储介质 |
CN115834388A (zh) * | 2022-10-21 | 2023-03-21 | 支付宝(杭州)信息技术有限公司 | 系统控制方法及装置 |
CN115834388B (zh) * | 2022-10-21 | 2023-11-14 | 支付宝(杭州)信息技术有限公司 | 系统控制方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111061564A (zh) | 服务器容量调整方法、装置及电子设备 | |
CN110086650B (zh) | 面向分布式机器学习任务的云资源在线调度方法及装置 | |
JP2019003271A (ja) | 機械学習装置、制御装置及び機械学習プログラム | |
US20190243691A1 (en) | Predictive model-based intelligent system for automatically scaling and managing provisioned computing resources | |
CN113222403B (zh) | 基于大数据的电力调节方法、装置、存储介质及电子设备 | |
CN106933649A (zh) | 基于移动平均和神经网络的虚拟机负载预测方法及系统 | |
CN110532154B (zh) | 应用系统扩容方法、装置和设备 | |
CN104616173B (zh) | 预测用户流失的方法以及设备 | |
JP4405520B2 (ja) | プロジェクトの進行スケジュールを調整するためのコンピュータプログラム、コンピュータ装置及び方法 | |
US11763049B1 (en) | Systems and methods for time series simulation | |
CN115168027A (zh) | 一种基于深度强化学习的算力资源度量方法 | |
CN114818913A (zh) | 决策生成方法和装置 | |
CN112506663A (zh) | 基于去噪和误差修正的云服务器cpu负载预测方法、系统和介质 | |
CN111026626A (zh) | Cpu消耗量预估、预估模型训练方法及装置 | |
CN113205391B (zh) | 基于历史订单匹配度的派单方法、电子设备和计算机可读介质 | |
CN115759751A (zh) | 一种企业风险预测方法、装置、存储介质、电子设备及产品 | |
CN112514352A (zh) | 更新调度规则的方法、设备、系统、存储介质和终端 | |
CN115002126A (zh) | 一种基于边缘服务器集群的服务调度方法及装置 | |
CN114355793A (zh) | 用于车辆仿真评测的自动驾驶规划模型的训练方法及装置 | |
CN111144935A (zh) | 基于大数据的睡眠会员唤醒方法及系统、服务器及介质 | |
CN115658701B (zh) | 数据库流量控制方法、装置、设备及存储介质 | |
CN116500896B (zh) | 智能网联汽车域控制器多虚拟cpu任务智能实时调度模型和方法 | |
CN116542495B (zh) | 一种基于数据挖掘的智能供水调度方法、装置及电子设备 | |
CN112801372B (zh) | 数据处理方法、装置、电子设备和可读存储介质 | |
CN107729150A (zh) | 一种异构集群安监设备最小能耗节点的寻址方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220916 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |