CN112540842A - 动态调整系统资源的方法及装置 - Google Patents
动态调整系统资源的方法及装置 Download PDFInfo
- Publication number
- CN112540842A CN112540842A CN201910890743.3A CN201910890743A CN112540842A CN 112540842 A CN112540842 A CN 112540842A CN 201910890743 A CN201910890743 A CN 201910890743A CN 112540842 A CN112540842 A CN 112540842A
- Authority
- CN
- China
- Prior art keywords
- system server
- concurrency
- server
- resource amount
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims description 44
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及资源调度技术领域，尤其涉及动态调整系统资源的方法及装置。所述方法包括：建立用于确定系统服务器对并发量的承受能力的第一预测模型以及用于确定并发量所需系统资源情况的第二预测模型；基于第一预测模型判断系统服务器当前的并发量是否超出系统服务器的极限承受能力；若超出系统服务器的极限承受能力，则基于第二预测模型，确定系统服务器当前的并发量所需的预测系统资源量；将预测系统资源量与系统服务器当前的实际系统资源量进行比较，获得比较结果；若比较结果表明预测系统资源量大于实际系统资源量，则对系统服务器的系统资源进行扩充；若比较结果表明预测系统资源量小于实际系统资源量，则对系统服务器的系统资源进行删减。
Description
技术领域
本发明涉及资源调度技术领域，尤其涉及动态调整系统资源的方法及装置。
背景技术
微服务是一个新兴的软件架构，该架构实际上是把一个大型的单个应用程序和服务拆分为数十个微服务。每个微服务的策略可以让处理过程变得更为简便，同时，微服务可扩展单个组件而不是整个的应用程序堆栈，从而满足服务等级协议。
随着微服务的兴起，在由微服务构建的系统中，往往存在并发量骤增的情况。而面对骤增的并发量，系统服务器难以保证所有服务都得到有效地的处理。因此，如何对系统资源调度以保证所有服务均得到有效处理成为亟需解决的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的动态调整系统资源的方法及装置。
依据本发明的第一个方面，本发明提供一种动态调整系统资源的方法，应用于系统服务器中，所述方法包括：
建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型；
基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力；
若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量；
将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果；
若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
优选的，所述并发量为所述系统服务器每秒钟接收到的事件处理请求的数量。
优选的，所述系统服务器的系统资源包括所述系统服务器的处理器、内存、硬盘和网络带宽中的至少一种。
优选的，所述建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，包括：
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系，以及所述第二类并发量数据与所述异常工作状态之间的第二对应关系，作为训练样本，基于卷积神经网络训练方法，训练获得所述第一预测模型。
优选的，所述建立用于确定所述并发量所需系统资源情况的第二预测模型，包括：
分别采集每个并发量下所述系统服务器的系统资源数据；
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系、所述第二类并发量数据与所述异常工作状态之间的第二对应关系，以及每个并发量下所述系统服务器的系统资源数据，作为训练样本，基于卷积神经网络训练方法，训练获得所述第二预测模型。
优选的，所述对所述系统服务器的系统资源进行扩充，包括：
调用容器化平台接口对所述系统服务器的系统资源进行扩充。
优选的，所述系统服务器为微服务系统服务器。
依据本发明的第二个方面，本发明提供一种动态调整系统资源的装置，应用于系统服务器中，所述装置包括：
建立模块，用于建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型。
判断模块，用于基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力。
第一处理模块，用于若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量。
比较模块，用于将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果。
第二处理模块，用于若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
依据本发明的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述第一个方面中的方法步骤。
依据本发明的第四个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前述第一个方面中的方法步骤。
根据本发明的动态调整服务资源的方法及装置，首先，建立用于确定系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定并发量所需系统资源情况的第二预测模型。接着，基于第一预测模型，判断系统服务器当前的并发量是否超出系统服务器的极限承受能力。若系统服务器当前的并发量超出系统服务器的极限承受能力，则基于第二预测模型，确定系统服务器当前的并发量所需的预测系统资源量。然后，将预测系统资源量与系统服务器当前的实际系统资源量进行比较，获得比较结果。若比较结果表明预测系统资源量大于实际系统资源量，则对系统服务器的系统资源进行扩充；若比较结果表明预测系统资源量小于实际系统资源量，则对系统服务器的系统资源进行删减。
由于本发明先执行对系统服务器当前的并发量是否超出系统服务器的极限承受能力的判断，只有当系统服务器当前的并发量超出系统服务器的极限承受能力时，才会执行基于第二预测模型获得系统服务器当前的并发量所需的预测服务资源以及后续步骤。而当系统服务器当前的并发量未超出系统服务器的极限承受能力时，将不会执行基于第二预测模型获得系统服务器当前的并发量所需的预测服务资源以及后续步骤。从而，能够有效地节约系统服务器的处理资源。在此基础上，本发明通过将预测服务资源与系统服务器实际服务资源进行比较。若比较结果表明预测服务资源大于实际服务资源，则对系统服务器当前的服务资源进行扩充；若比较结果表明预测服务器资源小于实际服务资源，则对系统服务器当前的服务器资源进行删减。不仅能够保证所有服务都能够得到有效处理，同时实现了对系统资源的合理分配，避免了系统资源的浪费。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：
图1示出了本发明实施例中动态调整系统资源的方法的流程图；
图2示出了本发明实施例中动态调整系统资源的装置的结构示意图；
图3示出了本发明实施例中设备的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种动态调整系统资源的方法，应用于系统服务器中。由于微服务存在并发量骤增的情况，因此，本发明实施例的动态调整系统资源的方法尤其适用于微服务架构的系统中，从而，所述方法中的系统服务器为微服务系统服务器，微服务系统服务器为所述方法的执行主体。在微服务架构的系统中，微服务系统服务器用于对各类微服务进行处理。
参见图1，本发明实施例的动态调整系统资源的方法包括以下步骤：
步骤101：建立用于确定系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定并发量所需系统资源情况的第二预测模型。
具体来讲，本发明中的并发量(TransactionPerSecond，TPS)是指系统服务器每秒钟接收到的事件处理请求的数量。当系统服务器对微服务进行处理时，系统服务器和微服务之间的信息交互必然包含事件处理请求，而微服务向系统服务器发送的事件处理请求的数量即属于系统服务器的并发量。当微服务发送的事件处理请求激增，系统服务器的并发量也将随之激增，进而，系统服务器有可能无法承受激增的并发量，从而由正常工作状态变为异常工作状态。
进一步来讲，系统服务器在正常工作状态下能够处理所有事件处理请求，不存在无法处理事件处理请求的异常情况。而当系统服务器存在异常情况时，表征系统服务器处于异常工作状态，在异常工作状态下，系统服务器存在无法处理的事情处理请求。具体地，系统服务器的异常工作状态可以通过以下情况表征：Java虚拟机(Java Virtual Machine，JVM)出现堆内存溢出，或数据库无法响应查询，或响应请求的时间超过预设要求。
针对步骤101而言，对于如何建立用于确定系统服务器对并发量的承受能力的第一预测模型，下面给出详细说明：
首先，在系统服务器处于正常工作状态下，对系统服务器的并发量进行采集，获得第一类并发量数据。以及，在系统服务器处于异常工作状态下，对系统服务器的并发量进行采集，获得第二类并发量数据。第一类并发量数据和第二类并发量数据分别代表系统服务器在正常工作状态下和异常工作状态下的并发量情况。例如，当并发量为1000时，系统服务器处于正常工作状态，则采集得到的并发量1000为第一类并发量数据；当并发量为10000时，系统服务器处于异常工作状态，则采集得到的并发量10000为第二类并发量数据。需要说明的是，在本发明实施例中，可以对预设时间段内系统服务器的并发量进行采集，如采集1个月内系统服务器的并发量。进而对采集到的并发量在第一类并发量数据和第二类并发量数据之间进行归类。
其次，在得到第一类并发量数据和第二类并发量数据之后，将第一类并发量数据与正常工作状态之间的第一对应关系，以及第二类并发量数据与异常工作状态之间的第二对应关系，作为训练样本。例如，通过采集并区分得到：并发量为1000、500、800、200时，系统服务器处于正常工作状态，并发量为1000、500、800、200为第一类并发量，并发量为3000、5000、10000、12000时，系统服务器处于异常工作状态，并发量为3000、5000、10000、12000为第二类并发量，将上述数据作为训练样本。进一步，利用上述训练样本，基于卷积神经网络训练方法(Convolutional Neural Network，CNN)，训练获得第一预测模型。卷积神经网络训练方法的训练过程通常包含两个阶段，第一个阶段为数据由低层次向高层次传播的阶段，第二个阶段为当前向传播得到的结果与预测不相符时，将误差从高层次向低层次进行传播训练的阶段。本发明实施例中的卷积神经网络训练方法可以采用现有技术中的任一CNN训练方法进行实现，本发明对选用何种CNN训练方法训练得到第一预测模型不作限定，由于CNN训练方法属于现有技术，本发明也不再赘述。
最后，通过CNN建立出的第一预测模型能够对系统服务器对并发量的承受能力进行确定。需要说明的是，本发明实施例中的承受能力对应于系统服务器的工作状态。即，若当前系统服务器处于正常工作状态，则表明系统服务器能够承受当前的并发量，反之，若当前系统服务器处于异常工作状态，则表明系统服务器无法承受当前的并发量。
针对步骤101而言，对于如何建立用于确定并发量所需系统资源情况的第二预测模型，下面给出详细说明：
在获得第一类并发量数据和第二类并发量数据的过程中，对应于系统服务器的每个并发量而言，分别采集每个并发量下系统服务器的系统资源数据。上述的每个并发量包括每个第一类并发量和每个第二类并发量。
进一步来讲，在本发明实施例中，系统服务器的系统资源包括系统服务器的处理器、内存、硬盘和网络带宽中的至少一种。从而，系统资源数据可以为系统服务器的处理器、内存、硬盘和网络带宽的使用情况。优选的，在本发明实施例中，将系统服务器的处理器、内存、硬盘和网络带宽结合在一起，由这些系统资源共同确定系统服务器的系统资源使用情况。
接着，将第一类并发量数据与正常工作状态之间的第一对应关系、第二类并发量数据与异常工作状态之间的第二对应关系，以及每个并发量下系统服务器的系统资源数据，作为训练样本。例如，系统服务器的并发量为1000时，系统服务器处于正常工作状态，此时系统服务器的处理器使用情况为50％、内存使用情况为40％、硬盘使用情况为30％、网络带宽使用情况为30％；系统服务器的并发量为10000时，系统服务器处于异常工作状态，此时系统服务器的处理器使用情况为100％、内存使用情况为100％、硬盘使用情况为100％、网络带宽使用情况为100％。从而将采集到的上述数据作为训练样本。
在本发明实施例中，在采集到大量的训练样本之后，利用训练样本，基于卷积神经网络训练方法，训练获得第二预测模型。第二预测模型能够确定出某一并发量所需的系统资源。同样，本发明对选用何种CNN训练方法训练得到第二预测模型不作限定。
本发明利用卷积神经网络训练方法建立的第一预测模型和第二预测模型，能够准确地确定出系统服务器对并发量的承受能力以及并发量所需的系统资源情况，进而有利于提高后续系统资源调度的准确性，以保证系统下所有服务均能够得到有效地处理。
在完成步骤101之后，执行步骤102：基于第一预测模型，判断系统服务器当前的并发量是否超出系统服务器的极限承受能力。
具体来讲，系统服务器的极限承受能力可以通过系统服务器由正常工作状态转变为异常工作状态的临界并发量衡量。即，当系统服务器的并发量在临界并发量之下，系统服务器能够正常工作，而当系统服务器的并发量超出临界并发量，系统服务器将会出现异常。在获得系统服务器当前的并发量之后，将当前的并发量作为输入数据输入至第一预测模型之后，第一预测模型将会判断出当前的并发量是否超出系统服务器的极限承受能力。
进一步，若系统服务器当前的并发量在系统服务器的极限承受能力之内，则系统服务器不动作。若系统服务器当前的并发量超出系统服务器的极限承受能力，则执行步骤103：基于第二预测模型，确定系统服务器当前的并发量所需的预测系统资源量。
具体来讲，在步骤103中，将当前的并发量作为输入数据输入至第二预测模型之后，第二预测模型将会预测出当前的并发量所需的系统资源量，该系统资源量可以被称为预测系统资源量。
在完成步骤103之后，执行步骤104：将预测系统资源量与系统服务器当前的实际系统资源量进行比较，获得比较结果。
具体来讲，对于系统服务器当前的并发量而言，除了存在一预测系统资源量，还存在一实际系统资源量，实际系统资源量为系统服务器在当前的并发量下实际的系统资源量。在本发明实施例中，将预测系统资源量与实际系统资源量进行比较。
进一步，在完成步骤104之后，执行步骤105：若比较结果表明预测系统资源量大于实际系统资源量，则对系统服务器的系统资源进行扩充。若比较结果表明预测系统资源量小于实际系统资源量，则对系统服务器的系统资源进行删减。若预测系统资源量等于实际系统资源量，则系统服务器不动作。
具体来讲，对系统服务器的系统资源进行删减可以体现为对预先分配给系统服务器的用于处理微服务的事件处理请求的系统资源进行缩减。而对系统服务器的系统资源进行扩充，包括：调用容器化平台接口对系统服务器的系统资源进行扩充。以容器化平台接口为Kubernetes为例，在确定出预测系统资源量之后，基于预测系统资源量调用Kubernetes平台接口，利用Kubernetes重新启动应用系统镜像，并且为应用系统镜像提供预测出的系统资源，从而实现系统资源的扩充。本发明通过调用容器化平台接口实现对系统资源的自动扩充，无需人工介入，提高了调用系统资源的效率。
由于本发明先执行对系统服务器当前的并发量是否超出系统服务器的极限承受能力的判断，只有当系统服务器当前的并发量超出系统服务器的极限承受能力时，才会执行基于第二预测模型获得系统服务器当前的并发量所需的预测服务资源以及后续步骤。而当系统服务器当前的并发量未超出系统服务器的极限承受能力时，将不会执行基于第二预测模型获得系统服务器当前的并发量所需的预测服务资源以及后续步骤。从而，能够有效地节约系统服务器的处理资源。在此基础上，本发明通过将预测服务资源与系统服务器实际服务资源进行比较。若比较结果表明预测服务资源大于实际服务资源，则对系统服务器当前的服务资源进行扩充；若比较结果表明预测服务器资源小于实际服务资源，则对系统服务器当前的服务器资源进行删减。不仅能够保证所有服务都能够得到有效处理，同时实现了对系统资源的合理分配，避免了系统资源的浪费。
基于同一发明构思，本发明实施例还提供一种动态调整系统资源的装置，应用于系统服务器中，如图2所示，所述装置包括：
建立模块201，用于建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型。
判断模块202，用于基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力。
第一处理模块203，用于若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量。
比较模块204，用于将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果。
第二处理模块205，用于若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
优选的，所述并发量为所述系统服务器每秒钟接收到的事件处理请求的数量。
优选的，所述系统服务器的系统资源包括所述系统服务器的处理器、内存、硬盘和网络带宽中的至少一种。
优选的，所述建立模块，包括：
第一获得单元，用于在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
第一训练单元，用于将所述第一类并发量数据与所述正常工作状态之间的第一对应关系，以及所述第二类并发量数据与所述异常工作状态之间的第二对应关系，作为训练样本，基于卷积神经网络训练方法，训练获得所述第一预测模型。
优选的，所述建立模块，包括：
第二获得单元，用于分别采集每个并发量下所述系统服务器的系统资源数据；
第三获得单元，用于在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
第二训练单元，用于将所述第一类并发量数据与所述正常工作状态之间的第一对应关系、所述第二类并发量数据与所述异常工作状态之间的第二对应关系，以及每个并发量下所述系统服务器的系统资源数据，作为训练样本，基于卷积神经网络训练方法，训练获得所述第二预测模型。
优选的，所述第二处理模块，包括：
调用单元，用于调用容器化平台接口对所述系统服务器的系统资源进行扩充。
优选的，所述系统服务器为微服务系统服务器。
所述动态调整系统资源的装置包括处理器和存储器，上述建立模块、判断模块、第一处理模块、比较模块和第二处理模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来对系统服务器的系统资源进行扩充或删减。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述动态调整系统资源的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述动态调整系统资源的方法。
本发明实施例提供了一种设备，如图3所示，设备30包括至少一个处理器301、以及与处理器301连接的至少一个存储器302、总线303；其中，处理器301、存储器302通过总线303完成相互间的通信；处理器301用于调用存储器302中的程序指令，以执行上述的动态调整系统资源的方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型；
基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力；
若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量；
将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果；
若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
优选的，所述并发量为所述系统服务器每秒钟接收到的事件处理请求的数量。
优选的，所述系统服务器的系统资源包括所述系统服务器的处理器、内存、硬盘和网络带宽中的至少一种。
优选的，所述建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，包括：
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系，以及所述第二类并发量数据与所述异常工作状态之间的第二对应关系，作为训练样本，基于卷积神经网络训练方法，训练获得所述第一预测模型。
优选的，所述建立用于确定所述并发量所需系统资源情况的第二预测模型，包括：
分别采集每个并发量下所述系统服务器的系统资源数据；
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系、所述第二类并发量数据与所述异常工作状态之间的第二对应关系，以及每个并发量下所述系统服务器的系统资源数据，作为训练样本，基于卷积神经网络训练方法，训练获得所述第二预测模型。
优选的，所述对所述系统服务器的系统资源进行扩充，包括：
调用容器化平台接口对所述系统服务器的系统资源进行扩充。
优选的，所述系统服务器为微服务系统服务器。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种动态调整系统资源的方法，其特征在于，应用于系统服务器中，所述方法包括：
建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型；
基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力；
若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量；
将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果；
若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
2.如权利要求1所述的方法，其特征在于，所述并发量为所述系统服务器每秒钟接收到的事件处理请求的数量。
3.如权利要求1所述的方法，其特征在于，所述系统服务器的系统资源包括所述系统服务器的处理器、内存、硬盘和网络带宽中的至少一种。
4.如权利要求1所述的方法，其特征在于，所述建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，包括：
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系，以及所述第二类并发量数据与所述异常工作状态之间的第二对应关系，作为训练样本，基于卷积神经网络训练方法，训练获得所述第一预测模型。
5.如权利要求1所述的方法，其特征在于，所述建立用于确定所述并发量所需系统资源情况的第二预测模型，包括：
分别采集每个并发量下所述系统服务器的系统资源数据；
在所述系统服务器处于正常工作状态下，对所述系统服务器的并发量进行采集，获得第一类并发量数据；以及，在所述系统服务器处于异常工作状态下，对所述系统服务器的并发量进行采集，获得第二类并发量数据；
将所述第一类并发量数据与所述正常工作状态之间的第一对应关系、所述第二类并发量数据与所述异常工作状态之间的第二对应关系，以及每个并发量下所述系统服务器的系统资源数据，作为训练样本，基于卷积神经网络训练方法，训练获得所述第二预测模型。
6.如权利要求1所述的方法，其特征在于，所述对所述系统服务器的系统资源进行扩充，包括：
调用容器化平台接口对所述系统服务器的系统资源进行扩充。
7.如权利要求1所述的方法，其特征在于，所述系统服务器为微服务系统服务器。
8.一种动态调整系统资源的装置，其特征在于，应用于系统服务器中，所述装置包括：
建立模块，用于建立用于确定所述系统服务器对并发量的承受能力的第一预测模型，以及建立用于确定所述并发量所需系统资源情况的第二预测模型；
判断模块，用于基于所述第一预测模型，判断所述系统服务器当前的并发量是否超出所述系统服务器的极限承受能力；
第一处理模块，用于若所述系统服务器当前的并发量超出所述系统服务器的极限承受能力，则基于所述第二预测模型，确定所述系统服务器当前的并发量所需的预测系统资源量；
比较模块，用于将所述预测系统资源量与所述系统服务器当前的实际系统资源量进行比较，获得比较结果；
第二处理模块，用于若所述比较结果表明所述预测系统资源量大于所述实际系统资源量，则对所述系统服务器的系统资源进行扩充；若所述比较结果表明所述预测系统资源量小于所述实际系统资源量，则对所述系统服务器的系统资源进行删减。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一权利要求所述的方法步骤。
10.一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-7中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910890743.3A CN112540842A (zh) | 2019-09-20 | 2019-09-20 | 动态调整系统资源的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910890743.3A CN112540842A (zh) | 2019-09-20 | 2019-09-20 | 动态调整系统资源的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112540842A true CN112540842A (zh) | 2021-03-23 |
Family
ID=75012297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910890743.3A Pending CN112540842A (zh) | 2019-09-20 | 2019-09-20 | 动态调整系统资源的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112540842A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824590A (zh) * | 2021-09-18 | 2021-12-21 | 武汉联影医疗科技有限公司 | 微服务网络的问题预测方法、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104283946A (zh) * | 2014-09-26 | 2015-01-14 | 东北大学 | 一种单物理机下多虚拟机的资源自适应调整系统及方法 |
| WO2017094267A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 |
| CN108563548A (zh) * | 2018-03-19 | 2018-09-21 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
| CN109446041A (zh) * | 2018-09-25 | 2019-03-08 | 平安普惠企业管理有限公司 | 一种服务器压力预警方法、系统及终端设备 |
| CN109918194A (zh) * | 2019-01-16 | 2019-06-21 | 深圳壹账通智能科技有限公司 | 智能化扩容缩容方法、装置、计算机设备及存储介质 |
-
2019
- 2019-09-20 CN CN201910890743.3A patent/CN112540842A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104283946A (zh) * | 2014-09-26 | 2015-01-14 | 东北大学 | 一种单物理机下多虚拟机的资源自适应调整系统及方法 |
| WO2017094267A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 |
| CN108563548A (zh) * | 2018-03-19 | 2018-09-21 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
| CN109446041A (zh) * | 2018-09-25 | 2019-03-08 | 平安普惠企业管理有限公司 | 一种服务器压力预警方法、系统及终端设备 |
| CN109918194A (zh) * | 2019-01-16 | 2019-06-21 | 深圳壹账通智能科技有限公司 | 智能化扩容缩容方法、装置、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824590A (zh) * | 2021-09-18 | 2021-12-21 | 武汉联影医疗科技有限公司 | 微服务网络的问题预测方法、计算机设备和存储介质 |
| CN113824590B (zh) * | 2021-09-18 | 2024-04-26 | 武汉联影医疗科技有限公司 | 微服务网络的问题预测方法、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112346829B (zh) | 一种用于任务调度的方法及设备 | |
| CN112256417B (zh) | 一种数据请求处理方法、装置及计算机可读存储介质 | |
| US20220138012A1 (en) | Computing Resource Scheduling Method, Scheduler, Internet of Things System, and Computer Readable Medium | |
| CN110557291A (zh) | 一种网络服务监控系统 | |
| CN105975493A (zh) | 一种文件合并方法及装置 | |
| CN110716813A (zh) | 数据流处理方法、装置、可读存储介质及处理器 | |
| CN114490078A (zh) | 一种微服务的动态缩扩容方法、装置及设备 | |
| CN110737717A (zh) | 一种数据库迁移方法及装置 | |
| CN106775975B (zh) | 进程调度方法及装置 | |
| CN112650449B (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
| CN112540842A (zh) | 动态调整系统资源的方法及装置 | |
| CN116627356B (zh) | 一种大容量存储数据的分布控制方法及系统 | |
| CN112559565A (zh) | 一种异常检测方法、系统及装置 | |
| CN116881003A (zh) | 资源分配方法、装置、服务设备及存储介质 | |
| CN116594734A (zh) | 容器迁移方法、装置、存储介质及电子设备 | |
| CN110764930A (zh) | 基于消息模式的请求或应答处理方法及装置 | |
| CN114860449A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN114253688A (zh) | 在云环境下应用负载重调度的方法及应用 | |
| CN114020218A (zh) | 混合重复数据删除调度方法及系统 | |
| CN113900856A (zh) | 一种数据处理方法及相关设备 | |
| CN114625410A (zh) | 一种请求消息处理方法、装置及设备 | |
| CN112583862A (zh) | 数据并发的处理方法、装置、存储介质及设备 | |
| CN116107761B (zh) | 性能调优方法、系统、电子设备及可读存储介质 | |
| CN113741810B (zh) | 一种数据迁移方法及装置 | |
| CN116431327B (zh) | 一种任务限流处理方法及堡垒机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |