CN114844843A - 应用实例数量的调整方法及装置 - Google Patents
应用实例数量的调整方法及装置 Download PDFInfo
- Publication number
- CN114844843A CN114844843A CN202210303688.5A CN202210303688A CN114844843A CN 114844843 A CN114844843 A CN 114844843A CN 202210303688 A CN202210303688 A CN 202210303688A CN 114844843 A CN114844843 A CN 114844843A
- Authority
- CN
- China
- Prior art keywords
- application
- application instances
- state information
- average
- instances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 38
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 8
- 230000008602 contraction Effects 0.000 abstract 2
- 238000004590 computer program Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
- H04L47/263—Rate modification at the source after receiving feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及通信领域，提供一种应用实例数量的调整方法及装置，方法包括：获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求；基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；将应用实例的初始数量调整至目标数量。由于调整过程中综合考虑到了入口网关处的请求到达状况、应用实例的运行状态以及用户的时延需求，可以通过应用实例数量的自动伸缩提高资源利用率，还可以满足用户的服务响应时延要求，有效解决了现有的无服务平台中自动伸缩机制无法满足用户的服务响应时延要求，且存在服务器集群的资源利用率低的问题。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种应用实例数量的调整方法及装置。
背景技术
无服务(Serverless)是一种新型的云计算架构，可以使用户无需关注底层服务器的管理和维护，且支持简单快捷的应用部署方式和弹性伸缩机制。
然而，在无服务平台中，现有的自动伸缩机制无法满足用户的服务响应时延要求，且存在服务器集群的资源利用率低的问题。
发明内容
本发明提供一种应用实例数量的调整方法及装置，用以解决现有技术中自动伸缩机制无法满足用户的服务响应时延要求，且存在服务器集群的资源利用率低的缺陷。
第一方面，本发明提供一种应用实例数量的调整方法，该方法包括：
获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量；
将所述应用实例的初始数量调整至所述目标数量。
根据本发明提供的应用实例数量的调整方法，基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量，包括：
基于所述入口网关处的请求到达信息和所述应用实例的运行状态信息，确定第一阈值；
将所述应用实例的初始数量与所述第一阈值进行比较，得到第一比较结果；
基于所述应用实例的运行状态信息和所述服务响应时延要求，确定第二阈值；
将所述应用实例的运行状态信息中平均队列长度与所述第二阈值进行比较，得到第二比较结果；
基于所述第一比较结果和所述第二比较结果，确定所述应用实例的目标数量。
根据本发明提供的应用实例数量的调整方法，所述入口网关处的请求到达信息包括平均请求到达速率。
根据本发明提供的应用实例数量的调整方法，基于所述入口网关处的请求到达信息和所述应用实例的运行状态信息，确定第一阈值，包括：
将所述平均请求到达速率与所述运行状态信息中平均单个应用实例的处理能力相除，得到第一阈值。
根据本发明提供的应用实例数量的调整方法，基于所述应用实例的运行状态信息和所述服务响应时延要求，确定第二阈值，包括：
将所述服务响应时延要求与所述应用实例的运行状态信息中平均单个请求完成时长做差，得到时长差值；
将所述运行状态信息中平均单个应用实例的处理能力与所述时长差值相乘，得到第二阈值。
根据本发明提供的应用实例数量的调整方法，基于所述第一比较结果和所述第二比较结果，确定所述应用实例的目标数量，包括：
若所述应用实例的初始数量小于所述第一阈值，或者所述应用实例的初始数量等于所述第一阈值且所述应用实例的运行状态信息中平均队列长度大于所述第二阈值，则通过预设的第一函数关系确定所述应用实例的目标数量；
若所述应用实例的初始数量等于所述第一阈值，且所述应用实例的运行状态信息中平均队列长度小于或等于所述第二阈值，则将所述应用实例的初始数量作为所述应用实例的目标数量；
若所述应用实例的初始数量大于所述第一阈值，则通过预设的第二函数关系确定所述应用实例的目标数数量。
根据本发明提供的应用实例数量的调整方法，所述第一函数关系为：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，Pcu为应用实例的初始数量，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
根据本发明提供的应用实例数量的调整方法，所述第二函数关系为：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
根据本发明提供的应用实例数量的调整方法，获取应用实例的运行状态信息，包括：
分别获取与所述入口网关对应的各个应用实例的状态参数；
将所述各个应用实例的状态参数求平均值，得到所述应用实例的运行状态信息。
第二方面，本发明还提供一种应用实例数量的调整装置，该装置包括：
获取模块，用于获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
处理模块，用于基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量；
调整模块，用于将所述应用实例的初始数量调整至所述目标数量。
本发明提供的应用实例数量的调整方法及装置，通过基于获得的入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量，进而将应用实例的初始数量调整至目标数量，以实现应用实例数量的动态调整，由于调整过程中综合考虑到了入口网关处的请求到达状况、应用实例的运行状态以及用户的时延需求，因此可以通过应用实例数量的自动伸缩提高资源利用率，同时还可以满足用户的服务响应时延要求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的应用实例数量的调整方法的流程示意图；
图2是入口网关、应用实例与应用实例自动伸缩控制器之间的信息传输原理示意图；
图3是本发明提供的应用实例数量的调整装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图4描述本发明实施例提供的应用实例数量的调整方法、应用实例数量的调整装置以及基于上述应用实例数量的调整方法搭建的电子设备。
图1示出了本发明实施例提供的应用实例数量的调整方法，该方法可以应用于应用实例自动伸缩控制器，包括：
步骤101：获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
步骤102：基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；
步骤103：将应用实例的初始数量调整至目标数量。
在示例性实施例中，基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量，包括：
首先，基于入口网关处的请求到达信息和应用实例的运行状态信息，确定第一阈值；
然后，将应用实例的初始数量与第一阈值进行比较，得到第一比较结果；
之后，基于应用实例的运行状态信息和服务响应时延要求，确定第二阈值；
接着，将应用实例的运行状态信息中平均队列长度与第二阈值进行比较，得到第二比较结果；
最后，基于第一比较结果和第二比较结果，确定应用实例的目标数量。
在无服务架构中，所有的服务请求均会先到达入口网关，再由入口网关分发到各个应用实例进行处理。具体地，本实施例中入口网关处的请求到达信息可以包括平均请求到达速率，该参量可以在入口网关处测量得到，其具体计算公式如下：
V＝N/60 (1)
其中，V为平均请求到达速率，N为一分钟内入口网关收到的请求个数。
在实际应用过程中，也可以自定义每次获取请求的时长，比如也可以是两分钟，即上述公式中的分母为120，此时，N为两分钟内入口网关收到的请求个数，具体可以根据实际情况合理设定。
在示例性实施例中，获取应用实例的运行状态信息的过程，具体可以包括：
分别获取与入口网关对应的各个应用实例的状态参数；
将各个应用实例的状态参数求平均值，得到应用实例的运行状态信息。
参见附图2，每个入口网关201可以对应多个应用实例，比如图2中入口网关201对应N个应用实例，图2中实线箭头表示服务请求信息流，虚线箭头表示运行状态信息流，分别获取每个应用实例的状态参数，该状态参数包括单个请求完成时长、并发数、队列长度以及单个应用实例的处理能力。
其中，应用实例收到入口网关转发的请求后会对请求进行相应处理，本实施例可以测量出每一个请求的处理完成时间(即请求完成时长)，将100个请求的处理完成时长求平均值即可得到单个请求完成时长Tr，本实施例中Tr的单位为秒)，计算公式为：
其中，ti为第i个请求的处理完成时长。
当然，在实际应用过程中求平均值时也可以根据实际需求设定集中处理的请求个数，本实施例中取了100个，实际应用过程中，也可以取50个或者200个，具体可以根据实际需求合理设定。
在实际应用过程中，一个应用实例往往可以同时处理多个请求，并发数为一个应用实例同时处理请求的数目，即一个应用实例中能够同时处理请求的并发进程数或者并发线程数目，用Nc表示，本实施例中Nc的单位为个，可以通过读取应用配置文件或者应用进程数或线程数得到。
应用实例中具有缓冲队列，用来存储当前待处理的请求，待处理请求个数即为队列长度，用Lq表示，本实施例中Lq的单位为个，可以通过读取缓冲队列属性得到。
本实施例根据单个请求完成时间Tr和并发数Nc来估算单个应用实例的处理能力Cp，本实施例中Cp的单位为个/秒，计算公式为：
Cp＝Nc/Tr (3)
其中，Cp为单个应用实例的处理能力，Nc为并发数，为Tr单个请求完成时间。
参见附图2，应用实例自动伸缩控制器202可以从各个应用实例处收集状态参数，即单个请求完成时长Tr、队列长度Lq和单个应用实例的处理能力Cp，并能够计算出平均单个请求完成时长
平均队列长度
和平均单个应用实例的处理能力
计算公式分别为：
其中，
为平均单个请求完成时长，
为应用实例i测量计算得到的单个请求完成时长，Pcu为当前应用实例个数，即应用实例的初始数量。
其中，
为平均队列长度，
为应用实例i测量得到的队列长度，Pcu为当前应用实例个数，即应用实例的初始数量。
其中，
为平均单个应用实例的处理能力，
为应用实例i测量计算得到的单个应用实例的处理能力，Pcu为当前应用实例个数，即应用实例的初始数量。
在示例性实施例中，基于入口网关处的请求到达信息和应用实例的运行状态信息，确定第一阈值，具体可以包括：
将平均请求到达速率V与运行状态信息中平均单个应用实例的处理能力
相除，得到第一阈值，即
在示例性实施例中，基于应用实例的运行状态信息和服务响应时延要求，确定第二阈值，具体可以包括：
将服务响应时延要求TSLO与应用实例的运行状态信息中平均单个请求完成时长
做差，得到时长差值；
将运行状态信息中平均单个应用实例的处理能力
与时长差值相乘，得到第二阈值，即
在示例性实施例中，基于第一比较结果和第二比较结果，确定应用实例的目标数量，具体可以包括：
若应用实例的初始数量小于第一阈值，或者应用实例的初始数量等于第一阈值且应用实例的运行状态信息中平均队列长度大于第二阈值，即
或者
且
需要增加应用实例个数，则通过预设的第一函数关系确定应用实例的目标数量；
若应用实例的初始数量等于第一阈值且应用实例的运行状态信息中平均队列长度小于或等于第二阈值，即
且
不需要调整当前应用实例数量，则将应用实例的初始数量作为应用实例的目标数量；
若应用实例的初始数量大于第一阈值，即
需要减少应用实例个数，则通过预设的第二函数关系确定应用实例的目标数数量。
应用实例自动伸缩控制器202从入口网关获取平均请求到达速率V，并根据平均请求到达速率V、平均单个应用实例的处理能力
应用实例的初始数量Pcu、平均队列长度
平均单个请求完成时长
和用户服务响应时延要求TSLO，周期性地计算并调整应用实例个数，以满足用户对服务响应时延的要求。
本实施例中应用实例个数计算与调整的周期为td，可以根据实际情况修改td。调整后的应用实例个数，即应用实例的目标数量记为Pnew，该目标数量可以通过下述第一函数关系和第二函数关系确定。
具体地，第一函数关系可以如下：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，Pcu为应用实例的初始数量，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
具体地，第二函数关系可以如下：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
考虑到无服务平台现有的自动伸缩机制存在弹性伸缩机制的参数种类和阈值设置方式不够智能等问题，无法完全满足用户服务响应时延要求，且资源利用率较低，本发明实施例通过上述应用实例数量的调整方法构建得到在无服务场景下应用实例个数自动伸缩机制，以满足用户的服务响应时延要求并提高服务器集群的资源利用率。
为了验证上述应用实例数量的调整方法的可行性，本实施例在Knative开源平台中部署了上述方案并与Knative平台原有的自动伸缩机制进行了对比实验，实验结果表明应用本实施例提供的应用实例数量的调整方法后，Knative平台的请求平均响应时延有效降低，集群平均资源利用率得到显著提升，据此，可以说明本实施例提供的上述应用实例数量的调整方法不仅可以满足用户的服务响应时延要求，而且提高了服务器集群的资源利用率，达到了预期效果。
下面对本发明提供的应用实例数量的调整装置进行描述，下文描述的应用实例数量的调整装置与上文描述的应用实例数量的调整方法可相互对应参照。
图3示出了本发明实施例提供的应用实例数量的调整装置，该装置包括：
获取模块301，用于获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
处理模块302，用于基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；
调整模块303，用于将应用实例的初始数量调整至目标数量。
在示例性实施例中，上述处理模块302具体可以包括：
第一阈值确定单元，用于基于入口网关处的请求到达信息和应用实例的运行状态信息，确定第一阈值；
第一比较单元，用于将应用实例的初始数量与第一阈值进行比较，得到第一比较结果；
第二阈值确定单元，用于基于应用实例的运行状态信息和服务响应时延要求，确定第二阈值；
第二比较单元，用于将应用实例的运行状态信息中平均队列长度与第二阈值进行比较，得到第二比较结果；
目标数量确定单元，用于基于第一比较结果和第二比较结果，确定应用实例的目标数量。
在示例性实施例中，上述入口网关处的请求到达信息具体可以包括平均请求到达速率。
在示例性实施例中，上述第一阈值确定单元具体可以用于：
将平均请求到达速率与运行状态信息中平均单个应用实例的处理能力相除，得到第一阈值。
在示例性实施例中，上述第二阈值确定单元具体可以用于：
将服务响应时延要求与应用实例的运行状态信息中平均单个请求完成时长做差，得到时长差值；
将运行状态信息中平均单个应用实例的处理能力与时长差值相乘，得到第二阈值。
在示例性实施例中，上述目标数量确定单元具体可以用于：
若应用实例的初始数量小于第一阈值，或者应用实例的初始数量等于第一阈值且应用实例的运行状态信息中平均队列长度大于第二阈值，则通过预设的第一函数关系确定应用实例的目标数量；
若应用实例的初始数量等于第一阈值，且应用实例的运行状态信息中平均队列长度小于或等于第二阈值，则将应用实例的初始数量作为应用实例的目标数量；
若应用实例的初始数量大于第一阈值，则通过预设的第二函数关系确定应用实例的目标数数量。
在示例性实施例中，获取模块301具体可以通过如下方式实现获取应用实例的运行状态信息的功能，包括：
分别获取与入口网关对应的各个应用实例的状态参数；
将各个应用实例的状态参数求平均值，得到应用实例的运行状态信息。
具体地，本实施例中应用实例的状态参数具体可以包括单个请求完成时长、并发数和队列长度，同时还涉及单个应用实例的处理能力，单个应用实例的处理能力可以通过单个请求完成时间和并发数估算得到。
对应地，应用实例的运行状态信息具体可以包括平均单个应用实例的处理能力、平均队列长度以及平均单个请求完成时长。
由此可见，本发明实施例提供的应用实例数量的调整装置，能够通过入口网关处测量得到的平均请求到达速率以及在应用实例处测量得到的单个请求完成时长、并发数和队列长度，并根据单个请求完成时间和并发数估算单个应用实例的处理能力，进而根据平均请求到达速率、平均单个应用实例的处理能力、平均队列长度和用户服务响应时延要求等运行状态自动调整应用实例数量，以满足用户对服务响应时延的要求，同时可以提高服务器集群的资源利用率。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行应用实例数量的调整方法，该方法包括：获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；将应用实例的初始数量调整至目标数量。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的应用实例数量的调整方法，该方法包括：获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；将应用实例的初始数量调整至目标数量。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述各实施例提供的应用实例数量的调整方法，该方法包括：获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；基于入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定应用实例的目标数量；将应用实例的初始数量调整至目标数量。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种应用实例数量的调整方法，其特征在于，包括：
获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量；
将所述应用实例的初始数量调整至所述目标数量。
2.根据权利要求1所述的应用实例数量的调整方法，其特征在于，基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量，包括：
基于所述入口网关处的请求到达信息和所述应用实例的运行状态信息，确定第一阈值；
将所述应用实例的初始数量与所述第一阈值进行比较，得到第一比较结果；
基于所述应用实例的运行状态信息和所述服务响应时延要求，确定第二阈值；
将所述应用实例的运行状态信息中平均队列长度与所述第二阈值进行比较，得到第二比较结果；
基于所述第一比较结果和所述第二比较结果，确定所述应用实例的目标数量。
3.根据权利要求2所述的应用实例数量的调整方法，其特征在于，所述入口网关处的请求到达信息包括平均请求到达速率。
4.根据权利要求3所述的应用实例数量的调整方法，其特征在于，基于所述入口网关处的请求到达信息和所述应用实例的运行状态信息，确定第一阈值，包括：
将所述平均请求到达速率与所述运行状态信息中平均单个应用实例的处理能力相除，得到第一阈值。
5.根据权利要求2所述的应用实例数量的调整方法，其特征在于，基于所述应用实例的运行状态信息和所述服务响应时延要求，确定第二阈值，包括：
将所述服务响应时延要求与所述应用实例的运行状态信息中平均单个请求完成时长做差，得到时长差值；
将所述运行状态信息中平均单个应用实例的处理能力与所述时长差值相乘，得到第二阈值。
6.根据权利要求2所述的应用实例数量的调整方法，其特征在于，基于所述第一比较结果和所述第二比较结果，确定所述应用实例的目标数量，包括：
若所述应用实例的初始数量小于所述第一阈值，或者所述应用实例的初始数量等于所述第一阈值且所述应用实例的运行状态信息中平均队列长度大于所述第二阈值，则通过预设的第一函数关系确定所述应用实例的目标数量；
若所述应用实例的初始数量等于所述第一阈值，且所述应用实例的运行状态信息中平均队列长度小于或等于所述第二阈值，则将所述应用实例的初始数量作为所述应用实例的目标数量；
若所述应用实例的初始数量大于所述第一阈值，则通过预设的第二函数关系确定所述应用实例的目标数数量。
7.根据权利要求6所述的应用实例数量的调整方法，其特征在于，所述第一函数关系为：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，Pcu为应用实例的初始数量，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
8.根据权利要求6所述的应用实例数量的调整方法，其特征在于，所述第二函数关系为：
其中，Pnew为应用实例的目标数量，V为平均请求到达速率，td为调整周期，
为平均队列长度，
为平均单个应用实例的处理能力，TSLO为服务响应时延要求，
为平均单个请求完成时长。
9.根据权利要求1至8任一项所述的应用实例数量的调整方法，其特征在于，获取应用实例的运行状态信息，包括：
分别获取与所述入口网关对应的各个应用实例的状态参数；
将所述各个应用实例的状态参数求平均值，得到所述应用实例的运行状态信息。
10.一种应用实例数量的调整装置，其特征在于，包括：
获取模块，用于获取入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息以及服务响应时延要求；
处理模块，用于基于所述入口网关处的请求到达信息、应用实例的初始数量、应用实例的运行状态信息和服务响应时延要求，确定所述应用实例的目标数量；
调整模块，用于将所述应用实例的初始数量调整至所述目标数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303688.5A CN114844843A (zh) | 2022-03-24 | 2022-03-24 | 应用实例数量的调整方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303688.5A CN114844843A (zh) | 2022-03-24 | 2022-03-24 | 应用实例数量的调整方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114844843A true CN114844843A (zh) | 2022-08-02 |
Family
ID=82562012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210303688.5A Pending CN114844843A (zh) | 2022-03-24 | 2022-03-24 | 应用实例数量的调整方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114844843A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990138A (zh) * | 2019-12-04 | 2020-04-10 | 北京三快在线科技有限公司 | 资源调度方法、装置、服务器及存储介质 |
| CN111338750A (zh) * | 2020-02-12 | 2020-06-26 | 北京三快在线科技有限公司 | 执行节点的压力调节方法、装置、服务器及存储介质 |
| CN111651170A (zh) * | 2020-05-29 | 2020-09-11 | 平安医疗健康管理股份有限公司 | 一种实例动态调整方法、装置及相关设备 |
| CN111797314A (zh) * | 2020-06-28 | 2020-10-20 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备和存储介质 |
| CN111861412A (zh) * | 2020-07-27 | 2020-10-30 | 上海交通大学 | 面向完成时间优化的科学工作流调度方法及系统 |
| CN112565391A (zh) * | 2020-12-01 | 2021-03-26 | 瀚云科技有限公司 | 调整工业互联网平台中实例的方法、装置、设备和介质 |
| US20210160162A1 (en) * | 2019-11-27 | 2021-05-27 | Here Global B.V. | Method and apparatus for estimating cloud utilization and recommending instance type |
| US20210211361A1 (en) * | 2020-06-30 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Management of artificial intelligence development platform |
| CN113296880A (zh) * | 2020-10-30 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 基于容器的应用管理方法和装置 |
| CN113687952A (zh) * | 2021-09-01 | 2021-11-23 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法、装置、设备及存储介质 |
| CN113962806A (zh) * | 2021-09-27 | 2022-01-21 | 中国工商银行股份有限公司 | 金融产品的回测方法及其回测装置、电子设备 |
-
2022
- 2022-03-24 CN CN202210303688.5A patent/CN114844843A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210160162A1 (en) * | 2019-11-27 | 2021-05-27 | Here Global B.V. | Method and apparatus for estimating cloud utilization and recommending instance type |
| CN110990138A (zh) * | 2019-12-04 | 2020-04-10 | 北京三快在线科技有限公司 | 资源调度方法、装置、服务器及存储介质 |
| CN111338750A (zh) * | 2020-02-12 | 2020-06-26 | 北京三快在线科技有限公司 | 执行节点的压力调节方法、装置、服务器及存储介质 |
| CN111651170A (zh) * | 2020-05-29 | 2020-09-11 | 平安医疗健康管理股份有限公司 | 一种实例动态调整方法、装置及相关设备 |
| CN111797314A (zh) * | 2020-06-28 | 2020-10-20 | 百度在线网络技术（北京）有限公司 | 数据处理方法、装置、设备和存储介质 |
| US20210211361A1 (en) * | 2020-06-30 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Management of artificial intelligence development platform |
| CN111861412A (zh) * | 2020-07-27 | 2020-10-30 | 上海交通大学 | 面向完成时间优化的科学工作流调度方法及系统 |
| CN113296880A (zh) * | 2020-10-30 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 基于容器的应用管理方法和装置 |
| CN112565391A (zh) * | 2020-12-01 | 2021-03-26 | 瀚云科技有限公司 | 调整工业互联网平台中实例的方法、装置、设备和介质 |
| CN113687952A (zh) * | 2021-09-01 | 2021-11-23 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法、装置、设备及存储介质 |
| CN113962806A (zh) * | 2021-09-27 | 2022-01-21 | 中国工商银行股份有限公司 | 金融产品的回测方法及其回测装置、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| LUCIA SCHULER等: "AI-based Resource Allocation: Reinforcement Learning for Adaptive Auto-scaling in Serverless Environments", 2021 IEEE/ACM 21ST INTERNATIONAL SYMPOSIUM ON CLUSTER, CLOUD AND INTERNET COMPUTING (CCGRID), pages 804 - 811 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110049130B (zh) | 一种基于边缘计算的服务部署和任务调度方法及装置 | |
| CN106933650B (zh) | 云应用系统的负载管理方法及系统 | |
| CN105656810B (zh) | 一种更新应用程序的方法及装置 | |
| CN106464733A (zh) | 一种调整云计算中虚拟资源的方法及装置 | |
| CN114490078A (zh) | 一种微服务的动态缩扩容方法、装置及设备 | |
| CN108664321B (zh) | 系统资源分配调整方法及装置 | |
| EP3787231B1 (en) | Server configuration method and apparatus | |
| CN109614228B (zh) | 基于动态负载均衡方式的综合监控前置系统及工作方法 | |
| CN109756372B (zh) | 一种电信计费系统的弹性伸缩方法及装置 | |
| CN111338575A (zh) | 一种存储服务质量控制方法、装置、设备及存储介质 | |
| CN109104480B (zh) | 一种网络请求的处理方法及装置 | |
| CN110780986A (zh) | 一种基于移动边缘计算的物联网任务调度方法及系统 | |
| CN114095444B (zh) | 限流方法、装置及电子设备 | |
| CN116382892B (zh) | 一种基于多云融合以及云服务的负载均衡方法及装置 | |
| CN114844843A (zh) | 应用实例数量的调整方法及装置 | |
| CN111278039B (zh) | 用户感知压抑识别方法、装置、设备及介质 | |
| CN111190728B (zh) | 资源调整方法及装置 | |
| CN114513423B (zh) | 一种带宽调节方法、装置、设备及存储介质 | |
| CN104768022A (zh) | 一种视频转码系统的资源调度方法及装置 | |
| CN114866563A (zh) | 扩容方法、装置、系统和存储介质 | |
| CN110838989A (zh) | 一种用于基于令牌进行网络限流的方法和装置 | |
| CN114650297A (zh) | 一种多微服务调用环境下自适应自动缩放方法及系统 | |
| CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 | |
| CN114911667A (zh) | 监控数据采集方法、系统和存储介质 | |
| CN110868304B (zh) | 一种pcc策略下发方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |