CN111831447B - 一种基于性能监控的应用弹性扩容方法及装置 - Google Patents
一种基于性能监控的应用弹性扩容方法及装置 Download PDFInfo
- Publication number
- CN111831447B CN111831447B CN202010686053.9A CN202010686053A CN111831447B CN 111831447 B CN111831447 B CN 111831447B CN 202010686053 A CN202010686053 A CN 202010686053A CN 111831447 B CN111831447 B CN 111831447B
- Authority
- CN
- China
- Prior art keywords
- application
- performance data
- mirror image
- performance
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 21
- 239000000523 sample Substances 0.000 claims description 7
- 238000013515 script Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 abstract description 11
- 230000004044 response Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 14
- 230000008602 contraction Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 206010033799 Paralysis Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于性能监控的应用弹性扩容方法及装置,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,该方法包括:针对目标集群中的每一个应用节点,每间隔预设时长获取对应的性能数据中,当性能数据集中的各个性能数据超过所述第一性能阈值时,获取目标镜像模板,基于所述目标镜像模板对所述待扩容应用进行扩容,每间隔预设的时长聚会对是否扩容进行判断,实时对是否扩容进行预测。避免了提前预估流量和资源,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成的扩容不准确和响应缓慢的问题。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种基于性能监控的应用弹性扩容方法及装置。
背景技术
随着互联网技术的发展,各种互联网平台层出不穷,互联网平台在大促场景(尤其秒杀场景)或高峰期时期等,平台会出现访问量剧增而且是瞬间的流量陡增情况,平台极容易出现响应慢或瘫痪现象,导致旅客无法正常使用现象。
为了保证互联网平台在访问量剧增时还可以正常运行,需要对互联网平台中的应用进行扩容,现有的扩容过程需要提前预估流量和资源,基于预估结果在预设时间点或者预设条件下进行扩容,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成的扩容不准确和响应缓慢的问题。
发明内容
有鉴于此,本发明提供了一种基于性能监控的应用弹性扩容方法及装置,用以解决现有的扩容过程需要提前预估流量和资源,基于预估结果在预设时间点或者预设条件下进行扩容,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成的扩容不准确和响应缓慢的问题。具体方案如下:
一种基于性能监控的应用弹性扩容方法,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法包括:
获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;
判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;
若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;
基于所述目标镜像模板对所述待扩容应用进行扩容。
与现有技术相比,本发明包括以下优点:
本发明公开了一种基于性能监控的应用弹性扩容方法,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法包括:获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;基于所述目标镜像模板对所述待扩容应用进行扩容。上述的扩容过程中,针对目标集群中的每一个应用节点,每间隔预设时长获取对应的性能数据中,当性能数据集中的各个性能数据超过所述第一性能阈值时,获取目标镜像模板,基于所述目标镜像模板对所述待扩容应用进行扩容,每间隔预设的时长聚会对是否扩容进行判断,实时对是否扩容进行预测,保障了扩容预测的准确性,避免了提前预估流量和资源,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成资源浪费的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种基于性能监控的应用弹性扩容方法流程图;
图2为本申请公开的一种基于性能监控的应用弹性扩容系统示意图;
图3为本申请实施例公开的一种基于性能监控的应用弹性扩容装置结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本发明公开了一种基于性能监控的应用弹性扩容方法及装置,应用在对应用进行扩容过程中,随着互联网技术的发展,各种互联网平台层出不穷,互联网平台在大促场景(尤其秒杀场景)或高峰期时期等,平台会出现访问量剧增而且是瞬间的流量陡增情况,平台极容易出现响应慢或瘫痪现象,导致旅客无法正常使用现象。
以航空公司为例,航空公司也在不断扩大自己旅客接触面,建设自己的电子客票网站系统,并且也在不断宣传和吸引更多的旅客来自己的系统上进行购买消费。随着航空公司的不断营销,航空公司电子客票网站系统也面临着运营压力。航空公司频繁搞大促(会员日、周年庆、双11等)以及网络爬虫不停向网站爬数据行为,给系统性能带来很大的挑战。网站在大促场景(尤其秒杀场景)或高峰期时期,系统会出现访问量剧增而且是瞬间的流量陡增情况,系统极容易出现响应慢或瘫痪现象,导致旅客无法正常使用现象,给旅客一个极不好体验,同时给航司的带来不少的经济和形象上的损失。
目前航空公司在大促之前,一般都会提前去扩容,但是扩多少资源属于合适,扩多浪费,扩少又容易出现系统性能问题。尤其互联网社交如此发达的时代,航空公司的营销手段和方式丰富,流量评估很难精准,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,扩容不准确和响应缓慢的问题,为了解决上述问题,本发明提供了一种基于性能监控的应用弹性扩容方法,所述扩容方法中预先为系统中的各个应用制作镜像模板,制作镜像模板的过程如下:针对每一个应用节点,将与其对应的当前应用剥离出所述目标集群,并将应用日志等不必要的数据进行备份清理出去,保证应用镜像需要的最小环境,剥离出所述目标集群的目的是为了在镜像模板制作过程中,避免对当前应用调用,导致执行过程出错。针对每一个应用,将其对应的操作系统、中间件、探针和其本身依据预设的模板制作镜像模板。在制作镜像模板的过程中,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法的执行流程如图1所示,包括步骤:
S101、获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;
本发明实施例中,优选的,在扩容之前对当前网络平台或者系统中包含的各个应用进行部署,将所述各个应用部署在OpenStack平台分配的虚拟机上。针对每一个应用,实际系统生产运营下,每个应用都是多个节点(服务器)部署,保持当前系统是高可用,不会因为一台不公正或异常,导致系统瘫痪。针对同一个应用的各个应用节点,执行该应用所属功能,将各个应用节点加入到目标集群中,由负载均衡来分配请求流量到所述各个应用节点,负载均衡会根据对应的算法进行负载,具体的负载均衡过程如下;外部请求到达目标集群的负载均衡服务器上(比如apache、nginx等),服务器会根据负载均衡算法(比如轮询算法、权重算法等)将该请求,转发所述目标集群中的某台节点(服务器)进行处理请求。
负载均衡结束后,针对每一个应用节点,每间隔预设时长基于Promettheus系统获取当前应用节点的性能数据集,所述性能数据集中包括:CPU使用率、内存使用率和带宽使用率等,其中,所述Promettheus系统是一个开源监控系统,该系统可以用于采集服务器上的性能数据,当然基于具体的情况也可以采用其它的方法获取所述当前应用节点性能数据集,本发明实施例中对具体的获取方法不进行限定。所述预设时长可以依据经验或者具体情况进行设定。
进一步的,优选的,为集群监控功能设置集群监控指令,针对每一个应用节点在获取其对应的性能数据集之前,判断当前是否触发集群监控指令,若是,说明集群监控功能开启,每间隔预设时长基于Promettheus系统获取当前应用节点的性能数据集,反之,结束当前操作。
S102、判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;
本发明实施例中,针对每一个性能数据都会对应一个第一预设性能阈值,所述第一预设性能阈值作为是否需要进行扩容的一个临界值,所述第一预设性能阈值的选取可以依据经验或者具体情况进行设定,本发明实施例中,对第一预设性能阈值的具体取值不进行限定。
遍历每一个性能数据集,将其中的每一个性能数据与其对应的第一预设性能阈值进行比较,判断其中的每一个性能数据是否大于与其对应的第一预设性能阈值,由于性能数据集中包括至少一个性能数据,因此,比较结果可能有多个,针对多个比较结果,具体是全部比较结果均大于或者小于对应的第一预设性能阈值还是其中的部分大于对应的第一预设性能阈值,可以依据具体情况或者经验进行确定,本发明实施例中,不进行限定。
S103、获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;
本发明实施例中,当全部比较结果或者部分比较结果大于其对应第一预设性能阈值时,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板,获取与所述待扩容应用对应的目标镜像模板的过程如下:预先为应用和应用对应的镜像模板通过标识建立关联关系,将大于对应的第一预设性能阈值的应用作为待扩容应用,获取所述待扩容应用的标识,依据所述标识确定与所述待扩容应用对应的目标镜像模板。
S104、基于所述目标镜像模板对所述待扩容应用进行扩容。
本发明实施例中,基于所述目标镜像模板,OpenStack平台新生成一个虚机应用节点,并且虚机启动时候同时会执行应用启动脚本,将应用启动起来。将扩容的虚机应用节点纳入到所述目标集群中。
本发明公开了一种基于性能监控的应用弹性扩容方法,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法包括:获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;基于所述目标镜像模板对所述待扩容应用进行扩容。上述的扩容过程中,针对目标集群中的每一个应用节点,每间隔预设时长获取对应的性能数据中,当性能数据集中的各个性能数据超过所述第一性能阈值时,获取目标镜像模板,基于所述目标镜像模板对所述待扩容应用进行扩容,每间隔预设的时长聚会对是否扩容进行判断,实时对是否扩容进行预测,保障了扩容预测的准确性,避免了提前预估流量和资源,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成的扩容不准确和响应缓慢的问题。
本发明实施例中,针对上述的扩容过程还包括:当全部比较结果或者部分比较结果小于其对应第一预设性能阈值时,继续判断每一个性能数据集中的各个性能数据是否超过对应的第二性能阈值,其中,所述第二性能阈值为是否需要进行缩容的一个临界值,所述第二预设性能阈值的选取可以依据经验或者具体情况进行设定,本发明实施例中,对第二预设性能阈值的具体取值不进行限定。若否,获取所述第二性能阈值的待缩容应用的目标应用节点,删除所述目标应用节点。反之,若是,依据具体情况对超过第二性能阈值的数据进行处理。
进一步的针对所述第一预设性能阈值与所述第二性能阈值两者的取值可以相同也可以不同,具体的取值原则可以依据经验进行设定。
本发明实施例中,基于上述的方法进行举例,假设,执行扩容方法基于OpenStack平台,所述OpenStack平台与应用节点、性能数据采集模块、性能阀值规则配置模块、弹性扩缩触发模块和应用镜像模块之间的交互过程如图2所示,其中:
所述性能数据采集模块是基于Prometheus系统来搭建,通过在应用的服务器安装部署prometheus系统的node-exporter组件,来采集服务器上性能数据,这样就可以将各个应用服务性能数据收集到Prometheus系统中进行分析报警。
所述性能阀值规则配置模块是设置应用的性能阀值,可以设置CPU使用率阀值、内存阀值、带宽使用阀值等,能对系统应用集群中各个节点性能数据平均值阀值等进行设置。
所述弹性扩缩触发模块是用来触发应用的服务器资源的弹性扩容还是缩容,根据系统压力情况,对应用来进行基于镜像的扩容,也可以对应用集群里的应用节点进行缩容。通过Prometheus系统分析的性能数据和性能阀值规则匹配结果,对于超过阀值的情况,触发相应的扩容或缩容操作。扩缩容操作都是通过调OpenStack平台的接口来实现底层资源伸缩操作。
所述应用镜像模块是指需要将每个应用和服务器制作成一个镜像,镜像包括操作系统、应用相关数据(包括中间件相关)、监控探针等,存放所用应用的镜像,为扩容操作提供镜像模板。
针对上述系统的执行流程如下:
S1:系统应用进行部署,将系统的应用部署在OpenStack平台分配的虚拟机上,并且每个应用部署多个节点。比如:部署一个WEB网站,部署3个应用模块:网站前台、后台、用户中心,它们分别部署在虚机上,通过Jboss中间件将应用跑起来,同时需要将Prometheus的探针组件(node-exporter)部署到虚机上。
S2:将应用节点加入目标集群中,将原来单个应用节点纳入牧宝集群中,由负载均衡来分配请求流量到各个应用节点,负载均衡会根据对应算法来进行负载。比如,WEB网站前台应用模块,将各个部署好的应用Jboss节点加入到Apache中,由apache负责来负载均衡分配流量。
S3:制作镜像模板,将目标集群中的一个节点作为镜像的参考对象,通过OpenStack接口来触发制作镜像,镜像包括操作系统、中间件、应用数据以及监控系统的探针。制作镜像前,将应用剥离集群,并将应用日志等不必要的数据进行备份清理出去,保证应用镜像需要的最小环境。比如:将WEB网站前台应用模块集群中一个节点A的jboss进程停止,剥离集群,然后将节点A的应用日志和系统日志备份出去并且进行删除,然后通过OpenStack来将节点A进行制作成一个镜像,制作完镜像后,需要重新启动节点A,将其加入到网站前台目标集群其中。
S4:开启应用集群监控,通过Prometheus系统,将集群中的各个应用节点性能数据采集到Prometheus Server中。如果每个应用节点都已经部署安装了exporter组件,Prometheus会间隔时间去调用各个应用节点的exporter组件http接口来采集性能数据。
S5:配置性能规则阀值,在性能规则阀值配置模块中配置性能阀值(CPU使用率、内存使用率)。设置间隔时间范围内,集群中的节点的CPU使用率、内存使用率的平均值的阀值。比如:设置扩容操作阀值(高于阀值):每间隔5分钟,WEB网站前台的各个节点的CPU使用率平均值是85%;设置缩容操作阀值(低于阀值):每间隔5分钟,WEB网站前台的各个节点的CPU使用率平均值是25%。
S6:开启弹性扩缩容功能,在触发弹性扩容模块开启此功能。如果开启弹性扩缩功能,则会执行步骤七,否则,就会结束整个流程。比如:将弹性扩容模块以webhook方式提供给Prometheus调用,开启扩容和缩容功能开关。
S7:性能数据分析,Prometheus系统根据性能阀值配置规则,对采集过来的应用集群节点的性能数据(CPU使用率、内存使用率)进行分析计算。比如:prometheus系统计算WEB网站前台的各个节点5分钟之内的CPU使用率平均值。
S8:判断是否超阀值,根据分析计算的结果去跟性能阀值规则进行匹配,如果达到符合阀值设置条件,就会触发Prometheus系统去调用弹性扩缩容模块,从而执行S9,否则,会回到S7,继续进行监控分析。比如:如果计算出WEB网站前台5分钟内各个节点CPU使用率平均值是93%,超过阀值设置:85%。
S9:开启扩缩容,根据应用步骤八的判断结果,确定需要进行弹性扩缩容操作,弹性扩缩容模块会去调用OpenStack平台来完成底层资源扩缩容。如果是扩容操作,OpenStack平台则会去镜像模块中获取对应应用镜像,基于这个镜像,OpenStack平台新生成一个虚机应用节点,并且虚机启动时候同时会执行应用启动脚本,将应用启动起来。如果是缩容操作,OpenStack平台会从应用集群中的删除一个节点。比如:WEB网站前台需要进行扩容,OpenStack会去镜像模块获取提前制作好的网站前台的应用镜像来触发生成一个虚机应用节点,同时新节点生成后,会在虚机启动后同时调用Jboss中间件的启动脚本,将应用进程启动起来。
S10:将扩容的新节点纳入到目标集群中,将缩容的节点移除目标集群。比如:WEB网站前台由OpenStack平台扩完一个新节点后,新应用节点中Jboss启动脚本是已经配置了Apache地址,在新节点的应用Jboss进程启动后,会自动加入到Apache中,从而web前台集群就完成了一个新节点加入。
本发明实施例中通过一种基于应用性能监控,每间隔预设时长获取应用节点的性能数据,依据该性能数据去自动进行应用的弹性扩容,可以有效地应对系统突然的性能问题和流量带来的系统压力,能及时、准确地进行应用扩容,快速提升系统响应能力,保障系统运营正常,提升系统的健壮性,有效地利用底层资源。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
基于上述的一种基于性能监控的应用弹性扩容方法,本发明实施例中还提供了一种基于性能监控的应用弹性扩容装置,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容装置的结构框图如图3所示,包括:
数据获取模块201、第一判断模块202、模板获取模块203和扩容模块204。
其中,
所述数据获取模块201,用于获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;
所述第一判断模块202,用于判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;
所述模板获取模块203,用于若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;
所述扩容模块204,用于基于所述目标镜像模板对所述待扩容应用进行扩容。
本发明公开了一种基于性能监控的应用弹性扩容装置,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法包括:获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;基于所述目标镜像模板对所述待扩容应用进行扩容。上述的扩容过程中,针对目标集群中的每一个应用节点,每间隔预设时长获取对应的性能数据中,当性能数据集中的各个性能数据超过所述第一性能阈值时,获取目标镜像模板,基于所述目标镜像模板对所述待扩容应用进行扩容,每间隔预设的时长聚会对是否扩容进行判断,实时对是否扩容进行预测,保障了扩容预测的准确性,避免了提前预估流量和资源,由于网络环境复杂多变很难准确对流量和资源进行准确预测,因此,会出现该扩容时没有触发扩容,不该扩容时触发扩容,造成的扩容不准确和响应缓慢的问题。
本发明实施例中,所述扩容装置还包括:第二判断模块205、节点获取模块206和杉树模块207。
其中,
所述第二判断模块205,用于若否,继续判断每一个性能数据集中的各个性能数据是否超过对应的第二性能阈值;
所述节点获取模块206,用于若否,获取所述第二性能阈值的待缩容应用的目标应用节点;
所述删除模块207,用于删除所述目标应用节点。
本发明实施例中,所述数据获取模块201包括:
判断单元208和数据获取单元209。
其中,
所述判断单元208,用于判断是否开启集群监控功能;
所述数据获取单元209,用于若是,每间隔预设时长,基于Promettheus系统获取与每一个应用节点对应的性能数据。
本发明实施例中,所述扩容装置中预先为系统中的各个应用制作镜像模板,包括:
剥离模块210和制作模块211。
其中,
所述剥离模块210,用于针对每一个应用节点,将与其对应的当前应用剥离出所述目标集群;
所述制作模块211,用于针对每一个应用,将其对应的操作系统、中间件、探针和其本身依据预设的模板制作镜像模板。
本发明实施例中,所述第一判断模块202包括:
计算单元212和比较单元213。
其中,
所述计算单元212,用于针对每一个性能数据集,计算其中各个性能数据的平均性能数据;
所述比较单元213,用于将各个平均是数据与对应的第一预设性能阈值进行比较。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (2)
1.一种基于性能监控的应用弹性扩容方法,其特征在于,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容方法包括:
获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;
判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;
若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;
基于所述目标镜像模板对所述待扩容应用进行扩容;
若否,继续判断每一个性能数据集中的各个性能数据是否超过对应的第二性能阈值;
若否,获取所述第二性能阈值的待缩容应用的目标应用节点;
删除所述目标应用节点;
其中,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集,包括:
判断是否开启集群监控功能;
若是,每间隔预设时长,基于Promettheus系统获取与每一个应用节点对应的性能数据;
其中,预先为系统中的各个应用制作镜像模板,包括:
针对每一个应用节点,将与其对应的当前应用剥离出所述目标集群,并将如应用日志不必要的数据进行备份清理出去,以保证应用镜像需要的最小环境,剥离出所述目标集群的目的是为了在镜像模板制作过程中,避免对当前应用调用,导致执行过程出错;
针对每一个应用,将其对应的操作系统、中间件、探针和其本身依据预设的模板制作镜像模板;
其中,判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值,包括:
针对每一个性能数据集,计算其中各个性能数据的平均性能数据;
将各个平均是数据与对应的第一预设性能阈值进行比较;
其中,基于所述目标镜像模板对所述待扩容应用进行扩容,包括:基于所述目标镜像模板,OpenStack平台新生成一个虚机应用节点,并且虚机启动时候同时会执行应用启动脚本,将应用启动起来,将扩容的虚机应用节点纳入到所述目标集群中。
2.一种基于性能监控的应用弹性扩容装置,其特征在于,预先为系统中的各个应用制作镜像模板,其中,每一个应用对应至少一个应用节点,将各个应用节点纳入目标集群中,所述扩容装置包括:
数据获取模块,用于获取所述各个应用的应用节点,针对每一个应用节点,每间隔预设时长获取其对应的性能数据集;
第一判断模块,用于判断每一个性能数据集中的各个性能数据是否超过对应的第一预设性能阈值;
模板获取模块,用于若是,获取超过所述第一预设性能阈值的待扩容应用的目标镜像模板;
扩容模块,用于基于所述目标镜像模板对所述待扩容应用进行扩容;
第二判断模块,用于若否,继续判断每一个性能数据集中的各个性能数据是否超过对应的第二性能阈值;
节点获取模块,用于若否,获取所述第二性能阈值的待缩容应用的目标应用节点;
删除模块,用于删除所述目标应用节点;
其中,所述数据获取模块包括:
判断单元,用于判断是否开启集群监控功能;
数据获取单元,用于若是,每间隔预设时长,基于Promettheus系统获取与每一个应用节点对应的性能数据;
其中,所述扩容装置中预先为系统中的各个应用制作镜像模板,包括:
剥离模块,用于针对每一个应用节点,将与其对应的当前应用剥离出所述目标集群,并将如应用日志不必要的数据进行备份清理出去,以保证应用镜像需要的最小环境,剥离出所述目标集群的目的是为了在镜像模板制作过程中,避免对当前应用调用,导致执行过程出错;
制作模块,用于针对每一个应用,将其对应的操作系统、中间件、探针和其本身依据预设的模板制作镜像模板;
其中,所述第一判断模块包括:
计算单元,用于针对每一个性能数据集,计算其中各个性能数据的平均性能数据;
比较单元,用于将各个平均是数据与对应的第一预设性能阈值进行比较;
其中,所述扩容模块,具体用于基于所述目标镜像模板,OpenStack平台新生成一个虚机应用节点,并且虚机启动时候同时会执行应用启动脚本,将应用启动起来,将扩容的虚机应用节点纳入到所述目标集群中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686053.9A CN111831447B (zh) | 2020-07-16 | 2020-07-16 | 一种基于性能监控的应用弹性扩容方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686053.9A CN111831447B (zh) | 2020-07-16 | 2020-07-16 | 一种基于性能监控的应用弹性扩容方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111831447A CN111831447A (zh) | 2020-10-27 |
CN111831447B true CN111831447B (zh) | 2024-04-30 |
Family
ID=72923288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010686053.9A Active CN111831447B (zh) | 2020-07-16 | 2020-07-16 | 一种基于性能监控的应用弹性扩容方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111831447B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112306837A (zh) * | 2020-11-10 | 2021-02-02 | 光大兴陇信托有限责任公司 | 一种云压力测试方法及平台、设备及可读存储介质 |
CN113360250B (zh) * | 2021-08-09 | 2021-12-14 | 连连宝(杭州)信息技术有限公司 | 一种应用服务资源控制方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121334A1 (zh) * | 2016-12-27 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 一种提供网页应用服务的方法、装置、电子设备及系统 |
CN108762912A (zh) * | 2018-07-04 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种容器集群弹性伸缩的方法和装置 |
CN111026409A (zh) * | 2019-10-28 | 2020-04-17 | 烽火通信科技股份有限公司 | 一种自动监控方法、装置、终端设备及计算机存储介质 |
CN111209105A (zh) * | 2018-11-21 | 2020-05-29 | 北京京东尚科信息技术有限公司 | 扩容处理方法、装置、设备及可读存储介质 |
CN111290838A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 基于容器集群的应用访问请求处理方法及装置 |
CN111355606A (zh) * | 2020-02-10 | 2020-06-30 | 天津大学 | 面向web应用的容器集群自适应扩缩容系统和方法 |
-
2020
- 2020-07-16 CN CN202010686053.9A patent/CN111831447B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121334A1 (zh) * | 2016-12-27 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 一种提供网页应用服务的方法、装置、电子设备及系统 |
CN108762912A (zh) * | 2018-07-04 | 2018-11-06 | 郑州云海信息技术有限公司 | 一种容器集群弹性伸缩的方法和装置 |
CN111209105A (zh) * | 2018-11-21 | 2020-05-29 | 北京京东尚科信息技术有限公司 | 扩容处理方法、装置、设备及可读存储介质 |
CN111026409A (zh) * | 2019-10-28 | 2020-04-17 | 烽火通信科技股份有限公司 | 一种自动监控方法、装置、终端设备及计算机存储介质 |
CN111355606A (zh) * | 2020-02-10 | 2020-06-30 | 天津大学 | 面向web应用的容器集群自适应扩缩容系统和方法 |
CN111290838A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 基于容器集群的应用访问请求处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111831447A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10558545B2 (en) | Multiple modeling paradigm for predictive analytics | |
Machida et al. | Modeling and analysis of software rejuvenation in a server virtualized system with live VM migration | |
JP6440203B2 (ja) | ネットワーク監視システム、ネットワーク監視方法およびプログラム | |
CN108632330B (zh) | 云端资源的管理系统及其管理方法 | |
US20200379805A1 (en) | Automated cloud-edge streaming workload distribution and bidirectional migration with lossless, once-only processing | |
CN111831447B (zh) | 一种基于性能监控的应用弹性扩容方法及装置 | |
JP7082461B2 (ja) | 故障予知方法、故障予知装置および故障予知プログラム | |
US8949676B2 (en) | Real-time event storm detection in a cloud environment | |
JP2016529858A (ja) | 無線デバイスの電池消耗解析および予測 | |
US11316743B2 (en) | Network bandwidth management | |
CN111355606A (zh) | 面向web应用的容器集群自适应扩缩容系统和方法 | |
EP4066118A1 (en) | Computer network with time series seasonality-based performance alerts | |
CN103488538A (zh) | 云计算系统中的应用扩展装置和应用扩展方法 | |
KR101608859B1 (ko) | 클라우드 기반의 지능형 전력제어 시스템 | |
KR102418892B1 (ko) | 신뢰구간에 기반한 에너지 절감 방법 및 이를 이용한 장치 | |
CN114490091B (zh) | 工业数据采集管理系统中监控规则引擎性能的方法及装置 | |
CN114116128B (zh) | 容器实例的故障诊断方法、装置、设备和存储介质 | |
CN114911677A (zh) | 集群中容器的监控方法、装置和计算机可读存储介质 | |
JP7119484B2 (ja) | 情報集約装置、情報集約方法、及び、プログラム | |
Trivedi et al. | Markov chain models and applications | |
Rinsaka et al. | A faster estimation algorithm for periodic preventive rejuvenation schedule maximizing system availability | |
JP6775452B2 (ja) | 監視システム、プログラムおよび監視方法 | |
CN104883273A (zh) | 虚拟化服务管理平台中业务影响模型的处理方法和系统 | |
CN117135151B (zh) | 一种gpu集群的故障检测方法及gpu集群、电子设备和存储介质 | |
Machida et al. | Markov chains and petri nets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |