CN107145393A

CN107145393A - 一种负载调整方法、设备及计算机可读存储介质

Info

Publication number: CN107145393A
Application number: CN201710287843.8A
Authority: CN
Inventors: 邹炜
Original assignee: Nubia Technology Co Ltd
Current assignee: Nubia Technology Co Ltd
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2017-09-08

Abstract

本申请介绍了一种负载调整方法、设备及计算机可读存储介质，该方法包括：获取被监控的服务集群中的每台目标服务器的性能指标参数；根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行；在所述被监控的服务集群过载运行的情况下，启动公共服务集群中的备用服务器；在本申请中为多个服务集群设置一个公共服务集群；当任一类服务集群需要扩容时，可通过使用所述公共服务集群中的至少一个备用服务器进行扩容操作；当所述任一类服务集群不再出现负载过大的情况时，关闭所述公共服务集群中已被启动的备用服务器，以便其他类服务集群使用所述公共服务集群中的备用服务器，从而提高备用服务器的使用率。

Description

一种负载调整方法、设备及计算机可读存储介质

技术领域

本申请涉及运维设计技术领域，尤其涉及一种负载调整方法、设备及计算机可读存储介质。

背景技术

在正式环境中运行的互联网产品，经常会出现由于突然激增的流量而造成服务器宕机的现象，严重的会造成服务器的停服问题，给用户带来非常不好的用户体验。为了避免上述问题，在现有技术中分别在每个产品服务集群中部署额外的备用服务器，以用于在出现流量激增的情况下分担产品服务集群中主服务的工作压力，从而保证主服务器的正常运行。例如，某一产品服务集群中部署有6个主服务器，以用于保障常规的对外服务，但为了保障在流量激增的特殊情况下能够正常的运行服务，还在所述产品服务集群中额外部署了4个备用服务器，使得整个产品服务集群中有10台服务器。虽然上述方式在一定程度上提升了线上产品服务集群的安全级别，但在无形中也造成了服务器的资源浪费。

发明内容

本申请的主要目的在于提出一种负载调整方法、设备及计算机可读存储介质，能够提升备用服务器资源的使用率，保障线上各个产品服务集群中的主服务器的负载安全。

为实现上述目的，本申请提供了一种负载调整方法，所述方法包括：

获取被监控的服务集群中的每台目标服务器的性能指标参数；

根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行；

在所述被监控的服务集群过载运行的情况下，启动公共服务集群中的备用服务器。

可选的，所述获取被监控的服务集群中的每台目标服务器的性能指标参数，包括：

根据任一目标服务器的配置信息获取所述任一目标服务器的性能指标参数；

其中，所述配置信息包括：IP地址信息和端口信息；

所述性能指标参数至少包括以下之一：用户并发量、内存使用量、CPU使用量。

可选的，按照以下两种方式中的任意一种方式获取目标服务器的性能指标参数：

第一种，通过监控服务器周期性的获取目标服务器的性能指标参数；

第二种，在目标服务器上安装探针，通过所述探针周期性的获取目标服务器的性能指标参数。

可选的，所述方法还包括：

根据所述性能指标参数设置扩容规则，所述扩容规则用于判断被监控的服务集群是否处于过载运行。

可选的，所述根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行，包括：

根据所述被监控的服务集群中的每台目标服务器的性能指标参数，判断所述被监控的服务集群是否符合所述扩容规则。

可选的，所述方法还包括：

为至少两个服务集群配置公共服务集群，所述公共服务集群包括设定数量的备用服务器，任一服务集群通过使用所述公共服务集群中的至少一台备用服务器进行扩容操作。

可选的，所述方法还包括：

根据所述性能指标参数设置缩容规则，所述缩容规则用于判断被监控的服务集群是否由过载运行恢复至载荷正常。

可选的，所述方法还包括：

根据所述被监控的服务集群中的每台目标服务器的性能指标参数，判断所述被监控的服务集群是否符合所述缩容规则；

在所述被监控的服务集群满足所述缩容规则的情况下，关闭所述公共服务集群中已启动的与所述被监控的服务集群相关的备用服务器。

此外，为实现上述目的，本申请还提出一种负载调整设备，所述负载调整设备包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的负载调整程序，以实现上述负载调整方法的步骤。

此外，为实现上述目的，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有负载调整程序；

当所述负载调整程序被至少一个处理器执行时，导致所述至少一个处理器执行上述负载调整方法的步骤。

本申请提出的负载调整方法、设备及计算机可读存储介质，删除了现有技术中的在每个产品服务集群中单独部署的备用服务器，而是针对于多个产品服务集群设置一个公用服务器群，每个产品服务集群都可在流量激增的情况下使用所述公用服务器群众的备用服务器，以减少产品服务集群中主服务器的工作压力。当任一产品服务集群中的主服务器的负载过高时，自动触发扩容规则，在公用服务集群上启动一定数量的备用服务器，从而实现公共服务集群的动态横向扩展；当所述任一产品服务集群中的主服务器的负载降低时，相应的缩容规则被触发，在所述公共服务器上关闭对应的备用服务器，能够提升备用服务器资源的使用率，保障线上各个产品服务集群中的主服务器的负载安全。

附图说明

图1为本申请第一实施例的负载调整方法的流程图；

图2为本申请第二实施例的负载调整系统的组成结构示意图；

图3为本申请第二实施例的基于负载调整系统的负载调整方法的流程图；

图4为本申请第三实施例的负载调整设备的组成结构示意图；

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本申请的第一实施例提出了一种负载调整方法，所述方法具体包括以下步骤：

步骤S101：获取被监控的服务集群中的每台目标服务器的性能指标参数。

一类服务集群对应于正式环境中运行的一个互联网产品，一个互联网产品中包括多台服务器，一个互联网产品中的多台服务器构成了一类服务集群。当对一类服务集群进行监控时，需要获取该类服务集群中的每台服务器的性能指标参数，通过分析该类服务集群中的每台服务器的性能指标参数判断该类服务集群是否出现负载过大的现象。

具体的，步骤S101，包括：

其中，所述配置信息包括：IP地址信息和端口信息；

进一步的，按照以下两种方式中的任意一种方式获取目标服务器的性能指标参数：

例如，通过Server集群监控服务器对目标服务器进行周期性的负性能指标参数采集，然后将采集到的性能指标参数存储到第一数据库中；

例如，在目标服务器上安装Agent探针，通过所述Agent探针周期性的收集所述目标服务器的性能指标参数，并通过调用Collector服务，将已收集的性能指标参数存储到所述第一数据库中。

更进一步的，所述第一数据库采用分布式的存储方式存数每台服务器的性能指标参数。

步骤S102：根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行。

具体的，所述方法还包括：

所述扩容规则是针对一类服务集群设置的，不同服务集群的扩容规则相同或不同。所述扩容规则是根据一类服务集群中的每台服务器的性能指标参数进行设置的。

在具体实施时，可根据一种性能指标参数设置一类服务集群的扩容规则；例如，扩容规则包括：一类服务集群中60％的服务器满足CPU使用量大于70％。也可根据至少两种性能指标参数设置一类服务集群的扩容规则；例如，扩容规则包括：一类服务集群中60％的服务器满足用户并发量大于70％或者内存使用量大于70％。

进一步的，所述扩容规则存储在第二数据库中，所述第二数据库中还存储有每类服务集群的配置信息，并且在所述第二数据库中，每个扩容规则与每类服务集群的配置信息一一对应。

优选的，所述第二数据库为Mysql数据库。

更进一步的，所述步骤S102：具体包括：

步骤A1：从所述第二数据库中获取与所述被监控的服务集群相对应的扩容规则，并从所述第一数据库中读取已获取的所述被监控的服务集群中的每台目标服务器的性能指标参数；

步骤A2：通过将所述被监控的服务集群中的每台目标服务器的性能指标参数与所述扩容规则进行对比计算，判断所述被监控的服务集群是否满足所述扩容规则。

步骤S103：在所述被监控的服务集群过载运行的情况下，启动公共服务集群中的备用服务器。

具体的，所述方法还包括：

当被监控的服务集群出现过载运行的情况是，通过启动公共服务集群中的备用服务器来分担所述被监控的服务集群的工作压力，从而达到负载均衡的效果。

进一步的，所述方法还包括：

所述缩容规则与所述扩容规则对应，也是针对一类服务集群设置的，不同服务集群的缩容规则相同或不同。

所述缩容规则也存储在所述第二数据库中，且一类服务集群与一个扩容规则和一个缩容规则相对应。

更进一步的，在启动公共服务集群中的备用服务器之后，所述方法还包括：

在启动公共服务集群中的备用服务器之后，定期获取所述被监控的服务集群中的每台目标服务器的性能指标参数，并判断所述被监控的服务集群是否满足所述缩容规则。当所述被监控的服务集群满足所述缩容规则时，说明通过所述被监控的服务集群中的目标服务器就能承担工作压力，不再需要使用备用服务器。因此，关闭所述公共服务集群中已启动的与所述被监控的服务集群相关的备用服务器。

现有技术中是在每类服务集群中均设置有一定数量的备用服务器，但是每类服务集群中的备用服务器的使用率较低。本实施例是为多个服务集群设置一个公用的公共服务集群。当任一类服务集群需要扩容时，可通过使用所述公共服务集群中的至少一个备用服务器进行扩容操作。当所述任一类服务集群不再出现负载过大的情况时，关闭所述公共服务集群中已被启动的备用服务器，以便其他类服务集群使用所述公共服务集群中的备用服务器，从而提高备用服务器的使用率。

如图2所示，本申请的第二实施例提出了一种负载调整系统，所述系统是以Zookeeper资源协调服务为基础搭建的分布式负载调整系统，所述系统具体包括以下组成部分：

中心管理平台201、配置管理数据库202、性能指标参数收集中心203、性能指标参数存储数据库204、运维规则计算服务205、中控服务206、公共公共服务集群207。

1)中心管理平台201，用于配置各类服务集群的配置信息以及设置各类服务集群的运维规则，并将各类服务集群的配置信息和各类服务集群的运维规则存储到配置管理数据库202中。

具体的，一类服务集群对应于正式环境中运行的一个互联网产品，一个互联网产品中包括多台服务器，一个互联网产品中的多台服务器构成了一类服务集群。

一类服务集群的配置信息包括该类服务集群中每台服务器的配置信息；其中，所述配置信息包括：服务器的IP地址信息和服务器的端口信息。

进一步的，所述运维规则是根据一类服务集群中的每台目标服务器的性能指标参数进行设置的。例如，某互联网产品有10台服务器，这10台服务器被聚合为一个服务集群，运维规则是基于这个服务集群进行配置的。不同服务集群的运维规则相同或不同。

所述运维规则包括扩容规则和缩容规则。所述扩容规则用于判断被监控的服务集群是否处于过载运行；所述缩容规则用于判断被监控的服务集群是否由过载运行恢复至载荷正常。

所述扩容规则用于当被监控的服务集群的负载升高时，触发扩容操作，以启动公共服务集群207中设定数量的备用服务器；所述缩容规则用于当被监控的服务集群的负载下降时，触发缩容操作，以关闭公共服务集群207中已启动的备用服务器。这样可达到公用备用服务器集群资源利用率的最大化。

其中，所述性能指标参数至少包括以下之一：用户并发量、内存使用量、CPU使用量。

在具体实施时，可根据一种性能指标参数设置一类服务集群的扩容规则和缩容规则；例如，扩容规则包括：一类服务集群中60％的服务器满足CPU使用量大于70％。也可根据至少两种性能指标参数设置一类服务集群的扩容规则；例如，扩容规则包括：一类服务集群中60％的服务器满足用户并发量大于70％或者内存使用量大于70％。

2)配置管理数据库202，用于存储各类服务集群的配置信息和各类服务集群的运维规则，并建立各类服务集群的配置信息与各类服务集群的运维规则的一一对应关系。

具体的，所述配置管理数据库202在实际应用中采用Mysql数据库。MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

3)性能指标参数收集中心203，用于从配置管理数据库202中获取被监控的服务集群的配置参数，并将所述被监控的服务集群的配置参数持久化到Zookeeper资源协调服务上，再通过所述Zookeeper资源协调服务实现性能指标参数收集中心203的分布式任务调度。

具体的，所述性能指标参数收集中心203的分布式任务调度，包括：

根据所述被监控的服务集群中的每台目标服务器的配置参数，获取被监控的服务集群中的每台目标服务器的性能指标参数。

当对一类服务集群进行监控时，需要获取该类服务集群中的每台目标服务器的性能指标参数，通过分析该类服务集群中的每台目标服务器的性能指标参数判断该类服务集群是否出现负载过大的现象。

进一步的，性能指标参数收集中心203分为两类：主动收集和被动推送。

所述主动收集指的是通过Server集群监控服务对被监控的服务集群中的每台目标服务器进行周期性的性能指标参数采集，然后将采集到的性能指标参数存储到性能指标参数存储数据库204中。

所述被动推送是指在被监控的服务集群中的每台目标服务器上安装相应的Agent探针，通过所述Agent探针周期性的收集宿主服务器上的性能指标参数，并通过调用Collector服务，将已收集的性能指标参数存储到性能指标参数存储数据库204中。

4)性能指标参数存储数据库204，用于分布式的存储收集到的所述被监控的服务集群中的每台服务器的性能指标参数。

具体的，性能指标参数存储数据库204在实际应用中采用HBase数据库。所述HBase数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

5)运维规则计算服务205，用于实时计算所述被监控的服务集群中的每台目标服务器的性能指标参数，并将计算结果和与所述被监控的服务集群相对应的运维规则进行对比，判断所述被监控的服务集群是否符合所述运维规则中的扩容规则或缩容规则，若是，则通过kafka消息中间件通知中控服务206。

具体的，运维规则计算服务205，用于：

从配置管理数据库202中获取与所述被监控的服务集群相对应的运维规则，并从性能指标参数存储数据库204中读取已获取的所述被监控的服务集群中的每台目标服务器的性能指标参数；通过将所述被监控的服务集群中的每台目标服务器的性能指标参数与所述运维规则进行对比计算，判断所述被监控的服务集群是否满足所述运维规则中的扩容规则或缩容规则；当所述被监控的服务集群满足所述扩容规则时，通过kafka消息中间件向中控服务206发送扩容通知，以供中控服务206根据所述扩容通知动态的对所述被监控的服务集群进行扩容操作；当所述被监控的服务集群满足所述缩容规则时，通过kafka消息中间件向中控服务206发送缩容通知，以供中控服务206根据所述缩容通知动态的对所述被监控的服务集群进行缩容操作。

6)中控服务206，用于当接收到运维规则计算服务205发送来的扩容通知时，从配置管理数据库202中获取对应的扩容脚本命令，并根据所述扩容脚本命令启动公共服务集群207中设定数量的备用服务器；当接收到运维规则计算服务205发送来的缩容通知时，从配置管理数据库202中获取对应的缩容脚本命令，并根据所述缩容脚本命令关闭公共服务集群207中已启动的与所述被监控的服务集群相对应的备用服务器。

具体的，所述运维规则中还包括扩容脚本命令，所述扩容脚本命令用于启动公共服务集群207中设定数量的备用服务器。所述运维规则中还包括缩容脚本命令，所述缩容脚本命令用于关闭公共服务集群207中已启动的备用服务器。

当所述被监控的服务集群满足所述扩容规则时，中控服务206执行所述扩容脚本命令，以启动公共服务集群207中设定数量的备用服务器。从而通过所述备用服务器分担所述被监控的服务集群的工作压力，达到负载均衡的效果。当所述被监控的服务集群满足所述缩容规则时，中控服务206执行所缩容脚本命令，关闭公共服务集群207中已启动的与所述被监控的服务集群相对应的备用服务器。将资源释放出来，供其他服务集群使用，达到资源共享使用的目的，在一定程度上减少了资源的浪费。

7)公共服务集群207中包括设定数量的备用服务器，所述公共服务集群可被多个服务集群所使用，每类服务集群均可通过使用公共服务集群207中的至少一个备用服务器进行扩容操作。

各类服务集群均可将需要横向扩展的备用服务包存放在公共服务集群207中，若遇到满足扩容规则的前提下，备用服务器会被中控服务206启动。当被监控的服务集群的负载下降后，又会因为满足缩容规则的原因，通过中控服务206关闭已启动的备用服务器。

基于所述负载调整系统中的中心管理平台201、配置管理数据库202、性能指标参数收集中心203、性能指标参数存储数据库204、运维规则计算服务205、中控服务206、公共服务集群207，还提供一种负载调整方法，如图3所述，所述方法具体包括以下步骤：

步骤S301：中心管理平台201配置被监控的服务集群中的每台目标服务器的配置信息。

具体的，所述配置信息包括：服务器的IP地址信息和服务器的端口信息。

进一步的，中心管理平台201将所述配置信息存储到配置管理数据库202中。

步骤S302：中心管理平台201配置所述被监控的服务集群的运维规则，所述运维规则包括扩容规则、缩容规则、扩容脚本命令和缩容脚本命令。

所述扩容规则用于判断被监控的服务集群是否处于过载运行。当被监控的服务集群满足扩容规则时，执行扩容脚本命令以对被监控的服务集群执行扩容操作。

所述缩容规则用于判断被监控的服务集群是否由过载运行恢复至载荷正常。当被监控的服务集群满足缩容规则时，执行缩容脚本命令以对被监控的服务集群执行缩容操作。

步骤S303：性能指标参数收集中心203根据所述配置信息逐一获取所述被监控的服务集群中的每台目标服务器的性能指标参数。

具体的，所述性能指标参数至少包括以下之一：用户并发量、内存使用量、CPU使用量。

进一步的，性能指标参数收集中心20将获取到的所述被监控的服务集群中的每台目标服务器的性能指标参数分布式的存储到性能指标参数存储数据库204中。

步骤S304：运维规则计算服务205根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否符合所述运维规则。

若所述被监控的服务集群符合所述运维规则中的扩容规则，则执行步骤S305；

若所述被监控的服务集群符合所述运维规则中的缩容规则，则执行步骤S308；

步骤S305：运维规则计算服务205向中控服务206发送扩容通知。

步骤S306：中控服务206根据所述扩容通知获取所述扩容脚本命令。

步骤S307：中控服务206根据所述扩容脚本命令启动公共服务集群207中设定数量的备用服务器。

步骤S308：运维规则计算服务205向中控服务206发送缩容通知。

步骤S309：中控服务206根据所述缩容通知获取所述缩容脚本命令。

步骤S310：中控服务206根据所述缩容脚本命令关闭公共服务集群207中已启动的与所述被监控的服务集群相对应的备用服务器。

本申请的第三实施例提出了一种负载调整设备，如图4所示，所述负载调整设备包括：处理器401、存储器402及通信总线；

所述通信总线用于实现处理器401和存储器402之间的连接通信；

处理器401用于执行存储器402中存储的负载调整程序，以实现以下步骤：

具体的，一类服务集群对应于正式环境中运行的一个互联网产品，一个互联网产品中包括多台服务器，一个互联网产品中的多台服务器构成了一类服务集群。当对一类服务集群进行监控时，需要获取该类服务集群中的每台服务器的性能指标参数，通过分析该类服务集群中的每台服务器的性能指标参数判断该类服务集群是否出现负载过大的现象。

进一步的，处理器401在执行所述负载调整以实现获取被监控的服务集群中的每台目标服务器的性能指标参数的步骤时，具体包括：

其中，所述配置信息包括：IP地址信息和端口信息；

进一步的，所述处理器401还用于执行存储器402中存储的负载调整程序，以实现以下步骤：

进一步的，处理器401在执行所述根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行的步骤时，具体包括：

步骤B1：从所述第二数据库中获取与所述被监控的服务集群相对应的扩容规则，并从所述第一数据库中读取已获取的所述被监控的服务集群中的每台目标服务器的性能指标参数；

步骤B2：通过将所述被监控的服务集群中的每台目标服务器的性能指标参数与所述扩容规则进行对比计算，判断所述被监控的服务集群是否满足所述扩容规则。

本申请的第四实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有负载调整程序；

当所述负载调整程序被至少一个处理器执行时，导致所述至少一个处理器执行以下操作：

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种负载调整方法，其特征在于，所述方法包括：

2.根据权利要求1所述的负载调整方法，其特征在于，所述获取被监控的服务集群中的每台目标服务器的性能指标参数，包括：

其中，所述配置信息包括：IP地址信息和端口信息；

3.根据权利要求1所述的负载调整方法，其特征在于，按照以下两种方式中的任意一种方式获取目标服务器的性能指标参数：

4.根据权利要求1所述的负载调整方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的负载调整方法，其特征在于，所述根据所述每台目标服务器的性能指标参数判断所述被监控的服务集群是否过载运行，包括：

6.根据权利要求1所述的负载调整方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的负载调整方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的负载调整方法，其特征在于，所述方法还包括：

9.一种负载调整设备，其特征在于，所述负载调整设备包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的负载调整程序，以实现权利要求1至8中任一项所述的负载调整方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有负载调整程序；

当所述负载调整程序被至少一个处理器执行时，导致所述至少一个处理器执行所述权利要求1至8中任一项所述的负载调整方法的步骤。