CN112765035A

CN112765035A - 分布式压力测试系统、方法、装置、电子设备、存储介质

Info

Publication number: CN112765035A
Application number: CN202110114630.1A
Authority: CN
Inventors: 王希涛; 李功文; 石莹
Original assignee: Beijing Baijia Technology Group Co ltd
Current assignee: Beijing Baijia Technology Group Co ltd
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2021-05-07

Abstract

本申请提供一种分布式压力测试系统、方法、装置、电子设备、计算机可读存储介质，方法包括：获取压测集群中节点设备的资源指标数据；判断所述节点设备的资源指标数据是否达到预设资源指标限额；若是，选择若干候选设备作为新增节点设备，加入所述压测集群；启动所述新增节点设备进行压力测试。本申请方案，实现了对压测集群的自动扩展，降低了配置节点设备的人工成本和时间成本。

Description

分布式压力测试系统、方法、装置、电子设备、存储介质

技术领域

本申请涉及通信技术领域，特别涉及一种分布式压力测试系统、方法、装置、电子设备、计算机可读存储介质。

背景技术

压力测试是验证服务性能常用的测试方法，通过向提供应用服务的服务端(服务器或服务器集群)不断加压，强制其在极限情况下运行，从而发现服务端的性能缺陷。在压力测试过程中，单台机器产生的压力较小，可以以多台机构成分布式压测集群，模拟上万用户并发访问提供应用服务的服务端，从而共同向服务端产生压力。

参见图1，为本申请一实施例提供的分布式压力测试方法的应用场景示意图，如图1所示，压测集群包括一个主设备(master-server)和多个节点设备(node-server)，主设备可以向节点设备分发压测脚本。在执行压测过程中，各节点设备通过压测脚本向提供应用服务的服务端进行压测，获得压测数据，并将压测数据回传至主设备。主设备可以汇总各节点设备的压测数据，并生成压测报告。

压测集群需由人工对各节点设备进行配置，配置内容包括各节点设备的IP(Internet Protocol Address，互联网协议地址)地址和端口号，使得压测集群中主设备和多个节点设备位于同一网络。在配置完成后，需人工启动节点设备。当压测集群对服务端进行压力测试时，如果在压测集群的资源达到瓶颈时未达到预设的压测目标，则需要增加节点设备，这时还需要人工对新增的节点设备进行配置。因人工配置和新增节点设备的过程较为繁琐，导致压力测试的整个过程增加了额外的等待时长。

发明内容

本申请实施例的目的在于提供一种分布式压力测试系统、方法、装置、电子设备、计算机可读存储介质，用于自适应扩展压测集群，减少了对节点设备配置的人工成本和时间成本。

一方面，本申请提供了一种分布式压力测试系统，包括压测集群以及压测管理平台，所述压测管理平台包括配置组件、探测组件以及调节组件，其中：

所述配置组件，用于配置所述压测集群中节点设备的资源指标限额；

所述探测组件，用于获取所述压测集群中节点设备的资源指标数据，并判断所述资源指标数据是否达到所述资源指标限额；

所述调节组件，用于在所述资源指标数据达到所述资源指标限额时，选择若干候选设备作为新增节点设备，加入所述压测集群，并启动所述新增节点设备进行压力测试。

一方面，本申请提供了一种分布式压力测试方法，包括：

获取压测集群中节点设备的资源指标数据；

判断所述节点设备的资源指标数据是否达到预设资源指标限额；

若是，选择若干候选设备作为新增节点设备，加入所述压测集群；

启动所述新增节点设备进行压力测试。

在一实施例中，所述获取压测集群中节点设备的资源指标数据，包括：

周期性获取压测集群中节点设备的资源指标数据。

在一实施例中，在获取所述资源指标数据之前，所述方法还包括：

与所述节点设备建立安全外壳协议SSH连接。

在一实施例中，所述资源指标数据包括至少两个子指标数据，所述资源指标限额包括与每一子指标数据对应的子指标限额；

所述判断所述节点设备的资源指标数据是否达到预设资源指标限额，包括：

判断所述节点设备的子指标数据中是否存在至少一个子指标数据达到其对应的子指标限额。

在一实施例中，所述选择若干候选设备作为新增节点设备，加入所述压测集群，包括：

依据指定压测数据和所述资源指标数据达到所述资源指标限额时所述节点设备的压测数据，确定新增节点设备的目标数量；

选择目标数量的候选设备作为所述新增节点设备；

对所述新增节点设备进行配置。

另一方面，本申请还提供了一种分布式压力测试装置，包括：

获取模块，用于获取压测集群中节点设备的资源指标数据；

判断模块，用于判断所述节点设备的资源指标数据是否达到预设资源指标限额；

新增模块，用于若是，选择若干候选设备作为新增节点设备，加入所述压测集群；

启动模块，用于启动所述新增节点设备进行压力测试。

在一实施例中，所述装置还包括：

连接模块，用于与所述节点设备建立安全外壳协议SSH连接。

在一实施例中，所述新增模块，还用于：

选择目标数量的候选设备作为所述新增节点设备；

对所述新增节点设备进行配置。

进一步的，本申请还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述分布式压力测试方法。

另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述分布式压力测试方法。

在本申请方案中，通过判断压测集群中节点设备的资源指标数据是否达到资源指标限额，可在达到资源指标限额时确定压测集群达到资源瓶颈，从而选择候选设备作为新增节点设备加入压测集群，实现了对压测集群的自动扩展，降低了配置节点设备的人工成本和时间成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请一实施例提供的分布式压力测试方法的应用场景示意图；

图2为本申请另一实施例提供的分布式压力测试系统的网络架构示意图；

图3为本申请一实施例提供的电子设备的结构示意图；

图4为本申请一实施例提供的分布式压力测试方法的流程示意图；

图5为本申请一实施例提供的分布式压力测试装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图2为本申请实施例提供的分布式压力测试系统的网络架构示意图。如图2所示，该应用场景包括接收压力测试的服务端、提供压力测试的压测集群、搭载压测管理平台的管理服务端。其中，压测集群可以包括主设备和节点设备，主设备用于向节点设备下发压测脚本，并汇总节点设备上传的压测数据生成压测报告；节点设备用于依据压测脚本向接收压力测试的服务端进行压测，从而获得压测数据并上传至主设备。

管理服务端可以是服务器、服务器集群或云计算中心等，用于为压测集群新增节点设备，使得压测集群可以满足压力测试需求。管理服务端上压测平台可以包括配置组件、探测组件和调节组件。其中，配置组件用于配置压测集群中节点设备的资源指标限额，资源指标限额是节点设备正常运行时资源指标数据的最大值。探测组件用于获取压测集群中节点设备的资源指标数据，并比对资源指标数据和资源指标限额，判断资源指标数据是否达到配置组件中的资源指标限额，若达到，可向调节组件上报比对结果。调节组件用于在资源指标数据达到资源指标限额时，选择若干候选设备作为新增节点设备，加入压测集群，并启动新增节点设备进行压力测试。

需要说明的是，管理服务端还可用来实现图1中服务端的功能，从而减少设备投入，降低成本。

如图3所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述管理服务端，用于执行分布式压力测试方法。

存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的分布式压力测试方法。

参见图4，为本申请一实施例提供的分布式压力测试方法的流程示意图，如图4所示，该方法可以包括以下步骤410-步骤440。

步骤410：获取压测集群中节点设备的资源指标数据。

其中，资源指标数据是表明节点设备本地资源使用情况的数据，可以为内存使用率、CPU(Central Processing Unit，中央处理器)利用率、磁盘使用率、网络带宽等。

管理服务端可以从压测集群中获取每一节点设备的资源指标数据。或者，由于压测集群中各节点设备的硬件条件相同，且在压力测试过程中资源使用情况基本一致，管理服务端可以从压测集群中获取一个节点设备的资源指标数据。

步骤420：判断节点设备的资源指标数据是否达到预设资源指标限额。

其中，资源指标限额为节点设备在正常运行状态下，资源指标数据的最大值。示例性的，对于资源指标数据内存使用率对应的资源指标限额可为75％。管理服务端可从预设的config配置组件中读取资源指标限额。

管理服务端在获得节点设备的资源指标数据后，可以判断资源指标数据是否达到上述资源指标限额。一方面，若资源指标数据未达到其对应的资源指标限额，说明压测集群的资源足够充裕，可以不作处理。另一方面，若资源指标数据达到其对应的资源指标限额，说明压测集群的资源已经达到瓶颈，管理服务端可以继续执行步骤430。

步骤430：若是，选择若干候选设备作为新增节点设备，加入压测集群。

其中，候选设备的数量可根据实际的测试情况进行选择，例如需要加入三台候选设备时，就选择三台候选设备，对此不做赘述。

步骤440：启动新增节点设备进行压力测试。

其中，候选设备为等待被选中加入压测集群的设备。管理服务端可以预配置多个候选设备的设备标识，该设备标识用于唯一指示候选设备。示例性的，设备标识可以是MAC(Media Access Control Address，媒体存取控制位址)地址。当然，也可以为每一个候选设备设定相应的标识信息，以通过标识信息监控候选设备的运行状态。

当资源指标数据达到其对应的资源指标限额时，管理服务端可以选择若干候选设备作为新增节点设备，并可依据预设的配置规则为各新增节点设备配置IP地址和端口号，使得新增节点设备与压测集群中其它节点设备位于同一网络中，从而将新增节点设备加入到压测设备。管理服务端可以启动新增节点设备，使得新增节点设备可以接收压测集群中主设备下发的压测脚本并进行压力测试。

通过上述措施，在压测集群的资源达到瓶颈时，可以自动扩增压测集群，降低了配置节点设备的人工成本和时间成本。

在一实施例中，管理服务端还可以监控各个节点设备的运行情况，以确定是否出现故障，例如假设确定某一节点设备运行情况异常，则可通过远端控制方式关闭该节点设备，并选择一个候选设备替换该节点设备进行工作，从而实现保证测试不停机，提升效率。

在一实施例中，管理服务端在执行步骤410时，可以周期性获取压测集群中节点设备的资源指标数据。这里，周期时长可以基于经验预配置。示例性的，管理服务端可以每隔5分钟获取节点设备的资源指标数据。

需要说明的是，管理服务端还可以实时获取压测集群中节电设备的资源指标数据，也可在接收到指令时，获取压测集群中节电设备的资源指标数据，对此不做任何限定。

通过该措施，管理服务端可以周期性对压测集群的资源使用情况进行判断，从而在资源不足时及时扩增压测集群。

在一实施例中，管理服务端在获取节点设备的资源指标数据之前，可以与节点设备建立SHH(Secure Shell，安全外壳协议)连接，从而避免节点设备的资源指标数据泄露。

在一实施例中，管理服务端可以通过多种资源指标数据来判断压测集群的资源使用情况，此时，可将每一资源指标数据作为一种子指标数据，多种子指标数据构成整体的资源指标数据。在这种情况下，子指标数据对应的资源指标限额可认为是子指标限额。示例性的，子指标数据包括内存使用率、CPU利用率、磁盘使用率、网络带宽，与内存使用率对应的子指标限额为75％、与CPU利用率对应的子指标限额为80％、与磁盘使用率对应的子指标限额为80％、与网络带宽对应的子指标限额为1Mb/s。

管理服务端可以从节点设备获取至少两种子指标数据，在执行步骤420时，可以判断节点设备的子指标数据中是否存在至少一个子指标数据达到其对应的子指标限额。

一方面，若所有子指标数据均为达到其对应的子指标限额，说明压测集群的资源尚未达到瓶颈，可以不作处理。另一方面，若存在至少一个子指标数据达到其对应的子指标限额，说明压测集群的资源达到瓶颈，管理服务端可以对扩展压测集群。

在一实施例中，可以在管理服务端设置相应的报警装置，例如报警灯、报警喇叭等，当资源指标数据达到资源指标限额时，除了可以自动计算并接入若干候选设备之外，还可通过报警装置，通知相关人员，来选择合适的候选设备加入到压测集群中，对此不做赘述。

在一实施例中，管理服务端在执行步骤430时，可以依据指定压测数据和资源指标数据达到资源指标限额时节点设备的压测数据，确定新增节点设备的目标数量。

其中，指定压测数据是压力测试的目标，示例性的，指定压测数据可以是指定的QPS(Queries Per Second，每秒查询率)。

管理服务端在获取节点设备的资源指标数据时，可以同时获取节点设备的压测数据，并记录资源指标数据和压测数据之间的映射关系。当资源指标数据达到资源指标限额时，管理服务端可以确定当前节点设备的压测数据。管理服务端可以依据指定压测数据和单一节点设备在资源指标数据达到资源指标限额时的压测数据，确定在达到指定压测数据时所需要的节点设备总量，并减去当前压测集群中节点设备的总量，从而得到新增节点设备的目标数量。

管理服务端可以依据目标数量选择候选设备，作为新增节点设备，并对新增节点设备配置IP地址和端口号，使得新增节点设备加入至压测集群。

通过该措施，可以使得扩增后的压测集群可以满足压力测试的需求。

参见图5，为本申请一实施例提供的分布式压力测试装置的框图，如图5所示，该装置可以包括：

获取模块510，用于获取压测集群中节点设备的资源指标数据；

判断模块520，用于判断所述节点设备的资源指标数据是否达到预设资源指标限额；

新增模块530，用于若是，选择若干候选设备作为新增节点设备，加入所述压测集群；

启动模块540，用于启动所述新增节点设备进行压力测试。

在一实施例中，所述获取模块510，还用于：

周期性获取压测集群中节点设备的资源指标数据。

在一实施例中，所述装置还包括：

连接模块550，用于与所述节点设备建立安全外壳协议SSH连接。

在一实施例中，所述判断模块520，还用于：

在一实施例中，所述新增模块530，还用于：

选择目标数量的候选设备作为所述新增节点设备；

对所述新增节点设备进行配置。

上述装置中各个模块的功能和作用的实现过程具体详见上述分布式压力测试方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种分布式压力测试系统，其特征在于，包括压测集群以及压测管理平台，所述压测管理平台包括配置组件、探测组件以及调节组件，其中：

2.一种分布式压力测试方法，其特征在于，包括：

获取压测集群中节点设备的资源指标数据；

启动所述新增节点设备进行压力测试。

3.根据权利要求2所述的方法，其特征在于，所述获取压测集群中节点设备的资源指标数据，包括：

周期性获取压测集群中节点设备的资源指标数据。

4.根据权利要求2或3所述的方法，其特征在于，在获取所述资源指标数据之前，所述方法还包括：

与所述节点设备建立安全外壳协议SSH连接。

5.根据权利要求2所述的方法，其特征在于，所述资源指标数据包括至少两个子指标数据，所述资源指标限额包括与每一子指标数据对应的子指标限额；

6.根据权利要求2所述的方法，其特征在于，所述选择若干候选设备作为新增节点设备，加入所述压测集群，包括：

选择目标数量的候选设备作为所述新增节点设备；

对所述新增节点设备进行配置。

7.一种分布式压力测试装置，其特征在于，包括：

获取模块，用于获取压测集群中节点设备的资源指标数据；

启动模块，用于启动所述新增节点设备进行压力测试。

8.根据权利要求7所述的装置，其特征在于，所述新增模块，还用于：

选择目标数量的候选设备作为所述新增节点设备；

对所述新增节点设备进行配置。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求2-6任意一项所述的分布式压力测试方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求2-6任意一项所述的分布式压力测试方法。