CN108932182A - 一种消息总线性能测试方法及系统 - Google Patents

Abstract

本发明涉及一种消息总线性能测试方法及系统，向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例，通过该测试过程实现数据容量的测试。以容量上限值的第一倍数(比如50％)作为第一发送量发送数据，计算数据处理速率，然后逐渐增大发送量，并计算数据处理速率，直至发送量增大至容量上限值，测试数据处理速率的上限值，实现数据处理效率的测试。因此，该测试方法能够对消息总线的容量和/或数据处理效率进行测试，实现了对消息总线的深入化测试，提升了测试可靠性，并实现了消息总线性能测试的自动化，减小了测试误差，提升了测试质量。

Description

一种消息总线性能测试方法及系统

技术领域

本发明涉及一种消息总线性能测试方法及系统。

背景技术

消息总线服务为进程间(多台计算机之间或一台计算机内部)的消息传输提供支持，具有消息主题的创建/删除、消息的订阅/发布等功能，以接口函数的形式提供给各类应用；具有组播、广播和点到点传输形式等功能，支持一对多、一对一的信息交换场合。当发送者需要分发一组新的消息时，它向消息总线服务器发出一个请求，消息总线服务器会负责把请求递送给所有的订阅者。

消息总线服务为应用系统的各个模块提供基于主题的消息订阅和发布，消息总线服务应考虑系统的集群部署、系统冗余功能等。消息总线服务应具备足够的吞吐量，处理大量消息传递能力，所以较高的性能是消息总线的基本要求。

目前，业内针对消息总线性能没有统一的测试方法，测试手段大多是人工统计并记录，这样不仅效率低，且误差大，所以一种有效测试方法及工具的提出显得很有必要。而且，申请公开号为CN104852825A的中国专利申请文件公开了一种总线通讯测试方法，首先计算总线负载率，然后增加总线负载率至负载率阈值，最后观察是否出现丢帧和/或报文延时情况，如果没有出现，则判断测试合格，否则测试不合格。该方法只是简单地根据总线负载率判断是否出现丢帧和/或报文延时情况，并没有对总线的性能测试做具体说明；并且总线的测试过程也比较简单，没有对总线进行较为深入的测试，测试可靠性较低，不能满足消息总线的测试需求。

发明内容

本发明的目的是提供一种消息总线性能测试方法，用以解决现有的总线测试方法过程比较简单，没有对总线性能，特别是总线数据进行较为深入的测试，进而造成测试可靠性较低的问题。本发明同时提供一种消息总线性能测试系统。

为实现上述目的，本发明包括以下技术方案。

一种消息总线性能测试方法，包括数据容量测试策略和/或数据处理效率测试策略；

所述数据容量测试策略包括以下过程：向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例；

所述数据处理效率测试策略包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略中的至少一个；

所述生产者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录生产者的生产时间，计算生产者的数据处理速率，直至发送量增大至容量上限值，测试生产者的数据处理速率的下限值；

所述消费者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录消费者的消费时间，计算消费者的数据处理速率，直至发送量增大至容量上限值，测试消费者的数据处理速率的下限值；

所述单条生产者生产速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率；

所述单条消费者接收速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。

向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例，通过该测试过程实现数据容量的测试。数据处理效率测试策略中，测试数据处理速率的下限值，即最小速率，作为消息总线的处理速率，该测试过程的主要目的是测试消息总线满负载时的处理速率，即向消息总线发送数据大小为容量上限值时，根据消息总线的处理时间能够检测出消息总线在不同负载情况下的处理速率。其中，生产者数据处理速率测试策略的主要目的是测试消息总线满负载时生产者的处理速率，即向消息总线发送数据大小为容量上限值时，根据消息总线的处理时间能够检测出数据生产者在消息总线不同负载情况下的处理速率；消费者数据处理速率测试策略的主要目的是测试消息总线满负载时消费者的处理速率，即从消息总线接收数据大小为容量上限值时，根据消息总线的处理时间能够检测出消费者在消息总线不同负载情况下的处理速率；单条生产者生产速率测试策略的主要目的是在消息总线满负载运行的情况下，即以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率；单条消费者接收速率测试策略的主要目的是在消息总线满负载运行的情况下，即以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。而且，在上述两个单条相关测试策略中，消息总线满负载运行即认为是网络风暴情况，因此，单条数据处理速率测试时，不需要逐渐增加发送数据量。因此，通过本方案提供的测试方法能够对消息总线的容量(吞吐量)和/或数据处理效率进行测试，总线的测试过程虽然比较简单，但是，实现了对消息总线的深入化测试，对消息总线的性能进行了有效地检测，提升了测试可靠性。并实现了消息总线性能测试的自动化，提高了测试效率，减小了测试误差，提升了测试质量。

进一步地，所述测试方法同时包括所述数据容量测试策略和数据处理效率测试策略，所述数据处理效率测试策略同时包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略。

进一步地，所述上限值与单机最大容量是否成正比例的实现过程包括以下步骤：

1)消息总线所部署的计算机的最大容量为a时，测试并记录消息总线容量上限值为x；消息总线所部署的计算机的最大容量为b时，测试并记录消息总线容量上限值为y；消息总线所部署的计算机的最大容量为c时，测试并记录消息总线容量上限值为z；

2)检测x、y、z是否与a、b、c成正比例，以检测消息总线的数据容量是否与所部署计算机的最大容量成正比，以检测消息总线数据容量与所部署计算机的关系。

一种消息总线性能测试系统，包括性能测试工具，所述性能测试工具包括测试数据生产模块、测试数据发送模块、数据接收模块和性能指标统计并记录模块；

所述测试数据生成模块能够按照用户的需求自动生产测试数据，生成的测试数据供测试数据发送模块使用；

所述测试数据发送模块实现向消息总线发送数据，以供消费者接收数据；

所述数据接收模块实现消费者订阅功能，完成数据的接收；

所述性能指标统计并记录模块用于统计并记录数据的相关性能指标；

所述性能测试工具实现数据容量测试策略和/或数据处理效率测试策略：

所述数据容量测试策略包括以下过程：向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例；

所述数据处理效率测试策略包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略中的至少一个；

所述生产者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录生产者的生产时间，计算生产者的数据处理速率，直至发送量增大至容量上限值，测试生产者的数据处理速率的下限值；

所述消费者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录消费者的消费时间，计算消费者的数据处理速率，直至发送量增大至容量上限值，测试消费者的数据处理速率的下限值；

所述单条生产者生产速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率；

所述单条消费者接收速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。

进一步地，所述性能测试工具同时实现所述数据容量测试策略和数据处理效率测试策略，所述数据处理效率测试策略同时包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略。

进一步地，所述上限值与单机最大容量是否成正比例的实现过程包括以下步骤：

1)消息总线所部署的计算机的最大容量为a时，测试并记录消息总线容量上限值为x；消息总线所部署的计算机的最大容量为b时，测试并记录消息总线容量上限值为y；消息总线所部署的计算机的最大容量为c时，测试并记录消息总线容量上限值为z；

2)检测x、y、z是否与a、b、c成正比例，以检测消息总线的数据容量是否与所部署计算机的最大容量成正比，以检测消息总线数据容量与所部署计算机的关系。

附图说明

图1是性能测试工具的功能结构示意图；

图2是消息总线性能测试的硬件环境图；

图3是消息总线的性能测试工具的工作流程图。

具体实施方式

消息总线性能测试系统实施例

本实施例提供一种消息总线性能测试系统，包括消息总线的性能测试工具。图1为消息总线的性能测试工具的一种功能结构图，如图1所示，性能测试工具所涉及的都是软件部分，即性能测试工具中包含的功能模块均为软件模块，性能测试工具包括测试数据生产模块、测试数据发送模块、数据接收模块和性能指标统计并记录模块(也称为性能指标自动统计并记录模块)。

测试数据生成模块能够按照用户的需求自动生产测试数据(即测试用例)，如每条数据多少字节，生成多条数据等，生成的测试数据供测试数据发送模块使用。

测试数据发送模块实现向消息总线发送数据，即数据的生产者，这些数据供订阅者(即消费者)接收数据。

数据接收模块实现消费者订阅功能，即完成数据的接收。

性能指标统计并记录模块用于统计并记录数据的相关性能指标，比如发送总量、接收总量、发送时间、接收时间等。

图2为消息总线性能测试的一种具体的硬件架构图，如图2所示，消息总线性能测试系统对应的硬件环境包括三台服务器互为主备，多个客户端独立生产或消费数据。消息总线选用开源软件kafka，分别部署在三台服务器上。本次选用两个客户端，因为测试网络风暴下单条消息的处理效率时，需要使用一个客户端来模拟网络风暴。客户端上分别安装消息总线性能测试工具。当然，消息总线性能测试系统并不局限于上述硬件环境结构。

图3为该消息总线的性能测试工具的工作流程图。如图3所示，使用该性能测试工具进行测试时，首先启动kafka服务，然后根据测试性能指标的需要生成测试数据；接着点击发送数据，完成消息总线上数据的生产过程；再者就是从消息总线上接收数据，完成数据的订阅消费过程；最后统计并记录这些具体的性能指标数据。

因此，该性能测试工具的测试过程就是本实施例提供的消息总线的性能测试方法。该性能测试方法包括：数据容量测试策略和/或数据处理效率测试策略，数据容量测试策略用于对总线数据容量进行测试，数据处理效率测试策略用于对总线数据处理效率进行测试。该性能测试方法可以包括数据容量测试策略和数据处理效率测试策略中的任意一个，也可以同时包括这两个测试策略。作为一个具体实施方式，该性能测试方法同时包括数据容量测试策略和数据处理效率测试策略。其中，数据容量是指消息总线的数据吞吐量。

数据容量测试策略采用控制变量的方式进行测试，包括以下过程：向消息总线中发送测试用例，并逐渐增大测试用例中的消息数量和单个消息的大小，将数据总量逐级增加，测试容量上限，记录上限值与单机最大容量是否成正比例。当然，为了正常测试，在上限范围内，单机或集群各项功能正常工作。

以下给出上限值与单机最大容量是否成正比例的一种具体的实现过程，当然，就方法整体而言，并不局限于下述步骤：

1)消息总线所部署的计算机的最大容量为a时，测试并记录消息总线容量上限值为x；消息总线所部署的计算机的最大容量为b时，测试并记录消息总线容量上限值为y；消息总线所部署的计算机的最大容量为c时，测试并记录消息总线容量上限值为z；

2)检测x、y、z是否与a、b、c成正比例，以检测消息总线的数据容量是否与所部署计算机的最大容量成正比，以检测消息总线数据容量与所部署计算机的关系。

数据处理效率测试策略的整体实现过程为：以容量上限值的第一倍数作为第一发送量发送数据，计算数据处理速率，然后逐渐增大发送量，并计算数据处理速率，直至发送量增大至容量上限值，以测试数据处理速率的下限值，即最小速率，作为消息总线的处理速率。而且，数据处理效率包括生产者数据处理速率、消费者数据处理速率、网络风暴中单条生产者生产速率和网络风暴中单条消费者接收速率中的至少一个，用于实现对应的速率测试，即数据处理效率测试策略包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、网络风暴中单条生产者生产速率测试策略和网络风暴中单条消费者接收速率测试策略中的至少一个。作为一个优化的实施方式，数据处理效率同时包括生产者数据处理速率、消费者数据处理速率、网络风暴中单条生产者生产速率和网络风暴中单条消费者接收速率。相应地，数据处理效率测试策略同时包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、网络风暴中单条生产者生产速率测试策略和网络风暴中单条消费者接收速率测试策略。

以下对上述四个速率测试策略分别进行说明。

生产者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录生产者的生产时间，计算生产者的数据处理速率，直至发送量增大至容量上限值，测试生产者的数据处理速率的下限值，即最小速率，作为消息总线生产者的处理速率。当然，为了正常测试，在上限范围内，单机或集群各项功能正常工作。以下给出一种具体实例：启用测试用例，以50％容量上限值发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐步提升到80％容量上限值发送量，记录生产者生产时间，计算生产者数据处理速率，直至发送量提升至容量上限值，借此测试生产者数据处理速率的下限值。

消费者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录消费者的消费时间，计算消费者的数据处理速率，直至发送量增大至容量上限值，测试消费者的数据处理速率的下限值，即最小速率，作为消息总线消费者的处理速率。以下给出一种具体实例：启用测试用例，以50％容量上限值发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐步提升到80％容量上限值发送量，记录消费者消费时间，计算消费者数据处理速率，直至发送量提升至容量上限值，借此测试消费者数据处理速率的下限值。

网络风暴中单条生产者生产速率测试策略包括以下过程：消息总线满负载运行的情况下，即以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率。

网络风暴中单条消费者接收速率测试策略包括以下过程：消息总线满负载运行的情况下，即以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。

消息总线满负载运行，即认为是网络风暴情况。因此，单条数据处理速率测试时，不需要逐渐增加发送数据量。

以上给出了具体的实施方式，但本发明不局限于所描述的实施方式。本发明的基本思路在于上述消息总线的性能测试方法的实现过程，并不局限于该方法所对应的测试系统以及硬件环境。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。

消息总线性能测试方法实施例

本实施例提供一种消息总线性能测试方法，该性能测试方法的具体实现过程在上述系统实施例中已给出了详细地描述，这里就不再具体说明。当然，该方法并不局限于上述系统实施例中给出的硬件系统结构。

Claims (6)

1.一种消息总线性能测试方法，其特征在于，包括数据容量测试策略和/或数据处理效率测试策略；

所述数据容量测试策略包括以下过程：向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例；

所述数据处理效率测试策略包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略中的至少一个；

所述生产者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录生产者的生产时间，计算生产者的数据处理速率，直至发送量增大至容量上限值，测试生产者的数据处理速率的下限值；

所述消费者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录消费者的消费时间，计算消费者的数据处理速率，直至发送量增大至容量上限值，测试消费者的数据处理速率的下限值；

所述单条生产者生产速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率；

所述单条消费者接收速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。

2.根据权利要求1所述的消息总线性能测试方法，其特征在于，所述测试方法同时包括所述数据容量测试策略和数据处理效率测试策略，所述数据处理效率测试策略同时包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略。

3.根据权利要求1或2所述的消息总线性能测试方法，其特征在于，所述上限值与单机最大容量是否成正比例的实现过程包括以下步骤：

1)消息总线所部署的计算机的最大容量为a时，测试并记录消息总线容量上限值为x；消息总线所部署的计算机的最大容量为b时，测试并记录消息总线容量上限值为y；消息总线所部署的计算机的最大容量为c时，测试并记录消息总线容量上限值为z；

2)检测x、y、z是否与a、b、c成正比例，以检测消息总线的数据容量是否与所部署计算机的最大容量成正比，以检测消息总线数据容量与所部署计算机的关系。

4.一种消息总线性能测试系统，其特征在于，包括性能测试工具，所述性能测试工具包括测试数据生产模块、测试数据发送模块、数据接收模块和性能指标统计并记录模块；

所述测试数据生成模块能够按照用户的需求自动生产测试数据，生成的测试数据供测试数据发送模块使用；

所述测试数据发送模块实现向消息总线发送数据，以供消费者接收数据；

所述数据接收模块实现消费者订阅功能，完成数据的接收；

所述性能指标统计并记录模块用于统计并记录数据的相关性能指标；

所述性能测试工具实现数据容量测试策略和/或数据处理效率测试策略：

所述数据容量测试策略包括以下过程：向消息总线中发送测试用例，然后逐渐增大测试用例中的消息数量和单个消息的大小，逐级增加数据总量，测试容量上限，记录上限值与单机最大容量是否成正比例；

所述数据处理效率测试策略包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略中的至少一个；

所述生产者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录生产者的生产时间，计算生产者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录生产者的生产时间，计算生产者的数据处理速率，直至发送量增大至容量上限值，测试生产者的数据处理速率的下限值；

所述消费者数据处理速率测试策略包括以下过程：启用测试用例，以容量上限值的第一倍数作为第一发送量发送数据，记录消费者的消费时间，计算消费者的数据处理速率；然后，更改测试用例，逐渐增大发送量，记录消费者的消费时间，计算消费者的数据处理速率，直至发送量增大至容量上限值，测试消费者的数据处理速率的下限值；

所述单条生产者生产速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，记录生产者生产一条消息的时间，计算生产者单条数据处理速率；

所述单条消费者接收速率测试策略包括以下过程：消息总线满负载运行的情况下，以容量上限值大小的数据量向消息总线发送数据，并同时接收数据，记录消费者消费一条消息的时间，计算消费者单条数据处理速率。

5.根据权利要求4所述的消息总线性能测试系统，其特征在于，所述性能测试工具同时实现所述数据容量测试策略和数据处理效率测试策略，所述数据处理效率测试策略同时包括生产者数据处理速率测试策略、消费者数据处理速率测试策略、单条生产者生产速率测试策略和单条消费者接收速率测试策略。

6.根据权利要求4或5所述的消息总线性能测试系统，其特征在于，所述上限值与单机最大容量是否成正比例的实现过程包括以下步骤：

1)消息总线所部署的计算机的最大容量为a时，测试并记录消息总线容量上限值为x；消息总线所部署的计算机的最大容量为b时，测试并记录消息总线容量上限值为y；消息总线所部署的计算机的最大容量为c时，测试并记录消息总线容量上限值为z；

2)检测x、y、z是否与a、b、c成正比例，以检测消息总线的数据容量是否与所部署计算机的最大容量成正比，以检测消息总线数据容量与所部署计算机的关系。