CN107643983B - 一种测试数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种测试数据处理方法，适于在测试数据处理系统中执行，测试数据处理系统包括数据库服务器、汇聚计算服务器和多个负载机，每个负载机适于通过执行压力测试来获取相应的测试数据，该方法包括：各负载机分别将其获取到的测试数据进行汇总处理；将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据；按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器；汇聚计算服务器对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据；将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据；将第二压缩数据按照预设的第三时间间隔发送至数据库服务器。

Description

一种测试数据处理方法及系统

技术领域

本发明涉及软件测试领域，特别涉及一种测试数据处理方法及系统。

背景技术

随着互联网技术的不断发展，越来越多的网络软件开始投入到使用中。而在软件的开发过程中，测试工作在其整个开发的生命周期中占有举足轻重的地位。软件测试是指通过测试软件的各项功能以发现其中存在的缺陷的过程，软件自动化测试作为软件测试技术的一个分支，是在传统的代码调试和黑盒手工测试的基础上新兴的一种测试技术。而压力测试作为软件自动化测试的一种，是指模拟实际应用的软硬件环境及用户使用过程的系统负荷，长时间或超大负荷地运行被测软件，来测试被测软件的性能、可靠性、稳定性。

对于压力测试而言，最为重要的就是测试数据，而测试数据中包含了各类指标数据，若想提供准确的指标数据则缺少不了各种计算，把进行压力测试过程中每个时刻的原始数据进行分析计算并呈现给用户是必要环节。由于压力测试所获取到的指标数据一般是秒级的响应，而现有的测试数据处理技术在面对如此高速响应的数据时，多是直接通过汇总计算来对指标数据进行相加和剔除处理，导致数据传输、相加和存储过程中存在较大的计算量和时间消耗，无法满足用户对于数据准确性和呈现速度的较高要求。因此，需要一种新的测试数据处理方案来改进上述处理过程。

发明内容

为此，本发明提供一种测试数据处理的技术方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种测试数据处理方法，适于在测试数据处理系统中执行，测试数据处理系统包括数据库服务器、汇聚计算服务器和多个负载机，汇聚计算服务器分别与数据库服务器和多个负载机通信连接，每个负载机适于通过执行压力测试来获取相应的测试数据，该方法包括如下步骤：首先，各负载机分别将其获取到的测试数据进行汇总处理；将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据；按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器；汇聚计算服务器对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据；将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据；将第二压缩数据按照预设的第三时间间隔发送至数据库服务器。

可选地，在根据本发明的测试数据处理方法中，负载机具有一个或多个可用线程，各负载机分别将其获取到的测试数据进行汇总处理的步骤包括：各负载机分别获取其基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据；将获取到的测试数据进行汇总处理。

可选地，在根据本发明的测试数据处理方法中，将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据的步骤包括：将汇总后的测试数据按照预设的第一格式进行压缩处理；将压缩处理后的测试数据作为对应的第一压缩数据。

可选地，在根据本发明的测试数据处理方法中，将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据的步骤包括：将格式压缩前的测试数据进行汇聚压缩，以生成第二时间间隔内接收到的测试数据所对应的阶段性压缩数据；根据阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据；将阶段性压缩数据和累计性压缩数据作为第二压缩数据。

可选地，在根据本发明的测试数据处理方法中，测试数据包括一种或多种指标数据，将格式压缩前的测试数据进行汇聚压缩的步骤包括：对格式压缩前的测试数据所包括的每一种指标数据，将新接收到的指标数据与之前接收的指标数据进行数值比较；若之前接收的指标数据中存在与新接收到的指标数据相同的数值，则将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数；若之前接收的指标数据中不存在与新接收到的指标数据相同的数值，则将新接收到的指标数据进行单独存储。

可选地，在根据本发明的测试数据处理方法中，测试数据处理系统还包括统计计算服务器，统计计算服务器分别与数据库服务器和多个负载机通信连接，测试数据包括常规类数据和统计类数据，在各负载机分别将其获取到的测试数据进行汇总处理的步骤之后，方法还包括：各负载机将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据；按照第一时间间隔将第三压缩数据上传至统计计算服务器；统计计算服务器对从各负载机接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据；将格式压缩前的统计类数据进行整理计算，以生成测试统计结果，并在压力测试执行完毕后发送至数据库服务器。

可选地，在根据本发明的测试数据处理方法中，第一格式为二进制格式。

根据本发明的又一个方面，还提供一种测试数据处理系统，包括数据库服务器、汇聚计算服务器和多个负载机，汇聚计算服务器分别与数据库服务器和多个负载机通信连接，每个负载机适于通过执行压力测试来获取相应的测试数据，其中，负载机包括第一数据处理装置，第一数据处理装置包括汇总模块、格式压缩模块和上传模块。其中，汇总模块适于将该负载机获取到的测试数据进行汇总处理；格式压缩模块适于将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据；上传模块适于按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器。

可选地，在根据本发明的测试数据处理系统中，负载机具有一个或多个可用线程，汇总模块进一步适于：获取其基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据；将获取到的测试数据进行汇总处理。

可选地，在根据本发明的测试数据处理系统中，格式压缩模块进一步适于：将汇总后的测试数据按照预设的第一格式进行压缩处理；将压缩处理后的测试数据作为对应的第一压缩数据。

可选地，在根据本发明的测试数据处理系统中，汇聚计算服务器包括第二数据处理装置，第二数据处理装置包括第一解压模块、汇聚压缩模块和第一发送模块。其中，第一解压模块适于对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据；汇聚压缩模块适于将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据；第一发送模块适于将第二压缩数据按照预设的第三时间间隔发送至数据库服务器。

可选地，在根据本发明的测试数据处理系统中，汇聚压缩模块进一步适于：将格式压缩前的测试数据进行汇聚压缩，以生成第二时间间隔内接收到的测试数据所对应的阶段性压缩数据；根据阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据；将阶段性压缩数据和累计性压缩数据作为第二压缩数据。

可选地，在根据本发明的测试数据处理系统中，测试数据包括一种或多种指标数据，汇聚压缩模块进一步适于：对格式压缩前的测试数据所包括的每一种指标数据，将新接收到的指标数据与之前接收的指标数据进行数值比较；当之前接收的指标数据中存在与新接收到的指标数据相同的数值时，将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数；当之前接收的指标数据中不存在与新接收到的指标数据相同的数值时，将新接收到的指标数据进行单独存储。

可选地，在根据本发明的测试数据处理系统中，该系统还包括统计计算服务器，统计计算服务器分别与数据库服务器和多个负载机通信连接，测试数据包括常规类数据和统计类数据，在该系统中：格式压缩模块还适于将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据；上传模块还适于按照第一时间间隔将第三压缩数据上传至统计计算服务器。

可选地，在根据本发明的测试数据处理系统中，统计计算服务器包括第三数据处理装置，第三数据处理装置包括第二解压模块、整理计算模块和第二发送模块。其中，第二解压模块适于对从各负载机接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据；整理计算模块适于将格式压缩前的统计类数据进行整理计算，以生成测试统计结果；第二发送模块适于在压力测试执行完毕后将测试统计结果发送至数据库服务器。

可选地，在根据本发明的测试数据处理系统中，第一格式为二进制格式。

根据本发明的测试数据处理的技术方案，各负载机对测试数据汇总处理后进行格式压缩，以生成对应的第一压缩数据，按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器，而汇聚计算服务器对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据格式进行格式解压，并将格式压缩前的测试数据进行汇聚压缩以生成第二压缩数据，最后将第二压缩数据按照预设的第三时间间隔发送至数据库服务器。在上述方案中，测试数据在发送至汇聚计算服务器前进行了一次压缩，便于数据传输和后期处理，而在汇聚计算服务器中进行了二次压缩，将生成的阶段性压缩数据和累计性压缩数据作为第二压缩数据上传至数据库服务器，提高了测试数据传输、相加和存储过程中的计算速度和处理效率，降低了时间成本。进一步的，还可以通过统计计算服务器来对各负载机相关的测试数据中的统计类数据进行整理计算，以生成测试统计结果，并在压力测试执行完毕后发送给数据库服务器，以提供具有统计意义的相关指标信息，完善压力测试的指标分析结果。此外，数据库服务器在通过如浏览器等软件向用户展示压力测试数据时，考虑到浏览器的承受能力，会对待展示的测试数据进行抽样处理，以便提供更好的实时查看体验。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的测试数据处理系统100的示意图；

图2示出了根据本发明的一个实施例的测试数据处理方法200的流程图；

图3示出了根据本发明的又一个实施例的测试数据处理系统300的示意图；

图4示出了根据本发明的一个实施例的第一数据处理装置410的示意图；

图5示出了根据本发明的一个实施例的第二数据处理装置510的示意图；以及

图6示出了根据本发明的又一个实施例的第三数据处理装置610的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的测试数据处理系统100的示意图。应当指出，图1中的测试数据处理系统100仅是示例性的，在具体的实践情况中，测试数据处理系统100中可以有不同数量的数据库服务器、汇聚计算服务器和负载机，本发明对测试数据处理系统100中所包括的数据库服务器、汇聚计算服务器和负载机的数量不做限制。如图1所示，测试数据处理系统100包括负载机400、700，汇聚计算服务器500和数据库服务器800。其中，汇聚计算服务器500分别与数据库服务器800和负载机400、700通信连接，负载机400和700适于通过执行压力测试来获取相应的测试数据。具体来说，负载机400和700分别将其获取到的测试数据进行汇总处理，将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据，并按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器500，汇聚计算服务器500对在预设的第二时间间隔内、从负载机400和700接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据，再将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据，最后将第二压缩数据按照预设的第三时间间隔发送至数据库服务器800。

图2示出了根据本发明一个实施例的测试数据处理方法200的流程图。测试数据处理方法200适于在测试数据处理系统100中执行。如图2所示，方法200始于步骤S210。在步骤S210中，负载机400和700分别将其获取到的测试数据进行汇总处理。根据本发明的一个实施例，负载机具有一个或多个可用线程，可通过以下方式来对获取到的测试数据进行汇总处理。首先，负载机400和700分别获取其基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据，然后，再将获取到的测试数据进行汇总处理。为便于描述，以下以负载机400为例将其对获取到的测试数据进行汇总处理的过程予以说明。

在该实施方式中，负载机400具有30个可用线程，先获取基于着30个可用线程执行压力测试后、生成的对应数量的测试数据，并将各测试数据分发到数据输入队列中。其中，测试数据的格式一般为JSON格式。在负载机400中，会启用计算服务来监听数据输入队列，当数据输入队列中放入测试数据后，会取出测试数据并进行解析，以获取不同测试指标对应的数据作为指标数据来形成解析结果，不同的指标数据具有不同的数据标识。由于每个负载机中都会预先被调度分配相应的子计算线程，则获取负载机400中子计算线程的数量，获取指标数据对应的数据标识与子计算线程的数量取余后的结果，将该指标数据分发到具有与该结果相同的线程标识的子计算线程的输入队列中。其中，子计算线程的数量优选为5。对于子计算线程而言，会监听自己的输入队列中，若该输入队列中有新的指标数据时，子计算线程会将该指标数据取出，并与当前缓存中的累计指标数据进行计算，将计算后的结果作为新的累计指标数据进行缓存。至此，负载机400所获取到的测试数据完成汇总处理，形成了累计指标数据。

随后，进入步骤S220，负载机400和700将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据。根据本发明的一个实施例，可按照以下方式来对汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据。负载机400和700先将汇总后的测试数据按照预设的第一格式进行压缩处理，再将压缩处理后的测试数据作为对应的第一压缩数据，其中，第一格式为二进制格式。为便于描述，以下以负载机400为例对将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据的过程予以说明。在该实施方式中，负载机400对汇总后的测试数据，即步骤S210中得到的累计指标数据按照二进制格式进行压缩处理，将压缩处理后的该数据作为对应的第一压缩数据。需要说明的是，对于对上述汇总后的测试数据进行压缩处理的过程，根据实际情况的不同可采取相应的格式压缩算法，这些格式压缩算法对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

接下来，执行步骤S230，负载机400和700按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器500。为便于描述，以下以负载机400为例对按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器500的过程予以说明。根据本发明的一个实施例，第一时间间隔预设为1000毫秒，则对子计算线程而言，当达到1000毫秒的发送时间间隔后，子计算线程会将从步骤S220中获取到的第一压缩数据放到发送队列中，同时清空缓存，等待计算新的累计指标数据。而发送队列监听线程会监听发送队列，当发送队列中有新的数据时，会将第一压缩数据上传至汇聚计算服务器500。

值得注意的是，考虑到负载机的数量可能较为庞大，这样汇聚计算服务器500需要处理的测试数据是海量的，为了降低后续数据处理的难度和时间成本，可以在负载机与汇聚计算服务器500之间设置一定数量的中间处理服务器，用于进一步汇总计算各负载机发送的测试数据，再将处理后的测试数据发送给汇聚计算服务器500，从而提高计算速度。关于中间处理服务器对测试数据进行处理的过程，可参照步骤S210～S230中负载机对测试数据的处理步骤，此处不再赘述。

在负载机400和700将各自的第一压缩数据上传至汇聚计算服务器500后，进入步骤S240，汇聚计算服务器500对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据。根据本发明的一个实施例，第二时间间隔预设为1000毫秒，汇聚计算服务器500对每隔1000毫秒、从负载机400和700接收到的第一压缩数据进行格式解压，将二进制格式的第一压缩数据解压成JSON格式，从而获取格式压缩前的测试数据。

在步骤S250中，汇聚计算服务器500将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据。根据本发明的一个实施例，可通过以下方式将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据。首先，将格式压缩前的测试数据进行汇聚压缩，以生成第二时间间隔内接收到的测试数据所对应的阶段性压缩数据，然后，根据阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据，最后将阶段性压缩数据和累计性压缩数据作为第二压缩数据。

在该实施方式中，由于测试数据包括一种或多种指标数据，因此在将格式压缩前的测试数据进行汇聚压缩时，对格式压缩前的测试数据所包括的每一种指标数据，先将新接收到的指标数据与之前接收的指标数据进行数值比较，若之前接收的指标数据中存在与新接收到的指标数据相同的数值，则将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数，若之前接收的指标数据中不存在与新接收到的指标数据相同的数值，则将新接收到的指标数据进行单独存储。比如，汇聚计算服务器500在执行完格式解压处理后得到的测试数据C1包括5种指标数据，分别为指标数据D1、D2、D3、D4和D5。对指标数据D1而言，新接收到的指标数据D1的数值为3.26，此时先将新接收到的指标数据D1与之前接收的指标数据D1进行数值比较，由于之前接收到的指标数据D1中存在与新接收到的指标数据D1相同的数值，且具有相同数值的指标数据D1的重复次数为131，则将具有相同数值的指标数据D1进行次数累加，以得到该指标数据D1的重复次数为131+1＝132。此时，对与该指标数据D1不再进行存储操作。而对指标数据D2来说，新接收到的指标数据D2的数值为1.79，此时先将新接收到的指标数据D2与之前接收的指标数据D2进行数值比较，由于之前接收的指标数据D2中不存在与新接收到的指标数据D2相同的数值，则将新接收到的指标数据D2进行单独存储，并将该指标数据D2的重复次数记为1。对于指标数据D3、D4和D5的汇聚压缩处理，与指标数据D1和D2相同，此处不再赘述。

至此，将指标数据D1～D5进行汇聚压缩后的结果作为测试数据C1所对应的阶段性压缩数据。而在汇聚计算服务器500中，存储有接收测试数据C1前所接收到的测试数据C1对应的累计性压缩数据，此时根据该阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据，并将该阶段性压缩数据和该累计性压缩数据作为测试数据C1对应的第二压缩数据。值得注意的是，由于测试数据C1是包括指标数据D1～D5的，因此测试数据C1所对应的阶段性压缩数据和累计性压缩数据，均包括了对应指标数据D1～D5的5种数据。

最后，在步骤S260中，汇聚计算服务器500将该第二压缩数据按照预设的第三时间间隔发送至数据库服务器800。根据本发明的一个实施例，第三时间间隔预设为1000毫秒，则汇聚计算服务器500将从步骤S250中生成的第二压缩数据以1000毫秒为时间间隔发送至数据库服务器800。对数据库服务器800来说，会对接收到的第二压缩数据先进行抽样处理，再将抽样后的数据发送至浏览器一类的软件向用户实时展示压力测试数据，降低浏览器对海量数据展示的压力，提供更好的实时查看体验。此外，需要说明的是，汇聚计算服务器500在执行步骤S240～260时，具体涉及线程级的运算和调度，可以参考负载机300和400对测试数据进行处理的过程，上述关于线程上的处理对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

考虑到测试数据通常包括常规类数据和统计类数据，而统计类数据需要进行额外的计算才能体现出统计学特性，因此可以增设一个对统计类数据进行相关处理的服务器。图3示出了根据本发明的又一个实施例的测试数据处理系统300的示意图。如图3所示，测试数据处理系统300包括负载机400、700，汇聚计算服务器500，统计计算服务器600和数据库服务器800。其中，统计计算服务器600分别与负载机400、700和数据库服务器800通信连接。在该实施方式中，负载机400和700分别将其获取到的测试数据进行汇总处理后，会将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据，再按照第一时间间隔将第三压缩数据上传至统计计算服务器600，而统计计算服务器600对从负载机400和700接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据，再将格式压缩前的统计类数据进行整理计算，以生成测试统计结果，并在压力测试执行完毕后发送至数据库服务器800。负载机400和700对统计类数据进行格式压缩和上传的过程，可参照方法200中步骤S220和S230的处理，而统计计算服务器600对从负载机400和700接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据的过程，可参照方法200中步骤S240的处理，此处不再赘述。而在根据格式压缩前的统计类数据生成测试统计结果时，一般是根据统计类数据自身的统计特性来分类计算，对于计算结果的可采用如方法200中步骤S250里的汇聚压缩处理，具体涉及基于统计特性进行数据计算的算法，对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。最后，数据库服务器800接收到统计计算服务器600发送的测试统计结果，并将该测试统计结果下发至浏览器向用户展示。

图4示出了根据本发明的一个实施例的第一数据处理装置410的示意图。如图4所示，第一数据处理装置410驻留在负载机400中，并与汇聚计算服务器500通信连接，第一数据处理装置410包括汇总模块411、格式压缩模块412和上传模块413。

汇总模块411适于将负载机400获取到的测试数据进行汇总处理。负载机400具有一个或多个可用线程，汇总模块411进一步适于获取负载机400基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据，将获取到的测试数据进行汇总处理。汇总模块411执行上述操作的具体细节可参见方法200中的步骤S210，此处不予以赘述。

格式压缩模块412与汇总模块411相连，适于将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据。格式压缩模块412进一步适于将汇总后的测试数据按照预设的第一格式进行压缩处理，将压缩处理后的测试数据作为对应的第一压缩数据。其中，第一格式为二进制格式。格式压缩模块412执行上述操作的具体细节可参见方法200中的步骤S220，此处不予以赘述。

上传模块413与格式压缩模块412相连，适于按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器500。上传模块413执行上述操作的具体细节可参见方法200中的步骤S230，此处不予以赘述。

图5示出了根据本发明的一个实施例的第二数据处理装置510的示意图。如图5所示，第二数据处理装置510驻留在汇聚计算服务器500中，并分别与负载机400、700和数据库服务器800通信连接，第二数据处理装置510包括第一解压模块511、汇聚压缩模块512和第一发送模块513。

第一解压模块511适于对在预设的第二时间间隔内、从负载机400和700接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据。第一解压模块511执行上述操作的具体细节可参见方法200中的步骤S240，此处不予以赘述。

汇聚压缩模块512与第一解压模块511相连，适于将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据。汇聚压缩模块512进一步适于将格式压缩前的测试数据进行汇聚压缩，以生成第二时间间隔内接收到的测试数据所对应的阶段性压缩数据；根据阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据；将阶段性压缩数据和累计性压缩数据作为第二压缩数据。测试数据包括一种或多种指标数据，汇聚压缩模块512进一步适于对格式压缩前的测试数据所包括的每一种指标数据，将新接收到的指标数据与之前接收的指标数据进行数值比较；当之前接收的指标数据中存在与新接收到的指标数据相同的数值时，将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数；当之前接收的指标数据中不存在与新接收到的指标数据相同的数值时，将新接收到的指标数据进行单独存储。汇聚压缩模块512执行上述操作的具体细节可参见方法200中的步骤S250，此处不予以赘述。

第一发送模块513与汇聚压缩模块512相连，适于将第二压缩数据按照预设的第三时间间隔发送至数据库服务器800。第一发送模块513执行上述操作的具体细节可参见方法200中的步骤S260，此处不予以赘述。

图6示出了根据本发明的又一个实施例的第三数据处理装置610的示意图。如图6所示，第三数据处理装置610驻留在统计计算服务器600中，并分别与负载机400、700和数据库服务器800通信连接，第三数据处理装置610包括第二解压模块611、整理计算模块612和第二发送模块613。

在该实施方式中，测试数据包括常规类数据和统计类数据，对如图4所示的负载机400中驻留的第一数据处理装置410而言，其所包括的格式压缩模块412还适于将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据，上传模块413还适于按照第一时间间隔将第三压缩数据上传至统计计算服务器600。

对第三数据处理装置610而言，其所包括的第二解压模块611适于对从负载机400和700接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据。

整理计算模块612与第二解压模块611相连，适于将格式压缩前的统计类数据进行整理计算，以生成测试统计结果。

第二发送模块613与整理计算模块612相连，适于在压力测试执行完毕后将测试统计结果发送至数据库服务器800。

格式压缩模块412、上传模块412对统计类数据的处理，以及第二解压模块611、整理计算模块612和第二发送模块613所执行的操作，相关的具体细节可参见以上基于图3对统计计算服务器600所涉及到的数据处理过程，此处不予以赘述。

现有的测试数据处理技术在面对高速响应的测试结果时，多是直接通过汇总计算来对指标数据进行相加和剔除处理，导致数据传输、相加和存储过程中存在较大的计算量和时间消耗，无法满足用户对于数据准确性和呈现速度的较高要求。根据本发明实施例的测试数据处理的技术方案，各负载机对测试数据汇总处理后进行格式压缩，以生成对应的第一压缩数据，按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器，而汇聚计算服务器对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据格式进行格式解压，并将格式压缩前的测试数据进行汇聚压缩以生成第二压缩数据，最后将第二压缩数据按照预设的第三时间间隔发送至数据库服务器。在上述方案中，测试数据在发送至汇聚计算服务器前进行了一次压缩，便于数据传输和后期处理，而在汇聚计算服务器中进行了二次压缩，将生成的阶段性压缩数据和累计性压缩数据作为第二压缩数据上传至数据库服务器，提高了测试数据传输、相加和存储过程中的计算速度和处理效率，降低了时间成本。进一步的，还可以通过统计计算服务器来对各负载机相关的测试数据中的统计类数据进行整理计算，以生成测试统计结果，并在压力测试执行完毕后发送给数据库服务器，以提供具有统计意义的相关指标信息，完善压力测试的指标分析结果。此外，数据库服务器在通过如浏览器等软件向用户展示压力测试数据时，考虑到浏览器的承受能力，会对待展示的测试数据进行抽样处理，以便提供更好的实时查看体验。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的测试数据处理方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (14)

1.一种测试数据处理方法，适于在测试数据处理系统中执行，所述测试数据处理系统包括数据库服务器、汇聚计算服务器、统计计算服务器和多个负载机，所述统计计算服务器分别与所述数据库服务器和多个负载机通信连接，所述汇聚计算服务器分别与所述数据库服务器和多个负载机通信连接，每个负载机适于通过执行压力测试来获取相应的测试数据，所述方法包括：

各负载机分别将其获取到的测试数据进行汇总处理，所述测试数据包括常规类数据和统计类数据；

将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据；

按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器；

汇聚计算服务器对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据；

将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据；

将所述第二压缩数据按照预设的第三时间间隔发送至数据库服务器；

所述方法还包括：

各负载机将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据；

按照所述第一时间间隔将第三压缩数据上传至统计计算服务器；

统计计算服务器对从各负载机接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据；

将格式压缩前的统计类数据进行整理计算，以生成测试统计结果，并在压力测试执行完毕后发送至所述数据库服务器。

2.如权利要求1所述的方法，所述负载机具有一个或多个可用线程，所述各负载机分别将其获取到的测试数据进行汇总处理的步骤包括：

各负载机分别获取其基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据；

将获取到的测试数据进行汇总处理。

3.如权利要求1所述的方法，所述将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据的步骤包括：

将汇总后的测试数据按照预设的第一格式进行压缩处理；

将压缩处理后的测试数据作为对应的第一压缩数据。

4.如权利要求1-3中任一项所述的方法，所述将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据的步骤包括：

将格式压缩前的测试数据进行汇聚压缩，以生成所述第二时间间隔内接收到的测试数据所对应的阶段性压缩数据；

根据所述阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据；

将所述阶段性压缩数据和所述累计性压缩数据作为第二压缩数据。

5.如权利要求4所述的方法，所述测试数据包括一种或多种指标数据，所述将格式压缩前的测试数据进行汇聚压缩的步骤包括：

对格式压缩前的测试数据所包括的每一种指标数据，将新接收到的指标数据与之前接收的指标数据进行数值比较；

若之前接收的指标数据中存在与新接收到的指标数据相同的数值，则将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数；

若之前接收的指标数据中不存在与新接收到的指标数据相同的数值，则将新接收到的指标数据进行单独存储。

6.如权利要求3所述的方法，所述第一格式为二进制格式。

7.一种测试数据处理系统，包括数据库服务器、汇聚计算服务器、统计计算服务器和多个负载机，所述统计计算服务器分别与所述数据库服务器和多个负载机通信连接，所述汇聚计算服务器分别与所述数据库服务器和多个负载机通信连接，每个负载机适于通过执行压力测试来获取相应的测试数据，其中，所述负载机包括第一数据处理装置，所述第一数据处理装置包括：

汇总模块，适于将该负载机获取到的测试数据进行汇总处理，所述测试数据包括常规类数据和统计类数据；

格式压缩模块，适于将汇总处理后的测试数据进行格式压缩，以生成对应的第一压缩数据，还适于将汇总处理后的测试数据中的统计类数据进行格式压缩，以生成第三压缩数据；

上传模块，适于按照预设的第一时间间隔将第一压缩数据上传至汇聚计算服务器，还适于按照所述第一时间间隔将第三压缩数据上传至统计计算服务器。

8.如权利要求7所述的系统，所述负载机具有一个或多个可用线程，所述汇总模块进一步适于：

获取其基于所具有的一个或多个可用线程执行压力测试后、生成的对应数量的测试数据；

将获取到的测试数据进行汇总处理。

9.如权利要求7或8所述的系统，所述格式压缩模块进一步适于：

将汇总后的测试数据按照预设的第一格式进行压缩处理；

将压缩处理后的测试数据作为对应的第一压缩数据。

10.如权利要求9所述的系统，所述汇聚计算服务器包括第二数据处理装置，所述第二数据处理装置包括：

第一解压模块，适于对在预设的第二时间间隔内、从各负载机接收到的第一压缩数据进行格式解压，以获取格式压缩前的测试数据；

汇聚压缩模块，适于将格式压缩前的测试数据进行汇聚压缩，以生成第二压缩数据；

第一发送模块，适于将所述第二压缩数据按照预设的第三时间间隔发送至数据库服务器。

11.如权利要求10所述的系统，所述汇聚压缩模块进一步适于：

将格式压缩前的测试数据进行汇聚压缩，以生成所述第二时间间隔内接收到的测试数据所对应的阶段性压缩数据；

根据所述阶段性压缩数据，生成当前时刻之前所接收到的所有测试数据对应的累计性压缩数据；

将所述阶段性压缩数据和所述累计性压缩数据作为第二压缩数据。

12.如权利要求11所述的系统，所述测试数据包括一种或多种指标数据，所述汇聚压缩模块进一步适于：

对格式压缩前的测试数据所包括的每一种指标数据，将新接收到的指标数据与之前接收的指标数据进行数值比较；

当之前接收的指标数据中存在与新接收到的指标数据相同的数值时，将具有相同数值的指标数据进行次数累加，以得到该指标数据的重复次数；

当之前接收的指标数据中不存在与新接收到的指标数据相同的数值时，将新接收到的指标数据进行单独存储。

13.如权利要求7所述的系统，所述统计计算服务器包括第三数据处理装置，所述第三数据处理装置包括：

第二解压模块，适于对从各负载机接收到的第三压缩数据进行格式解压，以获取格式压缩前的统计类数据；

整理计算模块，适于将格式压缩前的统计类数据进行整理计算，以生成测试统计结果；

第二发送模块，适于在压力测试执行完毕后将所述测试统计结果发送至所述数据库服务器。

14.如权利要求9所述的系统，所述第一格式为二进制格式。

Images