CN111444102A - 一种离线计算引擎的测试方法和系统 - Google Patents

Abstract

本发明公开了一种离线计算引擎的测试方法和系统，该方法包括：选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；计算并获取测试用例请求的结果数据；所述结果数据为测试结果；显示所述测试结果。该方法具有评价特定查询的决策支持能力；可以应用到多领域场景，对离线计算引擎在性能、功能和稳定性三个大方向进行设计并实现测试用例；涵盖功能完整性、可靠性和安全性的测试用例库，能够有效提高测试的效率。

Description

一种离线计算引擎的测试方法和系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种离线计算引擎的测试方法和系统。

背景技术

数据是计算的基础，数据处理广泛存在于各类计算机应用之中，是计算机应用的一个重要功能和组成部分。但是目前对于数据处理的研究大多集中在数据处理的具体方法和技术上，尚缺乏系统化、通用化的数据处理方法。

离线计算引擎是为运行离线计算的核心组件，用于提供各种运行所需的各种工具。离线计算可在大量数据上进行复杂的批量运算，数据在计算之前已经完全到位，不会发生变化，此外还能够方便地查询批量计算的结果。所以离线计算引擎受到了广大开发人员的关注。

现在，为了测试离线计算引擎的性能、功能和稳定性，常用的技术手段往往是为每个场景应用配置不同的离线计算引擎。可以理解为，如果想要更改所要测试的离线计算引擎，就需要为新的离线计算引擎重新设计和编写测试代码。现在市面上已有的离线计算引擎测试方法，所采用的测试方法比较单一，针对不同的应用场景，需要多次重复改变测试代码，工作量比较大，从而导致对离线计算引擎进行测试的效率比较低。而且新接手工作的测试人员需要学习新的计算引擎框架，耗费学习成本大，延长了工作周期。

以上就是离线计算引擎测试面临的主要问题，这些问题导致离线计算引擎测试项目实施周期较长，学习成本较高。针对上述问题，目前还没有提出有效的解决方案。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种离线计算引擎的测试方法和系统，评价特定查询的决策支持能力；可以应用到多领域场景，对离线计算引擎在性能、功能和稳定性三个大方向进行设计并实现测试用例；涵盖功能完整性、可靠性和安全性的测试用例库，能够有效提高测试的效率。

第一方面，本发明实施例提供一种离线计算引擎的测试方法，包括：

选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

显示所述测试结果。

进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。

进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。

进一步地，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。

第二方面，本发明实施例还提供一种离线计算引擎测试系统，包括：

选择测试方向模块，用于选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

添加测试用例模块，用于在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

测试参数获取模块，用于确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

执行测试用例模块，用于调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

计算测试结果模块，用于计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

测试结果显示模块，用于显示所述测试结果。

进一步地，所述执行测试用例模块，具体用于在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。

进一步地，所述执行测试用例模块，具体还用于在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。

进一步地，所述执行测试用例模块，具体还用于在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种离线计算引擎的测试方法：

(1)与最接近的使用流计算引擎分析实时数据技术方案不同，本发明的离线计算引擎可在大量数据上进行复杂的批量运算，并且由于是直接对整批数据进行分析计算，因此计算出的结果更加接近最优结果；

(2)本发明可对离线计算引擎的测试需求方面进行细分，对于侧重于离线计算引擎的性能、功能和稳定性不同方面测试都可满足，测试结果可以更全面更准确的反映出所述离线计算引擎的计算能力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的离线计算引擎测试方法流程图；

图2为本发明实施例提供的三大测试方向包含的测试项目图；

图3为本发明实施例提供的内存的两个进程的交换示意图；

图4为本发明实施例提供的数据分析流程图；

图5为本发明实施例提供的测试流图；

图6为应用场景实施例所需文件目录的示意图；

图7为本发明实施例提供的离线计算引擎测试系统的框图；

图8为本发明实施例提供的离线计算引擎测试系统的整体流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了便于准确理解本发明提供的离线计算引擎的测试方法，特对一些相关术语进行解释：

1)离线计算：在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算；

2)运行时间：处于运行状态的时间；

3)吞吐量：指在单位时间内处理信息的量；

4)数值转换：指将不同数据类型的数据进行相应转换；

5)数据缓存：指在硬盘内部的高速存储器，在电脑中就像一块缓冲器一样将一些数据暂时性的保存起来以供读取和再读取。对于大数据缓存的硬盘在存取零散文件时具有很大的优势；

6)物理内存：是相对于虚拟内存而言的。物理内存指通过物理内存条而获得的内存空间，而虚拟内存则是指将硬盘的一块区域划分作为内存；

7)交换内存：进程必须在内存中以便执行。不过,进程可以暂时从内存交换到备份存储,当再次执行时再调回到内存中；

8)内存使用：指进程所开销的内存；

9)CPU占用：指程序运行所需要的CPU资源；

10)虚拟机：指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现；

11)并行：指“并排行走”或“同时实行或实施”。在操作系统中是指，一组程序按独立异步的速度执行，不等于时间上的重叠(同一个时刻发生)。要区别并发；

12)数据集：又称为资料集、数据集合或资料集合，是一种由数据所组成的集合；

13)数据分析：指为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，以求最大化地开发数据的功能，发挥数据的作用；

14)数据处理：对数据的采集、存储、检索、加工、变换和传输；

15)测试用例：指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤和预期结果等，最终形成文档；

16)性能测试：通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试；

17)功能测试：根据测试方案，测试一个产品的特性和可操作行为以确定它们满足设计需求；

18)稳定性测试：测试系统长期稳定运行能力，需要时间累积才能度量。

第一方面，参照图1所示，本发明实施例提供的一种离线计算引擎的测试方法，包括：步骤S1～S6；

S1、选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

S2、在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

S3、确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

S4、调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

S5、计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

S6、显示所述测试结果。

本实施例中，首先选择测试方向，可在性能测试、功能测试和稳定性测试三个大方向上进行；然后在对应测试方向下添加测试用例，包括添加测试用例的名称和所属场景；在完成添加测试用例之后，需要判别该测试用例是否需要参数，若需要参数，应输入，否则继续执行；接着调用离线计算引擎，对测试用例所涉及的测试内容进行实现；调用离线计算引擎之后，计算并获取测试用例请求的结果数据；最后显示测试结果。该方法具有评价特定查询的决策支持能力；可以应用到多领域场景，对离线计算引擎在性能、功能和稳定性三个大方向进行设计并实现测试用例；涵盖功能完整性、可靠性和安全性的测试用例库，能够有效提高测试的效率。

下面分别对上述各个步骤进行详细的说明。

1、选择测试方向：每个测试用例都有对应的所属测试方向，本发明实施例在性能测试、功能测试和稳定性测试三个大方向上进行。三大测试方向包括的测试项如图2所示。性能测试是对离线计算系统的各项性能指标进行测试；功能测试根据测试方案，确定是否满足设计需求；稳定性测试是测试离线计算系统长期稳定运行能力。

在一个具体实施例中，在性能测试方向下，在离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。

对吞吐量进行测试：吞吐量从不同的业务角度具有不同的计算方法，吞吐量的含义是单位时间内处理信息的量。在本发明实施例中指定吞吐量为单位时间内处理数据的量。若程序运行N秒，共处理数据M字节，则吞吐量＝M/N(字节/秒)。因为同一个程序在不同次运行的时候，所需要的时间不同，所以本发明实施例在处理数据量相同的情况下，测试不同次运行程序的时候对应的吞吐量。程序在运行的过程中，可以设置睡眠时间，中断程序运行，在设置睡眠时间后，可测试对应的吞吐量。所以在添加程序运行次数或睡眠时间的条件下，测试吞吐量的时候需要输入具体的运行次数和睡眠时间作为参数。

对交换内存和物理内存进行测试：内存的两个进程的交换示意图如图3所示，进程必须在内存中以便执行。不过进程可以暂时从内存交换到备份存储，当再次执行时再调回到内存中。本发明实施例测试交换内存的大小、交换已使用的内存、交换没有使用的内存、交换内存的占用率、系统从磁盘累计换入的字节数和系统从磁盘累计换出的字节数。本发明实施例可测试物理内存大小、物理内存的占用率、物理已使用的内存、物理未使用的内存、当前正在使用或最近使用的物理内存、标记未使用的内存、缓冲区使用的缓存、缓存区使用的缓存、显示被共享使用的物理内存大小和内存数据结构缓存。

对CPU进行测试：测试项具体包括进程执行用户态代码耗费的CPU时间、在优先级高的用户级别执行时CPU占用率的百分比、内核执行系统调用使用的CPU时间、CPU空闲并且系统没有未完成的磁盘I/O请求的时间百分比、CPU等待I/O输入输出的时间、CPU用于维护硬件中断所花费的时间百分比、CPU用于服务软件中断所花费的时间百分比、CPU用于运行虚拟处理器的时间百分比、在虚拟化环境中运行的其他操作系统，在优先级高的用户级别执行时CPU占用率的百分比、与上次调用经过时间内的CPU的使用率和当前1S内CPU的使用率。

在一个具体实施例中，在功能测试方向下，在离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存这几个部分设计并实现测试用例。

并行区别于串行，多个任务真正地分配到不同的CPU内核上去执行的，它们是真正地同时执行。本发明实施例测试最大运行核的个数对程序运行时间的影响、分片个数对程序运行时间的影响和主机个数对程序运行时间的影响。

数值转换部分，本发明实施例测试程序文件中是否存在数值转换字符和是否存在数值转换函数。数值转换字符是改变数据类型，例如数值转换字符STR，STR(182.55)转换结果为“183”。数值转换函数是将不同数据类型的数据进行相应转换的函数，例如非数值转换为数值的函数：Number()、parseInt()和parseFloat()。

数据分析部分，本发明采用的流程如图4所示。本发明实施例为了验证离线计算引擎计算能力，对程序运行的输入数据、中间数据和结果数据进行处理，然后对数据进行分析。

数据缓存部分，本发明实施例测试无缓存分片个数对程序运行时间的影响和有缓存分片个数对程序运行时间的影响。

在一个具体实施例中，在稳定性测试方向下，通过给系统加载一定的业务压力，让系统持续运行一段时间(比如一般为7×24小时)，检测系统是否能够稳定运行，检验系统的可靠性。本发明实施例以吞吐量为例，测试系统长时间运行的时候，吞吐量是否可以运算正确；

2、添加测试用例，在对应测试方向下添加测试用例，包括添加测试用例的名称和所属场景。整个测试系统包括多个测试用例，所以需要添加多个测试任务。本发明实施例的测试用例包括测试名称、测试场景、输入数据、测试步骤、预期结果和测试脚本。比如本发明实施例在网页端只体现测试名称和测试场景，其他测试用例的内容在文档中表示。执行测试的测试流如图5所示，执行测试的过程有多条路径可以选择，不局限一条测试路径；

3、测试参数获取，在完成添加测试用例之后，需要判别该测试用例是否需要参数，若需要参数，应输入参数，否则继续执行。例如测试带睡眠时间的吞吐量的时候，需要在网页端输入具体的睡眠时间作为参数；

4、执行测试用例，调用离线计算引擎，对测试用例所涉及的测试内容进行实现；

5、计算测试结果，离线计算引擎被调用之后，计算并获取测试用例请求的结果数据；

6、测试结果显示，离线计算引擎会将计算结果返回到网页，网页可视化显示测试结果。

本发明提供的实施例，离线计算可在大量静态数据上进行复杂的批量运算，在计算开始前已知所有输入数据，输入数据不会产生变化。即：对离线计算引擎进行测试时，本发明是对已经确定数据大小的数据集进行处理，而且数据不会随着程序运行发生变化。

以离线计算引擎处理python语言的决策树代码，所需文件目录如图6所示，在离线计算引擎运行Decision Tree.py这个决策树代码之前，就已知要处理的classifierStorage.txt文件中数据的大小，然后离线计算引擎运行Decision Tree.py这个决策树代码的时候，分别在性能、功能和稳定性三个大方向对离线计算引擎进行测试，测试项由处理的离线数据的特点决定，测试项如图2所示。

本发明实施例提供的离线计算引擎测试方法具有如下优势：

(1)：与最接近的使用流计算引擎分析实时数据技术方案不同，本发明的离线计算引擎可在大量数据上进行复杂的批量运算，并且由于是直接对整批数据进行分析计算，因此计算出的结果更加接近最优结果；

(2)：本发明可对离线计算引擎的测试需求方面进行细分，对于侧重于离线计算引擎的性能、功能和稳定性不同方面测试都可满足，并且在各个大方向下对测试参数进行了更为细致的划分，因此测试结果可以更全面更准确的反映出所述离线计算引擎的计算能力。

基于同一发明构思，本发明实施例还提供了一种离线计算引擎测试系统，由于该系统所解决问题的原理与一种离线计算引擎的测试方法相似，因此该系统的实施可以参见前述方法的实施，重复之处不再赘述。

第二方面，本发明还提供一种离线计算引擎测试系统，参照图7所示，包括：

选择测试方向模块，用于选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

添加测试用例模块，用于在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

测试参数获取模块，用于确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

执行测试用例模块，用于调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

计算测试结果模块，用于计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

测试结果显示模块，用于显示所述测试结果。

本实施例中，该系统以网站的形式呈现。用户可以与网页端交互，包括选择测试方向、添加测试用例和输入测试参数，网页端也会为用户显示对离线计算引擎测试的结果。在网页端提交测试任务之后，首先网页会向服务器发出请求，然后服务器再去请求待测试的离线计算引擎。离线计算引擎可以通过程序运行接口执行程序文件，从而计算出测试结果并返回到网页端。为方便理解，将本系统分为六大模块，分别是选择测试方向模块、添加测试用例模块、测试参数获取模块、执行测试用例模块、计算测试结果模块和测试结果显示模块。

首先执行选择测试方向模块，本发明实施例在性能测试、功能测试和稳定性测试三个大方向上进行，所以在添加测试用例之前，需要判别测试用例所属测试方向；接下来执行添加测试用例模块，在选择测试方向之后，需要在对应测试方向下添加测试用例，包括添加测试用例的名称和所属场景；然后执行测试参数获取模块，在完成添加测试用例之后，需要判别测试用例是否需要测试参数，若需要测试参数，应输入测试参数，否则继续执行；接下来是执行测试用例模块，本模块在整个测试流程中是最为关键的一个模块，需要调用离线计算引擎，对测试用例所涉及的测试内容进行实现；然后执行计算测试结果模块，离线计算引擎被调用之后，计算并获取测试用例请求的结果数据；最后是测试结果显示模块，显示测试结果。

该系统是以网站的形式展现，系统整体流程图如图8所示。用户可以与网页端交互，包括选择测试方向、添加测试用例和输入测试参数，网页端也会为用户显示对离线计算引擎测试的结果。在网页端提交测试任务之后，网页会向服务器发出请求，服务器再去请求待测试的离线计算引擎。离线计算引擎可以通过程序运行接口执行程序文件，从而计算出测试结果并返回到网页端。

本实施例中，在具有上述方法实施例的优势外，为提高用户体验程度，本发明实施例可设计一个测试网站系统作为与离线计算引擎交互的前端，对用户更加友好，用户可以使用更为简单易懂的操作对测试方案进行设计，还可以将测试结果直观清楚地展示给用户。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种离线计算引擎的测试方法，其特征在于，包括：

选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

显示所述测试结果。

2.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。

3.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。

4.如权利要求1所述的一种离线计算引擎的测试方法，其特征在于，调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现，包括：

在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。

5.一种离线计算引擎测试系统，其特征在于，包括：

选择测试方向模块，用于选择测试方向；所述测试方向包括：性能测试、功能测试和稳定性测试三个大方向；

添加测试用例模块，用于在对应测试方向下添加测试用例；所述测试用例包括：名称和所属场景；

测试参数获取模块，用于确定所述测试用例是否需要参数，若需要参数，则获取输入的参数；否则继续执行；

执行测试用例模块，用于调用离线计算引擎，对所述测试用例所涉及的测试内容进行实现；

计算测试结果模块，用于计算并获取测试用例请求的结果数据；所述结果数据为测试结果；

测试结果显示模块，用于显示所述测试结果。

6.如权利要求5所述的一种离线计算引擎测试系统，其特征在于，所述执行测试用例模块，具体用于在所述性能测试方向下，离线计算引擎执行不同语言的不同程序代码时，分别测试吞吐量、内存和CPU。

7.如权利要求5所述的一种离线计算引擎测试系统，其特征在于，所述执行测试用例模块，具体还用于在所述功能测试方向下，离线计算引擎执行不同语言的不同程序代码时，对并行、数值转换、数据分析和数据缓存进行测试。

8.如权利要求5所述的一种离线计算引擎测试系统，其特征在于，所述执行测试用例模块，具体还用于在所述稳定性测试方向下，通过加载负荷，持续运行预设时间，检测是否能够稳定运行。

Images