CN114356758A - 基于动态评估的并行化分布式数据库引擎测试方法及系统 - Google Patents

Abstract

本发明提供了一种基于动态评估的并行化分布式数据库引擎测试方法及系统，具体步骤为：服务端设置多个测试集群，确定需要测试的用例，并将需要测试的用例分组，每组用例组中的用例估算耗时总和接近；以并行方式在多个测试集群上部署数据库，每个测试集群组执行一组用例，读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例执行对比信息；所有用例执行结束后，数据库中设置记录用例执行对比信息的用例结果表。本发明解决了现有数据库进行用例测试时，效率低、资源利用率低、与预期结果对比误差大的问题。

Description

基于动态评估的并行化分布式数据库引擎测试方法及系统

技术领域

本发明属于分布式数据库的测试领域，尤其是涉及一种基于动态评估的并行化分布式数据库引擎测试方法及系统。

背景技术

作为分布式数据库，GBase 8a数据库拥有数量极其庞大的执行引擎功能测试用例组，从GBase 8a分布式数据库产品之前传统的自动化测试情况来看，存在以下几个问题：

1.执行速度慢：由于用例组极为庞大，导致传统的基于物理机的串行自动化测试执行速度较慢，在回归验证等追求时效性的测试场景下劣势明显。

2.资源利用率低：由于分布式数据库功能的复杂性和部署的分布式特性，需要的测试执行环境比较复杂，传统测试方式无法做到高效的利用计算和存储资源；

3.结果比对误差大：由于传统的测试方法通常是采用基于数据库结果集的纯文本比对方式，从而造成比对的结果准确率不高，误报率较高。

4.与其他系统集成度低：由于传统的黑盒测试方法一般没有与源代码管理系统、持续集成系统、任务管理系统以及邮件系统等平台进行集成，而使得整个功能比较孤立，无法进行更深入和完善的自动化和智能化开发。

基于上述原因，对于GBase 8a分布式数据库的执行引擎功能测试来说，急需一种高效和智能的自动化测试方法。

发明内容

有鉴于此，本发明旨在提出一种基于动态评估的并行化分布式数据库引擎测试方法及系统，以解决现有数据库进行用例测试时，效率低、资源利用率低、与预期结果对比误差大、集成度低的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本申请提出基于动态评估的并行化分布式数据库引擎测试方法，具体步骤如下：

S1、服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，每个测试集群对应测试一组用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码；

S2、服务端正式执行测试任务，以并行方式在多个测试集群上部署数据库，执行用例组的执行代码，每个测试集群组中的用例执行步骤为：读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中；

S3、所有用例执行结束后，将步骤S25中的记录对象导入数据库，数据库中设置用例结果表，用例结果表记录记录对象中的信息。

进一步的，步骤S1中，服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码，具体步骤如下：

S11、查询当前服务端资源余量，根据内存占用情况创建N个测试集群；

S12、根据测试任务确定测试需要执行的M条用例，将需要执行的M条用例逐条估算历史平均耗时，获得每条用例的“估算耗时”；

S13、进行用例分组计算，将M条用例分成N组用例组，并尽量保证每一组中的用例估算耗时总和接近；

S14、根据步骤S13中分组生成的N组用例组，动态生成N组用例组的执行代码；

所述测试集群个数N为2-10个，所述测试集群个数为2的整数倍，用例组的个数与测试集群的个数对应设置。

进一步的，步骤S12中，将需要执行的用例逐条估算历史平均耗时，具体方法为：计算每条用例近10次执行时的平均用时，获得每条用例的“估算耗时”。

进一步的，步骤S13中，用例分组具体方法为：从动态规划法、快速分发法两种分组算法中选择一种，以获得N组用例中每一组中的用例估算耗时总和接近；

所述动态规划法具体方法为模拟M条用例所有的分组可能，寻找每一组中的用例估算耗时总和接近的最优解；

所述快速分发法具体方法为将M条用例安装估算耗时从大到小排列，依次分发到当前估算耗时最小的组中；

从动态规划法、快速分发法两种分组算法中选择一种的选择具体方法为：

S131、计算M条用例耗时最多用例与耗时最少的用例的耗时差值；

S132、计算耗时差值与用例总数M的比值Q；

S133、设定Q＝2作为阈值，Q高于2.0时选择动态规划法分组，Q低于2.0时选择快速分发法分组。

进一步的，步骤S2中，读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中，具体方法如下：

S21、读取用例中作者预先添加的用例标签，开始计时，执行用例标签中指定的测试前准备工作，测试前准备工作包括调整集群参数，重启服务；

S22、解析用例内容，将整个用例从文本转化为程序内的语句对象，并解析用例中设置的定制化行为；

S23、逐条执行用例语句，返回结果暂存在内存中；

S24、将步骤S23中返回结果与用例预期结果对比，配置好根据测试需求制定的内容过滤规则，开始进行字面值和数据类型的比对，对比结束，获得对比结果，按照步骤S22中的定制化行为对测试集群进行还原；

S25、结束计时，将每个用例对应信息记录到对应的一个记录对象内，并将用例中客户需要的内容写入N个测试集群公用的结果信息文件中。

进一步的，步骤S133中，设定Q＝2作为阈值时通过模拟计算获得的，模拟计算的具体计算方法如下：

S1331、随机生成长度为n的数组，数组中元素均为正整数；

S1332、计算步骤S1331中数组的Q值并对数组使用动态规划法、快速分发法分别进行分组计算，获得数组的Q值、快速分发结果方差、动态规划结果方差三个值；

S1333、将步骤S1331-S1332重复1000次以上，根据统计结果发现当Q大于2时，动态规划算法结果的方差普遍较小，反之，Q小于2时，快速分发法结果的方差普遍较小，即以Q＝2为分界点，高于2时动态规划法得到的分组结果更优，低于2时快速分发法得到的结果更优。

进一步的，步骤S21中，用例标签中的信息还包括用例的作者、适用的数据库版本；

步骤S23中，定制化行为包括建库、建表、内部修改参数；

步骤S24中，用例预期结果文件是测试人员在上传用例时一并上传的；

内容过滤规则为忽略不可控数据，包括忽略任务编号、忽略日期；

步骤S25中，记录对象记录内容包括用例对比结果、失败用例、用例用时、用例标签信息。

进一步的，步骤S1中的测试任务是通过客户端建立的，客户端包括任务管理平台Redmine；服务端包括流水线触发器pipeline trigger、测试任务调度工具Jenkins；

Redmine监听发现新的测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务。

进一步的，步骤S4中，用例结果表后续会用于生成报告邮件并通知测试人员，待测试人员回复邮件后，将回复邮件的内容更新到数据库中。

另一方面，本申请还提出一种基于上述的基于动态评估的并行化分布式数据库引擎测试方法的基于动态评估的并行化分布式数据库引擎测试方法系统，

客户端包括任务管理平台Redmine；

服务端设置有流水线触发器pipeline trigger、测试任务调度工具Jenkins、测试项目执行器Executor、邮件服务模块Test Agent；

Redmine监听发现新的自动化测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务，然后，Executor执行测试任务前的准备及测试任务，

Test Agent负责在测试结束之后将生成报告发送给测试人员，测试人员回复失败用例分析邮件，Test Agent会将测试人员回复的邮件更新到数据库中，Test Agent还配合Executor获取每条用例历史执行记录的估算耗时。

相对于现有技术，本发明所述的基于动态评估的并行化分布式数据库引擎测试方法及系统具有以下有益效果：

(1)本发明所述的基于动态评估的并行化分布式数据库引擎测试方法及系统在测试开始前对用于测试的资源余量及每个用例的耗时进行估算，尽可能采用合适用例分发方法保证将数量庞大的用例按耗时平均分配到尽可能多个测试集群上，使得总体测试速度成倍提升。

(2)本发明所述的基于动态评估的并行化分布式数据库引擎测试方法及系统，对比结果采用基于对象的对比而非字符串对比，使得本框架对于复杂的数据类型同样具备精确对比能力；增加内容过滤规则，对动态数值(例如时间，任务编号等每次测试必然会不同的内容)进行过滤，使得整个对比过程的精准度大大提高；

(3)本发明所述的基于动态评估的并行化分布式数据库引擎测试方法及系统，提高测试流程的全自动化，本测试方法基于云原生平台设计，各组件以服务形式部署，与自动化流水线调度系统、任务管理系统以及邮件系统等组件相互配合，实现了整个运行流程的全自动化，当测试任务在任务管理平台上发布后，测试人员只需关注测试报告邮件即可，无需进行任何手动操作。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于动态评估的并行化分布式数据库引擎测试方法及系统示意图；

图2为本发明实施例所述的用例分组原理示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，基于动态评估的并行化分布式数据库引擎测试方法，具体步骤如下：

S1、服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，每个测试集群对应测试一组用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码；

S2、服务端正式执行测试任务，以并行方式在多个测试集群上部署数据库，执行用例组的执行代码，每个测试集群组中的用例执行步骤为：读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中；

S3、所有用例执行结束后，将步骤S25中的记录对象导入数据库，数据库中设置用例结果表，用例结果表记录记录对象中的信息。

在测试结束之后，用例结果表生成报告邮件发送给测试人员，测试人员会回复失败用例分析邮件；

用例结果表将作为后期进行用例数据统计，报告生成，用例分发计算等操作的依据。

如图1所示，步骤S1中，服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码，具体步骤如下：

S11、查询当前服务端资源余量，根据内存占用情况创建N个测试集群；

S12、根据测试任务确定测试需要执行的M条用例，将需要执行的M条用例逐条估算历史平均耗时，获得每条用例的“估算耗时”；

S13、进行用例分组计算，将M条用例分成N组用例组，并尽量保证每一组中的用例估算耗时总和接近；

S14、根据步骤S23中分组生成的N组用例组，动态生成N组用例组的执行代码；

所述测试集群个数N为2-10个，所述测试集群个数为2的整数倍，用例组的个数与测试集群的个数对应设置。

如图1所示，步骤S12中，将需要执行的用例逐条估算历史平均耗时，具体方法为：计算每条用例近10次执行时的平均用时，获得每条用例的“估算耗时”。

如图1所示，步骤S13中，用例分组具体方法为：从动态规划法、快速分发法两种分组算法中选择一种，以获得N组用例中每一组中的用例估算耗时总和接近；

所述动态规划法具体方法为模拟M条用例所有的分组可能，寻找每一组中的用例估算耗时总和接近的最优解；

所述快速分发法具体方法为将M条用例安装估算耗时从大到小排列，依次分发到当前估算耗时最小的组中；

从动态规划法、快速分发法两种分组算法中选择一种的选择方法为：

S131、计算M条用例耗时最多用例与耗时最少的用例的耗时差值；

S132、计算耗时差值与用例总数M的比值Q；

S133、设定Q＝2作为阈值，Q高于2.0时选择动态规划法分组，Q低于2.0时选择快速分发法分组。

如图1、图2所示，步骤S2中，读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中，具体方法如下：

S21、读取用例中作者预先添加的用例标签，开始计时，执行用例标签中指定的测试前准备工作，测试前准备工作包括调整集群参数，重启服务；

S22、解析用例内容，将整个用例从文本转化为程序内的语句对象，并解析用例中设置的定制化行为；

S23、逐条执行用例语句，返回结果暂存在内存中；

S24、将步骤S23中返回结果与用例预期结果对比，配置好根据测试需求制定的内容过滤规则，开始进行字面值和数据类型的比对，对比结束，获得对比结果，按照步骤S22中的定制化行为对测试集群进行还原；

S25、结束计时，将每个用例对应信息记录到对应的一个记录对象内，并将用例中客户需要的内容写入N个测试集群公用的结果信息文件中。

如图1、图2所示，步骤S133中，设定Q＝2作为阈值时通过模拟计算获得的，模拟计算的具体计算方法如下：

S1331、随机生成长度为n的数组，数组中元素均为正整数；

S1332、计算步骤S1331中数组的Q值并对数组使用动态规划法、快速分发法分别进行分组计算，获得数组的Q值、快速分发结果方差、动态规划结果方差三个值；

S1333、将步骤S1331-S1332重复1000次以上，根据统计结果发现当Q大于2时，动态规划算法结果的方差普遍较小，反之，Q小于2时，快速分发法结果的方差普遍较小，即以Q＝2为分界点，高于2时动态规划法得到的分组结果更优，低于2时快速分发法得到的结果更优。

由于用例的估算耗时与实际耗时往往差距很小，故使用以上方法计算理论最优的分组方式，对实际的执行速度也有较大提升，如使用2个集群执行测试耗时为4小时，则使用4个集群耗时可缩短至2小时，提高测试效率。

如图1所示，步骤S21中，用例标签中的信息还包括用例的作者、适用的数据库版本；

步骤S23中，定制化行为包括建库、建表、内部修改参数；

步骤S24中，用例预期结果文件是测试人员在上传用例时一并上传的；

内容过滤规则为忽略不可控数据，包括忽略任务编号、忽略日期；

步骤S25中，记录对象记录内容包括用例对比结果、失败用例、用例用时、用例标签信息。

步骤S1中的测试任务是通过客户端建立的，客户端包括任务管理平台Redmine；服务端包括流水线触发器pipeline trigger、测试任务调度工具Jenkins；

Redmine监听发现新的测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务。

步骤S3中，用例结果表后续会用于生成报告邮件并通知测试人员，待测试人员回复邮件后，将回复邮件的内容更新到数据库中。

如图1所示，另一方面，本申请还提出一种基于上述所述的一种基于动态评估的并行化分布式数据库引擎测试方法的基于动态评估的并行化分布式数据库引擎测试方法系统，

客户端包括任务管理平台Redmine；

服务端设置有流水线触发器pipeline trigger、测试任务调度工具Jenkins、测试项目执行器Executor、邮件服务模块Test Agent；

Redmine监听发现新的自动化测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务，然后，Executor执行测试任务前的准备及测试任务，

Test Agent负责在测试结束之后将生成报告发送给测试人员，测试人员回复失败用例分析邮件，Test Agent会将测试人员回复的邮件更新到数据库中，Test Agent还配合Executor获取每条用例历史执行记录的估算耗时。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：具体步骤如下：

S1、服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，每个测试集群对应测试一组用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码；

S2、服务端正式执行测试任务，以并行方式在多个测试集群上部署数据库，执行用例组的执行代码，每个测试集群组中的用例执行步骤为：读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中；

S3、所有用例执行结束后，将步骤S25中的记录对象导入数据库，数据库中设置用例结果表，用例结果表记录记录对象中的信息。

2.根据权利要求1所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S1中，服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码，具体步骤如下：

S11、查询当前服务端资源余量，根据内存占用情况创建N个测试集群；

S12、根据测试任务确定测试需要执行的M条用例，将需要执行的M条用例逐条估算历史平均耗时，获得每条用例的“估算耗时”；

S13、进行用例分组计算，将M条用例分成N组用例组，并尽量保证每一组中的用例估算耗时总和接近；

S14、根据步骤S13中分组生成的N组用例组，动态生成N组用例组的执行代码；

所述测试集群个数N为2-10个，所述测试集群个数为2的整数倍，用例组的个数与测试集群的个数对应设置。

3.根据权利要求2所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S12中，将需要执行的用例逐条估算历史平均耗时，具体方法为：计算每条用例近10次执行时的平均用时，获得每条用例的“估算耗时”。

4.根据权利要求2所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S13中，用例分组具体方法为：从动态规划法、快速分发法两种分组算法中选择一种，以获得N组用例中每一组中的用例估算耗时总和接近；

所述动态规划法具体方法为模拟M条用例所有的分组可能，寻找每一组中的用例估算耗时总和接近的最优解；

所述快速分发法具体方法为将M条用例安装估算耗时从大到小排列，依次分发到当前估算耗时最小的组中；

从动态规划法、快速分发法两种分组算法中选择一种的选择具体方法为：

S131、计算M条用例耗时最多用例与耗时最少的用例的耗时差值；

S132、计算耗时差值与用例总数M的比值Q；

S133、设定Q＝2作为阈值，Q高于2.0时选择动态规划法分组，Q低于2.0时选择快速分发法分组。

5.根据权利要求2所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S2中，读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中，具体方法如下：

S21、读取用例中作者预先添加的用例标签，开始计时，执行用例标签中指定的测试前准备工作，测试前准备工作包括调整集群参数，重启服务；

S22、解析用例内容，将整个用例从文本转化为程序内的语句对象，并解析用例中设置的定制化行为；

S23、逐条执行用例语句，返回结果暂存在内存中；

S24、将步骤S23中返回结果与用例预期结果对比，配置好根据测试需求制定的内容过滤规则，开始进行字面值和数据类型的比对，对比结束，获得对比结果，按照步骤S22中的定制化行为对测试集群进行还原；

S25、结束计时，将每个用例对应信息记录到对应的一个记录对象内，并将用例中客户需要的内容写入N个测试集群公用的结果信息文件中。

6.根据权利要求5所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S133中，设定Q＝2作为阈值时通过模拟计算获得的，模拟计算的具体计算方法如下：

S1331、随机生成长度为n的数组，数组中元素均为正整数；

S1332、计算步骤S1331中数组的Q值并对数组使用动态规划法、快速分发法分别进行分组计算，获得数组的Q值、快速分发结果方差、动态规划结果方差三个值；

S1333、将步骤S1331-S1332重复1000次以上，根据统计结果发现当Q大于2时，动态规划算法结果的方差普遍较小，反之，Q小于2时，快速分发法结果的方差普遍较小，即以Q＝2为分界点，高于2时动态规划法得到的分组结果更优，低于2时快速分发法得到的结果更优。

7.根据权利要求5所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：

步骤S21中，用例标签中的信息还包括用例的作者、适用的数据库版本；

步骤S23中，定制化行为包括建库、建表、内部修改参数；

步骤S24中，用例预期结果文件是测试人员在上传用例时一并上传的；

内容过滤规则为忽略不可控数据，包括忽略任务编号、忽略日期；

步骤S25中，记录对象记录内容包括用例对比结果、失败用例、用例用时、用例标签信息。

8.根据权利要求1所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S1中的测试任务是通过客户端建立的，客户端包括任务管理平台Redmine；服务端包括流水线触发器pipeline trigger、测试任务调度工具Jenkins；

Redmine监听发现新的测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务。

9.根据权利要求1所述的基于动态评估的并行化分布式数据库引擎测试方法，其特征在于：步骤S3中，用例结果表后续会用于生成报告邮件并通知测试人员，待测试人员回复邮件后，将回复邮件的内容更新到数据库中。

10.基于权利要求1-9所述的一种基于动态评估的并行化分布式数据库引擎测试方法的基于动态评估的并行化分布式数据库引擎测试方法系统，其特征在于：

客户端包括任务管理平台Redmine；

服务端设置有流水线触发器pipeline trigger、测试任务调度工具Jenkins、测试项目执行器Executor、邮件服务模块Test Agent；

Redmine监听发现新的自动化测试任务被建立，通过pipeline trigger通知Jenkins在服务端建立测试任务，然后，Executor执行测试任务前的准备及测试任务，

Test Agent负责在测试结束之后将生成报告发送给测试人员，测试人员回复失败用例分析邮件，Test Agent会将测试人员回复的邮件更新到数据库中，Test Agent还配合Executor获取每条用例历史执行记录的估算耗时。

Images