CN106021114B - 面向智能机器人的自动化测试方法及系统 - Google Patents

Abstract

本发明公开了一种面向智能机器人的自动化测试方法及系统，该方法包括通过测试入口列表调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表；将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类；基于分类结果与所述正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端。该方法实现了对应用的更新和维护的自动测试。可以节约人力成本，且使得该测试的范围和规模能够达到一定的量级，满足测试的要求。

Description

面向智能机器人的自动化测试方法及系统

技术领域

本发明属于智能机器人领域，尤其涉及一种面向智能机器人的自动化测试方法及系统。

背景技术

随着信息技术、计算机技术以及人工智能技术的不断发展，智能机器人已经走入到医疗、保健、家庭、娱乐以及服务行业等与人们生活息息相关的领域。人们对于智能机器人的要求也越来越高，需要智能机器人具备更多的功能从而为人类生活提供更多的帮助。

在开发智能机器人的新功能的过程中，需要不断的扩展数据库以支持越来越多的功能，因而数据库的维护和功能的测试是尤为重要的。随着智能机器人技术的快速发展，需要提供一种高效、高速、稳定的自动化测试方法来满足数据库功能维护的需要。

发明内容

本发明所要解决的技术问题之一是需要提供一种高效、高速、稳定的自动化测试方法来满足功能维护的需要。

为了解决上述技术问题，本申请的实施例首先提供了一种面向智能机器人的自动化测试方法，包括通过测试入口列表调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表；将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类；基于分类结果与所述正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端。

优选地，在所述数据库数据更新之后，所述自动化测试方法还包括：通过测试入口列表调用被测试应用以及所述被测试应用的各测试用例，所述被测试应用基于所述数据库运行，所述各测试用例为向被测试应用请求提供服务的口令；将所述各测试用例提交给所述被测试应用执行；对所述各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

优选地，所述数据库为神经语言程序学知识库时，所述被测试应用为对话交互应用。

优选地，所述被测试应用的各测试用例，具体为针对所述数据库的新增数据设定的测试用例。

优选地，将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类，具体包括：将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例输入其对应数据库中，并获取所述数据库对各测试用例的处理结果。

优选地，每个测试进程对应一个独立的线程，各线程的结果单独存储。

本申请的实施例还提供了一种面向智能机器人的自动化测试系统，包括：测试用例调用模块，其通过测试入口列表调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表；解析与分类模块，其将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类；对比分析模块，其基于分类结果与所述正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端。

优选地，在所述数据库数据更新之后，所述测试用例调用模块通过测试入口列表调用被测试应用以及所述被测试应用的各测试用例，所述被测试应用基于所述数据库运行，所述各测试用例为向被测试应用请求提供服务的口令；所述自动化测试系统还包括：测试用例执行模块，其将所述各测试用例提交给所述被测试应用执行；执行结果分析模块，其对所述各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

优选地，所述测试用例调用模块调用的各测试用例，具体为针对所述数据库的新增数据设定的测试用例。

优选地，每个测试进程对应一个独立的线程，各线程的结果单独存储。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过采用表结构完成测试用例的调用、解析、分类、对比分析以及分析结果的生成与传输，实现了对应用的更新和维护的自动测试，可以节约人力成本，且使得该测试的范围和规模能够达到一定的量级，满足日益增长的测试需求。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明第一实施例的面向智能机器人的自动化测试方法的流程示意图；

图2为根据图1所示的测试方法的流程对列表进行操作的示意图；

图3为根据本发明第二实施例的面向智能机器人的自动化测试方法的流程示意图；

图4为根据图3所示的测试方法的流程对列表进行操作的示意图；

图5为根据本发明第三实施例的面向智能机器人的自动化测试系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

智能机器人可以通过应用程序实现各种功能，例如讲笑话、讲故事、购买飞机票等。在对智能机器人中的应用进行更新和维护时，一种常用的操作是对应用的数据库进行扩展。

以NLP知识库为例，在向其中增加新的数据时，主要有下面两种方式，逐条新增数据与批量导入数据。其中向NLP知识库中逐条新增数据的含义是每次只能新增一条数据。而向NLP知识库中批量导入数据的含义则是同时增加多条数据，一般通过选中相应的文件进行数据的批量导入。无论是数据的逐条导入还是数据的批量导入，都会涉及到一个问题，就是接收数据的NLP知识库是否能准确按照设定的标准进行数据存储的问题，即是否能准确的选择适合进行存储的数据，新加入的数据是否会超出NLP知识库的边界。因此，本发明实施例提供一种测试方法，以检测新加入应用数据库中的数据是否符合应用数据库的数据插入的标准，进一步，插入新数据后，为了保证应用功能的正常使用，还需要检测新增数据是否与应用所能实现的功能相适应，以对话交互应用为例，NLP知识库新增数据后，需要测试对话交互应用是否能够成功的调用新增数据进行对话交互。

第一实施例：

本发明实施例是针对如下情形进行测试的：当向被测试应用的数据库中增加数据时，数据库的是否能按照存储标准对数据进行筛选存储。如图1所示，该测试方法包括以下步骤：

步骤S110、通过测试入口列表调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表。

步骤S120、将正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类。

步骤S130、基于分类结果与正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端。

具体的，本发明实施例的自动测试方法是基于数据库进行驱动和管理的，该测试方法所涉及的表结果主要分为四类，测试入口列表(A表)、测试用例表(Bn表、D表)、测试结果列表(Cn表、E表)和分析结果列表(F表)。

测试开始时，首先从测试入口列表(A表)进入测试进程，测试入口列表(A表)作为自动化测试的入口，用于汇总所有应用和数据库。

在本发明的一个实施例中，测试入口列表(A表)中的字段可以包含id，用于表示被测试的应用或数据库的唯一的标号。code，用于表示与各个被测试应用或数据库对应的解析结果的唯一的标号。explain，用于表示各被测试应用或数据库的名称和解析。state，用于表示在本次测试中是否对该应用或数据库实施测试。tablename，用于表示与被测试应用或数据库对应的测试用例所在的测试用例表(Bn表、D表)的名称。

在步骤S110中，测试程序首先读取测试入口列表(A表)中的state字段，根据state的数值判断需要实施测试的应用或数据库。测试程序继续从测试入口列表(A表)中的tablename字段获取测试用例表的名称以及相关信息。

然后，根据获取的测试用例表的相关信息调用测试用例表(Bn表、D表)。当测试针对的是向被测试应用的数据库对待存入数据的筛选是否标准时，测试用例表中的测试用例是与向被测试应用的数据库中增加数据相关的测试用例。以向NLP知识库中增加新的数据为例，此时的测试用例包括问与答的多组组合，每组组合均由问题以及与之对应的答案组成。

本发明实施例的测试用例表(Bn表、D表)进一步分为正向测试用例表(B1表)，反向测试用例表(B2表)与边界测试用例表(D表)。其中正向测试用例表(B1表)用于存储被测试应用的正向测试用例，反向测试用例表(B2表)用于存储被测试应用的反向测试用例，边界测试用例表(D表)用于存储被测试应用的边界测试用例。

智能机器人操作系统以其支持的中文语言的语言习惯为基础，分别为各个被测试应用设置了三种测试用例。正向测试用例表示要求应用提供服务的测试用例，反向测试用例表示不需要应用提供服务的测试用例，边界测试用例表示脱离应用的服务范围的测试用例，亦即应用不能对其提供服务的测试用例。分别获取三种测试用例的测试结果，并采用不同的标准对三种测试结果进行分析，可以保证在新功能开发的过程中和后期的维护中，充分满足基于中文语言进行语音指令的输入的智能机器人操作系统的要求。

接下来，在步骤S120中，将正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例输入其对应的数据库中，并获取数据库对各测试用例的处理结果。这里所采用的数据库是符合该被测试应用的数据库存储标准的标准数据库，可以用于验证测试用例的数据是否符合对应于被测试应用的数据库的存储标准。

举例而言，假设上述标准数据库设置在云服务器上，则需要将测试用例表(B1表、B2表与D表)中的测试用例逐条提交至云服务器的标准数据库中进行解析以及分类，并将分类结果返回给测试进程。

进一步地，在步骤S130中，返回的分类结果被存储在结果数据库中，测试进程将分类结果与正向测试用例表、反向测试用例表、边界测试用例表中的对应条目进行对比分析。根据对比分析的结果生成的分析结果可以发送给测试监控端。测试过程结束。

本发明实施例的测试方法，基于数据库进行驱动和管理，自动完成测试用例的调用、解析、分类、对比分析以及分析结果的生成、保存与传输，可以节约人力成本，且由于可以自动完成测试流程，使得该测试的范围和规模能够达到一定的量级，满足更高的测试要求。

下面仍以NLP知识库为例说明测试过程中对列表的操作。如图2所示，首先通过A表(即NLP_list)读取各应用及数据库状态，确定需要进行测试的数据库或应用，当确定存在数据库需要进行新增数据测试时，以需要测试的数据库为NLP知识库为例，获取本次测试对象NLP知识库的测试用例表的名称。NLP知识库在测试中的唯一的标号为4，A表中的appid“100104”字段用于标志NLP知识库支持的应用的类别。智能机器人操作系统利用id及appid来实现不同数据库及应用的测试，可以有效实现多个应用及数据库的自动化测试。

测试进程通过NLP_list的tablename字段获取测试用例表的名称为“NLP_form”，通过查询NLP_form，可以读取正向测试用例表B1表，反向测试用例表B2表与边界测试用例表D表。

进一步如图2所示，调用服务接口，将各测试用例表中的问题(question字段)内容提交至云服务器(即后台)，由位于后台的标准数据库对各问题进行校验。校验的内容包括对各测试用例表中的问题和答案进行解析，将问题和对应的答案进行分类，然后将问题与答案的分类结果反馈给测试进程，存储于结果数据库中。

测试进程在接收到问题与答案的反馈结果后，将该问题与答案的反馈结果以测试结果列表(Cn表、E表)的形式存储于结果数据库中。如图2所示，与测试用例表相对应，反馈的分类结果被分别存储于三种测试结果列表中，分别为用于存储正向测试用例的测试结果的C1表，用于存储反向测试用例的测试结果的C2表与用于存储边界测试用例的测试结果的E表。

以C1表为例，测试结果列表一般包含有如下字段，id，用于表示与各测试用例对应的标号。appid，用于表示智能机器人操作系统在操作NLP知识库时所使用的唯一的标号，与A表中的appid字段一致。NLP question，用于记录输入NLP知识库的问题，例如“人怎么会发烧”，NLP answer，用于记录NLP知识库输出的答案，例如NLP answer为“人体通过汗等方法排泄热量、维持正常体温，而一些病毒细菌侵入人体后会散发毒素，刺激管理体温的神经，使之错误地发出增温的命令，同时皮肤血管收缩，汗毛孔关闭，体内多余的热量无法排泄，于是人就发烧了。”

在将分类结果与正向测试用例表，反向测试用例表，边界测试用例表进行对比分析的步骤中，将测试用例表(B1表、B2表与D表)中的各测试用例(即想要向NLP知识库中增加的数据，包括B1表、B2表与D表中的question字段和answer字段)与测试结果列表(C1表、C2表与E表)中的各组问题与答案的分类结果(即满足向NLP知识库插入数据标准的问答组合)进行对比分析，并建立分析结果列表F，在F中分别列出哪些问题和答案正常。对于问题和答案是符合数据库的插入标准的，则判断为正常。对于问题和答案是不符合数据库的插入标准的，则判断为不正常。

本发明实施例的测试方法，稳定并且日志丰富以保证测试的实用性，整个测试框架扩展性强，维护简单，增加仅仅需要增加测试用例及配置相应的数据库或应用即可。

本发明实施例的测试方法将测试用例、测试中间产物、测试结果，以及分析结果均分别保存，丰富的日志给测试结果最直观的分析。

另外，在本实施例的测试进程的执行过程中，每个测试进程对应一个独立的线程，并且各线程的结果单独存储。各应用及数据库的测试过程完全独立，可以消除测试进程之间的相互干扰，不会对测试结果有任何影响。还可以同时启动多个线程，保证测试的高效性。

第二实施例：

本发明实施例是针对如下情形进行测试的：当已经通过第一实施例的测试，对应用的数据库进行了数据更新之后，向被测试应用请求提供服务的口令是否能够被该应用接受，并实现该应用的功能。具体的，以对话交互应用为例，本实施例的测试方法实际上是测试对话交互应用是否能在NLP数据库更新后，成功的使用NLP数据库中的数据。如图3所示，该测试方法包括以下步骤：

步骤S310、通过测试入口列表调用被测试应用以及被测试应用的各测试用例，被测试应用基于数据库运行，各测试用例为向被测试应用请求提供服务的口令；

步骤S320、将各测试用例提交给被测试应用执行；

步骤S330、对各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

具体的，在步骤S310中，通过测试入口列表调用被测试用例的过程可以与第一实施例步骤S110中调用测试用例的过程相同，此处不再赘述。

在本实施例中，除通过测试入口列表调用被测试用例之外，还需要通过测试入口列表调用被测试应用，具体为根据测试入口列表(A表)中的appid字段调用被测试应用。

需要注意的是，本发明实施例中的测试用例与第一实施例中的测试用例之间的区别，本实施例中的测试用例为向被测试应用请求提供服务的口令。仍以数据库为NLP知识库为例，对应的应用可以是对话交互应用，对话交互应用的测试用例不再是问与答的组合的形式，而仅包括问题，例如“人怎么会发烧”，“人发烧的原因”，“发烧后应注意什么”，“发烧后怎样好的快”均可作为本发明实施例的测试用例。

接下来，在步骤S320中，将各测试用例提交给被测试应用执行，并记录执行结果。

举例而言，将问题“人怎么会发烧”提交给对话交互应用，通过对该问题进行解析，得到反馈的解析结果{"code":100000,"text":"人体通过汗等方法排泄热量、维持正常体温，而一些病毒细菌侵入人体后会散发毒素，刺激管理体温的神经，使之错误地发出增温的命令，同时皮肤血管收缩，汗毛孔关闭，体内多余的热量无法排泄，于是人就发烧了"}。其中，code表示返回的数据类型。text表示反馈结果中的文本信息，在对话交互应用的测试中，即为与输入的问题对应的答案。

还需要注意的是，在本实施例中，对话交互应用的执行是基于更新后的NLP知识库进行的，较佳的，对话交互应用的各测试用例，是针对NLP知识库的新增数据设定的测试用例。

然后，在步骤S330中，对执行结果进行分析来检测被测试应用对数据库新增数据的调用情况。同样地，可以将分析结果发送给测试监控端。

下面仍以调用NLP知识库的对话交互应用为例说明测试过程中对列表的操作。如图4所示，测试进程通过NLP_list的tablename字段获取测试用例表的名称为“NLP_form”，通过查询NLP_form，可以读取正向测试用例表B3表，反向测试用例表B4表与边界测试用例表D1表。从图4中可以看出，在B3表、B4表和D1表中，均只包含问题question字段。将各测试用例表中的问题内容提交至对话交互应用执行，并记录执行结果。

类似于第一实施例中建立的测试结果列表(C1表、C2表与E表)，可以将执行结果分别存储为执行结果列表(C3表、C4表与E1表)，此处不再赘述。

在对执行结果进行分析的步骤中，借助第一实施例中所生成的测试结果列表(C1表)进行分析。C1表是对应于对应用的数据库插入标准进行测试时的正向用例表B1的测试结果列表，也就是说，C1表中的内容具有如下特点，其数据都是符合NLP知识库的数据插入标准的，且这些数据是NLP知识库在本次更新过程中更新的数据。通过遍历C1表进行查询，查询结果判断如下：

对于正向测试用例，如果通过查询C1表能够返回与B3表中的问题相对应的答案，说明测试通过。如果通过查询C1表不能返回与B3表中的问题相对应的答案，则测试未通过。

对于反向测试用例与边界测试用例，如果通过查询C1表不能返回与B4表(或D1表)中的问题相对应的答案，说明测试通过。如果通过查询C1表返回与B4表(或D1表)中的问题相对应的答案，则测试未通过。

然后，根据上述判断的结论生成分析结果，通过测试的测试用例被标记为正常，未通过测试的测试用例被标记为不正常。分析结果也可以以类似F表的形式存储于数据库。

本发明实施例针对智能机器人操作系统中具有接收语音指令输入功能的应用的数据调用功能进行测试，充分考虑中文语言的灵活性，保证在被测试应用的数据库完成数据更新后，被测试应用能够与更新后的数据库相配合实现应用的功能。

另外，在本实施例的测试进程的执行过程中，每个测试进程对应一个独立的线程，并且各线程的结果单独存储。测试过程中各个应用完全独立，可以消除测试进程之间的相互干扰，不会对测试结果有任何影响。还可以同时启动多个线程，保证测试的高效性。

第三实施例：

图5为根据本发明第三实施例的面向智能机器人的自动化测试系统的结构示意图，如图所示，该自动化测试系统包括：

测试用例调用模块51，其通过测试入口列表调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表。

解析与分类模块52，其将正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类。

对比分析模块53，其基于分类结果与正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端。

测试用例执行模块54，其将各测试用例提交给被测试应用执行；

执行结果分析模块55，其对各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

其中，在将被测试应用的数据库数据更新之后，测试用例调用模块51通过测试入口列表调用被测试应用以及被测试应用的各测试用例，被测试应用基于更新后的数据库运行，各测试用例为向被测试应用请求提供服务的口令。

上述各功能模块的具体功能可以参考第一实施例和第二实施例中的相应步骤的执行过程获得，此处不再赘述。

本发明实施例的自动化测试系统，能够对智能机器人操作系统的应用的更新与维护进行监测，保证其数据库更新的稳定性以及保证新增数据后，基于该数据库的应用能够成功调用新增数据实现功能，保证根据输入的语音指令进行执行的应用的功能的成功实现，从而可以有效地防止开发回归，保证服务的稳定型，适于在智能机器人操作系统的开发领域进行推广。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种面向智能机器人的自动化测试方法，包括：

通过测试入口列表进入测试进程，并调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表；

将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类；

基于分类结果与所述正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端，其中，在针对所述数据库存储标准测试的各测试用例通过测试后，所述自动化测试方法还包括：

根据测试通过的各测试用例来对数据库进行数据更新；

通过测试入口列表调用被测试应用以及所述被测试应用的各测试用例，所述被测试应用基于所述数据库运行，所述被测试应用的各测试用例为向被测试应用请求提供服务的口令；

将所述被测试应用的各测试用例提交给所述被测试应用执行；

对所述被测试应用的各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

2.根据权利要求1所述的方法，其特征在于，所述数据库为神经语言程序学知识库时，所述被测试应用为对话交互应用。

3.根据权利要求1所述的方法，其特征在于，所述被测试应用的各测试用例，具体为针对所述数据库的新增数据设定的测试用例。

4.根据权利要求1所述的方法，其特征在于，将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类，具体包括：

将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例输入其对应数据库中，并获取所述数据库对各测试用例的处理结果。

5.根据权利要求1至4中任一项所述的方法，其特征在于，每个测试进程对应一个独立的线程，各线程的结果单独存储。

6.一种面向智能机器人的自动化测试系统，包括：

测试用例调用模块，其通过测试入口列表进入测试进程，并调用用于数据库存储标准测试的正向测试用例表，反向测试用例表，边界测试用例表；

解析与分类模块，其将所述正向测试用例表，反向测试用例表，边界测试用例表中的各测试用例按照其对应数据库的存储标准逐条解析并进行分类；

对比分析模块，其基于分类结果与所述正向测试用例表，反向测试用例表，边界测试用例表进行对比分析，根据对比分析的结果生成分析结果，并发送给测试监控端，其中，在针对所述数据库存储标准测试的各测试用例通过测试后，所述自动化测试系统还包括：

更新模块，其根据测试通过的各测试用例来对数据库进行数据更新；

测试应用调用模块，其通过测试入口列表调用被测试应用以及所述被测试应用的各测试用例，所述被测试应用基于所述数据库运行，所述各测试用例为向被测试应用请求提供服务的口令；

测试用例执行模块，其将所述各测试用例提交给所述被测试应用执行；

执行结果分析模块，其对所述各测试用例的执行结果进行分析，将分析结果发送给测试监控端。

7.根据权利要求6所述的系统，其特征在于，所述测试用例调用模块调用的各测试用例，具体为针对所述数据库的新增数据设定的测试用例。

8.根据权利要求6或7所述的系统，其特征在于，每个测试进程对应一个独立的线程，各线程的结果单独存储。