CN109684194A - 一种自动化流程回归测试系统 - Google Patents

Abstract

本发明涉及应用回归测试领域，具体公开了一种自动化流程回归测试系统，所述自动化流程回归测试系统包括服务器以及执行流程监听器。所述服务器用于启动回归测试；用于向执行流程监听器发送断言表达式；用于接收流程执行信息并输出测试结果报告；所述执行流程监听器用于获取测试用例流经节点的信息；用于根据节点的断言表达式以及节点执行的流程上下文确定流程执行信息。本发明通过将执行流程监听器植入到待测试应用中，获取测试用例的执行流程以及节点信息，通过输出含有各节点的断言表达式以及节点执行的流程上下文的测试报告，便于测试人员对流程进行进一步的分析，提高了测试的效率。

Description

一种自动化流程回归测试系统

技术领域

本发明涉及应用回归测试领域，特别是涉及一种自动化流程回归测试系统。

背景技术

当前互联网应用中，有许多应用都涉及到了流程。比如金融领域的信贷审批工作中，就采取了工作流引擎和规则引擎决定了审批的流程路径，而随着近年来消费金融的快速发展，审批流程为了适应快速的市场变化，变得越来越复杂，而为了保证审批流程的稳定性和正确性，需要频繁的进行回归测试。同样的，互联网中其他涉及到了流程的应用也需要频繁的进行回归测试保证应用流程的稳定性和正确性。

业界当前进行回归测试的常见做法有两种：一种是手动进行回归测试，这种方式适合流程比较简单，分支路径不多的场景，而分支越多，手动进行回归测试的效率就越低，而成本就越高，而另一种是自动化测试脚本进行回归测试，这种方式可以初步实现自动化，提高了效率，降低了成本，然而无法获取流程的中间状态信息，工作人员无法得知整个流程的路径，不能满足回归测试的全部需要。

可见，现有技术中，手动进行回归测试在流程复杂、分支较多的场景下存在着效率低下、成本高的技术问题，而自动化测试脚本进行回归测试无法获取流程的中间状态信息，工作人员无法得知整个流程的路径。因此，当前的两种回归测试方案均无法满足回归测试的全部需要。

发明内容

本发明实施例提供一种自动化流程回归测试系统，旨在解决现有技术中使用手动进行回归测试存在的效率低、成本高的技术问题以及使用自动化测试脚本进行回归测试存在的无法获取流程的中间状态信息的技术问题。

本发明实施例提供一种自动化流程回归测试系统，所述自动化流程回归测试系统包括服务器以及与所述服务器通信的流程执行监听器；

所述服务器，用于向待测试应用提交测试用例；接收并根据所述流程执行监控器发送的断言表达式获取请求，向所述流程执行监控器返回与所述断言表达式获取请求对应的断言表达式；接收并根据所述流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果生成测试报告；以及

所述流程执行监听器，用于当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试用例的标识信息；根据所述节点的标识信息以及所述待测试用例的标识信息向服务器发送断言表达式获取请求；接收所述服务器返回的当前节点的断言表达式，并根据当前节点执行的流程上下文计算所述断言表达式的执行结果，将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

本发明实施例提供的自动化流程回归测试系统通过将流程执行监控器植入到待测试应用中，当检测到所述待测试用例流经节点时，能够触发流程执行监控器，流程执行监控器能够获取当前节点的标识信息以及测试用例的标识信息，并通过从服务端获取相应的断言表达式，再根据当前节点执行的流程上下文计算断言表达式的执行结果，并将节点执行的流程上下文以及断言表达式的执行结果发送给服务器，服务器根据节点执行的流程上下文以及断言表达式的执行结果输出测试结果报告，便于用户直接从测试结果报告中读取该测试用例的测试过程详细信息。本发明实施例通过在服务器统一管理测试用例集合以及断言表达式，极大地提高了工作的效率，此外，通过预设的定时任务，能够定时的、自动的向待测试应用提交测试用例，整个过程无需人工操作，降低了成本。

附图说明

图1是本发明实施例提供的一种自动化流程回归测试系统的结构示意图；

图2是本发明实施例提供的服务器的结构示意图；

图3是本发明实施例提供的流程执行监听器的结构示意图；

图4是本发明实施例提供的断言表达式确定单元的结构示意图；

图5是本发明实施例提供的测试结果报告单元的结构示意图；

图6是本发明实施例提供的断言表达式接收执行单元的结构示意图；

图7是本发明实施例提供的一种自动化流程回归测试系统的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的自动化流程回归测试系统通过将流程执行监控器植入到待测试应用中，当检测到所述待测试用例流经节点时，能够触发流程执行监控器，流程执行监控器能够获取当前节点的标识信息以及测试用例的标识信息，并通过从服务端获取相应的断言表达式，再根据当前节点执行的流程上下文计算断言表达式的执行结果，并将节点执行的流程上下文以及断言表达式的执行结果发送给服务器，服务器根据节点执行的流程上下文以及断言表达式的执行结果输出测试结果报告，便于用户直接从测试结果报告中读取该测试用例的测试过程详细信息。本发明实施例通过在服务器统一管理测试用例集合以及断言表达式，极大地提高了工作的效率，此外，通过预设的定时任务，能够定时的、自动的向待测试应用提交测试用例，整个过程无需人工操作，降低了成本。

图1示出了本发明实施例提供的一种自动化流程回归测试系统的结构示意图，详述如下。

本发明实施例提供的自动化流程回归测试系统，包括服务器101以及与所述服务器通信的流程执行监听器102：

服务器101，用于向待测试应用提交测试用例；接收并根据所述流程执行监控器发送的断言表达式获取请求，向所述流程执行监控器返回与所述断言表达式获取请求对应的断言表达式；接收并根据所述流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果生成测试报告。

在本发明实施例中，所述服务器可以用于根据预设的定时任务，定时的、自动向待测试应用提交测试用例，也可以为满足测试人员的实时需求，根据测试人员实时发起的测试请求，向待测试应用提交测试用例。

在本发明实施例中，所述服务器上配置有测试应用启动流程的接口，所述服务器通过上述接口，向待测试应用提交测试用例。

在本发明实施例中，所述测试用例为用于测试待测试应用流程执行情况的一组参数条件，所述服务器上存储有测试用例集合，所述测试用例集合包括多个测试用例，每次向待测试应用提交测试用例时，从所述测试用例集合中随挑选一个测试用例。

在本发明实施例中，所述断言表达式可以是EL表达式，还可以选用groovy等脚本语言用于支持更为复杂的断言检查。其中，优选使用EL表达式，EL表达式语法更加简单，且能够满足大部分的断言场景。

在本发明实施例中，所述断言表达式的执行结果只有True与False。True表示断言通过，False表示断言未通过。

在本发明实施例中，所述节点执行的流程上下文中包括测试用例在所述节点中具体的执行过程信息。

在本发明实施例中，所述测试报告中包括测试用例流经的节点信息、整体流程以及在各节点中具体的执行过程信息，便于测试人员进行查看与分析。

在本发明实施例中，所述服务器与待测试应用之间为单向信息交流，即服务器单向向待测试应用提交测试用例，而待测试应用无法返回信息至服务器。

流程执行监听器102，用于当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试用例的标识信息；根据所述节点的标识信息以及所述待测试用例的标识信息向服务器发送断言表达式获取请求；接收所述服务器返回的当前节点的断言表达式，并根据当前节点执行的流程上下文计算所述断言表达式的执行结果，将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

在本发明实施例中，所述流程执行监听器通过应用代理技术植入到待测试应用，便于流程执行监听器检测到待测试用例流经的节点。其中，优选使用Java agent技术（一种动态修改字符码的技术），当使用Java agent技术将流程执行监听器植入到待测试应用时，对待测试应用无侵入性，不存在风险。

在本发明实施例中，所述流程执行监听器与待测试应用之间为单向信息交流，即流程执行监听器单向的从待测试应用获取测试用例执行过程信息，而无法返回信息至待测试应用，对待测试应用无干预性，保证了测试过程的稳定与准确。

本发明实施例提供的自动化流程回归测试系统通过将流程执行监控器植入到待测试应用中，当检测到所述待测试用例流经节点时，能够触发流程执行监控器，流程执行监控器能够获取当前节点的标识信息以及测试用例的标识信息，并通过从服务端获取相应的断言表达式，再根据当前节点执行的流程上下文计算断言表达式的执行结果，并将节点执行的流程上下文以及断言表达式的执行结果发送给服务器，服务器根据节点执行的流程上下文以及断言表达式的执行结果输出测试结果报告，便于用户直接从测试结果报告中读取该测试用例的测试过程详细信息。本发明实施例通过在服务器统一管理测试用例集合以及断言表达式，极大地提高了工作的效率，此外，通过预设的定时任务，能够定时的、自动的向待测试应用提交测试用例，整个过程无需人工操作，降低了成本。

图2示出了本发明实施例提供的服务器的结构示意图，为了便于说明，仅示出与本发明相关的部分。

在本发明实施例中，服务器包括测试用例启动单元201、断言表达式确定202以及测试结果报告203。

测试用例启动单元201，用于向待测试应用提交测试用例。

在本发明实施例中，所述测试用例启动单元上配置有测试应用启动流程的接口，所述测试用例启动单元通过上述接口，向待测试应用提交测试用例。

在本发明实施例中，所述服务器上存储有测试用例集合，所述测试用例集合包括多个测试用例，所述测试用例启动单元向待测试应用提交测试用例时，从所述测试用例集合随机挑选一个测试用例进行测试。

作为本发明的一个实施例，所述测试用例启动单元用于根据预设的定时任务，定时的自动向待测试应用提交测试用例。当使用定时任务向待测试应用提交测试用例时，可以脱离人工操作，24h无间断的进行测试，提高了测试效率，降低了测试成本。

断言表达式确定单元202，用于接收并根据流程执行监控器发送的断言表达式获取请求，向所述流程执行监控器返回与所述断言表达式获取请求对应的断言表达式。

作为本发明的一个实施例，断言表达式优选EL表达式。EL表达式语法简单，且适用于绝大多数断言场景。

在本发明实施例中，所述流程执行监控器发送的断言表达式获取请求中含有节点的标识信息以及测试用例的标识信息。

在本发明实施例中，所述断言表达式确定单元中存储有与节点的标识信息以及测试用例的标识信息对应的断言表达式。

测试结果报告单元203，用于接收并根据所述流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果生成测试报告。

在本发明实施例中，所述节点执行的流程上下文中包括测试用例在所述节点中具体的执行过程信息。

在本发明实施例中，所述测试报告中包括测试用例流经的节点信息、整体流程以及在各节点中具体的执行过程信息，便于测试人员进行查看与分析。

图3示出了本发明实施例提供的流程执行监听器的结构示意图，为了便于说明，仅示出与本发明相关的部分。

在本发明实施例中，流程执行监控器包括流程执行监控单元301、断言表达式获取请求发送单元302以及断言表达式接收执行单元303。

流程执行监控单元301，用于当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试请求的标识信息。

作为本发明的一个实施例，所述流程执行监听器通过应用代理技术植入到待测试应用，便于流程执行监听器检测到待测试用例流经的节点。其中，优选使用Java agent技术，当使用Java agent技术将流程执行监听器植入到待测试应用时，对待测试应用无侵入性，不存在风险

断言表达式获取请求发送单元302，用于根据所述节点的标识信息以及所述待测试用例的标识信息向服务器发送断言表达式获取请求，所述断言表达式获取请求包含有所述节点的标识信息以及所述待测试用例的标识信息

在本发明实施例中，所述断言表达式获取请求发送单元根据流程执行监控单元获取到的节点的标识信息以及待测试请求的标识信息生成含有节点的标识信息以及待测试请求的标识信息的断言表达式获取请求，并将所述断言表达式获取请求发送给服务器。

断言表达式接收执行单元303，用于接收所述服务器返回的当前节点的断言表达式，并根据当前节点执行的流程上下文计算所述断言表达式的执行结果，将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

在本发明实施例中，所述节点执行的流程上下文中包括测试用例在所述节点中具体的执行过程信息。

在本发明实施例中，所述测试报告中包括测试用例流经的节点信息、整体流程以及在各节点中具体的执行过程信息，便于测试人员进行查看与分析。

图4示出了本发明实施例提供的断言表达式确定单元的结构示意图，为了便于说明，仅示出与本发明相关的部分。

本发明实施例中，断言表达式确定单元包括断言表达式获取请求接收模块401、断言表达式确定模块402以及断言表达式返回模块403。

断言表达式获取请求接收模块401，用于接收流程执行监控器发送的断言表达式获取请求，并获取所述断言表达式获取请求中包含的节点的标识信息以及测试用例的标识信息。

断言表达式确定模块402，用于根据所述节点的标识信息与测试用例的标识信息以及预存的断言表达式与节点的标识信息以及测试用例的标识信息之间的对应关系确定对应的断言表达式。

断言表达式返回模块403，用于向流程执行监控器返回与所述断言表达式获取请求对应的断言表达式。

图5示出了本发明实施例提供的测试结果报告单元的结构示意图，为了便于说明，仅示出与本发明相关的部分。

在本发明实施例中，测试结果报告单元包括测试结果数据接收模块501以及测试结果报告模块502。

测试结果数据接收模块501，用于接收流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果。

在本发明实施例中，所述节点执行的流程上下文中包括测试用例在所述节点中具体的执行过程信息。

在本发明实施例中，所述断言表达式的执行结果只有True与False。True表示断言通过，False表示断言未通过。

测试结果报告模块502，用于根据所述节点执行的流程上下文以及断言表达式的执行结果生成测试结果报告。

在本发明实施例中，所述测试报告中包括测试用例流经的节点信息、整体流程以及在各节点中具体的执行过程信息，便于测试人员进行查看与分析。

图6示出了本发明实施例提供的断言表达式接收执行单元的结构示意图，为了便于说明，仅示出与本发明相关的部分。

在本发明实施例中，断言表达式接收执行单元包括：

断言表达式接收模块601，用于接收所述服务器返回的当前节点的断言表达式。

在本发明实施例中，所述返回的断言表达式与当前节点的标识信息以及测试用例的标识信息唯一对应。

断言表达式执行模块602，用于根据当前节点执行的流程上下文计算所述返回的断言表达式的执行结果。

在本发明实施例中，所述断言表达式的执行结果只有True与False。True表示断言通过，False表示断言未通过。

测试结果报告数据提交模块603，用于将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

在本发明实施例中，所述节点执行的流程上下文中包括测试用例在所述节点中具体的执行过程信息。

图7示出了本发明实施例提供的一种自动化流程回归测试系统的详细流程图，详述如下。

为便于说明，所述流程图将结合前述图1至图6示出的结构图一起进行论述。

步骤S701，测试用例启动单元201（服务器）向待测试应用提交测试用例。

在本发明实施例中，每进行一次测试，步骤S701执行一次。

步骤S702，当检测到所述待测试用例流经节点时，流程执行监控单元301（流程执行监听器）获取所述节点的标识信息以及待测试请求的标识信息。

在本发明实施例中，所述待测试用例每次流经节点时，都会触发一次流程执行监控单元301，即执行一次步骤S702。即每进行一次测试，步骤S702可能执行多次，且后续步骤S703-S711执行的次数与S702次数相同，即S702-S711可视为一个整体循环，用于检测测试用例在各单独节点中的执行情况。

步骤S703，断言表达式获取请求发送单元302（流程执行监听器）从流程执行监控单元301中获取所述相应的节点的标识信息以及待测试请求的标识信息，并生成含有相应节点的标识信息以及待测试请求的标识信息的断言表达式获取请求。

步骤S704，断言表达式获取请求发送单元302向断言表达式获取请求接收模块401（服务器）发送断言表达式获取请求。

步骤S705，断言表达式获取请求接收模块401接收所述断言表达式获取请求，并获取所述断言表达式获取请求中含有的相应节点的标识信息以及待测试请求的标识信息，并将所述相应节点的标识信息以及待测试请求的标识信息发送给断言表达式确定模块402（服务器）。

步骤S706，断言表达式确定模块402接收所述相应节点的标识信息与待测试请求的标识信息，并与预存的断言表达式与节点的标识信息以及测试用例的标识信息之间的对应关系进行对比确定对应的断言表达式，并将所述对应的断言表达式发送给断言表达式返回模块403（服务器）。

步骤S707，断言表达式返回模块403接收并将所述对应的断言表达式返回给断言表达式接收模块601（程序执行监听器）。

步骤S708，断言表达式接收模块601接收并将所述对应的断言表达式发送给断言表达式执行模块602（程序执行监听器）。

步骤S709，断言表达式执行模块602根据接收的对应的断言表达式以及当前节点执行的流程上下文计算出所述对应的断言表达式的执行结果，并将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给测试结果报告数据提交模块603（程序执行监听器）。

步骤S710，测试结果报告数据提交模块603接收并将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给测试结果数据接收模块501（服务器）。

步骤S711，测试结果数据接收模块501接收并根据所述节点执行的流程上下文以及所述断言表达式的执行结果生成测试报告，并将所述测试报告发送给测试结果报告模块502（服务器）。

步骤S712，测试结果报告模块502接收所有由测试结果数据接收模块501生成的测试报告进行整理，并在测试完成后一次性输出完整测试报告。

所述步骤S712仅在测试完成后，将所有测试报告整合为完整测试报告并一次性输出。

本发明实施例提供的自动化流程回归测试系统通过将流程执行监控器植入到待测试应用中，当检测到所述待测试用例流经节点时，能够触发流程执行监控器，流程执行监控器能够获取当前节点的标识信息以及测试用例的标识信息，并通过从服务端获取相应的断言表达式，再根据当前节点执行的流程上下文计算断言表达式的执行结果，并将节点执行的流程上下文以及断言表达式的执行结果发送给服务器，服务器根据节点执行的流程上下文以及断言表达式的执行结果输出测试结果报告，便于用户直接从测试结果报告中读取该测试用例的测试过程详细信息。本发明实施例通过在服务器统一管理测试用例集合以及断言表达式，极大地提高了工作的效率，此外，通过预设的定时任务，能够定时的、自动的向待测试应用提交测试用例，整个过程无需人工操作，降低了成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动化流程回归测试系统，其特征在于，所述自动化流程回归测试系统包括服务器以及与所述服务器通信的流程执行监听器；

所述服务器，用于向待测试应用提交测试用例；接收并根据所述流程执行监控器发送的断言表达式获取请求，向所述流程执行监控器返回与所述断言表达式获取请求对应的断言表达式；接收并根据所述流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果生成测试报告；以及

所述流程执行监听器，用于当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试用例的标识信息；根据所述节点的标识信息以及所述待测试用例的标识信息向服务器发送断言表达式获取请求；接收所述服务器返回的当前节点的断言表达式，并根据当前节点执行的流程上下文计算所述断言表达式的执行结果，将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

2.根据权利要求1所述的系统，其特征在于，所述服务器包括：

测试用例启动单元，用于向待测试应用提交测试用例；

断言表达式确定单元，用于接收并根据流程执行监控器发送的断言表达式获取请求，向所述流程执行监控器返回与所述断言表达式获取请求对应的断言表达式；

测试结果报告单元，用于接收并根据所述流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果生成测试报告。

3.根据权利要求1所述的系统，其特征在于，所述流程执行监控器包括：

流程执行监控单元，用于当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试请求的标识信息；

断言表达式获取请求发送单元，用于根据所述节点的标识信息以及所述待测试用例的标识信息向服务器发送断言表达式获取请求，所述断言表达式获取请求包含有所述节点的标识信息以及所述待测试用例的标识信息；以及

断言表达式接收执行单元，用于接收所述服务器返回的当前节点的断言表达式，并根据当前节点执行的流程上下文计算所述断言表达式的执行结果，将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

4.根据权利要求2所述的系统，其特征在于，所述测试用例启动单元具体用于根据预设的定时任务，定时的自动向待测试应用提交测试用例。

5.根据权利要求2所述的系统，其特征在于，所述断言表达式确定单元包括：

断言表达式获取请求接收模块，用于接收流程执行监控器发送的断言表达式获取请求，并获取所述断言表达式获取请求中包含的节点的标识信息以及测试用例的标识信息；

断言表达式确定模块，用于根据所述节点的标识信息与测试用例的标识信息以及预存的断言表达式与节点的标识信息以及测试用例的标识信息之间的对应关系确定对应的断言表达式；以及

断言表达式返回模块，用于向流程执行监控器返回与所述断言表达式获取请求对应的断言表达式。

6.根据权利要求2所述的系统，其特征在于，所述测试结果报告单元包括：

测试结果数据接收模块，用于接收流程执行监控器发送的节点执行的流程上下文以及断言表达式的执行结果；以及

测试结果报告模块，用于根据所述节点执行的流程上下文以及断言表达式的执行结果生成测试结果报告。

7.根据权利要求3所述的系统，其特征在于，所述流程执行监控单元具体用于通过应用代理技术植入到待测试应用中，当检测到所述待测试用例流经节点时，获取所述节点的标识信息以及待测试请求的标识信息。

8.根据权利要求3所述的系统，其特征在于，所述断言表达式接收执行单元包括：

断言表达式接收模块，用于接收所述服务器返回的当前节点的断言表达式；

断言表达式执行模块，用于根据当前节点执行的流程上下文计算所述返回的断言表达式的执行结果；以及

测试结果报告数据提交模块，用于将所述节点执行的流程上下文以及所述断言表达式的执行结果发送给服务器。

9.根据权利要求1所述的系统，其特征在于，所述测试用例为用于测试待测试应用流程执行情况的一组参数条件，所述服务器上存储有测试用例集合，所述测试用例集合包括多个测试用例。

10.根据权利要求1所述的系统，其特征在于，所述断言表达式使用EL表达式。