CN109597749A - 回归测试方法、装置、电子设备及计算机可读存储介质 - Google Patents
回归测试方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109597749A CN109597749A CN201811015521.9A CN201811015521A CN109597749A CN 109597749 A CN109597749 A CN 109597749A CN 201811015521 A CN201811015521 A CN 201811015521A CN 109597749 A CN109597749 A CN 109597749A
- Authority
- CN
- China
- Prior art keywords
- test
- sut
- system under
- result
- test result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种回归测试方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。该技术方案形成了对于被测系统和稳定系统同时进行测试的测试机制，该机制对于测试数据更新快、测试结果返回频率要求高的情况依然有效，因而能够满足多方面的测试要求。
Description
技术领域
本发明实施例涉及软件测试技术领域，具体涉及一种回归测试方法、装置、电子设备及计算机可读存储介质。
背景技术
回归测试是指修改了旧代码后，重新进行测试以确认修改是否引入新的错误或导致其他代码产生错误。回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工作量比重。在软件开发的各个阶段都会进行多次回归测试，在渐进和快速迭代开发中，新版本的连续发布使回归测试进行的更加频繁，而在极端编程方法中，更是要求每天都进行若干次回归测试。因此，选择适合的回归测试策略以改进回归测试的效率和有效性是很有意义的。
现有技术的回归测试中，通常是对于被测系统和稳定系统先后执行测试，这种测试机制对于测试数据更新慢、测试结果返回频率要求低的情况是有效的，但对于测试数据更新快、测试结果返回频率要求高的情况，即使被测系统和稳定系统的测试处理逻辑相同，返回的测试结果也会不同，严重的情况下，测试机制完全失效，无法满足用户测试要求。
发明内容
本发明实施例提供一种回归测试方法、装置、电子设备及计算机可读存储介质。
第一方面，本发明实施例中提供了一种回归测试方法。
具体的，所述回归测试方法，包括：
获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
结合第一方面，本发明实施例在第一方面的第一种实现方式中，
所述将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果，包括：
生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
将所述测试用例根据预设分配规则分配给所述线程；
对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，
所述对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果，包括：
对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本发明实施例在第一方面的第三种实现方式中，所述将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果，包括：
通过负载均衡器获取所述被测系统和稳定系统的地址；
将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，
所述比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果，包括：
将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本发明实施例在第一方面的第五种实现方式中，还包括：
对于所述测试用例的回归测试结果进行预设操作，其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
第二方面，本发明实施例中提供了一种回归测试装置。
具体的，所述回归测试装置，包括：
获取模块，被配置为获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
发送模块，被配置为将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较模块，被配置为比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述发送模块包括：
生成子模块，被配置为生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
分配子模块，被配置为将所述测试用例根据预设分配规则分配给所述线程；
第一发送子模块，被配置为对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第二方面和第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述第一发送子模块包括：
组装子模块，被配置为对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
第二发送子模块，被配置为将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第二方面、第一方面的第一种实现方式和第二方面的第二种实现方式，本发明实施例在第二方面的第三种实现方式中，所述第二发送子模块包括：
获取子模块，被配置为通过负载均衡器获取所述被测系统和稳定系统的地址；
第三发送子模块，被配置为将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
结合第二方面、第一方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，所述比较模块包括：
转换子模块，被配置为将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
比较子模块，被配置为比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
确认子模块，被配置为当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
结合第二方面、第一方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式，本发明实施例在第二方面的第五种实现方式中，还包括：
操作模块，被配置为对于所述测试用例的回归测试结果进行预设操作，其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持回归测试装置执行上述第一方面中回归测试方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述回归测试装置还可以包括通信接口，用于回归测试装置与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储回归测试装置所用的计算机指令，其包含用于执行上述第一方面中回归测试方法为回归测试装置所涉及的计算机指令。
本发明实施例提供的技术方案可以包括以下有益效果：
上述技术方案通过将单个测试用例同时发送给被测系统和稳定系统执行测试，来得到回归测试结果。该技术方案形成了对于被测系统和稳定系统同时进行测试的测试机制，该机制对于测试数据更新快、测试结果返回频率要求高的情况依然有效，因而能够满足多方面的测试要求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本发明实施例的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本发明一实施方式的回归测试方法的流程图；
图2示出根据图1所示实施方式的回归测试方法的步骤S102的流程图；
图3示出根据图2所示实施方式的回归测试方法的步骤S203的流程图；
图4示出根据图3所示实施方式的回归测试方法的步骤S302的流程图；
图5示出根据图1所示实施方式的回归测试方法的步骤S103的流程图；
图6示出根据本发明另一实施方式的回归测试方法的流程图；
图7示出根据本发明一实施方式的回归测试装置的结构框图；
图8示出根据图7所示实施方式的回归测试装置的发送模块702的结构框图；
图9示出根据图8所示实施方式的回归测试装置的第一发送子模块803的结构框图；
图10示出根据图9所示实施方式的回归测试装置的第二发送子模块902的结构框图；
图11示出根据图7所示实施方式的回归测试装置的比较模块703的结构框图；
图12示出根据本发明另一实施方式的回归测试装置的结构框图；
图13示出根据本发明一实施方式的电子设备的结构框图；
图14是适于用来实现根据本发明一实施方式的回归测试方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本发明实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本发明实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明实施例。
本发明实施例提供的技术方案通过将单个测试用例同时发送给被测系统和稳定系统执行测试，来得到回归测试结果。该技术方案形成了对于被测系统和稳定系统同时进行测试的测试机制，该机制对于测试数据更新快、测试结果返回频率要求高的情况依然有效，因而能够满足多方面的测试要求。
图1示出根据本发明一实施方式的回归测试方法的流程图，如图1所示，所述回归测试方法包括以下步骤S101-S103：
在步骤S101中，获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
在步骤S102中，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
在步骤S103中，比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
上文提及，回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工作量比重，选择适合的回归测试策略对于改进回归测试的效率和有效性非常重要。现有技术的回归测试中，通常是对于被测系统和稳定系统先后执行测试，这种测试机制对于测试数据更新慢、测试结果返回频率要求低的情况是有效的，但对于针对测试数据更新快、测试结果返回频率要求高的情况，比如对于股票数据等秒级更新频率的数据，即使被测系统和稳定系统的测试处理逻辑相同，返回的测试结果也会不同，严重的情况下，测试机制完全失效，无法满足用户测试要求。
考虑到上述缺陷，在该实施方式中，提出一种回归测试方法，该方法通过将单个测试用例同时发送给被测系统和稳定系统执行测试，来得到回归测试结果。该技术方案形成了对于被测系统和稳定系统同时进行测试的测试机制，该机制对于测试数据更新快、测试结果返回频率要求高的情况依然有效，因而能够满足多方面的测试要求。
其中，所述测试用例(Test Case)是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果数据，以便测试某个程序路径或核实其是否满足某种特定需求，也即，所述测试用例包括测试输入、执行条件以及预期结果数据。
在本实施例的一个可选实现方式中，所述测试用例基于更新频率高于预设更新阈值的数据产生，比如股票数据等更新频率为秒级的数据，其中，所述预设更新阈值可根据实际应用的需要进行设置，本发明对其不作具体限定。需要注意的是，既然所述测试用例可用于数据更新频率高的情况，其自然也可以用于数据更新频率低，比如数据更新频率低于或等于所述预设更新阈值的情况。
其中，所述稳定系统指的是一个状态相对稳定、处于平衡状态的系统，在回归测试领域，所述稳定系统用于对于测试用例的测试结果提供评判基准，如果被测系统对于测试用例的测试结果与稳定系统对于测试用例的测试结果相同，则认为所述被测系统能够通过回归测试，即所述回归测试是成功的，反之，如果被测系统对于测试用例的测试结果与稳定系统对于测试用例的测试结果不同，则认为所述被测系统不能够通过回归测试，即所述回归测试是失败的。
在本实施例的一个可选实现方式中，如图2所示，所述步骤S102，即将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果的步骤，包括以下步骤S201-S203：
在步骤S201中，生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
在步骤S202中，将所述测试用例根据预设分配规则分配给所述线程；
在步骤S203中，对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
为了提高回归测试的工作效率，节省回归测试所花费的时间，在该实施方式中，利用多线程对于多个测试用例并行进行处理。具体地，首先生成多个线程；然后将所述测试用例根据预设分配规则分配给所述线程；最后对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，所述线程的数量小于或等于所述测试用例的数量，所述预设分配规则可根据当前可用线程的数量、待处理的测试用例的数量、待处理的测试用例的具体内容以及实际回归测试的具体要求进行设置，比如，当所述线程的数量等于所述测试用例的数量时，可为每个进程对应分配一个测试用例，而当所述线程的数量小于所述测试用例的数量时，可为其中一部分进程中的每个进程分配一个测试用例，为另外一部分进程中的每个进程分配两个或多个测试示例。
在本实施例的一个可选实现方式中，如图3所示，所述步骤S203，即对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果的步骤，包括以下步骤S301-S302：
在步骤S301中，对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
在步骤S302中，将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
在该实施方式中，提供了所述多个线程中的每个线程对于测试用例的处理逻辑。具体地，对于所述多个线程中的每个线程，首先将单个测试用例数据根据预设组装规则组装成测试调用请求；然后将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，测试调用请求中包括完成此次测试用例运行以及测试调用所需要的参数。
其中，所述预设组装规则可以为根据服务调用协议建立的测试调用请求组装规则，所述服务调用协议为服务调用需要使用的协议，既可以为内部服务调用协议，也可以为WS(Web Service)协议等应用之间远程调用的规范和技术，本领域技术人员可根据待处理数据的特点、服务调用协议的特点以及实际应用的需要选择具体的服务调用协议，并据此生成调用请求组装规则，对此本发明不作具体限定。
在本实施例的一个可选实现方式中，如图4所示，所述步骤S302，即将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果的步骤，包括以下步骤S401-S402：
在步骤S401中，通过负载均衡器获取所述被测系统和稳定系统的地址；
在步骤S402中，将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
为了保障测试调用请求能够被安全、快速、有效地分配给被测系统和稳定系统，在该实施方式中，采用硬负载的方式确定被测系统和稳定系统。具体地，首先通过负载均衡器获取所述被测系统和稳定系统的地址；然后将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，硬负载指的是采用硬件设备来提供负载均衡，所述硬件设备比如可以实现为负载均衡器。
在本实施例的一个可选实现方式中，如图5所示，所述步骤S103，即比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果的步骤，包括以下步骤S501-S503：
在步骤S501中，将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
在步骤S502中，比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
在步骤S503中，当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
在该实施方式中，通过被测系统测试结果与稳定系统测试结果的比较来完成回归测试。具体地，首先将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；然后对于经数据格式转换的被测系统测试结果和稳定系统测试结果进行比较；当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
在本实施例的一个可选实现方式中，所述预设数据格式可以为JSON(JavaScriptObject Notation)数据交换格式，其中，所述JSON数据格式是一种常用的轻量级的数据交换格式。当然，本领域技术人员也可以根据实际应用的需要采用其他数据交换格式，本发明对其不作具体限定。
在本实施例的一个可选实现方式中，所述方法还包括对于得到的回归测试结果进行预设操作的步骤，即如图6所示，所述方法包括以下步骤S601-S604：
在步骤S601中，获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
在步骤S602中，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
在步骤S603中，比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果；
在步骤S604中，对于所述测试用例的回归测试结果进行预设操作。
其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
在该实施方式中，可根据实际应用的需要，对于回归测试结果进行汇总、统计、显示和/或存储等预设操作，以便于后续对于测试数据和测试结果的总结、分析和调用。
下述为本发明装置实施例，可以用于执行本发明方法实施例。
图7示出根据本发明一实施方式的回归测试装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，所述回归测试装置包括：
获取模块701，被配置为获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
发送模块702，被配置为将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较模块703，被配置为比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
上文提及，回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工作量比重，选择适合的回归测试策略对于改进回归测试的效率和有效性非常重要。现有技术的回归测试中，通常是对于被测系统和稳定系统先后执行测试，这种测试机制对于测试数据更新慢、测试结果返回频率要求低的情况是有效的，但对于针对测试数据更新快、测试结果返回频率要求高的情况，比如对于股票数据等秒级更新频率的数据，即使被测系统和稳定系统的测试处理逻辑相同，返回的测试结果也会不同，严重的情况下，测试机制完全失效，无法满足用户测试要求。
考虑到上述缺陷，在该实施方式中，提出一种回归测试装置，该装置通过将单个测试用例同时发送给被测系统和稳定系统执行测试，来得到回归测试结果。该技术方案形成了对于被测系统和稳定系统同时进行测试的测试机制，该机制对于测试数据更新快、测试结果返回频率要求高的情况依然有效，因而能够满足多方面的测试要求。
其中，所述测试用例(Test Case)是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果数据，以便测试某个程序路径或核实其是否满足某种特定需求，也即，所述测试用例包括测试输入、执行条件以及预期结果数据。
在本实施例的一个可选实现方式中，所述测试用例基于更新频率高于预设更新阈值的数据产生，比如股票数据等更新频率为秒级的数据，其中，所述预设更新阈值可根据实际应用的需要进行设置，本发明对其不作具体限定。需要注意的是，既然所述测试用例可用于数据更新频率高的情况，其自然也可以用于数据更新频率低，比如数据更新频率低于或等于所述预设更新阈值的情况。
其中，所述稳定系统指的是一个状态相对稳定、处于平衡状态的系统，在回归测试领域，所述稳定系统用于对于测试用例的测试结果提供评判基准，如果被测系统对于测试用例的测试结果与稳定系统对于测试用例的测试结果相同，则认为所述被测系统能够通过回归测试，即所述回归测试是成功的，反之，如果被测系统对于测试用例的测试结果与稳定系统对于测试用例的测试结果不同，则认为所述被测系统不能够通过回归测试，即所述回归测试是失败的。
在本实施例的一个可选实现方式中，如图8所示，所述发送模块702包括：
生成子模块801，被配置为生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
分配子模块802，被配置为将所述测试用例根据预设分配规则分配给所述线程；
第一发送子模块803，被配置为对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
为了提高回归测试的工作效率，节省回归测试所花费的时间，在该实施方式中，利用多线程对于多个测试用例并行进行处理。具体地，生成子模块801生成多个线程；分配子模块802将所述测试用例根据预设分配规则分配给所述线程；第一发送子模块803对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，所述线程的数量小于或等于所述测试用例的数量，所述预设分配规则可根据当前可用线程的数量、待处理的测试用例的数量、待处理的测试用例的具体内容以及实际回归测试的具体要求进行设置，比如，当所述线程的数量等于所述测试用例的数量时，可为每个进程对应分配一个测试用例，而当所述线程的数量小于所述测试用例的数量时，可为其中一部分进程中的每个进程分配一个测试用例，为另外一部分进程中的每个进程分配两个或多个测试示例。
在本实施例的一个可选实现方式中，如图9所示，所述第一发送子模块803包括：
组装子模块901，被配置为对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
第二发送子模块902，被配置为将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
在该实施方式中，提供了所述多个线程中的每个线程对于测试用例的处理逻辑。具体地，对于所述多个线程中的每个线程，组装子模块901将单个测试用例数据根据预设组装规则组装成测试调用请求；第二发送子模块902将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，测试调用请求中包括完成此次测试用例运行以及测试调用所需要的参数。
其中，所述预设组装规则可以为根据服务调用协议建立的测试调用请求组装规则，所述服务调用协议为服务调用需要使用的协议，既可以为内部服务调用协议，也可以为WS(Web Service)协议等应用之间远程调用的规范和技术，本领域技术人员可根据待处理数据的特点、服务调用协议的特点以及实际应用的需要选择具体的服务调用协议，并据此生成调用请求组装规则，对此本发明不作具体限定。
在本实施例的一个可选实现方式中，如图10所示，所述第二发送子模块902包括：
获取子模块1001，被配置为通过负载均衡器获取所述被测系统和稳定系统的地址；
第三发送子模块1002，被配置为将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
为了保障测试调用请求能够被安全、快速、有效地分配给被测系统和稳定系统，在该实施方式中，采用硬负载的方式确定被测系统和稳定系统。具体地，获取子模块1001通过负载均衡器获取所述被测系统和稳定系统的地址；第三发送子模块1002将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
其中，硬负载指的是采用硬件设备来提供负载均衡，所述硬件设备比如可以实现为负载均衡器。
在本实施例的一个可选实现方式中，如图11所示，所述比较模块703包括：
转换子模块1101，被配置为将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
比较子模块1102，被配置为比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
确认子模块1103，被配置为当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
在该实施方式中，通过被测系统测试结果与稳定系统测试结果的比较来完成回归测试。具体地，转换子模块1101将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；比较子模块1102对于经数据格式转换的被测系统测试结果和稳定系统测试结果进行比较；确认子模块1103当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
在本实施例的一个可选实现方式中，所述预设数据格式可以为JSON(JavaScriptObject Notation)数据交换格式，其中，所述JSON数据格式是一种常用的轻量级的数据交换格式。当然，本领域技术人员也可以根据实际应用的需要采用其他数据交换格式，本发明对其不作具体限定。
在本实施例的一个可选实现方式中，所述装置还包括对于得到的回归测试结果进行预设操作的部分，即如图12所示，所述装置包括：
获取模块1201，被配置为获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
发送模块1202，被配置为将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较模块1203，被配置为比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果；
操作模块1204，被配置为对于所述测试用例的回归测试结果进行预设操作。
其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
在该实施方式中，可根据实际应用的需要，对于回归测试结果进行汇总、统计、显示和/或存储等预设操作，以便于后续对于测试数据和测试结果的总结、分析和调用。
本发明实施例还公开了一种电子设备，图13示出根据本发明一实施方式的电子设备的结构框图，如图13所示，所述电子设备1300包括存储器1301和处理器1302；其中，
所述存储器1301用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器1302执行以实现上述任一方法步骤。
图14适于用来实现根据本发明实施方式的回归测试方法的计算机系统的结构示意图。
如图14所示，计算机系统1400包括中央处理单元(CPU)1401，其可以根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM)1403中的程序而执行上述实施方式中的各种处理。在RAM1403中，还存储有系统1400操作所需的各种程序和数据。CPU1401、ROM1402以及RAM1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地，根据本发明的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本发明的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述回归测试方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。
附图中的流程图和框图，图示了按照本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明实施例的方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种回归测试方法，其特征在于，包括：
获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
2.根据权利要求1所述的方法，其特征在于，所述将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果，包括：
生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
将所述测试用例根据预设分配规则分配给所述线程；
对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
3.根据权利要求2所述的方法，其特征在于，所述对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果，包括：
对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果，包括：
通过负载均衡器获取所述被测系统和稳定系统的地址；
将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
5.根据权利要求1-4任一所述的方法，其特征在于，所述比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果，包括：
将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
6.根据权利要求1-5任一所述的方法，其特征在于，还包括：
对于所述测试用例的回归测试结果进行预设操作，其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
7.一种回归测试装置，其特征在于，包括：
获取模块，被配置为获取回归测试对应的测试用例集，其中，所述测试用例集包括一个或多个测试用例；
发送模块，被配置为将单个测试用例同时发送给被测系统和稳定系统执行测试，得到被测系统测试结果和稳定系统测试结果；
比较模块，被配置为比较所述被测系统测试结果和稳定系统测试结果，得到回归测试结果。
8.根据权利要求7所述的回归测试装置，其特征在于，所述发送模块包括：
生成子模块，被配置为生成多个线程，其中，所述线程的数量小于或等于所述测试用例的数量；
分配子模块，被配置为将所述测试用例根据预设分配规则分配给所述线程；
第一发送子模块，被配置为对于所述多个线程中的每个线程，将单个测试用例同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
9.根据权利要求8所述的回归测试装置，其特征在于，所述第一发送子模块包括：
组装子模块，被配置为对于所述多个线程中的每个线程，将单个测试用例数据根据预设组装规则组装成测试调用请求；
第二发送子模块，被配置为将所述测试调用请求同时发送给被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
10.根据权利要求9所述的回归测试装置，其特征在于，所述第二发送子模块包括：
获取子模块，被配置为通过负载均衡器获取所述被测系统和稳定系统的地址；
第三发送子模块，被配置为将所述测试调用请求根据所述被测系统和稳定系统的地址同时发送至被测系统和稳定系统执行测试，得到与所述测试用例对应的被测系统测试结果和稳定系统测试结果。
11.根据权利要求7-10任一所述的回归测试装置，其特征在于，所述比较模块包括：
转换子模块，被配置为将所述被测系统测试结果和稳定系统测试结果转换为预设数据格式；
比较子模块，被配置为比较经数据格式转换的被测系统测试结果和稳定系统测试结果；
确认子模块，被配置为当所述被测系统测试结果和稳定系统测试结果相同时，确认回归测试成功，当所述被测系统测试结果和稳定系统测试结果不相同时，确认回归测试失败。
12.根据权利要求7-11任一所述的回归测试装置，其特征在于，还包括：
操作模块，被配置为对于所述测试用例的回归测试结果进行预设操作，其中，所述预设操作包括以下操作中的一种或多种：汇总、统计、分析、显示和存储。
13.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-6任一项所述的方法步骤。
14.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811015521.9A CN109597749B (zh) | 2018-08-31 | 2018-08-31 | 回归测试方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811015521.9A CN109597749B (zh) | 2018-08-31 | 2018-08-31 | 回归测试方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109597749A true CN109597749A (zh) | 2019-04-09 |
| CN109597749B CN109597749B (zh) | 2022-01-25 |
Family
ID=65956503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811015521.9A Active CN109597749B (zh) | 2018-08-31 | 2018-08-31 | 回归测试方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109597749B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799940A (zh) * | 2021-01-26 | 2021-05-14 | 中国工商银行股份有限公司 | 回归测试方法、装置、计算机系统和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1238337A1 (en) * | 1999-12-15 | 2002-09-11 | Electronics for Imaging, Inc. | System and method for printer output regression testing using display lists |
| CN103279418A (zh) * | 2013-06-05 | 2013-09-04 | 浙江中控技术股份有限公司 | 一种组态控制信息的测试方法和装置 |
| CN103377124A (zh) * | 2012-04-25 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 一种测试方法及装置 |
| CN106201859A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种回归测试方法及系统 |
| CN106326120A (zh) * | 2016-08-22 | 2017-01-11 | 北京金山安全软件有限公司 | 一种应用软件的回归测试方法及装置、电子设备 |
-
2018
- 2018-08-31 CN CN201811015521.9A patent/CN109597749B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1238337A1 (en) * | 1999-12-15 | 2002-09-11 | Electronics for Imaging, Inc. | System and method for printer output regression testing using display lists |
| CN103377124A (zh) * | 2012-04-25 | 2013-10-30 | 腾讯科技（深圳）有限公司 | 一种测试方法及装置 |
| CN103279418A (zh) * | 2013-06-05 | 2013-09-04 | 浙江中控技术股份有限公司 | 一种组态控制信息的测试方法和装置 |
| CN106201859A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种回归测试方法及系统 |
| CN106326120A (zh) * | 2016-08-22 | 2017-01-11 | 北京金山安全软件有限公司 | 一种应用软件的回归测试方法及装置、电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799940A (zh) * | 2021-01-26 | 2021-05-14 | 中国工商银行股份有限公司 | 回归测试方法、装置、计算机系统和计算机可读存储介质 |
| CN112799940B (zh) * | 2021-01-26 | 2024-02-06 | 中国工商银行股份有限公司 | 回归测试方法、装置、计算机系统和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109597749B (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7543060B2 (en) | Service managing apparatus for keeping service quality by automatically allocating servers of light load to heavy task | |
| US9038030B2 (en) | Methods for predicting one or more defects in a computer program and devices thereof | |
| US9354960B2 (en) | Assigning virtual machines to business application service groups based on ranking of the virtual machines | |
| US9565092B2 (en) | Enterprise service bus deployment at the level of individual services | |
| US8606905B1 (en) | Automated determination of system scalability and scalability constraint factors | |
| EP2388703A1 (en) | Techniques for evaluating and managing cloud networks | |
| CN110365752A (zh) | 业务数据的处理方法、装置、电子设备和存储介质 | |
| CN109388626B (zh) | 用于向业务分配编号的方法和装置 | |
| US20190199785A1 (en) | Determining server level availability and resource allocations based on workload level availability requirements | |
| KR20170029263A (ko) | 부하 분산 장치 및 방법 | |
| CN108874528A (zh) | 分布式任务存储系统和分布式任务存储/读取方法 | |
| CN109117252A (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| US20130061202A1 (en) | Methods for assessing deliverable product quality and devices thereof | |
| US20140358609A1 (en) | Discovering task dependencies for incident management | |
| US20230061228A1 (en) | Managing shared applications at the edge of a content delivery network | |
| CN109660990A (zh) | 用于扫描无线接入点的方法和设备 | |
| US20060168218A1 (en) | Method for remembering resource allocation in grids | |
| CN109597749A (zh) | 回归测试方法、装置、电子设备及计算机可读存储介质 | |
| CN112948255B (zh) | 分布式的内核模糊测试系统及方法 | |
| US8479163B2 (en) | Simplifying maintenance of large software systems | |
| JP2021086604A (ja) | 異常サーバのサービス処理方法および装置 | |
| US9323509B2 (en) | Method and system for automated process distribution | |
| US7302486B1 (en) | Efficient retrieval of desired information from agents | |
| CN114528140A (zh) | 一种业务降级的方法和装置 | |
| CN113283742A (zh) | 一种任务分配方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200918 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200918 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220411 Address after: Room 602, No. 618 Wai Road, Huangpu District, Shanghai Patentee after: Ant fortune (Shanghai) Financial Information Service Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee before: Innovative advanced technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |