CN106445812B - 回归测试系统及回归测试方法 - Google Patents

回归测试系统及回归测试方法 Download PDF

Info

Publication number
CN106445812B
CN106445812B CN201610786983.5A CN201610786983A CN106445812B CN 106445812 B CN106445812 B CN 106445812B CN 201610786983 A CN201610786983 A CN 201610786983A CN 106445812 B CN106445812 B CN 106445812B
Authority
CN
China
Prior art keywords
upstream
module
downstream
sut
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610786983.5A
Other languages
English (en)
Other versions
CN106445812A (zh
Inventor
李艳秋
陆费汉平
赵冷奇
陈凯
周才菊
陈奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201610786983.5A priority Critical patent/CN106445812B/zh
Publication of CN106445812A publication Critical patent/CN106445812A/zh
Application granted granted Critical
Publication of CN106445812B publication Critical patent/CN106445812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种回归测试系统及回归测试方法，回归测试系统包括：数据整理模块，获取被测系统的线上请求及返回数据；上下游配置模块，将被测系统划分为上游请求、向下请求、下游返回和返回上游，将被测系统的上游和下游切换至上游模拟模块和下游模拟模块，下游模拟模块记录向下请求并返回下游返回，上游模拟模块记录返回上游的报文；请求执行模块，将获取的线上请求循环发送至被测系统的上游请求；验证对比模块，对不同版本的被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比。本发明利用线上用户的实际线上请求来执行回归测试，可以弥补基线用例不完整的问题并免去基线用例维护的工作量。

Description

回归测试系统及回归测试方法
技术领域
本发明涉及一种软件回归测试领域，特别是涉及一种回归测试系统及回归测试方法。
背景技术
在软件的生命周期里，软件测试是非常关键的环节。其中每次对软件系统的升级维护都离不开软件测试，每次测试工作都有60％以上的工作量用于回归测试。在通常情况下回归测试的基础是基线用例库，对于一个比较庞大的系统而言，它的基线用例库也将是非常庞大的，每次执行回归测试所需要的测试资源也是非常大的。所以一般系统上线前的回归通常选择主流程，回归不足常常是线上事件的根本原因，更有甚者有些系统由于历史原因基线用例库大部分是不完整的，从而导致软件的回归测试过程存在问题。
发明内容
本发明要解决的技术问题是为了克服现有技术中软件回归测试存在各种问题的缺陷，提供一种回归测试系统及回归测试方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种回归测试系统，其特征在于，包括：
数据整理模块，用于获取被测系统的线上请求及返回数据；
上下游配置模块，用于将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并将所述被测系统的上游和下游分别切换至一上游模拟模块和一下游模拟模块，所述下游模拟模块用于记录向下请求并返回下游返回，所述上游模拟模块用于记录返回上游的报文；
请求执行模块，用于将所述数据整理模块获取的线上请求循环发送至所述被测系统的上游请求部分，以调用所述被测系统循环执行所述线上请求并依次生成向下请求、下游返回和返回上游的报文；
验证对比模块，用于对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比。
较佳地，所述验证对比模块用于将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块获取的数据进行验证对比。
较佳地，所述验证对比模块用于将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比。
较佳地，所述回归测试系统还包括稳定度分析模块，用于根据所述验证对比模块的验证对比结果分析所述被测系统的稳定度。
较佳地，所述回归测试系统还包括覆盖率统计模块，用于搜集并统计所述被测系统的路径覆盖率。
本发明的目的在于还提供了一种回归测试方法，其特点在于，其利用上述的回归测试系统实现，包括以下步骤：
S1、数据整理模块获取被测系统的线上请求及返回数据；
S2、上下游配置模块将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并将所述被测系统的上游和下游分别切换至一上游模拟模块和一下游模拟模块，所述下游模拟模块用于记录向下请求并返回下游返回，所述上游模拟模块用于记录返回上游的报文；
S3、请求执行模块将所述数据整理模块获取的线上请求循环发送至所述被测系统的上游请求部分，以调用所述被测系统循环执行所述线上请求并依次生成向下请求、下游返回和返回上游的报文；
S4、验证对比模块对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比。
较佳地，步骤S4包括：所述验证对比模块将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块获取的数据进行验证对比。
较佳地，所述验证对比模块将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比。
较佳地，所述回归测试系统还包括稳定度分析模块，步骤S4之后还包括：
S5、稳定度分析模块根据所述验证对比模块的验证对比结果分析所述被测系统的稳定度。
较佳地，所述回归测试系统还包括覆盖率统计模块，步骤S4之后还包括：
S6、覆盖率统计模块搜集并统计所述被测系统的路径覆盖率。
本发明的积极进步效果在于：本发明利用线上用户的实际线上请求来执行软件回归测试，既可以弥补基线用例不完整的问题又可以免去基线用例维护的工作量；同时按照本发明在软件回归测试过程中可以减少人工干预，在全面的回归测试的基础上降低投入的资源。
附图说明
图1为本发明的较佳实施例的回归测试系统的模块示意图。
图2为本发明的较佳实施例的回归测试方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的回归测试系统包括数据整理模块1、上下游配置模块2、请求执行模块3、验证对比模块4、稳定度分析模块5、覆盖率统计模块6、上游模拟模块7以及下游模拟模块8；
其中，所述数据整理模块1用于获取被测系统的线上请求及返回数据，通常情况下，线上请求及返回数据会存储在Log(日志)系统里，因此，所述数据整理模块1从Log系统里拉取符合需求的报文是整个执行的关键；而报文通常有三种情况：第一种为完整的报文因而无需修改；第二种为根据安全规定处理过的报文，这部分报文需要对其中的敏感数据进行替换或解密；第三种为仅能获得的报文组装零件，需要对其进行报文拼接来获取完整的报文。
所述上下游配置模块2则将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并通过调用跳转配置将被测系统的上游和下游分别切换至所述上游模拟模块7和下游模拟模块8，所述下游模拟模块8则用于记录向下请求的数据并返回下游返回的数据，所述上游模拟模块7则用于记录返回上游的报文，而记录下的报文则会用于之后的验证对比；
所述请求执行模块3会将所述数据整理模块1获取的线上请求循环发送至所述被测系统的上游请求部分，从而可以按照数据量循环请求所述被测系统，以此调用所述被测系统循环执行所述线上请求并依次来联动生成向下请求、下游返回和返回上游的数据报文；这样，所述下游模拟模块8会记录每一个上游输入对应输出的向下请求，并自动返回对应的下游返回给所述被测系统，而所述上游模拟模块7则会记录返回上游的报文；
所述验证对比模块4会对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比；即对数据进行正确性验证，以此确认软件系统回归测试的结果，具体可以通过两种方式来进行验证对比：所述验证对比模块4可以将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块1获取并整理好的数据进行验证对比；或者，所述验证对比模块4可以将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比，即将合理的执行批次设置为基准，与基准进行对比。
而所述稳定度统计模块5则会根据所述验证对比模块4的验证对比结果分析所述被测系统的稳定度，所述覆盖率统计模块6则会在执行过程中搜集被测系统的路径覆盖率，以此来验证生产上拉取数据的有效性，从而可以更好地确定线上数据对被测系统的验证情况，实现了确认本次测试的有效性以及回归测试系统的稳定程度。
本发明还提供了一种回归测试方法，其利用上述的回归测试系统实现，如图2所示，包括以下步骤：
步骤101、数据整理模块获取被测系统的线上请求及返回数据；
步骤102、上下游配置模块将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并将所述被测系统的上游和下游分别切换至一上游模拟模块和一下游模拟模块，所述下游模拟模块用于记录向下请求并返回下游返回，所述上游模拟模块用于记录返回上游的报文；
步骤103、请求执行模块将所述数据整理模块获取的线上请求循环发送至所述被测系统的上游请求部分，以调用所述被测系统循环执行所述线上请求并依次生成向下请求、下游返回和返回上游的报文；
步骤104、验证对比模块对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比；
其中，在步骤104中，所述验证对比模块可以将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块获取的数据进行验证对比；或者，所述验证对比模块可以将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比；
步骤105、稳定度分析模块根据所述验证对比模块的验证对比结果分析所述被测系统的稳定度；
步骤106、覆盖率统计模块搜集并统计所述被测系统的路径覆盖率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种回归测试系统，其特征在于，包括：
数据整理模块，用于获取被测系统的线上请求及返回数据；
上下游配置模块，用于将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并将所述被测系统的上游和下游分别切换至一上游模拟模块和一下游模拟模块，所述下游模拟模块用于记录向下请求并返回下游返回，所述上游模拟模块用于记录返回上游的报文；
请求执行模块，用于将所述数据整理模块获取的线上请求循环发送至所述被测系统的上游请求部分，以调用所述被测系统循环执行所述线上请求并依次生成向下请求、下游返回和返回上游的报文；
验证对比模块，用于对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比；
所述验证对比模块用于将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块获取的数据进行验证对比。
2.如权利要求1所述的回归测试系统，其特征在于，所述验证对比模块用于将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比。
3.如权利要求1所述的回归测试系统，其特征在于，所述回归测试系统还包括稳定度分析模块，用于根据所述验证对比模块的验证对比结果分析所述被测系统的稳定度。
4.如权利要求1所述的回归测试系统，其特征在于，所述回归测试系统还包括覆盖率统计模块，用于搜集并统计所述被测系统的路径覆盖率。
5.一种回归测试方法，其特征在于，其利用如权利要求1所述的回归测试系统实现，包括以下步骤：
S1、数据整理模块获取被测系统的线上请求及返回数据；
S2、上下游配置模块将所述被测系统划分为上游请求、向下请求、下游返回和返回上游四个部分，并将所述被测系统的上游和下游分别切换至一上游模拟模块和一下游模拟模块，所述下游模拟模块用于记录向下请求并返回下游返回，所述上游模拟模块用于记录返回上游的报文；
S3、请求执行模块将所述数据整理模块获取的线上请求循环发送至所述被测系统的上游请求部分，以调用所述被测系统循环执行所述线上请求并依次生成向下请求、下游返回和返回上游的报文；
S4、验证对比模块对不同版本的所述被测系统执行好的上游请求、向下请求、下游返回和返回上游的数据进行验证对比；
步骤S4包括：所述验证对比模块将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述数据整理模块获取的数据进行验证对比。
6.如权利要求5所述的回归测试方法，其特征在于，所述验证对比模块将所述被测系统执行的一目标线上请求并生成的目标向下请求、目标下游返回和目标返回上游的数据设置为基准数据，并将执行好的上游请求、向下请求、下游返回和返回上游的数据与所述基准数据进行验证对比。
7.如权利要求5所述的回归测试方法，其特征在于，所述回归测试系统还包括稳定度分析模块，步骤S4之后还包括：
S5、稳定度分析模块根据所述验证对比模块的验证对比结果分析所述被测系统的稳定度。
8.如权利要求5所述的回归测试方法，其特征在于，所述回归测试系统还包括覆盖率统计模块，步骤S4之后还包括：
S6、覆盖率统计模块搜集并统计所述被测系统的路径覆盖率。
CN201610786983.5A 2016-08-31 2016-08-31 回归测试系统及回归测试方法 Active CN106445812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610786983.5A CN106445812B (zh) 2016-08-31 2016-08-31 回归测试系统及回归测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610786983.5A CN106445812B (zh) 2016-08-31 2016-08-31 回归测试系统及回归测试方法

Publications (2)

Publication Number Publication Date
CN106445812A CN106445812A (zh) 2017-02-22
CN106445812B true CN106445812B (zh) 2019-02-01

Family

ID=58091444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610786983.5A Active CN106445812B (zh) 2016-08-31 2016-08-31 回归测试系统及回归测试方法

Country Status (1)

Country Link
CN (1) CN106445812B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268374B (zh) * 2017-11-03 2019-03-05 平安科技（深圳）有限公司 软件版本测试方法、装置、终端设备及存储介质
CN110908906B (zh) * 2019-11-18 2023-03-28 中国民航信息网络股份有限公司 一种回归测试方法及系统
CN111966592A (zh) * 2020-08-11 2020-11-20 网联清算有限公司 前端页面测试方法、装置、介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495801A (zh) * 2011-12-07 2012-06-13 方正国际软件有限公司 一种测试功能链生成方法与装置
CN103297450A (zh) * 2012-02-23 2013-09-11 百度在线网络技术（北京）有限公司 分布式集群的模拟系统、方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3201774B1 (de) * 2014-10-01 2019-02-20 TTTech Computertechnik AG Verteiltes echtzeitcomputersystem und zeitgesteuerte verteilereinheit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495801A (zh) * 2011-12-07 2012-06-13 方正国际软件有限公司 一种测试功能链生成方法与装置
CN103297450A (zh) * 2012-02-23 2013-09-11 百度在线网络技术（北京）有限公司 分布式集群的模拟系统、方法和装置

Also Published As

Publication number Publication date
CN106445812A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106294120B (zh) 测试代码的方法、设备和计算机程序产品
TW201941058A (zh) 異常檢測方法及裝置
CN106445812B (zh) 回归测试系统及回归测试方法
JP2015528612A (ja) 分散システムにおいてユーザリクエストの実行を監視するための方法及びシステム
CN106803799B (zh) 一种性能测试方法和装置
CN111752850B (zh) 区块链系统的测试方法及相关设备
KR101423030B1 (ko) 컴퓨터 실행 가능한 어플리케이션 객체 분석 방법, 이를 수행하는 어플리케이션 객체 분석 서버 및 이를 저장하는 기록매체
CN105068935B (zh) 一种软件测试结果的处理方法及装置
WO2014085793A1 (en) Advanced and automatic analysis of recurrent test failures
CN110008049A (zh) 一种基于互联网平台的数据修正方法、终端设备及介质
Röck et al. Performance Benchmarking of BPEL Engines: A Comparison Framework, Status Quo Evaluation and Challenges.
CN113485931A (zh) 测试方法、装置、电子设备及计算机可读存储介质
CN105740135B (zh) 一种代码审计方法和装置
CN115048257A (zh) 系统业务功能验证方法、装置、计算机设备和存储介质
US20160246695A1 (en) Lightweight functional testing
JP2010224629A (ja) ソフトウェア検証システムと方法およびプログラム
CN107846586B (zh) 视频流质量的监测方法、装置和服务端
CN106855843B (zh) 一种Web系统的性能分析方法和装置
CN114595146A (zh) Ab测试方法、装置、系统、电子设备及介质
CN113127459B (zh) 一种数据治理的实现方法、装置、可读介质及电子设备
WO2019230597A1 (ja) 機能解析装置、機能解析方法および機能解析プログラム
CN106855840B (zh) 一种系统cpu分析方法和装置
CN113138917A (zh) 一种性能测试平台
CN112199229A (zh) 数据处理方法、装置、设备和存储介质
CN111858755A (zh) 基于区块链的ai训练任务的处理方法、节点及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant