CN112256581B - 高仿真证券业交易类系统的日志回放测试方法及装置 - Google Patents
高仿真证券业交易类系统的日志回放测试方法及装置 Download PDFInfo
- Publication number
- CN112256581B CN112256581B CN202011164335.9A CN202011164335A CN112256581B CN 112256581 B CN112256581 B CN 112256581B CN 202011164335 A CN202011164335 A CN 202011164335A CN 112256581 B CN112256581 B CN 112256581B
- Authority
- CN
- China
- Prior art keywords
- playback
- task
- test
- environment
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 23
- 238000010998 test method Methods 0.000 title claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 154
- 230000004044 response Effects 0.000 claims abstract description 107
- 230000006870 function Effects 0.000 claims abstract description 83
- 238000004519 manufacturing process Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000000391 smoking effect Effects 0.000 claims description 16
- 230000007547 defect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 230000002349 favourable effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种高效、便捷、准确的高仿真证券业交易类系统的日志回放测试方法,包括:获取交易系统中的生产报文并解析;构造多种测试场景并将测试场景保存成磁盘文件;将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认版本升级是否影响。具体包括下列步骤:日志解析、解析统计、场景管理、普通回放、快速回放、回放统计、变更字段、回放对比、对比结果、日志调试。本发明支持多种测试场景构造方式,测试场景构造多样且真实,通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异,确认此次版本升级是否影响到已有功能。
Description
技术领域
本发明涉及一种高仿真证券业交易类系统的日志回放测试方法,属于高仿真证券业交易类系统测试技术领域。
背景技术
随着证券行业的高速发展,各类证券交易类业务越来越多样化、复杂化,市场及客户对需求实现速度要求越来越高,势必带来交易系统的版本更迭越来越频繁。
如何有效保证版本迭代升级不影响既有功能成为越来越重要的问题,特别是在测试周期越来越短,既有功能越来越多,测试场景越来越复杂的情况下,传统回归测试方法已经很难高效保证版本的回归质量。
因此,如何克服现有日志回放测试方法存在的各项技术缺陷,提供一种高效、便捷、准确的高仿真证券业交易类系统的日志回放测试方法是本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种在开展证券类交易系统的回归测试时的高效、便捷、准确的高仿真证券业交易类系统的日志回放测试方法,能够有效发现版本升级是否影响既有功能。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种高仿真证券业交易类系统的日志回放测试方法,包括以下步骤:获取交易系统中的生产报文并解析;构造多种测试场景并将测试场景保存成磁盘文件;将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认版本升级是否影响到已有功能。
进一步的,所述方法具体包括下列步骤:
日志解析:获取交易系统中的一个完整交易日的生产报文,将所述生产报文集中存储并解析,将所述生产报文中的请求报文存储到报文库中以备使用;
解析统计:统计汇总解析完成的报文,并按功能号、业务类别、回放策略做进一步划分;
场景管理:归档历史创建的测试场景,并进行多样性、真实性场景建设,创建符合生产实际的回放任务;任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放;
普通回放:选取场景管理创建的场景任务数据,生成普通回放任务,选定多个执行机,根据日志回放主控机发布的普通回放执行命令,执行普通回放任务,并将场景任务加载成磁盘文件,以备后续快速回放使用;
快速回放:根据测试需要,创建快速回放任务,同时创建发往基线版本环境和升级版本环境的快速回放任务;根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文,同时向基线版本环境和升级版本环境发送报文,执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备变更字段和回放对比使用;
回放统计:在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境;
变更字段:通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
回放对比:创建回放对比任务,比对快速回放保存的基线版本和升级版本的响应文件,将响应结果集的差异记录保存;
对比结果:管理回放对比产生的差异,支持所述差异的再确认、所述差异的版本管理、差异状态的更新;
日志调试:支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题。
进一步的,所述测试场景是根据测试需要,使用生产日志创建不同任务类型的回放任务,所述任务类型包括普通任务、冒烟任务、全景任务、精准任务和多业务任务;其中普通任务是取报文库中所有报文保存成单个任务,此任务类型适合报文量不多且要求覆盖度较高的场景;冒烟任务是每个功能号取若干个报文形成单个任务,此任务类型适合基本功能全覆盖但覆盖度要求不高的场景;全景任务是按选定的功能号选取该功能号的所有报文形成任务,此任务类型适合专项测试某些功能的场景;精准任务是按回放策略选择报文形成任务,此任务类型适合在保证覆盖度的前提下从海量报文中筛选适量报文提高执行速度的场景;多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务,此任务类型适合按业务类型细分的场景;任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放。
进一步的,所述将场景保存为请求文件的方法包括:按功能号或业务类型从数据库报文存储中抽取指定功能号或业务类型的报文,通过所述执行机将报文按场景名称存储为文件。
进一步的,将场景保存为请求文件的操作可以反复执行。
进一步的,所述快速回放的方法包括:构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文;通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,将两套环境返回的响应分别存储为响应文件。
进一步的,所述回放对比的方法包括:对快速回放存储的基线版本环境、升级版本环境的响应文件的响应逐个做差异比对,将典型性差异存储;对所述响应差异进行进一步分析、确认,包括环境恢复后再验证、伪代码比对、再次验证,以确认差异是否为缺陷。
进一步的,所有数据均可支持导出为文件形式。
第二方面,本发明提供了一种高仿真证券业交易类系统的日志回放测试装置,所述装置包括:
报文获取模块,获取交易系统中的生产报文并解析;
测试场景模块,用于构造多种测试场景并将测试场景保存成磁盘文件;
报文发送模块,用于将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;
功能测试模块,用于通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认此次版本升级是否影响到已有功能。
进一步的,所述装置具体包括以下部分:
日志解析模块,用于获取交易系统中的一个完整交易日的生产报文,将所述生产报文集中存储并解析,将所述生产报文中的请求报文存储到报文库中以备使用;
解析统计模块,用于统计汇总解析完成的报文,按功能号、业务类别、回放策略做进一步划分;
场景管理模块,用于归档历史创建的测试场景,并进行多样性、真实性场景建设,创建符合生产实际的回放任务;任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放;
普通回放模块,用于选取场景管理创建的场景任务数据,生成普通回放任务,选定多个执行机,根据日志回放主控机发布的普通回放执行命令,执行普通回放任务,将场景任务加载入磁盘文件,以备后续快速回放使用;
快速回放模块,用于根据测试需要,创建快速回放任务,同时创建发往基线版本环境和升级版本环境的快速回放任务;根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文,同时向基线版本环境和升级版本环境发送报文,执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备变更字段和回放对比使用;
回放统计模块,用于在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境;
变更字段模块,用于通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
回放对比模块,用于创建回放对比任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异记录保存;
对比结果模块,用于管理回放对比产生的差异,支持所述差异的再确认、所述差异的版本管理、差异状态的更新;
日志调试模块,用于支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题。
与现有技术相比,本发明所达到的有益效果:
1、本发明使用生产报文,将生产报文解析,利用技术手段将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境,通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异,确认此次版本升级是否影响到已有功能;
2、本发明的一种高仿真证券行业交易类系统的回归测试方法,使用生产报文,仿造生产实际业务场景构造用例场景,支持多种测试场景构造方式,测试场景构造多样且真实,并将测试场景保存成磁盘文件,从而使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障;
3、将场景保存为请求文件能够提高后续快速回放的执行速度,并可以反复执行,有助于实现对不同版本的场景管理;
4、快速回放将基线版本环境、升级版本环境的响应分别保存文件有利于分步实施差异比对,有利于提高整个系统的执行效率。
附图说明
图1为本发明所述的日志回放回归测试流程示意图;
图2为本发明的整体技术架构图;
图3为本发明的日志解析技术架构图;
图4为本发明的场景管理示意图;
图5为本发明的普通回放执行技术架构图;
图6为本发明的快速回放执行技术架构图;
图7为本发明的回放对比示意图;
图8为本发明的对比结果管理示意图。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解,兹配合实施例详细说明如下。
实施例一:
本实施例提供一种高仿真证券业交易类系统的日志回放测试方法,如图1-2所示,本发明的整体技术架构包括下列步骤:
S1:文件解析,如图3所示,获取交易系统中某一个完整交易日的生产报文,将其集中存储在某一物理区域,并解析报文,将报文存储到报文库里以备后续使用;
S2:解析统计,统计汇总解析完成的报文,按功能号、业务类别等做进一步划分,以备后续场景建设使用;
S3:场景管理,如图4所示,归档历史创建的测试场景,支持对测试场景涉及的功能号、场景报文数等查看操作;并可进行多样性、真实性场景建设,创建出符合生产实际的回放任务;任务类型包括:普通任务、冒烟任务、全景任务、精准任务、多业务任务等;
S4:普通回放,如图5所示,选取场景管理创建的场景任务数据生成普通回放任务,选定合适数量的执行机,由日志回放主控机发布普通回放执行命令,开始执行普通回放任务,将场景任务保存磁盘文件,以备后续快速回放使用;
S5:快速回放,如图6所示,根据测试需要,创建快速回放任务,一般以普通回放已完成任务为基准,同时创建发往基线版本环境和升级版本环境的快速回放任务;根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文同时向基线版本环境和升级版本环境发送报文,开始执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备后续变更字段、回放对比使用;
S6:回放统计,在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境的响应成功率、响应时长、响应长度等,所有数据均支持导出为文件形式,以便后续做分析之用;
S7:变更字段,版本升级经常带来响应字段的变更,如字段的增、删、改等,通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
S8:回放对比,如图7所示,创建回放对比任务,任务一般同快速回放任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异、字段的差异、字段值的差异、响应码的差异等均记录保存,作为后续对比确认升级是否引入故障的依据;
S9:对比结果,如图8所示,管理回放对比产生的差异,支持差异的再确认、差异按版本管理、差异状态的更新等,为发现、确认、管理版本缺陷的重要部分;
S10:日志调试,支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题等,是重要的辅助测试功能。
具体地,测试场景是根据测试需要,使用生产日志创建不同类型的回放任务,任务类型包括普通任务、冒烟任务、全景任务、精准任务、多业务任务。其中普通任务是取报文库中所有报文保存成单个任务,此任务类型适合报文量不多且要求覆盖度较高的场景;冒烟任务是每个功能号取若干个报文形成单个任务,此任务类型适合基本功能全覆盖但覆盖度要求不高的场景;全景任务是按选定的功能号选取该功能号的所有报文形成任务,此任务类型适合专项测试某些功能的场景;精准任务是按回放策略选择报文形成任务,此任务类型适合在保证覆盖度的前提下从海量报文中筛选适量报文提高执行速度的场景;多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务,此任务类型适合按业务类型细分的场景。任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放。
具体地,将场景保存为请求文件的目的是提高后续快速回放的执行速度,并可以反复执行,有助于不同版本的场景管理。
具体地,将场景保存为请求文件的原理是按功能号或业务类型从数据库报文存储中抽取指定功能号或业务类型的报文,通过所述执行机将报文按场景名称存储为文件。
具体地,快速回放原理是构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文,通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,两套环境返回的响应分别存储为响应文件。
具体地,回放对比对快速回放存储的响应文件做差异比对,将典型性差异,如:响应结果集的差异、字段的差异、字段值的差异、响应码的差异等存储。
具体地,快速回放将基线版本环境、升级版本环境的响应分别保存文件有利于分步实施差异比对,有利于提高整个系统的执行效率。
具体地,响应差异进行进一步分析、确认,包括环境恢复后再验证、伪代码比对、再次验证等,以确认差异是否为缺陷。
本发明的一种高仿真证券业交易类系统的日志回放测试方法,使用生产报文,支持多种任务创建类型,场景任务建设多样且真实。场景任务保存磁盘文件后向基线版本环境和升级版本环境同时发送请求报文,并将基线版本环境和升级版本环境的响应做比对,记录差异,利用技术手段分析响应差异是否影响既有功能,从而评估版本升级是否引入故障。本发明使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障。
实施例二:
一种高仿真证券业交易类系统的日志回放测试装置,其特征在于,所述装置包括:报文获取模块,获取交易系统中的生产报文并解析;
测试场景模块,用于构造多种测试场景并将测试场景保存成磁盘文件;
报文发送模块,用于将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;
功能测试模块,用于通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认此次版本升级是否影响到已有功能。
具体包括:日志解析模块,用于获取交易系统中某一个完整交易日的生产报文,将其集中存储在某一物理区域,并解析报文,将其中请求报文存储到报文库里以备后续使用;
解析统计模块,用于统计汇总解析完成的报文,按功能号、业务类别、回放策略等做进一步划分,以备后续场景建设使用;
场景管理模块,用于归档历史创建的测试场景,支持对测试场景涉及的功能号、场景报文数等查看操作。并可进行多样性、真实性场景建设,创建出符合生产实际的回放任务。任务类型包括:普通任务、冒烟任务、全景任务、精准任务、多业务任务等;
普通回放模块,用于选取场景管理创建的场景任务数据生成普通回放任务,选定合适数量的执行机,由日志回放主控机发布普通回放执行命令,开始执行普通回放任务,将场景任务保存磁盘文件,以备后续快速回放使用;
快速回放模块,用于根据测试需要,创建快速回放任务,一般以普通回放已完成任务为基准,同时创建发往基线版本环境和升级版本环境的快速回放任务。根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文同时向基线版本环境和升级版本环境发送报文,开始执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备后续变更字段、回放对比使用;
回放统计模块,用于在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境的响应成功率、响应时长、响应长度等,所有数据均支持导出为文件形式,以便后续做分析之用;
变更字段模块,用于版本升级经常带来响应字段的变更,如字段的增、删、改等,通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
回放对比模块,用于创建回放对比任务,任务一般同快速回放任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异、字段的差异、字段值的差异、响应码的差异等均记录保存,作为后续对比确认升级是否引入故障的依据;
对比结果模块,用于管理回放对比产生的差异,支持差异的再确认、差异按版本管理、差异状态的更新等,为发现、确认、管理版本缺陷的重要组成部分;
日志调试模块,用于支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题等,是重要的辅助测试功能。
本实施例提供的一种高仿真证券业交易类系统的日志回放测试装置,使用生产报文,支持多种任务创建类型,场景任务建设多样且真实。场景任务保存磁盘文件后向基线版本环境和升级版本环境同时发送请求报文,并将基线版本环境和升级版本环境的响应做比对,记录差异,利用技术手段分析响应差异是否影响既有功能,从而评估版本升级是否引入故障。本发明使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障。
实施例三:
本发明实施例还提供了一种高仿真证券行业交易类系统的日志回放测试装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行下述方法的步骤:
S1:日志解析,获取交易系统中某一个完整交易日的生产报文,将其集中存储在某一物理区域,并解析报文,将其中请求报文存储到报文库里以备后续使用;
S2:解析统计,统计汇总解析完成的报文,按功能号、业务类别、回放策略等做进一步划分,以备后续场景建设使用;
S3:场景管理,归档历史创建的测试场景,支持对测试场景涉及的功能号、场景报文数等查看操作。并可进行多样性、真实性场景建设,创建出符合生产实际的回放任务。任务类型包括:普通任务、冒烟任务、全景任务、精准任务、多业务任务等;
S4:普通回放,选取场景管理创建的场景任务数据生成普通回放任务,选定合适数量的执行机,由日志回放主控机发布普通回放执行命令,开始执行普通回放任务,将场景任务保存磁盘文件,以备后续快速回放使用;
S5:快速回放,根据测试需要,创建快速回放任务,一般以普通回放已完成任务为基准,同时创建发往基线版本环境和升级版本环境的快速回放任务。根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文同时向基线版本环境和升级版本环境发送报文,开始执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备后续变更字段、回放对比使用;
S6:回放统计,在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境的响应成功率、响应时长、响应长度等,所有数据均支持导出为文件形式,以便后续做分析之用;
S7:变更字段,版本升级经常带来响应字段的变更,如字段的增、删、改等,通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
S8:回放对比,创建回放对比任务,任务一般同快速回放任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异、字段的差异、字段值的差异、响应码的差异等均记录保存,作为后续对比确认升级是否引入故障的依据;
S9:对比结果,管理回放对比产生的差异,支持差异的再确认、差异按版本管理、差异状态的更新等,为发现、确认、管理版本缺陷的重要组成部分;
S10:日志调试,支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题等,是重要的辅助测试功能。
具体地,测试场景是根据测试需要,使用生产日志创建不同类型的回放任务,任务类型包括普通任务、冒烟任务、全景任务、精准任务、多业务任务。其中普通任务是取报文库中所有报文保存成单个任务,此任务类型适合报文量不多且要求覆盖度较高的场景;冒烟任务是每个功能号取若干个报文形成单个任务,此任务类型适合基本功能全覆盖但覆盖度要求不高的场景;全景任务是按选定的功能号选取该功能号的所有报文形成任务,此任务类型适合专项测试某些功能的场景;精准任务是按回放策略选择报文形成任务,此任务类型适合在保证覆盖度的前提下从海量报文中筛选适量报文提高执行速度的场景;多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务,此任务类型适合按业务类型细分的场景。任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放。
具体地,将场景保存为请求文件的目的是提高后续快速回放的执行速度,并可以反复执行,有助于不同版本的场景管理。
具体地,将场景保存为请求文件的原理是按功能号或业务类型从数据库报文存储中抽取指定功能号或业务类型的报文,通过所述执行机将报文按场景名称存储为文件。
具体地,快速回放原理是构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文,通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,两套环境返回的响应分别存储为响应文件。
具体地,回放对比对快速回放存储的响应文件做差异比对,将典型性差异,如:响应结果集的差异、字段的差异、字段值的差异、响应码的差异等存储。
具体地,快速回放将基线版本环境、升级版本环境的响应分别保存文件有利于分步实施差异比对,有利于提高整个系统的执行效率。
具体地,响应差异进行进一步分析、确认,包括环境恢复后再验证、伪代码比对、再次验证等,以确认差异是否为缺陷。
本发明的一种高仿真证券业交易类系统的日志回放测试方法方法,使用生产报文,支持多种任务创建类型,场景任务建设多样且真实。场景任务保存磁盘文件后向基线版本环境和升级版本环境同时发送请求报文,并将基线版本环境和升级版本环境的响应做比对,记录差异,利用技术手段分析响应差异是否影响既有功能,从而评估版本升级是否引入故障。本发明使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障。
本实施例提供的一种高仿真证券业交易类系统的日志回放测试装置,使用生产报文,支持多种任务创建类型,场景任务建设多样且真实。场景任务保存磁盘文件后向基线版本环境和升级版本环境同时发送请求报文,并将基线版本环境和升级版本环境的响应做比对,记录差异,利用技术手段分析响应差异是否影响既有功能,从而评估版本升级是否引入故障。本发明使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障。
实施例四:
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现下述方法的步骤:
S1:日志解析,获取交易系统中某一个完整交易日的生产报文,将其集中存储在某一物理区域,并解析报文,将其中请求报文存储到报文库里以备后续使用;
S2:解析统计,统计汇总解析完成的报文,按功能号、业务类别、回放策略等做进一步划分,以备后续场景建设使用;
S3:场景管理,归档历史创建的测试场景,支持对测试场景涉及的功能号、场景报文数等查看操作。并可进行多样性、真实性场景建设,创建出符合生产实际的回放任务。任务类型包括:普通任务、冒烟任务、全景任务、精准任务、多业务任务等;
S4:普通回放,选取场景管理创建的场景任务数据生成普通回放任务,选定合适数量的执行机,由日志回放主控机发布普通回放执行命令,开始执行普通回放任务,将场景任务保存成磁盘文件,以备后续快速回放使用;
S5:快速回放,根据测试需要,创建快速回放任务,一般以普通回放已完成任务为基准,同时创建发往基线版本环境和升级版本环境的快速回放任务。根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文同时向基线版本环境和升级版本环境发送报文,开始执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备后续变更字段、回放对比使用;
S6:回放统计,在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境的响应成功率、响应时长、响应长度等,所有数据均支持导出为文件形式,以便后续做分析之用;
S7:变更字段,版本升级经常带来响应字段的变更,如字段的增、删、改等,通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
S8:回放对比,创建回放对比任务,任务一般同快速回放任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异、字段的差异、字段值的差异、响应码的差异等均记录保存,作为后续对比确认升级是否引入故障的依据;
S9:对比结果,管理回放对比产生的差异,支持差异的再确认、差异按版本管理、差异状态的更新等,为发现、确认、管理版本缺陷的重要组成部分;
S10:日志调试,支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题等,是重要的辅助测试功能。
具体地,测试场景是根据测试需要,使用生产日志创建不同类型的回放任务,任务类型包括普通任务、冒烟任务、全景任务、精准任务、多业务任务。其中普通任务是取报文库中所有报文保存成单个任务,此任务类型适合报文量不多且要求覆盖度较高的场景;冒烟任务是每个功能号取若干个报文形成单个任务,此任务类型适合基本功能全覆盖但覆盖度要求不高的场景;全景任务是按选定的功能号选取该功能号的所有报文形成任务,此任务类型适合专项测试某些功能的场景;精准任务是按回放策略选择报文形成任务,此任务类型适合在保证覆盖度的前提下从海量报文中筛选适量报文提高执行速度的场景;多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务,此任务类型适合按业务类型细分的场景。任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放。
具体地,将场景保存为请求文件的目的是提高后续快速回放的执行速度,并可以反复执行,有助于不同版本的场景管理。
具体地,将场景保存为请求文件的原理是按功能号或业务类型从数据库报文存储中抽取指定功能号或业务类型的报文,通过所述执行机将报文按场景名称存储为文件。
具体地,快速回放原理是构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文,通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,两套环境返回的响应分别存储为响应文件。
具体地,回放对比对快速回放存储的响应文件做差异比对,将典型性差异,如:响应结果集的差异、字段的差异、字段值的差异、响应码的差异等存储。
具体地,快速回放将基线版本环境、升级版本环境的响应分别保存文件有利于分步实施差异比对,有利于提高整个系统的执行效率。
具体地,响应差异进行进一步分析、确认,包括环境恢复后再验证、伪代码比对、再次验证等,以确认差异是否为缺陷。
本发明的一种高仿真证券业交易类系统的日志回放测试方法方法,使用生产报文,支持多种任务创建类型,场景任务建设多样且真实。场景任务保存磁盘文件后向基线版本环境和升级版本环境同时发送请求报文,并将基线版本环境和升级版本环境的响应做比对,记录差异,利用技术手段分析响应差异是否影响既有功能,从而评估版本升级是否引入故障。本发明使测试工程师在开展证券类交易系统的回归测试时可获得一种高效、便捷、准确的测试方式,有效发现版本升级引入的故障。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种高仿真证券交易类系统的日志回放测试方法,其特征在于,包括以下步骤:
获取交易系统中的生产报文并解析;
构造多种测试场景并将测试场景保存成磁盘文件;
将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;
通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认版本升级是否影响到已有功能;
所述方法具体包括下列步骤:
日志解析:获取交易系统中的一个完整交易日的生产报文,将所述生产报文集中存储并解析,将所述生产报文中的请求报文存储到报文库中以备使用;
解析统计:统计汇总解析完成的报文,并按功能号、业务类别、回放策略做进一步划分;
场景管理:归档历史创建的测试场景,并进行多样性、真实性场景建设,创建符合生产实际的回放任务;任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放;
普通回放:选取场景管理创建的场景任务数据,生成普通回放任务,选定多个执行机,根据日志回放主控机发布的普通回放执行命令,执行普通回放任务,并将场景任务加载成磁盘文件,以备后续快速回放使用;
快速回放:根据测试需要,创建快速回放任务,同时创建发往基线版本环境和升级版本环境的快速回放任务;根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文,同时向基线版本环境和升级版本环境发送报文,执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备变更字段和回放对比使用;
回放统计:在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境;
变更字段:通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
回放对比:创建回放对比任务,比对快速回放保存的基线版本和升级版本的响应文件,将响应结果集的差异记录保存;
对比结果:管理回放对比产生的差异,支持所述差异的再确认、所述差异的版本管理、差异状态的更新;
日志调试:支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题;
所述测试场景是根据测试需要,使用生产日志创建不同任务类型的回放任务,所述任务类型包括普通任务、冒烟任务、全景任务、精准任务和多业务任务;
其中,所述普通任务是取报文库中所有报文保存成单个任务;所述冒烟任务是每个功能号取若干个报文形成单个任务;所述全景任务是按选定的功能号选取该功能号的所有报文形成任务;所述精准任务是按回放策略选择报文形成任务;所述多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务;
所述快速回放的方法包括:
构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文;
通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,将两套环境返回的响应分别存储为响应文件。
2.根据权利要求1所述的高仿真证券交易类系统的日志回放测试方法,其特征在于,所述将场景保存为请求文件的方法包括:按功能号或业务类型从数据库报文存储中抽取指定功能号或业务类型的报文,通过所述执行机将报文按场景名称存储为文件。
3.根据权利要求2所述的高仿真证券交易类系统的日志回放测试方法,其特征在于,将场景保存为请求文件的操作可以反复执行。
4.根据权利要求2所述的高仿真证券交易类系统的日志回放测试方法,其特征在于,所述回放对比的方法包括:
对快速回放存储的基线版本环境、升级版本环境的响应文件的响应逐个做差异比对,将典型性差异存储;
所述回放对比还包括:对所述响应差异进行进一步分析、确认,包括环境恢复后再验证、伪代码比对、再次验证,以确认差异是否为缺陷。
5.根据权利要求1所述的高仿真证券交易类系统的日志回放测试方法,其特征在于,所有数据均为可支持导出为文件形式。
6.一种高仿真证券业交易类系统的日志回放测试装置,其特征在于,所述装置包括:
报文获取模块,获取交易系统中的生产报文并解析;
测试场景模块,用于构造多种测试场景并将测试场景保存成磁盘文件;
报文发送模块,用于将测试场景文件里的请求报文同时发往被测系统的基线版本环境和升级版本环境;
功能测试模块,用于通过比对基线版本环境和升级版本环境返回同一请求的响应内容的差异以确认此次版本升级是否影响到已有功能;
所述装置具体包括以下部分:
日志解析模块,用于获取交易系统中的一个完整交易日的生产报文,将所述生产报文集中存储并解析,将所述生产报文中的请求报文存储到报文库中以备使用;
解析统计模块,用于统计汇总解析完成的报文,按功能号、业务类别、回放策略做进一步划分;
场景管理模块,用于归档历史创建的测试场景,并进行多样性、真实性场景建设,创建符合生产实际的回放任务;任务创建完成后将生产请求报文保存成待发送请求文件,并分别取每个场景的请求文件里的请求报文向基线版本环境、升级版本环境快速回放;
普通回放模块,用于选取场景管理创建的场景任务数据,生成普通回放任务,选定多个执行机,根据日志回放主控机发布的普通回放执行命令,执行普通回放任务,将场景任务加载入磁盘文件,以备后续快速回放使用;
快速回放模块,用于根据测试需要,创建快速回放任务,同时创建发往基线版本环境和升级版本环境的快速回放任务;根据测试场景选定合适数量的执行机,由日志回放测试主控机发布测试执行命令,通过证券交易类定制化协议读取普通回放保存的场景任务文件里的请求报文,同时向基线版本环境和升级版本环境发送报文,执行日志回放测试,并将基线版本环境和升级版本环境返回的响应分别保存成文件,以备变更字段和回放对比使用;
回放统计模块,用于在测试过程中实时监控测试执行过程,实时监控基线版本环境和升级版本环境;
变更字段模块,用于通过比对快速回放保存的基线版本、升级版本响应文件,获取字段变更详情,以分析变更是否和升级版本需求相符;
回放对比模块,用于创建回放对比任务,比对快速回放保存的基线版本、升级版本响应文件,将响应结果集的差异记录保存;
对比结果模块,用于管理回放对比产生的差异,支持所述差异的再确认、所述差异的版本管理、差异状态的更新;
日志调试模块,用于支持按功能号查找请求报文,通过证券交易类定制化协议向选定的被测环境发送单条请求报文,以确认环境是否正常、报文是否有问题;
所述测试场景是根据测试需要,使用生产日志创建不同任务类型的回放任务,所述任务类型包括普通任务、冒烟任务、全景任务、精准任务和多业务任务;
其中,所述普通任务是取报文库中所有报文保存成单个任务;所述冒烟任务是每个功能号取若干个报文形成单个任务;所述全景任务是按选定的功能号选取该功能号的所有报文形成任务;所述精准任务是按回放策略选择报文形成任务;所述多业务任务是按业务类型、字段类型创建单接口单业务、单接口多业务任务;
所述快速回放的方法包括:
构造基线版本环境、升级版本环境回放任务,并分别读取场景请求文件里的请求报文;
通过证券交易类定制化协议分别向基线版本环境、升级版本环境发送,将两套环境返回的响应分别存储为响应文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011164335.9A CN112256581B (zh) | 2020-10-27 | 2020-10-27 | 高仿真证券业交易类系统的日志回放测试方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011164335.9A CN112256581B (zh) | 2020-10-27 | 2020-10-27 | 高仿真证券业交易类系统的日志回放测试方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256581A CN112256581A (zh) | 2021-01-22 |
CN112256581B true CN112256581B (zh) | 2024-01-23 |
Family
ID=74262686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011164335.9A Active CN112256581B (zh) | 2020-10-27 | 2020-10-27 | 高仿真证券业交易类系统的日志回放测试方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256581B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112799944A (zh) * | 2021-01-29 | 2021-05-14 | 中国工商银行股份有限公司 | 系统性能测试方法及系统 |
CN112835800A (zh) * | 2021-02-05 | 2021-05-25 | 兴业证券股份有限公司 | 一种日志回放方法和装置 |
CN113360393B (zh) * | 2021-06-25 | 2022-04-12 | 武汉众邦银行股份有限公司 | 一种基于生产环境流量监控的持续验证方法及装置 |
CN114372883A (zh) * | 2022-01-07 | 2022-04-19 | 上海银行股份有限公司 | 基于服务治理与数据校验的数据治理方法 |
CN116385001B (zh) * | 2023-06-07 | 2023-08-22 | 建信金融科技有限责任公司 | 交易日志回放方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101110079A (zh) * | 2007-06-27 | 2008-01-23 | 中国科学院遥感应用研究所 | 一种数字地球原型系统 |
CN102216941A (zh) * | 2008-08-19 | 2011-10-12 | 数字标记公司 | 用于内容处理的方法和系统 |
CN106506243A (zh) * | 2016-12-19 | 2017-03-15 | 武汉虹信通信技术有限责任公司 | 一种基于日志数据的网管故障诊断方法 |
US9953068B1 (en) * | 2013-10-16 | 2018-04-24 | Google Llc | Computing usage metrics for a content sharing platform |
CN108334370A (zh) * | 2017-05-26 | 2018-07-27 | 中国电子科技集团公司第四十研究所 | 一种分布式测试系统的软件自动增量更新升级方法 |
CN109165153A (zh) * | 2018-09-06 | 2019-01-08 | 华泰证券股份有限公司 | 一种高仿真证券业交易类系统的性能测试方法 |
CN109918103A (zh) * | 2019-01-31 | 2019-06-21 | 国网浙江省电力有限公司 | 一种基于全过程监控的采集终端远程升级系统及其工作方法 |
CN110673873A (zh) * | 2019-10-09 | 2020-01-10 | 成都安恒信息技术有限公司 | 一种基于审计的软件发布方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130191145A1 (en) * | 2010-10-19 | 2013-07-25 | ClearCare, Inc. | System and apparatus for generating work schedules |
-
2020
- 2020-10-27 CN CN202011164335.9A patent/CN112256581B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101110079A (zh) * | 2007-06-27 | 2008-01-23 | 中国科学院遥感应用研究所 | 一种数字地球原型系统 |
CN102216941A (zh) * | 2008-08-19 | 2011-10-12 | 数字标记公司 | 用于内容处理的方法和系统 |
US9953068B1 (en) * | 2013-10-16 | 2018-04-24 | Google Llc | Computing usage metrics for a content sharing platform |
CN106506243A (zh) * | 2016-12-19 | 2017-03-15 | 武汉虹信通信技术有限责任公司 | 一种基于日志数据的网管故障诊断方法 |
CN108334370A (zh) * | 2017-05-26 | 2018-07-27 | 中国电子科技集团公司第四十研究所 | 一种分布式测试系统的软件自动增量更新升级方法 |
CN109165153A (zh) * | 2018-09-06 | 2019-01-08 | 华泰证券股份有限公司 | 一种高仿真证券业交易类系统的性能测试方法 |
CN109918103A (zh) * | 2019-01-31 | 2019-06-21 | 国网浙江省电力有限公司 | 一种基于全过程监控的采集终端远程升级系统及其工作方法 |
CN110673873A (zh) * | 2019-10-09 | 2020-01-10 | 成都安恒信息技术有限公司 | 一种基于审计的软件发布方法 |
Non-Patent Citations (2)
Title |
---|
日志回放技术对铺底数据的关联性研究;冯瑶;《中国金融电脑》;论文全文 * |
虚拟机全系统回放技术研究;刘海坤;《计算机科学与探索》;论文全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112256581A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112256581B (zh) | 高仿真证券业交易类系统的日志回放测试方法及装置 | |
CN102831052B (zh) | 测试用例自动化生成装置及方法 | |
CN107665171B (zh) | 自动回归测试方法及装置 | |
CN102495789B (zh) | 一种自动化测试方法和设备 | |
CN103164328A (zh) | 一种业务功能的回归测试方法、装置及系统 | |
CN104657274B (zh) | 软件界面测试方法及装置 | |
CN110083581B (zh) | 一种日志追溯的方法、装置、存储介质及计算机设备 | |
CN112115058A (zh) | 测试方法及装置、测试用例生成方法及装置、测试系统 | |
CN112433948A (zh) | 一种基于网络数据分析的仿真测试系统及方法 | |
CN114996127A (zh) | 固态硬盘固件模块智能化测试方法及系统 | |
CN112148587A (zh) | 一种软件测试管理系统和方法 | |
CN111190814A (zh) | 软件测试用例的生成方法、装置、存储介质及终端 | |
CN116881145B (zh) | 基于流量回放的接口测试方法、装置、设备以及存储介质 | |
CN116527553A (zh) | 一种交换机自动化测试报告的处理方法、系统及存储介质 | |
CN114924726A (zh) | 一种快速验证应用程序接口的装置及其控制方法 | |
CN114637688A (zh) | 基于版本分支的覆盖率统计方法及装置 | |
CN115185825A (zh) | 接口测试的调度方法及装置 | |
CN112035308A (zh) | 系统接口测试表格的生成方法及装置 | |
CN112699055B (zh) | 一种维护成本较低的软件自动化测试方法及系统 | |
CN116340187B (zh) | 规则引擎迁移测试方法、装置、电子设备及存储介质 | |
CN113722129B (zh) | 一种存储可靠性测试方法及相关装置 | |
CN112433738B (zh) | 一种固件更新测试方法、系统、设备以及介质 | |
CN110046098B (zh) | 一种实时库测试方法及系统 | |
CN115718699A (zh) | 对新开发系统进行功能验证的方法及装置 | |
CN113434398A (zh) | 一种批量自动化测试方法及平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |