CN116860625A - 一种基于接口分级的接口自动化案例检查方法及系统 - Google Patents
一种基于接口分级的接口自动化案例检查方法及系统 Download PDFInfo
- Publication number
- CN116860625A CN116860625A CN202310801896.2A CN202310801896A CN116860625A CN 116860625 A CN116860625 A CN 116860625A CN 202310801896 A CN202310801896 A CN 202310801896A CN 116860625 A CN116860625 A CN 116860625A
- Authority
- CN
- China
- Prior art keywords
- interface
- library
- coverage
- scene library
- coverage rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000007689 inspection Methods 0.000 title description 4
- 238000012360 testing method Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013441 quality evaluation Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000013210 evaluation model Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 238000011002 quantification Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种基于接口分级的接口自动化案例检查方法及系统，使用历史数据配置待评估接口的重要度标识并建立标准参数规则场景库和系统有效代码库进行覆盖率计算，通过分析系统交易接口参数规则场景的覆盖情况，以及自动化案例脚本对有效代码的覆盖情况，计算系统接口自动化质量指标，用于评估一个系统的接口自动化的完成度，量化接口交易自动化的质量水平，解决自动化案例质量检核工作难度大、耗时多、难以量化的问题。
Description
技术领域
本发明涉及接口自动化及软件质量评估技术领域，尤其涉及一种基于接口分级的接口自动化案例检查方法及系统。
背景技术
涉及大量信息传递的集成化系统运行维护需要依赖接口自动化实现，对于特定的应用领域，例如涉及大量交易信息的银行业系统，需要同时保证接口自动化执行效率与安全性。为了保证接口自动化执行，需要进行对应的接口自动化测试质量评估，计算系统接口自动化的场景覆盖率及代码覆盖率，并评估自动化质量的完备度。
为了实现适合的接口自动化测试，现有技术提供了对应的解决方案。例如，公开号CN110069409A、名称为“一种软件质量评估方法及系统”的发明专利申请公开了利用测试用例对待发布软件进行测试，获得用于评估所述待发布软件质量的第一类参数包括案例通过率、需求覆盖率，通过通信接口从需求管理工具获得用于评估所述待发布软件质量的第二类参数包括需求缺陷比、重开缺陷率，将所述第一类参数、所述第二类参数与预先设定的标准值进行比较，得到评估结果；公开号CN114297071A，名称为“自动化测试案例的质量评估方法及装置”的发明专利申请公开了执行测试案例集合中所有的测试案例，获得分布式系统中所有节点服务的代码覆盖度数据，基于所述代码覆盖度数据确定所述测试案例集合的测试质量，通过采集分布式微服务运行期数据的方式得到一种可以体现自动化测试案例和软件质量的指标数据，针对自动化测试案例的效果进行评估，有助于提升测试质量以及软件研发流程中的测试效率，实现通过同等案例或者更少的自动化测试案例数量完成软件版本质量评估以及测试流程的效果。
现有技术虽然能够在一定程度上帮助进行接口自动化质量评估，但在执行过程中仍然存在以下问题：
(1)自动化案例质量检核工作难度大、耗时多、难以量化；
(2)单纯从案例通过率、缺陷率等常规系统测试质量指标对软件质量的评估方法不适用于自动化质量评估，无法客观的评估出每个接口的场景覆盖情况；
(3)缺乏对特殊应用领域的针对性优化，考虑特殊银行的系统交易有重要性级别差异以及动账交易的特殊性，高频动账交易应作为重要评估交易，在整体质量评估中应占比较重；
(4)系统代码全量纳入计算不合理，有的代码为冗余代码、废弃、下线代码。
由此可知，现有技术针对接口自动化质量评估的技术问题，单纯从案例通过率、缺陷率等质量指标对软件质量进行评估不适用于评估软件自动化的质量；从代码层面直接通过代码覆盖率反映自动化质量也有一定的局限性。
发明内容
为解决现有技术的不足，本发明提出一种基于接口分级的接口自动化案例检查方法及系统，通过分析系统交易接口参数规则场景的覆盖情况，以及自动化案例脚本对有效代码的覆盖情况，计算系统接口自动化质量指标，用于评估一个系统的接口自动化的完成度，量化接口交易自动化的质量水平，解决自动化案例质量检核工作难度大、耗时多、难以量化的问题。
为实现以上目的，本发明所采用的技术方案包括：
一种基于接口分级的接口自动化案例检查方法，其特征在于，包括：
S1、获取历史数据，所述历史数据包括历史代码覆盖情况、历史测试交易调用情况和历史交易报文的参数覆盖情况；
S2、依据历史测试交易调用情况配置待评估接口的重要度标识；
S3、依据历史交易报文的参数覆盖情况建立标准参数规则场景库，所述标准参数规则场景库包括接口请求参数与响应请求参数对应覆盖场景的对应关系；
S4、依据历史代码覆盖情况，去除冗余代码，建立系统有效代码库；
S5、执行全量自动化案例，依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P；
S6、执行全量自动化案例，计算全量自动化案例相对系统有效代码库的第二覆盖率R；
S7、使用第一覆盖率P和第二覆盖率R建立质量评价模型，所述质量评价模型如式1所示；
其中，检验值Q为第一覆盖率P和第二覆盖率R在直角平面坐标系下的直线距离；
S8、判断检验值Q是否小于等于预设阈值，当检验值Q小于等于预设阈值时，判定接口自动化案例质量合格。
进一步地，所述重要度标识包括依据历史调用频次统计和动账记录配置的重要度系数。
进一步地，所述步骤S3包括：
获取系统接口文档，识别请求字段对应的请求参数和响应参数应覆盖的场景，组成基础场景库；
获取测试产生的请求报文和响应报文，依据请求报文和响应报文对应参数场景组成调整场景库；
使用调整场景库匹配修改基础场景库，获得标准参数规则场景库。
进一步地，所述使用调整场景库匹配修改基础场景库包括：
匹配调整场景库和基础场景库，去除基础场景库中不能与调整场景库相匹配的参数场景，和，将调整场景库中不能与基础场景库相匹配的参数场景补充入基础场景库。
进一步地，所述步骤S5包括：
执行全量自动化测试案例，计算每一个交易场景的个体覆盖率Pi；
使用重要度系数对各交易场景的个体覆盖率Pi执行归一化计算，获得第一覆盖率P。
进一步地，所述步骤S4包括：
对系统代码执行插桩操作，获取系统启动对应的覆盖代码；
统计未覆盖代码，将未覆盖代码作为冗余代码去除，建立系统有效代码库。
本发明还涉及一种基于接口分级的接口自动化案例检查系统，其特征在于，包括：
历史数据获取模块，用于获取历史数据；
重要度标识配置模块，用于依据历史测试交易调用情况配置待评估接口的重要度标识；
场景库管理模块，用于依据历史交易报文的参数覆盖情况建立及修改标准参数规则场景库；
代码库管理模块，用于依据历史代码覆盖情况建立及修改系统有效代码库；
第一覆盖率计算模块，用于依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P；
第二覆盖率计算模块，用于计算全量自动化案例相对系统有效代码库的第二覆盖率R；
评价模型生成模块，用于使用第一覆盖率P和第二覆盖率R建立质量评价模型；
案例质量判断模块，用于依据检验值Q判定接口自动化案例质量。
本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储存储重要度标识、标准参数规则场景库和系统有效代码库；
所述处理器，用于通过调用重要度标识、标准参数规则场景库和系统有效代码库，执行上述的方法。
本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。
本发明的有益效果为：
采用本发明所述基于接口分级的接口自动化案例检查方法及系统，通过分析系统交易接口参数规则场景的覆盖情况，以及自动化案例脚本对有效代码的覆盖情况，生成基础参数规则场景库，持续收集日常手工测试及自动化测试报文，对报文数据进行分析，提取参数规则场景，持续补充到参数规则场景库，得到标准参数规则场景库，执行全量自动化案例，获取全量自动化报文，对请求报文和响应报文进行分析，提取参数规则场景，和标准参数规则场景库进行对比，计算每个交易的场景覆盖率，特别是分析历史交易调用频次和动账属性，赋予交易重要性属性系数，提高高频动账交易在自动化质量评估中的占比，更客观地分析系统的整体的场景覆盖率；通过对代码进行插桩处理，记录长期以来日常手工测试及自动化测试中从未覆盖的代码，再统计代码覆盖率的时候，这部分从未覆盖的代码不计入统计，计算全量自动化案例执行后对有效代码的覆盖率；计算系统接口自动化质量指标，用于评估一个系统的接口自动化的完成度，量化接口交易自动化的质量水平，解决自动化案例质量检核工作难度大、耗时多、难以量化的问题，方便系统测试人员对系统自动化项目进行管理。
附图说明
图1为本发明基于接口分级的接口自动化案例检查方法流程示意图。
图2为本发明基于接口分级的接口自动化案例检查系统结构示意图。
具体实施方式
为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
本发明第一方面涉及一种步骤流程如图1所示的基于接口分级的接口自动化案例检查方法，包括：
S1、获取历史数据，所述历史数据包括历史代码覆盖情况、历史测试交易调用情况和历史交易报文的参数覆盖情况。
S2、依据历史测试交易调用情况配置待评估接口的重要度标识。
具体的，重要度标识包括依据历史调用频次统计和动账记录配置的重要度系数。例如，收集历史交易调用数据，对动账交易进行打标，分析一年内交易的调用频次，基于系统交易历史调用频次对系统所有接口进行重要性分析，分为特别重要、重要、一般重要、一般四个级别。对接口上一年调用频次进行排序，top前20％的交易为特别重要交易，top前21％-50％为重要交易，top51％-80％交易为一般重要交易，top后20％为一般交易。基于银行业系统的特殊性，需要考虑交易接口是否涉及动账，如果涉及动账，直接定义为重要交易。基于需求可以设定特别重要、重要、一般重要、一般交易的重要度系数分别为5m、3m、2m、m。
S3、依据历史交易报文的参数覆盖情况建立标准参数规则场景库，所述标准参数规则场景库包括接口请求参数与响应请求参数对应覆盖场景的对应关系。
执行时，考虑到接口文档的局限性，存在未更新或不准确的情况，需要对日常的测试产生的交易日志进行深度分析，收集历史测试行为中的交易报文数据，对历史交易报文数据进行大数据分析，提取交易覆盖场景，标准参数规则场景库。
具体的，首选获取系统接口文档，根据接口文档中请求字段的数据类型、数据字典、是否为空属性、特殊格式等属性，响应参数数据字典分析出请求参数和响应参数应该覆盖的场景，生成基础参数规则场景库S0；然后，获取测试产生的请求报文和响应报文，依据请求报文和响应报文对应参数场景组成调整场景库S1；最后，使用调整场景库匹配修改基础场景库，对于S0中存在S1不存在的参数的规则场景(日志中从未出现的参数的规则场景)，需要去除，S0中不存在S1存在的规则场景补充到基础参数规则场景库里，最终得到较完整的参数规则场景库S，其中每个交易的规则场景总数为si，获得标准参数规则场景库。
S4、依据历史代码覆盖情况，去除冗余代码，建立系统有效代码库。具体包括对系统代码执行插桩操作，获取系统启动对应的覆盖代码；统计未覆盖代码，将未覆盖代码作为冗余代码去除，建立系统有效代码库。
优选的，可以选择在目标服务器安装jacoco，通过jacoco agent代理的方式启动系统应用实现对代码进行插桩，会同步启动TCP Server；在代理启动状态下，进行日常的手工及自动化测试，收集长期以来从未覆盖到的代码，并对jacoco进行二次开发，支持计算覆盖率时去掉无效代码。
S5、执行全量自动化案例，依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P。
具体的，执行全量自动化测试案例，计算每一个交易场景的个体覆盖率Pi；使用重要度系数对各交易场景的个体覆盖率Pi执行归一化计算，获得第一覆盖率P。
执行全量自动化测试案例，基于数据分析模块中的报文分析，得到自动化覆盖的参数规则场景库S′,其中每个交易的参数规则场景为s′i，那么每一个交易的场景覆盖率Pi的计算公式为:
基于数据分析模块的交易调用频次分析确定交易重要性，设定特别重要、重要、一般重要、一般交易的重要度系数分别为5m、3m、2m、m，结合交易的场景覆盖率和交易重要度系数，理论上单支交易场景完全覆盖的情况Pi为100％，那么对系统所有级别的所有交易的场景覆盖率进行归一化计算，得到系统整体的场景第一覆盖率P，
S6、执行全量自动化案例，计算全量自动化案例相对系统有效代码库的第二覆盖率R。
优选的，在代理启动状态下，执行全量的自动化案例，案例全部执行完成后，TCPServer中dump生成.exec的覆盖率文件，为二进制文件；对exec文件进行解析，得到全量自动化案例对系统有效代码的第二覆盖率R。
S7、使用第一覆盖率P和第二覆盖率R建立质量评价模型，所述质量评价模型如式1所示；
其中，检验值Q为第一覆盖率P和第二覆盖率R在直角平面坐标系下的直线距离。
在该直角平面坐标系下，优选的x轴为场景第一覆盖率P，y轴表示代码第二覆盖率R，根据获取到的系统自动化整体的第一覆盖率和第二覆盖率，得到坐标点(P,R),计算(P,R)，(100％，100％)两点之前的距离Q，作为检验值。
S8、判断检验值Q是否小于等于预设阈值，当检验值Q小于等于预设阈值时，判定接口自动化案例质量合格。
(P,R)距离(100％，100％)越接近，系统接口自动化案例的完备度越高，自动化质量越好，坐标点(P,R)落在靠近(100％，100％)点扇形区域时，则符合对系统交易自动化的要求。可以设定当Q≤0.2(预设阈值0.2),予以检核通过，系统接口自动化质量合格，反之则不通过，自动化质量有待改进，需要对场景案例进行补充。
本发明另一方面还涉及一种基于接口分级的接口自动化案例检查系统，其结构如图2所示，包括：
历史数据获取模块，用于获取历史数据；
重要度标识配置模块，用于依据历史测试交易调用情况配置待评估接口的重要度标识；
场景库管理模块，用于依据历史交易报文的参数覆盖情况建立及修改标准参数规则场景库；
代码库管理模块，用于依据历史代码覆盖情况建立及修改系统有效代码库；
第一覆盖率计算模块，用于依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P；
第二覆盖率计算模块，用于计算全量自动化案例相对系统有效代码库的第二覆盖率R；
评价模型生成模块，用于使用第一覆盖率P和第二覆盖率R建立质量评价模型；
案例质量判断模块，用于依据检验值Q判定接口自动化案例质量。
通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如重要度标识、标准参数规则场景库和系统有效代码库等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于接口分级的接口自动化案例检查方法，其特征在于，包括：
S1、获取历史数据，所述历史数据包括历史代码覆盖情况、历史测试交易调用情况和历史交易报文的参数覆盖情况；
S2、依据历史测试交易调用情况配置待评估接口的重要度标识；
S3、依据历史交易报文的参数覆盖情况建立标准参数规则场景库，所述标准参数规则场景库包括接口请求参数与响应请求参数对应覆盖场景的对应关系；
S4、依据历史代码覆盖情况，去除冗余代码，建立系统有效代码库；
S5、执行全量自动化案例，依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P；
S6、执行全量自动化案例，计算全量自动化案例相对系统有效代码库的第二覆盖率R；
S7、使用第一覆盖率P和第二覆盖率R建立质量评价模型，所述质量评价模型如式1所示；
其中，检验值Q为第一覆盖率P和第二覆盖率R在直角平面坐标系下的直线距离；
S8、判断检验值Q是否小于等于预设阈值，当检验值Q小于等于预设阈值时，判定接口自动化案例质量合格。
2.如权利要求1所述的方法，其特征在于，所述重要度标识包括依据历史调用频次统计和动账记录配置的重要度系数。
3.如权利要求1所述的方法，其特征在于，所述步骤S3包括：
获取系统接口文档，识别请求字段对应的请求参数和响应参数应覆盖的场景，组成基础场景库；
获取测试产生的请求报文和响应报文，依据请求报文和响应报文对应参数场景组成调整场景库；
使用调整场景库匹配修改基础场景库，获得标准参数规则场景库。
4.如权利要求1所述的方法，其特征在于，所述使用调整场景库匹配修改基础场景库包括：
匹配调整场景库和基础场景库，去除基础场景库中不能与调整场景库相匹配的参数场景，和，将调整场景库中不能与基础场景库相匹配的参数场景补充入基础场景库。
5.如权利要求2所述的方法，其特征在于，所述步骤S5包括：
执行全量自动化测试案例，计算每一个交易场景的个体覆盖率Pi；
使用重要度系数对各交易场景的个体覆盖率Pi执行归一化计算，获得第一覆盖率P。
6.如权利要求1所述的方法，其特征在于，所述步骤S4包括：
对系统代码执行插桩操作，获取系统启动对应的覆盖代码；
统计未覆盖代码，将未覆盖代码作为冗余代码去除，建立系统有效代码库。
7.一种基于接口分级的接口自动化案例检查系统，其特征在于，包括：
历史数据获取模块，用于获取历史数据；
重要度标识配置模块，用于依据历史测试交易调用情况配置待评估接口的重要度标识；
场景库管理模块，用于依据历史交易报文的参数覆盖情况建立及修改标准参数规则场景库；
代码库管理模块，用于依据历史代码覆盖情况建立及修改系统有效代码库；
第一覆盖率计算模块，用于依据重要度标识计算执行全量自动化案例所涉及的参数场景相对标准参数规则场景库的第一覆盖率P；
第二覆盖率计算模块，用于计算全量自动化案例相对系统有效代码库的第二覆盖率R；
评价模型生成模块，用于使用第一覆盖率P和第二覆盖率R建立质量评价模型；
案例质量判断模块，用于依据检验值Q判定接口自动化案例质量。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储重要度标识、标准参数规则场景库和系统有效代码库；
所述处理器，用于通过调用重要度标识、标准参数规则场景库和系统有效代码库，执行权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801896.2A CN116860625A (zh) | 2023-06-30 | 2023-06-30 | 一种基于接口分级的接口自动化案例检查方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801896.2A CN116860625A (zh) | 2023-06-30 | 2023-06-30 | 一种基于接口分级的接口自动化案例检查方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116860625A true CN116860625A (zh) | 2023-10-10 |
Family
ID=88235194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310801896.2A Pending CN116860625A (zh) | 2023-06-30 | 2023-06-30 | 一种基于接口分级的接口自动化案例检查方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116860625A (zh) |
-
2023
- 2023-06-30 CN CN202310801896.2A patent/CN116860625A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112783793B (zh) | 自动化接口测试系统及方法 | |
| CN109582550B (zh) | 一种获取全量业务场景故障集合的方法、装置及服务器 | |
| CN112598537B (zh) | 电力设备故障诊断方法、装置及终端设备 | |
| CN106658701A (zh) | 一种定位方法及装置 | |
| CN109242165A (zh) | 一种模型训练及基于模型训练的预测方法及装置 | |
| CN110164474A (zh) | 语音唤醒自动化测试方法及系统 | |
| CN115422065A (zh) | 基于代码覆盖率的故障定位方法及装置 | |
| CN110232130A (zh) | 元数据管理谱系生成方法、装置、计算机设备和存储介质 | |
| CN113919432A (zh) | 一种分类模型构建方法、数据分类方法及装置 | |
| CN116860625A (zh) | 一种基于接口分级的接口自动化案例检查方法及系统 | |
| CN116150029A (zh) | 一种贷款系统逾期跑批自动化测试方法及装置 | |
| CN114840421A (zh) | 日志数据处理方法及装置 | |
| CN114595216A (zh) | 数据校验方法、装置、存储介质及电子设备 | |
| CN114638503A (zh) | 一种资产风险压力测试方法、装置、设备及存储介质 | |
| CN113779391A (zh) | 基于建模的智能锁开锁推荐方法、系统、装置及存储介质 | |
| CN111143644B (zh) | 物联网设备的识别方法及装置 | |
| CN112527631A (zh) | bug定位方法、系统、电子设备及存储介质 | |
| CN116860622A (zh) | 一种智能高效的测试覆盖风险分析方法及系统 | |
| CN109815129A (zh) | 证券融资应用软件的测试方法、装置、终端及存储介质 | |
| CN118313920A (zh) | 一种基于场景识别匹配的授信规则自动化测试方法及系统 | |
| CN116881824A (zh) | 一种用于公务用车审计的异常检测方法及系统 | |
| CN114201145A (zh) | 一种基于配置化语义识别的风险需求分类检测方法及系统 | |
| CN117435470A (zh) | 脚本的自动化测试方法及装置 | |
| CN116071011A (zh) | 一种用于自动审核单据的方法及系统 | |
| CN116881136A (zh) | 一种基于测试执行验证的项目测试进度跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |