CN114428748B - 一种用于真实业务场景的模拟测试方法及系统 - Google Patents

一种用于真实业务场景的模拟测试方法及系统 Download PDF

Info

Publication number
CN114428748B
CN114428748B CN202210325422.0A CN202210325422A CN114428748B CN 114428748 B CN114428748 B CN 114428748B CN 202210325422 A CN202210325422 A CN 202210325422A CN 114428748 B CN114428748 B CN 114428748B
Authority
CN
China
Prior art keywords
test
service
data
functional
functional block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210325422.0A
Other languages
English (en)
Other versions
CN114428748A (zh
Inventor
徐礼长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Datasure Software Technology Co ltd
Beijing Shuteng Software Technology Co ltd
Original Assignee
Shanghai Datasure Software Technology Co ltd
Beijing Shuteng Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Datasure Software Technology Co ltd, Beijing Shuteng Software Technology Co ltd filed Critical Shanghai Datasure Software Technology Co ltd
Priority to CN202210325422.0A priority Critical patent/CN114428748B/zh
Publication of CN114428748A publication Critical patent/CN114428748A/zh
Application granted granted Critical
Publication of CN114428748B publication Critical patent/CN114428748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种用于真实业务场景的模拟测试方法及系统,方法包括:对第一业务场景进行场景要素提取,获得第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,第一业务请求信息包括业务目标信息和业务输入信息;根据业务目标信息,生成第一测试路径和第一测试结果标准值,其中,第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;将业务输入信息输入测试用例数据库,获得第一测试用例;通过第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;对所述第一测试结果标准值和第一测试结果进行偏差分析,获得第一偏差值,获得第一测试匹配度。

Description

一种用于真实业务场景的模拟测试方法及系统
技术领域
本发明涉及人工智能相关技术领域,具体涉及一种用于真实业务场景的模拟测试方法及系统。
背景技术
仿真测试指的是将软件的不同模块进行有效串接,进而模拟用户的真实使用情况对软件进行运营,使得软件可以充分满足用户所要求的功能的测试过程。
目前技术中一般是根据业务场景信息,人工编写测试用例,并且对多个模块的不同串接路径进行测试,由测试人员主观评估测试效果。
现有技术中由于主要以人为编写测试用例和评估测试效果导致存在效率较低且准确度难以保证的技术问题。
发明内容
本申请实施例通过提供了一种用于真实业务场景的模拟测试方法及系统,解决了现有技术中由于主要以人为编写测试用例和评估测试效果导致存在效率较低且准确度难以保证的技术问题。
鉴于上述问题,本申请实施例提供了一种用于真实业务场景的模拟测试方法及系统。
第一方面,本申请实施例提供了一种用于真实业务场景的模拟测试方法,其中,所述方法包括:对第一业务场景进行场景要素提取,获得第一场景要素集;将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;根据所述第一偏差值,获得第一测试匹配度。
另一方面,本申请实施例提供了一种用于真实业务场景的模拟测试系统,其中,所述系统包括:第一获得单元,用于对第一业务场景进行场景要素提取,获得第一场景要素集;第二获得单元,用于将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;第一生成单元,用于根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;第三获得单元,用于将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;第四获得单元,用于通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;第五获得单元,用于对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;第六获得单元,用于根据所述第一偏差值,获得第一测试匹配度。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了通过提取真实场景要素集,通过业务请求匹配模型智能化评估场景要素得到业务目标和业务输入信息;根据业务目标可以生成测试路径和每个功能模块的测试结果标准值;将业务输入信息输入测试用例数据库,可以匹配历史同类场景下的测试用例作为当前场景的测试用例;使用测试用例遍历测试路径中的每个功能模块进行测试,计算测试结果和测试结果标准值之间的偏差值,进而根据偏差值评估测试匹配度,进而确定测试效果的技术方案,达到了实现自动化生成测试用例以及智能评估测试效果的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种用于真实业务场景的模拟测试方法流程示意图;
图2为本申请实施例提供了一种用于真实业务场景的模拟测试方法中第二测试匹配度的计算流程示意图;
图3为本申请实施例提供了一种用于真实业务场景的模拟测试系统结构示意图;
图4为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一获得单元11,第二获得单元12,第一生成单元13,第三获得单元14,第四获得单元15,第五获得单元16,第六获得单元17,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请实施例通过提供了一种用于真实业务场景的模拟测试方法及系统,解决了现有技术中由于主要以人为编写测试用例和评估测试效果导致存在效率较低且准确度难以保证的技术问题。通过业务请求匹配模型生成和业务场景要素契合度较高的业务请求信息,进而匹配测试路径、测试结果标准值和测试用例,达到了实现自动化生成测试用例以及智能评估测试效果的技术效果。
申请概述
仿真测试指的是将软件的不同模块进行有效串接,进而模拟用户的真实使用情况对软件进行运营,使得软件可以充分满足用户所要求的功能的测试过程。目前技术中一般是根据业务场景信息,人工编写测试用例,并且对多个模块的不同串接路径进行测试,由测试人员主观评估测试效果。现有技术中由于主要以人为编写测试用例和评估测试效果导致存在效率较低且准确度难以保证的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请实施例通过提供了一种用于真实业务场景的模拟测试方法及系统,由于采用了通过提取真实场景要素集,通过业务请求匹配模型智能化评估场景要素得到业务目标和业务输入信息;根据业务目标可以生成测试路径和每个功能模块的测试结果标准值;将业务输入信息输入测试用例数据库,可以匹配历史同类场景下的测试用例作为当前场景的测试用例;使用测试用例遍历测试路径中的每个功能模块进行测试,计算测试结果和测试结果标准值之间的偏差值,进而根据偏差值评估测试匹配度,进而确定测试效果的技术方案,达到了实现自动化生成测试用例以及智能评估测试效果的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种用于真实业务场景的模拟测试方法,其中,所述方法包括:
S100:对第一业务场景进行场景要素提取,获得第一场景要素集;
具体而言,所述第一业务场景指的是需要进行测试的软件系统具体的应用业务场景,示例性地:如旅游购票系统、车票购票系统等;所述第一场景要素集指的是对第一业务场景进行关键性信息提取得到结果,示例性地:以上述旅游购票系统为例,第一场景要素集包括但不限于:游客名称、购票数量、入园时间、票价等要素信息。
进一步的,对关键性信息的提取过程,优选的使用基于主成分分析构建的特征提取器进行处理,其中,主成分分析指的是对原本冗杂的变量进行降维处理,得到的新的变量可以表征原本冗杂的变量的整体信息,同时由于较少的数据量,使得数据调用和处理速度较快,通过特征提取器对第一业务场景进行主成分分析,提取出第一场景要素集,使用降维后的数据量较少的数据表征第一业务场景,便于后步快速调用和数据处理。
S200:将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;
具体而言,所述业务请求匹配模型指的是基于梯度上升决策树森林构建的基于第一场景要素集,评估业务请求的智能化模型。进一步的,梯度上升决策树森林指的是,构建第二棵决策树的训练数据使用的是第一棵决策树训练时不满足预设准确率的训练数据,以此方式类推,直到不满足预设准确率的训练数据的数据量小于等于预设数据量时停止,得到所有的决策树,通过层层递进的决策树将业务请求匹配模型输出误差进行拟合,保证了输出结果的准确性,其中,预设数据量的默认值为0。
所述第一业务请求信息指的是通过业务请求匹配模型对复杂的第一场景要素集进行分析,得到的表征业务请求需调用功能的信息,优选的基于决策树的分析过程如下,将第一场景要素集作为根节点信息,遍历分析每一个根节点元素,每一个根节点元素作为决策树的一个叶子节点,分析实现该要素需要请求调用的功能信息,遍历结束则得到一个决策树,进而通过梯度上升对输出结果进行拟合,提高准确率。
所述业务目标信息指的是表征第一场景要素集的请求目标,示例性得如:张三+购票+5张+三点进场,则业务目标为出票、核算、进场时间安排等;所述业务输入信息指的是实际场景下真实键入的业务输入关键信息,示例性地如:张三+购票+5张+三点进场,键入的内容只有购票、5张、三点进场,而忽略了身份信息,在后步对键入的内容进行分析,可匹配测试用例。
通过业务请求匹配模型对复杂的场景要素信息进行分析,得到业务请求信息,基于其梯度上升的训练过程,输出结果较准确,为后步数据处理提供了较准确的参考数据。
S300:根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;
具体而言,所述第一测试路径指的是表征实现业务目标信息需要调用的功能区块依次连接组成的协同作业的路径,依次包括第一功能区块、第二功能区块直到第N功能区块;所述第一测试结果标准值指的是第一功能区块、第二功能区块直到第N功能区块各自模块对应的理想测试结果值,可由工作人员具体设定在此不做限制。
S400:将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;
具体而言,所述测试用例数据库指的是存储有多组业务输入信息-测试用例的数据库,通过业务输入信息可以根据当前的业务场景在历史类似业务场景中匹配,得到相应的测试用例,进一步的,其中,测试用例数据库中的业务输入信息-测试用例可为历史真实使用过的数据,亦可为开发人员根据可能的工作场景虚拟的数据组,由此可保证测试用例数据库的数据完整性。
所述第一测试用例指的是将业务输入信息在测试用例数据库转化为可由第一功能区块、第二功能区块直到第N功能区块识别处理的同一数据形式,通过测试用例数据库可以为第一测试路径中的功能区块自动匹配测试用例,实现了测试用例的生成自动化,提高了模拟测试的效率。
S500:通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;
S600:对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;
具体而言,所述第一测试结果指的是使用第一测试用例依次遍历第一功能区块、第二功能区块直到第N功能区块得到的测试结果,表征是否实现相应功能及实现程度的数据,优选的将第一功能区块、第二功能区块直到第N功能区块依次分为N组测试结果进行存储;所述第一偏差值指的是将第一测试结果标准值和第一测试结果中一一对应功能区块的信息进行比较,首先评估是否实现功能,若是实现则将第一测试结果和第一测试结果标准值求差,优选的:若是第一测试结果小于第一测试结果标准值,第一偏差值=-x;若是第一测试结果等于第一测试结果标准值,第一偏差值=0;若是第一测试结果大于第一测试结果标准值,第一偏差值=+x,其中,x为第一测试结果和第一测试结果标准值求差结果绝对值;若是未实现功能或实现程度为负值,则进行提取,表征功能不稳定的功能区块,便于后步进行调整。
S700:根据所述第一偏差值,获得第一测试匹配度。
具体而言,所述第一测试匹配度指的是表征第一测试结果和第一测试结果标准值之间误差程度的信息,由于第一偏差值可能较小,因此对于未实现功能的第一测试结果,第一测试匹配度置为0;对于实现了功能但是第一偏差值小于0时,优选的使用
Figure DEST_PATH_IMAGE001
计算,S表示第一测试匹配度,x表示第一偏差值的绝对值,通过第一测试匹配度可以表征N个功能区块的测试效果。通过第一偏差值和第一测试匹配度可以自动化求解第一功能区块、第二功能区块直到第N功能区块的测试效果,提高了软件系统测试的自动化程度,提高了软件系统测试的智能化。
进一步的,基于所述将所述第一场景要素集输入业务请求匹配模型之前,步骤S200包括:
S210:获得第一训练数据,其中,所述第一训练数据包括多组场景要素信息和业务请求标识信息;
S220:通过所述第一训练数据,构建第一决策树;
S230:获得第一预设准确度,将构建所述第一决策树时不满足所述第一预设准确度的所述第一训练数据提取,生成第二训练数据;
S240:通过第二训练数据,构建第二决策树;
S250:通过第M-1训练数据,构建第M-1决策树;
S260:获得第一预设数据量,当第M训练数据满足所述第一预设数据量时,将所述第一决策树、所述第二决策树直到所述第M-1决策树全连接,获得所述业务请求匹配模型。
具体而言,业务请求匹配模型的详细构建过程如下:
所述第一训练数据指的是基于大数据采集的用来构建业务请求匹配模型的数据集合,包括多组场景要素信息和业务请求标识信息;所述第一决策树指的是使用第一训练数据,将场景要素信息作为输入信息,将业务请求标识信息作为输出标识信息,训练构建而成的结果。
所述第一预设准确度指的是预设的筛选误差训练数据的最低准确度,可由工作人员根据实际业务场景自行设定;所述第二训练数据指的是当第一决策树构建完成后,将不满足第一预设准确度的第一训练数据提取,得到的用来构建第二决策树的数据集;所述第二决策树即为使用第二训练数据中的场景要素信息作为输入信息,业务请求标识信息作为输出标识信息训练构建的结果。
所述第一预设数据量指的是预设停止构建决策树训练数据的数据量阈值;所述第M训练数据指的是满足第一预设数据量的数据集,则表示不需要构建第M决策树,因此将所述第一决策树、所述第二决策树直到所述第M-1决策树的所有输出结果拟合,得到能够具有较准确的输出结果的业务请求匹配模型。
通过M-1棵决策树对业务请求匹配模型的输出结果进行拟合,使得误差逐渐缩小,进而提高了业务请求匹配模型输出结果的准确性。
更进一步的,基于所述通过所述第一训练数据,构建第一决策树,步骤S220包括:
S221:将所述第一训练数据划分为k份,有放回的随机取k-1次,将抽取的数据设为第一迭代数据集,将未抽取的数据设为第一验证数据集;
S222:重复L次,获得第二迭代数据集直到第L迭代数据集,第二验证数据集直到第L验证数据集;
S223:通过所述第一迭代数据集直到所述第L迭代数据集,所述第一验证数据集直到所述第L验证数据集,对所述第一决策树进行迭代训练。
具体而言,为了避免业务请求匹配模型过拟合,构建第一决策树、第二决策树直到第M-1决策树之前的第一训练数据、第二训练数据直到第M-1训练数据都需要经过处理,处理的方式如下,以第一训练数据为例:
将第一训练数据划分为k份,有放回的随机取k-1次,所述第一迭代数据集指的是抽取的数据,其中,k为大于等于1的自然数,所述第一验证数据集指的是未抽取的数据;进一步的,重复随机抽取L次,其中,L为大于等于10的自然数,得到第二迭代数据集直到第L迭代数据集;重复随机抽取L次,其中,L为大于等于10的自然数,得到第二验证数据集直到第L验证数据集。每一次通过迭代数据集对决策树训练至稳定时,使用验证数据集验证决策树的泛化能力,避免过拟合,如此重复L次,则可以得到泛化能力较强的决策树。
由于在k份数据中有放回的随机抽取k-1次得到的数据组合方式较复杂,进而使得L组数据重复的可能性较小,进而可进一步提高决策树的泛化能力。
进一步的,基于所述根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,步骤S300包括:
S310:对所述业务目标信息进行功能特征提取,获得第一功能特征集;
S320:对所述第一功能特征集序列性分析,获得第一功能特征序列集,其中,所述第一功能特征序列集表征功能特征的先后顺序;
S330:基于所述第一功能特征序列集遍历功能区块集,生成所述第一测试路径和所述第一测试结果标准值。
具体而言,所述第一功能特征集指的是表征根据业务目标信息匹配的实现业务目标需调用功能特征的信息,优选的匹配方式为基于神经网络进行有监督训练构建对业务目标信息的功能特征提取,采用多组业务目标信息和功能特征标识信息进行训练。进一步的,所述第一功能特征序列集指的是根据功能特征从先到后的调用顺序进行序列性分析对第一功能特征集进行排序之后的结果。更进一步的,所述功能区块集指的是表征软件系统中所有功能区块功能信息的数据集,其中功能信息、测试结果标准值信息和区块名称一一对应存储;将第一功能特征序列集输入功能区块集依次进行功能区块匹配,得到第一测试路径和第一测试结果标准值,为后步信息反馈提供基础。
进一步的,基于所述将所述业务输入信息输入测试用例数据库,获得第一测试用例,之前步骤S400包括:
S410:根据所述测试用例数据库,获得第一更新周期;
S420:当满足所述第一更新周期,获得第一历史测试数据,其中,所述第一历史测试数据包括多组历史业务输入信息和历史测试用例信息;
S430:通过所述第一历史测试数据更新所述测试用例数据库。
具体而言,所述第一更新周期指的是测试用例数据库预设更新周期;所述第一历史测试数据指的是当第一更新周期被满足时,采集的从上一次更新至当下的多组历史业务输入信息和历史测试用例信息;通过第一历史测试数据更新所述测试用例数据库,并将测试用例数据库中早于当前第一更新周期的存储数据中和第一历史测试数据中和历史业务输入信息相同的:历史业务输入信息和历史测试用例信息删除,避免出现重复配对,保证数据的时效性,进而完成更新。
进一步的,基于所述根据所述第一偏差值,获得第一测试匹配度,还包括步骤S800:
S810:获得第一预设偏差值,判断所述第一偏差值是否满足所述第一预设偏差值;
S820:将满足所述第一预设偏差值的功能区块进行提取,获得第一偏差区块集;
S830:将所述第一偏差区块集添加进所述第一测试匹配度。
具体而言,所述第一预设偏差值为预设的可允许软件系统测试时测试结果和标准值之间的最小偏差,数据形式为绝对值;所述第一偏差区块集指的是将大于等于第一预设偏差值的功能区块进行提取,得到的区块集合,表征需要进行调整的功能区块集合;对第一偏差区块集进行调整标识,并计算测试匹配度。通过对第一偏差区块集进行提取,为工作人员指明测试不合格的功能区块,便于后步快速调整。
进一步的,如图2所示,所述方法还包括步骤S900:
S910:将不满足所述第一预设偏差值的功能区块进行提取,获得一级匹配区块集;
S920:获得二级测试指标和二级测试标准值,其中,所述二级测试指标包括吞吐量、并发数和响应时长;
S930:根据所述二级测试指标遍历所述一级匹配区块集进行测试,获得第二测试结果;
S940:对所述第二测试结果和所述二级测试标准值进行偏差分析,获得第二偏差值;
S950:根据所述第二偏差值,获得第二测试匹配度。
具体而言,所述一级匹配区块集指的是测试结果和标准值之间的偏差小于等于第一预设偏差值的功能区块集合;当数据处理方向准确,则需要对各功能模块的性能进行测试,记为所述二级测试指标,包括但不限于:吞吐量、并发数和响应时长等指标;所述第二测试结果指的是基于吞吐量、并发数和响应时长等指标遍历一级匹配区块集进行测试得到的结果;所述二级测试标准值指的是预设一级匹配区块集性能需要达到的最低数据,示例性地:吞吐量、并发数和响应时长等指标的标准值;所述第二偏差值指的是将第二测试结果和二级测试标准值进行求差计算,得到多组表征吞吐量、并发数和响应时长偏差值的数据组,示例性地形式为:(吞吐量偏差值,并发数偏差值,响应时长偏差值);所述第二测试匹配度指的是表征一级匹配区块集性能的测试结果,优选的通过:第二测试匹配度=第二测试结果/二级测试标准值进行计算。
通过对功能实现满足要求的功能模块进行性能测试,并计算相应的匹配度,保证了测试结果的完整性和全面性。
综上所述,本申请实施例所提供的一种用于真实业务场景的模拟测试方法及系统具有如下技术效果:
1. 本申请实施例通过提供了一种用于真实业务场景的模拟测试方法及系统,由于采用了通过提取真实场景要素集,通过业务请求匹配模型智能化评估场景要素得到业务目标和业务输入信息;根据业务目标可以生成测试路径和每个功能模块的测试结果标准值;将业务输入信息输入测试用例数据库,可以匹配历史同类场景下的测试用例作为当前场景的测试用例;使用测试用例遍历测试路径中的每个功能模块进行测试,计算测试结果和测试结果标准值之间的偏差值,进而根据偏差值评估测试匹配度,进而确定测试效果的技术方案,达到了实现自动化生成测试用例以及智能评估测试效果的技术效果。
2. 由于在k份数据中有放回的随机抽取k-1次得到的数据组合方式较复杂,进而使得L组数据重复的可能性较小,进而可进一步提高决策树的泛化能力。
实施例二
基于与前述实施例中一种用于真实业务场景的模拟测试方法相同的发明构思,如图3所示,本申请实施例提供了一种用于真实业务场景的模拟测试系统,其中,所述系统包括:
第一获得单元11,用于对第一业务场景进行场景要素提取,获得第一场景要素集;
第二获得单元12,用于将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;
第一生成单元13,用于根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;
第三获得单元14,用于将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;
第四获得单元15,用于通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;
第五获得单元16,用于对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;
第六获得单元17,用于根据所述第一偏差值,获得第一测试匹配度。
进一步的,所述系统还包括:
第七获得单元,用于获得第一训练数据,其中,所述第一训练数据包括多组场景要素信息和业务请求标识信息;
第一构建单元,用于通过所述第一训练数据,构建第一决策树;
第八获得单元,用于获得第一预设准确度,将构建所述第一决策树时不满足所述第一预设准确度的所述第一训练数据提取,生成第二训练数据;
第二构建单元,用于通过第二训练数据,构建第二决策树;
第三构建单元,用于通过第M-1训练数据,构建第M-1决策树;
第九获得单元,用于获得第一预设数据量,当第M训练数据满足所述第一预设数据量时,将所述第一决策树、所述第二决策树直到所述第M-1决策树全连接,获得所述业务请求匹配模型。
进一步的,所述系统还包括:
第一设定单元,用于将所述第一训练数据划分为k份,有放回的随机取k-1次,将抽取的数据设为第一迭代数据集,将未抽取的数据设为第一验证数据集;
第十获得单元,用于重复L次,获得第二迭代数据集直到第L迭代数据集,第二验证数据集直到第L验证数据集;
第一训练单元,用于通过所述第一迭代数据集直到所述第L迭代数据集,所述第一验证数据集直到所述第L验证数据集,对所述第一决策树进行迭代训练。
进一步的,所述系统还包括:
第十一获得单元,用于对所述业务目标信息进行功能特征提取,获得第一功能特征集;
第十二获得单元,用于对所述第一功能特征集序列性分析,获得第一功能特征序列集,其中,所述第一功能特征序列集表征功能特征的先后顺序;
第二生成单元,用于基于所述第一功能特征序列集遍历功能区块集,生成所述第一测试路径和所述第一测试结果标准值。
进一步的,所述系统还包括:
第十三获得单元,用于根据所述测试用例数据库,获得第一更新周期;
第十四获得单元,用于当满足所述第一更新周期,获得第一历史测试数据,其中,所述第一历史测试数据包括多组历史业务输入信息和历史测试用例信息;
第一更新单元,用于通过所述第一历史测试数据更新所述测试用例数据库。
进一步的,所述系统还包括:
第十五获得单元,用于获得第一预设偏差值,判断所述第一偏差值是否满足所述第一预设偏差值;
第十六获得单元,用于将满足所述第一预设偏差值的功能区块进行提取,获得第一偏差区块集;
第一添加单元,用于将所述第一偏差区块集添加进所述第一测试匹配度。
进一步的,所述系统还包括:
第十七获得单元,用于将不满足所述第一预设偏差值的功能区块进行提取,获得一级匹配区块集;
第十八获得单元,用于获得二级测试指标和二级测试标准值,其中,所述二级测试指标包括吞吐量、并发数和响应时长;
第十九获得单元,用于根据所述二级测试指标遍历所述一级匹配区块集进行测试,获得第二测试结果;
第二十获得单元,用于对所述第二测试结果和所述二级测试标准值进行偏差分析,获得第二偏差值;
第二十一获得单元,用于根据所述第二偏差值,获得第二测试匹配度。
实施例三
基于与前述实施例中一种用于真实业务场景的模拟测试方法相同的发明构思,本申请实施例还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现实施例一任一项所述的方法。
示例性电子设备
下面参考图4来描述本申请实施例的电子设备。
基于与前述实施例中一种用于真实业务场景的模拟测试方法相同的发明构思,本申请实施例还提供了一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行第一方面任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的系统,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory,EEPROM)、只读光盘(compactdisc
read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种用于真实业务场景的模拟测试方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例通过提供了一种用于真实业务场景的模拟测试方法及系统,由于采用了通过提取真实场景要素集,通过业务请求匹配模型智能化评估场景要素得到业务目标和业务输入信息;根据业务目标可以生成测试路径和每个功能模块的测试结果标准值;将业务输入信息输入测试用例数据库,可以匹配历史同类场景下的测试用例作为当前场景的测试用例;使用测试用例遍历测试路径中的每个功能模块进行测试,计算测试结果和测试结果标准值之间的偏差值,进而根据偏差值评估测试匹配度,进而确定测试效果的技术方案,达到了实现自动化生成测试用例以及智能评估测试效果的技术效果。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个、种),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指
令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种用于真实业务场景的模拟测试方法,其特征在于,所述方法包括:
对第一业务场景进行场景要素提取,获得第一场景要素集;
将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;
根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;
将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;
通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;
对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;
根据所述第一偏差值,获得第一测试匹配度;
所述将所述第一场景要素集输入业务请求匹配模型之前,包括:
获得第一训练数据,其中,所述第一训练数据包括多组场景要素信息和业务请求标识信息;
通过所述第一训练数据,构建第一决策树;
获得第一预设准确度,将构建所述第一决策树时不满足所述第一预设准确度的所述第一训练数据提取,生成第二训练数据;
通过第二训练数据,构建第二决策树;
通过第M-1训练数据,构建第M-1决策树;
获得第一预设数据量,当第M训练数据满足所述第一预设数据量时,将所述第一决策树、所述第二决策树直到所述第M-1决策树全连接,获得所述业务请求匹配模型;
所述根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,包括:
对所述业务目标信息进行功能特征提取,获得第一功能特征集;
对所述第一功能特征集序列性分析,获得第一功能特征序列集,其中,所述第一功能特征序列集表征功能特征的先后顺序;
基于所述第一功能特征序列集遍历功能区块集,生成所述第一测试路径和所述第一测试结果标准值。
2.如权利要求1所述的方法,其特征在于,所述通过所述第一训练数据,构建第一决策树,包括:
将所述第一训练数据划分为k份,有放回的随机取k-1次,将抽取的数据设为第一迭代数据集,将未抽取的数据设为第一验证数据集;
重复L次,获得第二迭代数据集直到第L迭代数据集,第二验证数据集直到第L验证数据集;
通过所述第一迭代数据集直到所述第L迭代数据集,所述第一验证数据集直到所述第L验证数据集,对所述第一决策树进行迭代训练。
3.如权利要求1所述的方法,其特征在于,所述将所述业务输入信息输入测试用例数据库,获得第一测试用例,之前包括:
根据所述测试用例数据库,获得第一更新周期;
当满足所述第一更新周期,获得第一历史测试数据,其中,所述第一历史测试数据包括多组历史业务输入信息和历史测试用例信息;
通过所述第一历史测试数据更新所述测试用例数据库。
4.如权利要求1所述的方法,其特征在于,所述根据所述第一偏差值,获得第一测试匹配度,还包括:
获得第一预设偏差值,判断所述第一偏差值是否满足所述第一预设偏差值;
将满足所述第一预设偏差值的功能区块进行提取,获得第一偏差区块集;
将所述第一偏差区块集添加进所述第一测试匹配度。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
将不满足所述第一预设偏差值的功能区块进行提取,获得一级匹配区块集;
获得二级测试指标和二级测试标准值,其中,所述二级测试指标包括吞吐量、并发数和响应时长;
根据所述二级测试指标遍历所述一级匹配区块集进行测试,获得第二测试结果;
对所述第二测试结果和所述二级测试标准值进行偏差分析,获得第二偏差值;
根据所述第二偏差值,获得第二测试匹配度。
6.一种用于真实业务场景的模拟测试系统,其特征在于,所述系统包括:
第一获得单元,用于对第一业务场景进行场景要素提取,获得第一场景要素集;
第二获得单元,用于将所述第一场景要素集输入业务请求匹配模型,获得第一业务请求信息,其中,所述第一业务请求信息包括业务目标信息和业务输入信息;
第一生成单元,用于根据所述业务目标信息,生成第一测试路径和第一测试结果标准值,其中,所述第一测试路径包括第一功能区块、第二功能区块直到第N功能区块;
第三获得单元,用于将所述业务输入信息输入测试用例数据库,获得第一测试用例,其中,所述第一测试用例和所述第一测试路径一一对应;
第四获得单元,用于通过所述第一测试用例遍历所述第一功能区块、所述第二功能区块直到所述第N功能区块进行功能测试,获得第一测试结果;
第五获得单元,用于对所述第一测试结果标准值和所述第一测试结果进行偏差分析,获得第一偏差值;
第六获得单元,用于根据所述第一偏差值,获得第一测试匹配度;
第七获得单元,用于获得第一训练数据,其中,所述第一训练数据包括多组场景要素信息和业务请求标识信息;
第一构建单元,用于通过所述第一训练数据,构建第一决策树;
第八获得单元,用于获得第一预设准确度,将构建所述第一决策树时不满足所述第一预设准确度的所述第一训练数据提取,生成第二训练数据;
第二构建单元,用于通过第二训练数据,构建第二决策树;
第三构建单元,用于通过第M-1训练数据,构建第M-1决策树;
第九获得单元,用于获得第一预设数据量,当第M训练数据满足所述第一预设数据量时,将所述第一决策树、所述第二决策树直到所述第M-1决策树全连接,获得所述业务请求匹配模型;
第十一获得单元,用于对所述业务目标信息进行功能特征提取,获得第一功能特征集;
第十二获得单元,用于对所述第一功能特征集序列性分析,获得第一功能特征序列集,其中,所述第一功能特征序列集表征功能特征的先后顺序;
第二生成单元,用于基于所述第一功能特征序列集遍历功能区块集,生成所述第一测试路径和所述第一测试结果标准值。
7.一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,其特征在于,当所述程序被所述处理器执行时,使系统以执行如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202210325422.0A 2022-03-30 2022-03-30 一种用于真实业务场景的模拟测试方法及系统 Active CN114428748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210325422.0A CN114428748B (zh) 2022-03-30 2022-03-30 一种用于真实业务场景的模拟测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210325422.0A CN114428748B (zh) 2022-03-30 2022-03-30 一种用于真实业务场景的模拟测试方法及系统

Publications (2)

Publication Number Publication Date
CN114428748A CN114428748A (zh) 2022-05-03
CN114428748B true CN114428748B (zh) 2022-06-21

Family

ID=81314402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210325422.0A Active CN114428748B (zh) 2022-03-30 2022-03-30 一种用于真实业务场景的模拟测试方法及系统

Country Status (1)

Country Link
CN (1) CN114428748B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371943A (zh) * 2023-10-17 2024-01-09 江苏润和软件股份有限公司 一种基于数据驱动的ai中台模型管理方法及ai中台系统
CN117176611B (zh) * 2023-10-30 2024-01-30 翼方健数(北京)信息科技有限公司 一种分布式通信库的性能测试方法、系统及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645326B2 (en) * 2009-06-30 2014-02-04 Sap Ag System to plan, execute, store and query automation tests
CN106708719B (zh) * 2015-08-04 2020-08-04 阿里巴巴集团控股有限公司 业务功能的测试方法和装置
CN108763076A (zh) * 2018-05-22 2018-11-06 深圳乐信软件技术有限公司 一种软件自动测试方法、装置、设备及介质
CN111984519B (zh) * 2019-05-23 2024-05-10 阿里巴巴集团控股有限公司 一种用于业务系统的测试方法及其装置
CN113392607B (zh) * 2020-03-12 2024-02-02 华为技术有限公司 一种确定配置参数的方法及相关设备
CN112115058B (zh) * 2020-09-25 2024-03-29 建信金融科技有限责任公司 测试方法及装置、测试用例生成方法及装置、测试系统
CN112527649A (zh) * 2020-12-15 2021-03-19 建信金融科技有限责任公司 一种测试用例的生成方法和装置
CN112597047A (zh) * 2020-12-29 2021-04-02 上海瑞家信息技术有限公司 测试方法、装置、电子设备和计算机可读介质
CN113760730B (zh) * 2021-01-27 2024-07-16 北京京东振世信息技术有限公司 一种自动化测试的方法和装置
CN113590454A (zh) * 2021-02-03 2021-11-02 腾讯科技(深圳)有限公司 测试方法、装置、计算机设备和存储介质
CN113256976B (zh) * 2021-05-12 2022-08-05 中移智行网络科技有限公司 一种车路协同系统、模拟仿真方法、车载设备和路侧设备
CN114116343A (zh) * 2021-11-24 2022-03-01 深圳Tcl新技术有限公司 一种设备测试方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114428748A (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
US10521729B2 (en) Neural architecture search for convolutional neural networks
CN114428748B (zh) 一种用于真实业务场景的模拟测试方法及系统
WO2020082865A1 (zh) 用于构建机器学习模型的特征选取方法、装置以及设备
CN109976998B (zh) 一种软件缺陷预测方法、装置和电子设备
CN110442516A (zh) 信息处理方法、设备及计算机可读存储介质
CN108681751B (zh) 确定事件影响因素的方法及终端设备
CN109685805B (zh) 一种图像分割方法及装置
CN112700006B (zh) 网络架构搜索方法、装置、电子设备及介质
CN111428866A (zh) 一种增量学习方法、装置、存储介质及电子设备
US20190220924A1 (en) Method and device for determining key variable in model
CN110321458B (zh) 一种基于控制流图的数据流分析方法及装置
CN112365007A (zh) 模型参数确定方法、装置、设备及存储介质
CN116166967B (zh) 基于元学习与残差网络的数据处理方法、设备和存储介质
CN114443506B (zh) 一种用于测试人工智能模型的方法及装置
CN116168403A (zh) 医疗数据分类模型训练方法、分类方法、装置及相关介质
CN115203556A (zh) 一种评分预测模型训练方法、装置、电子设备及存储介质
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN114841664A (zh) 一种多任务处理顺序确定方法及装置
CN114970114A (zh) 一种基于增强现实的虚拟仿真模型动态优化方法及系统
CN114911814A (zh) 一种基于知识资源库更新的咨询服务方法及系统
CN111815442B (zh) 一种链接预测的方法、装置和电子设备
CN114595630A (zh) 活动效应评估模型训练方法、装置、计算机设备和介质
CN113822464A (zh) 用户信息的处理方法及装置、电子设备、存储介质
CN113393023A (zh) 模具质量评估方法、装置、设备及存储介质
CN113836005A (zh) 一种虚拟用户的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant