CN116991693A - 一种测试方法、装置、设备及存储介质 - Google Patents

一种测试方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116991693A
CN116991693A CN202311260961.1A CN202311260961A CN116991693A CN 116991693 A CN116991693 A CN 116991693A CN 202311260961 A CN202311260961 A CN 202311260961A CN 116991693 A CN116991693 A CN 116991693A
Authority
CN
China
Prior art keywords
service
index
tested
information
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311260961.1A
Other languages
English (en)
Other versions
CN116991693B (zh
Inventor
张谦达
李辰杰
邬锦彬
韩亮亮
许盼儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank Of Ningbo Co ltd
Original Assignee
Bank Of Ningbo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank Of Ningbo Co ltd filed Critical Bank Of Ningbo Co ltd
Priority to CN202311260961.1A priority Critical patent/CN116991693B/zh
Publication of CN116991693A publication Critical patent/CN116991693A/zh
Application granted granted Critical
Publication of CN116991693B publication Critical patent/CN116991693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447Performance evaluation by modeling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Abstract

本公开提供了一种测试方法、装置、设备及存储介质,获取待测试业务对应的第一业务场景信息和期望指标信息;基于第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定待测试业务和各个已上线业务之间的业务场景相似度;根据业务场景相似度,从各个已上线业务中确定出待测试业务对应的目标业务;获取第一预设时间段内目标业务对应的第一性能指标数据,并根据第一性能指标数据和预先训练的性能测试模型,预测待测试业务对应的预测性能指标数据。该方法通可以预测高并发业务场景下各个待测试业务对应的预测性能指标数据,提高了业务的性能测试效率。

Description

一种测试方法、装置、设备及存储介质
技术领域
本公开涉及信息处理技术领域,尤其涉及一种测试方法、装置、设备及存储介质。
背景技术
为了保证业务的稳定性,在新业务上线前通常都需要对业务进行性能测试。随着业务迭代速度的加快,针对业务的性能测试需要面临各种高并发业务场景,由于不同业务场景下性能测试的指标和测试标准存在差异,而目前的性能测试方法难以覆盖高并发业务场景,因此性能测试效率低。
发明内容
本公开提供了一种测试方法、装置、设备及存储介质,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种测试方法,所述方法包括:
获取待测试业务对应的第一业务场景信息和期望指标信息,其中,所述期望指标信息包括多种类型的期望指标;
基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标;
根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务;
获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
在一可实施方式中,所述基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,包括:
针对每个已上线业务,根据所述第一业务场景信息和所述已上线业务的业务信息,确定所述已上线业务的业务场景与所述待测试业务的业务场景是否属于同一预设场景类别;
如果不是,将预设业务场景相似度确定为所述待测试业务和所述已上线业务之间的业务场景相似度;
如果是,根据所述期望指标信息和所述已上线业务的业务信息,计算所述已上线业务的指标与所述待测试业务的期望指标之间的指标相似度,并将所述指标相似度作为所述待测试业务和所述已上线业务之间的业务场景相似度。
在一可实施方式中,所述根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,包括:
根据所述第一性能指标数据确定所述待测试业务的各个指标的指标测试数据;
将所述各个指标的指标测试数据输入预先训练的性能测试模型,以使得所述性能测试模型基于所述各个指标的指标测试数据测试所述待测试业务的各个指标参数,并得到对应的指标测试数据作为预测性能指标数据。
在一可实施方式中,所述方法还包括:
针对所述待测试业务的各个指标参数,如果所述指标参数被测试时,对所述指标参数对应的参数代码标记第一标识,如果所述指标参数未被测试时,对所述指标参数对应的参数代码标记第二标识;
在可视界面上展示标记了所述第一标识或所述第二标识的各个参数代码。
在一可实施方式中,所述方法还包括:
基于所述可视界面上展示的标记了所述第一标识或所述第二标识的各个参数代码,对未被测试的指标参数的参数代码进行优化处理。
在一可实施方式中,所述获取第一预设时间段内所述目标业务对应的第一性能指标数据,包括:
从预设分布式缓存架构的各个服务器中确定出目标服务器;
基于所述目标服务器,获取第一预设时间段内所述目标业务对应的第一性能指标数据。
在一可实施方式中,所述性能测试模型运行于与第一线程独立的第二线程,所述第一线程为运行业务研发程序的线程。
在一可实施方式中,所述性能测试模型的训练方式包括:
获取第二预设时间段内各个已上线业务的第二性能指标数据;
基于预设数据窗口,从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标;
将所述样本指标输入待训练模型,以使所述待训练模型预测所述样本指标对应的预测指标数据;
根据所述预测指标数据和所述第二性能指标数据中所述样本指标对应的性能指标数据,确定所述待训练模型的损失函数的值;
确定所述损失函数的值是否小于预设损失阈值;
如果是,将所述待训练模型确定为所述性能测试模型;
如果否,按照预设步长移动所述预设数据窗口,并返回执行所述基于预设数据窗口从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标的步骤,直至迭代次数达到预设迭代次数时,将所述待训练模型确定为所述性能测试模型。
根据本公开的第二方面,提供了一种测试装置,所述装置包括:
信息获取模块,用于获取待测试业务对应的第一业务场景信息和期望指标信息,其中,所述期望指标信息包括多种类型的期望指标;
相似度确定模块,用于基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标;
目标业务确定模块,用于根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务;
性能测试模块,用于获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的测试方法、装置、设备及存储介质,获取待测试业务对应的第一业务场景信息和期望指标信息,期望指标信息包括多种类型的期望指标;基于第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定待测试业务和各个已上线业务之间的业务场景相似度,已上线业务的业务信息包括第二业务场景信息和多种类型的指标;根据业务场景相似度,从各个已上线业务中确定出待测试业务对应的目标业务;获取第一预设时间段内目标业务对应的第一性能指标数据,并根据第一性能指标数据和预先训练的性能测试模型,预测待测试业务对应的预测性能指标数据,性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。即可以通过已上线业务的性能指标数据和预先训练的性能测试模型,预测高并发业务场景下各个待测试业务对应的预测性能指标数据,提高了业务的性能测试效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例提供的测试方法的一种流程示意图;
图2示出了本公开实施例提供的一种期望指标的示意图;
图3示出了本公开实施例提供的一种可视界面示意图;
图4示出了本公开实施例提供的一种分布式存储示意图;
图5示出了本公开实施例提供的一种性能测试模型的训练流程示意图;
图6示出了本公开实施例提供的一种预设数据窗口示意图;
图7示出了本公开实施例提供的测试装置的一种结构内示意图;
图8示出了本公开实施例提供的一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
由于不同业务场景下性能测试的指标和测试标准存在差异,而现有的性能测试方法难以覆盖高并发业务场景,性能测试效率低,因此,为了提高性能测试效率低,本公开提供了一种测试方法、装置、设备及存储介质。本公开提供的测试方法可以应用于任何可以进行数据处理的电子设备,包括不限于电脑、手机和平板电脑等。
下面将结合本公开实施例中的附图,对本公开实施例的技术方案进行描述。
图1示出了本公开实施例提供的测试方法的一种流程示意图,如图1所示,所述方法包括:
S101,获取待测试业务对应的第一业务场景信息和期望指标信息。
本公开实施例中,待测试业务为未上线的业务。待测试业务对应的第一业务场景信息可以包括待测试业务的业务场景类型和名称等属性信息。以银行业务为例,业务场景类型具体可以包括活动服务业务类型和基础业务类型等。活动服务业务类型具体可以包括抽奖业务、领券业务、秒杀业务、问卷业务和签到业务等,基础业务类型具体可以包括客群查询业务、楼层查询业务和广告查询业务等。当然,本公开实施例的测试方法并非仅限于适用银行业务场景,对其他任何业务形式也都适用。
所述期望指标信息包括多种类型的期望指标。在一种可能的实施方式中,多种类型的期望指标可以包括待测试业务从研发到未来上线,用于衡量服务器、应用层和中间件三个层级的指标。
图2示出了本公开实施例提供的一种期望指标的示意图,如图2所示,本公开提供了一种三级性能基线指标体系,该体系提供了多种类型的指标,例如,衡量应用层性能的第一类指标201、衡量中间件性能的第二类指标202和衡量服务器性能的第三类指标203。其中,第一类指标201包括但不限于TPS(单位时间内处理完的事物的数量)即响应速度、QPS(规定时间内所处理的事物的数量)、并发数以及响应率;第二类指标202包括但不限于事物处理效率和资源使用;第三类指标203包括服务器的CPU、内存、IO(Input/Output,输入/输出)、网络、连接数和JVM(Java Virtual Machine,Java虚拟机)。
待测试业务的研发阶段,针对待测试业务所要应用的业务场景,研发人员可以为待测试业务配置用于衡量服务器、应用层和中间件三个层级的指标中的一个或多个指标,作为待测试业务的期望指标。
S102,基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度。
其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标。
本公开实施例中,已上线业务是指银行中已投入运营的业务。各个已上线业务的第二业务场景信息也可以包括已上线业务的业务场景类型和名称等属性信息。各个已上线业务的多种类型的指标,具体可以包括用于衡量服务器、应用层和中间件三个层级的指标中的一个或多个指标。
在一种实施方式中,所述基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,可以包括步骤A1-A3:
步骤A1,针对每个已上线业务,根据所述第一业务场景信息和所述已上线业务的业务信息,确定所述已上线业务的业务场景与所述待测试业务的业务场景是否属于同一预设场景类别。
本公开实施例中,预设场景类别可以包括活动服务业务类别、基础业务类别和支持业务类别等,各个预设场景类别下可以包括多个子业务场景,例如,活动服务业务类别具体可以包括抽奖业务场景、领券业务场景和问卷业务场景等。
可以根据待测试业务的第一业务场景信息确定出待测试业务的业务场景所属的预设场景类别,以及根据各个已上线业务的业务信息确定出各个已上线业务的业务场景所属的预设场景类别。然后,确定出各个已上线业务的业务场景所属的预设场景类别与待测试业务的业务场景所属的预设场景类别是否为同一类别。例如,若已上线业务a的业务场景为领券业务场景,领券业务场景属于活动服务业务,即已上线业务a的业务场景所属的预设场景类别为活动服务业务;若待测试业务b的业务场景为问卷业务场景,问卷业务场景属于活动服务业务,即待测试业务b的业务场景所属的预设场景类别为活动服务业务,则可以确定已上线业务a的业务场景所属的预设场景类别与待测试业务b的业务场景所属的预设场景类别为同一类别。
步骤A2,如果不是,将预设业务场景相似度确定为所述待测试业务和所述已上线业务之间的业务场景相似度。
如果已上线业务的业务场景所属的预设场景类别与待测试业务的业务场景所属的预设场景类别不是同一类别,表征该已上线业务和待测试业务的业务场景差距过大,不能通过该已上线业务的性能指标数据预测出待测试业务对应的准确的性能指标数据。因此,可以直接将预设业务场景相似度确定为所述待测试业务和该已上线业务之间的业务场景相似度,其中,预设业务场景相似度可以设置为0或者0.1等。
步骤A3,如果是,根据所述期望指标信息和所述已上线业务的业务信息,计算所述已上线业务的指标与所述待测试业务的期望指标之间的指标相似度,并将所述指标相似度作为所述待测试业务和所述已上线业务之间的业务场景相似度。
如果已上线业务的业务场景所属的预设场景类别与待测试业务的业务场景所属的预设场景类别是同一类别,表征该已上线业务和待测试业务的业务场景比较接近,因此,可以根据期望指标信息和该已上线业务的业务信息,计算该已上线业务的指标与待测试业务的期望指标之间的指标相似度。在一种可能的实施方式中,可以通过计算期望指标信息和该已上线业务的业务信息中相同指标的数量与待测试业务的期望指标的数量的比值,作为该已上线业务的指标与待测试业务的期望指标之间的指标相似度。在另一种可能的实施方式中,可以确定期望指标信息和该已上线业务的业务信息中同一类型指标中相同指标的数量,然后针对每种类型指标,计算相同指标的数量与待测试业务对应的该类型的期望指标的数量的比值,然后计算各个类型指标对应的比值的加权求和,得到的加权求和结果作为该已上线业务的指标与待测试业务的期望指标之间的指标相似度。各个类型指标对应的比值的权重可以根据实际应用场景具体设置。
然后,可以将得到的指标相似度作为待测试业务和该已上线业务之间的业务场景相似度。
在另一种实施方式中,所述基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,还可以包括步骤B1-B4:
步骤B1,针对每个已上线业务,根据所述第一业务场景信息和所述已上线业务的业务信息,确定所述已上线业务的业务场景与所述待测试业务的业务场景是否属于同一预设场景类别。
步骤B2,如果是,将第一预设相似度确定为所述待测试业务和所述已上线业务之间的第一相似度,如果不是,将第二预设相似度确定为所述待测试业务和所述已上线业务之间的第一相似度。
第一相似度用于表征待测试业务和已上线业务的业务场景之间的相似程度。
其中,第二预设相似度大于第一预设相似度,第一预设相似度可以设置为0或0.1等,第二预设相似度可以设置为0.5或0.6等。
步骤B3,根据所述期望指标信息和所述已上线业务的业务信息,计算所述已上线业务的指标与所述待测试业务的期望指标之间的第二相似度。
指标相似度用于表征待测试业务和已上线业务的业务指标之间的相似程度。第二相似度计算方法可以参照步骤A3中的指标相似度计算方法,此处不再赘述。
步骤B4,根据第一相似度和第二相似度确定所述待测试业务和所述已上线业务之间的业务场景相似度。
具体的,可以将第一相似度和第二相似度的和值确定为确定待测试业务和已上线业务之间的业务场景相似度;或者,还可以将第二相似度和第二相似度的加权和确定为确定待测试业务和已上线业务之间的业务场景相似度,第一相似度对应的权重和第二相似度对应的权重可以根据实际应用场景具体设置,例如,可以设置场景第一相似度对应的权重为0.3,第二相似度对应的权重为0.7。
S103,根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务。
本公开实施例中,可以将对应的业务场景相似度最大的已上线业务确定为待测试业务对应的目标业务。
S104,获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据。
其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
本公开实施例中,第一预设时间段可以根据实际应用进行设置,例如,第一预设时间段可以设置为距离当前时间之前的一周,或者,第一预设时间段可以设置为距离当前时间之前的一个月。
目标业务对应的第一性能指标数据具体可以包括:目标业务的各个类型的指标在第一预设时间段内的运营数据。
在一可实施方式中,所述根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,可以包括步骤C1-C2:
步骤C1,根据所述第一性能指标数据确定所述待测试业务的各个指标的指标测试数据。
具体的,针对所述待测试业务的每个指标,可以将所述第一性能指标数据中与该指标对应的数据确定为该指标的指标测试数据。例如,若所述第一性能指标数据包括所述目标业务的TPS指标的数据、QPS指标的数据、CPU指标的数据和IO指标的数据,所述待测试业务对应的各个指标包括TPS指标、QPS指标、CPU指标和IO指标,则可以将所述目标业务的TPS指标的数据、QPS指标的数据、CPU指标的数据和IO指标的数据分别确定为所述待测试业务对应的各个指标包括TPS指标、QPS指标、CPU指标和IO指标的指标测试数据。
本公开实施例中,指标的指标测试数据还可以包括该指标与指标参数的关联标识。关联标识可以设置为字符串或指定字符等。指标的指标参数指该指标对应的性能参数。例如,待测试业务对应的指标中包括CPU指标,CPU指标的指标参数可以包括CPU主频、CPU外率、CPU倍频和CPU缓存等性能参数。CPU指标的指标测试数据中可以包括CPU指标与指标参数的关联标识“cpu1xy”,将CPU指标的指标测试数据输入性能测试模型后,性能测试模型可以基于关联标识“cpu1xy”确定出CPU指标对应的CPU主频、CPU外率、CPU倍频和CPU缓存等指标参数并进行测试。
步骤C2,将所述各个指标的指标测试数据输入预先训练的性能测试模型,以使得所述性能测试模型基于所述各个指标的指标测试数据测试所述待测试业务的各个指标参数,并得到对应的指标测试数据作为预测性能指标数据。
将各个指标的指标测试数据输入预先训练的性能测试模型后,性能测试模型可以基于关联标识确定出各个指标对应的待测试业务的指标参数,并测试待测试业务的各个指标参数,并得到对应的指标测试数据作为预测性能指标数据。
采用该方法,获取待测试业务对应的第一业务场景信息和期望指标信息,期望指标信息包括多种类型的期望指标;基于第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定待测试业务和各个已上线业务之间的业务场景相似度,已上线业务的业务信息包括第二业务场景信息和多种类型的指标;根据业务场景相似度,从各个已上线业务中确定出待测试业务对应的目标业务;获取第一预设时间段内目标业务对应的第一性能指标数据,并根据第一性能指标数据和预先训练的性能测试模型,预测待测试业务对应的预测性能指标数据,性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。即可以通过已上线业务的性能指标数据和预先训练的性能测试模型,预测高并发业务场景下各个待测试业务对应的预测性能指标数据,提高了业务的性能测试效率。
在一可实施方式中,本公开提供的测试方法还可以包括步骤D1-D2:
步骤D1,针对所述待测试业务的各个指标参数,如果所述指标参数被测试时,对所述指标参数对应的参数代码标记第一标识;如果所述指标参数未被测试时,对所述指标参数对应的参数代码标记第二标识。
第一标识可以为第一颜色的矩形框或第一指定编码,用于标识指标参数被测试了,第二标识可以为第二颜色的矩形框或第二指定编码,用于标识指标参数未被测试。第一颜色和第二颜色不同,第一指定编码和第二指定编码不同,第一指定编码和第二指定编码可以为不同的字符串。
步骤D2,在可视界面上展示标记了所述第一标识或所述第二标识的各个参数代码。
图3示出了本公开实施例提供的一种可视界面示意图,如图3所示,第一标识302标记了参数代码中被测试了的指标参数,第二标识301标记了参数代码中未被测试的指标参数。通过将参数代码的测试过程可视化,可以使得测试工作人员精准确定未被测试的参数代码,提高了测试效率。
并且,本公开实施例中还可以基于所述可视界面上展示的标记了所述第一标识或所述第二标识的各个参数代码,对未被测试的指标参数的参数代码进行优化处理。具体的,为了使开发人员更容易地确定待测试业务中需要优化的内容,可以根据可视界面上展示的标记了所述第一标识或所述第二标识的各个参数代码,针对代码逻辑、缓存、SQL等多项内容确定适应的优化建议,开发人员可以参考优化建议确立优化内容优化参数代码,使得待测试业务可以快速进入下一个测试迭代周期。
本公开实施例中,通过对参数代码的测试过程的可视化,可以及时生成参数代码测试覆盖程度的报告,通过参数代码测试覆盖程度的报告可以对比周期测试内容,快速高效地确认测试方案的测试结果,使得本公开实施例提供的测试方案可以精确到代码行级别,帮助性能测试人员精准定位测试过程中出现的问题,为研发人员确定完善的优化指引,使得研发人员可以及时优化待测试业务,保障测试方案的测试效率。
在一可实施方式中,图4示出了本公开实施例提供的一种分布式存储示意图,如图4所示,服务器1、服务器2和服务器3为分布式存储系统的子服务器,注册中心服务器为分布式存储系统的主服务器。注册中心服务器存储了各个已上线业务和待上线业务的业务场景信息和指标信息,即集群信息。注册中心服务器可以将所存储的信息分发给各个子服务器,分布式存储系统中的子服务如果出现数据丢失问题,可以通过与其他正常的子服务器进行键值同步,将正常的子服务器所存储的信息同步至丢失了数据的子服务器,或者,也可以由注册中心服务器重新向丢失了数据的子服务器同步集群信息。
本公开实施例中,所述获取第一预设时间段内所述目标业务对应的第一性能指标数据,还可以包括步骤E1-E2:
步骤E1,从预设分布式缓存架构的各个服务器中确定出目标服务器。
预设分布式缓存架构可以为图4所示的分布式存储系统架构。分布式存储系统架构中各个子服务器可以对应服务一个或多个电子设备。可以根据电子设备所记录的服务器的标识,确定电子设备对应的子服务器作为目标服务器。或者,也可以根据电子设备和各个子服务器的距离,将距离最近的子服务器确定为电子设备对应的子服务器作为目标服务器。
步骤E2,基于所述目标服务器,获取第一预设时间段内所述目标业务对应的第一性能指标数据。
可以从目标服务器中所存储的各个已上线业务和待上线业务的业务场景信息和指标信息中,查找出第一预设时间段内所述目标业务对应的第一性能指标数据。
本公开实施例中,设计预设分布式缓存架构,通过注册中心服务器将数据同步至每个子服务器,有效防止了可能存在的缓存数据丢失问题,提升了测试准确率。
在一可实施方式中,所述性能测试模型运行于与第一线程独立的第二线程,所述第一线程为运行业务研发程序的线程。本公开实施例中,业务的性能测试与业务研发属于不同的线程,当业务研发线程确定出待测试业务的各个指标以及指标对应的参数接口时,可以将各个指标以及指标对应的参数接口同步至性能测试线程,性能测试线程可以基于各个指标以及指标对应的参数接口为待测试业务指定对应的测试方案。相比于研发-测试单线程的模式,本公开实施例提供的研发、测试双线程模式可以将性能测试阶段提升至与研发基本同步进行,这不仅极大地缩减了性能测试时间提高了性能测试效率,还可以为后续的性能优化提供缓冲时间。
在一可实施方式中,图5示出了本公开实施例提供的一种性能测试模型的训练流程示意图,如图5所示,所述性能测试模型的训练方式包括:
S501,获取第二预设时间段内各个已上线业务的第二性能指标数据。
本公开实施例中,第二预设时间段可以根据实际应用进行设置,例如,第二预设时间段可以设置为距离当前时间之前的一个月,或者,第二预设时间段可以设置为距离当前时间之前的三个月。
已上线业务的第二性能指标数据可以包括该已上线业务的各个类型的指标在第二预设时间段内的运营数据。
S502,基于预设数据窗口,从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标。
图6示出了本公开实施例提供的一种预设数据窗口示意图,如图6所示,横轴表示时间,窗口1、窗口2、窗口3和窗口4均为在第二预设时间段截取的时长为窗口大小的预设数据窗口。窗口大小即预设数据窗口的长度,可以设置为小于第二预设时间段内的时长,例如,若第二预设时间段为一个月,则窗口大小可以设置为一周。本公开实施例中,可以直接将第二性能指标数据对应的各个指标中指定的一个或多个指标确定为样本指标,如图6所示,可以指定TPS指标、QPS指标和并发指标为样本指标。也可以针对预设数据窗口对应的每个时间段,将第二性能指标数据对应的各个指标中指定的一个或多个指标确定为该时间段内的样本指标。
仍如图6所示,预设数据窗口在第二预设时间段内选取一个窗口时长,该窗口时长预设数据窗口当前对应的时间段可以如窗口1所示,可以针对窗口1对应的时间段内,将TPS指标、QPS指标和并发指标确定为样本指标。
S503,将所述样本指标输入待训练模型,以使所述待训练模型预测所述样本指标对应的预测指标数据。
例如,将TPS指标、QPS指标和并发指标等样本指标输入待训练模型,待训练模型可以预测出TPS指标、QPS指标和并发指标分别对应的数值,作为TPS指标、QPS指标和并发指标对应的预测指标数据。
S504,根据所述预测指标数据和所述第二性能指标数据中所述样本指标对应的性能指标数据,确定所述待训练模型的损失函数的值。
本公开实施例中,可以将所获取的第二预设时间段内各个已上线业务的第二性能指标数据中,各个样本指标的数据确定为各个样本指标对应的真实的性能指标数据。然后,可以计算各个样本指标的预测指标数据和真实的性能指标数据间的相似度,以此作为待训练模型的损失函数的值。
S505,确定所述损失函数的值是否小于预设损失阈值。
其中,预设损失阈值可以根据实际应用具体设置,例如,可以设置为0.9或0.95。
S506,如果是,将所述待训练模型确定为所述性能测试模型。
S507,如果否,按照预设步长移动所述预设数据窗口,并返回执行所述基于预设数据窗口从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标的步骤,直至迭代次数达到预设迭代次数时,将所述待训练模型确定为所述性能测试模型。
如图6所示,预设步长即预设数据窗口的滑动长度,预设步长可以根据实际应用场景设置,例如,可以将预设步长设置为一天或者两天。如果将预设步长设置为一天,则预设数据窗口的一天的滑动长度进行滑动,直至遍历完第二预设时段。如图6所示,可以将窗口1向右移动预设步长,得到窗口2,然后针对窗口2返回执行S502,从第二性能指标数据中确定出窗口2当前对应的时间段内各个已上线业务的样本指标。
预设迭代次数可以设置为100次或200次等。
采用该方法,基于生产实时的业务数据,可以通过滑窗算法获取各个已上线业务的各项指标数据,利用各个已上线业务的各项指标数据训练出能够预测各类业务的性能数据的强泛化性的性能测试模型。基于所训练的性能测试模型,可以预测高并发业务场景下各个待测试业务对应的预测性能指标数据,提高了业务的性能测试效率。
基于同一发明构思,根据本公开上述实施例提供的测试方法,相应地,本公开另一实施例还提供了一种测试装置,其结构示意图如图7所示,具体包括:
信息获取模块701,用于获取待测试业务对应的第一业务场景信息和期望指标信息,其中,所述期望指标信息包括多种类型的期望指标;
相似度确定模块702,用于基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标;
目标业务确定模块703,用于根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务;
性能测试模块704,用于获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
采用该装置,获取待测试业务对应的第一业务场景信息和期望指标信息,期望指标信息包括多种类型的期望指标;基于第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定待测试业务和各个已上线业务之间的业务场景相似度,已上线业务的业务信息包括第二业务场景信息和多种类型的指标;根据业务场景相似度,从各个已上线业务中确定出待测试业务对应的目标业务;获取第一预设时间段内目标业务对应的第一性能指标数据,并根据第一性能指标数据和预先训练的性能测试模型,预测待测试业务对应的预测性能指标数据,性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。即可以通过已上线业务的性能指标数据和预先训练的性能测试模型,预测高并发业务场景下各个待测试业务对应的预测性能指标数据,提高了业务的性能测试效率。
在一可实施方式中,所述相似度确定模块702,具体用于针对每个已上线业务,根据所述第一业务场景信息和所述已上线业务的业务信息,确定所述已上线业务的业务场景与所述待测试业务的业务场景是否属于同一预设场景类别;如果不是,将预设业务场景相似度确定为所述待测试业务和所述已上线业务之间的业务场景相似度;如果是,根据所述期望指标信息和所述已上线业务的业务信息,计算所述已上线业务的指标与所述待测试业务的期望指标之间的指标相似度,并将所述指标相似度作为所述待测试业务和所述已上线业务之间的业务场景相似度。
在一可实施方式中,所述性能测试模块704,具体用于根据所述第一性能指标数据确定所述待测试业务的各个指标的指标测试数据;将所述各个指标的指标测试数据输入预先训练的性能测试模型,以使得所述性能测试模型基于所述各个指标的指标测试数据测试所述待测试业务的各个指标参数,并得到对应的指标测试数据作为预测性能指标数据。
在一可实施方式中,所述性能测试模块704,具体用于针对所述待测试业务的各个指标参数,如果所述指标参数被测试时,对所述指标参数对应的参数代码标记第一标识,如果所述指标参数未被测试时,对所述指标参数对应的参数代码标记第二标识;在可视界面上展示标记了所述第一标识或所述第二标识的各个参数代码。
在一可实施方式中,所述装置还包括:
优化模块(图中未示出),用于基于所述可视界面上展示的标记了所述第一标识或所述第二标识的各个参数代码,对未被测试的指标参数的参数代码进行优化处理。
在一可实施方式中,所述信息获取模块701,具体用于从预设分布式缓存架构的各个服务器中确定出目标服务器;基于所述目标服务器,获取第一预设时间段内所述目标业务对应的第一性能指标数据。
在一可实施方式中,所述性能测试模型运行于与第一线程独立的第二线程,所述第一线程为运行业务研发程序的线程。
在一可实施方式中,所述装置还包括:
模型训练模块(图中未示出),用于获取第二预设时间段内各个已上线业务的第二性能指标数据;基于预设数据窗口,从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标;将所述样本指标输入待训练模型,以使所述待训练模型预测所述样本指标对应的预测指标数据;根据所述预测指标数据和所述第二性能指标数据中所述样本指标对应的性能指标数据,确定所述待训练模型的损失函数的值;确定所述损失函数的值是否小于预设损失阈值;如果是,将所述待训练模型确定为所述性能测试模型;如果否,按照预设步长移动所述预设数据窗口,并返回执行所述基于预设数据窗口从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标的步骤,直至迭代次数达到预设迭代次数时,将所述待训练模型确定为所述性能测试模型。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如测试方法。例如,在一些实施例中,测试方法可被实现为计算机软件程序,其被有形地包含于可读存储介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的测试方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行测试方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。可读存储介质可以是机器可读信号介质或机器可读储存介质。可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种测试方法,其特征在于,所述方法包括:
获取待测试业务对应的第一业务场景信息和期望指标信息,其中,所述期望指标信息包括多种类型的期望指标;
基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标;
根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务;
获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,包括:
针对每个已上线业务,根据所述第一业务场景信息和所述已上线业务的业务信息,确定所述已上线业务的业务场景与所述待测试业务的业务场景是否属于同一预设场景类别;
如果不是,将预设业务场景相似度确定为所述待测试业务和所述已上线业务之间的业务场景相似度;
如果是,根据所述期望指标信息和所述已上线业务的业务信息,计算所述已上线业务的指标与所述待测试业务的期望指标之间的指标相似度,并将所述指标相似度作为所述待测试业务和所述已上线业务之间的业务场景相似度。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,包括:
根据所述第一性能指标数据确定所述待测试业务的各个指标的指标测试数据;
将所述各个指标的指标测试数据输入预先训练的性能测试模型,以使得所述性能测试模型基于所述各个指标的指标测试数据测试所述待测试业务的各个指标参数,并得到对应的指标测试数据作为预测性能指标数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
针对所述待测试业务的各个指标参数,如果所述指标参数被测试时,对所述指标参数对应的参数代码标记第一标识,如果所述指标参数未被测试时,对所述指标参数对应的参数代码标记第二标识;
在可视界面上展示标记了所述第一标识或所述第二标识的各个参数代码。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于所述可视界面上展示的标记了所述第一标识或所述第二标识的各个参数代码,对未被测试的指标参数的参数代码进行优化处理。
6.根据权利要求1所述的方法,其特征在于,所述获取第一预设时间段内所述目标业务对应的第一性能指标数据,包括:
从预设分布式缓存架构的各个服务器中确定出目标服务器;
基于所述目标服务器,获取第一预设时间段内所述目标业务对应的第一性能指标数据。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述性能测试模型运行于与第一线程独立的第二线程,所述第一线程为运行业务研发程序的线程。
8.根据权利要求1所述的方法,其特征在于,所述性能测试模型的训练方式包括:
获取第二预设时间段内各个已上线业务的第二性能指标数据;
基于预设数据窗口,从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标;
将所述样本指标输入待训练模型,以使所述待训练模型预测所述样本指标对应的预测指标数据;
根据所述预测指标数据和所述第二性能指标数据中所述样本指标对应的性能指标数据,确定所述待训练模型的损失函数的值;
确定所述损失函数的值是否小于预设损失阈值;
如果是,将所述待训练模型确定为所述性能测试模型;
如果否,按照预设步长移动所述预设数据窗口,并返回执行所述基于预设数据窗口从所述第二性能指标数据中确定出所述预设数据窗口当前对应的时间段内各个已上线业务的样本指标的步骤,直至迭代次数达到预设迭代次数时,将所述待训练模型确定为所述性能测试模型。
9.一种测试装置,其特征在于,所述装置包括:
信息获取模块,用于获取待测试业务对应的第一业务场景信息和期望指标信息,其中,所述期望指标信息包括多种类型的期望指标;
相似度确定模块,用于基于所述第一业务场景信息和所述期望指标信息,根据各个已上线业务的业务信息,确定所述待测试业务和各个已上线业务之间的业务场景相似度,其中,所述已上线业务的业务信息包括第二业务场景信息和多种类型的指标;
目标业务确定模块,用于根据所述业务场景相似度,从各个已上线业务中确定出所述待测试业务对应的目标业务;
性能测试模块,用于获取第一预设时间段内所述目标业务对应的第一性能指标数据,并根据所述第一性能指标数据和预先训练的性能测试模型,预测所述待测试业务对应的预测性能指标数据,其中,所述性能测试模型为基于第二预设时间段内各个已上线业务的第二性能指标数据对待训练模型进行训练得到的。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求1-8中任一项所述的方法。
CN202311260961.1A 2023-09-27 2023-09-27 一种测试方法、装置、设备及存储介质 Active CN116991693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311260961.1A CN116991693B (zh) 2023-09-27 2023-09-27 一种测试方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311260961.1A CN116991693B (zh) 2023-09-27 2023-09-27 一种测试方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116991693A true CN116991693A (zh) 2023-11-03
CN116991693B CN116991693B (zh) 2023-12-26

Family

ID=88534236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311260961.1A Active CN116991693B (zh) 2023-09-27 2023-09-27 一种测试方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116991693B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
US20130159047A1 (en) * 2011-12-14 2013-06-20 Jochen Mayerle Dynamic business scenario key performance indicator definitions, real time calculations, and analysis
CN111177005A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 业务应用的测试方法、装置、服务器和存储介质
US11250368B1 (en) * 2020-11-30 2022-02-15 Shanghai Icekredit, Inc. Business prediction method and apparatus
CN114185767A (zh) * 2021-11-17 2022-03-15 南京星云数字技术有限公司 Ab测试方法、装置及计算机可读存储介质
CN114445143A (zh) * 2022-01-29 2022-05-06 中国农业银行股份有限公司 一种业务数据的预测方法、装置、设备及介质
CN114666224A (zh) * 2020-12-08 2022-06-24 中移动信息技术有限公司 业务资源容量动态分配方法、装置、设备及存储介质
CN115373974A (zh) * 2021-05-21 2022-11-22 网联清算有限公司 测试数据构造方法、装置及电子设备
US20220374345A1 (en) * 2021-05-24 2022-11-24 Infor (Us), Llc Techniques for similarity determination across software testing configuration data entities
CN115562978A (zh) * 2022-09-26 2023-01-03 四川启睿克科技有限公司 基于业务场景的性能测试系统及方法
US20230011954A1 (en) * 2021-07-12 2023-01-12 Hitachi, Ltd. Device, method, and system for business plan management
CN115712571A (zh) * 2022-11-23 2023-02-24 平安银行股份有限公司 一种交互服务测试、装置、计算机设备及存储介质
CN116361138A (zh) * 2021-12-22 2023-06-30 北京字节跳动网络技术有限公司 测试方法及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
US20130159047A1 (en) * 2011-12-14 2013-06-20 Jochen Mayerle Dynamic business scenario key performance indicator definitions, real time calculations, and analysis
CN111177005A (zh) * 2019-12-31 2020-05-19 中国银行股份有限公司 业务应用的测试方法、装置、服务器和存储介质
US11250368B1 (en) * 2020-11-30 2022-02-15 Shanghai Icekredit, Inc. Business prediction method and apparatus
CN114666224A (zh) * 2020-12-08 2022-06-24 中移动信息技术有限公司 业务资源容量动态分配方法、装置、设备及存储介质
CN115373974A (zh) * 2021-05-21 2022-11-22 网联清算有限公司 测试数据构造方法、装置及电子设备
US20220374345A1 (en) * 2021-05-24 2022-11-24 Infor (Us), Llc Techniques for similarity determination across software testing configuration data entities
US20230011954A1 (en) * 2021-07-12 2023-01-12 Hitachi, Ltd. Device, method, and system for business plan management
CN114185767A (zh) * 2021-11-17 2022-03-15 南京星云数字技术有限公司 Ab测试方法、装置及计算机可读存储介质
CN116361138A (zh) * 2021-12-22 2023-06-30 北京字节跳动网络技术有限公司 测试方法及设备
CN114445143A (zh) * 2022-01-29 2022-05-06 中国农业银行股份有限公司 一种业务数据的预测方法、装置、设备及介质
CN115562978A (zh) * 2022-09-26 2023-01-03 四川启睿克科技有限公司 基于业务场景的性能测试系统及方法
CN115712571A (zh) * 2022-11-23 2023-02-24 平安银行股份有限公司 一种交互服务测试、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林鑫;: "电子渠道业务和营销活动上线时长影响因素分析", 信息通信, no. 04, pages 268 - 269 *
王华;肖荣军;: "一种集客语音专线业务性能与压力测试的方法与系统介绍", 江苏通信, no. 03, pages 65 - 70 *
陈磊;: "ERP系统自动化测试应用探析", 中国高新区, no. 10, pages 27 *

Also Published As

Publication number Publication date
CN116991693B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN112561077B (zh) 多任务模型的训练方法、装置及电子设备
CN112559007B (zh) 多任务模型的参数更新方法、装置及电子设备
CN113360580B (zh) 基于知识图谱的异常事件检测方法、装置、设备及介质
CN116089258A (zh) 数据迁移测试方法、装置、设备、存储介质及程序产品
CN113032258A (zh) 一种电子地图的测试方法、装置、电子设备及存储介质
CN116991693B (zh) 一种测试方法、装置、设备及存储介质
CN116647377A (zh) 一种网站巡检方法、装置、电子设备及存储介质
US20220309912A1 (en) Method and apparatus for predicting traffic data and electronic device
CN115495151A (zh) 规则引擎的迁移方法、装置、设备、存储介质及程序产品
CN111859985B (zh) Ai客服模型测试方法、装置、电子设备及存储介质
CN113868518A (zh) 热力图生成方法、装置、电子设备及存储介质
CN113032251A (zh) 应用程序服务质量的确定方法、设备和存储介质
CN116051287B (zh) 一种数据的分析方法、装置、电子设备及存储介质
CN113867634B (zh) 数据读取方法、装置、电子设备及存储介质
CN114816758B (zh) 资源分配方法和装置
CN115204746A (zh) 一种工程风险评估方法、装置、设备及存储介质
CN114416678A (zh) 一种资源处理方法、装置、设备以及存储介质
CN116245109A (zh) 文本处理方法、装置及电子设备
CN117455684A (zh) 一种数据处理方法、装置、电子设备、存储介质及产品
CN115952403A (zh) 评估对象性能的方法、装置、电子设备及存储介质
CN113962382A (zh) 训练样本的构建方法、装置、电子设备和可读存储介质
CN117632741A (zh) 回归测试用例库的确定方法、装置、电子设备及存储介质
CN115761093A (zh) 渲染方法、装置、电子设备和存储介质
CN115983222A (zh) 基于EasyExcel的文件数据读取方法、装置、设备及介质
CN116974940A (zh) 一种接口测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant