CN115185819A - 系统测试方法、装置、设备及计算机可读存储介质 - Google Patents
系统测试方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115185819A CN115185819A CN202210701482.8A CN202210701482A CN115185819A CN 115185819 A CN115185819 A CN 115185819A CN 202210701482 A CN202210701482 A CN 202210701482A CN 115185819 A CN115185819 A CN 115185819A
- Authority
- CN
- China
- Prior art keywords
- test
- fault
- target
- test case
- configuration parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/368—Test management for test version control, e.g. updating test cases to a new software version
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供一种系统测试方法、装置、设备及计算机可读存储介质,方法包括:获取待测试的目标系统的配置参数以及业务信息;根据配置参数确定与目标系统对应的通用故障测试案例;根据业务信息对通用故障测试案例中的参数进行更新,得到目标故障测试案例;根据目标故障测试案例确定目标系统的故障测试结果。本申请实施例在获取到目标系统的配置参数以及业务信息后,先根据配置参数来确定与目标系统对应的通用故障测试案例,再结合业务信息对通用故障测试案例中的参数进行更新,得到目标故障测试案例,所得到的目标故障测试案例能够很好地适配目标系统,在用于后续的系统测试时,能够实现更好的测试效果。
Description
技术领域
本申请实施例涉及系统测试技术领域,具体涉及一种系统测试方法、装置、设备及计算机可读存储介质。
背景技术
在软件领域,系统测试是一项很重要的过程,能够影响到后续线上运行的稳定性。随着系统架构的升级,微服化,所带来的应用复杂度升高,高性能,需要故障测试。子系统与应用处于不断的变化中,应对监管的高可用要求,需要故障测试。硬件设施可能发生故障,应对高可靠的要求,需要故障测试。生产应急预案,内部风险检视,研发流程检视,运维、开发、测试和QA共同应对风险,提高系统可运维,需要故障测试。测试环境与准生产环境都需要提前预防发现漏洞,提高韧性,需要故障测试。
然而,目前的系统测试通常依赖于后端人员人工配置相应的故障测试案例类型,由于后端人员的技能素质不同,不一定能够配置到合适的测试案例,影响到系统测试的效果。
发明内容
本申请实施例提供一种系统测试方法、装置、设备及计算机可读存储介质,旨在解决现有技术存在人工配置系统的故障测试案例所存在的因人员技能素质不同而影响到系统测试效果的技术问题。
一方面,本申请实施例提供一种系统测试方法,包括:
获取待测试的目标系统的配置参数以及业务信息;
根据所述配置参数确定与所述目标系统对应的通用故障测试案例;
根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例;
根据所述目标故障测试案例确定所述目标系统的故障测试结果;
其中,所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库;
查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
作为本申请的一种可行实施例,所述查询所述测试数据库,获取与所述配置参数关联的历史测试案例之前,所述方法还包括:
获取预设的测试系统的历史故障数据以及所述测试系统的配置参数;
根据所述历史故障数据的数据统计结果生成历史测试案例;
将所述历史测试案例与所述测试系统的配置参数关联存储于与所述目标系统的系统类型对应的预设数据库中。
作为本申请的一种可行实施例,所述根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例,包括:
在预设的参数配置页面上展示所述业务信息对应的业务参数;
将所述参数配置页面上选中的业务参数,替换所述通用故障测试案例中的业务参数,得到目标故障测试案例。
作为本申请的一种可行实施例,所述配置参数包括系统语言、交互协议、中间件类型以及数据库类型;
所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述配置参数中的系统语言,确定与所述系统语言对应的系统故障测试案例;
根据所述配置参数中的交互协议,确定与所述交互协议对应的协议故障测试案例;
根据所述配置参数中的中间件类型,确定与所述中间件类型对应的中间件故障测试案例;
根据所述配置参数中的数据库类型,确定与所述数据库类型对应的数据库故障测试案例;
将所述系统故障测试案例、所述协议故障测试案例、所述中间件故障测试案例和所述数据库故障测试案例设为所述目标系统对应的通用故障测试案例。
作为本申请的一种可行实施例,所述根据所述目标故障测试案例确定所述目标系统的故障测试结果,包括:
在预设的案例选择页面上展示所述目标故障测试案例;
将所述案例选择页面上选中的目标故障测试案例输入所述目标系统,输出所述目标系统的故障测试结果。
作为本申请的一种可行实施例,所述根据所述目标故障测试案例确定所述目标系统的故障测试结果之后,所述方法还包括:
若所述目标系统的故障测试结果为存在测试故障,则获取所述测试故障对应的测试日志;
根据所述测试日志中的错误报告确定所述测试故障的位置信息;
若所述故障存在于第三方接口对应的第三方程序中,则输出与所述第三方程序对应的三方信息;
若所述故障存在于所述目标系统中,则根据所述测试故障的位置信息输出与所述位置信息对应的目标源码。
另一方面,本申请实施例还提供一种系统测试装置,包括:
获取模块,用于获取待测试的目标系统的配置参数以及业务信息;所述配置参数至少包括系统语言、交互协议、中间件类型以及数据库类型中的至少一种;
确定模块,用于根据所述配置参数确定与所述目标系统对应的通用故障测试案例;
更新模块,用于根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例;
测试模块,用于根据所述目标故障测试案例确定所述目标系统的故障测试结果;
其中,所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库;
查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
另一方面,本申请实施例还提供一种系统测试设备,所述系统测试设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的系统测试程序,所述处理器执行所述系统测试程序以实现上述的系统测试方法中的步骤。
另一方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有系统测试程序,所述系统测试程序被处理器执行以实现上述的系统测试方法中的步骤。
本申请实施例提供的系统测试方法,在获取到目标系统的配置参数以及业务信息后,先根据配置参数中的系统语言、交互协议、中间件类型以及数据库类型的至少一种来确定与目标系统对应的通用故障测试案例,再结合自身业务信息对通用故障测试案例中的参数进行更新,得到目标故障测试案例,所得到的目标故障测试案例能够很好地适配目标系统,相比于依赖于人工所配置的测试案例,本申请实施例得到的目标故障测试案例在用于后续的系统测试时,能够实现更好的测试效果,从而提高了系统线上运行的稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统测试方法的实现场景示意图;
图2为本申请实施例提供的一种系统测试方法的步骤流程示意图;
图3为本申请实施例提供的一种确定通用故障测试案例的步骤流程示意图;
图4为本申请实施例提供的一种确定测试数据库的步骤流程示意图;
图5为本申请实施例提供的对通用故障测试案例进行更新得到目标故障测试案例的步骤流程示意图;
图6为本申请实施例提供的一种基于配置参数确定故障测试案例的步骤流程示意图;
图7为本申请实施例提供的一种基于选择的目标故障测试案例对目标系统进行测试的步骤流程示意图;
图8为本申请实施例提供的一种输出故障测试结果的步骤流程示意图;
图9为本申请实施例提供的一种系统测试装置的结构示意图;
图10为本申请实施例提供的一种系统测试设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明包含的范围。
在本申请实施例中,“示例性”一词用来表示“用作例子、例证或说明”。本申请实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例中提供一种系统测试方法、装置、设备及计算机可读存储介质,以下分别进行详细说明。
本申请实施例中系统测试方法是以程序的形式部署在系统测试装置上,系统测试装置是以处理器的形式安装在系统测试设备中,系统测试设备中的系统测试装置通过运行系统测试方法对应的程序,以实现对系统的测试。
如图1所示,图1为本申请实施例提供的一种系统测试方法的实现场景示意图,本申请实施例提供的实现场景示意中包括系统测试装置100以及目标系统200。其中目标系统即为待测试的系统,具体的,可以是将系统架构升级后的系统作为目标系统,也可以是将子系统和应用发生过变化的系统作为目标系统,当然,将其他处于测试环境下的系统作为目标系统也是可行的,本申请实施例在此不再赘述。而在确定了待测试的目标系统后,系统测试装置100会对目标系统进行解析,从而获取到目标系统的配置参数以及业务信息,并运行系统测试方法对应的计算机存储介质,以根据配置参数确定与目标系统对应的通用故障测试案例;根据业务信息对通用故障测试案例中的参数进行更新,得到目标故障测试案例;根据目标故障测试案例确定目标系统的故障测试结果的步骤。
需要说明的是,图1所示的系统测试方法的实现场景示意图仅仅是一个示例,本申请实施例描述的系统测试方法的实现场景示意图是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。
基于上述系统测试方法的实现场景示意图,提出了系统测试方法的具体实施例。
如图2所示,图2为本申请实施例提供的一种系统测试方法的步骤流程示意图,本申请实施例中系统测试方法包括步骤201~204:
201,获取待测试的目标系统的配置参数以及业务信息。
本申请实施例中,目标系统是指处于待测试环境下的系统,例如,结合前述的实现场景可知,可以是系统架构升级后的系统,也可以是子系统和应用发生过变化的系统,当然也可以是处于测试环境下,需要上线的系统。本申请实施例在此不再赘述。
本申请实施例中,配置参数至少包括系统语言、交互协议、中间件类型以及数据库类型中的至少一种。而目标系统的业务信息通常是至该系统的业务标识信息,用于区别不同的系统所行使的业务功能,其中不同的业务信息分别描述了多个不同业务的维度属性,例如,以金融业中的系统为例,目标系统的业务信息可以包括转账业务、理财业务、储值业务等等。本申请实施例在此不再赘述。
进一步的,目标系统的配置参数以及业务信息可以是系统测试装置对目标系统进行解析所得到,当然,目标系统的配置参数以及业务信息也可以是由目标系统主动传输给系统测试装置,本申请实施例在此不再赘述。
202,根据所述配置参数确定与所述目标系统对应的通用故障测试案例。
本申请实施例中,目标系统在获取到目标系统的配置参数以及业务信息,会先根据目标系统的配置参数得到匹配该配置参数的通用故障测试案例。例如,以配置参数中的系统语言为例,若目标系统的系统语言为Java系统,则系统测试装置所获取到的通用故障测试案例主要涉及到jvm故障、内部中断以及节点下线等等。当然,作为本申请的一种可选实施例,配置参数包括系统语言、交互协议、中间件类型以及数据库类型,则此时系统测试装置所获取到的通用故障测试案例会包含分别对应于这四种配置参数的全部故障测试用例,具体的实现方案可以参阅后续图6及其解释说明的内容。
进一步的,作为本申请的一种可选实施例,考虑到不同的系统的系统类型不同,例如,针对于应用系统、存储系统,其对应的通用故障测试案例应当不同,因此,具体是将不同系统类型的通用故障测试案例存储在对应的测试数据库内,后续就可以根据系统的系统类型查询对应的测试数据库,并从中得到目标系统对应的通用故障测试案例。具体的实现方案可以参阅后续图3及其解释说明的内容。
203,根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例。
本申请实施例中,在根据配置参数得到与目标系统对应的通用故障测试案例后,还会进一步根据目标系统的业务信息对通用故障测试案例中的参数进行更新,得到与目标系统的业务信息相匹配的目标故障测试案例。具体的,作为本申请的一种可行实施例,是在参数配置页面上展示业务信息对应的业务参数,然后利用参数配置页面上选中的业务参数来对通用故障测试案例中的参数进行替换,从而得到适配业务信息的目标故障测试案例。具体的实现方案可以参阅后续图5及其解释说明的内容。
204,根据所述目标故障测试案例确定所述目标系统的故障测试结果。
本申请实施例中,在得到目标故障测试案例,将目标故障测试案例通过接口的方式注入到目标系统中,就可以实现对目标系统的测试,并输出相应的测试日志,而基于测试日志就可以分析得到目标系统的故障测试结果。当然,作为本申请的可选实施例,在得到对应不同故障类型的目标故障测试案例,系统测试装置还会通过案例选择页面展示目标故障测试案例以供用户选择,并将案例选择页面上选中的目标故障测试案例注入至目标系统中,得到目标系统的故障测试结果。具体的实现方案可以参阅后续图7及其解释说明的内容。
进一步的,作为本申请的可选实施例,在确定目标系统的故障测试结果后,若检测出目标系统的故障测试结果为存在测试故障,则会通过测试日志确定测试故障的位置信息,并根据测试故障的位置信息反馈不同的信息给用户,以便于后续的故障修复,具体的实现方案可以参阅后续图8及其解释说明的内容。
本申请实施例提供的系统测试方法,在获取到目标系统的配置参数以及业务信息后,先根据配置参数中的系统语言、交互协议、中间件类型以及数据库类型的至少一种来确定与目标系统对应的通用故障测试案例,再结合自身业务信息对通用故障测试案例中的参数进行更新,得到目标故障测试案例,所得到的目标故障测试案例能够很好地适配目标系统,相比于依赖于人工所配置的测试案例,本申请实施例得到的目标故障测试案例在用于后续的系统测试时,能够实现更好的测试效果,从而提高了系统线上运行的稳定性。
如图3所示,图3为本申请实施例提供的一种确定通用故障测试案例的步骤流程示意图,详述如下。
本申请实施例中,提供了一种预先利用系统的系统类型来存储不同测试案例,以便于后续根据通用故障测试案例中的业务参数来确关联的测试数据库,并从中查询得到与配置参数关联的通用故障测试案例的实现方案,具体的,包括步骤301~302:
301,根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库。
本申请实施例中,通过预先将与目标系统的配置参数相对应的测试案例存储在与目标系统的系统类型相对应的测试数据库中,后续就可以直接通过目标系统的系统类型确定相应的测试数据库,从而便于从测试数据库中查询得到相关的测试案例。具体的,预先将与目标系统的配置参数相对应的测试案例存储在与目标系统的系统类型相对应的测试数据库的实现方案可以参阅后续图4及其解释说明的内容。
302,查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
本申请实施例中,测试数据库中预先存储有与不同配置参数相对应的测试案例,因此,在得到与目标系统关联的测试数据库后,会直接从测试数据中查询得到与配置参数关联的历史测试案例,并将该历史测试案例作为目标系统对应的通用故障测试案例。
本申请实施例提供的方案,通过预先将对应不同配置参数的历史测试案例存储在与系统类型相对应的测试数据库中,后续就可以根据目标系统的系统类型确定与目标系统关联的测试数据库,在通过查询该测试数据库,从而得到相应的历史测试案例来作为目标系统的通用故障测试案例,从而提高了获取通用故障测试案例的准确性以及效率。
如图4所示,图4为本申请实施例提供的一种确定测试数据库的步骤流程示意图,详述如下。
本申请实施例中,提供了一种预先利用测试系统的历史故障数据、配置参数以及系统类型来设定与系统类型相对应的测试数据的实现方案,具体的,包括步骤401~403:
401,获取预设的测试系统的历史故障数据以及所述测试系统的配置参数。
本申请实施例中,测试系统是指已经预先进行过测试,并已经能稳定运行的系统,而测试系统的历史故障数据则为测试系统在历史测试过程中所测试出来存在故障的数据,该数据可以是基于测试系统在测试过程中所生成的测试日志提取得到。此外,测试系统的配置参数与前述步骤201中所涉及到的配置参数的意义相同,包括系统语言、交互协议、中间件类型以及数据库类型中的至少一种,具体也同样是可以利用系统测试装置对测试系统进行解析得到。
402,根据所述历史故障数据的数据统计结果生成历史测试案例。
本申请实施例中,通过对测试系统在历史测试过程中所测试出来存在故障的数据进行数据统计,就可以将该测试系统中普遍存在的故障数据作为历史测试案例,该故障同样也可能存在于其他具有相同配置参数的系统。
403,将所述历史测试案例与所述测试系统的配置参数关联存储于与所述目标系统的系统类型对应的预设数据库中。
本申请实施例中,将历史测试案例与测试系统的配置参数关联存储于与所述目标系统的系统类型对应的预设数据库,此时,后续通过查询该预设数据库就可以得到与配置参数相对应的测试案例来作为通用故障测试案例。
如图5所示,图5为本申请实施例提供的对通用故障测试案例进行更新得到目标故障测试案例的步骤流程示意图,详述如下。
本申请实施例中,提供了通过展示业务信息对应的业务参数,以基于测试人员选中的业务参数来对通用故障测试案例进行测试,得到目标故障测试案例的实现方案,具体的,包括步骤501~502:
501,在预设的参数配置页面上展示所述业务信息对应的业务参数。
本申请实施例中,系统测试装置在获取到目标系统的业务信息后,会通过预设的参数配置页面来展示与业务信息相对应的业务参数,此时测试人员可以通过任一的输入方式,例如键鼠输入、语音输入、触控输入的输入方式来在参数配置页面上进行选择对应的业务参数。
502,将所述参数配置页面上选中的业务参数,替换所述通用故障测试案例中的业务参数,得到目标故障测试案例。
本申请实施例中,当测试人员在参数配置页面上选中目标业务参数后,系统测试装置会将该目标业务参数来替换通用故障测试案例中的业务参数,从而得到适配于目标系统业务的目标故障测试案例。
如图6所示,图6为本申请实施例提供的一种基于配置参数确定故障测试案例的步骤流程示意图,详述如下。
本申请实施例中,提供了当配置参数同时包括系统语言、交互协议、中间件类型以及数据库类型时,确定故障测试案例的实现方案,具体的包括步骤601~605:
601,根据所述配置参数中的系统语言,确定与所述系统语言对应的系统故障测试案例。
本申请实施例中,系统语言主要是目标系统的编程语言,例如Java,C++等等,以Java为例,此时若目标系统的系统语言为Java,则对应的系统故障测试案例包括jvm故障,内部中断,节点下线等等。
602,根据所述配置参数中的交互协议,确定与所述交互协议对应的协议故障测试案例。
本申请实施例中,交互协议可以理解为系统与系统间、程序与程序间或者接口与接口间所达成的用于实现数据交互的共识协议,其对应的协议故障测试案例主要涉及到交互超时以及错误报文等等
603,根据所述配置参数中的中间件类型,确定与所述中间件类型对应的中间件故障测试案例。
本申请实施例中,系统的中间件是指介于应用系统和系统软件之间的软件,例如,比较常见的中间件类型有消息中间件,如mq,分布式缓存中间件,如redis等等。则此时对应的中间件故障测试案例主要涉及到mq故障、redis故障等等。
604,根据所述配置参数中的数据库类型,确定与所述数据库类型对应的数据库故障测试案例。
本申请实施例中,系统的数据库通常是指用于存储数据的地方,例如,比较常见的数据库类型有mysql,oracle等等。则此时对应的数据库故障测试案例主要涉及到mysql故障以及oracle故障。
605,将所述系统故障测试案例、所述协议故障测试案例、所述中间件故障测试案例和所述数据库故障测试案例设为所述目标系统对应的通用故障测试案例。
本申请实施例中,系统故障测试案例、协议故障测试案例、中间件故障测试案例和数据库故障测试案例是分别从系统语言、交互协议、中间件类型、数据库类型四个不同维度来描述与系统的配置参数相对应的测试案例,因此,这些案例均可以被视为目标系统对应的故障测试案例,以用于后续的测试。
进一步的,作为本申请的可选实施例,除了上述列出的测试案例外,通用故障测试案例还可以包括与业务侧所关心的IaaS(Infrastructure as a Service,基础设施即服务)故障,即与IT基础设施相关的故障,例如cpu(处理器)故障,mem(内存)故障,diskio(磁盘)故障,netio(网卡)故障等等,本申请实施例在此不再赘述。
如图7所示,图7为本申请实施例提供的一种基于选择的目标故障测试案例对目标系统进行测试的步骤流程示意图,详述如下。
本申请实施例中,提供了一种通过展示目标故障测试案例,以便于根据用户选择其中的部分目标故障测试案例来实现对目标系统的测试的实现方案,具体的包括步骤701~702:
701,在预设的案例选择页面上展示所述目标故障测试案例。
本申请实施例中,系统测试装置在基于配置参数获取到对应的通用故障测试案例,并根据业务信息完成对通用故障测试案例的改写,得到目标故障测试案例后,并非直接将全部的目标故障测试案例输入至目标系统进行测试,而是会先在预设的案例选择页面上展示目标故障测试案例。此时,测试人员可以通过任一的输入方式,例如键鼠输入、语音输入、触控输入的输入方式来在案例选择页面上选择目标系统需要执行的目标故障测试案例,以合理的对系统测试系统推荐的目标故障测试案例进行删减。
702,将所述案例选择页面上选中的目标故障测试案例输入所述目标系统,输出所述目标系统的故障测试结果。
本申请实施例中,将案例选择页面上选中的目标故障测试案例输入目标系统,就可以输出目标系统的故障测试结果。相比于系统测试装置自动完成对目标故障测试案例的筛选以及测试的过程,本申请实施例提供的方案能够使测试人员基于专业知识对系统测试装置自动筛选出的目标故障测试案例进行合理的删减,进一步提高了目标系统的测试准确率以及测试效率。
如图8所示,图8为本申请实施例提供的一种输出故障测试结果的步骤流程示意图,详述如下。
本申请实施例中,提供了一种在确定存在测试故障后,针对于不同的故障类型,输出相应的提醒信息的技术方案,包括的步骤801~804:
801,若所述目标系统的故障测试结果为存在测试故障,则获取所述测试故障对应的测试日志。
本申请实施例中,目标系统的故障测试结果通常情况下是基于将目标故障测试案例注入目标系统进行运行所得到的测试日志来得到的。具体的,若目标系统存在测试异常,也就是测试故障,则在测试日志的相应部位会采用标红的方式体现,也就是,系统测试装置能够获取到测试故障对应的测试日志。当然,若目标系统的故障测试结果为不存在测试故障,则系统测试装置只需要输出无故障即可,无需执行其他的步骤。
802,根据所述测试日志中的错误报告确定所述测试故障的位置信息。
本申请实施例中,测试日志中的错误报告详细记载了出现测试故障的参数,例如故障位置等等,系统测试装置通过对错误报告进行解析,即可获取到测试故障的位置信息。而基于该位置信息,就可以进一步确定故障是由于目标系统的内部程序导致还是与第三方程序相关,从而对应输出相应的信息。
803,若所述故障存在于第三方接口对应的第三方程序中,则输出与所述第三方程序对应的三方信息。
本申请实施例中,若故障是与第三方程序相关,也就是故障存在于第三方接口对应的第三方程序中,此时考虑到测试人员无法对第三方程序进行调整,则系统测试装置会输出与第三方程序对应的三方信息,以便于测试人员进行联系。
804,若所述故障存在于所述目标系统中,则根据所述测试故障的位置信息输出与所述位置信息对应的目标源码。
本申请实施例中,若故障是与目标系统自身相关,则系统测试装置会根据测试故障的位置信息来输出该位置信息对应的目标源码,以便于测试人员进行故障确认,从而进一步提交了测试后故障修复的效率。
为了更好实施本申请实施例提供的系统测试方法,在系统测试方法基础之上,本申请实施例中还提供一种系统测试装置。如图9所示,图9为本申请实施例提供的一种系统测试装置的结构示意图。具体的,系统测试装置包括:
获取模块901,用于获取待测试的目标系统的配置参数以及业务信息;
确定模块902,用于根据所述配置参数确定与所述目标系统对应的通用故障测试案例;
更新模块903,用于根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例;
测试模块904,用于根据所述目标故障测试案例确定所述目标系统的故障测试结果。
在本申请一些实施例中,上述确定模块包括:
数据库确定次模块,用于根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库;
查询次模块,用于查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
在本申请一些实施例中,上述确定模块还包括数据库设定次模块,数据库设定次模块包括:
历史信息获取单元,用于获取预设的测试系统的历史故障数据以及所述测试系统的配置参数;
案例生成单元,用于根据所述历史故障数据的数据统计结果生成历史测试案例;
关联存储单元,用于将所述历史测试案例与所述测试系统的配置参数关联存储于与所述目标系统的系统类型对应的预设数据库中。
在本申请一些实施例中,上述更新模块包括:
业务参数展示次模块,用于在预设的参数配置页面上展示所述业务信息对应的业务参数;
更新次模块,用于将所述参数配置页面上选中的业务参数,替换所述通用故障测试案例中的业务参数,得到目标故障测试案例。
在本申请一些实施例中,上述配置参数包括系统语言、交互协议、中间件类型以及数据库类型;上述确定模块包括:
系统故障案例确定次模块,用于根据所述配置参数中的系统语言,确定与所述系统语言对应的系统故障测试案例;
协议故障案例确定次模块,用于根据所述配置参数中的交互协议,确定与所述交互协议对应的协议故障测试案例;
中间件故障案例确定次模块,用于根据所述配置参数中的中间件类型,确定与所述中间件类型对应的中间件故障测试案例;
数据库故障案例确定次模块,用于根据所述配置参数中的数据库类型,确定与所述数据库类型对应的数据库故障测试案例;
案例确定次模块,用于将所述系统故障测试案例、所述协议故障测试案例、所述中间件故障测试案例和所述数据库故障测试案例设为所述目标系统对应的通用故障测试案例。
本申请实施例还提供一种系统测试设备,如图10所示,图10为本申请实施例提供的一种系统测试设备的结构示意图。
系统测试设备包括存储器、处理器以及存储于存储器中,并可在处理器上运行的系统测试程序,处理器执行系统测试程序时实现本申请任一实施例提供的系统测试方法中的步骤。
具体来讲:系统测试设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解,图10中示出的系统测试设备结构并不构成对系统测试设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器1001是该系统测试设备的控制中心,利用各种接口和线路连接整个系统测试设备的各个部分,通过运行或执行存储在存储器1002内的软件程序和/或模块,以及调用存储在存储器1002内的数据,执行系统测试设备的各种功能和处理数据,从而对系统测试设备进行整体监控。可选的,处理器1001可包括一个或多个处理核心;优选的,处理器1001可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1001中。
存储器1002可用于存储软件程序以及模块,处理器1001通过运行存储在存储器1002的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据系统测试设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1002还可以包括存储器控制器,以提供处理器1001对存储器1002的访问。
系统测试设备还包括给各个部件供电的电源1003,优选的,电源1003可以通过电源管理系统与处理器1001逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该系统测试设备还可包括输入单元1004,该输入单元1004可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,系统测试设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,系统测试设备中的处理器1001会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中,并由处理器1001来运行存储在存储器1002中的应用程序,从而实现本申请任一实施例所提供的系统测试方法中的步骤。
为此,本申请实施例提供一种计算机可读存储介质,该计算机存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。计算机可读存储介质上存储有系统测试程序,系统测试程序被处理器执行时实现本申请任一实施例所提供的系统测试方法中的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种系统测试方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种系统测试方法,其特征在于,包括:
获取待测试的目标系统的配置参数以及业务信息;
根据所述配置参数确定与所述目标系统对应的通用故障测试案例;
根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例;
根据所述目标故障测试案例确定所述目标系统的故障测试结果;
其中,所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库;
查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
2.根据权利要求1所述的系统测试方法,其特征在于,所述查询所述测试数据库,获取与所述配置参数关联的历史测试案例之前,所述方法还包括:
获取预设的测试系统的历史故障数据以及所述测试系统的配置参数;
根据所述历史故障数据的数据统计结果生成历史测试案例;
将所述历史测试案例与所述测试系统的配置参数关联存储于与所述目标系统的系统类型对应的预设数据库中。
3.根据权利要求1所述的系统测试方法,其特征在于,所述根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例,包括:
在预设的参数配置页面上展示所述业务信息对应的业务参数;
将所述参数配置页面上选中的业务参数,替换所述通用故障测试案例中的业务参数,得到目标故障测试案例。
4.根据权利要求1所述的系统测试方法,其特征在于,所述配置参数至少包括系统语言、交互协议、中间件类型以及数据库类型中的至少一种。
5.根据权利要求4所述的系统测试方法,其特征在于,所述配置参数包括系统语言、交互协议、中间件类型以及数据库类型;
所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述配置参数中的系统语言,确定与所述系统语言对应的系统故障测试案例;
根据所述配置参数中的交互协议,确定与所述交互协议对应的协议故障测试案例;
根据所述配置参数中的中间件类型,确定与所述中间件类型对应的中间件故障测试案例;
根据所述配置参数中的数据库类型,确定与所述数据库类型对应的数据库故障测试案例;
将所述系统故障测试案例、所述协议故障测试案例、所述中间件故障测试案例和所述数据库故障测试案例设为所述目标系统对应的通用故障测试案例。
6.根据权利要求1所述的系统测试方法,其特征在于,所述根据所述目标故障测试案例确定所述目标系统的故障测试结果,包括:
在预设的案例选择页面上展示所述目标故障测试案例;
将所述案例选择页面上选中的目标故障测试案例输入所述目标系统,输出所述目标系统的故障测试结果。
7.根据权利要求1~6任一所述的系统测试方法,其特征在于,所述根据所述目标故障测试案例确定所述目标系统的故障测试结果之后,所述方法还包括:
若所述目标系统的故障测试结果为存在测试故障,则获取所述测试故障对应的测试日志;
根据所述测试日志中的错误报告确定所述测试故障的位置信息;
若所述故障存在于第三方接口对应的第三方程序中,则输出与所述第三方程序对应的三方信息;
若所述故障存在于所述目标系统中,则根据所述测试故障的位置信息输出与所述位置信息对应的目标源码。
8.一种系统测试装置,其特征在于,包括:
获取模块,用于获取待测试的目标系统的配置参数以及业务信息;所述配置参数至少包括系统语言、交互协议、中间件类型以及数据库类型中的至少一种;
确定模块,用于根据所述配置参数确定与所述目标系统对应的通用故障测试案例;
更新模块,用于根据所述业务信息对所述通用故障测试案例中的参数进行更新,得到目标故障测试案例;
测试模块,用于根据所述目标故障测试案例确定所述目标系统的故障测试结果;
其中,所述根据所述配置参数确定与所述目标系统对应的通用故障测试案例,包括:
根据所述目标系统的系统类型确定与所述目标系统关联的测试数据库;
查询所述测试数据库,获取与所述配置参数关联的历史测试案例,并将所述历史测试案例设定所述目标系统对应的通用故障测试案例。
9.一种系统测试设备,其特征在于,所述系统测试设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的系统测试程序,所述处理器执行所述系统测试程序以实现权利要求1至7任一项所述的系统测试方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有系统测试程序,所述系统测试程序被处理器执行以实现权利要求1至7任一项所述的系统测试方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210701482.8A CN115185819A (zh) | 2022-06-20 | 2022-06-20 | 系统测试方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210701482.8A CN115185819A (zh) | 2022-06-20 | 2022-06-20 | 系统测试方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115185819A true CN115185819A (zh) | 2022-10-14 |
Family
ID=83515349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210701482.8A Pending CN115185819A (zh) | 2022-06-20 | 2022-06-20 | 系统测试方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115185819A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112350A (zh) * | 2022-12-30 | 2023-05-12 | 中国电信股份有限公司 | 一种宽带故障处理方法、装置、电子设备和可读存储介质 |
-
2022
- 2022-06-20 CN CN202210701482.8A patent/CN115185819A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112350A (zh) * | 2022-12-30 | 2023-05-12 | 中国电信股份有限公司 | 一种宽带故障处理方法、装置、电子设备和可读存储介质 |
CN116112350B (zh) * | 2022-12-30 | 2024-05-10 | 中国电信股份有限公司 | 一种宽带故障处理方法、装置、电子设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110928772B (zh) | 一种测试方法及装置 | |
CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
CN108959059B (zh) | 一种测试方法以及测试平台 | |
US7890808B2 (en) | Testing software applications based on multiple data sources | |
US20160004517A1 (en) | SOFTWARE DEVELOPMENT IMPROVEMENT TOOL - iREVIEW | |
CN111241111B (zh) | 数据查询方法及装置、数据对比方法及装置、介质及设备 | |
CN109977012B (zh) | 系统的联调测试方法、装置、设备及计算机可读存储介质 | |
CN113568833A (zh) | 测试用例确定方法、装置、计算机设备及可读存储介质 | |
US11663113B2 (en) | Real time fault localization using combinatorial test design techniques and test case priority selection | |
CN115185819A (zh) | 系统测试方法、装置、设备及计算机可读存储介质 | |
CN114547016A (zh) | 数据校验方法以及装置 | |
CN107908525B (zh) | 告警处理方法、设备及可读存储介质 | |
CN112817869A (zh) | 测试方法、装置、介质及电子设备 | |
CN115454876A (zh) | 针对代码测试的管理方法以及相关设备 | |
CN112181695A (zh) | 异常应用处理方法、装置、服务器及存储介质 | |
CN113238901B (zh) | 多设备的自动化测试方法及装置、存储介质、计算机设备 | |
CN114650211A (zh) | 故障修复方法、装置、电子设备和计算机可读存储介质 | |
CN112667512A (zh) | 数据驱动测试方法、装置、设备和计算机可读存储介质 | |
CN114064510A (zh) | 功能测试方法、装置、电子设备和存储介质 | |
CN113590484A (zh) | 算法模型服务测试方法、系统、设备及存储介质 | |
CN113535560A (zh) | 测试执行方法、装置、存储介质和计算设备 | |
CN116594914B (zh) | 测试数据的生成方法、装置、设备及存储介质 | |
CN110750452B (zh) | 自动化测试方法及装置 | |
JP2008262473A (ja) | 設備保全管理システム | |
CN115658467A (zh) | 业务数据测试方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |