CN111400186A - 性能测试方法及系统 - Google Patents

性能测试方法及系统 Download PDF

Info

Publication number
CN111400186A
CN111400186A CN202010195608.XA CN202010195608A CN111400186A CN 111400186 A CN111400186 A CN 111400186A CN 202010195608 A CN202010195608 A CN 202010195608A CN 111400186 A CN111400186 A CN 111400186A
Authority
CN
China
Prior art keywords
test
parameter
performance
type
description information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010195608.XA
Other languages
English (en)
Other versions
CN111400186B (zh
Inventor
祁万福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shishi Tongyun Technology Chengdu Co ltd
Original Assignee
Shishi Tongyun Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shishi Tongyun Technology Chengdu Co ltd filed Critical Shishi Tongyun Technology Chengdu Co ltd
Priority to CN202010195608.XA priority Critical patent/CN111400186B/zh
Publication of CN111400186A publication Critical patent/CN111400186A/zh
Application granted granted Critical
Publication of CN111400186B publication Critical patent/CN111400186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Abstract

本发明实施例公开了一种性能测试方法及系统,涉及电子信息领域,包括:接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;运行所述测试用例,根据运行结果获取被测对象的性能属性信息。该方式避免了用户人工查询测试脚本中包含的配置参数并手动赋值的繁琐操作,提升了测试效率。并且,该方式能够自动监控并获取测试结果,无需人工监测,简化了测试工作量。

Description

性能测试方法及系统
技术领域
本发明实施例涉及软件测试领域,具体涉及一种性能测试方法及系统。
背景技术
随着互联网业务的飞速发展,对于设备性能的要求也越来越高,在很多业务场景中都需要执行性能测试。在现有的性能测试方式中,大多是直接通过性能测试工具实现。常用的性能测试工具包括Jmeter工具以及Loadrunner工具等,通过上述工具能够实现性能测试的目的。
但是,发明人在实现本发明的过程中发现,现有技术中的上述方式至少存在如下缺陷:常规的性能测试工具无法根据测试脚本自动生成测试用例,需要用户手动修改测试脚本中包含的各项参数从而手动生成对应于各种业务场景的不同测试用例,由此导致测试效率低下。并且,常规的性能测试工具无法自动监控测试结果,需要人工监测并获取测试结果。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种性能测试方法及系统。
根据本发明实施例的一个方面,提供了一种性能测试方法,包括:
接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;
获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;
获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;
运行所述测试用例,根据运行结果获取被测对象的性能属性信息。
可选地,所述与所述性能测试脚本相关联的测试描述信息包括以下中的至少一种:
与所述性能测试脚本相对应的被测对象的对象类型、所述被测对象的适用场景、测试类型和/或协议类型;
其中,所述测试类型包括:基准测试类型、负载测试类型、压力测试类型和/或稳定性测试类型;所述协议类型包括:HTTP协议类型、HTTPS协议类型、和/或JAVA协议类型。
可选地,所述筛选与所述测试描述信息相匹配的关键参数作为配置参数包括:
查询预设的配置文件中存储的与所述测试描述信息相匹配的关键参数的参数标识,筛选与所述参数标识相匹配的若干关键参数作为配置参数;
其中,所述配置文件用于存储与各种类型的测试描述信息相匹配的关键参数的参数标识。
可选地,所述配置参数包括:自定义类参数、URL参数、端口参数、和/或条件类参数;其中,所述条件类参数包括以下中的至少一个:并发量参数、执行时间参数、以及执行次数参数。
可选地,所述运行所述测试用例,根据运行结果获取被测对象的性能属性信息包括:
查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令;
通过查询到的监控指令,监控所述测试用例运行过程中的性能属性信息。
可选地,所述性能属性信息包括:机器类属性信息、应用类属性信息和/或数据库类属性信息;
且所述查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令包括:
根据所述测试描述信息中包含的代码语言类型,确定与所述代码语言类型相匹配的应用类监控指令;和/或,
根据所述测试描述信息中包含的数据库类型,确定与所述数据库类型相匹配的数据库类监控指令。
可选地,所述获取与所述配置参数相对应的参数值包括:
展示与所述配置参数相对应的参数配置入口,通过所述参数配置入口接收到的参数配置指令设置所述配置参数的参数值。
可选地,所述获取与所述配置参数相对应的参数值包括:
读取与所述性能测试脚本相关联的参数设置表,根据所述参数设置表确定与所述配置参数相对应的参数值。
可选地,所述运行所述测试用例,根据运行结果获取被测对象的性能属性信息之后,进一步包括:
生成并展示与所述性能属性信息相对应的性能测试报告。
根据本发明实施例的又一方面,提供了一种性能测试系统,包括:
解析模块,适于接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;
筛选模块,适于获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;
用例生成模块,适于获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;
测试运行模块,适于运行所述测试用例,根据运行结果获取被测对象的性能属性信息。
可选地,所述与所述性能测试脚本相关联的测试描述信息包括以下中的至少一种:
与所述性能测试脚本相对应的被测对象的对象类型、所述被测对象的适用场景、测试类型和/或协议类型;
其中,所述测试类型包括:基准测试类型、负载测试类型、压力测试类型和/或稳定性测试类型;所述协议类型包括:HTTP协议类型、HTTPS协议类型、和/或JAVA协议类型。
可选地,所述筛选模块具体适于:
查询预设的配置文件中存储的与所述测试描述信息相匹配的关键参数的参数标识,筛选与所述参数标识相匹配的若干关键参数作为配置参数;
其中,所述配置文件用于存储与各种类型的测试描述信息相匹配的关键参数的参数标识。
可选地,所述配置参数包括:自定义类参数、URL参数、端口参数、和/或条件类参数;其中,所述条件类参数包括以下中的至少一个:并发量参数、执行时间参数、以及执行次数参数。
可选地,所述测试运行模块具体适于:
查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令;
通过查询到的监控指令,监控所述测试用例运行过程中的性能属性信息。
可选地,所述性能属性信息包括:机器类属性信息、应用类属性信息和/或数据库类属性信息;
且所述所述测试运行模块具体适于:
根据所述测试描述信息中包含的代码语言类型,确定与所述代码语言类型相匹配的应用类监控指令;和/或,
根据所述测试描述信息中包含的数据库类型,确定与所述数据库类型相匹配的数据库类监控指令。
可选地,所述用例生成模块具体适于:
展示与所述配置参数相对应的参数配置入口,通过所述参数配置入口接收到的参数配置指令设置所述配置参数的参数值。
可选地,所述用例生成模块具体适于:
读取与所述性能测试脚本相关联的参数设置表,根据所述参数设置表确定与所述配置参数相对应的参数值。
可选地,所述测试运行模块进一步适于:
生成并展示与所述性能属性信息相对应的性能测试报告。
依据本发明实施例的再一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上述的性能测试方法对应的操作。
依据本发明实施例的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述的性能测试方法对应的操作。
在本发明实施例提供的性能测试方法及系统中,能够接收并解析用户上传的性能测试脚本中包含的关键参数,进而根据测试描述信息自动筛选匹配的关键参数作为配置参数,从而根据与配置参数相对应的参数值,生成包含参数值的测试用例,并且,能够自动运行测试用例并获取被测对象的性能属性信息。由此可见,该方式能够根据测试描述信息自动地从测试脚本中筛选需要用户手动配置的配置参数,从而针对筛选出的配置参数进行赋值,以达到自动生成测试用例的目的,避免了用户人工查询测试脚本中包含的配置参数并手动赋值的繁琐操作,提升了测试效率。并且,该方式能够自动监控并获取测试结果,无需人工监测,简化了测试工作量。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例一提供的一种性能测试方法的流程图;
图2示出了本发明实施例二提供的一种性能测试方法的流程图;
图3示出了本发明实施例三提供的一种性能测试系统的结构图;
图4示出了本发明实施例五提供的一种电子设备的结构示意图;
图5示出了参数配置入口的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
图1示出了本发明实施例一提供的一种性能测试方法的流程图。如图1所示,该方法包括:
步骤S110:接收并解析用户上传的性能测试脚本,根据解析结果提取性能测试脚本中包含的关键参数。
具体地,用户可通过脚本上传入口上传性能测试脚本,该性能测试脚本可以为XML等各类格式的文件。相应的,在本步骤中,针对性能测试脚本进行解析,根据解析结果提取其中包含的关键参数。其中,关键参数也可以称作标签项,是指符合预设格式的标准化参数。具体实施时,可通过查询预设的标准化参数表来提取性能测试脚本中包含的各个关键参数。
步骤S120:获取与性能测试脚本相关联的测试描述信息,筛选与测试描述信息相匹配的关键参数作为配置参数。
其中,与性能测试脚本相关联的测试描述信息泛指各类与测试相关联的信息,可通过用户上传方式获得,具体包括多种信息,例如,包括:测试类型、被测对象、协议类型等各种内容。
具体地,由于关键参数数量较多,其中可能包含与测试执行过程无关的参数,因此,需要从中筛选若干参数作为配置参数。其中,配置参数也叫可配置参数,是指:与测试执行过程相关,且能够由用户根据业务场景或具体执行条件进行灵活配置的参数。
具体实施时,不同的测试描述信息所对应的配置参数也略有不同。例如,配置参数的数量和名称可能因测试类型、被测对象、协议类型的不同而不同。相应的,可以预先设置各种类型的测试描述信息及其对应的配置参数之间的映射关系,从而基于该映射关系筛选与测试描述信息相匹配的关键参数作为配置参数。
步骤S130:获取与配置参数相对应的参数值,生成包含参数值的测试用例。
由于配置参数的参数值可根据不同的业务场景或测试条件而灵活设置,因此,在本步骤中,需要获取与配置参数相对应的参数值,从而自动生成包含上述参数值的测试用例。
具体实施时,可通过多种方式获取与配置参数相对应的参数值。例如,在一种方式中,可由用户输入对应的参数值,从而实现灵活配置的效果;又如,在又一种方式中,可预先生成参数设置表,以统一存储各类参数的多种取值,从而依次加载参数设置表中的各种参数取值,从而实现多次测试的目的。总之,本发明不限定参数值的具体确定方式。
步骤S140:运行测试用例,根据运行结果获取被测对象的性能属性信息。
具体地,在运行测试用例的过程中,自动调用并执行对应的监控指令,以获取被测对象的性能属性信息,从而自动完成测试结果的收集和统计。可选地,还可以通过测试报告等方式展示统计得到的性能属性信息,以供用户查询。
由此可见,该方式能够根据测试描述信息自动地从测试脚本中筛选需要用户手动配置的配置参数,从而针对筛选出的配置参数进行赋值,以达到自动生成测试用例的目的,避免了用户人工查询测试脚本中包含的配置参数并手动赋值的繁琐操作,提升了测试效率。并且,该方式能够自动监控并获取测试结果,无需人工监测,简化了测试工作量。
实施例二、
图2示出了本发明实施例二提供的一种性能测试方法的流程图,如图2所示,该方法包括:
步骤S210:接收并解析用户上传的性能测试脚本,根据解析结果提取性能测试脚本中包含的关键参数。
其中,本实施例可以通过性能测试系统实现。具体地,在性能测试系统中,设置有脚本上传入口,用户通过脚本上传入口即可上传性能测试脚本。当性能测试系统接收到性能测试脚本后,针对性能测试脚本进行解析,以提取其中包含的关键参数。
在本实施例中,性能测试脚本为XML格式的文件,其中,包含多个符合标准格式的标签,将上述标签提取出来作为关键参数。具体地,关键参数可以是自定义参数、URL参数、端口参数等各类参数。
步骤S220:获取与性能测试脚本相关联的测试描述信息,筛选与测试描述信息相匹配的关键参数作为配置参数。
其中,与性能测试脚本相关联的测试描述信息泛指各类与测试相关联的信息,可通过用户上传方式获得,具体包括多种信息,例如,包括:测试类型、被测对象、协议类型等各种内容。例如,在本实施例中,可预先通过测试界面中包含的多个测试描述入口输入对应的测试描述信息。其中,测试描述入口包括用于输入以下信息的入口:项目名称、测试用户、测试目的、业务场景、被测对象(包括服务名称设置入口以及代码分支设置入口等)、接口信息、测试策略(包括业务量设置入口、持续时长设置入口、性能指标设置入口、辅助信息设置入口等)。由此可见,通过测试描述信息能够针对测试任务的各种属性进行说明。
发明人在实现本发明的过程中发现,测试脚本中包含的关键参数的数量通常较为繁杂,其中可能包含大量与测试执行过程无关的参数,这些与执行过程无关的参数在生成具体的测试用例时无需修改,只有部分与测试执行过程相关的参数才需要在生成具体的测试用例时根据实际业务需求进行动态配置。因此,为了快速生成测试用例,在本实施例中,需要从众多关键参数中筛选若干参数作为配置参数。其中,配置参数也叫可配置参数,是指:与测试执行过程相关,且能够由用户根据业务场景或具体执行条件进行灵活配置的参数。
具体实施时,不同的测试描述信息所对应的配置参数也各有不同。例如,配置参数的数量和名称可能因测试类型、被测对象、协议类型的不同而不同。相应的,可以预先设置各种类型的测试描述信息及其对应的配置参数之间的映射关系,从而基于该映射关系筛选与测试描述信息相匹配的关键参数作为配置参数。
具体地,在筛选与测试描述信息相匹配的关键参数作为配置参数时,通过以下方式实现:查询预设的配置文件中存储的与测试描述信息相匹配的关键参数的参数标识,筛选与参数标识相匹配的若干关键参数作为配置参数。其中,配置文件用于存储与各种类型的测试描述信息相匹配的关键参数的参数标识。
在一种可选的实现方式中,与性能测试脚本相关联的测试描述信息包括以下中的至少一种:与性能测试脚本相对应的被测对象的对象类型、被测对象的适用场景、测试类型和/或协议类型;其中,测试类型包括:基准测试类型、负载测试类型、压力测试类型和/或稳定性测试类型;协议类型包括:HTTP协议类型、HTTPS协议类型、和/或JAVA协议类型。相应的,配置参数包括:自定义类参数、URL参数、端口参数、和/或条件类参数;其中,条件类参数包括以下中的至少一个:并发量参数、执行时间参数、以及执行次数参数。其中,自定义类参数是指用户自行设定的参数,该类参数往往与实际业务场景密切相关,因此,需要在执行过程中动态配置。条件类参数用于设定执行条件,其中,并发量参数用于设定并发数量,通过并发操作能够实现多个线程的并发执行,从而提升测试效率;执行时间参数用于限定执行多长时间后结束,执行次数参数用于设定执行多少次后结束。
具体地,配置文件中存储的与测试描述信息相匹配的关键参数的参数标识可根据测试描述信息的各种单一维度或复合维度的组合而确定。例如,当关键参数的参数标识根据测试描述信息中的单一维度确定时,可单独根据被测对象的对象类型、被测对象的适用场景、测试类型或者协议类型进行确定;当关键参数的参数标识根据测试描述信息中的复合维度的组合确定时,可采用各种复合维度组合,例如,可根据被测对象的适用场景以及测试类型这两个维度的组合进行确定。总之,由于不同业务场景中的配置参数的数量和名称各不相同,因此,结合测试描述信息确定配置参数能够提升配置参数的准确性,从而灵活适配各种测试场景。
步骤S230:获取与配置参数相对应的参数值,生成包含参数值的测试用例。
由于配置参数的参数值可根据不同的业务场景或测试条件而灵活设置,因此,在本步骤中,需要获取与配置参数相对应的参数值,从而自动生成包含上述参数值的测试用例。
在一种可选的实现方式中,根据用户输入的内容动态设置配置参数的参数值。具体地,展示与配置参数相对应的参数配置入口,通过参数配置入口接收到的参数配置指令设置配置参数的参数值。例如,图5示出了参数配置入口的示意图。如图5所示,参数配置入口包括:用例描述入口、测试类型选择入口、初始脚本选择入口(用于选择业务场景)、并发数量设置入口、启动策略入口、执行次数入口、执行时间入口、持续时间入口、启动延迟入口等。由此可见,在本实施例中,针对筛选出的各个配置参数设置有对应的参数配置入口,以供用户通过该参数配置入口灵活设置对应的配置参数的参数值。该方式的优点在于灵活性较高,用户能够根据线上测试的实际进度灵活设置各次测试用例中包含的参数值。
在又一种可选的实现方式中,读取与性能测试脚本相关联的参数设置表,根据该参数设置表确定与配置参数相对应的参数值。具体地,可以预先针对性能测试脚本配置对应的参数设置表,通过该参数设置表记录各个配置参数的各种可能的取值,从而依次将配置参数设置为对应的取值。例如,对于并发量这一配置参数而言,在参数设置表中记录了2、10、50三个取值,相应的,自动生成三个测试用例,其中,第一个测试用例的并发量取值为2,第二个测试用例的并发量取值为10,第三个测试用例的并发量取值为50。由此可见,通过参数设置表能够集中存储各个配置参数的各种可能取值,从而一次性生成多个测试用例,以涵盖各种业务场景。
可选地,上述的参数设置表也可以进一步根据测试描述信息中包含的单一维度或复合维度组合进行设置,从而分别生成多个对应于各个单一维度或复合维度组合的测试描述信息的参数设置表,相应的,根据当前获取到的测试描述信息动态确定对应的参数设置表,以使参数取值更加符合当前测试的业务场景需求。
步骤S240:运行测试用例,根据运行结果获取被测对象的性能属性信息。
其中,在运行测试用例的过程中,自动调用并执行对应的监控指令,以获取被测对象的性能属性信息,从而自动完成测试结果的收集和统计。其中,本发明实施例主要用于实现性能测试,所谓性能测试是指:通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试,例如,本实施例可实现压力测试。
具体实施时,通过以下方式实现:
首先,查询预设的配置文件中存储的与测试描述信息相匹配的监控指令。具体地,在配置文件中进一步存储有与各种类型的测试描述信息相匹配的监控指令。例如,可根据测试描述信息中的单一维度或复合维度组合来设定对应的监控指令。
然后,通过查询到的监控指令,监控测试用例运行过程中的性能属性信息。具体地,当查询到与当前测试描述信息相匹配的监控指令后,自动调用上述监控指令,以实现自动监控的目的。
在本实施例中,待监测的性能属性信息包括:机器类属性信息、应用类属性信息和/或数据库类属性信息。其中,机器类属性信息用于描述机器层面的性能属性,如系统CPU、内存、网络带宽等;应用类属性信息用于描述应用层面的性能属性,如该应用所占有的CPU、内存、网络带宽、以及该应用的启动参数等;数据库类属性信息用于描述数据库层面的性能属性,如数据库所占用的资源消耗、死锁情况等。
相应的,在查询预设的配置文件中存储的与测试描述信息相匹配的监控指令时,进一步通过以下方式中的至少一种实现:
在一种可选的方式中,根据测试描述信息中包含的代码语言类型,确定与代码语言类型相匹配的应用类监控指令。例如,在监控应用类属性信息时,根据当前测试应用所使用的项目语言,确定与该语言相对应的应用类监控指令。其中,代码语言包括:Go语言、JAVA语言等各类语言,由于不同语言的代码所对应的应用类监控指令不同,因此,通过预先在配置文件中设置与各种语言相对应的监控指令,能够使本测试系统通用于各类语言的测试过程。
在又一种可选的方式中,根据测试描述信息中包含的数据库类型,确定与数据库类型相匹配的数据库类监控指令。例如,在监控数据库类属性信息时,根据当前数据库的类型,确定与该类型相对应的数据库类监控指令。其中,数据库类型包括:MySQL、MongoDB、Redis等各种类型,由于不同类型的数据库所对应的监控指令不同,因此,通过预先在配置文件中设置与各种数据库类型相对应的监控指令,能够使本测试系统通用于各种类型的数据库,提升了本测试系统的通用性,无需测试人员分别针对各种类型的数据库人工选择对应的监控指令。其中,可通过zabbix工具实现服务器性能的监控。
步骤S250:生成并展示与性能属性信息相对应的性能测试报告。
具体地,为了便于用户浏览,在本实施例中,通过性能测试报告等方式展示统计得到的性能属性信息,以供用户查询。具体地,在性能测试报告中,可针对各种配置参数分别展示对应的性能测试结果。例如,当并发数量为10时,以数据或图表等形式展示执行过程中的各类结果,包括:平均时延、最大时延、最小时延、响应时间、传输速度、错误率、吞吐量、标准差、更新时间等内容。并且,还可以针对至少两种业务场景生成对比式测试报告,以便直观比较不同场景所对应的测试结果。
综上可知,本实施例能够根据测试描述信息自动地从测试脚本中筛选需要用户手动配置的配置参数,从而针对筛选出的配置参数进行赋值,以达到自动生成测试用例的目的,避免了用户人工查询测试脚本中包含的配置参数并手动赋值的繁琐操作,提升了测试效率。并且,该方式能够自动监控并获取测试结果,无需人工监测,简化了测试工作量。其中,能够针对测试描述信息中包含的单一维度或者复合维度组合分别筛选对应的配置参数,以提升配置参数的准确性,灵活适配各种可能的业务场景。
在一个具体的示例中,基于Jmeter、ThinkPHP、Mysql技术实现本发明实施例中的具体方案,需要搭建一套完整的lamp/wamp环境,并借助服务资源监控工具zabbix,对Jmeter进行二次封装,以实现Jmeter脚本的可视化、用户权限管理、测试用例管理、性能执行、压测结果监控等一系列功能。本示例具体能够实现以下功能:(1)管理页面:用户管理、脚本管理等;(2)测试脚本:增删改查、上传性能测试脚本;(3)测试用例:将测试脚本根据业务场景、并发量等自动生成测试用例;(4)性能执行:实现测试用例的自动化执行;(5)性能报告:实时采取压测结果数据,并生成性能测试报告。
由此可见,该示例能够解决性能测试过程中的效率问题,实现场景梳理、脚本存储、一键压测、资源实时监控、结果及时通知等一系列流程,同时大大降低性能测试门槛,方便更多测试用户共同参与性能测试。该方式能够解决Jmeter或Loadrunner工具无法做到无人值守自动化执行,不便于时时保存压测结果,无法查看某服务一段时间内的性能趋势,同时存在一定的技术门槛,不利于全员推广等技术问题。总而言之,该方式至少能够实现以下技术效果:提高了性能测试执行效率;降低了性能测试执行门槛;实现了应用服务自动部署;能够生成更加直观的性能测试报告。
实施例三
图3示出了本发明实施例三提供的一种性能测试系统的结构示意图,该系统包括:
解析模块31,适于接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;
筛选模块32,适于获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;
用例生成模块33,适于获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;
测试运行模块34,适于运行所述测试用例,根据运行结果获取被测对象的性能属性信息。
可选地,所述与所述性能测试脚本相关联的测试描述信息包括以下中的至少一种:
与所述性能测试脚本相对应的被测对象的对象类型、所述被测对象的适用场景、测试类型和/或协议类型;
其中,所述测试类型包括:基准测试类型、负载测试类型、压力测试类型和/或稳定性测试类型;所述协议类型包括:HTTP协议类型、HTTPS协议类型、和/或JAVA协议类型。
可选地,所述筛选模块具体适于:
查询预设的配置文件中存储的与所述测试描述信息相匹配的关键参数的参数标识,筛选与所述参数标识相匹配的若干关键参数作为配置参数;
其中,所述配置文件用于存储与各种类型的测试描述信息相匹配的关键参数的参数标识。
可选地,所述配置参数包括:自定义类参数、URL参数、端口参数、和/或条件类参数;其中,所述条件类参数包括以下中的至少一个:并发量参数、执行时间参数、以及执行次数参数。
可选地,所述测试运行模块具体适于:
查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令;
通过查询到的监控指令,监控所述测试用例运行过程中的性能属性信息。
可选地,所述性能属性信息包括:机器类属性信息、应用类属性信息和/或数据库类属性信息;
且所述所述测试运行模块具体适于:
根据所述测试描述信息中包含的代码语言类型,确定与所述代码语言类型相匹配的应用类监控指令;和/或,
根据所述测试描述信息中包含的数据库类型,确定与所述数据库类型相匹配的数据库类监控指令。
可选地,所述用例生成模块具体适于:
展示与所述配置参数相对应的参数配置入口,通过所述参数配置入口接收到的参数配置指令设置所述配置参数的参数值。
可选地,所述用例生成模块具体适于:
读取与所述性能测试脚本相关联的参数设置表,根据所述参数设置表确定与所述配置参数相对应的参数值。
可选地,所述测试运行模块进一步适于:
生成并展示与所述性能属性信息相对应的性能测试报告。
上述各个模块的具体结构和工作原理可参照方法实施例相应部分的描述,此处不再赘述。
在上述方式中,能够根据测试描述信息自动地从测试脚本中筛选需要用户手动配置的配置参数,从而针对筛选出的配置参数进行赋值,以达到自动生成测试用例的目的,避免了用户人工查询测试脚本中包含的配置参数并手动赋值的繁琐操作,提升了测试效率。并且,该方式能够自动监控并获取测试结果,无需人工监测,简化了测试工作量。
实施例四
本申请实施例四提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的性能测试方法。可执行指令具体可以用于使得处理器执行上述方法实施例中对应的各个操作。
实施例五
图4示出了根据本发明实施例五的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图4所示,该电子设备可以包括:处理器(processor)402、通信接口(Communications Interface)406、存储器(memory)404、以及通信总线408。
其中:
处理器402、通信接口406、以及存储器404通过通信总线408完成相互间的通信。
通信接口406,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述性能测试方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器404,用于存放程序410。存储器404可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述方法实施例中对应的各个操作。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于语音输入信息的抽奖系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种性能测试方法,包括:
接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;
获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;
获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;
运行所述测试用例,根据运行结果获取被测对象的性能属性信息。
2.根据权利要求1所述的方法,其中,所述与所述性能测试脚本相关联的测试描述信息包括以下中的至少一种:
与所述性能测试脚本相对应的被测对象的对象类型、所述被测对象的适用场景、测试类型和/或协议类型;
其中,所述测试类型包括:基准测试类型、负载测试类型、压力测试类型和/或稳定性测试类型;所述协议类型包括:HTTP协议类型、HTTPS协议类型、和/或JAVA协议类型。
3.根据权利要求1或2所述的方法,其中,所述筛选与所述测试描述信息相匹配的关键参数作为配置参数包括:
查询预设的配置文件中存储的与所述测试描述信息相匹配的关键参数的参数标识,筛选与所述参数标识相匹配的若干关键参数作为配置参数;
其中,所述配置文件用于存储与各种类型的测试描述信息相匹配的关键参数的参数标识。
4.根据权利要求1-3任一所述的方法,其中,所述配置参数包括:自定义类参数、URL参数、端口参数、和/或条件类参数;其中,所述条件类参数包括以下中的至少一个:并发量参数、执行时间参数、以及执行次数参数。
5.根据权利要求1-4任一所述的方法,其中,所述运行所述测试用例,根据运行结果获取被测对象的性能属性信息包括:
查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令;
通过查询到的监控指令,监控所述测试用例运行过程中的性能属性信息。
6.根据权利要求5所述的方法,其中,所述性能属性信息包括:机器类属性信息、应用类属性信息和/或数据库类属性信息;
且所述查询预设的配置文件中存储的与所述测试描述信息相匹配的监控指令包括:
根据所述测试描述信息中包含的代码语言类型,确定与所述代码语言类型相匹配的应用类监控指令;和/或,
根据所述测试描述信息中包含的数据库类型,确定与所述数据库类型相匹配的数据库类监控指令。
7.根据权利要求1-6任一所述的方法,其中,所述获取与所述配置参数相对应的参数值包括:
展示与所述配置参数相对应的参数配置入口,通过所述参数配置入口接收到的参数配置指令设置所述配置参数的参数值。
8.一种性能测试系统,包括:
解析模块,适于接收并解析用户上传的性能测试脚本,根据解析结果提取所述性能测试脚本中包含的关键参数;
筛选模块,适于获取与所述性能测试脚本相关联的测试描述信息,筛选与所述测试描述信息相匹配的关键参数作为配置参数;
用例生成模块,适于获取与所述配置参数相对应的参数值,生成包含所述参数值的测试用例;
测试运行模块,适于运行所述测试用例,根据运行结果获取被测对象的性能属性信息。
9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的性能测试方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的性能测试方法对应的操作。
CN202010195608.XA 2020-03-19 2020-03-19 性能测试方法及系统 Active CN111400186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195608.XA CN111400186B (zh) 2020-03-19 2020-03-19 性能测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195608.XA CN111400186B (zh) 2020-03-19 2020-03-19 性能测试方法及系统

Publications (2)

Publication Number Publication Date
CN111400186A true CN111400186A (zh) 2020-07-10
CN111400186B CN111400186B (zh) 2023-05-05

Family

ID=71436352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195608.XA Active CN111400186B (zh) 2020-03-19 2020-03-19 性能测试方法及系统

Country Status (1)

Country Link
CN (1) CN111400186B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741294A (zh) * 2020-07-13 2020-10-02 四川虹魔方网络科技有限公司 基于智能电视云端平台的性能测试方法
CN111949545A (zh) * 2020-08-19 2020-11-17 彩讯科技股份有限公司 自动化测试方法、系统、服务器及存储介质
CN112181835A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 自动化测试方法、装置、计算机设备及存储介质
CN112416691A (zh) * 2020-12-09 2021-02-26 海光信息技术股份有限公司 基于基准测试工具的性能测试方法及系统
CN112835778A (zh) * 2021-02-25 2021-05-25 紫光云技术有限公司 一种rds数据库性能的通用测试方法、电子设备、服务器
CN112835792A (zh) * 2021-01-27 2021-05-25 湖南快乐阳光互动娱乐传媒有限公司 一种压力测试系统及方法
CN113204485A (zh) * 2021-05-08 2021-08-03 山东英信计算机技术有限公司 一种内存数据库压力测试方法、系统、终端及存储介质
CN113656322A (zh) * 2021-08-26 2021-11-16 阿里巴巴(中国)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN114268569A (zh) * 2020-09-16 2022-04-01 中盈优创资讯科技有限公司 一种可配置的网络运维验收测试方法及装置
CN115033434A (zh) * 2022-06-07 2022-09-09 海光信息技术股份有限公司 一种内核性能理论值计算方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153087A1 (en) * 2008-12-12 2010-06-17 Sergej Kirtkow Techniques for generating a reusable test script for a single user performance test
CN102231686A (zh) * 2011-06-24 2011-11-02 北京天融信科技有限公司 一种实现网络安全设备自动化测试的系统和方法
CN102694701A (zh) * 2012-06-13 2012-09-26 青岛海信传媒网络技术有限公司 基于消息的测试方法及系统
CN104182333A (zh) * 2013-05-23 2014-12-03 阿里巴巴集团控股有限公司 一种性能测试方法和设备
CN105577475A (zh) * 2015-12-28 2016-05-11 上海瀚之友信息技术服务有限公司 自动化性能测试系统及方法
CN106528395A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 测试用例的生成方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100153087A1 (en) * 2008-12-12 2010-06-17 Sergej Kirtkow Techniques for generating a reusable test script for a single user performance test
CN102231686A (zh) * 2011-06-24 2011-11-02 北京天融信科技有限公司 一种实现网络安全设备自动化测试的系统和方法
CN102694701A (zh) * 2012-06-13 2012-09-26 青岛海信传媒网络技术有限公司 基于消息的测试方法及系统
CN104182333A (zh) * 2013-05-23 2014-12-03 阿里巴巴集团控股有限公司 一种性能测试方法和设备
CN106528395A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 测试用例的生成方法及装置
CN105577475A (zh) * 2015-12-28 2016-05-11 上海瀚之友信息技术服务有限公司 自动化性能测试系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI LUO 等: "Automatic performance testing using input-sensitive profiling", 《FSE 2016: PROCEEDINGS OF THE 2016 24TH ACM SIGSOFT INTERNATIONAL SYMPOSIUM ON FOUNDATIONS OF SOFTWARE ENGINEERING》 *
杨怡君 等: "Android手机自动化性能测试工具的研究与开发", 《计算机应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741294A (zh) * 2020-07-13 2020-10-02 四川虹魔方网络科技有限公司 基于智能电视云端平台的性能测试方法
CN111949545A (zh) * 2020-08-19 2020-11-17 彩讯科技股份有限公司 自动化测试方法、系统、服务器及存储介质
CN114268569A (zh) * 2020-09-16 2022-04-01 中盈优创资讯科技有限公司 一种可配置的网络运维验收测试方法及装置
CN114268569B (zh) * 2020-09-16 2023-10-31 中盈优创资讯科技有限公司 一种可配置的网络运维验收测试方法及装置
CN112181835A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 自动化测试方法、装置、计算机设备及存储介质
CN112181835B (zh) * 2020-09-29 2024-04-26 中国平安人寿保险股份有限公司 自动化测试方法、装置、计算机设备及存储介质
CN112416691A (zh) * 2020-12-09 2021-02-26 海光信息技术股份有限公司 基于基准测试工具的性能测试方法及系统
CN112835792B (zh) * 2021-01-27 2023-03-03 湖南快乐阳光互动娱乐传媒有限公司 一种压力测试系统及方法
CN112835792A (zh) * 2021-01-27 2021-05-25 湖南快乐阳光互动娱乐传媒有限公司 一种压力测试系统及方法
CN112835778A (zh) * 2021-02-25 2021-05-25 紫光云技术有限公司 一种rds数据库性能的通用测试方法、电子设备、服务器
CN113204485A (zh) * 2021-05-08 2021-08-03 山东英信计算机技术有限公司 一种内存数据库压力测试方法、系统、终端及存储介质
CN113656322B (zh) * 2021-08-26 2023-10-10 阿里巴巴(中国)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN113656322A (zh) * 2021-08-26 2021-11-16 阿里巴巴(中国)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN115033434A (zh) * 2022-06-07 2022-09-09 海光信息技术股份有限公司 一种内核性能理论值计算方法、装置及存储介质

Also Published As

Publication number Publication date
CN111400186B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111400186B (zh) 性能测试方法及系统
CN109633351B (zh) 智能it运维故障定位方法、装置、设备及可读存储介质
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN110750458A (zh) 大数据平台测试方法、装置、可读存储介质及电子设备
CN114546738B (zh) 服务器通用测试方法、系统、终端及存储介质
CN111522728A (zh) 自动化测试用例的生成方法、电子设备及可读存储介质
CN106897207A (zh) 用户界面测试方法与装置
KR20190060547A (ko) 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법
CN112463588A (zh) 一种自动化测试系统及方法、存储介质、计算设备
CN114385877B (zh) 测试过程的可视化处理方法及系统、计算机可读介质
CN106648722B (zh) 基于大数据的Flume接收端数据处理方法和装置
CN113360353B (zh) 一种测试服务器和云平台
CN111045879A (zh) 压力测试报告的生成方法、装置及存储介质
CN116719750B (zh) 软件测试方法及装置、服务器设备和存储介质
CN112148616B (zh) 一种性能测试管理平台
CN112948262A (zh) 一种系统测试方法、装置、计算机设备和存储介质
CN113127356A (zh) 压测方法、装置、电子设备及存储介质
CN112559525A (zh) 数据检查系统、方法、装置和服务器
CN113704077A (zh) 测试用例生成方法及装置
CN116244131A (zh) 服务器接口测试方法、装置、电子设备和介质
CN115017047A (zh) 基于b/s架构的测试方法、系统、设备及介质
CN110971483B (zh) 一种压力测试的方法、装置及计算机系统
CN113806231A (zh) 一种代码覆盖率分析方法、装置、设备和介质
CN113568614A (zh) 任务发布方法、电子设备及存储介质
CN113377801A (zh) 数据检验方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant