CN106502887A - 一种稳定性测试方法、测试控制器及系统 - Google Patents
一种稳定性测试方法、测试控制器及系统 Download PDFInfo
- Publication number
- CN106502887A CN106502887A CN201610893858.4A CN201610893858A CN106502887A CN 106502887 A CN106502887 A CN 106502887A CN 201610893858 A CN201610893858 A CN 201610893858A CN 106502887 A CN106502887 A CN 106502887A
- Authority
- CN
- China
- Prior art keywords
- test
- occupancy
- current
- value
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
Abstract
本发明提供了一种稳定性测试方法、测试控制器及系统,该稳定性测试方法包括:在测试控制器中设置至少一种测试阈值和至少一种测试场景,所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置,控制外部的至少一种测试装置在每一种所述测试场景下运行,确定外部的至少一个测试装置对应的当前测试表征值,当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。本发明提供的方案能够实现自动化软件稳定性测试。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种稳定性测试方法、测试控制器及系统。
背景技术
随着计算机应用越来越广泛,通过不断开发新的软件,以满足人们的需求。而软件在开发完成后,为了保证软件的可用性,往往需要对软件稳定性进行测试。
目前,软件稳定性测试方法主要是,通过人工运行测试脚本,例如,需要对软件进行50次测试,那么就需要人工运行50次测试脚本对待测试软件进行测试,最后得出相应的软件测试结果。因此,现有的这种测试方式,只能通过人工进行测试,而不能实现自动化测试。
发明内容
本发明实施例提供了一种稳定性测试方法、测试控制器及系统,以便于实现自动化软件稳定性测试。
第一方面,本发明实施例提供了一种内存压力变化测试的方法,该方法包括:
在测试控制器中设置至少一种测试阈值和至少一种测试场景;
所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置;
控制外部的至少一种测试装置在每一种所述测试场景下运行;
确定外部的至少一个测试装置对应的当前测试表征值;
当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。
优选地,
所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
优选地,进一步包括:
设置至少一种占用率阈值;
在所述控制外部的至少一种测试装置在每一种所述测试场景下运行之后,在所述确定外部的至少一个测试装置对应的当前测试表征值之前,进一步包括:
实时监测外部的至少一种测试装置的当前占用率表征值;
当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
当监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
优选地,
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中,包括:
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
优选地,
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
优选地,
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
第二方面,本发明实施例提供了一种稳定性测试控制器,包括:
设置单元,用于设置至少一种测试阈值和至少一种测试场景;
控制单元,用于当接收外部的触发时,为所述设置单元设置的每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置,控制外部的至少一种测试装置在每一种测试场景下运行;
确定单元,用于确定外部的至少一个测试装置对应的当前测试表征值;
处理单元,用于当监测到所述确定单元确定的当前测试表征值未达到对应的所述设置单元设置的测试阈值时,将测试结果写入到指定路径的第一文本中。
优选地,
所述设置单元,用于设置的所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
优选地,所述设置单元,进一步包括:
第一设置子单元,用于设置至少一种占用率阈值;
所述处理单元,进一步用于实时监测外部的至少一种测试装置的当前占用率表征值;当监测到外部的至少一个测试装置对应的当前占用率表征值达到所述第一设置子单元设置的对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中;当监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
优选地,
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
优选地,
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
优选地,
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
第三方面,本发明实施例提供了一种稳定性测试系统,包括:
至少一种测试装置以及上述任一所述测试控制器;
所述至少一种测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在每一种测试场景下运行。
优选地,
所述至少一个测试场景,包括:功能测试场景和性能测试场景;
所述至少一种测试装置,包括性能测试装置和功能测试装置,其中,
所述性能测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在所述性能测试场景下运行;
所述功能测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在所述功能测试场景下运行。
可见,本发明实施例提供了一种稳定性测试方法、测试控制器及系统,该方法通过在测试控制器中设置至少一种测试阈值和至少一种测试场景,当所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置。控制外部的至少一种测试装置在每一种所述测试场景下运行,确定外部的至少一个测试装置对应的当前测试表征值,当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。本发明通过测试控制器调用外部的至少一种,在预先设定的至少一种测试场景下运行,通过监测当前测试表征值是否达到设置的测试阈值自动运行测试装置,因此实现自动化软件稳定性测试。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种稳定性测试方法的流程图;
图2是本发明另一个实施例提供的一种稳定性测试方法的流程图;
图3是本发明一个实施例提供的一种稳定性测试控制器的结构示意图;
图4是本发明一个实施例提供的一种稳定性测试控制器所在设备的硬件架构图;
图5是本发明另一个实施例提供的一种稳定性测试控制器的结构示意图;
图6是本发明一个实施例提供的一种稳定性测试系统的结构示意图;
图7是本发明另一个实施例提供的一种稳定性测试系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种稳定性测试方法,该方法可以包括以下步骤:
步骤101:在测试控制器中设置至少一种测试阈值和至少一种测试场景;
步骤102:所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置;
步骤103:控制外部的至少一种测试装置在每一种所述测试场景下运行;
步骤104:确定外部的至少一个测试装置对应的当前测试表征值;
步骤105:当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。
根据上述实施例,通过在测试控制器中设置至少一种测试阈值和至少一种测试场景,当所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置。控制外部的至少一种测试装置在每一种所述测试场景下运行,确定外部的至少一个测试装置对应的当前测试表征值,当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。本发明通过测试控制器调用外部的至少一种,在预先设定的至少一种测试场景下运行,通过监测当前测试表征值是否达到设置的测试阈值自动运行测试装置,因此实现自动化软件稳定性测试。
在本发明一个实施例中,为了提高稳定性测试全面性,包括:
所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
所述运行次数阈值,是为外部至少一种测试装置设置的需要运行次数的阈值,所述运行频率阈值,是单位时间内完成一次测试的阈值。其中,所述运行次数阈值和所述运行频率阈值可以根据具体的业务要求来确定。
另外测试阈值可以包括运行次数阈值和运行频率阈值中的任意一种或两种,具体包括的阈值种类可以根据具体的业务要求来确定。相应的当前测试表征值,根据选定的测试阈值类型不同的不同而变化,当测试阈值中包括运行次数阈值时,当前测试表征值为当前运行次数值,当测试阈值中包括运行频率阈值时,当前测试表征值为当前运行时间长度值。
例如,运行次数阈值,可以为30次、45次和60次的数值,那么相应的当前测试表征值就是当前运行次数值,比如5次。运行频率阈值可以为10分钟运行一次、15分钟运行一次和27分钟运行一次等数值,那么相应的当前测试表征值就是当前运行时间长度值,比如10分钟。
根据上述实施例,至少一种测试阈值包括运行次数阈值和运行频率阈值中的任意一种或两种,在测试控制器控制外部的至少一种测试装置在预先设定的至少一种测试场景下运行,通过监测当前测试表征值是否达到设置的测试阈值自动运行测试装置是,监测的当前测试表征值就为对应运行次数阈值和/或运行频率阈值的当前运行次数值和/或当前运行时间长度值,因此提高稳定性测试的全面性。
在本发明一个实施例中,为了及时发现稳定性测试过程中的异常情况,进一步包括:
设置至少一种占用率阈值;
在所述控制外部的至少一种测试装置在每一种所述测试场景下运行之后,在所述确定外部的至少一个测试装置对应的当前测试表征值之前,进一步包括:
实时监测外部的至少一种测试装置的当前占用率表征值;
当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
当监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
所述测试场景,包括两种形式,一种是功能测试场景,就是待测试软件日常使用的情景,包括:注册登录以及修改密码、查询以及组合查询、实际实现、文本输入、正常的输入字段和不正常组合测试、非法数据输入、按钮等控件使用和文本框使用中的任意一种或多种。另一种是性能测试场景,包括:装载时间、并发用户数量、迭代次数和服务器监测项中的任意一种或多种。
由于软件在测试运行中会使内存占用率、CPU占用率和硬盘占用率出现变化。因此在所述控制外部的至少一种测试装置在每一种所述测试场景下运行之后,在所述确定外部的至少一个测试装置对应的当前测试表征值之前实时监测外部的至少一种测试装置的当前占用率表征值,一旦监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中。并停止测试,测试人员就可以根据第二文本中的包括所述当前占用率表征值的异常测试结果对软件的异常测试结果进行分析,找出出现异常的原因。监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
根据上述实施例,通过实时监测外部的至少一种测试装置的当前占用率表征值,当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中,在测试过程中一旦出现当前占用率表征值达到占用率阈值时可以及时的将这个异常的测试结果写入到指定路径的文件中,方便了测试人员及时发现稳定性测试过程中的异常情况。
在本发明一个实施例中,为了保证及时全面的发现异常测试情况,包括:
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中,包括:
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
由于在测试过程中,内存占用率、CPU占用率和硬盘占用率都是随时发生变化的,但是一旦查出一定的阈值或直接影响到软件的性能。因此所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种,至少一种占用率阈值包括的内容可以根据具体的业务要求来确定。
其中,内存占用率阈值、CPU占用率阈值和硬盘占用率阈值具体数值的大小也可以根据具体的业务要求来设置,比如设置内存占用率阈值为80%、CPU占用率阈值85%和硬盘占用率阈值90%,也可以设置内存占用率阈值为90%、CPU占用率阈值85%和硬盘占用率阈值89%。
例如,占用率阈值包括内存占用率阈值、CPU占用率阈值和硬盘占用率阈值,当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均小于相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。其中第二文本可以根据具体的业务要求来存储具体的位置,比如C盘,可以是个TXT文件。
根据上述实施例,至少一种占用率阈值包括内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种,通过监测当前占用率表征值是否达到设置的测试阈值自动运行测试装置时,监测的当前占用率表征值是否达到为对应当前内存占用率、当前CPU占用率和当前硬盘占用率,一旦达到则将异常测试结果写入到第二文本中,因此提高稳定性测试的全面性。
在本发明一个实施例中,为了保证及时全面的发现异常测试情况,包括:
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
在本发明一个实施例中,为了保证及时全面的发现异常测试情况,包括:
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
下面以测试装置包括功能测试装置和性能测试装置为例,对本发明实施例提供的稳定性测试方法进行说明,如图2所示,该测试方法可以包括如下步骤:
步骤201:在测试控制器中设置至少一种测试阈值、至少一种测试场景和设置至少一种占用率阈值。
所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种。所述至少一种测试场景包括:功能测试场景和性能测试场景。其中,所述功能测试场景,包括注册登录以及修改密码、查询以及组合查询、实际实现、文本输入、正常的输入字段和不正常组合测试、非法数据输入、按钮等控件使用和文本框使用中的任意一种或多种。所述性能测试场景包括:装载时间、并发用户数量、迭代次数和服务器监测项中的任意一种或多种。所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种。
在本实施例中,测试阈值包括:运行次数阈值和运行频率阈值,其中运行的测试阈值为30次,运行频率阈值为每10分钟运行一次。功能测试场景包括:注册登录以及修改密码、查询以及组合查询、按钮等控件使用和文本框使用。性能测试场景包括:装载时间、并发用户数量和迭代次数。由于本实施例中存在功能测试装置和性能测试装置,因此占用率阈值包括,功能内存占用率阈值、功能CPU占用率阈值、功能硬盘占用率阈值、性能内存占用率阈值、性能CPU占用率阈值和性能硬盘占用率阈值。分别为功能内存占用率阈值80%、功能CPU占用率阈值85%、功能硬盘占用率阈值90%、性能内存占用率阈值85%、性能CPU占用率阈值92%和性能硬盘占用率阈值95%。
步骤202:所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置。
在本实施例中,外部的触发为测试人员发送的测试的指令,当测试控制器接收的测试指令时,为功能测试场景生成对应的功能控制指令和为性能测试场景生成对应的性能控制指令,并将功能控制指令发送给外部的功能测试装置,以及将性能控制指令发送给外部的性能测试装置。
步骤203:控制外部的至少一种测试装置在每一种所述测试场景下运行。
在本实施例中,分别对应测试装置发送功能控制指令和性能控制指令后,控制功能测试装置在功能测试场景下运行,以及控制性能测试装置在性能测试场景下运行。
步骤204:实时监测外部的至少一种测试装置的当前占用率表征值。
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种。
在本实施例中,由于设置的占用率阈值为功能内存占用率阈值、功能CPU占用率阈值、功能硬盘占用率阈值、性能内存占用率阈值、性能CPU占用率阈值和性能硬盘占用率阈值,因此监测功能测试装置和性能测试装置对应的功能内存占用率表征值、功能CPU占用率表征值、功能硬盘占用率表征值、性能内存占用率表征值、性能CPU占用率表征值和性能硬盘占用率表征值。
步骤205:判断至少一个测试装置对应的当前占用率表征值是否达到对应的所述占用率阈值。当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,执行步骤206,否则执行步骤207。
在本实施例中,需要判断功能内存占用率表征值、功能CPU占用率表征值、功能硬盘占用率表征值、性能内存占用率表征值、性能CPU占用率表征值和性能硬盘占用率表征值是否达到对应的占用率阈值,如果当监测到其中至少一个占用表征值达到对应的阈值时,执行步骤206,否则执行步骤207。
步骤206:当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中,并结束当前流程。
在本实施例中,监测到功能测试装置或性能测试装置对应的当前占用率表征值与占用率阈值的关系判断分为以下三种情况。
第一种情况为,当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
例如,针对功能测试装置,监测到当前功能内存占用率表征值81%、当前功能CPU占用率表征值90%、当前功能硬盘占用率表征值92%,三个占用率表征值均达到了对应的占用率阈值,因此判定测试异常,将包括当前功能内存占用率表征值81%、当前功能CPU占用率表征值90%、当前功能硬盘占用率表征值92%的异常测试结果写入到指定路径的第二文本中,第二文本为一个TXT文件,存储在C盘中。针对性能测试装置,监测到当前性能内存占用率表征值86%、当前性能CPU占用率表征值92%、当前性能硬盘占用率表征值96%,三个占用率表征值均达到了对应的占用率阈值,因此判定测试异常,将包括当前性能内存占用率表征值86%、当前性能CPU占用率表征值92%、当前性能硬盘占用率表征值96%的异常测试结果写入到指定路径的第二文本中,第二文本为一个TXT文件,存储在C盘中。
第二种情况为,当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
在本实施例中,当监测到当前功能内存占用率、当前功能CPU占用率和当前功能硬盘占用率中的至少一个达到相应的占用率阈值时,将判定测试存在异常,并将当前占用率表征值的异常测试结果写入到指定路径的第二文本中。和/或当监测到当前性能内存占用率、当前性能CPU占用率和当前性能硬盘占用率中的至少一个达到相应的占用率阈值时,将判定测试存在异常,并将当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
第三种情况为,当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
在本实施例中,当监测到当前功能内存占用率、当前功能CPU占用率和当前功能硬盘占用率中的至少两个达到相应的占用率阈值时,将判定测试存在异常,并将当前占用率表征值的异常测试结果写入到指定路径的第二文本中。和/或当监测到当前性能内存占用率、当前性能CPU占用率和当前性能硬盘占用率中的至少两个达到相应的占用率阈值时,将判定测试存在异常,并将当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
步骤207:确定外部的至少一个测试装置对应的当前测试表征值。
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
在本实施例中,存在两种测试装置,分别为功能测试装置和性能测试装置,那么确定的功能测试装置的当前测试表征值就为当前功能运行次数值和当前功能运行时间长度值。性能测试装置的当前测试表征值就为当前性能运行次数值和当前性能运行时间长度值。
步骤208:判断所述当前测试表征值是否达到对应的所述测试阈值,当监测到所述当前测试表征值未达到对应的所述测试阈值时,执行步骤209,否则这行步骤204。
在本实施例中,需要判断当前功能运行次数值、当前功能运行时间长度值、当前性能运行次数值和当前性能运行时间长度值与其对应的阈值之间的关系。
步骤209:当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。
在本实施例中,当监测到功能测试装置对应的当前运行时间长度值达到所述当前运行频率阈值对应的时间长度值时,判断当前功能运行次数值是否达到所述运行次数阈值,如果是将测试结果写入到指定路径的文本中。
在本实施例中,当监测到性能测试装置对应的当前运行时间长度值达到所述当前运行频率阈值对应的时间长度值时,判断当前性能运行次数值是否达到所述运行次数阈值,如果是将测试结果写入到指定路径的文本中。
如图3、图4所示,本发明实施例提供了一种稳定性测试控制器。控制器实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图3所示,为本发明实施例提供的测试控制器所在设备的一种硬件结构图,除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图4所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种稳定性测试控制器,包括:
设置单元301,用于设置至少一种测试阈值和至少一种测试场景;
控制单元302,用于当接收外部的触发时,为所述设置单元301设置的每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置,控制外部的至少一种测试装置在每一种测试场景下运行;
确定单元303,用于确定外部的至少一个测试装置对应的当前测试表征值;
处理单元304,用于当监测到所述确定单元303确定的当前测试表征值未达到对应的所述设置单元设置301的测试阈值时,将测试结果写入到指定路径的第一文本中。
在本发明一个实施例中,为了提高稳定性测试全面性,所述设置单元301,用于设置的所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
在本发明一个实施例中,如图5所示,为了及时发现稳定性测试过程中的异常情况,所述设置单元301,进一步包括:
第一设置子单元501,用于设置至少一种占用率阈值;
所述处理单元304,进一步用于实时监测外部的至少一种测试装置的当前占用率表征值;当监测到外部的至少一个测试装置对应的当前占用率表征值达到所述第一设置子单元501设置的对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
在本发明一个实施例中,为了保证及时全面的发现异常测试情况,包括:
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述处理单元304,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
在本发明一个实施例中,所述处理单元304,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
在本发明一个实施例中,所述处理单元304,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
如图6所示,本发明实施例提供了一种稳定性测试系统,该测试系统可以包括:至少一种测试装置601以及权利要求4至8任一所述测试控制器602;
所述至少一种测试装置601,用于接收所述测试控制器602发送的测试控制指令,并根据所述测试控制指令在每一种测试场景下运行。
其中,所示至少一种测试装置的具体数量可以根据具体的业务要求来确定,当每一种测试装置接收到测试控制器发送的测试控制指令后,根据测试控制指令在每一种测试场景下运行。
在本发明一个实施例中,如图7所示,为了保证测试的全面性,包括:
所述至少一个测试场景,包括:功能测试场景和性能测试场景;
所述至少一种测试装置601,包括性能测试装置701和功能测试装置702,其中,
所述性能测试装置701,用于接收所述测试控制器602发送的测试控制指令,并根据所述测试控制指令在所述性能测试场景下运行;
所述功能测试装置702,用于接收所述测试控制器602发送的测试控制指令,并根据所述测试控制指令在所述功能测试场景下运行。
所述功能测试场景,是针对软件功能测试设置的测试场景,包括:注册登录以及修改密码、查询以及组合查询、实际实现、文本输入、正常的输入字段和不正常组合测试、非法数据输入、按钮等控件使用和文本框使用中的任意一种或多种。
所述性能测试场景,是针对软件性能测试设置的测试场景,包括:装载时间、并发用户数量、迭代次数和服务器监测项中的任意一种或多种。
与性能测试场景和功能测试场景相对应的,至少一种测试装置包括性能测试装置和功能测试装置。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
综上,本发明各个实施例至少可以实现如下有益效果:
1、在本发明实施例中,通过在测试控制器中设置至少一种测试阈值和至少一种测试场景,当所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置。控制外部的至少一种测试装置在每一种所述测试场景下运行,确定外部的至少一个测试装置对应的当前测试表征值,当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。本发明通过测试控制器调用外部的至少一种,在预先设定的至少一种测试场景下运行,通过监测当前测试表征值是否达到设置的测试阈值自动运行测试装置,因此实现自动化软件稳定性测试。
2、在本发明实施例中,至少一种测试阈值包括运行次数阈值和运行频率阈值中的任意一种或两种,在测试控制器控制外部的至少一种测试装置在预先设定的至少一种测试场景下运行,通过监测当前测试表征值是否达到设置的测试阈值自动运行测试装置时,监测的当前测试表征值就为对应运行次数阈值和/或运行频率阈值的当前运行次数值和/或当前运行时间长度值,因此提高稳定性测试的全面性。
3、在本发明实施例中,通过实时监测外部的至少一种测试装置的当前占用率表征值,当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中,在测试过程中一旦出现当前占用率表征值达到占用率阈值时可以及时的将这个异常的测试结果写入到指定路径的文件中,方便了测试人员及时发现稳定性测试过程中的异常情况。
4、在本发明实施例中,至少一种占用率阈值包括内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种,通过监测当前占用率表征值是否达到设置的测试阈值自动运行测试装置时,监测的当前占用率表征值是否达到为对应当前内存占用率、当前CPU占用率和当前硬盘占用率,一旦达到则将异常测试结果写入到第二文本中,因此提高稳定性测试的全面性。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种稳定性测试方法,其特征在于,在测试控制器中设置至少一种测试阈值和至少一种测试场景,还包括:
所述测试控制器当接收外部的触发时,为每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置;
控制外部的至少一种测试装置在每一种所述测试场景下运行;
确定外部的至少一个测试装置对应的当前测试表征值;
当监测到所述当前测试表征值未达到对应的所述测试阈值时,将测试结果写入到指定路径的第一文本中。
2.根据权利要求1所述的稳定性测试方法,其特征在于,
所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
3.根据权利要求1所述的稳定性测试方法,其特征在于,进一步包括:
设置至少一种占用率阈值;
在所述控制外部的至少一种测试装置在每一种所述测试场景下运行之后,在所述确定外部的至少一个测试装置对应的当前测试表征值之前,进一步包括:
实时监测外部的至少一种测试装置的当前占用率表征值;
当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
当监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
4.根据权利要求3所述的稳定性测试方法,其特征在于,
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述当监测到外部的至少一个测试装置对应的当前占用率表征值达到对应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中,包括:
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
或者,
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
或者,
当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
5.一种稳定性测试控制器,其特征在于,包括:
设置单元,用于设置至少一种测试阈值和至少一种测试场景;
控制单元,用于当接收外部的触发时,为所述设置单元设置的每一种所述测试场景生成对应的控制指令,并发送所述测试控制指令给外部的至少一种测试装置,控制外部的至少一种测试装置在每一种测试场景下运行;
确定单元,用于确定外部的至少一个测试装置对应的当前测试表征值;
处理单元,用于当监测到所述确定单元确定的当前测试表征值未达到对应的所述设置单元设置的测试阈值时,将测试结果写入到指定路径的第一文本中。
6.根据权利要求5所述稳定性测试控制器,其特征在于,
所述设置单元,用于设置的所述至少一种测试阈值包括:运行次数阈值和运行频率阈值中的任意一种或两种;
所述当前测试表征值包括:当前运行次数值和当前运行时间长度值中的任意一种或两种。
7.根据权利要求5所述稳定性测试控制器,其特征在于,所述设置单元,进一步包括:
第一设置子单元,用于设置至少一种占用率阈值;
所述处理单元,进一步用于实时监测外部的至少一种测试装置的当前占用率表征值;当监测到外部的至少一个测试装置对应的当前占用率表征值达到所述第一设置子单元设置的对应的所述占用率阈值时,将包括所述当前占用率表征值的异常测试结果写入到指定路径的第二文本中;当监测到外部的至少一个测试装置对应的当前占用率表征值未达到对应的所述占用率阈值时,则执行所述确定外部的至少一个测试装置对应的当前测试表征值。
8.根据权利要求7所述稳定性测试控制器,其特征在于,
所述至少一种占用率阈值,包括:内存占用率阈值、CPU占用率阈值和硬盘占用率阈值中的任意一种或多种;
所述当前占用率表征值包括:当前内存占用率、当前CPU占用率和当前硬盘占用率中的任意一种或多种;
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率均达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
或者,
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少一个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中;
或者,
所述处理单元,用于当监测到所述当前内存占用率、所述当前CPU占用率和所述当前硬盘占用率中的至少两个达到相应的所述占用率阈值时,将包括当前占用率表征值的异常测试结果写入到指定路径的第二文本中。
9.一种稳定性测试系统,其特征在于,包括:至少一种测试装置以及权利要求4至8任一所述测试控制器;
所述至少一种测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在每一种测试场景下运行。
10.根据权利要求9所述稳定性测试系统,其特征在于,
所述至少一个测试场景,包括:功能测试场景和性能测试场景;
所述至少一种测试装置,包括性能测试装置和功能测试装置,其中,
所述性能测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在所述性能测试场景下运行;
所述功能测试装置,用于接收所述测试控制器发送的测试控制指令,并根据所述测试控制指令在所述功能测试场景下运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610893858.4A CN106502887A (zh) | 2016-10-13 | 2016-10-13 | 一种稳定性测试方法、测试控制器及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610893858.4A CN106502887A (zh) | 2016-10-13 | 2016-10-13 | 一种稳定性测试方法、测试控制器及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106502887A true CN106502887A (zh) | 2017-03-15 |
Family
ID=58293980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610893858.4A Pending CN106502887A (zh) | 2016-10-13 | 2016-10-13 | 一种稳定性测试方法、测试控制器及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106502887A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273296A (zh) * | 2017-06-26 | 2017-10-20 | 上海传英信息技术有限公司 | 一种软件的测试方法及测试装置 |
CN107992418A (zh) * | 2017-12-05 | 2018-05-04 | 郑州云海信息技术有限公司 | 一种提高软件测试稳定性的方法及系统 |
CN112965889A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 稳定性测试方法、装置、电子设备及可读存储介质 |
CN115514681A (zh) * | 2022-09-16 | 2022-12-23 | 北京天融信网络安全技术有限公司 | 一种测试设备稳定性的方法、装置、系统、设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544103A (zh) * | 2013-09-02 | 2014-01-29 | 烟台中科网络技术研究所 | 一种软件性能测试模拟并发方法及系统 |
CN103678132A (zh) * | 2013-12-18 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 一种应用软件云测试系统 |
CN103793318A (zh) * | 2012-10-29 | 2014-05-14 | 百度在线网络技术(北京)有限公司 | 一种模块稳定性的分布式测试方法及装置 |
WO2015051735A1 (en) * | 2013-10-09 | 2015-04-16 | Tencent Technology (Shenzhen) Company Limited | Devices and methods for generating test cases |
CN104598380A (zh) * | 2015-01-16 | 2015-05-06 | 广东欧珀移动通信有限公司 | 一种基于控件的自动化测试方法及系统 |
CN104717236A (zh) * | 2013-12-11 | 2015-06-17 | 中国移动通信集团公司 | 一种设备性能测试方法及装置 |
US20150186253A1 (en) * | 2013-12-30 | 2015-07-02 | Microsoft Corporation | Streamlined performance testing for developers |
CN105068936A (zh) * | 2015-09-18 | 2015-11-18 | 北京金山安全软件有限公司 | 一种软件的稳定性的测试方法及装置 |
CN105335280A (zh) * | 2014-07-16 | 2016-02-17 | 北京奇虎科技有限公司 | 程序性能测试方法和装置 |
CN105808427A (zh) * | 2016-03-02 | 2016-07-27 | 厦门美图移动科技有限公司 | 一种移动终端软件测试方法、装置和系统 |
CN106021111A (zh) * | 2016-05-30 | 2016-10-12 | 上海携程商务有限公司 | 接口测试方法及系统 |
-
2016
- 2016-10-13 CN CN201610893858.4A patent/CN106502887A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793318A (zh) * | 2012-10-29 | 2014-05-14 | 百度在线网络技术(北京)有限公司 | 一种模块稳定性的分布式测试方法及装置 |
CN103544103A (zh) * | 2013-09-02 | 2014-01-29 | 烟台中科网络技术研究所 | 一种软件性能测试模拟并发方法及系统 |
WO2015051735A1 (en) * | 2013-10-09 | 2015-04-16 | Tencent Technology (Shenzhen) Company Limited | Devices and methods for generating test cases |
CN104717236A (zh) * | 2013-12-11 | 2015-06-17 | 中国移动通信集团公司 | 一种设备性能测试方法及装置 |
CN103678132A (zh) * | 2013-12-18 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 一种应用软件云测试系统 |
US20150186253A1 (en) * | 2013-12-30 | 2015-07-02 | Microsoft Corporation | Streamlined performance testing for developers |
CN105335280A (zh) * | 2014-07-16 | 2016-02-17 | 北京奇虎科技有限公司 | 程序性能测试方法和装置 |
CN104598380A (zh) * | 2015-01-16 | 2015-05-06 | 广东欧珀移动通信有限公司 | 一种基于控件的自动化测试方法及系统 |
CN105068936A (zh) * | 2015-09-18 | 2015-11-18 | 北京金山安全软件有限公司 | 一种软件的稳定性的测试方法及装置 |
CN105808427A (zh) * | 2016-03-02 | 2016-07-27 | 厦门美图移动科技有限公司 | 一种移动终端软件测试方法、装置和系统 |
CN106021111A (zh) * | 2016-05-30 | 2016-10-12 | 上海携程商务有限公司 | 接口测试方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273296A (zh) * | 2017-06-26 | 2017-10-20 | 上海传英信息技术有限公司 | 一种软件的测试方法及测试装置 |
CN107992418A (zh) * | 2017-12-05 | 2018-05-04 | 郑州云海信息技术有限公司 | 一种提高软件测试稳定性的方法及系统 |
CN112965889A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 稳定性测试方法、装置、电子设备及可读存储介质 |
CN115514681A (zh) * | 2022-09-16 | 2022-12-23 | 北京天融信网络安全技术有限公司 | 一种测试设备稳定性的方法、装置、系统、设备及介质 |
CN115514681B (zh) * | 2022-09-16 | 2024-02-06 | 北京天融信网络安全技术有限公司 | 一种测试设备稳定性的方法、装置、系统、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Di Nardo et al. | Coverage‐based regression test case selection, minimization and prioritization: A case study on an industrial system | |
US10291471B1 (en) | Methods and apparatus for remediation execution | |
WO2018120721A1 (zh) | 用户界面的测试方法、系统、电子装置及计算机可读存储介质 | |
CN109586952A (zh) | 服务器扩容方法、装置 | |
CN106502887A (zh) | 一种稳定性测试方法、测试控制器及系统 | |
CN106933709A (zh) | 一种测试方法及装置 | |
CN105447740A (zh) | 基于Golang的反刷单方法 | |
US20080276129A1 (en) | Software tracing | |
CN109491860A (zh) | 应用程序的异常检测方法、终端设备及介质 | |
US20150135018A1 (en) | Analysis method, analysis apparatus, computer-readable storage medium storing analysis program | |
US10467590B2 (en) | Business process optimization and problem resolution | |
CN111629010A (zh) | 一种恶意用户识别方法及装置 | |
CN106528415A (zh) | 一种软件兼容性测试方法、业务平台及系统 | |
AlGhamdi et al. | Towards reducing the time needed for load testing | |
CN109324968A (zh) | 一种系统测试方法及装置 | |
CN109324959A (zh) | 一种自动转移数据的方法、服务器及计算机可读存储介质 | |
CN104901833B (zh) | 一种发现异常设备的方法及装置 | |
CN109684863A (zh) | 数据防泄漏方法、装置、设备及存储介质 | |
US20140359365A1 (en) | Integrated Configuration Management and Monitoring for Computer Systems | |
CN109542341A (zh) | 一种读写io监测方法、装置、终端及计算机可读存储介质 | |
CN114116422A (zh) | 一种硬盘日志分析方法、硬盘日志分析装置及存储介质 | |
CN113127356A (zh) | 压测方法、装置、电子设备及存储介质 | |
CN107203373B (zh) | 界面控件的获取方法、测试方法及获取装置、测试装置 | |
CN116319242A (zh) | 一种基于rpa技术的云管平台微服务调度方法及装置 | |
CN109933506A (zh) | 服务器大数据性能评价方法、系统及电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170315 |