CN109460366A - 一种软件稳定性测试方法、装置、设备及介质 - Google Patents

一种软件稳定性测试方法、装置、设备及介质 Download PDF

Info

Publication number
CN109460366A
CN109460366A CN201811366970.8A CN201811366970A CN109460366A CN 109460366 A CN109460366 A CN 109460366A CN 201811366970 A CN201811366970 A CN 201811366970A CN 109460366 A CN109460366 A CN 109460366A
Authority
CN
China
Prior art keywords
test
software
sequence
case
stability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811366970.8A
Other languages
English (en)
Inventor
周广跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811366970.8A priority Critical patent/CN109460366A/zh
Publication of CN109460366A publication Critical patent/CN109460366A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种软件稳定性测试方法、装置、设备及介质，包括：确定不同测试用例各自对应的执行顺序；按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；对所述测试日志进行检查，以确定所述目标软件的稳定性。本申请中，由于上述测试过程需要借助多个测试用例，并且能够在测试之前先确定出各个测试用例的执行顺序，这样通过上述执行顺序可以设定的多个测试用例，便可模拟出比较复杂的软件运行过程，从而使得最终得到的测试日志能够反映出软件在上述比较复杂的运行过程中的稳定特性，可见，本申请能够有效地对软件的稳定性进行测试。

Description

一种软件稳定性测试方法、装置、设备及介质
技术领域
本申请涉及软件测试领域，特别涉及一种软件稳定性测试方法、装置、设备及介质。
背景技术
目前，很多行业都会使用到各种各样的软件，在各种软件的帮助下，人们能够方便快捷地完成各种业务。
然而，用户在使用软件的过程中，经常会遇到重启、离线、崩溃等严重问题，这些问题会严重影响用户的使用体验。为此，有必要在软件推出之前先对其稳定性进行测试，而如何实现对软件的稳定性测试是目前大家比较关注的地方。
发明内容
有鉴于此，本申请的目的在于提供一种软件稳定性测试方法、装置、设备及介质，能够有效地对软件的稳定性进行测试。其具体方案如下：
第一方面，本申请公开了一种软件稳定性测试方法，包括：
确定不同测试用例各自对应的执行顺序；
按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；
对所述测试日志进行检查，以确定所述目标软件的稳定性。
可选的，所述确定不同测试用例各自对应的执行顺序，包括：
通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序。
可选的，所述通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序，包括：
分别为每个测试用例各自添加唯一的随机数；
按照测试用例对应的随机数的大小顺序，确定不同测试用例各自对应的执行顺序。
可选的，所述分别为每个测试用例各自添加唯一的随机数，包括：
分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
可选的，所述分别在每个测试用例各自对应的用例名称中添加唯一的随机数，包括：
利用Python元类，分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
可选的，所述确定不同测试用例各自对应的执行顺序，包括：
获取用户的软件操作习惯；
基于所述软件操作习惯，确定不同测试用例各自对应的执行顺序。
可选的，所述按照所述执行顺序，依次执行相应的测试用例，包括：
基于Unittest测试框架，并按照所述执行顺序，依次执行相应的测试用例。
第二方面，本申请公开了一种软件稳定性测试装置，包括：
顺序确定模块，用于确定不同测试用例各自对应的执行顺序；
用例执行模块，用于按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；
日志检查模块，用于对所述测试日志进行检查，以确定所述目标软件的稳定性。
第三方面，本申请公开了一种软件稳定性测试设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的软件稳定性测试方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的软件稳定性测试方法。
可见，本申请是利用多个测试用例来对软件展开测试的，并且在测试之前先确定出不同测试用例各自对应的执行顺序，然后按照确定出的执行顺序依次执行上述多个测试用例，以得到相应的测试日志。由于上述测试过程需要借助多个测试用例，并且能够在测试之前先确定出各个测试用例的执行顺序，这样通过上述执行顺序可以设定的多个测试用例，便可模拟出比较复杂的软件运行过程，从而使得最终得到的测试日志能够反映出软件在上述比较复杂的运行过程中的稳定特性。综上，本申请能够有效地对软件的稳定性进行测试。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种软件稳定性测试方法流程图；
图2为本申请公开的一种具体的软件稳定性测试方法流程图；
图3为本申请公开的一种具体的软件稳定性测试方法流程图；
图4为本申请公开的一种软件稳定性测试装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种软件稳定性测试方法，参见图1所示，包括：
步骤S11：确定不同测试用例各自对应的执行顺序。
本实施例中，通过执行不同的测试用例，可以获得目标软件在不同软件操作下的具体表现，并可记录相应的测试结果。
需要指出的是，本实施例在步骤S11之前，可以先针对目标软件创建多个测试用例，以用来展开后续的测试，或者也可以在预先创建的测试用例库中筛选出多个测试用例，以用来展开后续的测试。
本实施例中，在确定出用来展开后续测试的多个测试用例之后，需要进一步确定出各个测试用例的执行顺序，这样通过上述执行顺序可以设定的多个测试用例，便可模拟出比较复杂的软件运行过程，从而使得最终得到的测试日志能够反映出软件在上述比较复杂的运行过程中的稳定特性。
步骤S12：按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志。
步骤S13：对所述测试日志进行检查，以确定所述目标软件的稳定性。
本实施例中，对测试日志进行检查的过程，具体可以包括监测测试日志中是否存在特定关键词，以此来确定目标软件的稳定性。其中，上述特定关键词包括但不限于crash、shutdown、core和error等。
可见，本申请实施例是利用多个测试用例来对软件展开测试的，并且在测试之前先确定出不同测试用例各自对应的执行顺序，然后按照确定出的执行顺序依次执行上述多个测试用例，以得到相应的测试日志。由于上述测试过程需要借助多个测试用例，并且能够在测试之前先确定出各个测试用例的执行顺序，这样通过上述执行顺序可以设定的多个测试用例，便可模拟出比较复杂的软件运行过程，从而使得最终得到的测试日志能够反映出软件在上述比较复杂的运行过程中的稳定特性。综上，本申请实施例能够有效地对软件的稳定性进行测试。
参见图2所示，本申请实施例还公开了一种具体的软件稳定性测试方法，包括：
步骤S21：通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序。
需要指出的是，本实施例由于考虑到不同用户在使用软件时，存在很多不规律或者非常复杂的软件操作的组合，通过随机确定不同测试用例的执行顺序的方式，能够更好地模拟各种不规律复杂的软件操作组合，使得后续的稳定性测试更加准确。
步骤S22：按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志。
步骤S23：对所述测试日志进行检查，以确定所述目标软件的稳定性。
进一步的，所述按照所述执行顺序，依次执行相应的测试用例，具体可以包括：
基于Unittest测试框架，并按照所述执行顺序，依次执行相应的测试用例。
本实施例中，所述通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序，具体可以包括：
分别为每个测试用例各自添加唯一的随机数，按照测试用例对应的随机数的大小顺序，确定不同测试用例各自对应的执行顺序。
其中，所述分别为每个测试用例各自添加唯一的随机数，具体可以包括：
分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
例如，假设某个测试用例的用例名称为test_xxxx，则本实施例可以向该测试用例的用例名称中添加唯一对应的随机数0000x，得到修改后的用例名称test_0000x_xxxx。
进一步的，所述分别在每个测试用例各自对应的用例名称中添加唯一的随机数，具体可以包括：
利用Python元类(元类，即metaclass)，分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
可以理解的是，上述Python元类是用来修改测试用例名称的元类，本实施例具体可以通过向上述测试框架中增加元类的方式来得到上述Python元类。
参见图3所示，本申请实施例还公开了一种具体的软件稳定性测试方法，包括：
步骤S31：获取用户的软件操作习惯。
步骤S32：基于所述软件操作习惯，确定不同测试用例各自对应的执行顺序。
也即，本实施例可以根据用户的软件操作习惯，来确定不同测试用例各自对应的执行顺序，这样能够使得后续的测试结果能够更好地反映用户的使用习惯。
步骤S33：按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志。
步骤S34：对所述测试日志进行检查，以确定所述目标软件的稳定性。
进一步的，本申请实施例还公开了一种软件稳定性测试装置，参见图4所示，该装置包括：
顺序确定模块11，用于确定不同测试用例各自对应的执行顺序；
用例执行模块12，用于按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；
日志检查模块13，用于对所述测试日志进行检查，以确定所述目标软件的稳定性。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例是利用多个测试用例来对软件展开测试的，并且在测试之前先确定出不同测试用例各自对应的执行顺序，然后按照确定出的执行顺序依次执行上述多个测试用例，以得到相应的测试日志。由于上述测试过程需要借助多个测试用例，并且能够在测试之前先确定出各个测试用例的执行顺序，这样通过上述执行顺序可以设定的多个测试用例，便可模拟出比较复杂的软件运行过程，从而使得最终得到的测试日志能够反映出软件在上述比较复杂的运行过程中的稳定特性。综上，本申请实施例能够有效地对软件的稳定性进行测试。
进一步的，本申请实施例还公开了一种软件稳定性测试设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述实施例公开的软件稳定性测试方法。
其中，关于上述方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的软件稳定性测试方法。
其中，关于上述方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种软件稳定性测试方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种软件稳定性测试方法，其特征在于，包括：
确定不同测试用例各自对应的执行顺序；
按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；
对所述测试日志进行检查，以确定所述目标软件的稳定性。
2.根据权利要求1所述的软件稳定性测试方法，其特征在于，所述确定不同测试用例各自对应的执行顺序，包括：
通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序。
3.根据权利要求2所述的软件稳定性测试方法，其特征在于，所述通过为每个测试用例随机确定执行顺序的方式，确定不同测试用例各自对应的执行顺序，包括：
分别为每个测试用例各自添加唯一的随机数；
按照测试用例对应的随机数的大小顺序，确定不同测试用例各自对应的执行顺序。
4.根据权利要求3所述的软件稳定性测试方法，其特征在于，所述分别为每个测试用例各自添加唯一的随机数，包括：
分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
5.根据权利要求4所述的软件稳定性测试方法，其特征在于，所述分别在每个测试用例各自对应的用例名称中添加唯一的随机数，包括：
利用Python元类，分别在每个测试用例各自对应的用例名称中添加唯一的随机数。
6.根据权利要求1所述的软件稳定性测试方法，其特征在于，所述确定不同测试用例各自对应的执行顺序，包括：
获取用户的软件操作习惯；
基于所述软件操作习惯，确定不同测试用例各自对应的执行顺序。
7.根据权利要求1至6任一项所述的软件稳定性测试方法，其特征在于，所述按照所述执行顺序，依次执行相应的测试用例，包括：
基于Unittest测试框架，并按照所述执行顺序，依次执行相应的测试用例。
8.一种软件稳定性测试装置，其特征在于，包括：
顺序确定模块，用于确定不同测试用例各自对应的执行顺序；
用例执行模块，用于按照所述执行顺序，依次执行相应的测试用例，以实现对目标软件的测试，并记录相应的测试日志；
日志检查模块，用于对所述测试日志进行检查，以确定所述目标软件的稳定性。
9.一种软件稳定性测试设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的软件稳定性测试方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的软件稳定性测试方法。
CN201811366970.8A 2018-11-16 2018-11-16 一种软件稳定性测试方法、装置、设备及介质 Pending CN109460366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811366970.8A CN109460366A (zh) 2018-11-16 2018-11-16 一种软件稳定性测试方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811366970.8A CN109460366A (zh) 2018-11-16 2018-11-16 一种软件稳定性测试方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN109460366A true CN109460366A (zh) 2019-03-12

Family

ID=65610730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366970.8A Pending CN109460366A (zh) 2018-11-16 2018-11-16 一种软件稳定性测试方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109460366A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176918A (zh) * 2019-12-28 2020-05-19 苏州浪潮智能科技有限公司 一种服务器测试方法、系统、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103560829A (zh) * 2013-10-31 2014-02-05 上海斐讯数据通信技术有限公司 一种uni 端口的自动化测试方法及系统
CN104679652A (zh) * 2015-02-15 2015-06-03 北京宇航系统工程研究所 一种基于Markov方法的仿真系统测试用例生成方法
CN105138450A (zh) * 2015-07-31 2015-12-09 北京金山安全软件有限公司 软件稳定性测试方法及装置
CN105786693A (zh) * 2014-12-26 2016-07-20 展讯通信(天津)有限公司 一种自测试执行系统及方法以及移动终端
US20170091624A1 (en) * 2015-07-07 2017-03-30 International Business Machines Corporation Predictive model scoring to optimize test case order in real time
CN107797919A (zh) * 2017-07-24 2018-03-13 平安普惠企业管理有限公司 一种自动化测试的方法及计算设备
CN108415831A (zh) * 2018-02-05 2018-08-17 五八有限公司 测试用例生成方法及装置、电子设备和可读存储介质
CN108540351A (zh) * 2018-04-20 2018-09-14 西北工业大学 分布式大数据服务的自动化测试方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103560829A (zh) * 2013-10-31 2014-02-05 上海斐讯数据通信技术有限公司 一种uni 端口的自动化测试方法及系统
CN105786693A (zh) * 2014-12-26 2016-07-20 展讯通信(天津)有限公司 一种自测试执行系统及方法以及移动终端
CN104679652A (zh) * 2015-02-15 2015-06-03 北京宇航系统工程研究所 一种基于Markov方法的仿真系统测试用例生成方法
US20170091624A1 (en) * 2015-07-07 2017-03-30 International Business Machines Corporation Predictive model scoring to optimize test case order in real time
CN105138450A (zh) * 2015-07-31 2015-12-09 北京金山安全软件有限公司 软件稳定性测试方法及装置
CN107797919A (zh) * 2017-07-24 2018-03-13 平安普惠企业管理有限公司 一种自动化测试的方法及计算设备
CN108415831A (zh) * 2018-02-05 2018-08-17 五八有限公司 测试用例生成方法及装置、电子设备和可读存储介质
CN108540351A (zh) * 2018-04-20 2018-09-14 西北工业大学 分布式大数据服务的自动化测试方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176918A (zh) * 2019-12-28 2020-05-19 苏州浪潮智能科技有限公司 一种服务器测试方法、系统、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US9465718B2 (en) Filter generation for load testing managed environments
US10120783B2 (en) Determining test case efficiency
CN104794049B (zh) 应用程序测试方法和装置
Lo et al. Efficient sensor fault detection using combinatorial group testing
US20070240113A1 (en) Model independent input reduction
Eldh et al. A framework for comparing efficiency, effectiveness and applicability of software testing techniques
CN109522181B (zh) 一种分布式存储系统的性能测试方法、装置和设备
CN105574416A (zh) 一种浏览器漏洞检测方法及装置
CN112260885B (zh) 一种工控协议自动测试方法、系统、装置及可读存储介质
KR101976629B1 (ko) 커미트 민감도 테스트들
CN105183641B (zh) 一种内核模块的数据一致性校验方法及系统
CN104063307B (zh) 一种软件测试方法和系统
CN108287786A (zh) 一种基于地图的自动化测试方法和装置、及混合导航系统
Morgado et al. Impact of execution modes on finding android failures
CN104702463A (zh) 一种对多机房进行旁路测试的方法、装置及系统
CN104298589B (zh) 一种性能测试方法和设备
US9501390B1 (en) Enhancing automated mobile application testing
CN109460366A (zh) 一种软件稳定性测试方法、装置、设备及介质
CN107766230A (zh) 一种基于配置文件进行测试的方法与设备
CN107153601B (zh) 单元性能测试方法及设备
CN110888809B (zh) 一种测试任务的风险预测方法及装置
CN115733741B (zh) 一种针对待测系统的异常场景测试方法和装置
US9852048B2 (en) Simulating process variable changes during process runtime
CN109189673B (zh) 一种软件的测试方案、测试用例的确定方法及装置
US20140281719A1 (en) Explaining excluding a test from a test suite

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312

RJ01 Rejection of invention patent application after publication