CN107678972B - 一种测试用例的评估方法及相关装置 - Google Patents
一种测试用例的评估方法及相关装置 Download PDFInfo
- Publication number
- CN107678972B CN107678972B CN201711024695.7A CN201711024695A CN107678972B CN 107678972 B CN107678972 B CN 107678972B CN 201711024695 A CN201711024695 A CN 201711024695A CN 107678972 B CN107678972 B CN 107678972B
- Authority
- CN
- China
- Prior art keywords
- test case
- bug
- test
- case
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 325
- 238000011156 evaluation Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种测试用例的评估方法，包括：收集每个测试用例的执行数据，记录每个测试用例的BUG信息，将所有执行数据和所有BUG信息进行处理得到测试用例属性列表；其中，BUG信息是指当测试用例在测试过程中出现BUG时关联BUG的BUG编号；根据测试用例属性列表判断测试用例是否关联BUG；若是，则将测试用例的评估结果设置为在第一预设时间段内保持可用。通过判断测试用例是否关联相关BUG来控制测试用例的使用时长，进而控制用例库的数量规模，可以保持测试用例的覆盖度以及有效性，减少资源占用，提高测试效率。本申请还公开了一种测试用例的评估装置、服务器以及计算机可读存储介质，具有上述有益效果。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种测试用例的评估方法、评估装置、服务器以及计算机可读存储介质。
背景技术
随着计算机行业的快速发展，智能终端的普及率大大提高，可以享受到快速便捷的信息化生活。预期配套的软件开发业务，也随着提供的服务多样化，使用的次数越多，软件开发的工程量也越来越大，随之而来的对于软件的自动化测试用例的数量也越来越多，测试用例的用例库也会越来越庞大。测试用例会占用越来越多的资源，包括机器资源、执行时间、执行结果的分析等消耗都会持续增长。
通常，测试人员会针对测试用例在测试中的日志信息去评估测试用例的额生命周期，从而判断该测试用例的持续时间以及下架时间，从而控制测试用例的数量。
但是，基于测试用例的日志信息无法关联到测试用例本身对于软件的测试情况，即无法得知该测试用例的测试过程是否会出现BUG以及相关联的BUG，进而测试用例就没有办法很好覆盖该软件的未知BUG，再进一步的会导致测试的准确性下降，无法更好的测试软件。
因此，如何在不降低测试用例的覆盖度的及有效性的前提下，控制用例库的规模是本领域技术人员所关注的重点问题。
发明内容
本申请的目的是提供一种测试用例的评估方法、评估装置、服务器以及计算机可读存储介质，通过判断测试用例是否关联相关BUG来设置该测试用例的使用长度控制用例库的规模，可以保持后续测试中会出现许多与该BUG相关的BUG，从而保持测试用例的覆盖度以及有效性，减少测试用例的资源占用同时提高测试效率。
为解决上述技术问题，本申请提供一种测试用例的评估方法，包括：
收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；
根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
若是，则将所述测试用例的评估结果设置为在第一预设时间段内保持可用。
可选的，该方法还包括：
当所述测试用例没有关联所述BUG，判断所述测试用例的所述用例优先级别是否高于预设级别；
当所述测试用例的优先级别高于所述预设级别，将所述评估结果设置为在对应项目的周期内可用；
当所述测试用例的优先级别等于低于所述预设级别，根据所述执行时间数据判断所述测试用例的平均用时是否超过用时阈值；
当所述测试用例的平均用时超过所述用时阈值，将所述评估结果设置为立即下架；
当所述测试用例的平均用时不超过所述用时阈值，判断所述测试用例是否在第二预设时间段内未出现相关的错误；
当所述测试用例在所述第二预设时间段内未出现相关的错误，将所述评估结果设置为在第三预设时间段后下架。
可选的，该方法还包括：
将所述评估结果返回至调度工具，使所述调度工具根据所述评估结果对所述测试用例进行管理。
本申请还提供一种测试用例的评估装置，包括：
执行数据获取模块，用于收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息，将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
关联BUG判断模块，用于根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
第一评估模块，用于当所述测试用例关联所述BUG时，将所述测试用例的评估结果设置为在第一预定时间段内保持可用。
可选的，该装置还包括：
优先级判断模块，用于当所述测试用例没有关联所述BUG，判断所述测试用例的所述测试用例优先级别是否高于预设级别；
第二评估模块，用于当所述测试用例的优先级别高于所述预设级别，将所述评估结果设置为在对应项目的周期内可用；
测试用时判断模块，用于当所述测试用例的优先级别不高于所述预设级别，根据所述执行时间数据判断所述测试用例的平均用时是否超过用时阈值；
第三评估模块，用于当所述测试用例的平均用时超过所述用时阈值，将所述评估结果设置为立即下架；
错误判断模块，用于当所述测试用例的平均用时不超过所述用时阈值，判断所述测试用例是否在第二预设时间段内未出现相关的错误；
第四评估模块，用于当所述测试用例在所述第二预设时间段内未出现相关的错误，将所述评估结果设置为在第三预设时间段后下架。
可选的，该装置还包括：
管理模块，用于将所述评估结果返回至调度工具，使所述调度工具根据所述评估结果对所述测试用例进行管理。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时，实现如下的步骤：
收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息，将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
若是，则将所述测试用例的评估结果设置为在第一预设时间段内保持可用。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如下的步骤：
收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息，将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
若是，则将所述测试用例的评估结果设置为在第一预设时间段内保持可用。
本申请所提供的一种测试用例的评估方法，包括：收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息，将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；若是，则将所述测试用例的评估结果设置为在第一预设时间段内保持可用。
通过判断测试用例在测试中是否关联BUG，来确定测试用例的保持时间市场以及下架时间，控制用例库的规模，可以在测试中出现更多与该测试用例管理的BUG相关的BUG，进而可以保持测试用例的覆盖度，就可以在保持测试用例的有效性的前提下可以控制测试用例的数量，消除冗余，减少测试用例的存储资源占用，提高测试效率。
本申请还提供一种测试用例的评估装置、服务器以及计算机可读存储介质，具有上述有益效果，在此不再做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种测试用例的评估方法的流程图；
图2为本申请实施例所提供的一种测试用例的评估方法的非关联BUG用例测试的流程图；
图3为本申请实施例所提供的一种测试用例的评估装置的结构示意图。
具体实施方式
本申请的核心是提供一种测试用例的评估方法、评估装置、服务器以及计算机可读存储介质，通过判断测试用例是否关联相关BUG来设置该测试用例的使用长度，控制用例库的规模，利用该测试用例会出现许多与该BUG相关的BUG，从而保持测试用例的覆盖度以及有效性，还可以清除测试用例的冗余，减少资源占用，提高测试效率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种测试用例的评估方法的流程图。
本实施例提供一种测试用例的评估方法，可以在保持测试用例有效性的前提下有效的控制测试用例的规模，该方法可以包括：
S101，收集每个测试用例的执行数据，记录每个测试用例的BUG信息；其中，BUG信息是指当测试用例在测试过程中出现BUG时关联BUG的BUG编号；其中，执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
S102，将所有执行数据和所有BUG信息进行处理得到测试用例属性列表；
步骤S101和步骤S102旨在获取每个测试用例的执行数据和BUG信息，根据执行数据和BUG信息关联整理出用例属性列表。
其中，测试用例是指在自动化测试中，实施测试使用为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。一般在实施例自动化测试中，会使用自动化测试工具配合测试用例对软件进行测试。面对软件的日益复杂，需要测试的需求也就越来越多，随着项目的持续推进，测试用例的用例库的规模会越来越庞大，占用的资源也会越来越多，导致测试的性能和效率都下降，因此需要控制测试用例的规模，消除冗余。
因此就需要对测试用例进行评估，决定其使用的周期。但是对于软件测试其测试过程中获取的数据众多，繁杂，许多数据都无法作为评估测试用例的依据。测试人员面对众多数据，没有理论依据可以帮助测试人员评估该测试用例，造成评估的不准确，容易使测试用例覆盖范围下降导致测试不准确。
而本技术方案是基于大量的测试经验得出的当出现一个BUG，在后续测试中继续会出现大量的相关BUG。由于一般在软件开发中，一个功能模块一般会由一个人编写，并且同一个人在编写软件时其编写习惯相同，因此出现的BUG也会有一定相关性。所以基于BUG去评估测试用例的使用周期控制测试用例的数量规模，可以最大限度的保持测试用例的覆盖范围。进一步的还可以消除测试用例的冗余，减少资源占用，提高测试效率。
因此，步骤S101中在获取测试用例的执行数据的基础上，还记录每个测试用例的所关联的BUG信息，用以评估测试用例的使用周期。
其中，BUG信息具体的是指在测试过程中该测试用例测试出BUG时，会记录该BUG，并将该BUG放在BUG库中记录并编号，而在测试用例的BUG信息中就是BUG编号。
其中，获取的执行数据主要是在自动化测试工具的日志中选取测试用例的执行时间数据、执行结果数据以及用例优先级别。
进一步的，步骤S102根据测试用例的BUG信息和执行数据可以整理得到测试用例相关的属性列表，可以如表1。
表1测试用例的属性列表
其中，最近一次执行时间和最近N次的平均执行时间为该测试用例的执行时间数据，是否失败是该测试用例的执行结果数据，模块重要程度是该测试用例的用力优先级别，BUG信息就是该测试用例的所关联的BUG编号。
当然，BUG信息的具体表现形式除了关联了具体BUG的BUG编号，还可以是BUG的类别，也可以是以众多BUG形成BUG关系树中的关系节点，所以应视具体的情况和BUG的表示方法选择不同的BUG信息的标识形式，在此不再做赘述。
S103，根据测试用例属性列表判断测试用例是否关联BUG；
在步骤S101和步骤S102的基础上，本步骤旨在根据BUG信息判断测试用例是否关联BUG。基于上述BUG信息的表示形式，本步骤中通过判断该BUG信息中是否有BUG编号就可以判断测试用例是否关联BUG。
当然，随着上一步骤中的BUG信息的表现形式的变化，本步骤中进行判断的依据也会发生变化，具体的应视不同情况再选择不同的判断方式，不做赘述。
S104，若是，则将测试用例的评估结果设置为在第一预设时间段内保持可用。
基于步骤S103，本步骤旨在将关联BUG的测试用例保持在第一预设时间段内可用。
由于当出现BUG时，针对同一个测试用例在后续测试中还会出现更多的相关BUG，因此就需要保持该测试用例在一定时间中可用，而对于其他的测试用可以使用执行数据举行进行评估，以确定每个测试用例的使用周期，可以在不降低测试的覆盖范围的情况下降低，有效的控制用例库的规模，消除测试用例的冗余。
其中，评估结果是测试用例管理工具对测试用例进行管理的依据，在本步骤中对测试用例的评估结果进行设置，管理工具就可以根据评估结果对测试用例进行相应的措施。
其中，第一预设时间段可以是大于项目周期的时长，还可以根据开发人员的流动性进行确定，所以应视不同的情况的确定不同的时长，但是都要保持该关联了BUG的测试用例可以的使用周期满足测试的覆盖性要求。
综上，可以通过判断测试用例在测试中是否关联BUG，来确定测试用例的保持时间市场以及下架时间，控制用例库的规模，可以在测试中出现更多与该测试用例管理的BUG相关的BUG，就可以保持测试用例的覆盖度，进一步在保持测试用例的有效性的前提下可以控制测试用例的数量，消除冗余。
请参考图2，图2为本申请实施例所提供的一种测试用例的评估方法的非关联BUG用例测试的流程图。
基于上一实施例，本实施例主要是针对上一实施例中的如何评估没有关联BUG的测试用例做的一个扩充说明，其他部分与上一实施例大体相同，相同部分可以参考上一实施例，具体的在此不再做赘述。
本实施例可以包括：
S201，当测试用例没有关联BUG，判断测试用例的用例优先级别是否高于预设级别；
S202，若是，则将评估结果设置为在对应项目的周期内可用；
步骤S201和步骤S202旨在根据测试用例的优先级别，即属性列表中的模块重要程度，判断测试用例的是否需要设置与项目周期一样的可以时长。
其中，测试用例的优先级别是指测试用例子整个测试项目中所测试的需求点是否具有高优先级而定的。
S203，若否，则根据执行时间数据判断测试用例的平均用时是否超过用时阈值；
S204，若是，则将评估结果设置为立即下架；
在步骤S202的基础上，步骤S203和步骤S204旨在将测试用时超时的测试用立即下架，防止其在测试中占用过多的测试时间。
其中，用时阈值可以根据测试整体过程中的测试用例的用时进行选择，可以根据其他条件的测试用例的时长进行选择，具体的在此不做赘述。
S205，若否，则判断测试用例是否在第二预设时间段内未出现相关的错误；
S206，若是，则将评估结果设置为在第三预设时间段后下架。
在步骤S204的基础上，步骤旨在将没有出现错误的测试用例将其在一定时间后下架。没有出现错误的测试用例即没有测试BUG相关的失败的测试利用，在一定时间中没有错误的测试用例在很大几率上在后续的测试中也不会出现错误，即测试可以通过，所以就将该测试用例在一定时间后下架用以控制测试用例的数量。
其中，第二预设时间段和第三预设时间段可以根据实际情况进行选择，在此不再做赘述。
可选的，评估方法的周期与频率可以根据实际需求进行调整。对于评估的评估结果可以通过手动的方式进行调整，即用例的执行人员可以根据其他的一些情况对测试用例的评估结果进行调整，以达到特殊目的。
可选的，本实施例还可以包括，将评估结果返回至调度工具，使调度工具根据评估结果对测试用例进行管理。通过本步骤可以直接将评估结果应用到后续测试周期的用例自动化执行。
本申请实施例提供了一种测试用例的评估方法，可以通过判断测试用例是否关联相关BUG来设置该测试用例的使用长度，控制用例库的规模，可以保持在后续测试中会出现许多与该BUG相关的BUG，从而保持测试用例的覆盖度以及有效性。
下面对本申请实施例提供的一种测试用例的评估装置进行介绍，下文描述的一种测试用例的评估装置与上文描述的一种测试用例的评估方法可相互对应参照。
请参考图3，图3为本申请实施例所提供的一种测试用例的评估装置的结构示意图。
本实施例提供一种测试用例的评估装置，可以包括：
执行数据获取模块100，用于收集每个测试用例的执行数据，记录每个测试用例的BUG信息，将所有执行数据和所有BUG信息进行处理得到测试用例属性列表；其中，BUG信息是指当测试用例在测试过程中出现BUG时关联BUG的BUG编号；其中，执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
关联BUG判断模块200，用于根据测试用例属性列表判断测试用例是否关联BUG；
第一评估模块300，用于当测试用例关联BUG时，将测试用例的评估结果设置为在第一预定时间段内保持可用。
可选的，该装置还可以包括：
优先级判断模块，用于当测试用例没有关联BUG，判断测试用例的测试用例优先级别是否高于预设级别；
第二评估模块，用于当测试用例的优先级别高于预设级别，将评估结果设置为在对应项目的周期内可用；
测试用时判断模块，用于当测试用例的优先级别不高于预设级别，根据执行时间数据判断测试用例的平均用时是否超过用时阈值；
第三评估模块，用于当测试用例的平均用时超过用时阈值，将评估结果设置为立即下架；
错误判断模块，用于当测试用例的平均用时不超过用时阈值，判断测试用例是否在第二预设时间段内未出现相关的错误；
第四评估模块，用于当测试用例在第二预设时间段内未出现相关的错误，将评估结果设置为在第三预设时间段后下架。
可选的，该装置还可以包括：
管理模块，用于将评估结果返回至调度工具，使调度工具根据评估结果对测试用例进行管理。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时，实现如下的步骤：
收集每个测试用例的执行数据，记录每个测试用例的BUG信息，将所有执行数据和所有BUG信息进行处理得到测试用例属性列表；其中，BUG信息是指当测试用例在测试过程中出现BUG时关联BUG的BUG编号；其中，执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
根据测试用例属性列表判断测试用例是否关联BUG；
若是，则将测试用例的评估结果设置为在第一预定时间段内保持可用。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如下的步骤：
收集每个测试用例的执行数据，记录每个测试用例的BUG信息，将所有执行数据和所有BUG信息进行处理得到测试用例属性列表；其中，BUG信息是指当测试用例在测试过程中出现BUG时关联BUG的BUG编号；其中，执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
根据测试用例属性列表判断测试用例是否关联BUG；
若是，则将测试用例的评估结果设置为在第一预定时间段内保持可用。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种测试用例的评估方法、评估装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (6)
1.一种测试用例的评估方法，其特征在于，包括：
收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；
根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
若是，则将所述测试用例的评估结果设置为在第一预设时间段内保持可用；
当所述测试用例没有关联所述BUG，判断所述测试用例的所述用例优先级别是否高于预设级别；
当所述测试用例的优先级别高于所述预设级别，将所述评估结果设置为在对应项目的周期内可用；
当所述测试用例的优先级别等于低于所述预设级别，根据所述执行时间数据判断所述测试用例的平均用时是否超过用时阈值；
当所述测试用例的平均用时超过所述用时阈值，将所述评估结果设置为立即下架；
当所述测试用例的平均用时不超过所述用时阈值，判断所述测试用例是否在第二预设时间段内未出现相关的错误；
当所述测试用例在所述第二预设时间段内未出现相关的错误，将所述评估结果设置为在第三预设时间段后下架。
2.根据权利要求1所述的评估方法，其特征在于，还包括：
将所述评估结果返回至调度工具，使所述调度工具根据所述评估结果对所述测试用例进行管理。
3.一种测试用例的评估装置，其特征在于，包括：
执行数据获取模块，用于收集每个测试用例的执行数据，记录每个所述测试用例的BUG信息，将所有所述执行数据和所有所述BUG信息进行处理得到测试用例属性列表；其中，所述BUG信息是指当所述测试用例在测试过程中出现BUG时关联所述BUG的BUG编号；其中，所述执行数据包括：执行时间数据、执行结果数据以及用例优先级别；
关联BUG判断模块，用于根据所述测试用例属性列表判断所述测试用例是否关联所述BUG；
第一评估模块，用于当所述测试用例关联所述BUG时，将所述测试用例的评估结果设置为在第一预定时间段内保持可用；
优先级判断模块，用于当所述测试用例没有关联所述BUG，判断所述测试用例的所述测试用例优先级别是否高于预设级别；
第二评估模块，用于当所述测试用例的优先级别高于所述预设级别，将所述评估结果设置为在对应项目的周期内可用；
测试用时判断模块，用于当所述测试用例的优先级别不高于所述预设级别，根据所述执行时间数据判断所述测试用例的平均用时是否超过用时阈值；
第三评估模块，用于当所述测试用例的平均用时超过所述用时阈值，将所述评估结果设置为立即下架；
错误判断模块，用于当所述测试用例的平均用时不超过所述用时阈值，判断所述测试用例是否在第二预设时间段内未出现相关的错误；
第四评估模块，用于当所述测试用例在所述第二预设时间段内未出现相关的错误，将所述评估结果设置为在第三预设时间段后下架。
4.根据权利要求3所述的评估装置，其特征在于，还包括：
管理模块，用于将所述评估结果返回至调度工具，使所述调度工具根据所述评估结果对所述测试用例进行管理。
5.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述的评估方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711024695.7A CN107678972B (zh) | 2017-10-27 | 2017-10-27 | 一种测试用例的评估方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711024695.7A CN107678972B (zh) | 2017-10-27 | 2017-10-27 | 一种测试用例的评估方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107678972A CN107678972A (zh) | 2018-02-09 |
| CN107678972B true CN107678972B (zh) | 2021-03-26 |
Family
ID=61142682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711024695.7A Active CN107678972B (zh) | 2017-10-27 | 2017-10-27 | 一种测试用例的评估方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107678972B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110262956A (zh) * | 2018-03-12 | 2019-09-20 | 中移(苏州)软件技术有限公司 | 一种测试用例选择方法及装置 |
| CN110955588B (zh) * | 2018-09-26 | 2021-10-22 | 华为技术有限公司 | 一种测试用例的质量确定方法和装置 |
| CN111324533B (zh) * | 2020-02-17 | 2022-10-18 | 支付宝(杭州)信息技术有限公司 | A/b测试方法、装置及电子设备 |
| US11182279B1 (en) | 2020-08-10 | 2021-11-23 | International Business Machines Corporation | Optimizing test case execution |
| CN112579454B (zh) * | 2020-12-23 | 2023-02-24 | 武汉木仓科技股份有限公司 | 一种任务数据的处理方法、装置以及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5724273A (en) * | 1994-10-20 | 1998-03-03 | Tandem Computers Incorporated | Method and apparatus for analyzing test results obtained by applying a binary table and a suite of test scripts to a test subsystem control facility for a distributed systems network |
| CN103257918A (zh) * | 2012-02-16 | 2013-08-21 | 广州博纳信息技术有限公司 | 基于软件测评平台的项目测试过程管理方法 |
| CN105302723A (zh) * | 2015-11-06 | 2016-02-03 | 北京京东尚科信息技术有限公司 | 测试用例评估方法和装置 |
| CN105930257A (zh) * | 2015-10-12 | 2016-09-07 | 中国银联股份有限公司 | 一种确定目标测试用例的方法及装置 |
| CN106155889A (zh) * | 2015-04-02 | 2016-11-23 | 工业和信息化部计算机与微电子发展研究中心（中国软件评测中心） | 一种炸药生产监控系统的测评方法 |
-
2017
- 2017-10-27 CN CN201711024695.7A patent/CN107678972B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5724273A (en) * | 1994-10-20 | 1998-03-03 | Tandem Computers Incorporated | Method and apparatus for analyzing test results obtained by applying a binary table and a suite of test scripts to a test subsystem control facility for a distributed systems network |
| CN103257918A (zh) * | 2012-02-16 | 2013-08-21 | 广州博纳信息技术有限公司 | 基于软件测评平台的项目测试过程管理方法 |
| CN106155889A (zh) * | 2015-04-02 | 2016-11-23 | 工业和信息化部计算机与微电子发展研究中心（中国软件评测中心） | 一种炸药生产监控系统的测评方法 |
| CN105930257A (zh) * | 2015-10-12 | 2016-09-07 | 中国银联股份有限公司 | 一种确定目标测试用例的方法及装置 |
| CN105302723A (zh) * | 2015-11-06 | 2016-02-03 | 北京京东尚科信息技术有限公司 | 测试用例评估方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 针对能耗和并发缺陷的安卓应用测试用例生成研究;李其玮;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170815;I136-79 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107678972A (zh) | 2018-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107678972B (zh) | 一种测试用例的评估方法及相关装置 | |
| CN107193750B (zh) | 一种脚本录制方法和装置 | |
| CN106055464B (zh) | 数据缓存集群压力测试装置及方法 | |
| CN108984389B (zh) | 一种应用程序测试方法及终端设备 | |
| CN106997316B (zh) | 内存异常增长的检测系统及方法 | |
| CN110688168A (zh) | 提高应用程序启动速度方法、装置、设备及存储介质 | |
| CN112540887A (zh) | 故障演练方法、装置、电子设备及存储介质 | |
| CN108446224B (zh) | 移动端上应用程序的性能分析方法、存储介质 | |
| CN110688063A (zh) | 一种Raid的慢盘筛选方法、装置、设备及介质 | |
| CN109144715B (zh) | 一种资源优化与更新的方法、服务器及设备 | |
| CN109491883A (zh) | 一种安卓平台下多应用间性能同时检测对比方法与系统 | |
| CN109542341B (zh) | 一种读写io监测方法、装置、终端及计算机可读存储介质 | |
| CN110532187B (zh) | 一种hdfs吞吐性能测试方法、系统、终端及存储介质 | |
| CN112802529A (zh) | 一种军工级Nand闪存的检测方法、装置、电子设备及存储介质 | |
| CN116682479A (zh) | 一种企业级固态硬盘时延指标的测试方法及测试系统 | |
| CN111400171A (zh) | 一种接口测试方法、系统、装置及可读存储介质 | |
| CN106202374A (zh) | 一种数据处理方法及装置 | |
| CN114238395A (zh) | 一种数据库优化方法、装置、电子设备及存储介质 | |
| CN113849484A (zh) | 一种大数据组件升级方法、装置、电子设备及存储介质 | |
| CN111385342B (zh) | 一种物联网行业识别方法、装置、电子设备及存储介质 | |
| CN110471829B (zh) | 软件代码测试覆盖率的检查方法及装置 | |
| CN112416417A (zh) | 一种代码量统计方法、装置、电子设备及存储介质 | |
| CN107102938B (zh) | 测试脚本的更新方法及装置 | |
| CN108415822B (zh) | 一种随机测试方法和装置 | |
| CN111352852A (zh) | 一种回归测试案例的选择方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210219 Address after: Building 9, No.1, guanpu Road, Guoxiang street, Wuzhong Economic Development Zone, Wuzhong District, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Room 1601, floor 16, 278 Xinyi Road, Zhengdong New District, Zhengzhou City, Henan Province Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |