CN108694123A - 一种回归测试方法、计算机可读存储介质及终端设备 - Google Patents
一种回归测试方法、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN108694123A CN108694123A CN201810457091.XA CN201810457091A CN108694123A CN 108694123 A CN108694123 A CN 108694123A CN 201810457091 A CN201810457091 A CN 201810457091A CN 108694123 A CN108694123 A CN 108694123A
- Authority
- CN
- China
- Prior art keywords
- test
- test case
- regression
- software
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明属于计算机技术领域,尤其涉及一种回归测试方法、计算机可读存储介质及终端设备。所述方法获取对软件进行回归测试的测试用例集合;获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例;使用所述优选测试用例对所述软件进行回归测试。本发明引入了测试优先级来对各个测试用例的重要性进行评估,在回归测试时间是有限的情况下,只选取测试优先级最高的部分测试用例对所述软件进行回归测试,确保在有限的时间内发现尽可能多的软件缺陷。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种回归测试方法、计算机可读存储介质及终端设备。
背景技术
当软件修改或升级后,为了保证改进后的软件不引入新的软件缺陷就必须进行回归测试,传统的回归测试是软件开发和维护中的重要活动过程。回归测试过程通常是一个集成测试过程,涉及到大量的测试用例的执行,因此,该过程非常耗时,而一般的回归测试时间是有限的,通常难以对所有的测试用例进行完整的测试,导致难以发现新的软件缺陷。
发明内容
有鉴于此,本发明实施例提供了一种回归测试方法、计算机可读存储介质及终端设备,以解决现有技术难以在有限的回归测试时间内发现新的软件缺陷的问题。
本发明实施例的第一方面提供了一种回归测试方法,可以包括:
获取对软件进行回归测试的测试用例集合;
获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
使用所述优选测试用例对所述软件进行回归测试。
本发明实施例的第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如下步骤:
获取对软件进行回归测试的测试用例集合;
获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
使用所述优选测试用例对所述软件进行回归测试。
本发明实施例的第三方面提供了一种回归测试终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:
获取对软件进行回归测试的测试用例集合;
获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
使用所述优选测试用例对所述软件进行回归测试。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例首先获取对软件进行回归测试的测试用例集合以及获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录,然后根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级,并从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,最后使用所述优选测试用例对所述软件进行回归测试。本发明实施例引入了测试优先级来对各个测试用例的重要性进行评估,而且该测试优先级是根据以往的测试结果记录计算得到的,为测试用例的选取提供了可靠的依据,在回归测试时间是有限的情况下,只选取测试优先级最高的部分测试用例对所述软件进行回归测试,确保在有限的时间内发现尽可能多的软件缺陷。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种回归测试方法的一个实施例流程图;
图2为本发明实施例中一种回归测试方法的步骤S104在一个应用场景下的示意流程图;
图3为本发明实施例中一种回归测试装置的一个实施例结构图;
图4为本发明实施例中一种回归测试终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种回归测试方法的一个实施例可以包括:
步骤S101、获取对软件进行回归测试的测试用例集合。
具体地,首先在预设的测试配置表中查询与所述软件对应的用例数据库,以及所述测试用例集合在所述用例数据库中的存储区间,然后从所述用例数据库的所述存储区间中获取所述测试用例集合。
所述测试配置表中记录了与各个软件分别对应的用例数据库,以及测试用例集合在该用例数据库中的存储区间,如下表所示:
例如,若要对软件A进行回归测试,则通过查表,可以得知与软件A对应的用例数据库为数据库1,且对软件A进行回归测试的测试用例集合存储在数据库1中的存储区间1,也即从起始地址StartAddress1到终止地址EndAddress1之间的存储区间。
步骤S102、获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录。
所述统计时间段可以根据具体情况进行设置,例如,可以将其设置为一周、一个月、两个月或者其它取值。本实施例中,将每次对所述软件进行回归测试所得到的测试结果记录都保存至指定的测试结果数据库中,当有需要时,则从该测试结果数据库中获取这些测试结果记录。
步骤S103、根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级。
本实施例中对测试优先级考虑的主要影响因素有三个:测试用例发现的软件缺陷的数量、测试用例的运行时长和测试用例发现的软件缺陷的严重程度。需要对该三个因素进行综合考虑,其中,测试用例发现的软件缺陷的数量反映了该测试用例对软件缺陷检测的覆盖能力,一个测试用例在执行过程中可能发现一个或多个软件缺陷,发现的软件缺陷越多,说明该测试用例对软件缺陷的覆盖能力越强,测试优先级越高。测试用例的运行时长反映了该测试用例的测试效率,在回归测试中,由于测试过程的时间约束,测试用例集通常不能全部执行,测试用例的运行时长越短,测试优先级越高。测试用例发现的软件缺陷的严重程度反映了该测试用例检测出的软件缺陷的重要程度,软件对不同程度的软件缺陷的可接受程度是不同的,为了在测试过程中及早的发现严重的软件缺陷,测试用例发现的软件缺陷的严重性越高,测试优先级越高。
具体地,首先可以根据下式计算所述测试用例集合中各个测试用例的优先级指数:
其中,t为测试用例的序号,1≤t≤T,T为所述测试用例集合中测试用例的总数,n为在所述统计时间段内对所述软件进行回归测试的次数序号,1≤n≤N,N为在所述统计时间段内对所述软件进行回归测试的总次数,bugseqn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的序号,1≤bugseqn,t≤BugNumn,t,BugNumn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的总个数,RunTimen,t为在第n次回归测试中第t个测试用例的运行时长,为在第n次回归测试中通过第t个测试用例发现的第bugseqn,t个软件缺陷的严重程度,ln为自然对数函数,PriIndext为第t个测试用例的优先级指数。
对于软件缺陷的严重程度的衡量,本实施例可以采用5级划分,即:1级缺陷(疑似缺陷,取值为1)、2级缺陷(轻微缺陷,取值为2)、3级缺陷(一般缺陷,取值为3)、4级缺陷(重大缺陷,取值为4)、5级缺陷(致命缺陷,取值为5)。当然,以上所举的这种划分方式仅仅只是一个示例,实际中可以采用多种不同的级别划分方式。
需要注意的是,BugNumn,t是可以为0的,具体有两种情况,第一种情况是在第n次回归测试中并未对第t个测试用例进行测试,第二种情况是在第n次回归测试中第t个测试用例并未发现任何缺陷,在这两种情况下,均有:
在计算得到各个测试用例的优先级指数之后,可以根据所述优先级指数确定所述测试用例集合中各个测试用例的测试优先级,所述测试优先级与所述优先级指数正相关,即某一测试用例的优先级指数越大,则其测试优先级也越高,反之,若某一测试用例的优先级指数越小,则其测试优先级也越低。
步骤S104、从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例。
其中,TS为大于0的整数。
具体地,步骤S104可以包括如图2所示的步骤:
步骤S1041、将所述测试用例集合中的各个测试用例按照测试优先级从高到低的顺序排列为测试用例序列。
例如,可以排列为如下的测试用例序列:
TestCaseSet={TestCase1,TestCase2,......,TestCasent,......,TestCaseT}
其中,TestCaseSet为所述测试用例序列,TestCasent为所述测试用例序列中第nt个测试用例,1≤nt≤T,且PriIndexnt≥PriIndexnt+1,PriIndexnt为TestCasent的优先级指数。
步骤S1042、获取对所述软件进行回归测试的测试总时长。
该测试总时长可以由测试人员预先根据实际情况进行设置,例如,可以将其设置为30分钟、1小时、2小时或者其它取值。
步骤S1043、确定所述优选测试用例的个数。
具体地,可以将满足下式的TS取值确定为所述优选测试用例的个数:
其中,Nblanknt为在对所述软件进行的N次回归测试中TestCasent未被使用的次数,RunTimen,nt为在第n次回归测试中TestCasent的运行时长,RunTimeLimit为所述测试总时长;
步骤S1044、从所述测试用例序列中选取前TS个测试用例作为所述优选测试用例。
通过以上过程选取的所述优选测试用例是综合考虑了发现的软件缺陷的数量、运行时长和发现的软件缺陷的严重程度等等因素所确定出的最佳测试用例,通过这些优选测试用例可以在有限的测试时间内取得最佳的测试效果。
步骤S105、使用所述优选测试用例对所述软件进行回归测试。
优选地,在使用所述优选测试用例对所述软件进行回归测试之后,还可以根据下式对所述测试用例序列中各个测试用例的优先级指数进行更新:
其中,PriIndexNnt为TestCasent更新后的优先级指数。
在下一次的回归测试中,则可以使用更新后的优先级指数重新选取优选测试用例。
综上所述,本发明实施例首先获取对软件进行回归测试的测试用例集合以及获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录,然后根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级,并从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,最后使用所述优选测试用例对所述软件进行回归测试。本发明实施例引入了测试优先级来对各个测试用例的重要性进行评估,而且该测试优先级是根据以往的测试结果记录计算得到的,为测试用例的选取提供了可靠的依据,在回归测试时间是有限的情况下,只选取测试优先级最高的部分测试用例对所述软件进行回归测试,确保在有限的时间内发现尽可能多的软件缺陷。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种回归测试方法,图3示出了本发明实施例提供的一种回归测试装置的一个实施例结构图。
本实施例中,一种回归测试装置可以包括:
测试用例集合获取模块301,用于获取对软件进行回归测试的测试用例集合;
测试结果记录获取模块302,用于获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
测试优先级确定模块303,用于根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
优选测试用例选取模块304,用于从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
回归测试模块305,用于使用所述优选测试用例对所述软件进行回归测试。
进一步地,所述测试优先级确定模块可以包括:
优先级指数计算单元,用于根据下式计算所述测试用例集合中各个测试用例的优先级指数:
其中,t为测试用例的序号,1≤t≤T,T为所述测试用例集合中测试用例的总数,n为在所述统计时间段内对所述软件进行回归测试的次数序号,1≤n≤N,N为在所述统计时间段内对所述软件进行回归测试的总次数,bugseqn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的序号,1≤bugseqn,t≤BugNumn,t,BugNumn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的总个数,RunTimen,t为在第n次回归测试中第t个测试用例的运行时长,为在第n次回归测试中通过第t个测试用例发现的第bugseqn,t个软件缺陷的严重程度,ln为自然对数函数,PriIndext为第t个测试用例的优先级指数;
测试优先级确定单元,用于根据所述优先级指数确定所述测试用例集合中各个测试用例的测试优先级,所述测试优先级与所述优先级指数正相关。
进一步地,所述优选测试用例选取模块可以包括:
测试用例序列排列单元,用于将所述测试用例集合中的各个测试用例按照测试优先级从高到低的顺序排列为如下的测试用例序列:
TestCaseSet={TestCase1,TestCase2,......,TestCasent,......,TestCaseT}
其中,TestCaseSet为所述测试用例序列,TestCasent为所述测试用例序列中第nt个测试用例,1≤nt≤T,且PriIndexnt≥PriIndexnt+1,PriIndexnt为TestCasent的优先级指数;
测试总时长获取单元,用于获取对所述软件进行回归测试的测试总时长;
优选测试用例个数确定单元,用于将满足下式的TS取值确定为所述优选测试用例的个数:
其中,Nblanknt为在对所述软件进行的N次回归测试中TestCasent未被使用的次数,RunTimen,nt为在第n次回归测试中TestCasent的运行时长,RunTimeLimit为所述测试总时长;
优选测试用例选取单元,用于从所述测试用例序列中选取前TS个测试用例作为所述优选测试用例。
进一步地,所述回归测试装置还可以包括:
优先级指数更新模块,用于根据下式对所述测试用例序列中各个测试用例的优先级指数进行更新:
其中,PriIndexNnt为TestCasent更新后的优先级指数。
进一步地,所述测试用例集合获取模块可以包括:
查询单元,用于在预设的测试配置表中查询与所述软件对应的用例数据库,以及所述测试用例集合在所述用例数据库中的存储区间;
测试用例集合获取单元,用于从所述用例数据库的所述存储区间中获取所述测试用例集合。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图4示出了本发明实施例提供的一种回归测试终端设备的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述回归测试终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该回归测试终端设备4可包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42,例如执行上述的回归测试方法的计算机可读指令。所述处理器40执行所述计算机可读指令42时实现上述各个回归测试方法实施例中的步骤,例如图1所示的步骤S101至S105。或者,所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块301至305的功能。
示例性的,所述计算机可读指令42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令42在所述回归测试终端设备4中的执行过程。
所述处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述回归测试终端设备4的内部存储单元,例如回归测试终端设备4的硬盘或内存。所述存储器41也可以是所述回归测试终端设备4的外部存储设备,例如所述回归测试终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述回归测试终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述回归测试终端设备4所需的其它指令和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种回归测试方法,其特征在于,包括:
获取对软件进行回归测试的测试用例集合;
获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
使用所述优选测试用例对所述软件进行回归测试。
2.根据权利要求1所述的回归测试方法,其特征在于,所述根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级包括:
根据下式计算所述测试用例集合中各个测试用例的优先级指数:
其中,t为测试用例的序号,1≤t≤T,T为所述测试用例集合中测试用例的总数,n为在所述统计时间段内对所述软件进行回归测试的次数序号,1≤n≤N,N为在所述统计时间段内对所述软件进行回归测试的总次数,bugseqn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的序号,1≤bugseqn,t≤BugNumn,t,BugNumn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的总个数,RunTimen,t为在第n次回归测试中第t个测试用例的运行时长,为在第n次回归测试中通过第t个测试用例发现的第bugseqn,t个软件缺陷的严重程度,ln为自然对数函数,PriIndext为第t个测试用例的优先级指数;
根据所述优先级指数确定所述测试用例集合中各个测试用例的测试优先级,所述测试优先级与所述优先级指数正相关。
3.根据权利要求2所述的回归测试方法,其特征在于,所述从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例包括:
将所述测试用例集合中的各个测试用例按照测试优先级从高到低的顺序排列为如下的测试用例序列:
TestCaseSet={TestCase1,TestCase2,......,TestCasent,......,TestCaseT}
其中,TestCaseSet为所述测试用例序列,TestCasent为所述测试用例序列中第nt个测试用例,1≤nt≤T,且PriIndexnt≥PriIndexnt+1,PriIndexnt为TestCasent的优先级指数;
获取对所述软件进行回归测试的测试总时长;
将满足下式的TS取值确定为所述优选测试用例的个数:
其中,Nblanknt为在对所述软件进行的N次回归测试中TestCasent未被使用的次数,RunTimen,nt为在第n次回归测试中TestCasent的运行时长,RunTimeLimit为所述测试总时长;
从所述测试用例序列中选取前TS个测试用例作为所述优选测试用例。
4.根据权利要求3所述的回归测试方法,其特征在于,在使用所述优选测试用例对所述软件进行回归测试之后,还包括:
根据下式对所述测试用例序列中各个测试用例的优先级指数进行更新:
其中,PriIndexNnt为TestCasent更新后的优先级指数。
5.根据权利要求1至4中任一项所述的回归测试方法,其特征在于,所述获取对软件进行回归测试的测试用例集合包括:
在预设的测试配置表中查询与所述软件对应的用例数据库,以及所述测试用例集合在所述用例数据库中的存储区间;
从所述用例数据库的所述存储区间中获取所述测试用例集合。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的回归测试方法的步骤。
7.一种回归测试终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如下步骤:
获取对软件进行回归测试的测试用例集合;
获取在预设的统计时间段内各次对所述软件进行回归测试所得到的测试结果记录;
根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级;
从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例,TS为大于0的整数;
使用所述优选测试用例对所述软件进行回归测试。
8.根据权利要求7所述的回归测试终端设备,其特征在于,所述根据所述测试结果记录分别确定所述测试用例集合中各个测试用例的测试优先级包括:
根据下式计算所述测试用例集合中各个测试用例的优先级指数:
其中,t为测试用例的序号,1≤t≤T,T为所述测试用例集合中测试用例的总数,n为在所述统计时间段内对所述软件进行回归测试的次数序号,1≤n≤N,N为在所述统计时间段内对所述软件进行回归测试的总次数,bugseqn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的序号,1≤bugseqn,t≤BugNumn,t,BugNumn,t为在第n次回归测试中通过第t个测试用例发现的软件缺陷的总个数,RunTimen,t为在第n次回归测试中第t个测试用例的运行时长,为在第n次回归测试中通过第t个测试用例发现的第bugseqn,t个软件缺陷的严重程度,ln为自然对数函数,PriIndext为第t个测试用例的优先级指数;
根据所述优先级指数确定所述测试用例集合中各个测试用例的测试优先级,所述测试优先级与所述优先级指数正相关。
9.根据权利要求8所述的回归测试终端设备,其特征在于,所述从所述测试用例集合中选取测试优先级最高的TS个测试用例作为优选测试用例包括:
将所述测试用例集合中的各个测试用例按照测试优先级从高到低的顺序排列为如下的测试用例序列:
TestCaseSet={TestCase1,TestCase2,......,TestCasent,......,TestCaseT}
其中,TestCaseSet为所述测试用例序列,TestCasent为所述测试用例序列中第nt个测试用例,1≤nt≤T,且PriIndexnt≥PriIndexnt+1,PriIndexnt为TestCasent的优先级指数;
获取对所述软件进行回归测试的测试总时长;
将满足下式的TS取值确定为所述优选测试用例的个数:
其中,Nblanknt为在对所述软件进行的N次回归测试中TestCasent未被使用的次数,RunTimen,nt为在第n次回归测试中TestCasent的运行时长,RunTimeLimit为所述测试总时长;
从所述测试用例序列中选取前TS个测试用例作为所述优选测试用例。
10.根据权利要求9所述的回归测试终端设备,其特征在于,在使用所述优选测试用例对所述软件进行回归测试之后,还包括:
根据下式对所述测试用例序列中各个测试用例的优先级指数进行更新:
其中,PriIndexNnt为TestCasent更新后的优先级指数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810457091.XA CN108694123B (zh) | 2018-05-14 | 2018-05-14 | 一种回归测试方法、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810457091.XA CN108694123B (zh) | 2018-05-14 | 2018-05-14 | 一种回归测试方法、计算机可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108694123A true CN108694123A (zh) | 2018-10-23 |
CN108694123B CN108694123B (zh) | 2023-07-21 |
Family
ID=63846484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810457091.XA Active CN108694123B (zh) | 2018-05-14 | 2018-05-14 | 一种回归测试方法、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108694123B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446097A (zh) * | 2018-11-07 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种回归测试用例选择方法、装置、终端及存储介质 |
CN109947656A (zh) * | 2019-03-29 | 2019-06-28 | 北京奇艺世纪科技有限公司 | 一种测试用例管理方法及装置 |
CN110737587A (zh) * | 2019-09-06 | 2020-01-31 | 平安科技(深圳)有限公司 | 一种基于测试案例的测试方法、装置、存储介质和服务器 |
CN111045933A (zh) * | 2019-11-27 | 2020-04-21 | 深圳云天励飞技术有限公司 | 一种回归策略更新方法、装置、存储介质及终端设备 |
CN111858371A (zh) * | 2020-07-28 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 软件测试方法、系统、存储介质及计算机设备 |
CN112084106A (zh) * | 2019-06-14 | 2020-12-15 | 中国移动通信集团浙江有限公司 | 测试数据选取的方法、装置、计算设备及计算机存储介质 |
CN112115039A (zh) * | 2019-06-21 | 2020-12-22 | 百度在线网络技术(北京)有限公司 | 测试用例生成方法、装置及设备 |
CN113596871A (zh) * | 2021-07-05 | 2021-11-02 | 哲库科技(上海)有限公司 | 一种测试方法、服务器及计算机存储介质 |
CN115809203A (zh) * | 2023-02-07 | 2023-03-17 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030070120A1 (en) * | 2001-10-05 | 2003-04-10 | International Business Machines Corporation | Method and system for managing software testing |
US20100005341A1 (en) * | 2008-07-02 | 2010-01-07 | International Business Machines Corporation | Automatic detection and notification of test regression with automatic on-demand capture of profiles for regression analysis |
CN101719095A (zh) * | 2009-12-30 | 2010-06-02 | 北京世纪高通科技有限公司 | 一种回归测试的管理方法及装置 |
CN102063376A (zh) * | 2011-02-16 | 2011-05-18 | 哈尔滨工程大学 | 一种测试用例选取方法 |
CN102253889A (zh) * | 2011-08-07 | 2011-11-23 | 南京大学 | 一种回归测试中基于分布的测试用例优先级划分方法 |
US20120030651A1 (en) * | 2010-07-30 | 2012-02-02 | Sap Ag | System and method for test strategy optimization |
CN102841842A (zh) * | 2011-04-18 | 2012-12-26 | 埃森哲环球服务有限公司 | 用于下一代测试系统的自动化控制器 |
US20130104106A1 (en) * | 2011-04-18 | 2013-04-25 | Julian M. Brown | Automation controller for next generation testing system |
US20140181793A1 (en) * | 2010-11-10 | 2014-06-26 | Net Magnus Ltd. | Method of automatically testing different software applications for defects |
CN104536896A (zh) * | 2015-01-12 | 2015-04-22 | 牟永敏 | 面向函数调用路径的回归测试用例选择与排序方法及系统 |
US20150254295A1 (en) * | 2014-03-04 | 2015-09-10 | International Business Machines Corporation | Regression testing of sql execution plans for sql statements |
CN105302710A (zh) * | 2014-07-03 | 2016-02-03 | 腾讯科技(深圳)有限公司 | 一种确定需要回归测试的测试用例的方法和装置 |
CN105446885A (zh) * | 2015-12-28 | 2016-03-30 | 西南大学 | 一种基于需求的回归测试用例优先级排序技术 |
CN105528289A (zh) * | 2015-12-04 | 2016-04-27 | 中国矿业大学 | 一种基于分支覆盖与相似性的回归测试用例优先排序方法 |
CN106897207A (zh) * | 2015-12-17 | 2017-06-27 | 北京奇虎科技有限公司 | 用户界面测试方法与装置 |
CN107315683A (zh) * | 2017-06-22 | 2017-11-03 | 四川长虹电器股份有限公司 | 一种安卓移动应用的自动化测试平台及测试方法 |
CN107368412A (zh) * | 2017-07-03 | 2017-11-21 | 上海前隆信息科技有限公司 | 自动化测试方法/系统、计算机可读存储介质及电子设备 |
CN107844427A (zh) * | 2017-11-29 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种基于测试资源感知的测试用例排序方法 |
-
2018
- 2018-05-14 CN CN201810457091.XA patent/CN108694123B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030070120A1 (en) * | 2001-10-05 | 2003-04-10 | International Business Machines Corporation | Method and system for managing software testing |
US20100005341A1 (en) * | 2008-07-02 | 2010-01-07 | International Business Machines Corporation | Automatic detection and notification of test regression with automatic on-demand capture of profiles for regression analysis |
CN101719095A (zh) * | 2009-12-30 | 2010-06-02 | 北京世纪高通科技有限公司 | 一种回归测试的管理方法及装置 |
US20120030651A1 (en) * | 2010-07-30 | 2012-02-02 | Sap Ag | System and method for test strategy optimization |
US20140181793A1 (en) * | 2010-11-10 | 2014-06-26 | Net Magnus Ltd. | Method of automatically testing different software applications for defects |
CN102063376A (zh) * | 2011-02-16 | 2011-05-18 | 哈尔滨工程大学 | 一种测试用例选取方法 |
CN102841842A (zh) * | 2011-04-18 | 2012-12-26 | 埃森哲环球服务有限公司 | 用于下一代测试系统的自动化控制器 |
US20130104106A1 (en) * | 2011-04-18 | 2013-04-25 | Julian M. Brown | Automation controller for next generation testing system |
CN102253889A (zh) * | 2011-08-07 | 2011-11-23 | 南京大学 | 一种回归测试中基于分布的测试用例优先级划分方法 |
US20150254295A1 (en) * | 2014-03-04 | 2015-09-10 | International Business Machines Corporation | Regression testing of sql execution plans for sql statements |
CN105302710A (zh) * | 2014-07-03 | 2016-02-03 | 腾讯科技(深圳)有限公司 | 一种确定需要回归测试的测试用例的方法和装置 |
CN104536896A (zh) * | 2015-01-12 | 2015-04-22 | 牟永敏 | 面向函数调用路径的回归测试用例选择与排序方法及系统 |
CN105528289A (zh) * | 2015-12-04 | 2016-04-27 | 中国矿业大学 | 一种基于分支覆盖与相似性的回归测试用例优先排序方法 |
CN106897207A (zh) * | 2015-12-17 | 2017-06-27 | 北京奇虎科技有限公司 | 用户界面测试方法与装置 |
CN105446885A (zh) * | 2015-12-28 | 2016-03-30 | 西南大学 | 一种基于需求的回归测试用例优先级排序技术 |
CN107315683A (zh) * | 2017-06-22 | 2017-11-03 | 四川长虹电器股份有限公司 | 一种安卓移动应用的自动化测试平台及测试方法 |
CN107368412A (zh) * | 2017-07-03 | 2017-11-21 | 上海前隆信息科技有限公司 | 自动化测试方法/系统、计算机可读存储介质及电子设备 |
CN107844427A (zh) * | 2017-11-29 | 2018-03-27 | 郑州云海信息技术有限公司 | 一种基于测试资源感知的测试用例排序方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446097A (zh) * | 2018-11-07 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种回归测试用例选择方法、装置、终端及存储介质 |
CN109947656A (zh) * | 2019-03-29 | 2019-06-28 | 北京奇艺世纪科技有限公司 | 一种测试用例管理方法及装置 |
CN112084106A (zh) * | 2019-06-14 | 2020-12-15 | 中国移动通信集团浙江有限公司 | 测试数据选取的方法、装置、计算设备及计算机存储介质 |
CN112084106B (zh) * | 2019-06-14 | 2023-08-01 | 中国移动通信集团浙江有限公司 | 测试数据选取的方法、装置、计算设备及计算机存储介质 |
CN112115039B (zh) * | 2019-06-21 | 2023-09-19 | 百度在线网络技术(北京)有限公司 | 测试用例生成方法、装置及设备 |
CN112115039A (zh) * | 2019-06-21 | 2020-12-22 | 百度在线网络技术(北京)有限公司 | 测试用例生成方法、装置及设备 |
CN110737587B (zh) * | 2019-09-06 | 2022-05-27 | 平安科技(深圳)有限公司 | 一种基于测试案例的测试方法、装置、存储介质和服务器 |
CN110737587A (zh) * | 2019-09-06 | 2020-01-31 | 平安科技(深圳)有限公司 | 一种基于测试案例的测试方法、装置、存储介质和服务器 |
CN111045933A (zh) * | 2019-11-27 | 2020-04-21 | 深圳云天励飞技术有限公司 | 一种回归策略更新方法、装置、存储介质及终端设备 |
CN111858371A (zh) * | 2020-07-28 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 软件测试方法、系统、存储介质及计算机设备 |
CN113596871A (zh) * | 2021-07-05 | 2021-11-02 | 哲库科技(上海)有限公司 | 一种测试方法、服务器及计算机存储介质 |
CN115809203A (zh) * | 2023-02-07 | 2023-03-17 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
CN115809203B (zh) * | 2023-02-07 | 2023-04-25 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
Also Published As
Publication number | Publication date |
---|---|
CN108694123B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694123A (zh) | 一种回归测试方法、计算机可读存储介质及终端设备 | |
CN109062802A (zh) | 一种软件测试方法、计算机可读存储介质及终端设备 | |
CN108845933B (zh) | 软件测试用例编写和评审的方法及装置 | |
US20050204241A1 (en) | Method and device for analyzing software error | |
CN110764993A (zh) | 自动化测试方法及终端设备 | |
US7617484B1 (en) | Concern based hole analysis | |
CN109814877A (zh) | 基于环境管理的项目部署方法及其装置 | |
CN110764999A (zh) | 自动化测试方法、装置、计算机装置及存储介质 | |
CN109815141A (zh) | 一种测试方法和装置 | |
CN109739700A (zh) | 一种接口测试方法和装置 | |
CN110362469A (zh) | 基于模块化测试用例控制方法、装置、终端与存储介质 | |
CN110334013A (zh) | 决策引擎的测试方法、装置及电子设备 | |
CN110008119A (zh) | 报表测试方法、装置、计算机设备和存储介质 | |
CN113220597B (zh) | 测试方法、测试装置、电子设备及存储介质 | |
CN108427634A (zh) | 电子装置、测试的方法及计算机可读存储介质 | |
CN114240177A (zh) | 一种政务数据质量评估方法及系统 | |
CN112882956A (zh) | 一种通过数据组合计算自动生成全场景自动化测试案例的方法、装置、存储介质及电子设备 | |
CN107169639A (zh) | 一种测试任务分配方法和装置 | |
CN114355171B (zh) | 一种可重构芯片性能瓶颈检测平台、检测方法及电子设备 | |
CN108280608B (zh) | 产品寿命分析方法及终端设备 | |
CN109829083A (zh) | Spd数据自动验证方法、装置、计算机设备及存储介质 | |
CN113434397B (zh) | 任务系统的测试方法、装置、电子设备及存储介质 | |
CN111382068B (zh) | 一种大批量数据的层次测试方法及装置 | |
CN109903074A (zh) | 基于数据分析的市场状态划分方法和装置 | |
CN109753742A (zh) | 一种基于不均衡样本的航空发动机故障诊断方法、系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |