CN110674038A - 一种对软件测试中错误信息的分类方法及装置 - Google Patents
一种对软件测试中错误信息的分类方法及装置 Download PDFInfo
- Publication number
- CN110674038A CN110674038A CN201910891790.XA CN201910891790A CN110674038A CN 110674038 A CN110674038 A CN 110674038A CN 201910891790 A CN201910891790 A CN 201910891790A CN 110674038 A CN110674038 A CN 110674038A
- Authority
- CN
- China
- Prior art keywords
- error information
- software
- newly added
- newly
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 238000012360 testing method Methods 0.000 claims abstract description 109
- 238000013522 software testing Methods 0.000 claims abstract description 104
- 230000008569 process Effects 0.000 claims abstract description 98
- 230000007547 defect Effects 0.000 abstract description 42
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000002699 waste material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Abstract
本申请提供一种对软件测试中错误信息的分类方法及装置。该方法应用于对完成版本更新后的待测试软件的测试,所述方法包括:获得待测试软件在软件测试过程中产生的错误信息;在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。本申请避免了测试人员将时间浪费在手动运行那些产生已知错误信息的测试用例上,使测试人员能够仅关注那些新增错误,进而确定新增的软件缺陷,不仅节约了系统资源,还大幅缩短了软件测试过程的时长,并提高了软件测试的效率。
Description
技术领域
本申请涉及软件测试领域,具体涉及一种对软件测试中错误信息的分类方法及装置。
背景技术
在软件自动化测试过程中,测试人员会预先设计多个能够被软件自动运行的测试用例,以通过这些测试用例来确定待测试软件是否存在缺陷。
但对于软件中的缺陷而言,其中一部分缺陷由于技术、成本等原因,不需要或是没有办法修复;而另一部分缺陷则会在软件更新后被修复,但修复缺陷也可能会产生新增的缺陷,因此测试人员需要确定其是否产生了新增缺陷。
现有技术在完成自动化测试后,测试人员会依靠经验,判断测试产生的错误信息中,是否存在由于新增缺陷所导致的新增错误信息。但由于依靠测试人员的经验难以准确区分已知缺陷导致的已知错误信息和新增缺陷所导致的新增错误信息,则需要测试人员手动运行产生错误信息的测试用例,并根据软件的执行步骤与执行结果,确定导致该错误信息的缺陷是已知缺陷还是新增缺陷,不仅浪费了系统资源,还大幅延长了软件测试过程的时长,并降低了软件测试的效率。
发明内容
有鉴于此,本申请提供一种对软件测试中错误信息的分类方法及装置。
具体地,本申请是通过如下技术方案实现的:
根据本申请的一方面,提供了一种对软件测试中错误信息的分类方法,应用于对完成版本更新后的待测试软件的测试,所述方法包括:
获得待测试软件在软件测试过程中产生的错误信息;
在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;
如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
根据本申请的另一方面,还提供了一种对软件测试中错误信息的分类装置,应用于对完成版本更新后的待测试软件的测试,所述装置包括:
错误信息获得单元,用于获得待测试软件在软件测试过程中产生的错误信息;
新增错误信息确定单元,用于在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息,如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
根据本申请的另一方面,还提供了一种计算机设备,包括:计算机可读存储介质、处理器及存储在所述计算机可读存储介质上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如下步骤:
获得待测试软件在软件测试过程中产生的错误信息;
在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;
如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
根据本申请的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获得待测试软件在软件测试过程中产生的错误信息;
在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;
如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
本申请通过预先构建记录有已知错误信息的已知错误信息库,并使用软件自动测试中产生的错误信息与已知错误信息相匹配,以确定出新增的错误信息。与现有技术中,测试人员由于无法确定出新增错误信息,进而导致同时手动运行产生已知错误和新增错误的两类测试用例相比,本申请避免了测试人员将时间浪费在手动运行那些产生已知错误信息的测试用例上,使测试人员能够仅关注那些新增错误,进而确定新增的软件缺陷,不仅节约了系统资源,还大幅缩短了软件测试过程的时长,并提高了软件测试的效率。
附图说明
图1是本说明书实施例提供的一种对软件测试中错误信息的分类方法的流程示意图;
图2为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图;
图3为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图;
图4为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图;
图5为本说明书实施例提供的一种对软件测试中错误信息的分类装置的结构示意图;
图6为本说明书实施例提供的另一种对软件测试中错误信息的分类装置的结构示意图;
图7为本说明书实施例提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在软件自动化测试过程中,测试人员会预先构建多个测试用例,每一个测试用例中记载有多条预设测试指令,每一条预设测试指令均用于测试软件中的一个或多个功能。完成版本更新后的待测试软件会自动的依次运行每个测试用例,若待测试软件自身存在缺陷、运行该软件的硬件自身存在缺陷或是硬件与软件间不兼容等问题,则会在运行测试用例时产生错误信息并停止运行该测试用例。之后,重设待测试软件的运行环境,使待测试软件继续运行下一个测试用例,直至所有的测试用例均被运行完毕,结束本次的软件测试过程。
对于某些错误信息而言,其可能是硬件缺陷导致的或是由于技术、成本等原因无法修复的软件缺陷所导致的,例如,现阶段该技术还不成熟或是该缺陷涉及多个软件功能,这些错误信息在每一次的软件测试过程中均会出现,在测试过程和软件使用过程中是被忽略的;而另一部分错误信息则是在版本更新迭代后所新增的,对于这部分新增错误信息而言,是测试人员需要关注的。因此,测试人员需要对错误信息进行分类,以确定软件在版本更新后是否产生了新增缺陷。现有技术在完成自动化测试后,测试人员会依靠经验,判断测试产生的错误信息中,是否存在由于新增缺陷所导致的新增错误信息。但由于依靠测试人员的经验难以准确区分已知缺陷导致的已知错误信息和新增缺陷所导致的新增错误信息,则需要测试人员手动运行产生错误信息的测试用例,并根据软件的执行步骤与执行结果,确定导致该错误信息的缺陷是已知缺陷还是新增缺陷,不仅浪费了系统资源,还大幅延长了软件测试过程的时长,并降低了软件测试的效率。
有鉴于此,本申请提供的一种对软件测试中错误信息的分类方法,通过预先构建记录有已知错误信息的已知错误信息库,来代替现有技术中测试人员以经验来判断新增错误信息的方式,避免了测试人员依经验判断所导致的将时间浪费在复现已知错误信息上,使测试人员能够仅复现新增错误信息,进而确定新增的软件缺陷,不仅节约了系统资源,还大幅缩短了软件测试过程的时长,并提高了软件测试的效率。
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
图1是本说明书实施例提供的一种对软件测试中错误信息的分类方法的流程示意图,图1中的方法应用于对完成版本更新后的待测试软件的测试,如图1所示,该方法至少包括以下步骤:
S101获得待测试软件在软件测试过程中产生的错误信息;
待测试软件在运行测试用例中的某一条预设测试指令时,可能会由于软件自身的缺陷或是运行该软件的硬件设备于软件版本不兼容等问题,导致该预设测试指令无法被正确运行,此时则会产生错误信息。
S102在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;
由于软件的版本会不断进行更新迭代,历史版本的软件在每一次软件测试中均会产生相应的错误信息,这些错误信息即为已知错误信息,对已知错误信息进行整合即得到预设的已知错误信息库。本领域技术人员可以理解的是,预设的已知错误信息库中的已知错误信息,可以是历史版本的软件在每一次软件测试中产生的错误信息,也可以仅是上一版本的软件在上一次软件测试中产生的错误信息。
需要说明的是,该预设的已知错误信息库的内容也可以在软件版本更新过程中或在每次完成软件测试后进行更新,例如,在软件版本更新过程中若修复了某些上一版本软件中存在的软件缺陷,则可将该预设的已知错误信息库中对应的错误信息进行删除,或是在完成软件测试后产生了某些新增错误信息,则可以将这些新增错误信息增加至该预设的已知错误信息库中。
S103如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
如果没有找到与软件测试过程中产生的错误信息相同的已知错误信息,则说明该错误信息是新增错误信息。也就是说,该新增错误信息是待测试软件在版本更新后新出现的软件缺陷所导致的,测试人员需要通过复现该新增错误信息,以确定新出现的软件缺陷。
S104如果存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为已知错误信息。
相应的,如果错误信息与已知错误信息相匹配,则说明该错误信息所所对应的缺陷在历史版本的软件中已经存在,且在版本更新后也没有被修复,是不需要或是不能够被修护的缺陷。
本申请通过预先构建记录有已知错误信息的已知错误信息库,并使用软件自动测试中产生的错误信息与已知错误信息相匹配,以确定出新增的错误信息。与现有技术中,测试人员由于无法确定出新增错误信息,进而导致同时手动运行产生已知错误和新增错误的两类测试用例相比,本申请避免了测试人员将时间浪费在手动运行那些产生已知错误信息的测试用例上,使测试人员能够仅关注那些新增错误,进而确定新增的软件缺陷,不仅节约了系统资源,还大幅缩短了软件测试过程的时长,并提高了软件测试的效率。
进一步的,由于新增错误信息可能是固定出现,例如软件代码存在语法错误,也可能是非固定出现的,例如某些预设测试指令会导致测试环境的修改,进而导致后续的某些预设测试指令仅在该环境下无法被执行。也就是说,非固定出现的新增错误信息通常与在先执行的其他预设测试指令有关,因此测试人员在手动复现该错误信息时,需要先执行其他预设测试指令。因此有必要对新增错误信息的类型做进一步区分,以帮助测试人员能够根据错误信息的类型,预判出复现该错误信息所需执行的预设测试指令,避免由于不能确定产生该错误信息的预设测试指令,进而导致反复执行复现操作造成的浪费。基于此,图2为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图,如图2所示,在步骤S103之后,还包括:
S105指示所述待测试软件,以预设次数重复执行所述软件测试过程;
测试过程中产生的错误信息,可能与运行该软件的硬件自身的缺陷、或是软件自身缺陷等诸多因素有关,而不同的缺陷导致错误信息的出现形式也是不同的。
例如,当新增错误信息出现与否取决于软件在运行本次测试指令前所运行的其他测试指令时,则该新增错误信息为非固定出现的新增错误信息。具体的,假设错误信息为0X0002,该错误信息对应于硬件设备的内存不足,因此无法执行对应的预设测试指令。但实际上该硬件设备的内存不足的问题,是由于执行该预设测试指令前,执行的其他预设测试指令所导致的,而其他预设测试指令对于内存的占用又是不固定的,则会导致该0X0002的出现是不固定的,且当测试人员在单独执行错误信息0X0002所对应的预设测试指令时,也无法复现出该错误信息。又例如,当新增错误信息是由于软件自身代码的语法错误所导致的,则该新增错误信息为固定出现的新增错误信息。具体的,假设错误信息为0X0003,该错误信息对应于执行代码存在语法错误,无法执行。而由于软件测试过程中并不能对语法错误进行纠错和更改,因此在每一次执行该存在语法错误的预设测试指令时,都会固定的出现错误信息0X0003。
由于一次的运行难以确定出新增错误信息是固定出现的还是非固定出现的,因此需要多次重复执行上一次的软件测试过程来确定新增错误信息的类型。此外,由于在软件测试过程中通常会存在这样一种情况,即对于一个测试用例而言,待测试软件在运行其过程中可能会出现多个错误信息。因此,需要重复执行多次软件测试过程,以尽可能的发现待测试软件可能存在的每一个缺陷,最大程度的在测试过程被执行完毕后,能够对待测试软件进行全面的更新。
需要说明的是,在具体实施时,预设次数可根据具体的测试需要灵活设定,如设定为5次、8次等,本申请并不对具体的预设次数的数值做出限定。
S106判断在每次重复执行所述软件测试过程中,是否均产生了与所述新增错误信息相同的错误信息;
对于固定出现的新增错误信息,其在每一次软件测试过程中均会产生,因此通过判断每次重复执行所述软件测试过程中,是否均产生了与所述新增错误信息相同的错误信息,就能够对新增错误信息的具体类型进行判断。
S107如果每次重复执行所述软件测试过程,均产生了与所述新增错误信息相同的错误信息,则将所述新增错误信息的类型确定为固定出现的新增错误信息;
如果每一次软件测试过程,均产生了与新增错误信息相同的错误信息,则说明该新增错误信息是固定出现的新增错误信息。对于测试人员来说,在手动复现该错误信息时,仅需要指示待测试软件执行该错误信息所对应的测试指令即可。
S108如果在重复执行所述软件测试过程中,产生了与所述新增错误信息不同的其他错误信息,或存在未产生错误信息的软件测试过程,则将所述新增错误信息的类型确定为非固定出现的新增错误信息。
如果在重复执行软件测试过程中,产生了其他的错误信息或是没有产生错误信息,则说明该新增错误信息并非是固定出现的,而是非固定出现的。对于非固定出现的新增错误信息而言,其复现条件通常与待测试软件在先执行的其他测试指令有关。因此测试人员在复现此类新增错误信息时,如果不能提前获知该新增错误信息的类型,则会出现待测试软件由于仅执行该错误信息对应的测试指令导致复现失败的情况出现,以至于增加软件测试时间,降低测试效率。
本实施例通过指示待测试软件重复执行软件测试过程,进一步对新增错误信息的类型加以区分,为后续测试人员复现错误信息时提供参考,避免测试人人在不了解新增错误信息具体为非固定出现的新增错误信息时,由于复现失败导致的增加软件测试时间,降低测试效率的问题出现。
进一步的,在步骤S108中若产生了与所述新增错误信息不同的其他错误信息,则还需要判断该其他错误信息的类型,以帮助后续测试人员决定是否需要复现该错误信息以查找导致该错误信息的原因。基于此,图3为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图,如图3所示,在产生了与所述新增错误信息不同的其他错误信息之后,还包括:
S109在预设的已知错误信息库中,判断是否存在与所述其他错误信息相匹配的已知错误信息;
S110如果不存在与所述其他错误信息相匹配的已知错误信息,则将所述其他错误信息确定为其他新增错误信息;
S111如果存在与所述其他错误信息相匹配的已知错误信息,则将所述其他错误信息确定为其他已知错误信息;
步骤S109至步骤S111,与前述步骤S102和S103相类似,仍然使用预设的已知错误信息库来判断其他错误信息是否是其他新增错误信息。若其他错误信息能够与预设的已知错误信息库中的已知错误信息相匹配,则说明该其他错误信息是已知错误信息,如果其他错误信息不能够与预设的已知错误信息库中的已知错误信息相匹配,则说明该其他错误信息是其他新增错误信息。
本实施例会判断每一个错误信息的类型,其具体是新增错误信息还是已知错误信息,使得测试人员在后续查找新增错误信息所对应的新增缺陷时,避免现有技术中测试人员无法确定出新增错误信息,进而将时间浪费在手动运行那些产生已知错误信息的测试指令上,使测试人员能够仅关注那些新增错误信息,进而确定新增的软件缺陷,不仅节约了系统资源,还大幅缩短了软件测试过程的时长,并提高了软件测试的效率。
进一步的,在软件测试过程中若产生了多个不同的新增错误信息,则需要确定每一个新增错误信息的具体类型。基于此,图4为本说明书实施例提供的另一种对软件测试中错误信息的分类方法的流程示意图,如图4所示,本说明书实施例提供的另一种对软件测试中错误信息的分类方法还包括:
S112每产生一个与所述新增错误信息不同的所述其他新增错误信息,则重新以所述预设次数,重复执行所述软件测试过程;
本实施例在每产生一个其他新增错误信息后,都会重新以预设次数,重复执行软件测试过程。例如,预设次数的数值为4次,则在初次执行软件测试过程后需重复执行该软件测试过程4次。若在第二次重复执行该软件测试过程中产生了其他新增错误信息,则需要继续重复执行该软件测试过程4次,以此类推。通过针对每一个其他新增错误信息,都重复执行预设次数的软件测试过程,目的在于尽可能的确定出每一个其他新增错误信息的具体类型,为后续测试人员提供参考。
需要说明的是,这里的预设次数,可根据具体需要灵活设定,如设定为2次、3次等,本申请并不对预设次数的数值作出具体限定。
S113判断重复执行所述软件测试过程中,是否存在未产生错误信息的软件测试过程;
S114如果存在未产生错误信息的软件测试过程,则将所述其他新增错误信息的类型确定为非固定出现的其他新增错误信息;
S115如果不存在未产生错误信息的软件测试过程,则将所述其他新增错误信息的类型确定为固定出现的其他新增错误信息;
由于新增错误信息分为固定出现的和非固定出现的,而非固定出现的新增错误信息由于其出现的非固定性,则会出现未产生错误信息的软件测试过程。因此,通过判断重复执行所述软件测试过程中,是否存在未产生错误信息的软件测试过程,即可确定其他新增错误信息的类型。
本实施例通过确定每一个新增错误信息的具体类型,使得测试人员在后续查找错误信息所对应的缺陷时,可以预先确定待测试软件所需执行的测试指令,提高软件测试效率。
进一步的,由于现有的软件自动化测试仅在测试结束后,才会输出记录有错误信息的完整的测试日志,而在测试过程中并不能查看错误信息,导致测试人员难以及时的根据错误信息来修复待测试软件。基于此,本说明书实施例提供的另一种对软件测试中错误信息的分类方法还包括:
对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令;其中,所述预设测试指令用于指示所述待测试软件执行所述软件测试过程中的相应测试操作。
本实施例在确定软件测试过程中出现了新增错误信息之后,在保存该错误信息的同时,还相对应的将该错误信息所对应的测试指令也一并储存。对应的记载错误信息与测试指令,无需测试人员通过查看测试日志的方式来查找测试指令。此外,储存后的错误信息与测试指令也可及时的发送至测试人员或供测试人员查看,使测试人员能够及时的获知待测试软件在软件测试过程中产生的错误信息并对其进行处理,无需等待全部测试完成,节省了测试人员等待所有软件测试过程完毕所需的时间,提高了软件测试效率。
进一步的,对于非固定出现的新增错误信息而言,由于其产生条件不仅与其自身所对应的测试指令有关,还与其他相关联的测试指令有关。因此,为保证错误信息的复现成功,测试人员需指示待测试软件相应的执行这些测试指令。基于此,在将所述错误信息确定为新增错误信息之后,还包括:
对应的储存所述新增错误信息、与该新增错误信息相对应的预设测试指令、以及与所述预设测试指令相关联的其他预设测试指令。
针对于非固定出现的新增错误信息在复现过程中的特殊性,本实施例在对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令的基础上,还额外将与该新增错误信息相对应的预设测试指令相关联的其他预设测试指令也对应的储存,以使测试人员在复现该错误信息时能够直接的获得需指示待测试软件执行的测试指令,无需查看手动查看测试日志,提高了软件测试效率。
需要说明的是,相关联的其他预设测试指令可以是测试用例中,与该新增错误信息相对应的预设测试指令相邻的一个或多个预设测试指令,也可以是在测试内容上存在关联的一个或多个预设测试指令,本申请并不对其进行具体限定。
与前述对软件测试中错误信息的分类方法的实施例相对应,本申请还提供了对软件测试中错误信息的分类装置的实施例。图5为本说明书实施例提供的一种对软件测试中错误信息的分类装置的结构示意图,该装置应用于对完成版本更新后的待测试软件的测试,如图5所示,所述装置包括:
210错误信息获得单元,用于获得待测试软件在软件测试过程中产生的错误信息;
220新增错误信息确定单元,用于在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息,如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
进一步的,在将所述错误信息确定为新增错误信息之后,所述220新增错误信息确定单元还用于:
指示所述待测试软件,以预设次数重复执行所述软件测试过程;
判断在每次重复执行所述软件测试过程中,是否均产生了与所述新增错误信息相同的错误信息;
如果每次重复执行所述软件测试过程产生的错误信息,均产生了与所述新增错误信息相同的错误信息,则将所述新增错误信息的类型确定为固定出现的新增错误信息;
如果在重复执行所述软件测试过程中,产生了与所述新增错误信息不同的其他错误信息,或存在未产生错误信息的软件测试过程,则将所述新增错误信息的类型确定为非固定出现的新增错误信息。
进一步的,在产生了与所述新增错误信息不同的其他错误信息之后,所述220新增错误信息确定单元还用于:
在预设的已知错误信息库中,判断是否存在与所述其他错误信息相匹配的已知错误信息;
如果不存在与所述其他错误信息相匹配的已知错误信息,则将所述其他错误信息确定为其他新增错误信息。
进一步的,220新增错误信息确定单元还用于:
每产生一个与所述新增错误信息不同的所述其他新增错误信息,则重新以所述预设次数,重复执行所述软件测试过程;
判断重复执行所述软件测试过程中,是否存在未产生错误信息的软件测试过程;
如果存在未产生错误信息的软件测试过程,则将所述其他新增错误信息的类型确定为非固定出现的其他新增错误信息。
进一步的,图6为本说明书实施例提供的另一种对软件测试中错误信息的分类装置的结构示意图,如图6所示,所述对软件测试中错误信息的分类装置还包括:
230储存单元,用于对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令;其中,所述预设测试指令用于指示所述待测试软件执行所述软件测试过程中的相应测试操作。
进一步的,所述230储存单元具体用于:
对应的储存所述新增错误信息、与该新增错误信息相对应的预设测试指令、以及与所述预设测试指令相关联的其他预设测试指令。
本申请对软件测试中错误信息的分类装置可以应用在软件测试设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在软件测试设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
请参见图7,为本申请实施例提供的一种计算机设备的硬件结构示意图。该计算机设备可以包括处理器310、存储有可在所述处理器上运行的计算机程序的计算机可读存储介质320。处理器310与计算机可读存储介质320可经由系统总线330通信。并且,通过读取并执行计算机可读存储介质320中的计算机程序,处理器310可执行上文描述的对软件测试中错误信息的分类方法。
本文中提到的计算机可读存储介质320可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种计算机可读存储介质,例如图6中的计算机可读存储介质320,所述计算机可读存储介质320中存储的计算机程序被处理器310执行时,实现以上描述的对软件测试中错误信息的分类方法。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (12)
1.一种对软件测试中错误信息的分类方法,应用于对完成版本更新后的待测试软件的测试,其特征在于,所述方法包括:
获得待测试软件在软件测试过程中产生的错误信息;
在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息;
如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
2.根据权利要求1所述的方法,其特征在于,在将所述错误信息确定为新增错误信息之后,还包括:
指示所述待测试软件,以预设次数重复执行所述软件测试过程;
判断在每次重复执行所述软件测试过程中,是否均产生了与所述新增错误信息相同的错误信息;
如果每次重复执行所述软件测试过程,均产生了与所述新增错误信息相同的错误信息,则将所述新增错误信息的类型确定为固定出现的新增错误信息;
如果在重复执行所述软件测试过程中,产生了与所述新增错误信息不同的其他错误信息,或存在未产生错误信息的软件测试过程,则将所述新增错误信息的类型确定为非固定出现的新增错误信息。
3.根据权利要求2所述的方法,其特征在于,在产生了与所述新增错误信息不同的其他错误信息之后,还包括:
在预设的已知错误信息库中,判断是否存在与所述其他错误信息相匹配的已知错误信息;
如果不存在与所述其他错误信息相匹配的已知错误信息,则将所述其他错误信息确定为其他新增错误信息。
4.根据权利要求3所述的方法,其特征在于,还包括:
每产生一个与所述新增错误信息不同的所述其他新增错误信息,则重新以所述预设次数,重复执行所述软件测试过程;
判断重复执行所述软件测试过程中,是否存在未产生错误信息的软件测试过程;
如果存在未产生错误信息的软件测试过程,则将所述其他新增错误信息的类型确定为非固定出现的其他新增错误信息。
5.根据权利要求1所述的方法,其特征在于,在将所述错误信息确定为新增错误信息之后,还包括:
对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令;
其中,所述预设测试指令用于指示所述待测试软件执行所述软件测试过程中的相应测试操作。
6.根据权利要求5所述的方法,其特征在于,所述对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令包括:
对应的储存所述新增错误信息、与该新增错误信息相对应的预设测试指令、以及与所述预设测试指令相关联的其他预设测试指令。
7.一种对软件测试中错误信息的分类装置,应用于对完成版本更新后的待测试软件的测试,其特征在于,所述装置包括:
错误信息获得单元,用于获得待测试软件在软件测试过程中产生的错误信息;
新增错误信息确定单元,用于在预设的已知错误信息库中,判断是否存在与所述错误信息相匹配的已知错误信息,如果不存在与所述错误信息相匹配的已知错误信息,则将所述错误信息确定为新增错误信息。
8.根据权利要求7所述的装置,其特征在于,在将所述错误信息确定为新增错误信息之后,所述新增错误信息确定单元还用于:
指示所述待测试软件,以预设次数重复执行所述软件测试过程;
判断在每次重复执行所述软件测试过程中,是否均产生了与所述新增错误信息相同的错误信息;
如果每次重复执行所述软件测试过程产生的错误信息,均产生了与所述新增错误信息相同的错误信息,则将所述新增错误信息的类型确定为固定出现的新增错误信息;
如果在重复执行所述软件测试过程中,产生了与所述新增错误信息不同的其他错误信息,或存在未产生错误信息的软件测试过程,则将所述新增错误信息的类型确定为非固定出现的新增错误信息。
9.根据权利要求8所述的装置,其特征在于,在产生了与所述新增错误信息不同的其他错误信息之后,所述新增错误信息确定单元还用于:
在预设的已知错误信息库中,判断是否存在与所述其他错误信息相匹配的已知错误信息;
如果不存在与所述其他错误信息相匹配的已知错误信息,则将所述其他错误信息确定为其他新增错误信息。
10.根据权利要求9所述的装置,其特征在于,所述新增错误信息确定单元还用于:
每产生一个与所述新增错误信息不同的所述其他新增错误信息,则重新以所述预设次数,重复执行所述软件测试过程;
判断重复执行所述软件测试过程中,是否存在未产生错误信息的软件测试过程;
如果存在未产生错误信息的软件测试过程,则将所述其他新增错误信息的类型确定为非固定出现的其他新增错误信息。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
储存单元,用于对应的储存所述新增错误信息、以及与该新增错误信息相对应的预设测试指令;
其中,所述预设测试指令用于指示所述待测试软件执行所述软件测试过程中的相应测试操作。
12.根据权利要求11所述的装置,其特征在于,所述储存单元具体用于:
对应的储存所述新增错误信息、与该新增错误信息相对应的预设测试指令、以及与所述预设测试指令相关联的其他预设测试指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910891790.XA CN110674038A (zh) | 2019-09-20 | 2019-09-20 | 一种对软件测试中错误信息的分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910891790.XA CN110674038A (zh) | 2019-09-20 | 2019-09-20 | 一种对软件测试中错误信息的分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110674038A true CN110674038A (zh) | 2020-01-10 |
Family
ID=69078382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910891790.XA Pending CN110674038A (zh) | 2019-09-20 | 2019-09-20 | 一种对软件测试中错误信息的分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674038A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
CN113553244A (zh) * | 2020-04-24 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 异常检测方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480046A (zh) * | 2017-07-12 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种自动化测试方法、装置及计算机处理设备 |
CN108920364A (zh) * | 2018-06-21 | 2018-11-30 | 深圳壹账通智能科技有限公司 | 软件缺陷定位方法、装置、终端及计算机可读存储介质 |
CN109189674A (zh) * | 2018-08-14 | 2019-01-11 | 烽火通信科技股份有限公司 | 一种软件缺陷自动上报的方法及系统 |
CN109408371A (zh) * | 2018-09-18 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 软件缺陷分析录入方法、装置、计算机设备和存储介质 |
-
2019
- 2019-09-20 CN CN201910891790.XA patent/CN110674038A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480046A (zh) * | 2017-07-12 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种自动化测试方法、装置及计算机处理设备 |
CN108920364A (zh) * | 2018-06-21 | 2018-11-30 | 深圳壹账通智能科技有限公司 | 软件缺陷定位方法、装置、终端及计算机可读存储介质 |
CN109189674A (zh) * | 2018-08-14 | 2019-01-11 | 烽火通信科技股份有限公司 | 一种软件缺陷自动上报的方法及系统 |
CN109408371A (zh) * | 2018-09-18 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 软件缺陷分析录入方法、装置、计算机设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553244A (zh) * | 2020-04-24 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 异常检测方法及设备 |
CN112528893A (zh) * | 2020-12-15 | 2021-03-19 | 南京中兴力维软件有限公司 | 异常状态的识别方法、装置及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9411710B2 (en) | Automated regression test case selector and black box test coverage tool for product testing | |
CN107391333B (zh) | 一种osd磁盘故障测试方法及系统 | |
CN107133244B (zh) | 一种数据库迁移的测试方法和装置 | |
CN111274154A (zh) | 一种自动化测试的方法、装置、设备及存储介质 | |
CN114692169B (zh) | 应用大数据和ai分析的页面漏洞处理方法及页面服务系统 | |
CN112181800A (zh) | 车辆功能测试装置及其控制方法 | |
CN111198811A (zh) | 一种页面自动化测试的方法、装置、电子设备及存储介质 | |
CN110674038A (zh) | 一种对软件测试中错误信息的分类方法及装置 | |
CN110990289B (zh) | 一种自动提交bug的方法、装置、电子设备及存储介质 | |
CN105630661A (zh) | 用于自动化跨系统程序调试的方法和装置 | |
CN116090380B (zh) | 数字集成电路验证的自动化方法及装置、存储介质和终端 | |
CN112069073A (zh) | 测试用例的管理方法、终端和存储介质 | |
CN111625338A (zh) | 一种亲和性规则调度方法、装置及其相关设备 | |
CN116383021A (zh) | 软件包性能的测试方法、系统、计算设备及可读存储介质 | |
KR20120111618A (ko) | Plc 명령어 테스트 장치 및 방법 | |
CN114546749A (zh) | 一种芯片随机测试用例回归方法、装置、设备及可读介质 | |
CN114647588A (zh) | 接口测试方法及装置 | |
CN110879883B (zh) | 软件缺陷的修复授权方法、装置、计算机设备及存储介质 | |
CN107885640B (zh) | 一种硬盘管理方法及装置 | |
CN111414194A (zh) | 一种接口信息生成方法、系统、电子设备及存储介质 | |
US20230195609A1 (en) | Automatic generation of summary report for validation tests of computing systems | |
US8141039B2 (en) | Method and system for consolidating machine readable code | |
JP6072547B2 (ja) | アプリケーション・テストシステム | |
CN116932413B (zh) | 测试任务的缺陷处理方法、缺陷处理装置及存储介质 | |
CN111427731B (zh) | 一种自动化拆分码流及验证码流的测试方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |
|
RJ01 | Rejection of invention patent application after publication |