CN113064824B - 结果分析方法和装置、电子设备及存储介质 - Google Patents

结果分析方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113064824B
CN113064824B CN202110349064.2A CN202110349064A CN113064824B CN 113064824 B CN113064824 B CN 113064824B CN 202110349064 A CN202110349064 A CN 202110349064A CN 113064824 B CN113064824 B CN 113064824B
Authority
CN
China
Prior art keywords
failure
failed
case
function
script
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110349064.2A
Other languages
English (en)
Other versions
CN113064824A (zh
Inventor
任翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202110349064.2A priority Critical patent/CN113064824B/zh
Publication of CN113064824A publication Critical patent/CN113064824A/zh
Application granted granted Critical
Publication of CN113064824B publication Critical patent/CN113064824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本申请实施例提供的结果分析方法和装置、电子设备及存储介质，涉及结果分析技术领域。结果分析方法包括：首先，获取待处理的测试结果，其中，测试结果包括失败用例，失败用例包括失败函数；其次，根据失败函数对失败用例进行分类比较处理，得到失败用例的缺陷类型；然后，根据缺陷类型对失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位。通过上述设置，可以实现将失败用例按照缺陷类型进行归类，以对归类处理后的失败用例的失败原因进行定位，避免了现有技术中相关测试人员需要重复定位失败用例的失败原因，造成人力浪费，所导致的结果分析的效率低的问题。

Description

结果分析方法和装置、电子设备及存储介质
技术领域
本申请涉及结果分析技术领域，具体而言，涉及一种结果分析方法和装置、电子设备及存储介质。
背景技术
传统的自动化测试平台，进行自动化测试之后，运行结果会显示哪些测试用例成功，哪些测试用例失败，失败的用例返回相关错误信息并且记录相关日志信息。经发明人研究发现，在现有技术中，这种方法会造成多个失败原因一致的用例，相关测试人员需要重复定位失败用例的失败原因，造成人力浪费，从而存在着结果分析的效率低的问题。
发明内容
有鉴于此，本申请的目的在于提供一种结果分析方法和装置、电子设备及存储介质，以改善现有技术中存在的问题。
为实现上述目的，本申请实施例采用如下技术方案：
第一方面，本申请提供一种结果分析方法，所述结果分析方法包括：
获取待处理的测试结果，其中，所述测试结果包括失败用例，所述失败用例包括失败函数；
根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型；
根据所述缺陷类型对所述失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位。
在可选的实施方式中，所述根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型的步骤，包括：
根据所述失败函数对所述测试结果进行筛选处理，得到包括所述失败函数的相关测试脚本；
根据所述失败函数对所述失败用例进行筛选处理，得到包括所述失败函数的失败用例脚本；
对所述相关测试脚本和失败用例脚本进行比较处理，得到所述失败用例的缺陷类型。
在可选的实施方式中，所述相关测试脚本包括第一数量的脚本，所述失败用例脚本包括第二数量的脚本，所述对所述相关测试脚本和失败用例脚本进行比较处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述第一数量与所述第二数量是否相同；
若所述第一数量与所述第二数量相同，则判断所述第二数量是否小于第一预设数量；
若所述第二数量小于第一预设数量，则将所述失败用例的缺陷类型确定为必现次数不够的存在类型。
在可选的实施方式中，所述结果分析方法还包括：
在所述第二数量不小于第一预设数量时，将所述失败用例的缺陷类型确定为必然存在类型。
在可选的实施方式中，所述结果分析方法还包括：
在所述第二数量小于所述第一数量时，根据所述失败函数的前置函数对所述相关测试脚本和失败用例脚本进行分类处理，得到所述失败用例的缺陷类型。
在可选的实施方式中，所述根据所述失败函数的前置函数对所述相关测试脚本和失败用例脚本进行分类处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述失败函数的前置函数是否存在；
若是，则对所述相关测试脚本进行筛选处理，得到包括所述失败函数和前置函数的筛选相关测试脚本；
对所述失败用例脚本进行筛选处理，得到包括所述失败函数和前置函数的筛选失败用例脚本；
对所述筛选相关测试脚本和筛选失败用例脚本进行比较处理，得到所述失败用例的缺陷类型。
在可选的实施方式中，所述筛选相关测试脚本包括第三数量的脚本，所述筛选失败用例脚本包括第四数量的脚本，所述对所述筛选相关测试脚本和筛选失败用例脚本进行比较处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述第三数量与所述第四数量是否相同；
若所述第三数量与所述第四数量相同，则判断所述第四数量是否小于第二预设数量；
若所述第四数量小于第二预设数量，则将所述失败用例的缺陷类型确定为必现次数不够的存在类型。
在可选的实施方式中，所述缺陷类型包括必现次数不够的存在类型、必然存在类型和概率存在类型，所述结果分析方法还包括：
根据所述缺陷类型获取所述失败用例对应的执行策略，以根据所述执行策略对所述失败用例进行验证处理；
其中，所述必现次数不够的存在类型的执行策略为多次执行所述失败用例确认是否为必然存在类型；所述必然存在类型的执行策略为跳过执行必然存在类型的失败用例；所述概率存在类型的执行策略为多次执行所述失败用例计算得到缺陷率。
在可选的实施方式中，所述结果分析方法还包括：
根据所述失败函数对所述失败用例进行关联处理，得到关联数据库表。
第二方面，本申请提供一种结果分析装置，所述结果分析装置包括：
结果获取模块，用于获取待处理的测试结果，其中，所述测试结果包括失败用例，所述失败用例包括失败函数；
分类比较模块，用于根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型；
归类模块，用于根据所述缺陷类型对所述失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位。
第三方面，本申请提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施方式任一项所述的结果分析方法。
第四方面，本申请提供一种存储介质，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在电子设备执行前述实施方式任一项所述的结果分析方法。
本申请实施例提供的结果分析方法和装置、电子设备及存储介质，根据失败函数得到失败用例的缺陷类型，根据缺陷类型对失败用例进行归类处理，实现了将失败用例按照缺陷类型进行归类，以对归类处理后的失败用例的失败原因进行定位，避免了现有技术中相关测试人员需要重复定位失败用例的失败原因，造成人力浪费，所导致的结果分析的效率低的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种电子设备的结构框图。
图2示出了本申请实施例提供的一种结果分析方法的流程示意图。
图3示出了本申请实施例提供的缺陷状态数据库表的结构示意图。
图4示出了本申请实施例提供的失败函数所关联测试用例脚本数据库表的结构示意图。
图5示出了本申请实施例提供的失败函数历史数据库表的结构示意图。
图6示出了本申请实施例提供的失败函数关联数据库表的结构示意图。
图7示出了本申请实施例提供的一种结果分析方法的另一流程示意图。
图8示出了本申请实施例提供的一种结果分析装置的结构框图。
图标：100-电子设备；110-第一存储器；120-第一处理器；130-通信模块；800-结果分析装置；810-结果获取模块；820-分类比较模块；830-归类模块。
具体实施方式
随着时代的发展，当前监控平台及云存储系统的功能越来越多，版本迭代频繁，版本更新快的同时要保障软件运行稳定，对于测试来说版本越来越多，发布时间越来越紧张，挑战也越来越大，而测试效率的提升就成为了当前急需解决的难题。
传统的自动化测试平台，运行自动化测试套之后，运行结果会显示哪些测试用例成功，哪些测试用例失败，失败的用例返回相关错误信息并且记录相关日志信息。但是这种方法会造成多个失败原因一致的用例，相关测试人员需要进行重复定位，造成人力浪费。第二，部分失败用例错误一定能出现，而部分失败用例错误可能有一定概率才能出现，在缺陷还没有修复之前运行自动化测试套，一定能出现的失败用例还是会显示失败，相关测试人员也需要重复进行定位，造成人力浪费。第三，开发人员修改缺陷之后，测试人员用自动化测试套验证相应缺陷单，可以根据结果判断缺陷单是否修复成功。另外，如果由于修改引入了其他模块产生的缺陷，如果发现有新的测试用例执行失败，则相关失败用例可以和修改缺陷单前的测试用例产生关联，帮助测试人员更好地发现组合测试场景，进一步提高测试人员的测试设计复杂度。
有鉴于此，本申请提供一种基于云存储系统自动化测试结果分析平台及方法，提高了自动化测试平台结果分析的有效性和自动化测试结果的定位效率，对于软件缺陷修复之后的验证更加缜密，并同时可以挖掘更多的组合测试场景。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在发明过程中做出的贡献。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参照图1，是本申请实施例提供的一种电子设备100的方框示意图，电子设备100上包括自动化测试平台和结果分析平台，自动化测试平台用于对软件版本进行测试，得到测试结果，结果分析平台用于对测试结果进行结果分析处理。
详细地，本实施例中的电子设备100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。电子设备100包括第一存储器110、第一处理器120及通信模块130。第一存储器110、第一处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，第一存储器110用于存储程序或者数据。第一存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
第一处理器120用于读/写第一存储器110中存储的数据或程序，并执行相应的功能。通信模块130用于通过网络建立电子设备100与其它通信终端之间的通信连接，并用于通过网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图2，为本申请实施例提供的一种结果分析方法的流程示意图，可以由图1电子设备100执行，例如可以由电子设备100中的第一处理器120执行。应当理解，在其他实施例中，本实施例的结果分析方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面对图2所示的结果分析方法的流程进行详细描述。
步骤S210，获取待处理的测试结果，其中，测试结果包括失败用例，失败用例包括失败函数。
步骤S220，根据失败函数对失败用例进行分类比较处理，得到失败用例的缺陷类型。
步骤S230，根据缺陷类型对失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位。
上述方法根据失败函数得到失败用例的缺陷类型，根据缺陷类型对失败用例进行归类处理，实现了将失败用例按照缺陷类型进行归类，以对归类处理后的失败用例的失败原因进行定位，避免了现有技术中相关测试人员需要重复定位失败用例的失败原因，造成人力浪费，所导致的结果分析的效率低的问题。
对于步骤S210，需要说明的是，结合图3、图4、图5及图6，自动化测试结果分析平台上设置有缺陷状态数据库表结构、失败函数所关联测试用例脚本数据库表结构、失败函数历史数据库表结构及失败函数关联数据库表结构。
云存储系统出了新的版本安装包之后，自动化测试平台需要判断是否为第一次测试，如果该次测试为第一次测试执行无历史测试报告，将软件版本安装包上传到云存储系统自动化测试平台，然后云存储系统自动化测试平台执行测试用例脚本，对版本进行验证，测试完成之后把相关测试结果发给自动化测试结果分析平台进行分析。
如果该次测试为第i(i>＝2)次测试，自动化测试结果分析平台更新缺陷状态数据库表中当前失败用例的缺陷解决状态。首先筛选出所有的失败用例，根据缺陷状态数据库表中的缺陷单单号，去查找缺陷管理库中该缺陷单的状态，当缺陷单走到测试经理组织回归状态/测试人员回归状态，则更新该缺陷单对应的缺陷单解决状态，从“未修改状态/修改不通过状态”修改为“已修改未验证状态”。处于其他状态的缺陷单，不会对缺陷状态数据库表的缺陷单解决状态进行更新。
更新完成后，自动化测试结果分析平台筛选出自动化测试结果分析平台缺陷状态数据库表中缺陷单解决状态字段为“未修改状态/修改不通过状态”和失败函数是否必现字段为“必现”的所有测试用例脚本编号，将这部分测试用例脚本编号通知自动化测试平台，自动化测试平台自动将这部分测试用例脚本置为不执行状态，将测试结果发送至结果分析平台。
在步骤S220之前，需要说明的是，自动化测试结果分析平台收到自动化测试平台的测试结果之后，平台将根据实际脚本运行情况更新缺陷状态数据库表、失败函数所关联测试用例脚本数据库表、失败函数历史数据库表。可以根据测试脚本的执行结果对测试脚本进行对应的处理，例如，在一种可以替代的示例中，上一次没有执行结果的脚本，本次执行成功，根据缺陷状态数据库表对应的测试用例脚本编号，更新对应的测试脚本最近一次执行状态字段为“成功”。
又例如，在另一种可以替代的示例中，上一次执行成功且缺陷状态数据库表中的失败函数是否必现字段为空白的脚本，本次也执行成功的脚本，不对数据库表做任何更新。
又例如，在另一种可以替代的示例中，缺陷状态数据库表中的失败函数是否必现字段为“概现”且缺陷单解决状态字段为“未修改状态/修改不通过状态”，本次执行成功。如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，之前版本存在的失败函数所关联的脚本执行失败次数字段为“ks”，之前版本存在的失败函数所关联的脚本总执行次数为“ms”，本次执行失败的失败函数所关联的脚本执行次数为k，本次执行的失败函数所关联的脚本总执行次数为m。则更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“成功”、更新失败函数出现概率字段为“ks+k/ms+m”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为实际脚本的成功/失败状态，更新失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“ks+k”、当前版本存在的失败函数所关联的脚本总执行次数“ms+m”。
又例如，在另一种可以替代的示例中，缺陷状态数据库表中的失败函数是否必现字段为“概现”且缺陷单解决状态字段为“已修改未验证状态/已修改第一次回归通过状态”，本次执行失败。如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，之前版本存在的失败函数所关联的脚本执行失败次数字段为“ks”，之前版本存在的失败函数所关联的脚本总执行次数为“ms”，本次执行失败的失败函数所关联的脚本执行次数为k，本次执行的失败函数所关联的脚本总执行次数为m。则更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新缺陷单解决状态为“修改不通过状态”、更新失败函数出现概率字段为“ks+k/ms+m”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为实际脚本的成功/失败状态，更新失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“ks+k”、当前版本存在的失败函数所关联的脚本总执行次数“ms+m”。测试结果分析平台同步更新缺陷管理库，把该缺陷单标记为回归不通过状态返回给开发人员。
又例如，在另一种可以替代的示例中，上一次执行失败，缺陷单解决状态字段为“已修改未验证状态”，本次执行成功，则更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“成功”，更新失败函数所关联测试用例脚本数据库表测试脚本最近一次执行状态字段为“成功”，其余字段不更新。如果缺陷状态数据库表中的缺陷单解决状态为“概现”，更新缺陷单解决状态字段为“已修改第一次回归通过”；如果缺陷状态数据库表中的缺陷单解决状态为“必现”，更新缺陷单解决状态字段为“缺陷修改验证完成”。
又例如，在另一种可以替代的示例中，缺陷单解决状态字段为“已修改第一次回归通过”，本次执行成功，则更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“成功”、更新缺陷单解决状态为“缺陷修改验证完成”、更新失败函数出现概率字段为空白，更新失败函数所关联测试用例脚本数据库表测试脚本最近一次执行状态字段为实际脚本的成功状态，更新失败函数历史数据库表当前版本存在的失败函数所关联的脚本执行失败次数字段为空白、当前版本存在的失败函数所关联的脚本总执行次数空白。
又例如，在另一种可以替代的示例中，上一次执行成功且缺陷状态数据库表中的失败函数是否必现字段为空白的脚本，本次执行失败，根据失败函数对失败用例进行分类比较处理，得到失败用例的缺陷类型。
又例如，在另一种可以替代的示例中，上一次没有执行结果的脚本/上一次执行成功且缺陷状态数据库表中的失败函数是否必现字段为空白的脚本，本次执行失败，根据失败函数对失败用例进行分类比较处理，得到失败用例的缺陷类型。
可选地，进行分类比较处理的具体步骤不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，步骤S220可以包括对测试结果和失败用例分别进行筛选的步骤。因此，在图2的基础上，图7为本申请实施例提供的另一种结果分析方法的流程示意图，参见图7，步骤S220可以包括：
步骤S221，根据失败函数对测试结果进行筛选处理，得到包括失败函数的相关测试脚本。
步骤S222，根据失败函数对失败用例进行筛选处理，得到包括失败函数的失败用例脚本。
步骤S223，对相关测试脚本和失败用例脚本进行比较处理，得到失败用例的缺陷类型。
对于步骤S221，需要说明的是，将失败用例Tn中失败的函数Xn在所有测试脚本中进行搜索，筛选出所有与Xn相关的m个相关测试脚本TXn1，TXn2，……TXnm。也就是说，m个相关测试脚本TXn1，TXn2，……TXnm都包括失败函数Xn。
对于步骤S222，需要说明的是，将失败用例Tn中失败的函数Xn在所有失败脚本中进行搜索，筛选出所有包含失败函数Xn的k个失败用例脚本Tf1，Tf2，……Tfk。
对于步骤S223，需要说明的是，进行比较处理的具体步骤不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，相关测试脚本包括第一数量(m)的脚本，失败用例脚本包括第二数量(k)的脚本，步骤S223可以包括以下子步骤：
判断第一数量与第二数量是否相同；若第一数量与第二数量相同，则判断第二数量是否小于第一预设数量；若第二数量小于第一预设数量，则将失败用例的缺陷类型确定为必现次数不够的存在类型；若第二数量不小于第一预设数量，则将失败用例的缺陷类型确定为必然存在类型。
可选地，第一预设数量的具体数值不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的实例中，第一预设数量可以为3。
详细地，如果k＝m且k<3，根据缺陷状态数据库表对应的测试用例脚本编号，如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“缺陷存在但必现次数不够”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为“失败”，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“k”。
如果k＝m且k>＝3，则根据缺陷状态数据库表对应的测试用例脚本编号，如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“必现”、更新失败函数出现概率字段为“100％”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为“失败”，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“k”。
进一步地，在第二数量小于第一数量时，本申请实施例提供的结果分析方法还可以包括以下子步骤：
根据失败函数的前置函数对相关测试脚本和失败用例脚本进行分类处理，得到失败用例的缺陷类型。
需要说明的是，如果k<m，则对TXn1，TXn2，……TXnm继续进行分类，寻找失败函数Xn的前置函数。
可选地，进行分类处理的具体步骤不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的示例中，进行分类处理的步骤可以包括以下子步骤：
判断失败函数的前置函数是否存在；若是，则对相关测试脚本进行筛选处理，得到包括失败函数和前置函数的筛选相关测试脚本；对失败用例脚本进行筛选处理，得到包括失败函数和前置函数的筛选失败用例脚本；对筛选相关测试脚本和筛选失败用例脚本进行比较处理，得到失败用例的缺陷类型。
其中，进行比较处理的具体步骤不受限制，可以根据实际应用需求进行设置。例如，筛选相关测试脚本包括第三数量(mw)的脚本，筛选失败用例脚本包括第四数量(kw)的脚本，进行比较处理的步骤可以包括以下子步骤：
判断第三数量与第四数量是否相同；若第三数量与第四数量相同，则判断第四数量是否小于第二预设数量；若第四数量小于第二预设数量，则将失败用例的缺陷类型确定为必现次数不够的存在类型。
可选地，第二预设数量的具体数值不受限制，可以根据实际应用需求进行设置。例如，在一种可以替代的实例中，第二预设数量可以为3。
详细地，如果Xn的前置函数Wn存在，则将m个脚本分类成包含Wn、Xn相关的mw个筛选相关测试脚本和包含Xn不包含Wn的m-mw个测试脚本，同时k个失败用例分类成包含Wn、Xn相关的kw个筛选失败用例脚本和包含Xn不包含Wn的k-kw个失败用例脚本。
此处以包含Wn、Xn的筛选相关相关脚本为例(包含Xn不包含Wn的相关脚本分类和比较方法相同)，如果kw＝mw且kw<3，根据缺陷状态数据库表对应的测试用例脚本编号，如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“缺陷存在但必现次数不够”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为“失败”，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“k”。
如果kw＝mw且kw>＝3，则根据缺陷状态数据库表对应的测试用例脚本编号，如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“必现”、更新失败函数出现概率字段为“100％”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为“失败”，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“k”。
如果kw<mw，则对mw个筛选相关测试脚本继续进行分类，寻找失败函数Wn、Xn的前置函数，如果前置函数不存在，根据缺陷状态数据库表对应的测试用例脚本编号。如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k，本次执行的失败函数所关联的脚本总执行次数为m。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“概现”、更新失败函数出现概率字段为“k/m”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为实际脚本的成功/失败状态，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“m”。
如果Wn、Xn的前置函数Vn存在，则将mw个筛选相关测试脚本继续进行递归二叉树分类和比较。
需要说明的是，如果Xn的前置函数Wn不存在，根据缺陷状态数据库表对应的测试用例脚本编号。如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，本次执行失败的失败函数所关联的脚本执行次数为k，本次执行的失败函数所关联的脚本总执行次数为m。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为“失败”、更新失败函数路径字段为“Xn”、更新失败函数是否必现字段为“概现”、更新失败函数出现概率字段为“k/m”，更新失败函数所关联测试用例脚本数据库表失败函数路径字段、失败函数所在测试用例脚本编号字段、测试脚本最近一次执行状态字段为实际脚本的成功/失败状态，更新失败函数历史数据库表失败函数路径字段、失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“k”、当前版本存在的失败函数所关联的脚本总执行次数“m”。
对于步骤S230，需要说明的是，自动化测试结果分析平台汇总所有的测试结果之后，将失败原因进行合并，相同的失败函数路径的失败原因进行合并，合并后的失败原因如下：
错误码-失败函数路径-所关联的所有测试用例脚本编号-失败函数是否必现-失败脚本缺陷单-相关日志路径；
其中，生成的内部测试报告中呈现的失败原因，只包含不重复的失败原因。也就是说，分析结束后自动化测试结果分析平台将失败用例的结果进行归类生成测试报告，缺陷产生属于相同一个或者几个失败函数的，失败原因合并为一个呈现，并在测试报告中显示该缺陷必现/该缺陷概率出现/该缺陷存在但必现次数不够。
通过上述方法，可以提高自动化测试结果分析平台的定位效率，降低了缺陷定位人力。传统的自动化测试平台，运行自动化测试套之后，运行结果会显示哪些测试用例成功，哪些测试用例失败，失败的用例返回相关错误信息并且记录相关日志信息。但是这种方法会造成多个失败原因一致的用例，相关测试人员需要进行重复定位，造成人力浪费。而本申请将自动化测试平台和结果分析平台分离，通过结果分析平台对失败函数按照关联用例进行分类和比较，分析出相关失败函数所涉及缺陷的类型，并对失败原因进行合并呈现，这样需要定位的缺陷大大减少，且失败缺陷原因清晰可见，降低了缺陷定位人力。
进一步地，本申请实施例提供的结果分析方法还可以包括以下步骤：
根据缺陷类型获取失败用例对应的执行策略。详细地，必现次数不够的缺陷可以通过人工确认或者单独执行相关失败用例确认该缺陷最终是否必现，并修正该缺陷为必现缺陷或者概现缺陷。当版本缺陷还没有解决的时候，自动化测试结果分析平台通知自动化测试平台，必现缺陷相关失败用例无需执行。对于概现缺陷，经过自动化测试平台执行用例之后，将结果发送给自动化测试结果分析平台，如果概现缺陷的失败函数与上一次失败函数一致时，相关用例错误信息无需刷新，仅刷新出现缺陷率，同时发送测试报告的时候提示缺陷与之前版本相同，同时呈现之前版本报告错误。
在失败函数是否必现字段为“缺陷存在但必现次数不够”时，测试人员对该失败函数所关联的测试用例脚本进行确认，确认该缺陷最终是否必现。如果之前版本失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh”，之前版本存在的失败函数所关联的脚本执行失败次数和所关联的脚本总执行次数字段为“ks”，本次执行失败的失败函数所关联的脚本执行次数为k，本次执行的失败函数所关联的脚本总执行次数为m。更新缺陷状态数据库表对应的测试脚本最近一次执行状态字段为成功或者失败状态、更新失败函数是否必现字段为“必现”或者“概现”、更新失败函数出现概率字段为“ks+k/ks+m”，更新失败函数所关联测试用例脚本测试脚本最近一次执行状态字段为成功或者失败状态，更新失败函数历史数据库表失败函数所关联的脚本历史失败次数字段为“kh+k”、当前版本存在的失败函数所关联的脚本执行失败次数字段为“ks+k”、当前版本存在的失败函数所关联的脚本总执行次数“ks+m”。
上述方法根据失败函数所关联的缺陷单状态，智能处理失败用例的执行策略，让自动化测试平台执行更加合理，同时缩短了测试平台的无效执行时间和测试人员手工挑选用例的工作量。传统的自动化测试平台，无论版本的失败函数关联的用例缺陷是否解决，自动化测试平台都需要执行一遍，测试人员需要重新定位测试平台执行后产生的失败用例，这其中存在之前版本没有解决的失败函数关联的用例，造成定位工作量的重复；另外，如果版本缺陷已经修改完成，测试人员需要自行搜索相关脚本执行用例进行回归验证，造成搜索工作量的增加。而本申请通过失败函数所关联的缺陷单状态，让自动化测试平台智能处理失败用例，让自动化测试平台执行更加合理，缩短了测试平台的无效执行时间，同时当缺陷修改之后自动对相关缺陷进行回归验证，减少了测试人员的工作量。
进一步地，本申请实施例提供的结果分析方法还可以包括以下步骤：
根据失败函数对失败用例进行关联处理，得到关联数据库表。
详细地，在失败脚本缺陷单为空白时，先找相关人员定位缺陷，如果是之前存在的缺陷单，则更新失败函数关联数据库表中的失败函数路径字段、关联失败函数路径字段、所关联的失败函数路径历史关联失败次数；如果更新缺陷单之后发现缺陷状态数据库表中缺陷单解决状态为“缺陷修改验证完成”，则更新缺陷单之后发现缺陷状态数据库表中缺陷单解决状态为“修改不通过状态”，同时通知缺项管理库将对应缺陷单返回开发人员，并更新失败函数关联数据库表中的失败函数路径字段、关联失败函数路径字段、所关联的失败函数路径历史关联失败次数；如果是之前不存在的缺陷单，则提交失败缺陷单到缺陷管理库并更新失败函数关联数据库表中的失败脚本缺陷单字段为实际缺陷单号。
当开发人员修正缺陷之后，缺陷状态走到测试经理组织回归阶段/测试人员回归阶段时，测试人员在自动化测试平台上执行测试用例，然后开始运行相关测试用例。运行完成后测试用例的结果发给自动化测试结果分析平台。当失败函数所关联的必现缺陷的失败用例都通过，缺陷单标记为回归通过状态；当失败函数所关联的概现缺陷的失败用例都通过，缺陷单记录为第一次回归通过，待下次运行测试平台结果，如下次运行该部分用例也都通过，则缺陷单记录为第二次回归通过，并标记缺陷单为回归通过状态；当失败函数所关联的必现或概现缺陷均出现失败情况，则问缺陷标记为回归不通过状态，自动化测试结果分析平台所呈现的相关失败函数测试结果依然为失败；当失败函数所关联的必现或概现缺陷都通过但其他用例出现异常，进行分类和比较，如确认其他用例均由于缺陷修改引入导致，则在其他用例上标记原缺陷及失败函数，同时将多个失败函数作为关联失败函数，记录进入关联函数表，同时在测试报告中做出关联失败提示。同时在函数关联页面中，通过失败次数从高到低进行排序，提醒测试人员重点关注并加强用例补充验证。
所有缺陷确认完成之后，自动化测试结果分析平台生成最终的测试报告，并提醒用户失败函数中哪些失败函数所关联的脚本历史失败次数很多和哪些所关联的失败函数路径历史关联失败次数很多。并提供失败函数查询界面及失败函数关联查询界面，次数从高到低进行排序，提醒测试人员重点需要重点关注的失败函数查询界面及失败函数关联查询界面。
上述方法通过失败函数的深度关联，有效地增加了组合测试的复杂性，从而辅助测试人员提高测试深度。传统的自动化测试平台的测试脚本都是测试人员写好之后上传到测试平台上进行执行，测试平台只有单纯执行用例的作用，而不会对测试设计有帮助和改进。而自动化测试结果分析平台，可以呈现出测试人员关注较少的组合测试情况，增强测试人员组合测试设计能力。
也就是说，本申请提供了一种基于云存储系统自动化测试结果分析平台及方法，通过云存储系统自动化测试平台对版本进行验证，结果发给自动化测试结果分析平台，自动化测试结果分析平台对失败函数(一个或多个)按照关联用例进行分类和比较，分析出相关失败函数所涉及的缺陷是必现/概现/缺陷存在必现次数不够，并对失败原因进行合并呈现，缺陷存在必现次数不够的通过人工确认或单独执行用例确认是必现还是概现缺陷。当缺陷未修复的时候，必现缺陷相关失败用例自动化测试平台不执行。当缺陷修改完成之后，通过云存储系统自动化测试平台对缺陷修改合入后的版本进行验证，结果发给自动化测试结果分析平台进行分析，如果缺陷解决则平台将缺陷单置为回归通过状态，如果缺陷未解决则平台将缺陷单置为回归不通过状态，如引入其他用例异常，则将多个关联失败函数记录关联函数表，同时在测试报告做出关联提示。通过这个方法可以让测试报告呈现更清晰，定位效率更快，同时有助于缺陷单效率提升，并通过记录关联失败函数，有效地挖掘了组合测试场景。
结合图8，本申请实施例还提供了一种结果分析装置800，该结果分析装置800实现的功能对应上述方法执行的步骤。该结果分析装置800可以理解为上述电子设备100的处理器，也可以理解为独立于上述电子设备100或处理器之外的在电子设备100控制下实现本申请功能的组件。其中，结果分析装置800可以包括结果获取模块810、分类比较模块820和归类模块830。
结果获取模块810，用于获取待处理的测试结果，其中，测试结果包括失败用例，失败用例包括失败函数。在本申请实施例中，结果获取模块810可以用于执行图2所示的步骤S210，关于结果获取模块810的相关内容可以参照前文对步骤S210的描述。
分类比较模块820，用于根据失败函数对失败用例进行分类比较处理，得到失败用例的缺陷类型。在本申请实施例中，分类比较模块820可以用于执行图2所示的步骤S220，关于分类比较模块820的相关内容可以参照前文对步骤S220的描述。
归类模块830，用于根据缺陷类型对失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位。在本申请实施例中，归类模块830可以用于执行图2所示的步骤S230，关于归类模块830的相关内容可以参照前文对步骤S230的描述。
此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述结果分析方法的步骤。
本申请实施例所提供的结果分析方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行上述方法实施例中的结果分析方法的步骤，具体可参见上述方法实施例，在此不再赘述。
综上所述，本申请实施例提供的结果分析方法和装置、电子设备及存储介质，根据失败函数得到失败用例的缺陷类型，根据缺陷类型对失败用例进行归类处理，实现了将失败用例按照缺陷类型进行归类，以对归类处理后的失败用例的失败原因进行定位，避免了现有技术中相关测试人员需要重复定位失败用例的失败原因，造成人力浪费，所导致的结果分析的效率低的问题。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种结果分析方法，其特征在于，所述结果分析方法包括：
获取待处理的测试结果，其中，所述测试结果包括失败用例，所述失败用例包括失败函数；
根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型；
根据所述缺陷类型对所述失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位；
所述根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型的步骤，包括：
根据所述失败函数对所述测试结果进行筛选处理，得到包括所述失败函数的相关测试脚本；
根据所述失败函数对所述失败用例进行筛选处理，得到包括所述失败函数的失败用例脚本；
对所述相关测试脚本和失败用例脚本进行比较处理，得到所述失败用例的缺陷类型。
2.如权利要求1所述的结果分析方法，其特征在于，所述相关测试脚本包括第一数量的脚本，所述失败用例脚本包括第二数量的脚本，所述对所述相关测试脚本和失败用例脚本进行比较处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述第一数量与所述第二数量是否相同；
若所述第一数量与所述第二数量相同，则判断所述第二数量是否小于第一预设数量；
若所述第二数量小于第一预设数量，则将所述失败用例的缺陷类型确定为必现次数不够的存在类型。
3.如权利要求2所述的结果分析方法，其特征在于，所述结果分析方法还包括：
在所述第二数量不小于第一预设数量时，将所述失败用例的缺陷类型确定为必然存在类型。
4.如权利要求2所述的结果分析方法，其特征在于，所述结果分析方法还包括：
在所述第二数量小于所述第一数量时，根据所述失败函数的前置函数对所述相关测试脚本和失败用例脚本进行分类处理，得到所述失败用例的缺陷类型。
5.如权利要求4所述的结果分析方法，其特征在于，所述根据所述失败函数的前置函数对所述相关测试脚本和失败用例脚本进行分类处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述失败函数的前置函数是否存在；
若是，则对所述相关测试脚本进行筛选处理，得到包括所述失败函数和前置函数的筛选相关测试脚本；
对所述失败用例脚本进行筛选处理，得到包括所述失败函数和前置函数的筛选失败用例脚本；
对所述筛选相关测试脚本和筛选失败用例脚本进行比较处理，得到所述失败用例的缺陷类型。
6.如权利要求5所述的结果分析方法，其特征在于，所述筛选相关测试脚本包括第三数量的脚本，所述筛选失败用例脚本包括第四数量的脚本，所述对所述筛选相关测试脚本和筛选失败用例脚本进行比较处理，得到所述失败用例的缺陷类型的步骤，包括：
判断所述第三数量与所述第四数量是否相同；
若所述第三数量与所述第四数量相同，则判断所述第四数量是否小于第二预设数量；
若所述第四数量小于第二预设数量，则将所述失败用例的缺陷类型确定为必现次数不够的存在类型。
7.如权利要求1所述的结果分析方法，其特征在于，所述缺陷类型包括必现次数不够的存在类型、必然存在类型和概率存在类型，所述结果分析方法还包括：
根据所述缺陷类型获取所述失败用例对应的执行策略，以根据所述执行策略对所述失败用例进行验证处理；
其中，所述必现次数不够的存在类型的执行策略为多次执行所述失败用例确认是否为必然存在类型；所述必然存在类型的执行策略为跳过执行必然存在类型的失败用例；所述概率存在类型的执行策略为多次执行所述失败用例计算得到缺陷率。
8.如权利要求1所述的结果分析方法，其特征在于，所述结果分析方法还包括：
根据所述失败函数对所述失败用例进行关联处理，得到关联数据库表。
9.一种结果分析装置，其特征在于，所述结果分析装置包括：
结果获取模块，用于获取待处理的测试结果，其中，所述测试结果包括失败用例，所述失败用例包括失败函数；
分类比较模块，用于根据所述失败函数对所述失败用例进行分类比较处理，得到所述失败用例的缺陷类型；
归类模块，用于根据所述缺陷类型对所述失败用例进行归类处理，以对归类处理后的失败用例的失败原因进行定位；
所述分类比较模块具体用于：
根据所述失败函数对所述测试结果进行筛选处理，得到包括所述失败函数的相关测试脚本；
根据所述失败函数对所述失败用例进行筛选处理，得到包括所述失败函数的失败用例脚本；
对所述相关测试脚本和失败用例脚本进行比较处理，得到所述失败用例的缺陷类型。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至8任一项所述的结果分析方法。
11.一种存储介质，其特征在于，所述存储介质包括计算机程序，所述计算机程序运行时控制所述存储介质所在电子设备执行权利要求1至8任一项所述的结果分析方法。
CN202110349064.2A 2021-03-31 2021-03-31 结果分析方法和装置、电子设备及存储介质 Active CN113064824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110349064.2A CN113064824B (zh) 2021-03-31 2021-03-31 结果分析方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110349064.2A CN113064824B (zh) 2021-03-31 2021-03-31 结果分析方法和装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113064824A CN113064824A (zh) 2021-07-02
CN113064824B true CN113064824B (zh) 2022-12-02

Family

ID=76564915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110349064.2A Active CN113064824B (zh) 2021-03-31 2021-03-31 结果分析方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113064824B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595143B (zh) * 2022-02-14 2023-06-06 中国电子科技集团公司第十研究所 航空通信电子系统嵌入式测试可信检测验证方法及系统
CN114692663B (zh) * 2022-03-30 2023-09-29 上海中商网络股份有限公司 一种读码失败的拍照识别容错方法
CN115048315B (zh) * 2022-07-06 2024-09-17 东软睿驰汽车技术（沈阳）有限公司 自动驾驶仿真测试结果的分析方法、装置和电子设备
CN116932413B (zh) * 2023-09-14 2023-12-19 深圳市智慧城市科技发展集团有限公司 测试任务的缺陷处理方法、缺陷处理装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894073A (zh) * 2010-08-17 2010-11-24 北京航空航天大学 基于控制流交集的缺陷自动定位装置及其自动定位方法
CN102622295A (zh) * 2012-02-17 2012-08-01 北京航空航天大学 一种基于谓词执行信息分析的自适应软件缺陷定位方法
CN103019943A (zh) * 2013-01-04 2013-04-03 北京航空航天大学 一种面向失败测试用例稀少情况的软件错误定位方法
CN105930276A (zh) * 2016-06-30 2016-09-07 乐视控股（北京）有限公司 一种识别测试用例失败原因的方法及装置
CN109144882A (zh) * 2018-09-19 2019-01-04 哈尔滨工业大学 一种基于程序不变量的软件故障定位方法及装置
CN110990575A (zh) * 2019-12-18 2020-04-10 斑马网络技术有限公司 测试用例失败原因分析方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI396077B (zh) * 2009-04-07 2013-05-11 Inventec Corp 感測器功能之檢測方法
CN101556550A (zh) * 2009-05-22 2009-10-14 北京星网锐捷网络技术有限公司 一种自动化测试日志分析方法和装置
CN110489321B (zh) * 2019-07-08 2024-09-13 平安科技（深圳）有限公司 测试用例筛选方法、装置、计算机设备和存储介质
CN111274126B (zh) * 2020-01-14 2022-10-04 华为云计算技术有限公司 测试用例筛选方法、装置及介质
CN111897722B (zh) * 2020-07-15 2022-11-22 重庆紫光华山智安科技有限公司 自动化测试用例处理方法、装置、服务器及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894073A (zh) * 2010-08-17 2010-11-24 北京航空航天大学 基于控制流交集的缺陷自动定位装置及其自动定位方法
CN102622295A (zh) * 2012-02-17 2012-08-01 北京航空航天大学 一种基于谓词执行信息分析的自适应软件缺陷定位方法
CN103019943A (zh) * 2013-01-04 2013-04-03 北京航空航天大学 一种面向失败测试用例稀少情况的软件错误定位方法
CN105930276A (zh) * 2016-06-30 2016-09-07 乐视控股（北京）有限公司 一种识别测试用例失败原因的方法及装置
CN109144882A (zh) * 2018-09-19 2019-01-04 哈尔滨工业大学 一种基于程序不变量的软件故障定位方法及装置
CN110990575A (zh) * 2019-12-18 2020-04-10 斑马网络技术有限公司 测试用例失败原因分析方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Striving for Failure: An Industrial Case Study about Test Failure Prediction;Jeff Anderson 等;《2015 IEEE/ACM 37th IEEE International Conference on Software Engineering》;20150817;第49-58页 *
基于影响分析的回归测试优先级错误定位方法;张慧;《计算机科学》;20161015;第42卷(第10期);第182-189页 *
增强上下文的错误定位技术;张卓 等;《软件学报》;20190215;第30卷(第2期);第266-281页 *

Also Published As

Publication number Publication date
CN113064824A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN113064824B (zh) 结果分析方法和装置、电子设备及存储介质
US7765538B2 (en) Method and apparatus for determining which program patches to recommend for installation
EP1680741A2 (en) Testing tool for complex component based software systems
CN111274154A (zh) 一种自动化测试的方法、装置、设备及存储介质
CN112131116B (zh) 一种嵌入式软件自动化回归测试方法
CN114064473A (zh) 车机系统测试方法、系统、车辆及计算机可读存储介质
CN111679851B (zh) 需求代码管理方法、装置、系统与计算机可读存储介质
Tierno et al. Open issues for the automotive software testing
CN113377650A (zh) 自动化测试用例运行方法、装置、测试设备及存储介质
CN114546881A (zh) 应用软件测试方法、电子设备和计算机可读存储介质
CN111249743B (zh) 一种美术资源的检查提交方法和装置
JP2023000907A (ja) ソースコード修正支援装置及びソースコード修正支援方法
US6427233B1 (en) Method for addressing the dynamic windows
CN110674038A (zh) 一种对软件测试中错误信息的分类方法及装置
CN115629956A (zh) 一种基于接口自动化测试的软件缺陷管理方法及系统
CN113297038B (zh) 监控与数据处理方法、装置、设备及监控系统、数据中心
CN116932413B (zh) 测试任务的缺陷处理方法、缺陷处理装置及存储介质
CN117950993B (zh) 一种动态调试apk插件装置
CN112597057B (zh) 一种蓝图数据的差异化处理方法和装置
US20050288913A1 (en) Circuit design simulation
CN118467349A (zh) 基于多模态大模型的产品ui功能识别与缺陷检测方法
CN118820095A (zh) 软件测试可视化信息获取方法、装置、设备及介质
CN116048953A (zh) 数据库维护方法、装置、存储介质及电子设备
CN118503117A (zh) 一种基于Selenium的自动化测试方法、终端设备及存储介质
CN115705293A (zh) 程序查测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant