CN116361147A - 测试用例根因定位方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请涉及一种测试用例根因定位方法及其装置、设备、介质、产品，所述方法包括：获取运行测试用例时返回的告警信息；对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。本申请通过两种方式联合确定测试用例运行失败的失败原因，更为精准。

Description

测试用例根因定位方法及其装置、设备、介质、产品

技术领域

本申请涉及软件工程技术，尤其涉及一种测试用例根因定位方法及其装置、设备、介质、产品。

背景技术

软件工程中，常采用可利用的测试用例对应用程序进行测试，及时发现应用程序存在的各种故障原因，以改进相关代码，提升应用程序的产品质量。

测试人员在测试用例执行失败时，需要对测试日志进行分析，定位失败原因，进而修正导致失败的测试用例。目前的主流做法是人工分析测试日志来判断用例失败的原因。随着平台规模和软件规模的不断增长，同一平台运行的测试用例越来越多，同时执行失败的测试用例的数量也越来越大。如果仍依赖人工对各种测试用例进行故障排查，工作量很大，且耗时较久，会影响测试进度，不利于测试的快速迭代。

发明内容

本申请的目的在于解决上述问题而提供一种测试用例根因定位方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种测试用例根因定位方法，包括如下步骤：

获取运行测试用例时返回的告警信息；

对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；

对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；

当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

可选的，获取运行测试用例时返回的告警信息，包括：

响应用户测试请求，运行该请求所指定的测试用例，对目标应用程序实施测试；

监听获取所述测试用例运行过程中产生的返回信息；

识别所述返回信息是否属于告警信息，过滤掉其中的非告警信息。

可选的，对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因，包括：

从所述告警信息中抽取多个目标特征；

将所述多个目标特征与故障类型库中的故障模板进行比较，确定完全包含所述多个目标特征的一个或多个候选故障模板；

确定所述多个候选故障模板与所述多个目标特征之间的关联程度，将关联程度最高的候选故障模板相对应的故障原因确定为第一故障原因。

可选的，对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因，包括：

对所述告警信息进行编码，获得其相应的编码向量，所述编码向量中包含所述告警信息的句子隶属信息、词元信息以及位置信息；

将所述编码向量输入根因分类模型中提取深层语义信息后映射到故障类别库中各个类别相对应的分类概率，将分类概率最大的故障原因确定为第二故障原因。

可选的，获取运行测试用例时返回的告警信息之前，包括：

从训练数据集中调用单个训练样本及其相应的类别标签，所述训练样本包含应用程序开发过程和测试过程中的告警信息，所述类别标签为所述告警信息相对应的故障原因类型的编码标签；

将所述训练样本输入所述根因分类模型中，预测出所述训练样本映射到所述故障类别库中各个类别相对应的分类概率作为分类结果；

计算所述分类结果相对于所述类别标签的分类损失值，根据所述分类损失值控制所述根因分类模型实施梯度更新，然后采用继续迭代训练，直至所述根因分类模型达到收敛状态为止。

可选的，从训练数据集中调用单个训练样本及其相应的类别标签之前，包括：

获取日志数据集，所述日志数据集包括应用程序在开发过程中产生的日志中的告警信息，以及应用程序在测试过程中产生的日志中的告警信息；

将所述日志数据集中与故障原因具有确定性的映射关系的告警信息保留，过滤其余的告警信息；

对所述日志数据集中的各个告警信息进行特征抽取，获得多个目标特征，将每种故障原因相对应的多个目标特征构造为故障模板，关于相应的故障原因存储至故障原因模板库中；

将日志数据集中的告警信息作为训练样本，将所述告警信息的故障原因转换为类别标签，关联映射存储于所述训练数据集中。

可选的，获取日志数据集之前，包括：

获取应用程序在开发过程中产生和在测试过程中产生的日志文件；

对所述日志文件进行数据清洗，获得净化的日志文件；

对净化的日志文件进行格式预处理，获得其中各条日志的告警信息，将所述告警信息标注相应的故障原因存储到所述日志数据集中。

根据本申请的另一方面，提供一种测试用例根因定位装置，包括：

信息获取模块，设置为获取运行测试用例时返回的告警信息；

规则匹配模块，设置为对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；

分类映射模块，设置为对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；

原因确定模块，设置为当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

根据本申请的另一方面，提供一种测试用例根因定位设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的测试用例根因定位方法的步骤。

根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的测试用例根因定位方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请针对测试用例运行后返回的告警信息，先基于规则匹配确定出其所属的第一故障原因，再利用其深层语义信息进行语义分类映射确定出其所属的第二故障原因，然后综合第一故障原因和第二故障原因，在两者相同时确定相应的故障原因为所述测试用例的失败原因，通过两种方式联合确定失败原因，更为精准，在处理海量的测试用例的根因分析的场景中，能够获得快速确定测试用例相对应的失败原因的效率优势，特别适用于大型平台进行软件工程部署，有助于提升应用程序发布效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的技术方案的应用环境的网络架构示意图；

图2为本申请的测试用例根因定位方法的一种实施例的流程示意图；

图3为本申请的实施例中获取测试用例运行过程中产生的告警信息的流程示意图；

图4为本申请的实施例中基于规则匹配确定告警信息的第一故障原因的流程示意图；

图5为本申请的实施例中基于语义分类映射确定告警信息的第二故障原因的流程示意图；

图6为本申请的实施例中训练本申请的根因分类模型的流程示意图；

图7为本申请的实施例中根据同一日志数据集构造故障原因模板库和训练数据集的流程示意图；

图8为本申请的实施例中对日志文件加工获得日志数据集的流程示意图；

图9为本申请的测试用例根因定位装置的原理框图；

图10为本申请所采用的一种测试用例根因定位设备的结构示意图。

具体实施方式

本申请中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

请参阅图1，本申请一种示例性的应用场景所采用的网络架构，包括终端设备80、开发服务器81和分析服务器82。所述开发服务器81可用于部署软件工程，提供开发框架给所述终端设备的开发用户开发应用程序，并管理相应的源代码，且可负责提供相应的测试用例供所述终端设备的测试用户对相应的应用程序进行运行测试。所述分析服务器82可用于存储所述应用程序被测试后的日志文件及根据所述日志文件生成的各种信息、文件等，且可用于部署根据本申请的测试用例要因定位方法编程实现的计算机程序产品，在其运行后执行所述方法的各个步骤，为执行失败的测试用例确定出其失败原因。所述终端设备80既可用于开发所述应用程序，也可用于运行测试用例而测试所述应用程序。

需要指出的是，图1的应用场景仅是给出一种平台化部署的示例，在另外一些示例性的实施例中，所述开发服务器81和分析服务器82所实现的各种功能可以在同一台计算机设备中实现，且进一步，包括所述终端设备所实现的功能，也可在该计算机设备中实现。概而言之，本申请的测试用例根因定位方法编程实现的计算机程序产品，可以运行于任意一台具有足够算力的计算机设备中，用于实现对各种来源的测试用例的执行失败的失败原因的分析确定。

在参考以上揭示的原理的基础上，请参阅图2，根据本申请提供的一种测试用例根因定位方法，在其一个实施例中，包括如下步骤：

步骤S1100、获取运行测试用例时返回的告警信息；

当测试人员针对一个已完成代码开发的应用程序，应用某个测试用例在其终端设备中进行测试，针对所述测试用例中的各行指令进行解析和执行，在执行的过程中，如果触发异常，便会产生相应的日志记录。

针对所述日志记录，可以通过监听的方式进行捕获，也可以通过读取存储所述日志记录的日志文件来获取。获得所述日志记录后，对其进行必要的数据清洗和格式预处理，去除其中的杂散信息，例如去除HTML5的标签，进行繁简转换、进行大小写转换、去除和业务无关的无意义信息等，提取出其中足够表义的告警信息。

所述告警信息是足以表示出测试用例的失败原因所需的关键字段信息，通常包括网络请求中包含的字段信息和应答所述网络请求而返回的结果数据中的字段信息。例如，网络请求中的HTTP的状态码如“5XX”状态码相对应的字段信息一般较为统一，应答网络请求而返回的结果数据中的报错类型字段信息如“XX数据库连接不上”一般也较为统一，因而，可以针对性地对所述日志记录进行处理以获得相应的告警信息，使其满足定义相应的故障原因所需，以便在后续可以采用计算机分析的手段，根据这些告警信息确定出所述测试用例相对应的根本失败原因。

步骤S1200、对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；

对于所述告警信息，由于其包含有多种字段信息，故可针对这些字段信息进行规则匹配来确定所述告警信息相对应的故障原因。告警信息相对应的故障原因是多种多样的，但整个故障原因的类别数是可以预先确定的，因而，对应每个故障原因预先提供一个故障原因模板，在故障原因模板中定义出所需的一种或多种字段信息，便可将所述故障原因模板用于判断一个告警信息是否与该故障原因模板相匹配，当两者相匹配时，便可确定所述故障原因模板相对应的故障原因，为所述告警信息相对应的第一故障原因。当然，由于日志数据的表达的复杂性，即使确定出所述告警信息相对应的第一故障原因，该第一故障原因也未必就是所述告警信息的根本失败原因。

一种实施例中，在所述故障原因模板中可以定义多个所需的字段及其对应的判决数据，当且仅当告警信息中存在相应的字段并且其字段信息满足所述判决数据的要求时，才确认该告警信息的所述字段信息满足故障原因模板的相应匹配条件，当所有这些的对应字段均得到满足时，才判定所述告警信息命中所述的故障原因模板。

另一实施例中，可以将所有的故障原因表示为决策树，决策树中按照各个故障原因所需的字段及其判决数据进行树状结构组织，在末端叶节点处得出相应的故障原因类别，由此，在需要对告警信息进行匹配时，将告警信息中的各个字段信息从所述决策树的根节点开始进行逐级匹配，直到末端叶节点，便可确定出该叶节点相对应的故障原因为所述告警信息相对应的第一故障原因。

由此可见，可通过多种规则匹配方式为所述告警信息查找到其相匹配的第一故障原因。当然，如果通过规则匹配不能得到第一故障原因，则可忽略规则匹配的结果，利用后续的其他方式所确定的故障原因作为所述告警信息相对应的根本失败原因。

步骤S1300、对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；

由于日志数据在描述上的复杂性，仅凭所述第一故障原因可能无法精准确定所述测试用例真正的根本失败原因，为了提升对根本失败原因识别的精准度，可以引用深度学习模型来为所述告警信息预测其相应的故障原因作为第二故障原因。

所述深度学习模型预先训练至收敛状态，其通过对所述告警信息的编码信息进行特征表示，获得其深层语义信息，在所述深层语义信息映射到故障类别库中的各个类别，获得各个类别也就是各种故障原因相对应的分类概率，然后将其中分类概率最大的类别所对应的故障原因，确定为所述告警信息相对应的第二故障原因。

所述深度学习模型由骨干网络和分类器组成，其中的骨干网络可以采用任意适于对文本进行特征表示的基础模型来实施，例如循环神经网络(Recurrent Neura lNetwork，RNN)、长短时记忆网络(Long Short-Term Memory,LSTM)、Bert模型、Transformer的编码器等均可。所述分类器可采用Softmax函数来构建。通过采用相应的训练数据集中的训练样本及监督标签对所述深度学习模型实施迭代训练，将其训练至收敛状态，成为根因分类模型，便可用于为所述告警信息确定其相对应的第二故障原因。

步骤S1400、当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

当为所述告警信息获得规则匹配相对应的第一故障原因和语义分类映射相对应的第二故障原因之后，便可进一步确定所述告警信息相对应的根本失败原因。具体而言，当第一故障原因和第二故障原因属于相同的故障原因类别时，也即第一故障原因和第二故障原因相同，则相对应的故障原因便高盖然性的成为所述测试用例相对应的根本失败原因，由此，将这个测试用例相对应的故障原因归类为这个根本失败原因，通知相应的测试用户，方便测试用户进一步高效排查应用程序或测试用例故障，克服代码中存在的问题，提升应用程序的测试和发布效率。

一种实施例中，如果第一故障原因为空值，表示所述告警信息未能基于规则匹配确定出第一故障原因，这种情况下，可以直接使用第二故障原因作为所述根本失败原因。

另一实施例中，可以检测所述第二故障原因相对应的分类概率是否高于预设阈值，当其低于所述预设阈值时，不采用第二故障原因，而是采用所述第一故障原因作为所述告警信息相对应的根本失败原因，或者，第一故障原因和第二故障原因均不采用，将所述测试用例的根据失败原因留待人工分析确定即可。

根据以上实施例可以看出，本申请针对测试用例运行后返回的告警信息，先基于规则匹配确定出其所属的第一故障原因，再利用其深层语义信息进行语义分类映射确定出其所属的第二故障原因，然后综合第一故障原因和第二故障原因，在两者相同时确定相应的故障原因为所述测试用例的失败原因，通过两种方式联合确定失败原因，更为精准，在处理海量的测试用例的根因分析的场景中，无需依赖人工分析，能够获得快速确定测试用例相对应的失败原因的效率优势，特别适用于大型平台进行软件工程部署，有助于提升应用程序发布效率。

在本申请任意实施例的基础上，请参阅图3，获取运行测试用例时返回的告警信息，包括：

步骤S1110、响应用户测试请求，运行该请求所指定的测试用例，对目标应用程序实施测试；

在具体的应用场景中，当一个应用程序开发完成需要测试时，由测试用户在其终端设备中登录测试用例显示页面，选择一个目标测试用例，然后运行该目标测试用例。所述目标测试用例中的各个指令被解析执行，从而运行相应的目标应用程序，并对所述目标应用程序执行各种预设的操作，驱动所述目标应用程序按照所述目标测试用例的操作而运行，通过目标应用程序的运行健康程度，来判断目标应用程序是否存在各种异常以便完成测试。

步骤S1120、监听获取所述测试用例运行过程中产生的返回信息；

在所述目标测试用例运行的同时，终端设备上运行一个监听模块来监听所述目标测试用例运行过程中遭遇异常事件时获得的返回信息。所述返回信息包括但不限于所述目标应用程序的异常报错信息、所述目标应用程序发起网络请求后获得的异常结果数据、所述目标测试用例自身返回的异常报错信息等等，所有这些返回信息，本质上均是实施测试过程中获得的各种日志数据，因而，可能包含有故障原因指示作用的告警信息。

步骤S1130、识别所述返回信息是否属于告警信息，过滤掉其中的非告警信息。

为使对所述测试用例的返回信息的处理更为高效，可对所述返回信息是否属于告警信息进行识别，识别出告警信息提供给后续步骤继续处理，将非告警信息过滤掉。

一种实施例中，预先训练一个信息分类模型用于实现对返回信息是否属于告警信息的识别，所述信息分类模型通过一个特征提取网络来从所述返回信息的编码序列中提取出深层语义信息，然后通过二分类器将其映射至属于告警信息和不属于告警信息相对应的分类概率，当属于告警信息的分类概率最大时，则判定为告警信息，否则，则为非告警信息。

根据以上实施例可知，根据信息分类模型对返回信息的类型进行快速分类，可以提升测试用例运行过程中的返回信息的识别速度，对于大型平台来说，较之人工识别筛选，其效率优势是明显的。

在本申请任意实施例的基础上，请参阅图4对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因，包括：

步骤S1210、从所述告警信息中抽取多个目标特征；

所述告警信息中包含有多种字段相对应的信息，其描述方式多样，为便于规则匹配，可对其中的关键字段相对应的信息进行抽取，将抽取出来的字段的信息作为目标特征，从而可以抽取出所述告警信息中的多个目标特征。

一种实施例中，可以采用一个采用相应的训练样本进行训练的序列标注模型来自动抽取所述告警信息中的多个目标特征，将所述告警信息的编码信息输入所述序列标注模型后，由所述序列标注模型对所述编码信息进行特征表示获得相应的文本语义信息，然后在所述文本语义信息的基础上，结合条件随机场模型进行标注，识别出所述告警信息中的多个信息所属的字段，将这些字段所对应的信息作为所述的多个目标特征即可。

步骤S1220、将所述多个目标特征与故障类型库中的故障模板进行比较，确定完全包含所述多个目标特征的一个或多个候选故障模板；

为便于规则匹配，预设一个故障类型库，所述故障类型库中，对应全部故障类型设置每个故障类型相对应的故障模板，每个故障模板的描述内容中包含有一个或多个字段及其判定条件，据此，当所述告警信息获得多个目标特征之后，将每个目标特征与每个故障模板进行比较，当一个目标特征满足所述故障模板中的判定条件时，便认为该目标特征与所述故障模板中相应字段的判定条件相匹配，以此类推，当所述告警信息的多个目标特征均满足一个故障模板中的全部字段相对应的判定条件时，便认为该告警信息命中了该故障模板，由此可将该故障模板确定为所述告警信息相对应的候选故障模板。

一种实施例中，所述故障模板所包含的字段的数量可以大于所述告警信息中抽取出的目标特征的数量，这种情况下，告警信息的多个目标特征可能命中所述故障类型库中的多个候选故障模板。

步骤S1230、确定所述多个候选故障模板与所述多个目标特征之间的关联程度，将关联程度最高的候选故障模板相对应的故障原因确定为第一故障原因。

规则匹配的弊端在于其忽略了语义上的关联，而是基于字符、数值层面进行比较获得相应的结果。因而，在一个告警信息匹配出多个候选故障模板之后，为缩小所确定的故障原因的范围，可以进一步借助语义分析手段，从所述多个候选模板中择优确定其中之一，作为所述告警信息基于规则匹配确定的唯一故障模板。

一种实施例中，可以将所述告警信息的编码信息的向量表示，与各个候选故障模板中的字段的判定条件的向量表示计算语义相似度，然后，选取其中语义相似度最高的候选故障模板来作为所述告警信息相对应的唯一的目标故障模板。根据这种方式，可以较小的运算量快速地从多个候选故障模板中择优，在规则匹配过程中适量引入语义参考，而确定出告警信息真正对应的故障模板。

在为所述告警信息确定出唯一的故障模板之后，从所述故障类型库中获取与该故障模板相对应的故障原因，作为基于规则匹配而确定的第一故障原因即可。

当通过规则匹配无法确定出第一故障原因时，可将第一故障原因的变量赋空值以便给出相应的指代意义。

根据以上实施例可知，在基于规则匹配方式为告警信息确定第一故障原因的过程中，适量引入语义参考因素，能够综合效率优势，较为准确地确定出所述告警信息相对应的第一故障原因，为根因分析提供可靠的判据。

在本申请任意实施例的基础上，请参阅图5，对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因，包括：

步骤S1310、对所述告警信息进行编码，获得其相应的编码向量，所述编码向量中包含所述告警信息的句子隶属信息、词元信息以及位置信息；

本实施例中，利用预先训练至收敛状态的根因分类模型来为所述告警信息预测出其相应的第二故障原因。所述根因分类模型采用一个Bert模型作为骨干网络，后接一个分类器，将分类器的分类空间配置为对应所述故障类别库中的各个故障原因类别而设置相应的类别，以便所述根因分类模型可以根据告警信息直接映射出各个故障原因类别相对应的分类概率，从而判定出第二故障原因。

适应所述根因分类模型的入参要求，可以对所述告警信息进行编码。适应Bert模型的具体情况，可以按照分别编码所述告警信息的句子、词元、位置相对应的向量，再拼接为一个编码向量输入所述骨干网络。具体而言，可以在对所述告警信息进行分词的基础上，利用所述Bert模型在训练过程中获得的词典，查找分词之后的各个词元相对应的词向量，构造出以词向量为基础的第一向量；利用所述各个词元在整个告警信息中的位置信息，包括相对位置信息和/或绝对位置信息，编码出各个词元相对应的第二向量；利用词元与句子之间的对应关系，编码出第三向量以提供句子隶属信息，例如当存在两个句子“你好你很优秀！”时，对于“你好优秀”，可以编码为[0 0 1 1 1 1]，通过二值化方式指示出词元与句子之间的隶属关系。然后将第一向量、第二向量以及第三向量进行拼接，获得所述告警信息的编码向量输入所述的骨干网络。

在所述告警信息的编码向量中，既包含有各个词元相对应的词元信息，还包括每个词元在句子中的位置信息，还包括词元在不同句子之间的隶属关系信息，因而，可以为骨干网络提取深层语义特征提供丰富的初始语义，有利于根因分类模型获得深层语义特征后做出精准的分类预测。

步骤S1320、将所述编码向量输入根因分类模型中提取深层语义信息后映射到故障类别库中各个类别相对应的分类概率，将分类概率最大的故障原因确定为第二故障原因。

将所述告警信息的编码向量输入所述根因分类模型的骨干网络后，由所述骨干网络关联上下文提取出其中的深层语义特征，获得深层语义信息，完成对所述编码向量的特征表示。然后，由分类器对所述深层语义信息进行全连接并映射到输出层，在输出层中计算出对应所述分类空间中的各个故障原因类别的分类概率。不难理解，其中分类概率最高的类别相对应的故障原因，便可确定为基于语义为所述告警信息预测出的第二故障原因。

根据以上实施例可知，在为告警信息预测第二故障原因时，在告警信息的编码向量中不仅引入了词元信息和位置信息，还引入了句子隶属信息，提供了丰富的初始语义，使得根因分类模型可以较为精准地预测出所述告警信息相对应的第二故障原因。

在本申请任意实施例的基础上，请参阅图6，获取运行测试用例时返回的告警信息之前，包括：

步骤S2100、从训练数据集中调用单个训练样本及其相应的类别标签，所述训练样本包含应用程序开发过程和测试过程中的告警信息，所述类别标签为所述告警信息相对应的故障原因类型的编码标签；

为了使本申请的根因分类模型适于为告警信息预测出其相对应的第二故障原因，可以对采用相应的训练数据集对所述根因分类模型实施相应的训练。

所述训练数据集可以预先制备，使其中存在数量上足以将所述根因分类模型训练至收敛状态的多个训练样本及其相应的类别标签。

所述训练样本，可以包含从两个来源提取的告警信息，其中第一来源是应用程序开发过程中获得的业务代码日志，即开发用户在编码应用程序的过程中，在开发框架中运行相应的代码而产生的日志数据会存储到业务代码日志中；第二来源是应用程序测试过程中获得的测试平台日志，即测试用户在测试过程中，利用测试用例驱动应用程序运行而产生的日志数据会存储到测试平台日志中。

从所述业务代码日志和测试平台日志的各条日志数据中，便可根据本申请前文所述的处理方式，获得其相应的告警信息作为训练样本，并且，可以人工识别确认这些告警信息相对应的故障原因类型，利用故障原因类型的编码标签作为训练所需的类别标签对所述训练样本进行相应的标注。

对所述根因分类模型的训练过程是通过迭代采用多个所述的训练样本为输入来实施的，每实施单次迭代时，从所述训练数据集中调用一个训练样本作为输入，并采用所述训练样本相对应的类别标签监督该次训练的预测结果。

步骤S2200、将所述训练样本输入所述根因分类模型中，预测出所述训练样本映射到所述故障类别库中各个类别相对应的分类概率作为分类结果；

所述训练样本在输入所述根因分类模型之前，应如前文所示，对其进行编码而获得相应的编码向量，然后将该编码向量输入所述根因分类模型中，由其中的骨干网络提取出深层语义信息之后，再由分类器将所述深层语义信息映射到预设的分类空间，获得各个故障原因类别相对应的分类概率，从而获得整个分类空间各个故障原因类别相对应的分类概率作为分类结果。

步骤S2300、计算所述分类结果相对于所述类别标签的分类损失值，根据所述分类损失值控制所述根因分类模型实施梯度更新，然后采用继续迭代训练，直至所述根因分类模型达到收敛状态为止。

为了监督根因分类模型的训练，可利用所述类别标签来计算其相应的训练样本所获得的分类结果的分类损失值，具体可应用L2范式的交叉熵损失函数来计算确定。根据所述分类损失值对根因分类模型进行权重更新。当然，在批量更新模型的实施例中，不必针对每个训练样本都更新根因分类模型的权重，而是等待成批量的训练样本的分类损失值都确定之后，再汇总为单个总体损失值，再根据总体损失值对根因分类模型实施权重更新。

总之，当需要决策是否更新模型的权重时，根据分类损失值(或总体损失值)与一个验证模型是否达到收敛状态的预设阈值进行比较，当分类损失值(或总体损失值)达到所述预设阈值时，便可判定所述模型已经达到收敛状态，可以终止训练而投入线上推理阶段使用。当分类损失值(或总体损失值)未达到所述预设阈值时，便认为所述模型未达到收敛状态，从而根据所述分类损失值(或总体损失值)对所述模型实施梯度更新，通过反向传播修正所述模型的各个环节的权重参数，使所述模型进一步逼近收敛，然后，回到步骤S2100重新开始迭代，继续从所述训练数据集中调用训练样本及类别标签迭代训练，以此类推，直至利用所述训练数据集中的海量训练样本将所述模型训练至收敛状态为止。

根据以上实施例可知，本申请的根因分类模型，采用两个来源的日志内容所获得的告警信息作为训练样本对其进行训练，使其能够将开发过程和测试过程中的告警信息的特征进行综合，而习得兼容识别更多告警信息类型的能力，并且，在多种来源的告警信息的特征训练下，训练过程中也更容易收敛，且模型运行时也更具鲁棒性。

在本申请任意实施例的基础上，请参阅图7，从训练数据集中调用单个训练样本及其相应的类别标签之前，包括：

步骤S3100、获取日志数据集，所述日志数据集包括应用程序在开发过程中产生的日志中的告警信息，以及应用程序在测试过程中产生的日志中的告警信息；

为了制备训练数据集，可以先获取日志数据集，在日志数据集的基础上进行优化，来构造出训练数据集所需的训练样本及其类别标签。

如前所述，训练数据集的来源数据包括两个来源，即应用程序开发过程中产生的业务代码日志，和应用程序测试过程中产生的测试平台日志，所述日志数据集用来存储从所述业务代码日志和测试平台日志的具体日志中提取出来的告警信息。从日志数据中提取告警信息的方法如前文所示，恕不赘述。

步骤S3200、将所述日志数据集中与故障原因具有确定性的映射关系的告警信息保留，过滤其余的告警信息；

根据故障原因所输出的日志数据的不同，日志数据集中的告警信息中，可能存在一部分告警信息，其中给出的全部字段信息难以唯一性地确定其所属的故障原因类别，当然，通常大部分告警信息能够唯一性地确定其相应的故障原因类别。针对这种情况，预先确定出故障原因与告警信息的描述内容之间具有确定性对应关系的特征数据，利用这些特征数据对所述日志数据集中的告警信息进行过滤，将携带这些特征数据的告警信息保留，将未携带这些特征数据的告警信息删除而实现过滤，使所述日志数据集中的告警信息均是能够唯一性确定对应的故障原因的告警信息。

步骤S3300、对所述日志数据集中的各个告警信息进行特征抽取，获得多个目标特征，将每种故障原因相对应的多个目标特征构造为故障模板，关于相应的故障原因存储至故障原因模板库中；

所述日志数据集经过滤之后，剩余的告警信息均是与故障原因之间具有确定性映射关系的告警信息，据此，可对所述告警信息进行特征抽取，具体可将其中的表示字段的标识和数据抽取出来，用来建立字段与数据(字段信息)之间的映射，每个字段与其字段信息之间便可表示为目标特征，获取多个这样的目标特征，然后将同一告警信息的多个目标特征构造为一个对应的故障模板。

在特征抽取时，可以区别不同数据来源利用不同规则提取不同的数据来构造特征，例如，针对所述业务代码日志的告警信息，可以提取其中的告警描述文本如“网络请求不通”、错误描述文本如“计算资源不够”等；针对所述测试平台日志中的告警信息，可以提取其中的接口信息、断言信息、用例配置信息等。

在根据多个目标特征构造故障模板时，可以在故障模板中设置对应的字段，并利用所述字段相应的数据来设定相应的判定条件，在设定判定条件的过程中可以引入先验知识，使得所述故障模板中，通过字段及其判决条件来描述告警信息满足该故障模板应达到的数据条件。

根据所述日志数据集中的各个告警信息构造出其相应的故障模板后，对于内容完全相同的故障模板可以进行去重，然后，将每个故障模板及其相应的故障原因相映射存储到故障原因模板库中即可供调用。

步骤S3400、将日志数据集中的告警信息作为训练样本，将所述告警信息的故障原因转换为类别标签，关联映射存储于所述训练数据集中。

所述日志数据集中的告警信息及其相应的故障原因，不仅可以用于构造所述的故障原因模板库以便用于为告警信息确定其第一故障原因，也可以用来构造本申请所述根因分类模型的训练数据集，以便利用所述训练数据集将所述根因分类模型训练至收敛后，可以通过所述根因分类模型来为告警信息预测出其相应的第二故障原因。

当需要构造所述训练数据集中的训练样本时，可以将所述日志数据集中的告警信息直接存储为所述训练数据集中的训练样本，然后，将该告警信息相对应的故障原因转换为类别标签，将该类别标签关联于该告警信息而存储于所述训练数据集中，实现所述训练样本及其类别标签之间的关联映射。

根据以上实施例可知，本申请在多个数据来源的告警信息构成的日志数据集的基础上，对开发过程和测试过程中产生的日志数据中的告警信息进行复用，不仅可以通过特征抽取的方式构造出各个故障原因相对应的故障原因模板库用于为告警信息确定第一故障原因，还可用于构造预先第二故障原因所需的根因分类模型的训练数据集，使得后续为给定的告警信息确定根本失败原因时，可以利用根据同源数据推理而得的第一故障原因和第二故障原因来共同判定真正的失败原因，在多种判决方式和多种数据来源的共同作用下，确保对告警信息相对应的根本原因判定结果更为准确。

在本申请任意实施例的基础上，请参阅图8，获取日志数据集之前，包括：

步骤S4100、获取应用程序在开发过程中产生和在测试过程中产生的日志文件；

如前所述，应用程序在开发过程中会产生相应的业务代码日志，在测试过程中会产生测试平台日志，这些日志均用于存储相对应的日志记录，日志记录中可以包含相应的告警信息，因而，所述业务代码日志和所述测试平台日志均是日志文件，可以从其相应存储空间中调用。

步骤S4200、对所述日志文件进行数据清洗，获得净化的日志文件；

在获得所述日志文件的基础上，可以对其进行必要的数据清洗，例如，去除其中用HTML语言表示的标签，根据所述标签提取出其中的有用信息，而去除其中的无用信息，去除和业务本身无关的无意义信息等，由此使所述日志文件得到净化。

步骤S4300、对净化的日志文件进行格式预处理，获得其中各条日志的告警信息，将所述告警信息标注相应的故障原因存储到所述日志数据集中。

为了便于后续处理过程的标准化调用，对于净化后的日志文件中的日志记录，还可以进一步进行格式预处理，包括但不限于：大小写格式转换、简繁体转换、去除停用词、去除标点符号等等，本领域技术人员可按需灵活处理。经过格式预处理后，所述日志文件中的各条日志记录便构成相应的告警信息，据此，将所述告警信息标注其故障原因，将全部告警信息及故障原因之间的映射关系数据存储到所述日志数据集中，所述日志数据集便可用于制备所述的故障原因模板库和所述训练数据集。

根据以上实施例可知，从应用程序在开发过程中产生和在测试过程中产生的日志文件，经过必要的数据清洗过程和格式预处理过程，转换为标准化的告警信息，实现了数据挖掘，成为日志数据集，非常高效，是构造故障原因模板库和训练数据集的基础上，在兼顾多数据来源确定告警信息的情况下，可确保本申请能够准确识别告警信息真正对应的根本失败原因。

请参阅图9，根据本申请的一个方面提供的一种测试用例根因定位装置，包括信息获取模块1100、规则匹配模块1200、分类映射模块1300，以及原因确定模块1400，其中，所述信息获取模块1100，设置为获取运行测试用例时返回的告警信息；所述规则匹配模块1200，设置为对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；所述分类映射模块1300，设置为对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；所述原因确定模块1400，设置为当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

在本申请任意实施例的基础上，所述信息获取模块1100，包括：测试实施单元，设置为响应用户测试请求，运行该请求所指定的测试用例，对目标应用程序实施测试；信息监听单元，设置为监听获取所述测试用例运行过程中产生的返回信息；过滤处理单元，设置为识别所述返回信息是否属于告警信息，过滤掉其中的非告警信息。

在本申请任意实施例的基础上，所述规则匹配模块1200，包括：特征抽取单元，设置为从所述告警信息中抽取多个目标特征；模板匹配单元，设置为将所述多个目标特征与故障类型库中的故障模板进行比较，确定完全包含所述多个目标特征的一个或多个候选故障模板；原因优选单元，设置为确定所述多个候选故障模板与所述多个目标特征之间的关联程度，将关联程度最高的候选故障模板相对应的故障原因确定为第一故障原因。

在本申请任意实施例的基础上，所述分类映射模块1300，包括：编码处理单元，设置为对所述告警信息进行编码，获得其相应的编码向量，所述编码向量中包含所述告警信息的句子隶属信息、词元信息以及位置信息；推理预测单元，设置为将所述编码向量输入根因分类模型中提取深层语义信息后映射到故障类别库中各个类别相对应的分类概率，将分类概率最大的故障原因确定为第二故障原因。

在本申请任意实施例的基础上，本申请的测试用例根因定位装置，包括：样本调用模块，设置为从训练数据集中调用单个训练样本及其相应的类别标签，所述训练样本包含应用程序开发过程和测试过程中的告警信息，所述类别标签为所述告警信息相对应的故障原因类型的编码标签；训练预测模块，设置为将所述训练样本输入所述根因分类模型中，预测出所述训练样本映射到所述故障类别库中各个类别相对应的分类概率作为分类结果；迭代决策模块，设置为计算所述分类结果相对于所述类别标签的分类损失值，根据所述分类损失值控制所述根因分类模型实施梯度更新，然后采用继续迭代训练，直至所述根因分类模型达到收敛状态为止。

在本申请任意实施例的基础上，本申请的测试用例根因定位装置，包括：日志获取模块，设置为获取日志数据集，所述日志数据集包括应用程序在开发过程中产生的日志中的告警信息，以及应用程序在测试过程中产生的日志中的告警信息；过滤优化模块，设置为将所述日志数据集中与故障原因具有确定性的映射关系的告警信息保留，过滤其余的告警信息；特征抽取模块，设置为对所述日志数据集中的各个告警信息进行特征抽取，获得多个目标特征，将每种故障原因相对应的多个目标特征构造为故障模板，关于相应的故障原因存储至故障原因模板库中；样本构造模块，设置为将日志数据集中的告警信息作为训练样本，将所述告警信息的故障原因转换为类别标签，关联映射存储于所述训练数据集中。

在本申请任意实施例的基础上，本申请的测试用例根因定位装置，包括：文件获取模块，设置为获取应用程序在开发过程中产生和在测试过程中产生的日志文件；数据清洗模块，设置为对所述日志文件进行数据清洗，获得净化的日志文件；格式优化模块，设置为对净化的日志文件进行格式预处理，获得其中各条日志的告警信息，将所述告警信息标注相应的故障原因存储到所述日志数据集中。

本申请的另一实施例还提供一种测试用例根因定位设备。如图10所示，测试用例根因定位设备的内部结构示意图。该测试用例根因定位设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该测试用例根因定位设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种测试用例根因定位方法。

该测试用例根因定位设备的处理器用于提供计算和控制能力，支撑整个测试用例根因定位设备的运行。该测试用例根因定位设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的测试用例根因定位方法。该测试用例根因定位设备的网络接口用于与终端连接通信。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的测试用例根因定位设备的限定，具体的测试用例根因定位设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图9中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本申请的测试用例根因定位装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。

本申请还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的测试用例根因定位方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解，实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-On l y Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请通过两种方式联合确定测试用例运行失败的失败原因，更为精准，在处理海量的测试用例的根因分析的场景中，能够获得快速确定测试用例相对应的失败原因的效率优势，特别适用于大型平台进行软件工程部署，有助于提升应用程序发布效率。

Claims (10)

1.一种测试用例根因定位方法，其特征在于，包括：

获取运行测试用例时返回的告警信息；

对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；

对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；

当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

2.根据权利要求1所述的测试用例根因定位方法，其特征在于，获取运行测试用例时返回的告警信息，包括：

响应用户测试请求，运行该请求所指定的测试用例，对目标应用程序实施测试；

监听获取所述测试用例运行过程中产生的返回信息；

识别所述返回信息是否属于告警信息，过滤掉其中的非告警信息。

3.根据权利要求1所述的测试用例根因定位方法，其特征在于，对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因，包括：

从所述告警信息中抽取多个目标特征；

将所述多个目标特征与故障类型库中的故障模板进行比较，确定完全包含所述多个目标特征的一个或多个候选故障模板；

确定所述多个候选故障模板与所述多个目标特征之间的关联程度，将关联程度最高的候选故障模板相对应的故障原因确定为第一故障原因。

4.根据权利要求1所述的测试用例根因定位方法，其特征在于，对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因，包括：

对所述告警信息进行编码，获得其相应的编码向量，所述编码向量中包含所述告警信息的句子隶属信息、词元信息以及位置信息；

将所述编码向量输入根因分类模型中提取深层语义信息后映射到故障类别库中各个类别相对应的分类概率，将分类概率最大的故障原因确定为第二故障原因。

5.根据权利要求4所述的测试用例根因定位方法，其特征在于，获取运行测试用例时返回的告警信息之前，包括：

从训练数据集中调用单个训练样本及其相应的类别标签，所述训练样本包含应用程序开发过程和测试过程中的告警信息，所述类别标签为所述告警信息相对应的故障原因类型的编码标签；

将所述训练样本输入所述根因分类模型中，预测出所述训练样本映射到所述故障类别库中各个类别相对应的分类概率作为分类结果；

计算所述分类结果相对于所述类别标签的分类损失值，根据所述分类损失值控制所述根因分类模型实施梯度更新，然后采用继续迭代训练，直至所述根因分类模型达到收敛状态为止。

6.根据权利要求5所述的测试用例根因定位方法，其特征在于，从训练数据集中调用单个训练样本及其相应的类别标签之前，包括：

获取日志数据集，所述日志数据集包括应用程序在开发过程中产生的日志中的告警信息，以及应用程序在测试过程中产生的日志中的告警信息；

将所述日志数据集中与故障原因具有确定性的映射关系的告警信息保留，过滤其余的告警信息；

对所述日志数据集中的各个告警信息进行特征抽取，获得多个目标特征，将每种故障原因相对应的多个目标特征构造为故障模板，关于相应的故障原因存储至故障原因模板库中；

将日志数据集中的告警信息作为训练样本，将所述告警信息的故障原因转换为类别标签，关联映射存储于所述训练数据集中。

7.根据权利要求6所述的测试用例根因定位方法，其特征在于，获取日志数据集之前，包括：

获取应用程序在开发过程中产生和在测试过程中产生的日志文件；

对所述日志文件进行数据清洗，获得净化的日志文件；

对净化的日志文件进行格式预处理，获得其中各条日志的告警信息，将所述告警信息标注相应的故障原因存储到所述日志数据集中。

8.一种测试用例根因定位装置，其特征在于，包括：

信息获取模块，设置为获取运行测试用例时返回的告警信息；

规则匹配模块，设置为对所述告警信息进行规则匹配，确定与其相匹配的第一故障原因；

分类映射模块，设置为对所述告警信息进行语义分类映射，确定与其相对应的第二故障原因；

原因确定模块，设置为当所述第一故障原因和所述第二故障原因相同时，确定相应的故障原因为所述测试用例相对应的失败原因。

9.一种测试用例根因定位设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种非易失性可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

Images