CN113778875A - 一种系统测试缺陷分类方法、装置、设备及存储介质 - Google Patents
一种系统测试缺陷分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113778875A CN113778875A CN202111055989.2A CN202111055989A CN113778875A CN 113778875 A CN113778875 A CN 113778875A CN 202111055989 A CN202111055989 A CN 202111055989A CN 113778875 A CN113778875 A CN 113778875A
- Authority
- CN
- China
- Prior art keywords
- defect
- test
- information
- target
- link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 536
- 238000012360 testing method Methods 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013145 classification model Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000013024 troubleshooting Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 14
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 238000013522 software testing Methods 0.000 abstract description 9
- 230000002950 deficient Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000002457 bidirectional effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明实施例公开了一种系统测试缺陷分类方法、装置、设备及存储介质。该方法包括：如果在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统；获取缺陷分类信息和已训练完成的缺陷分类模型，其中缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息；将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。本发明实施例的技术方案，提高了软件测试过程中缺陷类型的确定精度。
Description
技术领域
本发明实施例涉及软件测试领域，尤其涉及一种系统测试缺陷分类方法、装置、设备及存储介质。
背景技术
在金融科技领域中，由于业务交易的复杂性，大部分业务交易均需要多个系统之间配合交互，从而出现大量的长链路交易，这对于软件测试人员的要求标准更严格。当软件测试人员在对某项业务交易进行全链路功能测试的过程中，如果测试出缺陷，其在确定出存在缺陷的系统后，通过主观经验判断该系统内缺陷的缺陷类型。显然，这种方式存在缺陷类型的确定精度较低的问题。
发明内容
本发明实施例提供了一种系统测试缺陷分类方法、装置、设备及存储介质，解决了在软件测试过程中缺陷类型的确定精度较低的问题。
第一方面，本发明实施例提供了一种系统测试缺陷分类方法，可以包括：
如果在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统；
获取缺陷分类信息和已训练完成的缺陷分类模型，其中缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息；
将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
第二方面，本发明实施例还提供了一种系统测试缺陷分类装置，可以包括：
目标缺陷系统确定模块，用于如果在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统；
缺陷分类信息获取模块，用于获取缺陷分类信息和已训练完成的缺陷分类模型，其中缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息；
缺陷类型得到模块，用于将缺陷分类信息输入到缺陷分类模型，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
第三方面，本发明实施例还提供了一种系统测试缺陷分类设备，可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的系统测试缺陷分类方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的系统测试缺陷分类方法。
本发明实施例的技术方案，如果对被测试系统进行测试时接收到缺陷描述信息，则针对获取得到的被测试系统的测试业务日志和被测试系统所在的系统链路，根据测试业务日志从位于系统链路上的各候选缺陷系统中确定存在缺陷的目标缺陷系统，由此达到了目标缺陷系统的准确定位的效果；获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息，然后将缺陷分类信息输入到缺陷分类模型中，由此，根据缺陷分类模型的输出结果可以得到目标缺陷系统内存在的缺陷的缺陷类型。上述技术方案，在软件分析过程中进行缺陷分类时，基于已经训练完成的缺陷分类模型对缺陷描述信息、链路信息和目标错误信息这些缺陷分类信息进行分析，即将缺陷分类信息和NLP相结合，由此无需再依赖于人工主观经验确定目标缺陷系统的缺陷类型，提高了缺陷类型的确定精度，进而提高了软件测试的准确性。
附图说明
图1是本发明实施例一中的一种系统测试缺陷分类方法的流程图；
图2是本发明实施例一中一种系统测试缺陷分类方法中的缺陷分类模型的结构示意图；
图3是本发明实施例二中的一种系统测试缺陷分类方法的流程图；
图4是本发明实施例三中的一种系统测试缺陷分类方法的流程图；
图5是本发明实施例四中的一种系统测试缺陷分类装置的结构框图；
图6是本发明实施例五中的一种系统测试缺陷分类设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种系统测试缺陷分类方法的流程图。本实施例可适用于准确确定目标缺陷系统的缺陷类型的情况。该方法可以是由本发明实施例提供的系统测试缺陷分类装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在系统测试缺陷分类设备上，该设备可以是各种用户终端或服务器。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、若在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统。
其中，被测试系统可以是在对某项业务交易进行全链路功能测试时被测试的系统，当对被测试系统进行测试时接收到缺陷描述信息，这说明被测试系统所在的系统链路上的各候选缺陷系统中的至少一个存在缺陷，该缺陷描述信息可以理解为在基于测试案例对被测试系统进行测试时，测试案例的执行结果的详细描述信息；该候选缺陷系统可以是系统链路上的可能存在缺陷的系统，被测试系统也是各候选缺陷系统中的一个。换言之，虽然是在对被测试系统进行测试时出现错误，但是这个错误不一定是由被测试系统引起的，也有可能是由系统链路上的其余的候选缺陷系统引起的，这是待确定的。
测试业务日志是被测试系统在测试过程中生成的业务日志，其可以反映出被测试系统在测试过程中遇到了什么样的错误，这一错误可能是由被测试系统本身引起的，也可能是由系统链路上的其余的候选缺陷系统引起的，因此可以根据测试业务日志从可能存在缺陷的各候选缺陷系统中确定真正存在缺陷的目标缺陷系统，由此达到了目标缺陷系统的快速且准确定位的效果。
S120、获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息。
其中，缺陷分类信息可以是与在对目标缺陷系统内存在的缺陷进行分类时涉及到的信息，如缺陷描述信息、系统链路的链路信息、目标缺陷系统的目标业务日志中的目标错误信息等，该链路信息可以表示出系统链路的属性信息，如系统链路上有哪些候选缺陷系统、这些候选缺陷系统本身的属性信息、这些候选缺陷系统之间的交互信息等；由于被测试系统和目标缺陷系统均是同一条系统链路上的系统，那么在对被测试系统进行测试时，是需要目标缺陷系统的运行支持，因此目标业务日志可以是在对被测试系统进行测试时目标缺陷系统生成的业务日志，其中的目标错误信息可以表示出目标缺陷系统在运行过程中遇到了什么样的错误。
缺陷分类模型可以是已训练完成的可以用于对目标缺陷系统内的缺陷进行分类的模型，在实际应用中，可选的，缺陷分类模型可以是基于自然语言处理(NaturalLanguage Processing，NLP)训练得到的文本分类模型，其可以通过对缺陷分类信息进行文本特征提取来分类缺陷。示例性的，缺陷分类模型可以是基于双向编码的语言表征和注意力增强的双向短时记忆(BERT-Att-BiLSTM)模型，其中BERT可以是以Transformers为主要框架的双向编码表征模型(Bidirectional Encoder Representations fromTransformers)的简称，Att-BiLSTM是Attention-Based Bidirectional Long Short-TermMemory Networks的简称，具体的缺陷分类模型的结构示意图如图2所示，其主要分为三部分：首先通过BERT模型训练获取每则文本的语义表示，然后将文本中每个字的向量表示输入到Att-iLSTM模型中，进行语义的进一步分析，最后将softmax层输出文本标签。具体的，
BERT模型采用的是双向的Transformer结构进行编码，其中“双向”意味着BERT模型在处理一个词时，其可以根据上下文的语义关系表征字在上下文中的具体语义。在实际应用中，可选的，可以对BERT模型进行预训练，通过对海量语料的训练来使单词学习到很好的特征表示W。
Att-BiLSTM模型进一步学习句中的语义关系，在常规的BiLSTM模型输出层之前增加Attention层，采用Attention机制，核心在于生成注意力向量，通过与输入向量进行相似性计算，更新各个维度的权重值，提升重点词语在句子中的价值，以使Att-BiLSTM模型将注意力集中在重点词上，降低其他无关词的作用，进一步提高文本分类的精度。Att-BiLSTM模型由词嵌入层、双向LSTM层、Attention层和输出层组成。BERT模型作为Att-BiLSTM的词嵌入层，双向LSTM层为隐含层，将输入序列分别从两个方向输入Att-BiLSTM模型中，由此可以保存两个方向的信息，最后拼接两个隐含层的信息，得到输出信息。
S130、将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
其中，将缺陷分类信息输入到缺陷分类模型中，以使缺陷分类模型对缺陷分类信息进行处理，由此可以根据缺陷分类模型的输出结果得到目标缺陷系统内存在的缺陷的类型(即缺陷类型)。在此基础上，可选的，在得到缺陷类型后，还可以根据目标缺陷系统和缺陷类型确定出目标缺陷系统中的缺陷的出现原因，即确定出是什么错误原因导致了缺陷的出现。
本发明实施例的技术方案，如果对被测试系统进行测试时接收到缺陷描述信息，则针对获取得到的被测试系统的测试业务日志和被测试系统所在的系统链路，根据测试业务日志从位于系统链路上的各候选缺陷系统中确定存在缺陷的目标缺陷系统，由此达到了目标缺陷系统的准确定位的效果；获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息，然后将缺陷分类信息输入到缺陷分类模型中，由此，根据缺陷分类模型的输出结果可以得到目标缺陷系统内存在的缺陷的缺陷类型。上述技术方案，在软件分析过程中进行缺陷分类时，基于已经训练完成的缺陷分类模型对缺陷描述信息、链路信息和目标错误信息这些缺陷分类信息进行分析，即将缺陷分类信息和NLP相结合，由此无需再依赖于人工主观经验确定目标缺陷系统的缺陷类型，提高了缺陷类型的确定精度，进而提高了软件测试的准确性。
一种可选的技术方案，上述系统测试缺陷分类方法，还可包括：获取多组语料数据，基于多组语料数据对原始神经网络模型进行预训练，得到语料描述模型，其中，每组语料数据包括主题词和主题词的描述信息；获取多组训练样本，基于多组训练样本对语料描述模型进行训练，得到缺陷分类模型，其中每组训练样本包括样本分类信息和样本类型，样本分类信息包括在对样本链路进行测试时获取到的样本描述信息、样本链路的链路信息、及样本链路上的确定出的存在缺陷的样本缺陷系统的样本业务日志中的样本错误信息，样本类型是缺陷的类型。
其中，先基于多组语料数据对未经训练的原始神经网络模型进行预训练，得到语料描述模型；然后基于多组训练样本对语料描述模型进行训练，即通过迁移学习的思路，基于多组训练样本对语料描述模型进行迁移学习，微调训练，由此解决了因为训练样本的数据量不足而带来的缺陷分类模型的分类精度较低的问题。需要说明的是，上述每组训练样本可以包括样本分类信息和样本类型，其中样本分类信息可以包括在对样本链路进行测试时获取到的样本描述信息、样本链路的链路信息、以及样本链路上的确定出的存在缺陷的样本缺陷系统的样本业务日志中的样本错误信息，样本类型是缺陷的类型。换言之，样本描述信息与缺陷描述信息的本质相同，只不过前者是模型应用过程中的描述信息，后者是模型训练过程中的描述信息。类似的，样本链路的链路信息与系统链路的链路信息、样本错误信息和目标错误信息、及样本类型和缺陷类型等的情况类似，在此不再赘述。
为了更好理解上述缺陷分类模型的得到过程，下面结合具体示例对其进行示例性说明，示例步骤如下所示：
步骤1：整理样本分类信息。收集在软件测试中众多长链路交易的报错的测试案例的执行结果的详细描述信息(即样本描述信息)、以及对应的完整交易链路信息(即样本链路的链路信息)和样本链路上的样本缺陷系统的样本业务日志中的样本错误信息。在实际应用中，可选的，这些样本分类信息可以是从从那些缺陷类型难确定的测试案例中收集来的。
步骤2：样本分类信息标注类型标签。常见的缺陷类型可以由：需求问题、文档问题、应用问题、环境问题、数据问题、其他问题、安装部署、UI缺陷和历史UI缺陷。经过分析总结，将它们划分归纳六大缺陷类型：环境问题、数据问题、业务问题、代码问题、案例问题和UI问题，根据这六种缺陷类型对每个样本分类信息分别进行打标签。样本分类信息和相应的缺陷类型组成训练样本。在实际应用中，可选的，除了构建训练样本之外，还可以构建评估样本，具体来说可以是构建两个方面的评估样本，一方面是贴合真实数据分布的线上评估样本，由此反映线上效果；另一方面是用规则去重后均匀采样的随机评估样本，由此反映缺陷分类模型的真实能力。采用相近领域现成的有标注的训练数据集，需要调整其的分布，如句子长度，标点、干净程度等，以使训练数据集与评估样本的分布尽可能一致。
步骤3：对训练样本进行预处理，如数据过滤、中文分词、去除停用词等，其中数据过滤可以是去除文本强格式词，去除高频无用的元素；纠正标注错误，将训练样本和评估样本进行拼接，并基于拼接结果训练模型两到三轮，防止过拟合，然后再预测训练数据集，将模型判错数据重新验证标签是否有问题，如有问题则重新标注。根据预处理结果更新训练样本。
步骤4：基于语料数据对未经训练的BERT-Att-BiLSTM模型进行预训练。
步骤5：根据预训练后的BERT-Att-BiLSTM模型，采用收集的已打好标注的训练样本进行迁移学习，微调训练，生成缺陷分类模型。
在介绍本发明实施例二之前，先对其的应用场景进行示例性说明：在定位目标缺陷系统时，一种可选方案是先通过测试用例的重复测试排查被测试系统本身是否存在缺陷，如果无，则再排查系统链路上的其余的候选缺陷系统是否存在缺陷，具体来说可以是软件测试人员结合个人经验、测试业务日志以及与其余的候选缺陷系统的软件开发人员进行沟通后获取到的候选业务日志来排查。
但是，上述可选方案存在如下问题：1)由于每个候选缺陷系统的候选业务日志均是存在于该候选缺陷系统本身，这导致软件测试人员仅是根据测试业务日志无法准确定位出系统链路中真正存在缺陷的目标缺陷系统。2)针对于需要验证众多业务交易的准确性和完整性的功能测试人员(即软件测试人员)，往往受制于黑盒测试(如SIT测试、功能测试)自身的特性，其一般是不具备通过查询每个候选缺陷系统的候选业务日志进行缺陷定位归因的权限，从而造成了软件测试人员需要投入更大的沟通成本，才能定位得到目标缺陷系统。3)软件测试人员通常是依靠主观经验推断目标缺陷系统，具有一定的主观性和误判性，因此软件测试人员需重复测试产生缺陷描述信息的测试用例，根据软件的执行步骤与执行结果确认缺陷定位的准确性。由此可见，上述可选方案存在大量的人力资源浪费、缺陷定位耗时长、软件测试效率较低等问题。因此，在全链路交易测试中，如何高效并且准确定位目标缺陷系统，这是亟待解决的技术问题，其对软件测试领域有重要的实际意义。
实施例二
图3是本发明实施例二中提供的一种系统测试缺陷分类方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，测试业务日志包括测试错误标识和测试错误信息，被测试系统是系统链路上的末个候选缺陷系统，则根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统，可以包括：若预先设置的各缺陷标识中存在与测试错误标识以及测试错误信息对应的测试缺陷标识，则根据该测试缺陷标识从位于系统链路上的各候选缺陷系统中确定中间缺陷系统；以中间缺陷系统为排查起点，以系统链路的链路方向的逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、若在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，其中，测试业务日志包括测试错误标识和测试错误信息，被测试系统是系统链路上的末个候选缺陷系统。
其中，被测试系统可以是系统链路上的末个候选缺陷系统，这是因为系统链路上的除末个候选缺陷系统之外的其余的候选缺陷系统可以直接或是间接的为末个候选缺陷系统提供数据和/或支持，因此可以通过被测试系统的测试结果确定整个系统链路是否能够正常运行，如当被测试系统正常运行时，整条系统链路能够正常运行；当被测试系统未正常运行时，整条系统链路无法正常运行。
测试业务日志可以包括测试错误标识和测试错误信息，测试错误标识可以是为被测试系统在测试过程中遇到的错误进行标识的信息，测试错误信息可以是为该错误进行描述的信息。实际应用中，可选的，测试错误标识和测试错误信息间可以是一对一、一对多或是多对一的关系，在此未做具体限定。再可选的，测试错误标识可以包括错误含义已知的结构化错误标识和错误含义未知的非结构化错误标识，其中错误含义已知的错误可以认为是软件测试人员在先前已经遇到过的错误，并为这样的错误设置了结构化的错误标识；非结构化错误标识可以是计算机自定义的错误标识，这里区分出非结构化错误标识，有利于后续软件测试人员对它们进行结构化处理，更新结构化错误标识。
S220、如果预先设置的各缺陷标识中存在与测试错误标识和测试错误信息对应的测试缺陷标识，则根据该测试缺陷标识从位于系统链路上的各候选缺陷系统中确定中间缺陷系统。
其中，缺陷标识可以是根据测试错误标识和测试错误信息确定的标识，如测试错误标识和测试错误信息间是一对多的关系时，一个测试错误标识以及与该测试错误标识对应的各测试错误信息中的一个测试错误信息可以对应于一个缺陷标识，需要说明的是，这里的测试错误标识是结构化错误标识，因为只有错误含义已知的结构化错误标识才能在先前预定义好相应的缺陷标识。因此，在获取到测试错误标识和测试错误信息后，可以先确定各缺陷标识中是否存在与二者对应的测试缺陷标识。示例性的，错误含义已知的测试错误标识1对应有测试错误信息A和B，错误含义已知的测试错误标识2对应有测试错误信息C和D，1和A对应于缺陷标识W，1和B对应于缺陷标识X，2和C对应于缺陷标识Y，及2和D对应于缺陷标识Z，那么在获取到2和C后，测试缺陷标识是Y。当然，当获取到的测试错误标识是非结构化错误标识时，无法从各缺陷标识中找到相应的测试缺陷标识。
进一步，由于各缺陷标识和系统链路上的各候选缺陷系统间存在映射关系，因此可以根据测试缺陷标识从各候选缺陷系统中初步定为出中间缺陷系统，该中间缺陷系统可以是各候选缺陷系统中具有较大的可能性是存在缺陷的系统。需要说明的是，相较于通过测试错误标识和测试错误信息来映射中间缺陷系统，独立的测试缺陷标识提高了映射的便捷性。
S230、以中间缺陷系统为排查起点，并且以系统链路的链路方向的逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统。
其中，系统链路是存在链路方向的，其可以是该系统链路上的各候选缺陷系统间的先后交互方向，示例性的，针对于系统链路M->N->O->P->Q，其中各字母分别表示一个候选缺陷系统，Q是被测试系统，此时的链路方向为从M到Q的方向。需要说明的是，根据已有经验认为，错误大概率出现在系统链路的中后部位，因此可以以中间缺陷系统为排查起点，且以链路方向的逆向(如从Q到M的方向)为排查方向，从各候选缺陷系统中排查出目标缺陷系统，由此加快了目标缺陷系统的定位效率。示例性的，假设中间缺陷系统是P，那么先确定P中是否存在缺陷，如果是则将P作为目标缺陷系统，否则确定O中是否存在缺陷，以此类推。
在此基础上，可选的，若未存在测试缺陷标识，即未能找到中间缺陷系统，则可以以被测试系统为排查起点，且以逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统，由此保证了在任何情况下均能成功定位出目标缺陷系统。
S240、获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息。
S250、将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
上述技术方案，可以直接获取各候选缺陷系统的候选业务日志，无需再让软件测试人员通过与候选缺陷系统的软件开发人员进行沟通的方式获取到候选业务日志，由此减少了软件测试人员的非必要性沟通成本；与此同时，因为是客观定位目标缺陷系统，因此无需再重复测试产生缺陷描述信息的测试用例，由此提高了目标缺陷系统的定位效率。
本发明实施例的技术方案，测试业务日志可包括测试错误标识和测试错误信息，被测试系统是系统链路上的末个候选缺陷系统，由此预先设置的各缺陷标识中存在与测试错误标识以及测试错误信息对应的测试缺陷标识时，这说明测试错误标识是错误含义已知的结构化错误标识，即在预先设置的映射关系中存在与测试缺陷标识对应的候选缺陷系统，因此可以根据该测试缺陷标识从各候选缺陷系统中确定很有可能存在缺陷的中间缺陷系统；进而，由于位于系统链路上的中后部位的候选缺陷系统存在缺陷的可能性比较大，因此可以以中间缺陷系统为排查起点，且以链路方向的逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统，由此达到了目标缺陷系统的快速且准确定位的效果。
在上述技术方案的基础上，从各候选缺陷系统中排查出目标缺陷系统，可包括：针对各候选缺陷系统中的当前排查系统，向当前排查系统上发起业务日志查询请求；如果接收到当前排查系统返回的与业务日志查询请求对应的排查业务日志，确定排查业务日志中是否存在排查错误标识；如果是，则将当前排查系统作为目标缺陷系统，否则将当前排查系统在排查方向上的下一个候选缺陷系统更新为当前排查系统，并重复执行向当前排查系统上发起业务日志查询请求的步骤。其中，当前排查系统可以是系统链路上正在排查的候选缺陷系统，向当前排查系统上发起用于查询其的排查业务日志(即候选业务日志)的业务日志查询请求；若未接收到相应的排查业务日志，则说明当前排查系统是目标缺陷系统，且出现原因(即报错原因)是通讯故障；否则，确定排查业务日志中是否存在排查错误标识，如果是则说明当前排查系统是目标缺陷系统，否则说明当前排查系统并非是目标缺陷系统，那么将当前排查系统在排查方向上的下一个候选缺陷系统更新为当前排查系统，并重复执行上述步骤，直至定位出目标缺陷系统，由此达到了目标缺陷系统的快速且准确定位的效果。
实施例三
图4是本发明实施例三中提供的一种系统测试缺陷分类方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，上述系统测试缺陷分类方法，还可以包括：获取待展示信息，并将待展示信息进行展示；其中待展示信息包括系统链路、候选缺陷系统的候选业务日志、目标缺陷系统、缺陷类型、及在各次测试过程中确定出的缺陷类型的统计结果中的至少一个。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体可以包括如下步骤：
S310、若在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统。
S320、获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息。
S330、将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
S340、获取待展示信息，并将待展示信息进行展示，其中，待展示信息可包括系统链路、候选缺陷系统的候选业务日志、目标缺陷系统、缺陷类型、及在各次测试过程中确定出的缺陷类型的统计结果中的至少一个。
其中，在将待展示信息展示于前端页面后，软件测试人员可以直接从前端页面中浏览到分配给自己的测试案例的相关信息，如系统链路、候选缺陷系统的候选业务日志、目标缺陷系统、缺陷类型、在各次测试过程中确定出的缺陷类型的统计结果等，由此提高了软件测试人员在软件测试时的准确性和效率。
示例性的，1：展示完整的系统链路，由此软件测试人员可以浏览到分配给自己的全部的测试案例对应的系统链路，并可以筛选展示其中的某一个。
2：展示候选业务日志，由此软件测试人员在无需与各候选缺陷系统的软件开发人员进行沟通的情况下，可以浏览到其所选择的测试案例对应的系统链路上的各候选缺陷系统的候选业务日志。
3：展示目标缺陷系统，由此软件测试人员可以直接得到系统链路上的存在缺陷的目标缺陷系统。在此基础上，还可以对易出现错误的目标报错系统进行标注，由此有利于软件测试人员后续在遇到这些高频出现的目标缺陷系统时，可以达到快速定位目标缺陷系统的效果，降低了缺陷定位的复杂性。
4：展示缺陷类型，由此软件测试人员可以直接得到目标缺陷系统内的缺陷的缺陷类型。
5：展示缺陷全景视图，即各次测试过程中确定出的缺陷类型的统计结果，由此软件测试人员可以直接浏览到各缺陷类别的分布情况，如频度等，该统计结果可以以饼图、柱状图等形式进行展现，得到了容易出现的缺陷类型，这有利于软件测试人员后续在遇到这些高频出现的缺陷类型时，可以达到快速确定缺陷类型的效果。
本发明实施例的技术方案，通过展示待展示信息的方式实现了待展示信息的可视化效果，由此软件测试人员在无需进行任何沟通的情况下可以直接浏览到分配给自己的测试案例相关的待展示信息，这意味着其可以根据可视化结果实时定位出目标缺席系统并且确定缺陷类型，由此达到了提高了软件测试效率和质量的效果。
实施例四
图5为本发明实施例四提供的系统测试缺陷分类装置的结构框图，该装置用于执行上述任意实施例所提供的系统测试缺陷分类方法。该装置与上述各实施例的系统测试缺陷分类方法属于同一个发明构思，在系统测试缺陷分类装置的实施例中未详尽描述的细节内容，可以参考上述系统测试缺陷分类方法的实施例。参见图5，该装置具体可以包括：目标缺陷系统确定模块410、缺陷分类信息获取模块420和缺陷类型得到模块430。
其中，目标缺陷系统确定模块410，用于如果在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上各候选缺陷系统中确定目标缺陷系统；
缺陷分类信息获取模块420，用于获取缺陷分类信息和已训练完成的缺陷分类模型，其中缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息；
缺陷类型得到模块430，用于将缺陷分类信息输入到缺陷分类模型，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
可选的，在上述装置的基础上，该装置还可以包括：
模型预训练模块，用于获取多组语料数据，基于多组语料数据对原始神经网络模型进行预训练，得到语料描述模型，其中，每组语料数据包括主题词和主题词的描述信息；
模型训练模块，用于获取多组训练样本，并基于多组训练样本对语料描述模型进行训练，得到缺陷分类模型，其中，每组训练样本包括样本分类信息和样本类型，样本分类信息包括在对样本链路进行测试时获取到的样本描述信息、样本链路的链路信息、以及样本链路上的确定出的存在缺陷的样本缺陷系统的样本业务日志中的样本错误信息，样本类型是缺陷的类型。
可选的，上述系统测试缺陷分类装置，还可以包括：
出现原因确定模块，用于根据目标缺陷系统以及缺陷类型，确定目标缺陷系统中存在的缺陷的出现原因。
可选的，测试业务日志包括测试错误标识和测试错误信息，被测试系统是系统链路上的末个候选缺陷系统，目标缺陷系统确定模块410，可以包括：
中间缺陷系统确定单元，用于若预先设置的各缺陷标识中存在与测试错误标识以及测试错误信息对应的测试缺陷标识，则根据测试缺陷标识从位于系统链路上的各候选缺陷系统中确定中间缺陷系统；
第一目标缺陷系统排查单元，用于以中间缺陷系统为排查起点，且以系统链路的链路方向的逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统。
在此基础上，可选的，目标缺陷系统确定模块410，还可以包括：
第二目标缺陷系统排查单元，用于如果未存在测试缺陷标识，则以被测试系统为排查起点，且以逆向为排查方向，从各候选缺陷系统中排查出目标缺陷系统。
在此基础上，可选的，第一目标缺陷系统排查单元或是第二目标缺陷系统排查单元，可以包括：
业务日志查询请求发起子单元，用于针对于各候选缺陷系统中的当前排查系统，向当前排查系统上发起业务日志查询请求；
排查错误标识确定子单元，用于若接收到当前排查系统返回的与业务日志查询请求对应的排查业务日志，确定排查业务日志中是否存在排查错误标识；
目标缺陷系统排查子单元，用于如果是，则将当前排查系统作为目标缺陷系统，否则将当前排查系统在排查方向上的下一个候选缺陷系统更新为当前排查系统，并重复执行向当前排查系统上发起业务日志查询请求的步骤。
可选的，上述系统测试缺陷分类装置，还可以包括：
信息展示模块，用于获取待展示信息，并将待展示信息进行展示，其中待展示信息包括系统链路、候选缺陷系统的候选业务日志、目标缺陷系统、缺陷类型、及在各次测试过程中确定出的缺陷类型的统计结果中的至少一个。
本发明实施例四所提供的系统测试缺陷分类装置，通过目标缺陷系统确定模块如果对被测试系统进行测试时接收到缺陷描述信息，则针对获取得到的被测试系统的测试业务日志和该被测试系统所在的系统链路，根据测试业务日志从位于系统链路上各候选缺陷系统中确定存在缺陷的目标缺陷系统，由此达到了目标缺陷系统的准确定位的效果；通过缺陷分类信息获取模块以及缺陷类型得到模块相互配合，获取缺陷分类信息和已训练完成的缺陷分类模型，其中，缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息，然后将缺陷分类信息输入到缺陷分类模型，由此，根据缺陷分类模型的输出结果，可以得到目标缺陷系统内的缺陷的缺陷类型。上述装置，在软件分析过程中进行缺陷分类时，基于已经训练完成的缺陷分类模型对缺陷描述信息、链路信息和目标错误信息这些缺陷分类信息进行分析，即将缺陷分类信息和NLP相结合，由此无需依赖于人工主观经验确定目标缺陷系统的缺陷类型，提高了缺陷类型的确定精度，进而提高了软件测试的准确性。
本发明实施例所提供的系统测试缺陷分类装置可执行本发明任意实施例所提供的系统测试缺陷分类方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述系统测试缺陷分类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图6为本发明实施例五提供的一种系统测试缺陷分类设备的结构示意图，参见图6，该设备包括存储器510、处理器520、输入装置530和输出装置540。设备中的处理器520的数量可以是一个或多个，图6中以一个处理器520为例；设备中的存储器510、处理器520、输入装置530和输出装置540可以通过总线或其它方式连接，图6中以通过总线550连接为例。
存储器510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的系统测试缺陷分类方法对应的程序指令/模块(例如，系统测试缺陷分类装置中目标缺陷系统确定模块410、缺陷分类信息获取模块420和缺陷类型得到模块430)。处理器520通过运行存储在存储器510中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的系统测试缺陷分类方法。
存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种系统测试缺陷分类方法，该方法包括：
如果在对被测试系统进行测试时接收到缺陷描述信息，则获取被测试系统的测试业务日志和被测试系统所在的系统链路，并根据测试业务日志从位于系统链路上的各候选缺陷系统中确定目标缺陷系统；
获取缺陷分类信息和已训练完成的缺陷分类模型，其中缺陷分类信息包括缺陷描述信息、系统链路的链路信息和目标缺陷系统的目标业务日志中的目标错误信息；
将缺陷分类信息输入到缺陷分类模型中，根据缺陷分类模型的输出结果，得到目标缺陷系统的缺陷类型。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的系统测试缺陷分类方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种系统测试缺陷分类方法，其特征在于，包括：
如果在对被测试系统进行测试时接收到缺陷描述信息，则获取所述被测试系统的测试业务日志和所述被测试系统所在的系统链路，并根据所述测试业务日志从位于所述系统链路上的各候选缺陷系统中确定目标缺陷系统；
获取缺陷分类信息和已训练完成的缺陷分类模型，其中所述缺陷分类信息包括所述缺陷描述信息、所述系统链路的链路信息和所述目标缺陷系统的目标业务日志中的目标错误信息；
将所述缺陷分类信息输入到所述缺陷分类模型中，根据所述缺陷分类模型的输出结果，得到所述目标缺陷系统的缺陷类型。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取多组语料数据，并基于所述多组语料数据对原始神经网络模型进行预训练，得到语料描述模型，其中，每组所述语料数据包括主题词和所述主题词的描述信息；
获取多组训练样本，基于所述多组训练样本对所述语料描述模型进行训练，得到所述缺陷分类模型，其中每组所述训练样本包括样本分类信息和样本类型，所述样本分类信息包括在对样本链路进行测试时获取到的样本描述信息、所述样本链路的链路信息、及所述样本链路上的确定出的存在缺陷的样本缺陷系统的样本业务日志中的样本错误信息，所述样本类型是所述缺陷的类型。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述目标缺陷系统和所述缺陷类型，确定所述目标缺陷系统中存在的缺陷的出现原因。
4.根据权利要求1所述的方法，其特征在于，所述测试业务日志包括测试错误标识和测试错误信息，所述被测试系统是所述系统链路上的末个所述候选缺陷系统，则所述根据所述测试业务日志从位于所述系统链路上的各候选缺陷系统中确定目标缺陷系统，包括：
如果预先设置的各缺陷标识中存在与所述测试错误标识以及所述测试错误信息对应的测试缺陷标识，则根据所述测试缺陷标识从位于所述系统链路上的各候选缺陷系统中确定中间缺陷系统；
以所述中间缺陷系统为排查起点，且以所述系统链路的链路方向的逆向为排查方向，从各所述候选缺陷系统中排查出目标缺陷系统。
5.根据权利要求4所述的方法，其特征在于，还包括：
如果未存在所述测试缺陷标识，则以所述被测试系统为排查起点，以所述逆向为排查方向，从各所述候选缺陷系统中排查出目标缺陷系统。
6.根据权利要求4或5所述的方法，其特征在于，所述从各所述候选缺陷系统中排查出目标缺陷系统，包括：
针对各所述候选缺陷系统中的当前排查系统，向所述当前排查系统上发起业务日志查询请求；
如果接收到所述当前排查系统返回的与所述业务日志查询请求对应的排查业务日志，确定所述排查业务日志中是否存在排查错误标识；
如果是，则将所述当前排查系统作为目标缺陷系统，否则将所述当前排查系统在所述排查方向上的下一个所述候选缺陷系统更新为所述当前排查系统，并重复执行所述向所述当前排查系统上发起业务日志查询请求的步骤。
7.根据权利要求1所述的方法，其特征在于，还包括：
获取待展示信息，并将所述待展示信息进行展示；
其中，所述待展示信息包括所述系统链路、所述候选缺陷系统的候选业务日志、所述目标缺陷系统、所述缺陷类型、及在各次测试过程中确定出的所述缺陷类型的统计结果中的至少一个。
8.一种系统测试缺陷分类装置，其特征在于，包括：
目标缺陷系统确定模块，用于如果在对被测试系统进行测试时接收到缺陷描述信息，则获取所述被测试系统的测试业务日志和所述被测试系统所在的系统链路，并根据所述测试业务日志从位于所述系统链路上的各候选缺陷系统中确定目标缺陷系统；
缺陷分类信息获取模块，用于获取缺陷分类信息和已训练完成的缺陷分类模型，其中，所述缺陷分类信息包括所述缺陷描述信息、所述系统链路的链路信息和所述目标缺陷系统的目标业务日志中的目标错误信息；
缺陷类型得到模块，用于将所述缺陷分类信息输入到所述缺陷分类模型中，根据所述缺陷分类模型的输出结果，得到所述目标缺陷系统的缺陷类型。
9.一种系统测试缺陷分类设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的系统测试缺陷分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的系统测试缺陷分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111055989.2A CN113778875B (zh) | 2021-09-09 | 2021-09-09 | 一种系统测试缺陷分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111055989.2A CN113778875B (zh) | 2021-09-09 | 2021-09-09 | 一种系统测试缺陷分类方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113778875A true CN113778875A (zh) | 2021-12-10 |
| CN113778875B CN113778875B (zh) | 2024-04-30 |
Family
ID=78841987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111055989.2A Active CN113778875B (zh) | 2021-09-09 | 2021-09-09 | 一种系统测试缺陷分类方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113778875B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115098389A (zh) * | 2022-07-05 | 2022-09-23 | 四川大学 | 一种基于依赖模型的rest接口测试用例生成方法 |
| CN115098389B (zh) * | 2022-07-05 | 2024-06-07 | 四川大学 | 一种基于依赖模型的rest接口测试用例生成方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986604A (zh) * | 2010-10-29 | 2011-03-16 | 中兴通讯股份有限公司 | 分组传送网的链路故障定位方法及系统 |
| CN109491885A (zh) * | 2018-09-26 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 测试问题定位方法、装置、计算机设备和存储介质 |
| CN110069401A (zh) * | 2019-03-18 | 2019-07-30 | 平安科技（深圳）有限公司 | 基于数据建模的系统测试异常定位方法及系统 |
| WO2020234863A1 (en) * | 2019-05-22 | 2020-11-26 | Applied Materials Israel Ltd. | Machine learning-based classification of defects in a semiconductor specimen |
| CN112685207A (zh) * | 2019-10-18 | 2021-04-20 | 伊姆西Ip控股有限责任公司 | 错误评估的方法、设备和计算机程序产品 |
| CN112749079A (zh) * | 2019-10-31 | 2021-05-04 | 中国移动通信集团浙江有限公司 | 软件测试的缺陷分类方法、装置及计算设备 |
| CN112948274A (zh) * | 2021-04-21 | 2021-06-11 | 深圳前海微众银行股份有限公司 | 测试用例评分模型训练方法和测试用例选择方法 |
| CN112965852A (zh) * | 2021-03-30 | 2021-06-15 | 中信银行股份有限公司 | 一种基于日志分析的错误定位方法和装置 |
-
2021
- 2021-09-09 CN CN202111055989.2A patent/CN113778875B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101986604A (zh) * | 2010-10-29 | 2011-03-16 | 中兴通讯股份有限公司 | 分组传送网的链路故障定位方法及系统 |
| CN109491885A (zh) * | 2018-09-26 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 测试问题定位方法、装置、计算机设备和存储介质 |
| CN110069401A (zh) * | 2019-03-18 | 2019-07-30 | 平安科技（深圳）有限公司 | 基于数据建模的系统测试异常定位方法及系统 |
| WO2020234863A1 (en) * | 2019-05-22 | 2020-11-26 | Applied Materials Israel Ltd. | Machine learning-based classification of defects in a semiconductor specimen |
| CN112685207A (zh) * | 2019-10-18 | 2021-04-20 | 伊姆西Ip控股有限责任公司 | 错误评估的方法、设备和计算机程序产品 |
| CN112749079A (zh) * | 2019-10-31 | 2021-05-04 | 中国移动通信集团浙江有限公司 | 软件测试的缺陷分类方法、装置及计算设备 |
| CN112965852A (zh) * | 2021-03-30 | 2021-06-15 | 中信银行股份有限公司 | 一种基于日志分析的错误定位方法和装置 |
| CN112948274A (zh) * | 2021-04-21 | 2021-06-11 | 深圳前海微众银行股份有限公司 | 测试用例评分模型训练方法和测试用例选择方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115098389A (zh) * | 2022-07-05 | 2022-09-23 | 四川大学 | 一种基于依赖模型的rest接口测试用例生成方法 |
| CN115098389B (zh) * | 2022-07-05 | 2024-06-07 | 四川大学 | 一种基于依赖模型的rest接口测试用例生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113778875B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423278B (zh) | 评价要素的识别方法、装置及系统 | |
| CN112597038B (zh) | 软件缺陷预测方法及系统 | |
| CN111881983A (zh) | 基于分类模型的数据处理方法、装置、电子设备及介质 | |
| CN112069069A (zh) | 缺陷自动定位分析方法、设备及可读存储介质 | |
| CN111369980A (zh) | 语音检测方法、装置、电子设备及存储介质 | |
| CN116361147A (zh) | 测试用例根因定位方法及其装置、设备、介质、产品 | |
| CN114691525A (zh) | 测试用例的选择方法及装置 | |
| CN111353304A (zh) | 一种众包测试报告聚合和摘要的方法 | |
| CN113591998A (zh) | 分类模型的训练和使用方法、装置、设备以及存储介质 | |
| CN107577760B (zh) | 一种基于约束规范的文本分类方法及装置 | |
| CN116795978A (zh) | 一种投诉信息处理方法、装置、电子设备及介质 | |
| CN114707507B (zh) | 一种基于人工智能算法的清单信息检测方法及装置 | |
| CN116976321A (zh) | 文本处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN111309585A (zh) | 日志数据测试方法及装置、系统、电子设备、存储介质 | |
| CN111985226A (zh) | 标注数据生成方法及装置 | |
| CN113778875B (zh) | 一种系统测试缺陷分类方法、装置、设备及存储介质 | |
| CN115757695A (zh) | 一种日志语言模型训练方法及系统 | |
| CN115618264A (zh) | 数据资产的主题分类方法、装置、设备和介质 | |
| CN109145609A (zh) | 一种数据处理方法和装置 | |
| Wang et al. | Detecting failures of neural machine translation in the absence of reference translations | |
| CN113010339A (zh) | 联机交易测试中故障自动处理方法及装置 | |
| CN113515588A (zh) | 表单数据检测方法、计算机装置及存储介质 | |
| CN114462803B (zh) | 基于航空安全信息报告文本的通用航空运行风险识别方法 | |
| CN117235744B (zh) | 源文件上线方法、装置、电子设备和计算机可读介质 | |
| CN117874236A (zh) | 错误日志的处理方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |