CN104536881A - 基于自然语言分析的众测错误报告优先级排序方法 - Google Patents

Abstract

基于自然语言分析的众测错误报告优先级排序方法，其特征是使用自然语言分析，对众测人员提交的错误报告进行排序。本发明提出了一种全新的基于众测场景的众测报告排序技术，主要用于解决众测场景下，错误报告过多，专业测试人员无法审查所有错误报告的问题。本发明具有以下有益效果：1、提出动态众测报告排序技术，引入了测试人员在审查结果，同时实时变更距离矩阵，使得审查效率更高；2、在测试人员不能及时审查的情况下，提出了静态众测报告排序技术，使得审查人员在后续的审查中能够保证较高的审查效率。

Description

基于自然语言分析的众测错误报告优先级排序方法

技术领域

本发明属于计算机技术领域，涉及软件测试技术，尤其是软件测试中测试用排序技术，用于专业测试人员在得到众测人员提交的错误报告后，动态获取错误报告优先级排序，辅助其对错误报告的审阅工作，为一种基于自然语言分析的众测错误报告优先级排序方法。

背景技术

众测是指在软件正式发布之前，软件公司通过互联网，将测试任务分配给一大群和软件没有直接关系的个体，通常称之为众测人员。由众测人员向公司提交其错误报告给专业测试人员审查，如图1所示。错误报告通常包括由自然语言书写的测试环境、测试输入、测试步骤和测试结果，并辅助一些必要的截屏。

由于市场特征，互联网软件的开发和更新周期都非常短。与此同时，互联网用户的忠诚度较低，一个错误可能导致大量用户流失和巨额经济损失。在软件公司专业测试人员相对短缺的情况下，众测技术在当前的互联网公司软件研发或更新过程中，被广泛采用。

传统的测试中，有一些工具可以对错误报告进行自动审查。然而在众测环境下，由于众测人员的专业水平很难控制，公司专业测试人员通常人工逐一审查所有错误报告，以判断其有效性。由于公司鼓励众测人员提交更多的错误报告，这项审查工作会耗费大量的时间和人力成本。

自然语言处理是基于机器学习的技术，将自然语言的文本通过一系列分词、关键词提取等技术进行理解。本发明中使用中文自然语言分析技术，结合提出动态错误报告排序(DTRP)算法和静态错误报告排序(STRP)算法，对错误报告进行排序，提高在众测环境下的错误报告审查效率。

发明内容

本发明要解决的问题是：提出一种基于自然语言分析的众测错误报告优先级排序的方法，减轻专业测试人员审查众测错误报告的时间和工作量，实现业务自动化，提高工作效率。

本发明的技术方案为：基于自然语言分析的众测错误报告优先级排序方法，使用自然语言分析，对众测人员提交的错误报告进行排序,具体步骤为：

1)收集并预处理错误报告：

收集众测人员提交的错误报告，并根据设定的标准格式，对不符合标准格式的错误报告进行过滤；

2)自然语言分析，对所有错误报告进行自然语言分析，包括以下四个子步骤：

2a)分词：对错误报告中的自然语言描述的部分进行分词操作，将每份错误报告中的语句划分成独立的词语；

2b)同义词替换：首先由人工生成一个同义词集合，即将指代同一对象的不同词语作为一个集合，用同义词集合中的一个词语作为代表词，来替换错误报告中含有的该同义词集合中的其他词语；

2c)关键词提取：通过自然语言分析，将每份错误报告的关键词提取出来，按权重大小降序排列，权重的值表示该关键词能够代表语句含义的程度，取权重最大的k个关键词；

2d)关键词向量模型KVM建立：根据关键词在所有错误报告中出现的次数，选出出现次数超过设定阈值的关键词，按出现次数降序排列，并选取出现次数最多的m个关键词，构成关键词集合；再根据关键词集合对每一个错误报告计算关键词向量，对于一个错误报告，若某关键词在其中出现，则该错误报告的关键词向量对应项的值为1；否则对应项的值为0；各错误报告的关键词向量构成关键词向量模型KVM；

3)建立距离矩阵：

根据步骤2)得到的关键词向量模型KVM，对每两个错误报告的关键词向量计算Jaccard距离，得到错误报告的距离矩阵；

4)对错误报告排序：

根据步骤3)得到的距离矩阵，针对有无专业测试人员及时反馈的不同情形，分别采用动态错误报告排序和静态错误报告排序，实现错误报告优先级排序，帮助专业测试人员发现错误：

4a)当专业测试人员通过图形用户界面及时判断并反馈系统推荐的错误报告是否有效时，采用动态错误报告排序策略，此时的排序兼顾错误报告的多样性和准确性；

4b)当专业测试人员不参与排序过程时，采用静态错误报告排序策略，此时的排序只会考虑错误报告的多样性。

进一步地，步骤1)中对错误报告统一设定{E，I，O，D}的格式，其中E为测试环境，包括硬件参数、软件设置；I为测试输入，包括输入数据、操作步骤；O为测试输出，包括文本和截图；D为测试描述，用于帮助测试人员理解软件错误。错误报告由众测人员通过网络进行提交，收集完所有的错误报告后，统一存储在错误报告库，并对不符合设定格式的错误报告进行调整或舍弃。

作为优选，步骤2a)的分词步骤中，对错误报告中的测试输入和测试描述进行分词操作。

步骤2c)中，k为大于等于5的整数。k值越大，对语句含义的表达效果越好，时间代价越大。

本发明中，众测人员是指互联网软件公司雇佣的具备一定专业基础知识的非专业测试人员；错误报告是指遵照固定格式，用自然语言撰写的错误报告，包括测试环境、测试输入、测试输出、测试描述四部分，由众测人员撰写提交。专业测试人员指了解软件的专业程序测试人员。

本发明的自然语言分析根据错误报告的语言确定，对于中文语言，采用ICTCLAS中文自然语言处理引擎。

本发明引入自然语言处理技术，将众测错误报告中的文本描述进行分词，同义词替换，关键词提取等技术。本发明提出了一种全新的基于众测场景的众测报告排序技术，主要用于解决众测场景下，错误报告过多，专业测试人员无法在可接受的时间和人力成本下审查所有错误报告的问题。本发明的有益效果在于两方面：在自然语言分析的基础上，对众测报告进行自动分类，1、提出了动态众测报告排序技术，引入了测试人员反馈审查结果，同时实时变更距离矩阵，使得审查效率更高；2、在测试人员不能及时审查的情况下，提出了静态众测报告排序技术，使得审查人员在后续的审查中能够保证较高的审查效率。

附图说明

图1为现有技术的众测的流程图。

图2为本发明的错误报告排序流程图。

具体实施方式

本发明的目的是接收自然语言形式的众测错误报告，动态获取错误报告优先级排序，辅助测试人员对错误报告的审阅工作。如图2所示，本发明具体实施方式有以下四个步骤：错误报告收集，自然语言处理，距离矩阵建立和利用算法进行错误报告动态排序。

1.错误报告收集以及预处理

所有的错误报告由众测平台召集的参与众测的人员提供。错误报告分为四部分：运行环境、输入、输出、详细描述。其中，输入和详细描述本发明是本发明进行排序的主依据，错误报告中的运行环境和输出主要用于专业测试人员的审查。获得了错误报告后，进行后期处理。

本发明中错误报告收集时，统一定义为{E，I，O，D}的格式。其中E为测试环境，包括硬件参数、软件设置等等；I为测试输入信息，包括输入数据、操作步骤等；O为测试输出信息，除文本外还包括必要的截图；D为测试描述，用来帮助测试人员理解软件错误。错误报告由众测人员通过网络进行提交。收集完所有的错误报告后，对不符合规范的测试报告视情况进行调整或舍弃。在此阶段应当以错误报告格式的统一性与尽可能大的数据量为预处理目标。

2.自然语言分析

由于错误报告采用自然语言，获得了错误报告后，应当首先进行对自然语言的处理。自然语言处理又分为四个部分：分词、同义词替换、关键词抽取和建立关键词向量模型。

分词是自然语言处理的第一步，对于中文语言而言，它将汉字序列切分为一个个标记了词性的词组。具体地，本发明运用了ICTCLAS中文自然语言处理引擎来完成分词工作。同样，除中文以外的其他语言也有对应的分词处理引擎做类似的工作。

自然语言处理的第二步是同义词替换。由于测试是由不同的众测用户同时进行的，而且错误报告也是由不同的众测用户完成并提交的，因此不同用户对于同一种现象的描述可能是不同的，对于同一个概念也可能使用同义词。比如“九宫格键盘”和“拇指键盘”所指的是同一种输入法的键盘布局，“九宫格键盘”和“拇指键盘”就被视为同义词。为了提高错误报告排序的准确性，本发明利用LSA方法进行了同义词替换。LSA是一种提取和推导近义词的全自动的数学方法。它基于数学线性代数中的奇异值分解而不是利用人工的词库来推导同义词。当LSA找出了同义词组群后，我们选用每个组中的一个词去替换组中的其他词，从而达到降低歧义性的目的，为后面的步骤奠定基础。

自然语言处理的第三步是关键词提取。为了更进一步探究错误报告的意义，本发明从每一个错误报告中提取若干个关键词作为该错误报告的代表。这里再次利用ICTCLAS引擎提取关键词并将关键词按照权重降序的顺序排列。当ICTCLAS引擎提取出了多出所需要的数量的关键词，舍弃权重小的关键词。本发明中取权重最大的k个关键词，优选k为大于等于5的整数，k值越大，对语句含义的表达效果越好，时间代价越大。

自然语言分析的最后一步是关键词向量建模，即关键词向量模型(Keyworkds VectorModel)建立。提取了每个错误报告的关键词后，本发明统计了每个关键词在所有错误报告中出现的次数。设定阀值ε，将出现次数小于ε的关键词舍弃，利用剩余关键词组成有效全局关键字集合，表示如下：

W(ω_i)＝ω₁，ω₂，...，ω_m，where T_i＞ε，and1≤i≤m

其中ω_i为某个关键词，T_i为该词在所有错误报告中出现的次数，m为关键词个数。

之后，基于全局关键词集合和每个全局关键词在每个错误报告中出现的次数，可以建立一个与错误报告一一对应的关键词向量：

$V_i\left(v_j\right)=(v_1,v_2,...,v_m),v_j=\left\{\begin{array}{cc}0& t_{\mathrm{ij}}=0\\ 1& t_{\mathrm{ij}}\≠0\end{array}\right.$

其中，v_j表示关键词j在该测试用例中出现的情况，v_j＝1表示该关键词至少出现过一次，v_j＝0表示没有出现。构建完关键词向量之后，每个测试用例由一个关键词向量代表。

3.建立距离矩阵

完成自然语言处理之后的工作是建立距离矩阵。首先，错误报告的差异度可以由关键词向量之间的距离所衡量，而距离矩阵中的每个值则表示了任意两个错误报告之间的距离。两个向量之间的距离有很多计算方法，如编辑距离、海明距离、曼哈顿距离等，通过实验不同距离计算方法的效果，本发明采用Jaccard距离衡量两个向量之间的距离。Jaccard距离通过以下公式进行计算：

$I(V_i,V_j)=1-\frac{|V_i\∩V_j|}{|V_i\∪V_j|},i\≠j$

4.利用算法进行错误报告动态排序

距离矩阵建立之后，根据有无专业测试人员的反馈，排序系统可以利用排序算法对错误报告动态排序。

针对不同情形，分别采用动态测试报告排序和静态测试报告排序，以帮助专业测试人员在尽可能少的时间内发现尽可能多的错误。

当专业测试人员通过图形用户界面及时判断并反馈系统推荐的错误报告是否有效时，采用动态错误报告排序策略，此时的排序兼顾错误报告的多样性和准确性。

当专业测试人员不参与排序过程时，采用静态错误报告排序策略，此时的排序只会考虑错误报告的多样性。

随着上述情形的变动，可以对应切换采用对应的排序方法，排序算法如下所示。

动态测试用例排序DTRP伪代码：

首先定义单个报告，记为tr_i，一个错误报告的集合，记为TR，tr_i与TR之间的距离为tr_i到TR中每一个错误报告距离中最小的距离，即 $d(\mathrm{tr},\mathrm{TR})=\min \left\{d(\mathrm{tr},{\mathrm{tr}}_i)\right|{\mathrm{tr}}_i\∈\mathrm{TR},\mathrm{and\; tr}\∉\mathrm{TR}\},$ 一个队列Q，存放选出的错误报告，用于输出。

根据专业测试人员的反馈进行如下操作：设未被审查过的错误报告的集合是TR，每次从TR中挑出一个错误报告呈现给专业测试人员，专业测试人员评定该错误报告是否有效，有效的错误报告被放在有效集合PTR和队列Q中，无效的错误报告被放在无效集合FTR中。如此循环，直到TR为空。队列Q中按照加入的错误报告顺序实现排序。

从TR中挑选错误报告按照以下原则：

1、如果PTR为空，采取随机选取的方式；

2、如果PTR不为空，分别计算TR中的错误报告与PTR的距离，并选出与PTR距离最大的n个报告，这样可以最大限度地使选出的错误报告能揭示一个新类型的错误。这时又分为两种情况：

a)如果FTR为空，则在这n个错误报告中选出与PTR距离最大的一个。

b)如果FTR不为空，分别计算这n个错误报告与FTR的距离，并选出与FTR距离最大的一个报告。这一步可以最大限度地保证选出的错误报告是有效的。

静态测试用例排序STRP伪代码：

首先定义单个报告，记为tr_i，一个错误报告的集合，记为TR，tr_i与TR之间的距离为tr_i到TR中每一个错误报告距离中最小的距离，即 $d(\mathrm{tr},\mathrm{TR})=\min \left\{d(\mathrm{tr},{\mathrm{tr}}_i)\right|{\mathrm{tr}}_i\∈\mathrm{TR},\mathrm{and\; tr}\∉\mathrm{TR}\},$ 一个队列Q，存放选出的错误报告，用于输出。

设未被审查过的错误报告的集合是TR，选出的错误报告集合是TR’。每次从TR中挑出一个错误报告放入TR’和队列Q中，直到TR为空。队列Q中按照加入的错误报告顺序实现排序。

从TR中挑选错误报告按照以下原则：

1.第一次先随机选取一个错误报告；

2.分别计算剩下的错误报告与TR’的距离，选出距离最大的一个报告。这一步可以最大限度地保证选出的错误报告指向不同的错误。

Claims (6)

1.基于自然语言分析的众测错误报告优先级排序方法，其特征是使用自然语言分析，对众测人员提交的错误报告进行排序,具体步骤为：

1)收集并预处理错误报告：

收集众测人员提交的错误报告，并根据设定的标准格式，对不符合标准格式的错误报告进行过滤；

2)自然语言分析，对所有错误报告进行自然语言分析，包括以下四个子步骤：

2a)分词：对错误报告中的自然语言描述的部分进行分词操作，将每份错误报告中的语句划分成独立的词语；

2b)同义词替换：首先由人工生成一个同义词集合，即将指代同一对象的不同词语作为一个集合，用同义词集合中的一个词语作为代表词，来替换错误报告中含有的该同义词集合中的其他词语；

2c)关键词提取：通过自然语言分析，将每份错误报告的关键词提取出来，按权重大小降序排列，权重的值表示该关键词能够代表语句含义的程度，取权重最大的k个关键词；

2d)关键词向量模型KVM建立：根据关键词在所有错误报告中出现的次数，选出出现次数超过设定阈值的关键词，按出现次数降序排列，并选取出现次数最多的m个关键词，构成关键词集合；再根据关键词集合对每一个错误报告计算关键词向量，对于一个错误报告，若某关键词在其中出现，则该错误报告的关键词向量对应项的值为1；否则对应项的值为0；各错误报告的关键词向量构成关键词向量模型KVM；

3)建立距离矩阵：

根据步骤2)得到的关键词向量模型KVM，对每两个错误报告的关键词向量计算Jaccard距离，得到错误报告的距离矩阵；

4)对错误报告排序：

根据步骤3)得到的距离矩阵，针对有无专业测试人员及时反馈的不同情形，分别采用动态错误报告排序和静态错误报告排序，实现错误报告优先级排序，帮助专业测试人员发现错误：

4a)当专业测试人员通过图形用户界面及时判断并反馈系统推荐的错误报告是否有效时，采用动态错误报告排序策略，此时的排序兼顾错误报告的多样性和准确性；

4b)当专业测试人员不参与排序过程时，采用静态错误报告排序策略，此时的排序只会考虑错误报告的多样性。

2.根据权利要求1所述的基于自然语言分析的众测错误报告优先级排序方法，其特征是步骤1)中对错误报告统一设定{E，I，O，D}的格式，其中E为测试环境，包括硬件参数、软件设置；I为测试输入，包括输入数据、操作步骤；O为测试输出，包括文本和必要的截图；D为测试描述，用于帮助测试人员理解软件错误，错误报告由众测人员通过网络进行提交，收集完所有的错误报告后，统一存储错误报告库，对不符合设定格式的错误报告进行调整或舍弃。

3.根据权利要求2所述的基于自然语言分析的众测错误报告优先级排序方法，其特征是步骤2a)的分词步骤中，对错误报告中的测试输入和测试描述进行分词操作。

4.根据权利要求1所述的基于自然语言分析的众测错误报告优先级排序方法，其特征是步骤2c)中，k为大于等于5的整数，k值越大，对语句含义的表达效果越好，时间代价越大。

5.根据权利要求1所述的基于自然语言分析的众测错误报告优先级排序方法，其特征是步骤4a)的动态错误报告排序策略为：

根据专业测试人员的反馈进行如下操作：设未被审查过的错误报告的集合为TR，每次从TR中挑出一个错误报告tri呈现给专业测试人员，专业测试人员评定该错误报告是否有效，有效的错误报告被放入有效集合PTR和队列Q中，无效的错误报告被放在无效集合FTR中，如此循环，直到TR为空；队列Q中按照加入的错误报告顺序实现排序；

其中tr_i与TR之间的距离为tr_i到TR中每一个错误报告距离中最小的距离，即 $d(\mathrm{tr},\mathrm{TR})=\min \left\{d(\mathrm{tr},{\mathrm{tr}}_i)\right|{\mathrm{tr}}_i\∈\mathrm{TR},\mathrm{and\; tr}\∉\mathrm{TR}\},$ 队列Q存放选出的错误报告，用于输出；

从TR中挑选错误报告按照以下原则：

1.如果PTR为空，采取随机选取的方式；

2.如果PTR不为空，分别计算TR中的错误报告与PTR的距离，并选出与PTR距离最大的n个报告，这时又分为两种情况：

a)如果FTR为空，则在这n个错误报告中选出与PTR距离最大的一个；

b)如果FTR不为空，分别计算这n个错误报告与FTR的距离，并选出与FTR距离最大的一个报告。

6.根据权利要求1所述的基于自然语言分析的众测错误报告优先级排序方法，其特征是步骤4b)的静态错误报告排序策略为：

设未被审查过的错误报告的集合是TR，选出的错误报告集合是TR’，每次从TR中挑出一个错误报告放入TR’和队列Q中，直到TR为空；队列Q存放选出的错误报告，用于输出；一个错误报告tr_i与TR之间的距离为tr_i到TR中每一个错误报告距离中最小的距离，即 $d(\mathrm{tr},\mathrm{TR})=\min \left\{d(\mathrm{tr},{\mathrm{tr}}_i)\right|{\mathrm{tr}}_i\∈\mathrm{TR},\mathrm{and\; tr}\∉\mathrm{TR}\},$

从TR中挑选错误报告按照以下原则：

1.第一次先随机选取一个错误报告加入TR’和队列Q；

2.第二次选择开始，分别计算剩下的错误报告与TR’的距离，选出距离最大的一个报告加入TR’和队列Q；

队列Q中按照加入的错误报告顺序实现排序。