CN113361198B - 一种基于公共和私有信息挖掘的众包测试报告融合方法 - Google Patents

Abstract

一种基于公共和私有信息挖掘的众包测试报告融合方法，1)进行特征映射，每个模态中包括所有模态共享的公共信息，以及该模态的私有信息，将原始特征空间中抽取的模态映射为同一维度的公共向量和私有向量；2)对不同模态所包含的所有模态共享的公共信息和每个模态的私有信息进行获取；3)进行模态关系挖掘，将得到d维公共信息C_i和私有信息S_i ^m依次输入到LSTM中进行处理；4)进行标签预测，在多标签学习中，每种模态都有其对多标签预测的特定贡献，利用储存在LSTM记忆单元中的不同模态的信息获取标签之间的关系。本发明能够学习所有模态的低维公共表示，并通过强制正交约束提取每个模态的区别信息，同时，将公共表示作为一种新的模态加入到特定的模态序列中，实现基于提取的模态序列挖掘标签相关性。

Description

一种基于公共和私有信息挖掘的众包测试报告融合方法

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种基于公共和私有信息挖掘的众包测试报告融合方法。

背景技术

软件众测是一种新型的软件测试模式，其基于众包技术将原本由公司内部专业的测试人员的测试任务，通过众测平台分发给活跃在众测平台的众测工作者，众测工作者通过提交测试报告的形式反馈结果。随着数据采集技术的迅速发展，信息来源或者形式呈现多样性，因此数据从传统的单一模态演变为多模态或多视图的形式。例如：一个测试报告可以由文本和图像构成。如果仅仅使用其中某一个模态，则会缺乏全面性；如果直接将所有的模态拼接，则会引发维度灾难，而且意义不明确。与单模态学习不同的是，多模态学习主要通过挖掘模态间的一致性和互补性，从而提升学习性能。一致性原则要求尽可能最大化不同模态数据输出的一致性；互补性原则说明每个模态都包含一些其他模态没有的信息，不同的信息之间相互补充，从而克服单个模态信息表示不充分的缺陷。多模态学习旨在模拟每个模态学习一个函数，并通过联合优化所有函数来提升泛化性能，从而有效融合多个不同来源的模态进行有效的协作学习。传统的机器学习方法通常处理二分类或者多分类的问题，一个样本只和一个标签相关，和其他的标签无关。而在实际应用中，一个样本可能拥有丰富的语义，往往和多个标签相关，为了解决这一类问题，需要使用到多标签学习。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于公共和私有信息挖掘的众包测试报告融合方法，该发明能够针对众包测试报告，将其建模为为多模态多标签的形式，并基于提取的模态序列挖掘标签相关性。

技术方案：为了实现上述发明目的，本发明提供了一种基于公共和私有信息挖掘的众包测试报告融合方法，包括以下步骤，

步骤1，进行特征映射，每个模态中包括所有模态共享的公共信息，以及该模态的私有信息，将原始特征空间中抽取的模态映射为同一维度的公共向量和私有向量；

步骤2，对不同模态所包含的所有模态共享的公共信息和每个模态的私有信息进行获取；

步骤3，进行模态关系挖掘，将得到d维公共信息C_i和私有信息依次输入到LSTM中进行处理；

步骤4，进行标签预测，在多标签学习中，每种模态都有其对多标签预测的特定贡献，利用储存在LSTM记忆单元中的不同模态的信息获取标签之间的关系。

进一步的，在本发明中：所述步骤1还包括以下步骤，

步骤1-1，进行公共模态映射，为探索所有模态的公共子空间，将X_i中所有的模态串联起来，形成一个新的模态，且：

其中，d_all＝d₁+d₂+…+d_P，d_m为第m个模态的维度。

得到新的模态后，加入一个全连接层，并根据以下计算式将原始公共模态转换为d维公共向量C_i:

其中,为权重向量，b_O∈R^1×d为偏差向量；

步骤1-2，进行私有模态映射，原始特征向量X_i中的每个模态都可以用来抽取私有信息，再分别为每个模态加入一个全连接层，并根据如下的计算式将原始私有模态转换为d维向量

其中，为权重向量，b_m∈R^1×d为偏差向量。

进一步的，在本发明中：所述步骤2中的获取公共信息和私有信息还包括以下步骤，

步骤2-1，获取公共信息，从串联模态中寻求公共信息，公共信息与多个标签之间对应的预测模型f(C_i)可用如下的公式表示：

f(C_i)＝σ(C_iW_C+b_C)

其中，W_C∈R^d×L为权重向量，b_C∈R^1×L为偏差向量。

此时，公共信息预测模型中蕴含的公共损失函数可以表示为：

其中，Y_i ^k表示X_i的第k个标签的真实值，Y_i ^k＝1表示第k个标签为相关标签，否则为Y_i ^k＝0，表示利用公共模态向量C_i预测的结果，N_b为批大小。

步骤2-2，获取私有信息，从所述向量中抽取私有信息，采用正交损失函数来增强公共模态向量C_i和每个特定模态向量/>之间的独立性，正交损失函数/>如下所示：

其中，||·||₂为L₂范数。

进一步的，在本发明中：所述步骤3还包括，

将公共信息和私有信息{C_i,S_i ¹,…,S_i ^P}依次输入至LSTM神经网络中，其中，在第t步隐藏层的输出可以表示为将前t步隐藏层的输出堆叠起来，形成新的输出/>

其中,d_h为隐藏层的维度。

进一步的，在本发明中：所述步骤4中标签预测还包括，

第t步时，在隐藏层和标签预测层之间加入全连接层进行标签预测，最终的标签预测的结果由当前模态的预测和第t-1步所使用模态的预测组成，标签预测结果的计算式如下所示：

其中，为权重向量，/>为偏差向量；/>的作用类似于BR算法，用于单独预测每个标签；/>表示其他标签(除当前标签之外的其他所有标签)的预测结果，/>为第t-1步时的标签预测结果。

进一步的，在本发明中：对标签关系矩阵R∈R^L×L进行优化，其中，L为标签的数目，R_kj表示在第t-1步时第k个标签对第j个标签的影响。

此外，第t步的标签预测的损失函数采用如下二元交叉熵函数：

其中,为第t步时X_i第k个标签的预测结果，/>可以通过上述标签预测结果的计算式得到。

有益效果：

本发明提出的基于公共和私有信息挖掘的众包测试报告融合方法，针对众包测试报告，将其建模为为多模态多标签的形式，多模态数据显示了异构特性但是也具有潜在的关联，即对于某一特定的标签预测，每个模态有其特有的属性，然而不同的模态通常包含需要挖掘的互补信息，同时，标签之间也存在一定的关联，该方法通过学习所有模态的低维公共表示，并通过强制正交约束提取每个模态的区别信息，同时，将公共表示作为一种新的模态加入到特定的模态序列中，此外，还能够基于提取的模态序列挖掘标签相关性。

本发明能够学习所有模态的低维公共表示，并通过强制正交约束提取每个模态的区别信息，同时，将公共表示作为一种新的模态加入到特定的模态序列中，实现基于提取的模态序列挖掘标签相关性。

附图说明

图1为本发明提出的基于公共和私有信息挖掘的众包测试报告融合方法的整体流程示意图；

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以用许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。

如图1所示，为本发明提出的一种基于公共和私有信息挖掘的众包测试报告融合方法的整体流程示意图，该方法具体包括以下步骤，

步骤1，进行特征映射，每个模态中包括所有模态共享的公共信息，以及该模态的私有信息，将原始特征空间中抽取的模态映射为同一维度的公共向量和私有向量；

具体的，所述步骤1还包括以下步骤，

步骤1-1，进行公共模态映射，为探索所有模态的公共子空间，将X_i中所有的模态串联起来，形成一个新的模态，且：

其中，d_all＝d₁+d₂+…+d_P，d_m为第m个模态的维度。

得到新的模态后，加入一个全连接层，并根据以下计算式将原始公共模态转换为d维公共向量C_i:

其中,为权重向量，b_O∈R^1×d为偏差向量；

步骤1-2，进行私有模态映射，原始特征向量X_i中的每个模态都可以用来抽取私有信息，再分别为每个模态加入一个全连接层，并根据如下的计算式将原始私有模态转换为d维向量

其中，为权重向量，b_m∈R^1×d为偏差向量。

因此，对于第i个样本X_i特征映射层主要用于将公共和私有模态特征向量分别映射到统一的d维向量C_i和

步骤2，对不同模态所包含的所有模态共享的公共信息和每个模态的私有信息进行获取；

具体的，获取公共信息和私有信息还包括以下步骤，

步骤2-1，获取公共信息，对于传统的单模态多标签学习方法，将所有的模态串联起来可以获得比最优单个模态更好的性能，因此，本实施例中从串联模态中寻求公共信息，此外，公共信息与多个标签之间对应的预测模型f(C_i)可用如下的公式表示：

f(C_i)＝σ(C_iW_C+b_C)

其中，W_C∈R^d×L为权重向量，b_C∈R^1×L为偏差向量。

此时，公共信息预测模型中蕴含的公共损失函数可以表示为：

其中，Y_i ^k表示X_i的第k个标签的真实值，Y_i ^k＝1表示第k个标签为相关标签，否则为0，表示利用公共模态向量C_i预测的结果，N_b为批大小。

步骤2-2，获取私有信息，不同模态之间的互补信息至关重要，从所述向量中抽取私有信息，且通过正交约束从而尽可能使得私有信息和公共信息没有重叠的部分，采用正交损失函数来增强公共模态向量C_i和每个特定模态向量/>之间的独立性，正交损失函数如下所示：

其中，||·||₂为L₂范数。

步骤3，进行模态关系挖掘，将得到d维公共信息C_i和私有信息依次输入到LSTM中进行处理；

具体的，将公共信息和私有信息{C_i,S_i ¹,…,S_i ^P}依次输入至LSTM神经网络中，其中，在第t步隐藏层的输出可以表示为为了探索不同模态之间的关系，将前t步隐藏层的输出堆叠起来，形成新的输出/>

其中,d_h为隐藏层的维度。

将LSTM网络中所有的参数记为Ψ。

步骤4，进行标签预测，在多标签学习中，标签之间的关系是至关重要的，每种模态都有其对多标签预测的特定贡献，利用储存在LSTM记忆单元中的不同模态的信息获取标签之间的关系。

具体的，第t步时，在隐藏层和标签预测层之间加入全连接层进行标签预测，最终的标签预测的结果由当前模态的预测和第t-1步所使用模态的预测组成，标签预测结果的计算式如下所示：

其中，为权重向量，/>为偏差向量；/>的作用类似于BR算法，用于单独预测每个标签；/>表示其他标签的预测结果，/>为第t-1步时的标签预测结果。

进一步地，对标签关系矩阵R∈R^L×L进行优化，其中，L为标签的数目，R_kj表示在第t-1步时第k个标签对第j个标签的影响。

此外，第t步的标签预测的损失函数采用如下二元交叉熵函数：

其中,为第t步时X_i第k个标签的预测结果，/>可以通过上述标签预测结果的计算式得到。

综上，将公共损失正交损失/>以及标签预测损失/>进行结合，并得到整体的损失函数/>

其中，α和β控制不同损失函数之间的权衡，此处我们取α＝0.1和β＝100。

进一步地，算法中需要更新的所有参数集合Θ为：

其中,m＝1,…,P；t＝1,…,P。再利用Adam算法进行优化。

应说明的是，以上所述实施例仅表达了本发明的部分实施方式，其描述并不能理解为对本发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些均应落入本发明的保护范围。

Claims (2)

1.一种基于公共和私有信息挖掘的众包测试报告融合方法，其特征在于：包括以下步骤，

步骤1，进行特征映射，每个模态中包括所有模态共享的公共信息，以及该模态的私有信息，将原始特征空间中抽取的模态映射为同一维度的公共向量和私有向量；

步骤2，对不同模态所包含的所有模态共享的公共信息和每个模态的私有信息进行获取；

步骤3，进行模态关系挖掘，将得到d维公共信息C_i和私有信息S_i ^m依次输入到LSTM中进行处理；

步骤4，进行标签预测，在多标签学习中，每种模态都有其对多标签预测的特定贡献，利用储存在LSTM记忆单元中的不同模态的信息获取标签之间的关系；

所述步骤1包括以下步骤，

步骤1-1，进行公共模态映射，为探索所有模态的公共子空间，将X_i中所有的模态串联起来，形成一个新的模态且：

其中，d_all＝d₁+d₂+d_m……+d_P，d_p为第p个模态的维度；

得到新的模态后，加入一个全连接层，将全连接层的输出加入新的模态，并根据以下计算式将原始公共模态转换为d维公共向量C_i:

其中,为权重向量，b_O∈R^1×d为偏差向量；

步骤1-2，进行私有模态映射，原始特征向量X_i中的每个模态都可以用来抽取私有信息，再分别为每个模态加入一个全连接层，并根据如下的计算式将原始私有模态转换为d维向量

其中，为权重向量，b_m∈R^1×d为偏差向量；

所述步骤2中的获取公共信息和私有信息包括以下步骤，

步骤2-1，获取公共信息，从串联模态中寻求公共信息，公共信息与多个标签之间对应的预测模型f(C_i)可用如下的公式表示：

f(C_i)＝σ(C_iW_C+b_C)

其中，W_C∈R^d×L为权重向量，b_C∈R^1×L为偏差向量；

此时，公共信息预测模型中蕴含的公共损失函数可以表示为：

其中，Y_i ^k表示X_i的第k个标签的真实值，Y_i ^k＝1表示第k个标签为相关标签，否则Y_i ^k＝0，表示利用公共模态向量C_i预测的结果，N_b为批大小；

步骤2-2，获取私有信息，从所述向量中抽取私有信息，采用正交损失函数来增强公共模态向量C_i和每个特定模态向量/>之间的独立性，正交损失函数/>如下所示：

其中，‖·‖₂为L₂范数；

所述步骤3还包括，

将公共信息和私有信息依次输入至LSTM神经网络中，其中，在第t步隐藏层的输出可以表示为/>将前t步隐藏层的输出堆叠起来，形成新的输出/>

其中,d_h为隐藏层的维度；

所述步骤4中标签预测包括，

第t步时，在隐藏层和标签预测层之间加入全连接层进行标签预测，最终的标签预测的结果由当前模态的预测和第t-1步所使用模态的预测组成，标签预测结果的计算式如下所示：

其中，为权重向量，/>为偏差向量；/>的作用类似于BR算法，用于单独预测每个标签；/>表示其他标签，即除当前标签之外的其他所有标签的预测结果，/>为第t-1步时的标签预测结果。

2.根据权利要求1所述的基于公共和私有信息挖掘的众包测试报告融合方法，其特征在于：对标签关系矩阵R∈R^L×L进行优化，其中，L为标签的数目，R_kj表示在第t-1步时第k个标签对第j个标签的影响；

此外，第t步的标签预测的损失函数采用如下二元交叉熵函数：

其中,为第t步时X_i第k个标签的预测结果，/>可以通过上述标签预测结果/>的计算式得到。