CN110728327A - 一种具有可解释性的直推学习方法及系统 - Google Patents

Abstract

本发明公开了一种具有可解释性的直推学习方法及系统，属于数据处理技术领域，包括：获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；利用集成亲和矩阵对无标注集合中的图像进行伪标注，得到伪标注样本集合；利用有标注样本集合和伪标注样本集合，对决策树模型进行训练；对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；利用决策树模型对实时采集的图像进行标记分类。本发明构建的直推学习分类模型具有可解释性，适用于对风险极其敏感的场景。

Description

一种具有可解释性的直推学习方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种具有可解释性的直推学习方法及系统。

背景技术

在传统的监督学习中，学习器通过对大量有标记的训练示例进行学习，从而建立模型用于预测未见示例的标记。随着数据采集和存储技术的飞速发展，获取大量未标记示例已相当容易，而获取大量有标记示例则相对困难，因而半监督学习应运而生。

针对半监督学习中的直推学习问题，在很多工业场合，对风险极其敏感，机器学习的可解释性就显得非常重要。目前，机器学习方法普遍是基于黑盒模型的设计和基于拉普拉斯支持向量机的设计，但基于黑盒模型的设计，可解释性较弱，基于拉普拉斯支持向量机的设计，难以对其进行解释。

发明内容

本发明的目的在于克服上述背景技术中的不足，使得直推学习分类模型具备可解释性，提高数据标签分类准确性。

为实现以上目的，一方面，采用一种具有可解释性的直推学习方法，包括如下步骤：

获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；

基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

利用决策树模型对实时采集的数据进行标记分类。

进一步地，所述获取数据的样本集合，包括：

采集数据；

对数据进行特征提取，得到特征向量，将特征向量作为样本构建所述样本集合。

进一步地，所述基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数，包括：

基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合

m为候选亲和矩阵的数量；

对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A；

构造所述亲和矩阵集成系数{μ_k，k＝1，2，...，m}，且

进一步地，所述候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，

为距离x_j最近的k个样本的集合，

为距离x_i最近的k个样本的集合。

进一步地，所述集成亲和矩阵A为：

进一步地，所述对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型，包括：

a1)、令p＝1，p，q＝1，2，...，m；

a2)、针对每个q＝p+1，p+f，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，

L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；

a3)、令p←p+1，如果p＜m，则跳转执行所述步骤a2)，否则执行步骤a4)；

a4)、令φ←φ+1，如果φ＜Φ，则重新构造所述集成亲和矩阵，否则执行步骤a5)，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

a5)、输出所述决策树模型。

另一方面，采用一种具有可解释性的直推学习系统，包括样本处理模块、构造模块、伪标注模块、训练模块、更新优化模块和分类模块；

样本处理模块用于获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；

构造模块用于基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

伪标注模块用于利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

训练模块用于利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

更新优化模块用于对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

分类模块用于利用决策树模型对实时采集的数据进行标记分类。

进一步地，所述构造模块包括候选亲和矩阵集合构造单元、集成亲和矩阵构造单元和亲和矩阵集成系数构造单元；

候选亲和矩阵集合构造单元用于基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合

m为候选亲和矩阵的数量；

集成亲和矩阵构造单元用于对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A；

矩阵集成系数构造单元用于构造所述亲和矩阵集成系数

且

进一步地，所述候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，

为距离x_j最近的k个样本的集合，

为距离x_i最近的k个样本的集合；

所述集成亲和矩阵A为：

进一步地，所述更新优化模块第一设置单元、循环执行单元、第二设置单元、第一判断单元、第三设置单元、第二判断单元和输出单元；

第一设置单元用于令p＝1，p，q＝1，2，...，m；

循环执行单元针对每个q＝p+1，p+1，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，

L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；

第二设置单元用于令令p←p+1；

第一判断单元用于判断是否满足p＜m；

循环执行单元用于在第一判断单元输出结果为是时，循环执行所述指令；

第三设置单元用于在第一判断单元输出结果为否时，令φ←φ+1；

第二判断单元用于判断是否满足φ＜Φ，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

所述构造模块用于在第二判断单元输出结果为是时，重新构造所述集成亲和矩阵；

输出单元用于在第二判断单元输出结果为否时，输出所述决策树模型。

与现有技术相比，本发明存在以下技术效果：本发明设计的直推学习方法构建的直推学习分类模型为决策树模型，具有可解释性，克服了直推学习分类模型不具备可解释性的缺陷，适用于对风险极其敏感的场景。且本方案中通过不断优化逼近最优亲和矩阵，提高了对数据进行标签分类的准确性。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种具有可解释性的直推学习方法的流程示意图；

图2是一种具有可解释性的直推学习系统的结构示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种具有可解释性的直推学习方法，包括如下步骤S1至S6：

S1、获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；

S2、基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

S3、利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

S4、利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

S5、对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

S6、利用决策树模型对实时采集的数据进行标记分类。

具体来说，上述步骤S1：获取数据的样本集合，具体包括如下步骤：

采集数据，该数据可为机器人地面分类中采集的振动信号和，可为地下岩性识别过程中采集的测井曲线，也可以为卫星超光谱图像分类过程中采集的超光谱图像。

对数据进行特征提取，得到特征向量；

对数据进行特征提取，得到特征向量，将特征向量作为样本构建所述样本集合x＝{x₁，x₂，…，x_i，…，x_n}，样本

表示实数集，d为特征维度，i＝1，2，...，n，n表示样本总数。

具体来说，从样本集合中选取l个样本进行标注，得到有标注样本集合

和无标注样本集合

标注y_a∈Y＝{1，2，...，c}，c为类别总数。

具体来说，上述步骤S2：基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数，包括如下细分步骤S21至S3：

S21、基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合

m为候选亲和矩阵的数量。

其中，所述候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，为距离x_j最近的k个样本的集合，

为距离x_i最近的k个样本的集合，通过设定不同的k与t的值，确定候选亲和矩阵集合中的候选亲和矩阵A_k。

S22、对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A。

其中，所述集成亲和矩阵A为：

S23、构造所述亲和矩阵集成系数{μ_k，k＝1，2，...，m}，且

具体来说，上述步骤S3：利用集成亲和矩阵对无标注集合中的图像进行伪标注，得到伪标注样本集合，具体为：基于集成亲和矩阵进行半监督图标注传播，为上述无标注样本集合进行伪标注，得到伪标注样本集合其中，

为伪标注。

具体来说，上述步骤S5：对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型，具体包括如下细分步骤：

a1)、令p＝1，p，q＝1，2，...，m；

a2)、针对每个q＝p+1，p+1，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；其中，p，q，k＝1，2，...，m，均为候选亲和矩阵的下标表示；

a3)、令p←p+1，如果p＜m，则跳转执行所述步骤a2)，否则执行步骤a4)；

a4)、令φ←φ+1，如果φ＜Φ，则重新构造所述集成亲和矩阵，否则执行步骤a5)，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

a5)、输出所述决策树模型。

如图2所示，本实施例公开了一种具有可解释性的直推学习系统，包括样本处理模块10、构造模块20、伪标注模块30、训练模块40、更新优化模块50和分类模块60；

样本处理模块10用于获取数据的样本集合χ＝{x₁，x₂，…，x_i，…，x_n}，样本

表示实数集，d为特征维度，i＝1，2，...，n，n表示样本总数，从样本集合中选取l个样本进行标注，得到有标注样本集合

和无标注样本集合

标注y_a∈Y＝{1，2，...，c}，c为类别总数。

构造模块20用于基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

伪标注模块30用于利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

训练模块40用于利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

更新优化模块50用于对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

分类模块60用于利用决策树模型对实时采集的数据进行标记分类。

具体来说，所述构造模块20包括候选亲和矩阵集合构造单元、集成亲和矩阵构造单元和亲和矩阵集成系数构造单元；

候选亲和矩阵集合构造单元用于基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合m为候选亲和矩阵的数量。其中，候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，

为距离x_i最近的k个样本的集合，

为距离x_i最近的k个样本的集合。

集成亲和矩阵构造单元用于对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A。其中，所述集成亲和矩阵A为：

矩阵集成系数构造单元用于构造所述亲和矩阵集成系数

且

具体来说，所述更新优化模块50第一设置单元、循环执行单元、第二设置单元、第一判断单元、第三设置单元、第二判断单元和输出单元；

第一设置单元用于令p＝1，p，q＝1，2，...，m；

循环执行单元针对每个q＝p+1，p+1，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，

L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；

第二设置单元用于令令p←p+1；

第一判断单元用于判断是否满足p＜m；

循环执行单元用于在第一判断单元输出结果为是时，循环执行所述指令；

第三设置单元用于在第一判断单元输出结果为否时，令φ←φ+1；

第二判断单元用于判断是否满足φ＜Φ，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

所述构造模块用于在第二判断单元输出结果为是时，重新构造所述集成亲和矩阵；

输出单元用于在第二判断单元输出结果为否时，输出所述决策树模型。

需要说明的是，本实施例提出的具有可解释性的直推学习方法可应用于对岩性预测，具体为收集一口井的测井曲线，每个深度上的不同测井值组成特征向量，进而构建样本集合，标注即为岩性；然后构建集成亲和矩阵，并在亲和矩阵逼近最优，输出决策树模型，对实时采集的测井曲线进行岩性预测。

同样地，也可应用于基于振动曲线的地面类型预测，具体为收集机器人在不同地面类型上行驶产生的振动曲线，将曲线以一定长度截断得到一系列振动帧，对每个振动帧进行傅里叶变化即可得到每个振动帧对应的特征向量(即样本)，进而构建样本集合，标注即为地面类型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有可解释性的直推学习方法，其特征在于，包括：

获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；

基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

利用决策树模型对实时采集的数据进行标记分类。

2.如权利要求1所述的具有可解释性的直推学习方法，其特征在于，所述获取数据的样本集合，包括：

采集数据；

对数据进行特征提取，得到特征向量，将特征向量作为样本构建所述样本集合。

3.如权利要求1所述的具有可解释性的直推学习方法，其特征在于，所述基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数，包括：

基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合

m为候选亲和矩阵的数量；

对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A；

构造所述亲和矩阵集成系数{μ_k，k＝1，2，...，m}，且

4.如权利要求3所述的具有可解释性的直推学习方法，其特征在于，所述候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，

为距离x_j最近的k个样本的集合，

为距离x_i最近的k个样本的集合，通过设定不同的k与t的值，确定候选亲和矩阵集合中的候选亲和矩阵A_k。

5.如权利要求3所述的具有可解释性的直推学习方法，其特征在于，所述集成亲和矩阵A为：

6.如权利要求4所述的具有可解释性的直推学习方法，其特征在于，所述对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型，包括：

a1)、令p＝1，p，q＝1，2，...，m；

a2)、针对每个q＝p+1，p+1，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，

L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；

a3)、令p←p+1，如果p＜m，则跳转执行所述步骤a2)，否则执行步骤a4)；

a4)、令φ←φ+1，如果φ＜Φ，则重新构造所述集成亲和矩阵，否则执行步骤a5)，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

a5)、输出所述决策树模型。

7.一种具有可解释性的直推学习系统，其特征在于，包括样本处理模块、构造模块、伪标注模块、训练模块、更新优化模块和分类模块；

样本处理模块用于获取数据的样本集合，将样本集合划分为有标注样本集合和无标注样本集合；

构造模块用于基于数据同质性假设对样本集合进行处理，构造集成亲和矩阵和亲和矩阵集成系数；

伪标注模块用于利用集成亲和矩阵对无标注集合中的数据进行伪标注，得到伪标注样本集合；

训练模块用于利用有标注样本集合和伪标注样本集合，对决策树模型f进行训练；

更新优化模块用于对亲和矩阵集成系数进行更新，直至亲和矩阵逼近最优，输出决策树模型；

分类模块用于利用决策树模型对实时采集的数据进行标记分类。

8.如权利要求7所述的具有可解释性的直推学习系统，其特征在于，所述构造模块包括候选亲和矩阵集合构造单元、集成亲和矩阵构造单元和亲和矩阵集成系数构造单元；

候选亲和矩阵集合构造单元用于基于数据同质性假设对样本集合进行处理，构造候选亲和矩阵集合

m为候选亲和矩阵的数量；

集成亲和矩阵构造单元用于对候选亲和矩阵集合中的候选亲和矩阵进行线性加权，得到所述集成亲和矩阵A；

矩阵集成系数构造单元用于构造所述亲和矩阵集成系数{μ_k，k＝1，2，...，m}，且

9.如权利要求8所述的具有可解释性的直推学习系统，其特征在于，所述候选亲和矩阵A_k中的第(i，j)个元素ω_i，j的计算公式为：

其中，i，j＝1，2，...，n，t＞0为高斯核宽度，

为距离x_j最近的k个样本的集合，

为距离x_i最近的k个样本的集合；

所述集成亲和矩阵A为：

10.如权利要求9所述的具有可解释性的直推学习系统，其特征在于，所述更新优化模块第一设置单元、循环执行单元、第二设置单元、第一判断单元、第三设置单元、第二判断单元和输出单元；

第一设置单元用于令p＝1，p，q＝1，2，...，m；

循环执行单元针对每个q＝p+1，p+1，...，m，循环依次执行如下指令：

其中，γ＞0为平衡系数，

L_p为候选亲和矩阵A_p的图拉普拉斯矩阵，δ＝[f(x₁)，f(x₂)，...，f(x_n)]′，上标′表示矩阵转置，n表示所述样本集合中的样本总数；

第二设置单元用于令令p←p+1；

第一判断单元用于判断是否满足p＜m；

循环执行单元用于在第一判断单元输出结果为是时，循环执行所述指令；

第三设置单元用于在第一判断单元输出结果为否时，令φ←φ+1；

第二判断单元用于判断是否满足φ＜Φ，其中φ为当前优化迭代次数，Φ为设定的最大迭代次数；

所述构造模块用于在第二判断单元输出结果为是时，重新构造所述集成亲和矩阵；

输出单元用于在第二判断单元输出结果为否时，输出所述决策树模型。

Images