CN106056134A - 一种基于Spark的半监督随机森林分类方法 - Google Patents

Abstract

本发明公开了一种基于Spark的半监督随机森林分类方法，利用随机森林算法在训练数据集合上采用有放回抽样，列属性上也采用有放回抽样，因此在行方向和列方向都加入了随机性，既保证了决策树的多样性，又不需要进行树剪枝，而且采用投票法决定类别，准确率大大提高。因此，本发明提供的随机森林算法在处理高维数据样本时不需要进行降维。不管是对于稀疏向量和稠密向量随机森林算法都具有很好的效果。经过多组实验验证，本发明提供的半监督学习算法降低了分类模型错误率均值；提升了计算性能。

Description

一种基于Spark的半监督随机森林分类方法

技术领域

本发明涉及机器学习分类算法技术领域，特别是一种spark通用并行框架、Tri-Training半监督分类和分布式随机森林分类算法。

背景技术

分类问题是机器学习领域的范畴，是一种常用的数据分析技术，主要用来确定某目标对象属于哪个预定义的目标类。在许多领域具有广泛的应用，包括数据挖掘、统计学习、神经网络等。机器学习领域，常用的研究方法分为两种，一类是监督学习，另一类是无监督学习。传统的分类模型需要在带标签样本集合的基础上训练得到，属于监督学习。实际应用中，对于数据的标签化工作受到各方面因素的限制，有时甚至需要付出昂贵的代价。而相对于带标签样本，无标签样本数据的获取工作则相对简单，利用无标签样本进行学习的过程，成为无监督学习。而半监督学习(Semi-supervised Learning)则是介于监督学习和无监督学习之间的方法。它是在实际应用的驱动下而产生的一种学习方法，主要研究训练数据中的部分信息缺失的背景下，如何获得具有理想性能和推广能力的学习模型。而半监督分类(Semi-supervised Classification)方法中，从监督学习的角度为出发点，考虑在带标签样本不足的情况下，如何利用无标签样本的信息辅助分类模型的训练，从而提高模型的泛化能力。

目前，半监督学习在不同领域具有广泛应用，从事机器学习领域的学者提出了许多半监督学习方法，主要分为：基于生成式模型、基于直推式学习、基于图模型、协同训练等。对于产生式模型，主要是在模型的优化过程中进行参数的估计，由于一部分参数的估计不需要样本标签信息，因此在参数估计过程中引入无标签数据。基于直推式学习中，研究较多的是直推式支持向量机(Transductive Support Vector Machines)，它的核心思想是优化问题，通常只考虑某个特定的数据集，试图最小化分类模型在该数据集上的误差率。基于图模型的方法，是将样本集合看作一个数据邻接图，利用无数据标签信息的需要对该图进行分割。典型方法包括图的最小分割(Graph MinCut)，离散马尔可夫随机过程等。协同训练方法是一般化的学习框架，它要求训练数据集包含两个独立且冗余的数据视图，并能够独立训练分类器，并给对方提供本身预测的置信度高的样本进行分类器的重新训练。其中基于协同训练的有Self-Training、Co-Training、Tri-Training、Co-Forest等。然而目前的半监督分类算法都只能以单机模式处理小批量的数据，无法处理大量数据，也无法直接拿到分布式平台(如spark,hadoop)上实现并运行。需要对算法进行改变，以适应大规模分布式集群计算。

发明内容

有鉴于此，本发明的目的是在面对少量有标签数据和大量无标签数据时，利用分布式内存计算平台spark实现一个基于Tri-Training的半监督随机森林算法。以解决人工标记样本成本过高、样本数据过大单机无法快速执行、训练样本过少无法得到具有较高分类准确率的分类模型和无法利用大量廉价无标签数据等问题。

本发明的目的是通过以下技术方案来实现的：

本发明提供的一种基于Spark的半监督随机森林分类方法，包括以下步骤：

S1：将标签训练样本切分为第一二标签训练样本并用第一训练样本训练第一随机森林模型第二随机森林模型和第三随机森林模型

S2：针对第一随机森林根据第二随机森林和第三随机森林对第二标签训练样本进行分类，如果第二随机森林和第三随机森林的分类结果相同且都不等于标签值，则错误数加一；计算标记错误率

S3：根据第二随机森林和第三随机森林对无标签数据集U进行分类，如果分类结果相同则进行类别标注，如果不同则删除，得到带标签数据集

S4：判断错误率是否满足条件：如果是，则进行步骤S6；如果否，则将第一随机森林h_i改为第一随机森林的上一轮的值；

S5：设置带标签数据集的初始值：

S6：判断带标签数据集是否满足公式：如果是，则进行步骤S8；如果否，则对第一随机森林h_i不做更新；

S7：判断是否满足公式：如果是，则进行步骤S9；如果不满足但满足则进行步骤S10，如果都不满足则第一随机森林h_i不做更新；

S8：根据公式计算并重新训练第一随机森林h_i；

S9：从带标签数据集中无放回抽样，抽出数量满足公式抽出的样本子集作为然后同步骤S9重新训练第一随机森林h_i；

S10：当第一随机森林模型第二随机森林模型和第三随机森林模型都不进行更新的时候结束半监督学习分类模型训练，否则回到步骤S2继续重复训练；

S11：利用第一随机森林模型第二随机森林模型和第三随机森林模型对测试样本进行分类。

进一步，所述步骤S1中按照以下方式将标签训练样本切分为第一标签训练样本和第二标签训练样本：

所述第一标签训练样本为标签训练样本的70-90％，第二标签训练样本为标签训练样本的30-10％，并用第一标签训练样本反复训练第一随机森林模型第二随机森林模型和第三随机森林模型

进一步，所述步骤S5中按照以下公式来计算带标签数据集的初始值：

其中，表示初始化的新标记无标签数据集，为防止第一次迭代计算时如果大小为0无法满足条件进而无法进行后续计算，利用上述公式初始化大小；因为每一轮计算过程中都要判断需要上一轮的和而第0次迭代不存在所以给予人工初始化满足判断条件。

表示；第t轮迭代，利用第t-1轮训练出的随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成然后用训练新的随机森林

表示和对的标记错误率；

表示随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成数据集 为和对的标记错误率。

进一步，所述标记错误率的取值范围为

由于采用了上述技术方案，本发明具有如下的优点：

本发明提供的随机森林算法在训练数据集合上采用有放回抽样，列属性上也采用有放回抽样，因此在行方向和列方向都加入了随机性，既保证了决策树的多样性，又不需要进行树剪枝，而且采用投票法决定类别，准确率大大提高。因此，本发明提供的随机森林算法在处理高维数据样本时不需要进行降维。不管是对于稀疏向量和稠密向量随机森林算法都具有很好的效果。经过多组实验验证，本发明提供的半监督学习算法降低了分类模型错误率均值；提升了计算性能。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明的基于Spark的半监督随机森林分类算法流程示意图。

图2为本发明的随机森林训练流程示意图。

图3为本发明的分类标签流程示意图。

图4为本发明的随机森林更新迭代流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

本发明提供的基于Spark的半监督随机森林分类方法具体原理如下所述：

根据Angluin和Laird的论文噪音学习，如果训练集大小为m，噪音为η，错误率为ε，c是个常量。则满足关系：

$m=\frac{c}{{\mathrm{\ϵ}}^2{(1-2\mathrm{\η})}^2}---\left(1\right)$

为了简化计算，有必要计算常量c与错误率平方的商。

$\mathrm{\μ}=\frac{c}{{\mathrm{\ϵ}}^2}=m{(1-2\mathrm{\η})}^2---\left(2\right)$

用U表示无标签数据集，L表示有标签数据集。h1，h2，h3表示三个随机森林模型。

对于h1在第t次tri-training训练循环中，先用h2，h3对U无标签数据集标记，选择标记相同的样本并标记，记为Lt，其标记错误率为然后用L∪Lt表示新训练集，新训练集大小为mt，也可以用|L∪L^t|表示。同理第t-1轮分别表示为Lt-1,L∪Lt-1,mt-1,|L∪L^t-1|。

用η表示原始有标签数据集L的噪音，用η^t表示|L∪L^t|的噪音。则针对h1的第t次训练。

${\mathrm{\η}}^t=\frac{\mathrm{\η}\left|L\right|+e_1^t\left|L^t\right|}{|L\∪L^t|}---\left(3\right)$

根据公式(2)计算μ^t：

${\mathrm{\μ}}^t=m^t{(1-2{\mathrm{\η}}^t)}^2=|L\∪L^t|{(1-2\frac{\mathrm{\η}\left|L\right|+e_1^t\left|L^t\right|}{|L\∪L^t|})}^2---\left(4\right)$

相同的μ^t-1可以表示成：

${\mathrm{\μ}}^{t-1}=m^{t-1}{(1-2{\mathrm{\η}}^{-1t})}^2=|L\∪L^{t-1}|{(1-2\frac{\mathrm{\η}\left|L\right|+e_1^{t-1}\left|L^{t-1}\right|}{|L\∪L^{t-1}|})}^2---\left(5\right)$

因为公式(2)c为常量，所以如果满足μ^t＞μ^t-1则ε^t＜ε^t-1，错误率下降。所以得到公式：

$|L\∪L^t|{(1-2\frac{\mathrm{\η}\left|L\right|+e_1^t\left|L^t\right|}{|L\∪L^t|})}^2>|L\∪L^{t-1}|{(1-2\frac{\mathrm{\η}\left|L\right|+e_1^{t-1}\left|L^{t-1}\right|}{|L\∪L^{t-1}|})}^2---\left(6\right)$

因为η比较小，而弱分类器错误率至少低于0.5，即所以要满足公式(6)需和|L^t|＞|L^t-1|。因为需要每次训练都比上一次训练效果好，新加入的样本标记错误率应小于所以

$0<\frac{e_1^t}{e_1^{t-1}}<\frac{\left|L^{t-1}\right|}{\left|L^t\right|}<1---\left(7\right)$

可能出现|L^t|特别大，大出|L^t-1|很多，而也小于但出现所以当|L^t|过大是需要对h2，h3新标记的样本进行抽样得到L^t，大小设为s。

公式(8)的前提条件是L^t-1满足公式(9)，只有满足公式(9)的情况下，L^t在抽样之后的大小仍然大于L^t-1。

$\left|L^{t-1}\right|>\frac{e_1^t}{e_1^{t-1}-e_1^t}---\left(9\right)$

上述是理论依据。其中有一个假设。h2，h3对无标签样本U标记，并选择标记相同的样本，是此标记错误率，但此标记错误率是无法评估的。不过有标签样本和无标签样本是独立同分布的。可以用h2，h3对L有标签样本中的部分样本分类，并计算分类错误率，来模拟此处选择有标签样本L的子集的方法有两种，一种是选择h2，h3上次构建时抽样没有选择到的部分L样本。这种细微化的操作在分布式环境下很难做到或者空间时间消耗过大。另外一种是，在第一次训练之前就取一小部分带标签数据(如L的20％)，单独用于计算不用来做分类模型训练。

本实施例提供的基于Spark的半监督随机森林算法的具体步骤如下：

(1)将有标签训练样本切分为两份一份80％，一份20％，并用80％的训练样本反复训练三个随机森林模型，这80％的训练样本即为理论支撑中的L。每次训练是无需对有标签样本进行有放回抽样，因为随机森林的训练已经在行抽样和列属性抽样上加入了随机性。随机森林的训练是基于分布式环境下的改进优化算法。主要实现了三个优化策略：切分点抽样统计、特征装箱、逐层训练。本实施例提供的spark的随机森林算法实现了这三个优化策略，spark随机森林算法为本半监督算法中的一部分，即spark开源的随机森林算法。

(2)使用另一份20％的有标签训练样本。针对每一个随机森林用另外两个随机森林对带标签样本点point分类，如果的分类结果相同且都不等于真实标签值，则错误数加一。计算标记错误率

(3)使用无标签数据集U。针对每个随机森林用另外两个随机森林和对无标签数据点分类，如果分类结果相同则进行类别标注，不同则筛选掉，得到带标签的数据集

本实施例的带标签的数据集采用如下方法：若和对无标签数据点p的分类都为类c，则将带标签数据<c，p>添加到带标签数据集

(5)针对随机森林如果则进行第(6)步，否则，随机森林h_i改为上一轮的随机森林

(6)针对随机森林如果的大小为0(也就是初始化的时候把都设为0，把都设为0.5)，则设其中，为了避免第一轮迭代计算时数值太大，无法满足即(8)中公式需要计算带标签数据集的初始值；

其中，表示初始化的新标记无标签数据集，为防止第一次迭代计算时如果大小为0无法满足条件进而无法进行后续计算，利用上述公式初始化大小；因为每一轮计算过程中都要判断需要上一轮的和而第0次迭代不存在所以给予人工初始化满足判断条件。

表示；第t轮迭代，利用第t-1轮训练出的随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成然后用训练新的随机森林

表示和对的标记错误率；

表示随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成数据集 为和对的标记错误率。

(7)针对随机森林如果则进行第(8)步，否则此次随机森林h_i不做更新。

(8)针对随机森林如果则进行第(9)步，如果不满足但满足则进行第(10)步，如果都不满足则此次随机森林h_i不做更新。

(9)利用重新训练随机森林h_i。

(10)从数据集中无放回抽样，抽出数量满足公式(8)，抽出的样本子集作为然后同第(9)步重新训练随机森林h_i。

(11)当一轮迭代三个随机森林都不进行更新的时候结束半监督学习分类模型训练。否则回到第(2)步继续训练。

分类预测：

使用训练好的三个随机森林模型对测试样本进行分类投票，票数高的分类类标作为分类结果。

本实施例提供的算法可抽象为无限循环的三个大步骤：选无标签数据、三个森林投票分类、选得票高的当做有标签的数据加上以前的训练数据再次训练更新hi。

是本轮选数据时选出的高得票的。由于在选的时候为了限制训练集的大小，如果过大就不满足了，后面用过大的更新hi就得不到更优的模型，所以本实施例采用无放回的抽取。

数据选好之后随机森林hi是用训练集重新训练更新。使用标准的随机森林算法，随机森林是由多棵决策树构成，每棵决策树在上有放回抽样选取数据点作为训练集(每个决策树的训练集不一样)，属于行随机性。每个数据点可能有几个到几十个的属性。随机有放回抽取一部分属性做决策树训练(每个决策树有放回抽取的属性集不一样)，属于列随机性；因此行随机性和列随机性是随机森林算法的特性，两个随机性保证了决策树的多样，进而保证了这个森林的多样。

下面结合模型训练流程更详细地说明本发明提供的基于spark的半监督随机森林算法，所述模型训练流程图分三个大步，如图2-4所示，其中图中每个方框代表一个sparkRDD,具体流程图如下：

图2中，L表示有标签的数据集，对L进行切分，LA是L的80％，LB是L的20％。利用LA和spark Mllib机器学习库中的随机森林算法，重复三次训练，训练出随机森林RandomForestA(RFA)、RandomForestB(RFB)、RandomForest(RFC)；

图3中，方框都表示spark RDD，point表示数据点，labelA、labelB、labelC分别代表随机森林RFA、RFB、RFC对point分类预测得到的分类标签。Label代表有标签数据集LB中数据点的真实分类标签。首先利用RFA、RFB、RFC分别对所有LB中的point分类得到labelA,labelB,labelC。之后利用spark RDD的操作，RDD转换过滤得到三个分类错误率。

图4中，U表示无标签数据集，先利用RFA、RFB、RFC分别对所有U中的point分类得到labelA,labelB,labelC。然后经过RDD转换过滤分别得到高置信度的数据集，最后根据前述步骤中的条件更新随机森林RFA、RFB、RFC，如果无随机森林得到更新则训练结束，如果有随机森林进行了更新则回到图3所述步骤利用新的随机森林继续迭代计算。

模型构建完成之后分类预测部分使用三个随机森林模型对待分类样本进行投票分类。

本实施例提供的算法主要体现在以下五个方面：

将tri-training半监督分类算法与spark随机森林算法结合实现半监督分类。

使用分布式环境下基于RDD内存计算的方式实现tri-training半监督学习，并在算法步骤有做了一些改进。分布式：(2)(3)(9)(10)多线程：(5)(6)(7)(8)(8)(10)并行计算：(2)(3)(9)(10)。

分布式环境下基于spark的RDD并行化处理。分别表现为：基于多线程并行初始化三个随机森林(线程内部基于RDD分布式计算)；基于RDD并行计算基于RDD并行计算基于多线程(线程内部根据理论分析条件和RDD操作)并行更新随机森林模型。

当为0时，初始化为

当时，说明最新的训练模型相比前一次的训练模型没有减少反而增加了误差，所以h_i保存为上一轮的训练模型

本实施例采用MINIST数据库。此数据库是Google实验室的Corinna Cortes和纽约大学柯郎研究所的YannLeCun建立的一个手写数字数据库。含有8100000条带标签数据。类别有10类，特征有784个。数据采用libsvm数据格式。

实验一：使用1600条有标签数据作为训练集LA，400条有标签数据作为训练集LB，98000条无标签数据作为U，100000条带标签数据作为测试集。进行本发明算法的半监督分类学习和训练。并与基于spark的随机森林算法实验进行对比。经过多组实验验证，本发明的半监督学习算法得到的分类模型错误率均值为19.168％。而基于spark的监督随机森林模型的分类错误率为22.86％。本次实验说明本算法性能提升超过百分之三。

实验二：使用1600条有标签数据作为训练集LA，400条有标签数据作为训练集LB，298000条无标签数据作为U，700000条带标签数据作为测试集。经过多次实验本发明的半监督分类模型错误率均值为19.276％。而基于spark的监督随机森林模型错误率为25.24％。性能提升在6％左右。本次实验中，通过不断增加无标签训练集U的大小，观察本发明半监督分类模型的分类错误率变化。实验结果如下表1所示：

表1

实验结果证明了随着训练样本的增加，训练模型分类错误率不断下降。表明本发明的分布式环境下的半监督学习算法能起到预想的效果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于Spark的半监督随机森林分类方法，其特征在于：包括以下步骤：

S1：将标签训练样本切分为第一二标签训练样本并用第一训练样本训练第一随机森林模型第二随机森林模型和第三随机森林模型

S2：针对第一随机森林根据第二随机森林和第三随机森林对第二标签训练样本进行分类，如果第二随机森林和第三随机森林的分类结果相同且都不等于标签值，则错误数加一；计算标记错误率

S3：根据第二随机森林和第三随机森林对无标签数据集U进行分类，如果分类结果相同则进行类别标注，如果不同则删除，得到带标签数据集

S4：判断错误率是否满足条件：如果是，则进行步骤S6；如果否，则将第一随机森林h_i改为第一随机森林的上一轮的值；

S5：设置带标签数据集的初始值：

S6：判断带标签数据集是否满足公式：如果是，则进行步骤S8；如果否，则对第一随机森林h_i不做更新；

S7：判断是否满足公式：如果是，则进行步骤S9；如果不满足但满足则进行步骤S10，如果都不满足则第一随机森林h_i不做更新；

S8：根据公式计算并重新训练第一随机森林h_i；

S9：从带标签数据集中无放回抽样，抽出数量满足公式抽出的样本子集作为然后同步骤S9重新训练第一随机森林h_i；

S10：当第一随机森林模型第二随机森林模型和第三随机森林模型都不进行更新的时候结束半监督学习分类模型训练，否则回到步骤S2继续重复训练；

S11：利用第一随机森林模型第二随机森林模型和第三随机森林模型对测试样本进行分类。

2.如权利要求1所述的基于Spark的半监督随机森林分类方法，其特征在于：所述步骤S1中按照以下方式将标签训练样本切分为第一标签训练样本和第二标签训练样本：

所述第一标签训练样本为标签训练样本的70-90％，第二标签训练样本为标签训练样本的30-10％，并用第一标签训练样本反复训练第一随机森林模型第二随机森林模型和第三随机森林模型

3.如权利要求1所述的基于Spark的半监督随机森林分类方法，其特征在于：所述步骤S5中按照以下公式来计算带标签数据集的初始值：

其中，表示初始化的新标记无标签数据集；

表示；第t轮迭代，利用第t-1轮训练出的随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成然后用训练新的随机森林

表示和对的标记错误率；

表示随机森林和(m≠i≠n)从无标签数据集U中选择高置信度的数据构成数据集为和对的标记错误率。

4.如权利要求1所述的基于Spark的半监督随机森林分类方法，其特征在于：所述标记错误率的取值范围为