CN107679583A - 基于大数据获取故障解决方案的方法 - Google Patents

Abstract

本发明涉及大数据应用技术领域，公开了一种基于大数据获取故障解决方案的方法，解决当设备出现故障时，用户无法获取推荐解决方案的问题。本发明包括：收集设备历史上的故障模型以及对应的故障解决方案，并将收集到的数据作为训练数据加载到大数据平台；针对当前设备，衡量决策树算法的效率以及随机森林算法效率，对决策树和随机森林的算法以及参数进行调优；对训练数据进行多次有放回的抽样，产生所需要的多个样本，对各个样本进行训练生成对应的决策树；利用决策森林对设备当前故障的解决方案进行投票，获得投票结果，并将本次故障模型以及对应的故障解决方案上传至大数据平台。本发明适用于家电设备的故障解决。

Description

基于大数据获取故障解决方案的方法

技术领域

本发明涉及大数据应用技术领域，特别涉及基于大数据获取故障解决方案的方法。

背景技术

现在我们使用的电子产品、电器等都越来越智能，使我们的生活更加方便快捷。我们的生活中渐渐习惯了这些电器产品带来的方便快捷，但是在这些电器产品出现故障的时候，我们作为使用者却无能为力，故障的出现却给我们带来了不便，并且从出现故障到修好常常需要经过一段时间的等待。故障上报的处理时间，维修人员的判断时间，以及各种排队时间等等，都使得维修工作无法在很短的时间内处理完成。而现在所有的事情都是高速的时代，做什么事情效率是很重要的一项指标。所以售后的服务能否在更短的时间内解决问题，在评价产品好坏中占有较大的比重。

所以为了使用户有更加好的使用体验，在出现故障时，根据情况推荐故障解决方案。推荐的解决方案可以帮助用户自行解决一些容易解决的问题，同时也能够为后面维修人员的判断引导方向。

经常会出现这样的情况，出现故障时，是在维修人员不方便的时间，用户只能等待，但是如果能够推荐解决方案给用户，用户就能够在出现故障的第一时间采取措施，通过预判知道是什么地方出现了问题，提高效率。不仅能够减少等待的时间，还能在某些特殊情况下，保护电器的后续使用。

随机森林由多个决策树构成。决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照不同的响应变量一分为二。利用不纯度可以确定节点(最优条件)，对于分类问题，通常采用基尼不纯度或者信息增益，对于回归问题，通常采用的是方差或者最小二乘拟合。当训练决策树的时候，可以计算出每个特征减少了多少树的不纯度。对于一个决策森林来说，可以算出每个特征平均减少了多少不纯度，并把它平均减少的不纯度作为特征选择的值。

使用随机森林来代替决策树算法，在决策树的基础上，随机森林会有更好的表现，尤其是放置过拟合。本发明中利用随机森林算法来作为推荐算法，随机森林能够处理很多很高维度的数据，并且前期数据较简单时，也不会因此影响推荐结果。

发明内容

本发明要解决的技术问题是：提供一种基于大数据获取故障解决方案的方法，解决当设备出现故障时，用户无法获取推荐解决方案的问题。

为解决上述问题，本发明采用的技术方案是：基于大数据获取故障解决方案的方法，包括如下步骤

步骤一：收集设备历史上的故障模型以及对应的故障解决方案，并将收集到的数据作为训练数据加载到大数据平台；所述故障模型包括：引起故障的原因、出现故障的现象、故障的判断方向；

步骤二：针对当前设备，衡量决策树的算法的效率以及随机森林算法效率，对决策树和随机森林的算法以及参数进行调优；所述随机森林模型的参数包括：随机森林允许单个决策树使用特征的最大数量、建立子树的数量、最小样本叶片大小；

步骤三：对训练数据进行多次有放回的抽样，产生所需要的多个样本，对各个样本进行训练生成对应的决策树，所有生成的决策树构成决策森林；

步骤四：利用袋外数据对决策森林进行验证，验证合格之后，利用决策森林对本次故障模型的解决方案进行投票，根据投票结果得到本次故障模型对应的故障解决方案，并将本次故障模型以及对应的故障解决方案上传至大数据平台。

进一步的，本发明针对于大数据平台采用分布式结构储存数据的情形，将数据集在加载到大数据平台之后，分区抽样后分成多个训练子集，创建多个训练任务并行执行；在多个训练任务中，采用逐层构建树节点，遍历所有数据的次数为最大层数，遍历时计算每个节点所有切分点统计参数，遍历完后根据节点特征划分。

本发明的有益效果是：本发明使用随机森林算法来作为推荐算法。随机森林使用了CART决策树作为弱学习器，并且在使用决策树的基础上，随机森林对决策树的建立做了改进，对于普通的决策树，我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分，但是随机森林通过随机选择节点上的一部分样本特征，这个数字小于n，假设为nsub，然后在这些随机选择的nsub个样本特征中，选择一个最优的特征来做决策树的左右子树划分。这样进一步增强了模型的泛化能力。

随机森林还有一个最大的优势就是训练可以高度并行化，对于本发明中涉及到的大数据的大样本训练速度有优势。由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。在初期数据特征不够丰富的时候，使用随机森林算法对于部分特征缺失时，也不会影响最后结果的准确性。

具体实施方式

随机森林是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类，然后看看哪一类被选择最多，就预测这个样本为那一类。

随机森林中的每一棵分分类树为二叉树，其生成遵循自顶向下的递归分裂原则，即从根节点开始一次对训练集进行划分；在二叉树中，根节点包含全部训练数据，按照节点纯度最小原则，分裂为左节点和右节点，它们分别包含训练数据的一个子集，按照同样的规则节点继续分裂，直到满足分支停止规则而停止生长。

在训练集输入以后，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树。构建决策树模型通常需要先进行特征选择，选择特征顺序的不同将会产生不同决策树，选择好的特征能使得各个子集下标签更纯净。本发明中使用信息熵作为决策树的分类标准。

信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度，一个系统越有序，信息熵就越低，反之就越高。如果一个随机变量X的可能取值为X＝{x₁,x₂,x₃,….,x_n}，对应的概率为p(X＝x_i)，则随机变量X的信息熵为：

由于本发明涉及的变量具有多类别，因此选择ID3算法，ID3算法的核心思想就是以信息熵作为属性选择，选择分裂后信息增益最大的属性进行分裂。首先，设D为用类别对训练元祖进行的划分，则D的熵表示为：

其中p_i表示第i个类别在整个训练元祖中出现得概率，可以用属于此类别元素的数量除以训练元祖元素总数量作为估计。熵的实际意义表示是D中元祖的类标号所需要的平均信息量。

现在我们假设将训练元祖D按属性A进行划分，则A对D划分的期望信息为：

而信息增益即为两者的差值：

gain(A)＝info(D)-info_A(D)

ID3算法就是在每次需要分裂时，计算每个属性的增益率，然后选择增益率最大的属性进行分裂，最终得到整个决策树。

随机森林是一个树形分类器{h(x,βk),k＝1,…}的集合。其中元分类器h(x,βk)是用CART算法构建的没有剪枝的分类回归树；x是输入向量；βk是独立同分布的随机向量，决定了单棵树的生长过程；森林的输出采用简单多数投票法得到。

输入为样本集D＝{(x1,y1),(x2,y2),...(xm,ym)}，决策树迭代次数T。

输出为最终的强分类器f(x)

1)对于t＝1,2...,T:

a)对训练集进行第t次随机采样，共采集m次，得到包含m个样本的采样集Dm

b)用采样集Dm训练第m个决策树模型Gm(x)，在训练决策树模型的节点的时候，在节点上所有的样本特征中选择一部分样本特征，在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分

2)分类算法预测，则m个决策树投出最多票数的类别或者类别之一为最终预测结果。

本发明的实施方式如下。

步骤一：建立故障解决方案的数据库

将设备历史上的故障模型以及故障解决方案等作为初始数据，收集在故障处理的过程中，出现故障的地方、导致的现象、出现故障的时间、故障的判断方向、处理故障的方案……含有有关的变量的数据集，并将收集到的数据作为训练数据保存到大数据平台。同时对现有的数据进行数据清洗，将原始数据中的干扰数据清洗掉，并填补部分缺失的数据。

步骤二：针对当前设备，衡量决策树的算法的效率以及随机森林算法效率，对决策树和随机森林的算法以及参数进行调优。参数调优主要涉及以下三个参数：

首先是随机森林允许单个决策树使用特征的最大数量，比如是简单选取所有特征，每棵树都没有限制，或是每棵子树可以利用总特征数的平方根数。对于单棵的决策树，增加使用特征的最大数量能够提高模型的性能，因为在每个节点上，我们有更多的选择可以考虑。但是这样会降低了单棵数的多样性，削弱了随机森林的优点。同时多的使用特征最大量又会降低算法的速度。

其次是建立子树的数量，因为我们最后的结果是利用最大投票数来提取的，所以较多的子树可以让模型有更好的性能，但是会使运行速度变慢。需要根据实际的情况来决定子树的数量。

最后是最小样本叶片大小，叶是决策树的最末端点。较小的叶子能使模型更容易捕捉训练数据中的噪声。所以也需要根据实际情况找到最优的最小样本叶片大小。

步骤三：训练数据

接下来就开始训练数据。对数据进行有放回的抽样方法，产生我们需要的a个样本，假设样本特征数目为b，则对a个样本选择b中的c个特征，用建立决策树的方式获得最佳分割点。这个过程重复d次，产生d棵决策树，d棵决策树共同构成了决策森林。

在单机执行随机森林的算法中，如果遇到连续变量，一般是通过对特征点排序，但是在分布式数据存储环境中，这就会带来大量的网络传输操作，会降低算法效率。所以在分布式数据环境中，采用在分区中进行采样后，生成多个分区统计数据，再得到最终切分点。

单机版本的决策数生成过程是通过递归调用(本质上是深度优先)的方式构造树，在构造树的同时，需要移动数据，将同一个子节点的数据移动到一起。此方法在分布式数据结构上无法有效的执行，而且也无法执行，因为数据太大，无法放在一起，所以在分布式环境下采用的策略是逐层构建树节点(本质上是广度优先)，这样遍历所有数据的次数等于所有树中的最大层数。每次遍历时，只需要计算每个节点所有切分点统计参数，遍历完后，根据节点的特征划分，决定是否切分，以及如何切分。

步骤四：决策森林的验证

在抽数的过程中有些数据没有被选择到，这些数据就被称为out of bag(OOB)examples，又叫袋外数据，本发明利用袋外数据对决策森林进行验证，验证在抽数过程中就能够自行验证，不需要单独划分数据，其中公式为：

E_oob(G)是整个随机森林的OOB error，中只含有对于x[n]是OOB样本的树。

步骤五，利用决策森林对本次故障模型的解决方案进行投票，据投票结果得到本次故障模型对应的故障解决方案，推荐给用户。每次的故障解决后的反馈和实际的解决方案在推荐后会记入数据库中，因此后期的数据会越来越多，形成推荐故障解决方案的大数据平台。大数据平台中因为数据量的原因通常采用分布式储存，故有一些执行方式的改变。

现借用电视的故障处理来说明具体实施步骤如下。

步骤一：

收集电视之前引起故障的原因，出现故障的现象，故障的判断方向以及处理故障的方案。整理现有的数据，将故障进行大致的分类，从中取出能够作为故障判断的点，作为之后决策树的特征。在对大数据进行训练、预测和投票之前，需要先将这些数据加载到使用的大数据平台上。并对数据进行补充以及清洗；

步骤二：

衡量决策树算法的效率以及随机森林算法效率，对决策树和随机森林的算法以及参数进行调优；

步骤三：

开始训练数据，根据上文中所述方法，产生决策树，构建决策森林。因为大数据平台采用分布式结构储存数据，故数据集在加载到大数据平台之后，分区抽样后分成多个训练子集，创建多个训练任务并行执行。在多个训练任务中，再采用逐层构建树节点，遍历所有数据的次数为最大层数，遍历时计算每个节点所有切分点统计参数，遍历完后根据节点特征划分。

步骤四：

根据特征集合和袋外数据，计算精准度，选取特征集。最后结合所有结果利用多数投票的方式来得到预测结果，即最终的解决故障推荐方案。

以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (5)

1.基于大数据获取故障解决方案的方法，其特征在于，包括以下步骤：

步骤一：收集设备历史上的故障模型以及对应的故障解决方案，并将收集到的数据作为训练数据加载到大数据平台；

步骤二：针对当前设备，衡量决策树算法的效率以及随机森林算法效率，对决策树和随机森林的算法以及参数进行调优；

步骤三：对训练数据进行多次有放回的抽样，产生所需要的多个样本，对各个样本进行训练生成对应的决策树，所有生成的决策树构成决策森林；

步骤四：利用决策森林对本次故障模型的解决方案进行投票，根据投票结果得到本次故障模型对应的故障解决方案，并将本次故障模型以及对应的故障解决方案上传至大数据平台。

2.如权利要求1所述的基于大数据获取故障解决方案的方法，其特征在于，步骤一中，所述故障模型包括：引起故障的原因、出现故障的现象、故障的判断方向。

3.如权利要求1所述的基于大数据获取故障解决方案的方法，其特征在于，步骤二中，随机森林模型的参数包括：随机森林允许单个决策树使用特征的最大数量、建立子树的数量、最小样本叶片大小。

4.如权利要求1所述的基于大数据获取故障解决方案的方法，其特征在于，在步骤三还包括：利用袋外数据对决策森林进行验证。

5.如权利要求1所述的基于大数据获取故障解决方案的方法，其特征在于，针对于大数据平台采用分布式结构储存数据的情形，将数据集在加载到大数据平台之后，分区抽样后分成多个训练子集，创建多个训练任务并行执行；在多个训练任务中，采用逐层构建树节点，遍历所有数据的次数为最大层数，遍历时计算每个节点所有切分点统计参数，遍历完后根据节点特征划分。