CN112182221B - 一种基于改进随机森林的知识检索优化方法 - Google Patents

Abstract

本发明属于知识库技术领域，具体涉及一种基于改进随机森林的知识检索优化方法。本发明降低了随机森林分类模型内部决策树的耦合性，适当减少了决策树数量，从而简化了分类模型的结构，能够一定程度上提高模型运行效率。本发明对所保留的决策树采用粒子群算法进行权值分布优化，能够较大增强随机森林模型的分类准确性。本发明采用改进的随机森林算法构造分类模型，对知识检索结果进行再分类，能够筛除与目标检索内容相关度较低的检索结果，并将结果根据内容相关度进行排序，大大提高了其检索精度，有利于增强用户体验，优化搜索性能指标。

Description

一种基于改进随机森林的知识检索优化方法

技术领域

本发明属于知识库技术领域，具体涉及一种基于改进随机森林的知识检索优化方法。

背景技术

随着大数据时代的到来,知识工程受到了广泛关注，如何从海量的数据中提取有用的知识,是大数据分析的关键。知识库技术提供了一种从海量文本和图像中抽取结构化知识的手段,从而具有广阔的应用前景。近年来，随着各行业信息化程度的加深，知识库在各领域取得了快速发展，典型的，如能够体现人工智能应用的知识问答系统、提升机构知识管理利用的机构知识库、促进科技信息开放共享的学科知识库等。如何从庞大的知识库中实现高效高质的知识检索已成为目前的一大研究热点。

当前在知识库知识获取方面，存在搜索内容良莠不齐、结果排名与目标搜索内容相关度并不完全一致等问题，搜索性能指标表现有待提高，用户需过滤大量无用信息，才能找到满足需求的内容。如何对知识库进行高效的知识检索，仍有很大的研究空间。

针对知识检索问题，国内外学者进行了大量的研究工作，研究重点主要为以决策树及神经网络为代表的机器学习算法在知识库领域的应用。随机森林算法以其高准确性、抗过拟合、抗噪声能力广泛应用于数据挖掘和数据分类领域。然而，随机森林算法中同时存在关键参数难以确定、决策树质量参差不齐影响模型整体效果等问题，限制了该算法在知识检索方面的应用。互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性，是对变量间相互依赖性的量度。粒子群优化算法(particle swarm optimization，PSO)是于1995年提出的一种模拟鸟群觅食的群智能优化算法，它的基本核心是利用群体中的个体对信息的共享从而使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得问题的最优解，有着较强的优化能力。互信息法可以帮助度量随机森林模型中，决策树间的相关性；粒子群算法是一种典型的优化算法，可实现对于决策树的权值分布情况的优化改进，二者结合，能够较大程度改善随机森林算法模型的结构，降低其耦合性、提高分类精度。

发明内容

本发明的目的在于提供可提高知识检索的质量及效率的一种基于改进随机森林的知识检索优化方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：对知识库知识获取结果文档进行特征提取和空间向量表示，作为训练集；采用Bootstrap抽样方法从训练集中有放回地抽取n个样本，依此重复k次，得到k个训练数据集；据此k个训练数据集训练决策树，生成k棵随机决策树，组成随机森林以此方式操作k个训练集，生成k棵随机决策树，组成随机森林R＝{h₁,h₂,....h_k}；

步骤2：利用互信息法找出随机森林模型中相关度较高的决策树构成决策树组，只保留组内评价精度最高的决策树，获得新的决策树组H[h₁,h₂,...,h_p]；

步骤2.1：计算随机森林R＝{h₁,h₂,....h_k}中决策树之间的相关性；

随机森林中任意两个决策树h_a,h_b的互信息I(h_a,h_b)为

I(h_a,h_b)＝H(y_a)+H(y_b)-H(y_a,y_b)

其中，y_a为决策树h_a的输出信息；y_b为决策树h_b的输出信息；H(y_a)为y_a的信息熵；H(y_b)为y_b的信息熵；p(a_x)为y_a的边缘概率分布；p(b_y)为y_b的边缘概率分布；p(a_x,b_y)为y_a与y_b的联合概率分布；

步骤2.2：将所有I(h_a,h_b)大于阈值ε的决策树划分为一个决策树组；

步骤2.3：根据精度I(h_a,y)获取每组中精度最高的决策树；以I(h_a,y)表示决策树h_a与实际标签y的互信息，即决策树h_a的输出评价结果与实际评价结果之间的相关性；I(h_a,y)的值越大，决策树h_a的精度越高；在每一组决策树组中，计算得出其中I(h_a,y)值最大的决策树，并将每组选出的决策树合成一个新的决策树组H[h₁,h₂,...,h_p]；

步骤3：采用粒子群算法确定所保留的决策树的权值分布，得到完整的随机森林分类模型；

步骤3.1：初始化粒子群，给每个粒子赋予随机的初始位置和速度；所有粒子均采用实数编码，最终决策森林中，每个决策树对最终结果的影响权值，记为ω₁至ω_p；设定最大迭代次数；

步骤3.2：计算适应值，根据适应度函数，计算每个粒子的适应值；以粒子中ω₁至ω_p值作为决策树权值，生成随机森林分类模型，以该模型输出评价结果与实际评价结果之间的相关性计算作为适应度函数，相关性值作为适应值；

步骤3.3：计算个体最佳适应值；对每一个粒子，将其当前位置的适应值与其历史最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新历史最佳位置；

步骤3.4：计算群体最佳适应值；对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新全局最佳位置；

步骤3.5：更新粒子位置和速度；

其中，

为第t次迭代时第j维中粒子i的速度；

是粒子i的位置；ω为惯性权重；c₁、c₂为学习因子；

粒子群第t次迭代时的个体极值点；

为粒子群的全局极值点；

为[0，1]区间内均匀分布的随机数；

V_max是常数；

步骤3.6：判断是否满足结束条件；若未满足结束条件，则返回步骤3.2，若满足结束条件则输出每个粒子的全局最佳位置，得到权值向量W[ω₁,ω₂,...,ω_p]；

步骤4：将知识检索结果文档输入到构建的随机森林分类模型中，获取每一文档的相关度分类，实现对知识检索结果的精度排序，并排除与搜索内容相关度极低的检索结果；

步骤4.1：将需要进行优化的所有检索结果文档，进行特征提取和空间向量表示，以获取文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]；

步骤4.2：将文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]中的文档向量输入到决策树组H[h₁,h₂,...,h_p]中，获取每个文档向量Y_m根据每棵决策树的评价得分S_m[s₁,s₂,...,s_p]；

步骤4.3：对每个文档向量Y_m的评价得分S_m[s₁,s₂,...,s_p]进行加权处理，得到每个文档向量Y_m的最终得分Z_m；

Z_m＝S_m*W^T＝[s₁,s₂,...,s_p]·[ω₁,ω₂,...,ω_p]^T

步骤4.4：将所有文档向量根据最终得分Z_m值进行重新排序，将得分高的文档位置提前、得分低的文档位置推后，达到优化检索结果、提高整体评价精度的目的。

本发明的有益效果在于：

本发明针对现阶段随机森林算法在知识检索领域应用存在的检索结果精度低的问题，提出了一种基于改进随机森林的知识检索优化方法。本发明以互信息法对传统随机森林算法所得分类模型进行结构优化，并结合粒子群算法优化决策树权值，最终获得了耦合性更低、分类精度更高的算法模型。使用改进后的分类模型对知识检索结果进行优化，可得到更符合检索目标的检索结果，提高评价精度。本发明降低了随机森林分类模型内部决策树的耦合性，适当减少了决策树数量，从而简化了分类模型的结构，能够一定程度上提高模型运行效率。本发明对所保留的决策树采用粒子群算法进行权值分布优化，能够较大增强随机森林模型的分类准确性。本发明采用改进的随机森林算法构造分类模型，对知识检索结果进行再分类，能够筛除与目标检索内容相关度较低的检索结果，并将结果根据内容相关度进行排序，大大提高了其检索精度，有利于增强用户体验，优化搜索性能指标。

附图说明

图1为本发明的总体方案图。

图2为本发明中基于互信息优化模型的结构图。

图3为本发明中决策树对文档的相关度判定的示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明属于知识库技术领域，针对现有技术存在的知识检索中的检索结果精度低的问题，提出了一种基于改进随机森林的知识检索优化方法。本发明以互信息法对传统随机森林算法所得分类模型进行结构优化，并结合粒子群算法优化决策树权值，最终获得了耦合性更低、分类精度更高的算法模型。使用改进后的分类模型对知识检索结果进行优化，可得到更符合检索目标的检索结果，提高评价精度。

实施例1：

本发明针对现阶段随机森林算法在知识检索领域应用存在的问题，提出一种基于改进随机森林的知识检索优化方法。本发明采用互信息对随机森林分类模型进行结构优化，在此基础上加入粒子群算法对模型迭代优化调整决策树权值，以提高整体分类效果。本发明用于知识检索，可提高知识检索的质量及效率。本发明对传统随机森林算法的改进主要如下：其一，采用互信息法，分析获取相关度较高的决策树组，仅保留其中最高分类精度的决策树，并采用加权投票方法，将决策树的分类精度转化为投票权值，由此产生的新随机森林中的决策树相关性大大减小；其二，在决策树筛选完成后，利用PSO算法优化投票阶段中的各决策树的对应投票权值，最终使得决策树的权值分布更为合理，以提升模型的分类性能。

本发明主要包括针对传统随机森林算法的改进方案，以及采用该算法优化知识检索结果两部分。总体方案图如图1。改进方案是在采用传统随机森林算法生成初始随机森林模型的基础上，利用互信息法找出模型中相关性较高的决策树组，从每个决策树组中挑选出与目标检索内容相关性最高的决策树，组成新的决策树组，作为新随机森林分类模型中的决策树；随后需采用粒子群优化算法确定所选出决策树的权值分布，根据各决策树的权值分布，构成最终的随机森林分类模型。将知识检索结果进行预处理后，可输入该分类模型中，对检索结果进行相关度分类，作为知识检索结果进行输出。主要采用如下步骤：

步骤1：将知识库进行知识获取所得的文档作为训练集，进行预处理，并据此生成初始随机森林模型。

步骤2：利用互信息法找出随机森林模型中相关度较高的决策树构成决策树组，只保留组内评价精度最高的决策树，以得到更低耦合、高精度的分类模型。

步骤3：采用粒子群算法确定所保留的决策树的权值分布，得到完整的分类模型。

步骤4：以该模型优化知识检索结果文档，获取评价精度更高的检索结果。

所述步骤1具体内容如下：

对知识库知识获取结果文档进行特征提取和空间向量表示，作为训练集；随后采用Bootstrap抽样方法从训练集中有放回地抽取n(n≤样本容量总数N)个样本，依此重复K次，得到K个训练数据集。再据此K个训练数据集训练决策树，构造随机森林分类模型。

本发明选取余弦相似度、杰卡德相似度、皮尔逊相似度和欧氏距离四个文档相关度指标作为特征，可对应{特征1，特征2，特征3，特征4}，并采用分类回归树算法(CART决策树生成算法)，即采用基尼系数作为节点分裂时所用到的判断指标，生成决策树。对决策树进行节点分裂时，从以上4个相关度指标中随机抽取m(1＜m≤4)个，再从该m个指标中迭代选择最优属性作为分裂特征进行分裂操作。以此方式操作K个训练集，生成K棵随机决策树，组成随机森林R＝{h₁,h₂,....h_k}。

所述步骤2具体内容如下：

信息论中的互信息主要用来评价不同变量间的相互依赖程度，即表明一个随机变量中可能含有其它随机变量的信息容量。如图2所示为基于互信息优化随机森林模型结构的基本步骤图。

步骤2中的主要实现步骤包括：

步骤2.1计算决策树R＝{h₁,h₂,....h_k}之间的相关性。两组随机变量X和Y的互信息可表示为：

其中P为随机变量X、Y的联合概率分布，p(x)和p(y)分别X与Y的边缘概率分布，H(X)是X的信息熵，其计算公式为：

其中p(x_i)代表事件x_i发生的概率；H(Y)代表Y的信息熵，H(X,Y)代表联合熵，其计算公式为：

X和Y之间完全独立时，二者互信息最小，结果为0；若互信息越大，则其相互依赖程度越大，即两个变量之间耦合度越大。对于随机森林中的决策树h_i(i＝1,2,...K)，以I(h_i,h_k)(i≠k)表示决策树h_i与h_k的互信息。本发明采用互信息来计算决策树之间的相关性，即重合程度及耦合度，计算方式如下：

I(h_i,h_k)＝I(y_i,y_k) (4)

其中y_i(i＝1,2...K)为第i棵决策树的输出信息。

步骤2.2将所有I(h_i,h_k)(i≠k)大于阈值ε的决策树划分为一个决策树组。步骤2.1中计算所得的I(h_i,h_k)的值越大，则两棵决策树的相关性越大。本发明需将森林中互信息值大于阈值ε的决策树合为一组。

步骤2.3根据精度I(h_i,y)获取每组中精度最高的决策树。

以I(h_i,y)表示决策树h_i与实际标签y的互信息，即决策树h_i的输出评价结果与实际评价结果之间的相关性。其计算方式为：

I(h_i,y)＝I(y_i,y) (5)

I(h_i,y)的值越大，决策树h_i的精度越高。在每一组决策树组中，计算得出其中I(h_i,y)值最大的决策树，并将每组选出的决策树合成一个新的决策树组H[h₁,h₂,...,h_p]。

所述步骤3具体内容如下：

假设在实现步骤2获取每组中精度最高的决策树后，共有n棵决策树，其对最终结果产生加权影响；则步骤3中采用PSO算法优化的对象即是：最终决策森林中，每个决策树对最终结果的影响权值，记为ω₁至ω_p。

所有粒子均采用实数编码，粒子中ω₁至ω_p含义与上文一致，即通过PSO算法优化随机森林中各决策树对最终结果影响的权值分布，以进一步提升算法对知识检索的性能优化，最终获得一个权值向量W[ω₁,ω₂,...,ω_p]。

则步骤3中的主要实现步骤包括：

步骤3.1初始化粒子群：给每个粒子赋予随机的初始位置和速度。

步骤3.2计算适应值：根据适应度函数，计算每个粒子的适应值。以粒子中ω₁至ω_p值作为决策树权值，生成随机森林分类模型，以该模型输出评价结果与实际评价结果之间的相关性计算作为适应度函数，相关性值作为适应值。

步骤3.3求个体最佳适应值：对每一个粒子，将其当前位置的适应值与其历史最佳位置(pbest)对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新历史最佳位置。

步骤3.4求群体最佳适应值：对每一个粒子，将其当前位置的适应值与其全局最佳位置(gbest)对应的适应值比较，如果当前位置的适应值更高，则用当前位置更新全局最佳位置。

步骤3.5更新粒子位置和速度：对种群中每个粒子在给定的搜索空间中，按照如下两个公式通过不断地调整自身的速度和位置进行寻优，直到满足收敛终止条件。

式中，

为第t次迭代时第j维中粒子i的速度；

是粒子i的位置；ω为惯性权重；c₁、c₂为学习因子；

粒子群第t次迭代时的个体极值点；

为粒子群的全局极值点；

为[0，1]区间内均匀分布的随机数；

V_max是常数。

步骤3.6判断算法是否结束：若未满足结束条件，则返回步骤3.2，若满足结束条件则算法结束，全局最佳位置(gbest)即全局最优解。

所述步骤4具体内容如下：

本发明通过以上步骤构建了随机森林分类模型，可将知识获取结果文档向量，输入该模型中，获取每一文档的相关度分类，以实现对知识检索结果的精度排序，以及排除与搜索内容相关度极低的检索结果。

则步骤4中的主要实现步骤包括：

步骤4.1将需要进行优化的所有检索结果文档，进行特征提取和空间向量表示，以获取文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]。

步骤4.2将文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]中的文档向量Y_i(1≤i≤n)，输入筛选所得的决策树组H[h₁,h₂,...,h_p]中，获取其根据每棵决策树的评价得分S_i[s₁,s₂,...,s_p]。

如图3所示，表明了选取三特征的决策树对于文档向量的评分情况。以图3决策树为例，将一个文档向量输入该决策树，则若最终相关度判定为4，该文档可获得4分(s_i＝4)；其次是相关度为3，可获得3分(s_i＝3)，依次递减。其他结构决策树情况相似。

步骤4.3对上一步文档向量的得分进行加权处理。设文档向量Y_i处理后的最终得分为Z_i，则其计算方式如下：

Z_i＝S_i*W^T＝[s₁,s₂,...,s_p]·[ω₁,ω₂,...,ω_p]^T (8)

步骤4.4将所有文档向量，根据计算所得的Z_i(1≤i≤n)值进行重新排序，即得分高的文档位置提前、得分低的文档位置推后，最终达到优化检索结果、提高整体评价精度的目的。

本发明降低了随机森林分类模型内部决策树的耦合性，适当减少了决策树数量，从而简化了分类模型的结构，能够一定程度上提高模型运行效率。本发明对所保留的决策树采用粒子群算法进行权值分布优化，能够较大增强随机森林模型的分类准确性。本发明采用改进的随机森林算法构造分类模型，对知识检索结果进行再分类，能够筛除与目标检索内容相关度较低的检索结果，并将结果根据内容相关度进行排序，大大提高了其检索精度，有利于增强用户体验，优化搜索性能指标。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于改进随机森林的知识检索优化方法，其特征在于，包括以下步骤：

步骤1：对知识库知识获取结果文档进行特征提取和空间向量表示，作为训练集；采用Bootstrap抽样方法从训练集中有放回地抽取n个样本，依此重复k次，得到k个训练数据集；据此k个训练数据集训练决策树，生成k棵随机决策树，组成随机森林以此方式操作k个训练集，生成k棵随机决策树，组成随机森林R＝{h₁,h₂,....h_k}；

步骤2：利用互信息法找出随机森林模型中相关度较高的决策树构成决策树组，只保留组内评价精度最高的决策树，获得新的决策树组H[h₁,h₂,...,h_p]；

步骤2.1：计算随机森林R＝{h₁,h₂,....h_k}中决策树之间的相关性；

随机森林中任意两个决策树h_a,h_b的互信息I(h_a,h_b)为

I(h_a,h_b)＝H(y_a)+H(y_b)-H(y_a,y_b)

其中，y_a为决策树h_a的输出信息；y_b为决策树h_b的输出信息；H(y_a)为y_a的信息熵；H(y_b)为y_b的信息熵；p(a_x)为y_a的边缘概率分布；p(b_y)为y_b的边缘概率分布；p(a_x,b_y)为y_a与y_b的联合概率分布；

步骤2.2：将所有I(h_a,h_b)大于阈值ε的决策树划分为一个决策树组；

步骤2.3：根据精度I(h_a,y)获取每组中精度最高的决策树；以I(h_a,y)表示决策树h_a与实际标签y的互信息，即决策树h_a的输出评价结果与实际评价结果之间的相关性；I(h_a,y)的值越大，决策树h_a的精度越高；在每一组决策树组中，计算得出其中I(h_a,y)值最大的决策树，并将每组选出的决策树合成一个新的决策树组H[h₁,h₂,...,h_p]；

步骤3：采用粒子群算法确定所保留的决策树的权值分布，得到完整的随机森林分类模型；

步骤3.1：初始化粒子群，给每个粒子赋予随机的初始位置和速度；所有粒子均采用实数编码，最终决策森林中，每个决策树对最终结果的影响权值，记为ω₁至ω_p；设定最大迭代次数；

步骤3.2：计算适应值，根据适应度函数，计算每个粒子的适应值；以粒子中ω₁至ω_p值作为决策树权值，生成随机森林分类模型，以该模型输出评价结果与实际评价结果之间的相关性计算作为适应度函数，相关性值作为适应值；

步骤3.3：计算个体最佳适应值；对每一个粒子，将其当前位置的适应值与其历史最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新历史最佳位置；

步骤3.4：计算群体最佳适应值；对每一个粒子，将其当前位置的适应值与其全局最佳位置对应的适应值比较；如果当前位置的适应值更高，则用当前位置更新全局最佳位置；

步骤3.5：更新粒子位置和速度；

其中，

为第t次迭代时第j维中粒子i的速度；

是粒子i的位置；ω为惯性权重；c₁、c₂为学习因子；

粒子群第t次迭代时的个体极值点；

为粒子群的全局极值点；

为[0，1]区间内均匀分布的随机数；

V_max是常数；

步骤3.6：判断是否满足结束条件；若未满足结束条件，则返回步骤3.2，若满足结束条件则输出每个粒子的全局最佳位置，得到权值向量W[ω₁,ω₂,...,ω_p]；

步骤4：将知识检索结果文档输入到构建的随机森林分类模型中，获取每一文档的相关度分类，实现对知识检索结果的精度排序，并排除与搜索内容相关度极低的检索结果；

步骤4.1：将需要进行优化的所有检索结果文档，进行特征提取和空间向量表示，以获取文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]；

步骤4.2：将文档向量组Y[Y₁,Y₂,Y₃,...,Y_n]中的文档向量输入到决策树组H[h₁,h₂,...,h_p]中，获取每个文档向量Y_m根据每棵决策树的评价得分S_m[s₁,s₂,...,s_p]；

步骤4.3：对每个文档向量Y_m的评价得分S_m[s₁,s₂,...,s_p]进行加权处理，得到每个文档向量Y_m的最终得分Z_m；

Z_m＝S_m*W^T＝[s₁,s₂,...,s_p]·[ω₁,ω₂,...,ω_p]^T

步骤4.4：将所有文档向量根据最终得分Z_m值进行重新排序，将得分高的文档位置提前、得分低的文档位置推后，达到优化检索结果、提高整体评价精度的目的。

Images