CN111126423A

CN111126423A - 一种特征集获取方法、装置、计算机设备及介质

Info

Publication number: CN111126423A
Application number: CN201811296525.9A
Authority: CN
Inventors: 潘剑飞; 戴明洋; 石逸轩; 罗程亮; 姚远; 杨胜文; 范斌; 周俊; 许金泉; 陈家伟; 王栋; 刘少杰; 刘康; 王楠
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-11-01
Filing date: 2018-11-01
Publication date: 2020-05-08

Abstract

本发明实施例公开了一种特征集获取方法、装置、计算机设备及介质，所述方法包括：获取当前stacking层的输入特征集，得到当前stacking层的分类结果值；将分类结果值与历史分类最大值进行比较；若分类结果值不小于最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据调整后的输入特征集获得下一stacking层的输入特征集；若分类结果值小于最大值，则将当前stacking层的输入特征集与最大值对应的输入特征集的差集中特征的特征值减小，根据调整后的差集获得下一stacking层的输入特征集，加快了stacking阶段收敛到最终的最优解的过程，提高了模型训练效率。

Description

一种特征集获取方法、装置、计算机设备及介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种特征集获取方法、装置、计算机设备及介质。

背景技术

随着人工智能的兴起，机器学习和深度学习的运用范围很广，深度模型的策略能深度学习能进一步抽取特征和特征间的组合，大大提高了事物分类和预测的准确性。2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

现有的深度模型策略主要包括以下四个方面：

1)深度神经网络(Deep Neural Networks，DNN)源于神经元的概念，DNN的结构里下层神经元和所有上层神经元都能够形成连接。

2)卷积神经网络(Convolutional Neural Networks，CNN)主要源于图像的卷积操作，CNN是通过卷积核将上下层进行链接，同一个卷积核在所有图像中是共享的，图像通过卷积操作后仍然保留原先的位置关系。

3)循环神经网络(Recurrent Neural Networks，RNN)主要运用于存在时间序列的应用中，RNN中，神经元的输出可以在下一个时间段直接作用到自身。

4)深度随机森林对特征进行融合后，对多个随机森林的单元进行堆叠(stacking)，最终完成预测和分类的工作。

对于传统的DNN、CNN和RNN的深度模型策略，由于它本身训练过程需要对很多参数进行学习和更新，需要较多的训练数据集。对于传统的深度随机森林的策略，在堆叠(stacking)过程中，每个步骤都是通过迭代训练取stacking阶段均值的最高值作为分类或者预测的结果，这个过程的效率低，同时准确率也只能达到局部的最优解。

发明内容

本发明实施例提供了一种特征集获取方法、装置、计算机设备及介质，以实现加快深度随机森林模型训练中stacking阶段收敛到最终的最优解的过程，提高模型训练效率。

第一方面，本发明实施例提供了一种深度随机森林模型训练中堆叠stacking阶段的特征集获取方法，所述方法包括：

获取当前stacking层的输入特征集，将所述输入特征集输入当前stacking层后得到当前stacking层的分类结果值；

将所述当前stacking层的分类结果值与历史分类最大值进行比较，所述历史分类最大值是指当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值；

若所述当前stacking层的分类结果值不小于所述历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；

若所述当前stacking层的分类结果值小于所述历史分类最大值，则确定当前stacking层的输入特征集与所述历史分类最大值对应的输入特征集的差集，并将所述差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集。

第二方面，本发明实施例还提供了一种深度随机森林模型训练中堆叠stacking阶段的特征集获取装置，所述装置包括：

当前结果获取模块，用于获取当前stacking层的输入特征集，将所述输入特征集输入当前stacking层后得到当前stacking层的分类结果值；

分类值比较模块，用于将所述当前stacking层的分类结果值与历史分类最大值进行比较，所述历史分类最大值是指当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值；

输入特征集获取模块，用于若所述当前stacking层的分类结果值不小于所述历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法。

本发明实施例通过获取当前stacking层的输入特征集，将输入特征集输入当前stacking层后得到当前stacking层的分类结果值；将当前stacking层的分类结果值与历史分类最大值进行比较，历史分类最大值是指当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值；若当前stacking层的分类结果值不小于历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；若当前stacking层的分类结果值小于历史分类最大值，则确定当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，并将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集，加快了stacking阶段收敛到最终的最优解的过程，提高了模型训练效率。

附图说明

图1a是本发明实施例一所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图；

图1b是本发明实施例一所提供的深度随机森林模型中记忆门的结构示意图；

图2是本发明实施例二所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图；

图3a是本发明实施例三所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图；

图3b是现有技术中深度随机森林学习模型的训练过程示意图；

图3c是本发明实施例三所提供的一种深度随机森林学习模型的训练过程示意图；

图4是本发明实施例四所提供的深度随机森林模型训练中stacking阶段的特征集获取装置的结构示意图；

图5是本发明实施例五所提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a是本发明实施例一所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图。该方法可以由深度随机森林模型训练中stacking阶段的特征集获取装置执行，该装置可以采用软件和/或硬件的方式实现，例如，该装置可配置于计算机设备中。如图1a所示，该方法具体包括：

S110、获取当前stacking层的输入特征集，将输入特征集输入当前stacking层后得到当前stacking层的分类结果值。

在本实施例中，将深度学习中的注意力(attention)思想引入随机森林模型的训练过程中，提出了基于attention的深度随机森林模型，提出了记忆门的机制，在对基于attention的深度随机森林模型进行训练时，在stacking的每层特征获取时融入初始的特征，增加特征记忆门，根据stacking的每层预测结果对特征进行选择，以确定哪些特征被记住并传到下一层，哪些特征需要过滤。通过stacking层的上一轮结果，对下一层的特征选择进行指导，避免了特征融合过程中带来的特征损失，并且加快了当前最优的特征的选择和收敛到最终的最优解过程。

可选的，深度随机森林模型包括特征融合单元和采用堆积stacking策略的深度学习单元，所述深度学习单元包括多个串联的stacking层，每个stacking层包含单一随机森林或级联随机森林。

可选的，在深度随机森林模型训练中stacking阶段进行训练时，将单一随机森林模型或级联随机森林模型作为预测单元，获取当前stacking层的输入特征集后，将获取的输入特征集输入当前stacking层，将得到的预测结果作为当前stacking层的分类结果值。

示例性的，若获取到的当前stacking层的输入特征集F，将特征集F输入至当前stacking层后，获取当前stacking层输出的预测结果R，将获得的预测结果R作为当前stacking层的分类结果值。

需要说明的是，当前stacking层包括深度学习单元中除最后一个stacking层之外的其他各stacking层。倒数第二个stacking层将最后一个stacking层的输入特征集输入给最后一个stacking层后，得到最终的分类结果值即Final Prediction。

S120、将当前stacking层的分类结果值与历史分类最大值进行比较。

现有技术中，在stacking的每个步骤中，特征的选择没有上一阶段的指导，每个步骤都是通过迭代训练取stacking阶段均值的最高值作为分类或者预测的结果，使用这种方法训练效率低。并且若当前阶段的预测结果预测有一定误差，后续的阶段没有一定的措施去修正很大程度上，误差很难修正，会导致所训练出的模型的准确率较低。

在本实施例中，提出了强化学习的思想，根据历史阶段的预测最优解和当前解的差异来给特征一定的奖励和惩罚。具体的，基于当前stacking层的分类结果值与历史分类最大值对特征集中的特征进行调整，并将调整后的特征集作为下一层stacking层的输入特征集，能够避免当前阶段预测结果的误差所导致的后续阶段的误差。

可选的，所述历史分类最大值是指当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值。在当前stacking层是第一个stacking层时，所述历史分类最大值是指第一个stacking层的分类结果值。

示例性的，若获得的当前stacking层的分类结果值为R，当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值为R_max，则将R与R_max进行比较，根据比较结果对特征集中的特征进行调整。

S130、若当前stacking层的分类结果值不小于历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集。

在本实施例中，若当前stacking层的分类结果值不小于历史分类最大值，说明在堆叠训练过程中预测结果的准确性提升，进而说明当前stacking层用于预测的特征值的重要程度较高，对当前stacking层的输入特征集中的特征进行奖励，提高当前stacking层的输入特征集中各特征值的记忆度，以在训练过程中逐步收敛到预测的最优解。具体的，对当前stacking层的输入特征集中的特征值增加，并根据特征值增加后的输入特征集获得下一stacking层的输入特征集。特征值用于表征对应特征的重要程度。

示例性的，若当前stacking层的分类结果值R不小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R≥R_max，则增加当前stacking层的输入特征集F中的特征值，并根据特征值增加后的输入特征集F获得下一stacking层的输入特征集。

S140、若当前stacking层的分类结果值小于历史分类最大值，则确定当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，并将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集。

在本实施例中，若当前stacking层的分类结果值小于历史分类最大值，说明在堆叠训练过程中预测结果的准确性下降，进而说明当前stacking层用于预测的特征值的重要程度较低，对当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集中的特征进行惩罚，降低差集中各特征值的记忆度。具体的，计算当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集。

示例性的，若当前stacking层的分类结果值R小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R＜R_max，则获取历史分类最大值所对应的特征集F_max，并计算F与F_max的差集△F，减小△F中特征的特征值，并根据特征值减小后的差集△F获得下一stacking层的输入特征集。

本发明实施例通过获取当前stacking层的输入特征集，将输入特征集输入当前stacking层后得到当前stacking层的分类结果值；将当前stacking层的分类结果值与历史分类最大值进行比较；若当前stacking层的分类结果值不小于历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；若当前stacking层的分类结果值小于历史分类最大值，则确定当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，并将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集，加快了stacking阶段收敛到最终的最优解的过程，提高了模型训练效率。

在上述方案的基础上，所述将当前stacking层的输入特征集中特征的特征值增加，包括：

将当前stacking层的输入特征集中各特征的特征值乘以第一预设系数，该第一预设系数为大于1的数值；

相应的，所述将所述差集中特征的特征值减小，包括：

将所述差集中各特征的特征值乘以第二预设系数，该第二预设系数为小于1的数值。

在本实施例中，可以预先设置第一预设系数K₁用于增加特征的特征值，预先设置第二预设系数K₂用于减少特征的特征值。其中，第一预设系数K₁为大于1的数值，第二预设系数K₂为小于1的数值。可选的，所述第一预设系数K₁为1.5，所述第二预设系数K₂为0.5。当需要增加当前stacking层的输入特征集中各特征的特征值时，将当前stacking层的输入特征集中各特征的特征值乘以第一预设系数K₁。当需要减小差集中各特征的特征值时，将差集中各特征的特征值乘以第二预设系数K₂。

示例性的，若当前stacking层的分类结果值R不小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R≥R_max，则将当前stacking层的输入特征集F中各特征的特征值乘以K₁，以增加当前stacking层的输入特征集F中各特征的特征值。若当前stacking层的分类结果值R小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R＜R_max，则获取历史分类最大值所对应的特征集F_max，并计算F与F_max的差集△F，将差集△F中各特征的特征值乘以K₂，以减小△F中各特征的特征值集。

在上述方案的基础上，所述根据特征值增加后的输入特征集获得下一stacking层的输入特征集，包括：

采用蒙特卡洛采样算法，对特征值增加后的输入特征集进行特征采样，将采样出的特征构成的特征集，作为下一stacking层的输入特征集；

相应的，所述根据特征值减小后的差集获得下一stacking层的输入特征集，包括：

采用蒙特卡洛采样算法，对特征值减小后的差集进行特征采样，将采样出的特征构成的特征集，作为下一stacking层的输入特征集。

在本实施例中，可以采用蒙特卡洛采样算法，根据调整后的特征值获取下一stacking层的输入特征集。使用蒙特卡洛算法对特征根据当前层的特征记忆度分布进行采样能够防止训练过程陷入局部最优解的情况，使训练能够尽量获取到全局的最优解。

示例性的，若当前stacking层的分类结果值R不小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R≥R_max，则将当前stacking层的输入特征集F中各特征的特征值乘以K₁，并采用蒙特卡洛采样算法，对特征值增加后的输入特征集F进行特征采样，将采样出的特征构成的特征集F_out作为下一stacking层的输入特征集。若当前stacking层的分类结果值R小于当前stacking层之前的各stacking层的分类结果值中的最大值R_max，即R＜R_max，则获取历史分类最大值所对应的特征集F_max，并计算F与F_max的差集△F，将差集△F中各特征的特征值乘以K₂，并采用蒙特卡洛采样算法，对特征值减小后的差集△F进行特征采样，将采样出的特征构成的特征集F_out，作为下一stacking层的输入特征集。

可选的，将当前stacking层的分类结果值与历史分类最大值进行比较，并根据比较结果对特征集进行调整，根据调整后的特征集获得下一stacking层的输入特征集，可以通过记忆门结构来实现。

图1b是本发明实施例一所提供的深度随机森林模型中记忆门的结构示意图。图1b中示意性的示出了采用记忆门结构对基于attention的深度随机森林模型进行训练时的流程。如图1b所示，A为判断结构，用于判断当前stacking层的预测值R是否不小于历史的stacking层的预测最大值R_max，具体的，将历史的stacking层的预测最大值R_max和当前stacking层的预测值R输入A，当R≥R_max时，判断结果为“Yes”，进入C，输入当前的特征集F，在C中对当前特征集F的特征值乘以奖励项γ>1；当R<R_max时，判断结果为“No”，进入B，将当前stacking层所对应的特征集F和目前最优状态R_max所对应的特征集F_max输入B，在B中求得当前特征集F与F_max的差集后，将所述差集中的特征值乘以惩罚项γ<1。最后进入D蒙特卡洛采样结构，将乘以奖励项γ>1的特征集F或乘以惩罚项γ<1的差集输入D，获得D输出的特征集F_out，将F_out作为下一stacking层用于预测的特征集。

实施例二

图2是本发明实施例二所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图，本实施例在上述实施例的基础上进行进一步地优化。如图2所示，所述方法包括：

S210、获取在stacking阶段之前的特征融合阶段进行特征融合后输出的特征矩阵，将特征矩阵与进行特征融合时所使用的原始特征矩阵进行合并，得到合并后的特征集。

一般的，深度随机森林模型在进行训练时通常使用级联的随机森林预测后的结果作为融合后的特征，但是直接使用级联的随机森林预测后的结果作为融合后的特征，会存在训练过程中特征的损失，并且在stacking阶段的深度学习过程中未必能得到高的预测准确率。

在本实施例中，在将特征输入至stacking阶段之前的特征融合阶段内加入了原始特征，将特征融合后的特征与原始特征进行合并，再将合并后的特征共同输入至stacking阶段。将特征融合后的特征与原始特征合并，防止了特征融合过程中的特征损失，增加了特征的维度。

示例性的，若在stacking阶段之间的特征融合阶段进行特征融合后输出的特征矩阵为F_mr，原始特征矩阵为F_raw，则将特征矩阵F_mr与原始特征矩阵F_raw进行合并。

S220、通过级联随机森林得到合并后的特征集中特征的特征值，依据特征值对合并后的特征集中的特征进行筛选，得到第一个stacking层的输入特征集，将第一个stacking层作为当前stacking层。

可选的，将融合特征矩阵与原始特征矩阵进行合并后，通过级联随机森林对合并后的特征集中的所有特征进行筛选，将筛选出的特征所组成的特征集作为第一个stacking层的输入特征集，并将第一个stacking层作为当前stacking层，根据第一个stacking层的输入特征集进行训练。

具体的，通过级联随机森林得到合并后的特征集中所有特征的特征值，并根据合并后特征集中所有特征的特征值对合并后特征集中的各特征进行筛选，将筛选后得到的特征构成特征集，作为第一个stacking层的输入特征集。可选的，将合并后特征集中所有特征输入至级联随机森林中，获得级联随机森林输出的特征，将级联随机森林输出的特征所组成的特征集作为第一个stacking层的输入特征集。

S230、将当前stacking层的输入特征集输入当前stacking层后得到当前stacking层的分类结果值。

S240、将当前stacking层的分类结果值与历史分类最大值进行比较。

S250、若当前stacking层的分类结果值不小于历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集。

S260、若当前stacking层的分类结果值小于历史分类最大值，则确定当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，并将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集。

S270、将下一stacking层作为当前stacking层，返回执行S230。

可选的，获得下一stacking层的输入特征集后，将下一stacking层作为当前stacking，返回执行S230，进行特征集的选取及模型的训练。

本发明实施例的技术方案，在上述实施例的基础上，在stacking阶段之前，增加了将原始特征矩阵与特征融合阶段进行特征融合后输出的特征矩阵进行合并的操作，通过将特征融合后的特征与原始的特征进行合并，防止了特征的损失，增加了特征的维度。

实施例三

图3a是本发明实施例三所提供的深度随机森林模型训练中stacking阶段的特征集获取方法的流程图，本实施例在上述实施例的基础上进行进一步地优化。如图3a所示，所述方法包括：

S310、获取原始特征矩阵，将原始特征矩阵拆分得到至少两个子特征矩阵，将至少两个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到单一随机森林或级联随机森林输出的融合特征矩阵。

在本实施例中，将在特征融合阶段进行特征融合进行了具体化。可选的，进行特征融合时，首先对原始特征矩阵进行拆分得到多个子特征矩阵，再将各子特征矩阵分别输入至单一随机森林或级联随机森林，得到单一随机森林或级联随机森林输出的融合特征矩阵。可选的，可以通过窗口滑动将原始特征矩阵拆分为至少两个子特征矩阵。

示例性的，将原始特征矩阵拆分为子特征矩阵M₁、子特征矩阵M₂和子特征矩阵M₃，将子特征矩阵M₁、子特征矩阵M₂和子特征矩阵M₃分别输入至单一随机森林或级联随机森林后，得到单一随机森林或级联随机森林输出的分别与子特征矩阵M₁、子特征矩阵M₂和子特征矩阵M₃对应的融合特征矩阵F₁、融合特征矩阵F₂和融合特征矩阵F₃。

可选的，所述将所述原始特征矩阵进行拆分得到至少两个子特征矩阵，将所述至少两个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到所述单一随机森林或级联随机森林输出的融合特征矩阵，包括：

将维度为m的原始特征向量经过P个窗口的窗口滑动后得到P个子特征矩阵，其中第i个子特征矩阵的维度为(m-m/n_i+1)*m/n_i，其中P为大于1的整数，i在[1，P]中取值；

将所述P个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到各单一随机森林或级联随机森林输出的P个融合特征矩阵，其中第i个融合特征矩阵的维度为(m-m/n_i+1)*n_class；

其中，n_i用于控制对应窗口的大小，n_i在(1，m)之间取值，n_class表示目标划分类别数。

在本实施例中，通过窗口滑动将原始特征向量进行拆分，得到子特征矩阵，再将各子特征矩阵分别输入至单一随机森林或级联随机森林中，得到各单一随机森林或级联随机森林输出的融合特征矩阵。可选的，经过P个窗口的滑动，得到P个子特征矩阵，将P个子特征矩阵分别输入至单一随机森林或级联随机森林中，得到各单一随机森林或级联随机森林输出的P个融合特征矩阵。

示例性的，原始特征的维度为m维，分别经过m/n₁、m/n₂和m/n₃的窗口滑动后，得到特征维度为(m-m/n₁+1)*m/n₁、(m-m/n₂+1)*m/n₂和(m-m/n₃+1)*m/n₃的子特征矩阵，将各子特征矩阵分别输入单一随机森林或级联随机森林，得到单一随机森林或级联随机森林输出的特征维度为(m-m/n₁+1)*m/n_class、(m-m/n₂+1)*m/n_class和(m-m/n₃+1)*m/n_class的融合特征矩阵。

S320、将得到的各融合特征矩阵转换为一维特征矩阵，作为所述特征融合单元输出的特征矩阵。

在本实施例中，将多维融合特征矩阵转换为一维特征矩阵，将转换后的一维特征矩阵作为特征融合单元输出的特征矩阵。

示例性的，若得到的融合特征矩阵为融合特征矩阵F₁、融合特征矩阵F₂和融合特征矩阵F₃，则分别将融合特征矩阵F₁、融合特征矩阵F₂和融合特征矩阵F₃转换为一维特征矩阵后合并得到一维融合特征矩阵F_mr，将一维融合特征矩阵F_mr作为特征融合单元输出的特征矩阵。

示例性的，若F1＝[1，2]，F2＝[3，4；5，6；7，8；9，10]，F3＝[11，12；13，14；15，16；17，18；19，20]，则将F1、F2、F3转换为一维矩阵后合并，得到一维特矩阵F_mr＝[1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16，17，18；19，20]，将F_mr作为特征融合单元输出的特征矩阵。

S330、将所述特征矩阵与所述特征融合单元进行特征融合时所使用的原始特征矩阵进行合并，得到合并后的特征集。

S340、通过级联随机森林得到合并后的特征集中所有特征的特征值，依据所述特征值对合并后的特征集中的特征进行筛选，得到第一个stacking层的输入特征集。将第一个stacking层作为当前stacking层。

S350、将当前stacking层的输入特征集输入当前stacking层后得到当前stacking层的分类结果值。

S360、将当前stacking层的分类结果值与历史分类最大值进行比较。

S370、若当前stacking层的分类结果值不小于历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集。

S380、若当前stacking层的分类结果值小于历史分类最大值，则确定当前stacking层的输入特征集与历史分类最大值对应的输入特征集的差集，并将差集中特征的特征值减小，根据特征值减小后的差集获得下一stacking层的输入特征集。

S390、将下一stacking层作为当前stacking层，返回执行S350。

图3b是现有技术中深度随机森林学习模型的训练过程示意图。图3b中，深度随机森林学习模型将级联后的随机森林(105b、106b、107b)作为预测单元，滑动窗口获取特征矩阵后，将获取到的特征矩阵输入至预测单元，将得到的预测结果111b作为特征融合后的特征，然后结合stacking策略对融合后的特征进行深层学习。

如图3b所示，现有技术中深度随机森林学习模型训练过程时经过特征融合10b、特征筛选阶段、stacking阶段30b，得到最终预测结果40b。从图3b中可以看出，原始特征101b的维度为m，在输入模型中首先经过m/n₁、m/n₂和m/n₃的窗口滑动后，分别得到特征维度为(m-m/n₁+1)*m/n₁的子特征矩阵102b、特征维度为(m-m/n₂+1)*m/n₂的子特征矩阵103b和特征维度为(m-m/n₃+1)*m/n₃的子特征矩阵104b，将子特征矩阵102b输入至级联随机森林105b(包括随机森林ForestA1和随机森林ForestA2)，将子特征矩阵103b输入至级联随机森林106b(包括随机森林ForestB1和随机森林ForestB2)，将子特征矩阵104b输入至级联随机森林107b(包括随机森林ForestC1和随机森林ForesC2)，分别在各级联随机森林中进行特征融合后得到级联随机森林105b输出的特征维度为(m-m/n₁+1)*m/n_class的融合特征矩阵108b、级联随机森林106b输出的特征维度为(m-m/n₂+1)*m/n_class的融合特征矩阵109b和级联随机森林107b输出的特征维度为(m-m/n₃+1)*m/n_class的融合特征矩阵110b，最后将融合特征矩阵108b、融合特征矩阵109b和融合特征矩阵110b转为一维矩阵形式，得到一维融合特征矩阵111b，完成整个前期过程的特征融合10b阶段。其中，n₁、n₂和n₃控制窗口的大小，同时可以调整滑动步长来增加选择特征的随机性，n_class表示目标划分类别数。

可选的，在完成前期的特征融合后，将特征融合后得到的特征矩阵输入特征筛选阶段，可选的，通过级联随机森林20b对一维融合特征矩阵111b中的特征进行筛选，获得筛选后的特征，并将筛选后的特征所构成的特征集输出，将级联随机森林20b输出的特征集作为第一个stacking层的输入特征集。获得第一个stacking层301b的输入特征集后，将第一个stacking层的输入特征集输入至第一个stacking层301b，得到第一个stacking层的分类结果值，根据第一个stacking层的分类结果值获取第二个stacking层302b的输入特征集，不断的进行层数叠加的深层stacking训练的过程，直到获得最后一个stacking层303b输出的最终预测结果40b。引用卷积窗口的思想、随机森林的特征选择策略和stacking模型融合的思想实现事件的预测。可选的，级联随机森林20b包括多个随机森林Forest。

图3c是本发明实施例三所提供的一种深度随机森林学习模型的训练过程示意图。图3c中，将级联后的随机森林(105c、106c、107c)作为预测单元，滑动窗口获取特征矩阵后，将获取到的特征矩阵输入至预测单元得到预测结果，将原始特征112c和特征融合后的特征111c进行合并，然后结合stacking策略对融合后的特征进行深层学习，在不断的进行stacking的同时，通过stacking的每层预测结果结合记忆门M获取合适的特征，结合历史预测情况和当前stacking层的预测情况，指导下一stacking层的预测。

如图3c所示，本发明实施例中所提供的基于attention的深度随机森林学习模型训练过程时经过特征融合10c、特征筛选阶段、stacking阶段30c，得到最终预测结果40c。从图3c中可以看出，原始特征101c的维度为m维，在输入模型中首先经过m/n₁、m/n₂和m/n₃的窗口滑动后，分别得到特征维度为(m-m/n₁+1)*m/n₁的子特征矩阵102c、特征维度为的子特征矩阵103c(m-m/n₂+1)*m/n₂和特征维度为(m-m/n₃+1)*m/n₃的子特征矩阵104c，将子特征矩阵102c输入至级联随机森林105c(包括随机森林ForestA1和随机森林ForestA2)，将子特征矩阵103c输入至级联随机森林106c(包括随机森林ForestB1和随机森林ForestB2)，将子特征矩阵104c输入至级联随机森林107c(包括随机森林ForestC1和随机森林ForestC2)，分别在各级联随机森林中进行特征融合后得到级联随机森林105c输出的特征维度为(m-m/n₁+1)*m/n_class的融合特征矩阵108c、级联随机森林106c输出的特征维度为(m-m/n₂+1)*m/n_class的融合特征矩阵109c和级联随机森林107c输出的特征维度为(m-m/n₃+1)*m/n_class的融合特征矩阵110c，将融合特征矩阵108c、融合特征矩阵109c和融合特征矩阵110c转为一维矩阵形式后得到一维融合特征矩阵111c，其中，一维特征矩阵111c为F_mr，并获得原始特征矩阵F_raw，将一维融合特征矩阵111c与原始特征矩阵112c即原始特征101c合并，得到合并后的特征矩阵，完成整个前期过程的特征融合阶段。其中，n₁、n₂和n₃控制窗口的大小，同时可以调整滑动步长来增加选择特征的随机性，n_class表示目标划分类别数。

可选的，在完成前期的特征融合后，将合并后得到的特征矩阵输入特征筛选阶段，可选的，通过级联随机森林20c对合并后得到的特征矩阵的特征进行筛选，获得筛选后的特征，并将筛选后的特征所构成的特征集输出，将级联随机森林20c输出的特征集作为第一个stacking层的输入特征集。将第一个stacking层301c的输入特征集输入至第一个stacking层301c，得到第一个stacking层301c的分类结果值，根据第一个stacking层301c的分类结果值与历史分类最大值确定第二个stacking层302c的输入特征集，再将第二个stacking层302c的输入特征集输入至第二个stacking层302c，得到第二个stacking层302c的分类结果值，不断的进行层数叠加的深层stacking训练的过程，直到获得最后一个stacking层303c输出的最终预测结果40c。可选的，级联随机森林20c包括多个随机森林Forest。

针对每个stacking层，通过stacking的每层预测结果结合记忆门M获取合适的特征，结合历史预测情况和当前stacking层的预测情况，指导下一stacking的预测。以第一个stacking层301c为例，将第一个stacking层301c的输入特征集输入第一个stacking层301c后得到第一个stacking层301c的分类结果值，并将分类结果值与历史分类最大值输入记忆门304c，获得记忆门304c输出的特征集，将记忆门304c输出的特征集作为第二个stacking层302c的输入特征集。具体的，在记忆门304c内，将分类结果值与历史分类最大值进行比较，根据比较结果对特征进行奖励或惩罚，获得调整后的特征集，采用蒙特卡洛采样算法对调整后的特征集进行采样，将采样出的特征构成的特征集作为下一层stacking的输入特征集。其中，使用记忆门确定下一stacking层的输入特征集的详细内容可参见上述实施例，在此不再赘述。

本发明实施例的技术方案，在上述实施例的基础上，将对原始特征矩阵进行划分得到子特征矩阵，并根据子特征矩阵得到融合特征矩阵进行了具体化，通过将维度为m的原始特征向量经过P个窗口的窗口滑动后得到P个子特征矩阵，将P个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到各单一随机森林或级联随机森林输出的P个融合特征矩阵，实现了通过调整窗口滑动的大小调整子特征矩阵的维度，同时可以调整滑动步长来增加选择特征的随机性。

实施例四

图4是本发明实施例四所提供的深度随机森林模型训练中stacking阶段的特征集获取装置的结构示意图。该深度随机森林模型训练中堆叠stacking阶段的特征集获取装置可以采用软件和/或硬件的方式实现，例如该深度随机森林模型训练中堆叠stacking阶段的特征集获取装置可以配置于计算机设备中。如图4所示，所述装置包括当前结果获取模块410、输入特征集获取模块420和输入特征集获取模块430，其中：

当前结果获取模块410，用于获取当前stacking层的输入特征集，将所述输入特征集输入当前stacking层后得到当前stacking层的分类结果值；

分类值比较模块420，用于将所述当前stacking层的分类结果值与历史分类最大值进行比较，所述历史分类最大值是指当前stacking层的分类结果值和当前stacking层之前的各stacking层的分类结果值中的最大值；

输入特征集获取模块430，用于若所述当前stacking层的分类结果值不小于所述历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；

在上述方案的基础上，所述输入特征集获取模块430具体用于：

若所述当前stacking层的分类结果值不小于所述历史分类最大值，则将当前stacking层的输入特征集中各特征的特征值乘以第一预设系数，该第一预设系数为大于1的数值，根据特征值增加后的输入特征集获得下一stacking层的输入特征集；

若所述当前stacking层的分类结果值小于所述历史分类最大值，则确定当前stacking层的输入特征集与所述历史分类最大值对应的输入特征集的差集，并将所述差集中各特征的特征值乘以第二预设系数，该第二预设系数为小于1的数值，根据特征值减小后的差集获得下一stacking层的输入特征集。

在上述方案的基础上，所述第一预设系数为1.5，所述第二预设系数为0.5。

若所述当前stacking层的分类结果值不小于所述历史分类最大值，则将当前stacking层的输入特征集中特征的特征值增加，采用蒙特卡洛采样算法，对特征值增加后的输入特征集进行特征采样，将采样出的特征构成的特征集，作为下一stacking层的输入特征集；

若所述当前stacking层的分类结果值小于所述历史分类最大值，则确定当前stacking层的输入特征集与所述历史分类最大值对应的输入特征集的差集，并将所述差集中特征的特征值减小，采用蒙特卡洛采样算法，对特征值减小后的差集进行特征采样，将采样出的特征构成的特征集，作为下一stacking层的输入特征集。

在上述方案的基础上，所述当前结果获取模块410包括：

特征集合并单元，用于在当前stacking层是第一个stacking层时，获取在stacking阶段之前的特征融合阶段进行特征融合后输出的特征矩阵，将所述特征矩阵与进行特征融合时所使用的原始特征矩阵进行合并，得到合并后的特征集；

特征筛选单元，用于通过级联随机森林得到合并后的特征集中所有特征的特征值，依据所述特征值对合并后的特征集中的特征进行筛选，得到第一个stacking层的输入特征集。

在上述方案的基础上，所述装置还包括：

特征融合模块，用于获取原始特征矩阵，将所述原始特征矩阵进行拆分得到至少两个子特征矩阵，将所述至少两个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到所述单一随机森林或级联随机森林输出的融合特征矩阵；

特征矩阵获取模块，用于将得到的各融合特征矩阵转换为一维特征矩阵，作为所述特征融合单元输出的特征矩阵。

在上述方案的基础上，所述特征融合模块具体用于：

获取原始特征矩阵，将维度为m的原始特征向量经过P个窗口的窗口滑动后得到P个子特征矩阵，其中第i个子特征矩阵的维度为(m-m/n_i+1)*m/n_i，其中P为大于1的整数，i在[1，P]中取值；

将所述P个特征矩阵分别输入一个单一随机森林或级联随机森林，得到各单一随机森林或级联随机森林输出的P个融合特征矩阵，其中第i个融合特征矩阵的维度为(m-m/n_i+1)*n_class；

本发明实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取装置可执行任意实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五所提供的计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的深度随机森林模型训练中stacking阶段的特征集获取方法，该方法包括：

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法的技术方案。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的深度随机森林模型训练中stacking阶段的特征集获取方法，该方法包括：

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种深度随机森林模型训练中堆叠stacking阶段的特征集获取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将当前stacking层的输入特征集中特征的特征值增加，包括：

相应的，所述将所述差集中特征的特征值减小，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一预设系数为1.5，所述第二预设系数为0.5。

4.根据权利要求1所述的方法，其特征在于，所述根据特征值增加后的输入特征集获得下一stacking层的输入特征集，包括：

5.根据权利要求1-4中任一项所述的方法，其特征在于，在当前stacking层是第一个stacking层时，获取第一个stacking层的输入特征集，包括：

获取在stacking阶段之前的特征融合阶段进行特征融合后输出的特征矩阵，将所述特征矩阵与进行特征融合时所使用的原始特征矩阵进行合并，得到合并后的特征集；

通过级联随机森林得到合并后的特征集中所有特征的特征值，依据所述特征值对合并后的特征集中的特征进行筛选，得到第一个stacking层的输入特征集。

6.根据权利要求5所述的方法，其特征在于，在特征融合阶段进行特征融合，包括：

获取原始特征矩阵，将所述原始特征矩阵进行拆分得到至少两个子特征矩阵，将所述至少两个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到所述单一随机森林或级联随机森林输出的融合特征矩阵；

将得到的各融合特征矩阵转换为一维特征矩阵，作为所述特征融合单元输出的特征矩阵。

7.根据权利要求6所述的方法，其特征在于，所述将所述原始特征矩阵进行拆分得到至少两个子特征矩阵，将所述至少两个子特征矩阵分别输入一个单一随机森林或级联随机森林，得到所述单一随机森林或级联随机森林输出的融合特征矩阵，包括：

8.一种深度随机森林模型训练中堆叠stacking阶段的特征集获取装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的深度随机森林模型训练中堆叠stacking阶段的特征集获取方法。