CN109711558A - 针对含潜在不稳定特征构建机器学习模型的方法及装置 - Google Patents

Abstract

本发明公开了一种针对含潜在不稳定特征构建机器学习模型的方法及装置，属于机器学习、模型构建和计算机技术领域，解决机器学习建模时，由于采用了不稳定的特征，在特征发生变动时往往需要重新构建机器学习模型，从而需要花费较大的人力、物力成本对模型进行维护的问题。本发明首先对训练样本特征的稳定性进行评估；基于特征稳定性评分，对特征进行分池；其次并行地对各特征池分别建立机器学习子模型；最后将得到的多个机器学习子模型进行融合模型训练，得到最终的融合模型。在特征发生变动导致特征不可用时，只需将该特征去掉后，更新对应特征池的子模型及融合模型，能以较小的代价和成本维护和更新模型，该方案用于对含不稳定特征的机器学习模型进行构建。

Description

针对含潜在不稳定特征构建机器学习模型的方法及装置

技术领域

一种针对含潜在不稳定特征构建机器学习模型的方法及装置，用于对含不稳定特征的机器学习模型进行构建，属于机器学习、模型构建和计算机技术领域。

背景技术

特征(feature)是指在机器学习和模式识别中，特征是个体可测量的属性或被观察现象的特征，对应统计学中的变量(variable)，在样本数据记录中具体体现为列或字段。

特征变动是指受各种因素影响，如采集装置不稳定、数据传输不稳定、特征数据供应源断供、特征的统计口径发生变动等造成的特征数据中断传输、缺失率大幅上升、特征的统计学性质如分布特征等发生重大变化。

模型融合(model ensemble)是指模型融合方法通过使用多种机器学习算法学习，并将各算法结果融合来获得比单个机器学习算法更好的预测性能。

子模型(metamodel)或元模型是指单个机器学习模型或算法，用于模型融合，该模型的结果作为输入做模型融合。

近年来随着互联网技术，大数据存储处理技术以及人工智能技术的发展，机器学习模型被广泛应用到各个领域。当前大数据公司快速发展背景下，在较多的场景中，企业建立机器学习模型所使用的特征来源于各种不同的渠道，并非完全来源于企业自主采集，其中有相当一部分来源于第三方公司，机器学习模型往往建立在成千上万个特征上。

不同的数据源特别是第三方公司提供数据特征由于采集装置的不稳定性、数据采集口径的变更以及其他数据源供应商自身的不稳定因素等导致数据存在很多不稳定因素，机器学习模型特征越多涉及的三方公司越多，模型特征发生不稳定变动的可能性越大。

如图3所示，传统方案在考虑特征潜在不稳定性情况下，经过数据清洗保留可用特征后删除存在潜在不稳定性的特征1500个，只剩下8500个特征做模型训练，此时由于舍弃了特征导致模型预测性能比用10000个特征的模型低。

如图2所示，以构建含有1万个特征的机器学习模型为例，传统方案在不考虑特征潜在不稳定性情况下，经过数据清洗保留可用特征后直接建立机器学习模型，模型投入使用后，若1万个特征中有部分特征如1500个特征由于不稳定发生变动导致特征停止使用，此时需要对余下8500个特征重新训练机器学习模型，需要投入较大工作量做模型维护。

综上所述，当前的机器学习模型构建时要么完全不使用存在不稳定因素的特征，要么未对特征的稳定性进行充分评估，直接建立机器学习模型。前者，未充分利用可用特征信息(即未充分利用稳定特征和不稳定特征相结合的情况)，机器学习模型无法达到最优效用，后者，在发生特征变动时往往需要重新构建机器学习模型，需要花费较大的人力、物力成本对模型进行维护。

发明内容

针对上述研究的问题，本发明的目的在于提供一种针对含潜在不稳定特征构建机器学习模型的方法及装置，解决现有技术中未充分利用可用特征信息，造成机器学习模型效果不佳；或采用不稳定样本特征，在发生特征变动时往往需要重新构建机器学习模型，从而需要花费较大的人力、物力成本对模型进行维护的问题。

为了达到上述目的，本发明采用如下技术方案：

一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，包括如下步骤：

S1、对训练机器学习模型所使用的样本中的各特征进行稳定性评估，得到样本特征稳定性评分；

S2、基于样本特征稳定性评分，对特征进行分池，得到多个特征池；

S3、对多个特征池分别建立机器学习子模型，得到多个机器学习子模型；

S4、将多个机器学习子模型进行融合模型训练，得到融合模型。

进一步，所述步骤S1中，稳定性评估包括定量评估和定性评估两部分；

定量评估：通过构建特征传输历史故障次数failnum、特征缺失率波动方差varmissrate，特征的群体稳定性指数PSI，进行综合评分；

对特征f_i，其定量评估的具体计算公式为：

其中，N为特征总个数；

定性评估：给定各数据源特征稳定性评分；

特征稳定性评分为定量评估和定性评估的平均。

进一步，所述步骤S2的具体步骤为：

S2.1、设置初始分池个数KO，池内最少特征数M；

S2.2、基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

S2.3、将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行步骤S2.4：

S2.4、若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复步骤2.3。

进一步，所述步骤2.3中，合并的具体步骤为：

S2.3.1、计算各特征池内特征的稳定性平均得分，作为池平均稳定性得分；

S2.3.2、遍历各个池，寻找池平均稳定性得分与Pool_min池平均稳定性得分最接近的特征池，将Pool_min与该特征池合并为一个特征池。

进一步，所述步骤S4的具体步骤为：

S4.1、采用逻辑回归算法对多个机器学习子模型进行融合；

S4.2、将多个机器学习子模型作为输入，对融合的模型进行训练，得到融合模型。

一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于：包括；

特征评估单元：用于对训练机器学习模型所使用的样本中的各特征进行稳定性评估，得到样本特征稳定性评分；

特征划分单元：用于基于样本特征稳定性评分，对特征进行分池，得到多个特征池；

机器学习子模型训练单元：用于对多个特征池分别建立机器学习子模型，得到多个机器学习子模型；

机器学习模型融合单元：将多个机器学习子模型进行融合模型训练，得到融合模型。

进一步，所述特征评估单元实现稳定性评估包括定量评估和定性评估两部分；

定量评估：通过构建特征传输历史故障次数failnum、特征缺失率波动方差varmissrate，特征的群体稳定性指数PSI，进行综合评分；

对特征f_i，其定量评估的具体计算公式为：

其中，N为特征总个数；

定性评估：给定各数据源特征稳定性评分，；

特征稳定性评分为定量评估和定性评估的平均。

进一步，所述特征划分单元的实现包括如下步骤：

设置初始分池个数KO，池内最少特征数M；

基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

设置初始分池个数KO，池内最少特征数M；

基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行下一步骤；

若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复进行排序判断。

进一步，所述特征划分单元中合并的步骤包括：

计算各特征池内特征的稳定性平均得分，作为池平均稳定性得分；

遍历各个池，寻找池平均稳定性得分与Pool_min池平均稳定性得分最接近的特征池，将Pool_min与该特征池合并为一个特征池。

进一步，所述机器学习模型融合单元的实现包括如下步骤：

采用逻辑回归算法对多个机器学习子模型进行融合；

将多个机器学习子模型作为输入，对融合的模型进行训练，得到融合模型。

本发明同现有技术相比，其有益效果表现在：

一、本发明的融合方式能充分利用稳定和潜在不稳定特征建立机器学习模型，使得机器模型效用最大化。

二、本发明的融合方式，使得机器学习模型构建方式对潜在不稳定性特征变动有较强的鲁棒性，特征变动只直接影响所在池的子模型，并不影响其他池的子模型；

三、本发明的融合方式，在机器学习模型样本特征发生变动时，只需对变动后的特征所在池的机器学习子模型进行简单融合模型后再进行简单的上层融合(即把多个特征池进行融合)，更新迭代，能降低机器学习模型的维护成本，大大缩短模型迭代的时间。

附图说明

图1为本发明的流程框架示意图；

图2为传统方案在不考虑特征潜在不稳定性情况下，使用了潜在不稳定性特征后构造机器学习模型的示意图；

图3为传统方案在考虑特征潜在不稳定性情况下，删除潜在不稳定性特征后构造机器学习模型的示意图；

图4为采用本发明所构建的机器学习模型。

具体实施方式

下面将结合附图1及具体实施方式对本发明作进一步的描述，图1给出了本发明方法和装置的实施例的示例性架构图。

为了解决现有技术中未充分利用可用特征信息，造成机器学习模型效果不佳；或采用不稳定样本特征，在发生特征变动时往往需要重新构建机器学习模型，从而需要花费较大的人力、物力成本对模型进行维护的问题。本发明提供了一种方法和装置，具体如下：

一种针对含潜在不稳定特征构建机器学习模型的方法，包括如下步骤：

S1、对训练机器学习模型所使用的样本中的各特征进行稳定性评估，得到样本特征稳定性评分；即以机器学习模型训练样本数据库为输入，该样本库存储了准备进入模型训练的样本、特征的历史故障数据、特征历史每日缺失率、特征定性稳定性评分。

稳定性评估包括定量评估和定性评估两部分；

定量评估：通过构建特征传输历史故障次数failnum、特征缺失率波动方差vamissrate，特征的群体稳定性指数PSI，进行综合评分；

对特征f_i，其定量评估的具体计算公式为：

其中，N为特征总个数；

定性评估：给定各数据源特征稳定性评分；

特征稳定性评分为定量评估和定性评估的平均。

S2、基于样本特征稳定性评分，对特征进行分池，得到多个特征池；具体步骤为：

S2.1、设置初始分池个数KO，池内最少特征数M；

S2.2、基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

S2.3、将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行步骤S2.4：

合并的具体步骤为：

S2.3.1、计算各特征池内特征的稳定性平均得分，作为池平均稳定性得分；

S2.3.2、遍历各个池，寻找池平均稳定性得分与Pool_min池平均稳定性得分最接近的特征池，将Pool_min与该特征池合并为一个特征池。

S2.4、若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复步骤2.3。

S3、对多个特征池分别建立机器学习子模型，得到多个机器学习子模型；具体步骤为：

S3.1、预先配置算法参数，设置训练需要执行的机器学习模型算法类型，算法类型为比如逻辑回归、决策树等等中的一种；

S3.2、根据特征池中的特征和步骤算法类型执行模型训练，此步通过并行计算完成；

S3.3对各特征池训练完成后，得到多个机器学习子模型，保存多个机器学习子模型作为模型融合的输入。

S4、将多个机器学习子模型进行融合模型训练，得到融合模型。具体步骤为：

S4.1、采用逻辑回归算法对多个机器学习子模型进行融合；

S4.2、将多个机器学习子模型作为输入，对融合的模型进行训练，得到融合模型。

一种针对含潜在不稳定特征构建机器学习模型的装置，具体是以机器学习模型训练样本数据库为输入，该样本库存储了准备进入模型训练的样本、特征的历史故障数据、特征历史每日缺失率、特征定性稳定性评分；

特征评估单元获取样本数据库中的特征和特征历史故障数据、特征历史每日缺失率、特征定性稳定性评分数据，对样本中每个特征运行特征稳定性评分算法，包括计算每个特征的failnum，历史故障次数failnum、特征缺失率波动方差varmissrate，特征的群体稳定性指数PSI，并按方法中的定量评估和定性评估两部分进行评估。

基于特征评估单元的输出，特征划分单元对特征进行分池，得到多个特征池；具体实施步骤为：

设置初始分池个数KO，池内最少特征数M；

基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行下一步骤；

若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复进行排序判断。子模型训练单元并行地对特征划分单元输出的特征池训练机器学习子模型，得到K个机器学习子模型；具体步骤为：

子模型训练单元预先配置算法参数，设置训练需要执行的机器学习模型算法类型，算法类型为比如逻辑回归、决策树等等中的一种；

子模型训练单元根据特征池中的特征和步骤算法类型执行模型训练，此步通过并行计算完成；

子模型训练单元对各特征池训练完成后，得到多个机器学习子模型，保存多个机器学习子模型作为模型融合的输入；

模型融合单元对多个机器学习子模型进行融合模型训练，得到融合模型；具体步骤为：

模型融合单元运行逻辑回归算法对多个机器学习子模型进行融合；

模型融合单元保存各子模型对象结果和融合模型对象结果，得到最终模型。

实施例

如图4所示，本发明中的方式或装置在对特征做稳定性评估后做分池，例如将10000个特征按特征稳定性评估分为10个池，经过聚类算法，假设特征池1为最不稳定的特征池有1000个特征，池2为次不稳定的特征池也有1000个特征，完成分池后再对各个池建立机器学习子模型，最后对子模型做融合模型训练得到最终融合模型。融合模型投入使用后，1500个特征发生变动停止使用时，由于对特征的不稳定性进行了充分评估和分池，此时变动只影响部分池，例如特征池1包含1000个不稳定特征和特征池2包含500个不稳定特征，因此模型维护只需首先删除特征池1和对应子模型1(子模型即指机器学习子模型)，对特征池2删除500个不稳定特征后对剩下500个特征重新机器学习子模型2；最后若删除特征池2和对应子模型2后，再更新模型3到模型10作为输入的融合模型，模型维护成本大大降低。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (10)

1.一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，包括如下步骤：

S1、对训练机器学习模型所使用的样本中的各特征进行稳定性评估，得到样本特征稳定性评分；

S2、基于样本特征稳定性评分，对特征进行分池，得到多个特征池；

S3、对多个特征池分别建立机器学习子模型，得到多个机器学习子模型；

S4、将多个机器学习子模型进行融合模型训练，得到融合模型。

2.根据权利要求1所述的一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，所述步骤S1中，稳定性评估包括定量评估和定性评估两部分；

定量评估：通过构建特征传输历史故障次数failnum、特征缺失率波动方差varmissrate，特征的群体稳定性指数PSI，进行综合评分；

对特征f_i，其定量评估的具体计算公式为：

其中，N为特征总个数；

定性评估：给定各数据源特征稳定性评分；

特征稳定性评分为定量评估和定性评估的平均。

3.根据权利要求1或2所述的一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，所述步骤S2的具体步骤为：

S2.1、设置初始分池个数KO，池内最少特征数M；

S2.2、基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

S2.3、将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行步骤S2.4；

S2.4、若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复步骤2.3。

4.根据权利要求3所述的一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，所述步骤2.3中，合并的具体步骤为：

S2.3.1、计算各特征池内特征的稳定性平均得分，作为池平均稳定性得分；

S2.3.2、遍历各个池，寻找池平均稳定性得分与Pool_min池平均稳定性得分最接近的特征池，将Pool_min与该特征池合并为一个特征池。

5.根据权利要求4所述的一种针对含潜在不稳定特征构建机器学习模型的方法，其特征在于，所述步骤S4的具体步骤为：

S4.1、采用逻辑回归算法对多个机器学习子模型进行融合；

S4.2、将多个机器学习子模型作为输入，对融合的模型进行训练，得到融合模型。

6.一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于：包括；

特征评估单元：用于对训练机器学习模型所使用的样本中的各特征进行稳定性评估，得到样本特征稳定性评分；

特征划分单元：用于基于样本特征稳定性评分，对特征进行分池，得到多个特征池；

机器学习子模型训练单元：用于对多个特征池分别建立机器学习子模型，得到多个机器学习子模型；

机器学习模型融合单元：将多个机器学习子模型进行融合模型训练，得到融合模型。

7.根据权利要求6所述的一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于：所述特征评估单元实现稳定性评估包括定量评估和定性评估两部分；

定量评估：通过构建特征传输历史故障次数failnum、特征缺失率波动方差varmissrate，特征的群体稳定性指数PSl，进行综合评分；

对特征f_i，其定量评估的具体计算公式为：

其中，N为特征总个数；

定性评估：给定各数据源特征稳定性评分，；

特征稳定性评分为定量评估和定性评估的平均。

8.根据权利要求4或7所述的一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于，所述特征划分单元的实现包括如下步骤：

设置初始分池个数KO，池内最少特征数M；

基于初始分池个数KO和特征稳定性评分，通过K-means聚类算法将样本特征进行分池，得到KO个特征池；

将KO个特征池按照池内特征数排序，设特征数最少的池为Pool_min，判断Pool_min内特征数是否大于等于M，若不是则将该特征池合并到其他特征池内，再执行下一步骤；

若所有特征池内特征数均大于等于M，则得到最终分池数K，否则，重复进行排序判断。

9.根据权利要求8所述的一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于，所述特征划分单元中合并的步骤包括：

计算各特征池内特征的稳定性平均得分，作为池平均稳定性得分；

遍历各个池，寻找池平均稳定性得分与Pool_min池平均稳定性得分最接近的特征池，将Pool_min与该特征池合并为一个特征池。

10.根据权利要求9所述的一种针对含潜在不稳定特征构建机器学习模型的装置，其特征在于，所述机器学习模型融合单元的实现包括如下步骤：

采用逻辑回归算法对多个机器学习子模型进行融合；

将多个机器学习子模型作为输入，对融合的模型进行训练，得到融合模型。