CN109657727A - 一种机器学习模型的动态融合方法及装置 - Google Patents

Abstract

本发明公开了一种机器学习模型的动态融合方法及装置，属于机器学习和计算机技术领域。解决现有技术中模型融合时面临的子模型动态出入带来的历史样本利用不充分、模型维护成本高时效低的问题。本发明包括如下步骤：按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；获取匹配训练样本，对每个模型池进行模型融合，得到中间融合层；基于得到的中间融合层进行模型融合，得到最终的融合模型；在已有子模型停用或新子模型进入时对所影响的模型池进行模型融合更新后得到新的中间融合层，再执更新中间融合层的上层融合模型。本发明用于机器学习模型自适应动态调整融合。

Description

一种机器学习模型的动态融合方法及装置

技术领域

一种机器学习模型的动态融合方法及装置，用于机器学习模型自适应动态调整融合，属于机器学习和计算机技术领域。

背景技术

模型融合(model ensemble)是指模型融合方法通过使用多种机器学习算法学习，并将各算法结果融合来获得比单个机器学习算法更好的预测性能。

子模型(metamodel)或元模型是指单个机器学习模型或算法，用于模型融合，该模型的结果作为输入做模型融合。

模型的样本时间长度或历史样本时间长度是指模型上线运行后，各个需要预测的个体作为输入模型输出预测值，并保存预测值样本和预测值产生的时间，这些样本预测值的时间跨度成为模型的历史样本时间长度。如图2例子所示，模型1于2018年1月1日上线运行并产生预测值，截至2018年11月1日，模型1的历史样本时间为10个月，而模型2于2018年3月1日上线运行，截至2018年11月1日模型2的历史样本时间长度为8个月。

近年来随着人工智能技术的发展，机器学习模型算法被广泛应用到各个领域，其中机器学习模型融合技术被应用得越来越多，通过对相同的数据样本建立不同的机器学习模型再对模型进行融合，或对不同的数据样本建立不同的机器学习模型再对模型进行融合，能达到比单个机器学习模型预测效果更好的模型。

由于当前大数据行业和企业的大数据机器学习模型应用都还处在一个快速发展和逐步完善的过程，随着时间的推移，企业会逐步有新的数据源接入和新的机器学习模型开发，同时，也会遇到旧的数据源和机器学习模型下线，模型融合时会面临机器学习子模型动态出入问题，且新接入的数据源和子模型由于接入晚，可用的样本时间长度短，在模型融合时会成为一个短板，如融合时其他模型输出的历史样本只能用和新模型有交集的样本，大量的历史样本无法充分利用，由于历史样本无法充分利用导致模型预测能力受限，如何维护好子模型动态变动的模型融合架构成为一个难题。

当前机器学习模型融合时，特别是在在线应用机器学习模型场景下，若有子模型下线，则需要人工重新对融合模型进行开发，若有新增子模型加入，往往还需要等待新子模型有一定时间的输出样本积累时再启动融合模型更新，所以会出现新模型不能立刻使用的情况。

综上所述，现有技术中机器学习模型融合面临子模型动态出入，存在如下问题：

1.接入的数据源和子模型由于接入晚，可用的样本时间长度短，造成融合时其他模型输出的历史样本只能用和新模型有交集的样本，大量的历史样本无法充分利用；

2.有子模型下线，则需要人工重新对融合模型进行开发，有新增子模型加入，需要等待新子模型有一定时间的输出样本积累时再启动融合模型更新，所以会新模型不能立刻使用的情况；

3.上述模型融合更新需要投入较大的人力成本和时间成本。

发明内容

针对上述研究的问题，本发明的目的在于提供一种机器学习模型的动态融合方法及装置，解决现有技术中接入的数据源和子模型由于接入晚，可用的样本时间长度短，造成融合时其他模型输出的历史样本只能用和新模型有交集的样本，大量的历史样本无法充分利用；有子模型下线，则需要人工重新对融合模型进行开发，有新增子模型加入，需要等待新子模型有一定时间的输出样本积累时再启动融合模型更新，所以会新模型不能立刻使用的情况；模型融合更新需要投入较大的人力成本和时间成本等问题。

为了达到上述目的，本发明采用如下技术方案：

一种机器学习模型的动态融合方法，其特征在于，包括如下步骤：

初始融合模型：

S1、按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；

S2、获取匹配训练样本，对每个模型池进行模型融合，得到中间融合层；

S3、基于得到的中间融合层进行模型融合，得到最终的融合模型；

机器学习子模型变动时动态融合调整：

S4、若模型池中的机器学习子模型有变动，将步骤S2中变动后的模型池进行模型融合更新，再转到步骤S3。

进一步，所述步骤S1的具体步骤为：

S1.1、输入各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

S1.2、设置分池个数参数N；

S1.3、基于样本时间长度对各机器学习子模型使用K-means聚类算法将各机器学习子模型划分为N个模型池，得到N个模型池。

进一步，所述步骤S2的具体步骤为：

S2.1、给每个模型池分配匹配的训练样本，得到匹配训练样本；

S2.2、若模型池内只有1个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N个融合模型。

进一步，所述步骤S2.1中根据历史样本信息，按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本，得到各模型池的匹配训练样本,即得到各模型池所对应的训练样本信息。

进一步，所述步骤S4的步骤包括：

若有机器学习子模型下线，则删除对应模型池中的该模型，判断该模型池内模型数量是否大于等于1，若是则再对该模型池分配匹配训练样本后进行模型融合更新，否则输出子模型为空的标识；

若有新机器学习子模型加入，首先提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，再并对该模型池分配匹配训练样本后进行模型融合更新。

一种机器学习模型的动态融合装置，其特征在于，包括：

模型分池单元：用于按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；

模型样本准备单元：用于记录历史样本信息，再基于历史样本信息获取匹配训练样本；

模型融合单元：用于根据获取的匹配训练样本，对每个模型池进行模型融合，得到中间融合层或基于中间融合层进行模型融合，得到最终的融合模型；

模型稳定单元：用于模型池中的机器学习子模型有变动，调度模型样本准备单元和模型融合单元对变动了的模型池进行模型融合更新。

进一步，还包括模型池管理单元：用于接收模型分池单元输出的N个模型池，对N个模型池中的机器学习子模型进行动态存储和更新，并存储各机器学习子模型的历史样本信息，模型池管理单元接收模型稳定单元的调度。

进一步，所述模型分池单元实现的步骤包括：

输入各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

设置分池个数参数N；

基于样本时间长度对各机器学习子模型使用K-means聚类算法将各机器学习子模型划分为N个模型池，得到N个模型池。

进一步，所述模型样本准备单元根据历史样本信息，按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本，得到各模型池的匹配训练样本,即输出并存储各模型池所对应的训练样本信息。

进一步，所述模型融合单元实现的步骤包括:

若机器学习子模型未变动时：

若模型池内只有1个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N个融合模型；

机器学习子模型变动时动态融合调整：

首先接收模型稳定单元输出的机器学习子模型下线或新加入指令；

若有机器学习子模型下线，则删除对应模型池中的该模型，判断该模型池内模型数量是否大于等于1，若是则再对该模型池分配匹配训练样本后进行模型融合更新，否则输出子模型为空的标识；

若有新机器学习子模型加入，首先提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，再并对该模型池分配匹配训练样本后进行模型融合更新。

本发明同现有技术相比，其有益效果表现在：

一、本发明在传统机器学习模型融合技术上，将子模型的动态变动特征作为一个重要的考量因素来设计新的模型融合架构，按照模型覆盖的样本的历史时间长度对模型进行分池后融合，能充分的利用历史样本，使得整体模型能最大程度使用有效样本，从而提高模型预测效果。

二、本发明的模型融合架构，在子模型有下线推出或新模型上线时，只需更新和迭代该子模型所在的模型池的融合模型，再更新上层融合模型，相比传统直接在子模型上构建融合模型的方式，模型维护工作量降低；

三、本发明设计了模型动态融合装置，实现了融合模型的自适应迭代，并通过并行计算加速了模型更新速度，最终大大降低了融合模型的维护迭代时间成本。

附图说明

图1为本发明实施公开的一种机器学习模型动态融合流程图；

图2模型的样本时间长度或历史样本时间长度示意图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

为了解决现有技术中接入的数据源和子模型由于接入晚，可用的样本时间长度短，造成融合时其他模型输出的历史样本只能用和新模型有交集的样本，大量的历史样本无法充分利用；有子模型下线，则需要人工重新对融合模型进行开发，有新增子模型加入，需要等待新子模型有一定时间的输出样本积累时再启动融合模型更新，所以会新模型不能立刻使用的情况；模型融合更新需要投入较大的人力成本和时间成本等问题。本发明提供了一种方式和装置，具体如下：

一种机器学习模型的动态融合方法，包括如下步骤：

初始融合模型：

S1、按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；

具体步骤为：

S1.1、模型库输出各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

S1.2、设置分池个数参数N；

S1.3、基于样本时间长度对各机器学习子模型使用K-means聚类算法将各机器学习子模型划分为N个模型池，得到N个模型池。

S2、获取匹配训练样本，对每个模型池进行模型融合，得到中间融合层；具体步骤为：

S2.1、给每个模型池分配匹配的训练样本，得到匹配训练样本；具体是根据历史样本信息，按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本，得到各模型池的匹配训练样本,即得到各模型池所对应的训练样本信息。

S2.2、若模型池内只有1个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N个融合模型。

S3、基于得到的中间融合层进行模型融合，得到最终的融合模型；

机器学习子模型变动时动态融合调整：

S4、若模型池中的机器学习子模型有变动，将步骤S2中变动后的模型池进行模型融合更新，再转到步骤S3；具体步骤包括：

若有机器学习子模型下线，则删除对应模型池中的该模型，判断该模型池内模型数量是否大于等于1，若是则再对该模型池分配匹配训练样本后进行模型融合更新，否则输出子模型为空的标识；

若有新机器学习子模型加入，首先提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，再并对该模型池分配匹配训练样本后进行模型融合更新。

一种机器学习模型的动态融合装置的具体实现方式为：

初始融合模型：

模型库输出各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

设置分池个数参数N；

模型分池单元基于模型的样本时间长度对各机器学习子模型执行K-means聚类算法将各机器学习子模型划分为N个模型池。

模型池管理单元接收模型分池单元的输出结果，动态存储和更新机器学习子模型和模型池标识的映射关系,将各模型池的更新标识设置为“待更新”，并存储各模型的历史样本信息，在初始融合模型阶段，模型池管理单元接收的是模型分池单元的输出结果，即模型池的所有标识都是“待更新”状态。

模型样本准备单元(即样本准备单元)接收模型池管理单元中的各模型池信息和历史样本信息后，给每个模型池分配匹配的训练样本，得到匹配训练样本；具体按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本,即输出并存储各模型池所对应的训练样本信息。

模型融合单元接收模型样本准备单元中各模型池信息和训练样本信息，若模型池内只有1 个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N 个融合模型；输出并存储各机器学习子模型信息和对应的训练样本信息，调用模型池管理单元，将模型池的更新标识设置为“已更新”。

调用样本准备单元将N个融合模型作为一个模型池，按照融合模型覆盖的最短样本时间长度分配匹配训练样本后，模型融合单元将N个融合模型进行融合，得到最终的融合模型。

子模型变动时动态融合调整：

模型池中的机器学习子模型有变动时，具体动态融合调整为如下步骤：

若有机器学习子模型下线，首先在模型稳定单元添加下线模型名称，模型稳定单元删除模型池管理单元中对应模型池中的该机器学习子模型，再判断该模型池内机器学习子模型数量是否大于等于1，若是则对该模型所在模型池添加更新标识，调用模型池管理单元将该模型池的更新标识设置为“待更新”；模型稳定单元对模型样本准备单元进行调度，以分配匹配训练样本，分配匹配训练样本后调度模型融合单元接对有“待更新”标识的模型池进行模型融合后得到中间融合层(当模型池内机器学习子模型数量分别为大于1或等于1时，按前面所述的方式并行融合输出或将单独的机器学习子模型作为融合模型输出)，再将模型池管理单元中的标识修改为“已更新”，最后再调度模型融合单元对中间融合层进行最终融合，否则输出机器学习子模型为空的标识。

若有新机器学习子模型加入，首先在模型稳定单元添加新加入模型名称，模型文档单元调用模型分池单元提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，调用模型池管理单元将该模型池的更新标识设置为“待更新”，其次模型稳定单元对模型样本准备单元进行调度，以分配匹配训练样本，分配匹配训练样本后调度模型融合单元接对有“待更新”标识的模型池进行模型融合后得到中间融合层(当模型池内机器学习子模型数量分别为大于1或等于1时，按前面所述的方式并行融合输出或将单独的机器学习子模型作为融合模型输出)，再将模型池管理单元中的标识修改为“已更新”，最后再调度模型融合单元对中间融合层进行最终融合。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (10)

1.一种机器学习模型的动态融合方法，其特征在于，包括如下步骤：

初始融合模型：

S1、按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；

S2、获取匹配训练样本，对每个模型池进行模型融合，得到中间融合层；

S3、基于得到的中间融合层进行模型融合，得到最终的融合模型；

机器学习子模型变动时动态融合调整：

S4、若模型池中的机器学习子模型有变动，将步骤S2中变动后的模型池进行模型融合更新，再转到步骤S3。

2.根据权利要求1所述的一种机器学习模型的动态融合方法，其特征在于，所述步骤S1的具体步骤为：

S1.1、输入各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

S1.2、设置分池个数参数N；

S1.3、基于样本时间长度对各机器学习子模型使用K-means聚类算法将各机器学习子模型划分为N个模型池，得到N个模型池。

3.根据权利要求1或2所述的一种机器学习模型的动态融合方法，其特征在于，所述步骤S2的具体步骤为：

S2.1、给每个模型池分配匹配的训练样本，得到匹配训练样本；

S2.2、若模型池内只有1个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N个融合模型。

4.根据权利要求3所述的一种机器学习模型的动态融合方法，其特征在于，所述步骤S2.1中根据历史样本信息，按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本，得到各模型池的匹配训练样本,即得到各模型池所对应的训练样本信息。

5.根据权利要求4所述的一种机器学习模型的动态融合方法，其特征在于，所述步骤S4的步骤包括：

若有机器学习子模型下线，则删除对应模型池中的该模型，判断该模型池内模型数量是否大于等于1，若是则再对该模型池分配匹配训练样本后进行模型融合更新，否则输出子模型为空的标识；

若有新机器学习子模型加入，首先提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，再并对该模型池分配匹配训练样本后进行模型融合更新。

6.一种机器学习模型的动态融合装置，其特征在于，包括：

模型分池单元：用于按照机器学习子模型覆盖的样本时间长度，对机器学习子模型进行分池，得到N个模型池；

模型样本准备单元：用于记录历史样本信息，再基于历史样本信息获取匹配训练样本；

模型融合单元：用于根据获取的匹配训练样本，对每个模型池进行模型融合，得到中间融合层或基于中间融合层进行模型融合，得到最终的融合模型；

模型稳定单元：用于模型池中的机器学习子模型有变动，调度模型样本准备单元和模型融合单元对变动了的模型池进行模型融合更新。

7.根据权利要求6所述的一种机器学习模型的动态融合装置，其特征在于：还包括模型池管理单元：用于接收模型分池单元输出的N个模型池，对N个模型池中的机器学习子模型进行动态存储和更新，并存储各机器学习子模型的历史样本信息，模型池管理单元接收模型稳定单元的调度。

8.根据权利要求6所述的一种机器学习模型的动态融合装置，其特征在于：所述模型分池单元实现的步骤包括：

输入各机器学习子模型及历史样本信息，统计各机器学习子模型覆盖的样本时间长度；

设置分池个数参数N；

基于样本时间长度对各机器学习子模型使用K-means聚类算法将各机器学习子模型划分为N个模型池，得到N个模型池。

9.根据权利要求8所述的一种机器学习模型的动态融合装置，其特征在于：所述模型样本准备单元根据历史样本信息，按照模型池内机器学习模型覆盖的最短样本时间长度，切割各模型池的训练样本，得到各模型池的匹配训练样本,即输出并存储各模型池所对应的训练样本信息。

10.根据权利要求9所述的一种机器学习模型的动态融合装置，其特征在于：所述模型融合单元实现的步骤包括:

若机器学习子模型未变动时：

若模型池内只有1个机器学习子模型，此模型池不再做融合，该机器学习子模型作为该模型池的模型融合输出；否则基于逻辑回归融合算法，并行地对分配了匹配训练样本的模型池进行模型融合，得到N个融合模型；

机器学习子模型变动时动态融合调整：

首先接收模型稳定单元输出的机器学习子模型下线或新加入指令；

若有机器学习子模型下线，则删除对应模型池中的该模型，判断该模型池内模型数量是否大于等于1，若是则再对该模型池分配匹配训练样本后进行模型融合更新，否则输出子模型为空的标识；

若有新机器学习子模型加入，首先提取该机器学习子模型覆盖的样本时间长度，并与各模型池中模型的平均样本时间长度做对比，选取样本时间长度最接近的模型池，加入该新机器学习子模型，再并对该模型池分配匹配训练样本后进行模型融合更新。