CN111144950B - 模型筛选方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种模型筛选方法、装置、电子设备及存储介质，涉及数字模型技术领域。所述方法包括：基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；基于第一输出结果确定多个候选模型中评估指标数值符合第一预设条件的M个候选模型；在M个候选模型中选取N个候选模型获得

个组合模型；基于测试集样本获取

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果；基于第二输出结果确定每个有效组合模型的评估指标数值；在M个候选模型和有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。该方法通过单个模型和组合模型的综合评估筛选出效果最佳的模型，能够在多种场景条件下筛选出预测精度更高的模型。

Description

模型筛选方法、装置、电子设备及存储介质

技术领域

本申请涉及数字模型技术领域，具体而言，涉及一种模型筛选方法、装置、电子设备及存储介质。

背景技术

作为智慧供应链中最重要的环节之一，需求预测当前主要采用传统的统计学方法(如时间序列预测方法)和线性回归等方法，预测方法单一且预测精度普遍较低。针对预测精度低的问题，通常是采取措施是优化需求预测模型，如增加影响货品销量的因素、采用大数据技术构建机器学习模型等方式。

现有技术主要是引入可以添加影响销量因素的时序方法和构建机器学习模型等，通过添加一些活动日历等信息，某些时序方法在一定程度上提升了预测精度，但提升相对有限；同时，不能将所有能枚举到的对货品销售有影响的因素都添加到其中，从而出现学习信息遗漏，导致学习能力降低。而通过大数据技术构建的机器学习模型虽然考虑了较多的影响因素，但是预测方法单一，并不能通用的解决简单和复杂应用场景下的需求预测问题。

因此现有技术中的模型择优均是在经验范围内选择最优模型，局限性较大，不能实现在任意场景下选择最优模型。

发明内容

有鉴于此，本申请实施例的目的在于提供一种模型筛选方法、装置、电子设备及存储介质，以改善现有技术中存在的局限性较大，不能实现在任意场景下选择最优模型的问题。

本申请实施例提供了一种模型筛选方法，所述方法包括：基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；基于所述每个候选模型的第一输出结果确定所述多个候选模型中评估指标数值符合第一预设条件的M个候选模型；在所述M个候选模型中选取N个候选模型进行组合，获得

个组合模型；基于所述测试集样本获取所述/>

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果；基于所述第二输出结果确定每个有效组合模型的评估指标数值；在所述M个候选模型和所有有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

在上述实现方式中，首先对单个模型进行筛选，然后对组合模型与单个模型进行合并筛选，从而通过两层筛选提高了模型筛选效果，获得预测效果更好的模型，提高了最终获取模型的精确度；同时通过单个模型和组合模型的综合评估筛选出效果最佳的模型，增大了模型选择范围，能够在多种场景条件下筛选出预测精度更高的模型。

可选地，在所述基于所述测试集样本获取所述

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果之前，所述方法还包括：确定所述/>

个组合模型中存在至少两个相同模型类型的候选模型的无效组合模型；排除所述组合模型中的无效组合模型，将所述/>

个组合模型中剩下的组合模型作为有效组合模型。

在上述实现方式中，在采用组合模型前将所有组合模型中的模型类型相同的无效组合模型剔除，筛选出有效组合模型，从而避免后续无效运算，并保证了模型预测精度。

可选地，在所述基于测试集样本获取多个候选模型中每个候选模型的第一输出结果之前，所述方法还包括：获取需要进行模型处理的目标数据，以及与所述目标数据对应的相关影响因素数据；基于所述目标数据和所述相关影响因素数据生成样本特征；将所述样本特征划分为训练集样本和所述测试集样本；基于所述训练集样本训练获得所述多个候选模型。

在上述实现方式中，基于目标数据和相关影响因素数据进行训练集和测试集划分以进行模型训练，能够在模型预测中体现目标数据和相关影响因素数据的关联，提高了训练获得的模型的预测精度。

可选地，所述基于所述目标数据和所述相关影响因素数据生成样本特征，包括：对所述目标数据和所述相关影响因素数据进行特征化处理，获得目标数据特征和相关影响因素特征；基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征。

在上述实现方式中，基于时间维度对目标数据特征和相关影响因素特征进行拼接获得样本特征，进一步提高了模型预测中目标数据和相关影响因素数据的关联性，并带有时间维度的对应关系，从而进一步提高了模型预测准确度。

可选地，在所述基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征之前，所述方法还包括：对所述目标数据特征和所述相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，获得标准目标数据特征和标准相关影响因素特征；所述基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征，包括：基于时间维度上的对应关系将所述标准目标数据特征和所述标准相关影响因素特征拼接成所述样本特征。

在上述实现方式中，在样本特征获取前对目标数据特征和相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，提高了输入数据的精确度，从而提高了生成模型的预测精确度。

可选地，所述将所述样本特征划分为训练集样本和所述测试集样本，包括：确定聚合粒度，所述聚合粒度表示所述测试集样本输入候选模型或组合模型的数据单元长度；将所述样本特征中处于最后所述数据单元长度的范围中的样本特征作为所述测试集样本，剩余的样本特征作为所述训练集样本。

在上述实现方式中，基于聚合粒度在样本特征中选取数据单元长度的范围中的样本特征作为测试集样本，使模型可以基于预设的多种数据单元长度的输入进行预测，提高了其适用性。

可选地，所述基于所述测试集样本获取所述

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果，包括：获取每个有效组合模型中所有候选模型对应的所述第一输出结果的平均值，将所述平均值作为所述第二输出结果。

在上述实现方式中，将有效组合模型中所有候选模型的输出结果的平均值作为第二输出结果，使第二输出结果更加符合有效组合模型中所有候选模型的输出特性，提高了其准确性和适用性。

本申请实施例还提供了一种模型筛选装置，所述装置包括：第一输出模块，用于基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；第一评估模块，用于基于所述每个候选模型的第一输出结果确定所述多个候选模型中评估指标数值符合第一预设条件的M个候选模型；模型组合模块，用于在所述M个候选模型中选取N个候选模型进行组合，获得

个组合模型；第二输出模块，用于基于所述测试集样本获取所述/>

个组合模型中的有效组合模型的第二输出结果；第二评估模块，用于基于所述第二输出结果确定所述有效组合模型的评估指标数值；目标确定模块，用于在所述M个候选模型和所述有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

在上述实现方式中，首先对单个模型进行筛选，然后对组合模型与单个模型进行合并筛选，从而通过两层筛选提高了模型筛选效果，获得预测效果更好的模型，提高了最终获取模型的精确度；同时通过单个模型和组合模型的综合评估筛选出效果最佳的模型，增大了模型选择范围，能够在多种场景条件下筛选出预测精度更高的模型。

可选地，所述模型筛选装置还包括：有效组合模型确定模块，用于确定所述

个组合模型中存在至少两个相同模型类型的候选模型的无效组合模型；排除所述组合模型中的无效组合模型，将所述/>

个组合模型中剩下的组合模型作为有效组合模型。

在上述实现方式中，在采用组合模型前将所有组合模型中的模型类型相同的无效组合模型剔除，筛选出有效组合模型，从而避免后续无效运算，并保证了模型预测精度。

可选地，所述模型筛选装置还包括：模型训练模块，用于获取需要进行模型处理的目标数据，以及与所述目标数据对应的相关影响因素数据；基于所述目标数据和所述相关影响因素数据生成样本特征；将所述样本特征划分为训练集样本和所述测试集样本；基于所述训练集样本训练获得所述多个候选模型。

在上述实现方式中，基于目标数据和相关影响因素数据进行训练集和测试集划分以进行模型训练，能够在模型预测中体现目标数据和相关影响因素数据的关联，提高了训练获得的模型的预测精度。

可选地，所述模型训练模块具体用于：对所述目标数据和所述相关影响因素数据进行特征化处理，获得目标数据特征和相关影响因素特征；基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征。

在上述实现方式中，基于时间维度对目标数据特征和相关影响因素特征进行拼接获得样本特征，进一步提高了模型预测中目标数据和相关影响因素数据的关联性，并带有时间维度的对应关系，从而进一步提高了模型预测准确度。

可选地，所述模型训练模块具体用于：对所述目标数据特征和所述相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，获得标准目标数据特征和标准相关影响因素特征；以及基于时间维度上的对应关系将所述标准目标数据特征和所述标准相关影响因素特征拼接成所述样本特征。

在上述实现方式中，在样本特征获取前对目标数据特征和相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，提高了输入数据的精确度，从而提高了生成模型的预测精确度。

可选地，所述模型训练模块具体用于：确定聚合粒度，所述聚合粒度表示所述测试集样本输入候选模型或组合模型的数据单元长度；将所述样本特征中处于最后所述数据单元长度的范围中的样本特征作为所述测试集样本，剩余的样本特征作为所述训练集样本。

在上述实现方式中，基于聚合粒度在样本特征中选取数据单元长度的范围中的样本特征作为测试集样本，使模型可以基于预设的多种数据单元长度的输入进行预测，提高了其适用性。

可选地，所述第二输出模块具体用于：获取每个有效组合模型中所有候选模型对应的所述第一输出结果的平均值，将所述平均值作为所述第二输出结果。

在上述实现方式中，将有效组合模型中所有候选模型的输出结果的平均值作为第二输出结果，使第二输出结果更加符合有效组合模型中所有候选模型的输出特性，提高了其准确性和适用性。

本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种模型筛选方法的流程示意图；

图2为本申请实施例提供的一种样本获取及模型训练步骤的流程示意图；

图3为本申请实施例提供的一种样本特征生成步骤的流程示意图；

图4为本申请实施例提供的一种模型筛选装置的模块示意图。

图标：70-模型筛选装置；71-第一输出模块；72-第一评估模块；73-模型组合模块；74-第二输出模块；75-第二评估模块；76-目标确定模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

经本申请人研究发现，现有模型选择方式需要依赖经验判断可能最优的候选模型，而无法应用于需求预测的任意场景下，综合考虑活动、天气、节假日、日期等不同影响因素，训练学习不同类型模型，制定模型组合策略，根据选定预测评估指标选择最优模型，存在适用范围较小的问题。

为了解决上述问题，本申请实施例提供了一种模型筛选方法，请参考图1，图1为本申请实施例提供的一种模型筛选方法的流程示意图。该模型筛选方法的具体步骤可以如下：

步骤S10：基于测试集样本获取多个候选模型中每个候选模型的第一输出结果。

应当理解的是，本发明旨在提出一种自动化效果择优的时序序列预测方案，在引入多个通用的目标影响因素、学习不同类型模型(如基础模型、统计时序模型、机器学习和深度学习模型等)、结合模型融合策略并采用多种预测评估指标的情况下，可以在最大范围内选择最优的预测模型，从而整体提升的预测精度。在本实施例中，以需求预测模型为例进行说明，需求预测通常为货品需求数量、售卖数量等。

本实施例中的候选模型可以是不同类型的模型，其可以包括但不限于是基础模型、统计模型、时间序列模型、机器学习和深度学习模型等。具体地，例如DNN、SingleExpSmooth、DoubleExpSmooth、SimMoveAvg7、FM、Ridge、RegressionTree、TripleExpSmooth7等模型。

上述测试集样本是通过对历史需求数据以及与其对应的相关影响因素数据进行处理获得的。

每个候选模型的第一输出结果为基于测试集样本进行预测获得的预测结果，例如候选模型用于对货品售卖量进行预测，则第一输出结果为某一时段货品售卖量的预测量。

步骤S20：基于每个候选模型的第一输出结果确定多个候选模型中评估指标数值符合第一预设条件的M个候选模型。

其中，评估指标数值是指用于评估模型训练效果的指标，其可以是但不限于是MAPE(Mean Absolute Percentage Error，平均百分比误差)、RMSE(Root MeanSquareError,均方根误差)或MAE(Mean Absolute Error，平均绝对误差)、MSE(MeanSquare Error，均方差)等。

可选地，第一预设条件可以是根据需求预测的具体要求或固有经验进行调整设定的MAPE阈值、RMSE阈值等。

上述M个候选模型中的M可以是取所有满足第一预设条件的候选模型的数量。同时，M还可以是基于运算资源、运算时间、已有经验等考虑设置的限制数量，例如满足第一预设条件的候选模型的个数为10个，M的限制数量取值为8，则选取10个满足第一预设条件的候选模型中评估指标数值较佳的8个。

可选地，本实施中的评估指标数值符合第一预设条件，可以是评估指标数值大于或小于该评估指标数值对应的一个预设阈值，也可以是评估指标数值接近该评估指标数值对应的一个预设阈值等。

步骤S30：在M个候选模型中选取N个候选模型进行组合，获得

个组合模型。

上述

个组合模型的获取方式为数学计算中常用的排列组合计算方式中的组合计算方法。同时，N的取值可以基于已有经验进行设定，可以是但不限于是3、6、8等。

作为一种实施方式，在M个候选模型中选取N个候选模型进行组合，可以是简单地将N个候选模型作为一个集合，在输出结果时将N个候选模型的单独输出结果进行平均，将该平均值作为组合模型输出的结果。

作为另外一种实施方式，在M个候选模型中选取N个候选模型进行组合，可以是将N个候选模型进行模型融合，即基于提升方法(Boosting)或其他模型融合方式将N个候选模型融合获得融合模型，然后将融合模型的输出结果作为组合模型的输出结果。

应当理解的是，在执行步骤S40之前，

个组合模型中通常会存在一个组合模型中存在两个或两个以上相同模型类型的候选模型的情况，例如SingleExpSmooth、DoubleExpSmooth同属于指数平滑类模型，则该组合模型输出的预测结果准确性会由于SingleExpSmooth、DoubleExpSmooth的对同类型指标的不同标准运算冲突出现误差，因此在同一组合模型中存在两个或两个以上相同类型的候选模型时应当弃用该组合模型。

具体地，基于候选模型的模型类型筛选组合模型中的有效组合模型的具体步骤可以如下：

步骤S31：确定

个组合模型中存在至少两个相同模型类型的候选模型的无效组合模型。

步骤S32：排除组合模型中的无效组合模型，将

个组合模型中剩下的组合模型作为有效组合模型。

本实施例通过上述步骤S31-S32对组合模型中具有相同类型的候选模型的候选模型进行排除，从而避免对同一指标的不同评判准则带来的预测误差，提高了模型预测准确性。

此外，本实施例的步骤S10和S40均需要用到测试集样本，且要通过候选模型获得第一输出结果，则在步骤S10之前就需要获得测试集样本，并获得训练集样本训练获得候选模型。

具体地，请参考图2，图2为本申请实施例提供的一种样本获取及模型训练步骤的流程示意图。该步骤具体可以包括：

步骤S31：获取需要进行模型处理的目标数据，以及与目标数据对应的相关影响因素数据。

可选地，目标数据可以是历史需求量数据，其为一个序列数据。例如某一商品在某段历史时间中的日需求量、周需求量、月需求量等。

可选地，相关影响因素数据主要是会对目标数据造成影响的时间、天气、节假日、人流量等历史数据。例如目标数据为伞具的历史需求量数据时，其相关影响因素数据必然包括天气历史数据，目标数据为气球的历史需求量数据时，其相关影响因素数据必然包括节假日历史数据。

具体地，天气历史数据可以包括目标数据对应时间段中每天的日间平均温度、夜间平均温度、日间风速、夜间风速、天气类型等。类似地，节假日历史数据、人流量历史数据等也可以进一步进行不同精度的数据划分及获取，从而提高数据输入及预测结果的精度。

步骤S32：基于目标数据和相关影响因素数据生成样本特征。

具体地，请参考图3，图3为本申请实施例提供的一种样本特征生成步骤的流程示意图，该步骤S32可以包括如下具体子步骤：

步骤S321：对目标数据和相关影响因素数据进行特征化处理，获得目标数据特征和相关影响因素特征。

可选地，本实施中的候选模型的模型类型识别可以是基于预先对每个候选模型设置的来源标签实现的，不同的来源标签表示不同的模型类型。

本实施例中的特征化处理可以是特征提取，特征提取的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间，以获得利于机器分类、处理的特征。

可选地，本实施例中的特征化处理可以通过PCA(Principal ComponentAnalysis，主成分分析)、LDA(Latent Dirichlet Allocation，因狄利克雷分配模型)、SVD(Singular value decomposition，奇异值分解)或其他特征提取方式完成。

应当理解的是，在对目标数据特征和相关影响因素特征进行进一步处理之前，为了保证模型输入数据的准确性，还可以对目标数据特征和相关影响因素特征进行数据预处理。

可选地，该数据预处理的步骤可以包括：对目标数据特征和相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，获得标准目标数据特征和标准相关影响因素特征。

其中，由于需求量具有非负性，那么需要对可能存在的负值进行检查和修正，修正的方式通常是修改为0。目标数据带有时间节点，对于缺失的数据，需要进行填充处理，使得数据是连贯的，缺失值处理的方式通常是0值、序列中位数、均值填充或者线性插值填充。异常值处理主要包含异常值检测和修正，通常采用3-σ或者S-ESD等方法，然后对检测判断为异常的数据修改为某个上限值。

步骤S322：基于时间维度上的对应关系将目标数据特征和相关影响因素特征拼接成样本特征。

基于时间维度的特征拼接可以简单理解为将同一时间段的目标数据特征和相关影响因素特征相对应。例如10月1日的气球需求量的目标数据特征应当与10月1日是否为节假日的相关影响因素特征相对应，则10月1日的目标数据特征与10月1日的相关影响因素特征应当拼接，以体现其时间维度上的对应关系。

具体地，对输入数据构建特征，主要包含目标数据的近期历史需求、近期窗口的统计量(均值、最大值、最小值、方差等)、差分、环比等，时间特征包含周几、月份、每月第几天等，天气数据包括早中晚天气情况、早晚温度、温差等，节假日数据则是对每天标记是否为节假日(传统、网络节假日)、工作日等，最后将所有数据生成的特征根据时间维度拼接生成样本特征。

步骤S33：将样本特征划分为训练集样本和测试集样本。

可选地，基于时间维度生成的样本特征在进行预测时可以根据候选模型或组合模型设置的时间的聚合粒度输入不同数据单元长度的数据。例如在聚合粒度为月时，则候选模型或组合模型会以月为最小单位进行测试集样本的输入及输出结果的输出，例如七月、八月、九月的伞具需求量。

因此，本实施例中考虑到聚合粒度的步骤S33具体可以包括：

步骤S331：确定聚合粒度，聚合粒度表示测试集样本输入候选模型或组合模型的数据单元长度。

步骤S332：将样本特征中处于最后数据单元长度的范围中的样本特征作为测试集样本，剩余的样本特征作为训练集样本。

步骤S34：基于训练集样本训练获得多个候选模型。

可选地，本实施例可以通过滚动预测的方式在测试集样本上通过候选模型进行预测，以实现每个候选模型的单独训练和预测。

应当理解的是，本实施例中的步骤S31-S34步骤标号比S10等数值大，并不代表其执行顺序在步骤S10之后，在首次进行模型训练时，步骤S31-S34的执行顺序在步骤S10之前。

步骤S40：基于测试集样本获取

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果。

在将N个候选模型作为一个集合时，在输出结果时将N个候选模型的单独输出结果进行平均，将该平均值作为有效组合模型的第二输出结果。

在将N个候选模型进行模型融合时，将融合模型的输出结果作为有效组合模型的第二输出结果。

步骤S50：基于第二输出结果确定每个有效组合模型的评估指标数值。

可选地，步骤S50中的评估指标数值应当与步骤S20中采用统一的评估指标。在其他实施例中，若不采用统一的评估指标，则需要用新的评估指标对每个候选模型进行重新评估，再结合有效组合模型的评估结果进行后续模型筛选。

步骤S60：在M个候选模型和所有有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

应当理解的是，上述P个目标模型中的P可以是取所有满足第二预设条件的候选模型和有效组合模型的数量。同时，P还可以是基于运算资源、运算时间、已有经验等考虑设置的限制数量，例如满足第二预设条件的候选模型和有效组合模型的个数为10个，P的限制数量取值为8，则选取10个满足第二预设条件的候选模型和有效组合模型中评估指标数值较佳的8个。

可选地，本实施中的评估指标数值符合第二预设条件可以与第一预设条件相同或不同，可以是评估指标数值大于或小于该评估指标数值对应的一个预设阈值，也可以是评估指标数值接近该评估指标数值对应的一个预设阈值等。

为了配合本实施例提供的上述模型筛选方法，本实施例还提供了一种模型筛选装置70。请参考图4，图4为本申请实施例提供的一种模型筛选装置的模块示意图。

模型筛选装置70：

第一输出模块71，用于基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；

第一评估模块72，用于基于每个候选模型的第一输出结果确定多个候选模型中评估指标数值符合第一预设条件的M个候选模型；

模型组合模块73，用于在M个候选模型中选取N个候选模型进行组合，获得

个组合模型；

第二输出模块74，用于基于测试集样本获取

个组合模型中的有效组合模型的第二输出结果；

第二评估模块75，用于基于第二输出结果确定有效组合模型的评估指标数值；

目标确定模块76，用于在M个候选模型和有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

可选地，模型筛选装置70还包括：有效组合模型确定模块，用于确定

个组合模型中存在至少两个相同模型类型的候选模型的无效组合模型；排除组合模型中的无效组合模型，将/>

个组合模型中剩下的组合模型作为有效组合模型。

可选地，模型筛选装置70还包括：模型训练模块，用于获取需要进行模型处理的目标数据，以及与目标数据对应的相关影响因素数据；基于目标数据和相关影响因素数据生成样本特征；将样本特征划分为训练集样本和测试集样本；基于训练集样本训练获得多个候选模型。

可选地，模型训练模块具体用于：对目标数据和相关影响因素数据进行特征化处理，获得目标数据特征和相关影响因素特征；基于时间维度上的对应关系将目标数据特征和相关影响因素特征拼接成样本特征。

可选地，模型训练模块具体用于：对目标数据特征和相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，获得标准目标数据特征和标准相关影响因素特征；以及基于时间维度上的对应关系将标准目标数据特征和标准相关影响因素特征拼接成样本特征。

可选地，模型训练模块具体用于：确定聚合粒度，聚合粒度表示测试集样本输入候选模型或组合模型的数据单元长度；将样本特征中处于最后数据单元长度的范围中的样本特征作为测试集样本，剩余的样本特征作为训练集样本。

可选地，第二输出模块74具体用于：获取每个有效组合模型中所有候选模型对应的第一输出结果的平均值，将平均值作为第二输出结果。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的模型筛选方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行模型筛选方法中的步骤。

综上所述，本申请实施例提供了一种模型筛选方法、装置、电子设备及存储介质，所述方法包括：基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；基于所述每个候选模型的第一输出结果确定所述多个候选模型中评估指标数值符合第一预设条件的M个候选模型；在所述M个候选模型中选取N个候选模型进行组合，获得

个组合模型；基于所述测试集样本获取所述/>

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果；基于所述第二输出结果确定每个有效组合模型的评估指标数值；在所述M个候选模型和所有有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

在上述实现方式中，首先对单个模型进行筛选，然后对组合模型与单个模型进行合并筛选，从而通过两层筛选提高了模型筛选效果，获得预测效果更好的模型，提高了最终获取模型的精确度；同时通过单个模型和组合模型的综合评估筛选出效果最佳的模型，增大了模型选择范围，能够在多种场景条件下筛选出预测精度更高的模型。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种模型筛选方法，其特征在于，所述方法包括：

基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；

基于所述每个候选模型的第一输出结果确定所述多个候选模型中评估指标数值符合第一预设条件的M个候选模型；

在所述M个候选模型中选取N个候选模型进行组合，获得

个组合模型；

基于所述测试集样本获取所述

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果；

基于所述第二输出结果确定每个有效组合模型的评估指标数值；

在所述M个候选模型和所有有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

2.根据权利要求1所述的方法，其特征在于，在所述基于所述测试集样本获取所述

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果之前，所述方法还包括：

确定所述

个组合模型中存在至少两个相同模型类型的候选模型的无效组合模型；

排除所述组合模型中的无效组合模型，将所述

个组合模型中剩下的组合模型作为有效组合模型。

3.根据权利要求1所述的方法，其特征在于，在所述基于测试集样本获取多个候选模型中每个候选模型的第一输出结果之前，所述方法还包括：

获取需要进行模型处理的目标数据，以及与所述目标数据对应的相关影响因素数据；

基于所述目标数据和所述相关影响因素数据生成样本特征；

将所述样本特征划分为训练集样本和所述测试集样本；

基于所述训练集样本训练获得所述多个候选模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标数据和所述相关影响因素数据生成样本特征，包括：

对所述目标数据和所述相关影响因素数据进行特征化处理，获得目标数据特征和相关影响因素特征；

基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征。

5.根据权利要求4所述的方法，其特征在于，在所述基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征之前，所述方法还包括：

对所述目标数据特征和所述相关影响因素特征进行负值修正、缺失值填充和/或异常值处理，获得标准目标数据特征和标准相关影响因素特征；

所述基于时间维度上的对应关系将所述目标数据特征和所述相关影响因素特征拼接成所述样本特征，包括：

基于时间维度上的对应关系将所述标准目标数据特征和所述标准相关影响因素特征拼接成所述样本特征。

6.根据权利要求3所述的方法，其特征在于，所述将所述样本特征划分为训练集样本和所述测试集样本，包括：

确定聚合粒度，所述聚合粒度表示所述测试集样本输入候选模型或组合模型的数据单元长度；

将所述样本特征中处于最后所述数据单元长度的范围中的样本特征作为所述测试集样本，剩余的样本特征作为所述训练集样本。

7.根据权利要求1所述的方法，其特征在于，所述基于所述测试集样本获取所述

个组合模型中的所有有效组合模型中每个有效组合模型的第二输出结果，包括：

获取每个有效组合模型中所有候选模型对应的所述第一输出结果的平均值，将所述平均值作为所述第二输出结果。

8.一种模型筛选装置，其特征在于，所述装置包括：

第一输出模块，用于基于测试集样本获取多个候选模型中每个候选模型的第一输出结果；

第一评估模块，用于基于所述每个候选模型的第一输出结果确定所述多个候选模型中评估指标数值符合第一预设条件的M个候选模型；

模型组合模块，用于在所述M个候选模型中选取N个候选模型进行组合，获得

个组合模型；

第二输出模块，用于基于所述测试集样本获取所述

个组合模型中的有效组合模型的第二输出结果；

第二评估模块，用于基于所述第二输出结果确定所述有效组合模型的评估指标数值；

目标确定模块，用于在所述M个候选模型和所述有效组合模型中选取评估指标数值符合第二预设条件的P个目标模型。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述方法中的步骤。

Images