CN115952418A - 一种基于模型超参数的机器学习模型优化的方法及装置 - Google Patents

Abstract

本发明公开了一种基于模型超参数的机器学习模型优化的方法及装置。利用随机抽样超参数组合定义机器学习模型架构，交叉验证训练模型，通过模型性能指标分析超参数组合所训练的模型的性能表现，从而减少以往的模型调参过程中出现的局部最优解情况，提升模型的性能和泛化能力。通过结合机器学习模型自身超参数和应用场景来初始化设定超参数取值范围，将每一种模型超参数的不同取值进行排列组合生成超参数组合容器，在容器内不放回地随机采样选取超参数组合训练机器学习模型，交叉验证后的预测结果通过模型性能评价指标拟合为重要性系数，以此来筛选出最优的超参数组合。

Description

一种基于模型超参数的机器学习模型优化的方法及装置

技术领域

本发明涉及一种机器学习模型性能优化方法，具体地说，是一种基于模型超参数的机器学习模型优化的方法及装置。

背景技术

随着人工智能技术的不断发展，越来越多的研究者使用信息数据提高生产率去解决现实问题，而训练机器学习模型就是其中最有效的方法之一。机器学习算法已广泛应用于各种应用和领域。但是，如何提升机器学习模型的准确率，提高机器学习模型的泛化能力，成为了如今研究者们思考更多的问题。

目前提升机器学习算法模型准确率的方法多种多样。比如：增加更多数据集；处理缺失值与异常值；特征工程；特征选择；机器学习算法比较；算法调参等等，总的来说一般是从数据角度和算法角度两个方面进行优化。

其中特征选择算法根据所采用的特征评价策略可以分为Filter和Wrapper两大类。其中Wrapper方法在筛选特征的过程中直接用所选特征子集来训练分类器,根据分类器在测试集的性能表现来评价该特征子集的优劣。

然而，训练的质量不仅取决于给定的训练数据，还取决于难以调整的额外学习参数。机器学习模型中存在两种类型的参数：一种可以通过数据学习过程进行初始化和更新,命名为模型参数；而另一个称为超参数，不能直接从数据学习中估计，必须在训练机器学习模型之前设置，因为它们定义了模型架构。

为了使机器学习模型适应不同的应用场景，必须调整其超参数，为机器学习选择最佳超参数配置模型，直接影响模型的性能。然而以往的超参数调参过程中，一般都是选择默认的超参数数值，或进行调参时只是凭感觉粗略地调整个别参数，这并不能将机器学习模型的性能发挥到极致，会出现欠拟合的情况。

发明内容

本发明正是针对现有技术存在的问题，提供了一种基于模型超参数的机器学习模型优化方法及装置，利用随机抽样超参数组合定义机器学习模型架构，交叉验证训练模型，通过模型性能指标分析超参数组合所训练的模型的性能表现，从而减少以往的模型调参过程中出现的局部最优解情况，提升模型的性能和泛化能力。

具体地，该方法初始化超参数取值范围，将每类超参数的每种取值情况都进行排列组合成超参数组合集，在超参数组合集中随机抽样选取超参数组合定义机器学习模型架构。通过机器学习模型性能指标值进行排列，统计模型超参数各个取值的占有率，调整权重计算重要性系数，以此来筛选出模型超参数的最优解的取值用来构建性能较优的机器学习模型。具体地，本发明是采用以下技术方案来实现的：

本发明公开了一种基于模型超参数的机器学习模型优化方法，包括：

获得至少2个以上重要超参数的机器学习模型；

获得至少上千条的数据作为模型的训练集和测试集；

根据机器学习模型超参数的实际意义规范初始取值范围；

根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器；

在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型；

根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果；

根据机器学习模型的K个预测结果计算出模型的评价指标系数；

根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单；

根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数；

根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

作为进一步地改进，本发明所述的根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器，具体为：

在规范好的初始取值范围内模型超参数随机取值，与其他的模型超参数的取值组合为模型超参数组合，为避免出现重复采样，浪费设备资源，节省实验成本，将所有模型超参数的所有取值可能都进行排列组合，生成模型超参数容器。

作为进一步地改进，本发明所述的根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单，具体为：

以K折交叉验证所预测得到的K个评价指标系数值的均值为依据，从高到低排序，统计出M档模型超参数在取不同值时的占有率，M档中每档为前N％的排序结果(M>1，N<100且相邻档间间隔大于1％)。每一类超参数都会生成一个该超参数取值范围内的占有率Top榜单。

作为进一步地改进，本发明所述的根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数，具体为：

根据模型超参数的多个Top榜单，带入到分配权重公式中计算出最终的模型超参数在取不同值时的重要性系数。

上述的权重公式如下所示：

其中ω₀是模型超参数的最终性能指数，C_i是Top榜单中模型超参数取不同值时的占比，L是榜单的数量。每类模型超参数的每一种情况取值都会计算出其所对应的ω₀值。

作为进一步地改进，本发明所述的根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值，具体为：

根据每一类模型超参数的每一种取值时的重要性系数值，分析取值范围与系数的关联性，观察系数值是否会随着模型超参数值的增大而单调递增或单调递减，假如随着模型超参数设定值的增大，系数值呈现单调性，则表明初始超参数取值范围较小，导致模型超参数取值范围内的重要性系数最大值可能为重要性系数局部最大值，故该模型超参数需要重新规划取值范围，重新训练模型以确定当前超参数的重要性系数最大值，直至模型超参数的重要性系数值分布情况与模型超参数取值大小分布不呈单调关系为止。

本发明公开了一种基于模型超参数的机器学习模型优化方法，包括：

第一处理模块：用于获得至少2个以上重要超参数的机器学习模型；获得至少上千条的数据作为模型的训练集和测试集；

第一规范模块：用于根据机器学习模型超参数的实际意义规范初始取值范围；

第一组合模块：用于根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器；

第一选择模块：用于在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型；

第一训练模块：用于根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果；

第一计算模块：用于根据机器学习型的K个预测结果计算出模型的评价指标系数；

第一统计模块：用于根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单；

第二计算模块：用于根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数；

第二选择模块：用于根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

本发明的有益效果如下：

本发明利用随机抽样和多维评判指标的特点，以数据驱动为基准实现了一种基于模型超参数的机器学习模型优化的方法。通过结合机器学习模型自身超参数和应用场景来初始化设定超参数取值范围，将每一种模型超参数的不同取值进行排列组合生成超参数组合容器，在容器内不放回地随机采样选取超参数组合训练机器学习模型，交叉验证后的预测结果通过模型性能评价指标拟合为重要性系数，以此来筛选出最优的超参数组合，从而得到性能较优的机器学习模型，实现提升机器学习模型性能的目的。

附图说明

图1是本发明的数据流程图；

图2是四种超参数重要性系数折线趋势图；

图3是未达标超参数第二轮的重要性系数折线趋势图；

具体实施方式

下面通过结合说明书附图，通过具体实施例，对本发明的技术方案作进一步地说明：

本发明的目的是针对现有的机器学习超参数调参不规范而导致的模型性能不达标的情况，提出了一种基于模型超参数的机器学习模型优化的方法，图1是本发明的数据流程图：

本发明的具体实施方法如下：

步骤一、获得至少2个以上重要超参数的机器学习模型。

本实施例中获得了随机森林模型作为此次实施例的机器学习模型。

步骤二、获得至少上千条的数据作为模型的训练集和测试集。

本实施例中获取到了图像配准的结构化数据作为模型的训练集和测试集，一共九千条数据。

步骤三、根据机器学习模型超参数的实际意义规范初始取值范围。

本实施例中的随机森林模型的主要超参数包含：n_estimators：决策树个数、max_depth：决策树最大深度、min_samples_split：最小分离样本数(即拆分决策树节点所需的最小样本数)、min_samples_leaf：最小叶子节点样本数(即一个叶节点所需包含的最小样本数)。

随机森林的四个超参数取值范围规范为：决策树个数在0到500的范围内均匀选取100个值、决策树最大深度在0到100的范围内均匀选取50个值、最小分离样本数(即拆分决策树节点所需的最小样本数)在0到20的范围内均匀选取10个值、最小叶子节点样本数(即一个叶节点所需包含的最小样本数)在0到20的范围内均匀选取10个值。

步骤四、根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器。

在规范好的初始取值范围内模型超参数随机取值，与其他的模型超参数的取值组合为模型超参数组合，为避免出现重复采样，浪费设备资源，节省实验成本，将所有模型超参数的所有取值可能都进行排列组合，生成模型超参数容器。

本实施例中的四个超参数的所有取值可能进行排列组合，一共会产生100*50*10*10＝500000种不同的超参数组合放入到容器内。

步骤五、在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型。

本实施例中的模型超参数容器内包含500000种不同的模型超参数组合。在该容器中不放回的随机抽样50000组模型超参数组合，将会生成50000种不同的随机森林模型。

步骤六、根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果。

本实施例中上述产生的50000种不同的随机森林模型还将进行3折交叉验证，整个流程将会训练150000次，每次训练都会产生一个预测结果。

步骤七、根据机器学习型的K个预测结果计算出模型的评价指标系数。模型性能评价指标需要根据机器学习模型的类型而选用不同的评价方式，而机器学习模型大致一共分为三类：分类、回归、聚类。

机器学习分类模型选用计算查准率、查全率、F1值的方法。

查准率公式如下：

查全率公式如下：

F1值公式如下：

其中TP表示正确地把正样本预测为正；FN表示错误地把正样本预测为负；FP表示错误地把负样本预测为正；TN表示正确地把负样本预测为负，Precise表示正确预测正样本占实际预测为正样本的比例，Recall表示正确预测正样本占正样本的比例，F1表示模型性能。

机器学习回归模型选用计算均方误差的方法。

均方误差公式如下：

其中Y_i表示测试样本的真实值；

表示测试样本的预测值；MSE表示均方误差，预测结果与真实结果的匹配程度，评估回归模型的性能。

本实施例中的随机森林模型与数据集皆为分类，使用计算F1值的方法评估当前机器学习模型的性能。将每个机器学习模型测试出的K个预测结果计算出K个F1值，计算结果存储为csv文件，包含50000条数据，每条数据由模型超参数组合、模型评价指标系数构成。

步骤八、根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单。

以K折交叉验证所预测得到的K个评价指标系数值的均值为依据，从高到低排序，统计出M档模型超参数在取不同值时的占有率，M档中每档为前N％的排序结果(M>1，N<100且相邻档间间隔大于1％)。每一类超参数都会生成一个该超参数取值范围内的占有率Top榜单。

本实施例中将3折交叉验证所得到的3个评价指标系数值的均值为依据，从高到低排序，分别统计模型超参数在取不同值时的前1％、前2％、前5％、前10％、前20％的数据中的模型超参数值的占有率，每一类模型超参数都会生成一个该超参数取值范围内的占有率Top榜单。一共产生出四个超参数的总Top榜单，每个总Top榜单分为5个子Top榜单，而每个子Top榜单都是当前超参数在取不同值时的占有率。

步骤九、根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数。

根据模型超参数的多个Top榜单，带入到分配权重公式中计算出最终的模型超参数在取不同值时的重要性系数。

上述的权重公式如下所示：

其中ω₀是模型超参数的最终性能指数，C_i是Top榜单中模型超参数取不同值时的占比，L是榜单的数量。每类模型超参数的每一种情况取值都会计算出其所对应的ω₀值。

步骤十、根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

根据每一类模型超参数的每一种取值时的重要性系数值，分析取值范围与系数的关联性，观察系数值是否会随着模型超参数值的增大而单调递增或单调递减，假如随着模型超参数设定值的增大，系数值呈现单调性，则表明初始超参数取值范围较小，导致模型超参数取值范围内的重要性系数最大值可能为重要性系数局部最大值，故该模型超参数需要重新规划取值范围，重新训练模型以确定当前超参数的重要性系数最大值，直至模型超参数的重要性系数值分布情况与模型超参数取值大小分布不呈单调关系为止。

本实施例中，图2是四种超参数重要性系数折线趋势图，在最小叶子节点样本数超参数的实验过程中发现，超参数取值范围设定为(0,20)并没有找到稳定且极大值，需要单独对最小叶子节点样本数的超参数进行重新规范取值范围，做进一步的对比实验。而其他三类超参数，依据在稳定的基础上尽可能选择占有率更高的值的原则，分别选取了决策树个数为50、决策树最大深度为50、最小分离样本数为20作为较优的超参数组合。

单独对最小叶子节点样本数的超参数进行实验，决策树个数固定为50，决策树最大深度固定为50，最小分离样本数固定为50，最小叶子节点样本数的超参数范围设定为(0,50)取50个值。此次第二轮一共设计了50组超参数组合，会产生50种不同的模型，每个模型还将进行3折交叉验证，整个流程将会训练150次。训练结果存储为csv文件，包含50条数据，每条数据由超参数组合、模型性能评价指标构成。

模型预测结果带入到权重公式内计算最终的重要性系数，分析第二轮对比实验的实验结果，图3是未达标超参数第二轮的重要性系数折线趋势图。此次并没有呈单调趋势，综合考虑模型训练时长和稳定性的基础上选取了最小叶子节点样本数为20。

最终决策树个数为50、决策树最大深度为50、最小分离样本数为20、最小叶子节点样本数为20作为较优的超参数组合去定义随机森林模型的架构。

本发明还公开了一种基于模型超参数的机器学习模型优化装置，包括：

第一处理模块：用于获得至少2个以上重要超参数的机器学习模型；获得至少上千条的数据作为模型的训练集和测试集；

第一规范模块：用于根据机器学习模型超参数的实际意义规范初始取值范围；

第一组合模块：用于根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器；

第一选择模块：用于在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型；

第一训练模块：用于根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果；

第一计算模块：用于根据机器学习型的K个预测结果计算出模型的评价指标系数；

第一统计模块：用于根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单；

第二计算模块：用于根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数；

第二选择模块：用于根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

以上所述并非是对本发明的限制，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实质范围的前提下，还可以做出若干变化、改型、添加或替换，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于模型超参数的机器学习模型优化方法，其特征在于，包括：

获得至少2个以上重要超参数的机器学习模型；

获得至少上千条的数据作为模型的训练集和测试集；

根据机器学习模型超参数的实际意义规范初始取值范围；

根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器；

在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型；

根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果；

根据机器学习模型的K个预测结果计算出模型的评价指标系数；

根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单；

根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数；根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

2.根据权利要求1所述的基于模型超参数的机器学习模型优化方法，其特征在于，所述的根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器，具体为：

在规范好的初始取值范围内模型超参数随机取值，与其他的模型超参数的取值组合为模型超参数组合，为避免出现重复采样，将所有模型超参数的所有取值可能都进行排列组合，生成模型超参数容器。

3.根据权利要求1或2所述的基于模型超参数的机器学习模型优化方法，其特征在于，所述的根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单，具体为：

以K折交叉验证所预测得到的K个评价指标系数值的均值为依据，从高到低排序，统计出M档模型超参数在取不同值时的占有率，M档中每档为前N％的排序结果(M>1，N<100且相邻档间间隔大于1％)，每一类超参数都会生成一个该超参数取值范围内的占有率Top榜单。

4.根据权利要求3所述的基于模型超参数的机器学习模型优化方法，其特征在于，所述的根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数，具体为：

根据模型超参数的多个Top榜单，带入到分配权重公式中计算出最终的模型超参数在取不同值时的重要性系数；

所述的权重公式如下所示：

其中ω₀是模型超参数的最终性能指数，C_i是Top榜单中模型超参数取不同值时的占比，L是榜单的数量，每类模型超参数的每一种情况取值都会计算出其所对应的ω₀值。

5.根据权利要求1或2或4所述的基于模型超参数的机器学习模型优化方法，其特征在于，所述的根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，若不需要重新规划则选取当前重要性系数最大的模型超参数取值，具体为：

根据每一类模型超参数的每一种取值时的重要性系数值，分析取值范围与系数的关联性，观察系数值是否会随着模型超参数值的增大而单调递增或单调递减，若随着模型超参数设定值的增大，系数值呈现单调性，则表明初始超参数取值范围较小，导致模型超参数取值范围内的重要性系数最大值可能为重要性系数局部最大值，故该模型超参数需要重新规划取值范围，重新训练模型以确定当前超参数的重要性系数最大值，直至模型超参数的重要性系数值分布情况与模型超参数取值大小分布不呈单调关系为止。

6.一种基于模型超参数的机器学习模型优化方法，其特征在于，包括：

第一处理模块：用于获得至少2个以上重要超参数的机器学习模型；获得至少上千条的数据作为模型的训练集和测试集；

第一规范模块：用于根据机器学习模型超参数的实际意义规范初始取值范围；

第一组合模块：用于根据初始取值范围进行随机排列组合，组合为不同的模型超参数组合，生成模型超参数容器；

第一选择模块：用于在模型超参数容器内多次不放回地随机抽样选取超参数组合，形成多种不同的模型超参数组合，定义不同架构的机器学习模型；

第一训练模块：用于根据训练集通过K折交叉验证的方式训练机器学习模型，并预测测试集结果，得到K个预测结果；

第一计算模块：用于根据机器学习型的K个预测结果计算出模型的评价指标系数；第一统计模块：用于根据机器学习模型评价指标系数和所形成多种不同的模型超参数组合，统计出多个超参数的占有率，得到多个Top榜单；

第二计算模块：用于根据多个Top榜单，结合权重公式，计算模型超参数在不同取值时的重要性系数；

第二选择模块：用于根据重要性系数从大到小排序，观察模型超参数的取值与重要性系数的关系，判断是否需要重新规划当前超参数的取值范围，如果不需要重新规划则选取当前重要性系数最大的模型超参数取值。

Images