CN111144581A - 一种机器学习超参数调节方法及系统 - Google Patents

一种机器学习超参数调节方法及系统 Download PDF

Info

Publication number
CN111144581A
CN111144581A CN201911407395.6A CN201911407395A CN111144581A CN 111144581 A CN111144581 A CN 111144581A CN 201911407395 A CN201911407395 A CN 201911407395A CN 111144581 A CN111144581 A CN 111144581A
Authority
CN
China
Prior art keywords
particle
hyper
group
value
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911407395.6A
Other languages
English (en)
Inventor
王联军
马平男
王有兵
张珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yatuo Information Technology Co ltd
Original Assignee
Hangzhou Yatuo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yatuo Information Technology Co ltd filed Critical Hangzhou Yatuo Information Technology Co ltd
Priority to CN201911407395.6A priority Critical patent/CN111144581A/zh
Publication of CN111144581A publication Critical patent/CN111144581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种机器学习超参数调节方法及系统，涉及机器学习技术领域，本发明采用贝叶斯优化框架，通过初始观测集合由高斯过程生成先验概率模型，用混沌粒子群方法搜索下一个评估点，对新的评估点进行评估获取新评估点对应的观测值，通过更新观测集合来更新高斯过程概率代理模型，通过多次迭代搜索更新，获取最优超参数组合。本发明能够有效减少机器学习模型超参数调优的评估次数，并克服传统贝叶斯优化陷入局部最优点的缺陷，可以更准确和高效的进行超参数调优。

Description

一种机器学习超参数调节方法及系统
【技术领域】
本发明涉及机器学习技术领域，具体涉及一种机器学习超参数调节方法及系统。
【背景技术】
机器学习算法的性能高度依赖于超参数的选择，对机器学习超参数调优选择是一项繁琐但至关重要的任务。现有技术所采用的方法有手动调参方法，自动调参方法如网格搜索、随机搜索等方式，贝叶斯优化方法等。但是这些方式都存在着各种各样的问题：手动调参方法对经验的依赖性较强；自动调参方法由于浪费了时间去评估搜索空间中并不太可能找到最优点的区域导致效率较低；贝叶斯优化方法尽管将机器学习模型超参数调优的黑盒优化场景转为了概率代理模型，但求解结果容易陷入局部最优解，且求解结果往往依赖于初始值的选择。有鉴于此，需要有更准确和高效的方法来调优超参数。
【发明内容】
为解决前述问题，本发明提供了一种机器学习超参数调节方法，基于贝叶斯原理和混沌搜索，使机器学习算法模型训练结果最优化。
为了达到上述目的，本发明采用如下技术方案：
一种机器学习超参数调节方法，包括如下步骤：
步骤一：在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x1,x2,x3,…,xt}和其观测值Y＝{y1,y2,y3,…,yt}构成初始的观测集合D；
步骤二：在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best；
步骤三：对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
步骤四：重复执行步骤三，直至达到预设的重复次数；
步骤五：将更新后的群体最优值xgroup_best作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到预测值ygroup_best，将群体最优值xgroup_best和ygroup_best增加至观测集合D中以更新观测集合D，从更新后的观测集合D中取目标变量V的最优值所对应的元素加入到最优超参数记录集合中；
步骤六：重复执行步骤二至步骤五，直至达到预设的重复次数，取最后一次加入最优超参数记录集合的元素作为最优超参数。
可选的，所述步骤二、三中，取预测值yparticle的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。
可选的，所述步骤二、步骤三、步骤五中，通过贝叶斯后验概率分布计算预测值yparticle的公式为：
Figure BDA0002349030940000021
其中，∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000022
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
本发明具有如下有益效果：
本发明所提供的机器学习超参数调节方法，采用贝叶斯优化框架，通过初始观测集合由高斯过程生成先验概率模型，对机器学习算法模型的超参数执行启发式搜索，相比于网格搜索、随机搜索等自动调参方式，有效地减少了评估次数。本发明所提供的机器学习超参数调节方法还引入了混沌搜索，对新的评估点进行评估获取新评估点对应的观测值，通过更新观测集合来更新高斯过程概率代理模型，通过多次迭代搜索更新，可以克服贝叶斯优化方法搜索陷入局部最优点的缺陷，通过将混沌搜索与贝叶斯优化相结合，可以更准确和高效的调优超参数。并且，无需手动调参，摆脱了对技术人员经验的依赖。
此外，本发明还提供了一种机器学习超参数调节系统，所述机器学习超参数调节系统包括：
贝叶斯优化初始化单元：用以在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x1,x2,x3,…,xt}和其观测值Y＝{y1,y2,y3,…,yt}构成初始的观测集合D；
粒子群初始化单元：用以在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best；
混沌粒子群运动更新单元：用以对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
贝叶斯优化更新单元：包括粒子群初始化单元和混沌粒子群运动更新单元，用以基于更新后的群体最优值xgroup_best，由贝叶斯后验概率分布计算得到预测值ygroup_best，将群体最优值xgroup_best和预测值ygroup_best增加至观测集合D中以更新观测集合D，从更新后的观测集合D中取目标变量V的最优值所对应的元素加入到最优超参数记录集合中，并获取最优超参数。
可选的，粒子群初始化单元和混沌粒子群运动更新单元取预测值yparticle的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。
可选的，粒子群初始化单元、混沌粒子群运动更新单元、贝叶斯优化更新单元通过贝叶斯后验概率分布计算预测值的公式为：
Figure BDA0002349030940000041
其中，∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000042
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
可选的，所述最优超参数为粒子群初始化单元、混沌粒子群运动更新单元以及贝叶斯优化更新单元重复执行预设次数后，最后一次加入最优超参数记录集合的元素。
本发明所提供的机器学习超参数调节系统与前述机器学习超参数调节方法的有益效果推理过程相似，在此不再赘述。
本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。
【附图说明】
下面结合附图对本发明作进一步说明：
图1为本发明实施例一的流程图；
图2为本发明实施例二的示意图。
【具体实施方式】
下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。
在本说明书中引用的″一个实施例″或″实例″或″例子″意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语″在一个实施例中″在说明书中的各位置的出现不必都是指同一个实施例。
实施例一：
如图1所示，本实施例提供了一种机器学习超参数调节方法，包括如下步骤：
步骤一：在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，即贝叶斯优化初始样本集。本实施例所提供的机器学习超参数调节方法适用于多种机器学习模型，每种机器学习模型具有不同的超参数，而每种机器学习模型的超参数的范围属于现有技术，均为本领域技术人员所知晓，因而在此不再赘述。设定目标变量V作为优化目标，对超参数集合X中的每组超参数进行机器学习模型训练评估。由于不同的机器学习模型中具有不同的超参数组合，而且不同的机器学习模型具有多个可选的优化目标，因此，不同的优化目标对应的最优超参数组合数值不同。而各种机器学习模型的可优化目标也属于现有技术，也为本领域技术人员所知晓，同样在此不再赘述。获取超参数集合X中的每组超参数进行机器学习模型训练评估的目标变量V的值作为每组超参数的观测值，由每组超参数和每组超参数的观测值构成初始的观测集合D；
步骤二：在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best。
取预测值yparticle中的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置，计算预测值的公式为：
Figure BDA0002349030940000061
∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000062
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
步骤三：对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
取新的预测值yparticle中的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置，计算预测值的公式为：
Figure BDA0002349030940000063
∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000064
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
步骤四：重复执行步骤三，直至达到预设的重复次数。而重复次数的设定根据不同的机器学习模型以及不同的超参数属性来设定，属于本领域的现有技术，均为本领域技术人员所知晓，在此不再赘述；
步骤五：步骤三即为混沌搜索，由步骤三混沌搜索所获取的更新后的群体最优值xgroup_best，作为贝叶斯优化高斯过程的下一个最优评估点，通过贝叶斯后验概率分布更新高斯过程概率模型，计算得到预测值ygroup_best，将(xgroup_best,ygroup_best)更新至初始的观测集合D，从更新后的观测集合D中取目标变量的最优值所对应的元素，该元素应为(xbest,ybest)的形式，加入到最优超参数记录集合中；
在步骤二、步骤三、步骤五中，计算预测值的公式为：
Figure BDA0002349030940000071
∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000072
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
步骤六：步骤二至步骤五为执行了一次贝叶斯优化，重复执行步骤二至步骤五，直至达到预设重复次数，而重复次数的设定根据不同的机器学习模型以及不同的超参数属性来设定，属于本领域的现有技术，均为本领域技术人员所知晓，在此不再赘述。
取最后一次加入最优超参数记录集合的元素中的超参数数值组合，取元素xbest作为最优超参数。
本实施例所提供的机器学习超参数调节方法，采用贝叶斯优化框架，通过初始观测集合D由高斯过程生成先验概率模型，对机器学习算法模型的超参数执行启发式搜索，相比于网格搜索、随机搜索等自动调参方式，有效地减少了评估次数。本发明所提供的机器学习超参数调节方法还引入了混沌搜索，对新的评估点进行评估获取新评估点对应的观测值，通过更新观测集合D来更新高斯过程概率代理模型，通过多次迭代搜索更新，可以克服贝叶斯优化方法搜索陷入局部最优点的缺陷，通过将混沌搜索与贝叶斯优化相结合，可以更准确和高效的调优超参数。并且，无需手动调参，摆脱了对技术人员经验的依赖。
下面以逻辑回归模型为例说明本实施例所公开的机器学习超参数调节方法：
设置逻辑回归模型要调整的超参数集合为{L1正则系数，L2正则系数，训练迭代次数，收敛系数}，调参的优化目标变量为模型的accuracy指标；
设置超参数边界如表1所示；
表1：参数边界数据
L<sub>1</sub>正则系数 L<sub>2</sub>正则系数 训练迭代次数 收敛系数
[0.0001,0.1] [0.00001,0.01] [10,200] [0.0001,0.001]
设置初始观测集合大小为10，贝叶斯优化搜索次数为5，由参数边界生成超参数对集合，并计算每个超参数对下的逻辑回归模型accuracy值，得到如表2所示的初始观测样本集D，由初始观测样本集生成高斯过程概率模型；
表2：贝叶斯优化初始观测样本集
Figure BDA0002349030940000081
Figure BDA0002349030940000091
设置粒子群数量为20，执行混沌搜索次数为1000次，由参数边界随机初始化粒子群，将每个粒子代入高斯过程概率模型，得到粒子的预测值数据yparticle，通过比较yparticle获得粒子群初始最优位置xgroup_best,执行混沌搜索到指定次数，更新得到最优评估点位置xgroup_best为{L1正则系数:7.81E-4,L2正则系数:0.0014,训练迭代次数:164,收敛系数:5.45E-4}
将xgroup_best作为贝叶斯优化高斯过程的下一个最优评估点，通过贝叶斯后验概率分布更新高斯过程概率模型，计算得到预测值ygroup_best，由(xgroup_best，ygroup_best)更新观测集合D，从更新后的D中取y(accuracy)最大值对应的样本(xbest，ybest)加入到historyBest集合中；
按照设置的贝叶斯优化搜索次数，重复执行实施例一中步骤二至步骤五计算过程，得到historyBest集合如表3所示，取其中最后一次的搜索结果{L1正则系数:1.0E-4,L2正则系数:5.73E-4,训练迭代次数:161,收敛系数:2.41E-4}作为最优超参数组合导出。
表3：超参数组合调优记录表
Figure BDA0002349030940000101
实施例二：
本实施例提供了一种机器学习超参数调节系统，以实现实施例一所述的机器学习超参数调节方法。机器学习超参数调节系统包括：
贝叶斯优化初始化单元：用以在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x1,x2,x3,…,xt}和其观测值Y＝{y1,y2,y3,…,yt}构成初始的观测集合D；
粒子群初始化单元：用以在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best；
粒子群初始化单元取预测值yparticle的最优值的步骤为：
将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。
计算预测值的公式为：
Figure BDA0002349030940000111
∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000112
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
混沌粒子群运动更新单元：用以对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
混沌粒子群运动更新单元取新的预测值yparticle的最优值的步骤为：
将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。计算预测值的公式为：
Figure BDA0002349030940000121
∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure BDA0002349030940000122
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
贝叶斯优化更新单元：包括粒子群初始化单元和混沌粒子群运动更新单元，用以基于更新后的群体最优值xgroup_best，由贝叶斯后验概率分布计算得到预测值ygroup_best，将群体最优值xgroup_best和预测值ygroup_best增加至观测集合D中以更新观测集合D，从更新后的观测集合D中取目标变量V的最优值所对应的元素加入到最优超参数记录集合中，并获取最优超参数。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (7)

1.一种机器学习超参数调节方法，其特征在于，所述机器学习超参数调节方法包括如下步骤：
步骤一：在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x1，x2，x3，...，xt}和其观测值Y＝{y1，y2，y3，...，yt}构成初始的观测集合D；
步骤二：在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best；
步骤三：对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
步骤四：重复执行步骤三，直至达到预设的重复次数；
步骤五：将更新后的群体最优值xgroup_best作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到预测值ygroup_best，将群体最优值xgroup_best和ygroup_best增加至观测集合D中以更新观测集合D，从更新后的观测集合D中取目标变量V的最优值所对应的元素加入到最优超参数记录集合中；
步骤六：重复执行步骤二至步骤五，直至达到预设的重复次数，取最后一次加入最优超参数记录集合的元素作为最优超参数。
2.根据权利要求1所述的机器学习超参数调节方法，其特征在于，所述步骤二、三中，取预测值yparticle的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。
3.根据权利要求1所述的机器学习超参数调节方法，其特征在于，所述步骤二、步骤三、步骤五中，通过贝叶斯后验概率分布计算预测值yparticle的公式为：
Figure FDA0002349030930000021
其中，∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure FDA0002349030930000022
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
4.一种机器学习超参数调节系统，其特征在于，所述机器学习超参数调节系统包括：
贝叶斯优化初始化单元：用以在机器学习模型的超参数范围内随机采样生成初始的超参数集合X，对超参数集合X中的每组超参数进行机器学习模型训练评估，获取预先设置的目标变量V的值作为每组超参数的观测值，由超参数集合X＝{x1，x2，x3，...，xt}和其观测值Y＝{y1，y2，y3，...，yt}构成初始的观测集合D；
粒子群初始化单元：用以在机器学习模型的超参数范围内随机采样初始的超参数粒子群Xgroup，并将超参数粒子群Xgroup中的每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到超参数粒子群Xgroup中每个粒子xparticle的预测值yparticle，取粒子xparticle的预测值yparticle中的最优值所对应的粒子xparticle作为超参数粒子群Xgroup初始的群体最优值xgroup_best；
混沌粒子群运动更新单元：用以对超参数粒子群Xgroup进行混沌粒子群优化运动更新，更新超参数粒子群Xgroup，将新的超参数粒子群Xgroup中每个粒子xparticle分别作为观测集合D新输入值，通过贝叶斯后验概率分布计算得到新的超参数粒子群Xgroup中每个粒子xparticle的新的预测值yparticle，以粒子xparticle的新的预测值yparticle中的最优值所对应的粒子xparticle更新群体最优值xgroup_best；
贝叶斯优化更新单元：包括粒子群初始化单元和混沌粒子群运动更新单元，用以基于更新后的群体最优值xgroup_best，由贝叶斯后验概率分布计算得到预测值ygroup_best，将群体最优值xgroup_best和预测值ygroup_best增加至观测集合D中以更新观测集合D，从更新后的观测集合D中取目标变量V的最优值所对应的元素加入到最优超参数记录集合中，并获取最优超参数。
5.根据权利要求4所述的机器学习超参数调节系统，其特征在于，粒子群初始化单元和混沌粒子群运动更新单元取预测值yparticle的最优值的步骤为：将粒子xparticle作为观测集合D新的输入，并计算粒子xparticle的预测值yparticle，然后根据预测值yparticle的大小排序，如果目标变量V需要最大化，取预测值yparticle中最大值为最优值，如果目标变量V需要最小化，取预测值yparticle中最小值为最优值，将最优值对应的粒子位置作为粒子群最优位置。
6.根据权利要求4所述的机器学习超参数调节系统，其特征在于，粒子群初始化单元、混沌粒子群运动更新单元、贝叶斯优化更新单元通过贝叶斯后验概率分布计算预测值的公式为：
Figure FDA0002349030930000031
其中，∑表示观测集合D中超参数集合X内的元素构成的协方差矩阵，
Figure FDA0002349030930000032
为观测集合D中超参数集合X内的每个元素与新加入的元素的协方差构成的向量，K**为新加入的元素构成的协方差，λ为预先设置的收敛系数，Y为超参数集合X的观测值Y。
7.根据权利要求4所述的机器学习超参数调节系统，其特征在于，所述最优超参数为粒子群初始化单元、混沌粒子群运动更新单元以及贝叶斯优化更新单元重复执行预设次数后，最后一次加入最优超参数记录集合的元素。
CN201911407395.6A 2019-12-31 2019-12-31 一种机器学习超参数调节方法及系统 Pending CN111144581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407395.6A CN111144581A (zh) 2019-12-31 2019-12-31 一种机器学习超参数调节方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407395.6A CN111144581A (zh) 2019-12-31 2019-12-31 一种机器学习超参数调节方法及系统

Publications (1)

Publication Number Publication Date
CN111144581A true CN111144581A (zh) 2020-05-12

Family

ID=70522370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407395.6A Pending CN111144581A (zh) 2019-12-31 2019-12-31 一种机器学习超参数调节方法及系统

Country Status (1)

Country Link
CN (1) CN111144581A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445025A (zh) * 2020-06-12 2020-07-24 支付宝(杭州)信息技术有限公司 确定业务模型超参数的方法和装置
CN111814251A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 基于贝叶斯自适应共振的多目标多模态粒子群优化方法
CN112261721A (zh) * 2020-10-19 2021-01-22 南京爱而赢科技有限公司 一种基于贝叶斯调参支持向量机的联合波束分配方法
CN113065704A (zh) * 2021-03-31 2021-07-02 贵州电网有限责任公司 一种非侵入式负荷分解模型的超参数优化和后处理方法
CN113139624A (zh) * 2021-05-18 2021-07-20 南京大学 基于机器学习的网络用户分类方法
CN114415945A (zh) * 2021-12-28 2022-04-29 航天科工网络信息发展有限公司 一种分布式存储系统的参数调优方法、系统、设备、介质
CN115366281A (zh) * 2022-08-22 2022-11-22 青岛科技大学 基于机器学习的模温机温度控制方法、装置及可存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445025A (zh) * 2020-06-12 2020-07-24 支付宝(杭州)信息技术有限公司 确定业务模型超参数的方法和装置
CN111445025B (zh) * 2020-06-12 2020-12-01 支付宝(杭州)信息技术有限公司 确定业务模型超参数的方法和装置
CN111814251A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 基于贝叶斯自适应共振的多目标多模态粒子群优化方法
CN112261721A (zh) * 2020-10-19 2021-01-22 南京爱而赢科技有限公司 一种基于贝叶斯调参支持向量机的联合波束分配方法
CN112261721B (zh) * 2020-10-19 2023-03-31 南京爱而赢科技有限公司 一种基于贝叶斯调参支持向量机的联合波束分配方法
CN113065704A (zh) * 2021-03-31 2021-07-02 贵州电网有限责任公司 一种非侵入式负荷分解模型的超参数优化和后处理方法
CN113139624A (zh) * 2021-05-18 2021-07-20 南京大学 基于机器学习的网络用户分类方法
CN114415945A (zh) * 2021-12-28 2022-04-29 航天科工网络信息发展有限公司 一种分布式存储系统的参数调优方法、系统、设备、介质
CN115366281A (zh) * 2022-08-22 2022-11-22 青岛科技大学 基于机器学习的模温机温度控制方法、装置及可存储介质

Similar Documents

Publication Publication Date Title
CN111144581A (zh) 一种机器学习超参数调节方法及系统
Wang et al. Pruning from scratch
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN112926139B (zh) 一种基于混沌映射和黄金正弦策略的改进麻雀智能优化方法
CN112308961B (zh) 基于分层高斯混合模型的机器人快速鲁棒三维重建方法
CN107330902B (zh) 基于Arnold变换的混沌遗传BP神经网络图像分割方法
CN110110380B (zh) 一种压电执行器迟滞非线性建模方法及应用
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN111709511A (zh) 一种基于随机无迹Sigma点变异的哈里斯鹰优化算法
CN111027229B (zh) 基于稀疏异方差多样条回归的风功率曲线拟合的方法
CN111242268A (zh) 一种搜索卷积神经网络的方法
CN101877125A (zh) 一种基于小波域统计信号的图像融合处理方法
CN114880806A (zh) 基于粒子群优化的新能源汽车销量预测模型参数优化方法
CN102163321B (zh) 基于格子波尔兹曼模型的图像分割方法
CN112132180A (zh) 一种基于改进鲸鱼算法优化的模糊c核均值聚类分割方法
CN113128617B (zh) 基于Spark和ASPSO的并行化K-means的优化方法
CN109074348A (zh) 用于对输入数据集进行迭代聚类的设备和迭代方法
Panda et al. Model reduction of linear systems by conventional and evolutionary techniques
Trapp et al. Learning deep mixtures of gaussian process experts using sum-product networks
CN107492101B (zh) 基于自适应构造最优图的多模态鼻咽肿瘤分割算法
CN116415177A (zh) 一种基于极限学习机的分类器参数辨识方法
Sivanandam et al. A comparative study using genetic algorithm and particle swarm optimization for lower order system modelling
Cui et al. Weighted particle swarm clustering algorithm for self-organizing maps
CN111461282A (zh) 一种基于改进量子行为粒子群算法的模型辨识方法
Richter et al. Learning policies through quantile regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512