CN112085180B - 机器学习超参数确定方法、装置、设备和可读存储介质 - Google Patents
机器学习超参数确定方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN112085180B CN112085180B CN201910519458.0A CN201910519458A CN112085180B CN 112085180 B CN112085180 B CN 112085180B CN 201910519458 A CN201910519458 A CN 201910519458A CN 112085180 B CN112085180 B CN 112085180B
- Authority
- CN
- China
- Prior art keywords
- value
- super
- parameter
- hyper
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 33
- 238000012795 verification Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000015654 memory Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例提出一种机器学习超参数确定方法、装置、设备和可读存储介质，其中方法包括：确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；针对每一所述步骤，确定所述步骤的超参数组合取值集合；所述超参数组合取值集合包括：所述步骤对应的超参数的组合的多个可选取值；依次从所述多个步骤中选定一个步骤作为当前优化步骤，从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。本发明实施例大大减少了计算工作量，提高机器学习的效率。
Description
技术领域
本发明涉及机器学习技术领域，尤其涉及一种机器学习超参数确定方法、装置、设备和可读存储介质。
背景技术
开发机器学习模型的传统方案是将所有算法的所有超参数组合成一个大的搜索空间进行优化和训练，机器学习超参搜索空间巨大，需要的计算量巨大，计算时间长。
发明内容
本发明实施例提供一种机器学习超参数确定方法、装置、设备和可读存储介质，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种机器学习的超参数确定方法，包括：
确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
针对每一所述步骤，确定所述步骤的超参数组合取值集合；所述超参数组合取值集合包括：所述步骤对应的超参数的组合的多个可选取值；
依次从所述多个步骤中选定一个步骤作为当前优化步骤，从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，所述从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，包括：
分别采用所述当前优化步骤的超参数取值集合中的各个所述可选取值，搭建并训练机器学习模型；
验证各个所述机器学习模型的效果；
获取效果最优的机器学习模型对应的所述可选取值，将获取的所述可选取值确定为所述超参数组合最优取值。
在一种实施方式中，所述搭建并训练机器学习模型之前，还包括：
将所述当前优化步骤之前的步骤对应的多个超参数设定为所述固定取值；
将所述当前优化步骤之后的步骤对应的多个超参数设定为默认取值。
在一种实施方式中，还包括：接收取值固定指令；其中，所述取值固定指令包括待指定固定取值的第一超参数，还包括各个所述第一超参数对应的固定取值；所述第一超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值固定指令，将所述第一超参数的取值设置为所述固定取值；
在所述设置的前提下，确定所述步骤的超参数组合取值集合。
在一种实施方式中，还包括：接收取值范围限定指令；其中，所述取值范围限定指令包括待限定取值范围的第二超参数，还包括各个所述第二超参数对应的取值限定范围；所述第二超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值范围限定指令，将所述第二超参数的取值限定为所述取值限定范围内的取值；
在所述限定的前提下，确定所述步骤的超参数组合取值集合。
在一种实施方式中，所述多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。
第二方面，本发明实施例提供一种机器学习超参数确定装置，包括：
步骤超参数确定模块，用于确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
取值集合确定模块，用于针对每一所述步骤，确定所述步骤的超参数组合取值集合；所述超参数组合取值集合包括：所述步骤对应的超参数的组合的多个可选取值；
优化模块，用于依次从所述多个步骤中选定一个步骤作为当前优化步骤，从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，所述优化模块，包括：
机器学习模型训练子模块，用于分别采用所述当前优化步骤的超参数取值集合中的各个所述可选取值，搭建并训练机器学习模型；
验证效果子模块，用于验证各个所述机器学习模型的效果；
最优取值确定子模块，用于获取效果最优的机器学习模型对应的所述可选取值，将获取的所述可选取值确定为所述超参数组合最优取值；
固定取值确定子模块，用于采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，所述机器学习模型训练子模块还用于，所述搭建并训练机器学习模型之前，将所述当前优化步骤之前的步骤对应的多个超参数设定为所述固定取值；将所述当前优化步骤之后的步骤对应的多个超参数设定为默认取值。
在一种实施方式中，还包括：取值固定指令模块，用于接收取值固定指令；其中，所述取值固定指令包括待指定固定取值的第一超参数，还包括各个所述第一超参数对应的固定取值；所述第一超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值固定指令，将所述第一超参数的取值设置为所述固定取值；
在所述设置的前提下，确定所述步骤的超参数组合取值集合。
在一种实施方式中，还包括：取值范围限定指令模块，用于接收取值范围限定指令；其中，所述取值范围限定指令包括待限定取值范围的第二超参数，还包括各个所述第二超参数对应的取值限定范围；所述第二超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值范围限定指令，将所述第二超参数的取值限定为所述取值限定范围内的取值；
在所述限定的前提下，确定所述步骤的超参数组合取值集合。
在一种实施方式中，所述多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。
第三方面，本发明实施例提供了一种机器学习超参数确定设备，所述机器学习超参数确定设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述机器学习超参数确定设备的结构中包括处理器和存储器，所述存储器用于存储支持所述机器学习超参数确定设备执行上述机器学习超参数确定方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述机器学习超参数确定设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储机器学习超参数确定设备所用的计算机软件指令，其包括用于执行上述机器学习超参数确定方法所涉及的程序。
第五方面，本发明实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：本实施例将机器学习过程进行分步骤，逐步求解每一步骤的超参数组合最优取值，大大减少了计算工作量，提高机器学习的训练效率。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的机器学习超参数确定方法的流程图；
图2示出根据本发明实施例的机器学习超参数确定方法中多个步骤确定超参数组合最优取值的递进过程示例图；
图3示出根据本发明实施例的机器学习超参数确定方法中步骤S3中从当前优化步骤确定超参数组合最优取值的流程图；
图4示出根据本发明实施例的机器学习超参数确定方法中步骤S31至步骤S33的一种具体实施方式的示例图；
图5示出根据本发明实施例的机器学习超参数确定装置的结构框图；
图6示出根据本发明实施例的机器学习超参数确定装置的优化模块53的结构框图；
图7示出根据本发明实施例的机器学习超参数确定装置的优化模块53的各个子模块的一种具体实施方式的示例图；
图8示出根据本发明实施例的机器学习超参数确定设备的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的机器学习的超参数确定方法的流程图。如图1所示，该方法包括：
S1、确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
S2、针对每一步骤，确定步骤的超参数组合取值集合；超参数组合取值集合包括：步骤对应的超参数的组合的多个可选取值；
S3、依次从多个步骤中选定一个步骤作为当前优化步骤，从当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用超参数组合最优取值设定当前优化步骤对应的多个超参数的固定取值。
一种示例，可以参见图2，图2为依次选定当前优化步骤并确定超参数组合最优取值的递进过程。根据图2的示例，详细说明本实施例的执行过程：
确定机器学习过程的多个步骤，例如步骤1、步骤2、...、步骤M，其中M表示所确定的步骤的个数，M≥1且M为整数。确定各个步骤对应的多个超参数，例如：
步骤1包括超参数1.1、超参数1.2、...、超参数1.N1；其中，N1表示所确定的步骤1的超参数的个数，N1≥1且N1为整数。
步骤2包括超参数2.1、超参数2.2、...、超参数2.N2；其中，N2表示所确定的步骤2的超参数的个数，N2≥1且N2为整数。
步骤M包括超参数M.1、超参数M.2、...、超参数M.NM,其中NM表示所确定的步骤M的超参数的个数，NM≥1且NM为整数。
同理可以类推其它步骤，此处不再赘述。
基于每个超参数对应的多个可选取值，可以确定每一步骤的超参数组合的取值集合的多个可选取值。示例，假设步骤1包括超参数1.1、超参数1.2和超参数1.3，每个超参数均有两个可选取值，在不考虑不同超参数的排序问题，那么步骤1的超参数组合(即超参数1.1、超参数1.2和超参数1.3的组合)的取值集合最多可以有8个可选取值。
继续参见图2，依次选定一步骤作为当前优化步骤：第一次，选定步骤1作为当前优化步骤确定超参数组合最优取值，此时步骤1之后的步骤2至步骤M则作为未优化步骤。第二次，选定步骤2作为当前优化步骤确定超参数组合最优取值；此时，步骤2之前的步骤1已确定超参数组合最优取值，因此步骤1作为已优化步骤，而步骤2之后的步骤则作为未优化步骤。同理可以依次类推，直到步骤M作为当前优化步骤确定超参数组合最优取值完成，所有的步骤(即步骤1至步骤M)均确定步骤的超参数组合最优取值并设定步骤对应的多个超参数的固定取值。
根据多个步骤的多个超参数的固定取值，可以确定机器学习模型的超参数，进而完成机器学习模型的搭建。
本实施例将机器学习过程进行分步骤，并递进优化每一步骤，逐步求解每一步骤的超参数组合最优取值，相比于现有技术同时确定所有步骤所有的超参数组合中的最优取值，大大减少了计算工作量，提高机器学习的训练效率。
超参数是机器学习模型里面的框架参数，比如聚类方法中类的个数，或者话题模型中话题的个数等等，都称为超参数。与训练过程中学习的参数(权重)不同，超参数通常是手工设定且在开始机器学习过程之前设置值的参数。可以通过优化算法(如网格搜索和贝叶斯优化)来寻求最优的超参数。
示例，超参数可以为函数、函数的系数、动量、权重初始化、树的数量或树的深度、矩阵分解中潜在因素的数量、学习率、迭代次数、神经元个数、深层神经网络隐藏层数或k均值聚类中的簇数等。
在一种实施方式中，本实施例所适用的机器学习可以为自动机器学习。
在一种实施方式中，步骤S1中所确定的多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。对应的，一种示例，步骤S3中依次从数据预处理步骤、特征工程步骤和算法选择及超参调优步骤中选定一个步骤作为当前优化步骤，从当前优化步骤的超参数取值集合中确定超参数组合最优取值的过程可以包括：采用当前优化步骤的超参数组合取值集合，执行所述机器学习流程(即依次执行数据预处理步骤、特征工程步骤和算法选择及超参调优步骤)，从而确定从采用超参数组合最优取值设定当前优化步骤对应的多个超参数的固定取值。
数据预处理步骤是指是指在主要的处理以前对数据进行的一些处理，有利于提高数据的质量，从而提高后续学习过程的精度和性能。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。数据预处理步骤包括数据清洗、数据集成、数据变换和数据规约。
特征工程步骤是指把原始数据转变为模型的训练数据的过程，目的是获取更好的训练数据特征，使得机器学习模型逼近这个上限。特征工程步骤包括特征构建、特征提取和特征选择。
算法选择及超参调优步骤是指机器学习过程中，给定的任务寻找最适合的算法或参数，该步骤针对的可以单个的算法，比如逻辑回归算法，或者是包含多个算法、向量化和其他步骤的整个管道机制。通产，算法选择及超参调优的过程也称为模型选择及超参调优、或者算法训练及超参调优等。
在一种实施方式中，参见图3，步骤S3中从当前优化步骤的超参数取值集合中确定超参数组合最优取值，包括：
S31、分别采用当前优化步骤的超参数取值集合中的各个可选取值，搭建并训练机器学习模型；
S32、验证各个机器学习模型的效果；
S33、获取效果最优的机器学习模型对应的可选取值，将获取的可选取值确定为超参数组合最优取值。
第一种示例，参与搭建并训练机器学习模型的当前优化步骤的超参数组合的多个可选取值为：当前优化步骤里每一超参数的可选取值所有可能组合。例如假设步骤的N个超参数，每个超参数有两个取值，那么超参数的组合的总数就是2的N次方；
第二种示例，参与搭建并训练机器学习模型的当前优化步骤的超参数组合的多个可选取值为：通过随机抽样的方式选取的预设个数的当前待优化步骤的超参数组合。通常，通过随机抽样的方式对训练出来的模型性能影响不大，而且有利于减少计算量。
第三种示例，参与搭建并训练机器学习模型的当前优化步骤的超参数组合的多个可选取值为：通过人工选择的当前待优化步骤的超参数组合，要求有一定经验且耗时长。
第四种示例，参与搭建并训练机器学习模型的当前优化步骤的超参数组合的多个可选取值为：通过自动超参数调优的方式确定的当前待优化步骤的超参数组合。该方式形成了关于超参数设置和模型性能之间关系的知识，能利用先验知识选择下一组超参数组合。根据上述自动超参数调优的方式，步骤S31至步骤S33的一种具体实施方式可以参见图4，包括：
S401、从当前优化步骤的超参数取值集合中选取一组超参数组合取值作为当前选取的超参数组合取值；
S402、采用当前选取的超参数组合取值，搭建并训练机器学习模型；
S403、验证机器学习模型的效果；
S404、根据验证效果和当前优化步骤的超参数取值集合被选取的情况，判断是否满足迭代训练停止条件；若不满足，则根据验证效果从当前优化步骤的超参数取值集合中选取新的当前训练的可选取值，重新执行步骤S402；若满足，则执行步骤S405；
S405、确定获取效果最优的机器学习模型对应的可选取值，将获取的可选取值确定为超参数组合最优取值。
进一步的，上述步骤S401至步骤S404可以通过自动建模装置来实现，自动建模装置包括建议器和执行机。执行机内置机器学习算法，例如逻辑回归、支持向量机、随机森林和极端梯度提升。建议器用于对执行机中的算法进行调优。自动建模过程由下述执行机和建议器交替进行：执行机利用建议器所给的超参数取值组合进行机器学习模型的训练和验证效果，并反馈验证效果给建议器，而建议器则根据执行机的反馈重新生成新的超参数组合取值给执行机进行新一轮的机器学习模型的训练和验证效果。上述过程不断迭代，逐渐提升训练机训练出来的机器学习模型的性能，最终得到验证效果最优的机器学习模型，进而可以确定超参数组合最优取值。
即，步骤S401和步骤S404可以通过建议器选取当前选取的超参数组合取值，步骤S402和步骤S403的机器学习模型的搭建、训练和验证效果可以通过执行机来实现。
在一种实施方式中，本实施例还包括：获取多个样本数据，根据多个样本数据得到训练集和验证集，则步骤S31中训练机器学习模型具体包括：根据训练集，对机器学习模型进行训练，在步骤S32中通过验证集验证机器学习模型的效果。通过交叉验证，提高机器学习模型的稳定性。
在上述实施方式的基础中，根据多个样本数据除了得到训练集和验证集，还可以得到测试集。本实施例还包括：在步骤S3结束之后，基于步骤S3所设定的多个步骤的对应的多个超参数的固定取值获得机器学习模型，通过测试集对获得的机器学习模型进行验证，以确定获得的机器学习模型能否达到预设的验证效果。
在一种实施方式中，搭建并训练机器学习模型之前，还包括：
将当前优化步骤之前的步骤对应的多个超参数设定为固定取值；例如，图2中，假设步骤2作为当前优化步骤时，步骤2之前的步骤1对应的多个超参数设定为固定取值。
将当前优化步骤之后的步骤对应的多个超参数设定为默认取值。例如，图2中，假设步骤1作为当前优化步骤时，步骤1之后的步骤2至步骤M对应的多个超参数设定为默认取值。
在一种示例中，默认取值可以为以往历史优化过的默认取值，或者科学家和专家利用专业经验确定的默认取值。
在一种实施方式中，还包括：接收取值固定指令；其中，取值固定指令包括待指定固定取值的第一超参数，还包括各个第一超参数对应的固定取值；第一超参数为步骤对应的多个超参数中的一个；
确定步骤的超参数组合取值集合，包括：
根据取值固定指令，将第一超参数的取值设置为固定取值；
在设置的前提下，确定步骤的超参数组合取值集合。
接收取值固定指令；其中，取值固定指令包括指定待固定取值的超参数和指定取值；
确定步骤的超参数组合取值集合，包括：
采用取值固定指令所指定的取值设定待固定取值的超参数的固定取值。
通过上述实施方式，用户可以固定某一超参数的取值，该超参数无需再进行调优，即该超参数在步骤S3进行机器学习模型的训练时，均采用用户固定的取值参与训练。例如，原来超参数1.1的取值范围为[1,3]，用户可以通过输入取值固定指令，将超参数1.1的取值确定为2，那么执行步骤S3的过程中，超参数1.1的取值固定为2，最终得到的超参数1.1的固定取值也为2。
在一种实施方式中，还包括：接收取值范围限定指令；其中，取值范围限定指令包括待限定取值范围的第二超参数，还包括各个第二超参数对应的取值限定范围；第二超参数为步骤对应的多个超参数中的一个；
确定步骤的超参数组合取值集合，包括：
根据取值范围限定指令，将第二超参数的取值限定为取值限定范围内的取值；
在限定的前提下，确定步骤的超参数组合取值集合。
通过上述实施方式，用户可以根据自己的经验指定一取值范围覆盖默认的可选取值的范围，例如，超参数1.2的取值范围为[0,100]，用户通过输入取值范围限定指令，限定该超参数1.2的取值范围变成[90,95]，加快调优速度，提升调优效果。用户可以限定某一超参数的取值范围，那么该超参数在确定最优取值时则可以大大减少计算量。
在一种实施方式中，还包括：接收算法执行顺序调整指令；其中，算法执行顺序指令包括待调整顺序的算法和调整顺序；
在步骤S31的搭建并训练机器学习模型之前，还包括：根据算法执行顺序调整指令，对待调整顺序的算法的顺序进行调整，得到调整顺序后的算法；
步骤S31包括：分别采用当前优化步骤的超参数取值集合中的各个可选取值，以及采用调整顺序后的算法，搭建并训练机器学习模型。
本实施例能够方便的将人工经验，融入自动机器学习过程中去，使用户能够在自动机器学习流程中使用自己的经验，从而加快模型的迭代与速度，提升模型效果。
图5为本发明实施例提供一种机器学习超参数确定装置的结构框图，参见图5，该装置包括：
步骤超参数确定模块51，用于确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
取值集合确定模块52，用于针对每一步骤，确定步骤的超参数组合取值集合；超参数组合取值集合包括：步骤对应的超参数的组合的多个可选取值；
优化模块53，用于依次从多个步骤中选定一个步骤作为当前优化步骤，从当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用超参数组合最优取值设定当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，步骤超参数确定模块51中确定的机器学习过程的多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。
在一种实施方式中，参见图6，优化模块53，包括：
机器学习模型训练子模块631，用于分别采用当前优化步骤的超参数取值集合中的各个可选取值，搭建并训练机器学习模型；
验证效果子模块632，用于验证各个机器学习模型的效果；
最优取值确定子模块633，用于获取效果最优的机器学习模型对应的可选取值，将获取的可选取值确定为超参数组合最优取值；
固定取值确定子模块634，用于采用超参数组合最优取值设定当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，机器学习模型训练子模块631还用于，搭建并训练机器学习模型之前，将当前优化步骤之前的步骤对应的多个超参数设定为固定取值；将当前优化步骤之后的步骤对应的多个超参数设定为默认取值。
进一步的，参见图7，优化模块53的各个子模块，还可以具体设置为如下单元：
初始单元701，用于从当前优化步骤的超参数取值集合中选取一组超参数组合取值作为当前选取的超参数组合取值；
机器学习模型训练单元702，用于采用当前选取的超参数组合取值，搭建并训练机器学习模型；
验证效果单元703，用于验证机器学习模型的效果；
选取取值单元704，用于根据验证效果和当前优化步骤的超参数取值集合被选取的情况，判断是否满足迭代训练停止条件；若不满足，则根据验证效果从当前优化步骤的超参数取值集合中选取新的当前训练的可选取值，重新执行机器学习模型训练单元702；若满足，则执行取值单元705；
固定取值单元705，用于确定获取效果最优的机器学习模型对应的可选取值，将获取的可选取值确定为超参数组合最优取值，采用超参数组合最优取值设定当前优化步骤对应的多个超参数的固定取值。
在一种实施方式中，还包括：取值固定指令模块，用于接收取值固定指令；其中，取值固定指令包括待指定固定取值的第一超参数，还包括各个第一超参数对应的固定取值；第一超参数为步骤对应的多个超参数中的一个；
确定步骤的超参数组合取值集合，包括：
根据取值固定指令，将第一超参数的取值设置为固定取值；
在设置的前提下，确定步骤的超参数组合取值集合。
在一种实施方式中，还包括：取值范围限定指令模块，用于接收取值范围限定指令；其中，取值范围限定指令包括待限定取值范围的第二超参数，还包括各个第二超参数对应的取值限定范围；第二超参数为步骤对应的多个超参数中的一个；
确定步骤的超参数组合取值集合，包括：
根据取值范围限定指令，将第二超参数的取值限定为取值限定范围内的取值；
在限定的前提下，确定步骤的超参数组合取值集合。
在一种实施方式中，还包括：
算法顺序调整指令模块，用于接收算法执行顺序调整指令；其中，算法执行顺序指令包括待调整顺序的算法和调整顺序；
机器学习模型训练子模块631用于根据算法执行顺序调整指令，对待调整顺序的算法的顺序进行调整，得到调整顺序后的算法；分别采用当前优化步骤的超参数取值集合中的各个可选取值，以及采用调整顺序后的算法，搭建并训练机器学习模型。
本发明实施例装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图8示出根据本发明实施例的机器学习超参数确定设备的结构框图。如图8所示，该机器学习超参数确定设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的机器学习超参数确定方法。所述存储器910和处理器920的数量可以为一个或多个。
该机器学习超参数确定设备还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
本发明实施例提供了一种计算机程序产品，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种机器学习超参数确定方法，其特征在于，包括：
确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
针对每一所述步骤，确定所述步骤的超参数组合取值集合；所述超参数组合取值集合包括：所述步骤对应的超参数的组合的多个可选取值；
依次从所述多个步骤中选定一个步骤作为当前优化步骤，将所述当前优化步骤之前的步骤对应的多个超参数设定为固定取值，从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
2.根据权利要求1所述的方法，其特征在于，所述从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，包括：
分别采用所述当前优化步骤的超参数取值集合中的各个所述可选取值，搭建并训练机器学习模型；
验证各个所述机器学习模型的效果；
获取效果最优的机器学习模型对应的所述可选取值，将获取的所述可选取值确定为所述超参数组合最优取值。
3.根据权利要求2所述的方法，其特征在于，所述搭建并训练机器学习模型之前，还包括：
将所述当前优化步骤之后的步骤对应的多个超参数设定为默认取值。
4.根据权利要求1所述的方法，其特征在于，还包括：接收取值固定指令；其中，所述取值固定指令包括待指定固定取值的第一超参数，还包括各个所述第一超参数对应的固定取值；所述第一超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值固定指令，将所述第一超参数的取值设置为所述固定取值；
在所述设置的前提下，确定所述步骤的超参数组合取值集合。
5.根据权利要求1所述的方法，其特征在于，还包括：接收取值范围限定指令；其中，所述取值范围限定指令包括待限定取值范围的第二超参数，还包括各个所述第二超参数对应的取值限定范围；所述第二超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值范围限定指令，将所述第二超参数的取值限定为所述取值限定范围内的取值；
在所述限定的前提下，确定所述步骤的超参数组合取值集合。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。
7.一种机器学习超参数确定装置，其特征在于，包括：
步骤超参数确定模块，用于确定机器学习过程的多个步骤以及各个步骤对应的多个超参数；
取值集合确定模块，用于针对每一所述步骤，确定所述步骤的超参数组合取值集合；所述超参数组合取值集合包括：所述步骤对应的超参数的组合的多个可选取值；
优化模块，用于依次从所述多个步骤中选定一个步骤作为当前优化步骤，将所述当前优化步骤之前的步骤对应的多个超参数设定为固定取值，从所述当前优化步骤的超参数取值集合中确定超参数组合最优取值，采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
8.根据权利要求7所述的装置，其特征在于，所述优化模块，包括：
机器学习模型训练子模块，用于分别采用所述当前优化步骤的超参数取值集合中的各个所述可选取值，搭建并训练机器学习模型；
验证效果子模块，用于验证各个所述机器学习模型的效果；
最优取值确定子模块，用于获取效果最优的机器学习模型对应的所述可选取值，将获取的所述可选取值确定为所述超参数组合最优取值；
固定取值确定子模块，用于采用所述超参数组合最优取值设定所述当前优化步骤对应的多个超参数的固定取值。
9.根据权利要求8所述的装置，其特征在于，所述机器学习模型训练子模块还用于，所述搭建并训练机器学习模型之前，将所述当前优化步骤之后的步骤对应的多个超参数设定为默认取值。
10.根据权利要求7所述的装置，其特征在于，还包括：取值固定指令模块，用于接收取值固定指令；其中，所述取值固定指令包括待指定固定取值的第一超参数，还包括各个所述第一超参数对应的固定取值；所述第一超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值固定指令，将所述第一超参数的取值设置为所述固定取值；
在所述设置的前提下，确定所述步骤的超参数组合取值集合。
11.根据权利要求7所述的装置，其特征在于，还包括：取值范围限定指令模块，用于接收取值范围限定指令；其中，所述取值范围限定指令包括待限定取值范围的第二超参数，还包括各个所述第二超参数对应的取值限定范围；所述第二超参数为所述步骤对应的多个超参数中的一个；
所述确定所述步骤的超参数组合取值集合，包括：
根据所述取值范围限定指令，将所述第二超参数的取值限定为所述取值限定范围内的取值；
在所述限定的前提下，确定所述步骤的超参数组合取值集合。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述多个步骤包括：数据预处理步骤、特征工程步骤和算法选择及超参调优步骤。
13.一种机器学习超参数确定设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910519458.0A CN112085180B (zh) | 2019-06-14 | 2019-06-14 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910519458.0A CN112085180B (zh) | 2019-06-14 | 2019-06-14 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085180A CN112085180A (zh) | 2020-12-15 |
| CN112085180B true CN112085180B (zh) | 2024-05-17 |
Family
ID=73734314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910519458.0A Active CN112085180B (zh) | 2019-06-14 | 2019-06-14 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085180B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103092078A (zh) * | 2013-01-07 | 2013-05-08 | 北京中医药大学 | 多阶段间歇生产过程的全程优化方法 |
| WO2015184729A1 (en) * | 2014-06-05 | 2015-12-10 | Tsinghua University | Method and system for hyper-parameter optimization and feature tuning of machine learning algorithms |
| CN108062587A (zh) * | 2017-12-15 | 2018-05-22 | 清华大学 | 一种无监督机器学习的超参数自动优化方法及系统 |
| CN108470210A (zh) * | 2018-04-02 | 2018-08-31 | 中科弘云科技（北京）有限公司 | 一种深度学习中超参数的优化选取方法 |
| CN109242105A (zh) * | 2018-08-17 | 2019-01-18 | 第四范式（北京）技术有限公司 | 机器学习模型中超参数的调优方法、装置、设备及介质 |
| CN109711548A (zh) * | 2018-12-26 | 2019-05-03 | 歌尔股份有限公司 | 超参数的选取方法、使用方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11397887B2 (en) * | 2017-09-26 | 2022-07-26 | Amazon Technologies, Inc. | Dynamic tuning of training parameters for machine learning algorithms |
-
2019
- 2019-06-14 CN CN201910519458.0A patent/CN112085180B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103092078A (zh) * | 2013-01-07 | 2013-05-08 | 北京中医药大学 | 多阶段间歇生产过程的全程优化方法 |
| WO2015184729A1 (en) * | 2014-06-05 | 2015-12-10 | Tsinghua University | Method and system for hyper-parameter optimization and feature tuning of machine learning algorithms |
| CN108062587A (zh) * | 2017-12-15 | 2018-05-22 | 清华大学 | 一种无监督机器学习的超参数自动优化方法及系统 |
| CN108470210A (zh) * | 2018-04-02 | 2018-08-31 | 中科弘云科技（北京）有限公司 | 一种深度学习中超参数的优化选取方法 |
| CN109242105A (zh) * | 2018-08-17 | 2019-01-18 | 第四范式（北京）技术有限公司 | 机器学习模型中超参数的调优方法、装置、设备及介质 |
| CN109711548A (zh) * | 2018-12-26 | 2019-05-03 | 歌尔股份有限公司 | 超参数的选取方法、使用方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085180A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135582B (zh) | 神经网络训练、图像处理方法及装置、存储介质 | |
| CN111738098B (zh) | 一种车辆识别方法、装置、设备及存储介质 | |
| CN106709565A (zh) | 一种神经网络的优化方法及装置 | |
| CN105512479A (zh) | 一种多星对地观测任务规划算法的评价方法及装置 | |
| CN109067427B (zh) | 一种基于优化型小波神经网络的跳频序列预测方法 | |
| CN114066236B (zh) | 风光有功出力场景生成方法、装置、电子设备及存储介质 | |
| US20220179689A1 (en) | Dynamic Production Scheduling Method and Apparatus Based on Deep Reinforcement Learning, and Electronic Device | |
| DE102019115320A1 (de) | Analysevorrichtung unter Verwendung eines erlernten Modells und Verfahren dafür | |
| CN113687821A (zh) | 一种基于图形可视化的智能代码拼接方法 | |
| CN111695624B (zh) | 数据增强策略的更新方法、装置、设备及存储介质 | |
| CN115437795B (zh) | 一种异构gpu集群负载感知的显存重计算优化方法及系统 | |
| CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
| CN112085180B (zh) | 机器学习超参数确定方法、装置、设备和可读存储介质 | |
| CN111063000B (zh) | 基于神经网络结构搜索的磁共振快速成像方法和装置 | |
| CN113408692A (zh) | 网络结构的搜索方法、装置、设备及存储介质 | |
| CN116628136A (zh) | 基于声明式推理的协同查询处理方法、系统、电子设备 | |
| CN115345303A (zh) | 卷积神经网络权重调优方法、装置、存储介质和电子设备 | |
| CN110705889A (zh) | 一种企业筛选方法、装置、设备及存储介质 | |
| CN113657592B (zh) | 一种软件定义卫星自适应剪枝模型压缩方法 | |
| CN110059813A (zh) | 利用gpu集群更新卷积神经网络的方法、装置及设备 | |
| CN112329912B (zh) | 卷积神经网络训练方法、图像重建方法、装置和介质 | |
| CN115795303A (zh) | 一种搜索动态学习率的客户端状态识别方法及装置 | |
| CN114139627A (zh) | 数据确定方法、装置、存储介质及电子设备 | |
| CN114065815A (zh) | 基于eemd与神经网络的变压器局部放电识别方法及系统 | |
| CN114676634A (zh) | 一种基于nsga-iii优化lstm神经网络的水位预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |