CN111291894A - 超参数优化过程中的资源调度方法、装置、设备及介质 - Google Patents
超参数优化过程中的资源调度方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111291894A CN111291894A CN201811394230.5A CN201811394230A CN111291894A CN 111291894 A CN111291894 A CN 111291894A CN 201811394230 A CN201811394230 A CN 201811394230A CN 111291894 A CN111291894 A CN 111291894A
- Authority
- CN
- China
- Prior art keywords
- hyper
- parameter
- strategy
- parameter tuning
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000008569 process Effects 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 238000010801 machine learning Methods 0.000 claims abstract description 63
- 238000011156 evaluation Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 33
- 238000012804 iterative process Methods 0.000 claims description 31
- 230000000694 effects Effects 0.000 abstract description 20
- 238000012360 testing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种超参数优化过程中的资源调度方法、装置、设备及介质。融合了多个超参数调优策略，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合，每一轮迭代过程包括：确定当前可用的资源；为多个超参数调优策略分配当前可用的资源；获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。由此，本发明这种融合多个超参数调优策略的资源调度方案可以消除使用单一策略造成的效果不佳或收敛到局部最优的风险，并且通过为多个超参数调优策略分配资源，可以进一步提升超参数优化效果。
Description
技术领域
本发明总体说来涉及机器学习领域，更具体地讲，涉及一种机器学习模型超参数优化过程中的资源调度方法和资源调度装置，以及一种计算设备及一种非暂时性机器可读存储介质。
背景技术
在训练机器学习模型前，需要确定机器学习模型的超参数。超参数可以视为机器学习模型的框架参数，是从更高的一个层次对机器学习模型进行描述的参数。例如，超参数可以是描述机器学习模型的学习速率、节点的dropout(丢弃)率、batch size(批尺寸)等多种参数。
目前机器学习模型超参数优化方案大多是基于单一策略实现的。这些策略主要可以分为如下两大类：1、以随机搜索(random search)、网格搜索(grid search)、进化算法(Evolutionary Algorithm)为代表的非模型导向搜索策略；2、模型导向策略，这类策略主要是通过训练一个机器学习模型来拟合超参数和模型效果的关系，并根据模型的预测来调优超参数。
非模型导向搜索策略的优点是当采样的超参数足够多时，可以找到效果较好的超参数，缺点是在超参数空间维度很高的情况下，这种无导向的搜索策略找到较好超参数的效率很低。模型导向策略在拟合效果较好时通常会比非模型导向策略更高效地搜索到优质的超参数，然而对于任意的超参数调优问题，无法保证这种拟合都是有效的。实验中发现，在很多场景下，模型导向策略不一定会比非模型导向策略高效，甚至会收敛到次优解。
进一步地，机器学习模型超参数优化过程中能够使用的资源(如CPU核数等计算力资源)一般是有限的。在有限的资源下，如何提升机器学习模型超参数的优化效果，是目前亟需解决的问题。
发明内容
本发明的示例性实施例在于提供一种机器学习模型超参数优化过程中的资源调度方法及装置，以解决现有技术存在的上述问题。
根据本发明的第一个方面，提出了一种机器学习模型超参数优化过程中的资源调度方法，其中，该方法融合了多个超参数调优策略，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合，该方法的每一轮迭代过程包括：确定当前可用的资源；为多个超参数调优策略分配当前可用的资源；获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
可选地，多个超参数调优策略包括：一个或多个非模型导向搜索策略，非模型导向搜索策略用于基于预定的搜索方式从超参数搜索空间内选择超参数组合；和/或一个或多个模型导向策略，模型导向策略用于基于预测模型选择超参数组合，其中，预测模型是基于迭代过程中生成的至少部分超参数组合进行训练得到的。
可选地，为多个超参数调优策略分配当前可用的资源包括：将当前可用的资源平均分配给多个超参数调优策略；或者，将当前可用的资源按照预设的比例分配给多个超参数调优策略。
可选地，为多个超参数调优策略分配当前可用的资源包括：分别对多个超参数调优策略进行评分；根据评分结果为多个超参数调优策略分配当前可用的资源。
可选地，当多个超参数调优策略包括一个或多个模型导向策略时，在每一轮迭代过程中，该方法还包括：获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标，将一个或多个超参数组合及其评价指标加入到机器学习模型的超参数组合样本集。
可选地，在每一轮迭代过程中，该方法还包括：在该轮分配到资源的模型导向策略以机器学习模型当前的超参数组合样本集中的至少部分超参数组合为训练样本，进行模型训练，以得到预测模型。
可选地，分别对多个超参数调优策略进行评分包括：根据各超参数调优策略的可用度，分别对多个超参数调优策略进行评分；以及/或者根据各超参数调优策略的置信度，分别对多个超参数调优策略进行评分；以及/或者根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标，分别对多个超参数调优策略进行评分。
可选地，根据各超参数调优策略的可用度，分别对多个超参数调优策略进行评分包括：非模型导向搜索策略的可用度为固定常数，在迭代过程中生成的超参数组合的数量小于或等于预设阈值时，模型导向策略的可用度为零，在迭代过程中生成的超参数组合的数量大于预设阈值时，模型导向策略的可用度与迭代过程中生成的超参数组合的数量成正比。
可选地，根据各超参数调优策略的置信度，分别对多个超参数调优策略进行评分包括：非模型导向搜索策略的置信度为固定常数；将迭代过程中生成的超参数组合划分为至少一对训练集和测试集，计算每个模型导向型策略在每对训练集和测试集下的得分，将得分平均后进行归一化，以得到每个模型导向型策略的置信度。
可选地，根据各超参数调优策略在之前一个或多个轮次中生成的超参数组合的评价指标，分别对多个超参数调优策略进行评分包括：根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标在所有生成的超参数组合中的平均排名，分别对多个超参数调优策略进行评分，其中，评分结果与平均排名成正比。
可选地，根据评分结果为多个超参数调优策略分配当前可用的资源包括：根据评分结果确定每个超参数调优策略的概率值，其中，概率值与评分结果成正比；将当前可用的资源分为多份；基于概率值对多个超参数调优策略进行多次抽样，以确定每份资源所属的超参数调优策略。
可选地，当前可用的资源包括：当前轮次需要生成的超参数组合的个数；或者当前轮次可用的计算资源。
可选地，该方法还包括：当满足迭代终止条件时，从迭代过程中生成的至少部分超参数组合中选择评价指标最优的超参数组合，作为机器学习模型最终的超参数组合。
可选地，该方法还包括：在连续预定数量个轮次下生成的超参数组合的评价指标的提升度均小于预定阈值的情况下，终止迭代过程；或者在生成的超参数组合的评价指标达到预定目标的情况下，终止迭代过程；或者在所消耗的资源超过预定资源阈值的情况下，终止迭代过程。
根据本发明的第二个方面，还提出了一种机器学习模型超参数优化过程中的资源调度装置，包括：资源确定单元、分配单元以及超参数组合获取单元，在每一轮迭代过程中：资源确定单元用于确定当前可用的资源；分配单元用于为多个超参数调优策略分配当前可用的资源，其中，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合；超参数组合获取单元用于获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
可选地，多个超参数调优策略包括：一个或多个非模型导向搜索策略，非模型导向搜索策略用于基于预定的搜索方式从超参数搜索空间内选择超参数组合；和/或一个或多个模型导向策略，模型导向策略用于基于预测模型选择超参数组合，其中，预测模型是基于迭代过程中生成的至少部分超参数组合进行训练得到的。
可选地，分配单元将当前可用的资源平均分配给多个超参数调优策略，或者分配单元将当前可用的资源按照预设的比例分配给多个超参数调优策略。
可选地，该装置还包括：评分单元，用于分别对多个超参数调优策略进行评分，分配单元根据评分结果为多个超参数调优策略分配当前可用的资源。
可选地，当多个超参数调优策略包括一个或多个模型导向策略时，该装置还包括：评价指标获取单元和样本集更新单元，在每一轮迭代过程中：评价指标获取单元用于获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标；样本集更新单元用于将一个或多个超参数组合及其评价指标加入到机器学习模型的超参数组合样本集。
可选地，在每一轮迭代过程中，在该轮分配到资源的模型导向策略以机器学习模型当前的超参数组合样本集中的至少部分超参数组合为训练样本，进行模型训练，以得到预测模型。
可选地，评分单元用于根据各超参数调优策略的可用度，分别对多个超参数调优策略进行评分；并且/或者评分单元用于根据各超参数调优策略的置信度，分别对多个超参数调优策略进行评分；并且/或者评分单元用于根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标，分别对多个超参数调优策略进行评分。
可选地，非模型导向搜索策略的可用度为固定常数，在迭代过程中生成的超参数组合的数量小于或等于预设阈值时，模型导向策略的可用度为零，在迭代过程中生成的超参数组合的数量大于预设阈值时，模型导向策略的可用度与迭代过程中生成的超参数组合的数量成正比。
可选地，非模型导向搜索策略的置信度为固定常数；评分单元将迭代过程中生成的超参数组合划分为至少一对训练集和测试集，计算每个模型导向型策略在每对训练集和测试集下的得分，将得分平均后进行归一化，以得到每个模型导向型策略的置信度。
可选地，评分单元根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标在所有生成的超参数组合中的平均排名，分别对多个超参数调优策略进行评分，其中，评分结果与平均排名成正比。
可选地，分配单元包括：概率值确定单元，用于根据评分结果确定每个超参数调优策略的概率值，其中，概率值与评分结果成正比；资源划分单元，用于将当前可用的资源分为多份；抽样单元，用于基于概率值对多个超参数调优策略进行多次抽样，以确定每份资源所属的超参数调优策略。
可选地，当前可用的资源包括：当前轮次需要生成的超参数组合的个数；或者当前轮次可用的计算资源。
可选地，该装置还包括：选择单元，用于当满足迭代终止条件时，从迭代过程中生成的至少部分超参数组合中选择评价指标最优的超参数组合，作为机器学习模型最终的超参数组合。
可选地，该装置还包括：终止单元，终止单元用于在连续预定数量个轮次下生成的超参数组合的评价指标的提升度均小于预定阈值的情况下，终止迭代过程；或者终止单元用于在生成的超参数组合的评价指标达到预定目标的情况下，终止迭代过程；或者终止单元用于在所消耗的资源超过预定资源阈值的情况下，终止迭代过程。
根据本发明的第三个方面，还提出了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如本发明第一个方面述及的方法。
根据本发明的第四个方面，还提出了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如本发明第一个方面述及的方法。
根据本发明示例性实施例的机器学习模型超参数优化过程中的资源调度及装置，可以保证整个机器学习模型超参数优化过程中都使用最佳效果的超参数调优策略组合，因而在资源有限的情况下，能够有效加速调参的收敛效率，并提升超参数优化效果。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的资源调度方法中每一轮迭代过程的流程图；
图2示出根据本发明示例性实施例的资源调度方法中每一轮迭代过程还可以包括的步骤流程图；
图3示出根据本发明示例性实施例的资源调度装置的框图；
图4示出根据本发明示例性实施例的分配单元可以具有的功能单元的框图；
图5示出根据本发明示例性实施例的资源调度装置还可以具有的功能单元的框图；
图6示出根据本发明示例性实施例的可用于实现上述方法的计算设备的框图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
考虑到使用单一策略进行机器学习模型超参数优化时，不可避免地存在某些场景效果不佳或收敛到局部最优的风险，本发明提出，在机器学习模型超参数优化中，可以同时使用多种超参数优化策略。并且考虑到超参数优化过程中能够使用的资源有限，本发明进一步提出了一种机器学习模型超参数优化过程中的资源调度方案，在每一轮迭代过程中，根据多个超参数调优策略在当前轮次的状态及历史优劣情况，为这多个超参数调优策略分配当前可用的资源。本发明的这种模拟优胜劣汰的资源调度方案可以保证整个机器学习模型超参数优化过程中都使用最佳效果的超参数调优策略组合，因此，在资源有限的情况下，能够有效加速调参的收敛效率，并提升超参数优化效果。
下面就本发明的资源调度方案的具体实现过程进行示例性说明。
图1示出根据本发明示例性实施例的资源调度方法中每一轮迭代过程的流程图。图1所示的流程可通过计算机程序来执行，也可由专门的资源调度装置来执行。
参见图1，在步骤S110中，确定当前可用的资源。
当前可用的资源，也即当前轮次待分配的资源。本发明述及的资源可以是多种类型的资源，如可以是CPU个数、CPU核数等计算力资源，也可以是表征工作时长的时间资源，还可以是表征任务个数的任务资源。在本发明中，任务个数也即需要生成的超参数组合的个数，每个需要生成的超参数组合可以视为一个任务。
作为本发明的一个示例，当前可用的资源可以包括当前轮次可用的计算资源。其中，计算资源可以包括计算力资源和时间资源。例如，可以将“10个CPU核”作为当前可用的资源，也可以将“10个CPU核工作2小时”作为当前可用的资源。
作为本发明的另一个示例，当前可用的资源可以包括当前轮次需要生成的超参数组合的个数。当前需要生成的超参数组合的个数可以是根据当前可用的计算资源确定的，例如，在当前可用计算资源较多时，可以确定较多数量个需要生成的超参数组合，在当前可用计算资源较少时，可以确定较少数量个需要生成的超参数组合。因此，在分配当前轮次需要生成的超参数组合的个数时，本质上也是一种计算资源的分配。
在步骤S120中，为多个超参数调优策略分配当前可用的资源。
每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合。本发明述及的超参数调优策略可以是现有的超参数调优方案，如可以是随机搜索、网格搜索、进化算法、贝叶斯优化等多种超参数调优策略。
在本发明中，多个超参数调优策略可以包括一个或多个非模型导向搜索策略和/或一个或多个模型导向策略。非模型导向搜索策略用于基于预定的搜索方式(如随机搜索、网格搜索、进化算法等方式)从超参数搜索空间内选择超参数组合，其中，超参数搜索空间是指所有超参数的可能取值空间。模型导向策略用于基于预测模型选择超参数组合，其中，预测模型可以是基于迭代过程中生成的至少部分超参数组合进行训练得到的。可选地，模型导向策略可以是贝叶斯优化、树形结构Parzen估计器(Tree-structured ParzenEstimator，TPE)等超参数优化算法。
在本发明中，可以基于多种方式为多个超参数调优策略分配当前可用的资源。例如，可以将当前可用的资源平均分配给多个超参数调优策略。再例如，也可以将当前可用的资源按照预设的比例分配给多个超参数调优策略。
作为本发明的一种优选方案，可以分别对多个超参数调优策略进行评分，根据评分结果为多个超参数调优策略分配当前可用的资源。其中，在分别对多个超参数调优策略进行评分时，主要是根据各超参数调优策略在当前轮次的状态及历史优劣情况进行评分。作为示例，在对超参数调优策略进行评分时，可以参考如下三种维度中的任意一种或多种。
维度1、超参数调优策略的可用度
超参数调优策略的可用度用于表征超参数调优策略能够为机器学习模型选择超参数组合的可用程度。以超参数调优策略分为非模型导向搜索策略和模型导向策略为例：
非模型导向搜索策略为机器学习模型选择超参数组合的过程中，不依赖迭代过程中生成的超参数组合，一直可用。因此，非模型导向搜索策略的可用度可以是固定常数，如可以是1；
模型导向策略基于预测模型来为机器学习模型选择超参数组合，而预测模型的生成依赖于迭代过程中生成的超参数组合。在初始时迭代过程中生成的超参数组合的数量较少，如小于训练预测模型所需的超参数组合的最小数值时，无法训练出预测模型，此时模型导向策略不可用。在迭代过程中生成的超参数组合的数量大于训练预测模型所需的超参数组合的最小数值时，模型导向策略可用，并且超参数组合的数量越多，训练出的预测模型的效果越好，模型导向策略的可用性越强。
因此，模型导向策略的可用度与迭代过程中生成的超参数组合的数量有关。具体地说，在迭代过程中生成的超参数组合的数量小于或等于预设阈值时，模型导向策略的可用度为0。在迭代过程中生成的超参数组合的数量大于预设阈值时，模型导向策略的可用度大于零，并且模型导向策略的可用度与迭代过程中生成的超参数组合的数量成正比。其中，预设阈值可以是训练模型导向策略的预测模型所需的超参数组合的最小数值，例如，一种模型导向策略TPE(Tree-structured Parzen Estimator，)需要至少10组评估后的超参数组合才开始构造模型，所以TPE对应的预设阈值可以设置为10。
在基于超参数调优策略的可用度，分别对多个超参数调优策略进行评分时，超参数调优策略的可用度越高，其评分也越高。例如，可以将超参数调优策略的可用度，作为该维度下的评分。
作为示例，在基于可用度对超参数调优策略i进行评分时：
如果超参数调优策略i是非模型导向搜索策略，则评分可以记为固定常数1，如可以记为：
如果超参数调优策略i是模型导向策略，则评分可以记为：
其中，
表示超参数调优策略i在维度1下的评分，D是超参数样本集，|D|是超参数样本集中超参数组合的个数，函数
是关于|D|的单调递增函数。该表达式的含义为，如果模型导向策略需要至少Mi组超参数才能构造模型，那么当|D|＜Mi时，评分为负无穷，等同于最后该超参数调优策略的概率值为0，当|D|≥Mi时，模型导向策略的可用度会随着超参数样本集的的增大而提升，这个提升程度由单调递增函数fi 1(|D|)决定。单调递增函数fi 1(|D|)的具体形式可以根据实际情况设定，例如，fi 1(|D|)＝|D|d，d为大于0的数值，如可以是0.5。
维度2、超参数调优策略的置信度
超参数调优策略的置信度用于表征超参数调优策略为机器学习模型选择超参数组合的可信程度，也即超参数调优策略的效果。以超参数调优策略分为非模型导向搜索策略和模型导向策略为例：非模型导向搜索策略的置信度可以视为固定常数，如可以是1；模型导向策略是基于预测模型来为机器学习模型选择超参数组合，其置信度依赖于预测模型的模型效果。因此，可以通过评估预测模型的模型效果，来确定模型导向策略的置信度。
作为示例，可以将迭代过程中生成的超参数组合划分为至少一对训练集和测试集，例如可以基于交叉验证的方式对迭代过程中生成的超参数组合进行划分，以得到多对训练集和测试集。这里，为了方便进行说明以迭代过程中生成的超参数组合为10组为例，可以将第【1-9】组超参数组合作为训练集，将第【10】组超参数组合作为测试集，将第【1-8，10】组超参数组合作为训练集，将第【9】组超参数组合作为测试集，将第【1-7，9-10】组超参数组合作为训练集，将第【8】组超参数组合作为测试集，以此类推，可以得到10对训练集和测试集。然后可以计算每个模型导向策略(也即模型导向策略的预测模型)在每对训练集和测试集下的得分。这里可以基于训练集训练预测模型，然后使用测试集对生成的预测模型进行验证，以得到模型导向型策略在该对训练集和测试集下的得分。最后可以将得分平均后进行归一化，将数值归一化到【0，1】区间，以得到每个模型导向型策略的置信度。
在基于超参数调优策略的置信度，分别对多个超参数调优策略进行评分时，超参数调优策略的置信度越高，其评分也越高。例如，可以将超参数调优策略的置信度，作为该维度下的评分。
作为示例，在基于置信度对超参数调优策略i进行评分时，如果超参数调优策略i是非模型导向搜索策略，则评分可以记为固定常数1，如可以记为
如果超参数调优策略i是模型导向策略，则可以将通过上述方式计算得到的置信度作为其评分，以得到
表示超参数调优策略i在维度2下的评分。
维度3、各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标
面临不同的机器学习模型时，各个超参数调优策略的效果会存在一定的差异，为了提高针对超参数调优策略得到的评分结果的准确性和鲁棒性。本发明提出，还可以实时监测各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标，根据之前一轮或多轮迭代中生成的超参数组合的评价指标，来对超参数调优策略进行评分。
作为示例，可以根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标在所有生成的超参数组合中的平均排名，分别对多个超参数调优策略进行评分，其中，评分结果与平均排名成正比。
例如，可以根据超参数组合的评价指标，计算超参数调优策略i生成过的超参数组合在所有生成的超参数组合中的排名，然后根据排名计算分位数(quantile)，排名越靠前分位数越高，将计算得到的分位数的平均值作为超参数调优策略i的评分。再例如，也可以根据超参数组合的评价指标，计算超参数调优策略i生成过的超参数组合在所有生成的超参数组合中的平均排名，然后根据平均排名计算分位数(quantile)，平均排名越靠前分位数越高，将计算得到的分位数作为超参数调优策略i的评分。其中，分位数的大小与排名成正比，排名越靠前，分位数越大。基于维度3得到的评分可以记为
综上，针对超参数调优策略i，可以计算超参数调优策略i在上述一种或多种维度下的评分，然后根据超参数调优策略i在上述一种或多种维度下的评分，得到超参数调优策略i的最终评分。其中，可以通过多种方式计算最终评分，如可以通过求和、求乘积、加权求和等多种方式计算最终评分。作为示例，在基于上述三种维度计算超参数调优策略i的评分时，超参数调优策略i的最终评分可以记为
评分结果可以表征各个超参数调优策略在当前轮次中的优劣情况，因此可以根据评分结果为多个超参数调优策略分配当前可用的资源。作为示例，评分结果可以用于表征为超参数调优策略分配资源的概率，超参数调优策略的评分越高，表示为该超参数调优策略分配资源的概率越大。例如，可以根据评分结果确定每个超参数调优策略的概率值，并将当前可用的资源分为多份，基于概率值对多个超参数调优策略进行多次抽样，以确定每份资源所属的超参数调优策略。以共有四个超参数调优策略，且其中的超参数调优策略1对应的概率值为0.2、超参数调优策略2对应的概率值为0.8、超参数调优策略3对应的概率值为0.6以及超参数调优策略4对应的概率值为0.5为例，对于每份资源都按照各超参数调优策略对应的概率值从四个超参数调优策略中抽样出一个超参数调优策略，并将当前的该份资源分配给抽样出的该超参数调优策略。
超参数调优策略的概率值与评分结果成正比。以超参数调优策略i的最终评分记为
为例，对应的概率值可以表示为：
其中，qi(D)表示超参数调优策略i的概率值，N表示超参数调优策略的个数。
在将当前可用的资源分为多份时，可以根据多种划分标准进行划分，关于资源的具体划分方式，可以根据实际情况设定，此处仅做示例性说明。
例如，可以根据工作时长划分为多份，如当前可用的资源为“10个CPU核工作1天”时，可以划分为24份资源，每份资源为“10个CPU核工作1小时”。再例如，也可以根据CPU核数等物理资源进行划分，如当前可用的资源为“10个CPU核工作1天”时，可以划分为10份资源，每份资源为“1个CPU核工作1天”。
还例如，在当前可用的资源为“需要生成3个超参数组合”时，可以划分3份资源，每份资源为“需要生成1个超参数组合”。其中，每份资源可以视为一个任务。当前需要生成的超参数组合的个数可以根据当前可用的计算资源确定。例如，在当前可用计算资源较多时，可以确定较多数量个需要生成的超参数组合，在当前可用计算资源较少时，可以确定较少数量个需要生成的超参数组合。因此，在分配当前轮次需要生成的超参数组合的个数时，本质上也是一种计算资源的分配。
在步骤S130中，获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
在根据评分结果为多个超参数调优策略分配当前可用的资源后，分配到资源的各超参数调优策略就可以分别基于所分配到的资源生成一个或多个超参数组合。其中，分配到资源的超参数调优策略可以基于自身对应的超参数选择策略为机器学习模型选择超参数组合，以生成一个或多个超参数组合。关于超参数组合的生成过程，不再赘述。
需要说明的是，机器学习模型超参数优化过程支持并行计算。例如，在优化过程中，分配到资源的超参数调优策略可以并行运行，以同时提供多组超参数组合。由此，可以大大提高优化速率。
在本发明的示例性实施例中，可以根据超参数调优策略的评分结果，为多个超参数调优策略分配当前可用的资源，而评分结果可以表征超参数调优策略在当前轮次的优劣情况，因此分配到资源的超参数调优策略可以视为当前轮次表现较好的超参数调优策略。由此，本发明这种模拟优胜劣汰的资源分配方案可以保证整个机器学习模型超参数优化过程中都使用最佳效果的超参数调优策略组合，因而在资源有限的情况下，能够有效加速调参的收敛效率，并提升超参数优化效果。
图2示出根据本发明示例性实施例的资源调度方法中每一轮迭代过程还可以包括的步骤流程图。其中，当多个超参数调优策略包括一个或多个模型导向策略时，可以在执行完步骤S130后，执行图2所示的步骤S140、步骤S150。
参见图2，在步骤S140中，获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标。
作为示例，对于该轮迭代过程中生成的每个超参数组合，可以基于该超参数组合来训练机器学习模型，并将机器学习模型的效果指标(如准确率)，作为该超参数组合的评价指标。
在步骤S150中，将一个或多个超参数组合及其评价指标加入到机器学习模型的超参数组合样本集。
超参数组合样本集可以用于为模型导向策略提供训练预测模型所需的样本数据，并且所有的模型导向策略可以共享超参数组合样本集中的样本数据。其中，超参数组合样本集中的每个超参数组合及其评价指标可以视为一个训练样本。由此，在每一轮迭代过程中，在该轮分配到资源的模型导向策略可以以机器学习模型当前的超参数组合样本集中的至少部分超参数组合为训练样本，进行模型训练，以得到预测模型，然后使用训练出的预测模型为机器学习模型选择一个或多个超参数组合。
至此，结合图1、图2就本发明的机器学习模型超参数优化过程中的资源调度方法中每一轮迭代过程做了示例性说明。
在机器学习模型超参数优化过程中，可以按照图1、图2所示的流程迭代执行多个轮次。当满足迭代终止条件时，可以从迭代过程中生成的至少部分超参数组合中选择评价指标最优的超参数组合，作为机器学习模型最终的超参数组合。其中，迭代终止条件可以是连续n次迭代的提升都很少，比如小于一个阈值，那就认为优化已经收敛，过程结束。另外，迭代终止条件也可以是人为规定的条件，例如，可以是优化目标达到需要的标准，就可以停止，或者优化过程所消耗的资源超过预算，也停止。这些迭代终止条件可以同时存在，满足任意一个条件时就可以停止优化过程。
也就是说，可以连续预定数量个轮次下生成的超参数组合的评价指标的提升度均小于预定阈值的情况下，终止迭代过程，也可以在生成的超参数组合的评价指标达到预定目标的情况下，终止迭代过程，还可以在所消耗的资源超过预定资源阈值的情况下，终止迭代过程。
综上，基于本发明的机器学习模型超参数优化过程中的资源调度方案，至少可以产生如下有益效果。
1、本发明可以保证整个机器学习模型超参数优化过程中都使用最佳效果的超参数调优策略组合，在资源有限的情况下，能够有效加速调参的收敛效率，并提升超参数优化效果
2、本发明原生支持并行计算。分配到资源的各个超参数调优策略可以并行运行，以提高调参速率。
3、本发明融合了多个超参数调优策略，可同时拥有模型导向策略的高效性和非模型导向搜索策略的无偏性，因此能达到更好效果和更快的收敛速度。
4、本发明具有高度可扩展性，本发明提及的超参数调优策略可以是现有技术中任意一种超参数调优方案。
5、本发明不需要为模型导向搜索策略预设超参数训练样本，而是利用迭代过程中生成的超参数组合生成超参数组合样本集，为模型导向搜索策略提供模型训练所需的训练数据。
本发明的机器学习模型超参数优化过程中的资源调度方法，还可以实现为一种机器学习模型超参数优化过程中的资源调度装置。图3示出根据本发明示例性实施例的资源调度装置的框图。其中，资源调度装置的功能单元可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图3所描述的功能单元可以组合起来或者划分成子单元，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能单元的任何可能的组合、或者划分、或者更进一步的限定。
下面就资源调度装置可以具有的功能单元以及各功能单元可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。
参见图3，资源调度装置300包括资源确定单元310、分配单元320以及超参数组合获取单元330。
在每一轮迭代过程中：资源确定单元310用于确定当前可用的资源，关于当前可用的资源，可以参见上文对图1中步骤S110的描述，此处不再赘述；分配单元320用于为多个超参数调优策略分配当前可用的资源，其中，每个超参数调优策略用于基于自身所对应的超参数选择策略为机器学习模型选择超参数组合；超参数组合获取单元330用于获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
多个超参数调优策略可以包括：一个或多个非模型导向搜索策略，非模型导向搜索策略用于基于预定的搜索方式从超参数搜索空间内选择超参数组合；和/或一个或多个模型导向策略，模型导向策略用于基于预测模型选择超参数组合，其中，预测模型是基于迭代过程中生成的至少部分超参数组合进行训练得到的。
在本发明中，分配单元320可以基于多种方式来为多个超参数调优策略分配当前可用的资源。例如，分配单元320可以将当前可用的资源平均分配给多个超参数调优策略。再例如，分配单元320也可以将当前可用的资源按照预设的比例分配给多个超参数调优策略。
作为示例，资源调度装置300还可以包括评分单元(图中未示出)，评分单元用于分别对多个超参数调优策略进行评分，分配单元320可以根据评分结果为多个超参数调优策略分配当前可用的资源。其中，评分单元可以用于根据各超参数调优策略的可用度，分别对多个超参数调优策略进行评分；并且/或者评分单元也可以用于根据各超参数调优策略的置信度，分别对多个超参数调优策略进行评分；并且/或者评分单元也可以用于根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标，分别对多个超参数调优策略进行评分。其中，关于评分单元基于这三种维度中的一种或多种来为超参数调优策略进行评分的具体实现过程，可以参见上文相关描述，此处不再赘述。
图4示出根据本发明示例性实施例的分配单元可以具有的功能单元的框图。
如图4所示，分配单元320可以包括概率值确定单元3210、资源划分单元3220以及抽样单元3230。概率值确定单元3210用于根据评分结果确定每个超参数调优策略的概率值，其中，概率值与评分结果成正比；资源划分单元3220用于将当前可用的资源分为多份；抽样单元3230用于基于概率值对多个超参数调优策略进行多次抽样，以确定每份资源所属的超参数调优策略。
图5示出根据本发明示例性实施例的资源调度装置还可以具有的功能单元的框图。
如图5所示，资源调度装置300还可以包括评价指标获取单元340和样本集更新单元350。当多个超参数调优策略包括一个或多个模型导向策略时，在每一轮迭代过程中：评价指标获取单元340用于获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标；样本集更新单元350用于将一个或多个超参数组合及其评价指标加入到机器学习模型的超参数组合样本集。
在每一轮迭代过程中，在该轮分配到资源的模型导向策略以机器学习模型当前的超参数组合样本集中的至少部分超参数组合为训练样本，进行模型训练，以得到预测模型。
如图5所示，资源调度装置300还可以包括选择单元360。选择单元360用于当满足迭代终止条件时，从迭代过程中生成的至少部分超参数组合中选择评价指标最优的超参数组合，作为机器学习模型最终的超参数组合。
如图5所示，资源调度装置300还可以包括终止单元370。终止单元370用于在连续预定数量个轮次下生成的超参数组合的评价指标的提升度均小于预定阈值的情况下，终止迭代过程；或者终止单元370用于在生成的超参数组合的评价指标达到预定目标的情况下，终止迭代过程；或者终止单元370用于在所消耗的资源超过预定资源阈值的情况下，终止迭代过程。
应该理解，根据本发明示例性实施例的资源调度装置的具体实现方式可参照结合图1-图2描述的相关具体实现方式来实现，在此不再赘述。
图6示出根据本发明示例性实施例的可用于实现上述方法的计算设备的框图。
参见图6，计算设备600包括存储器610和处理器620。
处理器620可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器620可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器620可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器610可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器610上存储有可执行代码，当可执行代码被处理器620执行时，可以使处理器620执行上文述及的机器学习模型超参数优化过程中的资源调度方法。
上文中已经参考附图详细描述了根据本发明的机器学习模型超参数优化过程中的资源调度方法、资源调度装置以及计算设备。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种机器学习模型超参数优化过程中的资源调度方法，其中，该方法融合了多个超参数调优策略，每个所述超参数调优策略用于基于自身所对应的超参数选择策略为所述机器学习模型选择超参数组合，该方法的每一轮迭代过程包括：
确定当前可用的资源；
为所述多个超参数调优策略分配当前可用的资源；
获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
2.根据权利要求1所述的方法，其中，所述多个超参数调优策略包括：
一个或多个非模型导向搜索策略，所述非模型导向搜索策略用于基于预定的搜索方式从超参数搜索空间内选择超参数组合；和/或
一个或多个模型导向策略，所述模型导向策略用于基于预测模型选择超参数组合，其中，所述预测模型是基于迭代过程中生成的至少部分超参数组合进行训练得到的。
3.根据权利要求2所述的方法，其中，所述为所述多个超参数调优策略分配当前可用的资源包括：
将当前可用的资源平均分配给所述多个超参数调优策略；
或者，
将当前可用的资源按照预设的比例分配给所述多个超参数调优策略。
4.根据权利要求2所述的方法，其中，所述为所述多个超参数调优策略分配当前可用的资源包括：
分别对所述多个超参数调优策略进行评分；
根据评分结果为所述多个超参数调优策略分配当前可用的资源。
5.根据权利要求4所述的方法，其中，当所述多个超参数调优策略包括一个或多个模型导向策略时，在每一轮迭代过程中，该方法还包括：
获取在该轮迭代过程中生成的一个或多个超参数组合分别对应的评价指标，将所述一个或多个超参数组合及其评价指标加入到所述机器学习模型的超参数组合样本集。
6.根据权利要求5所述的方法，其中，在每一轮迭代过程中，该方法还包括：
在该轮分配到资源的模型导向策略以所述机器学习模型当前的超参数组合样本集中的至少部分超参数组合为训练样本，进行模型训练，以得到所述预测模型。
7.根据权利要求4所述的方法，其中，分别对多个超参数调优策略进行评分包括：
根据各超参数调优策略的可用度，分别对所述多个超参数调优策略进行评分；以及/或者
根据各超参数调优策略的置信度，分别对所述多个超参数调优策略进行评分；以及/或者
根据各超参数调优策略在之前一轮或多轮迭代中生成的超参数组合的评价指标，分别对所述多个超参数调优策略进行评分。
8.一种机器学习模型超参数优化过程中的资源调度装置，包括：资源确定单元、分配单元以及超参数组合获取单元，在每一轮迭代过程中：
所述资源确定单元用于确定当前可用的资源；
所述分配单元用于为多个超参数调优策略分配当前可用的资源，其中，每个所述超参数调优策略用于基于自身所对应的超参数选择策略为所述机器学习模型选择超参数组合；
所述超参数组合获取单元用于获取分配到资源的各超参数调优策略分别基于所分配到的资源生成的一个或多个超参数组合。
9.一种计算设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任何一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811394230.5A CN111291894B (zh) | 2018-11-21 | 超参数优化过程中的资源调度方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811394230.5A CN111291894B (zh) | 2018-11-21 | 超参数优化过程中的资源调度方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291894A true CN111291894A (zh) | 2020-06-16 |
| CN111291894B CN111291894B (zh) | 2024-06-07 |
Family
ID=
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813523A (zh) * | 2020-07-09 | 2020-10-23 | 北京奇艺世纪科技有限公司 | 时长预估模型生成方法、系统资源调度方法、装置、电子设备和存储介质 |
| CN112667397A (zh) * | 2020-12-09 | 2021-04-16 | 财团法人工业技术研究院 | 机器学习系统及其资源配置方法 |
| CN113010312A (zh) * | 2021-03-11 | 2021-06-22 | 山东英信计算机技术有限公司 | 一种超参数调优方法、装置及存储介质 |
| CN113312855A (zh) * | 2021-07-28 | 2021-08-27 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
| CN116244076A (zh) * | 2023-02-13 | 2023-06-09 | 安徽大学 | 一种面向云环境流处理任务的资源成本优化方法及系统 |
| CN116680992A (zh) * | 2023-07-28 | 2023-09-01 | 宁德时代新能源科技股份有限公司 | 建立电芯容量预测模型的方法、装置、计算机设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909118A (zh) * | 2017-12-11 | 2018-04-13 | 北京映翰通网络技术股份有限公司 | 一种基于深度神经网络的配电网工况录波分类方法 |
| US20180121814A1 (en) * | 2016-10-31 | 2018-05-03 | Microsoft Technology Licensing, Llc | Hyperparameter tuning |
| JP2018092347A (ja) * | 2016-12-02 | 2018-06-14 | 国立大学法人 東京大学 | 情報処理装置、情報処理方法及びプログラム |
| CN108805268A (zh) * | 2018-06-08 | 2018-11-13 | 中国科学技术大学 | 基于进化算法的深度强化学习策略网络训练方法 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180121814A1 (en) * | 2016-10-31 | 2018-05-03 | Microsoft Technology Licensing, Llc | Hyperparameter tuning |
| JP2018092347A (ja) * | 2016-12-02 | 2018-06-14 | 国立大学法人 東京大学 | 情報処理装置、情報処理方法及びプログラム |
| CN107909118A (zh) * | 2017-12-11 | 2018-04-13 | 北京映翰通网络技术股份有限公司 | 一种基于深度神经网络的配电网工况录波分类方法 |
| CN108805268A (zh) * | 2018-06-08 | 2018-11-13 | 中国科学技术大学 | 基于进化算法的深度强化学习策略网络训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 梁应敞;谭俊杰;DUSIT NIYATO;: "智能无线通信技术研究概况", 通信学报, no. 07, 5 April 2017 (2017-04-05) * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813523A (zh) * | 2020-07-09 | 2020-10-23 | 北京奇艺世纪科技有限公司 | 时长预估模型生成方法、系统资源调度方法、装置、电子设备和存储介质 |
| CN112667397B (zh) * | 2020-12-09 | 2023-11-28 | 财团法人工业技术研究院 | 机器学习系统及其资源配置方法 |
| CN112667397A (zh) * | 2020-12-09 | 2021-04-16 | 财团法人工业技术研究院 | 机器学习系统及其资源配置方法 |
| US11954527B2 (en) | 2020-12-09 | 2024-04-09 | Industrial Technology Research Institute | Machine learning system and resource allocation method thereof |
| CN113010312A (zh) * | 2021-03-11 | 2021-06-22 | 山东英信计算机技术有限公司 | 一种超参数调优方法、装置及存储介质 |
| WO2022188575A1 (zh) * | 2021-03-11 | 2022-09-15 | 山东英信计算机技术有限公司 | 一种超参数调优方法、装置及存储介质 |
| CN113010312B (zh) * | 2021-03-11 | 2024-01-23 | 山东英信计算机技术有限公司 | 一种超参数调优方法、装置及存储介质 |
| CN113312855A (zh) * | 2021-07-28 | 2021-08-27 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
| CN113312855B (zh) * | 2021-07-28 | 2021-12-10 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
| CN116244076B (zh) * | 2023-02-13 | 2023-11-24 | 安徽大学 | 一种面向云环境流处理任务的资源成本优化方法及系统 |
| CN116244076A (zh) * | 2023-02-13 | 2023-06-09 | 安徽大学 | 一种面向云环境流处理任务的资源成本优化方法及系统 |
| CN116680992A (zh) * | 2023-07-28 | 2023-09-01 | 宁德时代新能源科技股份有限公司 | 建立电芯容量预测模型的方法、装置、计算机设备及介质 |
| CN116680992B (zh) * | 2023-07-28 | 2023-12-29 | 宁德时代新能源科技股份有限公司 | 建立电芯容量预测模型的方法、装置、计算机设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242105B (zh) | 代码优化方法、装置、设备及介质 | |
| CN108984301B (zh) | 自适应云资源调配方法和装置 | |
| CN113169990B (zh) | 具有动态卸载的深度学习推理的分割 | |
| KR101113006B1 (ko) | 클러스터 간 상호정보를 이용한 클러스터링 장치 및 방법 | |
| CN105869022B (zh) | 一种应用流行度预测方法和装置 | |
| CN109005130B (zh) | 网络资源配置调度方法和装置 | |
| US11620583B2 (en) | Federated machine learning using locality sensitive hashing | |
| CN110795246A (zh) | 资源利用率的预测方法及装置 | |
| CN109407997B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| CN111832693B (zh) | 神经网络层运算、模型训练方法、装置及设备 | |
| CN110533437B (zh) | 广告投放预算分配方法及装置 | |
| CN111291894B (zh) | 超参数优化过程中的资源调度方法、装置、设备及介质 | |
| CN111291894A (zh) | 超参数优化过程中的资源调度方法、装置、设备及介质 | |
| CN111985644B (zh) | 神经网络生成方法及装置、电子设备及存储介质 | |
| CN115269118A (zh) | 一种虚拟机的调度方法、装置及设备 | |
| CN109005052B (zh) | 网络任务预测方法和装置 | |
| CN110765345B (zh) | 搜索方法、装置以及设备 | |
| CN113296951A (zh) | 一种资源配置方案确定方法及设备 | |
| CN111967938A (zh) | 云资源推荐方法、装置、计算机设备及可读存储介质 | |
| EP4261756A1 (en) | Model gradient determining methods, apparatuses, devices, and media based on federated learning | |
| CN115202591B (zh) | 一种分布式数据库系统的存储装置、方法及存储介质 | |
| CN111401518B (zh) | 一种神经网络量化方法、装置及计算机可读存储介质 | |
| CN113343725B (zh) | Rfid多阅读器的防碰撞方法及系统 | |
| CN117076093B (zh) | 一种基于机器学习的存储资源调度方法、装置及存储介质 | |
| US20240005160A1 (en) | Methods and systems for optimizing a peak memory usage of an artificial neural network graph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |