CN116362348A - 参数优化方法以及装置 - Google Patents
参数优化方法以及装置 Download PDFInfo
- Publication number
- CN116362348A CN116362348A CN202310281804.2A CN202310281804A CN116362348A CN 116362348 A CN116362348 A CN 116362348A CN 202310281804 A CN202310281804 A CN 202310281804A CN 116362348 A CN116362348 A CN 116362348A
- Authority
- CN
- China
- Prior art keywords
- task
- parameter
- optimization
- parameters
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 562
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000011156 evaluation Methods 0.000 claims abstract description 295
- 238000012163 sequencing technique Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Stored Programmes (AREA)
Abstract
本说明书实施例提供参数优化方法以及装置,其中所述参数优化方法包括:执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数;基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数;基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种参数优化方法。
背景技术
随着计算机技术的发展,针对参数的调优任务越来越多,包括针对系统以及机器学习模型的参数调优。实际应用中,在进行模型训练,以及系统参数调优时,将会耗费大量的时间,由于模型训练和系统参数调优均为不断的进行参数调整的过程,直到满足参数优化条件,针对参数的调优任务才结束。
近年来,学术界和工业界出现依靠机器学习方法,基于大量调优数据记录,在操作系统内核,编译器,以及数据库等场景推广参数调优的算法。但是上述领域涉及的参数数量较多,可能高达成百上千维。如果无法及时停止调优,可能导致浪费过多调优轮次,从而影响整体调优效率,也将造成资源浪费。因此,亟需一种有效的方法以解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了一种参数优化方法。本说明书一个或者多个实施例同时涉及一种参数优化装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种参数优化方法,包括:
执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;
根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数;
基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数;
基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
根据本说明书实施例的第二方面,提供了一种参数优化装置,包括:
执行模块,被配置为执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;
选择模块,被配置为根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数;
确定模块,被配置为基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数;
创建模块,被配置为基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
根据本说明书实施例的第三方面,提供了一种参数优化系统,所述系统包括服务器和客户端;
所述客户端用于存储参数优化确认指令;所述服务器用于存储参数优化指令;所述参数优化确认指令被所述客户端执行时,以及所述参数优化指令被所述服务器执行时实现上述方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述参数优化方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述参数优化方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述参数优化方法的步骤。
本说明书一个实施例,通过执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数;基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数;基于目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示目标对象的参数优化进度。实现每经过一次任务执行周期,均基于目标任务参数和目标任务评估参数创建参数优化信息,表示目标对象的参数优化进度,以便于根据目标对象的参数优化进度对参数优化任务的执行进行干预,从而减少参数调优轮次,节省调优资源,提高任务执行效率,加快任务执行进程。
附图说明
图1是本说明书一个实施例提供的一种参数优化方法的示意图;
图2是本说明书一个实施例提供的一种参数优化方法的流程图;
图3是本说明书一个实施例提供的一种参数优化方法的处理过程流程图;
图4是本说明书一个实施例提供的一种参数优化方法的优化示意图;
图5是本说明书一个实施例提供的一种参数优化方法的优化结果示意图;
图6是本说明书一个实施例提供的另一种参数优化方法的处理过程流程图;
图7是本说明书一个实施例提供的一种参数优化装置的结构示意图;
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
参数调优:通过系统参数进行调整,使系统在某基准程序上得分不断提高的过程。
系统参数:指操作系统中可以进行动态设置并对应用性能产生影响的配置项,例如内核配置参数和应用配置参数等。
参数调优算法:实现了某种算法策略,不断给出系统参数组合,从而找到使应用性能得到提升的参数配置的程序。
操作系统内核,编译器,以及数据库等场景均存在针对参数的调优需求,较为有效的参数设置可以优化服务运行性能,提升整体服务质量。近年来,学术界和工业界出现依靠机器学习方法,基于大量调优数据记录,在操作系统内核,编译器,以及数据库等场景推广参数调优的算法。但是上述领域涉及的参数数量较多,可能高达成百上千维。这种情况在实际的调优过程中会频繁发生,如果无法及时停止调优,可能导致浪费过多调优轮次,从而影响整体调优效率。
除了系统软件参数调优,参数调优算法在机器学习模型超参数调优中也有广泛应用。机器学习超参数调优领域,由于每轮调优均需要进行模型训练等开销较大的评估实验,因此已经有部分工作引入早停(early stopping)机制,以防止模型过拟合等问题浪费计算资源。与此同时,在系统参数调优领域,早停机制的相关研究工作仍然较少,并且由于系统参数调优领域和机器学习模型超参数调优领域的不同,后者领域常用的早停算法无法直接应用于系统参数调优领域。
图1是本说明书一个实施例提供的一种参数优化方法的示意图,如图1所示,参数优化任务可以为系统软件、编译器、数据库以及机器学习模型对应的参数优化任务。在执行参数优化任务时,参数优化任务对应任务执行周期,在当前任务执行周期,根据执行结果确定当前任务执行周期的任务参数和任务评估参数。由于每个任务执行周期均对应任务参数以及任务评估参数,因此当前任务执行周期之前的任务执行周期对应的任务参数为历史任务参数,任务评估参数为历史任务评估参数。确定当前任务执行周期对应的优化窗口大小,根据优化窗口在参数优化任务的历史任务参数中选择初始任务参数,以及在参数优化任务的历史任务评估参数中选择初始任务评估参数。基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数;进而根据目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示参数优化任务的任务执行进度。实现每经过一次任务执行周期,均基于目标任务参数和目标任务评估参数创建参数优化信息,表示目标对象的参数优化进度,以便于根据目标对象的参数优化进度对参数优化任务的执行进行干预,从而减少参数调优轮次,节省调优资源,提高任务执行效率,加快任务执行进程。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
在本说明书中,提供了一种参数优化方法,本说明书同时涉及一种参数优化装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
参见图2,图2示出了根据本说明书一个实施例提供的一种参数优化方法的流程图,具体包括以下步骤。
步骤S202:执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数。
具体的,参数优化任务可以是操作系统内核,编译器,以及数据库等场景下,针对可变参数的调优任务;参数优化任务还可以是模型训练任务,相应的,目标对象即为操作系统内核、编译器以及数据库,待训练模型、需要进行参数优化的模型等对象;参数优化任务包括系统软件参数调优和模型训练参数调优;参数优化任务可以包括多个任务执行周期,每个任务执行周期均对应任务参数,以及任务评估参数,任务参数是指与任务执行周期对应的,用于执行任务的参数;任务评估参数是指任务执行周期对应的任务执行完成后,表示该任务执行周期的任务执行结果、参数变化情况的参数值,用于对任务执行结果进行评估。
基于此,确定目标对象对应的,包含多个任务执行周期的参数优化任务,在参数优化任务被执行时,当前任务执行周期执行完成后,即可获得任务执行结果,根据执行结果能够确定当前任务执行周期的任务参数和任务评估参数,任务参数为当前任务执行周期中,任务执行时所使用的任务参数,任务评估参数即表示当前任务执行周期执行结果的评估参数。
实际应用中,在参数优化任务为数据库、系统软件的参数调优任务时,参数调优任务包含多个参数调优轮次,即任务执行周期,每个参数调优轮次均对应任务参数和任务评估参数。执行参数优化任务即为依次经过每个任务执行周期,执行每个任务执行周期对应的参数调优任务,基于与当前任务执行周期对应的任务参数执行参数调优任务,进而根据任务执行结果确定任务评估参数,用于表示当前任务执行周期对应的参数优化进度。
在参数优化任务为模型训练任务时,模型训练任务包含多个参数调优轮次,即模型训练周期,每个模型训练周期均对应模型参数和模型评估参数。执行参数优化任务即为依次经过每个模型训练执行周期,执行每个模型训练周期对应的参数调优任务,基于与当前模型训练周期对应的模型参数执行当前模型训练周期对应的模型训练任务,进而根据训练结果确定模型评估参数,用于表示当前模型训练周期对应的参数优化进度。
此外,在进行模型训练时,可以由端侧提供用于进行模型训练的样本,由云端服务器提供计算资源,并在云端服务器完成模型训练后,向端侧设备反馈训练好的模型参数,用于支持端侧设备使用。在云端服务器基于训练样本对模型进行训练时,即可通过本实施例提供的参数优化方法实现,从而加快模型训练进程,提高模型训练速度。
步骤S204:根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数。
具体的,在上述执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数之后,即可根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数,其中,优化窗口表示确定初始任务参数的以及初始任务评估参数的条件或选取策略;优化窗口具有初始大小,在参数优化过程中不断的进行调整,每个任务执行周期对应不同大小的优化窗口,在历史任务参数以队列形式存储时,优化窗口用于在历史任务参数队列中选择与优化窗口匹配的历史任务参数,例如在优化窗口大小为2时,则表示在历史任务参数队列中选择后入队的两个任务参数作为初始任务参数。历史任务参数为当前任务执行周期之前,每个任务执行周期对应的任务参数按照任务执行周期的顺序排列的任务参数;相应的,历史任务评估参数为当前任务执行周期之前,每个任务执行周期对应的任务评估参数按照任务执行周期的顺序排列的任务评估参数。
基于此,在根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数后,即可确定当前任务执行周期对应的优化窗口,根据优化窗口在目标对象的历史任务参数中选择与优化窗口大小匹配的任务参数作为初始任务参数,以及在目标对象的历史任务评估参数中选择与优化窗口大小匹配的任务评估参数作为初始任务评估参数。
实际应用中,历史任务参数和历史任务评估参数可以以队列的形式进行存储,历史任务参数值中,每个任务参数均按照目标对象的参数优化任务的任务执行周期顺序存储,历史任务评估参数中每个任务评估参数也按照目标对象的参数优化任务的任务执行周期顺序存储,则历史任务参数中包含的任务参数,与历史任务评估参数中包含的历史任务评估参数之间则是一一对应的关系,即第一任务执行周期的任务参数与任务评估参数相对应。优化窗口可以根据任务执行周期的变化而调整,每个任务执行周期对应的优化窗口的大小均不同。优化窗口的大小可以是线性变化的也可以是非线性变化的,即,设定优化窗口阈值,在优化窗口达到优化窗口阈值之前优化窗口的大小呈线性变化,线性变大;在优化窗口达到优化窗口阈值之后优化窗口的大小呈非线性变化,非线性变小。
进一步的,在确定优化窗口之前,考虑到目标对象的参数优化任务包含多个任务执行周期,每个任务执行周期均有与其对应的任务参数和任务评估参数,考虑到各个任务执行周期之间的影响程度不同,因此在基于当前任务执行周期的任务参数和任务评估参数进行后续计算时,可以先根据任务周期确定优化窗口,再基于优化窗口选择初始任务参数和初始任务评估参数,具体实现如下,
在所述当前任务执行周期的任务周期排序值大于等于任务周期阈值的情况下,基于所述参数优化任务的任务执行周期的周期数值和所述任务周期排序值确定优化窗口;在所述当前任务执行周期的任务周期排序值小于任务周期阈值的情况下,基于所述任务周期排序值确定优化窗口。
具体的,任务周期排序值是指,当前任务执行周期在参数优化任务包含的多个任务执行周期中的排列顺序,在参数优化任务包含100个任务执行周期,当前任务周期为第18个任务执行周期的情况下,当前任务执行周期的任务周期排序值即为18;参数优化任务的任务执行周期的周期数值即为参数优化任务包含的任务执行周期总数;任务周期阈值是指基于参数优化任务包含的任务执行周期总数预先设置的阈值,任务周期阈值可以设置为参数优化任务包含的任务执行周期总数的10%,即设置为10。
基于此,在确定了当前任务执行周期的任务参数和任务评估参数步骤执行之后,即可确定优化窗口,以便于后续基于优化窗口选择初始任务参数和初始任务评估参数。根据参数优化任务包含的任务执行周期数量预设任务周期阈值。在当前任务执行周期在参数优化任务包含的任务执行周期中的任务周期排序值大于等于任务周期阈值的情况下,基于参数优化任务的任务执行周期的周期数值和任务周期排序值确定优化窗口;在当前任务执行周期的任务周期排序值小于任务周期阈值的情况下,基于任务周期排序值确定优化窗口包含的参数数量。
实际应用中,优化窗口的确定可以参考下述公式:
其中,t表示当前任务周期的任务周期排序值;T表示参数优化任务包含的任务执行周期总数;W0表示优化窗口的初始大小,即,任务周期阈值;wt表示第t任务执行周期。在当前任务执行周期的任务周期排序值t小于任务周期阈值W0的情况下,任务周期排序值即为优化窗口包含的参数数量,也就是在t<W0之前,随着任务周期排序值t的增大,优化窗口的大小也不断增大,优化窗口随着任务周期排序值的增加线性增大;在t>=W0之前,随着任务周期排序值t的增大,优化窗口的大小也不断缩小,优化窗口随着任务周期排序值的增加非线性缩小。
举例说明,在参数优化任务为数据库、系统软件的参数调优任务,也可以为机器学习模型的参数调优任务。在参数优化任务为机器学习模型的参数调优任务或系统软件的参数调优任务的情况下,确定参数优化任务的任务执行周期总数100,设置任务周期阈值为10,在当前任务执行周期为第8任务执行周期的情况下,采用上述公式(1)计算第8任务执行周期对应的优化窗口大小为8;在当前任务执行周期为第10任务执行周期的情况下,采用上述公式(1)计算第10任务执行周期对应的优化窗口大小为0.09。
综上所述,根据当前任务执行周期的任务周期排序值确定优化窗口,实现每个任务执行周期对应不同的优化窗口,且优化窗口能够随着任务执行周期的不断增加而不断调整,从而提高优化窗口的多样性,实现基于任务执行周期进行动态调整。
进一步的,考虑到优化窗口的大小不是一成不变的,每个任务执行周期均对应一个新的优化窗口,因此基于优化窗口确定初始任务参数和初始任务评估参数,需要基于目标对象的历史任务执行周期确定历史任务参数和历史任务评估参数,具体实现如下,
确定所述目标对象在历史任务执行周期对应的历史任务参数和历史任务评估参数,并执行根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数步骤。
具体的,历史任务执行周期是指,目标对象的参数优化任务包含的多个任务周期中,当前任务执行周期之前的任务执行周期;相应的,每个任务执行周期均对应任务参数和任务评估参数,则历史任务执行周期对应历史任务参数和历史任务评估参数,历史任务参数由当前任务执行周期之前的每个任务执行周期对应的子历史任务参数组成;历史任务评估参数由当前任务执行周期之前的每个任务执行周期对应的子历史任务评估参数组成。
基于此,确定目标对象的参数优化任务包含的任务执行周期,将任务执行周期中当前任务执行周期之前的任务执行周期作为历史任务执行周期。确定历史任务执行周期对应的历史任务参数和历史任务评估参数,并根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数。
沿用上例,在当前任务执行周期为第10任务执行周期的情况下,历史任务执行周期即为第1-9任务执行周期;由每个任务执行周期对应的任务参数组成历史任务参数,由每个任务执行周期对应的任务评估参数组成历史任务评估参数。
综上所述,根据目标对象的历史任务执行周期确定历史任务参数和历史任务评估参数,从而在后续在历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数时,提高参数选择的准确性。
进一步的,考虑到优化窗口的大小不是一成不变的,每个任务执行周期均对应一个新的优化窗口,每个优化窗口对应的子历史任务参数和子历史任务评估参数的数量不同,因此在确定初始任务参数和初始任务评估参数时,需要根据优化窗口对应的参数覆盖范围确定,具体实现如下:
确定所述优化窗口对应的参数覆盖区间;获取所述参数优化任务的历史任务参数队列和历史评估参数队列;基于所述参数覆盖区间在所述历史任务参数队列中选择初始任务参数,以及在所述历史评估参数队列择初始任务评估参数;其中,所述历史任务参数队列中包含的子历史任务参数,和所述历史任务评估参数队列中包含的子历史任务评估参数,按照所述参数优化任务的任务执行周期顺序排列。
具体的,参数覆盖范围用于表示优化窗口的大小,在历史任务参数中的每个子历史任务参数依次排列的情况下,具有参数覆盖范围的优化窗口即可在历史任务参数中确定部分子历史任务参数;参数覆盖范围可以是二维平面中的矩形,子历史任务参数可以为宽度与优化窗口的宽度相同,长度小于优化窗口的长度的小矩形,且每个子历史任务参数对应的小矩形依次排列,组成历史任务参数队列,基于优化窗口即可在依次排列的子历史任务参数中确定部分子历史任务参数作为初始任务参数,相应的,子历史任务评估参数可以为宽度与优化窗口的宽度相同,长度小于优化窗口的长度的小矩形,且每个子历史任务评估参数对应的小矩形依次排列,组成历史任务评估参数队列,基于优化窗口即可在依次排列的子历史任务评估参数中确定部分子历史任务评估参数作为初始任务评估参数。
基于此,确定优化窗口对应的参数覆盖区间。获取参数优化任务子历史任务参数组成的历史任务参数队列,以及历史任务评估参数组成的历史评估参数队列。基于参数覆盖区间在历史任务参数队列中选择初始任务参数,以及在历史评估参数队列择初始任务评估参数。历史任务参数队列中包含的子历史任务参数,按照参数优化任务的任务执行周期顺序排列,相应的,历史任务评估参数队列中包含的子历史任务评估参数,也按照参数优化任务的任务执行周期顺序排列。历史任务评估参数队列中包含的子历史任务评估参数,和历史任务参数队列中包含的子历史任务参数之间存在对应关系。
沿用上例,在优化窗口对应的参数覆盖区间为5,历史任务评估参数队列中包含的子历史任务评估参数分别为631003.1,585454.2,754653.5,295781.2,723965.56;历史任务参数队列中包含的子历史任务参数分别为[0.125,0,0.81],[0.75,0,0.84],[0.375,1,0.67],[0.375,1,0.51],
[0.25,0,0.18]时,则确定全部的历史任务评估参数为初始任务评估参数,全部的历史任务参数为历初始任务参数。然而在优化窗口对应的参数覆盖区间为小数(0.09)时,则基于参数覆盖区间无法确定完整的历史任务评估参数和历史任务参数。
此时即可在所述参数覆盖区间关联所述历史任务队列中前序历史任务参数,中间历史任务参数和/或后续历史任务参数的情况下,基于前序历史任务参数,中间历史任务参数和/或后续历史任务参数确定初始任务参数;在所述参数覆盖区间关联所述历史任务队列中前序历史任务评估参数,中间历史任务评估参数和/或后续历史任务评估参数的情况下,基于前序历史任务评估参数,中间历史任务评估参数和/或后续历史任务评估参数确定初始任务参数。即,确定参数覆盖范围左边界对应的前序历史任务参数,参数覆盖范围右边界对应的前序历史任务参数,在参数覆盖范围无法完整覆盖两个历史任务参数的情况下,可以根据覆盖面积确定初始任务参数,以及根据覆盖面积确定初始任务评估参数。
步骤S206:基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数。
具体的,在上述根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数之后,即可基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数,其中,目标任务参数是对初始任务参数和任务参数进行计算获得的参数,用于表示在多个任务执行周期中,任务参数的变化情况;相应的,目标任务评估参数是对初始任务评估参数和任务评估参数进行计算或的参数,用于表示在多个任务执行周期中,任务评估参数的变化情况。
基于此,基于初始任务参数和任务参数进行计算,根据计算结构确定当前任务执行周期对应的目标任务参数,以及基于初始任务评估参数和任务评估参数进行计算,根据计算结果确定当前任务执行周期对应的目标任务评估参数,以便于后续基于目标任务参数以及目标任务评估参数判断当前任务执行周期结束后,目标对象的参数优化任务是否执行完成,即,可以实现对任务执行进度进行判断。
进一步的,考虑到目标任务参数的影响参数包括初始任务参数和任务参数,对初始任务参数和任务参数进行统计则会导致目标任务参数的准确性较低,因此可以通过计算的方式实现,具体实现如下,
基于所述初始任务参数和所述任务参数计算目标任务参数;确定所述初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于所述待计算任务评估参数、所述预设任务评估参数和所述任务评估参数计算目标任务评估参数。
具体的,预设任务评估参数是指针对参数优化任务预先设置的参数,用于表示参数优化的起始参数;待计算任务评估参数即为历史任务执行周期对应的需要进行计算的参数。
基于此,基于初始任务参数和任务参数计算目标任务参数。确定初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于待计算任务评估参数、预设任务评估参数和任务评估参数计算目标任务评估参数,其中,目标任务参数通过下述公式(2)计算,目标任务评估参数通过下述公式(3)计算。
其中,公式(2)中的w表示优化窗口大小;i表示当前任务执行周期之前的任务执行周期数量;yi表示第i个初始任务评估参数;y表示当前任务执行周期的任务评估参数;y0可表示基线或者调优起始结果;Ry表示当前任务执行周期的任务评估参数的变化情况。
其中,公式(3)中的w表示优化窗口大小;i表示当前任务执行周期之前的任务执行周期数量;Xi表示第i个初始任务参数;X表示当前任务执行周期的任务参数;RX表示当前任务执行周期的任务参数的变化情况。
综上所述,通过基于初始任务参数和任务参数计算目标任务参数,以及基于待计算任务评估参数、预设任务评估参数和任务评估参数计算目标任务评估参数,从而提高参数计算的准确性。
步骤S208:基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
具体的,在上述基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数之后,即可基于目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示目标对象的任务执行进度,参数优化信息是指当前任务执行周期对应的任务执行信息,任务执行信息可以表示当前任务执行周期以及当前任务执行周期之前的任务执行周期对应的任务执行信息,包括但不限于任务参数、任务周期数、任务评估参数等信息,经过对目标对象的参数优化信息进行分析,即可判断当前参数优化任务的任务执行进度。
基于此,对目标任务参数和目标任务评估参数进行计算,判断计算结果是否满足参数优化条件,在计算结果满足参数优化条件的情况下,创建当前任务执行周期对应的参数优化信息;在计算结果不满足参数优化条件的情况下,对任务参数进行更新,并进入下一任务执行周期。参数优化信息用于表示参数优化任务的任务执行进度,以及记录任务执行周期对应的参数优化信息。
实际应用中,在每个任务执行周期结束后,均可基于当前任务执行周期确定参数优化信息;或者,基于当前任务执行周期以及前序任务执行周期对应的参数优化信息生成图表,以图表的形式表示当前任务执行周期以及前序任务执行周期对应的参数优化信息,从而便于分析和计算。
进一步的,在确定目标任务参数和目标任务评估参数之后,即可基于目标任务参数和目标任务评估参数进行计算,从而基于目标任务参数和目标任务评估参数计算获得目标优化参数,具体实现如下,
基于所述目标任务参数和所述目标任务评估参数计算目标优化参数;基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息。
具体的,目标优化参数是指基于目标任务参数和目标任务评估参数计算得到的参数,用于表示任务参数和任务评估参数与历史任务执行周期对应的任务参数和任务评估参数之间的差异,即,表示任务参数和任务评估参数的波动情况。
基于此,确定目标任务参数以及目标任务评估参数,对目标任务参数和目标任务评估参数进行计算,根据计算结果确定目标优化参数。基于目标优化参数创建当前任务执行周期对应的参数优化信息。
R=Ry+RX(4)
沿用上例,上述公式(4)中R表示reward数值,即目标任务参数和目标任务评估参数的变化情况。在确定RX:[0.32];Ry:[0.27]之后,即可将基于上述公式(4)进行计算获得R:[0.59]。进而根据计算获得的目标优化参数创建当前任务执行周期对应的参数优化信息。
综上所述,通过基于所述目标任务参数和所述目标任务评估参数计算目标优化参数,从而综合考虑任务参数和任务评估参数在参数优化中的影响。
进一步的,在计算获得目标优化参数之后,即可基于目标优化参数创建当前任务执行周期对应的参数优化信息,在参数优化信息创建之前,考虑到当前任务执行周期可能为目标对象的参数优化任务的最后一个任务执行周期,也可能不为目标对象的参数优化任务的最后一个任务执行周期,因此,还需要对目标优化参数是否满足参数优化条件进行判断,具体实现如下:
在所述目标优化参数满足参数优化条件的情况下,创建所述当前任务执行周期对应的参数优化信息;所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:根据所述参数优化信息确定所述参数优化任务的任务执行结果,并基于所述任务执行结果对所述目标对象进行部署。
基于此,参数优化条件是指用于判断当前任务参数是否需要进行更新,并基于更新后的任务参数进入下一任务执行周期的条件;参数优化条件可以是预设的参数阈值。
确定与目标对象的参数优化任务对应的参数优化条件,判断目标优化参数是否满足参数优化条件,在目标优化参数满足参数优化条件的情况下,则表示当前任务执行周期为目标对象的参数优化任务的最后一个任务执行周期,创建当前任务执行周期对应的参数优化信息,根据参数优化信息确定参数优化任务的任务执行结果,并基于任务执行结果对目标对象进行部署。
在所述目标优化参数不满足参数优化条件的情况下,创建所述当前任务执行周期对应的任务信息,作为参数优化信息,其中,所述任务信息表示当前任务执行周期的任务执行状态;所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:进入下一任务执行周期,并将下一任务执行周期作为当前任务执行周期,执行所述执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数的步骤。
基于此,任务信息表示当前任务执行周期对应的任务执行状态;下一任务执行周期即为目标对象的参数优化任务中包含的,与当前任务执行周期对应的下一个任务执行周期。在目标优化参数不满足参数优化条件的情况下,则表示当前任务执行周期不为目标对象的参数优化任务的最后一个任务执行周期,后续还包括待执行的任务执行周期。创建当前任务执行周期对应的任务信息,并将任务信息作为参数优化信息,任务信息表示当前任务执行周期的任务执行状态。在生成任务信息后,进入目标对象的参数优化任务包含的任务执行周期中与当前任务执行周期对应的下一任务执行周期,将下一任务执行周期作为当前任务执行周期并执行。
沿用上例,在确定了目标优化参数为0.59后,判断目标优化参数为0.59是否满足预设的参数优化条件。在目标优化参数为0.59满足参数优化条件的情况下,创建当前第5任务执行周期对应的参数优化信息:目标优化参数为0.59,任务执行周期5;此时表示目标对象的参数优化任务执行完成,则基于任务执行结果确定第5任务执行周期对应的任务参数,基于任务参数对目标对象进行部署,在目标对象为机器学习模型时,确定的任务参数即为模型训练完成后确定的模型参数。在目标优化参数为0.59不满足参数优化条件的情况下,创建当前第5任务执行周期对应的任务信息:目标优化参数为0.59,任务执行周期5;此时表示目标对象的参数优化任务执行未完成,则基于任务执行结果确定第5任务执行周期对应的下一第6任务执行周期,并执行第6任务执行周期对应的任务。
综上所述,通过判断目标优化参数是否满足参数优化条件,进而确定与当前任务执行周期对应的下一操作步骤,从而实现判断当前任务执行周期是否为目标对象的参数优化任务的最后一个任务执行周期,进而确定参数优化任务是否应该在当前任务执行周期停止,从而实现参数优化任务的早停判断,降低早停误判。
进一步的,考虑到参数优化条件的确定能够直接影响当前任务执行周期结束后的执行步骤,且目标优化参数以数值的形式表示,因此可以基于参数优化条件确定参数优化阈值,从而便于与目标优化参数进行比较,具体实现如下:
基于参数优化条件确定参数优化阈值;在所述目标优化参数小于所述参数优化阈值的情况下,确定所述目标优化参数满足参数优化条件,并执行创建所述当前任务执行周期对应的参数优化信息的步骤。
具体的,参数优化阈值是指根据参数优化条件确定的数值,用于与目标优化参数进行比较,目标优化参数小于参数优化阈值则表示目标对象的参数优化任务执行完成;目标优化参数大于等于参数优化阈值则表示目标对象的参数优化任务执行未完成,还需要确定与当前任务执行周期对应的下一任务执行周期,并执行该任务执行周期对应的任务。
基于此,基于参数优化条件确定参数优化阈值,对参数优化阈值与目标优化参数进行比较,在目标优化参数小于参数优化阈值的情况下,确定目标优化参数满足参数优化条件,表示当前任务执行周期对应的参数调优已满足参数调优终止条件,则目标对象的参数优化任务执行完成,即可创建当前任务执行周期对应的参数优化信息;在目标优化参数大于等于参数优化阈值的情况下,确定目标优化参数不满足参数优化条件,表示当前任务执行周期对应的参数调优不满足参数调优终止条件,则目标对象的参数优化任务还未执行完成,即可创建当前任务执行周期对应的参数优化信息,并确定与当前任务执行周期对应的下一任务执行周期,并继续执行任务。
沿用上例,参数优化阈值可以根据实际经验设置为0.05,在确定了目标优化参数为0.59后,判断目标优化参数为0.59是否大于参数优化阈值,根据比较确定目标优化参数0.59大于参数优化阈值,表示当前任务执行周期对应的参数调优不满足参数调优终止条件,则目标对象的参数优化任务未执行完成,即可创建当前任务执行周期对应的参数优化信息:目标优化参数为0.59,任务执行周期5,并确定与当前任务执行周期对应的下一任务执行周期,并继续执行任务;在确定了目标优化参数为0.04后,判断目标优化参数为0.04是否大于参数优化阈值,根据比较确定目标优化参数0.04小于参数优化阈值表示当前任务执行周期对应的参数调优已满足参数调优终止条件,则目标对象的参数优化任务执行完成,即可创建当前任务执行周期对应的参数优化信息:目标优化参数为0.04,任务执行周期5,并结束目标对象的参数优化任务。
综上所述,通过对目标优化参数和参数优化阈值进行比较,从而判断目标对象的参数优化任务是否执行完成,实现参数优化任务的早停判断,降低早停误判,节省调优资源。
进一步的,在当前任务执行周期结束,生成参数优化信息后,考虑到目标对象的参数优化任务包含多个任务执行周期,为了能够清楚的记录并展示每个任务执行周期对应的参数优化信息,可以通过生成反馈信息的在任务执行界面展示,具体实现如下,
基于所述参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示;或者,确定历史参数优化信息,基于所述参数优化信息和所述历史参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示。
具体的,反馈信息可以是针对当前任务执行周期的参数优化信息生成的,用于反馈至客户端的信息,还可以是针对当前任务执行周期的参数优化信息,以及当前任务执行周期之前的任务执行周期的参数优化信息生成的信息,用于反馈至客户端,表示目标对象的参数优化任务包含的任务执行周期中,当前任务执行周期以及当前任务执行周期之前的任务执行周期的参数优化信息。
基于此,基于参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示,即,只在任务执行界面展示当前任务执行周期的参数优化信息。或者,确定历史参数优化信息,基于参数优化信息和历史参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示,即,在任务执行界面展示当前任务执行周期的参数优化信息,同时也展示当前任务执行周期之前的任务执行周期的参数优化信息。
沿用上例,在确定第5任务执行周期的参数优化信息:目标优化参数为0.59,任务执行周期5的情况下,可以仅在目标对象的任务执行界面展示第5任务执行周期的参数优化信息;或者,在确定第5任务执行周期的参数优化信息:目标优化参数为0.59,任务执行周期5的情况下,再分别确定第1-第4任务执行周期的参数优化信息:目标优化参数为0.0,任务执行周期1;目标优化参数为0.48,任务执行周期2;目标优化参数为0.58,任务执行周期3;目标优化参数为0.88,任务执行周期4,并对5个任务执行周期的参数优化信息进行统计,生成统计图并展示。
综上所述,通过执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数;基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数;基于目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示目标对象的参数优化进度。实现每经过一次任务执行周期,均基于目标任务参数和目标任务评估参数创建参数优化信息,表示目标对象的参数优化进度,以便于根据目标对象的参数优化进度对参数优化任务的执行进行干预,从而减少参数调优轮次,节省调优资源,提高任务执行效率,加快任务执行进程。
下述结合附图3,以本说明书提供的参数优化方法在系统参数优化的应用为例,对所述参数优化方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种参数优化方法的处理过程流程图,具体包括以下步骤。
步骤S302:执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数。
操作系统内核,编译器,以及数据库等场景均存在针对参数的调优需求,较为有效的参数设置可以优化服务运行性能,提升整体服务质量。近年来,学术界和工业界出现依靠机器学习方法,基于大量调优数据记录,在操作系统内核,编译器,以及数据库等场景推广参数调优的算法。除了系统软件参数调优,参数调优算法在机器学习模型超参数调优中也有广泛应用。机器学习超参数调优领域,由于每轮调优均需要进行模型训练等开销较大的评估实验,因此已经有部分工作引入早停(early stopping)机制,以防止模型过拟合等问题浪费计算资源。目标对象包括但不限于系统软件、机器学习模型、数据库和编译器。在系统参数调优领域,参数优化任务即为系统调优任务,系统调优任务包含多个调优周期,每个调优周期对应一组任务参数X和任务评估参数y,X为可调参数是N维度向量(包含N个可调参数),相应的任务评估参数y即为调优结果量化为得分y。
步骤S304:判断当前任务执行周期的任务周期排序值是否小于任务周期阈值;若是执行步骤S306,若否,执行步骤S308。
在系统调优任务包含100个调优周期的情况下,任务周期阈值可以设置为10。判断当前调优周期是否大于任务周期阈值10,若是,基于下述公式(1)计算优化窗口:若否,将优化窗口设置为当前调优周期。
步骤S306:基于任务周期排序值确定优化窗口。
步骤S308:基于参数优化任务的任务执行周期的周期数值和任务周期排序值确定优化窗口。
步骤S310:确定目标对象在历史任务执行周期对应的历史任务参数和历史任务评估参数。
目标对象即为系统参数调优对应的系统软件,历史任务执行周期是指当前调优周期之前的调优周期。相应的,历史任务参数为y1-yi,历史任务评估参数为X1-Xi其中i表示当前调优周期之前的调优周期数量。
步骤S312:确定优化窗口对应的参数覆盖区间;获取参数优化任务的历史任务参数队列和历史评估参数队列。
确定历史任务参数y1-yi组成的参数队列,历史任务评估参数X1-Xi组成的参数队列。
步骤S314:基于参数覆盖区间在历史任务参数队列中选择初始任务参数,以及在历史评估参数队列择初始任务评估参数。
分别在历史任务参数y1-yi组成的参数队列,历史任务评估参数X1-Xi组成的参数队列中确定待计算的初始任务参数和初始任务评估参。
步骤S316:基于初始任务参数和任务参数计算目标任务参数;确定初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于待计算任务评估参数、预设任务评估参数和任务评估参数计算目标任务评估参数。
其中,公式(2)中的w表示优化窗口大小;i表示当前调优周期之前的调优周期数量;yi表示第i个初始任务评估参数;y表示当前任务执行周期的任务评估参数;y0可表示基线或者调优起始结果;Ry表示当前任务执行周期的任务评估参数的变化情况。
其中,公式(3)中的w表示优化窗口大小;i表示当前调优周期之前的调优周期数量;Xi表示第i个初始任务参数;X表示当前任务执行周期的任务参数;RX表示当前任务执行周期的任务参数的变化情况。
基于上述公式计算目标任务参数RX和目标任务评估参数Ry。
步骤S318:基于目标任务参数和目标任务评估参数计算目标优化参数。
对目标任务参数RX和目标任务评估参数Ry求和,获得目标优化参数R。
步骤S320:判断目标优化参数是否满足参数优化条件,若是,执行步骤S322;若否,执行步骤S324。
参数优化条件可以是预设的参数优化阈值,判断目标优化参数R是否小于参数优化阈值。
步骤S322:创建当前任务执行周期对应的参数优化信息,根据参数优化信息确定参数优化任务的任务执行结果,并基于任务执行结果对目标对象进行部署。
目标优化参数R小于参数优化阈值,表示系统调优任务可以在当前调优周期停止,并进行后续操作。
步骤S324:创建当前任务执行周期对应的任务信息,进入下一任务执行周期。
目标优化参数R不小于参数优化阈值,表示系统调优任务在当前调优周期结束后,将要进入下一调优周期。
步骤S326:基于参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示;或者,确定历史参数优化信息,基于参数优化信息和历史参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示。
在调优结束后生成包含反馈信息的界面,界面中可以展示每个调优周期组成的调优结果的变化图。
图4是本说明书一个实施例提供的一种参数优化方法的优化示意图,如图4所示,参数优化方法包括y检测模块、X检测模块、聚合模块、检测模型和停止。其中,y检测模块:主要计算y值变化并量化为根据y值判断继续调优的reward数值。具体计算方法为:由于根据不同的场景,y的量纲可能区别较大,因此需要进行归一化处理。通过y0对y的变化进行归一化,y0可以设置为基线或者调优起始结果。为保证Ry数值为正值,需要计算y值变化的正数值。
X检测模块:主要计算X值变化,并量化为根据X值判断继续调优的reward数值。具体计算方法为:此处采用cosine余弦函数具体对比向量X和窗口内历史Xi取值的差异,cosine余弦函数值越大说明X变化越小,因此相应的reward数值应该越小。
聚合模块:将Ry和RX的数值进行求和得到最终reward数值。由于RX和Ry计算的设计中均考虑了归一化设计,因此两项reward数值的量纲差异基本一致。如果实际情况导致R_y的量纲较大,可以进一步考虑通过加权求和的方式平衡y和X变化的权重。
检测模块:根据历史调优经验,可以设置reward阈值。当实时计算的reward数值低于reward阈值时,则输出Stop停止信号,否则建议调优继续。采用滑动窗口的方法,通过动态调整窗口大小自动控制调优收敛状态的检验精细度,并综合考虑参数值变化和调优结果变化,实时输出早停建议。
图5是本说明书一个实施例提供的一种参数优化方法的优化结果示意图,如图5所示,图5中包含调优结果变化图和早停检测-调优结果变化图,调优轮次均为100。图中案例,可以设置reward阈值为0.05,则可以在少于60轮时结束调优,从而节省超过40%的调优时间开销。
图6是本说明书一个实施例提供的另一种参数优化方法的处理过程流程图,具体包括以下步骤。
步骤S602:执行数据库的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数。
步骤S604:判断当前任务执行周期的任务周期排序值是否小于任务周期阈值;若是执行步骤S606,若否,执行步骤S608。
步骤S606:基于任务周期排序值确定优化窗口。
步骤S608:基于参数优化任务的任务执行周期的周期数值和任务周期排序值确定优化窗口。
步骤S610:确定数据库在历史任务执行周期对应的历史任务参数和历史任务评估参数。
步骤S612:确定优化窗口对应的参数覆盖区间;获取参数优化任务的历史任务参数队列和历史评估参数队列。
确定历史任务参数y1-yi组成的参数队列,历史任务评估参数X1-Xi组成的参数队列。
步骤S614:基于参数覆盖区间在历史任务参数队列中选择初始任务参数,以及在历史评估参数队列择初始任务评估参数。
步骤S616:基于初始任务参数和任务参数计算目标任务参数;确定初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于待计算任务评估参数、预设任务评估参数和任务评估参数计算目标任务评估参数。
步骤S618:基于目标任务参数和目标任务评估参数计算目标优化参数。
步骤S620:判断目标优化参数是否满足参数优化条件,若是,执行步骤S622;若否,执行步骤S624。
参数优化条件可以是预设的参数优化阈值,判断目标优化参数R是否小于参数优化阈值。
步骤S622:创建当前任务执行周期对应的参数优化信息,根据参数优化信息确定参数优化任务的任务执行结果,并基于任务执行结果对数据库进行部署。
步骤S624:创建当前任务执行周期对应的任务信息,进入下一任务执行周期。
步骤S626:基于参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示;或者,确定历史参数优化信息,基于参数优化信息和历史参数优化信息生成反馈信息,并在参数优化任务的任务执行界面展示。
综上所述,通过执行数据库的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;根据优化窗口在数据库的历史任务参数中选择初始任务参数,以及在数据库的历史任务评估参数中选择初始任务评估参数;基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数;基于目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示数据库的参数优化进度。实现每经过一次任务执行周期,均基于目标任务参数和目标任务评估参数创建参数优化信息,表示数据库的参数优化进度,以便于根据数据库的参数优化进度对参数优化任务的执行进行干预,从而减少参数调优轮次,节省调优资源,提高任务执行效率,加快任务执行进程。
与上述方法实施例相对应,本说明书还提供了参数优化装置实施例,图7示出了本说明书一个实施例提供的一种参数优化装置的结构示意图。如图7所示,该装置包括:
执行模块702,被配置为执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;
选择模块704,被配置为根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数;
确定模块706,被配置为基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数;
创建模块708,被配置为基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
一个可选地实施例中,所述选择模块704还被配置为:
在所述当前任务执行周期的任务周期排序值大于等于任务周期阈值的情况下,基于所述参数优化任务的任务执行周期的周期数值和所述任务周期排序值确定优化窗口;在所述当前任务执行周期的任务周期排序值小于任务周期阈值的情况下,基于所述任务周期排序值确定优化窗口。
一个可选地实施例中,所述选择模块704还被配置为:
确定所述目标对象在历史任务执行周期对应的历史任务参数和历史任务评估参数,并执行根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数步骤。
一个可选地实施例中,所述选择模块704进一步被配置为:
确定所述优化窗口对应的参数覆盖区间;获取所述参数优化任务的历史任务参数队列和历史评估参数队列;基于所述参数覆盖区间在所述历史任务参数队列中选择初始任务参数,以及在所述历史评估参数队列择初始任务评估参数;其中,所述历史任务参数队列中包含的子历史任务参数,和所述历史任务评估参数队列中包含的子历史任务评估参数,按照所述参数优化任务的任务执行周期顺序排列。
一个可选地实施例中,所述确定模块706进一步被配置为:
基于所述初始任务参数和所述任务参数计算目标任务参数;确定所述初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于所述待计算任务评估参数、所述预设任务评估参数和所述任务评估参数计算目标任务评估参数。
一个可选地实施例中,所述创建模块708进一步被配置为:
基于所述目标任务参数和所述目标任务评估参数计算目标优化参数;基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息。
一个可选地实施例中,所述创建模块708进一步被配置为:
在所述目标优化参数满足参数优化条件的情况下,创建所述当前任务执行周期对应的参数优化信息;所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:根据所述参数优化信息确定所述参数优化任务的任务执行结果,并基于所述任务执行结果对所述目标对象进行部署。
一个可选地实施例中,所述创建模块708进一步被配置为:
在所述目标优化参数不满足参数优化条件的情况下,创建所述当前任务执行周期对应的任务信息,作为参数优化信息,其中,所述任务信息表示当前任务执行周期的任务执行状态;所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:进入下一任务执行周期,并将下一任务执行周期作为当前任务执行周期,执行所述执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数的步骤。
一个可选地实施例中,所述创建模块708进一步被配置为:
基于参数优化条件确定参数优化阈值;在所述目标优化参数小于所述参数优化阈值的情况下,确定所述目标优化参数满足参数优化条件,并执行创建所述当前任务执行周期对应的参数优化信息的步骤。
一个可选地实施例中,所述创建模块708还被配置为:
基于所述参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示;或者,确定历史参数优化信息,基于所述参数优化信息和所述历史参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示。
综上所述,通过执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;根据优化窗口在目标对象的历史任务参数中选择初始任务参数,以及在目标对象的历史任务评估参数中选择初始任务评估参数;基于初始任务参数和任务参数确定目标任务参数,以及基于初始任务评估参数和任务评估参数确定目标任务评估参数;基于目标任务参数和目标任务评估参数,创建当前任务执行周期对应的参数优化信息,用于表示目标对象的参数优化进度。实现每经过一次任务执行周期,均基于目标任务参数和目标任务评估参数创建参数优化信息,表示目标对象的参数优化进度,以便于根据目标对象的参数优化进度对参数优化任务的执行进行干预,从而减少参数调优轮次,节省调优资源,提高任务执行效率,加快任务执行进程。
上述为本实施例的一种参数优化装置的示意性方案。需要说明的是,该参数优化装置的技术方案与上述的参数优化方法的技术方案属于同一构思,参数优化装置的技术方案未详细描述的细节内容,均可以参见上述参数优化方法的技术方案的描述。
图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本申请的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备800还可以是移动式或静止式的服务器。其中,处理器820用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述参数优化方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的参数优化方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述参数优化方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述参数优化方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的参数优化方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述参数优化方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述参数优化方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的参数优化方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述参数优化方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地域,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种参数优化方法,包括:
执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数;
根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数;
基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数;
基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,用于表示所述目标对象的参数优化进度。
2.根据权利要求1所述的方法,所述根据执行结果确定当前任务执行周期的任务参数和任务评估参数步骤执行之后,还包括:
在所述当前任务执行周期的任务周期排序值大于等于任务周期阈值的情况下,基于所述参数优化任务的任务执行周期的周期数值和所述任务周期排序值确定优化窗口;
在所述当前任务执行周期的任务周期排序值小于任务周期阈值的情况下,基于所述任务周期排序值确定优化窗口。
3.根据权利要求1所述的方法,所述根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数之前,还包括:
确定所述目标对象在历史任务执行周期对应的历史任务参数和历史任务评估参数,并执行根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数步骤。
4.根据权利要求1或3所述的方法,所述根据优化窗口在所述目标对象的历史任务参数中选择初始任务参数,以及在所述目标对象的历史任务评估参数中选择初始任务评估参数,包括:
确定所述优化窗口对应的参数覆盖区间;
获取所述参数优化任务的历史任务参数队列和历史评估参数队列;
基于所述参数覆盖区间在所述历史任务参数队列中选择初始任务参数,以及在所述历史评估参数队列择初始任务评估参数;
其中,所述历史任务参数队列中包含的子历史任务参数,和所述历史任务评估参数队列中包含的子历史任务评估参数,按照所述参数优化任务的任务执行周期顺序排列。
5.根据权利要求1所述的方法,所述基于所述初始任务参数和所述任务参数确定目标任务参数,以及基于所述初始任务评估参数和所述任务评估参数确定目标任务评估参数,包括:
基于所述初始任务参数和所述任务参数计算目标任务参数;
确定所述初始任务评估参数包含的预设任务评估参数和待计算任务评估参数,并基于所述待计算任务评估参数、所述预设任务评估参数和所述任务评估参数计算目标任务评估参数。
6.根据权利要求1所述的方法,所述基于所述目标任务参数和所述目标任务评估参数,创建所述当前任务执行周期对应的参数优化信息,包括:
基于所述目标任务参数和所述目标任务评估参数计算目标优化参数;
基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息。
7.根据权利要求6所述的方法,所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息,包括:
在所述目标优化参数满足参数优化条件的情况下,创建所述当前任务执行周期对应的参数优化信息;
所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:
根据所述参数优化信息确定所述参数优化任务的任务执行结果,并基于所述任务执行结果对所述目标对象进行部署。
8.根据权利要求6所述的方法,所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息,包括:
在所述目标优化参数不满足参数优化条件的情况下,创建所述当前任务执行周期对应的任务信息,作为参数优化信息,其中,所述任务信息表示当前任务执行周期的任务执行状态;
所述基于所述目标优化参数创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:
进入下一任务执行周期,并将下一任务执行周期作为当前任务执行周期,执行所述执行目标对象的参数优化任务,根据执行结果确定当前任务执行周期的任务参数和任务评估参数的步骤。
9.根据权利要求7所述的方法,所述在所述目标优化参数满足参数优化条件的情况下,创建所述当前任务执行周期对应的参数优化信息,包括:
基于参数优化条件确定参数优化阈值;
在所述目标优化参数小于所述参数优化阈值的情况下,确定所述目标优化参数满足参数优化条件,并执行创建所述当前任务执行周期对应的参数优化信息的步骤。
10.根据权利要求1-9任一项所述的方法,所述目标对象包括下述至少一项:
系统软件、机器学习模型、数据库和编译器。
11.根据权利要求1所述的方法,所述创建所述当前任务执行周期对应的参数优化信息步骤执行之后,还包括:
基于所述参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示;
或者,
确定历史参数优化信息,基于所述参数优化信息和所述历史参数优化信息生成反馈信息,并在所述参数优化任务的任务执行界面展示。
12.一种参数优化系统,所述系统包括服务器和客户端;
所述客户端用于存储参数优化确认指令;所述服务器用于存储参数优化指令;所述参数优化确认指令被所述客户端执行时,以及所述参数优化指令被所述服务器执行时实现权利要求1-11任一项所述方法的步骤。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述参数优化方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述参数优化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310281804.2A CN116362348A (zh) | 2023-03-17 | 2023-03-17 | 参数优化方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310281804.2A CN116362348A (zh) | 2023-03-17 | 2023-03-17 | 参数优化方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116362348A true CN116362348A (zh) | 2023-06-30 |
Family
ID=86927310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310281804.2A Pending CN116362348A (zh) | 2023-03-17 | 2023-03-17 | 参数优化方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116362348A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407177A (zh) * | 2023-12-13 | 2024-01-16 | 苏州元脑智能科技有限公司 | 任务执行方法、装置、电子设备及可读存储介质 |
-
2023
- 2023-03-17 CN CN202310281804.2A patent/CN116362348A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407177A (zh) * | 2023-12-13 | 2024-01-16 | 苏州元脑智能科技有限公司 | 任务执行方法、装置、电子设备及可读存储介质 |
CN117407177B (zh) * | 2023-12-13 | 2024-03-08 | 苏州元脑智能科技有限公司 | 任务执行方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017220B2 (en) | Classification model training method, server, and storage medium | |
CN110084271B (zh) | 一种图片类别的识别方法和装置 | |
CN112529301B (zh) | 用电量预测方法、设备及存储介质 | |
CN108304354B (zh) | 一种预测模型训练方法及装置、存储介质、电子设备 | |
CN107292334A (zh) | 图像识别方法及装置 | |
CN116362348A (zh) | 参数优化方法以及装置 | |
CN109768340B (zh) | 一种电池放电过程电压不一致性估计方法及装置 | |
CN112132278A (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
CN112766493A (zh) | 多任务神经网络的训练方法、装置、电子设备及存储介质 | |
CN111178537A (zh) | 一种特征提取模型训练方法及设备 | |
CN114971433A (zh) | 基于工业互联网的质量管控方法、装置、设备及存储介质 | |
CN113705929A (zh) | 一种基于负荷特征曲线及典型特征值融合的春节假期负荷预测方法 | |
CN110472588A (zh) | 锚点框确定方法、装置、计算机设备和存储介质 | |
CN116030323B (zh) | 图像处理方法以及装置 | |
CN113743650A (zh) | 电力负荷预测方法、装置、设备与存储介质 | |
CN113240042A (zh) | 图像分类预处理、图像分类方法、装置、设备及存储介质 | |
CN110135592B (zh) | 分类效果确定方法、装置、智能终端及存储介质 | |
WO2022267364A1 (zh) | 一种信息推荐方法、设备及存储介质 | |
CN113312166B (zh) | 资源处理方法以及装置 | |
CN115238837A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN110020728B (zh) | 业务模型强化学习方法以及装置 | |
CN112580887A (zh) | 多目标融合评价的权重确定方法、装置、设备及存储介质 | |
CN113010571A (zh) | 数据检测方法、装置、电子设备、存储介质和程序产品 | |
CN113301067A (zh) | 机器学习应用的云配置推荐方法以及装置 | |
CN113538130B (zh) | 异常检测方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |