CN114327589A - 参数配置方法及相关系统 - Google Patents

参数配置方法及相关系统 Download PDF

Info

Publication number
CN114327589A
CN114327589A CN202011293862.XA CN202011293862A CN114327589A CN 114327589 A CN114327589 A CN 114327589A CN 202011293862 A CN202011293862 A CN 202011293862A CN 114327589 A CN114327589 A CN 114327589A
Authority
CN
China
Prior art keywords
parameter
configuration
service
configuration parameters
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011293862.XA
Other languages
English (en)
Inventor
孙涛
谢鹏程
艾拓
雷晓松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Cloud Computing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Cloud Computing Technologies Co Ltd filed Critical Huawei Cloud Computing Technologies Co Ltd
Priority to PCT/CN2021/119821 priority Critical patent/WO2022063157A1/zh
Priority to EP21871526.6A priority patent/EP4203488A4/en
Publication of CN114327589A publication Critical patent/CN114327589A/zh
Priority to US18/190,366 priority patent/US20230229528A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

本申请提供了一种参数配置方法,包括:通过标准接口接收业务系统的配置参数和业务系统的业务目标,然后对配置参数进行参数寻优,得到满足业务目标的推荐参数值,接着输出推荐参数值,以实现对业务系统的参数配置。该方法将不同业务场景中的参数配置问题抽象成通过标准的接口输入表达的数学问题,从而提供一种通用的参数配置方法,无需case by case进行参数配置。并且,业务领域专家无需人工智能经验,即可独立完成参数配置,提高了配置效率,降低了配置成本。

Description

参数配置方法及相关系统
本申请要求于2020年09月25日提交中国国家知识产权局、申请号为202011022613.7、申请名称为“参数配置方法及相关装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域,尤其涉及一种参数配置方法、系统、设备以及计算机可读存储介质。
背景技术
随着计算机技术在不同领域地广泛应用,信息技术(information technology,IT)设施的类型和数量越来越多。IT设施,也称作IT基础设施,是指用于支持IT服务的设施。IT设施具体可以包括底层硬件和上层软件。底层硬件可以包括计算平台、网络通信平台,上层软件可以包括运行于上述平台上的软件,如操作系统和应用软件等。
这些IT设施具有大量的参数,为了提升性能,常常需要进行参数寻优。为此,业界提供了一些参数配置方法,以实现参数寻优。然而,这些方法往往是针对具体的问题进行参数寻优,也即是以case by case的方式进行参数寻优。在进行参数寻优时,需要具备业务领域属性的专家与人工智能(artificial intelligence,AI)领域的专家,经过长期、充分的沟通。由此导致参数配置效率低下,且参数配置成本十分高昂。
业界亟需提供一种低成本、高效率的参数配置方法,实现在不同业务场景中进行参数寻优。
发明内容
本申请提供了一种参数配置方法,该方法通过将不同业务场景中的参数配置问题抽象成通过标准的接口输入表达的数学问题,从而实现提供一种通用的参数配置方法,无需case by case进行参数配置。并且,根据标准化的接口输入自动进行参数寻优,业务领域的专家无需AI经验,即可独立完成参数配置,节省了沟通时间和成本,由此提高了配置效率,降低了配置成本。本申请还提供了上述方法对应的系统、设备、计算机可读存储介质以及计算机程序产品。
第一方面,本申请提供了一种参数配置方法。该方法可以由参数配置系统执行。具体地,参数配置系统通过标准接口接收业务系统的配置参数和业务系统的业务目标,然后对配置参数进行参数寻优,得到满足上述业务目标的推荐参数值,接着输出上述推荐参数值,以对配置参数进行配置。
其中,配置参数是业务系统的可配置参数中的至少一个,该配置参数具体可以是用户(例如是业务领域的专家)从可配置参数中确定的。配置参数可以按照规定的格式进行定义,如按照标准接口规定的格式进行定义。例如可以通过参数名、参数类型以及参数的取值空间等字段定义配置参数。考虑到有些配置参数还具有初始值,在一些实施例中,还可以通过初始值定义配置参数。
业务目标是根据业务系统的需求设置的至少一个关键绩效指标(keyperformance indicators,KPI)的要求。与配置参数类似,业务目标也可以按照规定的格式进行定义,如按照标准接口规定的格式进行定义。
该方法通过将不同业务场景中的参数配置问题抽象成通过标准的接口输入表达的数学问题,从而实现提供一种通用的参数配置方法,无需case by case进行参数配置。并且,该方法可以根据接口输入自动地进行参数寻优,得到推荐参数值。如此,业务领域的专家无需AI经验,即可独立完成参数配置,节省了业务领域的专家和AI领域的专家沟通的时间成本和人力成本,进一步提高了配置效率,降低了配置成本。
在一些可能的实现方式中,参数配置系统还可以通过所述标准接口接收负载和约束条件中的至少一个。其中,负载可以包括环境负载和业务负载。环境负载用于描述业务系统的软硬件设施,例如描述业务系统采用的操作系统类型、计算平台类型、部署方式等等,业务负载用于描述业务数据,例如描述业务数据的数据量、数据分布等等。约束条件具体是指业务系统的参数寻优需要符合的条件,例如配置参数为热参数(更新频率较高的参数)时,约束条件可以是实时参数寻优,配置参数为冷参数(更新频率较低的参数)时,约束条件可以是离线参数寻优。进一步地,验证参数的成本较高时,约束条件也可以是验证次数小于预设次数。
对应地,参数配置系统可以根据所述负载和所述约束条件中的至少一个,对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值。通过上述负载和约束条件可以确定合适的参数寻优算法进行参数寻优,如此可以实现尽快地确定推荐参数值,避免不必要的开销,提高配置效率,降低配置成本。
在一些可能的实现方式中,所述标准接口是标准化、规范化的接口,该标准接口具体可以包括应用程序编程接口(application programming interface,API)。如此,参数配置系统可以通过API调用的方式为用户提供参数配置服务,满足了个性化的需求。
需要说明的是,API仅仅是标准接口的一个具体示例,在一些可能的实现方式中,标准接口也可以是其他格式的接口,例如可以是自定义格式的接口。
在一些可能的实现方式中,标准接口包括配置参数API、业务目标API、负载API和约束条件API。配置参数API、业务目标API、负载API和约束条件API可以是不同API。对应地,参数配置系统可以通过配置参数API接收配置参数,通过业务目标API接收业务目标,通过负载API接收负载,通过约束条件API接收约束条件。
其中,配置参数、业务目标、负载和约束条件为业务系统的四种要素,该方法通过不同的API分别接收不同的要素,可以实现不同要素之间的隔离,保障安全性。
在一些可能的实现方式中,标准接口分为标准输入接口和标准输出接口,标准输入接口用于输入业务系统的要素,如输入配置参数、业务目标、约束条件和负载等等,标准输出接口用于输出业务系统的推荐参数值。在一些可能的实现方式中,标准输入接口和标准输出接口可以是同一接口,也可以是不同接口。
当标准输入接口和标准输出接口为不同接口时,还可以实现输入和输出的隔离,由此保障输入输出的安全性。
在一些可能的实现方式中,参数配置系统可以通过标准接口如标准输出接口输出推荐参数值。其中,参数配置系统可以通过标准接口直接输出推荐参数值至业务系统,从而实现对业务系统的自动参数配置。参数配置系统也可以通过标准接口输出推荐参数值至业务系统的模拟器,当模拟器的性能满足要求时,再基于上述推荐参数值对业务系统进行参数配置,如此可以减少对业务系统的参数的更改,保障业务系统的可靠性。
在一些可能的实现方式中,参数配置系统还可以利用条件判断控制逻辑确定与配置参数对应的参数寻优算法。具体地,参数配置系统可以根据业务系统的要素,如业务系统的负载、约束条件、业务目标等中的任意一个或多个,利用条件判断控制逻辑确定与配置参数对应的参数寻优算法,如此,参数配置系统可以利用该参数寻优算法进行参数寻优,得到满足业务目标的推荐参数值。
其中,条件判断控制逻辑是一种判断条件是否被满足,从而确定执行路径的控制逻辑。在一些实施例中,条件判断控制逻辑可以是if-then控制逻辑。if-then控制逻辑可以表达为如果业务系统的要素满足设定的条件,则采用设定的参数寻优算法进行参数寻优。
该方法通过预先维护的条件判断控制逻辑自动确定与配置参数对应的参数寻优算法,基于该参数寻优算法进行参数寻优,业务领域的专家无需具备AI经验,即可独立完成参数配置。如此避免了业务领域的专家和AI领域的专家耗费大量的时间和精力进行沟通,提高了配置效率,降低了配置成本。
在一些可能的实现方式中,参数配置系统可以预先维护多个条件判断控制逻辑。这多个条件判断控制逻辑可以构成决策树。基于此,参数配置系统可以利用条件判断决策树(例如是if-then决策树)确定与所述配置参数对应的参数寻优算法。
通过条件判断决策树进行多重判断,可以实现对业务系统的全面分析,进而确定较为合适的参数寻优算法,提高参数配置效率,降低参数配置成本。
在一些可能的实现方式中,考虑到不同参数寻优方法具有各自的优缺点,在对业务系统进行参数配置时,还可以在业务系统的不同阶段选择相应的参数寻优算法进行参数配置,以充分发挥不同参数配置算法的优势,从而避免采用一种固定的参数寻优算法导致在业务系统的一些阶段难以快速寻找到合适的推荐参数值。
具体地,参数配置系统可以利用条件判断控制逻辑确定至少一个参数寻优算法的概率,根据所述至少一个参数寻优算法的概率确定与所述配置参数对应的参数寻优算法。其中,在业务系统的每一阶段,参数配置系统可以确定至少一个参数寻优算法的概率,将概率满足预设条件(例如是概率大于预设概率或者是概率最大)的参数寻优算法确定为该阶段所采用的参数寻优算法。如此,当前阶段概率较小的参数寻优算法在后续阶段仍有可能被采用,由此可以实现在不同阶段选择合适的参数寻优算法,满足了不同阶段的需求。
在一些可能的实现方式中,考虑到配置参数可以包括多种类型,具有不同的取值空间(取值范围),或者是未赋予初始值,参数配置系统可以对配置参数进行预处理,具体是根据配置参数的属性信息,如配置参数的类型、取值空间等对配置参数进行预处理。
例如,配置参数的类型不同时,参数配置系统可以对不同类型的配置参数进行类型统一编码,以统一配置参数的类型。又例如,配置参数的取值空间(取值范围)不同时,参数配置系统还可以对不同取值空间的参数进行正则化,以统一配置参数的取值空间。还例如,参数不具有初始值时,参数配置系统还可以对配置参数进行初始化,例如进行随机初始化,从而为配置参数赋予初始值。
第二方面,本申请提供了一种参数配置方法。该方法应用于参数配置系统,该参数配置系统用于对视频分发系统进行参数配置。具体地,该方法包括:
通过标准接口接收视频分发系统的配置参数和所述视频分发系统的业务目标;
对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
输出所述推荐参数值,以对所述配置参数进行配置。
该方法通过对视频分发系统进行抽象,得到视频分发系统的配置参数和业务目标,然后参数配置系统通过标准接口接收上述配置参数和业务目标,对上述配置参数进行参数寻优。如此,实现将视频分发场景下的参数配置问题,抽象成通过标准的接口输入表达的数学问题,由此可以实现通过通用方式进行参数配置。在该方法中,视频分发领域的专家无需AI经验即可独立完成参数配置,节省了视频分发领域的专家和AI领域的专家沟通的时间成本和人力成本,进一步提高了配置效率,降低了配置成本。
在一些可能的实现方式中,视频分发系统的配置参数可以包括图像群组(groupof pictures,GOP)和码率中的一个或多个。参数配置系统可以通过该方法实现对GOP、码率等参数的自动配置。
在一些可能的实现方式中,视频分发系统的业务目标可以是单目标,例如是卡顿时间最小,黑屏时间最小,或者是首开延迟时间最小。视频分发系统的业务目标也可以是多目标,例如是卡顿时间、黑屏时间以及首开延迟时间之后最小,并且首开延迟时间小于预设延迟阈值。
第三方面,本申请提供了一种参数配置方法。该方法应用于参数配置系统,该参数配置系统用于对大数据处理系统进行参数配置。具体地,该方法包括:
通过标准接口接收大数据处理系统的配置参数和所述大数据处理系统的业务目标;
对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
输出所述推荐参数值,以对所述配置参数进行配置。
该方法通过对大数据处理系统进行抽象,得到大数据处理系统的配置参数和业务目标,然后参数配置系统通过标准接口接收上述配置参数和业务目标,对上述配置参数进行参数寻优。如此,实现将大数据处理场景下的参数配置问题,抽象成通过标准的接口输入表达的数学问题,由此可以实现通过通用方式进行参数配置。在该方法中,大数据处理领域的专家无需AI经验即可独立完成参数配置,节省了大数据处理领域的专家和AI领域的专家沟通的时间成本和人力成本,进一步提高了配置效率,降低了配置成本。
在一些可能的实现方式中,大数据处理系统的配置参数可以包括缓存容量、并行度和压缩策略中的任意一种或多种。如此,参数配置系统可以通过该方法实现对缓存容量、并行度和压缩策略等参数的自动配置。
在一些可能的实现方式中,大数据处理系统的业务目标可以是处理速度最快,或者是执行时间最短。
第四方面,本申请提供了一种参数配置系统。所述系统包括:
接口模块,用于通过标准接口接收业务系统的配置参数和所述业务系统的业务目标;
参数寻优模块,用于对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
所述接口模块,还用于输出所述推荐参数值,以对所述配置参数进行配置。
在一些可能的实现方式中,所述接口模块还用于:
通过所述标准接口接收负载和约束条件中的至少一个;
所述对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值,包括:
根据所述负载和所述约束条件中的至少一个对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值。
在一些可能的实现方式中,所述标准接口包括应用程序编程接口API。
在一些可能的实现方式中,所述标准接口包括配置参数API、业务目标API、负载API和约束条件API。
在一些可能的实现方式中,所述系统还包括:
控制模块,用于利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述控制模块具体用于:
利用条件判断决策树确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述控制模块具体用于:
利用条件判断控制逻辑确定至少一个参数寻优算法的概率;
根据所述至少一个参数寻优算法的概率确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述系统还包括:
参数预处理模块,用于对所述配置参数进行预处理。
第五方面,本申请提供一种设备,所述设备包括处理器和存储器。所述处理器、所述存储器进行相互的通信。所述处理器用于执行所述存储器中存储的指令,以使得设备执行如第一方面、第二方面或者第三方面的任一种实现方式中的方法。
第六方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,所述指令指示设备执行上述第一方面、第二方面或者第三方面的任一种实现方式所述的方法。
第七方面,本申请提供了一种包含指令的计算机程序产品,当其在设备上运行时,使得设备执行上述第一方面、第二方面或者第三方面的任一种实现方式所述的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本申请实施例的技术方法,下面将对实施例中所需使用的附图作以简单地介绍。
图1为本申请实施例提供的一种参数配置系统的系统架构图;
图2A为本申请实施例提供的一种参数配置系统的应用场景图;
图2B为本申请实施例提供的一种参数配置系统的应用场景图;
图3为本申请实施例提供的一种参数配置方法的流程图;
图4为本申请实施例提供的一种参数配置方法的流程示意图;
图5为本申请实施例提供的一种决策树的示意图;
图6为本申请实施例提供的一种基于概率的条件判断控制逻辑的示意图;
图7为本申请实施例提供的一种设备的结构示意图。
具体实施方式
本申请实施例中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
首先对本申请实施例中所涉及到的一些技术术语进行介绍。
信息技术(information technology,IT)设施,也称作IT基础设施,是指用于支持IT服务的设施。一套完整的IT设施包括多个IT组件。该IT组件具体包括底层硬件和上层软件。其中,底层硬件可以包括计算平台、存储平台、网络通信平台等,上层软件可以包括运行于上述平台上的软件,如操作系统和应用软件等。这些IT设施中的IT组件具有大量的可配置参数。
参数寻优是指从可配置参数的取值空间中寻找合适的参数值,以优化IT设施的性能。在许多场景,例如在视频分发业务场景、大数据分析业务场景中,均需要对IT设施(具体可以是IT设施中的IT组件)进行参数寻优。
目前,业界提供了多种方法实现参数寻优。这多种方法可以大致分为如下几类:(1)以遗传算法为代表的启发式方法;(2)以贝叶斯算法为代表的统计建模方法;(3)以强化学习为代表的实时动态调节方法。
然而,这些方法往往是针对具体的问题进行参数调优,也即是以case by case的方式进行参数寻优。在针对某一业务场景进行参数寻优时,需要业务领域的专家与人工智能(artificial intelligence,AI)领域的专家,要经过长期、充分的沟通。由此导致参数配置效率低下,并且参数配置成本十分高昂。
有鉴于此,本申请实施例提供了一种参数配置方法。该方法可以由参数配置系统执行。具体地,参数配置系统通过标准接口接收业务系统的配置参数和业务系统的业务目标,然后对配置参数进行参数寻优,得到满足上述业务目标的推荐参数值,接着输出上述推荐参数值,以对配置参数进行配置。
该方法通过将不同业务场景中的参数配置问题抽象成通过标准的接口输入表达的数学问题,从而实现提供一种通用的参数配置方法,无需case by case进行参数配置。并且,该方法可以根据接口输入自动地进行参数寻优,得到推荐参数值。如此,业务领域的专家无需AI经验,即可独立完成参数配置,节省了业务领域的专家和AI领域的专家沟通的时间成本和人力成本,进一步提高了配置效率,降低了配置成本。
本申请实施例的参数配置系统可以用于对业务系统如视频分发系统、大数据处理系统的参数进行配置,使得业务系统具有较好的性能。下面结合附图,对参数配置系统的系统架构进行介绍。
参见图1所示的参数配置系统的系统架构图,如图1所示,参数配置系统100包括接口模块102和参数寻优模块104。业务系统200具有多个可配置参数,例如业务系统200具有可配置参数1至可配置参数N,N为正整数。参数配置系统100用于对上述可配置参数1至可配置参数N中的至少一个参数进行配置。
具体地,参数配置系统100的接口模块102用于通过标准接口接收业务系统200的配置参数和业务系统200的业务目标,参数寻优模块104用于对配置参数进行参数寻优,得到满足上述业务目标的推荐参数值。相应地,接口模块102还用于输出推荐参数值,以对配置参数进行配置。
其中,配置参数可以是业务系统200的可配置参数中的至少一个,该配置参数具体可以是用户(例如是业务领域的专家)从可配置参数中确定的。业务目标是根据业务系统的需求设置的至少一个关键绩效指标(key performance indicators,KPI)的要求。
例如,在视频分发场景中,配置参数可以包括图像群组(group of pictures,GOP)和码率等参数,KPI可以包括卡顿时间、黑屏时间、首开延迟时间中的一个或多个。在一些实施例中,KPI还可以包括上述至少两个指标之和。基于此,业务目标可以是单目标,例如可以是卡顿时间最小,黑屏时间最小,或者是首开延迟时间最小。在一些可能的实现方式中,业务目标也可以是多目标,例如可以是卡顿时间、黑屏时间以及首开延迟时间之后最小,并且首开延迟时间小于预设延迟阈值。
又例如,在大数据处理场景中,配置参数可以包括缓存(buffer)容量、并行度、压缩策略等参数,KPI可以包括处理速度,基于此,业务目标可以是处理速度最快。
在一些可能的实现方式中,接口模块102还用于通过上述标准接口接收业务系统200的负载和约束条件中的至少一个。其中,业务系统200的负载可以包括环境负载和业务负载。环境负载用于描述业务系统的软硬件设施,例如描述业务系统采用的操作系统类型、计算平台类型、部署方式等等,业务负载用于描述业务数据,例如描述业务数据的数据量、数据分布等等。约束条件具体是指业务系统的参数寻优需要符合的条件,例如配置参数为热参数(更新频率较高的参数)时,约束条件可以是实时参数寻优,配置参数为冷参数(更新频率较低的参数)时,约束条件可以是离线参数寻优。进一步地,验证参数的成本较高时,约束条件也可以是验证次数小于预设次数。
当接口模块102接收负载和约束条件中的至少一个时,参数寻优模块104具体用于根据负载和约束条件中的至少一个,对配置参数进行参数寻优。具体地,参数寻优模块104可以利用根据上述负载和约束条件中的至少一个所确定的参数寻优算法进行参数寻优。例如,业务负载变量指示业务类型为机器学习型时,与该业务类型匹配的参数寻优算法包括强化学习算法,参数寻优模块104可以利用强化学习算法进行参数寻优。又例如,约束条件为精度高于预设精度时,与该约束条件匹配的算法可以是随机概率搜索算法,其中,随机概率搜索算法可以包括遗传算法。约束条件为验证次数小于预设次数时,与该约束条件匹配的算法可以是概率建模搜索算法,其中,概率搜索建模算法可以包括贝叶斯算法。
在一些实施例中,参数寻优模块104也可以利用根据业务目标或者配置参数确定的参数寻优算法进行参数寻优。例如,业务目标为单目标时,与该业务目标匹配的算法包括随机概率搜索算法和概率建模搜索算法,参数寻优模块104可以利用随机概率搜索算法或者概率建模搜索算法进行参数寻优,得到推荐参数值。又例如,业务目标为多目标时,与该业务目标匹配的算法包括随机概率搜索算法,参数寻优模块104可以利用随机概率搜索算法进行参数寻优,得到推荐参数值。
在一些可能的实现方式中,参数配置系统100还可以包括控制模块106。控制模块106用于利用条件判断控制逻辑确定与配置参数对应的参数寻优算法,如此,参数寻优模块104可以根据控制模块106确定的参数寻优算法,调用相应的算法模型对配置参数进行参数寻优。
其中,条件判断控制逻辑是一种判断条件是否被满足,从而确定执行路径的控制逻辑。在一些实施例中,条件判断控制逻辑可以是if-then控制逻辑。为了便于描述,本申请实施例将配置参数、业务目标、负载和约束条件称为业务系统200的要素。基于此,if-then控制逻辑可以表达为如果业务系统200的要素满足设定的条件,则采用设定的参数寻优算法进行参数寻优。
考虑到配置参数可以包括多种类型,具有不同的取值空间(取值范围),或者是未赋予初始值,参数配置系统100还可以包括参数预处理模块108。该参数预处理模块108用于对配置参数进行预处理,例如对不同类型的参数进行类型统一编码,以统一配置参数的类型,对不同取值空间的参数进行正则化,以统一配置参数的取值空间,或者是对参数进行初始化,例如进行随机初始化,从而为配置参数赋予初始值。
在一些可能的实现方式中,控制模块106可以根据配置参数的属性信息,例如是配置参数的类型、取值空间等,确定配置参数的预处理方式,并将该预处理方式传输至参数预处理模块108。参数预处理模块108可以根据控制模块106确定的预处理方式对配置参数进行预处理。
对应地,参数寻优模块104可以在参数预处理模块108对配置参数进行预处理后再进行参数寻优。参数寻优模块104可以根据控制模块106确定的、与配置参数对应的参数寻优算法,调用相应的算法模型如遗传算法模型、贝叶斯算法模型或者是强化学习算法模型等进行参数寻优,得到推荐参数值。
进一步地,接口模块102还可以从参数寻优模块104获得配置参数的推荐参数值,然后通过标准接口输出该推荐参数值,以对配置参数进行参数配置。在一些实施例中,接口模块102可以直接将配置参数的推荐参数值输出至业务系统200,由此实现对业务系统200的自动参数配置。在另一些实施例中,接口模块102也可以将配置参数的推荐参数值输出至业务系统200的模拟器,当模拟器的性能满足要求时,再基于上述推荐参数值对业务系统200进行参数配置,如此可以减少对业务系统200的参数的更改,保障业务系统200的可靠性。
需要说明的是,参数配置系统100可以是软件系统。在一些实施例中,该软件系统可以部署在端侧(即本地设备侧,如用户直接控制的用户终端等设备侧)。在另一些实施例中,该软件系统可以部署在云侧,例如部署在公有云中。
如图2A所示,参数配置系统100的各个部分(如接口模块102、参数寻优模块104、控制模块106、参数预处理模块108)可以集中地部署在云环境,具体为云环境上的一个或多个计算设备(例如:中心服务器)。该参数配置系统100的各个部分也可以集中地部署在边缘环境中,具体为边缘环境中的一个或多个计算设备(边缘计算设备)上,边缘计算设备可以为服务器、计算盒子等。所述云环境指示云服务提供商拥有的,用于提供计算、存储、通信资源的中心计算设备集群;所述边缘环境指示在地理位置上距离端设备(即端侧设备)较近的,用于提供计算、存储、通信资源的边缘计算设备集群。
在一些可能的实现方式中,参数配置系统100的各个部分还可以集中地部署在端设备上。端设备包括但不限于台式机、笔记本电脑、智能手机等用户终端。通过在这些用户终端上运行参数配置系统100可以实现对业务系统200的参数配置。
其中,参数配置系统100部署在云环境或边缘环境时,参数配置系统100可以以服务的形式提供给用户使用。具体地,用户可以通过浏览器访问云环境或边缘环境,在云环境或边缘环境中创建参数配置系统100的实例,然后通过浏览器与参数配置系统100的实例进行交互,实现参数配置。参数配置系统100部署在端设备时,参数配置系统100可以以安装包的形式提供给用户使用。具体地,端设备获取参数配置系统100的安装包,通过运行该安装包,从而实现将参数配置系统100安装在端设备中。端设备通过运行上述参数配置系统100,实现参数配置。
需要说明,当参数配置系统100以云服务的形式提供给用户使用时,可以是以独立的云服务提供给用户使用,如此可以实现为云服务引流。在一些实施例中,参数配置系统100也可以配合已有云服务使用,例如可以作为后台模块,增强已有云服务的功能。当然,该参数配置系统100以非云服务的形式提供给用户使用时,还可以作为嵌入式模块,如插件,以增强已有产品如手机、基站、服务器的性能。
如图2B所示,参数配置系统100的各个部分也可以分布式地部署在不同环境中。例如,可以在云环境、边缘环境、端设备中的三个环境,或其中任意两个环境上分别部署参数配置系统100的一部分。
图2A和图2B仅仅是示意性地展示了参数配置系统100的一些部署方式,在本申请实施例其他可能的实现方式中,还可以通过其他方式部署参数配置系统100,在此不再赘述。
接下来,从参数配置系统100的角度,对本申请实施例提供的参数配置方法进行介绍。
参见图3所示的参数配置方法的流程图,该方法包括:
S302:参数配置系统100通过标准接口接收业务系统200的配置参数和业务系统200的业务目标。
具体地,业务系统200的配置参数和业务目标可以携带在参数配置需求中,参数配置系统100通过标准接口接收参数配置需求,从而接收上述配置参数和业务目标。该参数配置需求具体用于指示参数配置系统100从该配置参数的取值空间中寻找合适的参数值,以达成上述业务目标。
在一些可能的实现方式中,参数配置系统100还可以通过标准接口接收业务系统200的负载和约束条件中的至少一个。对应地,参数配置系统100在当前负载以及当前约束条件下,从该配置参数的取值空间中寻找合适的参数值,以达成上述业务目标。
标准接口是指标准化、规范化的接口。在一些实施例中,标准接口可以包括标准的应用程序编程接口(application programming interface,API)。参数配置系统100在接收上述配置参数、业务目标、负载和约束条件等业务系统200的要素时,可以通过一个API接收,也可以通过各要素各自对应的API接收。
在一些实施例中,参数配置系统100可以通过配置参数API接收业务系统200的配置参数,通过业务目标API接收业务系统200的业务目标,通过负载API接收业务系统200的负载,通过约束条件API接收业务系统200的约束条件。
其中,配置参数是从业务系统200的可配置参数中确定的至少一个参数。配置参数可以按照规定的格式进行定义,如按照标准接口规定的格式进行定义。在一些可能的实现方式中,配置参数可以按照API的格式进行定义。例如可以通过参数名、参数类型以及参数的取值空间等字段定义配置参数。考虑到有些配置参数还具有初始值,在一些实施例中,还可以通过初始值定义配置参数。
为了便于理解,下面结合一些具体示例对配置参数进行说明。
例如,对于参数1,可以通过参数名、参数类型、参数的取值空间、初始值等字段定义,具体如下所示:
并行度,离散型,1~100,10。
其中,并行度为参数1的参数名,并行度这一参数的参数类型为离散型,取值空间为1~100,初始值为10。
又例如,对于参数2,可以通过参数名、参数类型、参数的取值空间等字段定义,具体如下所示:
序列化策略,枚举型,[是,否]。
其中,序列化策略为参数2的参数名,枚举型为序列化策略这一参数的参数类型,序列化策略这一参数的取值空间包括是和否两种取值。
业务目标具体用于描述对业务系统200的性能的期望。业务目标可以通过业务系统200的关键绩效指标进行定义。例如,在大数据处理业务场景中,关键绩效指标可以是处理速度或者执行时间,基于此,业务目标可以是处理速度最快,或者执行时间最短。
与配置参数类似,业务目标也可以按照标准API格式进行定义。如此,参数配置系统100(例如是接口模块102)可以通过API接收上述按照标准的API格式定义的配置参数和业务目标。具体地,参数配置系统100可以通过与配置参数和业务目标对应的API接收配置参数和业务目标。
负载具体用于描述业务系统200的环境或业务数据。负载可以通过负载变量进行表达。在一些实施例中,负载变量包括环境负载变量和业务负载变量等多种类型。其中,环境负载变量和业务负载变量可以按照标准接口格式如API格式进行定义。
为了便于理解,下面结合一些具体示例对负载变量进行说明。
例如,对于环境负载变量1,可以通过变量名、变量类型和变量值定义,具体如下所示:
芯片类型,枚举型,CPU和GPU。
其中,芯片类型用于指示环境负载变量1的变量名,也即环境负载变量1为芯片类型,芯片类型这一变量的变量类型为枚举型,这一变量的变量值为CPU和GPU,也即当前业务系统的硬件设施包括CPU和GPU。
又例如,对于业务负载变量1和业务负载变量2可以通过变量名、变量类型和变量值定义,具体如下所示:
数据规模,连续型,10GB;
业务类型,枚举型,SQL、机器学习型和流处理型。
其中,数据规模用于指示业务负载变量1的变量名,该变量的变量类型为连续型,该变量的变量值为10吉字节(gigabyte,GB),业务类型用于指示业务负载变量2的变量名,该变量的变量类型为枚举型,该变量的变量值可以为SQL、机器学习型和流处理型。
约束条件具体是指业务系统的参数寻优需要符合的条件,例如配置参数为热参数(更新频率较高的参数)时,约束条件可以是实时参数寻优,配置参数为冷参数(更新频率较低的参数)时,约束条件可以是离线参数寻优。进一步地,验证参数的成本较高时,约束条件也可以是验证次数小于预设次数。约束条件也可以按照标准API格式进行定义。
每一个业务系统200可以通过上述四类要素中的至少两类要素进行描述。因此,参数配置系统100可以根据抽象得到的上述要素,进行统一的参数配置,从而实现提供一种通用的参数配置方法。
S304:参数配置系统100对配置参数进行参数寻优,得到满足业务目标的推荐参数值。
具体地,参数配置系统100(例如是控制模块106)可以利用预先设置的条件判断控制逻辑确定与配置参数对应的参数寻优算法,然后参数配置系统100(例如是参数寻优模块104)基于该参数寻优算法对配置参数进行参数寻优,得到满足业务目标的推荐参数值。
在本实施例中,条件判断控制逻辑具体是一种判断条件是否被满足,从而确定执行路径的控制逻辑,例如可以是if-then控制逻辑。if-then控制逻辑可以表达为如果业务系统200的要素(配置参数、业务目标、负载或约束条件)满足设定的条件,则采用设定的参数寻优算法进行参数寻优。
例如,if-then控制逻辑可以包括:如果约束条件为验证次数小于预设次数(约束条件为验证成本高昂型),则采用概率建模搜索算法如贝叶斯算法进行参数寻优。又例如,if-then控制逻辑可以包括:如果约束条件为实时进行参数寻优,则采用强化学习算法进行参数寻优。
进一步地,考虑到配置参数可以具有不同的参数类型,具有不同的取值空间,或者是不具有初始值,为此,参数配置系统100还可以根据配置参数的属性信息确定对配置参数的预处理方式。其中,参数配置系统100(例如是控制模块106)可以根据配置参数的属性信息,例如根据配置参数的类型、取值空间等属性信息中的任意一种或多种,利用预先设置的条件判断控制逻辑确定与配置参数对应的预处理方法。其中,条件判断控制逻辑可以是if-then控制逻辑。
基于此,if-then控制逻辑可以表达为如果业务系统200的要素满足设定的条件,则采用设定的预处理方式对配置参数进行预处理。例如,if-then控制逻辑可以包括:如果配置参数的参数类型不同,则对配置参数进行类型统一编码。又例如,if-then控制逻辑可以包括:如果配置参数的取值空间不同,则对配置参数进行正则化。当然,if-then控制逻辑也可以包括:如果配置参数不具有初始值,则对配置参数进行初始化,例如进行随机初始化。
为了便于理解,下面以大数据处理场景为例进行示例说明。
参见图4所示的参数配置方法的流程示意图,如图4所示,业务系统200的要素包括负载、配置参数和业务目标、约束条件。负载变量包括环境负载变量和业务负载变量。其中,环境负载变量包括芯片类型和节点数量,该示例中芯片类型为CPU,节点数量为10,业务负载变量包括数据规模,该示例中数据规模具体为10GB。配置参数的定义中包括参数名、参数类型和取值空间。该示例中,参数类型包括枚举、离散、连续等多个类型,并且配置参数未提供初始值。业务目标为单目标,具体是执行时间最短。约束条件为离线进行参数寻优,以及验证次数小于预设次数。
控制模块106基于if-then控制逻辑,判断上述要素是否满足设定的条件,从而确定对应的预处理方式和参数寻优算法。具体地,负载变量和配置参数可以是不同类型的变量,并且这些变量可以具有不同的取值空间,控制模块106可以基于if-then控制逻辑,确定对配置参数进行类型统一编码,以及正则化,以实现对不同类型、不同取值空间的变量进行预处理。进一步地,配置参数未提供初始值,控制模块106基于if-then控制逻辑,确定对配置参数进行初始化。由于约束条件为离线进行参数寻优,以及验证次数小于预设次数,对于精度没有更高的要求,控制模块106基于if-then控制逻辑,确定采用概率建模搜索算法模型(例如贝叶斯算法模型)进行参数寻优。
参数配置系统100(例如是参数寻优模块104)提供有多种参数寻优算法的算法模型。参数寻优算法可以分为离线算法和在线算法。其中,离线算法包括贝叶斯算法、遗传算法等等,在线算法包括强化学习算法、多臂机算法等等,在线算法能够实现实时寻优。参数配置系统100(例如是参数寻优模块104)可以根据控制模块106确定的参数寻优算法,调用相应的算法模型进行参数寻优。
在一些可能的实现方式中,参数配置系统100(例如是参数预处理模块108)还可以根据控制模块106确定的、针对配置参数的预处理方式,调用相应的预处理单元(如类型统一编码单元、正则化单元、初始化单元)对配置参数进行预处理。参数寻优模块104对预处理后的参数进行参数寻优,得到推荐参数值。
S306:参数配置系统100输出推荐参数值,以对配置参数进行配置。
具体地,参数配置系统100提供有标准接口,参数配置系统100可以基于标准接口如API输出推荐参数值。其中,标准接口可以分为标准输入接口和标准输出接口,标准输入接口用于输入业务系统200的要素,标准输出接口用于输出业务系统200的推荐参数值。在一些可能的实现方式中,标准输入接口和标准输出接口可以是同一接口,也可以是不同接口,本申请实施例对此不作限定。
参数配置系统100在输出推荐参数值时,可以直接输出该推荐参数值至业务系统200,以实现对业务系统200的参数配置。在一些实施例中,参数配置系统100也可以输出该推荐参数值至业务系统200的模拟器中,当模拟器按照上述推荐参数值进行配置后的性能满足要求时,可以再将推荐参数值输出至业务系统200,以实现对业务系统200的参数配置。
在一些可能的实现方式中,参数配置系统100将推荐参数值输出至业务系统200或业务系统200的模拟器时,参数配置系统100还可以确定业务系统200或者业务系统200的模拟器的关键绩效指标的指标值,然后根据该指标值进行下一轮迭代。也即参数配置系统100可以重复执行上述S302至S306。如此,业务系统200的关键绩效指标的指标值可以不断提升,当关键绩效指标的指标值最大化时,业务系统200达成业务目标,参数配置系统100将该轮迭代的参数值确定为配置参数的推荐参数值。
基于上述内容描述,本申请实施例提供了一种参数配置方法。该方法通过将不同业务场景中的参数配置问题抽象成通过标准的接口输入表达的数学问题,从而实现提供一种通用的参数配置方法,无需case by case进行参数配置。并且,该方法可以根据接口输入自动确定与配置参数对应的参数寻优算法,利用该参数寻优算法进行参数寻优,得到推荐参数值。如此,业务领域的专家无需AI经验,即可独立完成参数配置,节省了业务领域的专家和AI领域的专家沟通的时间成本和人力成本,进一步提高了配置效率,降低了配置成本。
在图3所示实施例中,参数配置系统100对业务系统200进行参数配置的关键在于,控制模块106确定对配置参数的预处理方式和/或参数寻优算法。控制模块106可以通过预先维护的条件判断控制逻辑,如if-then控制逻辑,确定对配置参数的预处理方式和/或参数寻优算法。
其中,控制模块106可以维护多个条件判断控制逻辑,这多个条件判断控制逻辑可以构成决策树。对应地,控制模块106可以利用条件判断决策树确定与配置参数对应的预处理方式和/或参数寻优算法。
为了便于理解,下面以利用if-then决策树确定与配置参数对应的预处理方式进行示例说明。
参见图5所示的决策树的示意图,如图5所示,该决策树包括至少3层控制逻辑。具体地,控制模块106首先判断配置参数和负载变量(包括环境负载变量、业务负载变量)是否包括多种类型,若是,则控制模块106确定对配置参数进行类型统一编码,若否,则控制模块106继续判断配置参数和负载变量的取值空间是否一致。若配置参数和负载变量的取值空间不一致,则控制模块106确定对配置参数进行正则化,若配置参数和负载变量的取值空间一致,则控制模块106继续判断配置参数是否有初始值。若配置参数不具有初始值,则控制模块106确定对配置参数进行初始化。在一些实施例中,控制模块106还可以根据输入的配置参数进行特征选择。
考虑到不同参数寻优方法具有各自的优缺点,在对业务系统200进行参数配置时,还可以在业务系统200的不同阶段选择相应的参数寻优算法进行参数配置。具体地,参数配置系统100(例如是控制模块106)可以利用条件判断控制逻辑确定至少一个参数寻优算法的概率,然后根据至少一个参数寻优算法的概率确定与配置参数对应的参数寻优算法。
在一些可能的实现方式中,控制模块106在每一阶段确定至少一个参数寻优算法的概率,将概率满足预设条件(例如是概率大于预设概率或者是概率最大)的参数寻优算法确定为该阶段所采用的参数寻优算法。如此,当前阶段概率较小的参数寻优算法在后续阶段仍有可能被采用,从而使得控制模块106可以在不同阶段选择合适的参数寻优算法,满足了不同阶段的需求。
为了便于理解,下面以基于概率的if-then控制逻辑确定与配置参数对应的参数寻优算法进行示例说明。
参见图6所示的基于概率的if-then控制逻辑的示意图,如图6所示,在一轮迭代过程中,参数配置系统100确定贝叶斯算法的概率为80%,遗传算法的概率为20%,参数配置系统100根据概率选择一种寻优算法进行参数寻优。其中,参数配置系统100选择寻优算法遵循大概率的算法优先被选中,小概率的算法也可能被选中的原则。例如,在本轮迭代时,参数配置系统100选择采用贝叶斯算法进行参数寻优。
接着,在下一轮迭代过程中,参数配置系统100确定贝叶斯算法的概率为80%,遗传算法的概率为20%。在该轮迭代过程汇总,参数配置系统100选择采用遗传算法进行参数寻优,由此实现小概率算法翻盘。
上文结合图1至图6对本申请实施例提供的参数配置方法进行了详细介绍,下面将结合附图对本申请实施例提供的参数配置系统100以及用于实现参数配置系统100功能的计算设备进行介绍。
参见图1,本申请实施例提供了一种参数配置系统100,该参数配置系统100包括用于执行前述方法实施例中任意一种实现方式对应的方法步骤的单元模块。接下来,对参数配置系统100的结构进行示例说明。
具体地,参数配置系统100包括接口模块102和参数寻优模块104。其中,接口模块102用于通过标准接口接收业务系统的配置参数和所述业务系统的业务目标,参数寻优模块104用于对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值,接口模块102还用于输出所述推荐参数值,以对所述配置参数进行配置。
在一些可能的实现方式中,所述接口模块102还用于:
通过所述标准接口接收负载和约束条件中的至少一个;
所述对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值,包括:
根据所述负载和所述约束条件中的至少一个对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值。
在一些可能的实现方式中,所述标准接口包括应用程序编程接口API。
在一些可能的实现方式中,所述标准接口包括配置参数API、业务目标API、负载API和约束条件API。
在一些可能的实现方式中,所述系统100还包括:
控制模块106,用于利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述控制模块106具体用于:
利用条件判断决策树确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述控制模块106具体用于:
利用条件判断控制逻辑确定至少一个参数寻优算法的概率;
根据所述至少一个参数寻优算法的概率确定与所述配置参数对应的参数寻优算法。
在一些可能的实现方式中,所述系统100还包括:
参数预处理模块108,用于对所述配置参数进行预处理。
根据本申请实施例的参数配置系统100可对应于执行本申请实施例中描述的方法,并且参数配置系统100的各个模块/单元的上述和其它操作和/或功能分别为了实现图3、图5、图6所示实施例中的各个方法的相应流程,为了简洁,在此不再赘述。
上述参数配置系统100的功能可以通过计算设备实现,例如通过单独的计算设备或者多个计算设备形成的计算集群实现。下面结合附图进行详细说明。
图7提供了一种计算设备,如图7所示,计算设备700具体可以用于实现上述图1所示实施例中参数配置系统100的功能。计算设备700包括总线701、处理器702、通信接口703和存储器704。处理器702、存储器704和通信接口703之间通过总线701通信。
总线701可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器702可以为中央处理器(central processing unit,CPU)、图形处理器(graphics processing unit,GPU)、微处理器(micro processor,MP)或者数字信号处理器(digital signal processor,DSP)等处理器中的任意一种或多种。
通信接口703是一种输入输出(input/output,I/O)设备。通信接口703用于和外部通信,例如用于和业务系统200通信。具体地,通信接口703可以通过标准接口如配置参数API和业务目标API分别接收配置参数和业务目标,或者是通过标准接口如推荐参数值API输出推荐参数值。
存储器704可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,RAM)。存储器704还可以包括非易失性存储器(non-volatilememory),例如只读存储器(read-only memory,ROM),快闪存储器,机械硬盘(hard diskdrive,HDD)或固态硬盘(solid state drive,SSD)。
存储器704中存储有可执行的程序代码,处理器702执行该可执行的程序代码以执行前述参数配置方法。具体地,通信接口703通过标准接口如配置参数API、业务目标API分别接收配置参数和业务目标,然后通过总线701将配置参数和业务目标传输至处理器702,,处理器702执行上述程序代码,对配置参数进行参数寻优,得到推荐参数值,然后通过总线701将该推荐参数值传输至通信接口703,通信接口703通过标准接口如推荐参数值API输出推荐参数值,以对配置参数进行配置。
本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令,所述指令指示计算设备执行上述应用于参数配置系统100的参数配置方法。
本申请实施例还提供了一种计算机程序产品。所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。
所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
所述计算机程序产品可以为一个软件安装包,在需要使用前述参数配置方法的任一方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
上述各个附图对应的流程或结构的描述各有侧重,某个流程或结构中没有详述的部分,可以参见其他流程或结构的相关描述。

Claims (21)

1.一种参数配置方法,其特征在于,所述方法包括:
通过标准接口接收业务系统的配置参数和所述业务系统的业务目标;
对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
输出所述推荐参数值,以对所述配置参数进行配置。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述标准接口接收负载和约束条件中的至少一个;
所述对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值,包括:
根据所述负载和所述约束条件中的至少一个对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值。
3.根据权利要求1或2所述的方法,其特征在于,所述标准接口包括应用程序编程接口API。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述标准接口包括配置参数API、业务目标API、负载API和约束条件API。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法。
6.根据权利要求5所述的方法,其特征在于,所述利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法,包括:
利用条件判断决策树确定与所述配置参数对应的参数寻优算法。
7.根据权利要求5所述的方法,其特征在于,所述利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法,包括:
利用条件判断控制逻辑确定至少一个参数寻优算法的概率;
根据所述至少一个参数寻优算法的概率确定与所述配置参数对应的参数寻优算法。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:
对所述配置参数进行预处理。
9.一种参数配置方法,其特征在于,所述方法包括:
通过标准接口接收视频分发系统的配置参数和所述视频分发系统的业务目标;
对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
输出所述推荐参数值,以对所述配置参数进行配置。
10.一种参数配置方法,其特征在于,所述方法包括:
通过标准接口接收大数据处理系统的配置参数和所述大数据处理系统的业务目标;
对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
输出所述推荐参数值,以对所述配置参数进行配置。
11.一种参数配置系统,其特征在于,所述系统包括:
接口模块,用于通过标准接口接收业务系统的配置参数和所述业务系统的业务目标;
参数寻优模块,用于对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值;
所述接口模块,还用于输出所述推荐参数值,以对所述配置参数进行配置。
12.根据权利要求11所述的系统,其特征在于,所述接口模块还用于:
通过所述标准接口接收负载和约束条件中的至少一个;
所述对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值,包括:
根据所述负载和所述约束条件中的至少一个对所述配置参数进行参数寻优,得到满足所述业务目标的推荐参数值。
13.根据权利要求11或12所述的系统,其特征在于,所述标准接口包括应用程序编程接口API。
14.根据权利要求11至13任一项所述的系统,其特征在于,所述标准接口包括配置参数API、业务目标API、负载API和约束条件API。
15.根据权利要求11至14任一项所述的系统,其特征在于,所述系统还包括:
控制模块,用于利用条件判断控制逻辑确定与所述配置参数对应的参数寻优算法。
16.根据权利要求15所述的系统,其特征在于,所述控制模块具体用于:
利用条件判断决策树确定与所述配置参数对应的参数寻优算法。
17.根据权利要求15所述的系统,其特征在于,所述控制模块具体用于:
利用条件判断控制逻辑确定至少一个参数寻优算法的概率;
根据所述至少一个参数寻优算法的概率确定与所述配置参数对应的参数寻优算法。
18.根据权利要求11至17任一项所述的系统,其特征在于,所述系统还包括:
参数预处理模块,用于对所述配置参数进行预处理。
19.一种设备,其特征在于,所述设备包括处理器和存储器;
所述处理器用于执行所述存储器中存储的指令,以使得所述设备执行如权利要求1至8中任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,包括指令,所述指令指示计算机执行如权利要求1至8中任一项所述的方法。
21.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至8中任一项所述的方法。
CN202011293862.XA 2020-09-25 2020-11-18 参数配置方法及相关系统 Pending CN114327589A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2021/119821 WO2022063157A1 (zh) 2020-09-25 2021-09-23 参数配置方法及相关系统
EP21871526.6A EP4203488A4 (en) 2020-09-25 2021-09-23 PARAMETER CONFIGURATION METHOD AND ASSOCIATED SYSTEM
US18/190,366 US20230229528A1 (en) 2020-09-25 2023-03-27 Parameter Configuration Method and Related System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011022613 2020-09-25
CN2020110226137 2020-09-25

Publications (1)

Publication Number Publication Date
CN114327589A true CN114327589A (zh) 2022-04-12

Family

ID=81032278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293862.XA Pending CN114327589A (zh) 2020-09-25 2020-11-18 参数配置方法及相关系统

Country Status (1)

Country Link
CN (1) CN114327589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766453A (zh) * 2022-12-07 2023-03-07 中国工商银行股份有限公司 报警系统配置方法、装置、设备、介质及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077106A (zh) * 2014-07-29 2017-08-18 莱恩斯特里姆技术有限公司 自抗扰控制的优化参数化
CN111125518A (zh) * 2019-12-10 2020-05-08 海尔优家智能科技(北京)有限公司 家电信息推荐的系统及方法
CN111625918A (zh) * 2019-02-27 2020-09-04 阿里巴巴集团控股有限公司 一种工艺参数推荐方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077106A (zh) * 2014-07-29 2017-08-18 莱恩斯特里姆技术有限公司 自抗扰控制的优化参数化
CN111625918A (zh) * 2019-02-27 2020-09-04 阿里巴巴集团控股有限公司 一种工艺参数推荐方法、装置及电子设备
CN111125518A (zh) * 2019-12-10 2020-05-08 海尔优家智能科技(北京)有限公司 家电信息推荐的系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766453A (zh) * 2022-12-07 2023-03-07 中国工商银行股份有限公司 报警系统配置方法、装置、设备、介质及产品

Similar Documents

Publication Publication Date Title
CN111104954B (zh) 一种对象分类的方法与装置
US20210065011A1 (en) Training and application method apparatus system and stroage medium of neural network model
US20180218276A1 (en) Optimizing Application Performance Using Finite State Machine Model and Machine Learning
US20240095529A1 (en) Neural Network Optimization Method and Apparatus
CN112988275B (zh) 一种基于任务感知的移动边缘计算多用户计算卸载方法
CN116360954B (zh) 基于云边协同技术的工业物联网管控方法和管控系统
US20230229528A1 (en) Parameter Configuration Method and Related System
CN114327589A (zh) 参数配置方法及相关系统
US20240152393A1 (en) Task execution method and apparatus
CN112488563B (zh) 一种算力参数的确定方法和装置
CN116257360B (zh) 一种基于历史使用数据规划容器组资源的方法和系统
CN117319373A (zh) 数据传输方法、装置、电子设备和计算机可读存储介质
CN112396511A (zh) 分布式风控变量数据处理方法、装置及系统
CN115426310B (zh) 最优路径确定方法及装置、可读存储介质、电子设备
US20210168195A1 (en) Server and method for controlling server
CN115955685A (zh) 多智能体协同路由方法、设备及计算机存储介质
CN114035906B (zh) 虚拟机迁移方法、装置、电子设备及存储介质
CN115185658A (zh) 一种基于时间和通信可靠的任务卸载调度方法及相关产品
KR20200024433A (ko) 시간 가변적 예측(anytime prediction)을 위한 얇은 하위 네트워크를 활용하는 방법 및 시스템
CN115307274A (zh) 控制空调系统的主机的方法、设备和存储介质
CN115169561A (zh) 一种用于物联网的多分支网络协同推理方法及系统
CN114579054A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN113361677A (zh) 神经网络模型的量化方法和装置
US20230214646A1 (en) Method and system for searching deep neural network architecture
CN115795342B (zh) 一种业务场景分类的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination