CN109710395A - 参数优化控制方法、装置和分布式计算系统 - Google Patents

Abstract

本公开提供一种参数优化控制方法、装置和分布式计算系统，涉及分布式计算领域。其中参数优化控制装置提取目标计算任务的特征，以生成任务特征标识，在数据库中提取与任务特征标识相对应的配置参数优化方案，根据配置参数优化方案对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行目标计算任务。从而使得所配置参数与所执行任务的特点相匹配，提高了分布式计算的整体性能。

Description

参数优化控制方法、装置和分布式计算系统

技术领域

本公开涉及分布式计算领域，特别涉及一种参数优化控制方法、装置和分布式计算系统。

背景技术

分布式计算环境已经成为企业最重要的IT(Information Technology，信息技术)基础设施之一。为适应不同特征的分布式计算任务，在现有的通用分布式计算坏境中都提供了一些控制参数，同时提供默认的参数数值，用于控制分布式计算任务在环境中的运行。这些参数配置和分布式计算任务的运行效能密切相关，参数的调优需要分布式任务的提交者有足够的经验。

在目前的实际使用场景下，相关任务在分布式环境中运行时，与计算任务密切相关参数配置通常都是采用默认参数配置，这些默认配置一般适用于通用场景，不一定符合特定任务自身的特点，从而会影响分布式计算的整体效能。

发明内容

本公开的实施例解决的一个技术问题是：由于分布式计算中的默认参数配置无法根据具体任务的特点进行动态调整，因此会影响分布式计算的整体效能。

根据本公开的一个或多个实施例的一个方面，提供一种参数优化控制方法，包括：

提取目标计算任务的特征，以生成任务特征标识；

在数据库中提取与任务特征标识相对应的配置参数优化方案；

根据配置参数优化方案、目标计算任务的配置参数和环境默认配置参数，评估是否需要对环境默认配置参数进行调整；

在需要对环境默认配置参数进行调整的情况下，对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行目标计算任务。

可选地，在目标计算任务执行完毕后，将目标计算任务的任务特征标识以及相应的任务执行统计信息添加到数据库中。

可选地，在需要对环境默认配置参数进行调整的情况下，还包括：

获取当前分布式环境的资源信息；

在资源信息支持对环境默认配置参数进行优化的情况下，对环境默认配置参数进行优化处理。

可选地，上述方法还包括：

根据预定规则对优化配置参数进行二次调整。

可选地，上述方法还包括：

通过在数据库中提取具有相同任务特征标识的任务统计信息；

通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

根据本公开的一个或多个实施例的另一个方面，提供一种参数优化控制装置，包括：

特征标识生成模块，被配置为提取目标计算任务的特征，以生成任务特征标识；

优化方案提取模块，被配置为在数据库中提取与任务特征标识相对应的配置参数优化方案；

评估模块，被配置为根据配置参数优化方案、目标计算任务的配置参数和环境默认配置参数，评估是否需要对环境默认配置参数进行调整；

参数优化模块，被配置为在需要对环境默认配置参数进行调整的情况下，对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行目标计算任务。

可选地，上述装置还包括：

信息添加模块，被配置为在目标计算任务执行完毕后，将目标计算任务的任务特征标识以及相应的任务执行统计信息添加到数据库中。

可选地，参数优化模块被配置为在需要对环境默认配置参数进行调整的情况下，获取当前分布式环境的资源信息，在资源信息支持对环境默认配置参数进行优化的情况下，对环境默认配置参数进行优化处理。

可选地，上述装置还包括：

二次调整模块，被配置为根据预定规则对优化配置参数进行二次调整。

可选地，上述装置还包括：

优化方案生成模块，被配置为通过在数据库中提取具有相同任务特征标识的任务统计信息，通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

根据本公开的一个或多个实施例的一个方面，提供一种参数优化控制装置，包括：

存储器，被配置为存储指令；

处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的方法。

根据本公开的一个或多个实施例的一个方面，提供一种分布式计算系统，包括：

如上述任一实施例涉及的参数优化控制装置；

计算装置，被配置为利用参数优化控制装置提供的优化配置参数执行目标计算任务。

根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例所述的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一个实施例的参数优化控制方法的示例性流程图。

图2为本公开另一实施例的参数优化控制方法的示例性流程图。

图3为本公开一个实施例的参数优化控制装置的示例性框图。

图4为本公开另一实施例的参数优化控制装置的示例性框图。

图5为本公开又一实施例的参数优化控制装置的示例性框图。

图6为本公开一个实施例的分布式计算系统的示例性框图。

图7为相关技术的参数优化示例性框图。

图8为本公开一个实施例的参数优化示例性框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本公开一个实施例的参数优化控制方法的示例性流程图。可选地，本实施例的方法步骤可由参数优化控制装置执行。

步骤101，提取目标计算任务的特征，以生成任务特征标识。

例如，所提取的特征可包括任务提交者、任务周期性特征、目标计算任务类型、待处理的数据量等。

步骤102，在数据库中提取与任务特征标识相对应的配置参数优化方案。

可选地，可通过在数据库中提取具有相同任务特征标识的任务统计信息，通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

即，通过利用历史数据，可得到每一任务特征标识所对应的配置参数优化方案。

步骤103，根据配置参数优化方案、目标计算任务的配置参数和环境默认配置参数，评估是否需要对环境默认配置参数进行调整。

步骤104，在需要对环境默认配置参数进行调整的情况下，对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行目标计算任务。

例如，可根据配置参数优化方案对环境默认配置参数进行优化处理。

基于本公开上述实施例提供的参数优化控制方法，通过利用历史数据，获得与当前任务的特征标识相对应的配置参数优化方案，进而利用该配置参数优化方案对环境默认配置参数进行优化处理。从而使得所配置参数与所执行任务的特点相匹配，提高了分布式计算的整体性能。

图2为本公开另一实施例的参数优化控制方法的示例性流程图。可选地，本实施例的方法步骤可由参数优化控制装置执行。

步骤201，提取目标计算任务的特征，以生成任务特征标识。

步骤202，在数据库中提取与任务特征标识相对应的配置参数优化方案。

可选地，可通过在数据库中提取具有相同任务特征标识的任务统计信息，通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

即，通过利用历史数据，可得到每一任务特征标识所对应的配置参数优化方案。

步骤203，根据配置参数优化方案、目标计算任务的配置参数和环境默认配置参数，评估是否需要对环境默认配置参数进行调整。

步骤204，在需要对环境默认配置参数进行调整的情况下，获取当前分布式环境的资源信息。

步骤205，在资源信息支持对环境默认配置参数进行优化的情况下，对环境默认配置参数进行优化处理。以便根据优化配置参数执行目标计算任务。

即，在当前资源能够支持的情况下，对参数进行相应的优化处理。

可选地，根据预定规则对优化配置参数进行二次调整，以满足特定管理和运营维护需求。

步骤206，在目标计算任务执行完毕后，将目标计算任务的任务特征标识以及相应的任务执行统计信息添加到数据库中。

通过这种反馈处理，可实现优化方案的动态更新。

图3为本公开一个实施例的参数优化控制装置的示例性流程图。如图3所示，参数优化控制装置可包括特征标识生成模块31、优化方案提取模块32、评估模块33和参数优化模块34。其中：

特征标识生成模块31被配置为提取目标计算任务的特征，以生成任务特征标识。

例如，所提取的特征可包括任务提交者、任务周期性特征、目标计算任务类型、待处理的数据量等。

优化方案提取模块32被配置为在数据库中提取与任务特征标识相对应的配置参数优化方案。

可选地，可通过在数据库中提取具有相同任务特征标识的任务统计信息，通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

即，通过利用历史数据，可得到每一任务特征标识所对应的配置参数优化方案。

评估模块33被配置为根据配置参数优化方案、目标计算任务的配置参数和环境默认配置参数，评估是否需要对环境默认配置参数进行调整。

参数优化模块34被配置为在需要对环境默认配置参数进行调整的情况下，对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行目标计算任务。

可选地，参数优化模块34被配置为在需要对环境默认配置参数进行调整的情况下，获取当前分布式环境的资源信息，在资源信息支持对环境默认配置参数进行优化的情况下，对环境默认配置参数进行优化处理。

基于本公开上述实施例提供的参数优化控制装置，通过利用历史数据，获得与当前任务的特征标识相对应的配置参数优化方案，进而利用该配置参数优化方案对环境默认配置参数进行优化处理。从而使得所配置参数与所执行任务的特点相匹配，提高了分布式计算的整体性能。

图4为本公开另一实施例的参数优化控制装置的示例性框图。如图4所示，除特征标识生成模块41、优化方案提取模块42、评估模块43和参数优化模块44之外，还包括信息添加模块45。其中：

信息添加模块45被配置为在目标计算任务执行完毕后，将目标计算任务的任务特征标识以及相应的任务执行统计信息添加到数据库中。

通过这种反馈处理，可实现优化方案的动态更新。

可选地，如图4所示，参数优化控制装置还包括二次调整模块46。其中：

二次调整模块46被配置为根据预定规则对优化配置参数进行二次调整。

可选地，根据预定规则对优化配置参数进行二次调整，以满足特定管理和运营维护需求。

可选地，如图4所示，参数优化控制装置还包括优化方案生成模块47。其中：

优化方案生成模块47，被配置为通过在数据库中提取具有相同任务特征标识的任务统计信息，通过对任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

可选地，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称：ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

图5为本公开又一实施例的参数优化控制装置的示例性框图。如图5所示，该服务器包括存储器51和处理器52。其中：

存储器51用于存储指令，处理器52耦合到存储器51，处理器52被配置为基于存储器存储的指令执行实现如图1或图2中任一实施例涉及的方法。

如图5所示，该参数优化控制装置还包括通信接口53，用于与其它设备进行信息交互。同时，该装置还包括总线54，处理器52、通信接口53、以及存储器51通过总线54完成相互间的通信。

存储器51可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器51也可以是存储器阵列。存储器51还可能被分块，并且块可按一定的规则组合成虚拟卷。

此外，处理器52可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或者是被配置成实施本公开实施例的一个或多个集成电路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1或图2中任一实施例涉及的方法。

图6为本公开一个实施例的分布式计算系统的示例性框图。如图6所示，该系统包括参数优化控制装置61和计算装置62，其中参数优化控制装置61为图3-图5中任一实施例涉及的参数优化控制装置。

计算装置61被配置为利用参数优化控制装置62提供的优化配置参数执行目标计算任务。

下面通过具体示例对本公开进行说明。

如图7所示，在相关技术中，在利用分布式计算环境对计算任务进行计算处理时，采用的是通用配置参数。显然，由于配置参数与所执行计算任务的特点不匹配，从而降低了分布式计算的整体性能。

如图8所示，在本公开所示的方案中，通过提取计算任务的特征，以生成任务特征标识。在数据库中提取与该任务特征标识相对应的配置参数优化方案，根据配置参数优化方案，对环境默认配置参数进行优化处理以得到优化配置参数，以便根据优化配置参数执行该计算任务。还将执行该任务的统计数据反馈给参数优化控制装置，以便实现优化方案的动态更新。

通过实施本公开，可以得到以下有益效果：

1.基于智能化分析得到的优化方案和任务自身特征自动优化环境配置参数，实现了对具体应用的透明。

2.可以形成“执行-分析-优化”闭环，基于对大量任务统计数据的分析挖掘，持续优化分析模型及相应的方案，实现优化方案的动态更新。

3.基于优化后的配置参数，可以有针对性的优化特定任务的分布式计算环境工作效能，提升分布式计算资源的利用率。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (13)

1.一种参数优化控制方法，包括：

提取目标计算任务的特征，以生成任务特征标识；

在数据库中提取与所述任务特征标识相对应的配置参数优化方案；

根据所述配置参数优化方案、所述目标计算任务的配置参数和环境默认配置参数，评估是否需要对所述环境默认配置参数进行调整；

在需要对所述环境默认配置参数进行调整的情况下，对所述环境默认配置参数进行优化处理以得到优化配置参数，以便根据所述优化配置参数执行所述目标计算任务。

2.根据权利要求1所述的方法，其中：

在所述目标计算任务执行完毕后，将所述目标计算任务的任务特征标识以及相应的任务执行统计信息添加到所述数据库中。

3.根据权利要求1所述的方法，其中：

在需要对所述环境默认配置参数进行调整的情况下，还包括：

获取当前分布式环境的资源信息；

在所述资源信息支持对所述环境默认配置参数进行优化的情况下，对所述环境默认配置参数进行优化处理。

4.根据权利要求1-3中任一项所述的方法，还包括：

根据预定规则对所述优化配置参数进行二次调整。

5.根据权利要求1-3中任一项所述的方法，还包括：

通过在所述数据库中提取具有相同任务特征标识的任务统计信息；

通过对所述任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

6.一种参数优化控制装置，包括：

特征标识生成模块，被配置为提取目标计算任务的特征，以生成任务特征标识；

优化方案提取模块，被配置为在数据库中提取与所述任务特征标识相对应的配置参数优化方案；

评估模块，被配置为根据所述配置参数优化方案、所述目标计算任务的配置参数和环境默认配置参数，评估是否需要对所述环境默认配置参数进行调整；

参数优化模块，被配置为在需要对所述环境默认配置参数进行调整的情况下，对所述环境默认配置参数进行优化处理以得到优化配置参数，以便根据所述优化配置参数执行所述目标计算任务。

7.根据权利要求6所述的装置，还包括：

信息添加模块，被配置为在所述目标计算任务执行完毕后，将所述目标计算任务的任务特征标识以及相应的任务执行统计信息添加到所述数据库中。

8.根据权利要求6所述的装置，其中：

参数优化模块被配置为在需要对所述环境默认配置参数进行调整的情况下，获取当前分布式环境的资源信息，在所述资源信息支持对所述环境默认配置参数进行优化的情况下，对所述环境默认配置参数进行优化处理。

9.根据权利要求6-8中任一项所述的装置，还包括：

二次调整模块，被配置为根据预定规则对所述优化配置参数进行二次调整。

10.根据权利要求6-8中任一项所述的装置，还包括：

优化方案生成模块，被配置为通过在所述数据库中提取具有相同任务特征标识的任务统计信息，通过对所述任务统计信息进行分析挖掘，以得到相应任务的配置参数优化方案。

11.一种参数优化控制装置，包括：

存储器，被配置为存储指令；

处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-5中任一项的方法。

12.一种分布式计算系统，包括：

如权利要求5-11中任一项所述的参数优化控制装置；

计算装置，被配置为利用参数优化控制装置提供的优化配置参数执行目标计算任务。

13.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-5中任一项的方法。