CN110554910A - 优化分布式计算效能的方法和装置 - Google Patents

Abstract

本公开提供了一种优化分布式计算效能的方法和装置，涉及信息技术领域。该方法包括：获取用户提交的目标任务；根据规则配置提取目标任务中的任务特征；根据任务特征和当前分布式环境资源数据形成校验规则；根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务，进而能够在不更改应用的前提下提升分布式计算环境工作效能。

Description

优化分布式计算效能的方法和装置

技术领域

本公开涉及信息技术领域，尤其涉及一种优化分布式计算效能的方法和装置。

背景技术

当前，随着国内去IOE(以IBM小型机为代表的专用服务器、以Oracle数据库为代表的商用关系型数据库、以EMC存储设备为代表的专用高端存储设施)的推进，用PC服务器替换传统小型机搭建企业的IT基础运营环境已经成为主流。基于此，分布式计算技术在互联网行业和企业IT系统中也得到了广泛的应用，分布式计算环境成为企业最重要的IT基础设施之一。

为适应不同特征的分布式计算任务，在现有的通用分布式计算坏境中都提供了一些控制参数，同时提供默认的参数数值，用于控制分布式计算任务在环境中的运行；这些参数配置和分布式计算任务的运行效能密切相关，参数的调优需要分布式任务的提交者有足够的经验。在实际使用场景下，相关任务在分布式环境中运行时，与计算任务密切相关参数配置通常都是采用默认参数配置，这些默认配置一般适用于通用场景，不一定符合特定任务自身的特点，从而会影响分布式计算的整体效能。

发明内容

本公开要解决的一个技术问题是提供一种优化分布式计算效能的方法和装置，能够提升分布式计算环境工作效能。

根据本公开一方面，提出一种优化分布式计算效能的方法，包括：获取用户提交的目标任务；根据规则配置提取目标任务中的任务特征；根据任务特征和当前分布式环境资源数据形成校验规则；根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。

可选地，根据任务特征和当前分布式环境资源数据形成校验规则包括：根据任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。

可选地，根据校验规则优化目标任务配置参数包括：根据校验规则优化当前任务的配置参数和当前分布式计算环境默认的配置参数。

可选地，根据规则配置提取目标任务中的任务特征包括：根据第一规则配置确定得到任务特征需提取的基本信息；根据第二规则配置确定获取基本信息的方式；在获取基本信息后，分析基本信息得到任务特征。

可选地，当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量。

根据本公开的另一方面，还提出一种优化分布式计算效能的装置，包括：目标任务获取单元，用于获取用户提交的目标任务；任务特征提取单元，用于根据规则配置提取目标任务中的任务特征；校验规则形成单元，用于根据任务特征和当前分布式环境资源数据形成校验规则；配置参数优化单元，用于根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。

可选地，校验规则形成单元用于根据任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。

可选地，配置参数优化单元用于根据校验规则优化当前任务的配置参数和当前分布式计算环境默认的配置参数。

可选地，任务特征提取单元用于根据第一规则配置确定得到任务特征需提取的基本信息，根据第二规则配置确定获取基本信息的方式，在获取基本信息后，分析基本信息得到任务特征。

可选地，当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量。

根据本公开的另一方面，还提出一种优化分布式计算效能的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的优化分布式计算效能的方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的优化分布式计算效能的方法的步骤。

与现有技术相比，本公开获取用户提交的目标任务；根据规则配置提取目标任务中的任务特征；根据任务特征和当前分布式环境资源数据形成校验规则；根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务，进而能够在不更改应用的前提下提升分布式计算环境工作效能。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开优化分布式计算效能的方法的一个实施例的流程示意图。

图2为本公开优化分布式计算效能的方法的另一个实施例的流程示意图。

图3为本公开优化分布式计算效能的装置的一个实施例的结构示意图。

图4为本公开优化分布式计算效能的装置的另一个实施例的结构示意图。

图5为本公开优化分布式计算效能的装置的又一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开优化分布式计算效能的方法的一个实施例的流程示意图。

在步骤110，获取用户提交的目标任务。其中，目标任务例如为计算任务，用户提交计算任务给分布式计算环境，装置可以截取用户提交请求，即目标任务。

在步骤120，根据规则配置提取目标任务中的任务特征。典型的目标任务中，会包括一系列基本信息，根据基本信息基于规则配置可以确定该任务的特征。

在步骤130，根据任务特征和当前分布式环境资源数据形成校验规则。例如，计算得出待校对的目标任务关键参数以及目标任务关键参数的建议取值。

在步骤140，根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。优化目标任务配置参数即优化当前任务的配置参数和当前分布式计算环境默认的配置参数。其中，上述相关信息和参数的获取、调整和输出过程对使用者是透明的。

在该实施例中，基于规则和任务特征自动优化环境配置参数，能够优化针对特征任务的分布式计算环境工作效能，实现了对具体应用的透明化，提升了工作效率。

图2为本公开优化分布式计算效能的方法的另一个实施例的流程示意图。

在步骤210，用户提交计算任务给分布式计算环境。

在步骤220，拦截用户提交请求，根据第一规则配置确定需提取的目标任务中的基本信息，根据第二规则配置确定获取目标任务中的基本信息的方式，在获取目标任务中的基本信息后，分析基本信息得到任务特征。其中，第一规则配置用于明确要获取的任务基本信息，第二规则配置用于明确任务基本信息的获取方式。典型的目标任务中，会包括一系列基本信息，例如目标计算任务提交者、目标计算任务类型、待处理的数据量、任务计算量等信息。系统收到用户提交的A任务，通过规则配置，可以确定是从文件B中获取该任务的基本信息，是从某个服务接口中查询获得该任务的基本信息，还是从任务名称字段中解析处获得该任务的基本信息。在获得基本信息后，通过分析可以确定任务特征。例如，任务“提交者”信息的提取方式为目标任务配置文件中的A字段信息，提取基本信息后，若任务的“提交者”信息等于“USER1”，则该任务特征为“高优先级任务”。

在步骤230，根据第三规则配置，基于任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。其中，第三规则配置用于形成校验规则。当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量等。其中，可以在任务特征及其相关配置参数配置建议之间有一个映射关系，即，一个任务特征对应一系列的待校验关键参数，每个待校验关键参数又有其对应的建议取值计算规则。其中，任务特征和待校验关键参数两者间的映射关系是可配置的。

在一个实施例中，对于待校验关键参数的建议取值是按照计算规则计算得到的。例如，计算规则可以是一个默认值(比如参数A＝10，参数B＝false等)，也可以是通过逻辑计算得到的值，其中，逻辑计算需要用到当前分布式环境中的资源数据，例如，参数C取值为在当前分布式环境整体CPU占用率小于30％时，取值为true，否则为false；参数D取值为当前分布式计算环境中可用的工作节点的数量等。

在步骤240，读取当前任务的配置参数和当前分布式计算环境默认的配置参数，对比校验规则优化目标任务配置参数。例如，对于校验规则涉及到的参数，如果当前配置和建议取值不同，则修订为建议取值。如，当前任务中，参数A采用了系统默认的配置参数2，待校验关键参数A根据分析建议取值为10，则将参数A修改为10。

在步骤250，将优化后的目标任务配置参数提交给分布式计算环境，启动任务执行。

在该实施例中，获取使用者提供的目标计算任务的基本信息，根据特定的规则配置，由目标计算任务的特征，结合当前分布式环境的资源数据，计算得出待校对的关键参数及上述参数的建议取值，然后读取当前任务的配置参数和环境默认配置参数，对比校验规则，得到优化后的配置参数，最后将优化后的配置参数提交给分布式计算环境，启动任务执行。在上述相关信息和参数的获取、调整和输出过程不改变具体任务的执行结果，但能够提升分布式计算资源的利用率。另外，基于规则的配置，既可以固化已有的经验，也可以根据整体环境情况动态调整，具有较高的灵活性。

图3为本公开优化分布式计算效能的装置的一个实施例的结构示意图。该装置包括目标任务获取单元310、任务特征提取单元320、校验规则形成单元330和配置参数优化单元340。

目标任务获取单元310用于获取用户提交的目标任务。其中，目标任务例如为计算任务。

任务特征提取单元320用于根据规则配置提取目标任务中的任务特征。

校验规则形成单元330用于根据任务特征和当前分布式环境资源数据形成校验规则。其中，校验规则即计算得出的待校对的目标任务关键参数以及目标任务关键参数的建议取值。

配置参数优化单元340用于根据校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。优化目标任务配置参数即优化当前任务的配置参数和当前分布式计算环境默认的配置参数。

在该实施例中，基于规则和任务特征自动优化环境配置参数，能够优化针对特征任务的分布式计算环境工作效能，实现了对具体应用的透明化，提升了工作效率。

在本公开的另一个实施例中，用户提交计算任务给分布式计算环境。目标任务获取单元310拦截用户提交请求，即获取用户提交的目标任务。

任务特征提取单元320根据第一规则配置确定需提取的目标任务中的基本信息，根据第二规则配置确定获取目标任务中的基本信息的方式，在获取目标任务中的基本信息后，分析基本信息得到任务特征。其中，第一规则配置用于明确要获取的任务基本信息，第二规则配置用于明确任务基本信息的获取方式。在获得基本信息后，通过分析可以确定任务特征，例如若任务的“提交者”信息等于“USER2”，则该任务特征为“低优先级任务”。

校验规则形成单元330用于根据第三规则配置，基于任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。其中，第三规则配置用于形成校验规则。当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量等。

配置参数优化单元340用于根据校验规则优化当前任务的配置参数和当前分布式计算环境默认的配置参数，以便根据优化后的目标任务配置参数执行任务。例如，对于校验规则涉及到的参数，如果当前配置和建议取值不同，则修订为建议取值。如，当前任务中，参数A采用了系统默认的配置参数2，待校验关键参数A根据分析建议取值为10，则将参数A修改为10。

在该实施例中，在现有的分布式计算环境中，引入一个任务分析模块，即优化分布式计算效能的装置，通过规则配置，基于分布式计算的任务特征有针对性的自动调整分布式计算环境参数值，从而在不更改应用的前提下提升分布式计算环境工作效能。

图4为本公开优化分布式计算效能的装置的另一个实施例的结构示意图。该装置包括存储器410和处理器420，其中，存储器410可以是磁盘、闪存或其它任何非易失性存储介质。存储器410用于存储图1、2所对应实施例中的指令。处理器420耦接至存储器410，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器420用于执行存储器中存储的指令。

在一个实施例中，还可以如图5所示，该装置500包括存储器510和处理器520。处理器520通过BUS总线530耦合至存储器510。该装置500还可以通过存储接口540连接至外部存储装置550以便调用外部数据，还可以通过网络接口560连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够优化针对特征任务的分布式计算环境工作效能。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (12)

1.一种优化分布式计算效能的方法，包括：

获取用户提交的目标任务；

根据规则配置提取所述目标任务中的任务特征；

根据所述任务特征和当前分布式环境资源数据形成校验规则；

根据所述校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。

2.根据权利要求1所述的方法，根据所述任务特征和当前分布式环境资源数据形成校验规则包括：

根据所述任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。

3.根据权利要求2所述的方法，根据所述校验规则优化目标任务配置参数包括：

根据所述校验规则优化当前任务的配置参数和当前分布式计算环境默认的配置参数。

4.根据权利要求1所述的方法，根据规则配置提取所述目标任务中的任务特征包括：

根据第一规则配置确定得到所述任务特征需提取的基本信息；

根据第二规则配置确定获取所述基本信息的方式；

在获取所述基本信息后，分析所述基本信息得到任务特征。

5.根据权利要求1-4任一所述的方法，其中，

所述当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量。

6.一种优化分布式计算效能的装置，包括：

目标任务获取单元，用于获取用户提交的目标任务；

任务特征提取单元，用于根据规则配置提取所述目标任务中的任务特征；

校验规则形成单元，用于根据所述任务特征和当前分布式环境资源数据形成校验规则；

配置参数优化单元，用于根据所述校验规则优化目标任务配置参数，以便根据优化后的目标任务配置参数执行任务。

7.根据权利要求6所述的装置，其中，

所述校验规则形成单元用于根据所述任务特征和当前分布式环境资源数据确定待校对的目标任务关键参数以及目标任务关键参数的建议取值。

8.根据权利要求7所述的装置，其中，

所述配置参数优化单元用于根据所述校验规则优化当前任务的配置参数和当前分布式计算环境默认的配置参数。

9.根据权利要求6所述的装置，其中，

所述任务特征提取单元用于根据第一规则配置确定得到所述任务特征需提取的基本信息，根据第二规则配置确定获取所述基本信息的方式，在获取所述基本信息后，分析所述基本信息得到任务特征。

10.根据权利要求6-9任一所述的装置，其中，

所述当前分布式环境资源数据包括当前分布式环境下可用的各类资源总量以及空余资源总量。

11.一种优化分布式计算效能的装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至5任一项所述的优化分布式计算效能的方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至5任一项所述的优化分布式计算效能的方法的步骤。