CN108897619A - 一种用于超级计算机的多层级资源柔性配置方法 - Google Patents

Abstract

本发明涉及一种用于超级计算机的多层级资源柔性配置方法，包括以下步骤：为作业分配超级计算机的P⁰个节点；计算在执行N个任务{T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间计算当执行任务T_j后到达任务T_j与任务T_j+1之间的断点B_i处的实际时间与初始预期时间的差值当时，为剩余的N‐j个未执行任务{T_j+1,T_j+2,...,T_N}分配P¹个计算节点并重新计算到达剩余的M‐i个断点{B_i+1,B_i+2,...,B_M}的对应的第一修正预期时间

Description

一种用于超级计算机的多层级资源柔性配置方法

技术领域

本发明涉及一种用于超级计算机的多层级资源柔性配置方法。

背景技术

超级计算机是指多个计算节点组合起来的能平行进行大规模计算或数据处理的计算机，也称为并行计算机，是计算机中功能最强、运算最快、存储量最大的一类，多用于国家高科技领域和尖端技术研究，是一个国家科技发展水平和综合国力的重要体现。

目前，用户向超级计算机提交作业时，需要自行指定所需的各种资源，例如运行作业所需的超级计算机的存储空间、节点数、核数等。通常，用户根据经验或者小量数据试运行的结果估计所需的资源，因此往往偏差较大。如果请求的资源不足，作业可能因超时、溢出等原因而终止，无法得到期望的结果；然而，如果请求的资源过多，用户就要为此付出额外的成本，并且浪费了宝贵的超算运算能力。因此，如何在提交作业以及作业运行时，为作业指定适量的资源，成为亟待解决的问题。

发明内容

为解决上述技术问题，本发明提供了一种用于超级计算机的多层级资源柔性配置方法，包括以下步骤：

步骤S100，获得作业，所述作业包括N个任务{T₁,T₂,...,T_N}和M个各自设于任务之间的断点{B₁,B₂,...,B_M}；为该作业分配超级计算机的P⁰个节点；计算在执行N个任务 {T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间其中N、M和P⁰均为自然数，并且M＞N；

步骤S200，计算当执行任务T_j后到达任务T_j与任务T_j+1之间的断点B_i处的实际时间与初始预期时间的差值

步骤S300，当时，为剩余的N-j个未执行任务{T_j+1,T_j+2,...,T_N}分配P¹个计算节点并重新计算到达剩余的M-i个断点{B_i+1,B_i+2,...,B_M}的对应的第一修正预期时间其中|Δt₁|是Δt₁的绝对值，TH1为设定阈值(优选不超过5)。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，将对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式，这些实施方式的描述是足够详细的，以使得本领域技术人员能够实践本发明，在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此，不应当从限制性意义上来理解以下的详细描述。

本发明的一个实施例提供一种用于超级计算机的多层级资源柔性配置方法，其中所述超级计算机选自天河超级计算机，尤其是TH‐1、TH‐1A、TH‐2等天河系列超级计算机，该系列超级计算机通常以脚本文件的形式接收并执行作业，脚本文件至少提供作业提交方式、计算分区、节点数、核数、任务脚本文件绝对文件路径等参数，参考的提交形式为“yhbatch‐N N1 ‐p P1‐n n1xxx.bat”，其中N1为节点数，数据类型为整型；P1为分区名称，数据类型为字符串；n1为核数，数据类型为整型；xxx.bat为任务脚本文件名，数据类型为字符串，具体而言，所述配置方法包括以下步骤：

步骤S100，通过脚本文件获得作业，所述作业包括N个任务{T₁,T₂,...,T_N}和M个各自设于任务之间的断点{B₁,B₂,...,B_M}，还包括作业需要处理的数据，其中所述任务可以是任意合适的执行特定处理的软件或一段程序，其具有输入数据的接口并将输入数据处理后的结果作为输出数据，并且前一个任务输出的结果数据作为后一个任务的输入数据，当最后任务执行后即得到该作业的结果，也即作业执行完成；所述断点设于前N‐1个任务中的一个或多个之后，作业在断点处暂时挂起，待评估作业执行进度后再继续进行下一个任务；在获得脚本文件后为该作业分配超级计算机的P⁰个节点和存储空间，每个节点通常包括若干个计算核心，例如4‐28个核心，在天河超级计算机中，计算资源通常以节点为单位进行分配；然后在作业执行之前，计算在执行N个任务{T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间以及完成作业也即全部N个任务所需的初始预期的作业运行时间其中N、M和P⁰均为自然数，并且M＞N，计算得到的初始预期时间以及初始预期的作业运行时间存储后在以下步骤中用于评估作业执行进度；

步骤S200，当作业提交超级计算机执行后，在任务T_j与任务T_j+1断点B_i处中断，获得作业自开始执行起到达断点B_i处的实际运行时间计算实际时间与相应的初始预期时间之间的差值

步骤S300，当时，为剩余的N‐j个未执行任务{T_j+1,T_j+2,...,T_N}分配P¹个计算节点并重新计算到达剩余的M‐i个断点{B_i+1,B_i+2,...,B_M}的对应的第一修正预期时间其中|Δt₁|是Δt₁的绝对值，TH₁为设定阈值，TH₁可以是任意合适的值，通常不超过10、优选不超过5，例如不超过4、3、2、1、0.5、0.3、0.2、0.1等。

在一个优选的实施例中，在步骤S300中，当Δt₁＞0时，P¹＝(1+w)×P⁰，第一修正预期时间中的其中i+1≤m≤M，这样随着i的增加，w就越来越接近A₁，从而提供更多的资源以便尽可能在预期时间内完成作业。

在一个优选的实施例中，在步骤S300中，当Δt₁≤0时，P¹＝(1-w)×P⁰，第一修正预期时间中的其中i+1≤m≤M，这样可以尽早释放多余的资源，以便在合适的时间内得到完成作业并尽可能地节约成本。

类似地，当执行任务T_j+y后到达任务T_j+y与任务T_j+y+1之间的断点B_i+x处时，1≤y＜N-j， 1≤x＜M-i，计算实际时间与初始预期时间的差值当时，为剩余的N-j-y个任务{T_j+y+1,T_j+y+2,...,T_N}分配P^x个计算节点并重新计算到达剩余的M-i-x 个断点{B_i+x+1,B_i+x+2,...,B_M}的对应的第x修正预期时间其中当|Δt_x|是Δt_x的绝对值，TH_x为设定阈值，TH_x可以与TH₁相同或不同。考虑到越到程序的后期，越需要更多的资源来纠正偏差，因此TH_x优选小于TH₁，以便更灵敏地及时启动资源分配修正过程，按时完成作业。

在一些情况下，在步骤S200中，根据该作业的算法复杂度和本次运行的数据量，或者根据该作业的历史运行结果和本次运行的数据量，计算需要为该作业的本次运行分配的节点的个数P⁰，以及计算在执行N个任务{T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间例如，所述历史运行结果包括该作业在不同数据量{D₁,D₂,...,D_L}和不同节点数{P₁,P₂,...,P_K}的条件下的运行时间以及运行到达M个断点{B₁,B₂,...,B_M}的对应的时间其中和分别表示该作业在数据量D_a和节点数P_b的条件下的运行时间和运行到达断点B_i的时间；相应地，根据该作业本次运行的数据量D_c和期望运行时间t_c在所述历史运行结果中查找，选取对应的节点数P_b作为该作业本次运行需要分配的节点个数P⁰，选取作为运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间其中，D_a与D_c最接近且大于等于D_c，同时与t_c最接近且小于等于t_c。

在另一些情况下，当根据该作业本次运行的数据量和期望运行时间在所述历史运行结果中不能查找该作业本次运行需要分配的节点个数P⁰以及运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间时，也可以采用各种已知的插值法求取该作业本次运行需要分配的节点个数P⁰以及运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间

在一些情况下，在分配P⁰的同时，还根据N个任务{T₁,T₂,...,T_N}的需求分配内存和存储空间；以及在分配P¹个计算节点的同时，还根据剩余的N‐j个未执行任务{T_j+1,T_j+2,...,T_N}的需求分配内存和存储空间；以及在分配P^x个计算节点的同时，还根据剩余的N-j-y个任务 {T_j+y+1,T_j+y+2,...,T_N}的需求分配内存和存储空间；其中，可以采用任何已知的方法来分配内存和存储空间。优选地，当已分配存储空间占用率超过85％，优选超过75％，更优选超过70％时，增加存储空间。

利用本发明的方法，在作业执行前，可以根据历史数据尽可能准确地为作业初始分配适当的资源；在作业执行中，可以根据作业的实际执行情况，也即超过或低于预期进度的情况，动态地分配或回收资源，从而实现在多个层级对超级计算机的资源进行柔性或弹性配置，在充分保障作业按时完成的的情况下，尽可能地减少超级计算机资源的占用。

此外，根据公开的本发明的说明书，本发明的其他实现对于本领域的技术人员是明显的。实施方式和/或实施方式的各个方面可以单独或者以任何组合用于本发明的系统和方法中。说明书和其中的示例应该是仅仅看作示例性，本发明的实际范围和精神由所附权利要求书表示。

Claims (6)

1.一种用于超级计算机的多层级资源柔性配置方法，包括以下步骤：

步骤S100，获得作业，所述作业包括N个任务{T₁,T₂,...,T_N}和M个各自设于任务之间的断点{B₁,B₂,...,B_M}；为该作业分配超级计算机的P⁰个节点；计算在执行N个任务{T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间其中N、M和P⁰均为自然数，并且M＞N；

步骤S200，计算当执行任务T_j后到达任务T_j与任务T_j+1之间的断点B_i处的实际时间与初始预期时间的差值

步骤S300，当时，为剩余的N‐j个未执行任务{T_j+1,T_j+2,...,T_N}分配P¹个计算节点并重新计算到达剩余的M‐i个断点{B_i+1,B_i+2,...,B_M}的对应的第一修正预期时间其中|Δt₁|是Δt₁的绝对值，TH₁为设定阈值(优选不超过5)。

2.根据权利要求1的所述用于超级计算机的多层级资源柔性配置方法，其中，在步骤S200中，根据该作业的算法复杂度和本次运行的数据量，或者根据该作业的历史运行结果和本次运行的数据量，计算需要为该作业的本次运行分配的节点的个数P⁰，以及计算在执行N个任务{T₁,T₂,...,T_N}的过程中到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间

3.根据权利要求2的所述用于超级计算机的多层级资源柔性配置方法，其中，所述历史运行结果包括该作业在不同数据量{D₁,D₂,...,D_L}和不同节点数{P₁,P₂,...,P_K}的条件下的运行时间以及运行到达M个断点{B₁,B₂,...,B_M}的对应的时间其中和分别表示该作业在数据量D_a和节点数P_b的条件下的运行时间和运行到达断点B_i的时间；相应地，根据该作业本次运行的数据量D_c和期望运行时间t_c在所述历史运行结果中查找，选取对应的节点数P_b作为该作业本次运行需要分配的节点个数P⁰，选取作为运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间其中，D_a与D_c最接近且大于等于D_c，同时与t_c最接近且小于等于t_c。

4.根据权利要求3的所述用于超级计算机的多层级资源柔性配置方法，其中，当根据该作业本次运行的数据量和期望运行时间在所述历史运行结果中不能查找该作业本次运行需要分配的节点个数P⁰以及运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间时，采用插值法求取该作业本次运行需要分配的节点个数P⁰以及运行到达M个断点{B₁,B₂,...,B_M}的对应的初始预期时间

5.根据权利要求1-4中任一项的所述用于超级计算机的多层级资源柔性配置方法，其中，在步骤S300中，当Δt₁＞0时，P¹＝(1+w)×P⁰，第一修正预期时间中的其中i+1≤m≤M，

6.根据权利要求1-4中任一项的所述用于超级计算机的多层级资源柔性配置方法，其中，在步骤S300中，当Δt₁≤0时，P¹＝(1-w)×P⁰，第一修正预期时间中的其中i+1≤m≤M，