CN1987794B - 改进计算机系统中的块分配时间的方法和装置 - Google Patents

改进计算机系统中的块分配时间的方法和装置 Download PDF

Info

Publication number
CN1987794B
CN1987794B CN2006101393130A CN200610139313A CN1987794B CN 1987794 B CN1987794 B CN 1987794B CN 2006101393130 A CN2006101393130 A CN 2006101393130A CN 200610139313 A CN200610139313 A CN 200610139313A CN 1987794 B CN1987794 B CN 1987794B
Authority
CN
China
Prior art keywords
prestrain
computer system
piece
hardware
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006101393130A
Other languages
English (en)
Other versions
CN1987794A (zh
Inventor
J·S·布赖恩特
D·P·科尔兹
D·J·帕特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1987794A publication Critical patent/CN1987794A/zh
Application granted granted Critical
Publication of CN1987794B publication Critical patent/CN1987794B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供了一种改进并行计算机系统中的块分配时间的方法和装置。预计到来自用户应用的需求,预加载控制器预加载超级计算机群集中的硬件的块。在优选实施例中,根据预置参数和所述计算机系统的先前使用,所述预加载控制器确定何时预加载计算节点以及确定分配节点的块大小。进而,在优选实施例中,所述并行计算机系统中的计算节点的每个块都具有存储的硬件状态以指示该块是否正在被预加载或已被预加载。在优选实施例中,将所述硬件状态存储在连接到计算机的控制系统的数据库中。在其他实施例中,所述计算节点是分布式计算机系统中的远程计算机。

Description

改进计算机系统中的块分配时间的方法和装置
技术领域
本发明主要涉及计算机系统和开发,并且更具体地说,涉及在超级计算机或分布式计算机系统中通过系统映像和数据文件预加载来改进块分配时间。
背景技术
超级计算机持续被开发以处理复杂的计算作业。对于高性能计算(HPC)应用(包括生命科学、金融建模、流体动力学、量子化学、分子动力学、天文学和空间研究以及气候建模)来说,这些计算机对科学家尤其有用。针对日益复杂的计算需求,超级计算机开发者已将精力集中于大规模并行计算机结构来解决此需求。国际商业机器公司(IBM)正在以BlueGene的名称开发这种大规模并行计算机族。Blue Gene/L系统是一种可伸缩的系统,其中当前计算节点的最大数目为65,536。Blue Gene/P系统是一种可伸缩的系统,其中计算节点的最大设计数目为73,728。Blue Gene/P节点包括具有4个CPU以及存储器的单个ASIC(专用集成电路)。完整的计算机将被容纳在72个机架或机柜(其中每个都具有32个节点板)中。
在Blue Gene超级计算机以及其他超级计算机中,将计算节点布置在通过服务网络与服务节点中的控制系统通信的计算和I/O节点的群集中。将一个或多个计算机硬件的群集分配到块中以运行软件应用。所述计算和I/O节点具有用于其操作系统的易失性存储器,每次为要运行的软件应用分配了硬件块时,都必须通过所述服务网络来加载所述操作系统。因为系统时间被用于将操作系统映像加载到硬件、使I/O节点和计算节点内核完成其引导以及此后所有硬件向控制系统报告,所以这种块分配的现有技术方法导致每个作业花费更长的时间运行。只有在完成此过程后,控制系统才可以开始将应用或作业加载到块以便执行的过程。在Blue Gene之类的大规模并行超级计算机系统上,由于总体系统的高成本,系统的利用率很重要。因此,能够通过降低块分配时间来减少总体系统停机时间是有利的。
分布式计算机系统具有与大规模并行计算机系统类似的总体体系结构。但是,分布式计算机具有若干可能不是同类的并且可能位于远程的计算节点,而不是一组在单个位置中互连的可能相同的计算节点。分布式计算机系统可以具有与上面描述的问题类似的问题,这是因为直到计算实体具有用于完成指定任务所必需的系统和数据文件后,才能将工作分配给分布式计算节点或节点块。
在没有减少块分配时间的方法的情况下,超级计算机和分布式计算机在继续进行加载应用的过程之前,将继续需要等待将操作系统映像和数据文件加载到所有硬件块中,由此浪费了潜在的计算机处理时间。
发明内容
根据优选实施例,提供了一种改进计算机系统中块分配时间的方法和装置。在优选实施例中,所述并行计算机系统中的计算节点的每个块都具有存储的硬件状态以指示该块是否正在被预加载或已被预加载。在优选实施例中,将所述硬件状态存储在计算机控制系统内的数据库中。此外,优选实施例包括预加载控制器,所述预加载控制器根据预置参数和所述计算机系统的先前使用来确定何时预加载所述计算节点以及确定块大小以分配所述节点。
根据Blue Gene体系结构描述了并行计算机实施例,但是所述实施例可以在任何在网络结构中布置了多个处理器的并行计算机系统上实现。优选实施例对大规模并行计算机系统尤为有利。使用分布式计算机系统体系结构描述了其他实施例。
如附图中示出的,从以下对本发明的优选实施例的更具体的描述,本发明的上述以及其他特征和优点将是显而易见的。
附图说明
下面将结合附图描述本发明的优选实施例,其中相同的标记表示相同的部件,这些附图是:
图1是根据优选实施例的大规模并行计算机系统的框图;
图2是根据优选实施例的大规模并行计算机系统的另一个系统框图;
图3是根据优选实施例的大规模并行计算机系统中的硬件状态寄存器的框图;
图4是根据优选实施例的大规模并行计算机系统中与预加载控制器关联的侵占设置(aggressiveness settings)的框图;
图5是根据优选实施例的分布式计算机系统的系统框图;
图6是根据优选实施例的用于改进块分配时间的方法流程图;以及
图7是根据优选实施例的用于改进块分配时间的另一个方法流程图。
具体实施方式
本发明涉及一种用于改进并行或分布式计算机系统中的块分配时间的方法和装置。预计到来自用户应用的需求,预加载控制器预加载计算机群集中的硬件块。在优选实施例中,根据预置参数和计算机系统的先前使用,所述预加载控制器确定何时预加载计算节点以及确定块大小以分配节点。此外,在优选实施例中,所述并行计算机系统中的计算节点的每个块都具有存储的硬件状态以指示该块是否正在被预加载或已被预加载。在优选实施例中,将所述硬件状态存储在连接到计算机控制系统的数据库中。将根据由国际商业机器公司(IBM)开发的Blue Gene/P大规模并行计算机系统来描述所述优选实施例。文中所用的术语“大规模并行”意味着不只是并行计算机系统中的少量处理器。
图1示出了代表诸如Blue Gene/P计算机系统的大规模并行计算机系统100的框图。Blue Gene/P系统是一种可伸缩的系统,其中计算节点的最大数目为73728。每个节点110都包括具有4个CPU以及在节点子卡114上的存储器的单个专用集成电路(ASIC)112。每个节点110通常具有512兆字节的本地存储器。节点板120容纳有32个节点子卡114,每个节点子卡114都具有节点110。因而,每个节点板具有32个节点,具有用于每个节点的4个处理器以及用于每个处理器的关联存储器。机架130是包含32个节点板120的外壳。完整的Blue Gene/P计算机系统将被容纳在72个机架130或机柜中,每个机架或机柜中具有32个节点板120。完整的系统于是有294,912个CPU(72个机架×32个节点板×32个节点×4个CPU)。如文中所使用的,术语计算节点指具有一个或多个CPU的计算资源,并且它不限于所描述的实施例的体系结构。
再次参考图1,计算机系统100包括处理使用软件加载节点以及控制整个系统的运行的服务节点140。服务节点140通常是包括控制台(未示出)的小型计算机系统。使用控制系统网络150将服务节点140连接到计算节点的机架130。服务节点140包括在下面进一步描述的根据优选实施例的预加载控制器142。控制系统网络150包括各种为大规模并行计算机系统提供必要的通信的网络。将在以下进一步描述网络接口。
Blue Gene/P超级计算机通过若干通信网络来通信。位于某些节点板120上的I/O处理器处理在这些网络上的从服务节点140到多个节点的通信。73,728个计算节点和1024个I/O处理器被布置成逻辑树状网络和逻辑三维环面网络。所述环面网络以网格状结构逻辑地连接计算节点,该结构允许每个计算节点110与其最接近的6个邻节点通信。此外,Blue Gene/P计算机系统结构可以被描述为具有I/O节点表面的计算节点核心,其中由具有连接到服务节点140的I/O处理器170的每个I/O节点来处理到1024个计算节点110的通信。所述I/O节点没有本地存储。所述I/O节点通过树状网络连接到计算节点,并且通过千兆位以太网还具有实用的广域网能力。
图2示出了代表查看Blue Gene/P计算机系统的系统体系结构的另一种方式以说明优选实施例的更多细节的另一个框图。图2包括作为与计算机系统100的控制系统212相连的计算核心210的计算机系统100的所有计算节点110的表示。如以上参考图1简要说明的,计算核心210在控制系统网络150上与控制系统212的服务节点140通信。通过经由JTAG网络219连接到各I/O节点216和计算节点110的硬件控制器270,计算核心210被连接到控制系统网络150。硬件控制器270位于机架130(图1)中,并且为控制系统212提供接口以配置计算节点110并将数据加载到计算节点的存储器中。在Blue Gene/L计算机系统中,硬件控制器270被称为AIDochip。
进而,如图2所示,计算核心210还通过功能网络240与文件服务器220和前端节点230通信。文件服务器220存储用于用户应用和系统映像的数据。前端节点230保存用于用户与计算机网络100交互的编译器和程序。控制系统212包括称为ADB2”250的连接到前端节点230和服务节点140的数据库。DB2保存由服务节点140内的中间背板管理和控制系统(MMCS)144使用的块表和其他硬件信息。MMCS 144负责控制在计算核心210中分配硬件。在优选实施例中,MMCS 144包括如下面进一步描述的使用系统和数据文件预加载计算节点的预加载控制器142。在优选实施例中,预加载控制器142包括同样在下面描述的侵占设置146。在文中的优选实施例中,DB2250保存如下面进一步描述的计算节点110的块的硬件状态252。控制系统212也被连接到功能网络240。在优选实施例中,此连接允许控制系统检测硬件块在如下所述被加载了系统映像和数据文件后何时完成引导过程。控制系统212还包括由系统管理员使用的控制台260。
再次参考图2,计算核心210示出了容纳在机架130(图1)中的计算节点110。计算节点被分组成通过表示示出的1024个处理器组(Pset),其中明确示出了Pset0213a和Pset1023213b,并且隐含其余的Pset(Pset1到Pset1022)。Pset是一组64个节点,它们被一起分组到集合中以便与I/O节点216通信。I/O节点216在功能网络和其他网络上提供了到处理器组中的计算节点110的通信。在Blue Gene/P系统中,I/O节点216与8和128之间的计算节点110(由节点0和节点63表示)通信。如所示出的和以上简要描述的,节点110通过树状网络214连接。
再次参考图2,每个计算节点110包括存储在计算节点110的本地存储器中的系统映像和数据文件218。系统映像文件包括诸如操作系统内核之类的系统文件。具有操作系统内核的系统映像文件218被存储在计算节点的易失性存储器中,并且在可以使用计算节点之前,系统映像文件218必须被加载所需的软件并被分配到块中。在优选实施例中,如下面进一步描述的,预加载所述操作系统内核以改进超级计算机中的块分配时间。
在Blue Gene/P超级计算机中,每个机架被分为两个具有服务卡的中间背板,所述服务卡提供从服务节点140到各中间背板的通信。所述中间背板各自具有机架32个节点板120中的一半。在Blue Gene/P计算机系统中,中间背板是计算节点和I/O节点群集的基本粒度大小。当硬件(一个或多个中间背板)的群集被一起使用以运行软件应用时,它就被称为块。因而,硬件的一个或多个中间背板可以被分配给块。
当用户建立在计算机系统上运行的应用时,做出对服务节点140的请求以将计算机硬件的群集分配成块以运行软件应用。由于计算和I/O节点具有用于其操作系统的易失性存储器,所以在能够运行应用之前,所述节点必须被加载合适的软件以及分配的硬件。在现有技术的方法中,在应用的请求之后完成块分配。相比之下,在优选实施例中,由位于服务节点140中的预加载控制器在应用的请求之前使用系统软件来预加载块。进而,在优选实施例中,将新的硬件状态指派给计算节点110和I/O节点216的块。硬件状态252被存储在DB2250中。现有技术的硬件包括状态:用于空闲的或可用的“F”或用于丢失的“M”以及用于已初始化的“I”。
图3示出了根据优选实施例的硬件状态。存储在DB2表中的硬件状态252包括现有技术状态F 310、M 312和I 318,还包括状态加载(状态L 314)和预加载(状态P 316)。将新的状态L和P指派给任何处于加载过程中或已被成功地预加载的硬件。通过在计算节点110中预加载系统软件,控制系统使用这些新的状态来更有效地运行作业。在现有技术中,当硬件已经被加载并且被分配给用户后,其被更改为“I”状态318以等待用户请求。相比之下,在优选实施例中,预加载硬件并将其设置为“P”状态316,然后当将块分配给用户时,硬件状态被更改为“I”状态318。
在优选实施例中,计算机100的预加载控制器监视预加载计算机资源或硬件的时机。预加载控制器周期性地搜索系统以查找计算机资源或硬件,例如当前可用并且当前没有与块关联的计算节点。当找到空闲资源时,预加载控制器检查施加到计算机系统上的当前工作负荷,并且检查运行作业的请求的最近的级别。这些变量用于为控制系统确定预加载任何空闲资源或硬件的最佳时间,以便能够在下一用户请求其他块之前加载所述资源或硬件,但又不太会减缓正在运行的其他作业的进度。当预加载了计算机资源或硬件时,在DB2250中更改硬件状态252并将其置于硬件池中。所述硬件池可以被看作具有预加载的硬件状态252的资源或硬件的集合。文中所使用的计算机资源指物理硬件或虚拟硬件。
在优选实施例中,用户可以调整预加载控制器用于预加载硬件的侵占级别。图4示出了若干与预加载控制器142关联的侵占设置146的实例。这些设置由系统管理员通过服务节点140(图1)来建立。频率侵占设置410设置了调用预加载控制器以查找可用硬件之间的频率或时间。最小/最大块大小侵占设置412设置了预加载控制器分配和加载到预加载硬件池中的最小和最大块大小。如下所述,最小/最大块大小侵占设置412将取代由预加载控制器确定的历史块大小。分配的块的最大数目414设置了在预加载控制器停止尝试分配块之前分配给硬件池的块的最大数目。在周期中最多分配的块416设置了单次调用预加载控制器时分配的块的最大数目,以便控制预加载控制器施加于系统的负荷量。池中块的最小数目418设置了预加载块的池中期望的块的最小(目标)数目。如果所述池低于设置值,会导致预加载控制器更频繁地搜索空闲硬件。
在优选实施例中,预加载控制器根据先前的需求确定可能被重复请求的硬件块,以便自动地调整硬件的预加载配置和可选性。例如,如果用户在过去频繁地请求128节点的块,则一组512个空闲计算节点将被预加载为4个128节点的块,尽管在该大小的块被更频繁地请求的系统上它会被加载为一个512节点的块。相应地标记处于加载过程中的硬件,并且在加载过程完成后,将所述硬件标记为成功地预加载。对于成功地预加载的硬件,将控制连接暂时指派给控制系统以防止其他用户接管所述硬件。
图5示出了根据文中优选实施例的分布式计算机系统500的系统框图。在一个特定的分布式计算环境中,将一组位于远程的计算机组合在一起,以便以与以上在Blue Gene计算机实例中描述的方式类似的方式共同工作。在分布式计算机系统中,各计算节点的距离更加遥远并且可能不具有相同的性质(因为分布式计算机可以为不同的类型)。但是,体系结构与所描述的Blue Gene实例相当类似。在分布式计算机系统中,存在多个计算机,所述计算机包括由控制系统控制并且由网络互连的计算节点。所述分布式计算机系统同样地可以得益于具有包括预加载控制器的控制系统,所述预加载控制器在资源请求之前使用系统映像和/或数据文件预加载可用的硬件。在所述分布式计算机系统中,系统映像文件和数据文件可以不同,以说明在分布式计算机系统中不同的计算机平台中的差异。
再次参考图5,示出了根据文中的优选实施例的分布式控制系统500。分布式计算机系统500包括通过网络530连接到多个计算节点520a、520b的控制系统510。计算节点520a、520b代表多个可以在分布式计算机500中互连的各种类型的计算机。计算节点520a、520b各自具有CPU 521a、521b,本地存储器522a、522b以及存储装置523a、523b。网络530可以是用于分布式计算机系统的任何类型的网络。控制系统510可以集中位于分布式计算机系统500的单个计算机中,或者所述控制系统也可以分布于多个计算机(未示出)上。控制系统510具有多个请求访问计算机资源的客户机511。客户机511包括可以位于本地的或分布式的软件应用(未示出)。
再次参考图5,控制系统510包括控制到计算节点的工作流以便为来自客户机511的请求服务的分布式系统控制器512。根据优选实施例的分布式系统控制器的运行类似于现有技术的分布式系统控制器,但是包括如以上参考并行计算机系统描述的那样运行的预加载控制器513。预加载控制器513包括如以上参考图4描述的侵占设置514。控制系统510包括用于存储计算节点520a、520b的状态516的存储装置515。与块不太可能包括单个节点的并行计算机系统相比,在分布式计算机实施例中,预加载控制器可以将单个节点分配到块中,以便为块存储的状态516可以包括单个节点。在多数方面,涉及分布式计算机系统的实施例以与以上参考并行计算机系统实施例描述的方式相同的方式运行。
图6示出了根据文中的实施例的用于改进大规模并行计算机系统中的块分配时间的方法600。在优选实施例中,由MMCS 144控制系统软件在周期性的基础上启动方法600的步骤序列以便执行如所描述的任务。预加载控制器监视诸如块大小之类的系统使用率并存储此历史数据(步骤610)。预计到用户对硬件的请求,预加载控制器还周期性地搜索可用于预加载的空闲硬件(步骤620)。检查找到的空闲硬件以判定其是否具有与用户硬件请求的历史需求和/或侵占设置(图4中的146)相一致的可以被分配的足够大小(步骤630)。如果空闲硬件与对硬件的历史需求或侵占设置不一致(步骤630=否),则所述方法结束直到下一周期的循环。如果空闲硬件与对硬件的历史需求和/或侵占设置一致(步骤630=是),则预加载所述空闲硬件(步骤640),并且将预加载的硬件置于预加载硬件池中以满足将来用户对硬件的请求(步骤650)。
图7示出了根据文中的实施例的用于改进大规模并行计算机系统中的块分配时间的另一方法700。在优选实施例中,启动方法700的步骤序列以响应来自用户应用的对硬件块的请求。响应于此请求,启动预加载控制器以检查预加载硬件池(步骤710)。如果存在合适的预加载硬件的块(步骤720=是),则预加载控制器将可用的预加载硬件块指派给发出请求的用户应用(步骤730),然后所述方法结束。如果不存在合适的预加载硬件的块(步骤720=否),则预加载控制器搜索合适的硬件的块(步骤740)。如果不存在合适的可用于用户应用的请求的硬件(步骤750=否),则将无硬件可用的错误返回用户应用(步骤760)并且所述方法结束。如果存在合适的可用于用户应用的请求的硬件(步骤750=是),则使用系统映像加载合适块大小的硬件并且将块指派给发出请求的用户应用(步骤770)。所述方法然后结束。
如上所述,诸实施例提供了一种用于改进大规模并行超级计算机系统中的块分配时间的方法和装置。通过提供具有预加载硬件的动态能力的预加载控制器,文中的实施例可以显著地减少停机时间量以便提高计算机系统的效率。在计算和I/O节点的块变得可用并且控制系统资源允许时分配所述计算和I/O节点的块。当接收到来自用户应用的请求时,硬件于是可以被动态地关联为满足用户的硬件需求的块。从用户的角度来看,当请求运行作业时所察觉的仅有延迟是将预加载硬件收集成块、将该块与用户关联以及提交所请求的作业所需的时间。与需要在请求硬件后加载并引导操作系统映像的现有技术系统相比,此简单的过程将花费少得多的时间。
本领域的技术人员将理解,在本发明的范围内许多变型都是可能的。因此,虽然参考本发明的优选实施例具体示出和描述了本发明,但是本领域的技术人员将理解,可以在不偏离本发明的精神和范围的情况下做出这些以及其他形式和细节上的更改。

Claims (24)

1.一种计算机系统,所述计算机系统包括:
多个计算节点,所述计算节点被分配到计算资源块中,其中所述多个计算节点中的每个计算节点都包括用于保存系统映像文件的易失性存储器;
控制系统,所述控制系统通过网络连接到所述计算节点并管理将相应的系统映像文件加载到所述多个计算节点中;
预加载控制器,所述预加载控制器在对所述计算资源块的请求之前将所述相应的系统映像文件加载到所述多个计算节点中的每个计算节点中;
为每个计算资源块存储的硬件状态,以便指示相应的计算资源块是当前正在被预加载还是已被预加载。
2.根据权利要求1所述的计算机系统,其中在对所述计算资源块的请求之前,所述预加载控制器还将数据文件加载到所述多个计算节点中。
3.根据权利要求1所述的计算机系统,其中所述硬件状态包括从以下项中选择的状态:正在加载和已预加载。
4.根据权利要求1所述的计算机系统,其中所述预加载控制器根据来自在所述计算机系统上运行的应用的硬件请求的先前历史来分配可用的硬件块和预加载所述系统映像文件。
5.根据权利要求1所述的计算机系统,其中所述预加载控制器根据在所述计算机系统上运行的用户应用的硬件使用的先前历史来分配可用的硬件块和预加载系统映像。
6.根据权利要求1所述的计算机系统,其中所述预加载控制器根据所述计算机系统的系统管理员设置的侵占设置来分配可用的硬件块和预加载系统映像文件。
7.一种大规模并行计算机系统,所述并行计算机系统包括:
多个计算节点,所述计算节点被分配到计算资源块中以供用户应用使用,其中所述多个计算节点包括用于保存系统映像文件的易失性存储器;
服务节点,所述服务节点通过控制系统网络连接到所述计算节点并管理将所述系统映像文件加载到所述计算节点中;
为每个计算资源块存储的硬件状态,以便指示相应的计算资源块是当前正在被预加载还是已被预加载;以及
预加载控制器,所述预加载控制器在所述用户应用对所述计算资源块的请求之前将所述系统映像文件加载到所述计算节点中。
8.根据权利要求7所述的并行计算机系统,其中在对所述计算资源块的请求之前,所述预加载控制器还将数据文件加载到所述多个计算节点中。
9.根据权利要求7所述的并行计算机系统,其中所述硬件状态包括从以下项中选择的状态:正在加载和已预加载。
10.根据权利要求7所述的并行计算机系统,其中所述预加载控制器根据在所述计算机系统上运行的应用的硬件使用的先前历史来分配可用的硬件块和预加载系统映像文件。
11.根据权利要求7所述的并行计算机系统,其中所述预加载控制器根据所述计算机系统的系统管理员设置的侵占设置来分配可用的硬件块和预加载系统映像文件。
12.根据权利要求11所述的并行计算机系统,其中从以下项中选择所述侵占设置:搜索可用硬件的频率、最小和最大的块大小、分配的块的最大数目、在周期中分配的块的最大数目,以及池中块的最小期望数目。
13.一种分布式计算机系统,所述分布式计算机系统包括:
多个计算节点,所述计算节点被分配到计算资源块中,其中所述多个计算节点包括用于保存系统和数据文件的存储器;
控制系统,所述控制系统通过网络连接到所述计算节点并管理将所述系统和数据文件加载到所述计算节点中;
预加载控制器,所述预加载控制器在对所述计算资源块的请求之前将所述系统和数据文件加载到所述计算节点中;以及
为每个计算资源块存储的硬件状态,以便指示相应的计算资源块是当前正在被预加载还是已被预加载。
14.根据权利要求13所述的分布式计算机系统,其中在对所述计算资源块的请求之前,所述预加载控制器还将数据文件加载到所述多个计算节点中。
15.根据权利要求13所述的分布式计算机系统,其中所述硬件状态包括从以下项中选择的状态:正在加载和已预加载。
16.根据权利要求13所述的分布式计算机系统,其中所述预加载控制器根据来自在所述计算机系统上运行的应用的硬件请求的先前历史来分配可用的硬件块和预加载所述系统和数据文件。
17.根据权利要求13所述的分布式计算机系统,其中所述预加载控制器根据在所述计算机系统上运行的用户应用的硬件使用的先前历史来分配可用的硬件块和预加载所述系统和数据文件。
18.一种用于在计算机系统中分配资源块的计算机实现的方法,所述方法包括以下步骤:
搜索所述计算机系统的空闲资源,所述空闲资源是当前可用并且当前没有与块关联的计算节点;
在对所述空闲资源的请求之前,使用系统映像和数据文件预加载所述空闲资源;以及
将所述预加载的资源置于预加载资源池中。
19.根据权利要求18所述的计算机实现的方法,还包括以下步骤:
监视系统资源的使用;以及
记录硬件的使用以产生历史资源需求的模式。
20.根据权利要求19所述的计算机实现的方法,其中根据所述历史资源需求的模式来完成所述预加载所述空闲资源的步骤。
21.根据权利要求18所述的计算机实现的方法,还包括将所述预加载的资源置于所述预加载资源池内的块中的步骤。
22.根据权利要求21所述的计算机实现的方法,还包括将来自所述预加载资源池的预加载资源的块指派给发出请求的用户应用。
23.根据权利要求19所述的计算机实现的方法,其中根据系统管理员设置的侵占设置来完成所述预加载所述空闲资源的步骤。
24.根据权利要求23所述的计算机实现的方法,其中从以下项中选择所述侵占设置:搜索可用硬件的频率、最小和最大的块大小、分配的块的最大数目、在周期中分配的块的最大数目,以及池中块的最小期望数目。
CN2006101393130A 2005-12-22 2006-09-22 改进计算机系统中的块分配时间的方法和装置 Expired - Fee Related CN1987794B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/316,247 US7516108B2 (en) 2005-12-22 2005-12-22 Block allocation times in a computer system
US11/316,247 2005-12-22

Publications (2)

Publication Number Publication Date
CN1987794A CN1987794A (zh) 2007-06-27
CN1987794B true CN1987794B (zh) 2010-09-08

Family

ID=38184599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101393130A Expired - Fee Related CN1987794B (zh) 2005-12-22 2006-09-22 改进计算机系统中的块分配时间的方法和装置

Country Status (2)

Country Link
US (4) US7516108B2 (zh)
CN (1) CN1987794B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516108B2 (en) * 2005-12-22 2009-04-07 International Business Machines Corporation Block allocation times in a computer system
US7844620B2 (en) * 2007-11-16 2010-11-30 International Business Machines Corporation Real time data replication for query execution in a massively parallel computer
CN101655828B (zh) * 2008-08-18 2011-09-07 中国人民解放军信息工程大学 基于任务数据流驱动的高效能超级计算系统的设计方法
JP5038260B2 (ja) * 2008-08-26 2012-10-03 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
US8166146B2 (en) * 2008-09-29 2012-04-24 International Business Machines Corporation Providing improved message handling performance in computer systems utilizing shared network devices
EP2465030B1 (en) 2009-08-11 2015-10-07 Hewlett-Packard Development Company, L.P. Enclosure airflow controller
CN102141975B (zh) * 2011-04-01 2013-10-09 华为技术有限公司 计算机系统
US8725875B2 (en) * 2011-06-21 2014-05-13 Intel Corporation Native cloud computing via network segmentation
CN103399800B (zh) * 2013-08-07 2016-04-13 山东大学 基于Linux并行计算平台的动态负载均衡方法
US9529416B2 (en) * 2015-02-25 2016-12-27 Sony Interactive Entertainment America Llc Rack space power utilization
EP3557419A1 (en) * 2018-04-20 2019-10-23 Total SA Supercomputer system, method of data transmission in such supercomputer system and associated computer program product
CN109669640B (zh) * 2018-12-24 2023-05-23 浙江大华技术股份有限公司 一种数据存储方法、装置、电子设备及介质
CN111381969B (zh) * 2020-03-16 2021-10-26 北京康吉森技术有限公司 一种分布式软件的管理方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607505A (zh) * 2003-09-30 2005-04-20 国际商业机器公司 用于监视计算机系统中的资源的方法和系统
CN1664803A (zh) * 2004-03-04 2005-09-07 国际商业机器公司 用于使能多节点计算机系统中操作系统资源的分配的机制

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596784B2 (en) * 2000-09-12 2009-09-29 Symantec Operating Corporation Method system and apparatus for providing pay-per-use distributed computing resources
US7505958B2 (en) * 2004-09-30 2009-03-17 International Business Machines Corporation Metadata management for a data abstraction model
US7533168B1 (en) * 2003-09-11 2009-05-12 Sun Microsystems, Inc. Autonomic grid computing mechanism
US20060129945A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Apparatus and method for pointer drag path operations
US20060136833A1 (en) * 2004-12-15 2006-06-22 International Business Machines Corporation Apparatus and method for chaining objects in a pointer drag path
US7590623B2 (en) * 2005-01-06 2009-09-15 International Business Machines Corporation Automated management of software images for efficient resource node building within a grid environment
US7533198B2 (en) * 2005-10-07 2009-05-12 International Business Machines Corporation Memory controller and method for handling DMA operations during a page copy
US7516108B2 (en) * 2005-12-22 2009-04-07 International Business Machines Corporation Block allocation times in a computer system
US7428629B2 (en) * 2006-08-08 2008-09-23 International Business Machines Corporation Memory request / grant daemons in virtual nodes for moving subdivided local memory space from VN to VN in nodes of a massively parallel computer system
US8316013B2 (en) * 2006-08-09 2012-11-20 International Business Machines Corporation Programmatic retrieval of tabular data within a cell of a query result
US8140479B2 (en) * 2006-12-21 2012-03-20 International Business Machines Corporation Logical classification of objects on a computer system
US7706275B2 (en) * 2007-02-07 2010-04-27 International Business Machines Corporation Method and apparatus for routing data in an inter-nodal communications lattice of a massively parallel computer system by employing bandwidth shells at areas of overutilization
US8230432B2 (en) * 2007-05-24 2012-07-24 International Business Machines Corporation Defragmenting blocks in a clustered or distributed computing system
US8204906B2 (en) * 2007-07-13 2012-06-19 International Business Machines Corporation Abstraction based audit and security log model for increased role and security enforcement
US8286243B2 (en) * 2007-10-23 2012-10-09 International Business Machines Corporation Blocking intrusion attacks at an offending host
US8296820B2 (en) * 2008-01-18 2012-10-23 International Business Machines Corporation Applying security policies to multiple systems and controlling policy propagation
US7991740B2 (en) * 2008-03-04 2011-08-02 Apple Inc. Synchronization server process

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607505A (zh) * 2003-09-30 2005-04-20 国际商业机器公司 用于监视计算机系统中的资源的方法和系统
CN1664803A (zh) * 2004-03-04 2005-09-07 国际商业机器公司 用于使能多节点计算机系统中操作系统资源的分配的机制

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Allsopp et al.,Nicholas.Unfolding the IBM eServer Blue Gene Solution 1.International Technical Support Organization,2005,P14-17,P36,P79,图2-1,2-2. *
Barnard et al.,Edward.Blue Gene/L:System Administration 2.International Technical Support Organization,2005,P24,P29,P48-49,表3-1. *
Kannan et al.,Subramanlan.Workload Management with Loadleveler 1.International Technical Support Organization,2001,P4,P61-62,P104-105,P140. *

Also Published As

Publication number Publication date
US8473427B2 (en) 2013-06-25
US20080313432A1 (en) 2008-12-18
US7516108B2 (en) 2009-04-07
CN1987794A (zh) 2007-06-27
US7853543B2 (en) 2010-12-14
US20080301274A1 (en) 2008-12-04
US20070150425A1 (en) 2007-06-28
US20080301693A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
CN1987794B (zh) 改进计算机系统中的块分配时间的方法和装置
Hernández et al. Using machine learning to optimize parallelism in big data applications
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
US20080059555A1 (en) Parallel application load balancing and distributed work management
US5892945A (en) Method and apparatus for distributing work granules among processes based on the location of data accessed in the work granules
US7590984B2 (en) System and method for balancing a computing load among computing resources in a distributed computing problem
US8341623B2 (en) Integrated placement planning for heterogenous storage area network data centers
CN104050042B (zh) Etl作业的资源分配方法及装置
CN103399796A (zh) 利用存储负载信息来平衡集群虚拟机
JP2004288183A (ja) コンピューティングリソースを自動的に割り振る方法
CN102063336A (zh) 一种分布式计算多应用功能异步并发调度方法
CN109684074A (zh) 物理机资源分配方法及终端设备
CN104008013A (zh) 一种核资源分配方法、装置及众核系统
CN102880510A (zh) 基于多数据架构中心面向数据密集型应用的并行编程方法
CN102929725A (zh) 信号处理并行计算软件的动态重配置方法
CN111639054A (zh) 一种海洋模式与资料同化的数据耦合方法、系统及介质
US7454749B2 (en) Scalable parallel processing on shared memory computers
Nagrecha Systems for parallel and distributed large-model deep learning training
CN102098223A (zh) 节点设备调度方法、装置和系统
CN115964176B (zh) 云计算集群调度方法、电子设备和存储介质
US20200117596A1 (en) A Memory Allocation Manager and Method Performed Thereby for Managing Memory Allocation
Hamdi et al. Dynamic load-balancing of image processing applications on clusters of workstations
CN116795524A (zh) 任务处理方法、装置、计算机设备、存储介质及程序产品
Schall et al. Energy and Performance-Can a Wimpy-Node Cluster Challenge a Brawny Server?
Awasare et al. Survey and comparative study on resource allocation strategies in cloud computing environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20110922