CN100351829C - 网格化动态自组织计算机体系结构的构造方法 - Google Patents

Abstract

本发明涉及网格计算技术领域，尤其涉及一种网格化动态自组织计算机体系结构的构造方法，该方法包括：A.在高速网络上建立网格化功能部件服务器；B.通过智能管理软件动态收集和管理网格化部件；C.根据应用需求动态改变计算机系统的组织方式，实现网格化动态自组织计算机体系结构的构造。本发明可以用来构造可扩展的网格化高性能计算机系统，还可以根据应用的计算模式和运行模式的需要，自动利用高速网络中独立的、网格化的功能部件服务动态组织成一个计算机系统，并有效运行应用程序，从而实现体系结构按需定制的新型计算模式。

Description

网格化动态自组织计算机体系结构的构造方法

技术领域

本发明涉及网格计算技术领域，特别是一种网格化动态自组织计算机体系结构的构造方法。

背景技术

网格(grid)计算是近年来计算机体系结构发展的一个重要方向。但目前的网格计算的研究还主要处于初级阶段，即通过互联网进行资源共享和协同工作来消除原有的资源孤岛。构成网格系统的基本单元还是一个个独立的计算机系统，每个计算机系统本身构成一个完备的系统，具有完整的操作系统和应用软件。而网格计算系统则通过构建在本地计算机系统之上的一层应用层服务软件来协同工作，属于一种粗粒度的共享。

另一方面，近年来光互联等网络连接技术的飞速发展，设备之间的光纤互连技术已经开始应用，而基于光波导的短距离连接技术，自由空间光互连技术，全光的交换系统等也迅速发展。预计未来2~5年计算机板级的光互联会走向成熟，而5~10年内芯片级的光互联也有可能成为现实。因此，光连接进入超级计算机系统内部是一个必然的趋势。

光互联的特点是支持数据长距离传输和高传输带宽，这就为更大空间尺度上计算部件之间的高速数据交换提供了可能。采用光互连网络连接的带宽理论上已经可以和计算机系统内部的互联带宽相比拟，大大降低了本地资源和远程资源之间的区别。这必将带动网格技术走向更细粒度的共享模式，从而向一个全新的阶段迈进。

在这个新的发展阶段中，构成网格计算机系统的单元将不再是一个个完整的计算机系统，而是独立的、网格化的功能部件，如网络CPU，网络RAM，网络磁盘等等。网格将不仅仅是“计算机通过网络连接起来”，而是成为真正意义上的“网络连接起来的计算机”。

发明内容

有鉴于此，本发明的一个目的是通过高速网络上远程的功能部件即网格化的功能部件来构建网格计算机系统。每种功能部件都形成一种独立的具有自我描述功能的网络服务，而计算机系统则由网络上不同的部件服务通过高速网络互连构成一个综合的整体系统。附图1给出一个示例。

有鉴于目前可用的独立功能部件服务只有网络磁盘存储设备，本发明的另一个目的是提出独立的中央处理单元(CPU)服务和动态随机存储器(DRAM)服务。采用CPU和DRAM等功能部件分离模式后，将便于各部件的高密度工业设计，以及方便共享、分区和容错性设计。

由于网格功能部件分布在网络的不同地方，将不再存在一个传统意义上一个固定的、物理的计算机系统。有鉴于传统的高性能计算机系统的资源通常在设计制造后就固定不变，本发明的一个目的是构成一个计算机系统的功能部件可以通过网络动态的申请和释放，根据应用的需求和可用的资源进行动态的调配。局部的部件故障不影响到整体应用的正常运行。需要时系统的整体结构也可以动态地进行改变。这种资源的动态配置改变不限于已有的系统内部，而是包括分布在网络上的任意功能单元服务。

在传统的计算机系统中的资源分布是固定的，计算机系统的设计以预定的资源为基础，由固定的控制逻辑、固件和系统软件来协调共同构成计算机系统。有鉴于这种资源预设的系统缺乏足够的灵活性，本发明的一个目的在于提出一种自组织的计算机系统构建模式，其特点是利用网格化的功能单元具有自我描述的功能，自动在网络上搜索满足需求的功能单元服务，自动进行资源分配和协商，收集足够的计算资源并自动建立功能部件间的关联，以组织成一个完整的计算机系统。

传统的应用程序通常是针对固定的计算机体系结构的变化而进行优化设计的。而各种科学计算问题的模型和算法的变化是相对缓慢的，但是计算机体系结构的变化却相对较快。有鉴于这种传统的“应用适应体系结构”的局面，本发明的一个目的在于采用网格化的功能部件动态地构建适应于特定应用的计算机体系结构，可以根据应用模式的需要构建出类似对称多处理，机群，单指令流多数据流等各种结构和组合结构的系统。从而实现一种“Architecture On Demand”(体系结构按需定制)的计算模式。

本发明的目的是通过下述的技术方案来实现：

一种网格化的动态自组织的计算机体系结构，可以根据应用的计算模式和运行模式的需要，自动利用网络中网格化的功能部件服务动态组织成一个计算机系统，并有效运行应用程序。

此计算机系统中的不同功能部件不是在物理上集中的，而是分布在网络上，网络资源的共享服务不是以整机为单位，而是以部件为单位。

网格化的功能部件服务模式，中央处理单元和内存相分离，提供独立的中央处理单元服务和内存服务，使得内存可以方便地为所有中央处理单元共享或划分，消除传统中央处理单元和本地内存绑定的局限性。

构成计算机系统的功能单元数量和功能单元之间的连接结构可以动态变化，以适应应用程序运行时需求的变化。

计算机系统的构建过程是自组织的而不是预先设定的，在系统的构建过程中动态的查询、协商和调度网络上的可用资源并建立关联，自组织形成一个计算机系统。

计算机系统的结构可以根据应用的需求灵活地进行按需构造，实现对称多处理、大规模并行处理、机群、流水线、单指令流多数据流等各种体系结构及其组合。

动态自组织方式也同样可以应用于现有的因特网上的各种计算机节

点，利用现有节点的部分功能部件或者节点的部分服务功能组成的动态结构可变化的因特网级计算网格系统。

一种网格计算机系统，包括：

高速交换设备，分别连接于两个CPU机架、动态随机存储器机架和磁盘(DISK)机；用于光交换信息。

其中一个CPU机架采用的是共享一致缓存对称多处理器结构，另一个CPU机架则是基于二维Mesh互联网的MPP结构。

虽然本发明属于一种新型的计算机体系结构，但是其基本思想同样适应于当前因特网上已有的各类网格化的计算机资源。有鉴于现有因特网上各种计算机具有巨大的计算潜力，本发明的一个目的在于网格化的功能部件也可以是因特网上的现有的计算机节点的一部分功能部件如磁盘、内存或者是部分服务功能，如数据库、文件系统等等，充分利用现有的计算资源并支持现有的应用，从而可以构建大规模的动态可重组因特网级计算网格系统。

附图说明

图1是网格计算机系统；

图2是网格化功能部件服务器逻辑图。

图1中，”X”表示基于光交换技术的高速交换设备1。每个方框表示一个独立的机架(Rack)，其中一个CPU机架采用的是共享一致缓存对称多处理器结构3，另一个CPU机架则是基于二维Mesh互联网的MPP结构2，这些CPU通过光互联网访问DRAM(动态随机存储器)机架5里的大容量内存以及磁盘(DISK)机架4里面的海量磁盘存储服务。通过增加不同的功能部件的机架还可以动态扩展系统的规模和功能。

1)在高速网络上建立网格化功能部件服务器

网格化的功能部件服务器应具有高速网络接口、自描述和管理功能、可划分功能单元等基本特点，如附图2给出了网格化功能部件服务器逻辑图。

图2中，一个网格化功能部件服务器由四个部分组成：

□采用光互联等高速网络接口保证外部的系统可以直接、高速的访问服务器内部特定的功能部件。

□内嵌的服务描述和协商功能用于向外部客户机描述本服务器所具有的服务能力和可用资源状态，并按照一定协议分配空闲资源。

□内嵌的管理和调度功能保证功能部件服务器不依赖外部特定的系统就可以独立、有效的存在并提供服务。

□可划分的功能单元保证资源可以被外部不同的应用充分共享而彼此间互不干扰。

网格化功能部件服务可以是经过重新进行工业设计的新型高集成化服务器，也可以是现有计算机节点的部分功能模块直接对外输出的服务。

2)通过智能管理软件动态收集和管理网格化部件

在网格化部件服务建立起来以后，可以由智能软件动态搜索、申请、管理、释放网格化部件服务，从而满足应用运行的需要。网格化部件分布在网络不同地点，但都具有自描述功能。智能软件可以通过某些索引服务或者直接查找到可能满足需要的网格化部件服务器的位置，与相关的网格化部件服务器进行协商，在综合考虑性能、价格、时间等因素后，选择满足应用需求的最优的组合。这种网格化部件收集过程不只限制在应用初始启动前，而是贯穿在应用运行过程的始终。这里的智能软件可以是应用程序的一部分，或者其本身构成一种网络服务。

3)根据应用需求动态改变计算机系统的组织方式

根据应用的计算模式的不同和运算阶段的不同，将网格化功能部件按不同的方式组织起来。通过改变功能单元之间的逻辑关系、互连模式，可以使应用程序看到的计算机系统具有不同的组织方式和程序运行模式，从而以最优的方式执行。附表3给出了一些常见的并行计算机体系结构与组织方式的对应。还可以进一步建立这些基本的组织方式的各种组合模式。改变组织方式及资源的调整可以是应用程序的一部分也可以构成一种网络服务。

以上所述仅为本发明技术构思下的一些基本说明，而依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

传统体系结构	功能单元映射
		对称多处理(SMP)	{CPU}n+{Mem}m+{Disk}k
大规模并行处理(MPP)	{<CPU，Mem>}n+{Disk}m
		机群(cluster)	{<CPU，Mem，Disk>}n
流水线(pipeline)	<CPU>n+{Mem}m+{Disk}k
		单指令流多数据流(SIMD)	MCPU+<VCPU，Mem>n+{Disk}m

说明：{}对称关系，<>顺序/绑定关系，+高速互连

CPU中央处理单元，Mem内存(DRAM)

Disk磁盘，MCPU管理/控制节点，VCPU虚拟机

                       表3

Claims (6)

1、一种网格化动态自组织计算机体系结构的构造方法，其特征在于，该方法包括：

A、在高速网络上建立独立的网格化功能部件服务器；

B、通过智能管理软件动态收集和管理网格化部件；

C、根据应用需求动态改变计算机系统的组织方式，实现网格化动态自组织计算机体系结构的构造。

2、根据权利要求1所述的网格化动态自组织计算机体系结构的构造方法，其特征在于，步骤A中所述独立的网格化功能部件服务器包括以下四个部分：

采用高速网络接口保证外部系统可直接高速访问服务器内部的特定的功能部件；

内嵌的服务描述和协商功能部件，用于向外部客户机描述本服务器所具有的服务能力和可用资源状态，并按照一定协议分配空闲资源；

内嵌的管理和调度功能部件，用于保证功能部件服务器不依赖外部特定的系统就可以独立、有效的存在并提供服务；

可划分的功能单元，用于保证资源可以被外部不同的应用充分共享而彼此间互不干扰。

3、根据权利要求2所述的网格化动态自组织计算机体系结构的构造方法，其特征在于，所述高速网络接口为光互联接口。

4、根据权利要求1或2所述的网格化动态自组织计算机体系结构的构造方法，其特征在于，所述网格化功能部件服务器为经过重新进行工业设计的新型高集成化服务器，或者为现有计算机节点的部分功能模块直接对外输出的服务器。

5、根据权利要求1或2所述的网格化动态自组织计算机体系结构的构造方法，其特征在于，步骤A中所述建立的网格化功能部件服务器，中央处理单元和内存相分离，提供独立的中央处理单元服务和内存服务。

6、根据权利要求1所述的网格化动态自组织计算机体系结构的构造方法，其特征在于，步骤C中所述改变计算机系统的组织方式为改变功能单元之间的逻辑关系、互连模式。

Images