CN102521185A

CN102521185A - 一种io扩展系统

Info

Publication number: CN102521185A
Application number: CN2011103642938A
Authority: CN
Inventors: 许建卫; 王英; 朱晓娟; 刘新春; 邵宗有
Original assignee: Dawning Information Industry Beijing Co Ltd
Current assignee: Dawning Information Industry Beijing Co Ltd
Priority date: 2011-11-17
Filing date: 2011-11-17
Publication date: 2012-06-27

Abstract

本发明提供了一种IO扩展系统，所述系统包括配置管理模块，IO刀片和设备接口；所述配置管理模块用于配置管理IO刀片和接口设备，对外提供资源的虚拟视图，接收服务器的IO申请并登记，对物理资源进行分配；所述设备接口安装在所述IO刀片上，所述IO刀片通过标准接口接入到IO容器中，对外提供的IO接口。通过本发明的系统，服务器端可以根据需求灵活的配置所需的IO设备接口数目，并根据需要有选择性地对远程设备进行互联。在不需要的情况下，远端容器可以只配置一部分IO设备，因此，整个系统的IO成本可以随设备数目而线性增加，并且不同设备之间可以实现容量和空间的共享，可以有效解决系统的IO容量问题，并为IO虚拟化提供了基础。由于设备放在远程，设备或主机端的故障被有效隔离，可以在系统发生故障时独立进行修复或升级。

Description

一种IO扩展系统

技术领域

本发明涉及高性能计算机的IO扩展技术，特别涉及通过外置式远程互联的方法来对系统IO进行扩展的技术。

背景技术

近几十年来，半导体技术一直随摩尔定律快速发展，大规模和超大规模集成电路技术推进高性能计算机的计算速度呈指数级前进。而与之形成鲜明对比的是，系统的IO速度却一直发展缓慢；随着信息技术的不断的发展，计算机需要处理的数据呈爆发式增长，数据密集型应用也越来越多。在此情况下，计算机系统的瓶颈已经从早期的计算能力不足转移为IO能力不足，即IO墙正成为继“计算墙”、“内存墙”之后计算机系统新的瓶颈。

目前的计算机IO系统正面临以下问题：

●接口类型有限：常见的高性能计算机IO接口类型主要包括存储接口SATA、网络接口Ethnet或IB以及外接板卡接口PCIe。

●接口数目有限：每台高性能计算机中每种接口数目通常为2～4个。

●设备空间有限：每台高性能计算机中留给IO设备的空间通常为1U或2U高，并且留给IO设备的长度最长不超过300mm，限制了大尺寸IO设备的接入。

●接口无灵活性：不同的接口之间相互独立，无法根据实际应用需求来增加或减少IO设备数目，无法实现不同接口之间的设备共享。

为了弥补现有系统中的IO方面的不足，工业界和学术界分别从几个方面来进行提高。

首先是提高IO接口速率，常见的包括磁盘接口从IDE到SATA再向SAS的转变，网络接口从10M到100M到1000M甚至到10G的转变，但这些接口的提升速度远不及海量数据处理对计算机IO系统的接口速度要求。

其次是IO接口数目得增加。对于高速外设接口PCIe，高性能计算机上的接口数目已经从2～4个增加了4～7个。对于以太网，板载千兆网接口一般为1～3个，通过PCIe扩展后的接口数目更是增加到了每块卡4～6个接口。

但上述IO扩展方式仍是在服务器内部对IO接口进行扩展，仍无法摆脱设备空间和灵活性不足的限制，所以无法从根本上解决目前高性能计算机中的IO容量不足的问题。

发明内容

本发明拟采用将IO设备放在远程的方式，即将所有的IO接口通过扩展芯片进行扩展，并放在单独的容器中。系统的IO设备可以根据需要来灵活的在远程容器中增加、减少、升级或更换，而对主机端的互联接口不变。并且，根部不同的容量需求，远端容器中的部分或全部设备可以映射到一台服务器主机上来。容器中自行进行供电和散热，确保所有设备可以不受主机端工作状态影响。

一种IO扩展系统，所述系统包括配置管理模块，IO刀片和设备接口；

所述配置管理模块用于配置管理IO刀片和接口设备，对外提供资源的虚拟视图，接收服务器的IO申请并登记，对物理资源进行分配；

所述设备接口安装在所述IO刀片上，所述IO刀片通过标准接口接入到IO容器中，对外提供的IO接口。

优选的，所述IO接口包括SATA接口，SAS接口，PCIE接口。

优选的，所述配置管理模块可以将物理设备虚拟化，使一个设备同时被多个服务器使用。

优选的，所述IO刀片安装有供电接口，每个供电接口都可以满足高耗电设备的用电需求。

优选的，所述IO刀片之间留有通风通道，IO刀片外部留有冷风接入口，外部风扇产生的冷风从冷风接入口进入IO刀片内部。

优选的，所述IO刀片集成扩展芯片和互联芯片。

优选的，所述IO刀片安装有信号转接适配器，用于对信号的整形放大。

优选的，所述IO容器的底部安装有点远模块，交换模块和配置管理模块，顶部安装有IO接口。

通过本发明的系统，服务器端可以根据需求灵活的配置所需的IO设备接口数目，并根据需要有选择性地对远程设备进行互联。在不需要的情况下，远端容器可以只配置一部分IO设备，因此，整个系统的IO成本可以随设备数目而线性增加，并且不同设备之间可以实现容量和空间的共享，可以有效解决系统的IO容量问题，并为IO虚拟化提供了基础。由于设备放在远程，设备或主机端的故障被有效隔离，可以在系统发生故障时独立进行修复或升级。

附图说明

图1是本发明的系统架构图

图2是本发明虚拟化环境下的连接方式

图3是本发明的一种实施例的系统连接方式

图4是本发明的一种实施例的系统规格图

具体实施方式

为了实现不同服务器之间的设别共享，本发明中采用将IO设备放入远程容器中的方法，不同的服务器之间可以根据需要来灵活地连接所需要使用的设备，系统架构如图1所示。

图一a)给出了多个服务器共享远程设备，其中每个服务器分别连接4个设备的场景。图一b)给出了多个设备共享远程设备，但每台设备连接的IO设备数目不同的配置场景。系统运行中，可以根据需要来动态地对系统的连接拓扑进行配置和调整，以适合不同的应用对IO设备的数目、性能和容量的需求。

为了实现上述的动态配置管理功能，系统需要有一个软件的配置管理模块，该模块统一管理所有的设备，并对外提供资源的虚拟视图。所有需要连接设备容器的的服务器都需要到配置管理模块这里进行申请和登记，然后由配置管理模块进行物理资源的分配和管理，并将分配和管理信息通过虚拟视图反映到全局。这种方式下，系统的配置方式如图2所示。

配置管理模块除了进行设备的划分和分配之外，对于使用率低下的设备，配置管理模块还可以将其进行物理设备的虚拟化，即同一个物理设备，提供多个不同的虚拟视图，使得该设备可以同时为多个服务器所使用。

本发明中IO容器里的所有设备都采用二级接入的方法来进行组织。其中一级接入接口为刀片，二级接入接口为具体的设备接口，如SATA、SAS、PCIE等。这种方式下，首先是将不同接口的设备放入适合的刀片中，通过刀片上的转接口将协议转换为同一的刀片接口。然后IO刀片再通过标准接口接入到IO容器，并对外提供统一的IO接口。采用刀片式的一级接入方式，使得IO刀片的增加、删除和升级变得非常灵活。而刀片内部的接口转接模块又可以将不同接口的设备都统一接入到IO刀片中，为系统的灵活性及IO虚拟化提供了基础。

对于GPU等设备，由于设备自身耗电较高，所以每个IO刀片中提供多个供电接口，每个供电接口都可以独立满足GPU类高耗电设备的用电需求。并且，每个IO刀片中都支持高散热需求的设备，即IO刀片中的设备之间留有足够的散热通风通道，IO刀片外部留有冷风接入接口，使得外部风扇产生的冷风可以通过接口进入IO刀片内部，并在不同的散热通道中自由流动，带走高散热类设备产生的热量。

为了提高系统的扩展性并降低系统成本，本发明中将所有的核心互联及扩展芯片在硬件层次分布在不同的刀片中。即IO刀片主板上集成扩展及互联芯片，IO容器中的中板仅提供电源和散热接口。这种方式下，在系统非满配情况下，系统整体成本的架构将随IO刀片的价格呈近似线性的扩展关系，避免了将核心芯片放在IO容器中板上带来的非满配开销。

由于服务器端接口数目有限，并且受机箱规格限制，所以为了远程互联方案的实施，需要在服务器端配置接口转接适配器。该适配器规格满足服务器端适配器的标准需求，并且可以实现实现主机端协议和远程设备协议之间的转换。由于远程设备连接的距离较长，所以接口转接适配器还需要对信号进行整形和放大，以补偿远距离信号传输情况下的信号损耗和失真。

在本发明所设计的方法中，服务器和IO容器的一种连接方式如图3所示。主机端接入满足PCIe接口规范的半高半长转接适配器，适配器的另一端采用PCIe线缆于远程IO容器中的一个IO刀片互联。连接过程中需经过IO容器的中板系统，该中板系统上运行的配置管理模块对连接进行管理，对IO设备资源进行分配，最终连接到某一个物理的IO刀片中。

在一个IO刀片内部，实现采用信号转接适配器再次对信号进行整形和放大，然后通过PCIE交换芯片连接到不同的PCIE接口卡。每个PCIe卡的供电可以采用两种方式，对于供电需求不高的设备，可以采用直接从PCIE接口取电的方式。而对于供电需求高的设备，则在IO刀片内部采用独立供电的方式来提供支持。

由于交换和转接芯片成本较高，所以图3中的IO刀片中集成了这两种类型的芯片。因此，仅当系统接入了该IO刀片时，核心芯片的成本才会增加。并且，当系统的某个IO刀片发生故障时，每个刀片不会影响其他IO刀片，避免了单芯片失效更换多个正常芯片的情况。

本发明的一种系统规格示意图如图4所示。在一个5U高的容器中，集成了多个IO刀片。刀片后部，最高的1U高度放置了IO刀片的对外接口，接下来的3U高度中放置了风扇模块，所有的风扇模块采用N+1的冗余架构。风扇最下端，是系统的管理模块，负责提供设备的接入、配置、虚拟化等功能。

容器中总高度为5U情况下，每个刀片高度为4U，可以放入目前已知的各种IO设备。刀片下部，则是系统的电源模块，为整个系统提供供电。为了确保系统的安全，特别是对于易失性设备，掉电后系统状态将进入未知状态，对应用造成不可预测的影响。所以，此处的电源模块需采用UPS系统，确保外部供电中断后，管理模块可以对系统中所有的IO设备做有效的关闭工作。进一步，为了确保系统的安全稳定运行，系统的供电模块采用N+1冗余的架构。

Claims

1.一种IO扩展系统，其特征在于：所述系统包括配置管理模块，IO刀片和设备接口；

2.如权利要求1所述的系统，其特征在于：所述IO接口包括SATA接口，SAS接口，PCIE接口。

3.如权利要求1所述的系统，其特征在于：所述配置管理模块可以将物理设备虚拟化，使一个设备同时被多个服务器使用。

4.如权利要求1所述的系统，其特征在于：所述IO刀片安装有供电接口，每个供电接口都可以满足高耗电设备的用电需求。

5.如权利要求1所述的系统，其特征在于：所述IO刀片之间留有通风通道，IO刀片外部留有冷风接入口，外部风扇产生的冷风从冷风接入口进入IO刀片内部。

6.如权利要求1所述的系统，其特征在于：所述IO刀片集成扩展芯片和互联芯片。

7.如权利要求1所述的系统，其特征在于：所述IO刀片安装有信号转接适配器，用于对信号的整形放大。

8.如权利要求1所述的系统，其特征在于：所述IO容器的底部安装有点远模块，交换模块和配置管理模块，顶部安装有IO接口。