CN102325157A

CN102325157A - 一种异构对象并行存储系统构造方法

Info

Publication number: CN102325157A
Application number: CN201110197942A
Authority: CN
Inventors: 陈海涛; 卢宇彤; 周恩强; 肖婧; 董勇; 李琼; 宋振龙; 张磊
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2011-07-15
Filing date: 2011-07-15
Publication date: 2012-01-18

Abstract

本发明公开了一种异构对象并行存储系统构造方法，目的是解决外置专业存储盘阵的高可靠但成本高、内置SATA盘阵的性价比高但可靠性略低的问题。技术方案是先构建由一个MDS、m+n个OST和多个CN组成的异构对象并行存储系统，m个OST为OOST，n个OST为IOST；接着设置客户结点的访问参数，生成配置文件client.conf；最后由客户结点提交文件创建请求，MDS根据配置文件client.conf决定该文件存储在OOST或者IOST上，将需要高可靠存储服务的文件存储到OOST上，将需要高并行访问带宽服务的文件存储在IOST上；采用本发明构造的异构对象并行存储系统能够同时提供高可靠存储服务和高性能存储服务，满足不同数据存储的要求，且成本低于完全采用SAN存储网络或者外置专业存储阵列的构成的存储系统。

Description

一种异构对象并行存储系统构造方法

技术领域

本发明涉及并行存储系统的构造方法，尤其是异构对象并行存储系统的构造方法。

背景技术

并行存储系统是大规模并行计算机系统中的重要组成部分，对象存储系统是一种并行存储结构。对象存储系统由一个元数据服务器(简称MDS)、多个对象存储服务器(简称OST)和多个客户结点(简称CN)通过网络互连构成。元数据服务器和多个对象存储服务器为客户结点提供数据读写、数据存储等文件访问服务。元数据服务器为客户结点提供元数据服务，是对象存储系统所特有的。元数据描述每个文件的所有者、创建时间、修改时间、文件大小以及文件在对象存储系统上的分布等信息。对象存储服务器负责保存文件的具体数据，并在元数据服务器的管理下向客户结点提供文件访问服务。客户结点的文件访问请求首先提交给元数据服务器，获取文件分布信息，然后根据分布信息向相关的对象存储服务器提交访问请求，完成数据读写过程。对象存储系统充分利用高带宽网络以及存储访问的并发性，为并行应用提供较高的数据访问带宽，已广泛应用于世界超级计算机排名前十的计算机系统中。

当前OST常用的存储技术包括SAN存储网络、光纤卡直连的外置专用存储盘阵、基于SATA盘构成的内置RAID阵列。其中SAN存储网络成本高昂，带宽可扩展性受限，在高性能计算领域很少使用。专业存储盘阵为外置设备，通过光纤卡接入OST，其可靠性高，但单位存储容量的成本远高于SATA盘阵。基于SATA盘构成的RAID阵列继承了SATA盘的低价和高性能，性价比为三者中最高，而且一般内置于OST中，空间占用成本低。尽管SATA盘构成的内置存储阵列通过RAID卡具备一定的纠错能力，但其可靠性仍低于专业存储盘阵。国内著名的“天河一号”超级计算机的并处存储系统采用了内置SATA盘阵的方案，在低成本的情况下获得了很高性能的存储带宽。

目前常见的对象并行存储系统的OST一般为同构服务器，同构服务器是指OST的物理结构相同，采用相同的存储技术。现有的异构对象并行存储系统一般是采用两套独立的同构并行存储子系统，一套是采用外置专业存储盘阵的小容量系统，一套是采用内置SATA盘阵的大容量系统，两套系统采用不同的分区。该方法对用户不透明，用户面对两个不同的分区，在创建目录时需手工指定将数据存放于那个分区。此外该方法要求同一用户目录下的数据只能属于一个分区，不能满足同一目录下的用户源代码文件要求高可靠存储，而并行应用访问的数据文件需要高带宽存储的异构需求。

并行存储系统是高性能计算系统的重要成本组成之一，其性能直接制约了全系统的综合性能指标。高可靠和高性价比的并行存储系统的构造方法是本领域技术人员极为关注的技术问题。

发明内容

本发明要解决的技术问题在于：针对外置专业存储盘阵的高可靠但成本高、内置SATA盘阵的性价比高但可靠性略低的现状，设计高可靠和高性价比兼得的并行存储阵列。

为了解决上述技术问题，本发明的技术方案为：构建异构并行存储系统，少数OST采用外置专业存储盘阵，多数OST采用内置SATA盘阵，在I/O访问时无需用户干预自动区分访问类型，将关键系统和用户文件存储在采用外置专业存储盘阵的OST上，将需要并行高带宽访问的文件存储在采用内置SATA盘阵的OST上。

具体技术方案为：

第一步，构建异构对象并行存储系统。异构对象并行存储系统的基本结构与传统的同构对象并行存储系统相似，由一个元数据服务器MDS、m+n个对象存储服务器OST和多个客户结点CN通过网络互连构成，m、n为正整数，主要区别是m个OST为OOST，n个OST为IOST。OOST指采用外置专业存储盘阵的OST，IOST指采用内置SATA盘阵的OST。OOST的数量m取值范围一般为2到4个，也可根据具体需求进行增加。IOST的数量n的取值范围一般为大于4的正整数。异构对象存储并行存储系统对客户结点提供单一分区访问，在I/O访问时无需用户干预自动区分访问类型，将需要高可靠存储服务的文件存储到OOST上，将需要高并行访问带宽服务的文件存储在IOST上。

第二步，配置客户结点的访问参数，生成配置文件client.conf。高性能计算系统的客户结点主要分为两类，服务结点和计算结点。服务结点个数很少，为终端用户提供登录、代码编辑、程序编译、作业提交等服务。计算结点数量众多，为作业提供计算服务。服务结点上的目录和文件访问主要由用户手工提交，要求的存储访问带宽低，但要求文件的可靠性很高。而计算结点由于数量众多，且其目录和文件访问由高性能并行应用程序产生，运行过程会实时产生巨量的数据文件，要求的存储带宽很高，但文件的可靠性要求低。高性能计算系统中需要高可靠存储服务的数据主要为系统文件和用户代码文件，这些文件主要在服务结点上创建，需要高性能存储服务的数据主要为高性能应用数据文件，这些数据文件主要在计算结点上创建。client.conf是由存储系统管理员创建的文本文件，存储在MDS的根目录下，文件内容为格式为clientname＝OOST的配置选项，其中clientname为客户结点的名称。缺省情况下客户结点所创建的文件存储在IOST上，仅当客户结点在client.conf文件中存在配置选项clientname＝OOST时，表示该客户结点所创建的文件将存储在OOST上。存储系统管理员通过普通文本文件编辑工具编辑client.conf以配置服务结点上创建的文件存储在采用外置专业存储盘阵的OOST上，计算结点上创建的文件存储在采用内置SATA盘阵的IOST上。根据作业需要也可以配置不同计算分区的计算结点创建的文件存储在不同类型的OST上，例如配置主要运行长时小规模作业的计算分区所创建的文件存储在高可靠的采用外置专业盘阵的OOST上。

第三步，客户结点提交文件创建请求，MDS根据配置文件client.conf决定该文件存储在OOST或者IOST上。仅当客户结点在client.conf文件中存在配置选项clientname＝OOST时，该客户结点所创建的文件存储在OOST上，其它客户结点所创建的文件存储在IOST上。

以上为异构对象并行存储系统的构造过程。此后客户结点可提交文件读写和删除操作请求，异构并行存储系统对这些操作的处理过程与同构的对象存储系统完全相同。存储在采用外置专业存储盘阵的OOST上的文件获得高可靠的数据存储服务，存储在采用内置SATA盘阵的IOST上的文件获得高性能的数据存储服务。

与现有技术相比，采用本发明可达到以下技术效果：

1.本发明第一步支持构造异构对象并行存储系统，少数OST采用外置专业存储盘阵，多数OST采用内置SATA盘阵；

2.本发明第一步支持构造低成本的对象并行存储系统，存储系统中占据主要成本的OST绝对多数由内置低价SATA盘阵的OST构成，存储系统综合成本低于完全采用SAN存储网络或者外置专业存储阵列的构成的存储系统；

3.采用本发明构造的异构对象并行存储系统能够同时提供高可靠存储服务和高性能存储服务，满足不同数据存储的要求。少量采用外置专业存储盘阵的OOST对客户结点提供高可靠存储服务，大量采用内置SATA盘阵的IOST对客户结点提供高性能存储服务；

4.本发明对应用透明，为应用提供单一分区访问。文件的存储位置主要由配置文件ost.conf决定，无需应用干预。高性能计算系统中需要高可靠存储服务的数据主要为系统文件和用户代码文件，这些文件主要在服务结点上创建，将自动存储在采用外置专业存储盘阵的OST上。高性能计算系统中需要高性能存储服务的数据主要为高性能应用数据文件，这些文件主要在计算结点上创建，将自动存储在内置SATA盘阵的OST上。

附图说明

图1是异构对象并行存储系统的结构图。

图2为本发明总体流程图。

具体实施方式

图1是异构对象并行存储系统的结构图。

异构对象存储系统由一个元数据服务器MDS、m个采用外置专业存储盘阵的OOST、n个采用内置SATA盘阵的IOST和多个客户结点CN通过互连通信网络互连构成。OOST的数量m取值范围一般为2到4个，也可根据具体需求进行增加。IOST的数量n的取值范围一般为大于4的正整数。MDS、IOST和OOST为客户结点提供数据读写、数据存储等文件访问服务。

图2为本发明总体流程图

第一步，构建异构对象并行存储系统。异构对象并行存储系统由一个元数据服务器、多个对象存储服务器和多个客户结点通过网络互连构成，其中m个OST采用外置专业存储盘阵(简称OOST)，n个OST采用高性价比的内置SATA盘阵(简称IOST)。异构对象存储并行存储系统对客户结点提供单一分区访问，在I/O访问时无需用户干预自动区分访问类型，将需要高可靠存储服务的文件存储到OOST上，将需要高并行访问带宽服务的文件存储在IOST上。

第二步，配置客户结点的访问参数，生成配置文件client.conf。client.conf是由存储系统管理员创建的文本文件，存储在MDS的根目录下，文件内容为格式为clientname＝OOST的配置选项，其中clientname为特定客户结点的名称。缺省情况下客户结点所创建的文件存储在IOST上，仅当客户结点在client.conf文件中存在配置选项clientname＝OOST时，表示该客户结点所创建的文件将存储在OOST上。存储系统管理员通过普通文本文件编辑工具编辑client.conf以配置服务结点上创建的文件存储在采用外置专业存储盘阵的OOST上，计算结点上创建的文件存储在采用内置SATA盘阵的IOST上。根据作业需要也可以配置不同计算分区的计算结点创建的文件存储在不同类型的OST上，例如配置主要运行长时小规模作业的计算分区所创建的文件存储在高可靠的采用外置专业盘阵的OOST上。

Claims

1.一种异构对象并行存储系统构造方法，其特征在于包括以下步骤：

第一步，构建异构对象并行存储系统，异构对象并行存储系统由一个元数据服务器MDS、m+n个对象存储服务器OST和多个客户结点CN通过网络互连构成，m个OST为OOST，n个OST为IOST，m、n为正整数；OOST指采用外置专业存储盘阵的OST，IOST指采用内置SATA盘阵的OST；

第二步，配置客户结点的访问参数，生成配置文件client.conf；client.conf是由存储系统管理员创建的文本文件，存储在MDS的根目录下，文件内容为格式为clientname＝OOST的配置选项，其中clientname为客户结点的名称；采用普通文本文件编辑工具编辑client.conf，在需要高可靠存储服务的客户结点的配置文件中增加配置选项clientname＝OOST；

第三步，客户结点提交文件创建请求，MDS根据配置文件client.conf决定该文件存储在OOST或者IOST上；仅当客户结点在client.conf文件中存在配置选项clientname＝OOST时，该客户结点所创建的文件存储在OOST上，其它客户结点所创建的文件存储在IOST上；异构对象存储并行存储系统对客户结点提供单一分区访问，将需要高可靠存储服务的文件存储到OOST上，将需要高并行访问带宽服务的文件存储在IOST上。

2.如权利要求1所述的异构对象并行存储系统构造方法，其特征在于OOST的数量m取值范围为2到4个，IOST的数量n为大于4的正整数。

3.如权利要求1所述的异构对象并行存储系统构造方法，其特征在于生成配置文件client.conf时，缺省情况下客户结点所创建的文件存储在IOST上，仅当客户结点在client.conf文件中存在配置选项clientname＝OOST时，表示该客户结点所创建的文件将存储在OOST上。

4.如权利要求1所述的异构对象并行存储系统构造方法，其特征在于生成配置文件client.conf时，配置不同计算分区的计算结点创建的文件存储在不同类型的OST上。