CN102333103A - 云存储系统 - Google Patents

Abstract

存储系统是云计算的基础，云计算让用户将数据全部存储在网上远程数据中心，需要的时候，只要通过互联网连接至数据中心便可以拿到这些数据，而需要对数据进行计算处理的时候同样可以通过互联网连接至数据中心计算即可。云存储指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。本方法采用直接与网络介质相连的设备实现云存储。这些设备都分有IP地址，客户机通过充当数据网关的服务器便可对其进行存取访问，甚至在某些情况下，不需要任何中间介质时客户机也可以直接访问这些设备。

Description

云存储系统

技术领域

本发明专利属于云计算领域，特别涉及网络存储系统，可用于支撑大规模云计算环境下的数据存储，实现设备虚拟化以及数据分布式备份与存储。

背景技术

数据存储备份技术和存储管理源于70年代的终端/主机模式，当时由于数据集中在主机上，存储设备易于管理。80年代以后，由于PC的发展，尤其是90年代C/S模式(即Client/Server，客户机/服务器)的普及，网络上文件服务器和数据库服务器往往是要害数据集中地，而客户机上也积累了一定量的数据，数据的分布造成了数据存储管理的复杂化。同时，Internet(互联网)也使存储技术发生了革命性的变化，这种变化主要表现在三个方面：首先，存储容量的急剧膨胀，很多企业和机构的数字化资源都是以千吉字节(Terabyte或简称TB，1T＝240)为单位的海量信息；其次，数据就绪时间的延展，网络数据必须保证每天24小时、全年365天均处于就绪状态；最后，数据存储结构的变化，在Internet和全球化电子商务的时代，尽管数据的存取应该受到安全机制的管理，但只要网络覆盖到的地方，数据访问不应受地域或平台的限制。

发明内容

随着现代网络系统运行速度的加快和计算能力的增强，企业所需处理、存储的数据量和数据类型日益增多，电子商务时代对用户数据备份也要满足其不断增长的需求。为了克服上述问题，本发明专利提供一种云存储系统设计方案。

云存储系统通过集群应用、网格技术或分布式文件系统等功能，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储系统的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变，是一个以数据存储和管理为核心的云计算系统。云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。

存储设备异构问题解决方案

云存储系统涉及众多存储设备，包括FC(Fiber Channel，光纤信道)光纤通道存储设备、NAS(Network Attached Storage，网络连按存储)和iSCSI(Internet Small ComputerSystem Interface，Internet小型计算机系统接口)等IP存储设备(Internet Protocol，互联网协议，IP存储设备就是在技术上依赖于互联网协议的网络存储设备)、以及SCSI(Small Computer System Interface，小型计算机系统接口)或SAS(Serial Attached SCSI，串行连接SCSI)等DAS(Direct Attached Storage，“直接附加存储”或称作直连方式存储)存储设备。云存储中的存储设备往往数量庞大且分布在不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起从而构成云存储资源池。

为了解决不同存储设备并存情况下的管理问题，本发明专利采用存储虚拟化技术。存储虚拟化的作用，就是借助存储虚拟化设备，这种设备既可以是云存储资源池里单独的设备也可以是某一磁盘阵列，来对其他磁盘阵列实施集中的管理。因此，存储虚拟化首先是给用户带来了存储系统性能的改进。

服务保障问题解决方案

很多种原因的硬件损坏会导致服务的停止，例如硬盘、主板、电源、网卡等，虽然针对这些弱点，管理人员可以找到替代方案，例如建立一个全冗余的环境(电源、网络、盘阵等等)，但是这样实施的成本太高而且工作非常繁复。本发明专利通过将文件复制并且存储在不同的服务器，解决了这个潜在的硬件损坏难题。本发明专利技术能够重定位文件存放的位置，在硬件发生损坏时，系统将会自动读写指令，导向存放在另一台存储服务器上的文件，保障服务的联系性。

传统的存储系统升级时，需要把旧的存储设备上的文件备份出来后，停机，新的存储设备上线，这会导致服务的停止，这种停止会给设备的使用者、数据的拥有者、服务的提供者及其服务对象造成相应的损失。

本专利技术并不单独依赖一台存储服务器，因此存储服务器硬件的更新、升级并不会影响存储服务的提供，系统会将旧的存储服务器上的文件迁移到其他存储服务器，等新的存储服务器上线后，文件会再迁移回来。

扩容问题解决方案

云存储系统的扩容非常简单，并且分配给每个项目的存储容量可以超过实际的存储容量，例如硬盘总容量只有100TB，系统却可以设置200TB甚至300TB的容量给项目使用，等到100TB快用完时，再采购服务器即可。本发明专利采取的架构是并行扩容，容量不够了，只要采购新的存储服务器即可，容量立即增加，而且几乎没有上限。

传统的存储技术是基于物理卷作映射的，如果应用端需要同时读取几台存储设备，必须将每台存储设备都安装到应用端，这对需要能同时看到所有数据并作索引的应用是很困难的。本发明专利技术提供统一的名称，允许应用端用一个名称存取整个存储池的数据，这使得应用端开发非常方便。

存储配额动态分配

传统上，不同用户在系统中的存储配额是根据用户的性质和权限，通过系统管理人员进行具体操作，实现对存储配额的控制和管理。这类管理模式下，用户能够使用的存储额度都是事先指定分配好的。由于不能做到实时地按需分配，存储资源并不能被充分地利用起来。

为了更有效的利用有限的资源，本发明专利根据不同用户的实际使用情况，结合用户的性质和权限，采用动态方式分配存储配额。具体来说，当用户在其权限允许范围内，存储的使用量增加了，分配的存储额度也相应增加；使用量减少了，存储额度也相应减少。用户使用的存储额度与该用户权限允许的最大值之间的存储容量差额可以被分配给别的用户，而不是静态的闲置在系统中。对于用户来说，只要不超过其权限所规定的限制用量，他完全感受不到在系统中存储配额的变化，这种变化对用户的使用没有任何影响，但是对有效利用存储资源是至关重要的。

附图说明

图1云存储的业务系统：不同地域、不同结构的存储设备在逻辑上整合成一个资源存储池，进行统一管理；个人用户、企事业单位、中小企业、机关单位按照不同需要把数据存储在资源存储池中。

图2云存储系统的构架：

云存储系统的结构模型由4层组成：存储层，基础管理层，应用接口层，访问层。

1.存储层是云存储最基础的部分，将数量庞大且分布在不同地域的存储设备通过广域网、互联网或者FC光纤通道网络连接在一起；

2.基础管理层是云存储最核心的部分，实现多个存储设备协同工作，对外提供同一种服务，并提供强大的数据访问性能。

3.应用接口层是云存储最灵活多变的部分，根据实际业务类型，可开发不同的应用服务接口，提供不同的应用服务。

4.访问层，授权用户可以通过标准的公用应用接口来登录云存储系统，享受个性化的云存储服务。

具体实施方式

1)物理存储设备识别：

由于系统延续性以及降低成本，以前采购的存储设备需要继续使用。云存储系统使用不同的物理存储设备，存储系统能够自动识别物理存储设备而不需要管理员干涉。

2)设备标识：

不同的设备具有不同的性能，其读取速度也不尽相同。在云存储系统中，需要标识存储设备的使用率及存储地域。系统会根据调度算法，选取合适的设备来存储客户数据。

3)虚拟化：

云存储系统存放有多种存储设备，存储设备来自不同的厂商，不同的厂商使有不同的软件，不同的驱动程序。云存储系统把存储变成一个大的虚拟池让客户更便于管理。通过虚拟化的产品，把所有的物理盘变成了虚拟盘，在云存储系统层面解决了异构问题，而变成了统一平台。云存储系统可以轻松地对它们进行虚拟化、管理和部署，以实现更大的灵活性和前所未有的独立性。

4)用户及权限识别：

云存储系统提供多种存储方案，用户可以根据具体的需求选择合适的存储方案。云存储系统对于不同的用户给予不同的权限(取决于所选择的存储方案)。用户可以选择备份数量及存储地(较近的存储地有更快的存取速度)。

5)接入无关性：

云存储系统实现不论用户使用什么设备、在何地接入云端网络，都可以访问数据。云存储系统提供接口，用户访问这接口即可管理、存取数据。系统自动读取云端数据，并传输给用户。

6)备份与分布式存储：

云存储系统由磁盘阵列、光纤交换机、磁带库和存储管理软件等组成。磁盘阵列可以采用双存储处理器以提高性能，而模块化的磁盘阵列则具有高度可扩充性，可以根据数据量的增长进行不停机的扩展；由于磁盘阵列、光纤交换机、磁带库和服务器之间采用冗余的光纤进行连接，无论哪个通道发生故障，都不会影响数据传输，可以保证整个系统的可靠性。另外，冗余连接还可以做到数据流量的负载均衡；通过磁带库对磁盘阵列的数据进行定期的备份，可以保证数据的完整性和可靠性。

7)file/blocks：

不管是在Internet服务提供商或是其他领域，数据都是以文件(file)或数据块(Block)的形式存在的。基于应用的不同需求，对数据的形式也有不同的要求。企业关键业务数据存储通常是在数据库的基础上进行存储与管理，其相应的数据存储形式主要是数据块(Block)的形式，中小型数据库也可能采用文件形式(file)。而作为办公自动化，企业内部网络存储平台，程序开发与测试，财务系统，工资系统等需要文件级(file)的集中存储与共享。

8)数据迁移：

数据迁移的时候云存储系统不需要停机，停机对于业务来说是没有办法接受的。在存储系统中，一般允许设定策略来自动迁移整个卷，然而在许多场合这样的操作意义却不大。假如整个卷的百分之十是处于激活状态的而另外的百分之九十是处于非激活状态的，而拒绝被移动至一个较低的层级。通过实现智能存储层级，云存储系统将卷伸展到不同的存储层

Claims (4)

1.一种云平台的存储系统，其特征在于：

通过基于开源的虚拟化技术实现对存储设备的整合，使形成逻辑上统一的虚拟存储资源池。在云平台的管理下，云存储系统提供具有弹性的数据存储与访问的基本功能。

2.一种权利要求1所述系统下异地、异构的存储设备管理方法，其特征在于：

要求1中的存储设备可以是异地、异机、异构的。不同类型、不同地点、不同协议的存储设备通过广域网、互联网或者光纤信道网络(FC)连接在一起从而构成云存储资源池，并通过存储虚拟化技术，就是借助存储虚拟化设备(存储虚拟化网关)与存储虚拟化管理工具来实现资源的整合与统一管理。

3.一种权利要求1所述系统下服务可靠性保障方法，其特征在于：

基于要求1和2中的特点，数据和文件可以被复制并保存到不同的服务器上，这些数据和文件互为备份。根据服务需要，系统可以同时访问多个拷贝来支持高并发的数据读取；当提供服务的虚拟机出现故障的时候，通过共享存储可以快速的实现虚拟机的重启和服务的恢复；当多个拷贝的其中之一被修改，系统可以自动的同步到其他的拷贝上，保存数据的一致性。

4.一种权利要求1所述系统下存储配额动态分配方法，其特征在于：

根据不同用户实际使用情况，结合用户的性质和权限，当存储的使用量增加，分配给他的存储额度也相应增加；当使用量减少，存储额度也相应减少。

用户实际使用的存储额度与该用户权限允许的最大值之间的存储容量差额可以被分配给别的用户，而不是静态的闲置在系统中。只要不超过其权限所规定的限制用量，用户是感觉不到系统中存储配额的变化。

Images