CN103763383B - 一体化云存储系统及其存储方法 - Google Patents

Abstract

本发明公开了一种一体化云存储系统及其存储方法，所述一体化云存储系统包括交换机，所述的交换机与元数据主服务器、元数据备份服务器以及一个以上的存储数据服务器相连接，所述的交换机、元数据主服务器、元数据备份服务器以及一个以上的存储数据服务器构成了一体化云存储系统的存储服务层，并结合其存储方法可有效避免现有技术中的存储服务支持系统单一、存储空间扩展困难以及存储性能有待提高的缺陷。

Description

一体化云存储系统及其存储方法

技术领域

本发明属于分布式文件系统及存储技术领域，具体涉及一种一体化云存储系统及其存储方法。

背景技术

现有的存储系统多数采用基于DAS、NAS、SAN技术的存储系统，其中基于DAS技术的存储系统使用在存取速度不是很高的业务场景，有逐渐被基于SAN技术的存储系统替代的趋势，其缺点是很难应对数据备份、数据恢复、容量扩充等对业务连续上影响比较大的问题。而基于SAN技术的存储系统的优势在于通过网络进行数据存储，可以极大的提高磁盘阵列到服务器之间的访问速度，很好的解决了存储空间扩容，数据备份和恢复等问题。而基于NAS技术的存储系统通过网络协议访问存储设备，可以较好的解决存储设备的共享问题，但是，基于NAS技术的存储系统没能很好的解决操作过程中数据的一致性问题。随着网络技术的快速发展，存储技术方案有逐渐走向网络化的趋势，总的来看，现有的存储系统存在如下缺陷：

（1）存储服务支持系统单一：由于基于DAS技术的存储系统和基于SAN技术的存储系统直接连接到应用服务器上，在操作系统都支持某种类型文件系统的时候，可以做到既支持Windows系统挂接，又支持Linux系统挂接，但是不能支持两种系统同时挂接，一次只能挂接一种系统的方式在现实中没有太大意义。而基于NAS技术的存储系统可以支持Windows系统和Linux系统同时挂载，但是，由于Windows对Samba和NFS支持的不是很好，经常出现挂接失败的情况，影响用户功能正常运行，所以，这种挂接方法也很少被用户采用。

（2）存储空间扩展困难：现有的存储系统基本都已经支持动态的扩展存储空间，即在不停止当前存储服务的情况下通过增加物理存储介质来对存储空间扩容。基于DAS技术的存储系统不支持动态扩展存储空间；基于SAN技术的存储系统支持通过增加磁盘阵列中物理磁盘或者直接增加磁盘阵列来达到扩容的目的，为了提高传输速度，磁盘阵列多使用raid技术，导致通过增加物理磁盘的方法必然影响服务的不间断运行。而增加磁盘阵列对原有存储网络和文件系统结构有很大影响，在操作不当情况下极有可能导致存储系统宕机，以致影响服务的连续运行。

（3）存储性能有待提高：现有的存储方案多依靠提高存储设备网络I/O或磁盘I/O的方法提供存储性能。磁盘阵列通过将数据条带化分盘存储，提高了磁盘读写I/O，但传输性能仍受磁盘阵列和应用服务器接入I/O性能限制；基于NAS技术的存储系统由于受NAS服务器网络I/O限制，直接影响了数据的读写速度。

发明内容

为了克服现有技术的不足，本发明目的在于提供一种一体化云存储系统及其存储方法，可绝现有技术中的存储服务支持系统单一、存储空间扩展困难以及存储性能有待提高的缺陷。

为实现上述目的，本发明采用如下技术方案：

一体化云存储系统，包括交换机，所述交换机与元数据主服务器以及一个以上的存储数据服务器相连接，所述元数据主服务器负责管理文件系统，所述交换机为元数据主服务器与各存储数据服务器之间的网络通讯建立连接，所述存储数据服务器负责存储用户的实际数据；所述交换机、元数据主服务器以及一个以上的存储数据服务器构成一体化云存储系统的存储服务层；

所述交换机通过高速网络数据传输通路与网络相连接，Linux系统服务器和Windows系统服务器通过高速网络数据传输通路与所述网络相连接，所述网络、Linux系统服务器和Windows系统服务器构成一体化云存储系统的应用服务层；

一个以上的用户终端与所述网络相连接，所述用户终端构成一体化云存储系统的用户层，是整个一体化云存储系统的存储方案中存储资源的提供者；所述的交换机（1）为各服务器间的网络通讯建立连接。

所述存储服务层还包括与交换机相连的元数据备份服务器，元数据备份服务器是元数据服务器的镜像，负责当元数据主服务器异常时提供恢复的数据及相关日志。

所述元数据主服务器负责管理文件系统，包括组织文件目录树、属性维护、文件操作日志记录以及授权访问元数据，元数据主服务器还管理整个一体化云存储系统的命名空间以及对外提供单一的系统映像，并负责整个一体化云存储系统的存储集群的管理监控。

所述交换机通过高速网络数据传输通路与网络相连接，Linux系统服务器和Windows系统服务器通过高速网络数据传输通路与网络相连接。

一体化云存储系统的存储方法，包括以下步骤：

步骤1：首先、元数据主服务器通过交换机发出分组指令将存储数据服务器按照预设的分组需求进行分组；然后、当用户终端需要向一体化云存储系统的存储服务层读数据或写数据时，用户终端发送相应的读指令或写指令通过网络操纵高速网络数据传输通路发送到交换机；

步骤2：交换机将接收到的读指令或写指令发送到元数据主服务器中，元数据主服务器通过负载均衡器获取所有存储数据服务器各自的存储状态信息值，再根据存储状态信息值导出对应的存储数据服务器的负载均衡状态值，元数据主服务器将所有的存储数据服务器各自的存储状态信息值和负载均衡状态值通过交换机发送回用户终端，用户终端再按照均衡策略依次通过网络和交换机向对应的存储数据服务器写入使其达到负载均衡的数据，完成写操作；

如果元数据主服务器接收到的是读指令，元数据主服务器将读指令所针对的读取数据在对应的存储数据服务器上的存储信息通过交换机发送回用户终端，用户终端根据所接收的存储信息，通过交换机把对应的存储数据服务器上需要读取的数据传递回用户终端，完成读操作；

所述交换机连接有元数据备份服务器，当元数据主服务器接收到写指令或读指令时，元数据主服务器将写操作状态信息或读操作状态信息写入元数据备份服务器备份。

在所述的读操作或写操作执行结束后，元数据主服务器通过交换机对所有的存储数据服务器发出检测指令，当存储数据服务器接收到检测指令后对自己的磁盘及其存储数据信息是否处于异常状态进行检测，并将检测结果发送回元数据主服务器，元数据主服务器接收到检测结果后进行相应处理；如果没有检测结果发送回元数据主服务器，元数据主服务器可以判定对应的存储数据服务器处于宕机状态。

具体处理方法包括以下步骤：

步骤1，元数据主服务器启动，存储数据服务器上报磁盘容量，判断是否为存储数据服务器首次上报，如果是，则随机生成初始载重Payload<1；否则，更新存储数据服务器磁盘信息；

步骤2，客户端请求数据块chunk块，客户端执行动态负载均衡操作，响应客户端请求数据块；

步骤3，开始巡检存储数据服务器，存储数据服务器执行动态负载均衡操作，巡检存储数据服务器结束，元数据主服务器停止

客户端的动态均衡操作包括以下步骤：

步骤1，计算每个存储数据服务器的Ratio值，Ratio值为当前存储服务的总空间值/存储数据服务器中最大总空间值的比值；

步骤2，统计有效存储数据服务器个数TotalNum和当前Payload值大于1的有效存储数据服务器个数AvailableNum；

步骤3，判断请求副本个数Copies是否大于TotalNum，如果大于，则令Copies等于TotalNum；否则执行步骤4；

步骤4，判断AvailableNum是否小于Copies，如果是，则将所有有效存储数据服务器当前的Payload值加上Ratio值，并且重新统计当前Payload值大于1的有效存储数据服务器个数AvailableNum，之后继续判断AvailableNum是否小于Copies，如果是继续重复执行步骤4，否则执行步骤5；

步骤5，根据存储数据服务器的Payload值，将存储数据服务器由大到小进行排序，把数据存入Payload值较大的存储数据服务器，同时把被存入数据的存储数据服务器的Payload值减去1.0，处理过程结束。

存储数据服务器的动态均衡操作包括以下步骤：

步骤1，计算每个存储数据服务器的空间占用率，然后计算所有存储数据服务器的平均空间占用率，最后计算每个存储数据服务器的空间占用率与平均空间占用率的差值；

步骤2，随机选取空间占用率大于阈值的存储数据服务器作为源存储服务器，随机选取空间占用率小于阈值的存储数据服务器作为目标存储服务器；

步骤3，判断当前源存储服务器和目标存储服务器的负载是否超过负载阀值，如果超过，则将源存储服务器上的一个数据块移动到目标存储服务器上；

步骤4，判断是否需要继续执行动态均衡操作，如果需要，则重复执行步骤1-3的操作，否则退出。

由这些技术特征，本发明还具有如下非常独特的优点：

（1）相同数据可以存储在多个存储数据服务器上，单个一体化云存储系统实现了数据在存储数据服务器之间的多副本备份存储；多用户可以同时访问存储在不同存储数据服务器上的相同数据，实现负载均衡存储。

（2）支持多种类型操作系统上的服务程序访问一体化云存储系统中的同一数据，数据内容相同，保证应用服务对云存储层数据访问的一致性。

（3）实现了一体化云存储系统之间的多机连接，通过元数据主服务器和元数据备份动态管理存储数据服务器，可以动态添加或恢复宕机的存储数据服务器，这种连接不需要停止当前业务，一体化云存储系统之间的这种连接可以动态的，不间断的扩充存储容量。

（4）通过对多个一体化云存储系统内部存储数据服务器的分组，一个系统可以作为另一系统的备份，多个系统之间实现元数据和存储数据的备份，实现了多个一体化云存储系统之间的数据冗余备份，保证了一个系统宕机后不影响业务的正常进行。

附图说明

图1是本发明一体化云存储系统的连接结构示意图；

图2是本发明一体化云存储方法的基本处理流程图；

图3是本发明一体化云存储方法客户端访问时的均衡策略处理流程图；

图4是本发明一体化云存储方法的存储服务器动态均衡操作处理流程图。

具体实施方式

本发明的目的是研制一套满足多种类型操作系统上应用程序共同访问的一体化云存储系统及其存储方法。

本发明采用了分布式文件系统，通过数据的分布式存储和访问，很好的解决了磁盘I/O和网络I/O对数据访问速度的影响。本发明的一体化云存储系统是基于分布式文件系统定制的云存储设备。

本发明将云存储的应用场景分为三层：即用户层、应用服务层、云存储服务层。三者关系中，云存储服务层处于最底层，向应用服务层提供数据存储服务；应用服务层处于中间层，向上一层的用户层提供具体的服务；用户层处于最上层，是存储服务及应用服务的最终使用者。对于用户层来讲，云存储服务层是透明不可见的，同时也是用户不必关心的。这种三层的应用模式，将存储服务与业务处理分离出来，使用户间接的使用到了存储服务，降低了云存储服务层和用户层间的耦合度，使得存储服务作为独立单元的健壮性与专一性加强。存储系统的网络化设计，使得应用服务层的应用程序可以运行在多种类型的操作系统上，增加了存储服务的可利用性，同时，也使得数据备份、数据恢复、容量扩充，数据传输性能等问题更容易解决。

下面结合附图和实施例对发明内容作进一步说明：

参照图1所示，一体化云存储系统，包括交换机1，所述的交换机1与元数据主服务器2、元数据备份服务器3以及一个以上的存储数据服务器4相连接，所述的交换机1、元数据主服务器2、元数据备份服务器3以及一个以上的存储数据服务器4构成了一体化云存储系统的存储服务层；所述的交换机1还通过高速网络数据传输通路同网络5相连接，所述的网络5也同Linux系统服务器6或者带有Windows系统服务器7相连接，网络5、Linux系统服务器6或者Windows系统服务器7构成了一体化云存储系统的应用服务层；所述的网络5还同一个以上的用户终端8相连接，用户终端8构成了一体化云存储系统的用户层。所述的元数据主服务器2是负责管理文件系统的包括文件目录树组织、属性维护、文件操作日志记录以及授权访问这样的元数据，元数据主服务器2还管理整个一体化云存储系统的命名空间以及对外提供单一的系统映像，并负责整个一体化云存储系统的存储集群的管理监控；所述的元数据备份服务器3是元数据服务器的一个镜像，负责当元数据主服务器2异常时提供恢复的数据及相关日志；所述的存储数据服务器4是负责存储用户的实际数据，是整个一体化云存储系统的存储方案中存储资源的提供者；所述的交换机1为各服务器间的网络通讯建立连接。

所述的一体化云存储系统的存储方法，步骤如下：

步骤1：首先元数据主服务器2通过交换机1发出分组指令将存储数据服务器4按照预设的分组需求进行分组，然后当用户终端8需要向一体化云存储系统的存储服务层读数据或写数据时，用户终端8发送相应的读指令或写指令通过网络5操纵高速网络数据传输通路发送到交换机1；

步骤2：交换机1将接收到的读指令或写指令发送到元数据主服务器2中，如果元数据主服务器2接受到的是写指令，元数据主服务器2把写操作状态信息写入元数据备份服务器3，并且元数据主服务器2通过负载均衡器获取所有的存储数据服务器4各自的存储状态信息值，再根据存储状态信息值导出对应的存储数据服务器4的负载均衡状态值，元数据主服务器2将所有的存储数据服务器4各自的存储状态信息值和负载均衡状态值通过交换机1发送回用户终端8，用户终端8再按照均衡策略依次通过网络5和交换机1向对应的存储数据服务器4写入使其达到负载均衡的数据，这样就完成了写操作；如果元数据主服务器2接收到的是读指令，元数据主服务器2就将读指令所针对的读取数据在对应的存储数据服务器4上的存储信息再通过交换机1发送回用户终端8，并且元数据主服务器2把读操作状态信息写入元数据备份服务器3，用户终端8根据所接收的存储信息，通过交换机1把对应的存储数据服务器4上的需要读取的数据传递回用户终端5，这样就完成了读操作；

步骤3：在所述的读操作或写操作执行结束后，元数据主服务器2通过交换机1对所有的存储数据服务器4发出检测指令，当存储数据服务器4接收到检测指令后对自己的磁盘及其存储数据信息是否处于异常状态进行检测，并将检测结果发送回元数据主服务器2，元数据主服务器2接收到检测结果后进行相应处理；如果没有检测结果发送回元数据主服务器2，元数据主服务器2可以判定对应的存储数据服务器4处于宕机状态。

如图2是本系统的基本处理流程图，处理步骤包括：

步骤1，元数据服务器启动。步骤2，存储服务器上报磁盘容量。步骤3，是否首次上报，如果是，则随机生成初始载重Payload<1。步骤4，更新存储服务器磁盘信息。步骤5，客户端请求数据块chunk块。步骤6，客户端负载均衡。后面会有更详细的说明。步骤7，响应客户端请求数据块。步骤8，巡检存储服务器开始。步骤9，服务端负载均衡，后面会有更详细的说明。步骤10，巡检存储服务器结束。步骤11，元数据服务器停止。

参照图3所示，客户端访问时的均衡策略如下：

术语表

步骤1，计算每个存储服务器的Ratio值，Ratio值的计算方法是：当前存储服务的总空间值/存储服务器中最大的总空间值。

步骤2，统计有效存储服务器个数TotalNum和当前Payload值大于1的有效存储服务器个数AvailableNum。

步骤3，判断请求副本个数Copies是否大于TotalNum，如果大于，则令Copies等于TotalNum。

步骤4，判断AvailableNum是否小于Copies，如果是，则将所有有效存储服务器当前的Payload值加上Ratio值，并且重新统计当前Payload值大于1的有效存储服务器个数AvailableNum，之后继续判断AvailableNum是否小于Copies，如果是继续重复执行之前的处理，否则执行下面的步骤。

步骤5，根据存储服务器的Payload值进行由大到小的排序，把数据存入Payload值较大的存储服务器，同时把被存入数据的存储服务器的Payload值减去1.0。处理过程结束

如图4所示，存储服务器动态均衡操作如下：

步骤1，计算每个存储服务器的空间占用率，然后计算所有存储服务器的平均空间占用率，最后计算每个存储服务器的空间占用率与平均空间占用率的差值。

步骤2，随机选取空间占用率大于阈值的存储服务器作为源服务器，随机选取空间占用率小于阈值的存储服务器作为目标服务器。

步骤3，判断当前源存储服务器和目标存储服务器的负载是否超过负载阀值，如果超过，则将源数据服务器上的一个数据块移动到目标数据服务器。

步骤4，进行延时等待，之后判断是否需要继续执行动态均衡操作，如果需要，则重复执行上面的操作，否则退出。

本发明所述的方案是以分布式文件系统为基础，综合考虑了硬件与软件的特性，形成了一种软硬一体化的集群式存储方案。该方案中，将元数据服务器和存储数据服务器通过交换机关联起来，放在一个机架内，形成一个软硬一体存储设备，一体化云存储系统内部的存储数据服务器之间实现数据的多副本存储，保证数据的安全性。一体化云存储系统对外通过交换机接口bonding实现高速的网络传输通路，应用服务器利用高速网络链路与存储一体化云存储系统相连，通过客户端访问数据。多个一体化云存储系统可以通过交换机并联起来，以便提供更大的存储空间，以及实现元数据服务之间的主备备份。同时，可以对机架之间存储数据服务器进行分组，可以保证对机架之间的存储数据的冗余备份，这极大的提高了数据安全性，保证了在一个组（一体化云存储系统）正常运行，多个组（一体化云存储系统）宕机后不影响整个业务的连续性和完整性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (3)

1.一种一体化云存储系统的存储方法，其特征在于：

一体化云存储系统，包括交换机(1)，所述交换机(1)与元数据主服务器(2)以及一个以上的存储数据服务器(4)相连接，所述元数据主服务器(2)负责管理文件系统，所述交换机(1)为元数据主服务器(2)与各存储数据服务器(4)之间的网络通讯建立连接，所述存储数据服务器(4)负责存储用户的实际数据；所述交换机(1)、元数据主服务器(2)以及一个以上的存储数据服务器(4)构成一体化云存储系统的存储服务层；

所述交换机(1)与网络(5)相连接，Linux系统服务器(6)和Windows系统服务器(7)与所述网络(5)相连接，所述网络(5)、Linux系统服务器(6)和Windows系统服务器(7)构成一体化云存储系统的应用服务层；

一个以上的用户终端(8)与所述网络(5)相连接，所述用户终端(8)构成一体化云存储系统的用户层，是整个一体化云存储系统的存储方案中存储资源的提供者；所述的交换机(1)为各服务器间的网络通讯建立连接；

所述存储服务层还包括与交换机(1)相连的元数据备份服务器(3)，元数据备份服务器(3)是元数据服务器(2)的镜像，负责当元数据主服务器(2)异常时提供恢复的数据及相关日志；

所述交换机(1)通过高速网络数据传输通路与网络(5)相连接，Linux系统服务器(6)和Windows系统服务器(7)通过高速网络数据传输通路与网络(5)相连接；

存储方法包括以下步骤：

步骤1：首先、元数据主服务器(2)通过交换机(1)发出分组指令将存储数据服务器(4)按照预设的分组需求进行分组；然后、当用户终端(8)需要向一体化云存储系统的存储服务层读数据或写数据时，用户终端(8)发送相应的读指令或写指令通过网络(5)操纵高速网络数据传输通路发送到交换机(1)；

步骤2：交换机(1)将接收到的读指令或写指令发送到元数据主服务器(2)中，元数据主服务器(2)通过负载均衡器获取所有存储数据服务器(4)各自的存储状态信息值，再根据存储状态信息值导出对应的存储数据服务器(4)的负载均衡状态值，元数据主服务器(2)将所有的存储数据服务器(4)各自的存储状态信息值和负载均衡状态值通过交换机(1)发送回用户终端(8)，用户终端(8)再按照均衡策略依次通过网络(5)和交换机(1)向对应的存储数据服务器(4)写入使其达到负载均衡的数据，完成写操作；

如果元数据主服务器(2)接收到的是读指令，元数据主服务器(2)将读指令所针对的读取数据在对应的存储数据服务器(4)上的存储信息通过交换机(1)发送回用户终端(8)，用户终端(8)根据所接收的存储信息，通过交换机(1)把对应的存储数据服务器(4)上需要读取的数据传递回用户终端(5)，完成读操作；

具体处理方法包括以下步骤：

步骤(1)，元数据主服务器启动，存储数据服务器上报磁盘容量，判断是否为存储数据服务器首次上报，如果是，则随机生成初始载重Payload<1；否则，更新存储数据服务器磁盘信息；

步骤(2)，客户端请求数据块chunk块，客户端执行动态负载均衡操作，响应客户端请求数据块；

客户端的动态均衡操作包括以下步骤：

步骤(2.1)，计算每个存储数据服务器的Ratio值，Ratio值为当前存储服务的总空间值/存储数据服务器中最大总空间值的比值；

步骤(2.2)，统计有效存储数据服务器个数TotalNum和当前Payload值大于1的有效存储数据服务器个数AvailableNum；

步骤(2.3)，判断请求副本个数Copies是否大于TotalNum，如果大于，则令Copies等于TotalNum；否则执行步骤(2.4)；

步骤(2.4)，判断AvailableNum是否小于Copies，如果是，则将所有有效存储数据服务器当前的Payload值加上Ratio值，并且重新统计当前Payload值大于1的有效存储数据服务器个数AvailableNum，之后继续判断AvailableNum是否小于Copies，如果是继续重复执行步骤(2.4)，否则执行步骤(2.5)；

步骤(2.5)，根据存储数据服务器的Payload值，将存储数据服务器由大到小进行排序，把数据存入Payload值较大的存储数据服务器，同时把被存入数据的存储数据服务器的Payload值减去1.0，处理过程结束；

步骤(3)，开始巡检存储数据服务器，存储数据服务器执行动态负载均衡操作，巡检存储数据服务器结束，元数据主服务器停止；

存储数据服务器的动态均衡操作包括以下步骤：

步骤(3.1)，计算每个存储数据服务器(4)的空间占用率，然后计算所有存储数据服务器(4)的平均空间占用率，最后计算每个存储数据服务器(4)的空间占用率与平均空间占用率的差值；

步骤(3.2)，随机选取空间占用率大于阈值的存储数据服务器(4)作为源存储服务器，随机选取空间占用率小于阈值的存储数据服务器(4)作为目标存储服务器；

步骤(3.3)，判断当前源存储服务器和目标存储服务器的负载是否超过负载阀值，如果超过，则将源存储服务器上的一个数据块移动到目标存储服务器上；

步骤(3.4)，判断是否需要继续执行动态均衡操作，如果需要，则重复执行步骤(3.1)-步骤(3.3)的操作，否则退出。

2.根据权利要求1所述的一体化云存储方法，其特征在于：所述交换机(1)连接有元数据备份服务器(3)，当元数据主服务器(2)接收到写指令或读指令时，元数据主服务器(2)将写操作状态信息或读操作状态信息写入元数据备份服务器(3)备份。

3.根据权利要求1所述的一体化云存储方法，其特征在于：在所述的读操作或写操作执行结束后，元数据主服务器(2)通过交换机(1)对所有的存储数据服务器(4)发出检测指令，当存储数据服务器(4)接收到检测指令后对自己的磁盘及其存储数据信息是否处于异常状态进行检测，并将检测结果发送回元数据主服务器(2)，元数据主服务器(2)接收到检测结果后进行相应处理；如果没有检测结果发送回元数据主服务器(2)，元数据主服务器(2)可以判定对应的存储数据服务器(4)处于宕机状态。