CN103077197A - 一种数据存储方法装置 - Google Patents

Abstract

本发明涉及一种数据存储方法及装置。其中，数据存储方法包括：接收待存储的数据；根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。本发明的数据存储方法及装置，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。另外，本发明的数据存储方法及装置还对存储服务器进行了分组，通过再组外拷贝副本，提高了文件系统的安全性。

Description

一种数据存储方法装置

技术领域

本发明涉及计算机领域，尤其涉及一种应用于云计算平台的数据存储方法及装置。

背景技术

分布式文件系统由元数据服务器、存储数据服务器、客户端、管理工具组成。元数据服务器用于管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管理整个存储系统的命名空间，对外提供单一的系统映像，并负责整个存储集群的管理监控。存储服务器用于存储用户的实际数据，是整个分布式文件系统存储资源提供者。当应用服务器进行数据访问时，存储服务器集群提供实际的数据IO（Input/Outpu，输入/输出）服务，客户端同应用对接，应用通过客户端访问分布式文件系统。

存储服务器是文件系统的物理存储设备，是整个分布式文件系统的存储资源提供者。当应用服务器进行数据访问时，存储服务器集群提供实际的数据IO服务,数据压力分布在存储服务器集群中的各存储服务器之间。

当前，分布式文件系统存储服务器设定有一个限额值。分布式文件系统按照操作顺序，轮流的把该次操作的数据存储到已占用存储空间未超过限额值的存储服务器的存储空间中。如果所有的存储服务器的已占用存储空间都超过限额值，则限额值翻倍。

图1为传统分布式存储流程示意图。如图1所示，传统分布式存储流程包括如下步骤：

步骤S101，准备存储数据；

步骤S102，判断当前存储服务器已占用的存储空间是否小于限额值，若是执行步骤S106，否则执行步骤S103；

步骤S103，判断所有存储服务器的已占用存储空间是否都超过限额值，若是执行步骤S105，否则执行步骤S104；

步骤S104，修改限额值变大；

步骤S105，查看下一个存储服务器的已占用存储空间；

步骤S106，将数据存储到当前存储服务器的存储空间，存储完成。

传统分布式存储方式存在如下问题：

（1）存储服务器负载不均衡：现有方案轮流依次存储数据到存储服务器，因为每次操作的数据大小不一，虽然轮流操作均衡了每个存储服务器的操作次数。但长久时间后，每个存储服务器负载差异较大。存储服务器负载差异大后，IO不均衡，读写文件性能降低。

（2）存储服务器没有分组：存储服务器不分组，处于同一环境中，比如同一机房，如果机房掉电，那么该机房中存储服务器都不能访问。尽管其他机房的存储服务器可以正常访问。此场景下，分布式文件系统中会出现部分文件不能访问的情况。

（3）跨网络段存储，按照整个存储集群进行存储，多个副本存储在各个存储节点，当跨网段部署时，存储效率低。一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。

发明内容

本发明所要解决的技术问题是提供一种数据存储方法装置，提高文件系统的读写性能。

为解决上述技术问题，本发明提出了一种数据存储方法，应用于分布式文件系统，包括：

接收待存储的数据；

根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。

进一步地，上述数据存储方法还可具有以下特点，所述根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，包括：

计算分布式文件系统中各存储服务器的负载值；

将各存储服务器按照所述负载值进行排序；

选择负载值最小的存储服务器来存储所述数据。

进一步地，上述数据存储方法还可具有以下特点，在所述选择负载值最小的存储服务器来存储所述数据之后，还包括：

将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。

进一步地，上述数据存储方法还可具有以下特点，所述将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中，包括：

对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；

选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。

进一步地，上述数据存储方法还可具有以下特点，所述同一环境指场地相同、场景相同。

为解决上述技术问题，本发明提出了一种数据存储系统，应用于分布式文件系统，包括：

接收模块，用于接收待存储的数据；

存储模块，用于根据分布式文件系统中各存储服务器的负载值将所述接收模块接收的待存储数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。

进一步地，上述数据存储装置还可具有以下特点，所述存储模块包括：

计算单元，用于计算分布式文件系统中各存储服务器的负载值；

排序单元，用于将各存储服务器按照所述负载值进行排序；

选择单元，用于选择负载值最小的存储服务器来存储所述数据。

进一步地，上述数据存储装置还可具有以下特点，所述存储模块还包括：

副本存储单元，用于将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。

进一步地，上述数据存储装置还可具有以下特点，所述副本存储单元还包括：

分组子单元，用于对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；

组外选择子单元，用于选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。

进一步地，上述数据存储装置还可具有以下特点，所述同一环境指场地相同、场景相同。

本发明的数据存储方法及装置，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。另外，本发明的数据存储方法及装置还对存储服务器进行了分组，将处同一场地、场景（例如同一机架、同一机房）的存储服务器设置在同一小组内，通过再组外拷贝副本，当某一场地发生重大故障（比如同一机房掉电），此时文件系统可以正常访问其他组外副本，提高了文件系统的安全性。

附图说明

图1为传统分布式存储流程示意图；

图2为本发明实施例中数据存储方法的流程图；

图3为本发明实施例中数据存储的一个具体流程图；

图4为本发明实施例中数据存储装置的结构框图。

具体实施方式

详单云存储是一款为云存储服务而设计的集群存储系统，用户可以抛开文件的实际物理位置，仅通过一定的逻辑关系就可以查找和访问网络的文件资源。用户能够像访问本地文件一样，访问分布在网络中多个服务器上的文件提供PB级的存储容量，实现文件系统存储虚拟化。

本发明的主要构思是：在分布式文件系统中存储数据的时候，根据存储服务器主机的负载值（负载值等于存储服务器的已占用容量与总容量的比值）将数据均匀的分散到每一个存储服务器，也就是存储负载均衡。

本发明的数据存储方法可以应用于分布式文件系统。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图2为本发明实施例中数据存储方法的流程图。如图2所示，本实施例中，数据存储方法可以包括以下步骤：

步骤S101，接收待存储的数据；

步骤S102，根据分布式文件系统中各存储服务器的负载值将待存储数据存储到对应的存储服务器中，其中，负载值等于存储服务器的已占用容量与总容量的比值。

其中，步骤S102可以由以下子步骤来实现：

（a），计算分布式文件系统中各存储服务器的负载值；

（b），将各存储服务器按照负载值进行排序；

排序的方式可以是从小到大，也可以是从大到小。

（c），选择负载值最小的存储服务器来存储待存储数据。

在步骤（c）之后，还可以进一步包括步骤（d）：将待存储数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。

具体地，步骤（d）可以包括如下步骤：对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中，其中，同一环境指场地相同、场景相同；选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储数据的副本。

图3为本发明实施例中数据存储的一个具体流程图。由图3所示，该数据存储过程包括如下步骤：

步骤S301，获得每个存储服务器的负载值；

步骤S302，根据负载值对存储服务器进行排序；

步骤S303，判断存储的副本数是否大于可用的存储服务器的数量，若是执行步骤S304，否则执行步骤S307；

这里，可用的存储服务器是指负载值小于预设的满负荷阈值的存储服务器。

步骤S304，判断存储的副本数是否大于组中的最大存储服务器数量，若是执行步骤S305，否则执行步骤S306；

步骤S305，将组外的可用存储服务器加入到排序队列中；

步骤S306，将组内的可用存储服务器加入到排序队列中；

步骤S307，将可用存储服务器加入到排序队列中；

步骤S308，选择排序队列中负载值大于预设阈值的存储服务器；

步骤S309，发送复制命令，将待存储数据的副本存储在选择的存储服务器中，存储完成。

由上可见，本发明的数据存储方法采用了负载均衡算法。每台存储服务器的总容量可以相同，也可以不同。本发明的数据存储方法，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。

另外，本发明的数据存储方法还对存储服务器进行了分组，将处同一场地、场景（例如同一机架、同一机房）的存储服务器设置在同一小组内，通过再组外拷贝副本，当某一场地发生重大故障（比如同一机房掉电），此时文件系统可以正常访问其他组外副本，提高了文件系统的安全性。

本发明还提出了一种数据存储装置，用以实施上述的数据存储方法。

图4为本发明实施例中数据存储装置的结构框图。如图4所示，本实施例中，数据存储装置包括接收模块410和存储模块420。其中，接收模块410用于接收待存储的数据。存储模块420用于根据分布式文件系统中各存储服务器的负载值将接收模块410接收的待存储数据存储到对应的存储服务器中，其中，负载值等于存储服务器的已占用容量与总容量的比值。

其中，存储模块420可以进一步包括计算单元、排序单元和选择单元。计算单元、排序单元和选择单元顺次相连。其中，计算单元用于计算分布式文件系统中各存储服务器的负载值。排序单元用于将各存储服务器按照负载值进行排序。选择单元用于选择负载值最小的存储服务器来存储所述数据。

存储模块420可以进一步包括副本存储单元。副本存储单元用于将待存储数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。其中，副本存储单元可以进一步包括分组子单元和组外选择子单元。分组子单元用于对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中。组外选择子单元用于选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储待存储数据的副本。同一环境指场地相同、场景相同。

本发明的数据存储装置，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。

另外，本发明的数据存储装置还对存储服务器进行了分组，将处同一场地、场景（例如同一机架、同一机房）的存储服务器设置在同一小组内，通过再组外拷贝副本，当某一场地发生重大故障（比如同一机房掉电），此时文件系统可以正常访问其他组外副本，提高了文件系统的安全性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据存储方法，应用于分布式文件系统，其特征在于，包括：接收待存储的数据；

根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。

2.根据权利要求1所述的数据存储方法，其特征在于，所述根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，包括：

计算分布式文件系统中各存储服务器的负载值；

将各存储服务器按照所述负载值进行排序；

选择负载值最小的存储服务器来存储所述数据。

3.根据权利要求2所述的数据存储方法，其特征在于，在所述选择负载值最小的存储服务器来存储所述数据之后，还包括：

将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。

4.根据权利要求3所述的数据存储方法，其特征在于，所述将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中，包括：

对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；

选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。

5.根据权利要求4所述的数据存储方法，其特征在于，所述同一环境指场地相同、场景相同。

6.一种数据存储装置，应用于分布式文件系统，其特征在于，包括：

接收模块，用于接收待存储的数据；

存储模块，用于根据分布式文件系统中各存储服务器的负载值将所述接收模块接收的待存储数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。

7.根据权利要求6所述的数据存储装置，其特征在于，所述存储模块包括：

计算单元，用于计算分布式文件系统中各存储服务器的负载值；

排序单元，用于将各存储服务器按照所述负载值进行排序；

选择单元，用于选择负载值最小的存储服务器来存储所述数据。

8.根据权利要求7所述的数据存储装置，其特征在于，所述存储模块还包括：

副本存储单元，用于将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。

9.根据权利要求8所述的数据存储装置，其特征在于，所述副本存储单元包括：

分组子单元，用于对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；

组外选择子单元，用于选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。

10.根据权利要求9所述的数据存储装置，其特征在于，所述同一环境指场地相同、场景相同。

Images