CN104219318A - 一种分布式文件存储系统及方法 - Google Patents

Abstract

本发明公开了一种分布式文件存储系统及方法。其系统包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于数据对象的操作；所述集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；该虚拟化平台系统包括虚拟集群控制器，用于承担集群内的计算工作；虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。通过这种新的方式克服传统的分布式文件存储系统中处理器计算资源大量闲置以及系统扩展不灵活的缺点，提升整个分布式存储系统的性能和灵活性。

Description

一种分布式文件存储系统及方法

技术领域

本发明涉及一种数据读写存储系统，特别是一种分布式文件存储系统及方法。

背景技术

随着数字化应用的不断创新和深化，数据呈爆炸式海量增长态势，其中非结构化数据的增长尤为迅速和显著，据统计，全球数据量每18个月翻一番，其中，80％是以图片、音视频、文件为主的非结构化数据。随着web 3.0、云计算、云存储等新兴的商业与服务模式的兴起，以个人为核心的“自媒体”时代将全面到来，势必进一步推动非结构化数据的激增。海量数据的存储管理需要全新的存储架构，其中，弹性、灵活是面向海量非结构化数据存储的一个重要特征。目前，分布式文件存储是解决海量非结构化数据存储的常用解决方案，为满足云计算、云存储实际业务的性能需求，根据分布式文件系统设计架构三方分离的原则，需要将其构建在分布式集群节点之上。针对云计算环境中大规模的应用客户端IO访问，元数据模块需要支撑较高的并发访问请求，因而构建在高性能、大容量服务器集群之上；而作为云计算应用中数据存储载体的分布式文件系统的数据存储模块，其显著特点则是通过后端成千上万的数据存储设备提供实时、持续可用的数据存储空间，并支持分布式文件系统客户端模块的大容量、多并发读取和写入数据。

当前常用的分布式系统实现架构，采用多个X86服务器作为1个分布式集群节点，每个集群节点上配置单路或双路CPU，提供计算能力。加上内存，磁盘等资源，在操作系统和分布式系统调度下，形成一个单节点的集群控制器，承担该集群内部的所有计算任务。当性能不够时，在物理上增加集群节点，获得更多的集群控制能力；集群节点扩展的同时，磁盘、节点间互联的万兆端口也同步扩展。

该架构有几个明显的问题：

1、资源利用率低下，随着处理器技术的进步，多核处理器进一步成熟，一路物理CPU可提供的吞吐能力已远远超过内存和后端磁盘系统的能力，并且只需少量的CPU处理性能就可以将单套软件系统的性能完全发挥(软件系统的进程数、线程数都存在上限)，CPU的计算资源大量处于闲置状态。

2、扩展不灵活，必须是全对称扩展，即集群控制器和存储网络、存储磁盘必须同步扩展，无法单独扩展容量、计算能力，建设复杂，投入高昂。

发明内容

本发明的目的在于提供一种分布式文件存储系统及方法，克服传统的分布式文件存储系统中CPU的计算资源大量闲置以及系统扩展不灵活的缺点,提升了整个分布式存储系统的性能和灵活性。

本发明的目的是通过以下技术方案实现的：

一种分布式文件存储架构系统，包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于操作所述客户端发送的数据对象；集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；该虚拟化平台系统包括虚拟集群控制器和虚拟资源调度器；

虚拟集群控制器，用于承担集群内的计算工作；

虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。

进一步，虚拟集群控制器的底层共享所有磁盘的存储资源；该磁盘选用固态硬盘SSD或其他高速存储介质，其上层包括CPU、内存和总线。

进一步，虚拟资源调度器是资源管理和分配模块，用于动态分配、使用或回收虚拟集群控制器。

进一步，虚拟集群控制器中设有角色控制器，用于赋予该虚拟集群控制器以不同的逻辑标签，比如存储虚拟机，计算虚拟机，管理虚拟机，仲裁虚拟机等。将集群控制器中功能实现不同的群组划分为多个子集群，实现控制路径和数据路径的分离，符合软件定义存储的开放性设计要求。

实现上述分布式文件存储系统的方法，包括如下步骤：

初始化，预配置虚拟集群控制器；

判断所述虚拟集群控制器是否出现数据热点或访问高峰；

若出现数据热点或访问高峰，则虚拟资源调度器执行增加虚拟集群控制器的数量的操作；

数据热点或访问高峰结束之后，则虚拟资源调度器执行减少虚拟集群控制器的数量的操作。

进一步，预配置虚拟集群控制器包括：

选择虚拟机的硬件格式；

选择要创建的虚拟机类型及要运行的操作系统；

选择虚拟机中CPU的数量；

设置虚拟机使用的内存；

设置虚拟机网卡。

进一步，判断是否出现数据热点或访问高峰包括：

获取系统核心资源的分配、使用、和剩余情况，通过算法得出系统使用状态表征数值；

将系统使用状态表征数值与阈值比较，若其大于阈值，判定为系统出现数据热点或访问高峰；若系统使用状态表征数值不大于该阈值，判定为系统数据热点或访问高峰未出现或是系统数据热点或访问高峰结束。若判定系统数据热点或访问高峰未出现，则保持系统原有的虚拟集群控制器的数量；若判定系统数据热点或访问高峰出现，则需虚拟资源调度器执行增加虚拟集群控制器的数量的操作，且判定系统数据热点或访问高峰结束后，虚拟资源调度器执行减少虚拟集群控制器的数量的操作。

虚拟资源调度器执行增加虚拟集群控制器的数量的操作具体包括，虚拟资源调度器调用程序启动更多的虚拟集群控制器来分担原有虚拟集群控制器的工作负载，达到平衡优化的目的。

虚拟资源调度器执行减少虚拟集群控制器的数量的操作具体包括，虚拟资源调度器调用程序回收和关闭过量的虚拟集群控制器，不仅平衡了工作负载，同时达到了节能的目的。

进一步，获取系统核心资源的分配、使用和剩余情况包括：获取虚拟集群控制器的CPU的线程和进程、内存或磁盘状态的负载数据。

本发明的有益效果如下：本发明的分布式文件存储系统，参照虚拟化设计思路，引入虚拟资源调度器和虚拟集群控制器的概念，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高了CPU的利用率；将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活；在逻辑上，虚拟集群控制器将原有的多节点集群的规模扩大数倍甚至数十倍，也大大的提升了分布式文件存储系统的整体处理能力；通过虚拟资源调度器能够在磁盘容量不变以及互联网络不变的情况下，弹性的扩展虚拟集群控制器的处理能力，可以满足计算密集型文件存储应用的性能要求。

附图说明

图1是本发明第一实施例的一种分布式文件存储系统示意图；

图2是本发明第二实施例的一种分布式文件存储系统示意图；

图3是本发明第三实施例的一种分布式文件存储系统的实现方法的流程图；

图4是本发明第四实施例的一种分布式文件存储系统的实现方法的流程图；

图5是当前常用的分布式文件存储系统示意图。

图中：

1、客户端         2、集群存储池     3、虚拟集群控制器

4、虚拟资源调度器 5、磁盘

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例1：

图1给出本发明第一实施例的一种分布式文件存储系统示意图。如图1所示，所述系统包括客户端1，用于发送数据对象的操作请求并接收数据内容；集群存储池2，用于操作所述客户端1发送的数据对象；传输网络，用于连接所述客户端1和所述集群存储池2；该集群存储池2包括多台传统的X86服务器，且在每台服务器上部署虚拟化平台系统，将单个集群控制器演变为多个虚拟化集群控制器。其中，虚拟化平台系统包括虚拟集群控制器3和虚拟资源调度器4；该虚拟集群控制器3，用于承担集群内的计算工作；该虚拟资源调度器4，用于集群内虚拟化管理和虚拟资源调度。

本系统将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器4动态分配、使用、回收以及再分配，资源调度方式更灵活；在逻辑上，虚拟集群控制器3将原有的多节点集群的规模扩大数倍甚至数十倍，也大大的提升了分布式文件存储系统的整体处理能力。

实施例2：

图2是本发明第二实施例的一种分布式文件存储系统示意图。如图2所示，本系统包括客户端1、传输网络和集群存储池2，该集群存储池2包括多台传统的X86服务器，且在每台服务器上部署虚拟化平台系统，将单个集群控制器演变为多个虚拟集群控制器3。其中，虚拟集群控制器3的底层共享所有磁盘的存储资源；其上层包括CPU、内存和总线。虚拟资源调度器4是资源管理和分配的模块，用于动态分配、使用或回收虚拟集群控制器3。虚拟集群控制器3中设有角色控制器，用于赋予该虚拟集群控制器3以不同的逻辑标签，比如存储虚拟机，计算虚拟机，管理虚拟机，仲裁虚拟机等。虚拟集群控制器3按功能不同，进一步可以分为，元数据控制虚拟控制器，协议服务虚拟控制器，数据优化虚拟控制器，迁移归档虚拟控制器等多种“角色”虚拟控制器，每种角色也可以按需动态扩展为集群模式。

虚拟资源调度器4是一个以KVM(Kernel-based Virtual Machine，基于核心的虚拟机)为基础的监控和资源配置的模块，通过对虚拟集群控制器3(本质是一个特殊功能的虚拟机)CPU、内存和磁盘负载情况的检测，决定是否需要增加或减少新的虚拟集群控制器3。使用虚拟资源调度器4可以动态的改变虚拟集群控制器3的数量：当检测到系统处于处理高峰时，启动更多的虚拟集群控制器3来分担原有虚拟集群控制器3的工作负载，将处理工作均分，可以达到平衡负载的效果。因计算和存储在某一个或某几个时间点需要极高的性能，其他时间点的性能需求则相对较低，如按照最低性能匹配无法满足特定时刻的资源需求，按照最高性能匹配则存在明显的投资浪费。本设计不再需要考虑根据系统计算和存储匹配固定资源的难度，利用虚拟资源调度器4可以实现匹配资源的动态启动或回收关闭。

虚拟资源调度器4动态调整虚拟集群控制器3，并实施虚拟集群控制器3和负载迁移，以达到最佳的平衡状态。具体包括：在虚拟集群控制器3数量偏少和平均负载偏低的情况下，将虚拟集群控制器3集中迁移到较少的物理机上，并将一部分物理机停机，以达到节能和提高计算或能耗比的目的；在虚拟机数量偏多和平均负载偏高的情况下，启动更多的备用物理机并进行负载平衡。同时，由于虚拟集群控制器3中的应用负载会随时间变化，因此应及时响应虚拟集群控制器3负载的变化，适当为高负载的虚拟集群控制器3分配更充裕的资源，以适应虚拟集群控制器3对资源的需求。

通过虚拟资源调度器4可以手动或自动的动态分配、使用或回收虚拟集群控制器3。通过虚拟资源调度器4能够在磁盘容量不变以及互联网络不变的情况下，弹性的扩展虚拟集群控制器3的处理能力，可以满足计算密集型文件存储应用的性能要求。

在虚拟资源调度器4的控制下，控制逻辑虚拟机和数据逻辑虚拟机完全分离，并且均可实现集群化的扩展。

虚拟集群控制器3包括的底层共享所有磁盘5的存储资源；上层包括CPU、内存和总线。在共享磁盘存储结构下，可以通过虚拟机的迁移机制改变虚拟集群控制器3所属的宿主物理机，以改变虚拟集群控制器3的各类资源的访问性能。虚拟集群控制器3的CPU、内存和网络资源，都可以通过迁移改变访问性能，还可以通过改进和优化分布式文件系统的方式来改进I/O性能。

角色控制器是虚拟集群控制器3里的一个功能选项，赋予该虚拟集群控制器3以不同的逻辑标签，比如存储虚拟机，计算虚拟机，管理虚拟机，仲裁虚拟机等，可将虚拟集群控制器3中功能实现不同的群组划分为多个子集群，实现控制路径和数据路径的分离，多重数据路径单元可以通过一个或多个交换平台被发送，一个或多个控制路径(通常是一簇)单元可以控制数据路径单元，这就可以使一个小的SAN(Storage Area Network，存储局域网络)扩展到最大的SAN，同时还是单个应用程序。由于数据路径和控制路径不存在任何失效点，所以可用性也大大提高，符合存储的开放性设计要求。

实施例3：

图3是本发明第三实施例的一种分布式文件存储系统的实现方法的流程图。如图3所示，所述方法包括如下步骤：

步骤S301、初始化，预配置虚拟集群控制器；

步骤S302、判断所述虚拟集群控制器是否出现数据热点或访问高峰；

步骤S303、若出现数据热点或访问高峰，则虚拟资源调度器执行增加虚拟集群控制器的数量的操作；此时虚拟资源调度器调用程序启动更多的虚拟集群控制器来分担原有虚拟集群控制器的工作负载，达到平衡优化的目的；

步骤S304、步骤S303中数据热点或访问高峰结束之后，则虚拟资源调度器执行减少虚拟集群控制器的数量的操作。在总负载不变的情况下，则可以通过减少虚拟集群控制器的数量，实现剩余虚拟集群控制器负载提升，最终达到资源利用率提升的效果，不仅平衡了工作负载，也达到了节能的目的。关闭的动作分为刷新缓存数据，文件系统一致性监测，系统进程关闭，系统关闭几个阶段，和正常的操作系统关机相似。

本方法借助虚拟资源调度器和虚拟集群控制器的概念，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高了处理器的利用率；将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活；考虑到峰值计算和存储问题，解决了当前常用的分布式存储系统在大部分计算机应用系统中，存在峰值计算的问题，通过虚拟资源调度器动态的增加或者关闭虚拟集群控制器，平衡了工作负载，关闭不需要的虚拟集群控制器，达到了节能的目的。

实施例4：

图4是本发明第四实施例的一种分布式文件存储系统的实现方法的流程图。如图4所示，所述方法包括如下步骤：

步骤S401A、选择虚拟机的硬件格式；

步骤S401B、选择要创建的虚拟机类型及要运行的操作系统；

步骤S401C、选择虚拟机中CPU的数量；

步骤S401D、设置虚拟机使用的内存；

步骤S401E、设置虚拟机网卡。

步骤S402A：获取系统核心资源的分配、使用和剩余情况，通过算法得出系统使用状态表征数值；系统中的sar，iostat，vmstat，free，top等命令可输出系统核心资源的分配、使用和剩余情况，上述输出值通过加权平均算法得出系统使用状态表征数值。其中，获取系统核心资源的分配、使用和剩余情况包括获取虚拟集群控制器的CPU的线程和进程、内存或磁盘状态的负载数据。

步骤S402B：将系统使用状态表征数值与阈值比较(也可以使用nmon，cacti等工具进行辅助判断)。若系统使用状态表征数值大于阈值，判定为系统出现数据热点或访问高峰，虚拟资源调度器执行增加虚拟集群控制器的数量的操作。具体包括，虚拟资源调度器调用程序启动更多的虚拟集群控制器来分担原有虚拟集群控制器的工作负载，达到平衡优化的目的。

步骤S403A：若出现数据热点或访问高峰，则虚拟资源调度器执行增加虚拟集群控制器的数量的操作，到步骤S404。

步骤S403B：若未出现数据热点或访问高峰，则执行步骤S402A获取系统核心资源的分配、使用和剩余情况，通过算法得出系统使用状态表征数值。

步骤S404：在步骤S403A中的数据热点或访问高峰结束之后，虚拟资源调度器执行减少虚拟集群控制器的数量的操作。虚拟资源调度器执行减少虚拟集群控制器的数量的操作具体包括，虚拟资源调度器调用程序回收和关闭过量的虚拟集群控制器。

当前常用的分布式文件存储系统，如图5所示，采用多个X86服务器作为1个分布式集群节点，每个集群节点上配置单路或双路CPU，内存和磁盘等资源，在操作系统和分布式系统调度下，形成一个单节点的集群控制器，承担该集群内部的所有计算任务。当前常用的分布式文件存储系统未考虑数据热点或访问高峰的问题，在大部分计算机应用系统中，存在峰值计算问题，即计算和存储在某一个或某几个时间点需要极高的性能，其他时间点的性能需求则相对较低，如按照最低性能匹配无法满足特定时刻的资源需求，按照最高性能匹配则存在明显的投资浪费。

本系统引入虚拟资源调度器和虚拟集群控制器的概念，借鉴虚拟化设计思路，将传统的X86硬件资源进行虚拟化控制，将单个集群控制器演变为多个虚拟化集群控制器，更大地发挥所有物理机的计算和处理能力，提高了CPU的利用率；将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活。除此之外，本方法考虑到峰值计算和存储问题，可判断数据热点或访问高峰是否出现，若出现，则动态增加虚拟集群控制器来分担原有虚拟集群控制器的工作负载，达到平衡优化的目的；当数据热点或访问高峰结束，减少虚拟集群控制器的数量，实现剩余虚拟集群控制器负载提升，最终达到资源利用率提升的效果，不仅平衡了工作负载，也达到了节能的目的。解决了当前常用的分布式存储系统在大部分计算机应用系统中存在峰值计算的问题。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (8)

1.一种分布式文件存储系统，包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于操作所述客户端发送的数据对象；其特征在于，所述集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；所述虚拟化平台系统包括虚拟集群控制器和虚拟资源调度器；

所述虚拟集群控制器，用于承担集群内的计算工作；

所述虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。

2.根据权利要求1所述的分布式文件存储系统，其特征在于，所述虚拟集群控制器的底层共享所有磁盘的存储资源；其上层包括CPU、内存和总线。

3.根据权利要求1所述的分布式文件存储系统，其特征在于，所述虚拟资源调度器是资源管理和分配的模块，用于动态分配、使用或回收虚拟集群控制器。

4.根据权利要求1所述的分布式文件存储系统，其特征在于，所述虚拟集群控制器中设有角色控制器，用于赋予该虚拟集群控制器以不同的逻辑标签。

5.一种分布式文件存储系统的实现方法，其特征在于，包括如下步骤：

初始化，预配置虚拟集群控制器；

判断所述虚拟集群控制器是否出现数据热点或访问高峰；

若出现数据热点或访问高峰，则虚拟资源调度器执行增加虚拟集群控制器的数量的操作；

数据热点或访问高峰结束之后，则虚拟资源调度器执行减少虚拟集群控制器的数量的操作。

6.根据权利要求5所述的实现方法，其特征在于，预配置虚拟集群控制器包括：

选择虚拟机的硬件格式；

选择要创建的虚拟机类型及要运行的操作系统；

选择虚拟机中CPU的数量；

设置虚拟机使用的内存；

设置虚拟机网卡。

7.根据权利要求5所述的实现方法，其特征在于，判断是否出现数据热点或访问高峰包括：

获取系统核心资源的分配、使用和剩余情况，通过算法得出系统使用状态表征数值；

将系统使用状态表征数值与阈值比较，若其大于阈值，判定为系统出现数据热点或访问高峰；若系统使用状态表征数值不大于该阈值，判定为系统数据热点或访问高峰未出现或是系统数据热点或访问高峰结束。

8.根据权利要求7所述的实现方法，其特征在于，获取系统核心资源的分配、使用和剩余情况包括：获取虚拟集群控制器的CPU的线程和进程、内存或磁盘状态的负载数据。