CN104298574B - 一种数据高速存储处理系统 - Google Patents

Abstract

本发明公开了一种数据高速存储处理系统，系统构架包括对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端，对象数据存储控制模块与对象数据存储模块相连，元数据存储控制模块与元数据存储模块相连，对象数据存储控制模块与元数据存储控制模块通信连接；客户端分别与对象数据存储控制模块、元数据存储控制模块通信；本发明采用高可用性双活模式，与传统的模式相比，提升了硬件的资源利用率，增加客户端访问速度，提高数据传输速度，提供保护机制，高可用性；采用Raid6模式，留有备用的存储空间，防止数据丢失；对长时间没有被访问的数据进行标记，提醒用户整理数据存储空间，提高利用率。

Description

一种数据高速存储处理系统

技术领域

本发明属于变频控制技术领域，具体涉及一种数据高速存储处理系统。

背景技术

文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。

根据计算环境和所提供功能的不同，文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统，如DOS的文件系统；多处理器单用户的本地文件系统，如OS/2的文件系统；多处理器多用户的本地文件系统，如Unix的本地文件系统；多处理器多用户的分布式文件系统，如Lustre文件系统。

Lustre是一种平行分布式文件系统，通常用于大型计算机集群和超级电脑，分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

并行计算机是由一组处理单元组成的。这组处理单元通过相互之间的通信与协作，以更快的速度共同完成一项大规模的计算任务。因此，并行计算机的两个最主要的组成部分是计算节点和节点间的通信与协作机制。并行计算机体系结构的发展也主要体现在计算节点性能的提高以及节点间通信技术的改进两方面。

现有的文件系统的一台存储服务器控制存储磁盘，当该存储服务器发生故障时，整个系统就会瘫痪，使系统无法正常应用，防御机制比较差，可用性不高，同时客户端在访问数据时，数据传输速度慢，利用率低，同时现有的文件系统为了节省成本，磁盘在划分的时候并没有留出足够多的备用空间为数据存储提供保护机制，一旦磁盘损坏，没有替补磁盘，则会导致数据丢失，给用户造成损失。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种数据高速存储处理系统，该系统基于现有的文件集群系统，对系统进行了相应的改进，将系统的中的两台服务器并行工作，增加了客户端的访问速度，提高了数据的传输速度，同时当一台出现问题时，其中一台可接管另一台的工作内容，为文件系统提供保护机制，提高文件系统的高可用性；采用Raid6模式，为每个存储器留有备用的存储空间，有效的防止数据丢失；对数据的更新进行统计，对长时间没有被访问的数据进行标记，及时提醒用户整理数据，为文件系统整理出足够的空间，防止存储空间的浪费，提高利用率。

本发明为解决上述技术问题采用以下技术方案：

一种数据高速存储处理系统，其架构包括：对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端；

对象数据存储模块：包括多个对象数据存储单元，用以存储客户端存储或者读取的数据，为客户端提供数据存储和读取的空间；

对象数据存储控制模块：包括多个对象数据存储服务器，对对象数据存储模块进行管理和控制，从元数据存储控制模块获取数据的存储位置，将客户端的数据按照元数据存储控制模块提供的存储位置存储到指定的位置；

元数据存储控制模块：包括多个元数据存储服务器，对元数据存储模块进行管理和控制，获取对象数据存储模块中的所有数据的数据信息和所有数据在对象数据存取模块中的存储位置，同时为对象数据存数模块提供数据存储的相应位置，为客户端提供数据的信息和存储位置；

元数据存储模块：包括多个元数据存储单元，保存元数据存储控制模块获取的对象数据存储模块中的存放数据的所有信息和该数据在对象数据存储模块中的存储位置；

每个对象数据存储服务器与多个对象数据存储单元相连，每个对象数据存储单元均与两个对象数据控制服务器相连，两个对象数据存储服务器之间通过以太网络连接构成一个对象数据高可用性单元；

每个元数据存储服务器与多个元数据存储单元相连，每个元数据存储单元与两个元数据存储服务器相连；两个元数据存储服务器之间通过以太网络连接连接构成一个元数据高可用性单元；

对象数据存储控制模块与元数据存储控制模块基于网络进行通信连接；客户端分别与对象数据存储控制模块、元数据存储控制模块基于网络相互通信；

对象数据高可用性单元中的两个对象数据存储服务器在进行数据存储或读取时同时工作，当对象数据高可用性单元中的一个对象数据存储服务器发生故障不能正常工作时，对象数据高可用性单元中的另一个对象数据存储服务器会接管该发生故障的对象数据存储服务器的业务；

元数据高可用性单元中的两个元数据存储服务器同时工作，当元数据高可用性单元中的一个元数据存储服务器发生故障不能正常工作时，元数据高可用性单元中的另一个元数据存储服务器会接管该发生故障的元数据存储服务器的业务；

数据的处理包括写入和读取，其过程如下：

客户端将数据包存入对象数据存储模块的过程中，首先，元数据存储控制模块首先根据存入数据包的大小为该数据包分配其在对象数据存储模块中的存储位置，元数据存储控制模块根据分析其内部存储的对象数据存储模块的相应存储信息，为数据包指定其在对象数据存储模块中的存储位置，元数据存储控制模块通过读取该数据包的信息，得到该数据的名称、大小、类型、属性，元数据存储控制模块将得到的该数据的名称、大小、类型、属性和其在对象数据存储模块中的存储位置记录并进行保存，元数据存储控制模块与对象数据存储控制模块进行通信，对象数据存储控制根据元数据存储控制模块指定的位置，将数据包存放在对象数据存储模块中相应的存储位置，同时元数据存储控制模块将该数据包的更新时间进行存储，对象数据存储控制模块和元数据存储控制模块之间建有每个数据的内容和其数据信息所对应的映射表；

客户端在读取对象数据存储模块的数据时，首先访问元数据存储控制模块，调用该数据在对象数据存储模块的存储位置和数据信息，客户端根据得到的数据存储的信息通过对象数据存储控制模块读取数据，元数据存储控制模块存储该信息的读取时间，并更新数据的映射表；

元数据存储控制模块中设有每个数据读取存储的时间数组，元数据存储控制模块按照设定的时间访问时间数组，将数组中数据的更新时间与当前的时间做减法，并取绝对值，得到数组中每个数据的未更新的时间段，并与其内部设定的时间段的阈值进行比较，超过该阈值时，元数据存储控制模块对该数据进行标记，提醒客户端对该数据进行相应的处理，从而整理对象数据存储模块中的存储空间。

作为本发明的进一步优化方案，所述对象数据存储模块采用磁盘阵列，所述磁盘阵列采用N+2的模式。

作为本发明的进一步优化方案，所述该系统采用Infiniband网络。

作为本发明的进一步优化方案，所述对象数据存储控制模块和对象数据存储模块通过SAS（Serial Attached SCSI，串行连接SCSI接口）主机适配器相连。

作为本发明的进一步优化方案，还包括Infiniband主机通道适配器，所述客户端通过Infiniband主机通道适配器分别与对象数据存储控制模块、元数据存储控制模块相连。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

第一、该系统基于现有的文件集群系统，对系统进行了相应的改进，将系统的中的两台服务器并行工作，增加了客户端的访问速度，提高了数据的传输速度，同时当一台出现问题时，其中一台可接管另一台的工作内容，为文件系统提供保护机制，提高文件系统的高可用性；

第二、采用Raid6模式，为每个存储器留有备用的存储空间，有效的防止数据丢失；

第三、对数据的更新进行统计，对长时间没有被访问的数据进行标记，及时提醒用户整理数据，为文件系统整理出足够的空间，防止存储空间的浪费，提高利用率。

附图说明

图1本发明的系统结构示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开一种数据高速存储处理系统，如图1所示，一种数据高速存储处理系统，其架构包括：对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端；

对象数据存储模块：包括多个对象数据存储单元，用以存储客户端存储或者读取的数据，为客户端提供数据存储和读取的空间；

对象数据存储控制模块：包括多个对象数据存储服务器，对对象数据存储模块进行管理和控制，从元数据存储控制模块获取数据的存储位置，将客户端的数据按照元数据存储控制模块提供的存储位置存储到指定的位置；

元数据存储控制模块：包括多个元数据存储服务器，对元数据存储模块进行管理和控制，获取对象数据存储模块中的所有数据的数据信息和所有数据在对象数据存取模块中的存储位置，同时为对象数据存数模块提供数据存储的相应位置，为客户端提供数据的信息和存储位置；

元数据存储模块：包括多个元数据存储单元，保存元数据存储控制模块获取的对象数据存储模块中的存放数据的所有信息和该数据在对象数据存储模块中的存储位置；

对象数据存储服务器与对象数据存储单元由SAS线相连；元数据存储服务器与元数据存储单元由SAS线相连；客户端通过IB主机通道适配器分别与对象数据存储控制模块、元数据存储控制模块相连。

对象数据存储服务器与元数据存储服务器基于网络进行通信连接；客户端分别与对象数据存储服务器、元数据存储服务器基于网络相互通信；每个对象数据存储单元与两个对象数据存储服务器节点相连，两个对象数据存储服务器之间由心跳线相连，构建高可用性单元。每个对象存储服务器可以连接一个或多个对象数据存储单元。

对象数据存储服务器高可用性单元中两个对象数据存储服务器节点在进行数据存储时同时运行，当对象数据存储服务器高可用性单元中的其中一个对象数据存储服务器节点发生故障时，另外一个对象数据存储服务器节点会接管该对象数据存储服务器节点的业务，同时对故障服务器未处理完的数据进行重传，保证数据的一致性。

对象数据存储服务器与对象数据存储单元形成一个存储控制矩阵，保证数据的安全性和系统的稳定性能。

元数据存储服务器高可用性单元中两个元数据存储服务器节点在进行数据存储时同时运行，当元数据存储服务器高可用性单元中的其中一台元数据存储服务器节点发生故障时，另外一台元数据存储服务器节点会接管该元数据存储服务器节点的业务，同时对故障服务器未处理完的数据进行重传，保证数据的一致性。

数据的处理过程如下：

数据的处理包括写入和读取。

数据的写入：首先，元数据存储服务器首先分析整个系统的存储空间，根据写入数据的大小为该数据分配其在对象数据存储单元中的存储位置。同时，元数据存储服务器通过读取该数据的数据包信息，得到该数据的相关属性，包括名称、大小、类型等，将这些属性连同在对象存储数据单元的位置和存储时间一起保存到元数据存储单元。对象数据存储服务器和元数据存储服务器之间建有每个数据的内容和其数据信息所对应的映射表；

数据的读取：首先，客户端访问元数据存储服务器，调用该数据在对象数据存储单元的存储位置和数据信息，客户端根据得到的数据存储的信息通过对象数据存储服务器读取数据，元数据存储服务器存储该信息的读取时间，并更新数据的映射表；

元数据存储服务器中设有每个数据的存储时间访问时间。用户可以根据访问时间来设定冷数据和热数据，然后根据设定值进行数据迁移。从而整理对象数据存储单元中的存储空间。

该系统的对象数据存储服务器至少由2台组成，可以支持2N（N>=1）个无限扩展。存储量最高支持512PB。为现有lustre系统支持量的500倍。

该系统的元数据存储服务器至少由2台组成，可以支持2N（N>=1）个无限扩展。而现有的lustre系统是不支持元数据服务器扩展的。

该系统支持的客户端数量为50000个。为现有lustre系统客户端支持量的5倍。

该系统存储的磁盘阵列采用RAID 6模式，这种N+2的RAID模式保证存储的性能外还确保了存储的安全，因为一个RAID组下同时坏2块以上硬盘的几率是非常小的。为了保证存储的更高安全，我们还增加了阵列的全局热备和局部热备。同时，在RAID卡上还增加了电源保护以保护数据。由此，多重的安全机制使我们的系统运行更安全。

该系统基于Infiniband网络；支持目前全球最高速率的100Gbps的Infiniband网络。该系统采用RDMA传输协议，更高带宽更低时延。

该系统支持在线扩容。该系统支持对象数据存储控制模块和元数据存储控制模块的线性扩展，性能也相应的呈现线性的增加。而传统的lustre系统是无法进行MDS扩展的。所以该系统更快，更大。

该系统支持跨所有节点自动均衡条带化数据，并支持基于整个文件系统，目录或单个文件的条带化。动态均衡提高了文件系统并行处理能力和系统整体的处理性能。

该系统支持数据迁移功能。它是一种将离线存储与在线存储融合的技术。将不常用的或者用户自定义的数据按指定的策略自动迁移到低性能的离线存储上，以空余出空间给在线存储系统使用。同时，当需要使用这些数据时，分级存储系统会自动将这些数据从离线存储调回。

该系统支持图形化安装和部署，使操作更简便，更容易。

该系统支持图形化监控。监控内容包括系统的实时或者历史读写性能、系统各节点的CPU利用率和内存利用率、存储各节点的资源利用率、系统实时或者历史告警、用户实时或者历史操作记录。图形化监控可以更方便快捷的了解整个系统的运行情况。

该系统嵌入了Intel® Hadoop发行版的整合工具，支持运行hadoop程序。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种数据高速存储处理系统，其特征在于：其架构包括：对象数据存储控制模块、对象数据存储模块、元数据存储控制模块、元数据存储模块、客户端；

对象数据存储模块：包括多个对象数据存储单元，用以存储客户端存储或者读取的数据，为客户端提供数据存储和读取的空间；

元数据存储模块：包括多个元数据存储单元，保存元数据存储控制模块获取的对象数据存储模块中的存放数据的所有信息和该数据在对象数据存储模块中的存储位置；

对象数据存储控制模块：包括多个对象数据存储服务器，对对象数据存储模块进行管理和控制，从元数据存储控制模块获取数据的存储位置，将客户端的数据按照元数据存储控制模块提供的存储位置存储到指定的位置；

元数据存储控制模块：包括多个元数据存储服务器，对元数据存储模块进行管理和控制，获取对象数据存储模块中的所有数据的数据信息和所有数据在对象数据存储模块中的存储位置，同时为对象数据存储模块提供数据存储的相应位置，为客户端提供数据的信息和存储位置；

每个对象数据存储服务器与多个对象数据存储单元相连，每个对象数据存储单元均与两个对象数据控制服务器相连，两个对象数据存储服务器之间通过以太网络连接构成一个对象数据高可用性单元；

每个元数据存储服务器与多个元数据存储单元相连，每个元数据存储单元与两个元数据存储服务器相连；两个元数据存储服务器之间通过以太网络连接连接构成一个元数据高可用性单元；

对象数据存储控制模块与元数据存储控制模块基于网络进行通信连接；客户端分别与对象数据存储控制模块、元数据存储控制模块基于网络相互通信；

对象数据高可用性单元中的两个对象数据存储服务器在进行数据存储或读取时同时工作，当对象数据高可用性单元中的一个对象数据存储服务器发生故障不能正常工作时，对象数据高可用性单元中的另一个对象数据存储服务器会接管该发生故障的对象数据存储服务器的业务；

元数据高可用性单元中的两个元数据存储服务器同时工作，当元数据高可用性单元中的一个元数据存储服务器发生故障不能正常工作时，元数据高可用性单元中的另一个元数据存储服务器会接管该发生故障的元数据存储服务器的业务；

数据的处理包括写入和读取，其过程如下：

客户端将数据包存入对象数据存储模块的过程中，首先，元数据存储控制模块根据存入数据包的大小为该数据包分配其在对象数据存储模块中的存储位置，元数据存储控制模块根据分析其内部存储的对象数据存储模块的相应存储信息，为数据包指定其在对象数据存储模块中的存储位置，元数据存储控制模块通过读取该数据包的信息，得到该数据的名称、大小、类型和属性，元数据存储控制模块将得到的该数据的名称、大小、类型、属性和其在对象数据存储模块中的存储位置记录并进行保存，元数据存储控制模块与对象数据存储控制模块进行通信，对象数据存储控制根据元数据存储控制模块指定的位置，将数据包存放在对象数据存储模块中相应的存储位置，同时元数据存储控制模块将该数据包的更新时间进行存储，对象数据存储控制模块和元数据存储控制模块之间建有每个数据的内容和其数据信息所对应的映射表；

客户端在读取对象数据存储模块的数据时，首先访问元数据存储控制模块，调用该数据在对象数据存储模块的存储位置和数据信息，客户端根据得到的数据存储的信息通过对象数据存储控制模块读取数据，元数据存储控制模块存储数据信息的读取时间，并更新数据的映射表；

元数据存储控制模块中设有每个数据读取存储的时间数组，元数据存储控制模块按照设定的时间访问时间数组，将数组中数据的更新时间与当前的时间做减法，并取绝对值，得到数组中每个数据的未更新的时间段，并与其内部设定的时间段的阈值进行比较，超过该阈值时，元数据存储控制模块对该数据进行标记，提醒客户端对该数据进行相应的处理，从而整理对象数据存储模块中的存储空间。

2.如权利要求1所述的一种数据高速存储处理系统，其特征在于：所述对象数据存储模块采用磁盘阵列，所述磁盘阵列采用N+2的模式。

3.如权利要求1或2所述的一种数据高速存储处理系统，其特征在于：所述该系统采用Infiniband网络。

4.如权利要求3所述的一种数据高速存储处理系统，其特征在于：所述对象数据存储控制模块和对象数据存储模块通过SAS主机适配器相连。

5.如权利要求4所述的一种数据高速存储处理系统，其特征在于：还包括Infiniband主机通道适配器，所述客户端通过Infiniband主机通道适配器分别与对象数据存储控制模块、元数据存储控制模块相连。