CN103516809A

CN103516809A - 一种高扩展、高性能的分布式存储体系结构

Info

Publication number: CN103516809A
Application number: CN201310494887.XA
Authority: CN
Inventors: 陈大雅; 李桂周; 刘粉粉
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2013-10-22
Filing date: 2013-10-22
Publication date: 2014-01-15

Abstract

本发明涉及计算机存储领域，公开了一种高扩展、高性能的分布式存储体系结构，包括存储节点，元数据节点，路由节点，配置节点，其中，以存储节点为核心，通过路由节点、元数据节点、配置信息节点的配合，简化复杂的存储协议，实现高扩展、高性能的分布式存储集群，并且实现简单可靠的负载均衡机制和高可用机制，其中，存储节点是体系的核心，元数据节点主要负责元数据的存储，元数据节点主要负责元数据的存储，配置节点存储集群的配置信息。本发明弥补了传统分布式存储系统的不足，使其体系结构所带来的高扩展、高性能、高可用等诸多特性，更加适用于大数据存储、云计算等需要存储海量数据的领域，因而具有非常广阔的发展前景。

Description

一种高扩展、高性能的分布式存储体系结构

技术领域

本发明涉及计算机存储领域，具体涉及一种高扩展、高性能的分布式存储架构体系结构。

技术背景

存储技术的发展史伴随着计算机技术发展而发展的，也就是说，从计算机技术诞生之日起，人们就在为追求性能更高，容量更大的存储技术而努力。在过去几十年间，可以说是存储技术不断创新的年代，出现了包括NSF、Lustre、Ceph等各种各样的分布式存储技术。

但是这次存储技术技术复杂，难管理，难调优，更是难扩展。最近几年，随着Google的GFS发表，出现了大批性能高、扩展性好、管理配置简单的分布式存储系统，比如开源的HDFS。在云计算、物联网、大数据领域，此类简单的分布式存储系统应用最广。

发明内容

本发明要解决的技术问题是：提供一种高扩展、高性能的分布式存储体系结构。

本发明所采用的技术方案为：一种高扩展、高性能的分布式存储体系结构，包括：存储节点，元数据节点，路由节点，配置节点。与传统的分布式存储体系结构不同，本发明的结构是以存储节点为核心，通过路由节点、元数据节点、配置信息节点的配合，简化复杂的存储协议，实现高扩展、高性能的分布式存储集群，并且实现了简单可靠的负载均衡机制和高可用机制。其中：

存储节点是体系的核心，负债数据的存储以及协议的转化；

元数据节点主要负责元数据的存储，为了避免多用户共同使用集群时的元数据不一致问题和元数据的可靠性，采用开源的MySQL数据库实现；

路由节点负责向元数据节点读取元数据找到数据存储位置和向元数据节点请求数据的存放位置，从存储节点读取数据并把数据传送给客户端和把数据存储到存储节点；

配置节点存储集群的配置信息，包括分片信息、副本信息和各个节点的角色。

所有的节点可以采用通用的存储设备，如PC、服务器等；存储节点可以采用通用的存储设备，如光线磁盘阵列，SCSI磁盘阵列、磁带库、磁带机等存储设备。

该系统内部需要较高的网络，特别是存储节点和路由节点之间经常需要大规模的数据传输，网络要求较高，最好采用万兆网或者Infiniband（一种支持多并发链接的“转换线缆”技术）等新兴网络设备。

可以把若干个存储节点分为一组，互为副本集，保证数据的安全性。

体系结构中，存储节点、元数据节点、路由节点、配置节点相互配合，并有冗余配置，当某个节点发生故障时，相应的冗余配置接管故障节点继续工作，从而提高系统的整体可用性。

体系结构中，存储节点、元数据节点、路由节点、配置节点各自分工，其中存储节点没有数量的限制，可以无限扩展。存储节点之间没有耦合性，可以并行工作，提高存储系统的性能。

体系结构具有低耦合灵活可扩展的特性，体系结构中存储节点、元数据节点、路由节点和配置节点作为灵活可动态添、删除的节点，可以进行灵活的配置。这种灵活性体现在添加和删除某一种节点时，基本不用或很少对其他节点进行复杂的配置工作，从而减少系统管理的复杂程度。

本发明的有益效果为：

本发明弥补了传统分布式存储系统的不足，使其体系结构所带来的高扩展、高性能、高可用等诸多特性，更加适用于大数据存储、云计算等需要存储海量数据的领域，因而具有非常广阔的发展前景。

附图说明

图1为高扩展、高性能的分布式存储架构示意图。

具体实施方式

下面参照附图，结合实施例对本发明详细说明。

实施例1：

一种高扩展、高性能的分布式存储体系结构，包括存储节点，元数据节点，路由节点，配置节点，以存储节点为核心，通过路由节点、元数据节点、配置信息节点的配合，简化复杂的存储协议，实现高扩展、高性能的分布式存储集群，并且实现简单可靠的负载均衡机制和高可用机制，其中，存储节点是体系的核心，负债数据的存储以及协议的转化；元数据节点主要负责元数据的存储，为了避免多用户共同使用集群时的元数据不一致问题和元数据的可靠性，采用开源的MySQL集群存储元数据；采用开源的MySQL数据库实现；

路由节点负责向元数据节点读取元数据，找到数据存储位置和向元数据节点请求数据的存放位置，从存储节点读取数据并把数据传送给客户端和把数据存储到存储节点；

实施例2：

在实施例1的基础上，本实施例节点采用通用的存储设备.

实施例3：

在实施例1或2的基础上，本实施例存储节点采用光线磁盘阵列、SCSI磁盘阵列、磁带库或磁带机。

实施例4：

在实施例1或2的基础上，本实施例系统内部网络采用万兆网或者Infiniband网络设备。

实施例5：

在实施例1的基础上，本实施可以把若干个存储节点分为一组，互为副本集，保证数据的安全性。

实施例6：

在实施例1的基础上，本实施例在体系结构中，存储节点、元数据节点、路由节点、配置节点相互配合，并有冗余配置，当某个节点发生故障时，相应的冗余配置接管故障节点继续工作，从而提高系统的整体可用性。

实施例7：

在实施例1或2的基础上，本实施例体系结构中，存储节点、元数据节点、路由节点、配置节点各自分工，其中存储节点没有数量的限制，可以无限扩展，存储节点之间没有耦合性，可以并行工作，提高存储系统的性能。

实施例8：

在实施例7的基础上，本实施例的体系结构具有低耦合、灵活可扩展的特性，体系结构中存储节点、元数据节点、路由节点和配置节点作为灵活可动态添加、删除的节点，能够进行灵活的配置，在添加和删除某一种节点时，不用或很少对其他节点进行复杂的配置工作。

实施例9：

如图所示，采用6台服务器作为存储节点，3台服务器作为路由节点和配置节点，2台服务器作为元数据节点。其中六台服务器分为两个副本集，保证数据的安全性，两组存储节点作为分片，并行地存取数据。路由节点和配置节点在运行在一个服务器上，因为配置节点占用资源很少；路由节点负责和客户端的连接，和数据的中转站；为了保证三台配置节点的数据一致性，采用二阶段提交算法，即，三台配置节点所有的数据同时修改完成后，返回修改成功。元数据节点安装在两台服务器上，运行Mysql集群，采用主从架构，保证元数据的可靠性，当然，这里也可用多台。

该系统支持灵活的配置和扩展，从而可以构建出适合大数据存储、云计算等需要存储海量数据的领域的需求的存储系统。

Claims

1.一种高扩展、高性能的分布式存储体系结构，包括存储节点，元数据节点，路由节点，配置节点，其特征在于：以存储节点为核心，通过路由节点、元数据节点、配置信息节点的配合，简化复杂的存储协议，实现高扩展、高性能的分布式存储集群，并且实现简单可靠的负载均衡机制和高可用机制，其中：

存储节点是体系的核心，负债数据的存储以及协议的转化；

元数据节点主要负责元数据的存储，采用开源的MySQL数据库实现；

2.根据权利要求1所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：节点采用通用的存储设备。

3.根据权利要求1或2所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：存储节点采用光线磁盘阵列、SCSI磁盘阵列、磁带库或磁带机。

4.根据权利要求1或2所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：系统内部网络采用万兆网或者Infiniband网络设备。

5.根据权利要求1所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：把若干个存储节点分为一组，互为副本集。

6.根据权利要求1所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：在体系结构中，存储节点、元数据节点、路由节点、配置节点相互配合，并有冗余配置，当某个节点发生故障时，相应的冗余配置接管故障节点继续工作。

7.根据权利要求1、2所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：在体系结构中，存储节点、元数据节点、路由节点、配置节点各自分工，其中存储节点没有数量的限制，能无限扩展，存储节点之间没有耦合性，能并行工作。

8.根据权利要求7所述的一种高扩展、高性能的分布式存储体系结构，其特征在于：体系结构具有低耦合、灵活可扩展的特性，体系结构中存储节点、元数据节点、路由节点和配置节点作为灵活可动态添加、删除的节点，能够进行灵活的配置，在添加和删除某一种节点时，不用或很少对其他节点进行复杂的配置工作。