CN103327094A - 数据分布式存储方法与系统 - Google Patents

Abstract

本发明公开了一种用于分布式数据库系统的数据分布式存储方法和系统，属于计算机软件领域。数据分布式存储系统由多个存储节点以及连接他们的内部网络组成。为实现数据分布式存放，可动态扩容，存储漂移实现存储负载均衡，本发明包括以下步骤：1数据存储以存储片段为独立存储单元存放；2编号连续的存储单元可以多种分配调度方式分布于不同的物理节点，以实现数据逻辑上连续而物理上分散；3大块的表数据存储于连续的存储单元，表数据增长时，扩展存储片段的数量即可达到扩容效果；4存储节点存取数据时以分值评定的方式决定数据的迁入迁出操作预判，得分高的做迁出操作，得分低的做迁入操作并在分值达到阈值条件时实施迁移动作，实现存储负载均衡。

Description

数据分布式存储方法与系统

技术领域

本发明涉及一种数据分布式存储方法，属于计算机技术领域。

背景技术

数据库的存储数据，是数据库管理的一大核心功能模块，如何更快速的存放数据和读取数据，提高IO效率一直是数据存储技术研究的主要方向。为此产生了专门有利于高速读取和分析的列存数据库，内存数据库。在对单表的压力分散方面还设计了分区表。对多表列相关紧密的情况设计了簇集表。在硬件环境上还设计了盘阵结构，等一系列措施提高数据存取效率和容量的措施。但是这些措施都因他适用的情况和特征有其自身的不足。国产数据库达梦与南大通用的数据库存放的基于列存，其分布式存储根据列值采用hash分组，本发明分布式存储基于存储片段。

虚谷云数据库为提高数据存取速度和扩大存储容量设计发明了分布式存储技术，突破了现有的软硬件瓶颈，极大的提升了数据存放，数据检索的速度，且有可动态扩容的优良特性。

发明内容

本发明由多存储节点以及连接他们的内部网络组成的数据分布式存储系统，其目的在于分布式存取提高数据存取效率，为海量数据的存储提供便捷的动态扩容功能，提升数据检索效率，在多存储节点下实现存储负载均衡。为满足海量数据的存储，当所有存储节点的物理存储设备都不够存放时，可以增加存储节点实现扩容，且不会影响之前存放的数据安全高效。为实现存储负载均衡提高数据存取效率，我们以存储漂移的方式让不常用的存储节点增加磁盘IO操作减轻其余节点IO吞吐压力。当执行数据存取操作时，分布于不同存储节点的数据片可同时被读取或写入，以并发方式提高存取效率。

分布式存储技术方案实现包括以下步骤：

1．存储的逻辑单元划分

在云数据库系统下，数据的最高逻辑存放单位为存储片段（tablet），每个存储片段为8M-64M具有统一的规格。存储片段是最小的独立管理单位（增加，删除，移动），每个tablet下划分块（block），每块大小8k具有统一规格，并且在创建数据库时根据数据特性指定。块是最小的操作单位。表数据在块内按行存放。指定了存储片段号，块号，行号（区别于表数据的行此处块内的行我们称为槽）即可唯一确定一条表行数据的存放地址。

2．存储片段的分布：分布调度算法

存储片段的独立性是分布式存储的基础，它使得存储片段tablet1可以放在1号节点的 space1表空间中，也可以放在2号节点的space2表空间中，存储灵活，为实现数据片段分布于不同存储节点的分布调度算法包括以下几种：

    S1：轮叫调度算法：数据片段轮流均匀分布到每个存储节点；

    S2：加权轮叫调度算法：数据片段按照存储节点所设置的权重轮流分布到每个存储节点；

    S3：最小连接调度算法：数据片段在满足其分布式功能的前提下，使用最少的存储节点进行分布。

    S4：加权最小连接调度算法：数据片段在满足其分布式功能的前提下，根据存储节点设置的权重使用最少的存储节点进行分布。

3．存储片段的访问：全局存储与局部存储的映射关系

存储片段分布于不同节点为用户查找tablet1带来了不便，本系统为解决这一问题引入了全局存储号与局部存储号，全局存储与局部存储以映射表的方式建立对应关系，每个全局存储号唯一对应一个局部存储片段主版本。

用户使用指定的全局存储号，系统根据关系映射表找到相应的存储节点的局部存储号为用户提供数据服务。

4．动态扩容：

用户对表数据的存储是使用存储片段，数据增长时，申请新的存储片段，当现有存储节点的物理存储设备不足时，可以添加存储节点的方式增加新的可用存储片段，达到动态扩容的目的，且对现有数据不会造成影响，便捷高效。

5.存储漂移技术实现存储负载均衡

系统中多个存储节点上分布了不同的存储片段，因各存储片段的访问频繁程度有差异，造成各存储节点IO吞吐压力不同。本系统发明了存储漂移技术解决各个存储节点负载压力均衡，他包含以下步骤：

    S1每访问一次存储片段时，对存储片段所在的节点记录一个分值；

    S2每隔一段时间统计各个存储节点的分值情况：分值高代表繁忙程度高，分值低代表繁忙程度低；

    S3根据存储节点的负载能力以及一段时间各节点的加权平均得分情况划分分数阈值范围，分三档：低压，正常，高压，通常大多数节点的得分是有一定偏差但达不到低压或者高压的阈值条件；

    S4对达到高压或者低压的得分阈值条件的存储节点由系统做配对，进行存储低压迁入或者存储高压迁出；

S5重新检测计算各存储节点得分情况回转到S1步骤；这样在数据存取的过程中监测存储节点负载压力，并对其中失衡的负压存储节点通过存储迁移的方式调节负载，达到存储负载均衡。

本发明的有益效果：

本发明对比已有技术具有如下创新点：

1、   以存储片段为最小独立存储管理单位；

2、  全局存储与局部存储以映射的关系实现逻辑的连续集中与物理的分散；

3、  根据各存储节点的负荷状态适时进行存储迁移使得存储负载均衡；

4、  方便快捷的动态扩容功能；

所获得的有益效果：表数据分布式存储，读写数据可从多节点并发执行变相提升了磁盘的IO性能；

表数据的分布式存放，可使得部分任务可以下发到各个节点本地执行后再汇总，提高了并发执行能力，提升了执行效率。

附图说明

图1为本发明分布式存储示意图；

图2为本发明存储漂移示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案，但本发明所保护的内容不局限于以下所述。

如图1所示，此处的存储系统由三个存储节点以及连接他们的网络组成。表数据存放于存储片段中，每个存储片段为8M具有统一的规格。存储片段是最小的独立管理单位（增加，删除，移动），每个tablet下划分块（block），每块大小8k具有统一规格，并且在创建数据库时根据数据特性指定。块是最小的操作单位。表数据在块内按行存放。指定了存储片段号，块号，槽号即可唯一确定一条表行数据的存放地址。

此处存储片段的分配采用轮叫调度算法，存储片段轮流均匀分布于三个存储节点，表数据在存储片段中的存放情况如图1所示：tab1表数据依次存放于1，4，8号全局存储，分别位于1，2，3号节点上,映射到 tablet_1，tablet_4，tablet_8三个局部存储片段。当对tab1做查询操作时，可以从三个节点同时输出，是从单个节点输出速度的三倍，当三个存储片段存满之后可以申请新的存储片段存放新的数据，当三个节点全部存放满之后，可以增加节点，创建新的表空间和存储片段。

对于存储负载均衡，结合图说明存储漂移的具体实施：

如图2所示，1,2,3号存储节点各存放一些存储片段，根据一段时间的存储访问得分情况，发现1号节点得分较高，而二号节点得分较低，经系统选择匹配后，决定将tablet_12 这个存储体从1号节点迁移至2号节点达到存储负载均衡。 

Claims (6)

1.数据分布式存储方法，是一种用于分布式数据库系统存储数据的技术方法与系统，其特征在于：系统由多个存储节点和连接他们的内部网络构成，数据存放以数据片段为最小的独立存储单元，逻辑连续的表数据存放于不同的存储片段，而存储片段分布于不同的存储节点，实现表数据存放的逻辑连续而物理分散，方便快捷的动态扩容与独创的存储漂移技术。

2.根据权利要求1所述的分布式存储方法，其特征在于：表数据的存放以存储片段为最小独立管理单位，存储片段内设块，以块为做小操作单位，数据记录按行存于块内。

3.根据权利要求1所述的分布式存储方法，其特征在于：全局存储与局部存储以映射关系实现逻辑相连而物理分散。

4.根据权利要求1所述的分布式存储方法，其特征在于：存储片段分布于不同的存储节点，其存储分配调度方式常见的主要有：转轮式rr 加权转轮式wrr 加权最小连接式  Wlc等多种。

5.根据权利要求1所述的分布式存储方法，其特征在于：方便的动态扩容能力：表数据的增长，存储片段存放满之后可以申请新的存储片段，对整个存储系统来说，所有的存储设备都存满时可以增加新的存储节点达到动态扩容。

6.根据权利要求1所述的分布式存储方法，其特征在于：以独创的存储漂移方式实现存储负载均衡，在数据片段分布式存储的系统中，有的数据片段访问频繁，有的较少访问，造成各节点的磁盘IO压力不同，以存储漂移的方式使频繁访问的数据片段按存储节点负载能力均匀分布于不同的存储节点，实现存储压力负载均衡。

Images