CN106227465A - 一种环结构的数据放置方法 - Google Patents

Abstract

本发明提出了一种针对时间序列数据的环结构的数据放置方法。该方法以时间序列为单位规划数据在集群中的存放位置，将同一时间序列的数据根据某一固定时间窗口分割后依次放置在一组存储节点组成的节点环上。此外，本发明还提出了两种可供选择的数据备份方法——环内备份和环间备份。实验结果表明，环结构的数据放置方法可以提升时序数据的写入时延，提升基于时间的数据检索效率。

Description

一种环结构的数据放置方法

技术领域

本发明属于分布式系统技术领域，具体涉及一种能够提高时间序列读写和计算性能的环结构的分布式数据放置方法。

背景技术

时间序列是指按时间顺序排列的一组数据，广义地，指一组有序的随机数据。它广泛产生于各类监测、统计场景，例如股票交易数据、气象观测数据、科学实验记录、网站访问日志、电力和化工等行业的实时监测数据等。随着智慧城市、智慧交通、智能家居、智能医疗等技术的推广，各种各样的传感器将会产生大量的时间序列，时间序列的数据量将会在未来几年面临井喷式增长。对如此多的时间序列进行分析和挖掘并使其发挥重要的价值，这将是亟需解决的一个问题。

随着数据量和计算复杂度的提升，传统的集中式系统已经不能满足海量时间序列的应用需求。采用分布式系统，利用集群的存储和计算能力来挖掘数据的价值是解决这一问题的重要途径。分布式系统将数据分割后存储在集群中的多个节点，甚至是分布在世界各地的多个数据中心，通过在这些节点或数据中心部署相应的计算任务，可以实现计算任务的并行执行，从而大大提高结果响应速度。在分布式系统中计算任务的调度是基于这样一个假设：移动计算比移动数据更经济，因此计算任务通常被配置在存储相应数据的节点上执行。当执行相对简单的运算时，例如搜索，计算任务可以在各数据节点上独立执行，彼此之间互不相关，因此在集群中放置数据时不需过多考虑计算和应用，仅需关注数据的可用性、负载均衡等性能即可。随着计算任务的增多和计算复杂度的提升，各计算任务之间的数据往往具有一定的依赖性，此时计算任务与其相关数据很难在所有节点上完全匹配，由此导致计算过程中大量的数据传输，进而影响计算效率。近年来，学术界通过优化数据放置策略来提升计算效率的研究显著增多。

Hadoop将文件分割为大小相同的块，每个块默认存储三份。它采用机架敏感的副本放置策略，将第一个副本存放在本地节点，第二个副本存放在本地机架上的另外一个节点，而将第三个副本存放到不同机架的节点上。Lin[Lin Gu,Deze Zeng,Song Guo,YongXiang,and Jiankun Hu,A General Communication Cost Optimization Framework forBig Data Stream Processing in Geo-distributed Data Centers,IEEE Transactionson Computers.]将一个计算任务流中跨数据中心的数据放置问题转化为虚拟机在数据中心间的位置选择问题，并使用0-1规划对这一问题建模，目的是令计算任务流执行过程中数据中心间的数据传输最少。这一方案可以为单个计算任务流提供近似最优的放置策略，但是由于计算任务与数据放置是紧耦合，因此当计算任务发生变化时需要重新放置数据。Chen[Wuhui Chen,Incheon Paik,and Zhenni Li,Topology-Aware Optimal DataPlacement Algorithm for Network Traffic Optimization,IEEE Transactions onComputers,pp.1-14.]的研究发现，当mapper和reducer所需数据在节点上的局部存储难以满足时会导致数据中心间网络传输量的暴增，进而引起计算性能的严重下降。为了从全局角度优化计算性能，提出了一种基于树形网络拓扑的跨数据中心的数据放置策略，并用副本分发树来近似解决这一问题。Ebrahimi[Mahdi Ebrahimi,Aravind Mohan,AndreyKashlev,and Shiyong Lu,BDAP:A Big Data Placement Strategy for Cloud BasedScientific Workflows,2015IEEE First International Conference on Big DataComputing Service and Applications,pp.105-114.]将同一计算任务输入的数据定义为相关数据，根据数据在所有任务集中的相关次数来评价相关度的大小。采用元启发式优化算法找出令单个虚拟机上数据相关度最大、虚拟机间数据相关度最小的数据放置策略。Zhao[Zhao Er-Dun,Qi Yong-Qiang,Xiang Xing-Xing,and Chen Yi,A Data PlacementStrategy Based on Genetic Algorithm for Scientific Workflows,2012EighthInternational Conference on Computational Intelligence and Security,pp.146-149.]计算数据相关度的方法与Ebrahimi类似。他采用遗传算法来找到最优数据分布，将相关性强的数据放置在相同的数据中心，并在此基础上尽量提升数据中心间的负载均衡。Liu[Xin Liu,Anwitaman Datta,Towards Intelligent Data Placement for ScientificWorkflows in Collaborative Cloud Environment,2011IEEE International Parallel&Distributed Processing Symposium,pp.1052-1061.]根据相关性将数据划分分组，在考虑数据中心的计算能力和存储空间的基础上决定分组的放置位置，令计算能力强的数据中心处理更多的数据集。对于计算过程中产生的中间数据则采用线性判别分析法，根据数据中心的历史性能选择最优放置位置。与Liu相似，Wang[Mingjun Wang,Jinghui Zhang,FangDong,and Junzhou Luo,Data Placement and Task Scheduling Optimization for DataIntensive Scientific Workflow in Multiple Data Centers Environment,2014SecondInternational Conference on Advance Cloud and Big Data,pp.77-84.]也对原始数据和中间数据采取不同的放置方法。对原始数据采用基于K-means的数据放置方法，而对于中间数据，则采用数据复制与任务复制相结合的方法来进一步降低数据中心间的网络通信。ARRES[Billel ARRES,Nadia KABACHI,and Omar BOUSSAID,Optimizing OLAPConstruction by Improving Data Placement on Multi-Nodes Clusters,2015 23rdEuromicro International Conference on Parallel,Distributed,and Network-BasedProcessing,pp.520-524.]等将相关数据的block存储在相同的数据节点集合，但对于相关数据的确定方法和节点集合的选择方法并没有提供明确的解决方案。Xie[Jiong Xie,ShuYin,Xiaojun Ruan,Zhiyang Ding,and Yun Tian,Improving MapReduce Performancethrough Data Placment in Heterogeneous Hadoop Clusters,2010 IEEEInternational Symposium on Parallel&Distributed Processing,Workshops and PhdForum,pp.1-9.]和Xiong[Runqun Xiong,Junzhou Luo,and Fang Dong,SLDP:a NovelData Placement Strategy for Large-Scale Heterogeneous Hadoop Cluster,2014Second International Conference on Advanced Cloud and Big Data,pp.9-17.]认为当Hadoop集群中节点性能差别较大时，计算能力强的节点需要接替计算能力弱的节点完成远程数据的计算，这将导致网络传输的增多和计算效率的降低。针对这一问题提出了数据分布策略，当选择数据的存放节点时除考虑节点剩余容量外还需考虑节点的计算能力。Eltabakh等[Mohamed Y.Eltabakh,Yuanyuan Tian,and Fatma OZcan,CoHadoop:Flexible Data Placement and Its Exploitation in Hadoop,in Proceedings of theVLDB Endowment,Vol.4,No.9,2011,pp.575-585.]针对Hadoop的性能瓶颈：缺少将相关的数据一并摆放在一组同样的节点中的能力，提出了CoHadoop。它是一个Hadoop的轻量级扩展，允许应用来控制数据存储的位置。

时间序列是一种具有显著时间特征的数据，其检索、分析及计算也通常以时间区间为单位。当前已有的数据放置策略虽然具有一定的通用性，但都没有考虑“时间”这一特殊维度的影响，因此导致以下问题：首先，数据的分割和放置没有考虑时间因素，导致基于时间的检索效率随着数据量的增大而降低；其次，时间序列分析多基于某一时间窗口进行，而现有方案在进行数据分割和放置过程中没有考虑这种时间相关性，因此导致计算过程中节点间的数据传输量较多。

发明内容

本发明技术解决问题：为了解决以上问题，本发明提出了一种环结构的数据放置方法，可以提升时序数据的写入时延，提升基于时间的数据检索效率。

本发明技术解决方案：一种环结构的数据放置方法，适用于master-slave架构的分布式存储系统，包括步骤如下：

(1)数据分割，将时间序列文件分割为等大小和等时长的数据块；

(2)资源分配，master节点对整个时间序列文件分配存储资源信息，资源信息包括存储节点和数据块ID；

(3)数据写入，客户端根据master提供的资源信息将时间序列文件的数据块依次写入节点环及备份环。

所述步骤(1)中对时间序列文件分割方法具体如下：

(11)设置时间窗口大小为T；

(12)数据清洗，对时间序列文件中各时刻的值的合法性进行验证，若发现数据不合法或数据丢失则根据预先设定的规则进行处理；

(13)数据分割，将时间序列文件分割为时间跨度均为T的数据块，最后一个文件块除外。

所述步骤(2)中分配存储资源信息方法包括：

(21)master为时间序列文件提供一个节点环存储第一个备份；

(22)master为时间序列文件提供N-1个备份环存储另外N-1个备份；

(23)master批量产生数据块ID。

所述步骤(3)中写入节点环及备份环方法具体如下：

(31)客户端向master发送数据写入请求；

(32)master将N个节点环信息和K个数据块ID发送给客户端；

(33)客户端为每个数据块分配一个数据块ID，并将数据块及其ID依次发送给第一个节点环中的节点，第一个节点环中的节点接收到数据块及其ID后将这些信息转发给第一个备份环中的对应的节点，第一备份环中的节点信息再转发给下一个备份环中的对应节点，直到信息被转发到所有备份环；

(34)当K个数据块ID分配完时，客户端再次向mater请求数据块ID。

所述(21)中master提供一个节点环的方法有两种：

(1)机架内，即从同一个机架内选择M个slave节点，并以随机的方式将节点组成一个环；

(2)数据中心内，即从同一个数据中心的范围内选择M个slave节点，并以随机的方式将节点组成一个环。

所述特征(22)中master提供备份环的方法有两种：

(A)环内备份：将第一个节点环顺时针或逆时针转动一个节点；

(B)环间备份：采用与第一个节点环相同的生成方法，产生一个不同于第一个节点环的节点环。

所述(B)中环间备份的方法具体如下：

(1)采用与第一个节点环相同的生成方法；

(2)备份环与第一个节点环和其他备份环相比具有以下特征：在同一位置上的节点不同；环中节点与其它节点环中节点重合度不超过50％。

本发明与现有技术相比的在于：本发明以时间序列为单位规划数据在集群中的存放位置，将同一时间序列的数据根据某一固定时间窗口分割后依次放置在一组存储节点组成的节点环上。此外，本发明还提出了两种可供选择的数据备份方法——环内备份和环间备份。实验结果表明，环结构的数据放置方法可以提升时序数据的写入时延，提升基于时间的数据检索效率。

附图说明

图1为master-slave架构的分布式存储系统示意图；

图2为环结构的slave节点

图3为发明中的环内备份示意图；

图4为本发明中的环间备份示意图；

图5为发明的数据写入示意图；

图6数据写入时延性能对比。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

系统架构：

本发明适用于master-slave架构的分布式存储系统，如图1所示，例如HDFS。其中master是数据管理节点，负责监控slave节点状态，管理数据块映射，处理客户端的读写请求，配置副本策略，管理命名空间等。Slave负责存储client发送的数据块，执行数据块的读写操作。客户端写入文件时首先连接master节点。master节点为每个数据块分配块ID并选择合适的slave节点存储数据块及其备份，之后将块ID和节点信息等返回客户端。客户端根据master提供的信息将数据块发送到对应的slave节点。Slave节点接收数据并存储。

数据分割：

现有分布式系统多采用等大小的分割策略，将大文件分割为大小相等(最后一块除外)的数据块，之后将各数据块及其副本分别放置在集群中的节点上。针对时序数据的时间特征，本发明采用等大小-等时长的分割策略，具体如下：

1)设置时间窗口大小为T；

2)数据清洗。对时间序列文件中各时刻的值的合法性进行验证，若发现数据不合法或数据丢失则根据预先设定的规则进行处理。例如，若某时刻的温度值非法或丢失，则用NULL对该时刻温度值进行替换或填充；

3)数据分割。将时间序列文件分割为时间跨度均为T的数据块(最后一个文件块除外)。

由于时间序列中各时刻点的数据格式固定，因此经过数据清洗后时间跨度相等的数据块数据大小也相等，所以将该数据分割算法称作等大小-等时长分割算法。

资源分配：

在当前已有分布式系统中，mater将每个数据块看作独立单元并分别分配存储资源。与已有系统不同，在本发明中master以时间序列为单位，将同一时间序列文件的所有数据块看作一个整体，并一次性提供一组节点存储这些数据块，具体如下：

当客户端发起时间序列文件的数据写入请求时，mater节点首先选择M个slave节点，并将节点组织为一个环，如图2所示。其中M的值由用户进行设置。节点的选择方法可以有多种，由用户根据需求进行选择。本发明提出两种有利于数据集中存储和计算的选择方法：机架内和数据中心内。机架内的选择方式是从同一个机架内选择M个slave节点，而数据中心内的选择方式则是从同一个数据中心的范围内选择M个slave节点。

除此以外，master还为时间序列文件提供N-1个备份节点环，其中N为文件总的备份数，由用户进行设置，在HDFS中默认为3。本发明提供两种可供选择的备份方法：环内备份和环间备份，分别如图3和图4所示。用户可以根据需求选择环内备份、环间备份或者二者混合备份。环内备份是将数据块备份在同一个节点环内的后继节点上。在图3中，假设总的备份数为3，如果某一数据块的第一个备份存储在SlaveNode 0上，其另外两个备份则分别存储在SlaveNode 1和SlaveNode 2上。环间备份则是为客户端提供另外的节点环存储数据块。在图4中，如果某一数据块的第一个备份存储在SlaveNode 0上，其两个备份则分别存储在SlaveNode 7和SlaveNode 14上。需要指出的是，当采用环间备份时，备份环中节点的选择方式与第一个节点环中节点的选择方式相同。例如如果第一个节点环采用了机架内的选择方法，则备份环的M个节点也从同一个机架中选择。

除了存储节点信息外，master还需为每个文件块生成一个ID并提供给客户端。为了减少客户端与master的交互次数，提升数据写入效率，本发明采用批量生成方式。master节点每次生成K个数据块ID，K的值可由用户进行设置。根据实验结果，本发明实施例为5<＝K<＝10，并且K为正整数。

数据写入：

首先，客户端向master发送数据写入请求。master将N个节点环信息和K个数据块ID发送给客户端。客户端为每个数据块分配一个数据块ID，并将数据块及其ID依次发送给第一个节点环中的节点，如图5所示。第一个节点环中的节点接收到数据块及其ID后需要将这些信息转发给第一个备份环中的对应的节点，第一备份环中的节点再转发给下一个备份环中的节点，直到信息被转发到所有备份环。需要指出的是，当K个数据块ID分配完时，客户端需要再次向mater请求数据块ID。

为了验证算法的性能，在HDFS的基础上实现了本发明，数据写入时延性能如图6所示。其中No-ring为改进前的HDFS，Ring-3、Ring-5和Ring-10分别表示采用环结构数据放置算法、master每次分别产生3、5、10个数据块ID时的数据写入时延。可以看出，采用环结构的数据放置方法后，数据块平均写入时延降低了16％。在基于时间的数据检索方面，在改进前的HDFS中，数据检索性能与数据量成反比，而在环结构的数据方法中，基于时间的数据检索性能与数据量无关。因此，当时间序列数据量较大时，本发明能够明显提升数据检索性能。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (7)

1.一种环结构的数据放置方法，适用于master-slave架构的分布式存储系统，其特征在于包括步骤如下：

(1)数据分割，将时间序列文件分割为等大小和等时长的数据块；

(2)资源分配，master节点为整个时间序列文件分配存储资源信息，资源信息包括存储节点和数据块ID；

(3)数据写入，客户端根据master提供的资源信息将时间序列文件的数据块依次写入节点环及备份环。

2.根据权利要求1所述的环结构的数据放置方法，其特征在于：所述步骤(1)中对时间序列文件分割方法具体如下：

(11)设置时间窗口大小为T；

(12)数据清洗，对时间序列文件中各时刻的值的合法性进行验证，若发现数据不合法或数据丢失则根据预先设定的规则进行处理；

(13)数据分割，将时间序列文件分割为时间跨度均为T的数据块，最后一个文件块除外。

3.根据权利要求1所述的环结构的数据放置方法，其特征在于：所述步骤(2)中分配存储资源信息方法包括：

(21)master为时间序列文件提供一个节点环存储第一个备份；

(22)master为时间序列文件提供N-1个备份环存储另外N-1个备份；

(23)master批量产生数据块ID。

4.根据权利要求1所述的环结构的数据放置方法，其特征在于：所述步骤(3)中写入节点环及备份环方法具体如下：

(31)客户端向master发送数据写入请求；

(32)master将N个节点环信息和K个数据块ID发送给客户端；

(33)客户端为每个数据块分配一个数据块ID，并将数据块及其ID依次发送给第一个节点环中的节点，第一个节点环中的节点接收到数据块及其ID后将这些信息转发给第一个备份环中的对应的节点，第一备份环中的节点信息再转发给下一个备份环中的对应节点，直到信息被转发到所有备份环；

(34)当K个数据块ID分配完时，客户端再次向mater请求数据块ID。

5.根据权利要求3所述的环结构的数据放置方法，其特征在于：所述(21)中master提供一个节点环的方法有两种：

(1)机架内，即从同一个机架内选择M个slave节点，并以随机的方式将节点组成一个环；

(2)数据中心内，即从同一个数据中心的范围内选择M个slave节点，并以随机的方式将节点组成一个环。

6.根据权利要求3所述的环结构的数据放置方法，其特征在于：所述特征(22)中master提供备份环的方法有两种：

(A)环内备份：将第一个节点环顺时针或逆时针转动一个节点；

(B)环间备份：采用与第一个节点环相同的生成方法，产生一个不同于第一个节点环的节点环。

7.根据权利要求6所述的环结构的数据放置方法，其特征在于：所述(B)中环间备份的方法具体如下：

(1)采用与第一个节点环相同的生成方法；

(2)备份环与第一个节点环和其他备份环相比具有以下特征：在同一位置上的节点不同；环中节点与其它节点环中节点重合度不超过50％。