CN103176750A - 基于交错时间分区的移动互联网数据存储系统及其方法 - Google Patents

Abstract

本发明公开了一种基于交错时间分区的移动互联网数据存储系统及其方法，涉及移动互联网海量业务的数据存储领域。本系统包括分区管理单元（100）、数据写入单元（200）、数据存储单元（300）和数据读取单元（400）；分区管理单元（100）、数据写入单元（200）和数据读取单元（400）分别和数据存储单元（300）连接，实现移动互联网海量数据的磁盘管理、存储和读写I/O。本发明能够对大幅提升目前电信运营商移动互联网海量数据存储系统中磁盘空间利用率低的问题，并提供了新的并行读写方式，大幅提升移动互联网数据存储系统的I/O能力，可以作为电信运营商改良现有移动互联网数据存储系统的重要手段。

Description

基于交错时间分区的移动互联网数据存储系统及其方法

技术领域

本发明涉及移动互联网海量业务的数据存储领域，尤其涉及一种基于交错时间分区的移动互联网数据存储系统及其方法。 

背景技术

随着3G移动数据业务的迅猛发展和移动互联网业务市场竞争的加剧，三大电信运营商都开始建设自己的移动互联网数据存储分析系统，通过存储用户的上网数据，分析用户特征，以达到精确营销的目的。而这类基于时间和业务类型维度的移动互联网业务数据，在存储和管理方面遇到的问题都是相似的，他们都不同程度的受到数据急剧增长和复杂多样的业务类型所困扰，在移动互联网数据存储系统中，数据量通常为10TB以上（我们称之为海量数据），存储介质和应用数据类型的发展也很快。而在应用方面，移动互联网业务分析系统一般都是以时间为粒度的各种应用类型的数据应用，比如要读取2012年10月使用“天翼阅读”业务的所有用户的总次数、总流量和用户分布等数据。 

在数据存储技术方面，目前有两种主流的存储技术，一种是分布式存储技术、另一种是集群存储技术，而在移动互联网数据存储领域，多以分布式存储技术为主。 

    具体地说： 

如图5.1，是采用多个磁盘阵列（以下简称阵列）映射一个表空间的结构，其工作原理是当表空间耗尽的时候，依次从每个阵列中添加表空间文件，其优点是结构简单，管理开销小，数据表从长期来看会比较均匀地分布在每个磁盘阵列上，查询大量数据的时候，会读取多个磁盘阵列，查询性能较好；缺点是在某个时间点，大量数据入库，数据只会使用有效的某一个表空间文件，而只会使用其中的一个磁盘阵列，磁盘利用效率不高，会有部分磁盘长期处于空闲状态，数据入库效率较差，容易出现阻塞的情况；

如图5.2，是采用每张移动互联网海量数据表使用一个表空间，每个表空间都在单独的阵列上，其工作原理是当某个表空间耗尽的时候，只需要从相应的磁盘阵列扩展表空间文件，其优点是每个磁盘阵列都承担相应的业务数据，当所有业务数据需要入库的时候，磁盘利用率较高，数据入库效率较好；但缺点是当查询每张海量表时，由于该海量表数据只存储在某一个磁盘阵列上，别的磁盘处于空闲状态，查询效率低下。

发明内容

本发明的目的在于克服现有存储技术存在的缺点和不足，提供一种基于交错时间分区的移动互联网数据存储系统及其方法，以解决目前移动互联网海量数据分布式存储存储系统中磁盘利用率和I/O能力不能有效兼顾的问题。 

实现本发明目的的技术方案是： 

设计一种具备高读写能力、可随时扩充、易于管理的移动互联网海量数据存储系统来弥补传统移动互联网海量数据分布式存储系统的缺点，它不但能够更加有效的管理磁盘空间、支持无法预测的移动互联网业务数据的增长，并且可以通过缩短单个任务的执行时间来大力提升移动互联网海量数据存储系统的I/O能力。

一、基于交错时间分区的移动互联网数据存储系统 (简称系统) 

本系统包括分区管理单元、数据写入单元、数据存储单元和数据读取单元；

分区管理单元、数据写入单元和数据读取单元分别和数据存储单元连接，实现移动互联网海量数据的磁盘管理、存储和读写I/O；

所述数据存储单元由第1数据存储单元、第2数据存储单元……第N数据存储单元组成，

第1数据存储单元由第1阵列、第1表空间和第1分区空间组成；

第2数据存储单元由第2阵列、第2表空间和第2分区空间组成；

……

第N数据存储单元由第N阵列、第N表空间和第N分区空间组成；

N为自然数，小于100。

二、基于交错时间分区的移动互联网数据存储方法(简称方法) 

本方法包括以下步骤：

①配置好相关参数，存入系统的配置表中；

②分区管理单元读取配置表信息，根据这些参数信息对分区、表空间进行分配，从而完成表空间、分区的初始化工作，随着业务的进行，该单元持续对表空间、分区进行管理维护；

③数据写入单元提供算法，将采集的海量数据依据相应的规则，导入相应的磁盘接口队列，使数据最短时间内写入数据库的相关存储位置；

该算法保证海量数据涌入的时候，每个磁盘阵列都处于高速工作状态，提高整体阵列的吞吐效率。

④根据业务查询规则，数据读取单元提供读取算法，从而计算出从哪些磁盘阵列中读取数据，在最短时间内读取数据库中的数据反馈给用户； 

该算法保证在查询大量数据的时候，每个磁盘阵列都分担相应的读取压力，从而提高整体阵列的吞吐效率；

⑤数据存储单元根据分区管理单元的分配规则，将海量表中的分区分门别类的规定好存储位置，从而为数据写入单元和数据读取单元工作。

三、本发明具有下列特点： 

①本系统在数据存储划分上更加细化，从而加强了对数据的管理和定位，保证了数据存储的安全性和高可用性；

②在高峰时段，海量数据涌入的时候，本系统保证每个磁盘阵列都处于高速运行状态，提高整体阵列的吞吐效率；

③在对查询响应时间要求高的环境，并查询大量数据的时候，本系统保证每个磁盘阵列都分担相应的读取压力，从而提高整体阵列的响应速度；

④对存储有严格要求的时候，本系统在保证高可用性的情况下，对数据存储使用上更能降低数据文件间的相互干扰。

依据上述特点，本发明在使用中收到下列的积极效果： 

    ①利用数据库中时间分区表的基本原理，结合移动互联网海量业务数据的应用特点，不同的海量数据表交错时间分区式进行存储，大幅提升阵列的管理能力、提升阵列的空间利用率和扩展能力。

②移动互联网海量数据能够同时进行写入和并行查询，有效的解决了传统移动互联网数据存储系统读写速度不能完全兼顾的问题， 

总之，本发明能够对大幅提升目前电信运营商移动互联网海量数据存储系统中磁盘空间利用率低的问题，并提供了新的并行读写方式，大幅提升移动互联网数据存储系统的I/O能力，可以作为电信运营商改良现有移动互联网数据存储系统的重要手段。

附图说明

图1是本系统的结构方框图； 

其中：

100—分区管理单元；

200—数据写入单元；

300—数据存储单元；

310—第1数据存储单元，

311—第1阵列，312—第1表空间，313—第1分区空间，

320—第2数据存储单元，

321—第2阵列，322—第2表空间，323—第2分区空间，

     ……

3N0—第N数据存储单元，

3N1—第N阵列，3N2—第N表空间，3N3—第N分区空间，

     N为自然数，小于100；

400—数据查询单元。

图2是分区管理单元的工作流程图； 

图3是数据写入单元的工作流程图；

图4是数据读取单元的工作流程图；

图5.1是集中式表空间存储结构示意图；

图5.2是分布式表空间存储结构示意图。

具体实施方式

    以下结合附图和实施例详细说明： 

    一、系统

1、总体

如图1，本系统包括分区管理单元100、数据写入单元200、数据存储单元300和数据读取单元400。

其连接和交互关系是： 

分区管理单元100、数据写入单元200和数据读取单元400分别和数据存储单元300连接，实现移动互联网海量数据的磁盘管理、存储和I/O（Input/Output，输入/输出）。

所述数据存储单元300由第1数据存储单元310、第2数据存储单元320……第N数据存储单元3N0组成， 

第1数据存储单元310由第1阵列311、第1表空间312和第1分区空间313组成；

第2数据存储单元320由第2阵列321、第2表空间322和第2分区空间323组成；

……

第N数据存储单元3N0由第N阵列3N1、第N表空间3N2和第N分区空间3N3组成；N为自然数，小于100。

其工作原理是： 

①分区管理单元100负责为每个阵列都分配一个表空间，保证每个阵列都能自己扩展分区文件；

分区管理单元100通过管理数据库进行配置，每次扩展分区时，都要判断单个阵列节点的有效性，当无效时，能自动在其他阵列上新建分区；

②数据存储单元300按照时间交错分区策略，采用时间分区（分钟/小时/天/周/月等）的方式将各种不同类型的海量数据表的数据都存放在每个阵列上，每次都能保证不同类型的海量数据表同一个时间点（比如小时、天）的分区能按顺序创建在不同的表空间上。比如“天翼阅读”海量数据表2012年1月数据存放在第一个表空间上，“天翼导航”海量数据表2012年1月的数据存放在第二个表空间上，天翼阅读” 海量数据表2012年2月数据存放在第二个表空间上，“天翼导航”海量数据表2012年2月的数据存放在第三个表空间上，依此类推。

这样就实现了一种按照时间交错分区的分区表存储方式，对于同一张海量数据表，在同一个时间点，所有分区表总是建在不同的阵列上； 

③数据写入单元200负责将同一时间的（比如同一小时）各种类型海量数据（比如天翼阅读、天翼导航）写入到各个数据存储单元。

④数据读取单元400是从各个数据存储单元读取同一时间的（比如同一小时）各种类型海量数据（比如天翼阅读、天翼导航）。比如，读取2012年2至6月天翼阅读业务的所有用户的流量分布，假设存储单元1是存储的2012年1月的数据，这时读取过程就分布到存储单元2、4、5、6上进行。 

2、功能块 

1）分区管理单元100

分区管理单元100读取配置表信息，根据这些参数信息对分区、表空间进行分配，从而完成表空间、分区的初始化工作，随着业务的进行，该单元持续对表空间、分区进行管理维护。

2）数据写入单元200 

数据写入单元200提供算法，将采集的海量数据依据相应的规则，导入相应的磁盘接口队列，使数据最短时间内写入数据库的相关存储位置。

3）数据存储单元300 

数据存储单元300根据分区管理单元的分配规则，将海量表中的分区分门别类的规定好存储位置，从而为数据写入单元和数据读取单元工作。

（1）第1阵列311 

该阵列用于分配表空间的数据文件，表空间由文件组成，每个阵列上都根据业务规则，分布着各个表空间的数据文件，从而保证读取和写入的时候均衡磁盘阵列。

（2）第1表空间312 

该表空间上用于存储各个海量表的特定分区，海量表由分区组成，每个表空间上都根据算法规则，分布着各个海量表的分区，从而保证读取和写入的时候均衡表空间。

（3）第1分区空间313 

该区域上分布了各个海量表的特定分区，用于分区的细化存储。

4）数据读取单元400 

数据读取单元400提供读取算法，从而计算出从哪些磁盘阵列中读取数据，在最短时间内读取数据库中的数据反馈给用户。

二、方法 

1、分区管理单元100的工作流程

如图2，分区管理单元100的工作流程包括下列步骤：

A、数据库初始化-0

配置好阵列、表空间和分区空间的基本信息，创建JOB（工作任务）；

B、由JOB创建分区（Tn，Pn）-1

其中Tn为某种移动互联网海量数据表，比如T1为天翼导航数据表、T2为天翼视讯数据表、T3为天翼阅读数据表等，Tn表中存放手机号码、上行流量、下行流量、访问时间和访问次数等信息；

其中Pn为时间分区，比如以月的分区201201、以天的分区20120101或者以小时的分区2012010101；

C、查找表分区（Tn，Pn）应该使用的表空间Sn-2，

通过以下两个规则来实现：

规则一，如果该分区为初始化分区，则根据需要创建分区的名称及数据范围，通过查询有效表空间列表来计算各个表空间上的分区个数，获得上面存放最少分区的表空间名称Sn；

规则二，如果该分区为已初始化分区，则根据需要创建的表的名称，通过查询有效表空间列表来计算各个表空间上的分区个数，获得上面存放最少分区的表空间名称Sn；

D、计算表空间Sn的剩余有效空间-3；

E、判断Sn是否存在可用空间-4，是则进入步骤L，否则进入下一步骤F；

F、查找表空间Sn所使用的阵列Zn-5；

G、计算阵列Zn可用空间大小-6；

H、判断Zn是否存在可用空间-7，是则增加表空间大小-12，然后再返回到步骤D，否则进入下一步骤I；

I、查找表空间Sn中的过期分区-8

通过查找Sn中分区的保存时间，找出过期的表分区；

J、判断Sn是否存在过期分区-9，是则删除过期分区-13，然后再返回到步骤D，否则进入下一步骤K；

K、屏蔽阵列Zn-10,并返回到步骤C

屏蔽阵列Zn，将阵列Zn置为无效阵列；

L、创建分区（Tn,Pn）-11。

M、增加表空间大小 -12。 

N、删除过期分区 -13。 

2、数据写入单元200的工作流程 

如图3，数据写入单元的工作流程包括下列步骤：

假定：目前存在三类数据T1、T2、T3，三类表空间S1、S2、S3，三个写入时间点P1、P2、P3作为讨论对象：

①在某一时刻如P1时间点，系统接入三类数据T1、T2、T3；

②根据数据类型，读取配置表，获取该三类数据在P1时间点需要写入的表空间S1、S2、S3信息；

③由步骤②中获取的信息，将数据分别写入相应的表空间，如T1数据写入S1空间，T2数据写入S2空间，T3数据写入S3空间；

④进入下一时间点P2，重复步骤①～③；

⑤再进入下一时间点P３，重复步骤①～③。

结合日常生活，举例如下： 

假定：目前有三名顾客T1、T2、T3，三个业务窗口S1、S2、S3，三个时间点P1、P2、P3，这三名顾客分别在不同的时刻（上午8时，中午12时，下午4时）同时进入银行窗口办理业务，如何保证不存在挤队而高效办理业务，作为讨论对象：

①在某一时刻如P1时间点(上午8时)，三名顾客T1、T2、T3同时进入银行；

②根据业务规则，三名顾客分别获取叫号凭证，该凭证规定了三名顾客需要办理的窗口编号；

③顾客由步骤②中获取的叫号凭证信息，分别进入指定的窗口办理业务，如顾客T1进入S1窗口，顾客T2进入S2窗口，顾客T3进入S3窗口；

④进入下一时间点P2(中午12时)，重复步骤①～③；

⑤再进入下一时间点P３(下午4时)，重复步骤①～③。

由此可见，依据本系统的业务规则，可以保证在同一时刻最大效率的写入数据，提高磁盘的吞吐率。 

以此类推，在多数据，多磁盘空间，不同时刻都根据以上原理进行分发处理。 

3、数据读取单元400的工作流程 

如图4，数据读取单元的工作流程包括下列步骤：

假定：目前存在三类表空间S1、S2、S3，多个写入时间点P1、P2…Pn，三类数据T1、T2、T3，作为讨论对象：

①在某一时刻要查询数据T1在所有历史时间点中的信息；

②根据数据类型，读取配置表，获取该类数据在所有时间点中存入的表空间S1、S2、S3信息；

③由步骤②中获取的信息，分别查询相应的表空间，如T1数据在P1时刻存在S1空间，在P2时刻存在S2空间，在P3时刻存在S3空间；

④将步骤③中获取的数据汇合。

⑤查询下一批数据T2，重复步骤①～④； 

⑥再查询下一批数据T3，重复步骤①～④。  

Claims (5)

1.一种基于交错时间分区的移动互联网数据存储系统，其特征在于：

本系统包括分区管理单元（100）、数据写入单元（200）、数据存储单元（300）和数据读取单元（400）；

分区管理单元（100）、数据写入单元（200）和数据读取单元（400）分别和数据存储单元（300）连接，实现移动互联网海量数据的磁盘管理、存储和读写I/O；

所述数据存储单元（300）由第1数据存储单元（310）、第2数据存储单元（320）……第N数据存储单元（3N0）组成，

第1数据存储单元（310）由第1阵列（311）、第1表空间（312）和第1分区空间（313）组成；

第2数据存储单元（320）由第2阵列（321）、第2表空间（322）和第2分区空间（323）组成；

……

第N数据存储单元（3N0）由第N阵列（3N1）、第N表空间（3N2）和第N分区空间（3N3）组成；

N为自然数，小于100。

2.基于权利要求1所述的一种基于交错时间分区的移动互联网数据存储系统的存储方法，其特征在于：

①配置好相关参数，存入系统的配置表中；

②分区管理单元读取配置表信息，根据这些参数信息对分区、表空间进行分配，从而完成表空间、分区的初始化工作，随着业务的进行，该单元持续对表空间、分区进行管理维护；

③数据写入单元提供算法，将采集的海量数据依据相应的规则，导入相应的磁盘接口队列，使数据最短时间内写入数据库的相关存储位置；

该算法保证海量数据涌入的时候，每个磁盘阵列都处于高速工作状态，提高整体阵列的吞吐效率；

④根据业务查询规则，数据读取单元提供读取算法，从而计算出从哪些磁盘阵列中读取数据，在最短时间内读取数据库中的数据反馈给用户；

该算法保证在查询大量数据的时候，每个磁盘阵列都分担相应的读取压力，从而提高整体阵列的吞吐效率；

⑤数据存储单元根据分区管理单元的分配规则，将海量表中的分区分门别类的规定好存储位置，从而为数据写入单元和数据读取单元工作。

3.按权利要求2所述的存储方法，其特征在于分区管理单元（100）的工作流程包括下列步骤：

A、数据库初始化（0）

配置好阵列、表空间和分区空间的基本信息，创建JOB；

B、由JOB创建分区（Tn，Pn）（1）

其中Tn为某种移动互联网海量数据表；

其中Pn为时间分区；

C、查找表分区（Tn，Pn）应该使用的表空间Sn（2），

通过以下两个规则来实现：

规则一，如果该分区为初始化分区，则根据需要创建分区的名称及数据范围，通过查询有效表空间列表来计算各个表空间上的分区个数，获得上面存放最少分区的表空间名称Sn；

规则二，如果该分区为已初始化分区，则根据需要创建的表的名称，通过查询有效表空间列表来计算各个表空间上的分区个数，获得上面存放最少分区的表空间名称Sn；

D、计算表空间Sn的剩余有效空间（3）；

E、判断Sn是否存在可用空间（4），是则进入步骤L，否则进入下一步骤F；

F、查找表空间Sn所使用的阵列Zn（5）；

G、计算阵列Zn可用空间大小（6）；

H、判断Zn是否存在可用空间（7），是则增加表空间大小（12），然后再返回到步骤D，否则进入下一步骤I；

I、查找表空间Sn中的过期分区（8）

通过查找Sn中分区的保存时间，找出过期的表分区；

J、判断Sn是否存在过期分区（9），是则删除过期分区（13），然后再返回到步骤D，否则进入下一步骤K；

K、屏蔽阵列Zn（10），并返回到步骤C

屏蔽阵列Zn，将阵列Zn置为无效阵列；

L、创建分区（Tn,Pn）（11）；

M、增加表空间大小（12）；

N、删除过期分区 （13）。

4.按权利要求2所述的存储方法，其特征在于数据写入单元（200）的工作流程包括下列步骤：

假定：目前存在三类数据T1、T2、T3，三类表空间S1、S2、S3，三个写入时间点P1、P2、P3作为讨论对象：

①在某一时刻如P1时间点，系统接入三类数据T1、T2、T3；

②根据数据类型，读取配置表，获取该三类数据在P1时间点需要写入的表空间S1、S2、S3信息；

③由步骤②中获取的信息，将数据分别写入相应的表空间，如T1数据写入S1空间，T2数据写入S2空间，T3数据写入S3空间；

④进入下一时间点P2，重复步骤①～③；

⑤再进入下一时间点P３，重复步骤①～③；

以此类推，在多数据、多磁盘空间和不同时刻都根据以上原理进行分发处理。

5.按权利要求2所述的存储方法，其特征在于数据读取单元（400）的工作流程包括下列步骤：

假定：目前存在三类表空间S1、S2、S3，多个写入时间点P1、P2…Pn，三类数据T1、T2、T3，作为讨论对象：

①在某一时刻要查询数据T1在所有历史时间点中的信息；

②根据数据类型，读取配置表，获取该类数据在所有时间点中存入的表空间S1、S2、S3信息；

③由步骤②中获取的信息，分别查询相应的表空间，如T1数据在P1时刻存在S1空间，在P2时刻存在S2空间，在P3时刻存在S3空间；

④将步骤③中获取的数据汇合；

⑤查询下一批数据T2，重复步骤①～④；

⑥再查询下一批数据T3，重复步骤①～④。

Images