CN104216908A - 互联网数据管理系统及其读写方法 - Google Patents

Abstract

本申请公开了一种互联网数据管理系统，包括：存取管理模块，用于向存取适配模块发出文件存取请求，还将欲写入文件写入到存储资源模块的一个或多个数据单元中，还从存储资源模块的一个或多个数据单元中读取并合并为欲读取文件。存取适配模块，负责管理整个数据管理系统的命名空间、以及分配欲写入文件在存取资源模块的哪些数据单元中以及在这些数据单元中的存储位置、以及查找欲读取文件在存取资源模块的哪些数据单元中以及在这些数据单元中的存储位置。存取资源模块，包括多个数据单元，各个数据单元的大小相同。本申请还公开了所述互联网数据管理系统的读写方法。本申请可以提高海量数据的管理效率，特别适用于对非结构化数据进行数据管理。

Description

互联网数据管理系统及其读写方法

技术领域

本申请涉及一种数据管理系统。

背景技术

当下我们生活在一个数据的时代，但很难计算或是估计全球以电子方式存储的数据总量有多少。单以互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

不仅仅互联网数据，数据还有很多其他的来源：

纽约证券交易所每天产生1TB的交易数据。

Facebook存储着100亿张照片，约1PB存储容量。

瑞士日内瓦附近的大型强子对撞机每年产生约15PB的数据。

截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

面对已经存在的如此大量的数据，我们今天不得不面对如何存储和分析这些数据。

数据管理是利用计算机技术对数据进行有效的收集、存储、处理和应用的过程。从数据管理的角度出发，互联网上的信息可分为结构化数据与非结构化数据两类。所述结构化数据是指可用二维逻辑表结构来表达的数据，例如存储在关系数据库或面向对象数据库中的数据。所述非结构化数据是指无法用二维逻辑表结构来表达的数据，包括自然语言文本、图像、音频、视频资源等。互联网上的大量信息都是非结构化数据，对其进行数据管理就成为一个难点。

现有的互联网数据管理系统往往采用分布式数据库（distributed database），例如Oracle、DB2、SQLserver等。这些分布式数据库可以较好地支持结构化数据，但在存储和管理非结构化数据方面仍有不足，主要表现在查询和统计的支持较弱、效率较低等。

发明内容

本申请所要解决的技术问题是提供一种互联网数据管理系统，特别适用于处理互联网上的非结构化数据，同时兼容结构化数据。为此，本申请还要提供所述互联网数据管理系统的读写方法。

为解决上述技术问题，本申请互联网数据管理系统包括：

——存取管理模块，用于向存取适配模块发出文件存取请求，还将欲写入文件写入到存储资源模块的一个或多个数据单元中，还从存储资源模块的一个或多个数据单元中读取并合并为欲读取文件；

——存取适配模块，负责管理整个数据管理系统的命名空间、以及分配欲写入文件存储在哪些数据单元中以及在这些数据单元中的存储位置、以及查找欲读取文件在哪些数据单元中以及在这些数据单元中的存储位置；

——存取资源模块，包括多个数据单元，各个数据单元的大小相同。

本申请互联网数据管理系统的写入方法为：

第1步，存取管理模块发出文件写入的请求；

第2步，存取适配模块接收该请求后，根据欲写入文件的大小和当前的数据单元配置信息，分配该欲写入文件存储在哪些数据单元中以及在这些数据单元中的存储位置，并将分配结果告知存取管理模块；

第3步，存取管理模块根据所述分配结果将欲写入文件分割为一个或多个部分，并写入到所分配的一个或多个数据单元中。

本申请互联网数据管理系统的读取方法为：

第1步，存取管理模块发出文件读取请求；

第2步，存取适配模块接收该请求后，根据欲读取文件的名称查找欲读取文件在哪些数据单元中以及在这些数据单元中的存储位置，并将查找结果告知存取管理模块；

第3步，存取管理模块根据所述查找结果在所查到的各个数据单元中读取欲读取文件的各个部分，并合并为欲读取文件。

本申请互联网数据管理系统及其读写方法，可以提高海量数据的管理效率，减轻计算机网络负担。该系统对互联网上的各种非结构化数据进行分布式存储和分布式管理，具有可伸缩性和高容错性，既可满足行业应用对局部海量数据的处理要求，又可满足对整体海量数据进行分布式全局处理要求。采用该系统，除可进行增、删、改、查等初级信息应用，在信息挖掘分析、研判、分类等方面更具有重要的现实意义。

附图说明

图1是本申请互联网数据管理系统的结构示意图；

图2是本申请互联网数据管理系统的写入方法流程图；

图3是本申请互联网数据管理系统的读取方法流程图。

图中附图标记说明：

10为存取管理模块；20为存取适配模块；30为存取资源模块；31为数据单元。

具体实施方式

请参阅图1，本申请所述的互联网数据管理系统包括：

——存取管理模块10，对外具有统一接口，用来接收各种应用程序对所述互联网数据管理系统的操作请求，主要包括文件写入请求和文件读取请求。所述存取管理模块10再向存取适配模块20发出文件存取请求，还将欲写入文件写入到存取资源模块30的一个或多个数据单元31中，还从存取资源模块30的一个或多个数据单元31中读取并合并为欲读取文件。

——存取适配模块20，负责管理整个数据管理系统的命名空间、以及分配欲写入文件在哪些数据单元31中存储以及在这些数据单元31中的存储位置、以及查找欲读取文件在哪些数据单元31中存储以及在这些数据单元31中的存储位置；所述命名空间包括：

（1）各个文件的名称、描述等信息；

（2）各个数据单元31在存取资料模块30中的路径；

（3）每个文件存储于哪些数据单元31中、每个文件的各个部分在这些数据单元31中的存储位置。

——存取资源模块30，包括多个数据单元31，各个数据单元31的大小是相同的。例如，存取资源模块30可以是一块或多块磁盘驱动器，优选为硬盘。数据单元31可以是硬盘的扇区（sector）、磁道（track）、柱面（cylinder）、块（block）、簇（cluster）之一。

所述存取适配模块20在分配欲写入文件在哪些数据单元31中存储、以及在这些数据单元31中的存储位置时，优先将已使用、但还具有空闲空间的数据单元31填充满，然后再使用全新的数据单元31。假设A文件为32MB，其写入时没有部分空闲的数据单元31，则将A文件置于一个全新的数据单元31中，该数据单元31还有32MB空闲。假设B文件为100MB，其写入时有一个数据单元31有32MB的空闲空间，那么将B文件分割为三部分，第一部分填满32MB的空闲空间，第二部分占据一个全新的数据单元31，第三部分填充另一个全新的数据单元31中的4MB空间。

如果数据单元31设置得足够大，从存取资源模块30存、取数据的时间将明显大于在存取资源模块30定位数据单元31所需的时间。当存取资源模块30采用磁盘时，存、取一个位于多个数据单元31中的文件的时间就主要取决于数据在磁盘上的写入、读取速度。例如：如果寻址时间为10ms，而磁盘上数据传输速率为100MB/s，以传输100MB大小的文件为例，为了使寻址时间仅占数据传输时间的1%，将数据单元31的大小设为100MB。优选地，数据单元31的大小设置为64MB或128MB。随着磁盘驱动器传输速率的提升，数据单元31的大小还可设置得更大。

优选地，各个数据单元31均周期性地将其存储数据的名称、描述、存储位置等信息、以及心跳信息发送给存取适配模块20。所述心跳信息用于表明该数据单元31的状态是否正常。

优选地，所述互联网数据管理系统为所有的数据单元31建立备份，并为每个数据单元31至少创建一个副本，每个数据单元31及其副本至少存储在两个不同的磁盘上，并优选存储在两台不同的计算机上，以保证在部分数据单元31、部分磁盘、乃至部分计算机出故障的情况下数据存储的安全性。并且，各个数据单元31的大小、各个数据单元31的副本数量都是可以配置的。所述存储适配模块20负责管理各个数据单元31的副本信息，包括副本数量及存储路径等。如果发现一个数据单元31不可用，存取管理模块10会从其他位置读取该数据单元31的副本，并基于该数据单元31的副本修复或替换不可用的该数据单元31，确保该数据单元31及其至少一个副本的可用性，整个过程对用户是透明的。

请参阅图2，本申请所述的互联网数据管理系统的写入方法为：

第2.1步，存取管理模块10根据上层应用程序的操作，发出文件写入的请求。所述请求中包括欲写入文件的名称、大小等信息。

第2.2步，存取适配模块20接收该请求后，根据欲写入文件的大小和当前的数据单元配置信息（包括每个数据单元31的大小、每个数据单元31的副本数量、当前各个数据单元31的使用情况等），将欲写入的文件分配在存取资源模块30的一个或多个数据单元31中，并具体到在这些数据单元31中的哪个存储位置，以及这些数据单元31可容纳的数据大小，以及这些数据单元31中所容纳的数据的相互顺序，并将分配结果告知存取管理模块10。存取适配模块20还记录上述分配结果。

第2.3步，存取管理模块10将欲写入文件根据所述分配结果分割为一个或多个部分，并写入到所分配的一个或多个数据单元31中。

可选地，如果要为各个数据单元31创建副本，那么在第2.2步中，所述分配结果中还包括所分配的各个数据单元31的副本的存储位置。同时在第2.3步中，所述存取管理模块10将数据同时写入到所分配的各个数据单元及其副本中。

请参阅图3，本申请所述的互联网数据管理系统的读取方法为：

第3.1步，存取管理模块10根据上层应用程序的操作，发出文件读取请求。所述请求中包括欲读取文件的名称等信息。

第3.2步，存取适配模块20接收该请求后，根据欲读取文件的名称查找其被存储于哪些数据单元31中，以及具体在这些数据单元31中的哪个存储位置，以及这些数据单元31中所容纳的数据的相互顺序，并将查找结果告知存取管理模块10。

第3.3步，存取管理模块10根据所述查找结果在所查到的一个或多个数据单元31中读取欲读取文件的各个部分，并合并为欲读取文件。

可选地，如果每个数据单元31都有副本。那么在第3.2步中，所述查找结果中还包括所查到的各个数据单元31的副本的存储位置。同时在第3.3步中，当某一数据单元31读取失败后，所述存取管理模块10改从其副本读取。

通常情况下，磁盘或网络上的I/O操作基本不会将错误引入到正在读写的数据单元31，但是当所述互联网数据管理系统所要处理的数据量达到或接近极限时，数据单元31被损坏的概率将会增加。检测数据单元31是否损坏的常见措施是，在数据单元31第一次存储进入时计算初始校验和，并在数据单元31通过一个不可靠的通道进行传输时再次计算校验和，新的校验和与初始校验和相同就认为数据单元31正常，否则就认为数据单元31已损坏。本申请中，存取管理模块10对写入的所有数据单元31计算初始校验和，并保存一个包含各个数据单元31的初始校验和的日志用于后续的验证校验证。存取管理模块10还在日志中记载每个数据单元31的最后一次验证时间、每个数据单元31的校验和验证的次数、损害概率等统计信息。存取管理模块10在读取数据单元31时还进行校验和的验证，如果检测到校验和验证错误，就向存取适配模块20报告该已损坏的数据单元31。存储适配模块20将这个数据单元31标识为已损坏，并将这个数据单元31的一个复本复制到另一个存储位置，这便保持了该数据单元31的副本数量。随后，已损坏的数据单元31将被存储适配模块20删除。

以上仅为本申请的优选实施例，并不用于限定本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种互联网数据管理系统，其特征是，包括：

——存取管理模块，用于向存取适配模块发出文件存取请求，还将欲写入文件写入到存储资源模块的一个或多个数据单元中，还从存储资源模块的一个或多个数据单元中读取并合并为欲读取文件；

——存取适配模块，负责管理整个数据管理系统的命名空间、以及分配欲写入文件存储在哪些数据单元中以及在这些数据单元中的存储位置、以及查找欲读取文件在哪些数据单元中以及在这些数据单元中的存储位置；

——存取资源模块，包括多个数据单元，各个数据单元的大小相同。

2.根据权利要求1所述的互联网数据管理系统，其特征是，每个文件或者直接写入到一个数据单元中，或者分为多个部分且各个部分各自写入到一个数据单元中；各个文件的各个部分均小于或等于所述数据单元的大小。

3.根据权利要求1所述的互联网数据管理系统，其特征是，所述存取适配模块在分配欲写入文件在哪些数据单元以及在这些数据单元中的存储位置时，优先将已使用、但还具有空闲空间的数据单元填充满，然后再使用全新的数据单元。

4.根据权利要求1所述的互联网数据管理系统，其特征是，各个数据单元均周期性地将其心跳信息发送给存取适配模块；所述心跳信息用于表明该数据单元的状态是否正常。

5.根据权利要求1所述的互联网数据管理系统，其特征是，所述存储适配模块为每个数据单元至少创建一个副本，每个数据单元及其副本至少存储在两个不同的磁盘上；所述存储适配模块负责管理各个数据单元的副本信息，包括副本数量及路径；当发现一个数据单元不可用，存储适配模块将读取该数据单元的副本，并基于该数据单元的副本修复或替换该不可用的数据单元。

6.一种互联网数据管理系统的写入方法，其特征是，包括如下步骤：

第1步，存取管理模块发出文件写入的请求；

第2步，存取适配模块接收该请求后，根据欲写入文件的大小和当前的数据单元配置信息，分配该欲写入文件存储在哪些数据单元中以及在这些数据单元中的存储位置，并将分配结果告知存取管理模块；

第3步，存取管理模块根据所述分配结果将欲写入文件分割为一个或多个部分，并写入到所分配的一个或多个数据单元中。

7.根据权利要求6所述的互联网数据管理系统的写入方法，其特征是，

所述方法第2步中，所述分配结果还包括所分配的各个数据单元的副本的存储位置；

所述方法第3步中，所述存取管理模块将数据同时写入所分配的各个数据单元及其副本中。

8.一种互联网数据管理系统的读取方法，其特征是，包括如下步骤：

第1步，存取管理模块发出文件读取请求；

第2步，存取适配模块接收该请求后，根据欲读取文件的名称查找欲读取文件在哪些数据单元中以及在这些数据单元中的存储位置，并将查找结果告知存取管理模块；

第3步，存取管理模块根据所述查找结果在所查到的各个数据单元中读取欲读取文件的各个部分，并合并为欲读取文件。

9.根据权利要求8所述的互联网数据管理系统的读取方法，其特征是，

所述方法第2步中，所述查找结果还包括所查到的各个数据单元的副本的存储位置；

所述方法第3步中，当某一数据单元读取失败后，所述存取管理模块改读取其副本。

10.根据权利要求8所述的互联网数据管理系统的读取方法，其特征是，所述存取管理模块在各个数据单元第一次写入时计算初始校验和，并保存一个包含各个数据单元的初始校验和的日志用于后续的验证校验证；所述存取管理模块还在读取各个数据单元时验证校验和，如果检测到校验和验证错误，就向存取适配模块报告该已损坏的数据单元；存储适配模块将这个数据单元的一个复本复制到另一个存储位置，并删除已损坏的数据单元。