CN103853612A - 一种基于分布式存储下的数字家庭内容读数据的方法 - Google Patents

Abstract

本发明公开了一种基于分布式存储下的数字家庭内容写入数据的方法，该方法包括：客户端通过分布式文件系统创建接口请求创建文件，用于写入数据；分布式文件系统向主控节点NameNode发出远程过程调用RPC请求，并根据RPC请求创建数据流输出对象FSDataoutputstream给客户端用来写入数据；客户端开始写数据；数据流输出对象FSDataoutputstream内部维护一个关于每个数据包是否成功被写入的队列；当完成数据写入之后客户端调用流的dose方法；在通知主控节点NameNode之前，调用flush操作能够确保将一些尚未传输完成的信息写入到数据节点中；写数据完成，通知主控节点，在主控节点中会维护该文件的属性信息。通过实施本发明，更好的为用户提供海量数据和多媒体互动等应用服务。

Description

一种基于分布式存储下的数字家庭内容读数据的方法

技术领域

本发明涉及数字家庭技术领域，具体涉及一种基于分布式存储下的数字家庭内容读数据的方法。

背景技术

在数字家庭环境中，基于家庭网关或者智能机顶盒、智能电视盒等为中心的互动服务是数字家庭发展的重点方向。家庭的互动服务包含影音娱乐、游戏、安防等各种信息和内容，在这种内容丰富且分散的环境下，内容管理显得十分必要。一个设计良好的分布式内容管理系统能够充分的利用数字家庭中众多家庭网关来提供稳定和海量的存储服务，为上层应用提供更加丰富的内容服务。

数字家庭的互动应用环境下，其涉及的内容种类繁多，来源广泛，业务间共用内容，需要深入分析内容的关联性，整合加工内容，提供多样化的内容服务，从而能够在这种异构环境下为用户提供更好的服务。我们不仅要解决多媒体的存储，更重要的是需要让这些信息能够与用户进行互动。内容管理系统将会提供互动多媒体的服务，全面深入管理内容价值链包括内容获取、内容共享、内容创新、内容应用，深入挖掘内容背后的价值，实现内容的增值。内容管理系统的目标在于提供统一有效的内容处理和管控功能，使内容具有重用性、弹性，降低整体开发成本。

现行有比较多的企业内容管理服务系统以及网站内容管理系统，还有一些面向特定行业定制的内容管理系统，例如出版业内容管理系统。在企业内容管理方面，IBM内容管理提供了一套可靠的、易升级的、强劲的企业内容管理体系架构，它也同时提供了强劲的、安全的和高扩展能力的服务，使得企业用户能非常容易地访问电子商务的内容。但它们是基于服务器的，我们是基于家庭网关。

现行的内容管理系统是面向企业或者网站的，并不是面向数字家庭环境的，这些内容管理系统运行在一个稳健的硬件环境下，而且使用客户是特定的，经过良好培训的客户，在异构整合方面涉及比较少，对普通或者说硬件环境比较差的、网络稳定性差的环境并不适合；另外，在面向的客户不同，其提供的服务也不相同，数字家庭的用户更多的是与家庭或者社区相关、生活相关的内容服务。

发明内容

本发明的目的在数字家庭环境下提供一种内容管理系统的存储设计和实现，该存储系统能够很好的利用数字家庭大量的智能家庭网关提供一种分布式的、高容错的可移植的存储提供了一种可写入数据的方法。

本发明实施例提供了一种基于分布式存储下的数字家庭内容写入数据的方法，该方法包括：

客户端通过分布式文件系统创建接口请求创建文件，用于写入数据；

分布式文件系统向主控节点NameNode发出远程过程调用RPC请求，并根据RPC请求创建数据流输出对象FSDataoutputstream给客户端用来写入数据；

客户端开始写数据；

数据流输出对象FSDataoutputstream内部维护一个关于每个数据包是否成功被写入的队列；当一个包发送出去后队列里维护该包的一个信息项，当该包的确认信息ack返回时，该包对应的项从队列中删除；

当完成数据写入之后客户端调用流的dose方法；在通知主控节点NameNode之前，调用flush操作能够确保将一些尚未传输完成的信息写入到数据节点中；

写数据完成，通知主控节点，在主控节点中会维护该文件的属性信息。

所述分布式文件系统向主控节点NameNode发出远程过程调用RPC请求，并根据RPC请求创建数据流输出对象FSDataoutputstream给客户端用来写入数据包括：

在NameNode中创建文件，但此时并不分配任何存储块，相当于在主控节点注册一样；NameNede进行很多检查来保证不存在要创建的文件已经存在于文件系统中，检查是否有相应的权限来创建文件；如果这些检查都完成了，NameNode将记录下来这个新文件的信息，否则文件创建失败，并且客户端会收到一个IoExpection；如果创建成功，分布式文件系统返回一个数据流输出对象FSDataoutputstream给客户端用来写入数据。这个数据流对象将负责客户端和分布式文件系统中的数据节点之间的通信工作。

所述客户端开始写数据包括：

DFSDataoutputstream把要写入的数据分成包，并将它们写入到一个数据队列中；主控节点NameNode分配一些数据节点来接收本次写操作的数据流，这些数据数据节点组成一个流水结构的数据管道，数据流对象将数据首先写入到流水线中的第一个节点。

当主控节点NameNode分配的数据节点为三个时，由第一个节点将数据包传送并写入到第二个节点，然后第二个将数据包传送并写入到第三个节点。

所述客户端和数据节点DataNode之间进行的是数据通信，和主控节点之间进行的是控制通信。

所述分布式存储方式为采用Java内容仓库JSR-170为上层服务层提供主要调用接口；针对内容管理系统对Hadoop的改进和相关功能的增加。

通过实施本发明，在内容组织上采用一种跨平台、标准形式的内容仓库标准JSR-170，能够充分利用Java语言的跨平台和该标准本身的独立性，使得本系统的内容存储模块具有跨平台的性质，移植方便，升级容易和可扩展性好；采用分布式计算机架构Hadoop以及它使用的分布式存储架构HDFS，充分利用数字家庭中终端家庭网关、智能盒子等设备作为计算集群和存储集群。Hadoop允许硬件和网络失效，提供高冗余的存储和计算，这适应了家庭网络环境，同时也使得数字家庭的所有设备组建成一个真正意义上的网络，更好的为用户提供海量数据和多媒体互动等应用服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的分布式存储结构示意图；

图2是本发明实施例中的存储结构中的树形组织结构示意图；

图3是本发明实施例中的采用hadoop实现存储层的结构示意图；

图4是本发明实施例中的基于分布式存储的写操作流程示意图；

图5是本发明实施例中的基于分布式存储的读操作流程示意图；

图6是本发明实施例中的带缓存功能客户端结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一个完整的内容管理系统主要包括对内容的收集、存储、转换、搜索、检索、聚合、分发、管控功能等。本发明主要是涉及内容管理系统的存储设计。内容的存储管理主要是对分布式环境下的数据进行管理；备份存储管理：对数据作多重备份，并提供管理接口。实现文件的分布式存储(低成本、高吞吐以及可靠性)，提升数据的访问效率，提供文件存储的事务管理。

本发明的存储层实现主要分为两大部分：一是内容存储组织，采用的JSR-170的实现为上层服务层提供主要调用接口；二是针对内容管理系统对Hadoop的改进和相关功能的增加。其结构如图1所示。JSR-170是Java内容仓库(JCR，Java Content Repository)的一种树形模型的内容组织方式的标准。在JSR-170中，JCR定义了一套标准的API来访问内容仓库，而且这个标准和Java一样，是独立的、标准的方式。内容仓库可以理解问内容管理系统的核心，就是多媒体数据存放的地方，我们需要设计的就是如何组织这些内容，采用的结构是什么；在内容存储组织之下是Hadoop，它是一种分布式计算架构，其数学模型是MapReduce，最早由Google公司提出，Hadoop是其一种实现方式；目前基于Hadoop的分布式架构变得越来越受到IT界亲昵，它主要的优点在于不依托大型服务器，而是将计算运行在众多不稳定的普通的诸如PC机的系统中，它允许硬件以及网络的错误。

上述图1提及内容存储组织，本发明采用JSR-170的树形存储模型来组织数字家庭中的各种内容数据。下面将详细介绍该模块。

内容由元数据和实体文件组成，根据用户的访问特性，浏览访问时只需要元数据即可，在下载或者阅读内容时才涉及实体文件，所以内容的元数据和实体文件分开存储。存储层根据内容在系统里面的流动分为多个区，分别是内容采集区、内容预审区、内容制作区、内容仓库区、内容运营区和内容离线区。各个区提供内容生命周期的不同阶段使用。而在一个区中，所有内容组织成树形结构，如图2所示。每个区中一棵树，树由节点和属性组成：每棵树有一个根节点，除根结点外，每个节点有且仅有一个父亲，以及任意数目的孩子节点和任意数目的属性，即图2中对应的父节点和子节点是1对n的关系。属性(实际上也是一种节点)为树的叶子，有且只有一个父亲(节点)，没有子节点，由一个名字和一个或多个值组成。区中所有实际的内容存储在属性中，节点则被用来创建树内部的“路径”，和传统的文件系统的目录相似；而属性类似于文件，真正存放内容的节点。属性中值的类型有：字符串(String)，日期(Date)，长整形(Long)，双精度浮点(Double)，布尔型，二进制流(stream)等。

存储层向上层应用服务层提供的接口的功能主要是在各个区的根节点下增、删、改、查节点，及对节点的属性进行增、删、改、查。

上述已经说明了本发明内容采用的组织方式是树形组织，接下来我们将说明如何利用Hadoop来实现该模型。

如图3所示，是本发明采用Hadoop实现存储层的结构图。它包含客户端、主控节点(NameNode+JSR-170实现)、数据节点(DataNode)。NameNode在Hadoop系统中是主要完成任务的分配和调度、系统的监控任务的；DataNode在Hadoop中主要是用于内容的存储，每个节点都可以作为DataNode，及所有的家庭网关都可以作为DataNode来用，而NameNode一般选取比较可靠的节点。在Hadoop的主节点NameNede里，文件和目录是存储在一个以“/”为根节点的目录下面。为了实现JSR-170对文件和目录进行了扩展，加入了更多的属性信息。NameNode中的目录对应JSR-170的节点，文件对应JSR-170的二进制属性。节点下面的属性信息需要持久化到磁盘上，为了提高存储读取的效率，把一个节点下面的属性打包成一个Bundle(包)，读写时以整个Bundle为单位。

客户端需要对数据的访问包含对主控节点和数据节点的访问；为了提高系统的鲁棒性和减轻主控节点的负载，客户端只有对节点本身的信息访问时，如任务调度的初期分配以及失败节点的控制等，才访问主控节点；否则诸如数据传输等数据服务都是直接和数据节点DataNode进行通信的；客户端本身也有缓存设计，这样不必每次都向远端进行数据请求，事实上，如果客户端是家庭网关这样的设备，它本身也可能是作为一个DataNode存在的。而像一些手持设备，它不能搭载该存储系统时，可以作为一个控制器存在，而客户端是该家庭中的家庭网关，即该手持设备和家庭网关共同组成一个客户端；这样就保证了数字家庭中，尽可能多的设备能够分享内容服务。

上述部分说明了本发明存储采用的是基于家庭网关为硬件基础的，采用Hadoop架构的分布式存储结构。接下来我们详细说明存储系统的几个关键操作，即写操作机制、读操作机制以及缓存设计。

如图4所示是写操作过程的示意图。具体流程如下：

Step1：客户端通过分布式文件系统创建接口请求创建文件，用于写入数据；转Step2；

Step2：分布式文件系统向主控节点NameNode发出RPC请求，在NameNode中创建文件，但此时并不分配任何存储块，相当于在主控节点注册一样；NameNede进行很多检查来保证不存在要创建的文件已经存在于文件系统中，还有检查是否有相应的权限来创建文件。如果这些检查都完成了，那么NameN0de将记录下来这个新文件的信息，否则文件创建失败，并且客户端会收到一个IoExpection。如果创建成功，分布式文件系统返回一个数据流输出对象FSDataoutputstream给客户端用来写入数据。这个数据流对象将负责客户端和分布式文件系统中的数据节点之间的通信工作；转Step3；

Step3：客户端开始写数据。DFSDataoutputstream把要写入的数据分成包，并将它们写入到一个数据队列中。因为在创建后，主控节点NameNode会分配一些数据节点来接收本次写操作的数据流，我们这里假设有三个数据节点接收，这三个数据节点组成一个三级流水结构的数据管道。数据流对象将数据首先写入到流水线中的第一个节点；转Step4；

Step4：然后由第一个节点将数据包传送并写入到第二个节点，然后第二个将数据包传送并写入到第三个节点。转Step5；

Step5：数据流输出对象FSDataoutputstream内部维护一个关于每个数据包是否成功被写入的队列，即ack queue。当一个包发送出去后队列里维护该包的一个信息项，当该包的确认信息ack返回时，该包对应的项从队列中删除。转Step6；

Step6：当完成数据写入之后客户端调用流的dose方法；在通知主控节点NameNode之前，调用flush操作能够确保将一些尚未传输完成的信息写入到数据节点中，转Step7；

Step7：写数据完成，通知主控节点，在主控节点中会维护该文件的属性信息。这些信息用于后续的操作。至此一个完整的写操作完成。

下面我们详细说明读操作的过程，如图5所示，具体如下：

Step1：客户端打开需要读取的文件；转Step2；

Step2：分布式文件系统通过RPC调用主控节点确定文件块所在的位置；对于每一个数据块，NameNode返回含有该块的数据节点DataNode的地址；返回的数据节点可以根据离客户端的距离或者是网络状态等的衡量来进行排序、选取，选取一个最有利于数据传输的节点作为数据源；文件系统为该次读取操作创建一个输入流对象DFSInputStream；转Step3；

Step3：客户端调用read()方法开始读取数据；转Step4；

Step4：输入流对象DFSInputStream开始时存放了前几个数据块的所在数据节点地址，首先连接到最近的DataNode；然后客户端返回调用read()方法，以流式的方式从数据节点读取数据；转Step5；

Step5：当读到block的结尾的时候，DFShiPutstream会关闭到当前DataNode的链接，然后查找下一个block的最好的DataNode；转Step6；

Step6：读取完毕后关闭输入流、释放对象，结束。

由于用户访问具有局部性，最近访问的数据最近很可能还会继续读取，为了提高访问的效率，可以在客户端缓存读取过的数据，以便再次读取数据时直接获得。

如图6所示，是带缓存设计的客户端，它在客户端内部增加了缓存模块。客户端向上应用程序提供数据服务，它和数据节点DataNode之间进行的是数据通信；和主控节点之间进行的是控制通信。

需要说明的是缓存设计中的替换算法有很多中，我们采用最近最少使用算法，用来淘汰在最近一段时间里较久未被访问的数据。综上，在内容组织上采用一种跨平台、标准形式的内容仓库标准JSR-170，能够充分利用Java语言的跨平台和该标准本身的独立性，使得本系统的内容存储模块具有跨平台的性质，移植方便，升级容易和可扩展性好；采用分布式计算机架构Hadoop以及它使用的分布式存储架构HDFS，充分利用数字家庭中终端家庭网关、智能盒子等设备作为计算集群和存储集群。Hadoop允许硬件和网络失效，提供高冗余的存储和计算，这适应了家庭网络环境，同时也使得数字家庭的所有设备组建成一个真正意义上的网络，更好的为用户提供海量数据和多媒体互动等应用服务。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的基于分布式存储下的数字家庭内容读数据的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于分布式存储下的数字家庭内容写入数据的方法，其特征在于，该方法包括：

客户端通过分布式文件系统创建接口请求创建文件，用于写入数据；

分布式文件系统向主控节点NameNode发出远程过程调用RPC请求，并根据RPC请求创建数据流输出对象FSDataoutputstream给客户端用来写入数据；

客户端开始写数据；

数据流输出对象FSDataoutputstream内部维护一个关于每个数据包是否成功被写入的队列；当一个包发送出去后队列里维护该包的一个信息项，当该包的确认信息ack返回时，该包对应的项从队列中删除；

当完成数据写入之后客户端调用流的dose方法；在通知主控节点NameNode之前，调用flush操作能够确保将一些尚未传输完成的信息写入到数据节点中；

写数据完成，通知主控节点，在主控节点中会维护该文件的属性信息。

2.如权利要求1所述的基于分布式存储下的数字家庭内容读数据的方法，其特征在于，所述分布式文件系统向主控节点NameNode发出远程过程调用RPC请求，并根据RPC请求创建数据流输出对象FSDataoutputstream给客户端用来写入数据包括：

在NameNode中创建文件，但此时并不分配任何存储块，相当于在主控节点注册一样；NameNede进行很多检查来保证不存在要创建的文件已经存在于文件系统中，检查是否有相应的权限来创建文件；如果这些检查都完成了，NameNode将记录下来这个新文件的信息，否则文件创建失败，并且客户端会收到一个IoExpection；如果创建成功，分布式文件系统返回一个数据流输出对象FSDataoutputstream给客户端用来写入数据。这个数据流对象将负责客户端和分布式文件系统中的数据节点之间的通信工作。

3.如权利要求2所述的基于分布式存储下的数字家庭内容读数据的方法，其特征在于，所述客户端开始写数据包括：

DFSDataoutputstream把要写入的数据分成包，并将它们写入到一个数据队列中；主控节点NameNode分配一些数据节点来接收本次写操作的数据流，这些数据数据节点组成一个流水结构的数据管道，数据流对象将数据首先写入到流水线中的第一个节点。

4.如权利要求3所述的基于分布式存储下的数字家庭内容写入数据的方法，当主控节点NameNode分配的数据节点为三个时，由第一个节点将数据包传送并写入到第二个节点，然后第二个将数据包传送并写入到第三个节点。

5.如权利要求4所述的基于分布式存储下的数字家庭内容读数据的方法，其特征在于，所述客户端和数据节点DataNode之间进行的是数据通信，和主控节点之间进行的是控制通信。

6.如权利要求5所述的基于分布式存储下的数字家庭内容读数据的方法，其特征在于，所述分布式存储方式为采用Java内容仓库JSR-170为上层服务层提供主要调用接口；针对内容管理系统对Hadoop的改进和相关功能的增加。

Images