CN102638566A - 一种基于云存储的blog系统运行方法 - Google Patents

Abstract

一种基于云存储的BLOG系统运行方法，属云计算技术领域，主要由博客系统和云存储系统来实现，云存储系统由分布式文件系统及虚拟化服务器集群组成，分布式文件系统采用HADOOP，它包括底层HDFS架构、上层MapReduce算法及客户端，HADOOP接收来自客户端的请求，经HDFS的NameNode节点响应请求，并把具体操作任务分配到其下属的DateNode节点上，经MapReduce函数运算，得到最终结果并返回到客户端上。本发明解决了博客系统存储中遇到的服务器资源浪费、存储效率低、系统运行速度慢等技术性问题，并且解决的了服务器存储空间的可伸缩性、服务器内存储资源的安全性与稳定性的问题。

Description

一种基于云存储的BLOG系统运行方法

技术领域

本发明涉及一种基于云存储的BLOG系统运行方法，属于云计算技术领域。

背景技术

随着时代的发展，博客这种网络应用技术已经进入了千家万户。随着博客系统的日益复杂化，以及使用用户的逐渐增加，传统的集中式存储方法已经难以满足其发展的需求，文件存储的架构性改变也就成为了一种时代的趋势。如何能够对博客用户的日志、人档案等资料进行及时、有效、安全的存储和管理，如何能够在保证服务器稳定性的同时能够在有限度额硬件资源上实现存储的最大化就成为了目前各大企业需要解决的关键性问题。而布式文件存储以及服务器的虚拟化技术的出现则恰恰能够解决上述的种种问题。

传统的博客系统的存储一般都是集中共享式存储，即，所有资源以一种直接写入的方式存储到同一台服务器上，造成了硬件资源的浪费，并且不能保证博客系统数据资源的安全性和可靠性。这种存储方式同样对博客系统的运算速度、数据的传输速度以及服务器内数据的备份能力都有着极为不利的影响，并且加大了企业的运营和管理的成本。

本发明可以通过云存储技术的使用实现对博客系统数据资源低成本高效率高安全性的存储，与传统的博客系统存储体系有着结构性的差异。云存储技术能够把博客系统的存储空间部署到大量不同型号不同规模的硬件存储设备上，并进行统一的管理和配置。通过云存储架构中的大型服务器集群、分布式文件系统等联合起来的协同工作，向用户提供存储服务和访问服务的接口或软件。云存储技术的使用极大的提高了博客系统的存储效率、存储空间的可扩展性、以及存储数据资源的安全性。如专利号为200620167567.9，名称为《基于虚拟专用网和分布式存储方式的分布式电子邮件系统》，虽然采用了分布式文件存储的算法，但是却没有实现服务器的虚拟化，所以依然无法解决服务器集群的负载均衡、数据资源的自动备份等功能。

博客系统的数据存储量一般都是极为庞大的，传统的存储方式已经很难再满足如此庞大的数据的存储，然而云存储技术却可以对这种大批量的数据进行分布式运算，实现了数据的高效存储并且保证了数据资源在服务器存储空间内的安全性。

发明内容

针对传统的博客系统存储技术的不足，本发明提出了一种基于云存储的BLOG(博客)系统运行方法。

本发明的技术方案如下：

一种基于云存储的BLOG(博客)系统运行方法，主要由以下系统来实现，该系统包括博客系统和云存储系统，云存储系统主要由分布式文件系统以及虚拟化服务器集群组成，其中分布式文件系统采用HADOOP，虚拟化服务器集群采用了VMWare WorkStation企业型虚拟化软件，HADOOP系统主要包括底层HDFS架构、上层MapReduce算法以及Client客户端HADOOP系统接收来自Client客户端的请求，通过HDFS(HADOOP的分布式文件系统模块)的NameNode节点(分布式文件系统的控制模块)响应请求，并把具体操作任务分配到其下属的DateNode节点(分布式文件系统的存储模块)上，经过DataNode节点上MapReduce函数的运算，得到最终结果，并把结果返回到Client上，该运行方法步骤如下：

a.在服务器端安装VMWare WorkStation，完成多个虚拟机的创建以及Linux操作系统的安装，并实现虚拟机集群的搭建；

b.将HADOOP部署到该服务器集群上，选择一个虚拟机作为Client，一个作为NameNode节点，其余的作为DataNode节点，并在每一个节点上配置好MapReduce函数；

c.在HADOOP的Client上部署LAMP(Linux+Apache+MySQL+PHP)架构，并将博客系统的源文件及数据库文件分别放到LAMP的Apache和MySQL中，分别转入步骤d、步骤e和步骤f；

d.用户登陆博客系统，上传文件，HADOOP通过Client接收到用户的请求，并执行写入文件的操作，将文件通过NameNode节点分配部署到下属的DataNode节点上，通过MapReduce函数实现文件的分布式存储，转入步骤g；

e.用户下载文章图片，HADOOP通过Client接收到用户的请求，执行读取操作，通过NameNode节点的管理，从DataNode节点上读取数据资源，并通过MapReduce函数实现数据的整合，并将整合好的数据输出到Client端，传送给用户，转入步骤g；

f.用户查看博客资料，HADOOP通过Client接收到用户的请求，执行查看操作，通过NameNode节点的控制，从DataNode节点上得到文件存储的具体位置，通过MapReduce函数进行整合，并将最终数据返回给Client端，实现用户的查看功能，转入步骤g；

g.完成HADOOP系统的读写功能，服务器资源进行重新整合，Client检测到HADOOP的变化，并进行用户界面的更新。

上述运行方法的步骤d中HADOOP通过Client接收到用户的请求，并执行写入文件的操作，步骤如下：

<1>用户向博客系统添加文件，Client接收来自用户的写入请求；

<2>Client向HADOOP发送写入请求，HADOOP中的NameNode节点接收请求，并通过调用函数创建一个状态为under construction(正在创建中)的新文件用于接收写入文件，并发送响应；

<3>Client接收来自Namenode节点的响应，将文件分成一个个的数据块写入DataNode节点中，并在写入过程中实现数据的备份；

<4>数据写入完成，发送成功信号给客户端；

<5>客户端接收成功信号，并将成功写入数据的信号发送给用户，整个数据写入操作完成。

上述运行方法的步骤e中HADOOP通过Client接收到用户的请求，执行读取操作，步骤如下：

1>Client接收用户的读取请求，并通过调用函数将请求发往HADOOP；

2>HADOOP的NameNode节点(分布式文件系统的控制模块)接收来自Client的请求，从它的locatedBlocks中查找资源位置，并创建读入流，向DataNode节点发送数据读取命令；

3>DataNode节点接收来自NameNode节点的读取命令，通过函数调用建立客户端链接监控，将DataNode节点上的本地数据进行整合后发送给客户端；

4>HADOOP数据读取完成，向Client发送读取完成信号；

5>Client接收来自HADOOP的读取完成信号，完成用户的读取数据请求。

上述运行方法的步骤f中HADOOP通过Client接收到用户的请求，执行查看操作，步骤如下：

<a>用户向Client发送打开文件的请求，Client接收请求，并通过调用DistributedFileSystem.open(Path f，int bufferSize)函数(用于打开文件路径的函数)向HADOOP发送请求；

<b>HADOOP的NameNode节点接收来自Client的请求，通过RPC调用，得到数据存储位置链表，形成DFSInputStream(包含数据资源在DataNode中位置的输入流)对象，将响应发送给Client；

<c>Client接收响应，完成FSDataInputStream(直接查看HDFS系统数据时使用的类，使用该类以流的形式从HDFS中读取数据)的包装，返回给用户；

<d>用户接收到FSDataInputStream，文件的打开操作完成。

上述HADOOP是一个分布式文件系统基础架构。

上述Client英文原意是顾客、客户、委托人等，此处意为客户端。

上述WordPress是一种使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设自己的网志。也可以把WordPress当作一个内容管理系统(CMS)来使用。WordPress是一个免费的开源项目，在GNU通用公共许可证下授权发布。

上述HDFS是分布式文件系统HADOOP的系统模块。

上述DFSInputStream对象是包含数据资源在DataNode中位置的输入流。

上述under construction意思是正在创建中。

上述NameNode是分布式文件系统的控制模块。

上述DataNode是分布式文件系统的存储模块。

在本发明的云存储系统上所使用的博客系统是wordpress，wordpress是目前开源博客系统中用用最为广泛的产品之一。该博客系统是基于PHP+MyAQL搭建的，拥有十分强大的功能性应用、支持各种插件，且源代码非常简单利于管理员的管理和维护工作。

分布式文件系统可以把数据资源存储到多台不同类型的存储设备上并进行统一的管理，其可扩展性极好，并且通过多台服务存储设备之间的分布式运算能够有效的减轻服务器的负荷、提高服务器的存储效率以及系统的运行速度。HADOOP较其他分布式文件系统，拥有更好的容错能力，其对于存储硬件资源的要求更低，可以部署在任何低廉的硬件上。

虚拟化技术可以把一个服务器虚拟出许多虚拟机，并将这些虚拟机连接在一起，组成大型的服务器集群，通过对服务器集群的各种配置和部署，使其成为分布式文件系统的底层支撑架构，在基于虚拟化的服务器集群上搭建的分布式文件存储，可以很容易的实现集群的负载均衡、数据的动态迁移、数据的自动备份等工作，使文件存储变的更加方便快捷并保证了存储的安全性。VMWare WorkStation是目前最为普遍的服务器虚拟化软件，其使用的方便性，易于学习性，安装部署的快捷性是本发明选择它的原因。

本发明解决了博客系统存储中遇到的服务器资源浪费、存储效率低、系统运行速度慢等技术性问题，并且解决的了服务器存储空间的可伸缩性、服务器内存储资源的安全性与稳定性的问题。

附图说明

图1是本发明系统的结构示意图。

其中：1、博客系统，2、网络接口，3、HADOOP系统，4、虚拟化服务器集群。

图2是本发明系统中HADOOP系统的HDFS(分布式文件系统)结构示意图。

其中：5、Client(客户端)，6、NameNode(分布式文件系统的控制模块)，7、DataNode(分布式文件系统的存储模块)。

图3是本发明系统运行方法的流程框图，其中a～g为其中各个步骤。

图4是本发明系统运行方法步骤d中的HADOOP通过Client接收到用户的请求，并执行写入文件的操作的流程框图，其中<1>～<5>为其中各个步骤。

图5是本发明系统运行方法步骤e中的HADOOP通过Client接收到用户的请求，并执行读取文件的操作的流程框图，其中1>～5>为其中各个步骤。

图6是本发明系统运行方法步骤f中的HADOOP通过Client接收到用户的请求，并执行查看文件的操作的流程框图，其中<a>～<d>为其中各个步骤。

具体实施方式

下面结合附图和实施例对本发明做进一步说明，但不限于此。

实施例：

本发明实施例如图1-3所示，一种基于云存储的BLOG(博客)系统运行方法，主要由以下系统来实现，该系统包括博客系统1和云存储系统，云存储系统主要由分布式文件系统以及虚拟化服务器集群4组成，其中分布式文件系统采用HADOOP，虚拟化服务器集群4采用了VMWare WorkStation企业型虚拟化软件，HADOOP系统3主要包括底层HDFS架构、上层MapReduce算法以及Client客户端5，HADOOP系统3接收来自Client客户端5的请求，通过HDFS(HADOOP的分布式文件系统模块)的NameNode6节点(分布式文件系统的控制模块)响应请求，并把具体操作任务分配到其下属的DateNode7节点(分布式文件系统的存储模块)上，经过DataNode7节点上MapReduce函数的运算，得到最终结果，并把结果返回到Client5上，该运行方法步骤如下：

a.在服务器端安装VMWare WorkStation，完成多个虚拟机的创建以及Linux操作系统的安装，并实现虚拟机集群的搭建；

b.将HADOOP部署到该服务器集群上，选择一个虚拟机作为Client，一个作为NameNode节点，其余的作为DataNode节点，并在每一个节点上配置好MapReduce函数；

c.在HADOOP的Client上部署LAMP(Linux+Apache+MySQL+PHP)架构，并将博客系统的源文件及数据库文件分别放到LAMP的Apache和MySQL中，分别转入步骤d、步骤e和步骤f；

d.用户登陆博客系统，上传文件，HADOOP通过Client接收到用户的请求，并执行写入文件的操作，将文件通过NameNode节点分配部署到下属的DataNode节点上，通过MapReduce函数实现文件的分布式存储，转入步骤g；

e.用户下载文章图片，HADOOP通过Client接收到用户的请求，执行读取操作，通过NameNode节点的管理，从DataNode节点上读取数据资源，并通过MapReduce函数实现数据的整合，并将整合好的数据输出到Client端，传送给用户，转入步骤g；

f.用户查看博客资料，HADOOP通过Client接收到用户的请求，执行查看操作，通过NameNode节点的控制，从DataNode节点上得到文件存储的具体位置，通过MapReduce函数进行整合，并将最终数据返回给Client端，实现用户的查看功能，转入步骤g；

g.完成HADOOP系统的读写功能，服务器资源进行重新整合，Client检测到HADOOP的变化，并进行用户界面的更新。

上述运行方法的步骤d中HADOOP通过Client接收到用户的请求，并执行写入文件的操作，如图4所示，步骤如下：

<1>用户向博客系统添加文件，Client接收来自用户的写入请求；

<2>Cl ient向HADOOP发送写入请求，HADOOP中的NameNode节点接收请求，并通过调用函数创建一个状态为under construction(正在创建中)的新文件用于接收写入文件，并发送响应；

<3>Client接收来自Namenode节点的响应，将文件分成一个个的数据块写入DataNode节点中，并在写入过程中实现数据的备份；

<4>数据写入完成，发送成功信号给客户端；

<5>客户端接收成功信号，并将成功写入数据的信号发送给用户，整个数据写入操作完成。

上述运行方法的步骤e中HADOOP通过Client接收到用户的请求，执行读取操作，如图5所示，步骤如下：

1>Client接收用户的读取请求，并通过调用函数将请求发往HADOOP；

2>HADOOP的NameNode节点(分布式文件系统的控制模块)接收来自Client的请求，从它的locatedBlocks中查找资源位置，并创建读入流，向DataNode节点发送数据读取命令；

3>DataNode节点接收来自NameNode节点的读取命令，通过函数调用建立客户端链接监控，将DataNode节点上的本地数据进行整合后发送给客户端；

4>HADOOP数据读取完成，向Client发送读取完成信号；

5>Client接收来自HADOOP的读取完成信号，完成用户的读取数据请求。

上述运行方法的步骤f中HADOOP通过Client接收到用户的请求，执行查看操作，如图6所示，步骤如下：

<a>用户向Client发送打开文件的请求，Client接收请求，并通过调用DistributedFileSystem.open(Path f，int bufferSize)函数(用于打开文件路径的函数)向HADOOP发送请求；

<b>HADOOP的NameNode节点接收来自Client的请求，通过RPC调用，得到数据存储位置链表，形成DFSInputStream(包含数据资源在DataNode中位置的输入流)对象，将响应发送给Client；

<c>Client接收响应，完成FSDataInputStream(直接查看HDFS系统数据时使用的类，使用该类以流的形式从HDFS中读取数据)的包装，返回给用户；

<d>用户接收到FSDataInputStream，文件的打开操作完成。

Claims (4)

1.一种基于云存储的BLOG系统运行方法，主要由以下系统来实现，该系统包括博客系统和云存储系统，云存储系统主要由分布式文件系统以及虚拟化服务器集群组成，其中分布式文件系统采用HADOOP，虚拟化服务器集群采用了VMWare WorkStation企业型虚拟化软件，HADOOP系统主要包括底层HDFS架构、上层MapReduce算法以及Client客户端，HADOOP系统接收来自Client客户端的请求，通过HDFS的NameNode节点响应请求，并把具体操作任务分配到其下属的DateNode节点上，经过DataNode节点上MapReduce函数的运算，得到最终结果，并把结果返回到Client客户端上，该运行方法步骤如下：

a.在服务器端安装VMWare WorkStation，完成多个虚拟机的创建以及Linux操作系统的安装，并实现虚拟机集群的搭建；

b.将HADOOP部署到该服务器集群上，选择一个虚拟机作为Client，一个作为NameNode节点，其余的作为DataNode节点，并在每一个节点上配置好MapReduce函数；

c.在HADOOP的Client上部署LAMP架构，并将博客系统的源文件及数据库文件分别放到LAMP的Apache和MySQL中，分别转入步骤d、步骤e和步骤f；

d.用户登陆博客系统，上传文件，HADOOP通过Client接收到用户的请求，并执行写入文件的操作将文件通过NameNode节点分配部署到下属的DataNode节点上，通过MapReduce函数实现文件的分布式存储，转入步骤g；

e.用户下载文章图片，HADOOP通过Client接收到用户的请求，执行读取操作，通过NameNode节点的管理，从DataNode节点上读取数据资源，并通过MapReduce函数实现数据的整合，并将整合好的数据输出到Client端，传送给用户，转入步骤g；

f.用户查看博客资料，HADOOP通过Client接收到用户的请求，执行查看操作，通过NameNode节点的控制，从DataNode节点上得到文件存储的具体位置，通过MapReduce函数进行整合，并将最终数据返回给Client端，实现用户的查看功能，转入步骤g；

g.完成HADOOP系统的读写功能，服务器资源进行重新整合，Client检测到HADOOP的变化，并进行用户界面的更新。

2.一种如权利要求1所述运行方法的步骤d中HADOOP通过Client接收到用户的请求，

并执行写入文件的操作，步骤如下：

<1>用户向博客系统添加文件，Client接收来自用户的写入请求；

<2>Client向HADOOP发送写入请求，HADOOP中的NameNode节点接收请求，并通过调用函数创建一个状态为under construction的新文件用于接收写入文件，并发送响应；

<3>Client接收来自Namenode节点的响应，将文件分成一个个的数据块写入DataNode节点中，并在写入过程中实现数据的备份；

<4>数据写入完成，发送成功信号给客户端；

<5>客户端接收成功信号并将成功写入数据的信号发送给用户，整个数据写入操作完成。

3.一种如权利要求1所述运行方法的步骤e中HADOOP通过Client接收到用户的请求，执行读取操作，步骤如下：

1>Client接收用户的读取请求，并通过调用函数将请求发往HADOOP；

2>HADOOP的NameNode节点接收来自Client的请求，从它的locatedBlocks中查找资源位置，并创建读入流，向DataNode节点发送数据读取命令；

3>DataNode节点接收来自NameNode节点的读取命令，通过函数调用建立客户端链接监控，将DataNode节点上的本地数据进行整合后发送给客户端；

4>HADOOP数据读取完成，向Client发送读取完成信号；

5>Client接收来自HADOOP的读取完成信号，完成用户的读取数据请求。

4.一种如权利要求1所述运行方法的步骤f中HADOOP通过Client接收到用户的请求，执行查看操作，步骤如下：

<a>用户向Client发送查看文件的请求，Client接收请求，并通过调用DistributedFileSystem.open函数向HADOOP发送请求；

<b>HADOOP的NameNode节点接收来自Client的请求，通过RPC调用，得到数据存储位置链表，形成DFSInputStream对象，将响应发送给Client；

<c>Client接收响应，完成FSDataInputStream的包装，返回给用户；

<d>用户接收到FSDataInputStream，文件的查看操作完成。

Images