CN103428292A - 一种大数据有效存储的装置和方法 - Google Patents

Abstract

本发明涉及数据存储技术领域，特别涉及一种大数据有效存储的装置和方法。其结构由服务器端和客户端构成，服务器端由主机系统和虚拟机构成，所述的主机系统由两台ARM架构的个人计算机构成，作为服务器端的名称节点，其用于监控存储节点间容量及负载均衡；所述的虚拟机由多个个人计算机构成，作为服务器端的数据节点，其负责存储数据，并提负责处理数据的读写请求，所述的个人计算机中预装hadoop软件。本发明的一种大数据有效存储的装置和方法，利用不同架构的CPU结合hadoop软件搭建一个云存储平台，该系统对设备要求较低，使旧机器得以再利用，节省了用户开支。

Description

一种大数据有效存储的装置和方法

技术领域

本发明涉及数据存储技术领域，特别涉及一种大数据有效存储的装置和方法。

背景技术

目前对于大数据的存储，一般利用x86处理器架构服务器搭建存储平台，由于这种处理器的使用成本越来越高，一颗英特尔的Xeon志强处理器价格就需要数千美元，用户若采用此架构搭建平台，成本较高。

云存储是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协调工作，共同对外提供数据存储和业务访问的一个系统，系统的结构模型由存储层、基础管理层、应用接口层和访问层4层组成。

Hadoop软件是一个能够对大数据进行分布式处理的软件框架，它可靠的维护多个工作数据副本，确保能够针对失败的节点重新进行分布处理，它高效以并行的方式工作，通过并行处理加快处理速度，它可伸缩能够处理PB级数据，HDFS（Hadoop分布式文件系统）和MapReduce（一种编程模型，用于大规模数据集（大于1TB）的并行运算）是Hadoop最重要的两个成员。Hadoop依赖于服务器，成本较低，本发明就是在此基础上提供了一种大数据有效存储的装置和方法。

发明内容

为了解决现有技术的问题，本发明提供了一种大数据有效存储的装置和方法，利用不同架构的CPU结合hadoop软件搭建一个云存储平台，该系统对设备要求较低，使旧机器得以再利用，节省了用户开支。

本发明所采用的技术方案如下：

一种大数据有效存储的装置，由服务器端和客户端构成，服务器端由主机系统和虚拟机构成，所述的主机系统由两台ARM架构的个人计算机构成，作为服务器端的名称节点，其用于监控存储节点间容量及负载均衡；所述的虚拟机由多个个人计算机构成，作为服务器端的数据节点，其负责存储数据，并提负责处理数据的读写请求，所述的个人计算机中预装hadoop软件。

客户端预装hadoop软件。

一种大数据有效存储的方法，包括以下配置：

A、服务器端配置：使用两台ARM架构的个人计算机做服务器端的名称节点，负责监控存储节点间容量及负载均衡，两个名称节点使系统具备数据冗余功能；部署若干个个人计算机作数据节点，负责存储数据，并提负责处理数据的读写请求；在上述个人计算机中hadoop软件；

B、客户端配置：预装hadoop软件。

本发明提供的技术方案带来的有益效果是：

本发明利用不同架构的个人计算机构成服务器端和客户端，结合hadoop软件搭建云存储平台，个人计算机利用市面上价格低廉的CPU组成，可以实现对海量数据的有效存储和管理，由于hadoop具有良好的可移植性，使得该装置在支持传统windows平台的同时，还可以支持移动平台。

附图说明

图1为本发明的一种大数据有效存储的装置和方法的装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

如附图1所示，

本发明使用两台性能优良的ARM架构的个人计算机做服务器名称节点（NameNode节点），这种节点需要高性能的CPU，大内存甚至硬件加速措施等，负责监控存储节点间容量及负载均衡，两个名称节点使系统具备数据冗余功能，增强了数据的可靠性。在下面可以部署若干个性能普通的具有PowerPC或其它架构的个人计算机作数据节点（DataNode节点），它负责存储数据，并提负责处理数据的读写请求。在所有个人计算机内安装hadoop软件，客户端也需要安装hadoop，用以实现对文件的各种操作。应用接口封装了hadoop的一些命令，可以对文件进行操作，对外提供创建、打开、删除和重命名或目录的功能。用户可以通过自己的浏览器登录云存储系统来获得个人空间，并且能进行文件的上传、下载、删除和重命名等操作。

部署方法具体如下：

服务器端配置：

a、主机系统为ARM架构的NameDate节点，PowerPC架构的DataNode节点；

b、在每台主机上创建虚拟机，安装系统为ubuntu12.04；

c、在虚拟机inspur0~inspurn上安装hadoop1.0.3软件版本；

d、在inspur0上安装apache2.2.8和php-5.2.4，把应用放到apache指定的路径下。

客户端配置：

安装hadoop1.0.3软件版本。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种大数据有效存储的装置，由服务器端和客户端构成，其特征在于，所述的服务器端由主机系统和虚拟机构成，所述的主机系统由两台ARM架构的个人计算机构成，作为服务器端的名称节点，其用于监控存储节点间容量及负载均衡；所述的虚拟机由多个个人计算机构成，作为服务器端的数据节点，其负责存储数据，并提负责处理数据的读写请求，所述的个人计算机中预装hadoop软件。

2.根据权利要求1所述的一种大数据有效存储的装置，其特征在于，所述的客户端预装hadoop软件。

3.一种大数据有效存储的方法，包括以下配置：

A、服务器端配置：使用两台ARM架构的个人计算机做服务器端的名称节点，负责监控存储节点间容量及负载均衡，两个名称节点使系统具备数据冗余功能；部署若干个个人计算机作数据节点，负责存储数据，并提负责处理数据的读写请求；在上述个人计算机中hadoop软件；

B、客户端配置：预装hadoop软件。

Images