CN102857558B - 一种动态构建和自主管理的移动云存储集群系统 - Google Patents

Abstract

本发明公开并提供了一种通过动态构建可移动的移动节点系统，动态加入或退出骨干云存储集群系统，并能实现一定程度的自主管理和联合协作，从而提供和增强了云存储系统的可用性、易扩展性、资源利用率、可维护性等特点的动态构建和自主管理的移动云存储集群系统。本发明包括骨干云存储集群系统和至少一个移动节点系统，两个所述骨干云存储集群系统之间、所述骨干云存储集群系统与所述移动节点系统之间或两个所述移动节点系统之间的互连均可通过现行通用或专用的网络系统实现，本发明将分布式资源集群平台与分布式应用平台结合，实现低成本租用和应用拓展。本发明可应用于云计算和云存储领域。

Description

一种动态构建和自主管理的移动云存储集群系统

技术领域

本发明涉及一种动态构建和自主管理的移动云存储集群系统。

背景技术

随着云计算的发展及其在学术、产业、商业等的研究与应用，服务计算成为人们社会生产、生活等密切关联的部分。云计算将IT基础设施、平台及软件等资源集中起来，统一分发和管理，大大降低了日益复杂的信息化管理和维护开销，提高了生产率和资源利用率，降低了企业运营和创新成本，引入了新的服务部署和分发模式与机制。

云存储作为云计算的基础设施和核心应用，得到广泛关注和深入应用。人们将按传统方式存储在本地桌面的数据文件，随着海量数据的产生，趋向存储网络存储系统中，增加了投资成本、管理复杂性和维护开销，受到存储空间、扩展性、速度、利用率、可用性、可共享性、安全、管理及维护等诸多制约。云存储通过将商用的存储资源以低成本方式集中统一管理，提供简单的访问接口为多用户存储服务，具有良好的可扩展性、可共享性和安全性，并降低了系统总体拥有成本。目前，云存储平台有公共云存储、私有云存储和混合云存储等，其分别适宜大众、企业和个人及社区等的用户群。同时，移动用户正在形成为除主流的固定用户（如PC等位置固定的富客户端）之外的庞大用户群体。云计算与移动计算的结合正成为新趋势。

现有的云存储技术在具有前述易用性、扩展性等诸多优点的同时，也因网络带宽、技术门槛、用户熟悉程度、终端性能等原因，其广泛和深入的使用受到限制。现有的云存储可使用分布式系统集成存储资源，但未考虑需要专用系统应用的需求，也未考虑加入移动存储作为系统节点。难以克服单纯依靠远程云存储系统的虚拟机重构易导致的网络断接、系统并发响应性能下降、专有应用难以支持、数据可控性与安全性控制等问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种通过动态构建可移动的移动节点系统，动态加入或退出骨干云存储集群系统，并能实现一定程度的自主管理和联合协作，从而提供和增强了云存储系统的可用性、易扩展性、资源利用率、可维护性等特点的动态构建和自主管理的移动云存储集群系统。

本发明将云存储扩展到移动存储，并基于网络利用云存储资源。将分布式资源集成平台与分布式应用平台结合，实现动态扩展、低成本租用和应用拓展。

本发明所采用的技术方案如下，本发明包括：

骨干云存储集群系统，所述骨干云存储集群系统包含至少一个名称节点和至少一个数据节点，所述骨干云存储集群系统还包括为网络用户提供网络服务的骨干网络系统和为集群系统提供存储服务的骨干存储系统；

至少一个移动节点系统，所述移动节点系统通过在移动设备上配置可启动操作系统或虚拟机系统而形成移动节点，所述移动节点动态加入或退出所述骨干云存储集群系统；

两个所述骨干云存储集群系统之间、所述骨干云存储集群系统与所述移动节点系统之间或两个所述移动节点系统之间的互连均通过现行通用或专用的网络系统实现；

其中，所述名称节点提供集群监控和负载的均衡管理并与外部网络进行通信；

所述数据节点提供存储资源及其存储资源的配额管理和资源抽象。

当所述移动节点系统通过在移动设备上配置自引导系统而形成移动节点时，通过所述自引导系统，所述移动节点系统作为独立节点子系统运行。

所述名称节点和数据节点构成的骨干云存储集群系统通过分布式同构或异构网络方式互连。

在所述移动节点系统上设置有移动网络系统、移动存储系统及移动应用系统。

所述移动应用系统构建在所述移动网络系统和所述移动存储系统之上，使用所述骨干云存储集群系统所提供的集群服务。

所述移动应用系统构建在所述移动网络系统和所述移动存储系统之上，在无法连接骨干云存储集群时或连接超时或性能低于移动节点时使用所述移动网络系统和所述移动存储系统所提供的集群服务。

所述为网络用户提供网络服务的骨干网络系统包括：

集群服务装置，为集群系统提供集群服务；

存储资源管理装置，用于向集群系统提供存储资源的管理；

网络系统硬件，包括网络适配卡和网络接口。

所述骨干云存储集群系统还包括骨干应用系统，所述骨干应用系统包括集群服务接口、可选应用服务。

所述移动节点系统作为独立节点子系统运行时，所述独立节点子系统构成自主的云存储集群系统运行或自主节点系统运行。

所述移动存储系统为外置式台式机或监控级或企业级硬盘、移动硬盘、USB接口的FLASH闪存、智能移动设备或其它可读写设备。

所述骨干云存储集群系统中的各个数据节点的存储系统可为各类存储设备，这些存储设备通过各种网络设备联系在一起，存储设备可以是FC光纤通道存储设备、NAS或iSCSI等IP存储设备，或是SCSI或SAS等DAS存储设备，或是SATA或IDE存储设备等。

本发明的有益效果是：由于本发明包括有骨干云存储集群系统和至少一个移动节点系统，两个所述骨干云存储集群系统之间、所述骨干云存储集群系统与所述移动节点系统之间或两个所述移动节点系统之间的互连均通过现行通用或专用的网络系统实现，所述骨干云存储集群系统中包括为网络用户提供网络服务的骨干网络系统和为集群系统提供存储服务的骨干存储系统；所述移动节点系统通过在移动设备上配置可启动操作系统或虚拟机系统而形成移动节点，通过计算机网络或通信网络，所述移动节点动态加入或退出所述骨干云存储集群系统，构成移动云存储集群系统；其中，所述名称节点提供集群监控和负载的均衡管理并与外部网络进行通信，所述数据节点提供存储资源及其存储资源的配额管理和资源抽象；所以，本发明通过所述骨干云存储集群系统及所述移动节点系统的设置，在预配置的云存储集群基础上，通过在移动设备上配置虚拟机或自引导系统，通过宿主机软件和硬件，自启动并运行移动节点系统，移动节点可自主选择加入或离开集群，从而动态加载到云存储集群中，按需基于复制或虚拟机克隆等方法快速构建动态的、可扩展的云存储集群系统，再在移动节点或集群上运行应用，从而实现动态的、可扩展的移动云存储服务系统，通过自引导系统，实现自主管理并可独立运行于云存储集群系统之上，保留本地自治的功能，实现文件的上传、下载及发布等功能。

由于当所述移动节点系统通过在移动设备上配置自引导系统而形成移动节点时，通过所述自引导系统，所述移动节点系统作为独立节点子系统运行，所以，当所述骨干云存储集群系统处于非工作状态时，所述移动节点系统可作为独立系统运行，通过若干个移动节点系统的互联，可以实现如同骨干云存储集群系统的运行模式，即作为一个独立的云存储集群系统运行；当所述骨干云存储集群系统处于工作状态时，所述移动节点系统可动态加入骨干云存储集群，构成移动云存储集群系统，并利用移动云存储集群系统的资源。

附图说明

图1是传统存储集群系统结构图，图中的DB表示是数据库；

图2是本发明云存储集群系统的移动节点系统示意图；

图3是本发明云存储集群系统的系统结构图，图中标记分别为：1——骨干云存储集群系统，2——服务器，3——移动节点系统，骨干云存储集群系统与服务器之间的连接采用实线，表示骨干云存储集群系统稳定连接到云存储系统；服务器与移动节点系统之间采用虚线连接，表示移动节点系统动态连接到云存储系统；

图4是本发明的构建流程示意图；

图5是所述移动节点系统的安装与配置流程图；

图6是本发明客户使用云存储集群系统时进行的数据访问交互流程图；

图7是所述骨干云存储集群系统的构建流程图；

图8是所述移动节点系统的构建流程图；

图9是移动云存储集群系统总体拓扑结构示意图；

图10是云存储集群资源与服务树示意图。

具体实施方式

如图2至图10所示，本实施例中，本发明包括至少一个骨干云存储集群系统和多个移动节点系统。每个所述骨干云存储集群系统包含至少一个名称节点和至少一个数据节点。每个所述骨干云存储集群系统还包括为网络用户提供网络服务的骨干网络系统和为集群系统提供存储服务的骨干存储系统。至少一个移动节点系统，所述移动节点系统通过在移动设备上配置自引导系统或虚拟机系统而形成移动节点，所述移动节点动态加入或退出所述骨干云存储集群系统；两个所述骨干云存储集群系统之间、所述骨干云存储集群系统与所述移动节点系统之间或两个所述移动节点系统之间的互连均可通过现行通用或专用的网络系统实现；其中，所述名称节点提供集群监控和负载的均衡管理并与外部网络进行通信；所述数据节点提供存储资源及其存储资源的配额管理和资源抽象。

当所述移动节点系统通过在移动设备上配置自引导系统而形成移动节点时，通过所述自引导系统，所述移动节点系统作为独立节点子系统运行。由所述名称节点和数据节点构成的骨干云存储集群系统通过分布式同构或异构网络方式互连。在所述移动节点系统上设置有移动网络系统、移动存储系统及移动应用系统。当然，在所述移动节点系统上，所述移动网络系统为可选部分，移动节点系统也可借助通用或专用的网络系统连接到集群。所述移动应用系统构建在所述移动网络系统和所述移动存储系统之上，使用所述骨干云存储集群系统所提供的集群服务；在在无法连接骨干云存储集群时或连接超时或性能低于移动节点时使用所述移动网络系统和所述移动存储系统所提供的集群服务。所述为网络用户提供网络服务的骨干网络系统包括：集群服务装置，为集群系统提供集群服务；存储资源管理装置，用于向集群系统提供存储资源的管理；网络系统硬件，包括网络适配卡和网络接口。所述骨干云存储集群系统还包括骨干应用系统，所述骨干应用系统包括集群服务接口和可选应用服务，可提供文件存储、上传、下载、共享、Web应用发布等功能。所述移动节点系统作为独立节点子系统运行时，所述独立节点子系统构成自主的云存储集群系统运行或自主节点系统运行，在仅有一个移动节点时作为独立节点运行。所述移动存储系统为外置式台式机或监控级或企业级硬盘、移动硬盘、USB接口的FLASH闪存、智能移动设备或其它可读写设备，其存储空间最好达8GB以上。

所述移动节点系统还包括支持移动存储单元，通过借助随处可用的商用PC机或笔记本电脑等移动计算机，由常用的Linux系统等自引导操作系统配置文件的设置实现移动节点的动态加入或退出骨干云存储集群系统。

针对移动存储的特点，本发明使用移动存储设备构建云存储集群系统中的移动节点，从而可构成动态构建和扩展的移动云存储集群系统。该移动节点与常规集群节点的不同在于其具有便携性、移动性、协作性、动态迁移性、自主管理性等。

在本实施例中，所述移动节点系统是借助现有的开源云存储中间件，在预配置或现存的云存储集群基础上，通过在移动设备上安装虚拟机或自引导系统，通过宿主机软件或硬件（CPU+内存+I/O设备），自启动并运行移动节点操作系统（以Linux系列为佳，也可为Windows等主流操作系统），移动节点系统可自主选择加入或离开骨干云存储集群系统，从而动态加载到云存储集群中，按需构建动态的、可扩展的云存储集群系统，再在移动节点或集群上运行应用，从而实现动态的、可扩展的移动云存储服务系统。

本发明在通用的云存储集群上设置有移动节点系统。移动节点系统可动态加入或退出集群，也可作为独立节点子系统运行或独立节点运行。其中所述骨干网络系统负责提供数据传输通道，通过所述骨干云存储集群系统上的名称节点使用云存储集群上的存储资源。当所述移动节点系统通过在移动设备上配置自引导系统而形成移动节点时，通过所述自引导系统，所述移动节点系统作为独立节点子系统运行，从而实现一定程度上的自主管理和联合协作，当骨干云存储集群系统处于非工作状态时，所述移动节点系统构成自主的云存储集群系统运行模式，在仅有一个移动节点时作为独立节点运行。在骨干云存储集群系统处于工作状态时动态加入骨干云存储集群系统，构成移动云存储集群系统，并使用云存储集群系统的资源和服务。从而提供和增强了云存储系统的可用性、易扩展性、资源利用率、可维护性等特点。

本发明系统的创建如下：

借助主流通用技术（如Linux+Hadoop）构建存储集群；移动节点安装与配置：借助移动存储系统安装操作系统或虚拟操作系统（建议为Linux系列），安装JDK和Hadoop等组件并进行配置，编辑配置/etc/hosts,/etc/profile，hadoop/conf/masters,hadoop/conf/slaves等常规配置文件。

按以上方法构建的移动虚拟云存储集群即可随时随地异地使用，连接到基于Hadoop等或具有相似功能的云计算中间件或平台构建的骨干集群上应用骨干集群上的资源，也可独立自主使用（包括计算、存储、程序、数据等）。具体构建流程如下：

1.基于Hadoop等云计算平台构建骨干云存储集群系统，其中至少含有一个名称节点和一个以上数据节点；

2.通过在移动存储设备上配置自启动系统或虚拟机系统，构成移动节点。移动节点可动态加入到集群中。若在移动设备上配置虚拟机，可借助外部的主操作系统启动后加入到骨干云存储集群系统中；若在移动设备上配置自引导系统，则可自身启动后加入到骨干云存储集群系统中；

3.通过通用的云计算开发平台和虚拟机，构建云存储集群；云存储集群可通过命令行、浏览器或程序等访问；云存储集群可提供存储空间集成、文件共享等，文件可通过网页浏览器或客户端上传或下载。

本发明系统的核心要点是：

1.构建通用的虚拟集群或混合集群（物理节点与虚拟节点可并存）；

2.借助主机在移动存储设备上安装自引导操作系统或虚拟机系统；

3.移动节点系统可移动到任何支持移动存储启动的主机上启动运行，并可修改配置文件成为集群中的一个节点；

4.移动节点系统可退出骨干云存储集群系统，成为独立节点子系统。移动节点子系统可独立运行，并可访问集群资源，不必加入到骨干云存储集群系统中；当骨干云存储集群系统处于非工作状态时，所述移动节点系统可实现如同骨干云存储集群系统的运行模式；当所述骨干云存储集群系统处于工作状态时，所述移动节点系统可动态加入骨干云存储集群，构成移动云存储集群系统，并利用移动云存储集群系统的资源；

5.云存储集群可手动或自主运行；

6.通过骨干云存储集群系统或移动节点系统均可运行具体或专用应用（如文件共享、上传、下载等）；

7.移动节点系统也可作为普通的存储介质使用。

本发明系统配置的过程如下：

（1）选取一个通用的移动存储设备（如外置式硬盘、移动硬盘、USB闪存盘、TFT卡等），置于可读写状态，接入PC机或其他计算机（可为Linux或Windows或Macintosh等操作系统启动）；（2）通过PC机或其他计算机往移动存储设备中安装虚拟机或写入自引导系统；（3）通过PC机或其他计算机启动移动存储设备中的虚拟机或自引导系统，安装JDK、Hadoop等云存储基础软件，并配置环境变量（PATH、CLASSPATH）、配置文件（/etc/hosts、hadoop/conf/masters、hadoop/conf/slaves等）和网络IP，使之成为骨干云存储集群的节点；（4）去电后，移动存储设备可移动到任意一台PC机或其他计算机或笔记本电脑等上启动联网，成为云存储集群的移动节点，或作为自含的独立节点，独立运行。在其上可运行应用，或新安装应用，提供各种应用所需的任务运行作业环境；（5）移动节点系统主要模块构成：虚拟机运行环境+虚拟机，或自引导的移动存储设备；基于Hadoop的集群配置；可选应用模块。

系统功能说明：系统可用于各种需专用操作系统支持的场合，如会议、紧急救援、专有应用支持环境、学术科研环境的快速搭建等。系统可实现：（1）基于宿主机硬件或通用操作系统快速启动；（2）远程、动态拓展集群，并使用集群资源；（3）自引导系统可支持各种应用的安装、配置、启动、运行等任务。

用户可以进行以下四种操作：1.基于商用主机CPU和内存的启动方式；2.基于主机操作系统和虚拟化软件支持的虚拟机启动；3.基于主机操作系统和应用软件支持的数据访问；4.基于自动云存储节点的公共访问与资源共享。

用户的使用流程如下：

1.借助通用的技术构建的骨干云存储集群或现有的云存储集群基础上，通过安装、克隆或复制等方式基础上构建移动节点系统，配置IP使之申请加入骨干云存储集群系统。运行移动节点系统上的通用或特殊应用程序。2.借助移动节点系统远程访问集群系统资源。移动节点系统本身可申请加入骨干云存储集群系统的一部分，从而构成移动云存储集群系统，或作为骨干云存储集群系统的客户端，也可独立于骨干云存储集群系统而作为独立节点运行使用。3.在实际应用中通过移动节点系统共享大量计算、存储、程序、数据和文件，运行本地或远程应用程序或软件。4.借助其他终端（PC机、移动终端等）访问移动云存储集群系统上的资源（计算、存储、数据、文件或应用等）。

说明：数据存储在骨干云存储集群系统或移动节点系统上，设置有数据备份模块，至少保留2-3个备份，则当移动节点系统动态加入或卸载时，数据可被自动重构和恢复其可用性。数据访问交互流程为：（1）客户向骨干云存储集群系统中的云存储集群服务器（即名称节点）发出数据访问请求，服务器根据元数据搜索和定位可用的数据或存储资源所在的数据节点，并返回地址给客户。（2）客户根据服务器返回的地址访问云存储集群节点（数据节点）。客户之后直接在云存储集群节点（数据节点）进行数据访问。客户只需提出访问请求，并得到访问结果；而数据访问总体过程是自动、智能、透明的。名称节点和数据节点可在同一个计算机上（物理机或虚拟机），也可在不同的计算机上。

本发明将分布式存储资源集成平台与移动存储相结合，设计和实现可动态加载、离开，可独立应用、也可成为分布式集群中的一个临时节点，共享集群平台上的应用。从而克服了单纯依靠远程云存储系统的虚拟机重构易导致的网络断接、系统并发响应性能下降、专有应用难以支持、数据可控性与安全性控制等问题。

本发明可应用于云计算和云存储领域。

需要注意的是，上述仅以优选实施例对本发明进行了说明，并不能就此局限本发明的权利范围，因此在不脱离本发明思想的情况下，凡运用本发明说明书和附图部分的内容所进行的等效变化，均理同包含在本发明的权利要求范围内。

Claims (7)

1.一种动态构建和自主管理的移动云存储集群系统，其特征在于，该系统包括：

骨干云存储集群系统，所述骨干云存储集群系统包含至少一个名称节点和至少一个数据节点，所述骨干云存储集群系统还包括为网络用户提供网络服务的骨干网络系统和为集群系统提供存储服务的骨干存储系统；

至少一个移动节点系统，所述移动节点系统通过在移动设备上配置自引导系统或虚拟机系统而形成移动节点，所述移动节点动态加入或退出所述骨干云存储集群系统；

两个所述骨干云存储集群系统之间、所述骨干云存储集群系统与所述移动节点系统之间或两个所述移动节点系统之间的互连均通过现行通用或专用的网络系统实现；

其中，所述名称节点提供集群监控和负载的均衡管理并与外部网络进行通信；

所述数据节点提供存储资源及其存储资源的配额管理和资源抽象；

所述骨干云存储集群系统还包括骨干应用系统，所述骨干应用系统包括集群服务接口、可选应用服务；

在所述移动节点系统上设置有移动网络系统、移动存储系统及移动应用系统；所述移动应用系统构建在所述移动网络系统和所述移动存储系统之上，在无法连接骨干云存储集群时或连接超时或性能低于移动节点时使用所述移动网络系统和所述移动存储系统所提供的集群服务。

2.根据权利要求1所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于：当所述移动节点系统通过在移动设备上配置自引导系统而形成移动节点时，通过所述自引导系统，所述移动节点系统作为独立节点子系统运行。

3.根据权利要求1所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于：由所述名称节点和数据节点构成的骨干云存储集群系统通过分布式同构或异构网络方式互连。

4.根据权利要求1所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于：所述移动应用系统构建在所述移动网络系统和所述移动存储系统之上，使用所述骨干云存储集群系统所提供的集群服务。

5.根据权利要求1所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于，所述为网络用户提供网络服务的骨干网络系统包括：

集群服务装置，为集群系统提供集群服务；

存储资源管理装置，用于向集群系统提供存储资源的管理；

网络系统硬件，包括网络适配卡和网络接口。

6.根据权利要求2所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于：所述移动节点系统作为独立节点子系统运行时，所述独立节点子系统构成自主的云存储集群系统运行或自主节点系统运行。

7.根据权利要求1所述的一种动态构建和自主管理的移动云存储集群系统，其特征在于：所述移动存储系统为外置式台式机或监控级或企业级硬盘、移动硬盘、USB接口的FLASH闪存、智能移动设备或其它可读写设备。