CN102377827A - 多级云存储系统及其存储方法 - Google Patents

Abstract

本发明公开了一种多级云存储系统与方法。本系统通过基于结构化内容异步同步数据的方法，将云存储卡、云存储盒、云存储服务器、集装箱数据中心、 IDC 数据中心等作为多级结点的存储服务有序链接在一起，建立多级数据存储从私有云逐步过渡到共有云的云存储体系。本系统的通过在每个存储节点上不同的存储策略，实现了私有云与共有云的链接，特别适用于存储服务逐步向云存储的分步实施。

Description

多级云存储系统及其存储方法

技术领域

本发明涉及一种多级云存储系统，还涉及一种多级云存储系统的存储方法。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。包含私有云(Private Clouds)和共有云(public cloud)，其中私有云(Private Clouds)是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。

云存储应用中最为关键的问题是数据的访问权限，以及与现有的应用环境逐步的迁移等需求。特别是不同层级的私有云，是采用物理方式隔离的用户易于接受的方式，结合私有云的数据安全管理，以及利用公有云存储海量的、使用频度不高的数据，成为最佳的应用方式。

目前各地建设有大量的IDC数据中心、有集装箱式数据中心、以及与IDC服务绑定的云计算服务器，其存在的问题是：无法便捷的在用户可信任的范围内实施私有云，以及存储的能力过强，其服务能力远远超过了用户的使用需要。市场急需一种能够与现有的非云存储的应用系统结合紧密、以及支持用户对于云存储空间持续扩展的需要的技术解决相关问题，形象的说就是需要一种将“云接地”的服务设备或者体系。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种多级云存储系统及其存储方法。

为解决上述技术问题，本发明采用的技术方案如下：

一种多级云存储系统，包括具有若干个存储节点的云存储服务设备，其特征在于所述云存储服务设备内设置云存储调度系统，每个云存储服务设备由云存储调度系统负责数据在存储节点的存储空间之间的同步，每个存储节点包含缓存空间以及以下存储区域中的至少一种：私有存储空间、云存储空间，其中云存储调度系统按照存储策略分别负责将私有存储空间与云存储空间之间的数据迁移以及管辖范围内的存储节点之间的数据迁移。

优选的，所述存储节点选自无线存储卡、云存储硬盘盒、云存储服务器、集装箱数据中心、IDC数据中心的一种或者两种以上的任意组合。

优选的，所述云存储调度系统包含客户端程序与服务器端程序，其中客户端程序负责按照存储策略，将私有存储空间与云存储空间之间的数据迁移；服务器端程序依据存储策略，按照最优访问速度负责在被其管理的存储节点之间的数据迁移。

优选的，所述存储节点包括上、下级存储节点，所述上级存储节点的存储空间容量比下级存储节点的存储空间容量大，且上级存储节点远程同步下级存储节点的指定存储数据；所述上下级存储节点间通过云存储调度系统联接通讯。

优选的，所述上、下级存储节点存储容量梯度设置，所述存储节点上配置包含结构化树状结构数据，每个节点设置对应一个云存储策略，每个云存储策略至少包含：云存储服务访问入口、授权文件、触发条件、通信协议信息。

优选的，所述上级存储节点与下级存储节点为一对多或者多对一的关系，所述存储节点上通过云存储策略配置上级存储节点和/或下级存储节点的对应关系。

优选的，所述存储节点内设置有客户端程序和/或服务器端程序；当存储节点上设置有云存储空间时，则存储节点上配置安装有服务器端程序，每个云存储调度服务器端程序管理1个以上云存储空间。

优选的，所述私有存储空间用于当前计算机设备的自用；所述缓存空间用于云存储调度系统将私有存储空间中需要远程异步同步存储到云端时，缓存中间数据的存储空间；所述云存储空间用于各设备上共享出来供云存储调度系统服务器端程序管理的存储空间。

优选的，所述云存储调度服务器端程序管理被其直接管理的存储节点的云存储空间，以及与上级存储节点的存储策略，当其云存储策略被触发时，其负责在其管理的存储节点的云存储空间与上级存储节点的云存储空间之间迁移数据。

本发明的另一目的在于提供一种多级云存储系统进行存储的方法，其特征在于所述方法包括以下步骤：

1)存储节点上云存储调度系统客户端依据存储策略，将私有存储空间数据复制到缓存空间，并由缓存空间同步到云存储空间；

2)云存储调度系统客户端，依据目录分类及临近原则，在存储节点的云存储空间间迁移数据，当存储空间不够的时候，向上级存储空间请求新的空间；

3)云存储调度系统服务器端负责将使用频度高的数据，从上级存储空间同步到本地临近存储节点。

本发明技术方案中多级云存储系统包括如下种类的存储节点：无线存储卡、云存储硬盘盒、云存储服务器、集装箱数据中心、IDC数据中心等的云存储服务设备或者设施，每设备或设施由云存储调度系统负责数据在存储节点的存储空间之间的同步，每个存储节点包含缓存空间以及以下存储区域中的至少一种：私有存储空间、云存储空间，其中云存储调度系统包含客户端程序与服务器端程序，其中客户端程序负责按照存储策略，将私有存储空间与云存储空间之间的数据迁移；服务器端程序依据存储策略，按照最优访问速度负责在被其管理的存储空间之间的将数据迁移。

多级云存储系统包括至少两种类型以上的存储节点：无线存储卡、云存储硬盘盒、云存储服务器、集装箱数据中心、IDC数据中心等的云存储服务设备或者设施，其由云存储调度系统联接为上下级的存储节点，上级存储节点是指当前节点指定需要存储数据远程同步的存储节点，上级存储节点的存储空间一般比下级节点配置的需要上级存储节点存储的存储空间大。

存储节点上配置主要包含结构化树状结构数据，每个节点可设置对应一个云存储策略，每个云存储策略至少包含：云存储服务访问入口、授权文件、触发条件、通信协议等信息。每个存储节点可以对应多个上级存储节点，对应的存储节点由节点上的云存储策略配置决定。

存储节点上云存储调度系统包含客户端程序或者服务器端程序，或者两者具有，当存储节点上设置有云存储空间时，可以安装有服务器端程序，每个云存储调度服务器端程序，可以管理1个以上云存储空间。每个存储节点包含缓存空间以及以下存储区域中的至少一种：私有存储空间、云存储空间，其中私有存储空间指当前计算机设备的自用的存储空间，缓存空间是指云存储调度系统将私有存储空间中需要远程异步同步存储到云端时，用于缓存中间数据的存储空间，云存储空间是指各设备上共享出来供云存储调度系统服务器端程序管理的存储空间。

云存储调度服务器端程序管理被其直接管理的存储节点的云存储空间，以及与上级存储节点的存储策略，当其云存储策略被触发时，其负责在其管理的存储节点的云存储空间与上级存储节点的云存储空间之间迁移数据。

一个或者几个云存储调度服务器端程序由配置组成一个私有云存储网络，每个云存储调度服务器端程序管理临近的一个以上存储节点的云存储空间，云存储调度服务器端程序由主从区分，由其配置决定。每个私有云存储网络中的云存储调度服务器端程序区分为主从关系，由程序的配置决定，其中从属关系包含平行存储、与下级存储两种关系。其中平行存储指在配置中目录树不重叠的数据内容；下级存储关系指目录树中分支内容。

本发明的核心思想是：利用云存储调度系统结合存储能力不同的多种类的存储节点，如无线存储卡(自身无存储能力，需要借助插接的计算机存储能力)、云存储盒(自身具有一定的存储能力)、云存储服务器(具备较大的存储能力)、集装箱数据中心(具有很大的数据存储能力)、IDC数据中心(具有海量的存储能力)的云存储服务设备或者设施，云存储调度系统在不同应用层面，将上述设备连接成私有云，并进一步与上一级别的云服务存储调度程序连接以提供更大存储能力。

本发明的方法及系统，实现了在大型的IDC数据存储中心与各中小企业的云存储应用之间的连接，使应用企业能够在现有应用系统之上构建多级的私有云，并依据数据应用特点，逐渐向上层迁移使用频度低、数据量大的日常数据，非常适合现有中小企业对于数据云存储的逐步过渡到需要，并是用户熟悉、能够接受的云存储方法。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1是本发明实施例的多级云存储系统的系统架构示意图；

图2是本发明实施例的多级云存储系统进行数据迁移的方法流程图；

图3是本发明实施例的多级云存储系统同步存储的方法框图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体条件做进一步调整，未注明的实施条件通常为常规使用条件。

实施例多级云存储系统及其存储过程

图1示出了本实施方式中多级云存储系统的体系架构。如图1所示，该系统包括作为云存储服务商平台中的IDC数据中心11、企业私有云应用中的集装箱数据中12、云存储服务器13、云存储盒14、云存储卡15等组成。

其中IDC数据中心11是现有的很多第三方网络服务企业对外提供数据存储服务的专业机构，其主要特点是：远程，支持海量的数据存储、数据吞吐量巨大；集装箱数据中心12则是建立在一个大的集装箱里，搁在具备网络和电源的空地上的一个小而灵活的数据中心，其主要特点是：一般由企业自行建设，存储容量大、受集装箱内服务设备的数量制约；云存储服务器，则是一种直接与IDC数据中心连接的提供云存储服务的专用计算机设备；其主要特点是：有较大存储容量，反应速度快；云存储盒14是一种有本地存储设备，如硬盘的一种云存储接入专用设备。其特点是又较小的存储容量；云存储卡15是类似无线上网卡一样的即插即用设备，其一般具备无线通讯能力，其特点是本身不具备存储能力或很小的存储能力，可利用其无线通信能力或者利用现有的通信通道，进行提供云存储服务。

上述的云存储设备中，IDC数据中心11、企业私有云应用中的集装箱数据中12、云存储服务器13、云存储盒14、云存储卡15的数据存储容量不同，在实际应用中各自满足不同的应用场合。并且可以通过上述设备的组合，在最适预算情况下，满足用户对于云存储空间大小的不同，并且能力依据用户对于存储空间持续的增长需要。

如图1中所示，其中集装箱数据中12、云存储服务器13、云存储盒14、云存储卡15均可以直接与IDC数据中心11连接(如图1中17)，即在数据存储容量超出自身能力的时候，依据其配置，自动连接上层的存储服务系统，也就是说集装箱数据中12、云存储服务器13、云存储盒14、云存储卡15之间也可以相互连接(如图1中16)构成一个多级别的云存储网络：在网络中，上级存储系统提供了比下级存储系统更大的数据存储空间或容量，当下级的存储系统超出其容量范围的时候，依据其配置向上级系统请求存储空间，并依据配置，将指定的数据通过分类，迁移到上级系统存储。

其数据迁移的过程如图2所示：当数据读写的时候，经过云存储客户端程序过滤，当发现其操作符合云存储要求的时候，触发云存储服务23，即依据云存储配置，将数据移动到临时缓存空间中(图2中24)，并且由服务器程序将其在空闲时间同步到指定的存储空间，并且服务器程序32依据数据的内容标签，将数据按照分类及使用频率分配到受其管理的不同的存储空间中(图2中25)。

具体应用中上述过程存在数据向两个方向的流动：

1)私有空间的低频数据迁移到云存储空间

即当设备私有存储空间的数据在写操作的时候，触发本地云存储客户端程序31，该程序检查数据检查条件复合配置规则，则在改数据完成在私有空间的写操作之后，触发云存储客户端程序31在计算机空闲时间将其迁移到设备的缓存空间，并更新本地数据存储的目录，标记该文件进行了云存储，并标记其远程存储访问地址。

在云存储服务器程序32发现其关联的缓存空间存在更新的时候，将更新的数据按照其存储要求，转储到相应的云存储空间中。

2)云存储空间中的高频数据迁移到缓存空间

当设备私有存储空间的数据在读操作的时候，触发本地云存储客户端程序31，该程序依据数据虚拟存储的目录，发现该节点对应的数据是远程存储，即向云存储服务器程序32发送数据请求，当发现需要的文件使用频率高于配置值，则请求云存储服务器程序32将相关数据复制到其设备对应的缓存空间中。

上述设备中存储过程的通讯流程如图3所示：设备存储空间包含私有存储空间33，缓存空间34、云存储空间35，其中设备一定具有私有存储空间33，缓存空间34，而云存储空间35可配置或者没有。

云存储客户端程序31可以对私有存储空间33，缓存空间34中的数据进行读写，而云存储服务器程序32则可以对被其管理的缓存空间34和云存储空间35、36等进行管理。即每设备安装一个云存储客户端程序，管理该设备的私有存储空间和缓存空间；每个设备可以选择配置云存储空间35或者选择同时安装有云存储服务器程序32；而云存储服务器程序则管理M个云存储空间以及N个缓存空间，这里M、N为两个不同的配置数。

应用例

下面以健康档案的云存储服务为例，介绍本发明的相关应用。为描述简洁，下面的实施例按照实际应用进行了适当的业务简化，仅用来说明本技术方案的实施。假设健康档案中主要包含三大部分内容：医院管理的电子病历、社区卫生服务机构管理的健康记录、医保机构的诊疗档案。其中上述都涉及医疗影像、住院档案等。

应用例1

某医院，其常规病人约为50万人，相关医疗检查、医疗影像等数据需求在200T，其中建档的病人约5万人，其电子病历的存储空间约为50T，并且考虑到部分病人及部分病种涉及用户隐私保密等问题，预计相关数据量在10T左右。随着医院的发展，其病患症疗以每年20％幅度增长，则依据上述情况，其云存储的基本系统架构为：

1.租用IDC数据中心150T的云存储空间；

2.医院构建存储能力80T左右的集装箱数据中心，其中包含电子病历存储空间50T；集装箱数据中心通过专用光线连接到服务商的IDC数据中心；

3.医院建立高保密重点病重、患者的云存储服务器，存放部分病人及部分病种涉保密数据，并与医院集装箱数据中心连接。

4.各科室配置一个2T的云存储盒，并与医院集装箱数据中心连接。

5.对于医学专家，配置云存储卡，可以按照配置连接本科室的云存储盒、或者医院集装箱数据中心。

上述结构附合目前医院对数据存储服务的需求，并且非常的方便存储空间的扩展。在现有业务框架范围内，即保证了数据的私有性，又能够通过连接上层的云存储服务设备获得更大的数据存储能力。

特别是，相关环境对于医疗卫生改革中，病人的电子病历的共享提供的相关的环境，即病人在不同医院看病的病历存放在各个医院中，医院对其内容负责，数据则在病人的认可的情况下，上移到云存储空间中，这样其他医院、社保机构都能访问到电子病历。

应用例2

某乡镇卫生所，常规服务人群为2000人、其中有100人左右的重症服务病患人员。

对于这样的应用环境，显然没有必要建立庞大的存储系统，但是同时需要连接访问到这些重症患者的相关病历。在这种应用环境下：

卫生所购买一个云存储盒，连接到地区医院、市级中心医院、地区卫生管理平台上，提供本地200G的存储空间。

甚至仅购买一个云存储卡，接插在现有医疗系统操作终端计算机上，通过该云存储卡直接访问地区医院、市级中心医院、地区卫生管理平台等授权云存储空间的数据。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1. 一种多级云存储系统，包括具有若干个存储节点的云存储服务设备，其特征在于所述云存储服务设备内设置云存储调度系统，每个云存储服务设备由云存储调度系统负责数据在存储节点的存储空间之间的同步，每个存储节点包含缓存空间以及以下存储区域中的至少一种：私有存储空间、云存储空间，其中云存储调度系统按照存储策略分别负责将私有存储空间与云存储空间之间的数据迁移以及管辖范围内的存储节点之间的数据迁移。

2. 根据权利要求1所述的多级云存储系统，其特征在于所述存储节点选自无线存储卡、云存储硬盘盒、云存储服务器、集装箱数据中心、IDC数据中心的一种或者两种以上的任意组合。

3. 根据权利要求1所述的多级云存储系统，其特征在于所述云存储调度系统包含客户端程序与服务器端程序，其中客户端程序负责按照存储策略，将私有存储空间与云存储空间之间的数据迁移；服务器端程序依据存储策略，按照最优访问速度负责在被其管理的存储节点之间的数据迁移。

4. 根据权利要求3所述的多级云存储系统，其特征在于所述存储节点包括上、下级存储节点，所述上级存储节点的存储空间容量比下级存储节点的存储空间容量大，且上级存储节点远程同步下级存储节点的指定存储数据；所述上下级存储节点间通过云存储调度系统联接通讯。

5. 根据权利要求4所述的多级云存储系统，其特征在于所述上、下级存储节点存储容量梯度设置，所述存储节点上配置包含结构化树状结构数据，每个节点设置对应一个云存储策略，每个云存储策略至少包含：云存储服务访问入口、授权文件、触发条件、通信协议信息。

6. 根据权利要求4所述的多级云存储系统，其特征在于所述上级存储节点与下级存储节点为一对多或者多对一的关系，所述存储节点上通过云存储策略配置上级存储节点和/或下级存储节点的对应关系。

7. 根据权利要求4所述的多级云存储系统，其特征在于所述存储节点内设置有客户端程序和/或服务器端程序；当存储节点上设置有云存储空间时，则存储节点上配置安装有服务器端程序，每个云存储调度服务器端程序管理1个以上云存储空间。

8. 根据权利要求4所述的多级云存储系统，其特征在于所述私有存储空间用于当前计算机设备的自用；所述缓存空间用于云存储调度系统将私有存储空间中需要远程异步同步存储到云端时，缓存中间数据的存储空间；所述云存储空间用于各设备上共享出来供云存储调度系统服务器端程序管理的存储空间。

9. 根据权利要求4所述的多级云存储系统，其特征在于所述云存储调度服务器端程序管理被其直接管理的存储节点的云存储空间，以及与上级存储节点的存储策略，当其云存储策略被触发时，其负责在其管理的存储节点的云存储空间与上级存储节点的云存储空间之间迁移数据。

10. 一种采用权利要求1～9任意一项所述的多级云存储系统进行存储的方法，其特征在于所述方法包括以下步骤：

1）存储节点上云存储调度系统客户端依据存储策略，将私有存储空间数据复制到缓存空间，并由缓存空间同步到云存储空间；

2）云存储调度系统客户端，依据目录分类及临近原则，在存储节点的云存储空间间迁移数据，当存储空间不够的时候，向上级存储空间请求新的空间；

3）云存储调度系统服务器端负责将使用频度高的数据，从上级存储空间同步到本地临近存储节点。

Images