CN102196049A - 适用于存储云内数据安全迁移的方法 - Google Patents

Abstract

本发明公开了一种适用于存储云内数据安全迁移的方法，属于存储云环境的安全领域。本方法为：1)将存储云用户划分为若干部门并为每一部门设一标签，建立该用户的树型结构标签，并将其保存到存储云中的中央节点；2)将存储云中的数据节点划分为若干机组并为每一机组设一标签，建立存储云系统的树型结构标签，并将其保存到存储云中的中央节点；3)建立上述两颗树型结构标签点对点的关联关系，得到每一部门数据迁移过程中的目标机组安全选择策略，并将其保存到存储云中的中央节点；4)中央节点所述目标机组安全选择策略，确定每一待迁移数据块要迁移的目标数据节点，然后执行迁移命令进行迁移。本发明易于操作，降低了客户与提供商之间的耦合度。

Description

适用于存储云内数据安全迁移的方法

技术领域

本发明属于存储云环境的安全领域，主要应用在私有存储云的数据迁移过程中，通过制定的一套安全规则策略对需要迁移的数据进行安全管理。

背景技术

存储云是一种基于分布式文件系统实现存储云的基础设施。

首先，应该明确一下存储云的概念。所谓存储云，与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个服务系统。因此，存储云技术中包含了分布式文件系统的功能特点，本发明的存储云大环境主要是具体针对当前的分布式文件系统而言的。

存储云为了保证系统自身的强壮性、均衡性，其内部的分布式文件系统(即分布式存储集群，以下简称“集群”)中数据迁移的应用是非常广泛的，最基本的两种应用在于：一、大部分集群为了保证自身的容错性、强壮性，都会进行数据冗余备份处理——即同一份数据在系统中需要自制出多份拷贝，由此需要进行繁多的类似于数据复制、粘贴操作；二、由于集群是由众多的动态节点组成的，即有的节点会可能会在某一时刻突然宕机，有的节点则有可能在某一时刻重新加入集群，系统为了保证整体存储的均衡性，会自动或者手动触发使各个节点间的存储使用率平衡的命令，由此需要进行繁多的文件剪切、粘贴操作。

针对以上的分析，在进行云环境的集群内部数据迁移过程中，普遍存在以下安全风险：其一，数据在集群内进行迁移过程中有可能会被他人从中获取信息，导致迁移过程中的数据被破解而信息泄露。目前人们大多仅仅关注于此风险，并且很多分布式文件系统针对此风险已给出了较完善的加密迁移策略。其二，在进行数据传输伊始，任意数据源节点需要对目标节点进行选择，目前大部分集群选择目标节点的策略是比较粗略的——计算对方节点上是否已经含有需要进行传输的数据以及参考集群内各节点物理上的拓扑结构从而进行判定传输与否。这类方法过于简单，而目前往往存在这类安全需求，即在一个广义的存储云环境下，通常存在多个分布式文件系统子集群，有的数据本身存在于一个子集群下是安全的，而基于分布式文件系统自身特有的内部数据迁移特性，该数据有可能会被迁移到其他子集群中，此刻有可能该子集群针对于该数据是不安全的或者说该子集群没有权利保存这个数据等等，因此存在一定的安全风险。尤其在基于所有分布式文件系统相对于用户存储透明的大环境下(用户仅仅知道自己的数据保存在分布式文件系统上，至于这份数据时如何存储在集群内的，存储在哪台机器上，用户是不可能知道的)，用户本身对于文件的存储位置就是不可控的，所以针对此类安全风险，制定出一套在存储云环境，即分布式文件系统内部迁移时的数据目标抉择以及管理策略显得尤为重要，这套策略既不能打破分布式文件系统针对用户存储透明的特性，还需要考虑到存储在集群内的数据在迁移过程中目标节点的抉择是否安全。以下是目前可查到的与存储云或分布式文件系统安全迁移相关的专利情况。

公开号为101986663A，发明名称为“一种基于OTP的存储云数据存储方法、装置及系统”的发明公开了一种属于存储云安全技术领域的专利，特别涉及一种基于OTP的存储云数据存储方法、装置及系统。所述方法包括：根据预置方法生成并存储预定长度的真随机数和由真随机数组成的预定长度的随机种子；从随机种子中多次采集数据，将每次采集的数据级联成不小于明文长度的真随机数据串；根据真随机数据串，生成不小于明文长度的真随机密钥，对明文加密并发送至存储云数据中心。

该专利虽然也隶属于存储云安全技术领域，但是其关注的焦点主要放在了数据上传过程中，通过加密的方式实现安全的数据存储，但是本专利的焦点主要在数据上传以及之后的数据迁移过程中目标节点的选择过程。

公开号为101692239，发明名称为“一种分布式文件系统元数据分配方法”的发明公开了一种分布式文件系统元数据分配方法。该方法将文件系统的目录作为哈希的基本单元，采用可扩展的哈希方法来分配元数据到各个元数据服务器，使得客户端可以定位元数据的位置，元数据访问效率高，元数据分布均匀，负载均衡；同时保持了目录的存储局部性，方便预取的实现，提高访问效率。赋给目录唯一不改变的标识符，避免了哈希路径名引起的元数据迁移，提高系统性能；元数据服务器加入或退出不会引起大量的元数据重新分布，最大限度地减少元数据迁移，可扩展性高。

此专利虽然也是涉及到分布式文件系统的数据迁移管理策略。先不说此专利迁移的对象是元数据，而不是文件数据本身；单说其关注的重点是如何高效的通过元数据找到客户端所需要的数据，并不是本专利所关注的安全需求点。

公开号为101316273，发明名称为“一种分布式安全存储系统”的发明公开了一种拥有良好的身份管理和访问控制策略的分布式安全存储系统。该专利目的在于克服现有基于证书的安全存储系统中安全管理器负载重，用户权限管理复杂的问题。

此专利虽然也属于一套目标决策的解决方案，但是它主要是针对于用户访问控制功能的，更注重的是如何解决用户权限管理问题，而不是分布式文件系统中数据的目标抉择问题。

公开号为101796795A，发明名称为“分布式系统”的发明公开了一种基于标签的分布式资源归类系统。其中，分布式系统中的资源利用决策取决于分布式系统中存储的资源描述的半自动归类。在主要实施方式中，资源描述是使用用户或网络服务管理员输入的标签(例如，描述性词或短语)进行了补充的网络服务描述。最初使用这些描述的自动分类，之后是用户驱动的对自动生成类别进行精细调节，这使得能够快速创建资源描述的可靠归类，进而带来更好的资源利用决策且因此带来分布式系统资源的更有效使用。

此专利是针对分布式系统中的资源，将其通过手动及自动标签的方式进行归类布局。他解决的主要是分布式系统中各种服务的描述问题，以及如何通过算法实现更加准确的标签描述归类。虽然也属于在分布式系统中对目标进行管理存放，但是该专利并不是一个从安全角度出发的专利，其重视的是解决分布式应用的效率问题。

发明内容

针对存储云中分布式文件系统内部进行数据安全迁移时所遇到的目标决策问题，当前并没有相关专利涉及到这一问题。但是随着存储云服务在互联网上应用的日益火热，满足在集群内迁移过程中的安全管理数据目标的选择策略的需求迫在眉睫。本发明针对此需求，采取基于树型标签的方法，通过可继承式的迁移权限管理，在不破坏分布式文件系统对于客户存储透明这一大前提下，将数据迁移的目标选择策略最大程度上交给客户，从而使得存储云内部的数据迁移安全且高效。

本发明的技术方案为：

一种适用于存储云内数据安全迁移的方法，其步骤为：

1)将存储云用户划分为若干部门并为每一部门设一标签，建立该用户的树型结构标签，并将其保存到存储云中的中央节点；

2)将存储云中的数据节点划分为若干机组并为每一机组设一标签，建立针对该用户的存储云系统的树型结构标签，并将其保存到存储云中的中央节点；

3)建立上述两颗树型结构标签的标签点对点的关联关系，得到每一部门数据迁移过程中的目标机组安全选择策略，并将其保存到存储云中的中央节点；

4)中央节点根据所述目标机组安全选择策略，确定每一待迁移数据块要迁移的目标数据节点，然后执行迁移命令进行迁移；

其中，所述树型标签结构满足条件：a)每个标签有零个或者多个直接后续标签，但至多只能有一个直接前驱标签；b)每个标签的含义都包含其任意后续标签的含义；c)任意两个非前驱或者非后续关系标签的含义之间的交集为空。

进一步的，所述树型标签结构为XML文件格式树型标签结构。

进一步的，所述执行迁移命令进行迁移的方法为：对于所述云存储用户首次上传的数据块，中央节点根据所述目标机组安全选择策略确定当前数据块的目标数据节点存储当前数据块。

进一步的，所述执行迁移命令进行迁移的方法为：对于所述云存储用户读取或复制已上传的数据块，中央节点根据存储云系统的BlocksMap数据结构表确定待迁移数据块所属的文件，然后根据找到的文件确定该数据块所属云存储用户，然后通过找到的云存储用户确定该数据块所属的部门；最后根据部门和所述目标机组安全选择策略确定该数据块的目标数据节点进行迁移。

进一步的，所述中央节点为每一部门的数据块建立一隐身关系，所述隐身关系为：数据块-＞所属文件-＞所属存储云用户-＞所属部门；中央节点根据所述隐身关系确定当前数据块对应的部门，最后根据部门和所述目标机组安全选择策略确定该数据块的目标数据节点进行迁移。

进一步的，根据职能或产品线将存储云用户划分为若干部门并为每一部门设一标签。

进一步的，根据数据节点的归属地或数据节点的存储服务安全级别线将数据节点划分为若干机组并为每一机组设一标签。

以下重点阐述发明中的两个要点：

一、基于树型标签的规则：首先，这套安全策略中的规则是由基于XML文件所描述的两棵树型标签组成的。针对当前的情况，这套安全规则主要是为解决企业需求而提出的(因此以下涉及的一些名词也特别针对企业而言)。安全规则中的两颗树型标签是由分布式文件系统的使用客户和存储服务提供商分别设置填充的。

从使用客户的角度出发，不难给出一个最贴切的描述自身企业组成的树型结构标签，例如有的客户可以从不同的职能出发，划分部门(如图1所示)；也可以从不同的产品线出发，划分部门(如图2所示)。但部门的划分有三个基本的要求就是需要严格按照树型结构的特征去定义每个“部门”所对应的“标签”，即：1.每个标签可以有零个或者多个直接后续标签，但至多只能有一个直接前驱标签；2.每个标签的含义(即所代表的部门)都包含其任意后续标签的含义；3.任意两个非前驱或者非后续关系标签的含义之间的交集为空。使用客户在遵守以上三个要求的同时，将企业划分成为可以组成树型结构的多个部门之原因在于，该企业中，按照这种方式划分出来的不同部门在分布式文件系统上有着不同的数据存储需求——在存储云的环境中，所属于不同部门的数据在迁移过程中有着不同的迁移需求。

而从服务提供商的角度出发，也可以给出一个最贴切的描述自身集群内各个数据节点组成的树型结构标签，例如提供商可以分别从分布式文件系统内各节点所归属的地区出发(如图3所示)或者从各数据节点的存储服务安全级别出发(如图4所示)将其划分成为不同的机组(多个机架上的数据节点组成一个机组)。同样，每个“机组”对应于一个“标签”，这些标签的定义也严格遵守上述的树型结构特征规则。存储服务提供商将分布式文件系统划分成为多个机组的原因在于同使用客户建立的“部门”树型结构标签相互对应——从而满足使用客户自我定制的不同部门数据的安全迁移需求。

二、数据目标安全抉择的策略：类似于函数的组成，当确定了定义域(客户划分的基于企业部门的树型结构标签)和值域(服务提供商划分的基于集群内机组的树型结构标签)后，需要确定的就是它们之间的对应关系，即通过XML文件将上述两颗树型结构的标签点对点的联系起来，所谓“对应关系”，其实就是客户特定部门下的数据在分布式文件系统内的迁移过程中目标(即机组)的安全选择策略。针对分布式文件系统内数据安全迁移的需求，将其转化成为固定的规则有：任意部门标签均对应一种且仅一种机组标签集合；不同的部门标签可以对应相同的机组标签集合；部门标签之间的包含关系与其各自对应的机组标签集合的包含关系一致(如图5所示)。客户通过设置适合自身需要的树形管理结构，而存储云服务提供商提供一份匹配该客户需求的自身存储标签。两者通过协商将定义好的两棵树间的标签对应关系设定好，以上三要素均通过XML文件描述和存储。其中双方协商的对应关系必须有着严格的数学方式对应，即任意一个客户定义的管理标签，通过描述的目标安全抉择的XML文件得到一个标签集合(其中的标签为服务商提供，对应该用户标签可安全存放的目前集群)，通过数学函数表达式的方式来描述数据目标安全抉择策略有：

Set{RackLabel r1，RackLabel r2，RackLabel r3...}＝Function(DepartmentLabel d)；

其中，RackLabel r1，r2，r3∈{集群内各个机组的标签}；

DepartmentLabel d∈{企业内各个部门的标签}；

Fuction()为数据目前安全抉择策略——当某数据属于标有DepartmentLabel d的一个部门时，该数据只能在分布式文件系统的迁移机制下，“自由存储”在隶属于r1，r2，r3任意RackLabel下的数据节点当中。若存储在其他的数据节点下将被视为不安全的迁移操作。

在一个存储云服务的环境中，客户企业有很多，而一个Function()特指一个客户与服务提供商之间定制的安全迁移策略——即Function()与企业客户互成一一映射关系。

数据目标的安全抉择策略是由企业客户与服务提供商双方共同设计、定制而成的。双方都应该从考虑自身以及对方的具体情况出发而定制树型标签以及设计安全策略。在这种情况下，各自的树型标签以及安全策略的频繁修改是不提倡的，因为对于分布式文件系统而言，这样的操作会带来额外消耗，系统需要启动异步线程对每个数据节点的数据重新进行目标安全决策的判定，这样势必会降低整个集群的服务能力。

与现有技术相比，本发明的积极效果为：

1、由于客户在初次使用时，仅仅需要提供一个适合其管理的树型标签结构，并与存储云的服务提供商共同定义与服务商设置的树型结构存储节点标签的对应关系，即目标安全迁移规则，这样降低了客户对于向存储云的环境迁移的学习成本。

2、由于“两棵树，一套规则”的方式极大的降低了各个客户与提供商之间的耦合度，使得存储云环境的提供商可以灵活的应对客户的加入或者退出。

3、以往的技术往往在安全规则定义以后便不再能够修改，而此发明不仅支持修改，而且是“热修改”，即服务管理员只需要将描述树型标签结构和目标安全规则的XML文件，并重新载入分布式文件系统即可，无需重新启动等繁杂的操作。

附图说明

图1、基于职能划分的部门树型结构标签图；

图2、基于产品划分的部门树型结构标签图；

图3、基于地区划分的集群内机组树型结构标签图；

图4、基于安全级别的集群内机组树型结构标签图；

图5、两颗树型结构标签之间的映射关系图；

图6、本发明整体方法流程图。

具体实施方式

存储云服务的提供主要依赖于存储云架构中基础管理层的分布式文件系统。而当前社会中最流行，运用范围最广泛的分布式文件系统当属基于Apache下的Hadoop开源项目中的子项目HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)。本专利的基本原型也是利用HDFS进行开发的。在具体的开发实施过程中，采取AOP(面向切面编程)的思路，做到不修改HDFS原本代码，将数据迁移的安全策略完全集成在每一个切面(Aspect)中，以做到最大程度上的降低安全迁移策略与原系统的耦合度。

首先具体介绍一下原型开发的平台——HDFS，即一个主从结构的体系，一个HDFS集群包含一个中央节点(NameNode节点)，它是一个管理文件的命名空间和调节客户端访问文件的主服务器，另外还包含多个数据节点(DataNode节点)，它用于管理存储。HDFS的内部存储机制是将一个文件分割成一个或多个的数据块(Block)，这些Block是HDFS在存储上的最小单位，为了保证HDFS的可靠性，Block会存储在一系列的DataNode上。NameNode在启动后的主要任务在于操作和管理文件命名空间以及控制文件的数量，同时保存各文件与自身多个Block的对应关系，以及各Block与存放的DataNode间的映射，以便在客户操作文件时，能够让Client与DataNode顺利连接。而DataNode的功能主要是保存数据，以及完成NameNode所发放的命令，另外就是为了让NameNode节点了解各DataNode节点的数据情况，DataNode需要定期向NameNode发放一个heartbeat信息。

目前HDFS自身在集群内数据迁移方面的安全风险是十分突出的，正如在技术背景中所分析到的情况一样，HDFS当中存储的成千上万份文件是由若干个Block组成的，而HDFS在进行分布式文件系统所特有的数据拷贝以及负载均衡操作时，会将这些Block进行无数次的复制——粘贴，剪切——粘贴操作。对于这一操作过程中Block存放目的地的选择HDFS仅仅依靠一个名为机架感知(Rack Awareness)的副本存放策略来完成的。所谓机架感知存放策略，即在大多数情况下，Block副本系数是3，HDFS的存放策略是将一个Block副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。简单来说便是，该策略将三分之一的Block副本在一个节点上，三分之二的Block副本在一个机架上，其他副本均匀分布在剩下的机架中，这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。不难看出当前的HDFS数据存放策略仅仅是从效率出发的，随着HDFS当中的DataNode越来越多，Block副本可选择性就越来越大，为了保证每个Block都存放在一个符合自身安全需求的DataNode上，就务必引入一套管理Block迁移中目标抉择的安全规则策略。

本发明的集群内迁移实现方法如图6所示：

首先通过XML格式的配置文件将两组标签，一套规则描述下来(每个在该集群上的企业用户拥有与之匹配的XML描述文件)。这一系列的规则描述文件保存在NameNode服务器上，当启动HDFS时，通过增添需要读取的规则配置文件，将其以多个Map<String，Set<String>>rulesMap的数据结构形式常驻在NameNode服务器内存当中，每个客户拥有一个rulesMap，从而多个rulesMap组成一个针对不同企业用户而定制不同安全迁移策略的Map_Pool。

从客户上传文件开始坚决遵循安全迁移策略，即在NameNode服务器端内存中常驻着一个BlocksMap的数据结构(BlocksMap是Hadoop中原有的数据结构，用于存储Block与File的映射)。通过这个表和安全迁移策略，可以得到以下一个隐身关系：Block-＞File-＞User-＞Group，即通过HDFS当初存储的最基本单位Block，可以找到其所隶属的文件，再从文件找到其创建客户，而通过创建客户，不难得到之前所谈到的部门(这里为达到与HDFS中一致，用Group表示)，将部门传入Map_Pool，即可得到通过上述安全迁移策略所返回的一系列有权限接受该部门Block的DataNode。从而无论是在集群内的副本迁移还是负载均衡当中，均可通过AOP的方式在原有的逻辑前增加该数据安全迁移策略。

在副本迁移当中，只需要针对FSNamesystem类中的getAdditionalBlock(客户首次上传文件时，NameNode会使用该方法寻找DataNode存储该Block)与computeReplicationWork(当NameNode在管理整个HDFS中的Block所含有副本数情况时，如果发现Block的数量不足，则需要使用该方法进行副本复制操作)两个方法进行AOP的around操作，增加上述的安全迁移策略逻辑即可完成。

而在负载均衡中增加安全策略则需要让NameNode实现一个SaferBalancerProtocol接口，因为基于Java的反射机制，HDFS中NameNode与Balancer服务器间的通讯是基于RPC方式的，通过SaferBalancerProtocol中的isSafeTarget方法，利用之前所说的策略，在Balancer类中的isGoodBlockCandidate方法中添加安全迁移逻辑，即可完成安全迁移的策略了。

Claims (7)

1.一种适用于存储云内数据安全迁移的方法，其步骤为：

1)将存储云用户划分为若干部门并为每一部门设一标签，建立该用户的树型结构标签，并将其保存到存储云中的中央节点；

2)将存储云中的数据节点划分为若干机组并为每一机组设一标签，建立针对该用户的存储云系统的树型结构标签，并将其保存到存储云中的中央节点；

3)建立上述两颗树型结构标签的标签点对点的关联关系，得到每一部门数据迁移过程中的目标机组安全选择策略，并将其保存到存储云中的中央节点；

4)中央节点根据所述目标机组安全选择策略，确定每一待迁移数据块要迁移的目标数据节点，然后执行迁移命令进行迁移；

其中，所述树型标签结构满足条件：a)每个标签有零个或者多个直接后续标签，但至多只能有一个直接前驱标签；b)每个标签的含义都包含其任意后续标签的含义；c)任意两个非前驱或者非后续关系标签的含义之间的交集为空。

2.如权利要求1所述的方法，其特征在于所述树型标签结构为XML文件格式树型标签结构。

3.如权利要求2所述的方法，其特征在于所述执行迁移命令进行迁移的方法为：对于所述云存储用户首次上传的数据块，中央节点根据所述目标机组安全选择策略确定当前数据块的目标数据节点存储当前数据块。

4.如权利要求2所述的方法，其特征在于所述执行迁移命令进行迁移的方法为：对于所述云存储用户读取或复制已上传的数据块，中央节点根据存储云系统的BlocksMap数据结构表确定待迁移数据块所属的文件，然后根据找到的文件确定该数据块所属云存储用户，然后通过找到的云存储用户确定该数据块所属的部门；最后根据部门和所述目标机组安全选择策略确定该数据块的目标数据节点进行迁移。

5.如权利要求4所述的方法，其特征在于所述中央节点为每一部门的数据块建立一隐身关系，所述隐身关系为：数据块-＞所属文件-＞所属存储云用户-＞所属部门；中央节点根据所述隐身关系确定当前数据块对应的部门，最后根据部门和所述目标机组安全选择策略确定该数据块的目标数据节点进行迁移。

6.如权利要求1或2或3或4或5所述的方法，其特征在于根据职能或产品线将存储云用户划分为若干部门并为每一部门设一标签。

7.如权利要求1或2或3或4或5所述的方法，其特征在于根据数据节点的归属地或数据节点的存储服务安全级别线将数据节点划分为若干机组并为每一机组设一标签。

Images