CN114189391B - 一种适用于混合云的私隐性资料控管方法 - Google Patents

Abstract

一种适用于混合云的私隐性资料控管方法，属于安全通信技术领域，包括以下步骤：步骤S1，将分布式系统Hadoop应用于混合云，在HDFS中建立三个档案；步骤S2，对私隐性资料进行标记；步骤S3，Map Task阶段时，根据输入资料的标记类型选择运算该资料的节点；步骤S4，使Reduce Task阶段时，根据Map Task阶段输入资料的标记类型选择Reduce Task阶段的节点：若Map Task阶段输入资料的标记被标记为私隐性资料，则Reduce Task阶段只会选择私有节点来运算。本方案使用Haddop系统执行运算，私隐性资料不会选择公有云节点进行运算，从而避免在混合云的环境中私隐性资料的外泄，并在私隐安全性和成本之间取得平衡。

Description

一种适用于混合云的私隐性资料控管方法

技术领域

本发明属于安全通信技术领域，具体涉及为一种适用于混合云的私隐性资料控管方法。

背景技术

随着各个企业或公司数据量的增加，对数据的存储和运算模式越来越偏向云端的存储或处理方式。云端服务可分为公有云端服务与私有云端系统。

公有云通常指第三方提供商为用户提供的能够使用的云。私有云是指仅面向特选用户（而非一般公众），运用内部的计算与储存资源所建构的云服务。大部分企业都具有商业机密等私隐性资料，而私隐性资料如果储存在公有云，则具有资料外泄的风险。而若所有数据存储和数据运算均由私有云承担，则这类私有云的建立需要花费较高的成本，对于企业来说并不经济。因此，公有云和私有云的混合态，即混合云，将越来越受到企业欢迎。

我们希望，将私隐性资料只存储于私有云，而将占比较高的非私隐性资料存储于公有云，并由公有云承担大部分运算服务，从而实现在私隐安全性和成本之间取得平衡。

公开号为CN111478776A的中国专利公开了一种具有数字身份的可信混合云系统及其构建方法，其为每个云节点引入唯一数字身份签名机制，基于公开共识数据交换和服务连接规则，建立可信的云节点通讯链接与数据交换机制，并基于区块链分布式账本的共识管理机制，让云节点参与所有组成系统为混合云系统内的数据、身份进行交叉验证，从而确保云系统内的数据、身份的真实性；并通过区块链不可篡改的特性，确保云节点数据的所有权归属。但是，该方案在完成云节点的身份认证之后，并不能阻止私有云中的私隐性资料流动到公有云中，无法保障私有云中的私隐性资料的安全性。

公开号为CN107171818A的中国专利公开了用于混合云的控制方法、系统和装置，在混合云中构建控制台，并在混合云中部署数据分析组件，通过数据分析组件的分析功能对混合云中的时间进行分析，实现控制台对混合云中的数据进行整体管理和监控的技术效果。然而，该方案对于解决私隐性资料安全性的问题，严重牺牲了效能，大幅度降低了资料传输的效率。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供种适用于混合云的私隐性资料控管方法。

一种适用于混合云的私隐性资料控管方法，包括以下步骤：

步骤S1，将分布式系统Hadoop应用于混合云，Hadoop内设主节点和从节点；Hadoop包括分散式档案系统HDFS和分散式运算框架MapReduce，MapReduce包括Map Task阶段和Reduce Task阶段。在HDFS中建立三个档案，三个档案的存储位置以及存储内容如下：

私有云节点目录档案，存储内容为私有云节点的IP；

私隐性资料目录档案，存储内容为私隐性资料的目录；

公开资料目录档案，存储内容为公开资料的目录；

步骤S2，对私隐性资料进行标记：在Hadoop建立档案时，判断资料是否为私隐性资料，从而限定存储该资料及其复本的节点位置：如果要存储的资料是私隐性资料，则该私隐性资料及其复本只能被储存在私有云节点中；

步骤S3，使用分散式运算框架MapReduce在对资料作分散运算，Map Task阶段时，根据输入资料的标记类型选择运算该资料的节点：被标记为私隐性资料只会选择私有节点来运算；

步骤S4，使用分散式运算框架MapReduce在对资料作分散运算，Reduce Task阶段时，输入资料是来自Map Task阶段的输出资料经过分隔分区而得到，此时，根据Map Task阶段输入资料的标记类型选择Reduce Task阶段的节点：若Map Task阶段输入资料的标记被标记为私隐性资料，则Reduce Task阶段只会选择私有节点来运算。

进一步，步骤1中，私有云节点目录档案，命名为private_node_list，私有云节点目录档案的存储位置建立在目录「/etc/PrivateNodeTag」底下；

私隐性资料目录档案，命名为private_file_list，私隐性资料目录档案的存储位置建立在目录「/etc/FileTag」底下；私隐性资料目录档案建立时只需要建立空档；当资料上传至HDFS时被标记为私隐性资料，或者MapReduce运算结果为私隐性资料时，这些私隐性资料的名称会被写入私隐性资料目录档案。

公开资料目录档案，命名为public_file_list，公开资料目录档案的存储位置建立在目录「/etc/FileTag」底下；当资料上传至HDFS时被标记为公开资料，或者MapReduce运算结果为公开资料时，这些公开资料的名称会被写入公开资料目录档案。

进一步，步骤S2包括：

步骤S2a，判断要存储的资料类型是私隐性资料还是公开资料，如果是私隐性资料，则将文件名称写入分散式档案系统HDFS中的私隐性资料目录档案，然后转步骤S2b；如果是公开资料，则将文件名称写入分散式档案系统HDFS中的公开资料目录档案，然后转步骤S2c；

步骤S2b，在建立资料复本时，在建立第一个资料复本时读取私有云节点目录档案；主节点选择建立资料复本的节点，并将该节点与私有云节点目录档案中的所有私有云节点的IP依次对比，从而判断主节点选择建立资料复本的节点是否为私有云节点；如果主节点选择建立资料复本的节点不是私有云节点，则将此节点排除后主节点重新选择建立资料复本的节点，直到主节点选择的节点是私有云节点；重复本步骤，直到复本数量达到设定值；

步骤S2c，在建立资料复本时，主节点选择建立资料复本的节点；重复本步骤，直到复本数量达到设定值。

进一步，步骤S3包括：

步骤S301，使用者提交一个MapReduce的运算任务调度；

步骤S302，系统接收到提交的运算任务调度，首先会读取私隐性资料目录档案以及公开资料目录档案，判断每一个输入资料是属于哪一种类型并作标记；然后将加入标记的资料提交至资源管理器的运算任务调度中的设定档中；

步骤S303，资源管理器会先检查运算任务调度中设定档中的资料标记，如果输入的资料中有被标记为私隐性资料，则会选择私有云上的节点管理器做为要执行应用程序主站的节点，并通知该节点管理器为该运算任务调度分配一个容器给应用程序主站；

步骤S304，选定的节点管理器会分配一个容器给应用程序主站；

步骤S305，应用程序主站启动后向资源管理器注册；

步骤S306，应用程序主站向资源管理器请求资料之前会先检查每一个运算任务要处理的输入资料的标记，并在请求内容中加入标记信息；

步骤S307，已经加入标记信息的请求会送至资源管理器，并请求调度容器来运行运算任务；

步骤S308，通过应用程序主站的资料请求，资源管理器根据所有节点管理器在心跳回报的状态以及资料请求中的资料标记，在公有云以及私有云中各选出所需的节点管理器，并通知它们要分配的容器信息；节点管理器收到通知后会分配要执行运算任务的容器；

步骤S309，运算任务运作在容器上，并定期回报运算任务的状态给应用程序主站；

步骤S310，节点管理器回报节点的状态给应用程序主站。

进一步，步骤S4包括：

步骤S401，Map Task阶段，在各个选定的节点上执行映射程序：如果输入资料为私隐性资料，则映射程序的输出就是私隐性资料，并将Map Task阶段输出的私隐性资料传送给私有云上的Reduce Task；如果输入资料为公开资料，则映射程序的输出就是公开资料，并将Map Task阶段输出的公开资料传送给公有云上的Reduce Task；

步骤S402，在私有云上Reduce Task阶段输出的文件名称都会被写入HDFS上的私隐性资料目录档案中；公有云上Reduce Task阶段输出的资料则会写到公开资料目录档案中。

本方案在混合云的环境中，对私隐性资料进行标记，并管控私隐性资料的流动：存储时，将私隐性资料只存储于私有云，而将占比较高的非私隐性资料存储于公有云，使用Haddop系统建立档案时，被标记的私隐性资料不会存储到公有云节点中；运算时，由公有云承担大部分运算服务，使用Haddop系统执行运算，私隐性资料不会选择公有云节点进行运算，从而避免在混合云的环境中私隐性资料的外泄，并在私隐安全性和成本之间取得平衡。

附图说明

图1是步骤S2的流程图；

图2是步骤S3的流程图；

图3是本方案和原始Hadoop在Sort应用中的执行时间图。

具体实施方式

下面结合附图，对本发明作进一步详细说明。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS（Hadoop分散式档案系统，Hadoop DistributedFile System）和MapReduce（分散式运算框架）。HDFS为海量的数据提供了分散式的存储框架，而MapReduce则为海量的数据提供了分散式的运算框架，MapReduce主要分为Map Task阶段和Reduce Task阶段两个阶段。

但是，HDFS和MapReduce均只适用于单一的云部署模式，Hadoop并没有为混合云单独开发一套存储模式和运算模式。将Hadoop应用于混合云后，存储时，当资料上传到HDFS时，主节点会随机选择任意节点来存储资料，所以，私隐性资料可能会被存储于公有节点上，具有外泄的风险；运算时，因为资源管理器是通过节点管理器回报节点的资源以及考虑资料本地性来选择运算节点，所以就算是所有私隐性资料都是被储存在私有云节点中，但是节点管理器在资源不够的情况就会随机选择资源足够的节点来做运算，这样可能会导致私隐性资料传送到公有云节点上运算，私隐性资料具有外泄的风险。

一种适用于混合云的私隐性资料控管方法，包括以下步骤：

步骤S1，将分布式系统Hadoop应用于混合云，Hadoop内设主节点和从节点；Hadoop包括分散式档案系统HDFS和分散式运算框架MapReduce，MapReduce包括Map Task阶段和Reduce Task阶段。

值得指出的是，以下内容为公知常识，不再赘述：Hadoop内设主节点和从节点；Hadoop包括分散式档案系统HDFS和分散式运算框架MapReduce，MapReduce包括Map Task阶段和Reduce Task阶段。

在HDFS中建立三个档案，三个档案的存储位置以及存储内容如下：

1，私有云节点目录档案，命名为private_node_list，私有云节点目录档案的存储位置建立在目录「/etc/PrivateNodeTag」底下；私有云节点目录档案的存储内容为私有云节点的IP。

2，私隐性资料目录档案，命名为private_file_list，私隐性资料目录档案的存储位置建立在目录「/etc/FileTag」底下；私隐性资料目录档案的存储内容为私隐性资料的目录；私隐性资料目录档案建立时只需要建立空档；当资料上传至HDFS时被标记为私隐性资料，或者MapReduce运算结果为私隐性资料时，这些私隐性资料的名称会被写入私隐性资料目录档案。

3，公开资料目录档案，命名为public_file_list，公开资料目录档案的存储位置建立在目录「/etc/FileTag」底下；公开资料目录档案的存储内容为公开资料的目录；当资料上传至HDFS时被标记为公开资料，或者MapReduce运算结果为公开资料时，这些公开资料的名称会被写入公开资料目录档案。

三个档案的作用在于：(1)步骤S2中，HDFS建立档案时加入标记；(2)步骤S3中，根据标记，在运算任务调度提交后选择执行任务的节点；(3)步骤S4中，MapReduce运算流程中使用标记控制中间资料运算，Map Task阶段的中间结果会根据Map Task阶段输入档案的类型来决定要传送给公有云或是私有云上的Reduce Task处理。

步骤S2，对私隐性资料进行标记：在Hadoop建立档案时，判断资料是否为私隐性资料，从而限定存储该资料及其复本的节点位置：如果要存储的资料是私隐性资料，则该私隐性资料及其复本只能被储存在私有云节点中。图1是步骤S2的流程图；如图1所示，具体如下。

步骤S2a，判断要存储的资料类型是私隐性资料还是公开资料，如果是私隐性资料，则将文件名称写入分散式档案系统HDFS中的私隐性资料目录档案，然后转步骤S2b；如果是公开资料，则将文件名称写入分散式档案系统HDFS中的公开资料目录档案，然后转步骤S2c。

步骤S2b，在建立资料复本时，在建立第一个资料复本时读取私有云节点目录档案；主节点选择建立资料复本的节点，并将该节点与私有云节点目录档案中的所有私有云节点的IP依次对比，从而判断主节点选择建立资料复本的节点是否为私有云节点；如果主节点选择建立资料复本的节点不是私有云节点，则将此节点排除后主节点重新选择建立资料复本的节点，直到主节点选择的节点是私有云节点；重复本步骤，直到复本数量达到设定值。

步骤S2c，在建立资料复本时，主节点选择建立资料复本的节点；重复本步骤，直到复本数量达到设定值。公开资料没有限定要储存在哪一个云上的节点，可以被储存在任一节点上。

步骤S3，使用分散式运算框架MapReduce在对资料作分散运算，Map Task阶段时，根据输入资料的标记类型选择运算该资料的节点：被标记为私隐性资料只会选择私有节点来运算。图2是步骤S3的流程图，如图2所示，具体如下。

步骤S301，使用者提交一个MapReduce的运算任务调度（job）；

步骤S302，系统接收到提交的运算任务调度，首先会读取私隐性资料目录档案以及公开资料目录档案，判断每一个输入资料是属于哪一种类型并作标记；然后将加入标记的资料提交至资源管理器（Resource Manager）的运算任务调度中的设定档中。

步骤S303，资源管理器会先检查运算任务调度中设定档中的资料标记，如果输入的资料中有被标记为私隐性资料，则会选择私有云上的节点管理器（Node Manager）做为要执行应用程序主站（Application Master）的节点，并通知该节点管理器为该运算任务调度分配一个容器（Container）给应用程序主站。

步骤S304，选定的节点管理器会分配一个容器（Container）给应用程序主站。

步骤S305，应用程序主站启动后向资源管理器注册。

步骤S306，应用程序主站向资源管理器请求资料之前会先检查每一个运算任务要处理的输入资料的标记，并在请求内容中加入标记信息，例如：<Priority: 20,Capability: <memory:1024, vCores:1>, # Containers: 1, Location: *, RelaxLocality: true, GetInputTag: 0>，其中，0为公开资料，1为私隐性资料。

本方案在原本Hadoop送出的消息中加入一个输入资料的标记，调度程序选择节点的时候会依照这个标记来选择对应的节点。

步骤S307，已经加入标记信息的请求会送至资源管理器，并请求调度容器来运行运算任务。

步骤S308，通过应用程序主站的资料请求，资源管理器根据所有节点管理器在心跳回报的状态以及资料请求中的资料标记，在公有云以及私有云中各选出所需的节点管理器，并通知它们要分配的容器信息；节点管理器收到通知后会分配要执行运算任务的容器。

步骤S309，运算任务运作在容器上，并定期回报运算任务的状态给应用程序主站。

步骤S310，节点管理器回报节点的状态给应用程序主站。

步骤S3决定了执行私隐性资料的私有云节点，以及执行私隐性资料和公开资料的是公有云或是私有云的哪些节点。

步骤S4，使用分散式运算框架MapReduce在对资料作分散运算，Reduce Task阶段时，输入资料是来自Map Task阶段的输出资料经过分隔分区而得到，此时，根据Map Task阶段输入资料的标记类型选择Reduce Task阶段的节点：若Map Task阶段输入资料的标记被标记为私隐性资料，则Reduce Task阶段只会选择私有节点来运算。具体如下。

步骤S401，Map Task阶段，在各个选定的节点上执行映射程序（map class）：如果输入资料为私隐性资料，则映射程序的输出就是私隐性资料，并将Map Task阶段输出的私隐性资料传送给私有云上的Reduce Task；如果输入资料为公开资料，则映射程序的输出就是公开资料，并将Map Task阶段输出的公开资料传送给公有云上的Reduce Task。

步骤S402，在私有云上Reduce Task阶段输出的文件名称都会被写入HDFS上的私隐性资料目录档案中；公有云上Reduce Task阶段输出的资料则会写到公开资料目录档案中。

对本方案的效能进行分析。

表1为各个实施例的私隐性资料和公开资料的分布比例表。

	私隐性资料，占比	公开资料，占比
			实施例一	50%	50%
实施例二	55%	45%
			实施例三	60%	40%
实施例四	65%	35%
			实施例五	70%	30%

每个实施例中，输入资料为40G，包含20个约200MB的输入文件，模拟混合云的部署模式，使用Sort来测试本方法的效能。Sort是通过Hadoop Random Text Writer产生资料，并对此资料进行排序。

首先，测定输入资料大小、Map Task阶段的中间结果大小和输出档案的大小。使用Sort测试方法，输入资料大小为4106.2MB，Map Task阶段的中间结果大小为4023.2MB，输出档案的大小为4106.1MB。

可见，Sort模式下，输入资料大小、Map Task阶段的中间结果和输出档案，均比较大。

其次，比较本方案和原始Hadoop在Sort应用中的执行时间。资料传输速度为3.0MB/s，VM的读取速度为3.0MB/s，VM的写入速度为6.0MB/s，网络延迟20~25ms。如图3所示，Sort测试模式下，由于公开资料传送给公有云的节点来作reduce运算，减少了公有云和私有云之间的资料传输数量，整体的运算时间虽然相对于原始Hadoop略有增加，但是整体在可以接收的范围之内。

本方案，改善了原始Hadoop随机选择储存节点与运算节点而造成所有资料会在各节点流动的方式，增加了私隐性资料的安全性。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种适用于混合云的私隐性资料控管方法，其特征在于，包括以下步骤：

步骤S1，将分布式系统Hadoop应用于混合云，Hadoop内设主节点和从节点；Hadoop包括分散式档案系统HDFS和分散式运算框架MapReduce，MapReduce包括Map Task阶段和ReduceTask阶段；

在HDFS中建立三个档案，三个档案的存储位置以及存储内容如下：

私有云节点目录档案，存储内容为私有云节点的IP；

私隐性资料目录档案，存储内容为私隐性资料的目录；

公开资料目录档案，存储内容为公开资料的目录；

步骤S2，对私隐性资料进行标记：在Hadoop建立档案时，判断资料是否为私隐性资料，从而限定存储该资料及其复本的节点位置：如果要存储的资料是私隐性资料，则该私隐性资料及其复本只能被储存在私有云节点中；

步骤S3，使用分散式运算框架MapReduce在对资料作分散运算，Map Task阶段时，根据输入资料的标记类型选择运算该资料的节点：被标记为私隐性资料只会选择私有节点来运算；

步骤S4，使用分散式运算框架MapReduce在对资料作分散运算，Reduce Task阶段时，输入资料是来自Map Task阶段的输出资料经过分隔分区而得到，此时，根据Map Task阶段输入资料的标记类型选择Reduce Task阶段的节点：若Map Task阶段输入资料的标记被标记为私隐性资料，则Reduce Task阶段只会选择私有节点来运算。

2.根据权利要求1所述的一种适用于混合云的私隐性资料控管方法，其特征在于，步骤1中，私有云节点目录档案，命名为private_node_list，私有云节点目录档案的存储位置建立在目录「/etc/PrivateNodeTag」底下；

私隐性资料目录档案，命名为private_file_list，私隐性资料目录档案的存储位置建立在目录「/etc/FileTag」底下；私隐性资料目录档案建立时只需要建立空档；当资料上传至HDFS时被标记为私隐性资料，或者MapReduce运算结果为私隐性资料时，这些私隐性资料的名称会被写入私隐性资料目录档案；

公开资料目录档案，命名为public_file_list，公开资料目录档案的存储位置建立在目录「/etc/FileTag」底下；当资料上传至HDFS时被标记为公开资料，或者MapReduce运算结果为公开资料时，这些公开资料的名称会被写入公开资料目录档案。

3.根据权利要求1所述的一种适用于混合云的私隐性资料控管方法，其特征在于，步骤S2包括：

步骤S2a，判断要存储的资料类型是私隐性资料还是公开资料，如果是私隐性资料，则将文件名称写入分散式档案系统HDFS中的私隐性资料目录档案，然后转步骤S2b；如果是公开资料，则将文件名称写入分散式档案系统HDFS中的公开资料目录档案，然后转步骤S2c；

步骤S2b，在建立资料复本时，在建立第一个资料复本时读取私有云节点目录档案；主节点选择建立资料复本的节点，并将该节点与私有云节点目录档案中的所有私有云节点的IP依次对比，从而判断主节点选择建立资料复本的节点是否为私有云节点；如果主节点选择建立资料复本的节点不是私有云节点，则将此节点排除后主节点重新选择建立资料复本的节点，直到主节点选择的节点是私有云节点；重复本步骤，直到复本数量达到设定值；

步骤S2c，在建立资料复本时，主节点选择建立资料复本的节点；重复本步骤，直到复本数量达到设定值。

4.根据权利要求1所述的一种适用于混合云的私隐性资料控管方法，其特征在于，步骤S3包括：

步骤S301，使用者提交一个MapReduce的运算任务调度；

步骤S302，系统接收到提交的运算任务调度，首先会读取私隐性资料目录档案以及公开资料目录档案，判断每一个输入资料是属于哪一种类型并作标记；然后将加入标记的资料提交至资源管理器的运算任务调度中的设定档中；

步骤S303，资源管理器会先检查运算任务调度中设定档中的资料标记，如果输入的资料中有被标记为私隐性资料，则会选择私有云上的节点管理器做为要执行应用程序主站的节点，并通知该节点管理器为该运算任务调度分配一个容器给应用程序主站；

步骤S304，选定的节点管理器会分配一个容器给应用程序主站；

步骤S305，应用程序主站启动后向资源管理器注册；

步骤S306，应用程序主站向资源管理器请求资料之前会先检查每一个运算任务要处理的输入资料的标记，并在请求内容中加入标记信息；

步骤S307，已经加入标记信息的请求会送至资源管理器，并请求调度容器来运行运算任务；

步骤S308，通过应用程序主站的资料请求，资源管理器根据所有节点管理器在心跳回报的状态以及资料请求中的资料标记，在公有云以及私有云中各选出所需的节点管理器，并通知它们要分配的容器信息；节点管理器收到通知后会分配要执行运算任务的容器；

步骤S309，运算任务运作在容器上，并定期回报运算任务的状态给应用程序主站；

步骤S310，节点管理器回报节点的状态给应用程序主站。

5.根据权利要求1所述的一种适用于混合云的私隐性资料控管方法，其特征在于，步骤S4包括：

步骤S401，Map Task阶段，在各个选定的节点上执行映射程序：如果输入资料为私隐性资料，则映射程序的输出就是私隐性资料，并将Map Task阶段输出的私隐性资料传送给私有云上的Reduce Task；如果输入资料为公开资料，则映射程序的输出就是公开资料，并将Map Task阶段输出的公开资料传送给公有云上的Reduce Task；

步骤S402，在私有云上Reduce Task阶段输出的文件名称都会被写入HDFS上的私隐性资料目录档案中；公有云上Reduce Task阶段输出的资料则会写到公开资料目录档案中。

Images