CN102567851A - 一种云计算环境下安全感知的科学工作流数据布局方法 - Google Patents

Abstract

本发明涉及一种云计算环境下安全感知的科学工作流数据布局方法，本发明对于任一个科学工作流应用任务，首先根据数据集的属性先把固定位置数据集放置到指定的数据中心上，然后根据数据的安全缺乏度、数据重要程度、数据跨数据中心传输的代价等因素并结合蚁群算法为数据选择合适的数据中心；最后，采用一种基于最大化科学工作流任务安全服务的计算节点选择方法为科学工作流任务选择合适的数据中心。本发明方法简单，执行效率高，适用于云计算环境下科学工作流数据的布局，可在保证数据安全需求的同时减少数据跨数据中心传输的时间开销。

Description

一种云计算环境下安全感知的科学工作流数据布局方法

技术领域

本发明涉及数据密集型科学工作流的数据布局方法，特别是一种云计算环境下安全感知的科学工作流数据布局方法。

背景技术

云计算是一种典型的网络计算模式，强调在虚拟计算环境下运行大规模应用的可伸缩性和可用性。基于云计算的大型网络应用呈现异出分布、异构的特点和数据密集的趋势，如科学工作流系统，这类应用被称为数据密集型应用。目前数据密集型应用已被广泛的应用于天文学、高能物理学以及生物信息学等领域。这类应用的数据密集性主要体现在其处理的数据大小通常达TB级甚至PB级，其中既有已存在的输入数据源，也有在对数据进行分析和处理的过程中产生的中间数据和最终结果数据，而通过流程管理技术可以实现这类数据密集型应用的自动化执行。但是科学工作流在利用云计算环境的过程中遇到了一些新的问题，其中在数据放置方面尤为突出。一方面，由于数据密集型科学工作流应用数据量巨大，数据中心之间带宽有限，如何减少科学工作流运行过程中数据跨数据中心的传输代价是亟待解决的问题之一；另一方面，由于云计算环境的开放性和共享性，数据安全是科学工作流部署到云计算环境下必须要考虑的问题，尤其是那些关键应用，如地震预测等。合理的布局方案可以在保证数据安全需求的同时最小化数据跨数据中心传输的代价。

科学工作流数据布局技术是针对云计算环境下科学工作流应用自身的特点，从减少数据传输时间的开销和提高数据安全性两方面对数据进行布局。科学工作流具有任务个数多、数据量大的特点，其中任务之间具有相互依赖的关系，这种依赖关系一般体现在数据之间的依赖关系。因此在进行数据布局的时候，综合考虑任务之间的依赖关系、数据中心之间的带宽、数据大小等因素，为数据选择合适的存放位置，以达到减少数据传输时间开销和满足数据安全需求的目的。

在云计算环境中，科学工作流数据布局的一般方法是：先根据一定的数据布局方法选择为数据选择放置的数据中心，然后再根据调度算法运行科学工作流任务，任务运行过程中根据布局策略把产生的数据放置到指定的数据中心上。科学工作流数据在进行布局的时候应充分考虑数据中心的网络性能和科学工作流数据自身的安全需求。因此，在云计算环境下运行科学工作流时，数据布局策略是提高科学工作流应用执行效率和减轻数据中心网络负载的重要因素。

目前，国内外关于云计算环境下科学工作流数据布局问题的研究较少，且主要侧重于降低数据中心网络负载：

澳大利亚的Dong Yuan等人提出了一种在聚类理论基础上基于K-means聚类策略的数据布局方法，并充分考虑数据依赖关系，来对云计算环境下的科学工作流进行数据布局，达到减少跨数据中心数据传输的效果。

山东大学的郑派等人提出了一种云环境下面向数据密集型应用的数据布局策略，用来减少数据在数据中心之间的频繁移动。

然而，云计算环境作为一个开放的环境，允许多用户共享硬件资源，如何保证数据安全是部署科学工作流到云计算环境下面临的问题之一。而上述云计算环境下科学工作流数据布局方面的研究，并没有考虑到满足数据的安全需求。

发明内容

本发明的目的是提出一种既兼顾数据安全需求和数据中心的网络性能两方面的要求的云计算环境下安全感知的科学工作流数据布局方法，以此来提高云计算环境下科学工作流的执行效率和降低数据中心网络负载。

为了实现上述目的，本发明的技术方案是：

一种云计算环境下安全感知的科学工作流数据布局方法，包括以下步骤

第一步：先把固定位置的数据集放置到指定位置的数据中心上面；

第二步：初始化数据集和数据中心之间的信息素，信息素的值设定为1/(m*n)，其中m为数据中心的数目，n为数据集的数目；

第三步：在每次迭代过程中，为数据选择合适的存放位置，选择依据的概率公式为

$P_{\mathrm{ij}}\left(t\right)=\left\{\begin{array}{c}\frac{{\mathrm{\&tau;}}_{\mathrm{ij}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{ij}}^{\mathrm{\&beta;}}\left(t\right)}{\underset{l\&Element;\mathrm{DC}}{\mathrm{\&Sigma;}}{\mathrm{\&tau;}}_{\mathrm{il}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{il}}^{\mathrm{\&beta;}}\left(t\right)}\\ {\mathrm{\&tau;}}_{\mathrm{ij}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{ij}}^{\mathrm{\&beta;}}\left(t\right),\mathrm{ifp}<p_0\end{array}\right.\mathrm{wherej}\&Element;\mathrm{DC}---\left(1\right)$

具体选择过程为：根据公式(1)计算数据放置到每个数据中心上的概率P_ij(t)，选择概率最大的数据中心作为数据的放置位置；公式(1)中的

分别为经验参数和安全服务启发函数，其中τ_ij(t)为第t次迭代时，数据集i与数据中心j之间的信息素浓度；DC是数据中心的集合，η_ij是启发函数f(i，j)的函数值，α为残留信息素的相对重要程度，β为启发函数值的相对重要程度；P是一个区间[0，1]的随机值，在蚂蚁的求解过程中随机产生，P₀是一个区间[0，1]的预设值，采用这种方式主要为了防止搜索过程过早的收敛于局部最优解。

该方法针对侦听、篡改、哄骗三种常见的攻击手段，对数据的安全服务需求和数据中心安全服务进行建模，设定数据中心安全服务向量

S_i表示数据中心i的安全服务能力，其中

代表保密服务，

代表完整性服务，代表授权服务；

的值分别代表各个安全服务的不同服务系数；设定数据的安全服务需求向量

和安全服务重要程度向量

其中

和

分别代表数据请求的保密服务、完整性服务、授权服务系数，数据的安全服务重要程度向量S_w表示三种安全服务在数据的安全请求中的重要程度并且有

该方法在所述公式(1)中设置α＝0.7和β＝0.3，其中启发函数f(i，j)是重点，可用公式(2)来表示：

f(i，j)＝c(d_i)*DSD(d_i)                    (2)

公式(2)中DSD(d_i)是数据d_i在数据中心j上面的安全缺乏度值，安全缺乏度值是用来描述数据安全服务需求满足程度的指标，其计算公式可用公式(3)来表示，

$\mathrm{DSD}\left(s_i\right)=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^{k}g(s_i^k,p_j^k)*d_i,0\&le;w_i^k\&le;1$ (3)

$\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^k=1,g(s_i^k,p_j^k)=\left\{\begin{array}{c}0,\mathrm{if}{s}_i^k\&le;p_j^k\\ s_i^k-p_i^k,\mathrm{otherwise}\end{array}\right.$

公式(3)中参数S_i代表数据的安全服务需求向量，

代表数据d_i针对某个具体安全服务所请求的安全服务系数，d_i代表数据集的大小，P_j是数据中心j所能提供的安全服务向量，它描述了数据中心对每种安全服务的最大支持程度，

描述数据中心针对第K个安全服务所能支持的最大安全服务系数，

是数据d_i安全服务重要程度向量中第K个安全服务所占的权重，所有安全服务的权重之和等于1，即

$\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^k=1;$

第四步：当所有的蚂蚁根据第三步完成了所有数据集的布局，再利用传输时间适应度函数对得到的布局方案进行评估，选出本次迭代传输时间最小的布局方案S，按照公式τ_ij(k+1)＝(1-ρ)τ_ij(k)+Δτ_ij(k)更新布局方案S中路径上的信息素数量，其中τ_ij(k)第k次迭代后的相应数据中心和数据集之间的信息素数量，ρ为衰减参数，Δτ_ij(k)为每次信息素更新的变化值；最后再利用传输适应度函数判断布局方案S与全局最优方案S_Final的优劣，如果布局方案S优于S_Final，则更新S_Final＝S；

第五步：判断是否已经达到设定的迭代次数或者全局最优方案S_Final不再变化，如果否，则返回第三步继续执行；如果是，布局方案S_Final即为求得的科学工作流数据布局方案。

本发明的特点：综合考虑科学工作流数据的安全需求和数据跨数据中心传输两个方面。通过采用改进的蚁群算法——ACS蚁群系统，在数据布局方案制定的第一阶段，通过信息素和安全缺乏度启发函数为数据选择放置的数据中心；布局方案制定完成后，然后再利用传输时间适应度函数在所有的布局方案中选择传输时间最小的布局方案，通过信息素更新机制更新每次迭代过程中产生的最优布局方案上的信息素。通过信息素的正反馈作用，增加最优路径上的信息素数量，通过这种方式时方案求解过程逐步收敛于最优解。通过上述步骤，求得的数据布局策略，能在保证数据安全需求的同时有效的减少数据跨数据中心传输的时间开销。方法简单，执行效率高，适用于云环境下科学工作流数据的布局，可在保证数据安全需求的同时减少数据跨数据中心传输的时间开销。

附图说明

图1为云计算环境下科学工作流任务的执行流程框图。

图2为科学工作流应用实例图。

图3为本发明的流程框图。

具体实施方式

下面结合附图和实例对本发明作进一步的详细描述。

为了便于阐述本发明的内容，先说明相关定义。

定义1：数据布局问题描述

给定加权图G＝(V，E，W)，V为顶点集，其中V代表数据集和数据中心；E为边集，每个数据d_i与数据中心dc_i之间都存在一条路径；W：E→R+为边权函数，代表每条路径上的权值，权值代表数据的安全缺乏度DSD；求n维向量X＝(c₁，c₃，...，c_n)，其中C_i代表数据集d_i放置的数据中心编号，使目标函数(4)、(5)的值最约束(6)最小。

Min(DSD(w))                     (4)

Min(TimeCost(w))                (5)

$\mathrm{TimeCost}\left(w\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{TimeCost}(d_i,{\mathrm{dc}}_i,{\mathrm{dc}}_j)---\left(6\right)$

TimeCost(d_i，dc_i，dc_j)＝d_i/b_ij  (7)

ConstrainSpace(d_i)≤cs          (8)

其中DSD(w)为科学工作流的安全缺乏度，TimeCost(w)代表科学工作流运行过程中文件传输总的时间开销，TimeCost(w)可以根据公式(6)、(7)求得，d_i代表数据，dc_i、dc_j分别代表数据存放的数据中心和数据要传输到的数据中心，dc_i、dc_j之间的带宽用b_ij表示，公式(8)表示数据中心最大可用的存储空间不能超过cs_i，即数据中心的最大存储能力。

如图1所示，云环境主要包含三大部分：由不同带宽连接的多个数据中心资源的集合，数据中心代理Broker和云信息服务CIS(CloudInformation Service)。运行一个科学工作流任务的具体方法如下：

(1)作为云环境下的资源实体，数据中心首先在云信息服务CIS进行注册；

(2)如果科学工作流中还有任务没有运行，则数据中心代理询问云信息服务CIS，获得当前可用的数据中心信息，并从相应的数据中心获得各自的资源特征；

(3)对于科学工作流中的单个任务，Broker需要为每个任务选择安全缺乏度最小的数据中心来运行此任务，并在该数据中心上创建虚拟机VM；

(4)请求任务运行需要的输入数据，并根据输入数据所在数据中心的安全服务能力、输入数据的安全服务需求和执行任务的数据中心的安全服务能力等因素协商数据传输时采用的安全服务，按照协商好的安全服务进行数据传输；

(5)判断是否所有的输入数据均已传输完毕，如果是，则提交任务给为该任务创建好的VM，否则转向步骤(4)；

(6)VM执行任务，将结果返回给Broker，同时根据制定好的数据布局策略把任务产生的数据放置到指定位置的数据中心上；

(7)Broker收到任务执行结果，向数据中心发出销毁VM的请求，并释放资源。

如图2所示，在下面实例的描述中，一个科学科学工作流任务W＝<T，C，DS>，其中T为科学工作流任务的集合，C是各任务间控制流的集合，在本发明中，控制流是通过任务之间的数据流来反映的；DS是W中所有数据的集合。例如科学工作流P中有T＝{T₁、T₂、T₃、T₄、T₅}，以任务T₂为例有T₂＝{{d₁，d₃，dT₁}，{dT₂}，S_i，S_w}；任务T₂的输入数据包括系统中已有的数据d₁，d₃和任务T₁产生的数据dT₁，任务T₂的输出数据为dT₂。S_i，S_w为任务T₂的安全属性，分别表示任务的安全服务需求向量和安全服务重要程度向量。科学工作流的数据集合DS＝{d₁，d₂，d₃，d₄，d₅，dT₁，dT₂，dT₃，dT₄}；若数据集d₅为固定位置的数据集且d₅的放置位置为数据中心DC，则d₅必须放置在数据中心DC上。科学工作流的控制流C在图(2)中用虚线表示，主要通过任务之间的数据依赖关系来表达，例如任务T₁和T₂之间虚线代表任务T₂的运行需要任务T₁产生的数据dT₁。本发明研究的数据布局方法所要解决的主要问题是如何把科学工作流的数据(包括输入和输出数据两部分)布局到合适的数据中心，以达到减少科学工作流在执行过程中数据跨数据中心的传输时间开销，同时满足数据安全服务需求的目标。

下面结合图3对本发明进行详细说明。

第一步：根据科学工作流数据集类型的不同，首先把固定位置的数据集放置到指定的数据中心上面。

第二步：初始化数据集和数据中心之间的信息素，信息素的值设定为1/(m*n)，其中m为数据中心的数目，n为数据集的数目；

第三步：蚂蚁在每次迭代过程中，为数据选择合适的存放位置，选择依据概率公式(1)具体选择过程为：根据公式(1)计算数据放置到每个数据中心上的概率P_ij(t)，选择概率最大的数据中心作为数据的放置位置。其中DC为云环境下数据中心的集合，P_ij(t)为在第t次迭代时蚂蚁选择数据中心j的概率；τ_ij(t)为第t次迭代时，数据集i与数据中心j之间的信息素浓度，η_ij是启发函数f(i，j)的函数值，α为残留信息素的相对重要程度，β为启发函数值的相对重要程度。本策略中设置α＝0.7和β＝0.3。其中启发函数f(i，j)是重点，可用公式(2)来表示。

本发明基于这样一个假设，数据集使用的频率越高，数据越重要，在进行数据布局的时候应该首先满足这类数据的安全服务需求。在公式f(i，j)中，DSD(d_i)是数据d_i在数据中心j上面的安全缺乏度值。P是一个区间[0，1]的随机值，在蚂蚁的求解过程中随机产生，P₀是一个区间[0，1]的预设值，采用这种方式主要为了防止搜索过程过早的收敛于局部最优解。

第四步：当所有的蚂蚁根据第三步完成了所有数据集的布局，利用传输时间适应度函数对得到的布局方案进行评估，选出本次迭代传输时间最小的布局方案S，按照公式τ_ij(k+1)＝(1-ρ)τ_ij(k)+Δτ_ij(k)更新布局方案S中路径上的信息素数量，然后再利用传输适应度函数判断布局方案S与全局最优方案S_Final的优劣，如果布局方案S优于S_Final，则更新S_Final＝S。在信息素更新公式中τ_ij(k+1)代表第k次迭代完成后，更新后的数据集i与数据中心j之间的信息素数量，ρ为信息素的衰减参数，ρ的大小在区间(0，1)之间，一般取ρ＝0.6，Δτ_ij(k)为本次增加的信息素的数量，本文中采用固定值的信息素，如公式(9)所示：

Δτ_ij(k)＝1/(m*n)               (9)

其中m为数据中心的数目，n为数据集的数目。τ_ij(k)为信息素更新之前数据i与数据中心j之间信息素的总量。

第五步：判断是否到达算法结束的条件，如果没有，则返回步骤三继续执行；如果已经达到设定的迭代次数或者S_Final不在变化，算法结束。布局方案S_Final求得科学工作流数据布局方案。

本说明书中未做详细描述的内容属于本领域中专业技术人员公知的现有技术。

Claims (1)

1.一种云计算环境下安全感知的科学工作流数据布局方法，其特征在于，该方法包括以下步骤：

第一步：先把固定位置的数据集放置到指定位置的数据中心上面；

第二步：初始化数据集和数据中心之间的信息素，信息素的值设定为1/(m*n)，其中m为数据中心的数目，n为数据集的数目；

第三步：蚂蚁在每次迭代过程中，为数据选择合适的存放位置，选择依据的概率公式为

$P_{\mathrm{ij}}\left(t\right)=\left\{\begin{array}{c}\frac{{\mathrm{\&tau;}}_{\mathrm{ij}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{ij}}^{\mathrm{\&beta;}}\left(t\right)}{\underset{l\&Element;\mathrm{DC}}{\mathrm{\&Sigma;}}{\mathrm{\&tau;}}_{\mathrm{il}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{il}}^{\mathrm{\&beta;}}\left(t\right)}\\ {\mathrm{\&tau;}}_{\mathrm{ij}}^{\mathrm{\&alpha;}}\left(t\right){\mathrm{\&eta;}}_{\mathrm{ij}}^{\mathrm{\&beta;}}\left(t\right),\mathrm{ifp}<p_0\end{array}\right.\mathrm{wherej}\&Element;\mathrm{DC}---\left(1\right)$

具体选择过程为：根据公式(1)计算数据放置到每个数据中心上的概率P_ij(t)，选择概率最大的数据中心作为数据的放置位置，公式(1)中的

分别为经验参数和安全服务启发函数，其中τ_ij(t)为第t次迭代时，数据集i与数据中心j之间的信息素浓度；η_ij是启发函数f(i，j)的函数值，α为残留信息素的相对重要程度，β为启发函数值的相对重要程度；

该方法针对侦听、篡改、哄骗三种常见的攻击手段，对数据的安全服务需求和数据中心安全服务进行建模，设定数据中心安全服务向量

S_i表示数据中心i的安全服务能力，其中

代表保密服务，代表完整性服务，

代表授权服务；

的值分别代表各个安全服务的不同服务系数；设定数据的安全服务需求向量和安全服务重要程度向量其中

和分别代表数据请求的保密服务、完整性服务、授权服务系数；数据的安全服务重要程度向量S_w表示三种安全服务在数据的安全请求中的重要程度并且有

该方法在公式(1)中设置α＝0.7和β＝0.3；其中启发函数f(i，j)用公式(2)来表示：

f(i，j)＝c(d_i)*DSD(d_i)                  (2)

公式(2)中的DSD(d_i)是数据d_i在数据中心j上面的安全缺乏度值，其计算公式可用公式(3)来表示：

$\mathrm{DSD}\left(s_i\right)=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^{k}g(s_i^k,p_j^k)*d_i,0\&le;w_i^k\&le;1$ (3)

$\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^k=1,g(s_i^k,p_j^k)=\left\{\begin{array}{c}0,\mathrm{if}{s}_i^k\&le;p_j^k\\ s_i^k-p_i^k,\mathrm{otherwise}\end{array}\right.$

公式(3)中的参数S_i代表数据的安全服务需求向量，

代表数据d_i针对某个具体安全服务所请求的安全服务系数，d_i代表数据集的大小，P_j是数据中心j所能提供的安全服务向量，它描述了数据中心对每种安全服务的最大支持程度，

描述数据中心针对第K个安全服务所能支持的最大安全服务系数；

是数据d_i安全服务重要程度向量中第K个安全服务所占的权重；所有安全服务的权重之和等于1，即 $\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i^k=1;$

第四步：当所有的蚂蚁根据第三步完成了所有数据集的布局，利用传输时间适应度函数对得到的布局方案进行评估，选出本次迭代传输时间最小的布局方案S，按照公式τ_ij(k+1)＝(1-ρ)τ_ij(k)+Δτ_ij(k)更新布局方案S中路径上的信息素数量，在信息素更新公式中τ_ij(k+1)代表第k次迭代完成后，更新后的数据集i与数据中心j之间的信息素数量，ρ为信息素的衰减参数，ρ的大小在区间(0，1)之间，一般取ρ＝0.6，然后再利用传输适应度函数判断布局方案S与全局最优方案S_Final的优劣，如果布局方案S优于S_Final，则更新S_Final＝S；

第五步：判断是否达到设定的迭代次数或者全局最优方案S_Final不在变化，如果否，则返回第三步继续执行；如果是，布局方案S_Final即为求得的科学工作流数据布局方案。

Images