CN110147280B - 基于安全与成本感知的大数据应用调度方法 - Google Patents

Abstract

本发明提供了基于安全与成本感知的大数据应用调度方法，包括以下步骤：S1、对大数据应用任务进行排序；S2、构建初始虚拟机群；S3、对虚拟机群的数据集进行分类；S4、对资源的安全值进行计算；S5、完成对资源和资源集合的整合；S6、将大数据任务调度到资源上执行，将经过S5整合的大数据应用任务被调度到与其相对应的资源上执行，本发明通过将虚拟机群的数据集分成可移动数据集和不可移动数据集，且在处理过程中将不可移动数据集对应的不可移动任务的每个输入数据集都聚集到其相应的数据中心，从而使得数据的不可移动性在用户成本与系统安全之间的均衡得到了考虑，进而实现了最短响应时间。

Description

基于安全与成本感知的大数据应用调度方法

技术领域

本发明属于大数据应用调度方法技术领域，具体涉及一种基于安全与成本感知的大数据应用调度方法。

背景技术

随着云计算、物联网、社交网络等新兴信息技术和应用模式的快速发展，数据种类和规模以前所未有的速度增长，人类社会进入大数据时代。数据已成为国家基础性战略资源，需要高度重视大数据在经济社会发展中的作用。大数据中蕴含的宝贵价值成为人们存储和处理大数据的驱动力。大数据应用可以明确新的商业机会，促进有效营销，提升用户体验，提高运营效率与竞争优势。大数据具有的关系复杂、数据来源多样、数据规模巨大、快速多变等特性，给其应用和管理带来了极大的挑战。大数据及其应用的这些难点不仅对大数据处理系统的系统架构、计算框架、处理方法提出了新的挑战。

现有的大数据应用调度研究工作偏重于成本与性能的权衡，大部分仅考虑CPU耗费，而对内存，存储容量和网络带宽的耗费没有考虑；其次未考虑不可移动的数据，且没有考虑相互不了解的多租户共享资源，进而增加了大数据服务成本。

发明内容

本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一种基于安全与成本感知的大数据应用调度方法，以解决上述背景技术中提出的大数据应用调度过程中对内存，存储容量和网络带宽的耗费没有考虑和不可移动的数据没有考虑的问题。

为解决上述技术问题，本发明采用的技术方案是：基于安全与成本感知的大数据应用调度方法，包括以下步骤，

S1、对大数据应用任务进行排序，利用云数据中心系统根据大数据应用任务的资源需求指数对大数据应用任务进行排序，并资源需求指数最大的大数据应用任务进入优先等待队列；

S2、构建初始虚拟机群，对大数据应用任务根据大数据与云数据中心的对应关系进行聚类，从而对大数据应用任务和数据集构建初始虚拟机群；

S3、对虚拟机群的数据集进行分类，将虚拟机群的数据集分成两种类型的数据集，且采用两种处理方式对两种类型的数据集进行处理；

S4、对资源的安全值进行计算；

S5、完成对资源和资源集合的整合，根据大数据应用任务的安全约束，将满足安全要求的资源添加到安全的资源集合中，如果找到满足安全约束的资源，则分别计算大数据应用任务在每个安全资源上的执行时间和成本，确认是否满足大数据应用任务的截止的时间和成本的要求；

S6、将大数据任务调度到资源上执行，将经过S5整合的大数据应用任务被调度到与其相对应的资源上执行，从而满足大数据应用任务对成本和截止时间的要求。

优选的，在S3中的两种类型的数据集具体为可移动数据集和不可移动数据集，其中不可移动数据集根据其依赖的云数据中心进行聚类，同时依赖于任何不可移动数据集的任务都集中在同一个云数据中心，并被视为不可移动任务。

优选的，在S3中的两种处理方式包括对可移动数据集的处理方式和对不可移动数据集的处理方式；

对可移动数据集的处理方式具体为将可移动数据集对应的大数据应用任务所需的所有输入数据集都在同一数据中心；

对不可移动数据集的处理方式具体为将不可移动数据集对应的不可移动任务的每个输入数据集都聚集到其相应的数据中心。

本发明与现有技术相比具有以下优点：

1、本发明通过将虚拟机群的数据集分成可移动数据集和不可移动数据集，且将依赖于任何不可移动数据集的任务都集中在同一个云数据中心，在处理过程中将不可移动数据集对应的不可移动任务的每个输入数据集都聚集到其相应的数据中心，从而使得数据的不可移动性在用户成本与系统安全之间的均衡得到了考虑，进而实现了最短响应时间。

2、本发明通过对资源的安全值进行计算，然后根据大数据应用任务的安全约束，将满足安全要求的资源添加到安全的资源集合中，从而将安全引入大数据应用的调度策略当中，在满足安全、截止时间与成本的前提下，最小化任务的完工时间、最小化云资源的使用成本，降低了服务成本。

附图说明

图1是本发明整体整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种技术方案：基于安全与成本感知的大数据应用调度方法，包括以下步骤，

S1、对大数据应用任务进行排序，利用云数据中心系统根据大数据应用任务的资源需求指数对大数据应用任务进行排序，并资源需求指数最大的大数据应用任务进入优先等待队列；

S2、构建初始虚拟机群，对大数据应用任务根据大数据与云数据中心的对应关系进行聚类，从而对大数据应用任务和数据集构建初始虚拟机群；

对于给定的大数据应用J，云计算环境提供由多个虚拟机组成的虚拟集群。云计算环境为异构，每个云中的虚拟机具有不同的计算能力和价格。虚拟机k以R_k表示，由云计算机环境生成。R_k用八元组R_k＝{C_k,P_k,ST_k,TI_k,TO_k,CA_k,BW_k,SP_k}表示，其中C_k为计算能力，P_k为计算价格，ST_k为存储价格，TI_k为输入数据价格，TO_k为输出数据价格，BW_k为带宽，SP_k为安全向量，可表示为：

即R_k提供q种安全服务，CA_k为缓存任务，包含多个任务副本。

S3、对虚拟机群的数据集进行分类，将虚拟机群的数据集分成两种类型的数据集，且采用两种处理方式对两种类型的数据集进行处理；

在S3中的两种类型的数据集具体为可移动数据集和不可移动数据集，其中不可移动数据集根据其依赖的云数据中心进行聚类，同时依赖于任何不可移动数据集的任务都集中在同一个云数据中心，并被视为不可移动任务，在S3中的两种处理方式包括对可移动数据集的处理方式和对不可移动数据集的处理方式；对可移动数据集的处理方式具体为将可移动数据集对应的大数据应用任务所需的所有输入数据集都在同一数据中心；对不可移动数据集的处理方式具体为将不可移动数据集对应的不可移动任务的每个输入数据集都聚集到其相应的数据中心

若考虑并行的大数据应用作业J可表示为三元组J＝(T,M,D)，其中D为其执行截止时间，M为其执行成本，T＝{t₁,t₂,...,t_n}为任务集，任务t_i相互独立，没有数据依赖关系；

假设大数据应用作业J_i，包含n个任务，{t_i,1,t_i,2,...,t_i,n}，t_i,j可表示为五元组t_i,j＝{D_i,SC_i,j,SD_i,j,M_i,SR_i,j}，D_i为J_i的截至时间，即最大执行时间，由用户指定。每个作业的任务应得到充分执行，在截至时间前将结果反馈给用户。如果作业的完成时间超过了指定的截至时间，QoS限制就被违反；

其中SC_i,j为任务t_i,j的负载大小，为其在标准资源槽上的执行时间；SD_i,j表示任务t_i,j的数据大小，为其输入数据；SD_i,j影响数据的传输时间；M_i表示J_i的；SR_i,j表示任务t_i,j的安全约束向量，可定义为：

1≤l≤q即t_i,j需要q种安全服务，如机密性、完整性和访问授权；

S4、对资源的安全值进行计算；

由虚拟机R_k提供的安全服务用SP_k表示，令

为第l种安全服务的开销，则任务t_i,j在虚拟机R_k上的第l种安全开销

可由下式计算得到：

其中，

为虚拟机第l种安全服务的成本因子，任务t_i,j在虚拟机R_k上执行的安全开销SC_i,j,k为：

其中

S5、完成对资源和资源集合的整合，根据大数据应用任务的安全约束，将满足安全要求的资源添加到安全的资源集合中，如果找到满足安全约束的资源，则分别计算大数据应用任务在每个安全资源上的执行时间和成本，确认是否满足大数据应用任务的截止的时间和成本的要求；

假设大数据应用的输入数据分布在所有参与处理的虚拟机上,每个虚拟机从本地存储获取初始数据。对于虚拟机R_k,任务t_i,j的磁盘读写及网络传输时间可定义为：

其中，ρ为t_i,j执行完后的数据大小比例，DM_i,j为执行过程的临时数据，“wb&im”表示“写回与内存储”，“wb&em”表示“写回与外存储”。式考虑“写回”和请求的存储类型。以“wb&im”为例，处理过程包含三种磁盘操作和网络操作：首先执行输入数据的磁盘读操作

然后将数据存到第二存储，写临时数据到磁盘

第三，从外部存储媒体读取临时数据

最后，将数据存储到外部存储媒体，将输出数据写入到外部存储器

令Est_k表示虚拟机R_k的可用时间，由在R_k上执行的剩余负载大小所决定。令Dtt表示数据传输时间。当R_k没有任务t_i,j的数据时，数据传输发生。任务t_i,j的数据传输时间可表示为：

大数据应用任务t_i,j在虚拟机R_k的执行时间Et_i,j,k可表示为：

大数据应用任务t_i,j在虚拟机R_k上的完成时间Ft_i,j,k可表示为：

Ft_i,j,k＝Et_i,j,k+Dtt_i,j,k+τ_i,j,k

此外，令x_i,j,k为二进制整数变量，表示大数据应用任务t_i,j是否映射到虚拟机R_k上执行。x_i,j,k为1时表示任务t_i,j分配到R_k，为0时没有分配到R_k。

完成时间用于判断大数据应用子任务的时间限制是否得到保证，

云服务提供商对用户收取的费用包含三项：计算、存储和数据传输费用，因此，执行大数据应用任务t_i,j的成本可表示为：

大数据应用成本控制约束为：

令b_k为二进制变量表示虚拟机R_k是否使用，大数据应用截止时间约束为：

其中V为虚拟集群中虚拟机的数量。

S6、将大数据任务调度到资源上执行，将经过S5整合的大数据应用任务被调度到与其相对应的资源上执行，从而满足大数据应用任务对成本和截止时间的要求，

其具体应用过程为为对于给定的大数据应用J，其任务集T＝{t₁,t₂,...,t_n},任务截止时间D，和具有m个虚拟机的云计算环境，如果大数据应用任务的完成时间早于或等于D，则J的截止时间得到保证，

大数据应用调度是在满足安全、截止时间和成本约束条件下，将大数据应用任务t_i,j映射到云计算环境中的虚拟机R_k上执行，以便实现最短的完成时间和最低的执行成本，可描述为：

x_i,j,k∈{0,1},

b_k∈{0,1}

其中D_i为大数据应用任务J_i的截止时间约束，M_i为成本约束，SR_i,j,SP_k分别为大数据应用任务的安全约束及虚拟机提供的安全服务，x_i,j,k,b_k为二进制变量，分别表示任务t_i,j是否分配到虚拟机R_k及R_k是否使用。

为避免大作业或关键的作业被许多小作业所耽误，定义资源需求指数来更好地分配计算资源。令w_i为大数据应用J_i的资源需求指数，表示其对资源的需求程度。w_i定义为：

其中D_i为大数据应用J_i的截止时间，SC_i,j表示任务t_i,j的负载大小。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

在本发明所提供的几个实施方式中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离元器件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的元器件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (1)

1.基于安全与成本感知的大数据应用调度方法，其特征在于：包括以下步骤，

S1、对大数据应用任务进行排序，利用云数据中心系统根据大数据应用任务的资源需求指数对大数据应用任务进行排序，并资源需求指数最大的大数据应用任务进入优先等待队列；

S2、构建初始虚拟机群，对大数据应用任务根据大数据与云数据中心的对应关系进行聚类，从而对大数据应用任务和数据集构建初始虚拟机群；

对于给定的大数据应用J，云计算环境提供由多个虚拟机组成的虚拟集群；云计算环境为异构，每个云中的虚拟机具有不同的计算能力和价格；虚拟机k以R_k表示，由云计算机环境生成，R_k用八元组R_k＝{C_k,P_k,ST_k,TI_k,TO_k,CA_k,BW_k,SP_k}表示，其中C_k为计算能力，P_k为计算价格，ST_k为存储价格，TI_k为输入数据价格，TO_k为输出数据价格，BW_k为带宽，SP_k为安全向量，表示为：

即R_k提供q种安全服务，CA_k为缓存任务，包含多个任务副本；

S3、对初始虚拟机群的数据集进行分类，将初始虚拟机群的数据集分成两种类型的数据集，且采用两种处理方式对两种类型的数据集进行处理；

S4、对资源的安全值进行计算；

S5、完成对资源和资源集合的整合，根据大数据应用任务的安全约束，将满足安全要求的资源添加到安全的资源集合中，如果找到满足安全约束的资源，则分别计算大数据应用任务在每个安全资源上的执行时间和成本，确认是否满足大数据应用任务的截止时间和成本的要求；

S6、将大数据任务调度到资源上执行，将经过S5整合的资源和资源集合调度到与其相对应的资源上执行，从而满足大数据应用任务对成本和截止时间的要求；

在S3中的两种类型的数据集具体为可移动数据集和不可移动数据集，其中不可移动数据集根据其依赖的云数据中心进行聚类，同时依赖于任何不可移动数据集的任务都集中在同一个云数据中心，并被视为不可移动任务；

在S3中的两种处理方式包括对可移动数据集的处理方式和对不可移动数据集的处理方式；

对可移动数据集的处理方式具体为将可移动数据集对应的大数据应用任务所需的所有输入数据集都在同一数据中心；

对不可移动数据集的处理方式具体为将不可移动数据集对应的不可移动任务的每个输入数据集都聚集到其相应的数据中心。

Images