CN106101074B - 一种面向大数据平台的基于用户分级的安全调度方法 - Google Patents

Abstract

本发明公开了一种面向大数据平台的基于用户分级的安全调度方法。本方法为：1)基于用户的属性对用户进行分级，将所有的用户划分为多个级别；2)根据用户的级别数目将集群中的节点资源划分为相应数目的级别，并设置用户所在的队列和节点的标签；其中，将级别为k的用户所在队列设置标签为k，标签k的队列对应的节点的节点标签值为k；3)调度器根据用户标签和资源标签控制用户的资源调度权限：级别为k的用户能够使用节点标签值为k或小于k的节点，而不能使用标签值大于k的节点。本发明保证用户作业之间的隔离性及其处理结果的安全性，从物理上尽可能地隔离恶意任务和普通任务，增强集群的安全性。

Description

一种面向大数据平台的基于用户分级的安全调度方法

技术领域

本发明涉及大数据安全领域，尤其涉及一种面向大数据平台的基于用户分级的安全调度方法。

背景技术

在大数据时代的背景下，信息安全问题已经延伸到了各个领域，主要包含了企业数据的外漏、商业间谍、隐私泄露以及黑客攻击等方面，可以说网络信息安全的形式是十分严峻的。随着大数据技术应用的日益广泛，大数据平台的安全问题也变得越来越重要，如何保证大数据平台的安全和用户的隐私成为了部署大数据平台的首要难题。

目前，主流的大数据处理平台为Hadoop，在平台设计和开发时，安全研究人员也从系统层面提出了安全策略，在系统中加入了相应的安全机制和隔离机制，其中安全机制主要由认证和授权两大部分构成。认证就是简单地对一个实体的身份进行判断，用Kerberos和Token两种方案；而授权则是向实体授予对数据资源和信息访问权限的决策过程，通过引入访问控制列表(Access Control List，ACL)实现的。

由于集群都部署在有防火墙保护的局域网中且只允许公司内部人员访问，因此集群添加安全机制和隔离机制的动机是为了更好地让多用户在共享集群环境下安全高效地使用集群资源，并不像传统的安全概念那样是为了防御外部黑客的攻击。其他各种大数据平台的主要设计目标也是如何提高资源利用率和作业计算速度，以及兼容多种计算框架等，而对于如何构建一个能够保证数据安全和隐私的安全分布式计算平台缺乏足够的考虑。

资源隔离：是指为不同任务提供可独立使用的计算资源以避免它们相互干扰。当前存在很多资源隔离技术，比如硬件虚拟化、虚拟机、Cgroups、Linux Container等。YARN对内存资源和CPU资源采用不同的资源隔离方案。内存资源是一种限制性资源，它的大小直接决定应用程序的死活。为了能够灵活地控制内存使用量，YARN提供了两种方案：线程监控方案和基于轻量级资源隔离技术Cgroups方案。YARN默认采用线程监控的方案控制内存使用，每个NodeManager会启动一个监控线程监控Container内存使用量，如果发现它超过约定的资源量，则将其杀死。另一种方案则基于轻量级资源隔离技术Cgroups(Control groups)，Cgroups是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制，可以严格限制内存使用上限，一旦进程使用资源量超过事先定义的上限值，则将其杀死。CPU资源是一种弹性资源，它的量的大小不会直接影响应用程序的死活，因此采用了Cgroups。

现有几种方法的缺点和局限性(业界相关工作、相关专利)

1)集群当前的安全策略无法保证平台中数据的安全和隐私。集群安全管理模块只验证用户的访问权限，但是对于用户提交的应用程序并不进行验证，用户提交的应用程序可能是恶意的，并且可能会窃取大数据平台中其他用户的信息，而当前大数据平台缺乏相应的机制抵御这种攻击；授权机制只是在系统层面进行安全验证，但是对于内部用户或者通过传统的攻击手段进入集群内部的恶意用户不会奏效，攻击者只要有权限进入系统，提交恶意程序的操作不会被禁止；资源隔离技术主要是限制任务的资源使用量，并不能保证两个任务在物理上完全隔离和任务的安全性。

2)可以从数据本身的角度来考虑和解决大数据平台的数据安全和隐私问题，当前业界的主要方案是采用数据发布匿名保护技术、数据加密和数据溯源等技术。数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的关键技术，主要包括k-匿名、差分隐私保护等，数据发布匿名保护技术一定程度上保护了数据的隐私，但是牺牲数据的部分可用性，并且不能应对数据多次发布和攻击者多渠道获取数据的问题。数据加密技术可以保证静态数据的安全性，但是数据在运算过程中仍然需要以明文的形式进行运算，需要依赖于安全的硬件环境和牺牲计算性能。数据溯源技术可以确定数据仓库中各项数据来源和用于文件的溯源与恢复，但是目前还面临与隐私保护之间的平衡和自身的安全性保护等问题。

3)也可以从平台安全角度来考虑和解决大数据平台的数据安全和隐私问题，当前的主要方案主要的是从平台的访问控制、计算框架的安全性、攻击检测和系统风险管理等角度来增强大数据平台的安全性，保证数据安全和用户隐私。有的研究主要从用户管理的角度来考虑，采用基于角色的访问控制模型(RBAC)和风险自适应的访问控制等认证和授权技术增强平台的安全性，这些方案在实际应用中还存在许多问题，需要进一步完善。有的研究从数据处理流程角度来考虑，通过构建安全的分布式数据处理框架保护数据安全和用户隐私，例如增强了MapReduce计算框架安全和隐私保护的Airavat系统；采用安全Shuffle保证用户隐私的M2R系统和能够抵御中间数据流攻击的MapReduce系统。这几种方案都能够达到很好的安全性，但需要修改大量的源码，而且性能开销比较大。还有的研究提出采用攻击检测类的方案来保证大数据平台的安全性，但是大数据平台的作为分布式平台，由成千上万的节点构成，采用攻击检测的手段很难及时地检测到威胁并做出应对。

4)本发明是通过安全调度策略来解决大数据平台中的信息泄漏问题，目前Hadoop的调度器主要有三种：FIFO调度器基于优先级进行调度、容量调度器基于资源利用率优化进行调度和公平调度器基于资源分配公平性进行调度，但上述策略均很少考虑安全性问题。与大数据平台资源调度策略相关的发明也都是以提高资源利用率和计算性能为主，对于作业和任务的隔离、数据的安全与隐私问题缺少足够的考虑。

发明内容

最初部署集群时并没有考虑数据安全和隐私问题，随着大数据的应用越来越广泛，大数据安全与隐私保护问题就显得颇为重要。目前，集群本身的安全方案主要包含用户认证、用户授权和资源隔离，这些机制只能保证作业合法地使用计算资源，却无法保证数据的安全和隐私。针对大数据的数据安全和隐私问题，目前业界提出了各种解决方案。这些解决方案重点解决的是大数据存储和计算过程的数据安全和隐私保护问题，而较少关注大数据处理过程中作业的处理结果的泄露问题。

本发明重点关注和解决的是大数据处理过程中的数据信息泄漏问题。当前业界的方案主要关注静态的数据安全和访问安全，却忽略了任务执行时的安全和隔离，一旦某些节点被恶意用户控制，或者某些作业的任务与恶意用户的任务同节点运行，都存在信息泄露的风险。

本发明的目的在于提供一种面向大数据平台的基于用户分级的安全调度方法，保证用户作业之间的隔离性及其处理结果的安全性，为防止恶意用户利用集群认证和授权机制的脆弱性等对集群发起信息窃取攻击，从物理上尽可能地隔离恶意任务和普通任务，增强集群的安全性。

本发明的总体思想是：将最小特权思想引入到大数据平台的资源管理和调度中，设计了一种基于用户级别的安全调度方法，通过限制用户的资源申请和使用范围，达到限制潜在威胁用户能力的目的，从而降低合法用户的信息被窃取的风险。该方法的主要思想是首先基于用户的各项属性对所有的用户进行分级，将所有的用户划分为多个级别；然后根据用户的级别将集群中的节点资源划分为相应数目的级别，并配置用户所在的队列和节点的标签，通过标签进行资源调度和分配；资源调度和分配时，根据用户的级别来控制用户可以申请和使用资源的范围，这样既能将不同级别的任务分开调度，如图1所示，从宏观的角度保证不同级别的作业的安全性，也能保证集群的资源调度性能。

基于用户级别的安全调度方法的主要步骤为：

1)基于用户的各项属性对用户进行分级，将平台中的所有用户划分为多个安全级别。主要方法为根据用户的各项属性和评分标准对用户进行评分，用户的属性和评分标准由管理员给出，例如，用户属性可以为用户的权限、用户的资源份额、使用平台时间和基于用户运行记录的安全评分等，如表1给出了各项属性的评分标准；然后根据评管理员给出的评分公式对所有的用户进行评分，例如：G＝a*U+b*R+c*T+d*B(其中G为分值，U、R、T和B为各项属性，a、b、c和d为标准化参数)；最后根据用户的安全评分和分级标准将用户划分为几个安全级别，分级标准由管理员给出和设定，例如0-24分为1级用户，25-49分为2级用户，50-75分为3级用户；然后设置用户所在队列的标签，用户Uj所在的队列的标签Qj为k，Uj∈k(0≤k≤K)。通过上述方法将集群中的所有用户划分为几个级别。

表1为用户各项属性的评分标准表

2)基于用户的分级情况对集群中的所有计算资源进行分级。假设集群的计算节点数目为n，每个计算节点的资源量相同为x，现在集群中有m个合法用户U1、U2...Um，m个用户配置的资源最小容量分别为X1、X2…Xm。在上一步中，通过用户分级将m个用户划分为K个级别1、L…K(数值越大级别越高)，则级别为k(0≤k≤K)的所有用户可以使用的资源量Gk可根据下面的公式Gk＝∑_Ui∈k Xi，Ui∈k计算。通过计算，可以确认K个级别的用户的最小资源量分别为：G1、G2…GK，最小资源容量Gk是个百分比；则每个级别k(0≤k≤K)的节点数：Nk＝[Gk*n]，即选取数目Nk个节点将其标签设置为级别k。通过该步骤可以将所有的计算节点划分为与用户级别相对应的几个级别。

3)为实现安全调度的目标，给出详细的用户分级调度规则。用户分级调度规则是指在保证每个级别内用户的资源量的同时限制每个级别内的用户的“权限”，即每个级别内的用户能够使用的资源的范围(即集群节点数目的上限)，低级别的用户可使用的节点的数目少，而级别高的用户可使用的节点的数目多，用户的级别越高可以申请和使用资源的范围就越广，从而在一定程度上保证作业的安全隔离。下面我们给出我们详细的调度规则：

调度规则1：根据用户的级别来限制用户可以使用的节点的范围，用户可以使用和自己级别相同以及比自己级别低的节点的资源；即用户级别标签k的用户可以使用节点标签为k或小于k的节点；

调度规则2：用户不能使用比自己级别高的节点的资源；

调度规则3：本级别的用户应当首先使用仅属于自己级别的资源，当本级别内的资源分配完之后再使用比自己级别低的资源。

本发明的有益效果

随着大数据应用的普及，使用大数据平台的用户越来越多，平台的安全问题显得尤为重要。现在的相关安全研究分别从数据匿名处理、计算框架的安全性和计算结果的安全性等不同角度分别进行考虑，具有明确的针对性。我们希望做的是从平台的总体进行考虑，通过合理的资源调度增强用户作业之间的隔离性，避免用户的数据和隐私受到威胁，进而增强平台的总体安全性。当前的平台由于缺乏相应的用户隔离机制，导致攻击者有机可乘。攻击者可以通过集群认证和授权机制的脆弱性收集其他用户的相关信息，通过分析这些信息攻击者可以确认目标用户的处理结果所在的存储节点，在存储节点上攻击者可以利用数据块的创建时间查找到目标数据块，最终攻击者可以利用数据块读写权限的脆弱性窃取到目标数据。

本发明在提出了一种基于用户分级的安全调度策略，填补了目前国际上面向大数据平台的安全调度策略的空白，能够有效促进集群开发者对集群安全问题进行改进，以防止攻击者的窃取集群中其他用户的信息，并且该方法实现和部署简单。同时该方法以较小的性能开销，降低了集群中用户信息被窃取的风险，最好的情况下可以降低88.33％的信息泄露风险，全面有效地防止集群中用户的信息被窃取。

附图说明

图1为本发明基于用户分级的调度策略示意图；

图2为本发明原型系统结构图；

图3为本发明原型系统工作流程图。

具体实施方式

下面结合附图对本发明进行进一步详细描述，本发明的原型结构如图2所示，原型系统工作流程如图3所示。

1)安全研究人员需要获取集群管理员权限，能够进行集群相关配置操作。

2)采用我们设计和实现的原型系统生成节点和队列标签配置策略，主要包括集群配置文件和集群配置命令。

3)通过集群配置文件和集群管理命令对容量调度器进行相关配置，使容量调度器按照我们的安全调度策略进行调度。

4)集群运行过程中进一步调整配置策略，采用我们提出的安全调度策略更新方法对调度器和节点的配置不断进行修改。

实施例：

以Hadoop YARN为例。

1)在实际情况中，选取用户的权限、用户的资源份额、用户的注册时间、基于用户运行记录的安全评分四个关键属性对所有的用户进行评分，然后基于对所有用户的评分和分级方案对所有的用户进行分级。

例如，现在集群中有五个用户User1、User2、User3、User4和User5，根据评分方法计算出五个用户的评分分别为：21、20、31、35和56。根据五个用户的评分和管理员给出了的分级标准：0-24分为1级用户、25-49分为2级用户、50-75分为3级用户，将五个用户划分为三个级别，User1和User2为1级用户；User3和User4为2级用户；User5为3级用户。

2)根据发明部分步骤2)，基于用户的分级情况对集群中的内存资源进行分级。五个用户User1、User2、User3、User4和User5配置的内存资源最小容量分别为15％、15％、20％、20％和30％，则通过公式Gk＝∑Xi(Ui∈k)，可以计算出1级用户、2级用户和3级用户三个级别的用户的最小资源容量分别为30％、40％和30％；当前集群节点的数目为100，且每个节点的内存资源一致，则三个级别的计算节点数目用公式Nk＝[Gk*n]进行计算，分别为30、40和30。

3)选取容量调度器自带的基于标签的资源调度策略，为用户设置级别标签。YARN的容量调度器在Hadoop 2.6.0版本中引入一种新的调度策略：基于标签的调度机制(Labelbased scheduling)，其主要设计思想是：用户可以为每个NodeManager标注标签表明该NodeManager的特性，比如highmem，highdisk等；并且用户可以为容量调度器中每个队列标注相应的几个标签，这样提交到某个队列中的作业，只会使用标注有对应标签的节点上的资源。利用该策略配置用户队列标签：用户User1和User2所在的队列设置标签为level1，用户User3和User4所在的队列设置标签为level2和Level1，用户User5所在的队列设置标签为level3，level2和level1。设置节点标签的方案：100个节点中选取30个标记为level1，选取50个标记为level2，剩余的20个标记为level3。

4)根据上述生成的节点和标签配置方案，自动配置集群中各个用户所在的队列和各个节点的标签，使整个集群按照安全调度策略调度任务。

5)集群运行过程中，当用户的属性、节点数目、用户的资源份额等影响资源调度策略的属性发生改变的时候，需要对集群的节点和队列标签配置方案进行更新。

Claims (4)

1.一种面向大数据平台的基于用户分级的安全调度方法，其步骤为：

1)基于用户的属性对用户进行分级，将所有的用户划分为多个级别；

2)根据用户的级别数目将集群中的节点资源划分为相应数目的级别，并设置用户所在的队列和节点的标签；其中，将级别为k的用户所在队列设置标签为k，标签k的队列对应的节点的节点标签值为k；根据用户的级别数目将集群中的节点资源划分为相应数目的级别的方法为：设集群中的节点数目为n，集群中的m个用户划分为K个级别；首先计算每一级别的所有用户可使用的资源量；其中，级别为k的所有用户可使用的资源量为Gk，0≤k≤K；然后计算每个级别k的节点数：Nk＝[Gk*n]，即节点标签值为k的节点的数目为Nk；

3)调度器根据用户所在队列的标签和节点的标签控制用户的资源调度权限：级别为k的用户能够使用节点标签值为k或小于k的节点，而不能使用标签值大于k的节点。

2.如权利要求1所述的方法，其特征在于，用户属性包括静态属性和动态属性。

3.如权利要求2所述的方法，其特征在于，所述静态属性包括用户的权限、用户的资源份额；所述动态属性包括用户使用平台时间和基于用户运行记录的安全评分。

4.如权利要求1所述的方法，其特征在于，资源调度器优先为用户级别为k的用户分配节点标签值为k的节点，当节点标签值为k的节点分配完之后再依次分配节点标签值为k-1、k-2…1的节点给用户级别为k的用户。