CN109525593A - 一种对hadoop大数据平台集中安全管控系统及方法 - Google Patents

Abstract

本发明提供一种对hadoop大数据平台集中安全管控系统及方法，所述系统包括：安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；安全插件，用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；设置的审计日志，用于对hadoop各组件访问数据进行记录。本发明能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

Description

一种对hadoop大数据平台集中安全管控系统及方法

技术领域

本发明涉及hadoop大数据技术领域，尤其涉及一种对hadoop大数据平台集中安全管控系统及方法。

背景技术

大数据时代已经到来，越来越多的行业面临着大量数据需要存储以及分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高扩展、高效率、高可靠等优点，得到越来越广泛的应用。

一种对Hadoop大数据平台集中安全管控的方法可在整个Hadoop平台上启用监控和管理全面的数据安全性。随着Apache Yarn的出现，Hadoop平台现在可以支持真正的数据湖体系结构。在多租户环境中，企业可能会运行多个工作负载。Hadoop中的数据安全性需要不断发展以支持多种数据访问用例，同时还为安全策略的集中管理和用户访问监控提供了框架。它可以对Hadoop生态的组件如HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)、Yarn(Yet Another Resource Negotiator，另一种资源协调者)、Hive(数据仓库工具)、Hbase(Hadoop Database，分布式存储系统)等进行细粒度的数据访问控制。通过一种对Hadoop大数据平台集中安全管控的方法,管理员可以轻松的通过配置策略来控制用户访问权限。

Hadoop生态系统包括HDFS、HBase、Hive、Yarn、Strom、Kafka等多种组件，每种组件提供了各自的安全实现，这使得Hadoop平台安全管理功能分散、不易维护。

发明内容

本发明提供的对hadoop大数据平台集中安全管控系统及方法，能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

第一方面，本发明提供一种对hadoop大数据平台集中安全管控系统，包括：

安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

安全插件，一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联，并用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

设置的审计日志，分别与安全管理平台、策略服务器以及安全插件连接，用于对hadoop各组件访问数据进行记录。

可选地，所述策略服务器包括：

抽象定义单元，用于将hadoop各组件的所有属性抽象定义为服务、将hadoop各组件的所有操作权限抽象定义为访问类型，将所定义的服务和用户的授权关系预先定义为策略；

服务列表单元，用于根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

可选地，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

可选地，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。

可选地，所述系统还设置HDFS组件与Solr组件、或存储模块直接与审计日志服务器连接，用以存储对数据库访问数据进行记录。

第二方面，本发明提供一种对hadoop大数据平台集中安全管控方法，包括：

由安全管理平台向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

通过一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联的安全插件获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

由分别与安全管理平台、策略服务器以及安全插件连接的设置的审计日志对hadoop各组件访问数据进行记录。

可选地，所述由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表包括：

将hadoop各组件的所有属性抽象定义为服务；

将hadoop各组件的所有操作权限抽象定义为访问类型；

将所定义的服务和用户的授权关系预先定义为策略；

根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

可选地，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

可选地，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。

本发明实施例提供的对hadoop大数据平台集中安全管控系统及方法，所述系统主要是利用安全插件、设置的审计日志、策略服务器构建出一个集中安全管控的物理支撑，然后基于所建立的安全插件、设置的审计日志、策略服务器物理支撑经由安全管理平台通过Web界面和REST API来管理安全策略直接向客户端提供用户/用户组管理、访问管理、审计日志查询中一种或者任意组合的功能服务，例如，权限策略管理、或策略Restful API；进而能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

附图说明

图1为本发明一实施例对hadoop大数据平台集中安全管控系统的结构示意图；

图2为本发明另一实施例策略服务器的结构示意图；

图3为本发明一实施例对hadoop大数据平台集中安全管控方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种对hadoop大数据平台集中安全管控系统，如图1所示，所述系统包括：

安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

安全插件，一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联，并用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

设置的审计日志，分别与安全管理平台、策略服务器以及安全插件连接，用于对hadoop各组件访问数据进行记录。

本发明实施例提供的对hadoop大数据平台集中安全管控系统主要是利用安全插件、设置的审计日志、策略服务器构建出一个集中安全管控的物理支撑，然后基于所建立的安全插件、设置的审计日志、策略服务器物理支撑经由安全管理平台通过Web界面和RESTAPI(REpresentational State Transfer，表现层状态转移)来管理安全策略直接向客户端提供用户/用户组管理、访问管理、审计日志查询中一种或者任意组合的功能服务，例如，权限策略管理、或策略Restful API；进而能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

可选地，如图2所示，所述策略服务器包括：

抽象定义单元，用于将hadoop各组件的所有属性抽象定义为服务、将hadoop各组件的所有操作权限抽象定义为访问类型，将所定义的服务和用户的授权关系预先定义为策略；

服务列表单元，用于根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

可选地，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

例如，所述功能服务列表可设置如下：

可选地，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。

可选地，所述系统还设置HDFS组件与Solr组件、或存储模块直接与审计日志服务器连接，用以存储对数据库访问数据进行记录。

可选地，所述安全组件与hadoop各组件相对应，例如，HDFS安全插件的实现是通过实现JDK(Java Development Kit，Java语言的软件开发工具包(SDK))的ClassFileTransformer动态的改变和操作类定义，在HDFS NameNode启动时增加对org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker类的代理，用户访问HDFS时FSPermissionChecker类负责检查权限，该类被代理后可自定义权限检查逻辑。从安全管理平台定期拉取安全策略，如果超时则使用已缓存的策略，否则使用最新的策略。

再或者，Hive安全插件的实现如下：

Apache Hive目前提供两种授权方法，基于存储的授权和SQL(Structured QueryLanguage，结构化查询语言)标准授权，这是Hive 0.13中引入的。SQL标准授权在数据库级别提供授予/撤销功能。Hive安全插件可以在列级别提供更细粒度的访问控制，还提供了在策略内的资源名称中使用通配符的功能。通过实现org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthorizer接口重写访问权限检查逻辑。

再或者，HBase安全插件的实现如下：

HBase支持两种类型的协处理器，Endpoint和Observer。Endpoint协处理器类似传统数据库中的存储过程，客户端可以调用这些Endpoint协处理器执行一段Server端代码，并将Server端代码的结果返回给客户端进一步处理，最常见的用法就是进行聚集操作。如果没有协处理器，当用户需要找出一张表中的最大数据，即max聚合操作，就必须进行全表扫描，在客户端代码内遍历扫描结果，并执行求最大值的操作。这样的方法无法利用底层集群的并发能力，而将所有计算都集中到Client端(客户端)统一执行，势必效率低下。利用Coprocessor(协处理)，用户可以将求最大值的代码部署到HBase Server端，HBase将利用底层cluster(集群)的多个节点并发执行求最大值的操作。即在每个Region范围内执行求最大值的代码，将每个Region的最大值在Region Server端计算出，仅仅将该max值返回给客户端。在客户端进一步将多个Region的最大值进一步处理而找到其中的最大值。这样整体的执行效率就会提高很多。

另外一种协处理器叫做Observer Coprocessor，这种协处理器类似于传统数据库中的触发器，当发生某些事件的时候这类协处理器会被Server端调用。

Observer Coprocessor就是一些散布在HBase Server端代码中的hook钩子，在固定的事件发生时被调用。比如：put操作之前有钩子函数prePut，该函数在put操作执行前会被Region Server调用；在put操作之后则有postPut钩子函数。

因此，HBase安全插件通过实现Observer Coprocessor接口重写访问权限检查逻辑，在用户访问时进行权限检查。

再或者，Knox安全插件的实现如下：

Apache Knox目前为用户/组提供服务级别授权。这些acls(ACL，Access ControlList，访问控制列表)本地存储在一个文件中。因此，本实施例所述Knox安全插件通过实现javax.servlet.Filter来完成自定义的权限检查逻辑。

再或者，Kafka安全插件的实现如下：

Apache Kafka 0.9引入了安全性。Kafka安全插件可以管理每个主题的KafkaACL。用户可以使用Kafka安全插件来控制谁可以写入主题或从主题读取。除了由用户和组提供策略之外，Kafka安全插件还支持基于IP地址的权限进行发布或订阅。

随着越来越多的企业开始使用Kafka，对谁可以从主题发布或消费的授权需求日益增加。授权可以基于不同的会话属性或上下文，如用户，IP，证书中的通用名称等。拥有可扩展的授权接口将帮助Kafka在初始阶段实现核心需求并为企业级使用做好准备。拥有可插拔的界面将使其他以安全为重点的产品能够提供更高级的企业级实现。

由于Kafka安全是可插拔式的体系结构，可通过编写自己的自定义提供程序并将该类的FQCN作为config authorizer.class.name的值提供，从而轻松替换默认提供程序实现。在服务器初始化的kafka服务器端，KafkaServer将读取authorizer.class.name的值，创建一个指定类名称的实例，并用KafkaConfig参数调用它的init方法。此实例将作为构造函数参数传递给KafkaAPI。如果authorizer.class.name的值为null，那么在安全模式下，群集将失败并显示ConfigException。在没有配置authorizer.class.name配置值的非安全模式下，即使主题配置了acls，服务器也会允许所有主题的所有请求。这完全是为了向后兼容，它将成为一个安全漏洞。为了避免这种情况，Kafka总是可以默认使用SimpleAclAuthorizer，它将只允许访问配置了acl的主题，以允许匿名用户访问。

因此，所述Kafka安全插件通过实现kafka.security.auth.Authorizer来完成自定义的权限检查逻辑。

再或者，Solr安全插件的实现如下：

Solr有一个支持认证和授权的安全框架。在Solr集群里该安全框架可以对用户身份和资源访问权限进行校验。Solr包含了一些开箱即用的安全插件，用户也可以通过该安全框架自定义认证和授权插件。所有的插件都可以运行在SolrCloud或单节点上。所有的认证和授权配置包括用户和权限都存放在security.json文件中，单节点时该文件必须放在$SOLR_HOME目录下，使用SolrCloud时，该文件必须房子ZooKeeper上。通过Solr安全插件，用户可以为用户/组建立策略来查询Solr中的特定集合。Solr社区正在努力提供更细化的索引级别权限。

因此，所述Solr安全插件通过实现org.apache.solr.security.AuthorizationPlugin来完成自定义的权限检查逻辑。

再或者，YARN安全插件的实现如下：

通过实现org.apache.hadoop.yarn.security.YarnAuthorizationProvider来完成自定义的权限检查逻辑。

服务级别授权是初始授权机制，用于确保连接到特定Hadoop服务的客户端具有必要的、预先配置的权限并被授权访问给定的服务。例如，MapReduce集群可以使用此机制来允许配置的用户/组列表提交作业。

$HADOOP_CONF_DIR/hadoop-policy.xml配置文件用于定义各种Hadoop服务的访问控制列表。服务级别授权在其他访问控制检查(例如文件权限检查，作业队列中的访问控制等)之前执行。

YARN在Hadoop生态系统中被广泛用作应用程序的资源管理层。管理员可以使用YARN来设置具有一定容量的队列，并且应用程序可以被赋予写入特定队列的权限。使用YARN安全插件，管理员可以管理谁可写入特定队列的策略。

本发明实施例还提供一种对hadoop大数据平台集中安全管控方法，如图3所示，所述方法包括：

S11、由安全管理平台向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

S12、由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

S13、通过一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联的安全插件获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

S14、由分别与安全管理平台、策略服务器以及安全插件连接的设置的审计日志对hadoop各组件访问数据进行记录。

本发明实施例提供的对hadoop大数据平台集中安全管控方法主要是利用安全插件、设置的审计日志、策略服务器构建出一个集中安全管控的物理支撑，然后基于所建立的安全插件、设置的审计日志、策略服务器物理支撑经由安全管理平台通过Web界面和RESTAPI来管理安全策略直接向客户端提供用户/用户组管理、访问管理、审计日志查询中一种或者任意组合的功能服务，例如，权限策略管理、或策略Restful API；进而能够通过所述方法将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

可选地，所述由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表包括：

将hadoop各组件的所有属性抽象定义为服务；

将hadoop各组件的所有操作权限抽象定义为访问类型；

将所定义的服务和用户的授权关系预先定义为策略；

根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

可选地，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

可选地，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。

本实施例的方法，可以用于执行上述系统实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种对hadoop大数据平台集中安全管控系统，其特征在于，包括：

安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

安全插件，一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联，并用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

设置的审计日志，分别与安全管理平台、策略服务器以及安全插件连接，用于对hadoop各组件访问数据进行记录。

2.根据权利要求1所述的系统，其特征在于，所述策略服务器包括：

抽象定义单元，用于将hadoop各组件的所有属性抽象定义为服务、将hadoop各组件的所有操作权限抽象定义为访问类型，将所定义的服务和用户的授权关系预先定义为策略；

服务列表单元，用于根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

3.根据权利要求1或2所述的系统，其特征在于，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

4.根据权利要求1所述的系统，其特征在于，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。

5.根据权利要求1-4任一所述的系统，其特征在于，所述系统还设置HDFS组件与Solr组件、或存储模块直接与审计日志服务器连接，用以存储对数据库访问数据进行记录。

6.一种对hadoop大数据平台集中安全管控方法，其特征在于，包括：

由安全管理平台向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

通过一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联的安全插件获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

由分别与安全管理平台、策略服务器以及安全插件连接的设置的审计日志对hadoop各组件访问数据进行记录。

7.根据权利要求6所述的方法，其特征在于，所述由策略服务器根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表包括：

将hadoop各组件的所有属性抽象定义为服务；

将hadoop各组件的所有操作权限抽象定义为访问类型；

将所定义的服务和用户的授权关系预先定义为策略；

根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

8.根据权利要求6或7所述的方法，其特征在于，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。

9.根据权利要求6所述的方法，其特征在于，所述hadoop组件包括HDFS、HBase、Hive、Yarn、Strom、Kafka、Nif、Knox、Solr、Atlas中一种或者任意组合。