CN109726187B - 一种面向Hadoop的自适应权限控制方法及装置 - Google Patents

Abstract

本发明提供了一种面向Hadoop的自适应权限控制方法及装置，其中方法包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。通过收集Hadoop各个组件的日志，采用对日志记录数据分析的方法对每一个用户贴标签，再针对用户的多个标签进行分析，得出用户权限的调整建议，并为用户授予最新权限，由此节省人力资源和管理员的业务培训费用，提高Hadoop组件的安全保护能力。

Description

一种面向Hadoop的自适应权限控制方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种面向Hadoop的自适应权限控制方法及装置。

背景技术

得益于政府鼓励，创新技术的研发与应用实践获得政策支持，近些年来企业对大数据技术的采用比例显著提升，越来越多的应用数据能够被企业收集到，这些数据具有大量、多样、实时的特点，在此大数据背景下，Hadoop分布式计算系统因其能够存储并快速处理大量数据在工业界和学术界得到了广泛应用。但由于Hadoop自身安全机制依赖Kerberos、非对称加密的Token认证机制、传输加密机制、基于Linux/Unix系统自带的访问控制机制，在认证、访问、授权等方面存在不足，而访问授权机制却是大数据平台的安全基石，用户来自于多种组织、机构或部门，单个用户又通常具有多种数据访问需求，如何合理设定角色并为每个用户动态分配角色的权限是Hadoop平台面对的新安全挑战。

当前国内外关于大数据访问控制技术的研究主要是基于Hadoop开源平台进行研究的，权限控制产品的两大代表分别是Cloudera的Sentry和Hortonworks的Ranger：

1)Sentry和Ranger均具备了大数据访问授权管理的基本功能。

2)Sentry属于RBAC(基于角色访问控制)，Ranger是基于策略的授权访控制。

然而，Sentry和Ranger都需要管理预先给用户设定权限，对管理员的业务的认知能力水平有较高的要求，才能为每一个用户收于合适的权限。Sentry和Ranger均无法满足基于用户行为操作的自适应态授权的需求。

所以，需要建立一个能够实现根据用户行为授予不同用户对不同数据资源和信息的不同访问权限的Hadoop的访问控制方案。

发明内容

本发明旨在至少克服上述缺陷之一提供一种面向Hadoop的自适应权限控制方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种面向Hadoop的自适应权限控制方法，包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。

其中，方法还包括：各个用户向Kerberos进行认证，并通过Kerberos的认证。

其中，利用用户权限调整建议调整待调整用户的权限之后，方法还包括：获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。

其中，获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。

其中，根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果包括：设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。

本发明另一方面提供了一种面向Hadoop的自适应权限控制装置，包括：获取模块，用于获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；分析模块，用于根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；调整模块，用于根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；写入模块，用于将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。

其中，各个用户向Kerberos进行认证，并通过Kerberos的认证。

其中，写入模块，还用于在调整模块利用用户权限调整建议调整待调整用户的权限之后，获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。

其中，获取模块，具体用于通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。

其中，分析模块，具体用于设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。

由上述本发明提供的技术方案可以看出，通过本发明实施例提供的面向Hadoop的自适应权限控制方法及装置，可以实现对Hadoop平台中各个组件权限的自动调整，可以大大减少人工数量，并且不再需要对人工进行专业领域的业务培训；由于通过对Hadoop平台中各个组件日志的收集和分析，结合日志记录数据分析充分了解用户的行为轨迹，并以此为依据做出对用户的权限的准确调整，从而完成在满足用户最大需求的前提下实现最小细粒度授权；同时，可以通过以固定时间间隔的方式做日志记录数据分析，实时了解用户的最新需求，并做出实时的动态调整；进一步通过实时动态的权限调整，找出了满足用户最大需求和Hadoop平台安全之间的平衡点，降低了用户账户被盗用时所带来对平台的入侵和大量数据泄露的风险，从而提高了Hadoop平台的安全性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的面向Hadoop的自适应权限控制方法的流程图；

图2为本发明实施例提供的面向Hadoop的自适应权限控制系统的结构示意图；

图3为本发明实施例提供的面向Hadoop的自适应权限控制方法的具体架构示意图；

图4为图2中具体的自适应权限控制机制的结构示意图；

图5为面向Hadoop的自适应权限控制方法的自适应权限控制机制的示意图；

图6为本发明实施例提供的面向Hadoop的自适应权限控制装置的结构示意图。

具体实施方式

下面结合附图对本发明的实施方式进行详细说明。

本发明的核心是：以Hadoop用户权限自适应调整为目标，以用户行为日志为主要数据支撑和日志记录数据分析为基础，构建动态标签机制及面向客体的弹性规则。结合Hadoop平台面临用户权限范围与用户行为不符、越权访问和用户过量使用Hadoop平台等主要问题，采用基于标签和属性的用户可疑状态评价与用户管理策略，根据日志记录数据所记录的用户历史行为数据分析实时对用户做出评价，在一定权限范围内，降低或者提升用户的访问权限，从而实现面向Hadoop的自适应权限控制。

图1示出了本发明实施例提供的面向Hadoop的自适应权限控制方法的流程图，参见图1，本发明实施例提供的面向Hadoop的自适应权限控制方法，包括：

S101，获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息。

具体地，用户对Hadoop各个组件中的资源访问后，会在Hadoop平台日志和审计日志中留下访问记录，通过各个组件的插件收集用户的日志记录数据，并将上述数据存入数据库中，为后续日志记录数据分析的工程提供数据支撑。作为本发明实施例的一个可选实施方式，获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。具体地，可以通过ELK日志收集工具，收集Hadoop各个组件上的用户的行为，用户访问过的资源等信息，同时还可以利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。由此方便的获取Hadoop各个组件上用户的日志信息和用户的权限。

在进行本发明实施例的面向Hadoop的自适应权限控制方法之前，作为本发明实施例的一个可选实施方式，本发明实施例提供的面向Hadoop的自适应权限控制方法还包括：各个用户向Kerberos进行认证，并通过Kerberos的认证。具体地，每个用户需要经过kerberos认证，由此保证用户的身份真实有效。

S102，根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果。

具体地，利用自适应权限控制机制，处理收集到的用户的日志记录数据，进行日志记录数据分析，以便后续根据对日志记录数据分析的结果调整用户的权限。

作为本发明实施例的一个可选实施方式，根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果包括：设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。可以通过多角度进行分析，提高分析的准确性。

S103，根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限。

S104，将待调整用户的最新的权限写入到Hadoop的各个相应组件上。

具体地，根据日志记录数据分析结果，生成用户权限调整的建议，之后可以利用用户权限调整建议调整待调整用户的权限，并将将用户最新的权限写入到Hadoop各个组件之中，从而可以实现Hadoop用户权限的自适应调整。具体实施时，可以启用权限调整的API调用Hadoop各个组件的插件，将可以将用户最新的权限写入到Hadoop各个组件之中，从而实现Hadoop用户权限的自适应调整。

作为本发明实施例的一个可选实施方式，利用用户权限调整建议调整待调整用户的权限之后，方法还包括：获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。将权限调整的文本信息写入审计日志中，便于日后的审计工作。

具体实施时，可以先建立本发明实施例提供的面向Hadoop的自适应权限控制系统，参见图2，本发明实施例提供的面向Hadoop的自适应权限控制系统可以包括三个层次，分别为企业用户、自适应权限控制机制和Hadoop组件。

在企业用户的层面，每个用户需要经过kerberos认证，保证用户的身份真实有效。通过ELK日志收集工具，收集Hadoop各个组件上的用户的行为，用户访问过的资源等信息。

自适应权限控制机制层是本方案的核心，处理来自企业用户层收集到的用户日志数据，进行日志记录数据分析，根据对日志记录数据分析的结果调整用户的权限。将权限调整的文本信息写入自适应权限控制审计日志中，便于日后的审计工作；将用户权限调整的数据存入自适应权限控制数据库，并通过API调用Hadoop各个组件的插件，完成权限写入，从而实现Hadoop用户权限的自适应调整。

进而，自适应权限控制方法可以解决上述中Hadoop权限控制面临的主要问题，即面临用户权限范围与用户行为不符、越权访问和用户过量使用Hadoop平台等问题。

以下通过图3对本发明实施例提供的面向Hadoop的自适应权限控制方法的具体方案进行描述，但本发明并不局限于此：

经过Kerberos认证的用户对Hadoop各个组件中的资源访问后，会在Hadoop平台日志和审计日志中留下访问记录，通过各个组件的插件收集用户的权限信息，利用ELK日志搜集工具搜集Hadoop各个节点中的日志信息，将上述信息存入自适应权限控制系统的数据库中，为后续日志记录数据分析的工程提供数据支撑。日志记录数据分析是用户权限调整的重要依据。根据日志记录数据分析的结果，生成用户权限调整的建议。将用户权限调整信息写入到审计日志中，便于日后对自适应权限控制系统的审计工作。并启用权限调整的API调用Hadoop各个组件的插件，将用户最新的权限写入到Hadoop各个组件之中。

图4为图2中具体的自适应权限控制机制的结构示意图，参见图4，图2中的自适应权限控制机制包括：自适应权限控制有三个核心模块，分别是Hadoop组件插件、日志记录数据分析和自适应权限控制服务器。

Hadoop组件插件：实现从Hadoop各个组件中读取和写入用户的权限。

日志记录数据分析：通过对ELK收集到的日志数据分析，解析用户的行为操作，利用Hadoop组件的插件获取用户当前的权限，根据上述两项数据建立标签库，给不同用户贴标签。

自适应权限控制服务器：1、向管理员提供REST接口来对服务、权限、用户信息等进行增删改查，同时内置了一个Web界面进行管理；2、根据日志记录数据分析的结果，判断用户当前权限是否合理，并通过Hadoop组件插件实现用户权限的自动写入。

以下通过图5描述本发明实施例提供的面向Hadoop的自适应权限控制方法的自适应权限控制机制，获取用户初始权限和行为日志，完成日志记录数据分析，最终向管理员提出权限调整建议或直接修改用户权限。

具体实现时的方案，可以通过以下模型应用场景进行描述，但本发明并不局限于此：

用户行为检测模型可分为三部分实现：

1、数据获取：该部分是实现Hadoop自适应权限控制的基础，是日志记录数据分析和Hadoop平台对用户权限控制的重要数据支持。通过对Hadoop平台中组件日志、审计日志的数据提取，得到完整的用户行为轨迹；以SHELL脚本实现对Hadoop各个组件中用户权限的批量提取。这样便可以得到用户的行为轨迹和权限信息，接下来便可以进行日志记录数据分析的工作。

2、模式匹配：该部分是Hadoop自适应权限控制的核心，即日志记录数据分析。结合Hadoop平台面临的三个主要问题，即用户权限范围与用户行为不符、越权访问和用户过量使用Hadoop平台等，具有针对性的设定日志记录数据分析维度，通过数据获取、数据统计和机器学习中的贝叶斯算法等方式完成用户行为特征和标签体系的建立，最终实现对用户行为的评估。

但是仅仅通过一次日志记录数据分析的结果无法证明用户是否存有异常行为，需要对同一用户不同时间的多个日志记录数据进行分析并做比较，得出用户在各个属性标签的变化趋势，最终判定该用户的权限范围与其行为是否相符，是否存有越权行为的倾向，和是否存在过量使用Hadoop平台等问题。

3、权限调整：日志记录数据分析结果本身就相当于用户的一个“实名制身份”，在完成模型匹配之后，便可以精准定位用户，向管理员提出该用户的权限调整建议或者直接用SHELL脚本将用户的最新权限写入到Hadoop平台中的各个组件。

经过上述步骤，最终完成Hadoop平台的自适应权限控制。

由此可见，通过本发明实施例提供的面向Hadoop的自适应权限控制方法，可以实现对Hadoop平台中各个组件权限的自动调整，可以大大减少人工数量，并且不再需要对人工进行专业领域的业务培训；由于通过对Hadoop平台中各个组件日志的收集和分析，结合日志记录数据分析充分了解用户的行为轨迹，并以此为依据做出对用户的权限的准确调整，从而完成在满足用户最大需求的前提下实现最小细粒度授权；同时，可以通过以固定时间间隔的方式做日志记录数据分析，实时了解用户的最新需求，并做出实时的动态调整；进一步通过实时动态的权限调整，找出了满足用户最大需求和Hadoop平台安全之间的平衡点，降低了用户账户被盗用时所带来对平台的入侵和大量数据泄露的风险，从而提高了Hadoop平台的安全性。

图6示出了本发明实施例提供的面向Hadoop的自适应权限控制装置的结构示意图，参见图6，本发明实施例提供的面向Hadoop的自适应权限控制装置应用于上述方法，以下仅对本发明实施例提供的面向Hadoop的自适应权限控制装置进行简单说明，其他未尽事宜，具体参见上述方法的相关说明。参见图6，本发明实施例提供的面向Hadoop的自适应权限控制装置，包括：

获取模块601，用于获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；

分析模块602，用于根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；

调整模块603，用于根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；

写入模块604，用于将待调整用户的最新的权限写入到Hadoop的各个相应组件上。

由此可见，通过本发明实施例提供的面向Hadoop的自适应权限控制装置，可以实现对Hadoop平台中各个组件权限的自动调整，可以大大减少人工数量，并且不再需要对人工进行专业领域的业务培训；由于通过对Hadoop平台中各个组件日志的收集和分析，结合日志记录数据分析充分了解用户的行为轨迹，并以此为依据做出对用户的权限的准确调整，从而完成在满足用户最大需求的前提下实现最小细粒度授权；同时，可以通过以固定时间间隔的方式做日志记录数据分析，实时了解用户的最新需求，并做出实时的动态调整；进一步通过实时动态的权限调整，找出了满足用户最大需求和Hadoop平台安全之间的平衡点，降低了用户账户被盗用时所带来对平台的入侵和大量数据泄露的风险，从而提高了Hadoop平台的安全性。

作为本发明实施例的一个可选实施方式，各个用户向Kerberos进行认证，并通过Kerberos的认证。每个用户需要经过kerberos认证，由此保证用户的身份真实有效。

作为本发明实施例的一个可选实施方式，写入模块604，还用于在调整模块603利用用户权限调整建议调整待调整用户的权限之后，获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。将权限调整的文本信息写入审计日志中，便于日后的审计工作。

作为本发明实施例的一个可选实施方式，获取模块601，具体用于通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。由此方便的获取Hadoop各个组件上用户的日志信息和用户的权限。

作为本发明实施例的一个可选实施方式，分析模块602，具体用于设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。可以通过多角度进行分析，提高分析的准确性。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (2)

1.一种面向Hadoop的自适应权限控制方法，其特征在于，包括：

获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，所述日志记录数据包括：平台日志信息和审计日志信息；

根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；

根据所述日志记录数据分析结果生成用户权限调整建议，利用所述用户权限调整建议调整待调整用户的权限；

将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上；

还包括：各个用户向Kerberos进行认证，并通过所述Kerberos的认证；

所述利用所述用户权限调整建议调整待调整用户的权限之后，所述方法还包括：获得权限调整文本信息，将所述权限调整文本信息写入所述审计日志信息中；

所述获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取；

所述根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果包括：设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。

2.一种面向Hadoop的自适应权限控制装置，其特征在于，包括：

获取模块，用于获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，所述日志记录数据包括：平台日志信息和审计日志信息；

分析模块，用于根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；

调整模块，用于根据所述日志记录数据分析结果生成用户权限调整建议，利用所述用户权限调整建议调整待调整用户的权限；

写入模块，用于将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上；

各个用户向Kerberos进行认证，并通过所述Kerberos的认证；

所述写入模块，还用于在所述调整模块利用所述用户权限调整建议调整待调整用户的权限之后，获得权限调整文本信息，将所述权限调整文本信息写入所述审计日志信息中；

所述获取模块，具体用于通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取；

所述分析模块，具体用于设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。

Images