CN109992982A - 大数据访问授权方法、装置和大数据平台 - Google Patents

Abstract

本发明提供了一种大数据访问授权方法、装置和大数据平台，所述方法包括：提取大数据平台认证用户的行为信息；根据业务场景对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，其中，每个用户标签所对应的标签权重通过将标签主观重要程度和标签客观重要程度进行融合得到；每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新；根据更新后的用户画像对用户进行访问授权。本发明能够实现对不同用户的个性化授权，满足不同主体不断变化的个性化访问需求；能够减少对管理员专业知识的依赖，并便于实现管理员提前主动为用户授权；能够对用户可疑性与业务需求进行准确预测；能够有效提高大数据平台的数据安全性。

Description

大数据访问授权方法、装置和大数据平台

技术领域

本发明涉及数据平台技术领域，具体涉及一种大数据访问授权方法、一种大数据访问授权装置和一种大数据平台。

背景技术

大数据时代的到来，使得数据成为了重要的经济资产，例如Apache Hadoop，凭借其出色的数据存储能力和分布式计算等优势，已经成为主要的处理大量数据的平台。但Hadoop在最初开发时主要围绕着如何管理大量的公共Web数据，缺乏数据的保密性和内部的复杂权限管理的考虑。而Hadoop平台存储的从不同企业、组织或机构收集的数据往往包含私人和敏感信息，且大数据平台面临的访问主体众多，很难既保证这些信息免受未经授权的访问，又满足不同主体不断变化的个性化访问需求。

具体而言，目前统一授权管理的开源框架有Apache Sentry和Apache Ranger，二者均能够实现大数据访问授权管理的基本功能。其中，Sentry是基于角色的管理(RBAC)，通过创建角色，将每个组件的权限授予给此角色，然后在用户中添加此角色，即用户具备此角色访问组件的权限；Ranger是基于策略的管理，每个组件可以添加服务Service，然后添加自定义策略，再添加组或用户访问权限。然而，Sentry和Ranger在进行授权时，均需要依赖管理员的专业知识制定授权策略，对管理员的要求和依赖较高。并且，Sentry和Ranger进行授权时，均未将用户历史访问行为作为授权策略参考依据，一旦用户近期风险较高，系统未及时发现便会对数据造成很大安全威胁。此外，目前的授权方法大多采用“用户申请-管理员审批“模式，管理员被动授权，不能提前主动为用户授权，不利于提高用户工作效率。

发明内容

本发明为解决目前的数据平台访问授权方法很难既保证一些信息免受未经授权的访问，又满足不同主体不断变化的个性化访问需求，以及对管理员的要求和依赖较高、不能提前主动为用户授权的技术问题，提供了一种大数据访问授权方法、装置和大数据平台。

本发明采用的技术方案如下：

一种大数据访问授权方法，包括以下步骤：提取大数据平台认证用户的行为信息；根据业务场景对所述用户的行为信息进行评估，为所述用户打上多个维度的用户标签以构建用户画像，其中，每个所述用户标签所对应的标签权重通过将标签主观重要程度和标签客观重要程度进行融合得到；每间隔预设时间更新所述用户画像，实现用户标签及其标签权重的动态更新；根据更新后的用户画像对所述用户进行访问授权。

所述大数据平台为Hadoop平台，通过Hadoop生态圈组件，结合资源属性特征提取所述用户的行为信息。

所述多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。

所述标签主观重要程度通过层次分析法进行评估，通过对每个所述用户标签的主观打分构建成对比较矩阵，然后计算矩阵特征向量得出。

所述标签客观重要程度通过将用户的最新标签与历史标签相比较，并融合时间衰减因素得出。

其中，通过用户活跃情况和用户可疑性判断用户异常状态；通过用户行为偏好和用户资源偏好识别用户的个性化访问需求；将不同维度的用户标签进行交叉组合以精确定位用户类型，并在不同类型的用户与资源之间建立起差异化的关联规则。

一种大数据访问授权装置，包括：提取模块，所述提取模块用于提取大数据平台认证用户的行为信息；用户画像构建模块，所述用户画像构建模块用于根据业务场景对所述用户的行为信息进行评估，为所述用户打上多个维度的用户标签以构建用户画像，其中，所述用户画像构建模块通过将标签主观重要程度和标签客观重要程度进行融合得到每个所述用户标签所对应的标签权重；更新模块，所述更新模块用于每间隔预设时间更新所述用户画像，实现用户标签及其标签权重的动态更新；授权模块，所述授权模块用于根据更新后的用户画像对所述用户进行访问授权。

所述大数据平台为Hadoop平台，所述提取模块通过Hadoop生态圈组件，结合资源属性特征提取所述用户的行为信息。

所述多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。

一种大数据平台，包括上述大数据访问授权装置。

本发明的有益效果：

本发明通过对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，并融合标签主观重要程度和标签客观重要程度得到每个用户标签所对应的标签权重，以及每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新，最后根据更新后的用户画像对用户进行访问授权，由此，能够实现对不同用户的个性化授权，满足不同主体不断变化的个性化访问需求；并且最终基于用户画像进行访问授权，可减少对管理员专业知识的依赖，并便于实现管理员提前主动为用户授权，提高业务人员工作效率；通过收集多个维度的用户信息，能够对用户可疑性与业务需求进行准确预测，进而采取授权动作，使授权行为有依据可循，具备可解释性；根据随时间动态变化的用户标签及其准确的权重来评估用户，使得用户与资源之间的对应关系更加精确，基于此决定是否收回或放宽用户的所有权限，避免资源遭受未授权人员的误操作行为和越权访问，从而有效提高大数据平台的数据安全性。

附图说明

图1为本发明实施例的大数据访问授权方法的流程图；

图2为本发明一个实施例的实现大数据访问授权的整体框架图；

图3为本发明一个实施例的用户权限范围与近期需求的关系示意图；

图4为本发明实施例的大数据访问授权装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例的大数据访问授权方法，包括以下步骤：

S1，提取大数据平台认证用户的行为信息。

参照图2，用户创建完成后，可基于kerberos进行KDC认证，赋予该用户申请访问的权限。在本发明的一个实施例中，大数据平台为Hadoop平台，在用户以用户ID登入Hadoop平台后，可通过Hadoop生态圈组件，例如Hdfs、Hive、HBase等，结合资源属性特征提取用户的行为信息。

S2，根据业务场景对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，其中，每个用户标签所对应的标签权重通过将标签主观重要程度和标签客观重要程度进行融合得到。

在本发明的实施例中，当前为用户打上的用户标签与用户的当前行为信息相对应。其中，多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。在本发明的一个实施例中，上述的六个维度的用户标签可作为一级标签，在整个用户标签体系中，还可包括二级标签和三级标签，每个用户标签具有对应的标签类型，具体见表1。

表1

如表1，用户标签可分为事实标签、模型标签和预测标签，标签权重计算主要针对模型标签和预测标签。事实标签可直接从原始数据中获取；模型标签指没有直接对应数据，需要人为定义规则，经规则计算得到标签实例；预测标签指参考已有事实数据，通过建模来预测用户的行为或偏好。其中，模型标签和预测标签的生成方法包括统计方法、文本挖掘算法、相似度计算方法、分类聚类算法、机器学习预测算法等。

在本发明的一个实施例中，标签主观重要程度可通过层次分析法进行评估，通过由业务人员与专家凭借主观态度与实践经验对每个用户标签的主观打分构建成对比较矩阵，然后计算矩阵特征向量得出，得出的结果也可称为标签主观权重。

在本发明的一个实施例中，标签客观重要程度通过将用户的最新标签与历史标签相比较得出，得出的结果也可称为标签客观权重。具体地，当用户画像被打上某标签，且该用户标签在历史标签中出现次数为0时，说明用户的某一状态发生了重大改变，有必要对该用户标签进行重点分析，此时应加大该用户标签的标签客观权重；当用户画像被打上某标签，且该用户标签在历史标签中出现较频繁时，说明该用户标签比较稳定，能够很好地揭示用户某一维度的状态，此时可加大该用户标签的标签客观权重；当用户画像被打上某标签，且该用户标签在历史出现次数无规律时，说明该用户标签不够稳定，很难表明用户的状态倾向，此时对该用户标签权重不做特殊处理。

此外，用户画像的部分历史标签，如用户资源偏好、用户行为偏好和用户可疑性，对于综合评估用户仍具有重要意义，该部分标签客观重要程度需进一步融合时间衰减因素得出。在本发明的一个实施例中，融合时间衰减因素后的部分用户标签的本期标签客观权重Q1与该用户标签的上期标签客观权重Q2之间的关系为：Q1＝Q2×exp(-a×t)，其中，a为冷却系数，表示用户标签受时间影响而衰弱的程度，t为本期与上期间隔的小时数。

S3，每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新。

在本发明的实施例中，可根据用户在大数据平台的新的行为信息，对用户画像进行更新，即对用户标签及其标签权重进行动态更新。参照图2，对于根据对用户的初次行为信息进行评估得到的初次用户画像，后续依然采用上述为用户打上具有相应标签权重的用户标签策略，结合间隔时间更新的策略，得到最新用户画像，最新用户画像中包含最新用户标签及其标签权重这些标签信息。

S4，根据更新后的用户画像对用户进行访问授权。

在本发明的一个实施例中，可通过用户活跃情况和用户可疑性判断用户异常状态；通过用户行为偏好和用户资源偏好识别用户的个性化访问需求；将不同维度的用户标签进行交叉组合以精确定位用户类型，并在不同类型的用户与资源之间建立起差异化的关联规则。关联规则并非是一成不变的，通过迭代用户画像可不断更新调整用户标签，并重新计算各用户标签的标签权重，实现精确匹配“什么样的用户”能够操作“什么样的资源”的个性化用户权限管理机制。

进一步地，结合图3所示的用户权限范围与用户近期需求标签，可以判断是否需要给该用户提高或降低对某些资源的使用权限，管理员可采取由用户画像得出的推荐建议，调整用户权限或实现主动授权，也可以根据标签体系，自行创建用户群，为特殊用户自定义符合业务需求的权限方案。

此外，在得到用户的访问授权策略后，参照图2，可将每一条授权策略存储在可伸缩性的授权策略列表中。

根据本发明实施例的大数据访问授权方法，通过对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，并融合标签主观重要程度和标签客观重要程度得到每个用户标签所对应的标签权重，以及每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新，最后根据更新后的用户画像对用户进行访问授权，由此，能够实现对不同用户的个性化授权，满足不同主体不断变化的个性化访问需求；并且最终基于用户画像进行访问授权，可减少对管理员专业知识的依赖，并便于实现管理员提前主动为用户授权，提高业务人员工作效率；通过收集多个维度的用户信息，能够对用户可疑性与业务需求进行准确预测，进而采取授权动作，使授权行为有依据可循，具备可解释性；根据随时间动态变化的用户标签及其准确的权重来评估用户，使得用户与资源之间的对应关系更加精确，基于此决定是否收回或放宽用户的所有权限，避免资源遭受未授权人员的误操作行为和越权访问，从而有效提高大数据平台的数据安全性。

对应上述实施例的大数据访问授权方法，本发明还提出一种大数据访问授权装置。

如图4所示，本发明实施例的大数据访问授权装置，包括提取模块10、用户画像构建模块20、更新模块30和授权模块40。其中，提取模块10用于提取大数据平台认证用户的行为信息；用户画像构建模块20用于根据业务场景对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，其中，用户画像构建模块20通过将标签主观重要程度和标签客观重要程度进行融合得到每个用户标签所对应的标签权重；更新模块30用于每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新；授权模块40用于根据更新后的用户画像对用户进行访问授权。

具体地，用户创建完成后，可基于kerberos进行KDC认证，赋予该用户申请访问的权限。在本发明的一个实施例中，大数据平台为Hadoop平台，在用户以用户ID登入Hadoop平台后，提取模块10可通过Hadoop生态圈组件，例如Hdfs、Hive、HBase等，结合资源属性特征提取用户的行为信息。

在本发明的实施例中，当前为用户打上的用户标签与用户的当前行为信息相对应。其中，多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。在本发明的一个实施例中，上述的六个维度的用户标签可作为一级标签，在整个用户标签体系中，还可包括二级标签和三级标签，每个用户标签具有对应的标签类型，具体见表1。用户标签可分为事实标签、模型标签和预测标签，标签权重计算主要针对模型标签和预测标签。事实标签可直接从原始数据中获取；模型标签指没有直接对应数据，需要人为定义规则，经规则计算得到标签实例；预测标签指参考已有事实数据，通过建模来预测用户的行为或偏好。其中，模型标签和预测标签的生成方法包括统计方法、文本挖掘算法、相似度计算方法、分类聚类算法、机器学习预测算法等。

在本发明的一个实施例中，用户画像构建模块20可通过层次分析法评估，通过由业务人员与专家凭借主观态度与实践经验对每个用户标签的主观打分构建成对比较矩阵，然后计算矩阵特征向量得出标签主观重要程度，也可称标签主观权重。

在本发明的一个实施例中，用户画像构建模块20可通过将用户的最新标签与历史标签相比较得出标签客观重要程度，也可称标签客观权重。具体地，当用户画像被打上某标签，且该用户标签在历史标签中出现次数为0时，说明用户的某一状态发生了重大改变，有必要对该用户标签进行重点分析，此时应加大该用户标签的标签客观权重；当用户画像被打上某标签，且该用户标签在历史标签中出现较频繁时，说明该用户标签比较稳定，能够很好地揭示用户某一维度的状态，此时可加大该用户标签的标签客观权重；当用户画像被打上某标签，且该用户标签在历史出现次数无规律时，说明该用户标签不够稳定，很难表明用户的状态倾向，此时对该用户标签权重不做特殊处理。

此外，用户画像的部分历史标签，如用户资源偏好、用户行为偏好和用户可疑性，对于综合评估用户仍具有重要意义，该部分标签客观重要程度需进一步融合时间衰减因素得出。在本发明的一个实施例中，融合时间衰减因素后的部分用户标签的本期标签客观权重Q1与该用户标签的上期标签客观权重Q2之间的关系为：Q1＝Q2×exp(-a×t)，其中，a为冷却系数，表示用户标签受时间影像而衰弱的程度，t为本期与上期间隔的小时数。

更新模块30可根据用户在大数据平台的新的行为信息，对用户画像进行更新，即对用户标签及其标签权重进行动态更新。

在本发明的一个实施例中，授权模块40可通过用户活跃情况和用户可疑性判断用户异常状态；授权模块40可通过用户行为偏好和用户资源偏好识别用户的个性化访问需求；授权模块40可将不同维度的用户标签进行交叉组合以精确定位用户类型，并在不同类型的用户与资源之间建立起差异化的关联规则。关联规则并非是一成不变的，通过迭代用户画像可不断更新调整用户标签，并重新计算各用户标签的标签权重，实现精确匹配“什么样的用户”能够操作“什么样的资源”的个性化用户权限管理机制。

进一步地，结合图3所示的用户权限范围与用户近期需求标签，可以判断是否需要给该用户提高或降低对某些资源的使用权限，管理员可采取由用户画像得出的推荐建议，调整用户权限或实现主动授权，也可以根据标签体系，自行创建用户群，为特殊用户自定义符合业务需求的权限方案。

根据本发明实施例的大数据访问授权装置，通过用户画像构建模块对用户的行为信息进行评估，为用户打上多个维度的用户标签以构建用户画像，并融合标签主观重要程度和标签客观重要程度得到每个用户标签所对应的标签权重，通过更新模块每间隔预设时间更新用户画像，实现用户标签及其标签权重的动态更新，最后通过授权模块根据更新后的用户画像对用户进行访问授权，由此，能够实现对不同用户的个性化授权，满足不同主体不断变化的个性化访问需求；并且最终基于用户画像进行访问授权，可减少对管理员专业知识的依赖，并便于实现管理员提前主动为用户授权，提高业务人员工作效率；通过收集多个维度的用户信息，能够对用户可疑性与业务需求进行准确预测，进而采取授权动作，使授权行为有依据可循，具备可解释性；根据随时间动态变化的用户标签及其准确的权重来评估用户，使得用户与资源之间的对应关系更加精确，基于此决定是否收回或放宽用户的所有权限，避免资源遭受未授权人员的误操作行为和越权访问，从而有效提高大数据平台的数据安全性。

对应上述实施例，本发明还提出一种大数据平台。

本发明实施例的大数据平台，包括本发明上述实施例提出的大数据访问授权装置，其具体的实施方式可参照上述实施例，为避免冗余，在此不再赘述。

根据本发明实施例的大数据平台，能够实现对不同用户的个性化授权，满足不同主体不断变化的个性化访问需求；可减少对管理员专业知识的依赖，并便于实现管理员提前主动为用户授权，提高业务人员工作效率；能够对用户可疑性与业务需求进行准确预测，进而采取授权动作，使授权行为有依据可循，具备可解释性；数据安全性较高。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种大数据访问授权方法，其特征在于，包括以下步骤：

提取大数据平台认证用户的行为信息；

根据业务场景对所述用户的行为信息进行评估，为所述用户打上多个维度的用户标签以构建用户画像，其中，每个所述用户标签所对应的标签权重通过将标签主观重要程度和标签客观重要程度进行融合得到；

每间隔预设时间更新所述用户画像，实现用户标签及其标签权重的动态更新；

根据更新后的用户画像对所述用户进行访问授权。

2.根据权利要求1所述的大数据访问授权方法，其特征在于，所述大数据平台为Hadoop平台，通过Hadoop生态圈组件，结合资源属性特征提取所述用户的行为信息。

3.根据权利要求2所述的大数据访问授权方法，其特征在于，所述多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。

4.根据权利要求1所述的大数据访问授权方法，其特征在于，所述标签主观重要程度通过层次分析法进行评估，通过对每个所述用户标签的主观打分构建成对比较矩阵，然后计算矩阵特征向量得出。

5.根据权利要求1所述的大数据访问授权方法，其特征在于，所述标签客观重要程度通过将用户的最新标签与历史标签相比较得出。

6.根据权利要求2所述的大数据访问授权方法，其特征在于，其中，通过用户活跃情况和用户可疑性判断用户异常状态；通过用户行为偏好和用户资源偏好识别用户的个性化访问需求；将不同维度的用户标签进行交叉组合以精确定位用户类型，并在不同类型的用户与资源之间建立起差异化的关联规则。

7.一种大数据访问授权装置，其特征在于，包括：

提取模块，所述提取模块用于提取大数据平台认证用户的行为信息；

用户画像构建模块，所述用户画像构建模块用于根据业务场景对所述用户的行为信息进行评估，为所述用户打上多个维度的用户标签以构建用户画像，其中，所述用户画像构建模块通过将标签主观重要程度和标签客观重要程度进行融合得到每个所述用户标签所对应的标签权重；

更新模块，所述更新模块用于每间隔预设时间更新所述用户画像，实现用户标签及其标签权重的动态更新；

授权模块，所述授权模块用于根据更新后的用户画像对所述用户进行访问授权。

8.根据权利要求7所述的大数据访问授权装置，其特征在于，所述大数据平台为Hadoop平台，所述提取模块通过Hadoop生态圈组件，结合资源属性特征提取所述用户的行为信息。

9.根据权利要求8所述的大数据访问授权装置，其特征在于，所述多个维度的用户标签包括用户基础属性、用户活跃情况、用户资源偏好、用户行为偏好、资源访问结果、用户可疑性。

10.一种大数据平台，其特征在于，包括根据权利要求7-9中任一项所述的大数据访问授权装置。