CN105656903A - 一种Hive平台的用户安全管理系统及应用 - Google Patents

Abstract

本发明公开了一种面向Hive平台的用户安全管理系统，它还包括有访问控制与安全审计单元、数据查询单元以及身份认证单元；所述的访问控制与安全审计单元包括安全审计服务器和访问控制服务器，所述的数据查询单元包括HDFS服务器、NameNode服务器和Hive服务器，所述的身份认证单元包括LDAP服务器。面向Hive平台的用户安全管理方法，它包括有用户注册、用户登录、用户查询和审计存储四个步骤。本发明解决了传统用户对大规模存储系统的越权访问行为，能安全有效地防止数据存储设备被偷窃导致数据泄露，防止传统存储系统遭受外部人员入侵获得隐私数据以及数据分包被非法截取的现象。

Description

一种Hive平台的用户安全管理系统及应用

技术领域

本发明涉及一种面向用户数据存储的技术和方法，特别是一种面向Hive平台的用户安全管理系统及方法。

背景技术

现如今，大规模数据的存储已经成为一个重要的安全问题，主要的安全威胁表现在：(1)存储设备被偷导致存储设备上的数据泄露；(2)内部人员窃取公司内部数据；(3)外部人员入侵公司存储系统获得隐私数据；(4)员工的粗心导致数据的泄露。近年来，随着互联网的重心逐步向着移动互联网转移，各种新型智能移动设备的迅速普及，海量数据爆发，大规模移动客户端信令数据的数据安全存储问题受到了信令数据产生方、存储方、以及信息安全研究人员等多方面的密切关注。其中，由于传输设备被偷所导致的数据泄露可以通过加强存储设备存放点的安全、对存储设备上的信息进行加密等方式进行有效防止。而对于其它三种安全威胁，通过访问控制防止用户对大规模数据存储系统的越权访问是简单、高效的方式。

专利申请号：CN201310056349.2公开了一种具有一体化安全管控功能的信息安全管理方法，它提供了一种具有强大的一体化安全管控功能的信息安全管理方法，包括资产管理、网络拓扑管理、性能监控、安全事件管理、流量行为监视、流量异常检测、脆弱性管理、风险评估、安全态势分析、安全管理关键指标分析、告警管理、工单管理、报表管理、知识管理、级联管理、用户管理和系统管理。该发明主要为不同层级的用户提供了多视角、多层次的管理视图；支持对大部分主流IT软硬件资产的监控；对于各种监控对象都能进行全方位细粒度的监控，但在数据存储的安全性方面略有不足，没有针对数据存储的安全管理方法。

专利申请号：CN201220458504.4公开了一种基于云桌面的内网信息安全管理系统，该系统包括数据来源服务器、核心网络设备、安全网关服务器、上网行为管理服务器、数据存储中心和云桌面系统，云桌面系统包括控制端和若干桌面虚拟客户端，其中数据来源服务器通过所述核心网络设备连接安全网关服务器，云桌面系统的控制端通过所述核心网络设备控制其连接的若干桌面虚拟客户端，核心网络设备连接所述上网行为管理服务器，上网行为管理服务器还连接所述数据存储中心，上网行为管理服务器通过所述路由器连接外网。该发明以云桌面为技术支撑，以身份认证为基础，以数据安全为核心实现对内网中用户、计算机和信息的安全管理，属于一个局域网的安全管理系统，并非不能对大吞吐量的数据存储进行安全管理。

现有的安全专利和Hive系统实现的安全管理功能在用户认证和访问控制方面，大多依赖传统的身份认证比如Kerberos和访问控制如ACL访问控制列表的技术，特别在访问控制方面，除去ACL访问控制机制过于简单外，只简单的绑定了用户和访问对象固定的访问关系，没有考虑用户本身的行为特性。

发明内容

针对上述存在问题或不足，本发明提供了一种Hive平台的用户安全管理系统及方法。

Hive平台的用户安全管理系统，它包括访问控制与安全审计单元、数据查询单元以及身份认证单元；

所述的访问控制与安全审计单元包括安全审计服务器和访问控制服务器；

所述的数据查询单元包括HDFS服务器、NameNode服务器和Hive服务器；

所述的身份认证单元包括LDAP服务器和票据管理服务器；

用户安全管理系统由五个路由器连接各单元，第一路由器分别与防火墙、安全审计服务器和第二路由器连接，用户终端经过防火墙访问系统；第二路由器分别与身份认证服务器及第三路由器连接；第三路由器分别与访问控制服务器及第四路由器连接；第四路由器分别与Hive服务器及第五路由器连接；第五路由器分别与HDFS服务器及NameNode服务器连接；

所述的访问控制与安全审计单元用于维护信息、访问控制策略及审计跟踪策略；接收来自数据查询单元的查询许可确认请求，查询本地数据库对查询进行基于角色和动态权限结合的许可确认，并将确认结果返回给数据查询单元；动态权限基于用户行为，从登陆时间间隔、查询时间间隔、查询数量计数等方面进行访问控制检查，并根据检查结果试试动态更新控制规则；提供审计跟踪功能，建立系统日志记录；所述的访问控制与安全审计单元还包括有权限生成模块；

所述数据查询单元，接收来自用户终端的数据查询请求，调用访问控制与安全审计单元确认用户的访问权限；查询请求合法即在Hadoop平台进行数据查询，并将查询结果返回给用户终端，反之则拒绝执行用户查询，并通知用户查询权限不合法；Hive服务器将结构化的数据文件映射为一张数据库表，能存储、查询和分析存储的大规模数据，并提供简单的SQL查询功能；HDFS服务器提供高吞吐量的数据访问，能实现流的形式访问文件系统中的数据；NameNode服务器用于各节点的数据转移和数据调度；

所述身份认证单元中，LDAP服务器对用户身份及其查询请求进行认证，为用户查询和相关服务的申请产生相应的票据，并维持与用户信息相关的数据管理；该服务作为可卸载插件式服务，当用户对其性能不满意或者有更好的替代服务时，可以将此服务替代，将其他认证服务挂载上去完成身份认证服务。

上述Hive平台的用户安全管理系统的应用，它包括有以下步骤：

S1：用户注册，用户将用户注册名和用户密码等相关信息填写好提交LDAP服务器，LDAP服务器验证用户名合法后，将用户名和密码写入数据库，将用户ID返回给用户终端，并通知管理员用户，管理员用户通过为用户分配角色进行用户权限分配；

S2：用户登录，用户将用户名和用户密码等相关信息填写好提交服务器，服务器接收到后传递给LDAP服务器对用户进行身份认证后，通知权限模块加载权限，并通过票据生成单元生成用户票据和票据维护信息，将票据返回客户端，同时返回客户端登陆结果信息；用户提供的用户名和密码信息不合法，则拒绝用户登录并通知客户端登录出错信息；

S3：用户查询，用户向服务器发送查询请求，查询请求附带票据，Hive服务器接收到查询请求后解析并验证票据有效性，票据有效时再对查询请求进行解析，调用接口提交解析后信息给访问控制服务器，进行访问控制，通过访问控制后，将查询请求传递给Hive，由Hive访问HDFS获取数据；用户提出的查询请求是越权行为或者用户票据无效，则拒绝执行用户查询，并通知用户查询权限不合法；

S4：审计存储，整个过程安全审计服务器对用户所有请求进行审计存储和日志管理，管理员用户通过检查审计日志监控用户对数据存储系统的使用情况，和数据存储系统遭受非法使用的相关信息。

本发明专利基于轻量级的身份认证，基于角色的访问控制和动态权限相结合，实现了一套认证，防控和审计一体化的安全管理系统，符合大数据应用的企业安全需求，并且创新性的提出了面向用户行为的动态权限和访控机制，使得系统获得更加灵活的安全特性。同时，我们创新性的使用多级路由架构，使得各个模块根据逻辑要求分级独立处理，可以灵活拆卸更新，同时不同路由下的不同服务器执行各自的功能，更加适用于Hive大数据场景，避免了单机功能交错复杂，业务效率降低等缺点。

本发明的有益效果是：提供了强大的高吞吐量的存储系统，并设计为多级路由的安全管理系统，使得安全模块可卸载，更新升级以及更替新的安全模块十分方便；具有身份认证和票据管理策略，防止匿名用户和非法用户访问系统；具有访问控制策略和审计跟踪策略，防止用户对大规模存储系统的越权访问行为，能安全有效的防止数据存储设备被偷窃导致数据泄露，防止外部人员入侵存储系统获得隐私数据，同时提供给管理员用户有效的用户行为审计监控能力。

附图说明

图1为本发明的系统模块结构示意图；

图2为本发明的系统部署结构示意图；

图3为本发明的安全管理方法的流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1、图2所示，一种Hive平台的用户安全管理系统，它包括访问控制与安全审计单元、数据查询单元以及身份认证单元。

所述的访问控制与安全审计单元包括安全审计服务器和访问控制服务器。

所述的数据查询单元包括HDFS服务器、NameNode服务器和Hive服务器。

所述的身份认证单元包括LDAP服务器和票据生成单元，票据生成单元还包括票据存储模块。

用户终端通过防火墙与第一路由器连接，第一路由器分别与防火墙、安全审计服务器和第二路由器连接，用户终端经过防火墙访问系统；第二路由器分别与身份认证服务器及第三路由器连接；第三路由器分别与访问控制服务器及第四路由器连接；第四路由器分别与Hive服务器及第五路由器连接；第五路由器分别与HDFS服务器及NameNode服务器连接；

所述的访问控制与安全审计单元用于维护信息、访问控制策略及审计跟踪策略；接收来自数据查询单元的查询许可确认请求，查询本地数据库对查询进行基于角色和动态权限结合的许可确认，并将确认结果返回给数据访问单元；动态权限基于用户行为，从登陆时间间隔、查询时间间隔、查询数量计数等方面进行访问控制检查，并根据检查结果试试动态更新控制规则；提供审计跟踪功能，建立系统日志记录；所述的访问控制与安全审计单元还包括有权限生成模块；

所述的数据查询单元，接收来自用户终端的数据查询请求，调用访问控制与安全审计单元确认用户的访问权限；查询请求合法即在Hadoop平台进行数据查询，并将查询结果返回给用户终端；反之则拒绝执行用户查询，并通知用户查询权限不合法；

所述的身份认证单元，对用户身份及其查询请求进行认证，为用户查询和相关服务的申请产生相应的票据，并维持与用户信息相关的数据管理；该服务作为可卸载插件式服务，当用户对其性能不满意或者有更好的替代服务时，可以将此服务替代，将其他认证服务挂载上去完成身份认证服务。

所述的Hive服务器将结构化的数据文件映射为一张数据库表，能存储、查询和分析存储的大规模数据，并提供简单的SQL查询功能。HDFS服务器提供高吞吐量的数据访问，能实现流的形式访问文件系统中的数据。NameNode服务器用于各节点的数据转移和数据调度。

前述Hive平台的用户安全管理系统应用，如图3所示，它包括有以下步骤：

S1：用户注册，用户将用户注册名和用户密码等相关信息填写好提交LDAP服务器，LDAP服务器验证用户名合法后，将用户名和密码写入数据库，将用户ID返回给用户终端，并通知管理员用户，管理员用户通过为用户分配角色进行用户权限分配；

S2：用户登录，用户将用户名和用户密码等相关信息填写好提交服务器，服务器接收到后传递给LDAP服务器对用户进行身份认证后，通知权限模块加载权限，并通过票据生成单元生成用户票据和票据维护信息，将票据返回客户端，同时返回客户端登陆结果信息；用户提供的用户名和密码信息不合法，则拒绝用户登录并通知客户端登录出错信息；

S3：用户查询，用户向服务器发送查询请求，查询请求附带票据，Hive服务器接收到查询请求后解析并验证票据有效性，票据有效时再对查询请求进行解析，调用接口提交解析后信息给访问控制服务器，进行访问控制，通过访问控制后，将查询请求传递给Hive，由Hive访问HDFS获取数据；用户提出的查询请求是越权行为或者用户票据无效，则拒绝执行用户查询，并通知用户查询权限不合法；

S4：审计存储，整个过程安全审计服务器对用户所有请求进行审计存储和日志管理，管理员用户通过检查审计日志监控用户对数据存储系统的使用情况，和数据存储系统遭受非法使用的相关信息。

Claims (3)

1.一种Hive平台的用户安全管理系统，它包括访问控制与安全审计单元、数据查询单元以及身份认证单元，其特征在于：

所述的访问控制与安全审计单元包括安全审计服务器和访问控制服务器；

所述的数据查询单元包括HDFS服务器、NameNode服务器和Hive服务器；

所述的身份认证单元包括LDAP服务器和票据管理服务器；

用户安全管理系统由五个路由器连接各单元，第一路由器分别与防火墙、安全审计服务器和第二路由器连接，用户终端经过防火墙访问系统；第二路由器分别与身份认证服务器及第三路由器连接；第三路由器分别与访问控制服务器及第四路由器连接；第四路由器分别与Hive服务器及第五路由器连接；第五路由器分别与HDFS服务器及NameNode服务器连接；

所述的访问控制与安全审计单元用于维护信息、访问控制策略及审计跟踪策略；接收来自数据查询单元的查询许可确认请求，查询本地数据库对查询进行基于角色和动态权限结合的许可确认，并将确认结果返回给数据查询单元；动态权限基于用户行为，从登陆时间间隔、查询时间间隔、查询数量计数等方面进行访问控制检查，并根据检查结果试试动态更新控制规则；提供审计跟踪功能，建立系统日志记录；所述的访问控制与安全审计单元还包括有权限生成模块；

所述数据查询单元，接收来自用户终端的数据查询请求，调用访问控制与安全审计单元确认用户的访问权限；查询请求合法即在Hadoop平台进行数据查询，并将查询结果返回给用户终端，反之则拒绝执行用户查询，并通知用户查询权限不合法；Hive服务器将结构化的数据文件映射为一张数据库表，能存储、查询和分析存储的大规模数据，并提供简单的SQL查询功能；HDFS服务器提供高吞吐量的数据访问，能实现流的形式访问文件系统中的数据；NameNode服务器用于各节点的数据转移和数据调度；

所述身份认证单元中，LDAP服务器对用户身份及其查询请求进行认证，为用户查询和相关服务的申请产生相应的票据，并维持与用户信息相关的数据管理。

2.如权利要求1所述Hive平台的用户安全管理系统，其特征在于：所述身份认证单元中的LDAP服务器作为可卸载插件式服务。

3.如权利要求1或2所述Hive平台的用户安全管理系统的应用方法，它包括有以下步骤：

S1：用户注册，用户将用户注册名和用户密码等相关信息填写好提交LDAP服务器，LDAP服务器验证用户名合法后，将用户名和密码写入数据库，将用户ID返回给用户终端，并通知管理员用户，管理员用户通过为用户分配角色进行用户权限分配；

S2：用户登录，用户将用户名和用户密码等相关信息填写好提交服务器，服务器接收到后传递给LDAP服务器对用户进行身份认证后，通知权限模块加载权限，并通过票据生成单元生成用户票据和票据维护信息，将票据返回客户端，同时返回客户端登陆结果信息；用户提供的用户名和密码信息不合法，则拒绝用户登录并通知客户端登录出错信息；

S3：用户查询，用户向服务器发送查询请求，查询请求附带票据，Hive服务器接收到查询请求后解析并验证票据有效性，票据有效时再对查询请求进行解析，调用接口提交解析后信息给访问控制服务器，进行访问控制，通过访问控制后，将查询请求传递给Hive，由Hive访问HDFS获取数据；用户提出的查询请求是越权行为或者用户票据无效，则拒绝执行用户查询，并通知用户查询权限不合法；

S4：审计存储，整个过程安全审计服务器对用户所有请求进行审计存储和日志管理，管理员用户通过检查审计日志监控用户对数据存储系统的使用情况，和数据存储系统遭受非法使用的相关信息。