CN109150908A - 一种部署于网关处的大数据平台保护装置及其保护方法 - Google Patents

一种部署于网关处的大数据平台保护装置及其保护方法 Download PDF

Info

Publication number
CN109150908A
CN109150908A CN201811167469.9A CN201811167469A CN109150908A CN 109150908 A CN109150908 A CN 109150908A CN 201811167469 A CN201811167469 A CN 201811167469A CN 109150908 A CN109150908 A CN 109150908A
Authority
CN
China
Prior art keywords
module
big data
data platform
protective device
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811167469.9A
Other languages
English (en)
Inventor
牛伟纳
张小松
全威龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201811167469.9A priority Critical patent/CN109150908A/zh
Publication of CN109150908A publication Critical patent/CN109150908A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281Proxies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101Access control lists [ACL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/34Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/168Implementing security features at a particular protocol layer above the transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种部署于网关处的大数据平台保护装置及其保护方法,涉及大数据安全技术领域,本发明包括认证模块:在网关处对访问请求进行身份认证;授权模块:在网关处集中对保护装置内的合法用户进行相应的授权操作;服务代理模块:在网关处对用户的访问请求进行转发;数据保护模块:在网关处对返回给用户的数据进行敏感数据脱敏操作;安全审计模块:记录用户对被保护大数据平台的所有访问请求,本发明能够在不改变大数据平台组件原有代码的基础上在外部对大数据平台进行保护,应用场景广泛,并且内部采用插件的方式实现对具体组件的代理访问,根据不同的大数据平台采用不同的插件,扩展性强。

Description

一种部署于网关处的大数据平台保护装置及其保护方法
技术领域
本发明涉及大数据安全技术领域,更具体的是涉及一种部署于网关处的大数据平台保护装置及其保护方法。
背景技术
2012年,Hadoop平台被爆出存在加密问题漏洞CVE-2012-1574和信息泄露漏洞CVE-2012-3376。攻击者利用该漏洞可以冒充平台其他用户或者能够获取平台上的敏感信息。2013年,Hadoop平台被爆出存在安全绕过漏洞CVE-2013-2192,通过利用该漏洞,攻击者可以实施中间人攻击,从而获得访问敏感信息的权限。2014年,安全研究者发现Hadoop中存在后置链接漏洞CVE-2014-3627,远程攻击者可以通过对tar归档实施符号链接攻击,利用该漏洞可以更改特定文件的权限为全局可读。2015年,Hadoop被发现其连接器存在权限与访问控制漏洞CVE-2015-7430,同年,Hadoop又被发现MapReduce过程存在信息泄露漏洞CVE-2015-1776。2016年,Hadoop被发现存在漏洞CVE-2016-5393,利用该漏洞,攻击者可以运行超级管理员命令。2017年,Hadoop又被发现存在XSS漏洞CVE-2017-3161。
在大数据处理平台中,基于Hadoop架构构建的平台是最常见的。目前国内外关于Hadoop平台的安全研究主要集中在两个方向,基于Hadoop平台本身的研究和基于Hadoop平台之上增加新的安全保护层。基于Hadoop平台本身的研究包括Hadoop技术安全、平台可用性、架构安全、认证安全和通信安全五个方面。而增加新的安全层则主要是针对隐私数据保护、数据管理和完整性及被动防护。总而言之,国内外针对大数据平台的研究主要集中在认证、授权、审计和数据保护四个维度中的某一个维度的某一个方向进行研究。
但是,在实际应用中,认证、授权、审计和数据保护的任何一个方面的缺失都将导致严重的后果,且实际中构成大数据平台的组件繁多,不同的组件有各自的特性,同样的方案在一种组件上有效,但在另外一种组件上也许就很难实现。此外,不同的场景中应用大数据平台的方式也各有不同。因此,如何设计一套完善的安全防护系统依然是当前研究的重点。
发明内容
本发明的目的在于:为了解决现有的对大数据平台的保护装置只能针对特定的一种组件进行保护,功能单一、扩展性不强的问题,本发明提供一种部署于网关处的大数据平台保护装置及其保护方法,能够在不改变平台组件原有代码的基础上在外部对平台进行保护,应用场景广泛,并且内部采用插件的方式实现对具体组件的代理访问,根据不同的平台采用不同的插件,扩展性强。
本发明为了实现上述目的具体采用以下技术方案:
一种部署于网关处的大数据平台保护装置,包括认证模块、授权模块、安全审计模块、服务代理模块和数据保护模块,
认证模块:通过权限控制模型在网关处对访问请求进行身份认证,所述认证模块包括外部认证模块和内部认证模块,外部认证模块负责用户和保护装置之间的身份认证,内部认证模块负责保护装置和被保护的大数据平台之间的身份认证;
授权模块:在网关处集中对保护装置内的合法用户进行相应的授权操作,所述授权模块包括服务层授权模块和细粒度授权模块,服务层授权模块负责对被保护大数据平台内组件服务层面的授权管理,细粒度授权模块负责对被保护大数据平台内的组件具体资源采用基于角色的授权管理;
服务代理模块:在网关处对用户的访问请求进行转发,服务代理模块包括与被保护大数据平台的每一个组件一一对应的插件,所述插件负责对访问请求进行URL映射,并向被保护大数据平台发送转换后的访问请求进行响应;所述URL映射具体为:将对网关的访问API转换为对相应组件进行访问的API;
数据保护模块:在网关处对返回给用户的数据进行敏感数据脱敏操作,脱敏操作的方式包括但不限于采用掩码的方式;
安全审计模块:记录用户对被保护大数据平台的所有访问请求。
用户需要访问被保护大数据平台时,采用保护装置的API进行访问,部署在网关处的保护装置在接收到访问请求时,外部认证模块首先对该访问请求进行身份认证,认证通过则对该访问请求进行解析,从授权模块中获取相应的授权信息,确保该访问请求拥有其访问资源的访问权限;
通过服务层授权模块和细粒度授权模块检查后,服务代理模块对该访问请求进行进一步解析,确定其需要访问的被保护大数据平台组件,然后启用相应插件,对该访问请求进行URL映射,转换成功后该插件向被保护大数据平台内部发出转换后的访问请求;
内部授权模块对被保护大数据平台和插件之间的通信进行身份认证,认证成功后访问请求被被保护大数据平台执行,随后返回该访问请求的响应结果,插件在接收到来自被保护大数据平台的响应结果后,调用数据保护模块对响应结果中的敏感数据进行脱敏,脱敏成功后将结果返回给用户;用户访问被保护大数据平台的过程通过安全审计模块进行记录。
本发明中,对于用户访问被保护大数据平台的请求,其相关认证、授权、审计和数据保护等操作都是在被保护大数据平台的外部进行的,通过网关的方式在外部进行集中的认证和授权管理操作;并且对于不同的大数据平台而言,本发明的保护装置可以同时保护多个不同的大数据平台,只需要在服务代理模块中针对不同的平台进行相应的配置即可。
进一步的,所述保护装置还包括鉴权模块、账号管理模块、元数据存储模块、安全管理模块和基础服务模块,
鉴权模块:根据认证模块的权限控制模型和设置的策略对访问请求执行最后的判断,即是否有权执行,判断成功则通过该次请求,否则返回失败信息,鉴权模块是对认证模块的补充,鉴权模块将权限控制模型及策略和最终执行的动作进行了分离,便于认证模块动态扩展;
账号管理模块:提供认证模块所需要的账户信息,提供对用户名的查询和修改操作,认证模块在确认一个主体身份时,向账号管理模块查询,账号管理模块返回用户是否合法的信息;通过账号管理模块可以使认证模块兼容不同的生产环境,当生产环境发生改变时,只需要适配原生产环境,将账户信息同步到账号管理模块即可;
元数据存储模块:提供除用户账户信息外系统运行所需要的数据存储功能,比如鉴权模块的持久化保存、系统管理员的密钥管理等;
安全管理模块:提供系统运行需要的安全功能接口,比如用户和保护装置之间通过HTTPS访问,系统内各模块之间的加密通信等;
基础服务模块:提供上述各模块需要的公共接口,比如提供对URL进行解析的接口,通过该接口可以获取URL中的参数从而获取访问请求的认证身份、访问目标等信息。
进一步的,所述外部认证模块采用ApacheShiro认证框架,认证域采用OpenLDAP,内部认证模块采用Kerberos认证机制。
进一步的,所述服务层授权模块的策略采用ACL方式,细粒度授权模块针对不同的组件采用统一的“用户-资源-权限”策略模型。
进一步的,所述用户在访问被保护大数据平台的过程中认证身份和授权身份分离,即内部认证模块中其认证身份采用代理身份进行认证,授权模块中授权身份则采用其通过保护装置认证时的身份。一种部署于网关处的大数据平台保护装置的保护方法,其特征在于,通过防火墙和网络分割的方式将被保护大数据平台隔离起来,只允许特定的机器能够访问被保护大数据平台,然后在特定机器处设置代理服务,通过代理服务代理对被保护大数据平台的所有访问请求,包括如下步骤:
S1:启动被保护大数据平台,根据被保护大数据平台的组件及平台信息在保护装置中进行相应配置;
S2:保护装置根据S1中的配置启动服务代理模块中相应的插件服务;
S3:通过基础服务模块对用户的访问请求进行解析,获取访问请求的认证身份、访问目标和访问资源等信息;
S4:外部认证模块首先对访问请求进行身份认证,如果在认证域中存在,则进一步确认该认证身份是否拥有其所要访问资源的访问权限;
S5:通过外部认证模块认证和授权模块的权限检查后,内部认证模块负责该访问请求与被保护大数据平台后续通信的认证工作,内部认证过程对于用户而言是透明的;
S6:根据访问请求需要访问的组件,服务代理模块中对应的插件对该访问请求进行进一步解析,并对该访问请求进行URL映射,然后使用映射后的URL对被保护大数据平台发起访问;
S7:插件在接收到来自被保护大数据平台内部的响应后,调用数据保护模块对被保护大数据平台返回的数据中的敏感数据进行脱敏,然后将脱敏后的数据返回给用户。
进一步的,所述S3和S4中的认证操作均在被保护大数据平台外部进行。
进一步的,所述S5中,内部认证过程中所有用户采用的均为服务代理的身份。
进一步的,所述S6中,服务代理模块采用插件链的方式,一个访问请求依次被传递至与该访问请求相关的插件进行处理,直到插件链的末尾。
本发明的保护方法不需要修改被保护大数据平台原有的代码,只需要对被保护大数据平台进行适当的配置即可实现对大数据平台的安全保护,并可同时对多种大数据平台进行保护,适用范围广。
本发明的有益效果如下:
1、本发明采用盒子式的保护装置,在大数据平台外部对平台进行保护,不需要替换原生的大数据平台组件,是非侵入式的保护方法,即使被保护大数据平台内部的组件发生改变,例如增加和删除组件或对大数据平台进行升级等,保护装置也不需要进行改变,即本发明的保护装置与被保护大数据平台之间是解耦的;而目前现有技术中,如果大数据平台发生改变,则需要重新对平台进行配置,本发明相比于已有的侵入式保护方式来说,应用场景更加广泛,可扩展性强。
2、由于大数据平台组件众多且独立,现有技术大多是在每个组件中嵌入一个安全管理插件,采用传统的安全保护方案对该组件进行保护,然后设置集中的安全管理组件对所有的安全插件进行管控,而本发明是对大数据平台的所有组件进行抽象,将其统一接口,然后在大数据平台外部,在网关处针对流量进行分析,从而通过集中管控的方式来达到保护大数据平台的目的,可以实现单点登录和集中授权管控,更容易实现敏感数据的保护。
3、本发明的方法能够同时在认证、授权、审计和数据保护四个维度对大数据平台进行安全防护,可有效防止存在漏洞的大数据平台被黑客攻击利用。
附图说明
图1是本发明的总体框架图。
图2是本发明的网络部署示意图。
图3是实施例2中服务发现示意图。
图4是实施例2中认证访问示意图。
图5是实施例2中捕获通信流量包示意图。
图6是实施例2中脱敏后敏感文件示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明,下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1
如图1所示,本实施例提供一种部署于网关处的大数据平台保护装置,包括认证模块、授权模块、安全审计模块、服务代理模块、数据保护模块、鉴权模块、账号管理模块、元数据存储模块、安全管理模块和基础服务模块,
认证模块:通过权限控制模型在网关处对访问请求进行身份认证,所述认证模块包括外部认证模块和内部认证模块,外部认证模块负责用户和保护装置之间的身份认证,内部认证模块负责保护装置和被保护的大数据平台之间的身份认证;
所述外部认证模块采用ApacheShiro认证框架,认证域采用OpenLDAP,内部认证模块采用Kerberos认证机制;
授权模块:在网关处集中对保护装置内的合法用户进行相应的授权操作,所述授权模块包括服务层授权模块和细粒度授权模块,服务层授权模块负责对被保护大数据平台内组件服务层面的授权管理,细粒度授权模块负责对被保护大数据平台内的组件具体资源采用基于角色的授权管理;
所述服务层授权模块的策略采用ACL方式,细粒度授权模块针对不同的组件采用统一的“用户-资源-权限”策略模型;
所述用户在访问被保护大数据平台的过程中认证身份和授权身份分离,即内部认证模块中其认证身份采用代理身份进行认证,授权模块中授权身份则采用其通过保护装置认证时的身份;
服务代理模块:在网关处对用户的访问请求进行转发,服务代理模块包括与被保护大数据平台的每一个组件一一对应的插件,所述插件负责对访问请求进行URL映射,并向被保护大数据平台发送转换后的访问请求进行响应;所述URL映射具体为:将对网关的访问API转换为对相应组件进行访问的API;
数据保护模块:在网关处对返回给用户的数据进行敏感数据脱敏操作,脱敏操作的方式包括但不限于采用掩码的方式;
安全审计模块:记录用户对被保护大数据平台的所有访问请求;
鉴权模块:根据认证模块的权限控制模型和设置的策略对访问请求执行最后的判断,即是否有权执行,判断成功则通过该次请求,否则返回失败信息,鉴权模块是对认证模块的补充,鉴权模块将权限控制模型及策略和最终执行的动作进行了分离,便于认证模块动态扩展;
账号管理模块:提供认证模块所需要的账户信息,提供对用户名的查询和修改操作,认证模块在确认一个主体身份时,向账号管理模块查询,账号管理模块返回用户是否合法的信息;通过账号管理模块可以使认证模块兼容不同的生产环境,当生产环境发生改变时,只需要适配原生产环境,将账户信息同步到账号管理模块即可;
元数据存储模块:提供除用户账户信息外系统运行所需要的数据存储功能,比如鉴权模块的持久化保存、系统管理员的密钥管理等;
安全管理模块:提供系统运行需要的安全功能接口,比如用户和保护装置之间通过HTTPS访问,系统内各模块之间的加密通信等;
基础服务模块:提供上述各模块需要的公共接口,比如提供对URL进行解析的接口,通过该接口可以获取URL中的参数从而获取访问请求的认证身份、访问目标等信息。
用户需要访问被保护大数据平台时,采用保护装置的API进行访问,部署在网关处的保护装置在接收到访问请求时,外部认证模块首先对该访问请求进行身份认证,认证通过则对该访问请求进行解析,从授权模块中获取相应的授权信息,确保该访问请求拥有其访问资源的访问权限;
通过服务层授权模块和细粒度授权模块检查后,服务代理模块对该访问请求进行进一步解析,确定其需要访问的被保护大数据平台组件,然后启用相应插件,对该访问请求进行URL映射,转换成功后该插件向被保护大数据平台内部发出转换后的访问请求;
内部授权模块对被保护大数据平台和插件之间的通信进行身份认证,认证成功后访问请求被被保护大数据平台执行,随后返回该访问请求的响应结果,插件在接收到来自被保护大数据平台的响应结果后,调用数据保护模块对响应结果中的敏感数据进行脱敏,脱敏成功后将结果返回给用户;用户访问被保护大数据平台的过程通过安全审计模块进行记录。
本实施例中,对于用户访问被保护大数据平台的请求,其相关认证、授权、审计和数据保护等操作都是在被保护大数据平台的外部进行的,通过网关的方式在外部进行集中的认证和授权管理操作;并且对于不同的大数据平台而言,本实施例的保护装置可以同时保护多个不同的大数据平台,只需要在服务代理模块中针对不同的平台进行相应的配置即可。一种部署于网关处的大数据平台保护装置的保护方法,通过防火墙和网络分割的方式将被保护大数据平台隔离起来,只允许特定的机器能够访问被保护大数据平台,然后在特定机器处设置代理服务,通过代理服务代理对被保护大数据平台的所有访问请求,包括如下步骤:
S1:启动被保护大数据平台,根据被保护大数据平台的组件及平台信息在保护装置中进行相应配置;
S2:保护装置根据S1中的配置启动服务代理模块中相应的插件服务;
S3:通过基础服务模块对用户的访问请求进行解析,获取访问请求的认证身份、访问目标和访问资源等信息;
S4:外部认证模块首先对访问请求进行身份认证,如果在认证域中存在,则进一步确认该认证身份是否拥有其所要访问资源的访问权限;
S5:通过外部认证模块认证和授权模块的权限检查后,内部认证模块负责该访问请求与被保护大数据平台后续通信的认证工作,内部认证过程对于用户而言是透明的;
S6:根据访问请求需要访问的组件,服务代理模块中对应的插件对该访问请求进行进一步解析,并对该访问请求进行URL映射,然后使用映射后的URL对被保护大数据平台发起访问;
S7:插件在接收到来自被保护大数据平台内部的响应后,调用数据保护模块对被保护大数据平台返回的数据中的敏感数据进行脱敏,然后将脱敏后的数据返回给用户。
所述S3和S4中的认证操作均在被保护大数据平台外部进行,所述S5中,内部认证过程中所有用户采用的均为服务代理的身份,所述S6中,服务代理模块采用插件链的方式,一个访问请求依次被传递至与该访问请求相关的插件进行处理,直到插件链的末尾。
本发明的保护方法不需要修改被保护大数据平台原有的代码,只需要对被保护大数据平台进行适当的配置即可实现对大数据平台的安全保护,并可同时对多种大数据平台进行保护,适用范围广。
实施例2
本实施例在实施例1的基础之上以保护Hadoop平台为例,进行详细说明,具体是:
如图2所示,实验环境总共包含3台服务器,其中保护装置部署在服务器1上,大数据平台则部署在服务器2和服务器3上,其中服务器2为Hadoop平台的管理节点,服务器3则为工作节点。保护装置所在的服务器1包括两个IP地址,一个外网IP地址和一个内网IP地址,外网IP地址对用户可见,用户通过该外网IP地址访问大数据安全监控平台,本实施例的大数据安全监控平台为部署了实施例1中的保护装置的平台,而内网IP地址为大数据安全监控平台与大数据平台之间的通信IP,图2中Rq表示一个访问请求,Rp表示Rq对应的响应,实验环境具体硬件环境配置如表1所示:
表1
此外,为了便于实验,上述实验环境中部署的Hadoop平台版本为CDH5.9.0,CDH(Cloudera’s Distribution Including Apache Hadoop)是Cloudera公司开发的一个快速部署和高效管理Hadoop平台的一个商业化产品,主要分为两部分,分别为ClouderaManager和CDH软件包。其中Cloudera Manager负责集群的部署与管理;CDH软件包囊括了Hadoop各类的组件的安装包,例如Hive、HDFS、Yarn等。大数据安全监控平台部署的服务器的操作系统为CentOS7,测试环境具体的软件配置如表2所示:
项目 版本
操作系统 CentOS 7server
CDH软件包 CDH5.9.0
Cloudera Manager版本 5.9
JDK jdk1.8.0_25
Knox 0.9.0
LDAP OpenLDAP2.4
表2
实验过程如下:
1、服务发现
在启用保护装置后,使用nmap对部署了Hadoop平台的机器进行扫描,测试命令为:nmap-T4-p 50070,50075,50090-A-v 10.59.13.233。测试结果如图3所示,nmap无法扫描到HDFS开放的端口及相应的服务,Hadoop平台对于用户而言是不可见的;
2、用户冒充访问任意文件
在启用保护装置后,用户对大数据平台的所有访问都由防护系统代理执行,用户对于大数据平台的任何访问都需要通过认证,如图4所示,用户需要输入合法的用户名和密码才能访问user1.txt文件,攻击者无法冒充任意用户对HDFS中的文件进行访问;
3、嗅探嗅探HDFS通信
在启用大数据安全监控平台后,用户与后台代理之间通过SSH访问,无法再获取到明文传输的数据包。如图5所示,攻击者使用Wireshark对用户访问test.csv文件的通信过程进行分析,无法读取到有效的数据内容,此外,大数据安全监控平台会对文件中的敏感数据进行脱敏操作,合法用户在下载test.csv文件后读取到的实际文件内容如图6所示。
原生的Hadoop平台存在着许多问题,本实施例的保护方法可以有效对底层的平台进行安全防护,能够满足绝大多数应用场景的安全需求,原生的Hadoop平台安全防护能力与本实施例的保护装置的安全防护能力的对比如表3所示:
表3
由上表可看出,本实施例能够同时在认证、授权、审计和数据保护四个维度对大数据平台进行安全防护,可有效防止存在漏洞的大数据平台被黑客攻击利用。
以上所述,仅为本发明的较佳实施例,并不用以限制本发明,本发明的专利保护范围以权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。

Claims (9)

1.一种部署于网关处的大数据平台保护装置,其特征在于,包括认证模块、授权模块、安全审计模块、服务代理模块和数据保护模块,
认证模块:通过权限控制模块在网关处对访问请求进行身份认证,所述认证模块包括外部认证模块和内部认证模块,外部认证模块负责用户和保护装置之间的身份认证,内部认证模块负责保护装置和被保护的大数据平台之间的身份认证;
授权模块:在网关处集中对保护装置内的合法用户进行相应的授权操作,所述授权模块包括服务层授权模块和细粒度授权模块,服务层授权模块负责对被保护大数据平台内组件服务层面的授权管理,细粒度授权模块负责对被保护大数据平台内的组件具体资源采用基于角色的授权管理;
服务代理模块:在网关处对用户的访问请求进行转发,服务代理模块包括与被保护大数据平台的每一个组件一一对应的插件,所述插件负责对访问请求进行URL映射,并向被保护大数据平台发送转换后的访问请求进行响应;
数据保护模块:在网关处对返回给用户的数据进行敏感数据脱敏操作;
安全审计模块:记录用户对被保护大数据平台的所有访问请求。
2.根据权利要求1所述的一种部署于网关处的大数据平台保护装置,其特征在于:所述保护装置还包括鉴权模块、账号管理模块、元数据存储模块、安全管理模块和基础服务模块,
鉴权模块:根据认证模块的权限控制模型和设置的策略对访问请求执行最后的判断;
账号管理模块:提供认证模块所需要的账户信息,提供对用户名的查询和修改操作;
元数据存储模块:提供除用户账户信息外保护装置运行所需要的数据存储功能;
安全管理模块:提供保护装置运行需要的安全功能接口;
基础服务模块:提供上述各模块需要的公共接口。
3.根据权利要求1所述的一种部署于网关处的大数据平台保护装置,其特征在于:所述外部认证模块采用ApacheShiro认证框架,认证域采用OpenLDAP,内部认证模块采用Kerberos认证机制。
4.根据权利要求1所述的一种部署于网关处的大数据平台保护装置,其特征在于:所述服务层授权模块的策略采用ACL方式,细粒度授权模块针对不同的组件采用统一的“用户-资源-权限”策略模型。
5.根据权利要求1所述的一种部署于网关处的大数据平台保护装置,其特征在于:所述用户在访问被保护大数据平台的过程中认证身份和授权身份分离,即内部认证模块中其认证身份采用代理身份进行认证,授权模块中授权身份则采用其通过保护装置认证时的身份。
6.一种部署于网关处的大数据平台保护装置的保护方法,其特征在于,包括如下步骤:
S1:启动被保护大数据平台,根据被保护大数据平台的组件及平台信息在保护装置中进行相应配置;
S2:保护装置根据S1中的配置启动服务代理模块中相应的插件服务;
S3:对用户的访问请求进行解析,获取访问请求的认证身份、访问目标和访问资源等信息;
S4:外部认证模块首先对访问请求进行身份认证,如果在认证域中存在,则进一步确认该认证身份是否拥有其所要访问资源的访问权限;
S5:通过外部认证模块认证和授权模块的权限检查后,内部认证模块负责该访问请求与被保护大数据平台后续通信的认证工作;
S6:根据访问请求需要访问的组件,服务代理模块中对应的插件对该访问请求进行进一步解析,并对该访问请求进行URL映射,然后使用映射后的URL对被保护大数据平台发起访问;
S7:插件在接收到来自被保护大数据平台内部的响应后,调用数据保护模块对被保护大数据平台返回的数据中的敏感数据进行脱敏,然后将脱敏后的数据返回给用户。
7.根据权利要求6所述的一种部署于网关处的大数据平台保护装置的保护方法,其特征在于:所述S3和S4中的认证操作均在被保护大数据平台外部进行。
8.根据权利要求6所述的一种部署于网关处的大数据平台保护装置的保护方法,其特征在于:所述S5中,内部认证过程中所有用户采用的均为服务代理的身份。
9.根据权利要求6所述的一种部署于网关处的大数据平台保护装置的保护方法,其特征在于:所述S6中,服务代理模块采用插件链的方式,一个访问请求依次被传递至与该访问请求相关的插件进行处理,直到插件链的末尾。
CN201811167469.9A 2018-10-08 2018-10-08 一种部署于网关处的大数据平台保护装置及其保护方法 Pending CN109150908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811167469.9A CN109150908A (zh) 2018-10-08 2018-10-08 一种部署于网关处的大数据平台保护装置及其保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811167469.9A CN109150908A (zh) 2018-10-08 2018-10-08 一种部署于网关处的大数据平台保护装置及其保护方法

Publications (1)

Publication Number Publication Date
CN109150908A true CN109150908A (zh) 2019-01-04

Family

ID=64810497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811167469.9A Pending CN109150908A (zh) 2018-10-08 2018-10-08 一种部署于网关处的大数据平台保护装置及其保护方法

Country Status (1)

Country Link
CN (1) CN109150908A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138779A (zh) * 2019-05-16 2019-08-16 全知科技(杭州)有限责任公司 一种基于多协议反向代理的Hadoop平台安全管控方法
CN110334489A (zh) * 2019-07-12 2019-10-15 广州大白互联网科技有限公司 一种统一身份认证系统和方法
CN111931218A (zh) * 2020-09-22 2020-11-13 安徽长泰信息安全服务有限公司 一种用于客户端数据安全防护装置和防护方法
CN112115482A (zh) * 2020-09-16 2020-12-22 安徽长泰信息安全服务有限公司 一种基于大数据的用于保护数据的数据安全监控系统
CN112165455A (zh) * 2020-09-04 2021-01-01 杭州安恒信息技术股份有限公司 数据访问控制方法、装置、计算机设备和存储介质
CN112217790A (zh) * 2020-09-02 2021-01-12 浪潮云信息技术股份公司 一种Kubernetes认证和授权功能的实现方法及系统
CN112491867A (zh) * 2020-11-24 2021-03-12 北京航空航天大学 一种基于会话相似性分析的ssh中间人攻击检测系统
CN113282628A (zh) * 2021-06-09 2021-08-20 支付宝(杭州)信息技术有限公司 大数据平台访问方法、装置及大数据平台、电子设备
CN113849562A (zh) * 2021-09-16 2021-12-28 支付宝(杭州)信息技术有限公司 一种接入外部服务系统的方法和装置
CN115277233A (zh) * 2022-08-01 2022-11-01 合肥城市云数据中心股份有限公司 一种基于数据可视化插件的混合云服务平台及其访问方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127920A (ko) * 2015-04-28 2016-11-07 배종옥 싸이버 빅데이터 거래시스템 및 방법
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理系统与方法
CN108337104A (zh) * 2017-12-16 2018-07-27 国网信通亿力科技有限责任公司 大数据平台安全防护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127920A (ko) * 2015-04-28 2016-11-07 배종옥 싸이버 빅데이터 거래시스템 및 방법
CN106202452A (zh) * 2016-07-15 2016-12-07 复旦大学 大数据平台的统一数据资源管理系统与方法
CN108337104A (zh) * 2017-12-16 2018-07-27 国网信通亿力科技有限责任公司 大数据平台安全防护方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘鸿霞、李建清、张锐卿: ""立体动态的大数据安全防护体系架构研究"", 《信息网络安全》 *
张锐卿、汤泰鼎、万可: ""大数据环境下细粒度的访问控制与审计管理"", 《信息安全研究》 *
陈丽、黄晋、王锐: ""Hadoop大数据平台安全问题和解决方案的综述"", 《计算机系统应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138779A (zh) * 2019-05-16 2019-08-16 全知科技(杭州)有限责任公司 一种基于多协议反向代理的Hadoop平台安全管控方法
CN110334489A (zh) * 2019-07-12 2019-10-15 广州大白互联网科技有限公司 一种统一身份认证系统和方法
CN112217790A (zh) * 2020-09-02 2021-01-12 浪潮云信息技术股份公司 一种Kubernetes认证和授权功能的实现方法及系统
CN112165455A (zh) * 2020-09-04 2021-01-01 杭州安恒信息技术股份有限公司 数据访问控制方法、装置、计算机设备和存储介质
CN112115482A (zh) * 2020-09-16 2020-12-22 安徽长泰信息安全服务有限公司 一种基于大数据的用于保护数据的数据安全监控系统
CN111931218A (zh) * 2020-09-22 2020-11-13 安徽长泰信息安全服务有限公司 一种用于客户端数据安全防护装置和防护方法
CN112491867A (zh) * 2020-11-24 2021-03-12 北京航空航天大学 一种基于会话相似性分析的ssh中间人攻击检测系统
CN113282628A (zh) * 2021-06-09 2021-08-20 支付宝(杭州)信息技术有限公司 大数据平台访问方法、装置及大数据平台、电子设备
CN113849562A (zh) * 2021-09-16 2021-12-28 支付宝(杭州)信息技术有限公司 一种接入外部服务系统的方法和装置
CN115277233A (zh) * 2022-08-01 2022-11-01 合肥城市云数据中心股份有限公司 一种基于数据可视化插件的混合云服务平台及其访问方法
CN115277233B (zh) * 2022-08-01 2024-03-29 合肥城市云数据中心股份有限公司 一种基于数据可视化插件的混合云服务平台及其访问方法

Similar Documents

Publication Publication Date Title
CN109150908A (zh) 一种部署于网关处的大数据平台保护装置及其保护方法
Razouk et al. A new security middleware architecture based on fog computing and cloud to support IoT constrained devices
US8683607B2 (en) Method of web service and its apparatus
US8566919B2 (en) Distributed web application firewall
US11457040B1 (en) Reverse TCP/IP stack
Zhong et al. Distributed blockchain‐based authentication and authorization protocol for smart grid
CN105516980A (zh) 一种基于Restful架构的无线传感器网络令牌认证方法
CN102811225B (zh) 一种ssl中间代理访问web资源的方法及交换机
Jabraeil Jamali et al. IoT security
CN115996122A (zh) 访问控制方法、装置及系统
US11601431B2 (en) Split-tiered point-to-point inline authentication architecture
CN104243488B (zh) 一种跨网站服务器的登录认证方法
Szczepaniuk et al. Cybersecurity management within the internet of things
De Backere et al. Design of a security mechanism for RESTful Web Service communication through mobile clients
Chadwick Threat modelling for active directory
CN109962902A (zh) 一种防网络追踪及实现匿名安全访问的方法及系统
Kleberger et al. Securing vehicle diagnostics in repair shops
Burmester et al. Towards a secure electricity grid
Zhao et al. Multi-tier security feature modeling for service-oriented application integration
Abedi et al. Improving Resilience of Future Mobile Network Generations Implementing Zero Trust Paradigm
Tu et al. A Blockchain‐Enabled Trusted Protocol Based on Whole‐Process User Behavior in 6G Network
CN108833395A (zh) 一种基于硬件接入卡的外网接入认证系统及认证方法
CN111818057B (zh) 一种网络配置数据中继分发传输系统及方法
Zhao et al. Constructing authentication Web in cloud computing
US20230054201A1 (en) Edge-based enterprise network security appliance and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104