CN107818268A - 大数据平台的访问控制方法及服务器 - Google Patents

大数据平台的访问控制方法及服务器 Download PDF

Info

Publication number
CN107818268A
CN107818268A CN201711128202.4A CN201711128202A CN107818268A CN 107818268 A CN107818268 A CN 107818268A CN 201711128202 A CN201711128202 A CN 201711128202A CN 107818268 A CN107818268 A CN 107818268A
Authority
CN
China
Prior art keywords
node device
request
access
information
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711128202.4A
Other languages
English (en)
Inventor
许丹丹
刘颖慧
刘静沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201711128202.4A priority Critical patent/CN107818268A/zh
Publication of CN107818268A publication Critical patent/CN107818268A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种大数据平台的访问控制方法及服务器，该方法包括：通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，对访问请求进行解析，获得对应的服务请求；根据服务请求，对用户的访问权限进行匹配；若匹配结果为成功，则向客户端设备返回访问结果信息。使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务。

Description

大数据平台的访问控制方法及服务器
技术领域
本申请涉及通信技术领域，尤其涉及一种大数据平台的访问控制方法及服务器。
背景技术
随着网络技术的飞速发展，电子商务、社交网络、物联网、云计算以及移动互联网全面普及，各种各样的数据资源正呈现爆发性、多样性的增长态势，大数据时代悄然来临。
大数据平台成为当前的热门研究对象，而基于各种服务器集群进行大数据处理成为支撑大数据平台的必不可少的技术之一。为了便于用户开发，Hadoop分布式基础架构进入开发商的开发工作中，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。基于Hadoop分布式基础架构的服务器集群(以下简称Hadoop集群)逐渐成为大数据处理的重要手段之一。
现有技术中，Hadoop集群中分布式hdfs(Hadoop Distributed File System，Hadoop分布式文件系统)文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问。
发明内容
本申请提供一种大数据平台的访问控制方法及服务器，以解决现有技术Hadoop集群中分布式hdfs文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
本申请第一个方面提供一种大数据平台的访问控制方法，包括：
通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，所述抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口；
对所述访问请求进行解析，获得对应的服务请求，所述服务请求包括用户信息和请求命令；
根据所述服务请求，对所述用户的访问权限进行匹配；
若匹配结果为成功，则向所述客户端设备返回访问结果信息。
本申请的另一个方面提供一种服务器，包括：
接收模块，用于通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，所述抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口；
解析模块，用于对所述访问请求进行解析，获得对应的服务请求，所述服务请求包括用户信息和请求命令；
匹配模块，用于根据所述服务请求，对所述用户的访问权限进行匹配；
发送模块，用于若匹配结果为成功，则向所述客户端设备返回访问结果信息。
本申请提供的大数据平台的访问控制方法及服务器，通过在Hadoop集群中的节点设备部署DPWS框架，建立一个高度抽象接口，使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务，解决了现有技术中，Hadoop集群中分布式hdfs文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的大数据平台的访问控制方法的流程示意图；
图2为本申请一实施例提供的在Hadoop集群部署DPWS框架的结构示意图；
图3为本申请一实施例提供的节点设备自动发现的效果示意图；
图4为本申请一实施例提供的集群节点设备发布详细属性效果示意图；
图5为本申请一实施例提供的大数据平台访问登录界面效果示意图；
图6为本申请一实施例提供的大数据平台可视化服务界面效果示意图；
图7为本申请一实施例提供的服务器的结构示意图；
图8为本申请另一实施例提供的服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请所涉及的名词进行解释：
Hadoop集群：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称hdfs。hdfs有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(largedata set)的应用程序。hdfs放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。Hadoop集群即为基于Hadoop的服务器集群。可以包括主节点设备(主服务器)和从节点设备(从服务器)，用于支持大数据平台的数据存储及服务或访问数据处理等。Hadoop的框架最核心的设计就是：hdfs和MapReduce。hdfs为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
DPWS：Device Profile for Web Services，是关于网络设备的一个Web服务协议精简子集。为提高设备之间的协作性，它提供了对常见的设计问题的详细解决方法，定义了传输消息的概要格式和技术细节。
本申请技术方案的适用场景：大数据平台的技术支撑Hadoop集群分别在主节点设备、从节点设备部署服务，以集群中各节点设备为载体，在设备上线的同时发布顶层大数据平台的访问地址。在B/S架构的Server侧，将Hadoop各节点设备嵌入DPWS技术框架，设备正常工作后，会在局域网内所有网络设备中自动显示发布服务的设备信息，其中包括Hadoop集群中各节点设备的设备名称、设备属性、制造商名称、制造商地址、型号、类型、mac地址等属性信息。该节点设备的属性信息和开发阶段自定义的信息相一致。Hadoop集群中各节点设备进行首次部署后，在设备离网、入网状态更新时，无需进行其余操作，会在局域网内其他电脑(终端设备)进行状态同步更新。基于DPWS技术实现了Hadoop集群中各节点设备的即插即用、自动发布服务的功能。Hadoop集群中各节点设备可以包括主节点设备、一个或多个从节点设备，主节点设备负责管理服务的分配和服务与从节点设备的映射关系，从节点设备负责提供具体的服务。在客户端设备的浏览器页面可以显示各服务的选项按钮，具体可以目录树的形式显示，比如hdfs文件目录、下可设置对文件目录的查询、修改、删除等选项，或者对更细的数据的修改等，比如点击某一文件的删除选项，用户通过在客户端设备的浏览器界面点击按钮向Hadoop集群主节点设备发送访问请求。需要说明的是，Hadoop集群外的客户端设备必须与Hadoop集群处于同一局域网内，并且在其联网状态下才可发现大数据平台的可视化入口，并且不能对Hadoop集群做一些禁止外部发现的设置，比如防火墙等。
实施例一
本实施例提供一种大数据平台的访问控制方法，用于控制Hadoop集群外的客户端设备自动发现大数据平台，并通过可视化的浏览器界面访问大数据平台。本实施例的执行主体为Hadoop集群中的主节点设备，该主节点设备可以为服务器。
如图1所示，为本实施例提供的大数据平台的访问控制方法的流程示意图，该方法包括：
步骤101，通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求。
其中，抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口。
步骤102，对访问请求进行解析，获得对应的服务请求，服务请求包括用户信息和请求命令。
步骤103，根据服务请求，对用户的访问权限进行匹配。
步骤104，若匹配结果为成功，则向客户端设备返回访问结果信息。
具体的，Hadoop集群中每个节点设备均需要部署DPWS框架，流程如下：
如图2所示，为本实施例提供的在Hadoop集群部署DPWS框架的结构示意图。
一、设备层
1、设备描述：设备描述提供各节点设备(包括主节点设备和从节点设备)基本信息，在各节点设备上线时同时进行公布，主节点设备通过发送一个WS-Transfer Get形式的请求消息，相应从节点设备接收请求后会返回自身的设备信息。其中包括ThisDevice和ThisModel，ThisDevice提供了一些配置设备的参数，例如设备的名字、UUID、固件版本、终端地址等。ThisModel包括了一些配置这个服务的特有信息，如服务的名字、访问地址URL等。可以理解地，也可以是集群中任一个节点设备担任上述主节点设备的功能，上述主从之分只是为了便于说明，并不是对其限制。
2.设备寻址：通过WS-Addressing协议提供了标识和描述端点信息以及将信息映射到SOAP消息头方法。它是一种传输中立的寻址方式，对于异步传输的SOAP消息传送，以UDP协议组播的方式进行传播。
3.设备发现：利用WS-Discovery协议解决设备发现问题，为了降低网络通信的负载，节点设备和服务的元数据信息在此协议中被压缩至最小。通过设定UUID格式的唯一标识码进行设备标识，进而发现网络设备。客户端也会使用Probe操作来准确发现其他设备的服务信息。当一个新设备加入网络后，整个设备发现过程基于UDP的数据传输方法，以组播的方式将自身的网络服务信息发布或搜索，解析并匹配设备独有UUID，以匹配步骤一设备描述中的描述信息。
二、数据层
数据层进行分布式文件存储，整个Hadoop集群是一个主从结构，由一个名字节点设备(主节点设备)和多个数据节点设备(从节点设备)构成，其中数据节点设备中以hdfs格式进行大规模数据集多块形式存储。
三、服务层
服务抽象：通过XML格式的WSDL描述文档进行定义，主要定义了接口(抽象接口)命名空间、接口的类型(字符串string型)、交互机制(双向request-response)、传递参数、返回类型、服务数量(应用serviceID区分不同服务)、服务名称(如Host services_GethdfsList)，如针对hdfs访问控制服务抽象为abstract Host services_GethdfsList(string request)。
设备在线监控服务：集群中各节点设备每次上下线都会以UDP组播形式发送Hello和Bye消息。通过hello，bye机制，订阅上下线事件，获取上线时间戳，设置心跳时间，进行持续性检测并显示在线设备，并以设备在线状态和上线时间为依据进行优先级排序、动态显示及刷新，针对离网节点设备进行弹窗显示。
hdfs访问控制服务：在浏览器broswer侧进行设备上线时间戳解析并以此进行优先级排序并显示相应在线设备后，在服务请求过程中：
第一步，远程用户通过客户端设备的浏览器点击大数据平台界面中的服务按钮，以字符串格式发送集群hdfs文件访问请求，如其中主信息字段<request>user：root；shell：hdfs-ls</request>；访问请求通过上述抽象接口发送给Hadoop集群的主节点设备。
第二步，通过高度抽象接口进行服务请求(service request)，在Hadoop集群主节点设备(DPWS服务器)侧接收访问请求，并在本地集群节点设备实例化服务实现(serviceimplementation)进行SOAP格式的主字段解析，得到机器能识别的相应的服务请求，如“root”、“hdfs-ls”。
第三步，本地集群将用户名如root用户和对应权限进行匹配，枚举法检测该用户是否具有“hdfs-ls”服务权限，若权限匹配成功，则shell命令实现hdfs文件查询，并将访问结果信息以字符串格式返回至broswer侧；若权限不匹配，则反馈访问失败信息，生成并存储相关用户访问日志信息；
第四步，远程DPWSbroswer侧进行hdfs文件在线显示，以供用户查看，以此实现访问单元和执行单元隔离式并行运行，进而达到访问控制。
通过上述流程，在服务设备侧实现大数据平台自动发现、自动发布服务、自动发布URL地址访问方式、在线设备监测、hdfs文件目录等功能抽象及服务调用，充分发挥Web的核心力量——URL，并将其扩展到Hadoop集群中的实际物体，它保障无需下载应用便可引导了其他入网终端设备利用浏览器访问大数据平台，并有效可视化化集群节点设备显示和Hadoop分布式文件系统-hdfs的文件显示。
示例性的，如图3-5所示，为本实施例客户端设备发现大数据平台到进入大数据平台服务可视化界面的效果示意图，其中，如图3所示，为本实施例提供的节点设备自动发现的效果示意图，如图4所示，为本实施例提供的集群节点设备发布详细属性效果示意图，如图5所示，为本实施例提供的大数据平台访问登录界面效果示意图。用户打开电脑，进入网络界面，在其他设备菜单下可以看到大数据平台的可视化入口(即图3所示)，通过点击可以查看设备网页、属性等信息，在属性选项界面可以看到开发阶段设置的设备描述信息(即图4所示)，点击设备网页链接即可进入大数据平台的登录界面(即图5所示)，用户可以注册，注册时，大数据平台会为用户设置比较上位的访问权限，而对于具体数据的访问权限则在数据侧进行设置。比如用户在大数据平台界面点击登录会跳转至相应的注册界面，其中根据注册界面用户完善的信息情况(如基本情况信息、所属领域、工作单位、申请资源)进行用户权限等级初分类(如增、删、改、查类别)并反馈用户名及密码。
若用户已经注册，则输入用户名及密码再点击登录即可进入大数据平台服务的可视化界面，如图6所示，为本实施例提供的大数据平台可视化服务界面效果示意图。通过点击界面中的各按钮，即可触发发送访问请求。
本实施例提供的大数据平台的访问控制方法，通过在Hadoop集群中的节点设备部署DPWS框架，建立一个高度抽象接口，使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务，解决了现有技术中，Hadoop集群中分布式hdfs(HadoopDistributed File System，Hadoop分布式文件系统)文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
实施例二
本实施例对实施例一提供的大数据平台的访问控制方法做进一步补充说明。
在上述实施例一的基础上，可选地，若匹配结果为失败，则向客户端设备返回访问失败的信息；生成并存储用户访问日志信息。
具体的，当用户要访问的数据并不能与该用户的权限相匹配时，则向客户端设备返回访问失败的信息，并且生成用户访问日志信息，该用户访问日志信息具体可包括访问时间、具体操作(删除、查询、修改等)、用户名、密码等信息。
可选地，在步骤102之后，在步骤103之前或在步骤103之后或在步骤103的同时，该方法还可以包括：根据服务请求，确定对应的响应服务请求的一个或多个目标从节点设备。
则步骤104具体可以包括：若匹配结果为成功，则接收各目标从节点设备执行请求命令后反馈的执行结果信息；根据执行结果信息，生成访问结果信息；将访问结果信息返回给客户端设备。
具体的，由于一个访问请求的响应处理可能需要多个从节点设备，因此，主节点设备(服务器)在对访问请求进行解析，获得对应的服务请求之后，可以根据服务请求，确定对应的响应该服务请求的一个或多个目标从节点设备，当匹配结果为成功时，这个或这些目标从节点设备则执行服务请求中包含的请求命令，并向主节点设备返回执行结果信息，主节点设备则将各目标从节点设备返回的执行结果信息组合在一起，生成访问结果信息并返回给客户端设备，以显示给用户。需要说明的是，主节点设备生成的访问结果信息需要转换成字符串格式返回至客户端设备，以使客户端设备将访问结果显示给用户。
可选地，根据服务请求，确定对应的响应服务请求的一个或多个目标从节点设备，具体可以包括：根据服务请求以及服务与从节点设备的通用唯一识别码UUID的映射关系，确定对应的响应服务请求的一个或多个目标从节点设备。
具体的，大数据平台可以提供的各项服务与Hadoop集群中各从节点设备的UUID具有映射关系，该映射关系可以是在开发阶段预先设置好的，对大数据平台对外提供的各项服务均分配了对应的一个或多个从节点设备进行服务请求的响应处理，当获得一个服务请求时，主节点设备则可以根据该服务请求以及服务与从节点设备的通用唯一识别码UUID的映射关系来确定对应的目标从节点服务器，当匹配结果为成功时，这个或这些目标从节点设备则执行服务请求中包含的请求命令，并向主节点设备返回执行结果信息，主节点设备则将各目标从节点设备返回的执行结果信息组合在一起，生成访问结果信息并返回给客户端设备，以显示给用户。
可选地，在步骤101之前，该方法还可以包括：
在Hadoop集群各节点设备上线时，向各从节点设备发送WS-Transfer Get形式的请求消息，以使各从节点设备根据请求消息反馈对应的设备信息，设备信息包括从节点设备的UUID；接收各从节点设备反馈的设备信息。
该步骤的具体操作以在上述实施例中进行了详细描述，在此不再赘述。
本实施例提供的大数据平台的访问控制方法，通过在Hadoop集群中的节点设备部署DPWS框架，建立一个高度抽象接口，使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务，解决了现有技术中，Hadoop集群中分布式hdfs(HadoopDistributed File System，Hadoop分布式文件系统)文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
实施例三
本实施例提供一种服务器，用于执行上述实施例一的大数据平台的访问控制方法，该服务器可以作为Hadoop集群中的主节点服务器。
如图7所示，为本实施例提供的服务器的结构示意图。该服务器30包括接收模块31、解析模块32、匹配模块33和发送模块34。
其中，接收模块31用于通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口；解析模块32用于对访问请求进行解析，获得对应的服务请求，服务请求包括用户信息和请求命令；匹配模块33用于根据服务请求，对用户的访问权限进行匹配；发送模块34用于若匹配结果为成功，则向客户端设备返回访问结果信息。
关于本实施例中的服务器，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例提供的服务器，通过在Hadoop集群中的节点设备部署DPWS框架，建立一个高度抽象接口，使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务，解决了现有技术中，Hadoop集群中分布式hdfs(Hadoop Distributed FileSystem，Hadoop分布式文件系统)文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
实施例四
本实施例对上述实施例三提供的服务器做进一步补充说明。
如图8所示，为本实施例提供的服务器的结构示意图。在上述实施例三的基础上，可选地，该服务器30还可以包括生成模块35、存储模块36和确定模块37。
可选地，发送模块34还用于若匹配结果为失败，则向客户端设备返回访问失败的信息；生成模块35用于生成用户访问日志信息；存储模块36用于存储用户访问日志信息。
可选地，确定模块37用于根据服务请求，确定对应的响应服务请求的一个或多个目标从节点设备；
则发送模块34可以包括接收子模块、生成子模块和发送子模块。
其中，接收子模块用于若匹配结果为成功，则接收各目标从节点设备执行请求命令后反馈的执行结果信息；生成子模块用于根据执行结果信息，生成访问结果信息；发送子模块用于将访问结果信息返回给客户端设备。
可选地，确定模块37具体可以用于根据服务请求以及服务与从节点设备的通用唯一识别码UUID的映射关系，确定对应的响应服务请求的一个或多个目标从节点设备。
可选地，发送模块34还用于在Hadoop集群各节点设备上线时，向各从节点设备发送WS-Transfer Get形式的请求消息，以使各从节点设备根据请求消息反馈对应的设备信息，设备信息包括从节点设备的UUID；接收模块31还用于接收各从节点设备反馈的设备信息。
关于本实施例中的服务器，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例的服务器，通过在Hadoop集群中的节点设备部署DPWS框架，建立一个高度抽象接口，使得Hadoop集群外的客户端设备只要入网即可自动发现可视化的大数据平台的入口，并可以通过可视化的浏览器点击发送访问请求，访问大数据平台提供的各种服务，解决了现有技术中，Hadoop集群中分布式hdfs(Hadoop Distributed File System，Hadoop分布式文件系统)文件访问方式为shell脚本时，访问设备必须为Hadoop集群中的节点设备，而不能被Hadoop集群外的终端设备访问的问题。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种大数据平台的访问控制方法，其特征在于，包括：
通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，所述抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口；
对所述访问请求进行解析，获得对应的服务请求，所述服务请求包括用户信息和请求命令；
根据所述服务请求，对所述用户的访问权限进行匹配；
若匹配结果为成功，则向所述客户端设备返回访问结果信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若匹配结果为失败，则向所述客户端设备返回访问失败的信息；
生成并存储用户访问日志信息。
3.根据权利要求2所述的方法，其特征在于，在对所述访问请求进行解析，获得对应的服务请求之后，所述方法还包括：
根据所述服务请求，确定对应的响应所述服务请求的一个或多个目标从节点设备；
则所述若匹配结果为成功，则向所述客户端设备返回访问结果信息，包括：
若匹配结果为成功，则接收各所述目标从节点设备执行所述请求命令后反馈的执行结果信息；
根据所述执行结果信息，生成访问结果信息；
将所述访问结果信息返回给所述客户端设备。
4.根据权利要求3所述的方法，其特征在于，所述根据所述服务请求，确定对应的响应所述服务请求的一个或多个目标从节点设备，包括：
根据所述服务请求以及服务与从节点设备的通用唯一识别码UUID的映射关系，确定对应的响应所述服务请求的一个或多个目标从节点设备。
5.根据权利要求4所述的方法，其特征在于，在通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求之前，所述方法还包括：
在Hadoop集群各节点设备上线时，向各从节点设备发送WS-Transfer Get形式的请求消息，以使各从节点设备根据所述请求消息反馈对应的设备信息，所述设备信息包括从节点设备的UUID；
接收各从节点设备反馈的设备信息。
6.一种服务器，其特征在于，包括：
接收模块，用于通过抽象接口获取Hadoop集群外的客户端设备发送的访问请求，所述抽象接口为在Hadoop集群中的节点设备部署DPWS框架建立的接口；
解析模块，用于对所述访问请求进行解析，获得对应的服务请求，所述服务请求包括用户信息和请求命令；
匹配模块，用于根据所述服务请求，对所述用户的访问权限进行匹配；
发送模块，用于若匹配结果为成功，则向所述客户端设备返回访问结果信息。
7.根据权利要求6所述的服务器，其特征在于，还包括生成模块和存储模块；
所述发送模块，还用于若匹配结果为失败，则向所述客户端设备返回访问失败的信息；
所述生成模块，用于生成用户访问日志信息；
所述存储模块，用于存储所述用户访问日志信息。
8.根据权利要求7所述的服务器，其特征在于，还包括：
确定模块，用于根据所述服务请求，确定对应的响应所述服务请求的一个或多个目标从节点设备；
则所述发送模块，包括：
接收子模块，用于若匹配结果为成功，则接收各所述目标从节点设备执行所述请求命令后反馈的执行结果信息；
生成子模块，用于根据所述执行结果信息，生成访问结果信息；
发送子模块，用于将所述访问结果信息返回给所述客户端设备。
9.根据权利要求8所述的服务器，其特征在于，所述确定模块，具体用于根据所述服务请求以及服务与从节点设备的通用唯一识别码UUID的映射关系，确定对应的响应所述服务请求的一个或多个目标从节点设备。
10.根据权利要求9所述的服务器，其特征在于所述发送模块，还用于在Hadoop集群各节点设备上线时，向各从节点设备发送WS-Transfer Get形式的请求消息，以使各从节点设备根据所述请求消息反馈对应的设备信息，所述设备信息包括从节点设备的UUID；
所述接收模块，还用于接收各从节点设备反馈的设备信息。
CN201711128202.4A 2017-11-15 2017-11-15 大数据平台的访问控制方法及服务器 Pending CN107818268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711128202.4A CN107818268A (zh) 2017-11-15 2017-11-15 大数据平台的访问控制方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711128202.4A CN107818268A (zh) 2017-11-15 2017-11-15 大数据平台的访问控制方法及服务器

Publications (1)

Publication Number Publication Date
CN107818268A true CN107818268A (zh) 2018-03-20

Family

ID=61609163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711128202.4A Pending CN107818268A (zh) 2017-11-15 2017-11-15 大数据平台的访问控制方法及服务器

Country Status (1)

Country Link
CN (1) CN107818268A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784721A (zh) * 2019-01-15 2019-05-21 东莞市友才网络科技有限公司 一种就业数据分析与数据挖掘分析的平台系统
CN110012016A (zh) * 2019-04-10 2019-07-12 山东师创云服务有限公司 混合云环境中资源访问控制的方法及系统
CN110348593A (zh) * 2019-05-29 2019-10-18 浙江陀曼云计算有限公司 生产预警方法、装置及系统
CN110545278A (zh) * 2019-09-05 2019-12-06 中国联合网络通信集团有限公司 工业互联网标识解析方法和系统
CN111026709A (zh) * 2019-12-10 2020-04-17 中盈优创资讯科技有限公司 基于集群访问的数据处理方法及装置
CN111314452A (zh) * 2020-02-11 2020-06-19 安超云软件有限公司 云手机的Shell访问方法、装置、设备及存储介质
CN112463171A (zh) * 2020-10-29 2021-03-09 苏州浪潮智能科技有限公司 一种基于大数据平台的客户端安装方法及电子设备
CN115168061A (zh) * 2022-09-09 2022-10-11 北京镜舟科技有限公司 一种计算存储分离方法、系统、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102640068A (zh) * 2009-09-09 2012-08-15 施奈德电气自动控制有限责任公司 配置基于soa的自动化设备和开发编制机的方法、在具有嵌入式服务编制引擎的面向服务的架构中的制造方法和制造系统
US20130278289A1 (en) * 2012-04-18 2013-10-24 Te-Tse Jang Method and Apparatus for Improving Efficiency of Programmable Logic Circuit Using Cascade Configuration
CN103733638A (zh) * 2011-06-15 2014-04-16 波音公司 可重构的网络使能的即插即用多功能处理和感测节点
CN103793204A (zh) * 2012-10-29 2014-05-14 顺软科技发展（大连）有限公司 基于云计算的数据分析系统src
CN106169963A (zh) * 2016-09-20 2016-11-30 北京百度网讯科技有限公司 服务页面的访问方法及系统、代理服务器
CN106961441A (zh) * 2017-04-06 2017-07-18 中国民航大学 一种用于Hadoop云平台的用户动态访问控制方法
CN107196951A (zh) * 2017-06-12 2017-09-22 北京明朝万达科技股份有限公司 一种hdfs系统防火墙的实现方法和防火墙系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102640068A (zh) * 2009-09-09 2012-08-15 施奈德电气自动控制有限责任公司 配置基于soa的自动化设备和开发编制机的方法、在具有嵌入式服务编制引擎的面向服务的架构中的制造方法和制造系统
CN103733638A (zh) * 2011-06-15 2014-04-16 波音公司 可重构的网络使能的即插即用多功能处理和感测节点
US20130278289A1 (en) * 2012-04-18 2013-10-24 Te-Tse Jang Method and Apparatus for Improving Efficiency of Programmable Logic Circuit Using Cascade Configuration
CN103793204A (zh) * 2012-10-29 2014-05-14 顺软科技发展（大连）有限公司 基于云计算的数据分析系统src
CN106169963A (zh) * 2016-09-20 2016-11-30 北京百度网讯科技有限公司 服务页面的访问方法及系统、代理服务器
CN106961441A (zh) * 2017-04-06 2017-07-18 中国民航大学 一种用于Hadoop云平台的用户动态访问控制方法
CN107196951A (zh) * 2017-06-12 2017-09-22 北京明朝万达科技股份有限公司 一种hdfs系统防火墙的实现方法和防火墙系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784721B (zh) * 2019-01-15 2021-01-26 广东度才子集团有限公司 一种就业数据分析与数据挖掘分析的平台系统
CN109784721A (zh) * 2019-01-15 2019-05-21 东莞市友才网络科技有限公司 一种就业数据分析与数据挖掘分析的平台系统
CN110012016A (zh) * 2019-04-10 2019-07-12 山东师创云服务有限公司 混合云环境中资源访问控制的方法及系统
CN110012016B (zh) * 2019-04-10 2021-04-27 山东师创云服务有限公司 混合云环境中资源访问控制的方法及系统
CN110348593A (zh) * 2019-05-29 2019-10-18 浙江陀曼云计算有限公司 生产预警方法、装置及系统
CN110545278A (zh) * 2019-09-05 2019-12-06 中国联合网络通信集团有限公司 工业互联网标识解析方法和系统
CN110545278B (zh) * 2019-09-05 2022-02-25 中国联合网络通信集团有限公司 工业互联网标识解析方法和系统
CN111026709A (zh) * 2019-12-10 2020-04-17 中盈优创资讯科技有限公司 基于集群访问的数据处理方法及装置
CN111026709B (zh) * 2019-12-10 2024-03-12 中盈优创资讯科技有限公司 基于集群访问的数据处理方法及装置
CN111314452A (zh) * 2020-02-11 2020-06-19 安超云软件有限公司 云手机的Shell访问方法、装置、设备及存储介质
CN111314452B (zh) * 2020-02-11 2022-08-26 安超云软件有限公司 云手机的Shell访问方法、装置、设备及存储介质
CN112463171A (zh) * 2020-10-29 2021-03-09 苏州浪潮智能科技有限公司 一种基于大数据平台的客户端安装方法及电子设备
CN115168061A (zh) * 2022-09-09 2022-10-11 北京镜舟科技有限公司 一种计算存储分离方法、系统、电子设备及存储介质
CN115168061B (zh) * 2022-09-09 2022-12-20 北京镜舟科技有限公司 一种计算存储分离方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107818268A (zh) 大数据平台的访问控制方法及服务器
Soni et al. API features individualizing of web services: REST and SOAP
KR101432128B1 (ko) Ｍ２ｍ 네트워크상에서의 리소스를 디바이스 오브젝트로 추상화하는 ｍ２ｍm 플랫폼
CN111600936B (zh) 一种适用于泛在电力物联网边缘终端的基于多容器的非对称处理系统
CN108984170A (zh) H5页面多语言渲染方法及装置
EP4177754A1 (en) Nhanced operations between service layer and management layer in an m2m system by allowing the execution of a plurality of commands on a plurality of devices
CN107211043B (zh) M2m数据处理方法、设备及系统
Bouloukakis et al. Automated synthesis of mediators for middleware-layer protocol interoperability in the IoT
CN109361550A (zh) 网络设备配置管理的方法、装置及设备
CN115118705B (zh) 一种基于微服务的工业边缘管控平台
CN113254233A (zh) 一种数据传输方法、装置、设备及可读存储介质
KR102260781B1 (ko) 사물 인터넷을 위한 명명 데이터 네트워킹 기반 에지 클라우드 컴퓨팅 통합 시스템
CN107577820A (zh) 数据处理的方法、设备及系统
CN109729183A (zh) 请求处理方法、装置、设备及存储介质
Chung et al. Design and implementation of light-weight smart home gateway for Social Web of Things
CN103488696A (zh) Cpe的业务查询方法、装置及系统、acs和cpe
CN116633775B (zh) 一种多容器网络接口的容器通信方法及系统
Di Martino et al. A semantic IoT framework to support RESTful devices' API interoperability
CN105071965B (zh) 一种网络设备的管理系统
Wang et al. CS-Man: Computation service management for IoT in-network processing
CN103944902B (zh) 实现业务聚合Mashup业务的方法、装置和设备
US11552868B1 (en) Collect and forward
Wang Mobile cloud computing
Zyrianoff et al. Two-way integration of service-oriented systems-of-systems with the web of things
KR20160103110A (ko) 네트워크 요소 데이터 액세스 방법, 액세스 장치, 및 네트워크 관리 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180320

RJ01 Rejection of invention patent application after publication