CN113158169A - 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备 - Google Patents

一种基于Hadoop集群的验证方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113158169A
CN113158169A CN202110343382.8A CN202110343382A CN113158169A CN 113158169 A CN113158169 A CN 113158169A CN 202110343382 A CN202110343382 A CN 202110343382A CN 113158169 A CN113158169 A CN 113158169A
Authority
CN
China
Prior art keywords
access request
hadoop cluster
access
information
identity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110343382.8A
Other languages
English (en)
Inventor
杨亮
李林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202110343382.8A priority Critical patent/CN113158169A/zh
Publication of CN113158169A publication Critical patent/CN113158169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication
    • G06F21/445Program or device authentication by mutual authentication, e.g. between devices or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本申请实施例公开了一种Hadoop集群的验证方法、装置、存储介质及电子设备,方法包括:获取访问Hadoop集群的访问请求;基于白名单数据库,验证所述访问请求对应的身份信息是否合法;若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。采用本申请可以保护在避免对现有Hadoop集群的服务做出任何修改的前提下,保护Hadoop集群的安全。

Description

一种基于Hadoop集群的验证方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于Hadoop集群的验证方法、装置、存储介质及电子设备。
背景技术
Hadoop是一个开发和运行处理大规模数据的软件平台及开源软件框架,Hadoop集群能够对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用Hadoop集群的高速运算和存储功能,以及通过Hadoop集群实现数量众多类型纷杂的应用程序和服务,比如离线作业,流式作业,迭代式作业等。然而,Hadoop开放式的特点决定了用户对Hadoop集群的任何访问都非常轻松,甚至对Hadoop集群进行修改或删除操作,都不会受到任何约束。
发明内容
本申请实施例提供了一种基于Hadoop集群的验证方法、装置、存储介质及电子设备,可以保护在避免对现有Hadoop集群的服务做出任何修改的前提下,保护Hadoop集群的安全。所述技术方案如下:
第一方面,本申请实施例提供了一种Hadoop集群的验证方法,所述方法包括:
获取访问Hadoop集群的访问请求;
基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
第二方面,本申请实施例提供了一种基于Hadoop集群的验证装置,所述装置包括:
获取请求模块,用于获取访问Hadoop集群的访问请求;
验证身份模块,用于基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
确认合法模块,用于若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于Hadoop集群的验证方法的架构示意图;
图2是本申请实施例提供的一种基于Hadoop集群的验证方法的流程示意图;
图3是本申请实施例提供的一种验证访问请求对应的身份信息是否合法的流程示意图;
图4是本申请实施例提供的另一种基于Hadoop集群的验证方法的流程示意图;
图5是本申请实施例提供的一种报警信息的界面示意图;
图6是本申请实施例提供的一种基于Hadoop集群的验证装置的结构示意图;
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
如图1所示,在一个实施例中,为本申请实施例提供的一种基于Hadoop集群的验证方法的架构示意图,如图1所示,包括:发送访问请求的客户端101,基于Hadoop集群的验证装置102,Hadoop集群103和管理员客户端104。
发起访问请求的客户端101和管理员客户端104,可以理解为终端设备(terminaldevice),包括但不限于移动台(Mobile Station,MS)、移动终端设备(Mobile Terminal)、移动电话(Mobile Telephone)、手机(handset)及便携设备(portable equipment)等,该终端设备可以经无线接入网(Radio Access Network,RAN)与一个或多个核心网进行通信,例如,终端设备可以是移动电话(或称为“蜂窝”电话)、具有无线通信功能的计算机等,终端设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置或设备,例如:如图1所示,终端设备包括智能手机、电脑、平板电脑等电子设备,具有存储数据的功能且客户端可以通过互联网服务与基于Hadoop集群的验证装置乃至Hadoop集群103建立访问请求,例如:发送访问请求的客户端101向Hadoop集群103发送访问请求。可以理解的是,发起访问请求的客户端101包括一个或多个,图1中仅为示例。
管理员客户端104指具有管理员权限的客户端,换而言之,管理员客户端104对应的身份信息是白名单数据库中的预设身份信息,管理员客户端104包括一个或多个,对应的身份信息包括一个或多个。例如,管理员客户端104的IP信息为192.168.0.1,则白名单数据库中预设身份信息包括一个IP信息,该IP信息为192.168.0.1。
基于Hadoop集群的验证装置102,用于执行基于Hadoop集群的验证方法,该基于Hadoop集群的验证装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。可以理解的是,基于Hadoop集群的验证装置102可以通过Hadoop集群103上的一个集群服务器上实现,或基于Hadoop集群的验证装置102也可以通过在独立于Hadoop集群103之外的服务器上实现,本申请不对基于Hadoop集群的验证装置102的设置位置或实现方式作任何限制。基于Hadoop集群的验证装置102的具体介绍参见图6所示实施例,此处不作赘述。
Hadoop集群103,可以理解为基于一个开发和运行处理大规模数据的软件平台及开源软件框架实现的集群服务器,用于对海量数据进行高速运算和存储,以及实现数量众多类型纷杂的应用程序和服务,比如离线作业,流式作业,迭代式作业等。在本申请中,Hadoop集群103可以接收发起访问请求的客户端101以及管理员客户端104发起的访问请求,以及基于该访问请求执行访问请求对应的服务,例如,管理员客户端104向Hadoop集群103发起内容为查看2021年Hadoop集群103的日志数据的访问请求,Hadoop集群103响应于该访问请求,通过超文本传输(Hypertext Transfer Protocol,HTTP)协议向管理员客户端104发送该日志数据。
本申请通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
在一个实施例中,如图2所示,特提出了一种基于方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的基于Hadoop集群的验证装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
具体的,该基于Hadoop集群的验证方法包括:
S101、获取访问Hadoop集群的访问请求。
访问请求的类型包括但不限于超文本传输协议(HyperText Transfer Protocol,HTTP)请求、传输控制协议(Transmission Control Protocol,TCP)请求或用户数据报协议(User Datagram Protocol,UDP)请求。访问请求携带身份信息,该身份信息包括用户标识、IP信息、针对Hadoop集群103的访问资源和对目标访问资源的操作方式。用户标识可以理解为一种表示发起访问请求的用户的标识,例如手机号:123456789,或用户名UID:123456或用户名:刘xx。换而言之,IP信息为发起访问请求的客户端101的设备标识,用户标识为发起访问请求的用户的身份标识。
举例来说,用户可以通过手机号123456789登陆客户端101,从而向Hadoop集群103发起访问请求,访问请求携带身份信息,该身份信息包括用户标识、IP信息、针对Hadoop集群103的目标访问资源和对目标访问资源的操作方式。其中,用户标识是用于手机号123456789,访问资源可以为Hadoop集群103的某一个文件、数据等等,操作方式可以为读取指令(read)、删除指令(delete)、写入指令(write)等等,本发明实施例对操作方式所包含的方式不做限定。
基于Hadoop集群的验证装置102接收到该访问请求。
S102、基于白名单数据库,验证访问请求对应的身份信息是否合法。
白名单数据库可以理解为保存于基于Hadoop集群的验证装置102的存储单元中的白名单文档。
基于Hadoop集群的验证装置102通过发送访问请求的客户端101接收访问请求,解析访问请求获取访问请求中携带的身份信息是否合法。当判断访问请求合法时,允许发起访问请求的客户端101访问Hadoop集群103,当判断访问请求不合法时,拒绝发起访问请求的客户端101访问Hadoop集群103。
如图3所示,为本申请实施例提供的一种验证身份信息是否合法的流程示意图,包括步骤:
S1021、基于访问请求,获取身份信息,身份信息包括IP信息和用户标识。
在一个实施例中,基于访问请求获取身份信息的步骤可以是基于预设规则和分隔符对访问请求进行分割后得到,举例来说,访问请求的内容为Http://ip=192.168.0.1//name=541234//,通过对分隔符对上述访问请求进行分割,得到访问请求对应的IP信息为192.168.0.1,用户标识为用户UID=541234。当然本申请并不对基于访问请求获取身份信息的方法进行限定。
S1022、验证IP信息是否为白名单数据库中的预设IP信息。
白名单数据库中的预设IP信息可以理解为图1所示管理员客户端104对应的IP信息,数量包括一个或多个。
基于Hadoop集群的验证装置102通过访问请求获取IP信息后,在白名单数据中进行匹配搜索,确定该IP信息是否为预设IP信息,例如,验证IP信息192.168.0.1是否为预设IP信息。若为是,则执行步骤S1023,若为否,则执行步骤S1017、确定身份信息不合法,对访问请求进行拦截。
S1023、验证用户标识是否为白名单数据库中的预设用户标识。
白名单数据库中的预设用户标识可以理解为表示管理员身份的标识,例如,管理员为张XX,预设用户标识为张XX对应的用户UID。可以理解的是,管理员的数量和管理员设备104的数量可以是一一对应关系,或管理员的数量大于或小于管理员设备104的数量。
基于Hadoop集群的验证装置102验证IP信息为预设IP信息后,进一步判断基于用户标识在白名单数据库中进行搜索匹配,确定该用户标识是否为预设用户标识,例如,验证用户标识为用户UID=541234是否为预设用户标识。若为是,则执行步骤S1024,若为否,则执行步骤S1017、确定身份信息不合法,对访问请求进行拦截。
S1024、对访问请求进行人机验证。
人机验证是一种全自动区分计算机和人类的图灵测试,俗称验证码。验证码作为一种简单便捷的防御机制在计算机安全技术领域得到了广泛的使用,防止互联网受到恶意攻击,是网络应用中区分人机最重要的手段。目前,验证码主要分为以下几个基类:文本验证码、图形验证码和音视频验证码。
在一个实施例中,基于Hadoop集群的验证装置102基于自然语言对访问请求进行人机验证,具体而言:基于Hadoop集群的验证装置102包括构建验证集的语料库,构建语料库的方法包括但不限于使用Scrapy框架爬取网络上的资讯小说等获得文本语料,以及对文本语料进行文本标准化、停词去除等文本清除;根据语料库构建词向量模型,例如采用Word2Vec构建词向量模型;根据词向量模型构建人机验证模型,例如通过利用PCR回归建立人际验证模型;对验证集采用模板法随机生成验证码;当基于Hadoop集群的验证装置102接收到访问请求时,以及验证访问请求的IP信息为预设信息以及用户标识为预设用户标识后,向客户端101发送验证码,以及将采集到的验证答案输入人机验证模型;基于人际验证模型判断验证答案是否符合自然语法,以及是否符合与验证码的相似度大于验证阈值,当为是,则判断该发起访问请求的客户端101通过人际验证。
本申请一些实施例提供的技术方案带来的有益效果至少包括:通过自然语言建立人机验证模型,以对访问请求进行人机验证,避免一些高级爬虫通过提取验证码的图像来通过人机验证,从而对Hadoop集群造成损害。
可以理解的是,本申请不对基于访问请求进行人机验证的方法作任何限定,上述实施例仅为一种可能的实施方法。
S1025、计算访问请求的恶意性数值。
步骤S1025可以理解为判读该访问请求是否为恶意性访问,恶意性访问可以理解为短时间内大量访问或对不存在数据进行访问,会导致Hadoop集群103的服务器负载急剧升高,甚至停止响应。
例如,由于网络波动或客户端卡顿等原因,用户会在短时间内多次通过客户端发送访问请求,但该访问请求并不一定属于恶意访问。
在一个实施例中,本申请计算访问请求的恶意性数值的方法为:当接收访问请求时,确定时间段,该时间段为过去时刻T1到当前时间T0之间的时间段,以及时间段被划分为N个连续的子时间段,述N个子时间段分别被配置了不同的访问次数权重值,且与当前时间T0的时间差越大的子时间段被配置的访问次数权重值越低;基于Hadoop集群的验证装置102统计客户端101在每个子时间段的访问次数;根据访问次数以及每个子时间段被配置的访问次数权重值,计算在每个子时间段的访问次数的加权平均值,该加权平均值即为访问请求的恶意性数值。
S1026、恶意性数值是否低于阈值。
当访问请求的恶意性数值高于阈值时,判断该访问请求为恶意访问,则执行步骤S1017、确定身份信息不合法,对访问请求进行拦截;当访问请求的恶意性数值低于阈值时,判断该访问请求为非恶意访问,确定访问请求合法,允许发起访问请求的客户端101访问Hadoop集群103。
本申请一些实施例提供的技术方案带来的有益效果至少包括:通过计算访问请求在时间段的每个子时间段的访问次数的加权平均值,并与预设的阈值比较,来判断该访问请求是否属于恶意访问;其中,N个子时间段分别被配置了不同的访问次数权重值,且与当前时间T0的时间差越大的子时间段被配置的访问次数权重值越低,从而可以更加真实地反映了用户的访问行为,大大提高了判断一个访问请求是否属于恶意访问的准确性。
图3所示对访问请求是否合法的判断方法,验证访问请求对应的身份信息为预设身份信息,以及确定该访问请求通过人机验证,进一步确定该访问请求非恶意访问,通过多重验证手段验证发起访问请求的客户端的可靠性,进一步提高了Hadoop集群的安全性,降低Hadoop集群遭受恶意攻击的可能。
在一个实施例中,本申请仅对访问请求验证IP信息,验证IP信息是否为白名单数据库中的预设IP信息。在一个实施例中,本申请仅对访问请求验证对应的IP信息和用户标识进行验证,验证IP信息是否为白名单数据库中的预设IP信息,以及验证用户标识为预设用户标识,验证IP信息和用户标识可以是依次进行或先验证用户标识再验证IP信息。在一个实施例中,本申请对访问请求在进行IP信息验证和用户标识验证后,进行人机验证,人机验证的方法如图3所示,以及对IP信息验证、用户标识验证和人机验证的顺序不作限定。在一个实施例中,本申请对访问请求在进行IP信息验证和用户标识验证后,验证访问请求是否为恶意访问,即计算访问请求的恶意性数值,可以理解的是,对IP信息验证、用户标识验证和恶意性验证的顺序不作限定。
基于Hadoop集群的验证装置102基于白名单数据库,验证访问请求对应的身份信息是否合法,若为是,则执行步骤S103。
S103、若为是,则确定身份信息合法,允许发起访问请求的客户端访问Hadoop集群。
当确定身份信息合法后,携带身份信息的访问请求同样合法。举例来说,用户可以通过手机号123456789登陆客户端101,从而向Hadoop集群103发起访问请求,访问请求携带身份信息,该身份信息包括用户标识、IP信息、针对Hadoop集群103的访问资源和对目标访问资源的操作方式;基于Hadoop集群的验证装置102确定身份信息合法后,允许客户端101访问Hadoop集群103,例如客户端101访问Hadoop集群103的某一个文件、数据等,或执行读取指令(read)、删除指令(delete)、写入指令(write)等操作等等,本发明实施例对操作方式所包含的方式不做限定。
本申请通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
如图4所示,为本申请实施例提供的另一种基于Hadoop集群的验证方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的基于Hadoop集群的验证装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
具体的,该基于Hadoop集群的验证方法包括:
S401、访问获取Hadoop集群的访问请求。
访问请求的类型包括但不限于超文本传输协议(HyperText Transfer Protocol,HTTP)请求、传输控制协议(Transmission Control Protocol,TCP)请求或用户数据报协议(User Datagram Protocol,UDP)请求。访问请求携带身份信息,基于Hadoop集群的验证装置接收来自发送访问请求的客户端发送的访问请求。具体工作原理参见图2所示步骤S101,此处不再赘述。
S402、基于白名单数据库,验证访问请求对应的身份信息是否合法。
白名单数据库可以理解为保存于基于Hadoop集群的验证装置102的存储单元中的白名单文档。
基于Hadoop集群的验证装置102通过发送访问请求的客户端101接收访问请求,解析访问请求获取访问请求中携带的身份信息是否合法。当判断访问请求合法时,允许发起访问请求的客户端101访问Hadoop集群103,当判断访问请求不合法时,拒绝发起访问请求的客户端101访问Hadoop集群103。具体工作原理参见图2所示步骤S102,此处不再赘述。
S403、若为是,则确定身份信息合法,允许发起访问请求的客户端访问Hadoop集群。
当确定身份信息合法后,携带身份信息的访问请求同样合法。举例来说,用户可以通过手机号123456789登陆客户端101,从而向Hadoop集群103发起访问请求,访问请求携带身份信息,该身份信息包括用户标识、IP信息、针对Hadoop集群103的访问资源和对目标访问资源的操作方式;基于Hadoop集群的验证装置102确定身份信息合法后,允许客户端101访问Hadoop集群103,例如客户端101访问Hadoop集群103的某一个文件、数据等,或执行读取指令(read)、删除指令(delete)、写入指令(write)等操作等等,本发明实施例对操作方式所包含的方式不做限定。
S404、在白名单数据库中获取身份信息对应的目标管理员分组。
白名单数据库中包括至少一个管理员分组,每个管理员分组对应一个访问权限。访问权限包括预设权限范围,预设权限范围为对所述Hadoop集群的修改范围和查看范围。管理员分组可以理解为将白名单数据库中的管理员客户端进行分类后得到的分组。
例如,管理员分组包括第一管理员分组、第二管理员分组和第三管理员分组,第一管理员分组包括第一管理员客户端,该第一管理员客户端对应的预设IP信息为123.456.789,第一管理员分组对应的访问权限为可以对Hadoop集群中所有数据进行访问以及修改;第二管理员分组包括第二管理员客户端和第三管理员客户端,该第二管理员客户端对应的预设IP信息和第三管理员客户端对应的预设IP信息与第一管理员客户端对应的预设IP信息不相同,第二管理员分组对应的访问权限为对Hadoop集群所有数据进行访问,但不能修改;第三管理员分组包括第四管理员客户端,第四管理员客户端对应的预设IP信息为789.456.123,第三管理员分组对应的访问权限为对Hadoop集群中部分数据进行访问。
基于Hadoop集群的验证装置基于访问请求中携带的身份信息,验证发起该访问请求的客户端为管理员客户端,确定该管理员客户端在白名单数据库中对应的管理员分组,以及确定该管理员分组对应的访问权限。
S405、针对客户端添加目标管理员分组对应的访问权限。
在一个实施例中,基于Hadoop集群的验证装置针对客户端添加目标管理员分组对应的访问权限的方法为:监控客户端的第二访问请求是否超过预设权限范围;当第二访问请求超过预设权限范围时,拒绝第二访问请求对Hadoop集群的访问,以及将第二访问请求的内容和身份信息发送给白名单数据库中的预设IP信息对应的管理员客户端。
第二访问请求包括一个或多个,当验证发起访问请求的客户端为管理员客户端,则对该客户端发送的第二访问请求不作身份验证,第二访问请求包括客户端想针对Hadoop集群的访问资源和对目标访问资源的操作方式,访问资源可以为Hadoop集群103的某一个文件、数据等等,操作方式可以为读取指令(read)、删除指令(delete)、写入指令(write)等等,本发明实施例对操作方式所包含的方式不做限定。基于Hadoop集群的验证装置监控客户端的第二访问请求可以理解为解析第二访问请求携带指向目标访问资源和操作方式的字符串,获取第二访问请求对应的目标访问资源和针对目标访问资源和操作方式,判断是否超过预设权限范围的查看范围和修改范围。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
针对客户端添加目标管理员对应的访问权限,避免用户通过客户端对Hadoop集群作出非权限范围外的操作,进一步提高Hadoop集群的安全性;在第二访问请求超过预设权限范围时,拦截第二访问请求,并将第二访问请求的内容和身份信息发送给管理员客户单,以使提高管理员对Hadoop集群的动态的了解。
S406、若为否,则拦截访问请求。
基于Hadoop集群的验证装置102基于白名单数据库,验证访问请求对应的身份信息是否合法,若为否,则拦截访问请求。拦截可以理解为不允许发起访问请求的客户端继续访问Hadoop集群。
S407、将身份信息和报警信息发送给白名单数据库中预设IP对应的管理员客户端。
如图5所示,为本申请提供的一种报警信息的界面示意图,包括访问请求对应的IP信息“123.456.78.9”和用户标识“524687”,以及解析访问请求得到对应的目标访问资源和针对目标访问资源和操作方式“查看2021年的日志数据”。在一个实施例中,报警信息还包括接收访问请求的时间等数据。
S408、接收来自管理员客户端的访问许可信息。
在一个实施例中,如图5所示,报警信息的界面上还设置有“允许”和“拦截”的控件。管理员客户端对应的管理员可以通过触发“允许”控件上的触发条件,以使得管理员客户端检测到“允许”控件上的触发条件后,向基于Hadoop集群的验证装置发送访问许可信息。“拦截”控件对应的是管理员客户端向基于Hadoop集群的验证装置发送拦截访问信息,以使基于Hadoop集群的验证装置拦截访问请求。
访问许可信息的类型包括但不限于超文本传输协议(HyperText TransferProtocol,HTTP)请求、传输控制协议(Transmission Control Protocol,TCP)请求或用户数据报协议(User Datagram Protocol,UDP)请求。
在另一个实施例中,管理员通过登录管理员客户端向基于Hadoop集群的验证装置发送访问许可信息。本申请不对基于Hadoop集群的验证装置接收访问许可信息的方式作限定。
S409、基于访问许可信息,允许发起访问请求的客户端访问Hadoop集群。
基于Hadoop集群的验证装置接收到访问许可信息后,允许发起访问请求的客户端访问Hadoop集群。在一个实施例中,访问许可信息还包括针对访问请求的权限范围,以使基于Hadoop集群的验证装置基于权限范围为客户端的第二访问请求添加权限范围,工作原理参考上述步骤S405,此处不再赘述,采用本申请实施例,以对非管理员客户端的客户端访问Hadoop集群添加权限,保护Hadoop集群的数据安全。
S410、将身份信息添加到白名单数据库。
基于访问许可信息,将访问请求对应的IP信息和用户标识添加到白名单数据库中。在一个实施例中,将身份信息添加到白名单数据库中的临时管理员分组中,保存时间为预设周期,例如一个月或者一周,在预设周期结束时,基于Hadoop集群的验证装置再次向管理员客户端发送提醒信息,以提醒管理员对该身份信息进行处理,处理操作包括删除或移入管理员分组。
本申请通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图6,其示出了本申请一个示例性实施例提供的基于Hadoop集群的验证装置的结构示意图。该基于Hadoop集群的验证装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该基于Hadoop集群的验证装置包括获取请求模块601、验证身份模块602和确定合法模块603。
获取请求模块601,用于获取访问Hadoop集群的访问请求;
验证身份模块602,用于基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
确认合法模块603,用于若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
可选的,验证身份模块602包括:
获取身份信息单元,用于基于所述访问请求,获取所述身份信息,所述身份信息包括IP信息和/或用户标识;
验证IP和标识单元,用于验证所述IP信息是否为所述白名单数据库中的预设IP信息和/或验证所述用户标识是否为所述白名单数据库中的预设用户标识。
确认合法模块603包括:
第一合法单元,用于若所述IP信息为所述预设IP信息和/或所述用户标识为所述预设用户标识,则确定所述身份信息合法。
可选的,验证身份模块602包括:
人机或恶意性单元,用于对所述访问请求进行人机验证和/或计算所述访问请求的恶意性数值
确认合法模块603包括:
第二合法单元,用于若所述访问请求通过所述人机验证和/或所述恶意性数值低于阈值,则确定所述身份信息合法。
可选的,基于Hadoop集群的验证装置还包括:
不合法模块,用于若所述IP信息不为所述预设IP信息和/或所述用户标识不为所述预设用户,则确定所述身份信息不合法;
拦截模块,用于拦截所述访问请求;
发送模块,用于将所述身份信息和报警信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
可选的,基于Hadoop集群的验证装置还包括:
接收许可模块,用于接收来自所述管理员客户端的访问许可信息;
允许访问模块,用于基于所述访问许可信息,允许发起所述访问请求的客户端访问所述Hadoop集群;
添加数据模块,用于将所述身份信息添加到所述白名单数据库。
可选的,确认合法模块603还包括:
获取管理员分组单元,用于在所述白名单数据库中获取所述身份信息对应的目标管理员分组;所述白名单数据库中包括至少一个管理员分组;
添加访问权限单元,用于针对所述客户端添加所述目标管理员分组对应的访问权限。
可选的,添加访问权限单元还包括:
获取访问权限子单元,用于基于所述目标管理员分组,获取对应的所述访问权限;所述访问权限包括预设权限范围,所述预设权限范围为对所述Hadoop集群的修改范围和查看范围;
监控子单元,用于监控所述客户端的第二访问请求是否超过所述预设权限范围;
拒绝子单元,用于当所述第二访问请求超过所述预设权限范围时,拒绝所述第二访问请求对所述Hadoop集群的访问,以及将所述第二访问请求的内容和所述身份信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
需要说明的是,上述实施例提供的基于Hadoop集群的验证装置在执行基于Hadoop集群的验证方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于Hadoop集群的验证装置与基于Hadoop集群的验证方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图5所示实施例的所述基于Hadoop集群的验证方法,具体执行过程可以参见图1-图5所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1-图5所示实施例的所述基于Hadoop集群的验证方法,具体执行过程可以参见图1-图5所示实施例的具体说明,在此不进行赘述。
请参见图7,为本申请实施例提供了一种电子设备的结构示意图。如图7所示,所述电子设备700可以包括:至少一个处理器701,至少一个网络接口704,用户接口703,存储器705,至少一个通信总线702。
其中,通信总线702用于实现这些组件之间的连接通信。
其中,用户接口703可以包括显示屏(Display)、摄像头(Camera),可选用户接口703还可以包括标准的有线接口、无线接口。
其中,网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器701可以包括一个或者多个处理核心。处理器701利用各种借口和线路连接整个服务器700内的各个部分,通过运行或执行存储在存储器705内的指令、程序、代码集或指令集,以及调用存储在存储器705内的数据,执行服务器700的各种功能和处理数据。可选的,处理器701可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器701中,单独通过一块芯片进行实现。
其中,存储器705可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示,作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及基于Hadoop集群的验证应用程序。
在图7所示的电子设备700中,用户接口703主要用于为用户提供输入的接口,获取用户输入的数据;而处理器701可以用于调用存储器705中存储的基于Hadoop集群的验证应用程序,并具体执行以下操作:
获取访问Hadoop集群的访问请求;
基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
在一个实施例中,所述处理器701在执行所述基于白名单数据库,验证所述访问请求对应的身份信息是否合法,执行以下操作:
基于所述访问请求,获取所述身份信息,所述身份信息包括IP信息和/或用户标识;
验证所述IP信息是否为所述白名单数据库中的预设IP信息和/或验证所述用户标识是否为所述白名单数据库中的预设用户标识;
所述处理器701在执行所述若为是,则确定所述身份信息合法,执行以下操作:
若所述IP信息为所述预设IP信息和/或所述用户标识为所述预设用户标识,则确定所述身份信息合法。
在一个实施例中,所述处理器701在执行所述基于白名单数据库,验证所述访问请求对应的身份信息是否合法,还执行以下步骤:
对所述访问请求进行人机验证和/或计算所述访问请求的恶意性数值;
所述处理器701在执行所述若为是,则确定所述身份信息合法,执行以下操作:
若所述访问请求通过所述人机验证和/或所述恶意性数值低于阈值,则确定所述身份信息合法。
在一个实施例中,所述处理器701还执行以下步骤:
若所述IP信息不为所述预设IP信息和/或所述用户标识不为所述预设用户,则确定所述身份信息不合法;
拦截所述访问请求;
将所述身份信息和报警信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
在一个实施例中,所述处理器701还执行以下步骤:
接收来自所述管理员客户端的访问许可信息;
基于所述访问许可信息,允许发起所述访问请求的客户端访问所述Hadoop集群;
将所述身份信息添加到所述白名单数据库。
在一个实施例中,所述处理器701在执行所述允许发起所述访问请求的客户端访问所述Hadoop集群,执行以下步骤:
在所述白名单数据库中获取所述身份信息对应的目标管理员分组;所述白名单数据库中包括至少一个管理员分组;
针对所述客户端添加所述目标管理员分组对应的访问权限。
在一个实施例中,所述处理器701在执行针对所述客户端添加所述目标管理员对应的访问权限,执行以下步骤:
基于所述目标管理员分组,获取对应的所述访问权限;所述访问权限包括预设权限范围,所述预设权限范围为对所述Hadoop集群的修改范围和查看范围;
监控所述客户端的第二访问请求是否超过所述预设权限范围;
当所述第二访问请求超过所述预设权限范围时,拒绝所述第二访问请求对所述Hadoop集群的访问,以及将所述第二访问请求的内容和所述身份信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
本申请通过对访问Hadoop集群的访问请求进行身份验证,避免非Hadoop集群允许访问的客户端访问Hadoop集群,提高Hadoop集群的安全性;通过独立于Hadoop集群之外的白名单数据库对访问请求进行身份验证,因此对白名单数据库进行更新时不需要修改Hadoop集群的任何服务或存储数据,提高了更新白名单数据库的效率,节省了Hadoop集群的系统资源,降低Hadoop集群的系统维护成本和风险。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (10)

1.一种基于Hadoop集群的验证方法,其特征在于,包括:
获取访问Hadoop集群的访问请求;
基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
2.根据权利要求1所述方法,其特征在于,所述基于白名单数据库,验证所述访问请求对应的身份信息是否合法,包括:
基于所述访问请求,获取所述身份信息,所述身份信息包括IP信息和/或用户标识;
验证所述IP信息是否为所述白名单数据库中的预设IP信息和/或验证所述用户标识是否为所述白名单数据库中的预设用户标识;
所述若为是,则确定所述身份信息合法,包括:
若所述IP信息为所述预设IP信息和/或所述用户标识为所述预设用户标识,则确定所述身份信息合法。
3.根据权利要求1所述方法,其特征在于,所述基于白名单数据库,验证所述访问请求对应的身份信息是否合法,包括:
对所述访问请求进行人机验证和/或计算所述访问请求的恶意性数值;
所述若为是,则确定所述身份信息合法,包括:
若所述访问请求通过所述人机验证和/或所述恶意性数值低于阈值,则确定所述身份信息合法。
4.根据权利要求1所述方法,其特征在于,所述方法还包括:
若所述IP信息不为所述预设IP信息和/或所述用户标识不为所述预设用户,则确定所述身份信息不合法;
拦截所述访问请求;
将所述身份信息和报警信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
5.根据权利要求4所述方法,其特征在于,所述方法还包括:
接收来自所述管理员客户端的访问许可信息;
基于所述访问许可信息,允许发起所述访问请求的客户端访问所述Hadoop集群;
将所述身份信息添加到所述白名单数据库。
6.根据权利要求1所述方法,其特征在于,所述允许发起所述访问请求的客户端访问所述Hadoop集群,包括:
在所述白名单数据库中获取所述身份信息对应的目标管理员分组;所述白名单数据库中包括至少一个管理员分组;
针对所述客户端添加所述目标管理员分组对应的访问权限。
7.根据权利要求6所述方法,所述针对所述客户端添加所述目标管理员对应的访问权限,包括:
基于所述目标管理员分组,获取对应的所述访问权限;所述访问权限包括预设权限范围,所述预设权限范围为对所述Hadoop集群的修改范围和查看范围;
监控所述客户端的第二访问请求是否超过所述预设权限范围;
当所述第二访问请求超过所述预设权限范围时,拒绝所述第二访问请求对所述Hadoop集群的访问,以及将所述第二访问请求的内容和所述身份信息发送给所述白名单数据库中的预设IP信息对应的管理员客户端。
8.一种基于Hadoop集群的验证装置,其特征在于,所述装置包括:
获取请求模块,用于获取访问Hadoop集群的访问请求;
验证身份模块,用于基于白名单数据库,验证所述访问请求对应的身份信息是否合法;
确认合法模块,用于若为是,则确定所述身份信息合法,允许发起所述访问请求的客户端访问所述Hadoop集群。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。
CN202110343382.8A 2021-03-30 2021-03-30 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备 Pending CN113158169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343382.8A CN113158169A (zh) 2021-03-30 2021-03-30 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343382.8A CN113158169A (zh) 2021-03-30 2021-03-30 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113158169A true CN113158169A (zh) 2021-07-23

Family

ID=76885490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343382.8A Pending CN113158169A (zh) 2021-03-30 2021-03-30 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113158169A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992414A (zh) * 2021-10-28 2022-01-28 马上消费金融股份有限公司 数据的访问方法、装置及设备
CN114374531A (zh) * 2021-11-30 2022-04-19 深圳供电局有限公司 访问行为控制方法、装置、计算机设备和存储介质
CN114826693A (zh) * 2022-04-07 2022-07-29 中通服创立信息科技有限责任公司 一种数据交互方法、装置及介质
CN115061939A (zh) * 2022-06-30 2022-09-16 北京瑞莱智慧科技有限公司 数据集安全测试方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250776A (zh) * 2016-07-25 2016-12-21 北京集奥聚合科技有限公司 一种多维度的hadoop权限控制方法和系统
CN106533688A (zh) * 2015-09-15 2017-03-22 中兴通讯股份有限公司 安全认证的方法及装置
CN107888546A (zh) * 2016-09-29 2018-04-06 腾讯科技(深圳)有限公司 网络攻击防御方法、装置以及系统
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术(北京)有限公司 分布式文件系统的权限管理方法和装置、服务器、介质
US20190286832A1 (en) * 2018-03-19 2019-09-19 Salesforce.Com, Inc. Securely accessing and processing data in a multi-tenant data store

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106533688A (zh) * 2015-09-15 2017-03-22 中兴通讯股份有限公司 安全认证的方法及装置
CN106250776A (zh) * 2016-07-25 2016-12-21 北京集奥聚合科技有限公司 一种多维度的hadoop权限控制方法和系统
CN107888546A (zh) * 2016-09-29 2018-04-06 腾讯科技(深圳)有限公司 网络攻击防御方法、装置以及系统
CN108289098A (zh) * 2018-01-12 2018-07-17 百度在线网络技术(北京)有限公司 分布式文件系统的权限管理方法和装置、服务器、介质
US20190286832A1 (en) * 2018-03-19 2019-09-19 Salesforce.Com, Inc. Securely accessing and processing data in a multi-tenant data store

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992414A (zh) * 2021-10-28 2022-01-28 马上消费金融股份有限公司 数据的访问方法、装置及设备
CN114374531A (zh) * 2021-11-30 2022-04-19 深圳供电局有限公司 访问行为控制方法、装置、计算机设备和存储介质
CN114374531B (zh) * 2021-11-30 2023-09-15 深圳供电局有限公司 访问行为控制方法、装置、计算机设备和存储介质
CN114826693A (zh) * 2022-04-07 2022-07-29 中通服创立信息科技有限责任公司 一种数据交互方法、装置及介质
CN115061939A (zh) * 2022-06-30 2022-09-16 北京瑞莱智慧科技有限公司 数据集安全测试方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107612895B (zh) 一种互联网防攻击方法及认证服务器
CN113158169A (zh) 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备
US10305889B2 (en) Identity authentication method and device and storage medium
JP6626095B2 (ja) 機密情報処理方法、装置、及び、サーバ、ならびに、セキュリティ決定システム
US11277421B2 (en) Systems and methods for detecting and thwarting attacks on an IT environment
US10419431B2 (en) Preventing cross-site request forgery using environment fingerprints of a client device
US11068583B2 (en) Management of login information affected by a data breach
US10142308B1 (en) User authentication
US20150281239A1 (en) Provision of access privileges to a user
CN109547426B (zh) 业务响应方法及服务器
CN109495467B (zh) 拦截规则的更新方法、设备及计算机可读存储介质
CN104980421B (zh) 一种批量请求处理方法及系统
US10812489B2 (en) Method and system for classifying network requests
CN113067859B (zh) 一种基于云手机的通讯方法和装置
CN111382422B (zh) 在非法访问用户数据的威胁下更改账户记录的密码的系统和方法
CN109688096B (zh) Ip地址的识别方法、装置、设备及计算机可读存储介质
CN112804222B (zh) 基于云部署的数据传输方法、装置、设备及存储介质
GB2512138A (en) Secured online transactions
CN114710304A (zh) 隐私风险监测方法、装置、存储介质以及终网关设备
CN105577621B (zh) 一种业务操作验证方法、装置以及系统
CN105306419B (zh) 一种页面信息交互方法、装置和系统
CN109743304B (zh) 一种面向云计算的网络安全预警方法及系统
CN111918224B (zh) 短信验证方法、装置、设备及存储介质
JP6998099B1 (ja) アクセスリクエストの不正を検知する方法
CN117640167A (zh) 安全防护方法、装置、存储介质、程序产品及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination