CN104092652B - 数据处理系统和方法 - Google Patents

数据处理系统和方法 Download PDF

Info

Publication number
CN104092652B
CN104092652B CN201310753902.8A CN201310753902A CN104092652B CN 104092652 B CN104092652 B CN 104092652B CN 201310753902 A CN201310753902 A CN 201310753902A CN 104092652 B CN104092652 B CN 104092652B
Authority
CN
China
Prior art keywords
node
verified
client node
mark
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310753902.8A
Other languages
English (en)
Other versions
CN104092652A (zh
Inventor
翟艳堂
鲍春健
庄虔玉
麦艺华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cyber Tianjin Co Ltd
Original Assignee
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cyber Tianjin Co Ltd filed Critical Tencent Cyber Tianjin Co Ltd
Priority to CN201310753902.8A priority Critical patent/CN104092652B/zh
Publication of CN104092652A publication Critical patent/CN104092652A/zh
Application granted granted Critical
Publication of CN104092652B publication Critical patent/CN104092652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Storage Device Security (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理系统和方法,属于数据处理领域。所述系统包括:客户端节点和数据处理节点;客户端节点用于当接收到操作指令时,获取用户组信息和验证通过标识,向数据处理节点发送操作请求,操作请求携带用户组信息和验证通过标识,验证通过标识用于表示当前客户端节点已通过验证;数据处理节点用于在接收到操作请求,确定操作请求包括验证通过标识时,对操作权限进行验证,验证通过时响应操作请求。本发明通过客户端节点获取用户组信息和验证通过标识,数据处理节点对验证通过标识和操作权限进行验证,而无需对用户组信息的密码进行验证,操作简便,避免了由于使用一个数据库进行验证而造成的巨大压力,提高了验证速度和系统性能。

Description

数据处理系统和方法
技术领域
本发明涉及数据处理领域,特别涉及一种数据处理系统和方法。
背景技术
分布式数据处理系统可以用于海量数据存储和海量数据分析,具有高可用性和高可伸缩性。由于分布式数据处理系统的数据量很大,为了保证数据的安全性,验证机制必不可少。而由于分布式数据处理系统中的开源Hadoop的安全性较弱,不能直接支持密码验证,因此,引入了Kerberos验证机制。
由管理员预先将确定安全的节点手动添加到Kerberos数据库中,由KDC(KeyDistribution Center,密钥分配中心)为该Kerberos数据库中的节点生成用于通信的密钥,并分发给相应的节点,使得各节点之间可以根据分发的密钥进行验证,从而实现通信。
采用Kerberos验证的方式,要求管理员必须手动将每个需要提供服务的节点都添加到Kerberos数据库中,操作繁琐,人力成本很高。进一步地,由于数据量很大,进行Kerberos验证时会对Kerberos数据库造成巨大压力,降低验证速度,从而影响了系统性能。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种数据处理系统和方法。所述技术方案如下:
第一方面,提供了一种数据处理系统,所述系统包括:客户端节点和数据处理节点;
所述客户端节点,用于当接收到操作指令时,获取所述客户端节点的用户组信息和验证通过标识,向所述数据处理节点发送操作请求,所述操作请求携带所述用户组信息和所述验证通过标识,所述用户组信息包括用户标识、密码和用户组标识,所述验证通过标识用于表示当前客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证;
所述数据处理节点,用于在接收到所述操作请求,并确定所述操作请求包括所述验证通过标识时,根据所述用户组信息对所述客户端节点的操作权限进行验证,当验证通过时,响应所述操作请求。
第二方面,提供了一种数据处理方法,应用于数据处理系统,所述方法包括:
当客户端节点接收到操作指令时,获取所述客户端节点的用户组信息和验证通过标识,所述用户组信息包括用户标识、密码和用户组标识,所述验证通过标识用于表示当前客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证;
所述客户端节点向数据处理节点发送操作请求,所述操作请求携带所述用户组信息和所述验证通过标识;
当所述数据处理节点接收到所述操作请求时,判断所述操作请求是否包括验证通过标识;
当所述操作请求包括所述验证通过标识时,所述数据处理节点根据所述用户组信息对所述客户端节点的操作权限进行验证,当验证通过时,响应所述操作请求。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的系统和方法,通过客户端节点在接收到操作指令时,获取用户组信息和验证通过标识,该数据处理节点在接收到该客户端节点的操作请求时,对验证通过标识和操作权限进行验证,而无需对用户组信息的密码进行验证,操作简便,避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力,提高了验证速度和系统性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种数据处理系统的结构示意图;
图1b是本发明实施例提供的一种数据处理系统的结构示意图
图2是本发明实施例提供的一种数据处理方法的流程图;
图3是本发明实施例提供的一种数据处理方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1a是本发明实施例提供的一种数据处理系统的结构示意图,参见图1a,所述系统包括:客户端节点101和数据处理节点102,数据处理节点102与客户端节点101连接;
该客户端节点101,用于当接收到操作指令时,获取该客户端节点的用户组信息和验证通过标识,向该数据处理节点发送操作请求,该操作请求携带该用户组信息和该验证通过标识,该用户组信息包括用户标识、密码和用户组标识,该验证通过标识用于表示当前客户端节点已通过除该客户端节点和该数据处理节点之外的节点验证。
该数据处理节点102,用于在接收到该操作请求,并确定该操作请求包括该验证通过标识时,根据该用户组信息对该客户端节点的操作权限进行验证,当验证通过时,响应该操作请求。
本发明实施例提供的系统,通过客户端节点在接收到操作指令时,获取用户组信息和验证通过标识,该数据处理节点在接收到该客户端节点的操作请求时,对验证通过标识和操作权限进行验证,而无需对用户组信息的密码进行验证,操作简便,避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力,提高了验证速度和系统性能。
可选地,该客户端节点101还用于当接收到该操作指令时,判断该客户端节点101的配置文件中是否包括该验证通过标识;当该配置文件中包括该验证通过标识时,从该配置文件中获取该验证通过标识,并生成该客户端节点101的用户组信息。
可选地,该系统还包括:权限管理节点;
该客户端节点101还用于当该配置文件中不包括该验证通过标识时,获取该客户端节点101的用户组信息;向该权限管理节点发送该用户组信息;
该权限管理节点用于在接收到该用户组信息时,对该用户标识和该密码进行验证;当验证通过时,为该用户组信息添加验证通过标识,返回给该客户端节点101;
该客户端节点101还用于接收该权限管理节点发送的用户组信息和验证通过标识。
可选地,该数据处理节点102还用于根据该数据处理系统验证级别与处理方式之间的对应关系,确定该数据处理系统当前验证级别所对应的处理方式;根据确定的处理方式,响应该操作请求。
可选地,该数据处理节点102还用于该数据处理系统当前验证级别为第一验证级别时,响应该操作请求。
可选地,该操作请求还携带该客户端节点101的版本信息,该数据处理节点102还用于该数据处理系统当前验证级别为第二验证级别,且该客户端节点101的操作权限验证通过时,响应该操作请求;并判断该版本信息是否为该数据处理系统的最新版本信息;当确定该版本信息不是该数据处理系统的最新版本信息时,向该客户端节点101发送第一提示信息,该第一提示信息用于提示更新客户端节点101。
可选地,该数据处理节点102还用于该数据处理系统当前验证级别为第二验证级别,且该客户端节点101的操作权限验证不通过时,响应该操作请求,并向该客户端节点101发送第二提示信息,该第二提示信息用于提示该客户端节点101的操作权限验证不通过。
可选地,该操作请求还携带该客户端节点101的版本信息,该数据处理节点102还用于该数据处理系统当前验证级别为第三验证级别时,判断该版本信息是否为该数据处理系统的最新版本信息;当该版本信息是该数据处理系统的最新版本信息,且该客户端节点101的操作权限验证通过时,响应该操作请求;或,当该版本信息不是该数据处理系统的最新版本信息或该客户端节点101的操作权限验证不通过时,忽略该操作请求。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
本发明实施例所提供的数据处理系统包括:客户端节点、数据处理节点、权限管理节点和索引节点。该权限管理节点用于对该客户端节点的用户标识和密码进行验证,该数据处理节点用于对该客户端节点的操作权限进行验证,该索引节点用于记录每一个文件的控制信息,包括文件的类型、访问权限、用户标识和用户组标识等,一个索引节点可记录多个文件的控制信息,根据该索引节点可以获取到具有访问任一文件的操作权限的用户组信息。
可选地,参见图1b,该数据处理系统为Hadoop系统,Hadoop系统包括多个HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和MapReduce系统,每个HDFS包括一个NameNode(名称节点),NameNode用于管理客户端节点的操作权限。则该客户端节点可以为该Hadoop系统中的任一节点,如DFS(Distributed File System,分布式文件系统)客户端节点、Job(任务)客户端节点等,也可以为该Hadoop系统之外的客户端节点。该数据处理节点为该Hadoop系统中的任一NameNode,用于对根据客户端节点的用户组信息,对客户端节点的操作权限进行验证,在验证通过时,使用该用户组信息响应该操作请求。
图2是本发明实施例提供的一种结合图1a和图1b所示数据处理系统的数据处理方法的流程图。该发明实施例的执行主体为数据处理节点,该数据处理方法应用于数据处理系统,参见图2,该方法包括:
201、该数据处理节点接收客户端节点发送的操作请求,该操作请求携带用户组信息。
本发明实施例应用于数据处理系统中,该数据处理系统包括客户端节点和数据处理节点,该数据处理节点用于响应该客户端节点的操作请求。
在本发明实施例中,该客户端节点触发该操作请求,该操作请求携带用户组信息,该操作请求可以为访问文件的请求或者执行计算任务的请求等等,本发明实施例对此不做限定。进一步地,该客户端节点基于RPC(Remote Procedure Call Protocol,远程过程调用协议)向该数据处理节点发送该操作请求。
其中,该用户组信息可以为该客户端节点配置的用户组信息、操作系统的用户组信息或者该客户端节点在触发该操作请求时自动生成的用户组信息,本发明实施例对此不做限定。该用户组信息包括用户标识、密码和用户组标识,该用户标识可以为用户名称或者用户的编号等,该用户组标识可以为用户组名称或者用户组的编号等,本发明实施例对此也不做限定。
可选地,该客户端节点通过设置用户信息配置参数,设置该用户组信息。如,该用户信息配置参数可以为hadoop.job.ugi,该用户信息配置参数的格式为“用户名:密码,用户组名”,如“zhangsan:zhangsandemima,zhangsandezu1,zhangsandezu2”。当该客户端节点设置的用户组信息不符合该格式时,可以显示提示信息,提示用户该用户组信息的格式设置错误。如,该客户端节点抛出异常“用户组信息格式设置错误,正确格式应该为zhangsan:zhangsandemima,zhangsandezu”。
202、该数据处理节点获取数据处理系统当前验证级别,根据当前验证级别,执行步骤203、步骤204或步骤210。
其中,验证级别用于表示该数据处理系统对该操作请求的处理方式的级别,不同的验证级别下,该数据处理系统对该操作请求的处理方式不同,如响应该操作请求或忽略该操作请求等。
在本发明实施例中,该数据处理系统可以设置验证级别,具体可以由技术人员根据该数据处理系统当前的任务需求确定,本发明实施例对此不做限定。
进一步地,该数据处理系统通过设置级别配置参数,设置当前验证级别。该级别配置参数可以为dfs.namenode.ugi.check.level,该数据处理系统通过查询该级别配置参数dfs.namenode.ugi.check.level的参数值,可以确定该数据处理系统当前验证级别。
可选地,该数据处理节点根据该数据处理系统验证级别与处理方式之间的对应关系,确定该数据处理系统当前验证级别所对应的处理方式;根据确定的处理方式,响应该操作请求。
203、该数据处理系统当前验证级别为第一验证级别时,该数据处理节点响应该操作请求。
在本发明实施例中,该数据处理系统当前验证级别为第一验证级别时,该数据处理节点不对该客户端节点的验证通过标识和操作权限进行验证,直接响应该操作请求。
在实际应用中,可以在需要对客户端节点的版本进行更新时,设置该数据处理系统当前验证级别为第一验证级别,使得旧版本的客户端节点和新版本的客户端节点的操作请求均可以得到响应。
204、该数据处理系统当前验证级别为第二验证级别时,该数据处理节点判断该操作请求是否包括验证通过标识,该验证通过标识由该客户端节点获取,如果是,执行步骤205,如果否,结束。
在本发明实施例中,当该数据处理系统当前验证级别为第二验证级别时,该数据处理系统需要对该客户端节点的验证通过标识和操作权限进行验证。
其中,该验证通过标识用于表示当前客户端节点已通过除该客户端节点和该数据处理节点之外的节点验证。进一步地,该验证通过标识由该客户端节点获取,获取过程可以包括下述步骤(204-1)-(204-5):
(204-1)当该客户端节点接收到该操作指令时,判断该客户端节点的配置文件中是否包括该验证通过标识。
在本发明实施例中,为了避免所有的客户端节点对用户组信息进行验证而造成的大量并发访问,可以将该数据处理系统的客户端节点划分为内部客户端节点和其他客户端节点,在内部客户端节点的配置文件中写入该验证通过标识,使得内部客户端节点可以在接收到操作指令时,不需要对用户组信息进行验证,而能够直接获取该配置文件中的验证通过标识,并生成用户组信息。
可选地,为该数据处理系统中的客户端节点设置内部配置参数checkok,当客户端节点的checkok参数值为true时,表明该客户端节点为内部客户端节点,当客户端节点的checkok参数值为false时,表明该客户端节点不是内部客户端节点。进一步地,在Hadoop系统中,内部客户端节点包括但不限于NameNode(名称节点)、DataNode(数据节点)、ClusterManager(资源管理器)、ProxyJobTracker(代理计算主节点)、CoronaTaskTracker(计算子节点)、CoronaJobTracker(计算主节点)、Map(映射)输入、Reduce(化简)输出。
(204-2)当该配置文件中包括该验证通过标识时,该客户端节点从该配置文件中获取该验证通过标识,并生成该客户端节点的用户组信息。
在本发明实施例中,当该客户端节点为内部客户端节点时,不需要配置用户组信息,该客户端节点可以自动生成用户组信息。
在本发明实施例提供的另一实施例中,该步骤(2)可以由以下步骤代替:
(204-3)当该配置文件中不包括该验证通过标识时,该客户端节点获取该客户端节点的用户组信息,并向该权限管理节点发送该用户组信息。
在本发明实施例中,当该客户端节点不是内部客户端节点时,需要为该客户端节点配置用户组信息。相应的,当该客户端节点确定该配置文件中不包括该验证通过标识时,获取该用户组信息,并向该权限管理节点发送该用户组信息。
在本发明实施例中,该数据处理系统还包括该权限管理节点,该权限管理节点用于对客户端节点的密码进行验证。
(204-4)该权限管理节点在接收到该用户组信息时,对该用户标识和该密码进行验证;当验证通过时,为该用户组信息添加验证通过标识,返回给该客户端节点。
具体地,该权限管理节点保存有有效的用户标识和对应的密码,当该权限管理节点接收到该用户组信息时,获取该用户组信息包括的用户标识和密码,判断该权限管理节点是否保存有该用户标识,当确定该权限管理节点保存有该用户标识时,判断所保存的该用户标识对应的密码与该用户组信息包括的密码是否匹配,如果匹配,该用户组信息验证通过,而如果该权限管理节点未保存该用户标识,或者该权限管理节点保存有该用户标识、但所保存的用户标识对应的密码与该用户组信息包括的密码不匹配时,该用户组信息验证不通过。
可选地,该验证通过标识可以为“checkok”标识。进一步地,为了减少后续该数据处理节点的数据压力,可以在验证通过后,删除该用户组信息中的密码,即在为该用户组信息添加该验证通过标识后,得到的信息的格式为“用户标识:checkok,用户组”,如zhangsan:checkok,zhangsandezu1,zhangsandezu2。
(204-5)该客户端节点接收该权限管理节点发送的用户组信息和验证通过标识。
在本发明实施例中,该客户端节点在接收到该用户组信息和验证通过标识时,保存该用户组信息和该验证通过标识,以便后续该客户端节点向该数据处理节点发送该操作请求时,该操作请求携带该用户组信息和该验证通过标识。
205、当该操作请求包括该验证通过标识时,该数据处理节点根据该用户组信息对该客户端节点的操作权限进行验证,当验证通过时,执行步骤206,当验证不通过时,执行步骤209。
其中,该客户端节点的操作权限是指该客户端节点执行该操作请求所对应的操作的权限。如该操作请求为访问文件A时,需要对该客户端节点访问文件A的操作权限进行验证,在验证通过时,该客户端节点才能访问文件A。
具体地,该数据处理节点根据该操作请求,获取具有操作权限的用户组信息,判断该操作请求携带的用户组信息是否为该具有操作权限的用户组信息中的任一组,如果是,该客户端节点的操作权限验证通过,如果否,该客户端节点的操作权限验证不通过。
进一步地,该数据处理节点获取到具有操作权限的用户标识和用户组标识,则该数据处理节点对该客户端节点的操作权限进行验证的过程可以包括下述步骤(205-1)-(205-5):
(205-1)判断该用户标识是否为具有操作权限的用户标识,执行步骤(205-2)或(205-3)。
遍历获取到的具有操作权限的用户标识,判断具有操作权限的用户标识中是否包括该用户标识,如果包括,则该用户标识具有操作权限,如果不包括,则该用户标识不具有操作权限。
(205-2)当该用户标识为具有操作权限的用户标识时,该客户端节点的操作权限验证通过。
(205-3)当该用户标识不是具有操作权限的用户标识时,继续判断该用户组标识是否为具有操作权限的用户组标识,执行步骤(205-4)或(205-5)。
(205-4)当该用户组标识为具有操作权限的用户组标识时,该客户端节点的操作权限验证通过。
当该用户组标识为具有操作权限的用户组标识时,表明该用户标识所属的用户组具有该操作权限,则该用户标识也具有操作权限,该客户端节点的操作权限验证通过。
(205-5)当该用户组标识不是具有操作权限的用户组标识时,该客户端节点的操作权限验证不通过。
可选地,该数据处理系统还包括索引节点(INode),通过查询该索引节点保存的控制信息,获取该操作请求对应的、具有操作权限的用户组信息,从而根据该具有操作权限的用户组信息,判断该操作请求携带的用户组信息是否具有操作权限,以对该客户端节点的操作权限进行验证。
206、该数据处理节点响应该操作请求。
在本发明实施例中,根据该操作请求的不同,该数据处理节点响应该操作请求的方式也不同。
可选地,当该操作请求为访问文件的操作请求时,该数据处理节点将该客户端节点请求访问的文件发送给该客户端节点,供该客户端节点进行访问。当该操作请求为计算任务的操作请求时,该数据处理节点将该客户端节点执行计算任务所需的数据发送给MapReduce(映射化简)节点,由该MapReduce节点根据该数据处理节点发送的数据进行计算,将得到的计算结果返回给该客户端节点。
207、该数据处理节点判断该版本信息是否为该数据处理系统的最新版本信息。
在本发明实施例中,当该数据处理系统中的节点进行更新时,会相应的更新该数据处理系统的最新版本信息。可选地,该操作请求携带该客户端节点的版本信息,该数据处理节点根据该客户端节点的版本信息和该最新版本信息,确定该客户端节点的版本是否为最新版本。当该客户端节点的版本信息与该最新版本信息相同时,表明该客户端节点的版本为最新版本,当该客户端节点的版本信息与该最新版本信息不同时,表明该客户端节点的版本不是最新版本。
208、当该数据处理节点确定该版本信息不是该数据处理系统的最新版本信息时,向该客户端节点发送第一提示信息,该第一提示信息用于提示更新客户端节点,结束。
可选地,该数据处理节点在确定该版本信息不是该最新版本信息时,可以确定该客户端节点的版本不是最新版本,则该数据处理节点可以生成日志记录(log),记录用户的来源、IP地址等信息,根据该用户的来源、IP地址等信息,向用户发送第一提示信息,以提示用户更新客户端节点。其中,该第一提示信息可以为“客户端节点验证未通过,请更新客户端节点版本”。
209、该数据处理节点响应该操作请求,并向该客户端节点发送第二提示信息,该第二提示信息用于提示该客户端节点的操作权限验证不通过,结束。
其中,该第二提示信息可以为“没有操作权限,但当前验证级别为第二验证级别,可以执行操作”。
在本发明实施例中,该数据处理系统当前验证级别为第二验证级别时,该数据处理节点对该验证通过标识进行验证,并对该客户端节点的操作权限进行验证,而此时,当对该验证通过标识的验证通过时,无论该客户端节点的操作权限是否验证通过,该数据处理节点都会响应该操作请求,使得该客户端节点可以为用户提供服务,不会影响到该数据处理系统的正常使用。
210、该数据处理系统当前验证级别为第三验证级别时,该数据处理节点判断该操作请求是否包括验证通过标识,该验证通过标识由该客户端节点获取,如果是,执行步骤211,如果否,结束。
211、当该操作请求包括该验证通过标识时,该数据处理节点根据该用户组信息对该客户端节点的操作权限进行验证,并判断该版本信息是否为该数据处理系统的最新版本信息,执行步骤212或步骤213。
该步骤中对该客户端节点的操作权限进行验证的过程与步骤205类似,在此不再赘述。
212、当该版本信息是该数据处理系统的最新版本信息,且该客户端节点的操作权限验证通过时,该数据处理节点响应该操作请求,结束。
在本发明实施例中,该数据处理节点在响应该操作请求的同时,还可以向该客户端节点发送提示信息,提示该客户端节点验证已通过。
213、当该版本信息不是该数据处理系统的最新版本信息或该客户端节点的操作权限验证不通过时,该数据处理节点忽略该操作请求,结束。
在本发明实施例中,该数据处理节点在确定该客户端节点的版本不是最新版本,或者在确定该客户端节点的操作权限验证不通过时,忽略该操作请求,即该客户端节点无法执行该操作请求对应的操作。
本发明实施例以该数据处理节点忽略该操作请求为例进行说明,实际上,该数据处理节点还可以向该客户端节点发送提示信息,如发送提示信息“请更新客户端节点版本,否则无法执行操作”,以提示该客户端节点更新版本,或者发送提示信息“没有操作权限,请检查用户组信息”,以提示该客户端节点更改用户组信息,本发明实施例对此不做限定。
在本发明实施例中,该数据处理系统验证级别可以用于更新客户端节点的版本,即当开始需要对客户端节点的版本进行更新时,设置该数据处理系统当前验证级别为第一验证级别,此时,旧版本的客户端节点和新版本的客户端阶段均可以为用户提供服务,之后,管理员用户可以通过发邮件、发消息等操作,提示各个客户端节点进行更新,在一段时间之后,可以将该数据处理系统当前验证级别更改为第二验证级别,此时需要对客户端节点的验证通过标识和操作权限进行验证,但无论验证是否通过,该数据处理节点都会响应客户端节点的操作请求,再经过一段时间之后,可以将该数据处理系统当前验证级别更改为第三验证级别,此时该数据处理节点仅响应最新版本的客户端节点所发送的操作请求,对于未更新版本的客户端节点,该数据处理节点将拒绝响应操作请求,以强制客户端节点进行更新,并全面地开启该数据处理节点对客户端节点的验证机制。
可选地,该管理员用户可以通过“/bin/hadoop dfsadmin–refreshUgiCheckLevel”命令设置该数据处理系统当前验证级别。
在该数据处理系统的客户端节点进行更新的过程中,通过将当前验证级别设置为第一验证级别或第二验证级别,使得更新过程不会影响到该数据处理系统的正常使用,只有在所有客户端节点更新完成或者大多数客户端节点更新完成时,才将当前验证级别设置为第三验证级别。本发明实施例通过按照该数据处理系统的不同需求,动态地设置当前验证级别,提高了灵活性。
本发明实施例提供的方法,通过该数据处理节点在接收到该客户端节点的操作请求时,对验证通过标识和操作权限进行验证,而无需对用户组信息的密码进行验证,操作简便,避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力,提高了验证速度和系统性能。进一步地,在对客户端节点的版本进行更新时,避免了影响到该数据处理系统的正常使用。
图3是本发明实施例提供的一种数据处理方法的流程图,应用于数据处理系统,参见图3,该方法包括:
301、当客户端节点接收到操作指令时,获取该客户端节点的用户组信息和验证通过标识,该用户组信息包括用户标识、密码和用户组标识,该验证通过标识用于表示当前客户端节点已通过除该客户端节点和该数据处理节点之外的节点验证。
302、该客户端节点向数据处理节点发送操作请求,该操作请求携带该用户组信息和该验证通过标识。
303、当该数据处理节点接收到该操作请求时,判断该操作请求是否包括验证通过标识,如果是,执行步骤304,如果否,结束。
304、该数据处理节点根据该用户组信息对该客户端节点的操作权限进行验证,当验证通过时,响应该操作请求。
本发明实施例提供的方法,通过该数据处理节点在接收到该客户端节点的操作请求时,对验证通过标识和操作权限进行验证,而无需对用户组信息的密码进行验证,操作简便,避免了由于使用一个数据库进行用户组信息的密码验证和操作权限验证而造成的巨大压力,提高了验证速度和系统性能。
可选地,该方法还包括:
当该客户端节点接收到操作指令时,判断该客户端节点的配置文件中是否包括该验证通过标识;
当该配置文件中包括该验证通过标识时,该客户端节点从该配置文件中获取该验证通过标识,并生成该客户端节点的用户组信息。
可选地,判断该客户端节点的配置文件中是否包括该验证通过标识之后,该方法还包括:
当该配置文件中不包括该验证通过标识时,该客户端节点获取该用户组信息,向权限管理节点发送该用户组信息;
当该权限管理节点接收到该用户组信息时,对该用户标识和该密码进行验证;当验证通过时,为该用户组信息添加验证通过标识,返回给该客户端节点;
该客户端节点接收该用户组信息和该验证通过标识。
可选地,该方法还包括:
该数据处理节点根据该数据处理系统验证级别与处理方式之间的对应关系,确定该数据处理系统当前验证级别所对应的处理方式;
该数据处理节点根据确定的处理方式,响应该操作请求。
可选地,该方法还包括:
该数据处理系统当前验证级别为第一验证级别时,该数据处理节点响应该操作请求。
可选地,该操作请求还携带该客户端节点的版本信息,该方法还包括:
该数据处理系统当前验证级别为第二验证级别,且该客户端节点的操作权限验证通过时,该数据处理节点响应该操作请求;
该数据处理节点判断该版本信息是否为该数据处理系统的最新版本信息;
当该数据处理节点确定该版本信息不是该数据处理系统的最新版本信息时,向该客户端节点发送第一提示信息,该第一提示信息用于提示更新客户端节点。
可选地,该操作请求还携带该客户端节点的版本信息,该方法还包括:
该数据处理系统当前验证级别为第二验证级别,且该客户端节点的操作权限验证不通过时,该数据处理节点响应该操作请求;
该数据处理节点向该客户端节点发送第二提示信息,该第二提示信息用于提示该客户端节点的操作权限验证不通过。
可选地,该操作请求还携带该客户端节点的版本信息,该方法还包括:
该数据处理系统当前验证级别为第三验证级别时,该数据处理节点判断该版本信息是否为该数据处理系统的最新版本信息;
当该版本信息是该数据处理系统的最新版本信息,且该客户端节点的操作权限验证通过时,该数据处理节点响应该操作请求;
或,当该版本信息不是该数据处理系统的最新版本信息或该客户端节点的操作权限验证不通过时,该数据处理节点忽略该操作请求。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据处理系统,其特征在于,所述系统包括:客户端节点和数据处理节点;
所述客户端节点,用于当接收到操作指令时,获取所述客户端节点的用户组信息和验证通过标识,向所述数据处理节点发送操作请求,所述操作请求携带所述用户组信息和所述验证通过标识,所述用户组信息包括用户标识、密码和用户组标识,所述验证通过标识用于表示当前客户端节点已通过除所述客户端节点和所述数据处理节点之外的节点验证;
所述数据处理节点,用于在接收到所述操作请求,并确定所述操作请求包括所述验证通过标识时,根据所述用户组信息对所述客户端节点的操作权限进行验证,当验证通过时,响应所述操作请求;
其中,所述客户端节点还用于当接收到所述操作指令时,判断所述客户端节点的配置文件中是否包括所述验证通过标识;当所述配置文件中包括所述验证通过标识时,从所述配置文件中获取所述验证通过标识,并生成所述客户端节点的用户组信息。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:权限管理节点;
所述客户端节点还用于当所述配置文件中不包括所述验证通过标识时,获取所述客户端节点的用户组信息;向所述权限管理节点发送所述用户组信息;
所述权限管理节点用于在接收到所述用户组信息时,对所述用户标识和所述密码进行验证;当验证通过时,为所述用户组信息添加验证通过标识,返回给所述客户端节点;
所述客户端节点还用于接收所述权限管理节点发送的用户组信息和验证通过标识。
3.根据权利要求1所述的系统,其特征在于,所述数据处理节点还用于根据所述数据处理系统验证级别与处理方式之间的对应关系,确定所述数据处理系统当前验证级别所对应的处理方式;根据确定的处理方式,响应所述操作请求。
4.根据权利要求3所述的系统,其特征在于,所述数据处理节点还用于所述数据处理系统当前验证级别为第一验证级别时,响应所述操作请求。
5.根据权利要求3所述的系统,其特征在于,所述操作请求还携带所述客户端节点的版本信息,所述数据处理节点还用于所述数据处理系统当前验证级别为第二验证级别,且所述客户端节点的操作权限验证通过时,响应所述操作请求;并判断所述版本信息是否为所述数据处理系统的最新版本信息;当确定所述版本信息不是所述数据处理系统的最新版本信息时,向所述客户端节点发送第一提示信息,所述第一提示信息用于提示更新客户端节点。
6.根据权利要求3所述的系统,其特征在于,所述数据处理节点还用于所述数据处理系统当前验证级别为第二验证级别,且所述客户端节点的操作权限验证不通过时,响应所述操作请求,并向所述客户端节点发送第二提示信息,所述第二提示信息用于提示所述客户端节点的操作权限验证不通过。
7.根据权利要求3所述的系统,其特征在于,所述操作请求还携带所述客户端节点的版本信息,所述数据处理节点还用于所述数据处理系统当前验证级别为第三验证级别时,判断所述版本信息是否为所述数据处理系统的最新版本信息;当所述版本信息是所述数据处理系统的最新版本信息,且所述客户端节点的操作权限验证通过时,响应所述操作请求;或,当所述版本信息不是所述数据处理系统的最新版本信息或所述客户端节点的操作权限验证不通过时,忽略所述操作请求。
8.一种数据处理方法,其特征在于,应用于数据处理系统,所述方法包括:
当客户端节点接收到操作指令时,获取所述客户端节点的用户组信息和验证通过标识,所述用户组信息包括用户标识、密码和用户组标识,所述验证通过标识用于表示当前客户端节点已通过除所述客户端节点和数据处理节点之外的节点验证;
所述客户端节点向数据处理节点发送操作请求,所述操作请求携带所述用户组信息和所述验证通过标识;
当所述数据处理节点接收到所述操作请求时,判断所述操作请求是否包括验证通过标识;
当所述操作请求包括所述验证通过标识时,所述数据处理节点根据所述用户组信息对所述客户端节点的操作权限进行验证,当验证通过时,响应所述操作请求;
其中,所述方法还包括:
当所述客户端节点接收到操作指令时,判断所述客户端节点的配置文件中是否包括所述验证通过标识;
当所述配置文件中包括所述验证通过标识时,所述客户端节点从所述配置文件中获取所述验证通过标识,并生成所述客户端节点的用户组信息。
9.根据权利要求8所述的方法,其特征在于,判断所述客户端节点的配置文件中是否包括所述验证通过标识之后,所述方法还包括:
当所述配置文件中不包括所述验证通过标识时,所述客户端节点获取所述用户组信息,向权限管理节点发送所述用户组信息;
当所述权限管理节点接收到所述用户组信息时,对所述用户标识和所述密码进行验证;当验证通过时,为所述用户组信息添加验证通过标识,返回给所述客户端节点;
所述客户端节点接收所述用户组信息和所述验证通过标识。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
所述数据处理节点根据所述数据处理系统验证级别与处理方式之间的对应关系,确定所述数据处理系统当前验证级别所对应的处理方式;
所述数据处理节点根据确定的处理方式,响应所述操作请求。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述数据处理系统当前验证级别为第一验证级别时,所述数据处理节点响应所述操作请求。
12.根据权利要求10所述的方法,其特征在于,所述操作请求还携带所述客户端节点的版本信息,所述方法还包括:
所述数据处理系统当前验证级别为第二验证级别,且所述客户端节点的操作权限验证通过时,所述数据处理节点响应所述操作请求;
所述数据处理节点判断所述版本信息是否为所述数据处理系统的最新版本信息;
当所述数据处理节点确定所述版本信息不是所述数据处理系统的最新版本信息时,向所述客户端节点发送第一提示信息,所述第一提示信息用于提示更新客户端节点。
13.根据权利要求10所述的方法,其特征在于,所述操作请求还携带所述客户端节点的版本信息,所述方法还包括:
所述数据处理系统当前验证级别为第二验证级别,且所述客户端节点的操作权限验证不通过时,所述数据处理节点响应所述操作请求;
所述数据处理节点向所述客户端节点发送第二提示信息,所述第二提示信息用于提示所述客户端节点的操作权限验证不通过。
14.根据权利要求10所述的方法,其特征在于,所述操作请求还携带所述客户端节点的版本信息,所述方法还包括:
所述数据处理系统当前验证级别为第三验证级别时,所述数据处理节点判断所述版本信息是否为所述数据处理系统的最新版本信息;
当所述版本信息是所述数据处理系统的最新版本信息,且所述客户端节点的操作权限验证通过时,所述数据处理节点响应所述操作请求;
或,当所述版本信息不是所述数据处理系统的最新版本信息或所述客户端节点的操作权限验证不通过时,所述数据处理节点忽略所述操作请求。
CN201310753902.8A 2013-12-25 2013-12-25 数据处理系统和方法 Active CN104092652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310753902.8A CN104092652B (zh) 2013-12-25 2013-12-25 数据处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310753902.8A CN104092652B (zh) 2013-12-25 2013-12-25 数据处理系统和方法

Publications (2)

Publication Number Publication Date
CN104092652A CN104092652A (zh) 2014-10-08
CN104092652B true CN104092652B (zh) 2017-08-01

Family

ID=51640334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310753902.8A Active CN104092652B (zh) 2013-12-25 2013-12-25 数据处理系统和方法

Country Status (1)

Country Link
CN (1) CN104092652B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924101A (zh) * 2018-06-20 2018-11-30 北京车和家信息技术有限公司 一种数据库的操作方法及相关设备
CN109144735B (zh) * 2018-09-29 2019-12-27 百度在线网络技术(北京)有限公司 用于处理数据的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012981A (zh) * 2010-11-16 2011-04-13 传神联合(北京)信息技术有限公司 一种通用权限等级分配与匹配方法及其系统
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN102394894A (zh) * 2011-11-28 2012-03-28 武汉大学 一种基于云计算的网络虚拟磁盘文件安全管理方法
CN102546664A (zh) * 2012-02-27 2012-07-04 中国科学院计算技术研究所 用于分布式文件系统的用户与权限管理方法及系统
CN102571771A (zh) * 2011-12-23 2012-07-11 华中科技大学 一种云存储系统的安全认证方法
CN102882927A (zh) * 2012-08-29 2013-01-16 华南理工大学 一种云存储数据同步框架及其实现方法
CN103209189A (zh) * 2013-04-22 2013-07-17 哈尔滨工业大学深圳研究生院 一种基于分布式文件系统的移动云存储安全访问控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9614924B2 (en) * 2008-12-22 2017-04-04 Ctera Networks Ltd. Storage device and method thereof for integrating network attached storage with cloud storage services
US9691051B2 (en) * 2012-05-21 2017-06-27 Box, Inc. Security enhancement through application access control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012981A (zh) * 2010-11-16 2011-04-13 传神联合(北京)信息技术有限公司 一种通用权限等级分配与匹配方法及其系统
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN102394894A (zh) * 2011-11-28 2012-03-28 武汉大学 一种基于云计算的网络虚拟磁盘文件安全管理方法
CN102571771A (zh) * 2011-12-23 2012-07-11 华中科技大学 一种云存储系统的安全认证方法
CN102546664A (zh) * 2012-02-27 2012-07-04 中国科学院计算技术研究所 用于分布式文件系统的用户与权限管理方法及系统
CN102882927A (zh) * 2012-08-29 2013-01-16 华南理工大学 一种云存储数据同步框架及其实现方法
CN103209189A (zh) * 2013-04-22 2013-07-17 哈尔滨工业大学深圳研究生院 一种基于分布式文件系统的移动云存储安全访问控制方法

Also Published As

Publication number Publication date
CN104092652A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
US11290255B2 (en) Verifying an identity based on multiple distributed data sources using a blockchain to safeguard the identity
US10564936B2 (en) Data processing systems for identity validation of data subject access requests and related methods
WO2022126968A1 (zh) 微服务访问方法、装置、设备及存储介质
US11228574B2 (en) System for managing remote software applications
CN110069941A (zh) 一种接口访问鉴权方法、装置及计算机可读介质
CN107122674B (zh) 一种应用于运维审计系统的oracle数据库的访问方法
CN102546664A (zh) 用于分布式文件系统的用户与权限管理方法及系统
CN106936817A (zh) 操作执行方法、跳板机、集群认证服务器和堡垒机系统
CN113360862A (zh) 统一身份认证系统、方法、电子设备及存储介质
US10771261B1 (en) Extensible unified multi-service certificate and certificate revocation list management
US8255507B2 (en) Active directory object management methods and systems
WO2014049709A1 (ja) ポリシ管理システム、idプロバイダシステム及びポリシ評価装置
US20220376889A1 (en) Lifecycle administration of domain name blockchain addresses
CN106844489A (zh) 一种文件操作方法、装置以及系统
CN104363207A (zh) 多因子安全增强授权与认证方法
CN107832602B (zh) 一种基于标识的统一电子印章系统
CN101540757A (zh) 网络认证方法、系统和认证设备
CN108881309A (zh) 大数据平台的访问方法、装置、电子设备及可读存储介质
CN113839966B (zh) 一种基于微服务的安全管理系统
CN110199283A (zh) 用于在网络功能虚拟化环境中认证平台信任的系统和方法
CN113726522A (zh) 基于区块链的物联网设备处理方法及装置
CN103535007A (zh) 分布式网络的管理认证
CN104092652B (zh) 数据处理系统和方法
US20090192993A1 (en) Method and system for setting domain name and network device thereof
CN109413200A (zh) 一种资源导入的方法、客户端、mes及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant