CN111695098B - 多分布式集群访问方法及装置 - Google Patents
多分布式集群访问方法及装置 Download PDFInfo
- Publication number
- CN111695098B CN111695098B CN202010498966.8A CN202010498966A CN111695098B CN 111695098 B CN111695098 B CN 111695098B CN 202010498966 A CN202010498966 A CN 202010498966A CN 111695098 B CN111695098 B CN 111695098B
- Authority
- CN
- China
- Prior art keywords
- cluster
- distributed
- target
- configuration file
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种多分布式集群访问方法及装置,方法包括:自合并认证配置文件中分别查找多个目标分布式集群各自对应的配置信息,合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;应用各个配置信息分别验证各自对应的目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为可访问集群。本申请能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及多分布式集群访问方法及装置。
背景技术
分布式架构在当前大数据软件开发中有着广泛的应用,而在各类企业的生产环境中,对分布式集群的访问往往需要基于用户身份认证的结果,例如对Hadoop分布式集群的访问需要通过Kerberos认证。随着企业的发展,数据常常存放在多套分布式集群中,为了充分发挥数据的作用,需要平台开发打通数据的访问,因此时常存在单进程访问不同的分布式集群的场景,但由于分布式集群存在数据存量的情况,因此各个分布式集群间可能存在集群名相同且不具备配置互信的条件的情形。
目前,针对各个分布式集群间可能存在集群名相同且不具备配置互信的条件的情形,当单进程访问不同的分布式集群时,由于单进程(如java进程等)访问集群需要通过特定参数(如JAVA虚拟机jvm参数等),则会出现该特定参数相互覆盖而导致用户身份认证失败的问题,进而会造成针对多个分布式集群的访问失败。
发明内容
针对现有技术中的问题,本申请提供一种多分布式集群访问方法及装置,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种多分布式集群访问方法,包括:
自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;
应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
进一步地,在所述自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息之前,还包括:
获取各个所述分布式集群各自对应的认证配置文件;
获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息;
将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较;
若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识;
以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名;
将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
进一步地,所述获取各个所述分布式集群各自对应的认证配置文件,包括:
定时登陆预设的至少一个分布式集群;
自登陆的所述分布式集群分别读取对应的认证配置文件;
获取至少一个所述认证配置文件对应的当前密码散列函数值;
判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
进一步地,所述分别获取各个所述认证配置文件分别对应的目标集群名与配置信息,包括:
定时获取所述集群子目录中认证配置文件;
判断所述认证配置文件的密码散列函数值是否发生变化,若是,则自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
进一步地,所述基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识,包括:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
进一步地,所述基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识,包括:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成;
将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识;
在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
进一步地,所述自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,包括:
自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名;
若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识;
标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识;
若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
进一步地,还包括:
若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤;
唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
第二方面,本申请还提供一种多分布式集群访问装置,包括:
认证配置文件解析模块,用于自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;
可访问集群确定模块,用于应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
进一步地,还包括:
认证配置文件下载模块,用于获取各个所述分布式集群各自对应的认证配置文件;
认证配置文件合并模块,用于执行下述内容:
获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息;
将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较;
若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识;
以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名;
将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
进一步地,所述认证配置文件下载模块用于执行下述内容:
定时登陆预设的至少一个分布式集群;
自登陆的所述分布式集群分别读取对应的认证配置文件;
获取至少一个所述认证配置文件对应的当前密码散列函数值;
判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
进一步地,所述认证配置文件合并模块包括:
定时获取单元,用于定时获取所述集群子目录中认证配置文件;
配置信息读取单元,用于判断所述认证配置文件的密码散列函数值是否发生变化,若是,则自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
进一步地,所述认证配置文件合并模块包括:
第一同名区分单元,用于若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
进一步地,所述认证配置文件合并模块包括:
第二同名区分单元,用于执行下述内容:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成;
将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识;
在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
进一步地,所述认证配置文件解析模块用于执行下述内容:
自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名;
若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识;
标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识;
若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
进一步地,所述认证配置文件解析模块还用于执行下述内容:
若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤;
唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的多分布式集群访问方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的多分布式集群访问方法。
由上述技术方案可知,本申请提供的一种多分布式集群访问方法及装置,方法包括:自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,其中,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中的多分布式集群访问方法的流程示意图。
图2是本申请实施例中的多分布式集群访问方法中步骤010至步骤060的流程示意图。
图3是本申请实施例中的多分布式集群访问方法中步骤010的具体流程示意图。
图4是本申请实施例中的多分布式集群访问方法中步骤020的具体流程示意图。
图5是本申请实施例中的多分布式集群访问方法中步骤040的具体流程示意图。
图6是本申请实施例中的多分布式集群访问方法中步骤100的第一种具体流程示意图。
图7是本申请实施例中的多分布式集群访问方法中步骤100的第二种具体流程示意图。
图8是本申请实施例中的多分布式集群访问装置的第一种结构示意图。
图9是本申请实施例中的多分布式集群访问装置的第二种结构示意图。
图10是本申请实施例中的多分布式集群访问装置中认证配置文件合并模块的第一种结构示意图。
图11是本申请实施例中的多分布式集群访问装置中认证配置文件合并模块的第二种结构示意图。
图12是本申请实施例中的多分布式集群访问装置中认证配置文件合并模块的第三种结构示意图。
图13是本申请应用实例提供的单Java进程访问多套基于Kerberos认证的Hadoop集群的装置的结构示意图。
图14是本申请应用实例中的krb5文件下载模块2执行的每轮定时下载流程图。
图15是本申请应用实例中的krb5文件合并模块3执行的每轮定时合并流程图。
图16是本申请应用实例中的krb5文件解析模块5执行的解析流程图。
图17是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有的针对各个分布式集群间可能存在集群名相同且不具备配置互信的条件的情形,当单进程访问不同的分布式集群时,由于单进程(如java进程等)访问集群需要通过特定参数(如JAVA虚拟机jvm参数等),则会出现该特定参数相互覆盖而导致用户身份认证失败的问题,进而会造成针对多个分布式集群的访问失败的问题,本申请实施例分别提供一种多分布式集群访问方法、多分布式集群访问装置、电子设备和计算机可读存储介质,通过自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,其中,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
具体通过下述多个实施例分别进行说明。
在本申请的一个或多个实施例中,所述分布式集群的具体举例可以为Hadoop集群等,其中,Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。
在本申请的一个或多个实施例中,所述识别标识与配置信息之间的对应关系具体可以以键值对key-value的形式存储在所述合并认证配置文件内,其中,识别标识为键值对key-value中的key,配置信息为键值对key-value中的value。
在上述内容的基础上,配置信息与一个分布式集群的集群名之间的对应关系可以预先自该分布式集群对应的认证配置文件中获取,而该认证配置文件具体可以为Kerberos认证中的认证配置krb5文件。其中,Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。
为了实现针对集群名相同且不具备配置互信的条件的多个分布式集群的单程访问,本申请提供一种多分布式集群访问方法的实施例,参见图1,所述多分布式集群访问方法具体包含有如下内容:
步骤100:自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识。
步骤200:应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
可以理解的是,在预设的各个分布式集群中,若某一个分布式集群A没有与其重名的分布式集群,则该分布式集群A的识别标识即可以为仅为集群名;若在预设的各个分布式集群中,某一个分布式集群B1还与另外两个分布式集群B1和B3的集群名相同,则分布式集群B1至B3的识别标识均包括各自的集群名(也是同一个集群名)和预先设置的唯一区分标识。
其中,唯一区别标识是指针对不同的分布式集群对应不同的区分标识,该区分标识可以为字符、字母或数字等形式。具体可以根据预设的区分标识设置规则来指定。
另外,在本申请的一个或多个实施例中,所述目标分布式集群均在预设的各个分布式集群内。
在步骤100中,在自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息之前,先接收用户发送的集群访问请求,其中,该集群访问请求中可以包括多个目标分布式集群以及各个所述目标分布式集群各自对应的用户身份认证信息,还可以包含有目标数据标识。
也就是说,步骤100中提及的当前多个目标分布式集群可以为当前接收的集群访问请求中指定的目标分布式集群。
相对应的,在步骤200中,在将验证成功的用户身份认证信息对应的目标分布式集群确定为所述集群访问请求的可访问集群之后,可以基于所述目标数据标识在所述可访问集群中获取对应的目标数据,并将该目标数据发送至发出所述集群访问请求的用户。或者,之间建立发出所述集群访问请求的用户与所述可访问集群之间的访问进程,以使得用户直接自所述可访问集群中获取目标数据。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
为了进一步提供同名集群区分和集群合并的具体设置方式,在本申请的多分布式集群访问方法的一个实施例中,参见图2,所述多分布式集群访问方法中的步骤100之前还具体包含有如下内容:
步骤010:获取各个所述分布式集群各自对应的认证配置文件。
步骤020:获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息。
步骤030:将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较。
步骤040:若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识。
步骤050:以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名。
步骤060:将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够有效实现集群名相同的多个分布式集群之间的同名集群区分和合并,进而为后续的访问用户的身份认证提供了准确且可靠的数据基础,能够进一步提高身份认证过程的可靠性、准确性及效率,进而能够进一步实现针对多个分布式集群的单程访问。
为了定时获取并更新认证配置文件,在本申请的多分布式集群访问方法的一个实施例中,参见图3,所述多分布式集群访问方法中的步骤010具体包含有如下内容:
步骤011:定时登陆预设的至少一个分布式集群。
步骤012:自登陆的所述分布式集群分别读取对应的认证配置文件。
步骤013:获取至少一个所述认证配置文件对应的当前密码散列函数值。
步骤014:判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则执行步骤015:应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
若是,则表示认证配置文件内容无变化,则无需更新预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够自动且及时地更新认证配置文件,进而能够为应用认证配置文件进行同名集群区分和合并提供了及时更新的数据基础,能够进一步提高身份认证过程的可靠性及智能化程度。
为了获取目标集群名与配置信息,在本申请的多分布式集群访问方法的一个实施例中,参见图4,所述多分布式集群访问方法中的步骤020具体包含有如下内容:
步骤021:定时获取所述集群子目录中认证配置文件。
步骤022:判断所述认证配置文件的密码散列函数值是否发生变化,若是,则执行步骤023:自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
若否,则表示集群子目录中的认证配置文件无变化,放弃合并当前集群。
可以理解的是,可以自所述认证配置文件中读取的认证配置文件对应的分布式集群的目标集群名与配置信息存储至预设的配置文件目录中,并应用配置文件同步模块定时将目标服务器上已完成合并后的配置文件目录同步到每台客户端服务器上,以密码散列函数值判断是否需要更新本地文件。
其中,所述密码散列函数值具体可以为md5值。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够有效提高获取目标集群名与配置信息的可靠性及有效性。
为了提供重命名的第一种情形(初次更名),在本申请的多分布式集群访问方法的一个实施例中,参见图5,所述多分布式集群访问方法中的步骤040具体包含有如下内容:
步骤041:若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够有效提高对分布式集群进行同名集群区分的可靠性及有效性。
为了提供重命名的第二种情形(非初次更名),在本申请的多分布式集群访问方法的一个实施例中,参见图5,所述多分布式集群访问方法中的步骤040还具体包含有如下内容:
步骤042:若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成。
步骤043:将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识。
步骤044:在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够进一步有效提高对分布式集群进行同名集群区分的可靠性及有效性,且有效提高适用广泛性。
为了有效提高配置信息获取的效率、可靠性及有效性,在本申请的多分布式集群访问方法的一个实施例中,参见图6,所述多分布式集群访问方法中的步骤100具体包含有如下内容:
步骤110:自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名。
步骤120:若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识。
可以理解的是,若仅查找到与一集群名相同的一个所述已存集群名,则将该已存集群名的配置信息确定为该集群名对应的目标分布式集群的配置信息。
步骤130:标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识。
步骤140:若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够有效提高配置信息获取的效率、可靠性及有效性,进而能够进一步提高身份认证过程的效率、及可靠性。
为了进一步提高配置信息获取的效率、可靠性及有效性,在本申请的多分布式集群访问方法的一个实施例中,参见图7,所述多分布式集群访问方法中的步骤130之后还具体包含有如下内容:
步骤150:若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤。
步骤160:唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
从上述描述可知,本申请实施例提供的多分布式集群访问方法,能够进一步提高配置信息获取的可靠性及有效性,进而能够进一步提高身份认证过程的可靠性。
从软件层面来说,为了实现针对集群名相同且不具备配置互信的条件的多个分布式集群的单程访问,本申请实施例提供一种用于实现所述多分布式集群访问方法中全部或部分内容的多分布式集群访问装置,参见图8,所述多分布式集群访问装置具体包含有如下内容:
认证配置文件解析模块50,用于自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,其中,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;
可访问集群确定模块60,用于应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
可以理解的是,在预设的各个分布式集群中,若某一个分布式集群A没有与其重名的分布式集群,则该分布式集群A的识别标识即可以为仅为集群名;若在预设的各个分布式集群中,某一个分布式集群B1还与另外两个分布式集群B1和B3的集群名相同,则分布式集群B1至B3的识别标识均包括各自的集群名(也是同一个集群名)和预先设置的唯一区分标识。
其中,唯一区别标识是指针对不同的分布式集群对应不同的区分标识,该区分标识可以为字符、字母或数字等形式。具体可以根据预设的区分标识设置规则来指定。
另外,在本申请的一个或多个实施例中,所述目标分布式集群均在预设的各个分布式集群内。
在认证配置文件解析模块50的执行过程中,在自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息之前,先接收用户发送的集群访问请求,其中,该集群访问请求中可以包括多个目标分布式集群以及各个所述目标分布式集群各自对应的用户身份认证信息,还可以包含有目标数据标识。
也就是说,认证配置文件解析模块50的执行过程中提及的当前多个目标分布式集群可以为当前接收的集群访问请求中指定的目标分布式集群。
相对应的,在可访问集群确定模块60的执行过程中,在将验证成功的用户身份认证信息对应的目标分布式集群确定为所述集群访问请求的可访问集群之后,可以基于所述目标数据标识在所述可访问集群中获取对应的目标数据,并将该目标数据发送至发出所述集群访问请求的用户。或者,之间建立发出所述集群访问请求的用户与所述可访问集群之间的访问进程,以使得用户直接自所述可访问集群中获取目标数据。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
为了进一步提供同名集群区分和集群合并的具体设置方式,在本申请的多分布式集群访问装置的一个实施例中,参见图9,所述多分布式集群访问装置还具体包含有如下内容:
认证配置文件下载模块20,用于获取各个所述分布式集群各自对应的认证配置文件。
认证配置文件合并模块30,用于执行下述内容:
步骤020:获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息。
步骤030:将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较。
步骤040:若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识。
步骤050:以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名。
步骤060:将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够有效实现集群名相同的多个分布式集群之间的同名集群区分和合并,进而为后续的访问用户的身份认证提供了准确且可靠的数据基础,能够进一步提高身份认证过程的可靠性、准确性及效率,进而能够进一步实现针对多个分布式集群的单程访问。
为了定时获取并更新认证配置文件,在本申请的多分布式集群访问装置的一个实施例中,所述多分布式集群访问装置中的所述认证配置文件下载模块20具体用于执行下述内容:
步骤011:定时登陆预设的至少一个分布式集群。
步骤012:自登陆的所述分布式集群分别读取对应的认证配置文件。
步骤013:获取至少一个所述认证配置文件对应的当前密码散列函数值。
步骤014:判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则执行步骤015:应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
若是,则表示认证配置文件内容无变化,则无需更新预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够自动且及时地更新认证配置文件,进而能够为应用认证配置文件进行同名集群区分和合并提供了及时更新的数据基础,能够进一步提高身份认证过程的可靠性及智能化程度。
为了获取目标集群名与配置信息,在本申请的多分布式集群访问装置的一个实施例中,参见图10,所述多分布式集群访问装置中的认证配置文件合并模块30具体包含有如下内容:
定时获取单元31,用于定时获取所述集群子目录中认证配置文件。
配置信息读取单元32,用于判断所述认证配置文件的密码散列函数值是否发生变化,若是,则执行步骤023:自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
若否,则表示集群子目录中的认证配置文件无变化,放弃合并当前集群。
可以理解的是,可以自所述认证配置文件中读取的认证配置文件对应的分布式集群的目标集群名与配置信息存储至预设的配置文件目录中,并应用配置文件同步模块定时将目标服务器上已完成合并后的配置文件目录同步到每台客户端服务器上,以密码散列函数值判断是否需要更新本地文件。
其中,所述密码散列函数值具体可以为md5值。从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够有效提高获取目标集群名与配置信息的可靠性及有效性。为了提供重命名的第一种情形(初次更名),在本申请的多分布式集群访问装置的一个实施例中,参见图11,所述多分布式集群访问装置中的认证配置文件合并模块30还具体包含有如下内容:
第一同名区分单元33,用于若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够有效提高对分布式集群进行同名集群区分的可靠性及有效性。
为了提供重命名的第二种情形(非初次更名),在本申请的多分布式集群访问装置的一个实施例中,参见图12,所述多分布式集群访问装置中的认证配置文件合并模块30还具体包含有如下内容:
第二同名区分单元34,用于执行下述内容:
步骤042:若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成。
步骤043:将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识。
步骤044:在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够进一步有效提高对分布式集群进行同名集群区分的可靠性及有效性,且有效提高适用广泛性。
为了有效提高配置信息获取的效率、可靠性及有效性,在本申请的多分布式集群访问装置的一个实施例中,所述多分布式集群访问装置中的认证配置文件解析模块50用于执行下述内容:
步骤110:自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名。
步骤120:若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识。
可以理解的是,若仅查找到与一集群名相同的一个所述已存集群名,则将该已存集群名的配置信息确定为该集群名对应的目标分布式集群的配置信息。
步骤130:标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识。
步骤140:若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够有效提高配置信息获取的效率、可靠性及有效性,进而能够进一步提高身份认证过程的效率、及可靠性。
为了进一步提高配置信息获取的效率、可靠性及有效性,在本申请的多分布式集群访问装置的一个实施例中,所述多分布式集群访问装置中的认证配置文件解析模块50还用于执行下述内容:
步骤150:若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤。
步骤160:唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
从上述描述可知,本申请实施例提供的多分布式集群访问装置,能够进一步提高配置信息获取的可靠性及有效性,进而能够进一步提高身份认证过程的可靠性。
为了进一步说明本方案,本申请还提供一种应用所述多分布式集群访问装置实现所述多分布式集群访问方法的具体应用实例,该应用实例提供一种单Java进程访问多套基于Kerberos认证的Hadoop集群的方法及装置。通过合并各集群认证配置krb5文件解决固定jvm参数值,并在合并的过程中通过域名添加后缀的方式处理重名的情况,进程通过krb5解析模块检索合并后的文件来匹配目标集群,从而达到单进程访问不同集群的目标,以解决现有技术中在无法调整Hadoop集群情况下只能访问单套集群的问题。
如图13所示,本申请应用实例提供的一种单Java进程访问多套基于Kerberos认证的Hadoop集群的装置包括:元数据库1、krb5文件下载模块2、krb5文件合并模块3、配置文件同步模块4和krb5文件解析模块5。
元数据库1,负责存储各目标Hadoop集群基本信息,包含但不限于各认证配置krb5下载地址信息、下载所需用户信息等,其中,Hadoop集群的数量为1-n,且n为大于1的正整数。
krb5文件下载模块2,负责定时下载各集群的认证配置krb5文件到目标服务器本地文件系统指定目录下,以集群粒度分开存储,以md5值判断是否需要更新本地文件。
krb5文件合并模块3,负责定时将krb5文件下载模块2下载所得的各集群的认证配置krb5文件进行合并,对于各集群realm关键字key相同的情况中,每遇到一次就在原关键字key名称基础上加上“.数字”后缀,数字从1开始,每次自增1,以md5值判断是否需要更新本地文件。
配置文件同步模块4,负责定时将目标服务器上已完成合并后的配置文件目录同步到每台客户端服务器上,以md5值判断是否需要更新本地文件。其中,配置文件目录中包含有Hadoop集群1对应的krb5文件至Hadoop集群n对应的krb5文件,还包含有合并的krb5文件。
krb5文件解析模块5,负责各客户端具体连接Hadoop集群的时候根据实际传入的认证信息中解析出域名,以此为关键字key从合并所得认证配置krb5文件中解析出对应集群完整的realm信息,对于关键字key重复的情况,在原关键字key名称基础上加上“.数字”后缀,数字从1开始,每次自增1,循环进行解析,直到解析成功,或无对应集群信息异常退出。
图14是krb5文件下载模块2执行的每轮定时下载流程图。
步骤S101,登陆目标集群。
步骤S102,以字节流的方式读取集群上认证配置krb5文件到本地内存中。
步骤S103,计算本地内存中数据对应的md5值。
步骤S104,将前一步骤计算所得md5值与本地认证配置krb5文件对应md5值比较,即判断:是否与本地已下载krb5文件的md5值一致。
步骤S105,若二md5值不一致表示文件内容有变化,更新本地认证配置krb5文件内容为最新。
参见图15,每轮定时合并流程如下:
步骤S201,从下载目录中读取一个集群子目录下的认证配置krb5文件。
步骤S202,判断文件的md5值是否已发生变化,若无变化则放弃合并当前集群。
步骤S203,若发生变化,从读取到的认证配置krb5文件中realms标签下解析key-value键值对。
步骤S204,将解析得到的关键字key值与当前合并后的认证配置krb5文件realms标签下已存在关键字key值比较,即判断:是否key值已在合并后的krb5文件中。
步骤S205,若关键字key值已存在,将当前集群的关键字key值添加“.数字”后缀,其中数字从1开始,自增1。
步骤S206,将当前集群的键值对key-value信息添加到合并后认证配置krb5文件中。
步骤S207,判断是否已覆盖下载目录下所有集群,若未覆盖完全,则跳转到步骤S201重复执行,若已覆盖完全,则退出本次合并任务。
图16是krb5文件解析模块5执行的解析流程图。
步骤S301,从客户端传入认证信息中获取目标集群域名信息。
步骤S302,判断域名是否存在于合并认证配置krb5文件realms标签下,若不存在跳转至步骤S308异常处理。
步骤S303,若存在,进一步判断域名是否在realms标签中有重复现象(忽略后缀),若不存在,跳转至步骤S304,若存在,跳转至步骤S305。
步骤S304,使用当前域名为关键字key从合并认证配置krb5文件中解析出配置信息(值value)。
步骤S305,将当前集群的关键字key值添加“.数字”后缀,其中数字从1开始,每次增加1,对于第一次不添加,从合并认证配置krb5文件间依次取配置信息(值value)。
步骤S306,使用步骤S304或S305得到的配置信息(值value)进行认证,即判断:是否认证成功,若成功就结束流程。
步骤S307,若认证失败,判断是否已覆盖合并认证配置krb5文件所有realms标签,若覆盖完全,跳转步骤S308,若未覆盖完全,则跳转到步骤S305重复执行。
步骤S308,客户端异常处理。
从上述描述可知,本申请实施例提供的单Java进程访问多套基于Kerberos认证的Hadoop集群的方法及装置,克服了当前计算单Java进程认证不同Hadoop集群时出现jvm参数相互覆盖,重复域名无法处理的问题,能够有效实现针对集群名相同且不具备配置互信的条件的多个Hadoop集群的身份认证过程,克服了当前计算单Java进程认证不同Hadoop集群时出现特定jvm参数相互覆盖,重复域名(集群名)无法处理的问题,能够有效提高想要访问Hadoop集群的用户的身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个Hadoop集群的单程访问,并能够有效提高Hadoop集群访问的可靠性。
从硬件层面来说,为了实现针对集群名相同且不具备配置互信的条件的多个分布式集群的单程访问,本申请提供一种用于实现所述多分布式集群访问方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现电子设备与用户终端以及相关数据库等相关设备之间的信息传输;该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照实施例中的多分布式集群访问方法的实施例,以及,多分布式集群访问装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
图17为本申请实施例的电子设备9600的系统构成的示意框图。如图17所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图17是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在一实施例中,多分布式集群访问功能可以被集成到中央处理器中。其中,中央处理器可以被配置为进行如下控制:
步骤100:自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,其中,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识。
步骤200:应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
从上述描述可知,本申请实施例提供的电子设备,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
在另一个实施方式中,多分布式集群访问装置可以与中央处理器9100分开配置,例如可以将多分布式集群访问装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现多分布式集群访问功能。
如图17所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图17中所示的所有部件;此外,电子设备9600还可以包括图17中没有示出的部件,可以参考现有技术。
如图17所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的多分布式集群访问方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的多分布式集群访问方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,其中,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识。
步骤200:应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群。
从上述描述可知,本申请实施例提供的计算机可读存储介质,能够有效实现针对集群名相同且不具备配置互信的条件的多个分布式集群的身份认证过程,克服了当前计算单进程认证不同分布式集群时出现特定参数相互覆盖,重复域名无法处理的问题,能够有效提高身份认证过程的可靠性、准确性及效率,进而能够有效实现针对多个分布式集群的单程访问,并能够有效提高集群访问的可靠性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种多分布式集群访问方法,其特征在于,包括:
自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;
应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群;
所述自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,包括:
自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名;
若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识;
标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识;
若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
2.根据权利要求1所述的多分布式集群访问方法,其特征在于,在所述自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息之前,还包括:
获取各个所述分布式集群各自对应的认证配置文件;
获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息;
将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较;
若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识;
以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名;
将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
3.根据权利要求2所述的多分布式集群访问方法,其特征在于,所述获取各个所述分布式集群各自对应的认证配置文件,包括:
定时登陆预设的至少一个分布式集群;
自登陆的所述分布式集群分别读取对应的认证配置文件;
获取至少一个所述认证配置文件对应的当前密码散列函数值;
判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
4.根据权利要求3所述的多分布式集群访问方法,其特征在于,分别获取各个所述认证配置文件分别对应的目标集群名与配置信息,包括:
定时获取所述集群子目录中认证配置文件;
判断所述认证配置文件的密码散列函数值是否发生变化,若是,则自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
5.根据权利要求2所述的多分布式集群访问方法,其特征在于,所述基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识,包括:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
6.根据权利要求2所述的多分布式集群访问方法,其特征在于,所述基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识,包括:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成;
将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识;
在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
7.根据权利要求1所述的多分布式集群访问方法,其特征在于,还包括:
若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤;
唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
8.一种多分布式集群访问装置,其特征在于,包括:
认证配置文件解析模块,用于自预存储的合并认证配置文件中分别查找当前多个目标分布式集群各自对应的配置信息,其中,所述合并认证配置文件用于存储各个分布式集群的识别标识与配置信息之间的对应关系,集群名相同的多个分布式集群的识别标识均包括各自的集群名和预先设置的唯一区分标识;可访问集群确定模块,用于应用各个所述配置信息分别验证各自对应的所述目标分布式集群的用户身份认证信息,并将验证成功的用户身份认证信息对应的目标分布式集群确定为当前的可访问集群;
所述认证配置文件解析模块用于执行下述内容:
自所述合并认证配置文件中查找与当前多个目标分布式集群的集群名相同的已存集群名;
若查找到与一集群名相同的多个所述已存集群名,则在该集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该集群名对应的目标分布式集群当前的识别标识;
标识查找步骤:自所述合并认证配置文件中查找与所述目标分布式集群当前的识别标识相同的已存识别标识;
若仅查找到一个与所述目标分布式集群当前的识别标识相同的已存识别标识,则获取该已存识别标识对应的配置信息。
9.根据权利要求8所述的多分布式集群访问装置,其特征在于,还包括:
认证配置文件下载模块,用于获取各个所述分布式集群各自对应的认证配置文件;
认证配置文件合并模块,用于执行下述内容:
获取各个所述认证配置文件各自对应的分布式集群的目标集群名与配置信息;
将各个所述认证配置文件的目标集群名分别与预设的合并认证配置文件中已存集群名进行比较;
若各个所述认证配置文件与所述合并认证配置文件中存在相同的集群名,则基于预设的区分标识设置规则,则向与所述合并认证配置文件中已存集群名相同的分布式集群配置唯一区分标识,以使该分布式集群的识别标识包括目标集群名和唯一区分标识;
以及,若存在未包含在所述合并认证配置文件中的目标集群名对应的分布式集群,并将该分布式集群的识别标识设置为该目标集群名;
将设有各个所述分布式集群各自对应的识别标识及配置信息添加至所述合并认证配置文件。
10.根据权利要求9所述的多分布式集群访问装置,其特征在于,所述认证配置文件下载模块用于执行下述内容:
定时登陆预设的至少一个分布式集群;
自登陆的所述分布式集群分别读取对应的认证配置文件;
获取至少一个所述认证配置文件对应的当前密码散列函数值;
判断当前密码散列函数值与前一次获取的认证配置文件对应的密码散列函数值是否相同,若否,则应用当前密码散列函数值对应的认证配置文件,对应替换预先存储在集群子目录中的属于同一所述分布式集群的认证配置文件。
11.根据权利要求10所述的多分布式集群访问装置,其特征在于,所述认证配置文件合并模块包括:
定时获取单元,用于定时获取所述集群子目录中认证配置文件;
配置信息读取单元,用于判断所述认证配置文件的密码散列函数值是否发生变化,若是,则自该认证配置文件中读取该认证配置文件对应的分布式集群的目标集群名与配置信息。
12.根据权利要求9所述的多分布式集群访问装置,其特征在于,所述认证配置文件合并模块包括:
第一同名区分单元,用于若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识仅包含有该已存集群名,则在当前的分布式集群的目标集群名的尾部添加一由预设字符和正整数组成的唯一区分标识,以形成该分布式集群的识别标识。
13.根据权利要求9所述的多分布式集群访问装置,其特征在于,所述认证配置文件合并模块包括:
第二同名区分单元,用于执行下述内容:
若在所述合并认证配置文件中,存在与当前的分布式集群的目标集群名相同的已存集群名,且该已存集群名对应的分布式集群的识别标识包含有该已存集群名和第一唯一区别标识,则读取该第一唯一区别标识,其中,所述第一唯一区别标识由预设字符和正整数组成;
将所述第一唯一区别标识中的正整数进行加一处理,以形成第二唯一区分标识;
在当前的分布式集群的目标集群名的尾部添加所述第二唯一区分标识,以形成该分布式集群的识别标识。
14.根据权利要求8所述的多分布式集群访问装置,其特征在于,所述认证配置文件解析模块还用于执行下述内容:
若查找到多个与所述目标分布式集群当前的识别标识相同的已存识别标识,则执行唯一区分标识步骤;
唯一区分标识步骤:将所述目标分布式集群当前的识别标识中的正整数进行加一处理,并返回执行所述标识查找步骤。
15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述的多分布式集群访问方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的多分布式集群访问方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498966.8A CN111695098B (zh) | 2020-06-04 | 2020-06-04 | 多分布式集群访问方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498966.8A CN111695098B (zh) | 2020-06-04 | 2020-06-04 | 多分布式集群访问方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111695098A CN111695098A (zh) | 2020-09-22 |
CN111695098B true CN111695098B (zh) | 2023-08-11 |
Family
ID=72478918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010498966.8A Active CN111695098B (zh) | 2020-06-04 | 2020-06-04 | 多分布式集群访问方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111695098B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241314B (zh) * | 2020-10-29 | 2022-08-09 | 浪潮通用软件有限公司 | 多Kubernetes集群管理方法、装置和可读介质 |
CN112540830B (zh) * | 2020-12-21 | 2022-03-04 | 广州华资软件技术有限公司 | 一种单JVM进程中同时支持多个Kerberos认证的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104320389A (zh) * | 2014-10-11 | 2015-01-28 | 南京邮电大学 | 一种基于云计算的融合身份保护系统及方法 |
CN107679192A (zh) * | 2017-10-09 | 2018-02-09 | 中国工商银行股份有限公司 | 多集群协同数据处理方法、系统、存储介质及设备 |
CN110602136A (zh) * | 2019-09-25 | 2019-12-20 | 华为技术有限公司 | 集群访问方法和相关产品 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080071804A1 (en) * | 2006-09-15 | 2008-03-20 | International Business Machines Corporation | File system access control between multiple clusters |
US8959525B2 (en) * | 2009-10-28 | 2015-02-17 | International Business Machines Corporation | Systems and methods for affinity driven distributed scheduling of parallel computations |
-
2020
- 2020-06-04 CN CN202010498966.8A patent/CN111695098B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104320389A (zh) * | 2014-10-11 | 2015-01-28 | 南京邮电大学 | 一种基于云计算的融合身份保护系统及方法 |
CN107679192A (zh) * | 2017-10-09 | 2018-02-09 | 中国工商银行股份有限公司 | 多集群协同数据处理方法、系统、存储介质及设备 |
CN110602136A (zh) * | 2019-09-25 | 2019-12-20 | 华为技术有限公司 | 集群访问方法和相关产品 |
Non-Patent Citations (1)
Title |
---|
郑文青 ; .基于hadoop的大数据分布式集群平台搭建的研究.计算机产品与流通.(第12期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111695098A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10560261B1 (en) | Systems and techniques for capture of trusted media data | |
CN110912707B (zh) | 基于区块链的数字证书处理方法、装置、设备及存储介质 | |
CN107396360B (zh) | 区块验证方法及装置 | |
CN106874389B (zh) | 数据的迁移方法和装置 | |
RU2621643C2 (ru) | Способ и устройство для отображения информации | |
US10073916B2 (en) | Method and system for facilitating terminal identifiers | |
CN107026832B (zh) | 账户登录方法、设备和服务器 | |
US20220123936A1 (en) | System And Method For Delegating Authority Through Coupled Devices | |
WO2020093565A1 (zh) | 区块链区块删除方法、装置以及终端设备 | |
CN108322469A (zh) | 信息处理系统、方法和装置 | |
KR20110008272A (ko) | 단일 서비스 사인 온을 제공하는 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
CN111695098B (zh) | 多分布式集群访问方法及装置 | |
CN106899563B (zh) | 鉴权方法及装置、鉴权码生成方法及装置、鉴权系统 | |
CN105993156B (zh) | 服务器访问验证方法以及装置 | |
CN110851359A (zh) | 应用程序测试方法、装置及服务器 | |
WO2018022305A1 (en) | Interchangeable retrieval of content | |
CN111597567A (zh) | 数据处理方法、装置、节点设备及存储介质 | |
CN111770072B (zh) | 一种单点登录接入功能页面的方法和装置 | |
CN111988262B (zh) | 认证方法、装置及服务器、存储介质 | |
CN113886803A (zh) | 即时通讯的对象存储系统、对象存储请求方法及装置 | |
CN111147235B (zh) | 对象访问方法、装置、电子设备及机器可读存储介质 | |
US20230325521A1 (en) | Data processing method and apparatus based on blockchain network, device, and storage medium | |
CN111090616B (zh) | 一种文件管理方法、对应装置、设备及存储介质 | |
CN111444542A (zh) | 一种针对版权文件的数据处理方法、装置及存储介质 | |
CN110392083B (zh) | 文件秒传的控制方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |