CN117499067A - 集群管理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种集群管理方法、装置、计算机设备及存储介质，涉及大数据技术领域。该方法包括：通过第一集群对目标客户端进行安全认证，获得认证结果；对第一集群的集群互信关系进行查询，获得与第一集群建立集群互信关系的至少一个第二集群；通过第一集群将认证结果传递给至少一个第二集群，以使得至少一个第二集群在接收到目标客户端发送的访问请求时，基于认证结果对所述访问请求进行处理。通过上述方法，可以简化目标客户端访问多个集群时所需的安全认证过程，在保证了访问安全的同时，提高了集群访问效率。

Description

集群管理方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及大数据技术领域，特别涉及一种集群管理方法、装置、计算机设备及存储介质。

背景技术

在大数据领域，Hadoop作为事实上的标准，在业界的各个公司以及科研机构中广泛使用，一般对于中大型企业，都会拥有多套大数据集群因为一套集群在数据量不断扩大、服务器节点数不断攀升的情况下，其中，某些组件的性能存在瓶颈，因此可以通过拆分集群来解决，或者，根据业务类型设置不同的集群，以避免同一个集群有问题对所有业务都造成影响。

在相关技术中，多个集群之间默认是不能直接访问的，比如一个程序可能需要写多个集群，那么该程序需要访问哪个集群时就需要在该集群处进行安全认证，才能访问该集群并对该集群进行相关操作，使得集群访问过程较为复杂。

发明内容

本申请实施例提供了一种集群管理方法、装置、计算机设备及存储介质，可以简化目标客户端访问多个集群时所需的安全认证过程，在保证访问安全的同时，提高集群访问效率。该技术方案如下：

一方面，提供了一种集群管理方法，所述方法包括：

通过第一集群对目标客户端进行安全认证，获得认证结果；

对所述第一集群的集群互信关系进行查询，获得与所述第一集群建立集群互信关系的至少一个第二集群；

通过所述第一集群将所述认证结果传递给所述至少一个第二集群，以使得所述至少一个第二集群在接收到所述目标客户端发送的访问请求时，基于所述认证结果对所述访问请求进行处理。

另一方面，提供了一种集群管理装置，所述装置包括：

安全认证模块，用于通过第一集群对目标客户端进行安全认证，获得认证结果；

关系查询模块，用于对所述第一集群的集群互信关系进行查询，获得与所述第一集群建立集群互信关系的至少一个第二集群；

传递模块，用于通过所述第一集群将所述认证结果传递给所述至少一个第二集群，以使得所述至少一个第二集群在接收到所述目标客户端发送的访问请求时，基于所述认证结果对所述访问请求进行处理。

另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现上述的集群管理方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述的集群管理方法。

另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述各种可选实现方式中提供的集群管理方法。

本申请提供的技术方案可以包括以下有益效果：

本申请实施例提供的集群管理方法，在各个集群之间建立集群互信关系的基础上，在第一集群完成对目标客户端的安全认证后，会将获得的认证结果传给与该第一集群建立有集群互信关系的各个第二集群，以使得在第二集群接收到目标客户端发送的访问请求时，可以跳过对目标客户端进行安全认证的过程，基于第一集群传递的认证结果对该访问请求进行处理，从而简化了目标客户端访问多个集群时所需的安全认证过程，在保证了访问安全的同时，提高了集群访问效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请一示例性实施例提供的集群管理方法的流程图；

图2示出了本申请一示例性实施例提供的集群集合的示意图；

图3示出了本申请一示例性实施例提供的集群管理方法的示意图；

图4示出了本申请一示例性实施例提供的集群管理平台对应的关系配置界面的示意图；

图5示出了本申请一示例性实施例提供的集群管理平台对应的规则配置界面的示意图；

图6示出了本申请一示例性实施例示出的对配置文件进行修改的示意图；

图7示出了本申请一示例性实施例示出的对hdfs配置文件进行整合的示意图；

图8示出了本申请一示例性实施例提供的集群互信架构示意图；

图9示出了本申请一示例性实施例提供的集群管理装置的方框图；

图10示出了本申请一示例性实施例示出的计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请中涉及的名词进行解释说明：

1)Hadoop

Hadoop：一个提供大规模分布式存储以及分布式计算能力的大数据平台。Hadoop由HDFS(Hadoop Distributed File System，分布式文件系统)、YARN(Yet AnotherResource Negotiator，另一种资源协调者)以及MapReduce(映射规约)这三个组件组成，其中，HDFS负责对海量数据进行存储，MapReduce是面向大数据并行处理的计算模型、框架和平台，YARN是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

2)YARN

YARN是将之前Hadoop 1.x的Job Tracker功能分别拆到不同的组件里面了,每个组件分别负责不同的功能。主要方法是创建一个全局的Resource Manager(RM，资源管理)和若干个针对应用程序的Application Master(AM，应用程序主机)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础Node Manager(YARN的每节点代理)。Resource Manager还与Application Master一起分配资源，与Node Manager一起启动和监视它们的基础应用程序。在此上下文中，Application Master承担了以前的TaskTracker的一些角色，Resource Manager承担了Job Tracker的角色。

3)Hive

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL(Structured Query Language，结构化查询语言)查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉MapReduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而MapReduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF(User-DefinedFunction，用户自定义函数)、UDAF(User-Defined Aggregate Function，用户定义聚合函数)和UDTF(User-Defined Table-Generating Function，用户定义表生成函数)，也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。

为了解决客户端访问多个集群时所需的多次认证的问题，本申请提供了一种集群管理方法，图1示出了本申请一示例性实施例提供的集群管理方法的流程图，该方法可以由集群管理平台执行，如图1所示，该集群管理方法包括：

步骤110，通过第一集群对目标客户端进行安全认证，获得认证结果。

该第一集群可以是集群集合中接收到目标客户端发送的认证请求的集群，该集群集合中可以包含多个集群，该集群集合中的各个集群之间可以基于实际需求预先建立有集群互信关系。示意性的，该集群可以是大数据集群。

该认证结果可以包括认证通过以及认证不通过两种情况。

步骤120，对第一集群的集群互信关系进行查询，获得与第一集群建立集群互信关系的至少一个第二集群。

基于集群集合中配置的各个集群之间的集群互信关系，集群管理平台可以查询获得与该第一集群建立有集群互信关系的至少一个第二集群。

步骤130，通过第一集群将认证结果传递给至少一个第二集群，以使得至少一个第二集群在接收到目标客户端发送的访问请求时，基于认证结果对访问请求进行处理。

在第一集群的认证结果指示对目标客户端的安全认证通过时，第二集群对目标客户端开放访问权限，响应该访问请求；在第一集群的认证结果指示对目标客户端的安全认证不通过时，不响应该访问请求。

图2示出了本申请一示例性实施例提供的集群集合的示意图，如图2所示，该集群集合中包含3个集群，即集群1，集群2以及集群3，这3个集群两两之间建立有集群互信关系，也就是说，当其中一个集群(比如集群1)完成对目标客户端的安全认证且认证结果为认证通过时，在其他的集群(比如集群2或集群3)接收到该目标客户端的访问请求时就可以直接被访问，无需对该目标客户端再次进行安全认证。

在本申请实施例中的集群可以是指大数据集群，该集群包含一定的硬件资源(比如服务器、网络)，软件资源(包括但不限于Hadoop、Yarn、Hive组件)组成的一套分布式、高可用的提供数据存储、计算、查询等能力的平台。每个集群均可以独立实现客户端认证的过程，例如在Hadoop系统中进行的Kerberos认证过程。若将一个Hadoop系统视为一个集群，那么基于上述集群管理方法，目标客户端在一个Hadoop系统中完成一次Kerberos认证过程获得认证结果后，该Hadoop系统会将认证结果传递给与其建立有集群互信关系的其他Hadoop系统，以在目标客户端访问其他Hadoop系统时，其他Hadoop系统可以基于接收到的认证结果对目标客户端的访问请求进行处理，无需在此进行安全认证。

综上所述，本申请实施例提供的集群管理方法，在各个集群之间建立集群互信关系的基础上，在第一集群完成对目标客户端的安全认证后，会将获得的认证结果传给与该第一集群建立有集群互信关系的各个第二集群，以使得在第二集群接收到目标客户端发送的访问请求时，可以跳过对目标客户端进行安全认证的过程，基于第一集群传递的认证结果对该访问请求进行处理，从而简化了目标客户端访问多个集群时所需的安全认证过程，在保证了访问安全的同时，提高了集群访问效率。

在集群之间建立集群互信关系的基础上，除可以简化安全认证的过程之外，还可以实现跨集群的数据查询以及数据读写，以及跨集群认证等功能；图3示出了本申请一示例性实施例提供的集群管理方法的示意图，该方法可以由集群管理平台执行，如图3所示，该集群管理方法包括：

步骤310，获取集群集合中包含的各个集群的集群领域信息，该集群领域信息用于指示集群的服务范围；该集群集合包括第一集群以及至少一个第二集群。

集群管理平台可以基于接收到的集群指定操作确定集群集合，并获取各个集群各自的集群领域信息；也就是说，用户可以通过集群指定操作自定义哪些集群之间需要建立集群互信关系。

步骤320，在接收到关系配置操作时，遍历集群集合中的各个集群，将各个其他集群的集群领域信息添加到关系配置集群的受信任领域中，以建立关系配置集群与各个其他集群之间的集群互信关系；该受信任领域包含关系配置集群信任的服务范围；该关系配置集群是集群集合中当前被遍历到的集群，其他集群是集群集合中除关系配置集群之外的集群。

图4示出了本申请一示例性实施例提供的集群管理平台对应的关系配置界面的示意图，如图4所示，该集群管理平台的关系配置界面中可以包含信息添加控件410，该信息添加控件410用于在接收到关系配置操作时，将各个其他集群的集群领域信息添加到关系配置集群的受信任领域中，该关系配置操作可以是信息输入操作，即在该信息添加控件中输入需添加的集群的集群领域信息，或者，该关系配置操作也可以是信息选择操作，即在信息添加控件接收到触控操作时，显示多个备选集群的集群信息，基于接收到的信息选择操作确定需要添加的集群的集群领域信息。以关系配置集群为第一集群，在第一集群的受信任领域中添加一个第二集群的集群领域信息为例，如图4所示，第一集群的受信任领域中最初包含第一集群的集群领域信息：“SH.HADOOP”；通过对信息添加控件的关系配置操作，在第一集群的受信任领域中加入第二集群的集群领域信息：“DWH.COM”，以完成对第一集群的<受信任的Kerberos领域>(即受信任领域)的配置，若要添加其他集群的集群领域信息，还可以继续通过上述信息添加控件进行添加，此处不再赘述。

在完成上述配置操作后，还需重启第一集群以使得配置生效。

集群管理平台依次为集群集合中的各个集群进行集群互信关系配置，以建立集群集合中两两集群之间的集群互信关系，集群管理平台为各个集群进行集群互信关系配置的过程可以参考图4所示的第一集群的集群互信关系配置的过程，此处不再赘述。

在某些场景中具有集群权限控制需求，此时，可以对用户进行权限设置，来限制用户能够访问的集群以及能够读写集群中的指定目录，以达到对用户的最小权限管控。

可选的，为适应不同集群之间的交互，相关人员可以基于应用需求为各个集群添加适应性规则；示例性的，图5示出了本申请一示例性实施例提供的集群管理平台对应的规则配置界面的示意图，如图5所示，相关人员还可以在集群管理平台上完成对<将Kerberos主体映射到短名称的其他规则>的配置，以完成对映射规则的创建，从而建立不同集群中的名称映射关系，便于集群间的交互，该配置可以是基于应用需求添加的适应性规则，本申请对具体规则不进行限制，如图5所示的区域510中的其他规则即为对应于图4所示新增的集群配置的其他规则。

步骤330，通过第一集群对目标客户端进行安全认证，获得认证结果。

在认证结果为认证通过时，第一集群会向目标客户端下发认证票据，以使得该目标客户端通过该认证票据访问其他集群。该第一集群为集群集合中的一个。

步骤340，对第一集群的集群互信关系进行查询，获得与第一集群建立集群互信关系的至少一个第二集群。

步骤350，通过第一集群将认证结果传递给至少一个第二集群，以使得至少一个第二集群在接收到目标客户端发送的访问请求时，基于认证结果对访问请求进行处理。

第二集群在接收到目标客户端发送的访问请求时，若该访问请求中包含有认证票据，且第二集群确认该认证票据是与之建立有集群互信关系的集群下发的认证票据时，确认该目标客户端的访问合法，响应该访问请求。

在一种可能的实现方式中，集群管理平台在进行集群互信关系配置时，还可以修改各个集群中的各个节点上的krb5认证的配置文件，该方法包括：

获取集群集合中包含的至少两个集群各自的集群信息；该集群信息包括密钥分发中心kdc配置信息以及集群包含的各个设备的设备信息；

将由各个集群的集群信息组成的目标集群信息写入各个集群的第一配置文件中，第一配置文件为krb5认证的配置文件。

各个集群均具有默认配置的对应的集群信息，图6示出了本申请一示例性实施例示出的对配置文件进行修改的示意图，如图6所示，以整合两个集群的集群信息为例，区域610内是新增的另一个集群的集群信息，其中，区域611内为另一个集群的kdc(Key-Distribution Center，密钥分配中心)配置信息，负责安全认证服务，区域612内为另一个集群各个设备的设备信息，以进行辅助认证。区域610内的集群信息与原集群的集群信息共同组成目标集群信息，分别将该目标集群信息写入原集群的第一配置文件(即如图6所示的第一配置文件)以及另一个集群的第二配置文件中；通过上述配置，可以使得目标客户端在访问一个集群时，可以获取与该集群具有集群互信关系的其他集群的集群信息，以便于实现一些场景中通过访问当前集群跳转其他集群的需求。

需要说明的是，图6所示的在当前集群中新增一个集群的集群信息仅为示意性的，集群管理平台可以基于建立集群互信关系的数量确定新增集群信息的集群的数量，并对应在各个集群中进行集群信息的整合。

本申请提供一个通过访问当前集群跳转其他集群的场景：

在目标客户端发送的访问请求中包含指示认证集群的信息时，接收到该访问请求的集群可以根据指示认证集群的信息确定认证集群；在认证集群为当前集群时，通过当前集群对目标客户端进行安全认证，在认证集群不是当前集群时，则可以通过第一配置文件中包含的其他集群的集群信息确定认证集群的集群信息，实现通过其他集群对目标客户端进行安全认证的需求。该过程可以实现为：

在目标集群接收到目标客户端发送的访问请求时，确定访问请求指示的认证集群；该认证集群是指对目标客户端进行安全认证的集群；该目标集群是集群集合中包含的集群中的任意一个；

若认证集群为目标集群，则将目标集群确定为第一集群；

若认证集群为非目标集群，则将非目标集群确定为第一集群，并基于目标集群中包含的各个集群的集群信息，将目标客户端的客户端信息发送到非目标集群进行安全认证；该非目标集群是与目标集群建立集群互信关系的集群中的一个。

在非目标集群完成对目标客户端的安全认证后，将认证结果传递给目标集群，若认证结果指示对该目标客户端的安全认证通过，则目标集群响应其接收到的访问请求，否则，则不响应其接收到的访问请求。

可选的，在本申请实施例中，在完成对各个集群之间的集群互信关系的配置后，还可以对各个集群的存储系统的配置文件进行整合并存储到各个集群中，以适应跨集群间的数据读取或数据更改的需求，比如对hdfs配置文件进行整合；该过程可以实现为：

获取各个集群各自的第二配置文件；该第二配置文件为存储系统的配置文件；

将由各个集群各自的第二配置文件组成的目标配置文件写入各个集群。

在完成配置文件整合并写入各个集群后，重启相应的组件和集群以加载最新的目标配置文件。

以存储系统的配置文件为hdfs配置文件为例，图7示出了本申请一示例性实施例示出的对hdfs配置文件进行整合的示意图，如图7所示，以整合两个集群的hdfs配置文件为例，区域710内是当前集群中新增的另一个集群的hdfs配置文件，该hdfs配置文件中包含nameservice配置(如图7所示的myhdfs)，区域710中的hdfs配置文件与原集群的hdfs配置文件共同组成目标配置文件，分别将该目标配置文件写入当前集群以及另一个集群中；在当前集群中的目标配置文件加载成功后，目标客户端在访问当前集群时，可以根据nameservice配置以及对应于nameservice配置的配置内容进行层层读取，最终读取到另一个集群的访问地址，如图7所示，目标客户端可以在当前集群的目标配置文件中读取到另一个集群的rpc访问地址为：scq03-vmware00505696dc4f-test-app-70-125-msxf.host:8082，目标客户端就可以通过该rpc访问地址访问到另一个集群。

需要说明的是，图7所示的新增一个集群的hdfs配置文件仅为示意性的，集群管理平台可以基于建立集群互信关系的数量确定新增hdfs配置信息的集群的数量，并对应在各个集群中进行hdfs配置信息的整合，通过对hdfs配置信息的整合，使得客户端、应用或者组件可以根据整合后的配置文件获取到不同集群的链接信息(比如访问地址)，来读写相应集群中的数据。

示意性的，通过当前集群访问其他集群的过程可以实现为：

在通过目标集群接收到目标客户端发送的访问请求，且访问请求中包含待访问集群的集群信息时，基于目标配置文件确定待访问集群的集群地址；目标集群是集群集合中包含的集群中的任意一个；

将集群地址反馈给目标客户端，以使得目标客户端基于访问地址访问待访问集群。

可选的，在本申请实施例中，在完成对各个集群之间的集群互信关系的配置后，还可以对各个集群的Hive(数据仓库工具)元数据进行整合并存储到统一的数据库中，以适应跨集群间的数据读取或数据更改的需求，该过程可以实现为：

获取各个集群的Hive元数据；该Hive元数据用于指示集群中包含的数据表的表信息；

将各个集群的Hive元数据以及各个集群的集群信息存储到目标数据库中；该目标数据库中建立有各个集群的集群信息与对应的Hive元数据之间的关联关系；

将各个集群的Hive连接的数据库访问地址更改为目标数据库的数据库地址。

在本申请实施例中，集群对应的数据库可以是Mysql数据库，集群管理平台可以将各个集群的Mysql数据库中的Hive元数据复制到一个新的Mysql数据库中；示意性的，集群管理平台可以使用mysqldump命令将各个集群的Mysql数据库中的元数据依次进行导出，获得各个集群的导出文件，再将各个集群的导出文件使用mysql命令恢复到新的Mysql数据库中，完成对Hive元数据的整合。在新的Mysql数据库(即目标数据库)中，建立有各个集群的集群信息与对应的Hive元数据之间的关联关系，以便于基于已知的Hive元数据确定对应的集群的集群信息，或者，基于已知的集群的集群信息获取对应的Hive元数据。

在将Hive元数据整合之后，将各个集群的Hive连接的数据库地址更改为目标数据库的数据库地址，使得各个集群的Hive均可以访问该目标数据库，图8示出了本申请一示例性实施例提供的集群互信架构示意图，如图8所示，在集群之间建立互信关系的基础上，将各个集群的Hive元数据整合到目标数据库810中，并建立各个集群的Hive与该目标数据库的连接，即将各个集群的Hive的数据库访问地址更改为目标数据库的数据库访问地址，从而使得各个集群的Hive可以在该目标数据库中进行元数据查询，以根据查询到的元数据，以及目标数据库中建立的各个集群的集群信誉对应的Hive元数据之间的关联关系定位元数据对应的目标数据表所在集群的集群信息，之后基于该集群信息在对应的集群中对目标数据表进行数据查询或数据更改。

通过将Hive元数据整合在一个统一的数据库中，可以解决元数据割裂的问题，并能够跨集群查询到其他集群的表数据，或者跨集群进行数据表关联，提高了集群间数据查询或数据关联的便利性。

示意性的，该过程可以实现为：

在通过目标集群接收到目标客户端发送的访问请求，且访问请求中包含目标数据表的表信息时，通过目标集群的Hive基于目标数据表的表信息查询目标数据库，并根据关联关系获得目标数据表所处的集群的集群信息。

在确定目标数据表所处的集群的集群信息之后，集群管理平台可以通过集群信息查询当前集群中的目标配置文件，以获得该集群的访问地址，从而实现在任何一个集群的Hive上查询到其他集群的数据表的数据的需求。

需要说明的是，在访问请求中包含的是待查询的数据表的表信息，比如表名，库名时，由于接收到该访问请求的集群无法直接定位到待查询的数据表所在的集群，因此，需要通过查询目标数据库中整合后的Hive元数据先获取到待查询数据表所在的集群的集群信息，再根据该集群信息从目标配置文件中获取该集群的访问地址，通过该访问地址连接到待查询的数据表所处的集群，进而查询到该数据表；而在访问请求中包含的是待查询的集群的集群信息时，当前集群可以基于该集群信息从目标配置文件中获取该集群的访问地址，通过该访问地址连接到待查询的集群。

综上所述，本申请实施例提供的集群管理方法，在各个集群之间建立集群互信关系的基础上，在第一集群完成对目标客户端的安全认证后，会将获得的认证结果传给与该第一集群建立有集群互信关系的各个第二集群，以使得在第二集群接收到目标客户端发送的访问请求时，可以跳过对目标客户端进行安全认证的过程，基于第一集群传递的认证结果对该访问请求进行处理，从而简化了目标客户端访问多个集群时所需的安全认证过程，在保证了访问安全的同时，提高了集群访问效率。

进一步的，在各个集群之间建立集群互信关系的基础上，通过进行hdfs配置文件整合和/或Hive元数据整合，可以实现跨集群的数据查询、数据更改或数据关联，提高了数据操作的便利性，提高了数据处理效率。

图9示出了本申请一示例性实施例提供的集群管理装置的方框图，该集群管理装置可以用于实现如图1或图3所示实施例的全部或部分步骤，如图9所示，该集群管理装置包括：

安全认证模块910，用于通过第一集群对目标客户端进行安全认证，获得认证结果；

关系查询模块920，用于对所述第一集群的集群互信关系进行查询，获得与所述第一集群建立集群互信关系的至少一个第二集群；

传递模块930，用于通过所述第一集群将所述认证结果传递给所述至少一个第二集群，以使得所述至少一个第二集群在接收到所述目标客户端发送的访问请求时，基于所述认证结果对所述访问请求进行处理。

在一种可能的实现方式中，所述装置还包括：

第一信息获取模块，用于获取集群集合中包含的各个集群的集群领域信息，所述集群领域信息用于指示集群的服务范围；所述集群集合包括所述第一集群以及所述至少一个第二集群；

信息添加模块，用于在接收到关系配置操作时，遍历所述集群集合中的各个集群，将各个其他集群的所述集群领域信息添加到关系配置集群的受信任领域中，以建立所述关系配置集群与各个所述其他集群之间的所述集群互信关系；所述受信任领域包含所述关系配置集群信任的服务范围；所述关系配置集群是所述集群集合中当前被遍历到的集群，所述其他集群是所述集群集合中除所述关系配置集群之外的集群。

在一种可能的实现方式中，所述装置还包括：

第二信息获取模块，用于获取所述集群集合中包含的至少两个集群各自的集群信息；所述集群信息包括密钥分发中心kdc配置信息以及集群包含的各个设备的设备信息；

集群信息写入模块，用于将由各个集群的所述集群信息组成的目标集群信息写入各个集群的第一配置文件中，所述第一配置文件为krb5认证的配置文件。

在一种可能的实现方式中，所述装置还包括：

认证集群确定模块，用于在目标集群接收到所述目标客户端发送的访问请求时，确定所述访问请求指示的认证集群；所述认证集群是指对所述目标客户端进行安全认证的集群；所述目标集群是所述集群集合中包含的集群中的任意一个；

若所述认证集群为所述目标集群，则将所述目标集群确定为所述第一集群；

若所述认证集群为非目标集群，则将所述非目标集群确定为所述第一集群，并基于所述目标集群中包含的各个集群的所述集群信息，将所述目标客户端的客户端信息发送到所述非目标集群进行安全认证；所述非目标集群是与所述目标集群建立所述集群互信关系的集群中的一个。

在一种可能的实现方式中，所述装置还包括：

配置文件获取模块，用于获取各个集群各自的第二配置文件；所述第二配置文件为存储系统的配置文件；

配置文件写入模块，用于将由各个集群各自的所述第二配置文件组成的目标配置文件写入各个集群。

在一种可能的实现方式中，所述装置还包括：

集群地址确定模块，用于在通过目标集群接收到所述目标客户端发送的访问请求，且所述访问请求中包含待访问集群的集群信息时，基于所述目标配置文件确定所述待访问集群的集群地址；所述目标集群是所述集群集合中包含的集群中的任意一个；

集群地址反馈模块，用于将所述集群地址反馈给所述目标客户端，以使得所述目标客户端基于所述访问地址访问所述待访问集群。

在一种可能的实现方式中，所述装置还包括：

元数据获取模块，用于获取各个集群的数据仓库工具Hive元数据；所述Hive元数据用于指示集群中包含的数据表的表信息；

元数据存储模块，用于将各个集群的所述Hive元数据以及各个集群的所述集群信息存储到目标数据库中；所述目标数据库中建立有各个集群的集群信息与对应的所述Hive元数据之间的关联关系；

地址更改模块，用于将各个集群的Hive的数据库访问地址更改为所述目标数据库的数据库地址。

在一种可能的实现方式中，所述装置还包括：

集群信息确定模块，用于在通过目标集群接收到所述目标客户端发送的访问请求，且所述访问请求中包含目标数据表的表信息时，通过所述目标集群的Hive基于所述目标数据表的表信息查询所述目标数据库，并根据所述关联关系获得所述目标数据表所处的集群的集群信息。

综上所述，本申请实施例提供的集群管理装置，在各个集群之间建立集群互信关系的基础上，在第一集群完成对目标客户端的安全认证后，会将获得的认证结果传给与该第一集群建立有集群互信关系的各个第二集群，以使得在第二集群接收到目标客户端发送的访问请求时，可以跳过对目标客户端进行安全认证的过程，基于第一集群传递的认证结果对该访问请求进行处理，从而简化了目标客户端访问多个集群时所需的安全认证过程，在保证了访问安全的同时，提高了集群访问效率。

进一步的，在各个集群之间建立集群互信关系的基础上，通过进行hdfs配置文件的整合和/或Hive元数据的整合，可以实现跨集群的数据查询、数据更改或数据关联等数据操作，提高了数据操作的便利性，进而提高了数据处理效率。

图10示出了本申请一示例性实施例示出的计算机设备1000的结构框图。该计算机设备可以实现为本申请上述方案中的集群管理平台。所述计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器(Random Access Memory，RAM)1002和只读存储器(Read-Only Memory，ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括用于存储操作系统1009、应用程序1010和其他程序模块1011的大容量存储设备1006。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1006可以统称为存储器。

根据本申请的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1007连接到网络1008，或者说，也可以使用网络接口单元1007来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，中央处理器1001通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的集群管理方法中的全部或部分步骤。

在一示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该计算机程序由处理器加载并执行以实现上述集群管理方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括至少一条计算机程序，该计算机程序由处理器加载并执行上述图1或图3任一实施例所示的集群管理方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种集群管理方法，其特征在于，所述方法包括：

通过第一集群对目标客户端进行安全认证，获得认证结果；

对所述第一集群的集群互信关系进行查询，获得与所述第一集群建立集群互信关系的至少一个第二集群；

通过所述第一集群将所述认证结果传递给所述至少一个第二集群，以使得所述至少一个第二集群在接收到所述目标客户端发送的访问请求时，基于所述认证结果对所述访问请求进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取集群集合中包含的各个集群的集群领域信息，所述集群领域信息用于指示集群的服务范围；所述集群集合包括所述第一集群以及所述至少一个第二集群；

在接收到关系配置操作时，遍历所述集群集合中的各个集群，将各个其他集群的所述集群领域信息添加到关系配置集群的受信任领域中，以建立所述关系配置集群与各个所述其他集群之间的所述集群互信关系；所述受信任领域包含所述关系配置集群信任的服务范围；所述关系配置集群是所述集群集合中当前被遍历到的集群，所述其他集群是所述集群集合中除所述关系配置集群之外的集群。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述集群集合中包含的至少两个集群各自的集群信息；所述集群信息包括密钥分发中心kdc配置信息以及集群包含的各个设备的设备信息；

将由各个集群的所述集群信息组成的目标集群信息写入各个集群的第一配置文件中，所述第一配置文件为krb5认证的配置文件。

4.根据权利要求3所述的方法，其特征在于，在通过第一集群对目标客户端进行安全认证，获得认证结果之前，所述方法还包括：

在目标集群接收到所述目标客户端发送的访问请求时，确定所述访问请求指示的认证集群；所述认证集群是指对所述目标客户端进行安全认证的集群；所述目标集群是所述集群集合中包含的集群中的任意一个；

若所述认证集群为所述目标集群，则将所述目标集群确定为所述第一集群；

若所述认证集群为非目标集群，则将所述非目标集群确定为所述第一集群，并基于所述目标集群中包含的各个集群的所述集群信息，将所述目标客户端的客户端信息发送到所述非目标集群进行安全认证；所述非目标集群是与所述目标集群建立所述集群互信关系的集群中的一个。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取各个集群各自的第二配置文件；所述第二配置文件为存储系统的配置文件；

将由各个集群各自的所述第二配置文件组成的目标配置文件写入各个集群。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在通过目标集群接收到所述目标客户端发送的访问请求，且所述访问请求中包含待访问集群的集群信息时，基于所述目标配置文件确定所述待访问集群的集群地址；所述目标集群是所述集群集合中包含的集群中的任意一个；

将所述集群地址反馈给所述目标客户端，以使得所述目标客户端基于所述访问地址访问所述待访问集群。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取各个集群的数据仓库工具Hive元数据；所述Hive元数据用于指示集群中包含的数据表的表信息；

将各个集群的所述Hive元数据以及各个集群的所述集群信息存储到目标数据库中；所述目标数据库中建立有各个集群的集群信息与对应的所述Hive元数据之间的关联关系；

将各个集群的Hive的数据库访问地址更改为所述目标数据库的数据库地址。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在通过目标集群接收到所述目标客户端发送的访问请求，且所述访问请求中包含目标数据表的表信息时，通过所述目标集群的Hive基于所述目标数据表的表信息查询所述目标数据库，并根据所述关联关系获得所述目标数据表所处的集群的集群信息。

9.一种集群管理装置，其特征在于，所述装置包括：

安全认证模块，用于通过第一集群对目标客户端进行安全认证，获得认证结果；

关系查询模块，用于对所述第一集群的集群互信关系进行查询，获得与所述第一集群建立集群互信关系的至少一个第二集群；

传递模块，用于通过所述第一集群将所述认证结果传递给所述至少一个第二集群，以使得所述至少一个第二集群在接收到所述目标客户端发送的访问请求时，基于所述认证结果对所述访问请求进行处理。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至8任一所述的集群管理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至8任一所述的集群管理方法。