CN114070858A - 一种数据处理方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法及装置、设备、存储介质，应用于集群管理系统，所述集群管理系统包括服务端和代理端，应用于集群管理系统，所述集群管理系统包括服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上；所述方法包括：所述服务端接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端；所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端；所述服务端接收所述代理端返回的所述目标集群系统的配置。

Description

一种数据处理方法及装置、设备、存储介质

技术领域

本申请实施例涉及集群管理技术领域，涉及但不限于一种数据处理方法及装置、设备、存储介质。

背景技术

集群系统是一种用于集团调度指挥通信的移动通信系统，能够应用在专业移动通信领域。集群通信系统具有的可用信道可为系统的全体用户共用，具有自动选择信道功能，它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。

集群系统的管理是一个热门的话题，对集群进行管理、监控的集群管控工具对用户的使用体验起着非常重要的作用。

相关技术中，一个集群管理工具(如Ambari系统)仅管理一个集群，或者通过高可用方案构建多个集群管理工具服务器管理一个集群。因此，对于集群管理工具，只能管理和显示本地集群系统的服务组件配置，管理效率低。

发明内容

本申请实施例提供一种数据处理方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种数据处理方法，应用于集群管理系统的服务端，所述集群管理系统包括所述服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上，所述方法包括：

接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；

基于所述获取请求触发获取命令，并将所述获取命令发送至所述主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；

接收所述主机节点返回的所述目标集群系统的配置。

本申请实施例提供了一种数据处理方法，应用于集群管理系统，所述集群管理系统包括服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上；所述方法包括：

所述服务端接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；

所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端；

所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端；

所述服务端接收所述代理端返回的所述目标集群系统的配置。

本申请实施例还提供了一种数据处理装置，所述装置应用于集群管理系统的服务端，所述集群管理系统包括所述服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上，包括：

第一接收单元，接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统；

获取单元，基于所述获取请求触发获取命令，并将所述获取命令发送至所述主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；

第二接收单元，用于接收所述主机节点返回的所述目标集群系统的配置。

本申请实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述所述数据处理方法中的步骤。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。

本申请实施例所提供的数据处理方法、装置、设备及存储介质，应用于集群管理系统中的服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上；所述服务端接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端；所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端；所述服务端接收所述代理端返回的所述目标集群系统的配置，从而通过管理本地集群系统的集群管理系统能够获取本地集群系统以外的外部集群系统的配置，在集群管理系统对本地集群系统管理的同时，对本地集群系统以外的集群系统进行监控，提高集群管理系统的管理效率。

附图说明

图1为本申请实施例提供的集群管理系统的一种可选的结构示意图；

图2为本申请实施例提供的集群管理系统的一种可选的结构示意图；

图3为本申请实施例提供的数据处理方法的一种可选的流程示意图；

图4为本申请实施例提供的数据处理方法的一种可选的流程示意图；

图5为本申请实施例提供的数据处理方法的一种可选的流程示意图；

图6为本申请实施例提供的数据处理方法的一种可选的流程示意图；

图7为本申请实施例提供的数据处理系统的一种可选的结构示意图；

图8为本申请实施例提供的集群管理系统的一种可选的结构示意图；

图9为本申请实施例提供的数据处理装置的一种可选的结构示意图；

图10为本申请实施例提供的电子设备的一种可选的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

本申请实施例可提供为数据处理方法及装置、设备和存储介质。实际应用中，数据处理方法可由实施于集群管理系统或集群管理系统的数据处理装置实现，集群管理系统中的各功能实体可以由电子设备(如终端设备)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。

本申请实施例提供的数据处理方法应用于集群管理系统，集群管理系统100由服务端和代理端构成。

作为一示例，集群管理系统100的结构可如图1所示，包括：服务端10和代理端20，代理端20设置在集群管理系统100所管理的集群系统200-1中的主机节点40上，并能够采集所在的主机节点40的状态和数据，以作为服务端10的代理，对所在的主机节点40进行管理。服务端10和代理端20可为不同的物理实体，且服务端10和代理端20之间通过网络30进行交互。服务端10和代理端20之间能够通过网络30建立连接，且服务端10能够通过所建立的连接访问代理端20上的资源。

其中，服务端10能够输出用户界面，使得用户通过用户界面查看集群系统200-1的配置，并对集群系统200-1中的主机节点40进行控制。这里，将集群系统200-1称为集群管理系统100所管理的本地集群系统。

在实际应用中，服务端10和代理端20也可为同一物理实体。

本申请实施例提供的数据处理方法，服务端10不仅能够获取集群系统200-1的配置，并且能够获得集群系统200-2(未示出)的配置，并展示给用户。这里，将集群系统200-2称为集群管理系统100所管理的本地集群系统之外的集群系统。

作为一示例，在图1所示的集群管理系统100的基础上，集群管理系统100的结构可如图2所示，包括：前端50、服务端10和代理端20。其中，前端50为服务端10的客户端，服务端10输出的界面显示在前端50上，前端50能够面向用户提供服务端的服务对应的用户界面，使得用户通过前端50提供的用户界面与服务端进行交互。

需要说明的是，对于图1所示的集群管理系统，可理解为前端50和服务端10为同一物理实体。

结合图1或图2所示的集群管理系统，本实施例提出一种数据处理方法，能够获取该集群管理系统所管理的本地集群系统之外的集群系统的配置，并展示给用户。

下面，结合图1或图2所示的集群管理系统的示意图，对本申请实施例提供的数据处理方法及装置、设备和存储介质的各实施例进行说明。

本实施例提供一种数据处理方法，该方法应用于集群管理系统，其中，集群管理系统可实施于一个或多个电子设备上。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

电子设备可以是任何具有信息处理能力的设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的电子设备、移动终端。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑等。

当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的数据处理方法的指令)。

图3为本申请实施例的一种数据处理方法的实现流程示意图，应用于集群管理系统中的服务端上，如图3所示，该方法包括以下步骤：

S301、接收指示所述服务端获取目标集群系统的配置的获取请求。

所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统。

服务端安装有对本地集群系统进行管理的应用程序，并能够输出用户界面，以通过用户界面接收用户对本地集群系统进行的操作。

这里，服务端在对管理本地集群系统的应用程序上添加有对外部集群系统进行监控和管理的处理逻辑，并在提供的用户界面上提供有接收用户对外部集群系统进行管理的接口。

服务端可基于以下方式触发获取请求，从而接收到获取请求：

触发方式一、基于用户对用户界面的操作触发；

触发方式二、周期性地触发；

触发方式三、基于指定事件触发；其中，指定事件可为集群管理系统的登录等设置的事件。

其中，在触发方式一中，服务端可基于自身所显示的用户界面或通过前端所显示的用户界面接收用户的操作。

S302、基于所述获取请求触发获取命令，并将所述获取命令发送至主机节点。

所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置。

服务端接收到获取请求后，基于获取请求触发获取命令。这里，获取命令不同于集群管理系统对本地集群系统进行管理的原生操作命令，而是服务端所自定义的命令，且服务端在触发获取命令后，将获取命令发送至集群管理系统的代理端，以指示代理端从外部集群系统中的目标集群系统获取目标集群系统的配置。这里，目标集群系统可为外部集群系统中的一个或多个集群系统。

在实际应用中，集群系统中的主机节点上设置有服务端对应的代理端，服务端将获取命令发送至代理端，以指示主机节点上的代理端来获取目标集群系统的配置。

这里，服务端可向本地集群系统中的指定主机节点发送获取命令。指定主机节点可为预先设定的一个或多个主机节点。

本地集群系统和目标集群系统的配置类型可相同也可不同。在一示例中，本地集群系统和目标集群系统的配置类型均为另一种资源协调者(Yet Another ResourceNegotiator，YARN)，从而都能够提供YARN服务。在一示例中，本地集群系统的配置类型为YARN，从而提供YARN服务，目标集群系统的配置类型为Hadoop分布式文件系统(HadoopDistributed File System，HDFS)，从而提供HDFS服务。

主机节点在接收到获取命令后，从目标集群系统获取目标集群系统的配置。主机节点在获取目标集群系统的配置后可将获取的目标集群系统的配置立即返回至服务端，也可将获取的目标集群系统的配置存储至自身的指定路径，并在接收到服务端的显示指令时推送至服务端。其中，显示指令可包括以下至少之一：基于显示请求触发的第一显示命令和基于刷新请求触发的第二显示命令。

在实际应用中，主机节点可从管理目标集群系统的集群管理系统中获取目标集群系统的配置。

这里，主机节点从目标集群系统获取的目标集群系统的配置无法直接显示，可将获取的目标集群系统的配置进行格式转换。在一示例中，主机节点从目标集群获取的目标集群系统的配置为JS对象简谱(JavaScript Object Notation，JSON)数据，并将获取的目标集群系统的配置由JSON数据转换为可扩展标记语言(Extensible Markup Language，XML)文件。

主机节点可基于自定义的脚本的执行从目标集群系统获取目标集群系统的配置。其中，自定义的脚本采用的语言可为面向对象的动态类型语言，比如：Python。在一示例中，自定义的脚本可设置于主机节点上。在一示例中，自定义的脚本可设置于服务端上，并由服务端发送至主机节点。

这里，服务端可通过异步JavaScript和XML(Asynchronous Javascript And XML，ajax)向主机节点发送获取命令。此时，当获取请求的触发方式为触发方式一，可在服务端或前端中增加ajax调用接口。

S303、接收所述主机节点返回的所述目标集群系统的配置。

服务端从主机节点接收主机节点返回的目标集群系统的配置后，可执行以下操作至少之一：

操作一、显示所述目标集群系统的配置；

操作二、根据所述目标集群系统的配置进行告警处理，并输出所述告警处理的处理结果。

在操作一中，服务端将目标集群系统的配置显示在所输出的用户界面上。

在操作二中，服务端从主机节点接收到目标集群系统的配置后，可对目标集群系统的配置进行分析，并根据分析结果进行告警提示等处理，并将处理结果输出至输出的用户界面上，使得集群管理系统在管理本地集群系统的同时，对外部集群系统进行监控，提高集群管理系统的管理效率。

这里，用户界面可直接显示在服务端上，也可显示在服务端对应的客户端上。

本申请实施例提供的数据处理方法，集群管理系统的服务端执行以下步骤：接收指示服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统；基于所述获取请求触发获取命令，并将所述获取命令发送至本地集群系统中的主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；接收所述主机节点返回的所述目标集群系统的配置，并显示所述目标配置；从而通过管理本地集群系统的集群管理系统能够获取并显示本地集群系统以外的外部集群系统的配置，实现一个集群管理系统对本地集群系统和外部集群系统的管理和监控，提高集群管理系统的管理效率。

图4为本申请实施例的一种数据处理方法的实现流程示意图，应用于集群管理系统中的服务端和代理端，如图4所示，该方法包括以下步骤：

S401、所述服务端接收指示所述服务端获取目标集群系统的配置的获取请求。

所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统。

服务端安装有对本地集群系统进行管理的应用程序，并能够输出用户界面，以通过用户界面接收用户对本地集群系统进行的操作。

这里，服务端在对管理的地集群系统的应用程序上添加有对外部集群系统进行监控和管理的处理逻辑，并在提供的用户界面上提供有接收用户对外部集群系统进行管理的接口。

服务端可基于以下方式触发获取请求，从而接收到获取请求：

触发方式一、基于用户对用户界面的操作触发；

触发方式二、周期性地触发；

触发方式三、基于指定事件触发；其中，指定事件可为集群管理系统的登录等设置的事件。

其中，在触发方式一中，服务端可基于自身所显示的用户界面或通过前端所显示的用户界面接收用户的操作。

S402、所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端。

所述代理端位于所述本地集群系统中的主机节点上。

所述获取命令指示所述代理端所在的主机节点从所述目标集群系统获取所述目标集群系统的配置。

服务端接收到获取请求后，基于获取请求触发获取命令。这里，获取命令不同于集群管理系统对本地集群系统进行管理的原生操作命令，而是服务端所自定义的命令，且服务端在触发获取命令后，将获取命令发送至集群管理系统的代理端，以指示主机节点从外部集群系统中的目标集群系统获取目标集群系统的配置。这里，目标集群系统可为外部集群系统中的一个或多个集群系统。

这里，服务端可向本地集群系统中的指定代理端发送获取命令。指定代理端可为预先设定的一个或多个代理端。

本地集群系统和目标集群系统的配置类型可相同也可不同。在一示例中，本地集群系统和目标集群系统的配置类型均为YARN，从而都能够提供YARN服务。在一示例中，本地集群系统的配置类型为YARN，从而提供YARN服务，目标集群系统的配置类型为HDFS，从而提供HDFS服务。

S403、所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端。

代理端在接收到获取命令后，从目标集群系统获取目标集群系统的配置。代理端在获取目标集群系统的配置后可将获取的目标集群系统的配置立即返回至服务端，也可将获取的目标集群系统的配置存储至自身的指定路径，并在接收到服务端的显示指令时推送至服务端。

本申请中，代理端可从管理目标集群系统的集群管理系统的服务端获取目标集群系统的配置。在一示例中，集群管理系统A1管理的本地集群系统为集群系统B1，集群管理系统A2管理的本地集群系统为集群系统B2，集群管理系统A1包括：服务端S1和代理端AG1，集群管理系统A2包括：服务端S2和代理端AG2，代理端AG1接收到服务端S1发送的获取命令后，从服务端S2获取集群系统B2得配置。

这里，代理端从目标集群系统获取的目标集群系统的配置无法直接显示，可将获取的目标集群系统的配置进行格式转换。在一示例中，代理端从目标集群获取的目标集群系统的配置为JSON数据，并将获取的目标集群系统的配置由JSON数据转换为XML文件。

代理端可基于自定义的脚本的执行从目标集群系统获取目标集群系统的配置。其中，自定义的脚本采用的语言可为面向对象的动态类型语言，比如：Python。在一示例中，自定义的脚本可设置于代理端上。在一示例中，自定义的脚本可设置于服务端上，并由服务端发送至代理端。

在实际应用中，代理端可从管理目标集群系统的集群管理系统中获取目标集群系统的配置。

这里，服务端可通过异步JavaScript和XML(Asynchronous Javascript And XML，ajax)向代理端发送获取命令。此时，当获取请求的触发方式为触发方式一，可在服务端或前端中增加ajax调用接口。

S403、所述服务端接收所述代理端返回的所述目标集群系统的配置。

服务端从代理端接收代理端返回的目标集群系统的配置后，可执行以下操作至少之一：

操作一、显示所述目标集群系统的配置；

操作二、根据所述目标集群系统的配置进行告警处理，并输出所述告警处理的处理结果。

在操作一中，服务端将目标集群系统的配置显示在所输出的用户界面上。

在操作二中，服务端从代理端接收到目标集群系统的配置后，可对目标集群系统的配置进行分析，并根据分析结果进行告警提示等处理，并将处理结果输出至输出的用户界面上，使得集群管理系统在管理本地集群系统的同时，对外部集群系统进行监控，提高集群管理系统的管理效率。

这里，用户界面可直接显示在服务端上，也可显示在服务端对应的客户端上。

本申请实施例提供的数据处理方法，应用于集群管理系统中的服务端和代理端，所述服务端接收指示服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统；所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端，所述代理端位于所述本地集群系统中的主机节点上；所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端；所述服务端接收所述代理端返回的所述目标集群系统的配置，并显示所述目标集群系统的配置，从而通过管理本地集群系统的集群管理系统能够获取并显示本地集群系统以外的外部集群系统的配置，实现一个集群管理系统对地集群系统和外部集群系统的管理和监控，提高集群管理系统的管理效率。

基于图3或图4所示的数据处理方法，在一实施例中，在S303或S404之前，所述服务端接收基于验证信息输入界面输入的所述目标集群系统的验证信息，并将所述验证信息输出至所述代理端；所述代理端将所述验证信息发送至所述目标集群系统，使得所述目标集群系统对所述代理端进行身份验证；其中，所述代理端在身份验证成功的情况下从所述目标集群系统获取所述目标集群系统的配置。

这里，服务端接收基于验证信息输入界面输入的所述目标集群系统的验证信息；将所述验证信息输出至所述主机节点，所述验证信息用于所述目标集群系统对所述主机节点进行身份验证。

其中，验证信息可包括目标集群系统的统一资源定位系统(uniform resourcelocator，URL)、用户名、密码、集群名、配置类型等信息，用于目标集群系统对代理端的验证。当验证成功的情况下，代理端可从目标集群获取目标集群系统的配置。

在实际应用中，验证信息可在代理节点发送获取命令之前发送至目标集群系统，也可携带在发送的获取命令中。

本申请实施例提供的数据处理方法，目标集群基于用户输入的验证信息对代理端进行身份验证，且仅在验证成功的情况下，代理端能够从目标集群获取目标集群系统的配置，从而保证目标集群的安全性。

在一实施例中，S303的实施包括：接收指示所述服务端显示所述目标集群系统的配置的显示请求；基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至所述主机节点；接收所述主机节点响应所述第一显示命令返回的所述目标集群系统的配置。

也就是说，S404的实施包括：接收指示所述服务端显示所述目标集群系统的配置的显示请求；基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至所述代理端；接收所述代理端响应所述第一显示命令返回的所述目标集群系统的配置。

这里，服务端可基于用户对用户界面的操作触发显示请求，其中，服务端可基于自身所显示的用户界面或通过前端所显示的用户界面接收用户的操作。

基于当前显示界面上并未显示目标集群系统的配置，服务端基于接收到的获取请求生成第一显示命令。第一显示命令不同于集群管理系统对本地集群系统进行管理的原生操作命令，而是服务端所自定义的命令，且服务端在触发第一显示命令后，将第一显示命令发送至集群管理系统的代理端，以指示代理端将获取的目标集群系统的配置推送至服务端。

在一实施例中，在S403所述代理端在将所述目标集群系统的配置发送至所述服务端之前，所述代理端将所获取的所述目标集群系统的配置存储在指定路径；所述代理端基于所述第一显示命令从所述指令路径获取所述目标集群系统的配置。

这里，代理端将从目标集群系统获取的目标集群系统的配置存储在指定路径中，并在接收到第一显示命令时，将指定路径中存储的目标集群系统的配置推送至服务端。

代理端可将目标集群系统的配置推送至服务端中的数据库，服务端可从数据库中获取接收到的目标集群系统的配置，并输出至用户界面中。

本申请实施例提供的数据处理方法，基于用户对用户界面的操作来显示目标集群系统的配置，使得用户能够根据实际需求进行目标集群系统的配置的显示，从而使得用户根据实际需求确定是否进行目标集群系统的配置的显示，提高集群管理系统的用户体验。

在一实施例中，在S303或S404之后，所述服务端接收指示所述服务端更新所述目标集群系统的配置的刷新请求；所述服务端基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至所述代理端；所述代理端基于所述第二显示命令获取更新后的目标集群系统的配置，并将所获取的更新后的目标集群系统的配置发送至所述服务端；所述服务端接收更新后的所述目标集群系统的配置，并显示所述最新的目标集群系统的配置。此时，服务端执行以下步骤：接收指示所述服务端更新所述目标集群系统的配置的刷新请求；基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至所述主机节点；接收所述主机节点响应所述第二显示命令返回的更新后的目标集群系统的配置，并显示更新后的目标集群系统的配置。这里，更新后的目标集群系统的配置为代理端中存储的最新的目标集群系统的配置。

这里，服务端可在显示目标集群系统的配置的情况下，基于用户对用户界面的刷新操作触发刷新请求，其中，服务端可基于自身所显示的用户界面或通过前端所显示的用户界面接收用户的刷新操作。

基于当前显示界面上已经显示目标集群系统的配置，服务端基于接收到的获取请求生成第二显示命令。第二显示命令不同于集群管理系统对本地集群系统进行管理的原生操作命令，而是服务端所自定义的命令，且服务端在触发第二显示命令后，将第二显示命令发送至集群管理系统的代理端，以指示代理端将获取的最新的目标集群系统的配置推送至服务端。

这里，代理端可周期性地从目标集群系统获取目标集群系统的配置，并对指定路径中存储的目标集群系统的配置进行更新，保证获取的目标集群系统的配置与目标集群系统中的配置同步。

在实际应用中，在一个代理端获取多个目标集群系统的配置的情况下，课通过唯一标志符对各目标集群系统的配置进行区分。其中，唯一标识符可为目标集群系统的URL、集群名等信息。代理端可根据各目标集群系统的唯一标识符生成字典条目，通过字典条目来查找所需的目标集群系统的配置。

本申请实施例提供的数据处理方法，能够通过刷新操作保证用户所显示的目标集群系统的配置与目标集群系统的配置的同步，以及时对目标集群系统进行监控。

下面，以集群管理工具为Ambari系统、集群系统为Hadoop为例，通过具体的应用场景对本申请实施例提供的数据处理方法进行进一步说明。

集群管控工具Ambari系统能够通过开发用于配置，管理和监控集群系统的软件来简化Hadoop的管理。Ambari系统提供了一个由接口规范RESTful API支持的直观且易用的管理界面，Ambari系统的页面可对整个集群系统的服务组件的安装、启停、状态，配置等过程进行管理和监控。

Ambari系统为系统管理员提供如下能力：

1、向导安装：Ambari系统提供了跨任意数量的主机安装Hadoop服务的分步向导。

2、配置管理：Ambari系统处理群集的Hadoop服务配置。

3、状态显示：提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop服务。

4、监控告警：提供了用于监控Hadoop集群的运行状况和状态的仪表板。其中，Ambari系统包括有Ambari指标系统和告警结构(Ambari Alert Framework)，Ambari系统利用Ambari指标系统进行指标收集；Ambari系统利用Ambari Alert Framework进行系统警报，并在需要注意(例如，节点发生故障，剩余磁盘空间不足等)时通知提示。

5.扩展集成：使用Ambari REST API轻松将Hadoop配置，管理和监控功能集成到自己的应用程序中。

相关技术中，通过Ambari系统进行集群管理，一个Ambari系统管理仅一个集群系统，或者通过高可用方案构建多个Ambari服务器(Ambari Server)管理一个集群系统。因此，Ambari系统目前只能管理和显示本地集群系统的服务组件配置，无法通过页面获取和显示本地集群系统外的其他集群系统的配置。

本地集群系统需要获取其他集群系统的配置，需要通过本地集群系统的主机的用户名和密码登录本地集群系统的主机，在主机端获取其他集群系统的配置，这钟通过后台操作的数据获取方式非常不安全，为本地集群系统的数据安全带来隐患。

本申请实施例提供的数据处理方法，一方面，能够通过Web页面获取本地集群系统外的其他集群系统的配置，并保存到本地；另一方面，能够通过Web页面显示和管理本地集群系统外的其他集群系统的配置。

本申请实施例中，将Ambari系统所管理的本地集群系统成为本地集群系统，将并非由该Ambari系统所管理的集群系统成为外部集群，并将外部集群的配置称为集群外配置。

本申请实施例提供的数据处理方法，获取外部集群的配置并以配置文件的方式保存到本地集群系统的主机节点，并将主机节点的配置文件推送到本地数据库，从而展示Ambari系统的页面。

这里，在Ambari系统中进行自定义命令的扩展：1、在前端的代码中注册获取外部集群的配置和显示外部集群配置的服务操作(触发获取请求、显示请求、刷洗请求的操作)；2、在前端新增ajax调用接口，通过新增的ajax调用接口调用新增的ajax；3、修改服务配置文件metainfo.xml，在metainfo.xml中新增自定义命令：获取外部集群的配置的获取命令和显示外部集群配置的显示命令(第一显示命令和/或第二显示命令)；4、新增集群外配置xml文件，以增加外部集群配置表；5、在相关服务组件脚本中新增更新外部集群配置的逻辑；6、在自定义的python脚本中增加获取外部集群的配置和显示外部集群的配置的逻辑。

其中，Ambari Server通过前端触发ajax调用接口调用ajax，并使用ajax发送api请求到指定Ambari Agent节点执行自定义python脚本。这里，自定义python脚本由AmbariServer发送至指定Ambari Agent节点。

基于Ambari系统的页面获取外部集群的配置的流程如图5所示，包括：

S501、Ambari系统接收获取集群外配置的获取操作。

这里，用户可基于Ambari系统的页面向Ambari系统输入获取操作，Ambari系统的页面基于接收到的获取集群外配置的获取操作，触发集群外配置获取服务操作。

S502、Ambari系统的服务端接收外部集群的验证信息。

此时，用户可基于Ambari系统的页面向Ambari系统输入外部集群的统一资源定位符(Uniform Resource Locator，URL)、用户名、密码、集群名、配置类型等验证信息。

S503、Ambari系统的服务端向指定代理端发送获取命令。

本地集群系统Server端使用ajax发送获取命令到各个部署服务组件的节点，使得各节点等待执行自定义命令python脚本。这里，部署服务组件的节点上可设置Server端对应的代理端。其中，获取命令可为针对多个代理端的批处理命令。

S504、Ambari系统的Agent端接收Server端发送的获取命令，调用自定义的python脚本。

S505、Ambari系统的Agent端执行python脚本，获取集群外配置。

Ambari系统的Agent端执行python脚本时，根据服务端的指示调用外部集群api以获取集群外配置json数据，并解析生成xml配置保存到本地指定路径。

Ambari页面显示集群外配置的流程如图6所示，包括：

S601、Ambari系统接收显示集群外配置的显示操作。

这里，用户可基于Ambari系统的页面向Ambari系统输入显示操作，Ambari系统的页面基于接收到的显示集群外配置的显示操作，触发显示集群外配置显示服务操作。

S602、Ambari系统的服务端接收本地集群系统的认证信息。

此时，用户可基于Ambari系统的页面向Ambari系统输入本地集群系统的URL、用户名、密码等认证信息。

S603、Ambari系统的服务端向代理端发送第一显示命令。

本地集群系统Server端使用ajax发送第一显示命令到任意部署组件的节点，使得接收第一显示命令的代理端等待执行自定义的python脚本。

接收服务端传来的第一显示命令，调用自定义的python脚本。

S604、Ambari系统的代理端执行python脚本，将获取的集群外配置推送至本地数据库。

这里，代理端循环读取后台指定路径下的集群外配置文件，以唯一标识符(如：远程集群名.配置类型)区分配置，生成字典条目，通过调用本地集群系统api将新增集群外配置推送到本地数据库。

S605、Ambari系统的服务端基于刷新操作显示集群外配置。

这里，刷新页面，在服务配置页面可显示集群外配置信息，修改配置同本地集群系统配置。

在实际应用中，本申请实施例提供的数据处理方法可应用于图7所示的数据处理系统，包括：Ambari系统701和Ambari系统702。每个Ambari系统包括一个服务端710(Ambari系统701中的710-1和Ambari系统702中的710-2)和多个代理端720(Ambari系统701中的720-1和Ambari系统702中的720-2)，Ambari系统701管理第一集群系统，Ambari系统702管理第二集群系统。

以本申请实施例提供的方法应用于Ambari系统701为例，第一集群系统为本地集群系统，第二集群系统为外部集群系统。

服务端710-1向各代理端720-1发送python脚本。各代理端720-1执行接收到的python脚本，其中，代理端720-1在执行python脚本时的处理包括：

1、通过API获取第二集群系统的配置；

2、解析获取到的配置；

3、将获取到的配置转换为配置文件。

4、通过获取的配置文件刷新服务端的数据库。

在实际应用中，可在部分代理端中实施上述第4步处理。

这里，用户向Ambari系统701的服务端710-1所提供的用户界面输入第二集群系统的验证信息，服务端710-1将验证信息发送至Ambari系统702的服务端710-2，在服务端710-2基于验证信息进行的身份验证成功后，向代理端720-1返回配置。

本申请实施例提供的数据处理方法，解决了Ambari不能通过前端页面获取集群外配置并在后台主机节点生成配置文件的问题，并且解决了Ambari不能通过前端页面显示和管理集群外配置并同步后台配置文件的问题。

图8为本申请实施例的一种集群管理系统的结构示意图，集群管理系统800包括：服务端801和代理端802；代理端802位于集群管理系统800所管理的本地集群系统的主机节点上；

服务端801，用于：接收指示服务端801获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；

服务端801，还用于基于所述获取请求触发获取命令，并将所述获取命令发送至代理端802；

代理端802，用于从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至服务端801；

服务端801，还用于接收所述代理端返回的所述目标集群系统的配置。

在一实施例中，服务端801，还用于在接收所述代理端返回的所述目标集群系统的配置之前，接收基于验证信息输入界面输入的所述目标集群系统的验证信息，并将所述验证信息输出至代理端802；

代理端802，还用于将所述验证信息发送至所述目标集群系统，使得所述目标集群系统对代理端802进行身份验证；其中，代理端802在身份验证成功的情况下从所述目标集群系统获取所述目标集群系统的配置。

在一实施例中，服务端801，还用于：

接收指示服务端801显示所述目标集群系统的配置的显示请求；

基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至代理端802；

接收代理端802响应所述第一显示命令返回的所述目标集群系统的配置。

在一实施例中，代理端802，还用于在将所述目标集群系统的配置发送至服务端801之前，将所获取的所述目标集群系统的配置存储在指定路径；

代理端802，还用于基于所述第一显示命令从所述指令路径获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至服务端801。

在一实施例中，服务端801，还用于在接收代理端802返回的所述目标集群系统的配置之后，接收指示服务端801更新所述目标集群系统的配置的刷新请求；

服务端801，还用于基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至代理端802；

代理端802，还用于基于所述第二显示命令从所述目标路径获取最新的所述目标集群系统的配置，并将最新的所述目标集群系统的配置发送至服务端801；

服务端801，还用于接收最新的所述目标集群系统的配置。

图9为本申请实施例的一种数据处理装置的结构示意图，应用于集群管理系统中的服务端，所述集群管理系统包括所述服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上，如图9所示，装置900包括：

第一接收单元901，用于接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统；

获取单元902，用于基于所述获取请求触发获取命令，并将所述获取命令发送至所述主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；

第二接收单元903，用于接收所述主机节点返回的所述目标集群系统的配置。

在一实施例中，装置900还包括：验证单元，用于：在接收所述主机节点返回的所述目标集群系统的配置之前，接收基于验证信息输入界面输入的所述目标集群系统的验证信息；

将所述验证信息输出至所述主机节点，所述验证信息用于所述目标集群系统对所述主机节点进行身份验证。

在一实施例中，第二接收单元903，还用于：

接收指示所述服务端显示所述目标集群系统的配置的显示请求；

基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至所述主机节点；

接收所述主机节点响应所述第一显示命令返回的所述目标集群系统的配置。

在一实施例中，装置900还包括：刷新单元，用于：

接收指示所述服务端更新所述目标集群系统的配置的刷新请求；

基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至所述主机节点；

接收所述主机节点响应所述第二显示命令返回的更新后的所述目标集群系统的配置。

在一实施例中，装置900还包括：处理单元，用于在接收所述主机节点返回的所述目标集群系统的配置之后，执行以下操作至少之一：

显示所述目标集群系统的配置；

根据所述目标集群系统的配置进行告警处理，并输出所述告警处理的处理结果。

需要说明的是，本申请实施例提供的数据处理装置包括所包括的各单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro ProcessorUnit)、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列(FPGA，Field-Programmable Gate Array)等。

以上系统实施例，装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的数据写入方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的数据处理方法中的步骤。

对应地，本申请实施例提供一种存储介质，也就是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的数据处理方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，图10为本申请实施例电子设备的一种硬件实体示意图，如图10所示，所述电子设备1000包括：一个处理器1001、至少一个通信总线1002、至少一个外部通信接口1004和存储器1005。其中，通信总线1002配置为实现这些组件之间的连接通信。外部通信接口1004可以包括标准的有线接口和无线接口。

在一实施例中，电子设备1000还包括：用户接口1003、其中，用户接口1003可以包括显示屏。

存储器1005配置为存储由处理器1001可执行的指令和应用，还可以缓存待处理器1001以及电子设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种数据处理方法，其特征在于，应用于集群管理系统的服务端，所述集群管理系统包括所述服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上，所述方法包括：

接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；

基于所述获取请求触发获取命令，并将所述获取命令发送至所述主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；

接收所述主机节点返回的所述目标集群系统的配置。

2.根据权利要求1所述的方法，其特征在于，在接收所述主机节点返回的所述目标集群系统的配置之前，所述方法还包括：

接收基于验证信息输入界面输入的所述目标集群系统的验证信息；

将所述验证信息输出至所述主机节点，所述验证信息用于所述目标集群系统对所述主机节点进行身份验证。

3.根据权利要求1所述的方法，其特征在于，所述接收所述主机节点返回的所述目标集群系统的配置，包括：

接收指示所述服务端显示所述目标集群系统的配置的显示请求；

基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至所述主机节点；

接收所述主机节点响应所述第一显示命令返回的所述目标集群系统的配置。

4.根据权利要求1所述的方法，其特征在于，在接收所述主机节点返回的所述目标集群系统的配置之后，所述方法还包括：

接收指示所述服务端更新所述目标集群系统的配置的刷新请求；

基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至所述主机节点；

接收所述主机节点响应所述第二显示命令返回的更新后的所述目标集群系统的配置。

5.根据权利要求1所述的方法，其特征在于，在接收所述主机节点返回的所述目标集群系统的配置之后，所述方法还包括以下至少之一：

显示所述目标集群系统的配置；

根据所述目标集群系统的配置进行告警处理，并输出所述告警处理的处理结果。

6.一种数据处理方法，其特征在于，应用于集群管理系统，所述集群管理系统包括服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上；所述方法包括：

所述服务端接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述本地集群系统之外的集群系统；

所述服务端基于所述获取请求触发获取命令，并将所述获取命令发送至所述代理端；

所述代理端从所述目标集群系统获取所述目标集群系统的配置，并将所述目标集群系统的配置发送至所述服务端；

所述服务端接收所述代理端返回的所述目标集群系统的配置。

7.根据权利要求6所述的方法，其特征在于，在所述服务端接收所述代理端返回的所述目标集群系统的配置之前，所述方法还包括：

所述服务端接收基于验证信息输入界面输入的所述目标集群系统的验证信息，并将所述验证信息输出至所述代理端；

所述代理端将所述验证信息发送至所述目标集群系统，使得所述目标集群系统对所述代理端进行身份验证；其中，所述代理端在身份验证成功的情况下从所述目标集群系统获取所述目标集群系统的配置。

8.根据权利要求6所述的方法，其特征在于，所述接收所述代理端返回的所述目标集群系统的配置，包括：

所述服务端接收指示所述服务端显示所述目标集群系统的配置的显示请求；

所述服务端基于所述显示请求触发第一显示命令，并将所述第一显示命令发送至所述代理端；

接所述服务端收所述代理端响应所述第一显示命令返回的所述目标集群系统的配置。

9.根据权利要求8所述的方法，其特征在于，所述代理端在将所述目标集群系统的配置发送至所述服务端之前，所述方法还包括：

所述代理端将所获取的所述目标集群系统的配置存储在指定路径；

所述代理端基于所述第一显示命令从所述指定路径获取所述目标集群系统的配置。

10.根据权利要求6所述的方法，其特征在于，在所述服务端接收所述代理端返回的所述目标集群系统的配置之后，所述方法还包括：

所述服务端接收指示所述服务端更新所述目标集群系统的配置的刷新请求；

所述服务端基于所述刷新请求触发第二显示命令，并将所述第二显示命令发送至所述代理端；

所述代理端基于所述第二显示命令获取更新后的所述目标集群系统的配置，并将所获取的更新后的所述目标集群系统的配置发送至所述服务端；

所述服务端接收更新后的所述目标集群系统的配置。

11.一种数据处理装置，其特征在于，所述装置应用于集群管理系统的服务端，所述集群管理系统包括所述服务端和代理端，所述代理端位于所述集群管理系统所管理的本地集群系统的主机节点上，所述装置包括：

第一接收单元，接收指示所述服务端获取目标集群系统的配置的获取请求，所述目标集群系统为所述集群管理系统所管理的本地集群系统之外的集群系统；

获取单元，基于所述获取请求触发获取命令，并将所述获取命令发送至所述主机节点，所述获取命令指示所述主机节点从所述目标集群系统获取所述目标集群系统的配置；

第二接收单元，用于接收所述主机节点返回的所述目标集群系统的配置。

12.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述数据处理方法中的步骤。

13.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至5任一项所述数据处理方法。

Images