CN109587221A - 大数据集群管理方法、装置、存储介质和计算机设备 - Google Patents

大数据集群管理方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN109587221A
CN109587221A CN201811332729.3A CN201811332729A CN109587221A CN 109587221 A CN109587221 A CN 109587221A CN 201811332729 A CN201811332729 A CN 201811332729A CN 109587221 A CN109587221 A CN 109587221A
Authority
CN
China
Prior art keywords
node
verified
information
cluster
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811332729.3A
Other languages
English (en)
Inventor
曾根长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811332729.3A priority Critical patent/CN109587221A/zh
Publication of CN109587221A publication Critical patent/CN109587221A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种大数据集群管理方法、装置、存储介质和计算机设备，涉及大数据领域。该大数据集群管理方法包括：获取待添加的大数据集群的待验证配置信息；对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点；获取节点连接指令；根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端；获取交互指令；根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。采用该大数据集群管理方法能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率。

Description

大数据集群管理方法、装置、存储介质和计算机设备
【技术领域】
本发明涉及大数据领域，尤其涉及一种大数据集群管理方法、装置、存储介质和计算机设备。
【背景技术】
大数据集群是指实现对大数据从数据获取、数据存储和数据分析的集群。目前，不同的大数据集群通过各自独立的管理系统进行管理。对于用户来说，使用不同的大数据集群需要通过不同的渠道申请使用，使用流程繁琐，明显降低了工作效率。
【发明内容】
有鉴于此，本发明实施例提供了一种大数据集群管理方法、装置、存储介质和计算机设备，用以解决大数据集群使用流程繁琐，效率低下的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种大数据集群管理方法，所述方法包括：
获取待添加的大数据集群的待验证配置信息；
对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；
获取节点连接指令；
根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；
获取交互指令；
根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。
进一步地，所述根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端，包括：
根据所述待验证配置信息获取所述集群管理节点的节点信息；
根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。
进一步地，在所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理之前，所述方法还包括：
接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；
响应于所述第一信息，向所述节点客户端发送第二信息；
通过所述第二信息确定与所述节点客户端之间的连接状态；
在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。
进一步地，所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理，包括：
获取与数据迁移相关的第一交互指令；
根据所述第一交互指令与第一节点客户端进行信息交互，获取所述第一节点客户端的目标元数据和/或相应的权限；
获取与数据迁移相关的第二交互指令；
根据所述第二交互指令与第二节点客户端进行信息交互，将所述第一节点客户端的所述目标元数据和/或相应的所述权限迁移到所述第二节点客户端中。
进一步地，在所述获取待添加的大数据集群的待验证配置信息之前，所述方法还包括：
根据客户端/服务器端架构以及TCP/IP协议设置与所述大数据集群进行连接的配置条件；
根据所述配置条件设置信息验证框，所述信息验证框用于对输入的所述待验证配置信息进行验证；
所述对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，包括：
根据所述信息验证框对所述待验证配置信息进行验证，判断所述待验证配置信息是否满足所述配置条件；
若所述待验证配置信息满足所述配置条件，则根据所述待验证配置信息添加所述大数据集群。
为了实现上述目的，根据本发明的一个方面，提供了一种大数据集群管理装置，所述装置包括：
待验证配置信息获取模块，用于获取待添加的大数据集群的待验证配置信息；
大数据集群添加模块，用于对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；
节点连接指令获取模块，用于获取节点连接指令；
节点客户端安装模块，用于根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；
交互指令获取模块，用于获取交互指令；
管理模块，用于根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。
进一步地，所述节点客户端安装模块，包括：
节点信息获取单元，用于根据所述待验证配置信息获取所述集群管理节点的节点信息；
节点客户端安装单元，用于根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。
进一步地，所述装置还包括：
第一信息接收单元，用于接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；
第二信息发送单元，用于响应于所述第一信息，向所述节点客户端发送第二信息；
连接状态确定单元，用于通过所述第二信息确定与所述节点客户端之间的连接状态；
交互指令发送单元，用于在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。
为了实现上述目的，根据本发明的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的大数据集群管理方法。
为了实现上述目的，根据本发明的一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的大数据集群管理方法的步骤。
本发明实施例中，首先对待添加的大数据集群的待验证配置信息进行验证，添加验证成功的待验证配置信息对应的大数据集群，并将该大数据集群作为集群管理节点，将大数据集群以管理节点的形式为大数据集群之间的信息交互提供了重要的前提。然后根据节点连接指令与集群管理节点进行连接，并安装节点客户端，能够通过大数据集群管理系统将各个大数据集群连接起来，并通过安装节点客户端的方式以实现大数据集群之间进行信息交互。最后根据交互指令与节点客户端进行信息交互，使得大数据集群之间可以通过大数据集群管理系统进行信息交互，能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率，实现对大数据集群进行管理的功能。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例中大数据集群管理方法的一流程图；
图2是本发明一实施例中大数据集群管理装置的一示意图；
图3是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中大数据集群管理方法的一流程图。该大数据集群管理方法可应用在系统中，用于实现对大数据集群进行统一管理，实现大数据集群之间进行信息交互的功能，具体可应用在安装在计算机设备上的大数据集群管理系统中。其中，该计算机设备是可与用户进行人机交互的设备，包括但不限于电脑、智能手机和平板等设备。如图1所示，该大数据集群管理方法包括如下步骤：
S10：获取待添加的大数据集群的待验证配置信息。
S20：对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点。
可以理解地，大数据集群管理系统需要对待添加的大数据集群的待验证配置信息进行验证，将通过验证的待验证配置信息对应的大数据集群添加到大数据集群管理系统中，并将每一个添加的大数据集群作为集群管理节点，该集群管理节点即以大数据集群为基本单位，实现集群管理的节点。
S30：获取节点连接指令。
S40：根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端。
具体地，大数据集群管理系统获取用户输入的节点连接指令，根据该节点连接指令实现大数据集群管理系统与每个集群管理节点进行连接的目的，并在集群管理节点安装节点客户端，以使每个大数据集群能够与大数据集群管理系统通过节点客户端进行信息交互。
S50：获取交互指令。
S60：根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。
在一实施例中，大数据集群管理系统通过交互指令与节点客户端对应的大数据集群进行与交互指令具体相关的信息交互，可以通过大数据集群平台实现大数据集群之间的信息交互，能够提高大数据集群使用的效率。
在本方案中，首先对待添加的大数据集群的待验证配置信息进行验证，添加验证成功的待验证配置信息对应的大数据集群，并将该大数据集群作为集群管理节点，将大数据集群以管理节点的形式为大数据集群之间的信息交互提供了重要的前提。然后根据节点连接指令与集群管理节点进行连接，并安装节点客户端，能够通过大数据集群管理系统将各个大数据集群连接起来，并通过安装节点客户端的方式以实现大数据集群之间进行信息交互。最后根据交互指令与节点客户端进行信息交互，使得大数据集群之间可以通过大数据集群管理系统进行信息交互，能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率，实现对大数据集群进行管理的功能。
进一步地，根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端，包括：
根据待验证配置信息获取集群管理节点的节点信息；根据节点连接指令，基于客户端/服务器端架构、TCP/IP协议和节点信息建立与集群管理节点的连接，并为集群管理节点安装节点客户端。其中，客户端/服务器端架构即Client/Server架构，是一种软件系统体系结构，通过将任务合理分配到Client端和Server端，能够有效降低系统的通讯开销，在本方案中，Client端具体是指每个大数据集群对应的节点客户端，Server端是指大数据集群管理系统。TCP/IP协议(Transmission Control Protocol/Internet Protocol，传输控制协议/因特网互联协议)，又名网络通讯协议，是Internet的一种协议由网络层的IP协议和传输层的TCP协议组成。节点信息是指大数据集群中用于配置、连接的信息。
在一实施例中，大数据集群管理系统与集群管理节点进行连接具体可以是根据客户端/服务器端架构、TCP/IP协议和节点信息实现。
进一步地，在根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理之前，方法还包括：接收节点客户端发送的心跳包，心跳包携带第一信息；响应于第一信息，向节点客户端发送第二信息；通过第二信息确定与节点客户端之间的连接状态；在连接状态为连接成功状态下，向节点客户端发送交互指令。其中，心跳包是指以心跳机制发送的数据包。心跳机制是指每隔一时间段向特定目标发送固定信息的机制。采用该心跳机制可以有效便捷地检测服务端与客户端之间的连接是否成功，能够及时反映连接状态，并根据连接状态快速进行调整。节点客户端采用该心跳机制向服务端发送携带有第一信息的心跳包，服务端(大数据集群管理系统)向节点客户端发送携带有第二信息的数据包，该第二信息是一种回复，当双方互传的信息都接收并确认时，则可以确定连接是成功的。若不成功，也可以及时检测，恢复连接。大数据集群管理系统根据获取的交互指令，向节点客户端发送该交互指令，以实现服务端与节点客户端之间的信息交互。
可以理解地，当大数据集群管理系统与每个大数据集群都可以进行信息交互时，那么像集群用户创建、集群配置调整和集群监控等大数据集群管理的功能也能够实现。该通过大数据集群管理系统实现大数据集群统一管理的方法能够提高大数据集群处理的工作效率，有效简化用户在多套大数据集群中的使用流程。
进一步地，根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理，包括：获取与数据迁移相关的第一交互指令；根据第一交互指令与第一节点客户端进行信息交互，获取第一节点客户端的目标元数据和/或相应的权限；获取与数据迁移相关的第二交互指令；根据第二交互指令与第二节点客户端进行信息交互，将第一节点客户端的目标元数据和/或相应的权限迁移到第二节点客户端中。
可以理解地，大数据集群之间可以通过大数据集群管理系统进行信息交互，具体可以是采用与数据迁移相关的交互指令实现，可以将大数据集群的元数据以及全新进行迁移，从一个大数据集群迁移到另一个大数据集群中去。在未进行大数据集群统一管理时，该迁移功能是难以实现的，因为大数据集群之间是相互独立的。该数据迁移的实现能够进一步地提高集群处理的效率。
进一步地，还可以根据大数据集群生成一系列的报表，比如存储、计算资源和运行任务数等相关的报表。
进一步地，在获取待添加的大数据集群的待验证配置信息之前，方法还包括：根据客户端/服务器端架构以及TCP/IP协议设置与大数据集群进行连接的配置条件；根据配置条件设置信息验证框，信息验证框用于对输入的待验证配置信息进行验证，对待验证配置信息进行验证；若验证成功，则根据待验证配置信息添加大数据集群，包括：根据信息验证框对待验证配置信息进行验证，判断待验证配置信息是否满足配置条件；若待验证配置信息满足配置条件，则根据待验证配置信息添加大数据集群。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明实施例提供了一种大数据集群管理装置，该大数据集群管理装置用于执行上述大数据集群管理方法，如图2所示，该装置包括：待验证配置信息获取模块10、大数据集群添加模块20、节点连接指令获取模块30、节点客户端安装模块40、交互指令获取模块50和管理模块60。
待验证配置信息获取模块10，用于获取待添加的大数据集群的待验证配置信息。
大数据集群添加模块20，用于对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点。
节点连接指令获取模块30，用于获取节点连接指令。
节点客户端安装模块40，用于根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端。
交互指令获取模块50，用于获取交互指令。
管理模块60，用于根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。
在本方案中，首先对待添加的大数据集群的待验证配置信息进行验证，添加验证成功的待验证配置信息对应的大数据集群，并将该大数据集群作为集群管理节点，将大数据集群以管理节点的形式为大数据集群之间的信息交互提供了重要的前提。然后根据节点连接指令与集群管理节点进行连接，并安装节点客户端，能够通过大数据集群管理系统将各个大数据集群连接起来，并通过安装节点客户端的方式以实现大数据集群之间进行信息交互。最后根据交互指令与节点客户端进行信息交互，使得大数据集群之间可以通过大数据集群管理系统进行信息交互，能够简化大数据集群的使用流程，有效提高大数据集群处理的工作效率，实现对大数据集群进行管理的功能。
可选地，节点客户端安装模块，包括节点信息获取单元和节点客户端安装单元。
节点信息获取单元，用于根据待验证配置信息获取集群管理节点的节点信息。
节点客户端安装单元，用于根据节点连接指令，基于客户端/服务器端架构、TCP/IP协议和节点信息建立与集群管理节点的连接，并为集群管理节点安装节点客户端。
可选地，大数据集群管理装置还包括第一信息接收单元、第二信息发送单元、连接状态确定单元和交互指令发送单元。
第一信息接收单元，用于接收节点客户端发送的心跳包，心跳包携带第一信息。
第二信息发送单元，用于响应于第一信息，向节点客户端发送第二信息。
连接状态确定单元，用于通过第二信息确定与节点客户端之间的连接状态。
交互指令发送单元，用于在连接状态为连接成功状态下，向节点客户端发送交互指令。
可选地，管理模块60包括第一交互指令获取单元、元数据和/或权限获取单元、第二交互指令获取单元和迁移单元。
第一交互指令获取单元，用于获取与数据迁移相关的第一交互指令。
元数据和/或权限获取单元，用于根据第一交互指令与第一节点客户端进行信息交互，获取第一节点客户端的目标元数据和/或相应的权限。
第二交互指令获取单元，用于获取与数据迁移相关的第二交互指令。
迁移单元，用于根据第二交互指令与第二节点客户端进行信息交互，将第一节点客户端的目标元数据和/或相应的权限迁移到第二节点客户端中。
进一步地，大数据集群管理装置还包括配置条件设置单元和信息验证框设置单元。
配置条件设置单元，用于根据客户端/服务器端架构以及TCP/IP协议设置与大数据集群进行连接的配置条件。
信息验证框设置单元，用于根据配置条件设置信息验证框。
进一步地，大数据集群添加模块包括判断单元和添加单元。
判断单元，用于根据信息验证框对待验证配置信息进行验证，判断待验证配置信息是否满足配置条件。
添加单元，用于若待验证配置信息满足配置条件，则根据待验证配置信息添加大数据集群。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质包括计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行以下步骤：
获取待添加的大数据集群的待验证配置信息。
对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点。
获取节点连接指令。
根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端。
获取交互指令。
根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。
可选地，在计算机程序运行时控制计算机可读存储介质所在设备还执行以下步骤：根据待验证配置信息获取集群管理节点的节点信息；根据节点连接指令，基于客户端/服务器端架构、TCP/IP协议和节点信息建立与集群管理节点的连接，并为集群管理节点安装节点客户端。
可选地，在计算机程序运行时控制计算机可读存储介质所在设备还执行以下步骤：在根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理之前，接收节点客户端发送的心跳包，心跳包携带第一信息；响应于第一信息，向节点客户端发送第二信息；通过第二信息确定与节点客户端之间的连接状态；在连接状态为连接成功状态下，向节点客户端发送交互指令。
可选地，在计算机程序运行时控制计算机可读存储介质所在设备还执行以下步骤：获取与数据迁移相关的第一交互指令；根据第一交互指令与第一节点客户端进行信息交互，获取第一节点客户端的目标元数据和/或相应的权限；获取与数据迁移相关的第二交互指令；根据第二交互指令与第二节点客户端进行信息交互，将第一节点客户端的目标元数据和/或相应的权限迁移到第二节点客户端中。
可选地，在计算机程序运行时控制计算机可读存储介质所在设备还执行以下步骤：在获取待添加的大数据集群的待验证配置信息之前，根据客户端/服务器端架构以及TCP/IP协议设置与大数据集群进行连接的配置条件；根据配置条件设置信息验证框，信息验证框用于对输入的待验证配置信息进行验证；对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，包括：根据信息验证框对待验证配置信息进行验证，判断待验证配置信息是否满足配置条件；若待验证配置信息满足配置条件，则根据待验证配置信息添加大数据集群。
图3是本发明一实施例提供的计算机设备的示意图。如图3所示，该实施例的计算机设备70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73，该计算机程序73被处理器71执行时实现以下步骤：：
获取待添加的大数据集群的待验证配置信息。
对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，并将大数据集群作为集群管理节点。
获取节点连接指令。
根据节点连接指令与集群管理节点进行连接，并为集群管理节点安装节点客户端。
获取交互指令。
根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理。
可选地，所述处理器执行所述计算机程序时还实现以下步骤：根据待验证配置信息获取集群管理节点的节点信息；根据节点连接指令，基于客户端/服务器端架构、TCP/IP协议和节点信息建立与集群管理节点的连接，并为集群管理节点安装节点客户端。
可选地，所述处理器执行所述计算机程序时还实现以下步骤：在根据交互指令与节点客户端进行信息交互，通过节点客户端对大数据集群进行管理之前，接收节点客户端发送的心跳包，心跳包携带第一信息；响应于第一信息，向节点客户端发送第二信息；通过第二信息确定与节点客户端之间的连接状态；在连接状态为连接成功状态下，向节点客户端发送交互指令。
可选地，所述处理器执行所述计算机程序时还实现以下步骤：获取与数据迁移相关的第一交互指令；根据第一交互指令与第一节点客户端进行信息交互，获取第一节点客户端的目标元数据和/或相应的权限；获取与数据迁移相关的第二交互指令；根据第二交互指令与第二节点客户端进行信息交互，将第一节点客户端的目标元数据和/或相应的权限迁移到第二节点客户端中。
可选地，所述处理器执行所述计算机程序时还实现以下步骤：在获取待添加的大数据集群的待验证配置信息之前，根据客户端/服务器端架构以及TCP/IP协议设置与大数据集群进行连接的配置条件；根据配置条件设置信息验证框，信息验证框用于对输入的待验证配置信息进行验证；对待验证配置信息进行验证，若验证成功，则根据待验证配置信息添加大数据集群，包括：根据信息验证框对待验证配置信息进行验证，判断待验证配置信息是否满足配置条件；若待验证配置信息满足配置条件，则根据待验证配置信息添加大数据集群。
计算机设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备70可包括，但不仅限于，处理器71、存储器72。本领域技术人员可以理解，图3仅仅是计算机设备70的示例，并不构成对计算机设备70的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备70还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是计算机设备70的内部存储单元，例如计算机设备70的硬盘或内存。存储器72也可以是计算机设备70的外部存储设备，例如计算机设备70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器72还可以既包括计算机设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种大数据集群管理方法，其特征在于，所述方法包括：
获取待添加的大数据集群的待验证配置信息；
对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；
获取节点连接指令；
根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；
获取交互指令；
根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端，包括：
根据所述待验证配置信息获取所述集群管理节点的节点信息；
根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。
3.根据权利要求1所述的方法，其特征在于，在所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理之前，所述方法还包括：
接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；
响应于所述第一信息，向所述节点客户端发送第二信息；
通过所述第二信息确定与所述节点客户端之间的连接状态；
在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。
4.根据权利要求1所述的方法，其特征在于，所述根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理，包括：
获取与数据迁移相关的第一交互指令；
根据所述第一交互指令与第一节点客户端进行信息交互，获取所述第一节点客户端的目标元数据和/或相应的权限；
获取与数据迁移相关的第二交互指令；
根据所述第二交互指令与第二节点客户端进行信息交互，将所述第一节点客户端的所述目标元数据和/或相应的所述权限迁移到所述第二节点客户端中。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述获取待添加的大数据集群的待验证配置信息之前，所述方法还包括：
根据客户端/服务器端架构以及TCP/IP协议设置与所述大数据集群进行连接的配置条件；
根据所述配置条件设置信息验证框，所述信息验证框用于对输入的所述待验证配置信息进行验证；
所述对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，包括：
根据所述信息验证框对所述待验证配置信息进行验证，判断所述待验证配置信息是否满足所述配置条件；
若所述待验证配置信息满足所述配置条件，则根据所述待验证配置信息添加所述大数据集群。
6.一种大数据集群管理装置，其特征在于，所述装置包括：
待验证配置信息获取模块，用于获取待添加的大数据集群的待验证配置信息；
大数据集群添加模块，用于对所述待验证配置信息进行验证，若验证成功，则根据所述待验证配置信息添加所述大数据集群，并将所述大数据集群作为集群管理节点；
节点连接指令获取模块，用于获取节点连接指令；
节点客户端安装模块，用于根据所述节点连接指令与所述集群管理节点进行连接，并为所述集群管理节点安装节点客户端；
交互指令获取模块，用于获取交互指令；
管理模块，用于根据所述交互指令与所述节点客户端进行信息交互，通过所述节点客户端对所述大数据集群进行管理。
7.根据权利要求6所述的装置，其特征在于，所述节点客户端安装模块，包括：
节点信息获取单元，用于根据所述待验证配置信息获取所述集群管理节点的节点信息；
节点客户端安装单元，用于根据所述节点连接指令，基于客户端/服务器端架构、TCP/IP协议和所述节点信息建立与所述集群管理节点的连接，并为所述集群管理节点安装所述节点客户端。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一信息接收单元，用于接收所述节点客户端发送的心跳包，所述心跳包携带第一信息；
第二信息发送单元，用于响应于所述第一信息，向所述节点客户端发送第二信息；
连接状态确定单元，用于通过所述第二信息确定与所述节点客户端之间的连接状态；
交互指令发送单元，用于在连接状态为连接成功状态下，向所述节点客户端发送所述交互指令。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述大数据集群管理方法的步骤。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述大数据集群管理方法的步骤。
CN201811332729.3A 2018-11-09 2018-11-09 大数据集群管理方法、装置、存储介质和计算机设备 Pending CN109587221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811332729.3A CN109587221A (zh) 2018-11-09 2018-11-09 大数据集群管理方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811332729.3A CN109587221A (zh) 2018-11-09 2018-11-09 大数据集群管理方法、装置、存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN109587221A true CN109587221A (zh) 2019-04-05

Family

ID=65922087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811332729.3A Pending CN109587221A (zh) 2018-11-09 2018-11-09 大数据集群管理方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN109587221A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114443066A (zh) * 2021-12-24 2022-05-06 苏州浪潮智能科技有限公司 一种大数据集群的客户端安装方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143829A1 (en) * 2010-12-01 2012-06-07 International Business Machines Corporation Notification of configuration updates in a cluster system
CN102521297A (zh) * 2011-11-30 2012-06-27 北京人大金仓信息技术股份有限公司 无共享数据库集群中实现系统动态扩展的方法
CN105024855A (zh) * 2015-07-13 2015-11-04 浪潮(北京)电子信息产业有限公司 分布式集群管理系统和方法
CN105812488A (zh) * 2016-05-06 2016-07-27 深圳前海大数点科技有限公司 云计算分布式服务集群系统及其方法
CN106027623A (zh) * 2016-03-14 2016-10-12 中国科学院计算技术研究所 分布式集群状态管理的方法及其系统
CN106656552A (zh) * 2016-09-30 2017-05-10 上海冰穹网络科技有限公司 一种数据平台系统的扩展方法、系统及电子设备
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置
CN107634852A (zh) * 2017-08-17 2018-01-26 新华三大数据技术有限公司 监管大数据集群的方法和装置
CN107959588A (zh) * 2017-12-07 2018-04-24 郑州云海信息技术有限公司 数据中心的云资源管理方法、云资源管理平台和管理系统
CN108365985A (zh) * 2018-02-07 2018-08-03 深圳壹账通智能科技有限公司 一种集群管理方法、装置、终端设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143829A1 (en) * 2010-12-01 2012-06-07 International Business Machines Corporation Notification of configuration updates in a cluster system
CN102521297A (zh) * 2011-11-30 2012-06-27 北京人大金仓信息技术股份有限公司 无共享数据库集群中实现系统动态扩展的方法
CN105024855A (zh) * 2015-07-13 2015-11-04 浪潮(北京)电子信息产业有限公司 分布式集群管理系统和方法
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件系统的数据处理方法和装置
CN106027623A (zh) * 2016-03-14 2016-10-12 中国科学院计算技术研究所 分布式集群状态管理的方法及其系统
CN105812488A (zh) * 2016-05-06 2016-07-27 深圳前海大数点科技有限公司 云计算分布式服务集群系统及其方法
CN106656552A (zh) * 2016-09-30 2017-05-10 上海冰穹网络科技有限公司 一种数据平台系统的扩展方法、系统及电子设备
CN107634852A (zh) * 2017-08-17 2018-01-26 新华三大数据技术有限公司 监管大数据集群的方法和装置
CN107959588A (zh) * 2017-12-07 2018-04-24 郑州云海信息技术有限公司 数据中心的云资源管理方法、云资源管理平台和管理系统
CN108365985A (zh) * 2018-02-07 2018-08-03 深圳壹账通智能科技有限公司 一种集群管理方法、装置、终端设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114443066A (zh) * 2021-12-24 2022-05-06 苏州浪潮智能科技有限公司 一种大数据集群的客户端安装方法、装置及存储介质

Similar Documents

Publication Publication Date Title
KR102089284B1 (ko) 클라우드 검증 및 테스트 자동화
CN106357609B (zh) 一种创建用户的方法和系统、公网服务器及私有云设备
EP3108619A1 (en) Orchestration and management of services to deployed devices
CN109150904A (zh) 接口服务调用方法及终端设备
CN107749807B (zh) 一种面向nfv的网络功能验证方法及验证系统
CN110011875A (zh) 拨测方法、装置、设备及计算机可读存储介质
JP2023046248A (ja) プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング
CN109324962A (zh) 一种基于云物联技术的应用程序的测试方法及设备
Sahadevan et al. An offline online strategy for IoT using MQTT
CN109542718A (zh) 服务调用的监控方法、装置、存储介质及服务器
CN107070709A (zh) 一种基于底层numa感知的nfv实现方法
WO2022100075A1 (zh) 性能检测方法、装置、电子设备和计算机可读介质
CN104182683A (zh) 一种联机事务的监控方法、装置及系统
CN112804675A (zh) 无线通讯核心网络与在其中分析用户设备移动的方法
US10122602B1 (en) Distributed system infrastructure testing
CN115604144B (zh) 测试方法及装置、电子设备和存储介质
CN109948332A (zh) 一种物理机登录密码重置方法及装置
CN109408309A (zh) 多终端的测试方法及装置
Seo et al. A framework for estimating the impact of a distributed software system's architectural style on its energy consumption
CN104579738A (zh) 用以在网络中管理流量的计算机实施的方法、计算机系统、计算机程序产品
CN107181606B (zh) 用于控制网络节点的方法和装置
CN109587221A (zh) 大数据集群管理方法、装置、存储介质和计算机设备
CN110290206B (zh) 一种用于网吧环境的分布式计算系统及方法
CN111447273A (zh) 云处理系统及基于云处理系统的数据处理方法
Savolainen et al. Conflict-centric software architectural views: Exposing trade-offs in quality requirements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication