CN107634852B - 监管大数据集群的方法和装置 - Google Patents

Abstract

本发明公开了监管大数据集群的方法和装置。该方法包括：识别属于所述指定大数据集群的节点服务器；在所述指定大数据集群的每个节点服务器上部署代理服务端；获取所述代理服务端收集的所属节点服务器的文件路径和组件配置信息；生成针对所述指定大数据集群的组件管理模型；将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。根据本公开，能够自动监管新的大数据集群，大大减少了人工部署操作，也便于通过统一的管理界面兼容监管多个大数据集群。

Description

监管大数据集群的方法和装置

技术领域

本公开涉及大数据领域，尤其涉及监管大数据集群的方法和装置。

背景技术

大数据集群(Cluster)通常指将多个服务器集中起来一起提供同一种服务，在客户端看来就像是只有一个服务器。大数据集群也可称为服务器集群，属于该大数据集群的服务器可被称为节点、节点服务器或主机。

现有技术中，可以通过如图1所示的大数据管理平台对集群进行规划、管理和监管。大数据管理平台可以包括大数据管理客户端102、大数据管理服务器104和安装在各个节点服务器108上的代理服务端(Agent)106。大数据管理服务器104可通过安装在节点服务器上的代理服务端106控制节点服务器108并收集信息，然后经由大数据管理客户端102集中展示。

但有一些大数据集群，例如开源的hadoop大数据集群，其没有搭建好的大数据管理平台。

还有一些大数据集群，有自己独立的大数据管理平台。在部署新的集群(例如第三方大数据集群)时，该新的集群难以纳入已有的大数据管理平台，导致用户管理集群的入口(portal)多，维护繁琐，且没有统一的管理界面。

相关技术中，对于新发现的、已经部署的第三方大数据集群和开源hadoop大数据集群，通常通过手动修改配置文件的方式使其纳入已有的大数据管理平台，该方法全程靠人工部署操作且过程繁琐。

发明内容

有鉴于此，本公开提出了一种能够自动监管已部署的大数据集群的方法。

根据本公开的一方面，提供了一种监管大数据集群的方法，所述方法应用于SDN控制器，所述方法包括：基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器；在所述指定大数据集群的每个节点服务器上部署代理服务端；获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息；生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息；将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

根据本公开的另一方面，提供了一种监管大数据集群的装置，所述装置应用于SDN控制器，所述装置包括：节点服务器识别模块，用于基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器；代理服务部署模块，用于在所述指定大数据集群的每个节点服务器上部署代理服务端；节点信息获取模块，用于获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息；组件管理模型生成模块，用于生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息；组件管理模型发送模块，用于将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

在上述实施例中，针对期望纳入大数据管理服务器监管的大数据集群，例如第三方大数据集群或开源的hadoop大数据集群等，SDN控制器自动识别属于所述大数据集群的节点服务器，并向其部署代理服务端，然后通过所述代理服务端收集文件路径和组件配置信息，再结合节点服务器和其上安装的组件的地址信息，生成组件管理模型并发送至大数据管理服务器，以使得大数据管理服务器对所述大数据集群进行监管。根据本公开，使得大数据管理服务器能够方便地得到期望纳入监管的大数据集群的组件管理模型，从而对其进行监管，大大减少了人工部署操作，便于通过统一的管理界面兼容监管多个大数据集群。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出现有的大数据管理平台架构示意图。

图2示出了根据本公开的一个实施例的监管大数据集群的方法的流程图。

图3示出一多集群部署环境示意图。

图4示出根据本公开的一个示例性实施例的监管大数据集群的流程示意图。

图5示出根据本公开的一个示例性实施例的监管大数据集群的装置的框图。

图6示出根据本公开的一个示例性实施例的监管大数据集群的装置的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图2示出了根据本公开的一个实施例的监管大数据集群的方法的流程图。所述方法应用于SDN(Software Defined Network，软件定义网络)控制器。如图2所示，该方法包括下列步骤。

步骤202，基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器。

这里，指定的大数据集群可以是尚未被纳入特定大数据管理服务器监管的大数据集群，例如，可以是已部署的第三方大数据集或开源hadoop大数据集群等。

在一个示例中，在节点服务器上线的过程中，SDN控制器可获取该节点服务器的IP地址。此外，在上线过程中，SDN服务器还可获取该节点服务器的MAC地址和安装在该节点服务器上的各个组件服务对应的逻辑端口号。可在SDN控制器中设置期望纳入监管的大数据集群的IP地址信息，例如，可输入某个大数据集群的每个节点服务器的IP地址，也可输入某个大数据集群的节点服务器对应的IP地址范围，等等。从而，根据预先配置的指定大数据集群的IP地址信息，SDN控制器可识别出属于该大数据集群的节点服务器。

步骤204，在所述指定大数据集群的每个节点服务器上部署代理服务端。

SDN控制器可以向属于所述指定大数据集群的节点服务器发送代理服务安装包，以在节点服务器上安装代理服务端。在一个示例中，代理服务安装包被发送至节点服务器后，可根据配置自动触发安装。

SDN控制器通过代理服务端，可以收集所述节点服务器的文件路径和组件配置信息。在一个示例中，代理服务端可被配置为自动收集所述节点服务器的文件路径和组件配置信息；在另一个示例中，代理服务端接收到SDN控制器的特定请求后，响应于该请求收集所述节点服务器的文件路径和组件配置信息。

在一种可能的实现方式中，图2所示的方法还可以包括：在所述指定大数据集群的每个节点服务器上部署代理服务端之后，可以向所述大数据管理服务器发送通知报文，以触发大数据管理服务器和代理服务端之间的交互。进一步地，SDN控制器还可以获取大数据管理服务器和代理服务端之间的交互报文，基于此监控大数据管理服务器和代理服务端的交互状态。当SDN控制器监控到大数据管理服务器和某个或某些代理服务端的交互异常时，可以报警，在一个示例中，该报警信息可以通过大数据管理客户端向用户展示，以便于用户及时发现和定位故障。

大数据管理客户端可部署在任意适用的设备上，例如，可以和大数据管理服务器布置在同一设备上，可以和某个节点服务器布置在同一设备上，可以和SDN控制器布置在同一设备上，也可以单独部署在一台设备上，本公开对此不做限制。

步骤206，获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息。

节点服务器上可以根据需要部署多种类型的组件，例如消息转发组件、在线状态组件等，本公开对此不作限定。

组件配置信息可以是指针对组件的任意配置信息，例如组件的监听端口的配置信息等等，本公开对此不作限定。

SDN控制器可基于SSH(Secure Shell，安全外壳)协议生成查询报文并发送至所述节点服务器上部署的所述代理服务端，以请求所述代理服务端返回所收集的所述节点服务器的文件路径和组件配置信息。

步骤208，生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括(例如，至少包括)所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息。

本公开中，针对已有的大数据集群，大数据管理服务器维护一个对应的组件管理模型。对于新添加的上述指定大数据集群，大数据管理服务器需要维护一个对应的组件管理模型。在一个示例中，SDN控制器可以根据获取的节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息对已有的组件管理模型进行修改，从而得到适用于上述指定大数据集群的组件管理模型。

其中，节点服务器的地址信息可以是该节点服务器的IP地址。组件的地址信息可以由IP地址(节点服务器的IP地址)和逻辑端口号组成。例如，如上所述，可以在节点服务器上线的过程中获取节点服务器的IP地址和安装在该节点服务器上的各个组件服务的逻辑端口号。

所述节点服务器的所述文件路径信息和所述组件配置信息可以在上述步骤206中获取。

步骤210，将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

基于组件管理模型，大数据管理服务器可对部署在节点服务器上的代理服务端进行管理，从而实现对所述指定大数据集群的管理。

在上述实施例中，针对期望纳入大数据管理服务器监管的大数据集群，例如第三方大数据集群或开源的hadoop大数据集群等，SDN控制器自动识别属于所述大数据集群的节点服务器，并向其部署代理服务端，然后通过所述代理服务端收集文件路径和组件配置信息，再结合节点服务器和其上安装的组件的地址信息，生成组件管理模型并发送至大数据管理服务器，以使得大数据管理服务器对所述大数据集群进行监管。根据本公开，使得大数据管理服务器能够方便地得到期望纳入监管的大数据集群的组件管理模型，从而对其进行监管，大大减少了人工部署操作，便于通过统一的管理界面兼容监管多个大数据集群。

图3示出了一多集群部署环境示意图。如图所示，集群1是当前已被大数据管理服务器304纳入监管的大数据集群，其节点306上均部署有代理服务端，大数据管理服务器304通过这些代理服务端对集群1进行监管。集群2和3是SDN控制器306检测到的、还未纳入大数据管理服务器304监管的集群。集群2是开源的Hadoop集群，包括多个节点服务器308。集群3是第三方大数据集群，包括多个节点服务器310。

图4示出了在图3所示的多集群部署环境下，根据本公开自动监管新发现的集群2的流程示意图。自动监管集群3的过程与图4所示的自动监管集群2的过程类似，不再一一赘述。

在步骤402中，SDN控制器312识别属于集群2的节点服务器308。

在步骤404中，SDN控制器312将与大数据管理服务器304适配的代理服务安装包拷贝到识别出的节点服务器308中。

在步骤406中，代理服务安装包被发送到节点服务器308后，根据配置自动触发安装，以在节点服务器308上部署相应的代理服务端。

在步骤408中，SDN控制器312向大数据管理服务器304发送通知报文，以触发大数据管理服务器304与各个节点服务器308上所部署的代理服务端之间的交互。

在步骤410中，大数据管理服务器304与节点服务器308进行交互。

在步骤412中，SDN控制器312获取大数据管理服务器304和节点服务器308间的交互报文，以确定大数据管理服务器304与各个节点服务器308间的交互是否正常。如大数据管理服务器304与一个或多个(例如全部)节点服务器308间的交互异常，则大数据管理服务器304可以发送报警信息，例如，可发送至大数据管理客户端(未示出)，并通过大数据管理客户端向用户展示，以便于用户及时发现和定位故障。

在步骤414中，SDN控制器312可基于SSH协议构造查询报文并发送至部署在节点服务器308上的代理服务端，以请求所述代理服务端返回所收集的文件路径和组件配置信息。

在步骤416中，部署在节点服务器308上的代理服务端可收集文件路径和组件配置信息。

在步骤418中，节点服务器308可向SDN控制器312发送所收集的文件路径和组件配置信息。本领域技术人员可以理解地是，在图4所示示例中，代理服务端可响应于所述查询报文来执行收集和发送文件路径和组件配置信息的操作；在另一些示例中，代理服务端可在被部署后直接自动收集文件路径和组件配置信息，或响应于其他事件(即非响应于接收所述查询报文)来收集文件路径和组件配置信息，并响应于所述查询报文，将所收集的文件路径和组件配置信息发送给SDN控制器312。

在步骤420中，SDN控制器312可基于节点服务器308的地址信息(例如IP地址)、安装在节点服务器308上的组件的地址信息(节点308的IP地址+端口号)、节点服务器308的文件路径和组件配置信息，生成针对集群2的组件管理模型。

在步骤422中，SDN控制器312可将在步骤420中生成的组件管理模型发送至大数据管理服务器304。

在步骤424中，大数据管理服务器304可基于该组件管理模型对集群2进行监管。

图5示出根据本公开的一个示例性实施例的监管大数据集群的装置500的框图。装置500应用于SDN控制器。装置500包括：节点服务器识别模块502，用于基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器；代理服务部署模块504，用于在所述指定大数据集群的每个节点服务器上部署代理服务端；节点信息获取模块506，用于获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息；组件管理模型生成模块508，用于生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息；组件管理模型发送模块510，用于将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

在一种可能的实现方式中，装置500还包括：通知报文发送模块(未示出)，用于在所述指定大数据集群的每个节点服务器上部署代理服务端之后，向所述大数据管理服务器发送通知报文，以触发所述大数据管理服务器与所部署的各个代理服务端之间的交互；以及交互监控模块(未示出)，用于获取所述大数据管理服务器和所述各个代理服务端之间的交互报文，确定所述大数据管理服务器和所述各个代理服务端之间的交互是否正常。

在一种可能的实现方式中，装置500还包括：交互异常报警模块(未示出)，用于在确定所述大数据管理服务器和所述各个代理服务端中的一者或多者之间的交互异常的情况下，发送报警信息。

在一种可能的实现方式中，节点信息获取模块506具体用于：基于SSH协议生成查询报文并发送至所述节点服务器上部署的所述代理服务端，以请求所述代理服务端返回所收集的所述节点服务器的文件路径和组件配置信息。

图6是根据一示例性实施例示出的一种用于监管大数据集群的装置600的框图。参照图6，该装置600可包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。并且，处理器601通过读取机器可读存储介质602中与监管大数据集群逻辑对应的机器可执行指令以执行上文所述的监管大数据集群的方法。

本文中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种监管大数据集群的方法，其特征在于，所述方法应用于SDN控制器，所述方法包括：

基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器；

向所述指定大数据集群的节点服务器发送代理服务安装包，以在所述指定大数据集群的每个节点服务器上部署代理服务端；

获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息；

生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息；

将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述指定大数据集群的每个节点服务器上部署代理服务端之后，向所述大数据管理服务器发送通知报文，以触发所述大数据管理服务器与所部署的各个代理服务端之间的交互；以及

获取所述大数据管理服务器和所述各个代理服务端之间的交互报文，确定所述大数据管理服务器和所述各个代理服务端之间的交互是否正常。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在确定所述大数据管理服务器和所述各个代理服务端中的一者或多者之间的交互异常的情况下，发送报警信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息，包括：

基于安全外壳SSH协议生成查询报文并发送至所述节点服务器上部署的所述代理服务端，以请求所述代理服务端返回所收集的所述节点服务器的文件路径和组件配置信息。

5.一种监管大数据集群的装置，其特征在于，所述装置应用于SDN控制器，所述装置包括：

节点服务器识别模块，用于基于预先配置的指定大数据集群的IP地址信息识别属于所述指定大数据集群的节点服务器；

代理服务部署模块，用于向所述指定大数据集群的节点服务器发送代理服务安装包，以在所述指定大数据集群的每个节点服务器上部署代理服务端；

节点信息获取模块，用于获取所述代理服务端收集的所述节点服务器的文件路径和组件配置信息；

组件管理模型生成模块，用于生成针对所述指定大数据集群的组件管理模型，所述组件管理模型包括所述节点服务器的地址信息、部署在所述节点服务器上的组件的地址信息、所述节点服务器的所述文件路径信息和所述组件配置信息；

组件管理模型发送模块，用于将所述组件管理模型发送至大数据管理服务器，以使得所述大数据管理服务器基于所述组件管理模型对所述指定大数据集群进行监管。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

通知报文发送模块，用于在所述指定大数据集群的每个节点服务器上部署代理服务端之后，向所述大数据管理服务器发送通知报文，以触发所述大数据管理服务器与所部署的各个代理服务端之间的交互；以及

交互监控模块，用于获取所述大数据管理服务器和所述各个代理服务端之间的交互报文，确定所述大数据管理服务器和所述各个代理服务端之间的交互是否正常。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

交互异常报警模块，用于在确定所述大数据管理服务器和所述各个代理服务端中的一者或多者之间的交互异常的情况下，发送报警信息。

8.根据权利要求5所述的装置，其特征在于，所述节点信息获取模块具体用于：

基于安全外壳SSH协议生成查询报文并发送至所述节点服务器上部署的所述代理服务端，以请求所述代理服务端返回所收集的所述节点服务器的文件路径和组件配置信息。