CN104462180A - 用于大数据处理设备的管理系统和方法 - Google Patents

Abstract

一种用于大数据处理设备的管理系统可以包括：系统管理主节点；以及系统管理代理节点，其包括针对所述系统管理主节点的基于请求的第一通信路径和针对所述系统管理主节点的基于应答的第二通信路径，所述系统管理代理节点被配置成检测指令是否在从所述第二通信路径接收的应答中。

Description

用于大数据处理设备的管理系统和方法

相关申请的交叉引用

本申请要求2013年9月24日提交的申请号为10-2013-0113503的韩国专利申请的优先权以及早些的提交日的权益，其全部内容通过引用合并于此。

技术领域

实施例可以涉及用于管理大数据处理设备的技术，并且更具体地涉及用于能够基于单个PC服务器处的分布式数据库对大数据系统的安装、设置和控制进行整体管理的用于大数据处理设备的管理系统和方法。

背景技术

Hadoop(海杜普，一种分布式系统基础架构)可以是基于用于存储和分析大量的典型/非典型数据的开源软件和分布式计算框架开发的项目。Hadoop中的软件库可以被视为一种有助于使用多个计算机来分配数据以有效处理大量的数据的技术。

韩国专利登记号10-12255909涉及当客户端请求文件时保证在对应的节点处理的数据局部性以显著降低网络流量的Hadoop文件系统。这种Hadoop文件系统可以在对应的服务器中处理文件下载请求，从而使客户端响应时间最小化，以及可以将文件从对应的服务器直接发送至客户端，从而使与其他服务器的网络通信最小化以改善性能。

韩国专利登记号10-1218087涉及采用Hadoop映射-化简(map-reduce)进行二进制数据分析的输入格式提取方法和使用其对二进制数据的分析方法。在该二进制数据分析方法中，当具有固定长度的二进制数据在Hadoop环境中被分发处理时，可以在不需要数据格式转换处理的情况下处理二进制数据，因而需要相对小的存储空间，并且可以缩短处理时间。

发明内容

实施例可以提供一种用于大数据处理设备的管理系统和方法，其能够基于单个PC服务器处的分布式数据库来对大数据系统的安装、设置和控制进行整体管理。

实施例可以提供一种用于大数据处理设备的管理系统和方法，其能够通过非对称通信发送分布式数据库的状态信息消息。

实施例可以提供一种用于大数据处理设备的管理系统和方法，其能够根据指令的处理重要性来将指令插入到队列的特定位置。

在至少一个实施例中，提供了一种用于大数据处理设备的管理系统，其可以包括系统管理主节点和系统管理代理节点，系统管理代理节点包括针对系统管理主节点的基于请求的第一通信路径和针对系统管理主节点的基于应答的第二通信路径，系统管理代理节点被配置成检测指令是否在从第二通信路径接收的应答中。

在至少一个实施例中，当从第二通信路径接收的应答中检测到该指令时，系统管理代理节点可以将该指令存储至队列中。

在至少一个实施例中，指令可以对应于针对分布式数据库的安装规范信息，该安装规范信息是客户端从系统管理主节点请求的。

在至少一个实施例中，系统管理主节点可以通过第二通信路径将包括针对分布式数据库的安装规范信息的指令发送至系统管理代理节点。

在至少一个实施例中，系统管理主节点可以根据安装规范信息安装特定分布式数据库，以及可以在每个特定时间通过第一通信路径将特定数据库的激活状态发送至系统管理主节点。

在至少一个实施例中，当特定分布式数据库的特定数据库的激活状态正常时，系统管理主节点可以将针对特定分布式数据库的安装规范信息存储至系统管理数据库中。

在至少一个实施例中，当在特定分布式数据库的安装过程期间出现错误时，系统管理主节点可以将错误标识码发送至系统管理主节点。

在至少一个实施例中，系统管理主节点可以分析错误标识码以改善针对特定分布式数据库的激活状态以及将针对经改善的特定分布式数据库的安装规范信息重新发送至系统管理代理节点。

在至少一个实施例中，系统管理主节点可以检查指令的重要性以把针对其重要性的等级码包括在该指令中，并且将包括等级码的指令发送至系统管理代理节点。

在至少一个实施例中，系统管理代理节点可以对包括等级码的指令的等级码与队列存储的指令的等级码进行比较以将该包括等级码的指令插入至队列的特定位置。

在至少一个实施例中，第一通信路径可以包括针对系统管理代理节点的鉴别信息请求消息、针对系统管理代理节点的标识消息、针对系统管理代理节点的状态信息消息和针对指令的处理结果消息。

在至少一个实施例中，第二通信路径可以包括针对系统管理代理节点的鉴别结果、针对系统管理代理节点的监控设置消息以及针对指令的列表。

在至少一个实施例中，一种在包括系统管理主节点和系统管理代理节点的、用于大数据处理设备的管理系统中执行的用于大数据处理设备的管理方法，该管理方法可以包括：(a)在系统管理主节点和系统管理代理节点之间建立第一通信路径和第二通信路径；(b)检测包括分布式数据库的安装规范信息的指令是否在通过第二通信路径从系统管理代理节点接收的应答中；以及(c)当通过第二通信路径从系统管理代理节点接收的应答中检测到该指令时，将该指令存储至队列中。

在至少一个实施例中，管理方法还可以包括(d)系统管理代理节点根据存储至队列中的指令顺序地安装特定分布式数据库。

在至少一个实施例中，管理方法还可以包括(e)系统管理代理节点在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点。

在至少一个实施例中，管理方法还包括当特定分布式数据库的激活状态正常时，系统管理主节点将针对该特定分布式数据库的安装规范信息存储至系统管理数据库中。

实施例可以基于单个PC服务器处的分布式数据库来对大数据系统的安装、设置和控制进行整体管理。

实施例可以通过非对称通信发送针对分布式数据库的状态信息消息。

实施例可以根据指令的处理重要性来将指令插入至队列的特定位置。

附图说明

将会参照下面附图详细描述布置和实施例，在附图中，相同的附图标记表示相同的元素，且其中：

图1是用于大数据处理设备的管理系统的框图；

图2是图1的用于大数据处理设备的管理系统的框图；

图3是示出在图1的用于大数据处理设备的管理系统中执行的用于大数据系统管理的管理方法的流程图；

图4a是图1的用于大数据处理设备的管理系统中的系统管理主节点的结构的框图；

图4b是图1的用于大数据处理设备的管理系统中的系统管理代理节点的结构的框图；

图5是在图1的用于大数据处理设备的管理系统中执行的指令处理的框图；

图6a是通过图1的用于大数据处理设备的管理系统中的第一通信路径发送的数据的框图；

图6b是通过图1的用于大数据处理设备的管理系统中的第二通信路径发送的数据的框图。

具体实施方式

本发明的说明仅仅是针对结构性或功能性说明的实施例，所以本发明的范围不应当被解释为局限于该实施例中所说明的实施例。也就是说，由于实施例可以在不脱离其特性的情况下以若干种形式实施，所以也应当理解的是，除非另外指明，所描述的实施例不局限于前述描述的任何细节，而应当在所附权利要求中限定的其范围内宽泛地解释。因此，落入权利要求的范围或此范围的等同体内的各种变化和修改旨在被所附权利要求包含。

在本公开中描述的术语可以如下理解。

虽然诸如“第一”和“第二”等之类的术语可以用来描述各种部件，但是一定不能把这样的部件理解为局限于上面的术语。上面的术语用来把一个部件与另一个部件区分开。例如，在不脱离本发明的权利的范围的情况下可以把第一部件称为第二部件，并且同样地，可以把第二部件称为第一部件。

将理解的是，当元件被称为“连接至”另一元件时，其可以直接连接至另一元件，或还可以存在中间元件。相反，当元件被称为“直接连接至”另一元件时，则不存在中间元件。此外，除非明确地相反描述，单词“包括”和诸如“包括有”或“正包括”之类的变体将被理解为意指包括所陈述的元件，但不排除任何其他元件。同时，诸如“在...之间”，“紧接在...之间”或“相邻于”和“直接相邻于”之类的描述部件之间关系的其他表达可以进行类似地解释。

除非在上下文中另外明确说明，否则本公开中的单数形式“一个”、“一”和“该”意图也包括复数形式。还将理解的是，诸如“包含”或“具有”等之类的术语意图指示存在说明书中公开的特征、数量、操作、动作、部件、部分或其组合，而非意图排除一个或更多个其他特征、数量、操作、动作、部件、部分或其组合可以存在或可以被增加的可能性。

在本申请中使用的术语仅仅用来描述特定实施例，而非意图限制本发明。除非另外限定，本文使用的包括技术术语或科技术语在内的所有术语具有与本发明所属技术领域的普通技术人员通常理解的含义相同的含义。把像通用字典中定义的术语那样的术语解释为具有与相关技术领域中的语境含义相同的含义，并且除非在本申请中明确定义否则不解释为具有理想或过分正式的含义。

图1是用于大数据处理设备的管理系统的框图，以及图2是图1的用于大数据处理设备的管理系统的框图。还可以提供其他实施例和配置。

参见图1和图2，用于大数据处理设备的管理系统100可以包括系统管理主节点110和系统管理代理节点120。

系统管理主节点110可以包括自系统管理代理节点120的基于请求的第一通信路径和针对系统管理代理节点120的基于应答的第二通信路径。系统管理主节点110可以将通过第一通信路径接收的请求信息发送至系统管理代理节点120。在本文中，系统管理主节点110可以建立多个系统管理代理节点120以及第一通信路径和第二通信路径。

在至少一个实施例中，可以从客户端通过网络浏览器210请求系统管理主节点110安装分布式数据库。在本文中，客户端可以请求将分布式数据库安装至系统管理主节点110，分布式数据库可以具有处理极大量数据的规范。

系统管理主节点110可以向系统管理代理节点120发送指令。在本文中，指令可以包括通过第二通信路径从网络浏览器210请求的针对分布式数据库的安装规范。在系统管理主节点110将包括分布式数据库的安装规范的指令发送至系统管理代理节点120之前，系统管理主节点110可以在系统管理数据库220中存储关于分布式数据库的安装规范的信息。

在至少一个实施例中，系统管理数据库220可以与系统管理主节点110连接以管理针对分布式数据库的信息。系统管理数据库220可以存储针对分布式数据库的设置信息和安装信息。

系统管理主节点110可以通过第二通信路径将包括针对分布式数据库的安装规范的指令发送至系统管理代理节点120。

系统管理主节点110可以通过第一通信路径从系统管理代理节点120接收包括针对分布式数据库的状态信息的消息。

在至少一个实施例中，系统管理主节点110可以在每个特定时间通过第一通信路径接收针对客户端的鉴别信息请求消息、针对系统管理代理节点120的标识消息、针对系统管理代理节点120的状态信息消息以及针对包括分布式数据库的安装规范的指令的处理结果消息。例如，可以每5秒向系统管理主节点110请求针对系统管理代理节点120的鉴别信息，系统管理主节点110可以接收针对系统管理代理节点120的标识号(例如，标识号对应于1～N)，可以接收针对系统管理代理节点120的状态信息以及针对包括分布式数据库的安装规范的指令的处理结果。

系统管理主节点110可以通过第一通信路径将从系统管理代理节点120接收的针对分布式数据库的状态信息发送至网络浏览器210。在本文中，网络浏览器210可以将针对分布式数据库的状态信息提供至客户端。例如，针对分布式数据库的状态信息可以对应于分布式数据库的安装过程期间出现的错误信息、分布式数据库IP信息和针对系统管理代理节点120的标识号(例如，标识号对应于1～N)。

系统管理主节点110可以管理所需的系统管理代理以为分布式数据库、JDK(Java开发者工具包)和分布式数据库二进制文件提供服务。

在至少一个实施例中，参见图4a，系统管理主节点110可以包括系统管理控制器、通信库和网络服务模块。在本文中，系统管理控制器可以与系统管理代理节点120通信，通信库可以作为数据序列化系统将从系统管理代理节点120接收的信息序列化，以及网络服务模块可以提供与网络浏览器210连接的网络服务器。

系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以当特定分布式数据库的激活状态正常时，把特定分布式数据库的安装规范信息存储在系统管理数据库220中。在本文中，系统管理数据库220可以与系统管理服务器连接以管理分布式数据库的安装规范信息。

系统管理主节点110可以从系统管理代理节点120接收针对分布式数据库的安装错误的标识码。

在至少一个实施例中，系统管理主节点110可以分析分布式数据库的安装错误标识码以改善特定分布式数据库的激活状态，以及可以将经改善的特定分布式数据库的安装规范信息重新发送至系统管理代理节点120。例如，安装错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。

系统管理主节点110可以检查包括针对分布式数据库的安装规范信息的指令的重要性以将针对其重要性的等级码包括到该指令中，并且将包括等级码的指令发送至系统管理代理节点120。例如，系统管理主节点110可以在当指令是一般指令时促使等级码C或D包括在该指令中，可以在当指令是快速处理的时促使等级码B包括在该指令中，以及可以在当指令是紧急处理的时促使等级码A包括在该指令中以将该指令发送至系统管理代理节点120。

系统管理代理节点120可以包括针对系统管理主节点110的基于请求的第一通信路径和自系统管理主节点110的基于应答的第二通信路径，以及可以检测指令是否在从第二通信路径接收的应答中。在本文中，多个系统管理代理节点120可以建立一个系统管理主节点110以及第一通信路径和第二通信路径。

系统管理代理节点120可以在每个特定时间通过第一通信路径发送针对系统管理代理节点120的鉴别信息请求消息、标识消息、状态信息消息以及与包括分布式数据库的安装规范的指令有关的处理结果消息。在本文中，系统管理代理节点120可以根据网络状态(例如，网络状态可以包括速度和即时处理能力)或消息重要性来改变通过第一通信路径发送至系统管理主节点的消息时间。

当在从第二通信路径接收的应答中检测到指令时，系统管理代理节点120可以把该指令存储在队列中。

在至少一个实施例中，系统管理代理节点120可以对与包括从系统管理主节点110接收的分布式数据库安装规范信息的指令的重要性有关的等级码与存储在队列中的指令的等级码进行比较，以便把该指令插入至队列的特定位置。

在至少另一个实施例中，系统管理代理节点120可以根据从系统管理主节点110接收的分布式数据库的安装规范信息对该指令进行分类以将该指令插入到队列的特定位置。

系统管理代理节点120可以根据分布式数据库的安装规范信息来安装特定分布式数据库，以及可以在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点。在本文中，特定数据库的激活状态可以对应于正常开始特定数据库的安装过程的状态或非正常开始特定数据库的安装过程的状态。

在至少一个实施例中，当在特定分布式数据库的安装过程期间出现错误时，系统管理代理节点120可以将错误标识码发送至系统管理主节点110。在本文中，错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。

在至少一个实施例中，参见图4b，系统管理代理节点120可以包括通信库、系统管理代理、管理协议、脚本语言和监控模块。在本文中，通信库可以作为数据序列化系统将从系统管理主节点120接收的信息序列化，系统管理代理可以与系统管理主节点110通信，管理协议可以提供管理系统管理代理节点120的网络状态的工具，脚本语言可以对应于在单元中使用的指令的组合并且可以解释从系统管理主节点110接收的指令，以及监控模块可以对应于监控分布式数据库的使用状态的工具。

图3是示出了在图1的用于大数据处理设备的管理系统中执行的用于大数据系统管理的管理方法的流程图。还可以提供其他实施例和配置。

参见图3，系统管理主节点110可以通过网络与系统管理代理节点120连接(操作S301)。

系统管理代理节点120可以包括针对系统管理主节点110的基于请求的第一通信路径和自系统管理主节点110的基于应答的第二通信路径，以及可以检测指令是否在从第二通信路径接收的应答中(操作S302)。在本文中，系统管理主节点110可以包括自系统管理代理节点120的基于请求的第一通信路径和自系统管理代理节点120的基于应答的第二通信路径，以及可以将通过第一通信路径接收的请求信息发送至系统管理代理节点120。

在至少一个实施例中，系统管理代理节点120可以在每个特定时间通过第一通信路径发送针对系统管理代理节点120的鉴别信息请求消息、标识消息、状态信息消息和与包括分布式数据库的安装规范的指令有关的处理结果消息。

当从通过第二通信路径接收的应答检测到指令时，系统管理代理节点120可以把该指令存储在队列中(操作S303和S304)。

在至少一个实施例中，系统管理代理节点120可以对与包括从系统管理主节点110接收的分布式数据库安装规范信息的指令的重要性有关的等级码与存储在队列中的指令的等级码进行比较，以便将该指令插入到队列的特定位置。例如，参见图5中的(a)，当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码D时，系统管理代理节点120可以在不比较关于该指令的等级码与存储在队列中的指令的等级码的情况下将该指令插入至队列的后面501。对于另一实例，参见图5中的(b)，当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码B时，系统管理代理节点120可以对关于该指令的等级码和存储在队列中的指令的等级码进行比较，以便将该指令插入至队列的中间502。对于另一实施例，参见图5中的(c)，当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码A时，系统管理代理节点120可以在不对关于该指令的等级码与存储在队列中的指令的等级码进行比较的情况下将该指令立即插入至队列的前面503。

系统管理代理节点120可以执行存储在队列中的指令，以及可以在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点(操作S305和S306)。

系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以当特定分布式数据库的激活正常时将该特定分布式数据库的安装规范信息存储在系统管理数据库220中(操作S307和S308)。在本文中，系统管理数据库220可以与系统管理主节点110连接以管理分布式数据库的安装规范信息。

系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以分析分布式数据库的安装错误标识码，以便当该特定分布式数据库的激活状态非正常时，改善该特定分布式数据库的激活状态并且将该特定分布数据库的经改善的安装规范信息重新发送至系统管理代理节点120(操作S308)。

在至少一个实施例中，当在特定分布式数据库的安装过程期间出现错误时，系统管理代理节点120可以将错误标识码发送至系统管理主节点110。在本文中，错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。

图6a是在图1的用于大数据处理设备的管理系统中通过第一通信路径发送的数据的框图，以及图6b是在图1的用于大数据处理设备的管理系统中通过第二通信路径发送的数据的框图。

参见图6a，系统管理代理节点120可以通过第一通信路径将包括系统管理代理节点120鉴别信息、节点标识信息、关于从系统管理主节点110接收的指令的处理结果列表和发送时间的消息发送至系统管理主节点110。

在至少一个实施例中，系统管理代理节点120鉴别信息可以对应于鉴别消息。鉴别消息可以对应于对与系统管理主节点110连接的系统管理代理的合法性进行鉴别的信息。节点标识信息可以对应于系统管理代理节点120的唯一编号。从系统管理主节点110接收的针对指令的处理结果列表可以对应于被包含到数组的指令执行处理结果。发送时间可以对应于消息从系统管理代理节点120发送至系统管理主节点110的时间。在本文中，时间的类型可以被设置为长(LONG)类型。

参见图6b，系统管理主节点110可以通过第二通信路径将包括节点120的标识信息(节点ID)、鉴别结果信息、监控项列表、针对从系统管理代理节点120接收的消息的接收间隔和发送时间的消息发送至系统管理代理节点120。

在至少一个实施例中，针对系统管理代理节点120的标识信息(节点ID)可以对应于在系统管理主节点110中标识系统管理代理节点120的标识值(例如，标识值可以被设置为字符串(STRING)类型)。系统管理代理节点120鉴别结果信息可以对应于对与系统管理主节点110连接的系统管理代理节点120的合法性鉴别的结果。节点监控项列表可以对应于分布式数据库的监控目标项。从系统管理代理节点120接收的消息的接收间隔可以对应于消息从系统管理主节点110发送至系统管理代理节点120的时间(例如，消息的类型可以设置为整数(INT)类型)。发送时间可以对应于消息从系统管理主节点110发送至系统管理代理节点120的时间。在本文中，时间的类型可以设置为LONG类型。

尽管本文档提供了本发明的优选实施例的描述，但本领域技术人员将理解的是，在不脱离由所附权利要求限定的技术原理和范围的情况下，可以采用各种方式对本发明进行修改或改变。

Claims (16)

1.一种用于大数据处理设备的管理系统，包括：

系统管理主节点；以及

系统管理代理节点，其包括针对所述系统管理主节点的基于请求的第一通信路径和针对所述系统管理主节点的基于应答的第二通信路径，所述系统管理代理节点被配置成检测指令是否在从所述第二通信路径接收的应答中。

2.如权利要求1所述的管理系统，其中，当从所述第二通信路径接收的应答中检测到所述指令时，所述系统管理代理节点将所述指令存储到队列中。

3.如权利要求2所述的管理系统，其中，所述指令对应于针对分布式数据库的安装规范信息，所述安装规范信息是客户端从所述系统管理主节点请求的。

4.如权利要求3所述的管理系统，其中，所述系统管理主节点通过所述第二通信路径将所述指令发送至所述系统管理代理节点，所述指令包括针对所述分布式数据库的所述安装规范信息。

5.如权利要求4所述的管理系统，其中，所述系统管理主节点根据所述安装规范信息安装特定分布式数据库，以及在每个特定时间通过所述第一通信路径将针对所述特定数据库的激活状态发送至所述系统管理主节点。

6.如权利要求5所述的管理系统，其中，当针对所述特定分布式数据库的所述特定数据库的激活状态正常时，所述系统管理主节点将针对所述特定分布式数据库的所述安装规范信息存储到系统管理数据库中。

7.如权利要求5所述的管理系统，其中，当在所述特定分布式数据库的安装过程期间出现错误时，所述系统管理主节点将错误标识码发送至所述系统管理主节点。

8.如权利要求7所述的管理系统，其中，所述系统管理主节点分析所述错误标识码以改善针对所述特定分布式数据库的激活状态并且将经改善的特定分布式数据库的安装规范信息重新发送至所述系统管理代理节点。

9.如权利要求4所述的管理系统，其中，所述系统管理主节点检查所述指令的重要性以把针对其重要性的等级码包括至所述指令中，并且将包括所述等级码的指令发送至所述系统管理代理节点。

10.如权利要求9所述的管理系统，其中，所述系统管理代理节点对所述包括所述等级码的指令的等级码与队列存储的指令中的等级码进行比较以将所述包括所述等级码的指令插入至所述队列的特定位置中。

11.如权利要求3所述的管理系统，其中，所述第一通信路径包括针对所述系统管理代理节点的鉴别信息请求消息、针对所述系统管理代理节点的标识消息、针对所述系统管理代理节点的状态信息消息和针对所述指令的处理结果消息。

12.如权利要求11所述的方法，其中，所述第二通信路径包括针对所述系统管理代理节点的鉴别结果、针对所述系统管理代理节点的监控设置消息和针对所述指令的列表。

13.一种在包括系统管理主节点和系统管理代理节点的、用于大数据处理设备的管理系统中执行的用于大数据处理设备的管理方法，所述管理方法包括：

(a)在所述系统管理主节点和所述系统管理代理节点之间建立第一通信路径和第二通信路径；

(b)检测包括分布式数据库的安装规范信息的指令是否在通过所述第二通信路径从所述系统管理代理节点接收的应答中；以及

(c)当通过所述第二通信路径从所述系统管理代理节点接收的应答中检测到所述指令时，将所述指令存储至队列中。

14.如权利要求13所述的管理方法，还包括：

(d)所述系统管理代理节点根据存储至所述队列中的指令顺序地安装特定分布式数据库。

15.如权利要求14所述的管理方法，还包括：

(e)所述系统管理代理节点在每个特定时间通过所述第一通信路径将针对所述特定分布式数据库的激活状态发送至所述系统管理主节点。

16.如权利要求15所述的管理方法，还包括：

(f)当针对所述特定分布式数据库的激活状态正常时，所述系统管理主节点将所述特定分布式数据库的安装规范信息存储至系统管理数据库中。