CN104462180B - 用于大数据处理设备的管理系统和方法 - Google Patents

用于大数据处理设备的管理系统和方法 Download PDF

Info

Publication number
CN104462180B
CN104462180B CN201410520853.8A CN201410520853A CN104462180B CN 104462180 B CN104462180 B CN 104462180B CN 201410520853 A CN201410520853 A CN 201410520853A CN 104462180 B CN104462180 B CN 104462180B
Authority
CN
China
Prior art keywords
node
instruction
management agent
agent node
system management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410520853.8A
Other languages
English (en)
Other versions
CN104462180A (zh
Inventor
李周烈
卢承甲
吴石根
尹*儇
尹𧡮儇
李秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG N Sys Inc
Original Assignee
LG N Sys Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG N Sys Inc filed Critical LG N Sys Inc
Publication of CN104462180A publication Critical patent/CN104462180A/zh
Application granted granted Critical
Publication of CN104462180B publication Critical patent/CN104462180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种用于大数据处理设备的管理系统可以包括:系统管理主节点;以及系统管理代理节点,其包括针对所述系统管理主节点的基于请求的第一通信路径和针对所述系统管理主节点的基于应答的第二通信路径,所述系统管理代理节点被配置成检测指令是否在从所述第二通信路径接收的应答中。

Description

用于大数据处理设备的管理系统和方法
相关申请的交叉引用
本申请要求2013年9月24日提交的申请号为10-2013-0113503的韩国专利申请的优先权以及早些的提交日的权益,其全部内容通过引用合并于此。
技术领域
实施例可以涉及用于管理大数据处理设备的技术,并且更具体地涉及用于能够基于单个PC服务器处的分布式数据库对大数据系统的安装、设置和控制进行整体管理的用于大数据处理设备的管理系统和方法。
背景技术
Hadoop(海杜普,一种分布式系统基础架构)可以是基于用于存储和分析大量的典型/非典型数据的开源软件和分布式计算框架开发的项目。Hadoop中的软件库可以被视为一种有助于使用多个计算机来分配数据以有效处理大量的数据的技术。
韩国专利登记号10-12255909涉及当客户端请求文件时保证在对应的节点处理的数据局部性以显著降低网络流量的Hadoop文件系统。这种Hadoop文件系统可以在对应的服务器中处理文件下载请求,从而使客户端响应时间最小化,以及可以将文件从对应的服务器直接发送至客户端,从而使与其他服务器的网络通信最小化以改善性能。
韩国专利登记号10-1218087涉及采用Hadoop映射-化简(map-reduce)进行二进制数据分析的输入格式提取方法和使用其对二进制数据的分析方法。在该二进制数据分析方法中,当具有固定长度的二进制数据在Hadoop环境中被分发处理时,可以在不需要数据格式转换处理的情况下处理二进制数据,因而需要相对小的存储空间,并且可以缩短处理时间。
发明内容
实施例可以提供一种用于大数据处理设备的管理系统和方法,其能够基于单个PC服务器处的分布式数据库来对大数据系统的安装、设置和控制进行整体管理。
实施例可以提供一种用于大数据处理设备的管理系统和方法,其能够通过非对称通信发送分布式数据库的状态信息消息。
实施例可以提供一种用于大数据处理设备的管理系统和方法,其能够根据指令的处理重要性来将指令插入到队列的特定位置。
在至少一个实施例中,提供了一种用于大数据处理设备的管理系统,其可以包括系统管理主节点和系统管理代理节点,系统管理代理节点包括针对系统管理主节点的基于请求的第一通信路径和针对系统管理主节点的基于应答的第二通信路径,系统管理代理节点被配置成检测指令是否在从第二通信路径接收的应答中。
在至少一个实施例中,当从第二通信路径接收的应答中检测到该指令时,系统管理代理节点可以将该指令存储至队列中。
在至少一个实施例中,指令可以对应于针对分布式数据库的安装规范信息,该安装规范信息是客户端从系统管理主节点请求的。
在至少一个实施例中,系统管理主节点可以通过第二通信路径将包括针对分布式数据库的安装规范信息的指令发送至系统管理代理节点。
在至少一个实施例中,系统管理主节点可以根据安装规范信息安装特定分布式数据库,以及可以在每个特定时间通过第一通信路径将特定数据库的激活状态发送至系统管理主节点。
在至少一个实施例中,当特定分布式数据库的特定数据库的激活状态正常时,系统管理主节点可以将针对特定分布式数据库的安装规范信息存储至系统管理数据库中。
在至少一个实施例中,当在特定分布式数据库的安装过程期间出现错误时,系统管理主节点可以将错误标识码发送至系统管理主节点。
在至少一个实施例中,系统管理主节点可以分析错误标识码以改善针对特定分布式数据库的激活状态以及将针对经改善的特定分布式数据库的安装规范信息重新发送至系统管理代理节点。
在至少一个实施例中,系统管理主节点可以检查指令的重要性以把针对其重要性的等级码包括在该指令中,并且将包括等级码的指令发送至系统管理代理节点。
在至少一个实施例中,系统管理代理节点可以对包括等级码的指令的等级码与队列存储的指令的等级码进行比较以将该包括等级码的指令插入至队列的特定位置。
在至少一个实施例中,第一通信路径可以包括针对系统管理代理节点的鉴别信息请求消息、针对系统管理代理节点的标识消息、针对系统管理代理节点的状态信息消息和针对指令的处理结果消息。
在至少一个实施例中,第二通信路径可以包括针对系统管理代理节点的鉴别结果、针对系统管理代理节点的监控设置消息以及针对指令的列表。
在至少一个实施例中,一种在包括系统管理主节点和系统管理代理节点的、用于大数据处理设备的管理系统中执行的用于大数据处理设备的管理方法,该管理方法可以包括:(a)在系统管理主节点和系统管理代理节点之间建立第一通信路径和第二通信路径;(b)检测包括分布式数据库的安装规范信息的指令是否在通过第二通信路径从系统管理代理节点接收的应答中;以及(c)当通过第二通信路径从系统管理代理节点接收的应答中检测到该指令时,将该指令存储至队列中。
在至少一个实施例中,管理方法还可以包括(d)系统管理代理节点根据存储至队列中的指令顺序地安装特定分布式数据库。
在至少一个实施例中,管理方法还可以包括(e)系统管理代理节点在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点。
在至少一个实施例中,管理方法还包括当特定分布式数据库的激活状态正常时,系统管理主节点将针对该特定分布式数据库的安装规范信息存储至系统管理数据库中。
实施例可以基于单个PC服务器处的分布式数据库来对大数据系统的安装、设置和控制进行整体管理。
实施例可以通过非对称通信发送针对分布式数据库的状态信息消息。
实施例可以根据指令的处理重要性来将指令插入至队列的特定位置。
附图说明
将会参照下面附图详细描述布置和实施例,在附图中,相同的附图标记表示相同的元素,且其中:
图1是用于大数据处理设备的管理系统的框图;
图2是图1的用于大数据处理设备的管理系统的框图;
图3是示出在图1的用于大数据处理设备的管理系统中执行的用于大数据系统管理的管理方法的流程图;
图4a是图1的用于大数据处理设备的管理系统中的系统管理主节点的结构的框图;
图4b是图1的用于大数据处理设备的管理系统中的系统管理代理节点的结构的框图;
图5是在图1的用于大数据处理设备的管理系统中执行的指令处理的框图;
图6a是通过图1的用于大数据处理设备的管理系统中的第一通信路径发送的数据的框图;
图6b是通过图1的用于大数据处理设备的管理系统中的第二通信路径发送的数据的框图。
具体实施方式
本发明的说明仅仅是针对结构性或功能性说明的实施例,所以本发明的范围不应当被解释为局限于该实施例中所说明的实施例。也就是说,由于实施例可以在不脱离其特性的情况下以若干种形式实施,所以也应当理解的是,除非另外指明,所描述的实施例不局限于前述描述的任何细节,而应当在所附权利要求中限定的其范围内宽泛地解释。因此,落入权利要求的范围或此范围的等同体内的各种变化和修改旨在被所附权利要求包含。
在本公开中描述的术语可以如下理解。
虽然诸如“第一”和“第二”等之类的术语可以用来描述各种部件,但是一定不能把这样的部件理解为局限于上面的术语。上面的术语用来把一个部件与另一个部件区分开。例如,在不脱离本发明的权利的范围的情况下可以把第一部件称为第二部件,并且同样地,可以把第二部件称为第一部件。
将理解的是,当元件被称为“连接至”另一元件时,其可以直接连接至另一元件,或还可以存在中间元件。相反,当元件被称为“直接连接至”另一元件时,则不存在中间元件。此外,除非明确地相反描述,单词“包括”和诸如“包括有”或“正包括”之类的变体将被理解为意指包括所陈述的元件,但不排除任何其他元件。同时,诸如“在...之间”,“紧接在...之间”或“相邻于”和“直接相邻于”之类的描述部件之间关系的其他表达可以进行类似地解释。
除非在上下文中另外明确说明,否则本公开中的单数形式“一个”、“一”和“该”意图也包括复数形式。还将理解的是,诸如“包含”或“具有”等之类的术语意图指示存在说明书中公开的特征、数量、操作、动作、部件、部分或其组合,而非意图排除一个或更多个其他特征、数量、操作、动作、部件、部分或其组合可以存在或可以被增加的可能性。
在本申请中使用的术语仅仅用来描述特定实施例,而非意图限制本发明。除非另外限定,本文使用的包括技术术语或科技术语在内的所有术语具有与本发明所属技术领域的普通技术人员通常理解的含义相同的含义。把像通用字典中定义的术语那样的术语解释为具有与相关技术领域中的语境含义相同的含义,并且除非在本申请中明确定义否则不解释为具有理想或过分正式的含义。
图1是用于大数据处理设备的管理系统的框图,以及图2是图1的用于大数据处理设备的管理系统的框图。还可以提供其他实施例和配置。
参见图1和图2,用于大数据处理设备的管理系统100可以包括系统管理主节点110和系统管理代理节点120。
系统管理主节点110可以包括自系统管理代理节点120的基于请求的第一通信路径和针对系统管理代理节点120的基于应答的第二通信路径。系统管理主节点110可以将通过第一通信路径接收的请求信息发送至系统管理代理节点120。在本文中,系统管理主节点110可以建立多个系统管理代理节点120以及第一通信路径和第二通信路径。
在至少一个实施例中,可以从客户端通过网络浏览器210请求系统管理主节点110安装分布式数据库。在本文中,客户端可以请求将分布式数据库安装至系统管理主节点110,分布式数据库可以具有处理极大量数据的规范。
系统管理主节点110可以向系统管理代理节点120发送指令。在本文中,指令可以包括通过第二通信路径从网络浏览器210请求的针对分布式数据库的安装规范。在系统管理主节点110将包括分布式数据库的安装规范的指令发送至系统管理代理节点120之前,系统管理主节点110可以在系统管理数据库220中存储关于分布式数据库的安装规范的信息。
在至少一个实施例中,系统管理数据库220可以与系统管理主节点110连接以管理针对分布式数据库的信息。系统管理数据库220可以存储针对分布式数据库的设置信息和安装信息。
系统管理主节点110可以通过第二通信路径将包括针对分布式数据库的安装规范的指令发送至系统管理代理节点120。
系统管理主节点110可以通过第一通信路径从系统管理代理节点120接收包括针对分布式数据库的状态信息的消息。
在至少一个实施例中,系统管理主节点110可以在每个特定时间通过第一通信路径接收针对客户端的鉴别信息请求消息、针对系统管理代理节点120的标识消息、针对系统管理代理节点120的状态信息消息以及针对包括分布式数据库的安装规范的指令的处理结果消息。例如,可以每5秒向系统管理主节点110请求针对系统管理代理节点120的鉴别信息,系统管理主节点110可以接收针对系统管理代理节点120的标识号(例如,标识号对应于1~N),可以接收针对系统管理代理节点120的状态信息以及针对包括分布式数据库的安装规范的指令的处理结果。
系统管理主节点110可以通过第一通信路径将从系统管理代理节点120接收的针对分布式数据库的状态信息发送至网络浏览器210。在本文中,网络浏览器210可以将针对分布式数据库的状态信息提供至客户端。例如,针对分布式数据库的状态信息可以对应于分布式数据库的安装过程期间出现的错误信息、分布式数据库IP信息和针对系统管理代理节点120的标识号(例如,标识号对应于1~N)。
系统管理主节点110可以管理所需的系统管理代理以为分布式数据库、JDK(Java开发者工具包)和分布式数据库二进制文件提供服务。
在至少一个实施例中,参见图4a,系统管理主节点110可以包括系统管理控制器、通信库和网络服务模块。在本文中,系统管理控制器可以与系统管理代理节点120通信,通信库可以作为数据序列化系统将从系统管理代理节点120接收的信息序列化,以及网络服务模块可以提供与网络浏览器210连接的网络服务器。
系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以当特定分布式数据库的激活状态正常时,把特定分布式数据库的安装规范信息存储在系统管理数据库220中。在本文中,系统管理数据库220可以与系统管理服务器连接以管理分布式数据库的安装规范信息。
系统管理主节点110可以从系统管理代理节点120接收针对分布式数据库的安装错误的标识码。
在至少一个实施例中,系统管理主节点110可以分析分布式数据库的安装错误标识码以改善特定分布式数据库的激活状态,以及可以将经改善的特定分布式数据库的安装规范信息重新发送至系统管理代理节点120。例如,安装错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。
系统管理主节点110可以检查包括针对分布式数据库的安装规范信息的指令的重要性以将针对其重要性的等级码包括到该指令中,并且将包括等级码的指令发送至系统管理代理节点120。例如,系统管理主节点110可以在当指令是一般指令时促使等级码C或D包括在该指令中,可以在当指令是快速处理的时促使等级码B包括在该指令中,以及可以在当指令是紧急处理的时促使等级码A包括在该指令中以将该指令发送至系统管理代理节点120。
系统管理代理节点120可以包括针对系统管理主节点110的基于请求的第一通信路径和自系统管理主节点110的基于应答的第二通信路径,以及可以检测指令是否在从第二通信路径接收的应答中。在本文中,多个系统管理代理节点120可以建立一个系统管理主节点110以及第一通信路径和第二通信路径。
系统管理代理节点120可以在每个特定时间通过第一通信路径发送针对系统管理代理节点120的鉴别信息请求消息、标识消息、状态信息消息以及与包括分布式数据库的安装规范的指令有关的处理结果消息。在本文中,系统管理代理节点120可以根据网络状态(例如,网络状态可以包括速度和即时处理能力)或消息重要性来改变通过第一通信路径发送至系统管理主节点的消息时间。
当在从第二通信路径接收的应答中检测到指令时,系统管理代理节点120可以把该指令存储在队列中。
在至少一个实施例中,系统管理代理节点120可以对与包括从系统管理主节点110接收的分布式数据库安装规范信息的指令的重要性有关的等级码与存储在队列中的指令的等级码进行比较,以便把该指令插入至队列的特定位置。
在至少另一个实施例中,系统管理代理节点120可以根据从系统管理主节点110接收的分布式数据库的安装规范信息对该指令进行分类以将该指令插入到队列的特定位置。
系统管理代理节点120可以根据分布式数据库的安装规范信息来安装特定分布式数据库,以及可以在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点。在本文中,特定数据库的激活状态可以对应于正常开始特定数据库的安装过程的状态或非正常开始特定数据库的安装过程的状态。
在至少一个实施例中,当在特定分布式数据库的安装过程期间出现错误时,系统管理代理节点120可以将错误标识码发送至系统管理主节点110。在本文中,错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。
在至少一个实施例中,参见图4b,系统管理代理节点120可以包括通信库、系统管理代理、管理协议、脚本语言和监控模块。在本文中,通信库可以作为数据序列化系统将从系统管理主节点120接收的信息序列化,系统管理代理可以与系统管理主节点110通信,管理协议可以提供管理系统管理代理节点120的网络状态的工具,脚本语言可以对应于在单元中使用的指令的组合并且可以解释从系统管理主节点110接收的指令,以及监控模块可以对应于监控分布式数据库的使用状态的工具。
图3是示出了在图1的用于大数据处理设备的管理系统中执行的用于大数据系统管理的管理方法的流程图。还可以提供其他实施例和配置。
参见图3,系统管理主节点110可以通过网络与系统管理代理节点120连接(操作S301)。
系统管理代理节点120可以包括针对系统管理主节点110的基于请求的第一通信路径和自系统管理主节点110的基于应答的第二通信路径,以及可以检测指令是否在从第二通信路径接收的应答中(操作S302)。在本文中,系统管理主节点110可以包括自系统管理代理节点120的基于请求的第一通信路径和自系统管理代理节点120的基于应答的第二通信路径,以及可以将通过第一通信路径接收的请求信息发送至系统管理代理节点120。
在至少一个实施例中,系统管理代理节点120可以在每个特定时间通过第一通信路径发送针对系统管理代理节点120的鉴别信息请求消息、标识消息、状态信息消息和与包括分布式数据库的安装规范的指令有关的处理结果消息。
当从通过第二通信路径接收的应答检测到指令时,系统管理代理节点120可以把该指令存储在队列中(操作S303和S304)。
在至少一个实施例中,系统管理代理节点120可以对与包括从系统管理主节点110接收的分布式数据库安装规范信息的指令的重要性有关的等级码与存储在队列中的指令的等级码进行比较,以便将该指令插入到队列的特定位置。例如,参见图5中的(a),当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码D时,系统管理代理节点120可以在不比较关于该指令的等级码与存储在队列中的指令的等级码的情况下将该指令插入至队列的后面501。对于另一实例,参见图5中的(b),当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码B时,系统管理代理节点120可以对关于该指令的等级码和存储在队列中的指令的等级码进行比较,以便将该指令插入至队列的中间502。对于另一实施例,参见图5中的(c),当系统管理代理节点120接收与包括分布式数据库安装规范信息的指令的重要性有关的等级码A时,系统管理代理节点120可以在不对关于该指令的等级码与存储在队列中的指令的等级码进行比较的情况下将该指令立即插入至队列的前面503。
系统管理代理节点120可以执行存储在队列中的指令,以及可以在每个特定时间通过第一通信路径将特定分布式数据库的激活状态发送至系统管理主节点(操作S305和S306)。
系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以当特定分布式数据库的激活正常时将该特定分布式数据库的安装规范信息存储在系统管理数据库220中(操作S307和S308)。在本文中,系统管理数据库220可以与系统管理主节点110连接以管理分布式数据库的安装规范信息。
系统管理主节点110可以检查在每个特定时间接收的特定分布式数据库的激活状态以分析分布式数据库的安装错误标识码,以便当该特定分布式数据库的激活状态非正常时,改善该特定分布式数据库的激活状态并且将该特定分布数据库的经改善的安装规范信息重新发送至系统管理代理节点120(操作S308)。
在至少一个实施例中,当在特定分布式数据库的安装过程期间出现错误时,系统管理代理节点120可以将错误标识码发送至系统管理主节点110。在本文中,错误标识码可以包括针对分布式数据库的安装路径错误码、安装规范错误码或安装信息错误码。
图6a是在图1的用于大数据处理设备的管理系统中通过第一通信路径发送的数据的框图,以及图6b是在图1的用于大数据处理设备的管理系统中通过第二通信路径发送的数据的框图。
参见图6a,系统管理代理节点120可以通过第一通信路径将包括系统管理代理节点120鉴别信息、节点标识信息、关于从系统管理主节点110接收的指令的处理结果列表和发送时间的消息发送至系统管理主节点110。
在至少一个实施例中,系统管理代理节点120鉴别信息可以对应于鉴别消息。鉴别消息可以对应于对与系统管理主节点110连接的系统管理代理的合法性进行鉴别的信息。节点标识信息可以对应于系统管理代理节点120的唯一编号。从系统管理主节点110接收的针对指令的处理结果列表可以对应于被包含到数组的指令执行处理结果。发送时间可以对应于消息从系统管理代理节点120发送至系统管理主节点110的时间。在本文中,时间的类型可以被设置为长(LONG)类型。
参见图6b,系统管理主节点110可以通过第二通信路径将包括节点120的标识信息(节点ID)、鉴别结果信息、监控项列表、针对从系统管理代理节点120接收的消息的接收间隔和发送时间的消息发送至系统管理代理节点120。
在至少一个实施例中,针对系统管理代理节点120的标识信息(节点ID)可以对应于在系统管理主节点110中标识系统管理代理节点120的标识值(例如,标识值可以被设置为字符串(STRING)类型)。系统管理代理节点120鉴别结果信息可以对应于对与系统管理主节点110连接的系统管理代理节点120的合法性鉴别的结果。节点监控项列表可以对应于分布式数据库的监控目标项。从系统管理代理节点120接收的消息的接收间隔可以对应于消息从系统管理主节点110发送至系统管理代理节点120的时间(例如,消息的类型可以设置为整数(INT)类型)。发送时间可以对应于消息从系统管理主节点110发送至系统管理代理节点120的时间。在本文中,时间的类型可以设置为LONG类型。
尽管本文档提供了本发明的优选实施例的描述,但本领域技术人员将理解的是,在不脱离由所附权利要求限定的技术原理和范围的情况下,可以采用各种方式对本发明进行修改或改变。

Claims (11)

1.一种用于大数据处理设备的管理系统,包括:
系统管理主节点,其被配置成适于将分布式数据库安装到系统管理代理节点;以及
所述系统管理代理节点,其包括针对所述系统管理主节点的基于请求的第一通信路径和针对所述系统管理主节点的基于应答的第二通信路径,所述系统管理代理节点被配置成检测来自系统管理主节点的指令是否在从所述第二通信路径接收的应答中,且适于基于包括分布式数据库的安装规范信息的指令而被安装特定分布式数据库,
其中,所述系统管理主节点检查所述指令的重要性以把针对其重要性的等级码包括至所述指令中,并且将包括所述等级码的指令发送至所述系统管理代理节点,
所述系统管理代理节点对所述包括所述等级码的指令的等级码与队列存储的指令中的等级码进行比较以将所述包括所述等级码的指令插入至所述队列的特定位置中,
所述系统管理代理节点不进行比较而将包括最高等级码的指令插入至所述队列的前面,并且不进行比较而将包括最低等级码的指令插入至所述队列的后面。
2.如权利要求1所述的管理系统,其中,当从所述第二通信路径接收的应答中检测到所述指令时,所述系统管理代理节点将所述指令存储到队列中。
3.如权利要求1所述的管理系统,其中,所述系统管理代理节点在每个特定时间通过所述第一通信路径将针对所述特定分布式数据库的激活状态发送至所述系统管理主节点。
4.如权利要求3所述的管理系统,其中,当针对所述特定分布式数据库的激活状态正常时,所述系统管理主节点将针对所述特定分布式数据库的所述安装规范信息存储到系统管理数据库中。
5.如权利要求3所述的管理系统,其中,当在所述特定分布式数据库的安装过程期间出现错误时,所述系统管理代理节点将错误标识码发送至所述系统管理主节点。
6.如权利要求5所述的管理系统,其中,所述系统管理主节点分析所述错误标识码以改善针对所述特定分布式数据库的激活状态并且将经改善的特定分布式数据库的安装规范信息重新发送至所述系统管理代理节点。
7.如权利要求1所述的管理系统,其中,所述第一通信路径包括针对所述系统管理代理节点的鉴别信息请求消息、针对所述系统管理代理节点的标识消息、针对所述系统管理代理节点的状态信息消息和针对所述指令的处理结果消息。
8.如权利要求7所述的管理系统,其中,所述第二通信路径包括针对所述系统管理代理节点的鉴别结果、针对所述系统管理代理节点的监控设置消息和针对所述指令的列表。
9.一种在包括系统管理主节点和系统管理代理节点的、用于大数据处理设备的管理系统中执行的用于大数据处理设备的管理方法,所述管理方法包括:
(a)在所述系统管理主节点和所述系统管理代理节点之间建立第一通信路径和第二通信路径;
(b)检测包括分布式数据库的安装规范信息的指令是否在通过所述第二通信路径从所述系统管理代理节点接收的应答中;
(c)当通过所述第二通信路径从所述系统管理代理节点接收的应答中检测到所述指令时,将所述指令存储至队列中;
(d)所述系统管理代理节点根据存储至所述队列中的指令顺序地安装特定分布式数据库;
(g)所述系统管理主节点检查所述指令的重要性以把针对其重要性的等级码包括至所述指令中,并且将包括所述等级码的指令发送至所述系统管理代理节点;
(h)所述系统管理代理节点对所述包括所述等级码的指令的等级码与队列存储的指令中的等级码进行比较以将所述包括所述等级码的指令插入至所述队列的特定位置中;以及
(i)所述系统管理代理节点不进行比较而将包括最高等级码的指令插入至所述队列的前面,并且不进行比较而将包括最低等级码的指令插入至所述队列的后面。
10.如权利要求9所述的管理方法,还包括:
(e)所述系统管理代理节点在每个特定时间通过所述第一通信路径将针对所述特定分布式数据库的激活状态发送至所述系统管理主节点。
11.如权利要求10所述的管理方法,还包括:
(f)当针对所述特定分布式数据库的激活状态正常时,所述系统管理主节点将所述特定分布式数据库的安装规范信息存储至系统管理数据库中。
CN201410520853.8A 2013-09-24 2014-09-24 用于大数据处理设备的管理系统和方法 Active CN104462180B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130113503A KR20150033454A (ko) 2013-09-24 2013-09-24 빅데이터 처리 장치 관리 방법 및 이를 수행하는 관리 시스템
KR10-2013-0113503 2013-09-24

Publications (2)

Publication Number Publication Date
CN104462180A CN104462180A (zh) 2015-03-25
CN104462180B true CN104462180B (zh) 2019-06-07

Family

ID=52691954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410520853.8A Active CN104462180B (zh) 2013-09-24 2014-09-24 用于大数据处理设备的管理系统和方法

Country Status (3)

Country Link
US (1) US10205767B2 (zh)
KR (1) KR20150033454A (zh)
CN (1) CN104462180B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106100913A (zh) * 2016-08-25 2016-11-09 北京票之家科技有限公司 错误信息定位系统及方法
CN111176888B (zh) * 2018-11-13 2023-09-15 浙江宇视科技有限公司 云存储的容灾方法、装置及系统
US11294919B2 (en) 2020-03-09 2022-04-05 Bank Of America Corporation Trihybrid data movement, data governance and data provenance system
US11080072B1 (en) 2020-04-27 2021-08-03 Bank Of America Corporation Custom user interface for a trihybrid data movement, data governance and data provenance system
US11422855B2 (en) 2020-04-27 2022-08-23 Bank Of America Corporation Data set subscription tracking and termination system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505325A (zh) * 2002-11-28 2004-06-16 ��������ֽ�ɷ����޹�˾ 网络接口管理系统及其方法
CN102455915A (zh) * 2010-10-18 2012-05-16 卓望数码技术(深圳)有限公司 一种分布式系统的自动化配置方法及服务器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115471A (en) * 1996-11-28 2000-09-05 Fujitsu Limited Member-exclusive service system and method through internet
US6014760A (en) * 1997-09-22 2000-01-11 Hewlett-Packard Company Scheduling method and apparatus for a distributed automated testing system
US8321457B2 (en) * 2000-09-08 2012-11-27 Oracle International Corporation Techniques for automatically developing a web site
EP1671200A4 (en) * 2003-04-24 2007-10-17 Secureinfo Corp AUTOMATIC ELECTRONIC SOFTWARE DISTRIBUTION AND ADMINISTRATIVE PROCEDURES AND SYSTEM
KR20050048320A (ko) * 2003-11-19 2005-05-24 삼성전자주식회사 네트워크를 통하여 소프트웨어를 설치하는 장치 및 방법
US20050120106A1 (en) * 2003-12-02 2005-06-02 Nokia, Inc. System and method for distributing software updates to a network appliance
US7707573B1 (en) * 2003-12-31 2010-04-27 Google Inc. Systems and methods for providing and installing software
CA2636010A1 (en) * 2006-01-17 2007-07-17 Baker Hughes Inc SYSTEM AND METHOD FOR REMOTE DATA ACQUISITION AND DISTRIBUTION
US8612773B2 (en) * 2007-05-03 2013-12-17 International Business Machines Corporation Method and system for software installation
ITRM20070347A1 (it) * 2007-06-21 2008-12-22 Space Software Italia S P A Metodo e sistema per la interazione e cooperazione di sensori, attuatori e robot
US8402472B2 (en) * 2007-09-14 2013-03-19 International Business Machines Corporation Network management system event notification shortcut
EP2096564B1 (en) * 2008-02-29 2018-08-08 Euroclear SA/NV Improvements relating to handling and processing of massive numbers of processing instructions in real time
US9058230B1 (en) * 2008-05-27 2015-06-16 Symantec Operating Corporation Online expert system guided application installation
KR101218087B1 (ko) 2011-01-19 2013-01-09 충남대학교산학협력단 하둡 맵리듀스에서 바이너리 형태의 데이터 분석을 위한 입력포맷 추출방법 및 이를 이용한 바이너리 데이터의 분석방법
KR101255909B1 (ko) 2011-04-07 2013-04-17 주식회사 넥스알 데이터 로컬리티를 보장하는 하둡 파일 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505325A (zh) * 2002-11-28 2004-06-16 ��������ֽ�ɷ����޹�˾ 网络接口管理系统及其方法
CN102455915A (zh) * 2010-10-18 2012-05-16 卓望数码技术(深圳)有限公司 一种分布式系统的自动化配置方法及服务器

Also Published As

Publication number Publication date
KR20150033454A (ko) 2015-04-01
US20150088930A1 (en) 2015-03-26
CN104462180A (zh) 2015-03-25
US10205767B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
US11323471B2 (en) Advanced cybersecurity threat mitigation using cyberphysical graphs with state changes
CN104462180B (zh) 用于大数据处理设备的管理系统和方法
US10331495B2 (en) Generation of directed acyclic graphs from task routines
US9734005B2 (en) Log analytics for problem diagnosis
EP2871574B1 (en) Analytics for application programming interfaces
EP2715599B1 (en) Application security testing
US9501650B2 (en) Application security testing
US20170075746A1 (en) Information processing device and monitoring method
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
US20160224329A1 (en) Automated software configuration management
US11063849B1 (en) Techniques for automated software testing
US10970200B2 (en) Test result triage for a failed code validation
CN107783844A (zh) 一种计算机程序运行异常检测方法、装置和介质
CN107168844B (zh) 一种性能监控的方法及装置
Papadimitriou et al. End-to-end online performance data capture and analysis for scientific workflows
US8984124B2 (en) System and method for adaptive data monitoring
CN111316272A (zh) 使用行为和深度分析的先进网络安全威胁减缓
Solaimani et al. Online anomaly detection for multi‐source VMware using a distributed streaming framework
Hummer et al. Testing of data‐centric and event‐based dynamic service compositions
Stephen et al. Assured cloud-based data analysis with ClusterBFT
TWI626538B (zh) 基礎架構規則產生技術
CN112235300B (zh) 云虚拟网络漏洞检测方法、系统、装置及电子设备
Zhou et al. A runtime verification based trace-oriented monitoring framework for cloud systems
Lyu et al. {MINER}: A Hybrid {Data-Driven} Approach for {REST}{API} Fuzzing
KR101630088B1 (ko) 가상머신의 라이프사이클 모니터링 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant