CN108600025B

CN108600025B - 一种系统自动容灾的方法和装置

Info

Publication number: CN108600025B
Application number: CN201810426099.XA
Authority: CN
Inventors: 王哲涵; 李冬峰; 杨松
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2018-05-07
Filing date: 2018-05-07
Publication date: 2021-11-02
Anticipated expiration: 2038-05-07
Also published as: CN108600025A

Abstract

本发明公开了系统自动容灾的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：Rout路由组件接收用户提交的应用程序；Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。该实施方式能够对现有的Hadoop系统进行了全方位的优化，最终实现了Hadoop系统的主、备集群的容灾方案。

Description

一种系统自动容灾的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种系统自动容灾的方法和装置。

背景技术

目前主流的大数据业务系统都是构建在Hadoop分布式系统上，Hadoop分布式系统是大数据业务的物理基石和数据载体。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

随着业务的高速发展，Hadoop系统的集群规模急剧增加。单个Hadoop系统的数据安全风险逐步增加，急需一套基于Hadoop系统的主、备集群的容灾方案。

发明内容

有鉴于此，本发明实施例提供一种系统自动容灾的方法和装置，能够对现有的Hadoop系统进行了全方位的优化，最终实现了Hadoop系统的主、备集群的容灾方案。

为实现上述目的，根据本发明实施例的一个方面，提供了一种系统自动容灾的方法，包括Rout路由组件接收用户提交的应用程序；

Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

可选地，Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统，包括：

Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，根据Hadoop分布式系统的繁忙程度，采用负载均衡的算法选择将应用程序要提交到的Hadoop分布式系统。

可选地，Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，包括：

各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件；AMRMproxy通讯组件调用StateStore集群状态组件的新增接口存储所述信息和状态至StateStore集群状态组件。

可选地，各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件，包括：

若心跳按时到达，则AMRMproxy通讯组件确定主Hadoop分布式系统正常，后续应用程序继续提交到该主Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；

若达到预设的第一心跳阈值，则AMRMProxy通讯组件确定主Hadoop分布式系统繁忙，将应用程序提交到备Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；

若达到预设的第二心跳阈值，则AMRMProxy通讯组件确定主Hadoop分布式系统故障，将应用程序提交到备Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；其中，第二心跳阈值大于第一心跳阈值。

可选地，获取所述Hadoop分布式系统的路由策略，包括：

Rout路由组件获得PolicyStore路由策略组件的路由策略，以解析得到对应Hadoop分布式系统的地址；其中，Hadoop分布式系统地址包括ResourceManager地址和NodeSpace地址。

另外，根据本发明实施例的一个方面，提供了一种系统自动容灾的装置，包括：

接收模块，用于Rout路由组件接收用户提交的应用程序；处理模块，用于Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；转发模块，用于根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

可选地，所述处理模块用于Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统，包括：

可选地，所述处理模块用于Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，包括：

各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件；

AMRMproxy通讯组件调用StateStore集群状态组件的新增接口存储所述信息和状态至StateStore集群状态组件。

可选地，所述处理模块用于各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件，包括：

可选地，所述处理模块用于获取所述Hadoop分布式系统的路由策略，包括：

根据本发明实施例的另一个方面，还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一系统自动容灾的实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一基于系统自动容灾的实施例所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：突破了Hadoop系统单集群瓶颈，实现Hadoop系统主、备多集群模式。并且，解决了单点Hadoop系统故障时数据丢失问题，实现主、备集群自动容灾，数据正常运行。同时，本发明填补了Hadoop系统自动容灾的技术空白，对采用Hadoop分布式系统，并存在海量数据的用户带来了福音。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的系统自动容灾的方法的主要流程的示意图；

图2是根据本发明实施例的系统自动容灾的装置的主要模块的示意图；

图3是本发明实施例可以应用于其中的示例性系统架构图；

图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的系统自动容灾的方法的主要流程的示意图，所述系统自动容灾的方法可以包括：

步骤S101，Rout路由组件接收用户提交的应用程序。

其中，具有N个相同Rout路由组件，多个Rout路由组件起到负载均衡的作用。较佳地，每个应用程序被随机分布到不同的Rout路由组件上，并执行相同的功能逻辑。即Rout路由组件采用随机（random）的负载均衡算法分配Application（应用程序）。

在实施例中，用户可以通过调用SubmitApplicationResponse方法，获取可以提交的Hadoop分布式系统的ID，即request.subClusteID，以及可以提交的队列Queue，即request.Queue。

较佳地，用户可以通过调用submitApplication（applicationId，application，subClusteId，queue）方法提交应用程序至Rout路由组件。其中，applicationId表示应用程序ID，application表示应用程序的执行脚本，subClusteId表示子Hadoop系统ID，queue表示应用程序运行队列。

例如：public SubmitApplicationResponsesubmitApplication(

SubmitApplicationRequest request) throws YarnException, IOException{}

步骤S102，Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统。

作为实施例，StateStore集群状态组件可以主要记录所有Hadoop分布式系统的信息和状态。进一步地，StateStore集群状态组件可以获取各个Hadoop系统的Yarn信息，通过Yarn中记录任务数量、任务运行情况、响应时间、计算队列使用情况等等数据，以获得当前Hadoop系统的繁忙程度。最终采用负载均衡的算法将新的计算任务，平均分配到各个Hadoop系统上。其中，所述的Yarn是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

优选地，StateStore集群状态组件记录的信息和状态存储在MYSQL数据库中，并接口形式对其他组件提供增加、删除、修改、查询操作。

具体地，可以调用StateStore集群状态组件的修改接口，修改集群信息。优选地，此操作可以主要用于：人工切换主、备集群。例如：调用StateStore.updateClusterInfo方法，即修改集群信息。另外，可以设置集群管理员，以可以调用StateStore集群状态组件的修改接口，修改集群信息。

另一个具体地，可以调用StateStore集群状态组件的删除接口，删除集群信息。优选地，此操作可以主要用于：删除过期数据。例如：调用StateStore.deleteClusterInfo方法，即删除集群信息。另外，可以设置集群管理员，以可以调用StateStore集群状态组件的删除接口，删除集群信息。

一个具体地实施例，Rout组件可以调用StateStore的查询接口，进行数据查询。例如：调用StateStore.getClusterInfo，即存储集群信息。

进一步地，所述的StateStore集群状态组件可以存储的信息，包括主集群信息和备集群信息。其中，主集群信息和备集群信息就是指主Hadoop分布式系统和备Hadoop分布式系统，即当一个Hadoop分布式系统由于机房断电、光纤被破坏、自然灾害等情况无法使用时，异地的另一个Hadoop分布式系统能够自动替代集群，并保证无法使用的Hadoop分布式系统上的数据和运行的任务能够正常运行。

其中，集群是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。

分布式系统（distributed system）是建立在网络之上的软件系统，具有高度的内聚性和透明性。在分布式系统中展现给用户的是一个统一的整体，但实际上系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。

另外，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

更进一步地，主集群信息可以包括：clusterID为集群ID、clusterName为集群名称、clusterType为集群类型（0表示主集群、1表示备集群）。主集群状态可以包括：clusterState为集群状态（0表示空闲、1表示繁忙）、alive为是否故障（0表示正常、1表示故障）、usable为是否可用（0表示可用、1表示不可用）。

备集群信息可以包括：clusterID为集群ID、clusterName为集群名称、clusterType为集群类型（0表示主集群、1表示备集群）。备集群状态可以包括：clusterState为集群状态（0表示空闲、1表示繁忙）、alive为是否故障（0表示正常、1表示故障）、usable为是否可用（0表示可用、1表示不可用）。

进一步地，由于Rout路由组件会获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，会自动选择可以使用的集群。较佳地，可以根据Hadoop分布式系统的繁忙程度，采用负载均衡的算法选择使用的集群。

更进一步地，当一个hadoop集群（也称为Hadoop分布式系统）异常宕机后，Rout路由组件会将此Hadoop集群的状态设置为不可用。后续将不在想此Hadoop集群提交新的计算任务，直到此Hadoop集群系统恢复正常为止。

作为一个优选地实施例，StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态可以通过如下方法获得：

步骤一：各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件。

步骤二：AMRMproxy通讯组件调用StateStore集群状态组件的新增接口存储所述信息和状态至StateStore集群状态组件。例如：调用StateStore.addClusterInfo方法，即存储Hadoop分布式系统的信息和状态。

步骤S103，Rout路由组件调用PolicyStore路由策略组件，以获取应用程序Application将要发送到的Hadoop分布式系统的路由策略。

其中，PolicyStore路由策略组件主要包括应用程序和资源请求如何路由到不同Hadoop分布式系统的策略。也就是说，PolicyStore路由策略组件本质上是一份配置文件，记录应用程序Application与各个Hadoop分布式系统的对应关系。

较佳地，Rout路由组件只有获得PolicyStore路由策略组件的路由策略会自动解析获得能够使用的Hadoop分布式系统的地址。优选地，获得Hadoop分布式系统的ResourceManager地址和NodeSpace地址。其具体内容包括：

ResourManager地址，例如：http:// 172.16.1.1

NodeSpace地址：hdfs://ns1/user/***

而路由策略示例：

Rout-map (conf)#int e1/0 (conf-if)#ip policy Rout-map pdb

源ip地址为192.168.1.1的数据包通过该路由的时候，其下一跳为172.168.1.1

在该实施例中，在各个Hadoop分布式系统中都采用了Yarn资源管理器，Yarn（YetAnother Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

进一步地，Yarn资源管理器包括ResourceManager、NodeManager和ApplicationMaster三个模块。其中，ResourceManager（简称RM）负责整个集群的资源管理和分配，是一个全局的资源管理系统。NodeManager（简称NM）是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。ApplicationMaster（简称AM）用户提交的每个应用程序均包含1个AM。

更进一步地，Yarn资源管理器在Hadoop分布式系统中的工作过程包括：

步骤一：ResourceManager接收用户提交的应用程序Application。

其中，ResourceManager可以接收到包括启动该应用程序的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。所述的ApplicationMaster相当于应用程序Application的监护和管理，即监控和管理应用程序的所有Attempt在cluster中各个节点上的具体运行，同时负责向Yarn ResourceManager申请资源、返还资源等。

步骤二：ResourceManager启动container容器用于运行ApplicationMaster。

步骤三：启动中的ApplicationMaster向ResourceManager注册，启动成功后与ResourceManager保持心跳。

步骤四：ApplicationMaster向ResourceManager发送请求，申请相应数目的container容器。

例如：用户提交的一个Application需要消耗巨大的计算资源，比如同时查询1000表的数据。这时一个container的资源是不够用的。ApplicationMaster会同时申请多个container容器，进行同时计算，因此能够支持海量数据运算。

步骤五：ResourceManager返回ApplicationMaster申请的containers容器信息。

步骤六：申请成功的container容器，由ApplicationMaster进行初始化。

步骤七：ApplicationMaster与对应的NodeManager通信，以使NodeManager启动container容器。

较佳地，ApplicationMaster与NodeManager保持心跳，从而对NodeManager上运行的任务进行监控和管理。

步骤八：container容器运行期间，ApplicationMaster对container进行监控。

较佳地，container通过RPC协议向对应的ApplicationMaster汇报其运行进度和状态等信息。因此，应用程序运行期间，用户端可以直接与ApplicationMaster通信获取应用程序运行的状态、进度更新等信息。其中，RPC(Remote Procedure Call Protocol)--远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

步骤九：应用程序运行结束后，ApplicationMaster向ResourceManager注销，并收回其相应的container。

步骤S104，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

作为实施例，所述的AMRMproxy通讯组件是应用程序Application和各个Hadoop分布式系统通讯的桥梁。进一步地，可以通过AMRMproxy通讯组件使应用程序Application与Hadoop分布式系统的ResourceManager实现通讯。

更进一步地，应用程序Application与ResourceManager的所有通信都通过AMRMProxy通讯组件进行。应用程序application默认会运行在资源和数据都可用的Hadoop分布式系统上。但如果需要其他Hadoop分布式系统上运行，则AMRMProxy通讯组件将与该Hadoop分布式系统的ResourceManager通讯请求资源，让应用程序Application运行在另一个Hadoop分布式系统上。

作为一个具体地实施例，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统，包括：

步骤一：当Rout路由组件调用AMRMproxy通讯组件时，会默认带上从StateStore集群状态组件和PolicyStore路由策略组件获取的数据（即确定将应用程序Application提交到的Hadoop分布式系统及其路由）。例如：clusterID=11000（Hadoop分布式系统ID）、clusterName=10K（Hadoop分布式系统名称）、RM=172.169.2.11:888（ResourManager地址）、NS= hdfs://ns1/user/（NodeSpace地址）、JH=172.169.2.13:888（jobHistory地址）。

步骤二：AMRMproxy组件根据所述数据创建与对应的Hadoop分布式系统ResourceManager的连接。

步骤三：将应用程序Application提交到对应的Hadoop分布式系统ResourceManager运行。

在一个较佳地实施例中，Hadoop分布式系统的ResourceManager每隔以预设时间向AMRMProxy通讯组件提交一次其信息和状态，即为心跳。例如：每3秒钟向AMRMproxy组件提交一次其信息和状态（即：心跳）。

优选地，Hadoop分布式系统的ResourceManager每隔以预设时间向AMRMProxy通讯组件提交其信息和状态的具体实施情况包括：

情况一：若心跳按时到达，即AMRMProxy通讯组件成功接收到了Hadoop分布式系统的信息和状态，则AMRMproxy通讯组件确定主Hadoop分布式系统（主集群）正常可用，后续应用程序Application可以继续提交到该主Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态。

需要说明的是，可以通过性能好坏指定主集群（主Hadoop分布式系统）和备集群（备Hadoop分布式系统），即性能好的可以指定为主集群，性能差一些的可以指定为备集群。在该实施例中，当确定使用某一个Hadoop分布式系统时则将其称之为主集群，其他Hadoop分布式系统则称之为备集群。

具体地：StateStore集群状态组件中该主Hadoop分布式系统的信息和状态更新为：clusterType =0（0为主Hadoop分布式系统）、clusterState=0（0为Hadoop分布式系统空闲）、Alive=0（0为正常）、Usable=0（0为可用）。也就是说，主Hadoop分布式系统可用，AMRMproxy通讯组件会将应用程序Application提交到主Hadoop分布式系统。

情况二：若达到预设的第一心跳阈值（例如第一心跳阈值为300秒），AMRMProxy通讯组件还没有接收到Hadoop分布式系统的信息和状态，则AMRMProxy通讯组件确定主Hadoop分布式系统（主集群）繁忙，将应用程序Application提交到备Hadoop分布式系统（备集群），并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态。

具体地：StateStore集群状态组件中该主Hadoop分布式系统的信息和状态更新为：clusterType =0（0为主Hadoop分布式系统）、clusterState=1（1为Hadoop分布式系统繁忙）、Alive=0（0为正常）、Usable=0（0为可用）。也就是说，主Hadoop分布式系统繁忙，但备Hadoop分布式系统可用，AMRMproxy通讯组件会将应用程序Application提交到备Hadoop分布式系统可用。

情况三：若达到预设的第二心跳阈值（例如第二心跳阈值为600秒），AMRMProxy通讯组件还没有接收到Hadoop分布式系统的信息和状态，则AMRMProxy通讯组件确定主Hadoop分布式系统（主集群）故障，将应用程序Application提交到备Hadoop分布式系统（备集群），并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态。其中，第二心跳阈值大于第一心跳阈值。

具体地：StateStore集群状态组件中该主Hadoop分布式系统的信息和状态更新为：clusterType =0（0为主Hadoop分布式系统）、c clusterState=1（1为Hadoop分布式系统繁忙）、Alive=1（1为故障）、Usable=1（1为不可用）。

根据上面的各种实施例，可以看出本发明实现了主、备集群容灾，当主集群发生故障时自动切换备集群，解决了大数据容错的问题。并且，实现了主、备集群一键切换，也支持手工修改StateStore主、备集群状态，提升了大数据集群的负载能力。而且，实现了应用程序在主、备集群间的任意流转，避免了数据丢失风险。同时，简化了用户提交应用程序的操作，屏蔽了与用户无关的细节，突破了现有技术瓶颈。

图2是根据本发明实施例的系统自动容灾的装置，如图2所示，所述系统自动容灾的装置包括接收模块201、处理模块202和转发模块203。其中，接收模块201用于Rout路由组件接收用户提交的应用程序。然后，处理模块202用于Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统。而Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略。最后，转发模块203用于根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

需要说明的是，在本发明所述系统自动容灾的装置的具体实施内容，在上面所述系统自动容灾的方法中已经详细说明了，故在此重复内容不再说明。

图3示出了可以应用本发明实施例的系统自动容灾的方法或系统自动容灾的装置的示例性系统架构300。或者图3示出了可以应用本发明实施例的系统自动容灾的方法或系统自动容灾的装置的示例性系统架构300。

如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。

终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果（例如目标推送信息、产品信息--仅为示例）反馈给终端设备。

需要说明的是，本发明实施例所提供的系统自动容灾的方法一般由服务器305执行，相应地，系统自动容灾的装置一般设置于服务器305中。

应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元（CPU）401，其可以根据存储在只读存储器（ROM）402中的程序或者从存储部分408加载到随机访问存储器（RAM）403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有系统400操作所需的各种程序和数据。CPU401、ROM 402以及RAM403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。

以下部件连接至输入/输出（I/O）接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至输入/输出（I/O）接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元（CPU）401执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、处理模块和转发模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：Rout路由组件接收用户提交的应用程序；Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

根据本发明实施例的技术方案，能够对现有的Hadoop分布式系统进行了全方位的优化，最终实现了Hadoop分布式系统的主、备集群的容灾方案。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种系统自动容灾的方法，其特征在于，包括：

Rout路由组件接收用户提交的应用程序；

Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；

根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，以使AMRMproxy通讯组件基于Hadoop分布式系统每隔预设时间提交的信息和状态，将应用程序转发至对应的主Hadoop分布式系统或备Hadoop分布式系统；

其中，StateStore集群状态组件通过接口形式对其他组件提供增加、删除、修改、查询操作。

2.根据权利要求1所述的方法，其特征在于，Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统，包括：

3.根据权利要求2所述的方法，其特征在于，Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，包括：

4.根据权利要求3所述的方法，其特征在于，各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件，包括：

5.根据权利要求1所述的方法，其特征在于，获取所述Hadoop分布式系统的路由策略，包括：

6.一种系统自动容灾的装置，其特征在于，包括：

接收模块，用于Rout路由组件接收用户提交的应用程序；

处理模块，用于Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；其中，StateStore集群状态组件通过接口形式对其他组件提供增加、删除、修改、查询操作；

转发模块，用于根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，以使AMRMproxy通讯组件基于Hadoop分布式系统每隔预设时间提交的信息和状态，将应用程序转发至对应的主Hadoop分布式系统或备Hadoop分布式系统。

7.根据权利要求6所述的装置，其特征在于，所述处理模块用于Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统，包括：

8.根据权利要求7所述的装置，其特征在于，所述处理模块用于Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，包括：

9.根据权利要求8所述的装置，其特征在于，所述处理模块用于各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件，包括：

10.根据权利要求6所述的装置，其特征在于，所述处理模块用于获取所述Hadoop分布式系统的路由策略，包括：

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。