CN102487332B - 故障处理方法、装置和系统 - Google Patents

Abstract

本发明提供了一种故障处理方法、装置和系统。涉及通信领域；解决了现有容灾架构站点间频繁切换的问题。该方法包括：将所述两个站点内的模块均划分为核心模块和非核心模块；在所述两个站点中的第一站点的核心模块发生故障时，将所述第一站点的业务切换到所述两个站点中的第二站点；在所述第一站点的非核心模块发生故障时，在本站点内进行故障处理。本发明提供的技术方案适用于容灾架构中，能够提高容灾架构稳定性。

Description

故障处理方法、装置和系统

技术领域

本发明涉及通信领域，尤其涉及一种故障处理方法、装置和系统。

背景技术

在通讯领域中，应用系统一般具备对外部系统的多种对外接口(基于不同国际标准协议的对外接口CAMEL，ISUP，HTTP，SOAP，SMTP，SNMP，FTP....)内部结构也非常的复杂，

同时通讯系统是人们生活中的极其重要的系统，今天通讯工具已经应用于各个领域，医疗，教育，安全，等等，出现故障后影响也非常严重。因此现有通讯系统投入了大量的人力，物力对系统进行容灾恢复和容灾备份。

比较常用的架构分为主备模式和负载均衡模式，广泛应用于模块级容灾和站点级容灾，下面对这两种容灾方式进行简单说明。

A、主备模式

如图1系统分为主用和备用系统，当主用系统发生故障时，依赖双机软件检测到故障，快速自动切换到备用系统上运行。

需要说明的是，这种设备间切换，有可能涉及磁阵，数据库等大型软硬件的切换，切换时间一般需要数分钟至数十分钟，切换期间系统不能正常工作。

B、负载均衡模式

如图2负载均衡模式，多台设备依赖负载均衡设备，分发消息到各个设备上(多台设备分担)，多台设备为对等结点，必要时有公共数据存储设备。

当其中一台故障时，负载均衡设备检测到故障，不再向故障设备分发消息，改由其他设备分担。

负载均衡模式主要用于提供高性能的处理能力时适用，主要目的并非用于容灾。

目前较为主流的容灾方案如图3所示，包括一主用站点和一备用站点。主用站点和备用站点的内部均采用主备结构，两个站点也构成了一个主备结构。且在两个站点均正常工作时，两个站点都工作在负载均衡模式。

主备模式对资源配置要求较高，系统内每个模块都采用主用/备用方式配置，资源利用率为50％。当配置为主备站点时，资源利用率为25％。

负载均衡模式对资源配置很高，要求每个设备具备处理全部计算容量的能力(如上图中，若发生设备2，设备3，设备4全部损毁，设备1要能够独立支撑全部系统容量的能力)，否则会引发系统崩溃。资源闲置率为(N-1)/N(N为结点数量)，单节点闲置处理能力为(N-1)/N，基于系统最稳定安全配置情况下，资源有效利用率为1/N。

负载均衡模式仅适用于较为关键的主处理结点，总体上仍然不能避免采用主备方式，其中负载均衡设备，仍然只能采用主备模式。公共数据存储仍然采用主备模式(也可以采用集群模式，集群模式是另一个负载均衡，其中主控分发结点仍然是主备方式)。

此外，现有的另一种容灾方案，其系统结构如图4所示，包括由基于分组的网络56耦接的产生站点52和恢复站点54。产生站点52上的镜像软件68使恢复站点54保持与在产生站点上发生的最后事务一致。恢复控制服务器84轮询产生站点，以便检测灾难条件或者其它故障。当在产生站点52上检测到问题时，恢复控制服务器84重新配置网络56，以致访问产生站点52的尝试被路由到恢复站点54。在生产站点一侧，响应于问题的检测，自动重新分配基于配置的网络，从而通过基于分组的网络，将访问产生站点的尝试路由到恢复站点，检测在产生站点问题的解决，并通过把恢复数据从恢复站点复制到生产站点，自动恢复产生站点，并在恢复产生站点后，自动重新配置网络，以允许重新访问生产结点。

图3所示的方案中，对配置要求太高，且资源利用率低，一旦发生故障即进行切换，主备切换时需要时间较长；图4所示的方案中，一旦生产站点发生故障，则在故障修复前，生产站点的服务完全中断(因恢复站点主要作为生产站点的镜像，并无业务处理能力)。

现有技术中的容灾系统存在如下问题：

1、发生故障就立即切换，站点间切换频繁，引起系统不稳定(设备不分主次，任何微小故障，均发生切换)；

2、切换效率低；

3、故障发生时业务中断；

4、配置要求高，资源复用率低；

5、采用轮询检查故障方式，需要较长时间检测故障；

6、当恢复(备用)站点发生故障时，系统将瘫痪。

发明内容

本发明提供了一种故障处理方法、装置和系统，解决了现有容灾架构站点间频繁切换的问题。

一种故障处理方法，应用于两个站点构成的一容灾架构，该方法包括：

将所述两个站点内的模块均划分为核心模块和非核心模块；

在所述两个站点中的第一站点的核心模块发生故障时，将所述第一站点的业务切换到所述两个站点中的第二站点；

在所述第一站点的非核心模块发生故障时，在本站点内进行故障处理。

优选的，所述第一站点内的核心模块包括：直接对外提供服务的模块和/或与系统运行直接相关的模块。

优选的，所述第一站点的核心模块发生故障时，将所述第一站点的业务切换到第二站点，具体包括：

所述第一站点在本站点的核心模块发生故障后，向所述第二站点请求检测所述第二站点的完整性；

所述第一站点接收所述第二站点返回的应答，该应答包含所述第二站点的核心模块是否存在故障的信息；

所述第一站点根据所述应答，如确认所述第二站点的核心模块无故障，则弹开全部与外部系统的链接；

所述第一站点通知所述外部系统将所述链接的路由切换至所述第二站点。

优选的，上述故障处理方法还包括：

所述两个站点之间进行实时运行数据的双向同步。

优选的，所述第一站点的模块发生故障后，还在本站点内自动进行故障修复，方式如下：

从本站点的初始化数据中，提取发生故障的所述模块的初始化数据，对发生故障的所述模块进行初始化；

对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复。

优选的，所述两个站点中的核心模块和非核心模块均采用单机运行模式运行。

本发明还提供了一种故障处理装置，应用于两个站点构成的一容灾架构中的第一站点，所述两个站点之间进行实时运行数据的双向同步，该装置包括：

配置子装置，用于将本站点内的模块划分为核心模块和非核心模块；

第一故障处理子装置，用于在本站点的核心模块发生故障时，将本站点的业务切换到所述容灾架构中的第二站点；

第二故障处理子装置，用于在本站点的非核心模块发生故障时，在本站点内进行故障处理。

具体的，所述第一故障处理子装置包括：

请求完整性单元，用于在本站点的核心模块发生故障后，向所述第二站点请求检测该备用站点的完整性；

应答接收单元，用于接收所述所述第二站点返回的应答，该应答包含所述第二站点的核心模块是否存在故障的信息；

链接弹开单元，用于在确认所述第二站点的核心模块无故障时，弹开全部与外部系统的链接；

切换通知单元，用于通知所述外部系统将所述链接的路由切换至所述第二站点。

优选的，该故障处理装置还包括：修复子装置，用于从本站点的初始化数据中，提取发生故障的模块的初始化数据，对发生故障的所述模块进行初始化，并对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复。

本发明还提供了一种故障处理系统，该系统包括第一站点和第二站点，所述第一站点和所述第二站点构成一容灾架构且相互间进行实时运行数据的双向同步，所述第一站点包括上述故障处理装置。

上述故障处理方法、装置和系统，仅在核心模块发生故障时进行切换，解决了主备站点间频繁切换的问题，提高了容灾系统的工作效率。进一步地，还可以避免故障发生时业务中断，提高资源利用率和系统工作的可靠性。

附图说明

图1为现有技术的主备模式容灾架构示意图；

图2为现有技术的负载均衡模式容灾架构示意图；

图3为现有技术的一种容灾架构的示意图；

图4为现有技术的另一种容灾架构示意图；

图5为本发明实施例提供的一种故障处理方法的流程图；

图6为图5中步骤506的具体流程图；

图7为本发明的实施例提供的一种故障处理装置的结构示意图；

图8为图7中第一故障处理子装置702的内部结构示意图。

具体实施方式

下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本实施例中，容灾架构包括互为备用的两个站点，文中，也将主用站点称为第一站点，备用站点称为第二站点，两个站点中的核心模块和非核心模块均采用单机运行模式运行。

本实施例故障处理系统完成故障处理的流程如图5所示，包括：

步骤501、将所述容灾架构中两个站点的模块均划分为核心模块和非核心模块；

例如，核心模块和非核心模块可以按照重要性来划分，其中，将直接对外提供服务的模块(如SCP，SIU，Web服务器)以及对于系统运行直接相关的重要模块(如实时在线内存数据库)划分为核心模块；将不直接对外提供服务、不直接影响系统运行的模块以及可以离线非实时运行的模块(如统计服务器、话单服务器、后台计算的静态物理数据库和SIU后台配置服务器)划分为非核心模块。

步骤502、两个站点首次安装完毕后，分别备份本站点内各模块的初始化数据；

步骤503、工作过程中，两站点之间进行实时运行数据的双向同步；

本实施例中，在两个站点间建立双向的实时运行数据(这里的运行数据包括数据记录，数据文件，录音文件等)自动同步，其中运行日志类数据则属于非实时运行数据，不需要同步。进一步加强系统的可靠性。

在工作过程中，若第一站点内部的模块发生故障，则根据故障的模块为核心模块或非核心模块作不同的处理，具体参见以下步骤。

步骤504、当第一站点的核心模块发生故障时，将所述第一站点的业务切换到第二站点；

本实施例中，在第一站点设置故障处理子装置统一进行故障处理，如接收本站点内各模块的故障告警，在判断核心模块发生故障时将业务切换到第二站点，并负责对故障模块进行自动修复处理。

本步骤中，当核心模块发生故障时(如SCP)，SCP自动检测存在内部逻辑死循环，主动上报故障(基于SNMP标准协议上报)。第一站点检测到这一告警后，向第二站点请求检测备用站点的完整性(即是否存在故障)；第二站点依据当时接收到的各模块告警记录，确定有无故障后，向第一站点返回应答，其中至少包含本站点核心模块是否有故障的信息。

然后，第一站点指示本站点的各个模块弹开全部与外部系统的链接，并指示外部系统将链接的路由切换至备用站点。将全部与外部系统有交互的链接均向备用站点进行切换，可以避免故障模块与正常模块数据不同步。

例如，第一站点可以关闭web服务器对外服务的http连接，并指示更改路由，将http连接路由至第二站点的web服务，同时指示开销户接口关闭对外服务的Soap连接，并指示更改路由，将Soap连接路由至第二站点的开销户接口。

由于路由切换速度极高，通常可以在数毫秒至数秒内完成切换，远高于同一站点内主备设备间的切换(数分钟到数十分钟)。

此外，当第一站点向第二站点发送故障检查时，因路由失败等原因，导致请求失败或请求超时无响应，第一站点可以默认第二站点无故障。

步骤505、当第一站点的非核心模块发生故障时，在本站点内进行故障处理；

步骤506、修复故障的模块；

无论发生故障的是核心模块还是非核心模块，第一站点都可以对发生故障的模块进行自动修复，本步骤具体如图6所示，包括：

步骤5061、从本站点为各模块备份的初始化数据中，提取发生故障的所述模块的初始化数据，对发生故障的所述模块进行初始化；

例如，SCP设备故障，先请求完全删除SCP程序信息及配置数据，再复制初始化SCP数据(可以在系统首次正常运行时备份获得)至发生故障的SCP。

步骤5062、对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复；

本步骤中，向故障模块载入实时运行数据，SCP从实时运行数据中读入最新的数据，该实时运行数据是从第二站点同步的当前运行的实时运行数据，并非第一站内故障发生时的数据。

至此，修复完成(成功完成初始化以及实时运行数据载入)。

若本步骤中执行结束后修复失败，则反复执行修复(即初始化和实时运行数据的载入)，直接成功为止。

步骤507、在所述核心模块修复完成后，恢复所述第一站点与外部系统的链接；

本步骤中，第一站点内的所有模块恢复服务链接，指示恢复所有与外部系统的路由连接，打开对外的web，soap等服务，但是不指示切换路由。由于容灾架构中的两站点互为备用站点，在故障完全恢复后，当原备用站点发生新的故障时，系统可以平滑的通过更改路由的方式，自动切换回到原主用站点，不需要人工干预。

应当说明的是，容灾架构中的两个站点的主备关系也可以是固定的，以主用站点为第一站点，此时仍可以采用上述方法进行故障处理，同样具有上述效果。

本实施例提供的故障处理方法，将所述两个站点内的模块均划分为核心模块和非核心模块，当主用站点的核心模块发生故障且备用站点的核心模块无故障时，在所述主用站点和备用站点之间进行切换，当主用站点的非核心模块发生故障时，暂停所述非核心模块的工作，仅在核心模块发生故障时进行切换，降低了主用站点和备用站点间的切换频率，解决了主备站点间频繁切换的问题，提高了容灾系统的工作效率。站点内的功能模块划分为核心模块和非核心模块，非核心模块发生故障时，不进行主备站点的切换，而是采用站内直接恢复，避免站点间切换频繁，引起系统不稳定。统一管理站点内各模块故障发生后的修复工作，极大的减少设备的配置数量，使得站点内大部分设备，可以由主备模式简化为单机运行模式，使得设备利用率由原有的25％，提高到50％，节约系统资源。

当核心模块发生故障时，在站内故障修复开始前，指示路由切换到备用站点，故障恢复更加快速(路由切换速度极高，通常可以在数毫秒至数秒内完成切换，远高于主备设备间的切换(数分钟到数十分钟))。系统将在主站自动完成故障修复，不影响系统的在线使用。当原备用站点发生新的故障时，可以自动切换回到原主用站点，整个故障处理不需要人工干预，为用户持续提供不间断的服务(即使在系统发生多次故障以及完成故障处理过程中)。

相应地，本实施例还提供了一种故障处理装置，应用于两个站点构成的一容灾架构中的第一站点，该装置的结构如图7所示，包括：

配置子装置701，用于将本站点内的模块划分为核心模块和非核心模块。

第一故障处理子装置702，用于在本站点的核心模块发生故障时，将本站点的业务切换到容灾架构中的第二站点。

第二故障处理子装置703，用于在本站点的非核心模块发生故障时，在本站点内进行故障处理。

修复子装置704，用于从本站点的初始化数据中，提取发生故障的模块的初始化数据，对发生故障的所述模块进行初始化，并对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复。

第一故障处理子装置702的结构可以如图8所示，包括：

请求完整性单元7021，用于在本站点的核心模块发生故障后，向所述第二站点请求检测该备用站点的完整性；

应答接收单元7022，用于接收所述所述第二站点返回的应答，该应答包含所述第二站点的核心模块是否存在故障的信息；

链接弹开单元7023，用于在确认所述第二站点的核心模块无故障时，弹开全部与外部系统的链接；

切换通知单元7024，用于通知所述外部系统将所述链接的路由切换至所述第二站点。

本发明的实施例还提供了一种故障处理系统，该系统包括第一站点和第二站点，所述第一站点和所述第二站点构成一容灾架构且相互间进行实时运行数据的双向同步，第一站点中包括上述故障处理装置。

上述故障处理装置和故障处理系统，仅在核心模块发生故障时进行切换，降低了主用站点和备用站点间的切换频率，解决了主备站点间频繁切换的问题，提高了容灾系统的工作效率。由于两站点间的切换采用路由切换，切换时间短，切换效率高，缩短了业务中断时长。容灾架构中的两个站点均具备提供服务的能力，故可以在两站点间反复进行切换的同时保证业务的进行，进一步提高了系统的工作效率。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (8)

1.一种故障处理方法，应用于两个站点构成的一容灾架构，其特征在于，该方法包括：

将所述两个站点内的模块均划分为核心模块和非核心模块；

在所述两个站点中的第一站点的核心模块发生故障时，将所述第一站点的业务切换到所述两个站点中的第二站点；

在所述第一站点的非核心模块发生故障时，在本站点内进行故障处理；

所述第一站点的模块发生故障后，还在本站点内自动进行故障修复，方式如下：

从本站点的初始化数据中，提取发生故障的所述模块的初始化数据，对发生故障的所述模块进行初始化；

对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复。

2.根据权利要求1所述的故障处理方法，其特征在于：

所述第一站点内的核心模块包括：直接对外提供服务的模块和/或与系统运行直接相关的模块。

3.根据权利要求1所述的故障处理方法，其特征在于，所述第一站点的核心模块发生故障时，将所述第一站点的业务切换到第二站点，具体包括：

所述第一站点在本站点的核心模块发生故障后，向所述第二站点请求检测所述第二站点的完整性；

所述第一站点接收所述第二站点返回的应答，该应答包含所述第二站点的核心模块是否存在故障的信息；

所述第一站点根据所述应答，如确认所述第二站点的核心模块无故障，则弹开全部与外部系统的链接；

所述第一站点通知所述外部系统将所述链接的路由切换至所述第二站点。

4.根据权利要求1所述的故障处理方法，其特征在于，该方法还包括：

所述两个站点之间进行实时运行数据的双向同步。

5.根据权利要求1所述的故障处理方法，其特征在于：

所述两个站点中的核心模块和非核心模块均采用单机运行模式运行。

6.一种故障处理装置，应用于两个站点构成的一容灾架构中的第一站点，所述两个站点之间进行实时运行数据的双向同步，其特征在于，该装置包括：

配置子装置，用于将本站点内的模块划分为核心模块和非核心模块；

第一故障处理子装置，用于在本站点的核心模块发生故障时，将本站点的业务切换到所述容灾架构中的第二站点；

第二故障处理子装置，用于在本站点的非核心模块发生故障时，在本站点内进行故障处理；

该故障处理装置还包括：修复子装置，用于从本站点的初始化数据中，提取发生故障的模块的初始化数据，对发生故障的所述模块进行初始化，并对完成初始化的所述模块写入所述模块对应的实时运行数据，完成对发生故障的所述模块的修复。

7.根据权利要求6所述的故障处理装置，其特征在于，所述第一故障处理子装置包括：

请求完整性单元，用于在本站点的核心模块发生故障后，向所述第二站点请求检测该备用站点的完整性；

应答接收单元，用于接收所述所述第二站点返回的应答，该应答包含所述第二站点的核心模块是否存在故障的信息；

链接弹开单元，用于在确认所述第二站点的核心模块无故障时，弹开全部与外部系统的链接；

切换通知单元，用于通知所述外部系统将所述链接的路由切换至所述第二站点。

8.一种故障处理系统，该系统包括第一站点和第二站点，所述第一站点和所述第二站点构成一容灾架构且相互间进行实时运行数据的双向同步，其特征在于，所述第一站点包括如权利要求6至7中任一权利要求所述的故障处理装置。