CN100496030C - 基于高可用性系统的综合接入媒体网关设备 - Google Patents

Abstract

本发明公开了一种基于高可用性系统的综合接入媒体网关设备，涉及网络通信领域中的综合接入媒体网关设备。本发明是对综合接入媒体网关设备的总控制单元采取主备冗余的容错架构，主备之间的同步采用温备份方式；主用、备用上层任务模块(120)、(220)之间的状态和关键数据的实时刷新，以实现主备同步；对主用上层任务模块(120)的状态进行实时监控，当出现故障时强制主备倒换，确保设备持续可用。本发明具有很高的可靠性；具备极快的切换时间；支持在线升级；高可用性系统(10)不仅适用于综合接入媒体网关设备，而且可以很方便地移植到其它电信设备中去。

Description

基于高可用性系统的综合接入媒体网关设备

技术领域

本发明涉及网络通信领域中的综合接入媒体网关设备，尤其涉及一种基于高可用性系统的综合接入媒体网关设备。

背景技术

软交换是下一代网络(NGN)的核心；是基于包交换、以软件来实现交换与呼叫控制管理的电信网络新技术。软交换网络是目前电信网络的发展趋势，它将各种协议的接入数据以分组的方式在IP骨干网上传输，实现各种网络的融合。

综合接入媒体网关(AG)位于软交换网络体系的接入层面。它在软交换的控制下，完成各种终端设备的接入(如传统电话机接入、各种宽带接入、无线接入等等)与媒体流转换的功能。因此，其高可用性的实现将大大提高接入网络的可靠性，从而提高整个软交换网络的服务质量(QoS)。

所述的高可用性(HA)是指通过运用硬件或软件冗余技术来减少常规维护与系统故障引起的停机时间，使系统持续运行。电信设备的可用性指标为99.999％，这意味着一年中因各种原因导致的不可用时间不得超过5.256分钟。

1、构建高可用性设备的基本原理

对于一个通信设备而言，构建其高可用性一般分为两个方面：

(1)基于硬件的高可用性；

(2)基于软件的高可用性。

这要求系统的硬件和软件都具有容错机制——当一个硬件电路或软件模块出现异常或者错误时，实现对错误的检测、定位、隔离与恢复：

(1)错误检测对整个系统进行错误检测有两种方式：一是主动方式，使用专门的检测模块对系统进行主动的检测；二是被动方式，即系统中的各个部件出现故障时，自己主动上报给错误检测模块。在实际应用中两者相结合来使用。

(2)错误定位结合与已定义的错误类型，将接收到的错误信息报告进行分析，从而得到错误报告的信息，并作相应的处理。

(3)错误隔离使发生错误的模块不可用，这样做可以使错误不扩散到与之相联系的模块中去。

(4)错误恢复采取一定的措施使整个系统继续正常工作。错误恢复最常用的方法是重新启动。

2、基于冗余备份方式的高可用性(HA)实现技术

冗余备份是指将设备中关键的硬件模块和软件模块实行1+1备份，系统运行时，备用作为主用的备份，当主用由于各种原因不可用时，备用接管主用使系统持续运行而不中断。

高可用性(HA)实现技术的关键是如何控制备用接管主用，以及主备用之间关键数据及状态的同步。下面介绍三种备份方式：

(1)热备份

主备用同时处于工作状态，同时处理输入的信息。因此主备用模块中各种状态及数据参数均保持一致。输出端，只将当前为主用的的输出作为系统的输出，当主用出现故障时，系统选择备用的输出作为输出，备用变为主用。

(2)温备份

主用接收输入并向外部提供服务；备用经过初始化完毕后，处于备用态，随时准备接管主用。系统正常工作时，主用将关键数据参数的改变实时的发送至备用，备用则仅接收来自主用的状态刷新信息来刷新自己这一侧的关键数据参数。出现故障时，HA系统管理模块会通知备用倒换为主用状态，并接管主用。

(3)冷备份

主用接收输入并输出；备用既不接收输入，也不接收来自主用的状态刷新信息。正常工作时，主用将系统状态刷新信息写入一个稳态存储设备中，当主用出现故障时，HA管理者通知备用从稳态存储设备中读取当前所有系统状态信息，备用倒换为主用。

由以上分析可知：热备份的优点是切换时间短，但由于主备用硬件软件结构均一致，且同步运行，因此主备用易出现的一模一样的故障，从而导致整个系统的不可用。冷备份实现原理简单可靠，由于系统运行时主备不同步，因此切换时间较长。温备份实现了系统运行时的同步，切换时间短，而且可靠性高，因此被广泛采用为实现冗余备份的高可用性技术。

发明内容

本发明的目的是提供一种基于高可用性系统的综合接入媒体网关设备。该系统提高了接入媒体网关设备的高可用性及在电信市场中的竞争力(目前，高可用性的实现是目前电信设备研究的重点与热点，是电信设备的核心技术；因此也是各大电信设备制造商的商业机密)。

本发明的目的是这样实现的：

对关键硬件和软件(即综合接入媒体网关设备的总控制单元——高可用性系统10)采取主备冗余的容错架构，主备之间的同步采用温备份方式。

(1)主用、备用上层任务模块120、220之间的状态和关键数据的实时刷新，以实现主备同步。

(2)对主用上层任务模块120的状态进行实时监控，当出现故障时强制主备倒换，确保设备持续可用。

具体地说，如图1，本综合接入媒体网关设备(简称设备)包括输入输出电路单元300和业务接口单元400；设置有高可用性系统10，高可用性系统10由结构、功能相同的主和备用总控制单元100和200组成；

主和备用总控制单元100和200分别与输入输出电路单元300、业务接口单元400连通；

主用总控制单元100包括主用控制模块110、主用上层任务模块120和主用底层操作支持接口130；

主用控制模块110包括主用消息分发模块111、主用任务管理模块112、主用心跳检测模块113、主用加载管理模块114、主用切换/状态管理模块115和主用同步刷新模块116；

主和备用总控制单元100、200之间通过主和备用同步刷新模块116和216来互相发送主和备用上层任务模块120和220之间的状态刷新信息；通过主和备用消息分发模块111和211来发送主和备用控制模块110和210之间的控制信息；

在主和备用控制模块110和210内部：

主、备用消息分发模块111、211负责对高可用性系统10中各子模块之间的消息进行分发和转发；

主、备用任务管理模块112、212负责管理并检测主、备用上层任务模块120、220的状态；

主、备用心跳检测模块113、213通过心跳信息来管理与监视主、备用总控制单元100、200之间的链路状态；

主、备用加载管理模块114、214负责主、备用总控制单元100、200内各个软件模块的启动与加载；

主、备用切换/状态管理模块115、215负责总控制单元100、200的状态变化以及出现故障时的主备倒换；

主、备用同步刷新模块116、216负责上层应用模块120、220之间关键数据和状态的同步。

本发明的工作原理是：

高可用性系统10采用主备冗余，两块板卡在硬件和软件上完全一致，只是在初始化装载时各按照主用或者备用的方式进行加载。在设备正常工作时，主用总控制板上的硬件及软件系统处于工作状态。这时的高可用性系统10主要用来检测主备之间的心跳信息，以及实现主备之间的状态同步。

上层任务模块为总控制单元的核心软件，用来实现综合接入网关的主要功能。一旦上层任务模块中的某个协议层出现故障，将导致整个设备的不可用。因此备用总控制单元200中相应的上层任务模块的作用是作为主用中上层任务模块的备份。状态刷新信息用于主备之间上层任务模块中关键数据及状态的同步。

高可用性系统10用来实现：主、备用总控制单元100、200之间的控制及数据的交互，主、备用上层应用模块120、220之间的数据及状态的同步，主、备用总控制单元100、200的状态管理及切换。

本发明具有以下优点和积极效果：

1、由于高可用性系统10能检测到各硬件与软件可能发生的错误，因此使设备具有很高的可靠性。

2、具备极快的切换时间。当错误发生时，备用能够在很短时间内接管主用，使各种正在通信的业务不中断。

3、支持在线升级，即在设备运行的情况下，实现依次对备用、主用进行软件升级，而不影响设备的正常使用，不中断正在通信的业务。

具体操作是先关闭备用，对其进行升级，升级成功后，以备用方式进行加载，然后将所有状态刷新来实现主备同步。主备同步以后，发送倒换命令给主用和备用进行主备倒换，于是已经升级的软件作为主用在设备中运行起来。然后对倒换后的备用进行软件升级，升级成功后，以备用方式进行加载。至此，整个设备的软件升级工作完成。在此过程中，并未使设备不可用。

4、高可用性系统10不仅适用于综合接入媒体网关设备，而且可以很方便地移植到其它电信设备中去。

附图说明

图1是本发明基本架构框图；

图2是高可用性系统10状态迁移图；

图3是状态刷新流程图；

图4是主、备心跳处理模块113、213的工作流程图；

图5是备用心跳检测失败引起的切换流程图；

图6是主用总控制单元100发起的切换处理流程图；

图7是主备手动切换处理流程图。

其中：

10—高可用性系统，包括主用总控制单元100和备用总控制单元200；

100—主用总控制单元，

110—主用核心模块，

111—主用消息分发模块，

112—主用任务管理模块，

113—主用心跳检测模块，

114—主用任务管理模块，

115—主用心跳检测模块，

116—主用同步刷新模块；

120—主用上层任务模块；

130—主用底层操作支持接口。

200—备用总控制单元，

210—备用核心模块

211—备用消息分发模块，

212—备用任务管理模块，

213—备用心跳检测模块，

214—备用任务管理模块，

215—备用心跳检测模块，

216—备用同步刷新模块；

220—备用上层任务模块；

230—备用底层操作支持接口；

300—输入输出电路单元。

400—业务接口单元。

A—主备都正常；        B—主故障备正常；   C—主正常备故障；

D—主备都故障；        E—切换中间状态；

a—主用故障；          b—发起手动切换；   c—手动切换完成；

d—备用故障恢复；      e—备用故障；       f—发起自动切换；

g—自动切换完成；      h—主正常被故障情况下的主用故障；

i—主备同时故障；

主要英文缩略语：

NGN—下一代网络；

Softswitch—软交换；

AG—综合接入媒体网关；

HA—高可用性。

具体实施方式

下面结合附图和实施例进一步说明：

一、本设备各功能单元

1、输入输出电路单元300

输入输出电路单元300是一种硬件模块，用于本设备中上行接口与高可用性系统10的连接。

2、业务接口单元400

业务接口单元400是一种硬件模块，用于本设备中各个业务接口盘与高可用性系统10的连接。

3、高可用性系统10

高可用性系统10由主用总控制单元100和备用总控制单元200组成。从上层通信设备输入的数据经过输入输出电路单元300连接到目前为主用状态的主用总控制单元100，使之处理当前的输入输出数据流。从用户业务接入电路板卡输入的信息由业务接口单元400连接到目前为主用状态的主用总控制单元100，并由主用总控制单元100进行处理。

主、备用上层任务模块120、220

主用上层任务模块120是主用总控制单元100的工作软件模块，用来处理整个综合媒体网关设备的工作流程和任务，是综合媒体网关设备功能的具体实现。

备用上层任务模块220是总控制单元200的工作软件模块。备用上层任务模块220工作在备用状态。当主用总控制单元100发生故障时，备用总控制单元200接管主用，于是备用上层任务模块220也就接管主用上层任务模块120，使综合媒体网关设备继续工作。

主、备用底层操作支持接口130、230

主用底层操作支持接口130是对用总控制单元100上的硬件进行操作的接口；备用底层操作支持接口230是对用备用总控制单元200上的硬件进行操作的接口。

主、备用用控制模块110、210

1)主、备用消息分发模块111、211

图1中，主、备用消息分发模块111、211负责高可用性系统10内各模块之间消息的转发，包括主备之间不同模块控制信息及数据的传递。高可用性系统10内其它各个模块之间没有直接的消息传递。

2)主、备用同步刷新模块116、216

图1中，主、备用同步刷新模块116、216共同负责主备之间上层任务模块之间的关键数据及状态信息的传递，以保证主备同步，运行时备用随时接管主用。主、备用同步刷新模块116、216同高可用性系统10中的其它模块并没有接口，作为高可用性系统10实现主备同步的实体，它仅仅为上层任务模块提供服务。

3)主、备用加载管理模块114、214

主、备用加载管理模块114、214负责总控制单元内各个软件模块的加载与启动；加载的方式分为主用加载、备用加载和重启加载，分别适用于：主用总控制单元100的启动；备用总控制单元200的启动；主、备用总控制单元100、200的重启动。主、备用总控制单元100、200启动时，先从硬件逻辑电路读取主备用状态，然后选择加载过程。

4)主、备用心跳检测模块113、213

主、备用心跳检测模块113、213用来实现主、备用总控制单元100、200之间的心跳检测功能。当心跳检测模块检测到心跳失败时，将通知主、备用切换/状态管理模块115、215采取相应动作。

5)主、备用切换/状态管理模块115、215

主、备用切换/状态管理模块115、215负责高可用性系统10的状态变化以及出现故障时的主备倒换。定义高可用性系统10的五种状态为：主备都正常A；主备都正常B；主正常备故障C；主备都故障D；切换中间状态E。定义的切换命令有：①强制切换和②手动切换。强制切换是指系统硬件或者软件故障被检测到后系统做出的自动切换；手动切换是由网管发出的切换命令，此时设备并不一定出现故障。

6)主、备用任务管理模块112、212

主、备用任务管理模块112、212工作流程相同。主、备用任务管理模块112、212负责对本地的任务进行检测，检测的方式可以是以下两种：1、通过系统调用对任务状态进行定时查询，当出现任务僵死或者异常终止情况时向切换/状态管理模块发出告警消息；2、通过心跳消息对任务进行监测，当任务心跳超时时向切换/状态管理模块发出告警消息。任务管理模块承担所有高可用性系统10与上层任务模块的接口，包括心跳检测，切换通知，数据备份请求和数据备份回应等消息。

二、高可用性系统10的状态变迁

如图2，定义了五种高可用性系统10的状态以及引起状态变迁的九种原因：

①高可用性系统10的状态

高可用性系统10的5种状态包括：主备都正常A，主故障备正常B，主正常备故障C，主备都故障D，切换中间状态E。

②引起状态变化的原因

引起状态变化的9种原因包括：主用故障a，发起手动切换b，手动切换完成c，备用故障恢复d，备用故障e，发起自动切换f，自动切换完成g，主备同时故障h，主正常被故障情况下的主用故障i。

下面对图2进行说明：

1、在正常工作情况下，高可用性系统10处于主备都正常A状态。

2、在主备都正常A的正常工作情况下，若主用总控制单元100发生故障，即主用故障a，则系统的工作流程依次为：

②进入主故障备正常B，

②发起自动切换f，

③进入切换中间状态E，

④自动切换完成g，

⑤进入主正常备故障C状态，

⑥备用故障恢复d，

⑦进入主备都正常A状态，系统重新正常工作。

3、在主备都正常A的工作情况下，若出现备用故障e，则系统进入主正常备故障C状态，然后系统会发起备用故障恢复d操作，最后系统重新进入主备都正常A的正常工作状态。

4、在主备都正常A的工作情况下，若主用总控制单元100接收到主备倒换的命令，系统则发起手动切换b，然后进入切换中间状态E，手动切换完成c后，系统重新进入主备都正常A的正常工作状态。

5、在主备都正常A的工作情况下，若主、备用总控制单元100、200同时发生故障，即主备同时故障h，系统则进入主备都故障D状态。进入主备都故障D状态后，系统无法正常工作。

6、在主正常备故障C的状态下，系统运行在没有备份总控制单元200的亚健康状态。若此时主用总控制单元100发生故障，则系统进入主备都故障D状态；进入主备都故障D状态后，系统无法正常工作。

三、高可用性系统10的状态刷新流程

高可用性(HA)实现技术的关键是：①如何使主备用之间关键数据及状态保持同步；②如何控制备用接管主用，即切换。

实现主备用之间关键数据及状态保持同步，也就是实现主、备用总控制单元100、200的主、备用上层任务模块120、220之间的关键数据及状态保持同步。我们使用状态刷新机制来实现，如图3所示，主、备用上层任务模块120、220之间通过主、备用同步刷新模块116、216来实现状态刷新，具体流程依次为：6A，600，601，602，603，6B，604，605，606，6C。

6A—主用中的上层任务模块120内部状态在工作时发生改变。

600—主用上层任务模块120发送“状态刷新消息”至主用同步刷新模块116，该消息中包含发生改变的数据信息。

601—主用同步刷新模块116发送“状态刷新消息”至备用同步刷新模块216。

602—备用同步刷新模块216发送“状态刷新消息”至备用上层任务模块220。

6B—备用上层任务模块220根据消息中的数据信息来刷新自己内部相应的状态及参数。

604—备用上层任务模块220发送“状态刷新完成”至备用同步刷新模块216。

605—备用同步刷新模块216发送“状态刷新完成”至主用同步刷新模块116。

606—主用同步刷新模块116发送“状态刷新完成”至主用上层任务模块120。

6C—状态刷新完成。

四、高可用性系统10的切换流程

主、备用总控制模块100、200之间的切换动作可以分为：

①强制切换：

系统检测到主用总控制模块100发生的故障后，作出的自动切换。故障由心跳检测失败和检测到主用上层故障引起。

②手动切换：

手动切换是由网管发出的切换命令，此时主备用总控制模块100并不一定出现故障。

1、主、备心跳处理模块113、213的工作流程

如图4，主备用之间定时向对端发心跳请求消息，然后等待对方回应。若接收到心跳回应，则认为对端正常工作；否则认为对端故障，发送对端故障消息给切换/状态管理模块进行处理。若发生故障时的是主用总控制单元100，则执行主备倒换；若发生故障时的是备用总控制单元200，则高可用性系统10进入主正常备故障状态C。

2、心跳失败情况下的备用发起强制切换的工作流程

如图5，备用总控制单元200检测到主用总控制单元100心跳失败后，执行切换的工作流程依次为：7A，700，701，702，703，7B，704，705，706，7C。

7A—备用心跳检测模块213检测到主用心跳失败。

700—主用心跳检测模块113发送“心跳失败”消息至备用切换/状态管理模块215。

701—备用切换/状态管理模块215发送“切换请求”至备用消息分发模块211。

702—备用消息分发模块211发送“切换请求”至备用任务管理模块212。

703—备用任务管理模块212发送“切换请求”至备用上层任务模块220。

7B—备用上层任务模块220执行切换。

704—备用上层任务模块220发送“切换完成”至备用任务管理模块212。

705—备用任务管理模块212发送“切换完成”至备用消息分发模块211。

706—备用消息分发模块211发送“切换完成”至备用切换/状态管理模块215。

7C—备用备用总控制单元200切换为主用完成。

3、检测到主用发生故障后的强制切换流程

如图6，主、备用任务管理模块112、212具有检测主、备用上层任务模块120、220的工作情况的功能，当主用任务管理模块112检测到主用上层任务模块120的故障后，将发起切换动作，使备用总控制单元200接管主用总控制单元100。具体工作流程依次为：8A，800，801，802，803，804，8B，805，806，807，808，8C。

8A—主用任务管理模块112检测到主用上层任务模块120发生故障。

800—主用任务管理模块112发送“切换请求”至主用切换/状态管理模块115。

801—主用切换/状态管理模块115发送“切换请求”至主用消息分发模块111。

802—主用消息分发模块111发送“切换请求”至备用消息分发模块211。

803—备用消息分发模块211发送“切换请求”至备用切换/状态管理模块215。

804—备用切换/状态管理模块215发送“切换请求”至备用任务管理模块212。

8B—备用任务管理模块212通知备用上层任务模块220执行切换。

805—切换完成后，备用任务管理模块212发送“切换完成”至备用切换/状态管理模块215。

806—备用切换/状态管理模块215发送“切换完成”备用消息分发模块211。

807—备用消息分发模块211发送“切换完成”至主用消息分发模块111。

808—主用消息分发模块111发送“切换完成”至主用切换/状态管理模块115。

8C—执行故障恢复操作，如重启。

4、网管发出的主备手动切换流程

如图6，主备手动切换命令是由设备管理者通过网管程序发出的一种切换命令。该命令经主用上层任务模块120发送给主用任务管理模块112，然后由主用任务管理模块112发起切换。具体工作流程依次为：9A，900，901，902，903，904，9B，905，906，907，908，909，9C，910，9D。

9A—主用任务管理模块112接收到手动切换请求。

900—主用任务管理模块112发送“切换请求”至主用切换/状态管理模块115。

901—主用切换/状态管理模块115发送“切换请求”至主用消息分发模块111。

902—主用消息分发模块111发送“切换请求”至备用消息分发模块211。

903—消息分发模块211发送“切换请求”至切换/状态管理模块215。

904—备用切换/状态管理模块215发送“切换请求”至备用任务管理模块212。

9B—备用任务管理模块212通知备用上层任务模块220执行切换。

905—切换完成后，备用任务管理模块212发送“切换完成”至备用切换/状态管理模块215。

906—备用切换/状态管理模块215发送“切换完成”备用消息分发模块211。

907—备用消息分发模块211发送“切换完成”至主用消息分发模块111。

908—主用消息分发模块111发送“切换完成”至主用切换/状态管理模块115。

909—主用切换/状态管理模块115发送“切换完成”至主用任务管理模块112。

9C—主用任务管理模块112通知主用上层任务模块120执行切换。

910—切换完成后，主用任务管理模块112发送“切换完成”至主用切换/状态管理模块115。

9D—主备手动切换完成。

Claims (8)

1、一种基于高可用性系统的综合接入媒体网关设备，包括输入输出电路单元(300)和业务接口单元(400)；其特征在于：

设置有高可用性系统(10)，高可用性系统(10)由结构相同的主和备用总控制单元(100和200)组成；

主和备用总控制单元(100和200)分别与输入输出电路单元(300)、业务接口单元(400)连通；

主用总控制单元(100)包括主用控制模块(110)、主用上层任务模块(120)和主用底层操作支持接口(130)；

主用控制模块(110)包括主用消息分发模块(111)、主用任务管理模块(112)、主用心跳检测模块(113)、主用加载管理模块(114)、主用切换/状态管理模块(115)和主用同步刷新模块(116)；

主和备用总控制单元(100、200)之间通过主和备用同步刷新模块(116和216)来互相发送主、备用上层任务模块(120、220)之间的状态刷新信息；通过主和备用消息分发模块(111和211)来发送主和备用控制模块(110和210)之间的控制信息。

2、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用消息分发模块(111、211)负责高可用性系统(10)内各模块之间消息的转发，包括主备之间不同模块控制信息及数据的传递。

3、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用同步刷新模块(116、216)共同负责主备之间上层任务模块之间的关键数据及状态信息的传递，以保证主备同步，运行时备用随时接管主用。

4、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用加载管理模块(114、214)负责总控制单元内各个软件模块的加载与启动；加载的方式分为主用加载、备用加载和重启加载，分别适用于：主用总控制单元(100)的启动；备用总控制单元(200)的启动；主、备用总控制单元(100、200)的重启动。

5、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用心跳检测模块(113、213)用来实现主、备用总控制单元(100、200)之间的心跳检测功能；当心跳检测模块检测到心跳失败后，将通知主、备用切换/状态管理模块(115、215)采取相应动作。

6、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用切换/状态管理模块(115、215)负责高可用性系统(10)的状态变化以及出现故障时的主备倒换；定义高可用性系统(10)的五种状态为：主备都正常(A)；主故障备正常(B)；主正常备故障(C)；主备都故障(D)；切换中间状态(E)；定义的切换命令有：①强制切换和②手动切换。

7、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于：

主、备用任务管理模块(112、212)负责对本地的任务进行检测，检测的方式有以下两种：

①通过系统调用对任务状态进行定时查询，当出现任务僵死或者异常终止情况时向切换/状态管理模块发出告警消息；

②通过心跳消息对任务进行监测，当任务心跳超时时向切换/状态管理模块发出告警消息。

8、按权利要求1所述的一种基于高可用性系统的综合接入媒体网关设备，其特征在于高可用性系统(10)的状态变迁：

1)在正常工作情况下，高可用性系统(10)处于主备都正常(A)状态；

2)在主备都正常(A)的正常工作情况下，若主用总控制单元(100)发生故障，即主用故障(a)，则系统的工作流程依次为：进入主故障备正常(B)，发起自动切换(f)，进入切换中间状态(E)，自动切换完成(g)，进入主正常备故障(C)状态，备用故障恢复(d)，进入主备都正常(A)状态，系统重新正常工作；

3)在主备都正常(A)的工作情况下，若出现备用故障(e)，则系统进入主正常备故障(C)状态，然后系统会发起备用故障恢复(d)操作，最后系统重新进入主备都正常(A)的正常工作状态；

4)在主备都正常(A)的工作情况下，若主用总控制单元(100)接收到主备倒换的命令，系统则发起手动切换(b)，然后进入切换中间状态(E)，手动切换完成(c)后，系统重新进入主备都正常(A)的正常工作状态；

5)在主备都正常(A)的工作情况下，若主、备用总控制单元(100、200)同时发生故障，即主备同时故障(h)，系统则进入主备都故障(D)状态；进入主备都故障(D)状态后，系统无法正常工作；

6)在主正常备故障(C)的状态下，系统运行在没有备份总控制单元(200)的亚健康状态。若此时主用总控制单元100发生故障，则系统进入主备都故障(D)状态；进入主备都故障(D)状态后，系统无法正常工作。

Images