CN1968075A - 一种分布式热备份逻辑设备及主备板设置方法 - Google Patents

Abstract

本发明公开了一种分布式热备份逻辑设备及主备板设置方法。该设备包括至少2个单板，其中1个单板用作主控板时，其它单板用作备板。所述多个单板形成无背板连接的分布式逻辑结构；每个单板至少包括一个FPGA模块，所述FPGA模块具有两个接口，每个高速接口用于连接其它的一个单板。本发明同时公开了一种分布式热备份逻辑设备主备板设置方法。本发明直接通过单板相互之间的配线进行通信，提高了系统的可靠性。

Description

一种分布式热备份逻辑设备及主备板设置方法

技术领域

本发明涉及一种电信设备，尤其涉及一种分布式热备份逻辑设备及主备板设置方法。

背景技术

在电信设备中，为了保证通信的可靠性，通常会设置具有备份功能的热备份逻辑设备，热备份逻辑设备具有主控板(也叫主板)和防止主控板出现故障而随时准备替代主控板工作的备板，并且一块主控板同时配备一个或多个备板。现有热备份逻辑设备一般都是在物理上通过背板将多块单板联系在一起，形成一个热备份逻辑设备，在背板上设置两个特定物理位置(主控板槽位)为主控板位置，这两个位置的单板由硬件控制执行主备倒换，当一个主控板发生故障时，另一个原来处于备用状态的备板就变成主用主控板，管理整个系统。

现有的热备份逻辑设备按软件功能划分成将备份逻辑设备分为以下协议栈层：最高层为业务应用层，以下依次是热备份管理层、操作系统层和文件/内存驱动层，最终为物理层。其中，每个上层子系统都承载在下层子系统之上，提供语义上更高级的功能。

业务应用层为具体的各个业务功能模块，如操作维护、计费模块等。其中，每个业务功能模块确定自身涉及到的文件的备份级别。主控板对备板状态以及备板对主控板状态的检测都是由主控板和备板业务应用层中的故障检测模块中运行的故障检测任务实现的；同样，备板对主控板是否发生故障的检测，也是由备板业务应用层的故障检测模块中运行的故障检测任务实现的。

热备份管理层，对热备份相关的系统调用进行屏蔽，并执行热备份时机的掌握和热备份质量级别的管理。

操作系统层，采用具有优先级调度机制的通用操作系统或嵌入式操作系统。一个操作系统调度的任务从获得CPU到释放CPU的过程称为一个事务，在一个事务完成后，系统中需要备份的内存和文件处于一致状态，主备板内存之间的定时备份数据的传输只在此时发生。

文件/内存驱动层负责提供硬件驱动。

物理层，接管CPU的内存控制功能，并在上层软件的配置下将文件映射到内存中，以及执行系统运行中的备份操作。

业务应用层确定自身涉及到的文件的备份级别，热备份管理层根据用户通过编码或者通过脚本配置的内存和文件的分类，根据备份文件的操作系统任务，即备份相关任务，登记需要备份的地址空间和/或文件系统，并在系统自检启动后，根据用户指定的周期，定时对活动的备份相关任务进行监控，在CPU被释放后，向主控板的物理层模块发送备份命令，触发主控板上的物理层模块进行定时备份操作。

但是现有的热备份逻辑设备只能应用在集中式热备份逻辑设备上，对于分布式逻辑设备由于没有背板所以该方式不再适用，而且利用背板构成的电信设备占地面积比较大，安装成本比较高，特别对于基站设备，由于数量巨大而导致运营商建网成本大幅上升。

发明内容

本发明的目的就是提供一种分布式热备份逻辑设备及主备板设置方法，解决无背板电信设备的主控板和备板的确认，以及主控板和备板的倒换问题，提高系统可靠性。

本发明通过如下技术方案实现本发明的目的：

为实现本发明目的而提供的一种分布式热备份逻辑设备，包括至少2个单板，其中1个单板用作主控板时，其它单板用作备板；

所述多个单板形成无背板连接的分布式逻辑结构；

每个单板至少包括一个FPGA模块，所述FPGA模块具有两个接口，每个高速接口用于连接其它的一个单板，使得每个单板都向与它邻近的两块单板发送和接收信息，分配有固定的通道进行数据的发送，接收其它单板发送的数据，进行数据备份处理。

所述FPGA模块中，还包括主备板设置模块，用于通过检测各个单板的主备标识位传送的逻辑标识，设置和识别主控板和备板。

所述单板还包括延迟计时器，用于延迟主备标识位发送逻辑标识的时间，使不同单板在不同的时间内发送主备标识位。

为实现本发明目的还提供了一种分布式热备份逻辑设备的主备板设置方法，其特征在于，包括下列步骤：

步骤A：分布式热备份逻辑设备中的单板之间通过FPGA模块中的高速接口的主备标识位发送单板逻辑标识到其它单板；

步骤B：单板在接收到其它单板发送来的主备标识位后，根据主备标识位的的有效性，将本板设置为主控板或者备板。

所述步骤B可以包括下列步骤：

步骤B1：单板判断其它单板发送来的主备标识位是否为有效主备标识位；

步骤B2：如果检测判断其它单板发送来的主备标识位为无效主备标识位，则将该单板设置为主控板，在FPGA模块的高速接口上的主备标识位发送该单板的逻辑标识，说明该单板为主控板；否则，设置该单板为备板，完成分布式热备份逻辑设备的主备板设置过程。

所述步骤A之前可以进一步包括下列步骤：

步骤A1：当单板上电启动时，启动延迟计时器，延迟的时间为在随机值，保证不会同时出现延时发送数据帧相同的单板。

所述步骤A中所述FPGA模块的高速接口收发具有逻辑标识的数据帧不同步，始终有先后。

所述步骤C包括下列步骤：

步骤C：当主控板发生故障，但各个单板之间的FPGA模块中的高速接口并没有断链，备板检测不到有效主备标识位后，则判断为主控板故障，重复步骤A～B进行主备板设置；或者根据其它可以升级为主控板的单板的逻辑标识的优先级确定主控板，并直接在高速接口的主备标识位发送主控板逻辑标识通知其它单板。

本发明的主备板设置方法，还可以进一步包括下列步骤：

步骤D：当主控板发生故障，各个单板之间的FPGA模块中的高速接口断链，则各个单板之间分别按步骤C设置两个主控板，通过人工干预将原主控板连接通信后，根据两个主控板的逻辑标识大小设置主备板。

本发明的主备板设置方法中，所述主备标识位可以为1比特。

所述逻辑标识为至少2比特或者单板网卡的MAC地址。

本发明的上述技术方案，适用于无背板情况下的分布式逻辑设备，不再需要象传统设备一样通过背板通信，而是直接通过单板相互之间的配线进行通信。同时提供了1+N备份模式，提高系统的可靠性。

附图说明

图1为本发明的无背板逻辑设备的连接结构示意图；

图2为具有FPGA高速接口的主备板结构示意图；

图3为多个单板在系统启动时的设备主控板的流程图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图1～3，对本发明的分布式热备份逻辑设备及主备板设置方法进行详细说明。但可以理解的是，此处所描述的具体实施例仅仅用于说明本发明，而不是对本发明的限定。

如图1所示，本发明的分布式热备份逻辑设备包括至少2个单板，其中1个单板用作主控板时，其它单板用作备板，所述多个单板形成无背板连接的分布式逻辑结构；每个单板包括业务应用层，热备份层，操作系统层，文件/内存驱动层，以及物理层。本发明中，所述物理层为至少包括一个FPGA模块，所述FPGA模块具有两个高速接口，即两个连接器A和B，各个单板通过FPGA模块中的高速接口利用多个可以并行使用的高速电缆或高速光缆与其它单板相连，使得每个单板都向与它邻近的两块单板发送和接收信息，分配有固定的通道进行数据的发送，接收其它单板发送的数据，进行数据备份处理。

本发明可以适用于任意数量的单板组成的分布式热备份逻辑设备，但由于分布式热备份逻辑设备的应用场景主要在于获取设备安装区域非常困难的地方，所以一般地组成一个分布式热备份逻辑设备的单板不会太多，如图1所示，在本发明实施例中仅以4块单板组成的分布式热备份逻辑设备为例而进行说明，当然也可以更多一些，只要安装场地没有限制。

下面结合图2中的单板结构图详细描述主控板和备板之间的结构。本实施例的每个单板包括FPGA模块、CPU、内存和网卡(未标出)。其中，FPGA模块还包括内存控制器和高速接口控制器以及一组寄存器，FPGA模块中的内存控制器和高速接口控制器都已公开且标准化，这里不再赘述。FPGA模块中所采用的高速接口控制器可以自动进行并串、串并转换。在进行传输时，根据传输线路性质的不同，主控板和备板的FPGA模块中的高速接口控制器之间可以采用多个可以并行使用的高速电缆或高速光缆进行连接。

如图2所示，其中单板0为主控板，单板1为备板。每个单板中，CPU通过FPGA模块中的内存控制器读取本板内存中的数据以及向本板中的内存写数据。当向内存中写入数据时，主控板CPU通过主控板FPGA模块中的内存控制器写本板内存；主控板FPGA中的内存控制器将备份数据通过主、备板间的高速光缆或高速电缆发送到备板FPGA模块后，备板FPGA模块通过其中的内存控制器将备份数据写入到备板上与主控板上内存中备份数据地址相同的地址空间中。

单板在接收数据时，将收到的数据帧通过FPGA模块中的高速接口控制器实现串并转换，分离出不同单板所对应的数据，将从一个方向上(一个接收接口B)接收的数据通过串并转换后，进行处理，在另一个方向上(另一个接收接口A)将要发送的数据进行并串转换后进行发送。

在每个单板的FPGA模块中，还包括主备板设置模块，用于通过检测各个单板的主备标识位传送的逻辑标识，设置和识别主控板和备板。

逻辑标识，是用于标记各个单板的标识。

主备标识位，是用于标记各个单板中那个单板为主控板，那个单板为备板的主备标识位。

单板还包括延迟计时器，用于延迟主备标识位发送逻辑标识的时间，使不同单板在不同的时间内发送主备标识位。

参考图3下面详细说明分布式热备份逻辑设备的在系统启动时主备板设置方法过程：

步骤A：分布式热备份逻辑设备中的单板之间在不同的延时通过FPGA模块中的高速接口的主备标识位发送逻辑标识到其它单板；

一般地，如果分布式热备份设备中各个单板中的FPGA参数配置完毕(可以是人工配置参数)，其就会根据配置的参数开始发送数据帧，数据帧中包括主备标识位。例如，在当系统启动时，4块单板同时上电，4块单板同时发送数据帧。

同时，每块单板启动一延迟计时器，延迟的时间可以是在预定范围内的随机值，尽量保证不会同时出现延时发送数据帧相同的单板。

如图3中所示，逻辑标识为1的单板的延迟计时器延迟的时间最短，其次是逻辑标识为0的单板，再其次是逻辑标识为2单板，延迟时间最长的是逻辑标识为3的单板。

本实施例中采用在每块单板的每个高速接口上都在固定的1个位置，即主备标识位，发送特定位置单板的逻辑标识。在不失一般性的情况下，如图1所示，每个单板的逻辑标识可以简单地用0-3来表达。在每个单板发送的每一帧中的主备标识位上都带有该单板的逻辑标识。逻辑标识通常根据单板数量，由至少两个以上比特构成，例如只有二个单板，则逻辑标识可以为2个比特，第1个单板用00表示，第2个单板用01表示；四个单板时，则逻辑标识可以为三个比特，第1个单板用000表示，第2个单板用001表示，第3个单板用010表示。

当然，也可以使用单板网卡的MAC地址作为逻辑标识，则需要6*8＝48比特来表示，这样意味着每48帧可以识别一个单板，考虑到即使48帧所累计的时间也不过几十个ns，所以这种方法也是非常有效的。

为了尽可能将带宽用到真正需要传输的数据上去，发送主备标识位的位置在每帧中可以只占用1比特(当然也可以是几个比特，或与逻辑标识的比特数相同)。例如，采用有四块单板结构的分布式热备份逻辑设备，则帧结构可以是：将每一帧分为9个段，其中有4个数据段(每段的比特数根据FPGA模块中的高速接口的带宽来确定，可以灵活调整)，每个数据段包含对应逻辑标识单板的数据，另外有对应的4个数据段(实际可以采用每个数据段1bit)用于传输物理标识，以判断每个数据段上的数据是否发生冲突；另外有1个数据段(实际上可以采用1个比特或多个比特位宽)，也可以称之为主备标识位，用于传输主备标识位。

如果在分布式热备份逻辑设备中，错误配置参数时，如错误将两块单板的逻辑标识配置相同，一般地，由于高速接口收发数据是同时进行的，如果在配置参数中错误将两块单板的逻辑标识配置相同，则有可能会导致两个逻辑标识相同的单板同时成为主控板，导致数据传输错误。为了解决这个问题，本发明实施例中可以采用一个比较简单的方法进行保证。

即较佳地，所述步骤A还包括下列步骤：使高速接口收发具有逻辑标识的数据帧不再同步，始终有先后。

这样，当两个高速接口上的逻辑标识都有效，参数配置有错误时，则一个高速接口向另一个高速接口对应位置发送无效比特，也就是全1，即配置参数错误，导致两个逻辑标识相同的单板同时成为主板，这时，FPGA关闭高速接口的主备标识位发送。当单板FPGA发现高速接口由故障恢复后，随机确定开始发送本板逻辑标识的时机，该等待时间至少10ms，最长1000ms。

步骤B：单板在接收到其它单板发送来的主备标识位后，根据主备标识位的有效性，将本板设置为主控板或者备板。

单板在接收到其它单板发送来的主备标识位后，根据主备标标识位的有效性，判断其它单板发送来的主备标识位是否为有效主备标识位；如果检测判断其它单板发送来的主备标识位为无效主备标识位，则将该单板设置为主控板，在FPGA模块的高速接口上的主备标识位发送该单板的逻辑标识，说明该单板为主控板；否则，设置该单板为备板，完成分布式热备份逻辑设备的主备板设置过程。

在主控板没有确定之前，在主备标识位上发送特定位，如全为1，也就是说如果所有单板发送的数据帧中在主备标识位上全为1则意味着还未选出主控板，数据帧无效。

当一块单板的FPGA模块发现其高速接口上获得的其它单板的数据帧中主备标识位上不全为1时(其可以为所述其它单板的逻辑标识)，说明数据帧已经有效，可以判断已经有其它单板抢到了主控板。否则该单板就可以根据条件将自己升级为主控板，该条件可以是延迟一段时间后将自己升级为主控板。也可以是根据优先级设定自己为主控板，如检测到自己的优先级在所有单板中的级别最高，则设定为主控板。并在数据帧中发送自己的逻辑标识。

在每一帧中的主备标识位，可以发送作为主控板的单板的逻辑标识，来确定哪个单板作为主控板，在主备标识位只有1比特的情况下，每帧中只能发送逻辑标识的1个比特，当收到第1只主备标识位为0时，开始确定已经选出主控板，则主备标识位有效，根据逻辑标识的比特数，连续接收后面的主备标识位，在收到逻辑标识比特数减1相同的帧数时，根据收到的收到的主备标识位确定当前主控板的逻辑标识。

如果此前检测到在主备标识位上没有其它单板发送的有效主备标识位，则在高速接口上的主备标识位发送本板的逻辑标识“001”，说明其现在是主控板，通过主备标识位发送本板的逻辑标识001，其它单板检测到主备标识位第一帧为0，则确定已经选出主控板，并继续接收后续的单板1的第二和第三帧，根据第二和第三帧中的主备标识位01，确定主控板为001，即主控板为单板1，否则，如果此前检测到在主备标识位上有其它单板发送的有效主备标识位，则设置本板为备板，同时，在主备标识位的所有比特位上均发送1，完成分布式热备份逻辑设备的主备板设置过程，抢主过程结束。

同时，非主控板可以把已经收到的主控板逻辑标识转发给其它单板，这样，当单板发现已有主控板标识时，就将本板设置为备用状态。

较佳地，本发明的分布式热备份逻辑设备的主备板设置过程，在主备板已经设置，分布式热备份逻辑设备运行过程中，当主控板发生故障，需要重新设备主控板与备板时，则有如下两种方法可以进行主备板设置：

步骤C：主控板发生故障，但各个单板之间的FPGA模块中的高速接口并没有断链，备板检测不到有效主备标识位后，备板之间通过通信重新设置主备板。

其可以有两种方法重新设置主备板：

步骤C1：即第一种方法，是可以采用自由竞争的主备板设置方法。即重复步骤A～B进行主备板设置。

当主控板发生故障，但FPGA模块中的高速接口并没有断链，主控板始终可以发送主备标识位，但备板接收不到有效主备标识位，处于备用状态的单板检测不到有效主备标识位，即收到的数据帧中在主备标识位上的是全1的序列，则判断为主控板故障，就与系统启动时的主备板设置过程一样，重复步骤A～B进行主备板设置，各处于备用状态的单板开始启动延时计时器，进行延时抢占主控板，延长的时间可以是随机产生。延时抢占会导致一定的倒换延时(几十ms级)，在此期间系统无法接入新的用户。

步骤C2：即第二种方法，是基于轮转的主备板设置方法。即根据其它可以升级为主控板的单板的逻辑标识的优先级确定主控板，并直接在FPGA模块的高速接口的主备标识位上发送主控板逻辑标识通知其它单板。

在这种方法中，所有的单板在组成分布式热备份逻辑设备时，都进行逻辑标识的顺序标号，若本次的主控板为逻辑标识为N的单板，该主控板在主备逻辑标识位上发送的逻辑标识为N，则当主控板发生故障，备板检测不到有效主备标识位后，其余的可以升级为主控板的单板的逻辑标识依次为(N+1)MOD4、(N+2)MOD4、(N+3)MOD4。由于非主控的其它单板都知道刚才的主控板逻辑标识，再加上当前系统中存在的单板，就可以清楚地确定本单板处于优先级中的哪一级。如果是第一级，则直接开始在高速接口的主备标识位发送自己的单板逻辑标识通知其它现存单板目前谁是主控板。如果将有故障的单板修复后，则可通过重新设置每个单板的逻辑序列号，继续工作。

步骤D：当主控板发生故障，各个单板之间的FPGA模块中的高速接口断链，至少两块单板之间无法通信联系，则分别按步骤C确定两个主控板，通过人工干预连接通信后，根据两个主控板的逻辑标识大小设置主备板。当两块板之间的互联线都出现故障，两块单板无法联系，它们都以主控方式运行时(由于每块单板都有专门的接口连接到业务处理板，如果两块板之间的所有接口都损坏，则两个单板之间不能进行通信，但是都可以和业务处理板进行通信)，则产生了冲突，此时需要用户干预，加上高速接口线，更换单板。互连线就是高速接口线。处理时一般情况下两块板是同时上电，此时两块板之间的高速接口通道会变好。这句话的意思是说，两个单板都做主控板运行时，用户发现了，然后直接用好的高速接口线将两块单板进行连接。并且两块单板同时会在高速接口的主备标志位上看到对方的逻辑标识(注意高速接口是收发分离的，所以可以同时看到)，此时每个单板判断从高速接口上接收到的与其相连的单板的逻辑标识与本单板的逻辑标识的大小，哪个逻辑标识大就让哪个降为备用(当然也可以反过来，将逻辑标识小的降为备用)。

由于高速接口一对通降级就自动完成，所以不会影响新业务的接入，但是在被降级单板上的业务可能被终止。可以理解，以上所述的具体实施方式仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种分布式热备份逻辑设备，包括至少2个单板，其中1个单板用作主控板时，其它单板用作备板，其特征在于，

所述多个单板形成无背板连接的分布式逻辑结构；

每个单板至少包括一个FPGA模块，所述FPGA模块具有两个接口，每个高速接口用于连接其它的一个单板，使得每个单板都向与它邻近的两块单板发送和接收信息，分配有固定的通道进行数据的发送，接收其它单板发送的数据，进行数据备份处理。

2.根据权利要求1所述的分布式热备份逻辑设备，其特征在于，所述FPGA模块中，还包括主备板设置模块，用于通过检测各个单板的主备标识位传送的逻辑标识，设置和识别主控板和备板。

3.根据权利要求2所述的分布式热备份逻辑设备，其特征在于，所述单板还包括延迟计时器，用于延迟主备标识位发送逻辑标识的时间，使不同单板在不同的时间内发送主备标识位。

4.一种分布式热备份逻辑设备的主备板设置方法，其特征在于，包括下列步骤：

步骤A：分布式热备份逻辑设备中的单板之间通过FPGA模块中的高速接口的主备标识位发送单板逻辑标识到其它单板；

步骤B：单板在接收到其它单板发送来的主备标识位后，根据主备标识位的的有效性，将本板设置为主控板或者备板。

5.根据权利要求4所述的主备板设置方法，其特征在于，所述步骤B包括下列步骤：

步骤B1：单板判断其它单板发送来的主备标识位是否为有效主备标识位；

步骤B2：如果检测判断其它单板发送来的主备标识位为无效主备标识位，则将该单板设置为主控板，在FPGA模块的高速接口上的主备标识位发送该单板的逻辑标识，说明该单板为主控板；否则，设置该单板为备板，完成分布式热备份逻辑设备的主备板设置过程。

6.根据权利要求4或5所述的主备板设置方法，其特征在于，所述步骤A之前进一步包括：

步骤A1：当单板上电启动时，启动延迟计时器，延迟的时间为在随机值，保证不会同时出现延时发送数据帧相同的单板。

7.根据权利要求4或5所述的主备板设置方法，其特征在于，步骤A中所述FPGA模块的高速接口收发具有逻辑标识的数据帧不同步，始终有先后。

8.根据权利要求4或5所述的主备板设置方法，其特征在于，所述方法进一步包括：

步骤C：当主控板发生故障，但各个单板之间的FPGA模块中的高速接口并没有断链，备板检测不到有效主备标识位后，重复步骤A～B进行主备板设置；或者，根据其它可以升级为主控板的单板的逻辑标识的优先级确定主控板，并直接在高速接口的主备标识位发送主控板逻辑标识通知其它单板。

9.根据权利要求8所述的主备板设置方法，其特征在于，还包括下列步骤：

步骤D：当主控板发生故障，与各个单板之间的FPGA模块中的高速接口断链，则各个单板之间分别按步骤C设置两个主控板，通过人工干预将原主控板连接通信后，根据两个主控板的逻辑标识大小设置主备板。

10.根据权利要求4或5所述的主备板设置方法，其特征在于，所述主备标识位为1比特。

11.根据权利要求10所述的主备板设置方法，其特征在于，所述逻辑标识为至少2比特或者单板网卡的MAC地址。