CN114124650A - 一种sptn网络控制器主从部署方法 - Google Patents

Abstract

本发明公开了一种SPTN网络控制器主从部署方法，该方法的控制器通过静态预配置信息互相发现其他控制器，并动态调整增删控制器，基于优先级和当选时间的选举算法，确定唯一的主控制器和从控制器。主控制器和其他控制器之间通过心跳报文确定健康状态，当主控制器或从控制器出现故障时，剩余的控制器重新确定新的主控制器或从控制器进行代替，不受剩余控制器的数量限制。主控制器接收数据写请求，以全量和增量结合的方式复制给从控制器，从控制器以相同方式再复制给所有的其他控制器，同时通过序列化和压缩减少复制的数据量大小。控制器全部重启后，新的主控制器根据本地持久化的数据恢复到重启前的状态；控制器分裂合并，使用当选时间解决同时存在多个主控制器的选举问题，支持分片的任意划分，控制器数据最终可达到一致性。

Description

一种SPTN网络控制器主从部署方法

技术领域

本发明涉及SPTN（软件定义分组传送网）网络控制器主从部署技术领域，具体是一种SPTN网络控制器主从部署方法。

背景技术

SDN控制器是SPTN网络的核心，管理整个网络的全部资源，为了降低控制器单点故障给网络稳定运行带来的风险，通常需要多节点部署控制器组成一个分布式系统，采用主从或者负载均衡等技术管理网络资源，提升网络的可靠性。分布式系统的设计是SDN控制器多节点部署的关键技术，需要实现的功能包括控制器的发现、选举、复制、切换、重启、分裂合并等。

CAP定理是分布式系统的一个基本定理，即一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）这三个要素只能同时实现两点，不可能三者兼顾。CAP定理的约束使得当前的分布式系统主要分为CP型和AP型两大类，前者满足强一致性和分区容错性，后者满足高可用性和分区容错性。Paxos和Raft是分布式主从系统中使用率非常高的同一类共识算法，常用的开源SDN控制器ONOS和ODL，以及分布式存储系统ZooKeeper、和Etcd等均使用了这类算法。该类算法满足分布式系统的CAP定理中的C和P原则，具有较强的一致性和分区容错性，但是牺牲了一定的可用性。该类算法要求组成系统的全部节点健康的节点数量大于1/2时，系统才能正常运行，在某些使用场景中，无法满足要求，例如系统由双节点组成，1：1主从部署时，主节点失效后，从节点无法继续正常工作，起不到节点保护效果。另外，向基于该类算法的系统提交数据时，领导者节点必须收到超过1/2的跟随者节点应答后才认为数据提交成功，当系统节点数量较多时，数据提交效率下降。此外，该类算法还有领导者选举具有随机性，不适用于领导者选举可控的场景，以及不能同时向系统一次添加或删除多个节点等限制，不适合SPTN网络控制器部署。

发明内容

本发明的目的在于克服背景技术中的问题，而提供一种SPTN网络控制器主从部署方法。

实现本发明目的的技术方案是：

一种SPTN网络控制器主从部署方法，包括如下步骤：

1）控制器发现：基于节点标识预设置的静态发现方法，并支持运行时动态增删节点；系统中每个控制器启动后，通过预设置的控制器标识发现网络中存在的其他控制器；当系统选举出主控制器之后，通过向主控制器发送增加或删除控制器节点命令实现任意数量的控制器的动态增加和删除；

2）控制器选举：基于节点优先级和当选时间的非抢占选举方法，看成Bully算法的一个变种；控制器发现完成之后，根据预设置的控制器优先级完成初次选举，优先级高的作为主控制器，优先级次高的作为从控制器，其他的作为普通控制器；选举过程设置预当选主控制器的状态，在此期间允许后加入的更高优先级的控制器发起投票优先当选主控制器；选举完成之后，若新加入的高优先级控制器尚未当选主控制器或当选主控制器时间短，则不允许抢占已当选的主控制器；

3）控制器复制：基于节点角色的分级数据复制方法，并支持增量和全量两种模式；控制器选举完成之后，系统进入正常工作模式，主控制器接受数据提交，数据提交成功后，主控制器向从控制器复制数据，从控制器接收主控制器数据后，向所有的普通控制器复制数据；当控制器节点较多时，此种方式不会增加数据提交时间，也不会增加主控制器的负荷；

4）主控制器切换：基于1：1保护的主控制器切换，并支持重新选举；控制器选举完成之后，主控制器向从控制器和所有普通控制器周期发送心跳报文；当从控制器在连续几个周期内均未收到主控制器发送的心跳报文时，则从控制器判定主控制器失效，不需要选举自动升级为新的主控制器；当主控制器和从控制器同时失效时，剩余的全部有效的普通控制器重新根据优先级选举出新的主控制器；

5）从控制器切换：基于1：N保护的从控制器切换，控制器选举完成之后，主控制器向从控制器和所有普通控制器周期发送心跳报文；当主控制器在连续几个周期内均未收到某个控制器发送的心跳应答报文时，主控制器判定该控制器失效，若该控制器是从角色，主控制器在所有有效的普通控制器中选择优先级最高的任命为新的从控制器；

6）控制器重启：基于本地持久化的控制器重启，恢复到重启前的状态；

7）控制器分裂合并：基于当选时间的控制器分裂合并，当网络发生分片，系统中的控制器分裂成多个组成部分后，除主控制器所在的部分不需要选举外，其他每个部分重新选举出一个新的控制器，管理所在的网络分片，网络分片修复后，系统中的控制器合并到一起，重新根据当选时间选举出新的主控制器。

步骤1）中，所述的控制器发现，包括静态预配置控制信息和动态增删控制器。

步骤2）中，所述的控制器选举，包括基于优先级选举、预当选过渡状态、基于当选时间的非抢占选举。

步骤3）中，所述的控制器复制，包括全量和增量复制、分级复制、数据序列化和压缩。

步骤5）中，所述的主控制器复制，包括主控制器1：1备份、主从同时失效时重新选举主控制器、主控制器任命从控制器。

步骤7）中，所述的控制器分裂合并，包括任意分片划分和最终一致性。

本发明提供的一种SPTN网络控制器主从部署方法，该方法的可用性不受控制器节点的数量限制，同时支持1：1和1：N数量部署，控制器节点可以任意分裂合并。本方法引入普通节点角色，使用分级数据复制，节点数量越多，数据提交效率越高，主从切换速度越快。

附图说明

图1为SDN控制器主从部署方法示意图；

图2为SDN控制器单节点内部组成示意图；

图3为动态增加SDN控制器节点示意图；

图4为控制器选举流程示意图；

图5为控制器切换示意图；

图6为控制器复制示意图；

图7为控制器分裂合并示意图。

具体实施方式

下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。

实施例：

本实施例的一种SPTN网络控制器主从部署方法示例如图1所示，该主从系统由5个控制器组成，其中1个控制器担任主角色，1个控制器担任从角色，3个控制器担任普通角色，通过以太网互连。单个控制器的内部组成如图2所示，包括：接口模块、管理模块、选举模块、复制模块、持久化模块、和I/O模块。整个系统的实现的主要功能如下：

1、控制器发现：系统中的所有控制器标识（IP地址）通过配置文件预设置，每个控制器的配置文件内容相同，通过选举过程发送投票报文和投票应答报文互相发现彼此，并通过发送心跳报文和心跳应答报文维持。每个控制器启动后创建HTTP服务端监听其他控制器的连接请求，并创建HTTP客户端，用于控制器心跳、选举、和复制等过程发送HTTP报文。控制器报文的格式采用protobuf序列化数据接口，并对数据进行压缩处理后再发送，减少数据量，提高收发效率。在系统运行过程中，还可以通过主控制器的接口动态增加和删除控制器，以增加新的控制器为例，具体流程如图3所示。

2、控制器选举：组成系统的控制器分为3种角色：主、从、和普通。主和从角色各由一个控制器充当，其他的控制器均为普通角色。角色的选举根据优先级确定。每个控制器的优先级（8位整型）通过配置文件预设置，均不相同，值越小，优先级越高。选举流程如图4所示，控制器启动后，设置选举定时器，该定时器到期后，发起选举，发送携带自己优先级的投票报文，并设置预当选定时器。收到投票报文的控制器比较发送者的优先级和自己的优先级，如果自己优先级低，则赞成投票，跟随发起选举的控制器；否则，反对投票，自己发起新的一轮选举。在预当选定时器到期后，如果某个发起选举的控制器没有收到任何更高优先级的控制器发送的投票报文，说明全体同意，该控制器正式当选主控制器。

3、主控制器切换：主控制器切换如图5所示，系统运行过程中主控制器定时给从控制器和普通控制器发送心跳报文，主控制器将在线的节点信息携带在心跳报文中通告给其他控制器，系统保持的HTTP连接数量最小。当主控制器失效，心跳报文发送停止。连续几个（可配置）周期未收到心跳报文后从控制器选举定时器最先到期（比普通控制器的选举定时器时间短3个周期），从控制器直接升级为新的主控制器，继续发送心跳文给普通控制器，普通控制器收到心跳报文后，重新跟随新的主控制器。新的主控制器重新任命普通控制器中优先级最高的控制器作为新的从控制器。如果主和从控制器同时失效，剩下的普通控制器在选举定时器到期后，重新发起选举，选举出新的主控制器。

4、从控制器切换：系统运行过程中主控制器定时给从控制器和普通控制器发送心跳报文，从和普通控制器发送心跳应答报文给主控制器。当从控制器失效后，主控制器连续几个周期未收到从控制器的心跳应答报文后，判定从控制器失效，重新在剩下的健康的普通控制器中任命优先级最高的为新的从控制器。

5、控制器复制：系统运行过程中主控制器负责接收数据读写请求，其他控制器复制主或从控制器的数据，并且只接收数据读取请求。控制器复制过程分为全量和增量两个阶段，如图6所示，第一个阶段是在新的选举完成之后，主控制器收到从控制器的全量复制请求后，复制数据给从控制器，从控制器转发全量复制给收到过全量复制请求的普通控制器；第二个阶段是全量复制完成之后，主控制器收到新的数据提交后主动增量复制给从控制器，从控制器再主动增量复制给所有的普通控制器。

6、控制器重启：系统运行过程中完成控制器复制后，所有控制器全部停机后重启，启动完成并选举出新的主控制器之后，主控制器根据本地持久化存储的数据恢复出重启前的状态。数据的持久化采用key/value（键/值）形式存储，根据key读写value，每个key唯一。

7、控制器分裂合并：如图7所示，系统运行过程中发生了网络分片（Partition），导致控制器群体分裂，即控制器群体被划分成若干个无法互连的部分，每个部分由一个或多个控制器组成，分别重新独立选举出一个新的主控制器，管理所在网络分片。当选主角色的控制器记录当选时间，网络恢复后所有控制器又重新合并到一起，由于同时存在多个主控制器，根据当选主控制器的时间决定新的主控制器，当选时间最长的控制器继续选举为新的主控制器。网络分裂合并过程中，控制器可管理的整个网络资源未发生变化，资源的管控权进行了重新分配，通过控制平面和转发平面的同步，以及控制器复制，数据最终可达到一致性。

Claims (6)

1.一种SPTN网络控制器主从部署方法，其特征在于，包括如下步骤：

1）控制器发现：基于节点标识预设置的静态发现方法，并支持运行时动态增删节点；系统中每个控制器启动后，通过预设置的控制器标识发现网络中存在的其他控制器；当系统选举出主控制器之后，通过向主控制器发送增加或删除控制器节点命令实现任意数量的控制器的动态增加和删除；

2）控制器选举：基于节点优先级和当选时间的非抢占选举方法，看成Bully算法的一个变种；控制器发现完成之后，根据预设置的控制器优先级完成初次选举，优先级高的作为主控制器，优先级次高的作为从控制器，其他的作为普通控制器；选举过程设置预当选主控制器的状态，在此期间允许后加入的更高优先级的控制器发起投票优先当选主控制器；选举完成之后，若新加入的高优先级控制器尚未当选主控制器或当选主控制器时间短，则不允许抢占已当选的主控制器；

3）控制器复制：基于节点角色的分级数据复制方法，并支持增量和全量两种模式；控制器选举完成之后，系统进入正常工作模式，主控制器接受数据提交，数据提交成功后，主控制器向从控制器复制数据，从控制器接收主控制器数据后，向所有的普通控制器复制数据；当控制器节点较多时，此种方式不会增加数据提交时间，也不会增加主控制器的负荷；

4）主控制器切换：基于1：1保护的主控制器切换，并支持重新选举；控制器选举完成之后，主控制器向从控制器和所有普通控制器周期发送心跳报文；当从控制器在连续几个周期内均未收到主控制器发送的心跳报文时，则从控制器判定主控制器失效，不需要选举自动升级为新的主控制器；当主控制器和从控制器同时失效时，剩余的全部有效的普通控制器重新根据优先级选举出新的主控制器；

5）从控制器切换：基于1：N保护的从控制器切换，控制器选举完成之后，主控制器向从控制器和所有普通控制器周期发送心跳报文；当主控制器在连续几个周期内均未收到某个控制器发送的心跳应答报文时，主控制器判定该控制器失效，若该控制器是从角色，主控制器在所有有效的普通控制器中选择优先级最高的任命为新的从控制器；

6）控制器重启：基于本地持久化的控制器重启，恢复到重启前的状态；

7）控制器分裂合并：基于当选时间的控制器分裂合并，当网络发生分片，系统中的控制器分裂成多个组成部分后，除主控制器所在的部分不需要选举外，其他每个部分重新选举出一个新的控制器，管理所在的网络分片，网络分片修复后，系统中的控制器合并到一起，重新根据当选时间选举出新的主控制器。

2.根据权利要求1所述的一种SPTN网络控制器主从部署方法，其特征在于，步骤1）中，所述的控制器发现，包括静态预配置控制信息和动态增删控制器。

3.根据权利要求1所述的一种SPTN网络控制器主从部署方法，其特征在于，步骤2）中，所述的控制器选举，包括基于优先级选举、预当选过渡状态、基于当选时间的非抢占选举。

4.根据权利要求1所述的一种SPTN网络控制器主从部署方法，其特征在于，步骤3）中，所述的控制器复制，包括全量和增量复制、分级复制、数据序列化和压缩。

5.根据权利要求1所述的一种SPTN网络控制器主从部署方法，其特征在于，步骤5）中，所述的主控制器复制，包括主控制器1：1备份、主从同时失效时重新选举主控制器、主控制器任命从控制器。

6.根据权利要求1所述的一种SPTN网络控制器主从部署方法，其特征在于，步骤7）中，所述的控制器分裂合并，包括任意分片划分和最终一致性。

Images