CN109889390A - 转控分离场景下实现ha热备功能的方法 - Google Patents

Abstract

本发明涉及一种转控分离场景下实现HA热备功能的方法，所述的方法包括不调整iptables实现热备功能的步骤、动态自动调整iptables实现热备功能的步骤和避免形成双主控制面的步骤。采用了本发明的转控分离场景下实现HA热备功能的方法，能够正常形成主备HA热备，并且当“心跳线”异常形成双主后，也能够立即恢复一主一备的正常状态，不用多次修改DNAT至原来的配置，也避免了通过手动方式修改iptables导致无法及时更新的问题，避免了新用户无法及时上线，该转控分离场景下实现HA热备功能的方法适用范围广泛。

Description

转控分离场景下实现HA热备功能的方法

技术领域

本发明涉及网络通信领域，尤其涉及服务器集群系统领域，具体是指一种转控分离场景下实现HA热备功能的方法。

背景技术

在运营商的转控分离(Control plane、User plane分离，简称CU分离)场景中，Base CP Service是整个系统的核心，它会总管接入用户的IP地址池分配、用户表管理等等。所以，为了整个系统的高可用性，必须要实现Base CP Service的HA热备份，即当主BaseCP Service宕机后，备Base CP Service能够立即升主，然后接管所有UP和表项管理。

在传统路由器的HA热备中，是两个主备CP(CP互相形成1：1备份)和一个DP，在主备CP与DP之间有内部互通的网络用来下发转发表项和收发协议报文。这个内部互通网络可以是二层，也可以是三层的网络。如果是二层的，那么可以直接使用MAC转发；如果是三层的，那么可以配置内部私网IP地址，即可实现互通。

但是在CU分离中，Base CP Service的HA与传统路由器CP的HA有些不同。

由于一整套CU分离设备能够支持大量的UP设备，可能达到200台，甚至更多，那么在Base CP Service与UP之间必须要有负载均衡器LB(可以使用开源的Nginx)，把不同UP通过VXLAN隧道上送的用户上线请求报文通过用户MAC地址进行哈希负载分担上送到不同Access CP Service上。同时，Access CP Servcie还需要回复用户协议报文。

Base CP Service与UP是物理上隔离的。一般情况下，Base CP Service和LB(Nginx)作为两个独立的虚机部署在数据中心IDC，而各个UP部署在各个城市区域。

IDC内部，通过私网三层互通Base CP Service和LB(Nginx)。然后IDC与各个城市区域的UP通过公网三层互通。

Base CP Service通过Openflow通道向UP下发用户表项。但是，LB只是做报文的透传，Openflow通道最终终结在Base CP Service，而不是LB上。

基于以上的几点因素，从UP触发的Openflow通道(TCP)和VXLAN隧道(UDP)的建立，都需要通过LB设备做NAT转换。那么，LB设备上需要通过iptables添加SNAT和DNAT设置，进行公网地址与私网地址的转换。比如，UP1与Base CP Service建立Openflow通道：

UP1->LB：Source：F，Dest：E

LB->CP1(DNAT)：Source：F，Dest：A

CP1->LB：Source：A，Dest：F

LB->UP1(SNAT)：Source：E，Dest：F

若CP1和CP2形成主备，当发生主备倒换的时候，CP的私网地址就由A变为B，那么LB也必须要跟着修改iptables把LB->CP1的DNAT修改为Source：F，Dest：B。同理，再次倒换回去的时候，LB的iptables还需要再次修改DNAT修改回原来的配置。如果通过手动方式去修改iptables就没法保证及时更新，新用户就无法上线。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种操作简便、效率高、适用范围广泛的转控分离场景下实现HA热备功能的方法。

为了实现上述目的，本发明的转控分离场景下实现HA热备功能的方法如下：

该转控分离场景下实现HA热备功能的方法，其主要特点是，所述的方法包括不调整iptables实现热备功能的步骤，包括以下步骤：

(1-1)部署用于HA机制的第一主备管理模块和第二主备管理模块以及与之对应的第一地址发布模块和第二地址发布模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP；

(1-2)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第一地址发布模块向linux内核创建MACVLAN虚接口，并设置固定的IP地址和MAC地址，向交换机周期性发送免费ARP；

(1-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(1-4)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第二地址发布模块向linux内核创建MACVLAN虚接口，并设置与之前相同的固定的IP地址和MAC地址，向交换机周期性发送免费ARP。

较佳地，所述的方法包括动态自动调整iptables实现热备功能的步骤，包括以下步骤：

(2-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(2-2)所述的第一主备管理模块向第三主备管理模块通知其为主CP，并通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables；

(2-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(2-4)所述的第一主备管理模块和第二主备管理模块向第三主备管理模块通知其主备角色，第二主备管理模块通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables。

较佳地，所述的方法包括避免形成双主控制面的步骤，包括以下步骤：

(3-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(3-2)所述的第二主备管理模块误判转变为主CP，向第三主备管理模块通知其为主角色；

(3-3)所述的第三主备管理模块检测到存在双主控制面，通知第二主备管理模块回退至备CP；

(3-4)所述的第二主备管理模块接收第三方决策点的通知，并回退至备角色。

较佳地，所述的步骤(1-2)中所述的第一地址发布模块通过与负载均衡集群相连的物理接口向linux内核创建MACVLAN虚接口。

较佳地，所述的步骤(2-2)和步骤(2-4)中第三主备管理模块设置iptables具体包括以下步骤：

(2.1)所述的第三主备管理模块将iptables的DNAT修改为当前主CP的IP地址。

采用了本发明的转控分离场景下实现HA热备功能的方法，能够正常形成主备HA热备，并且当“心跳线”异常形成双主后，也能够立即恢复一主一备的正常状态，不用多次修改DNAT至原来的配置，也避免了通过手动方式修改iptables导致无法及时更新的问题，避免了新用户无法及时上线，该转控分离场景下实现HA热备功能的方法适用范围广泛。

附图说明

图1为本发明的转控分离场景下实现HA热备功能的方法的组网示意图。

图2为本发明的转控分离场景下实现HA热备功能的方法的不调整iptables实现热备功能示意图。

图3为本发明的转控分离场景下实现HA热备功能的方法的动态自动调整iptables实现热备功能示意图。

图4为本发明的转控分离场景下实现HA热备功能的方法的避免形成双主CP示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该转控分离场景下实现HA热备功能的方法，其中包括以下步骤：

所述的方法包括不调整iptables实现热备功能的步骤，包括以下步骤：

(1-1)部署用于HA机制的第一主备管理模块和第二主备管理模块以及与之对应的第一地址发布模块和第二地址发布模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP；

(1-2)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第一地址发布模块向linux内核创建MACVLAN虚接口，并设置固定的IP地址和MAC地址，向交换机周期性发送免费ARP；

(1-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(1-4)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第二地址发布模块向linux内核创建MACVLAN虚接口，并设置与之前相同的固定的IP地址和MAC地址，向交换机周期性发送免费ARP。

所述的方法包括动态自动调整iptables实现热备功能的步骤，包括以下步骤：

(2-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(2-2)所述的第一主备管理模块向第三主备管理模块通知其为主CP，并通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables；

(2.1)所述的第三主备管理模块将iptables的DNAT修改为当前主CP的IP地址；

(2-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(2-4)所述的第一主备管理模块和第二主备管理模块向第三主备管理模块通知其主备角色，第二主备管理模块通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables；

(2.1)所述的第三主备管理模块将iptables的DNAT修改为当前主CP的IP地址。

所述的方法包括避免形成双主控制面的步骤，包括以下步骤：

(3-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(3-2)所述的第二主备管理模块误判转变为主CP，向第三主备管理模块通知其为主角色；

(3-3)所述的第三主备管理模块检测到存在双主控制面，通知第二主备管理模块回退至备CP；

(3-4)所述的第二主备管理模块接收第三方决策点的通知，并回退至备角色。

作为本发明的优选实施方式，所述的步骤(1-2)中所述的第一地址发布模块通过与负载均衡集群相连的物理接口向linux内核创建MACVLAN虚接口。

本发明的具体实施方式中，本发明会提供两种方案，能够做到Base CP Service发生主备倒换的时候，无需手动调整LB的iptables配置，从而实现主备HA热备功能。

本发明的技术方案中Base CP Service和CP指基础控制平面服务，Base CPService是指基础控制面服务实例，一般简称大CP，或者基础CP；UP指用户平面；HA指高可用性集群；LB指负载均衡集群；CU指转控分离；ASM指主备管理模块；ADM指地址发布模块；HA热备指的是如下情况：两台设备同时工作，但是只有主设备提供用户接入，另外一台处于备状态。只有主设备故障后，备设备升主并接替。

本发明提供的方案是解决在CU分离场景中，Base CP Service(基础控制平面服务实例，后续简称CP)与多个UP(用户平面)通过交换机和负荷分担器LB相连时，Base CPService的HA热备机制。此时每个UP同一时间只能与主CP相连。

而对比文件1中的方案，提供的是UP的HA主备。CP通过两个UP的优先级判断，选取其中一个作为主UP，一个作为备UP。

方案一：

首先，在两个Base CP Service所在的虚机中分别部署用于HA机制的模块，此处把它叫做主备管理模块(简称ASM)。同时，也分别部署新的地址发布模块(简称ADM)。

ASM正常确定Base CP Service的主备HA角色，然后主CP的ASM联动通告ADM。ADM会在与LB相连的物理接口上向linux内核创建MACVLAN虚接口，并为它设置上固定的IP地址和MAC地址。然后，周期性的从该物理接口发送免费ARP，便于交换机学习MACVLAN虚接口的MAC表。

当Base CP Service发生主备倒换，ASM联动通告该虚机上的ADM主备角色发生变化。备CP上的ADM删除MACVLAN接口，停止发送免费ARP；主CP上的ADM同样在与LB相连的物理接口上向linux内核创建MACVLAN虚接口，并为它设置上固定的IP地址和MAC地址。然后，周期性的从该物理接口发送免费ARP，便于交换机学习MACVLAN虚接口的MAC表，更新到最新的接口。

这样，LB可以提前设置好DNAT，接收到UP的报文后，修改目的地址为刚配置的固定IP即可，就算发生主备倒换，也不用跟着修改iptables。

方案二：

在LB上新增ASM模块，它分别与主备CP上的ASM建立两个连接。Base CP Service上的ASM把IP地址和MAC地址通告给LB上ASM，便于它配置iptables：把DNAT设置为主CP上的IP地址。

当Base CP Service发生主备倒换，ASM及时联动通告LB上的ASM它们的角色发生变化。ASM会根据角色值，把iptables的DNAT修改为当前主CP上的IP地址。

主备双主解决方案：

在LB上新增ASM模块，它分别与主备CP上的ASM建立两个连接。当CP1-CP2之间的“心跳线”异常，导致CP2上的ASM误判而升主形成双主的时候，ASM会及时通知LB上的ASM它的角色变为主了。

此时，LB上的ASM会发现Base CP Service已经形成双主，但是它仍然使用原先的主CP不修改LB上的iptables DNAT。同时，它向错误升主的ASM发送回应，通知它需要回退到之前的备角色。

Base CP Service上的ASM根据通知重新回退到备角色，这样再次恢复到一个主CP，一个备CP的正常状态。

方案一具体操作步骤如下：

能够做到Base CP Service发生主备倒换的时候，无需手动调整LB的iptables配置。

主备管理模块(简称ASM)驻留在CP1和CP2虚机中。当环境中为Base CP Service开启主备HA后，ASM通过内部网络(心跳线)和内核收发包进行主备角色的协商，确认主备角色。

假设ASM协商CP1为主，CP2为备。那么，主CP1上的ASM会联动通告地址发布模块(简称ADM)当前CP角色为主。

ADM接收到角色主事件后，在地址A的物理接口上向linux内核创建MACVLAN虚接口，并且设置IP地址A’，MAC地址mac1。然后，开启周期性定时器T在该物理接口上发送免费ARP。

这样，Base CP Service与LB之间的交换机上就会学习到mac1的MAC表，此时该mac的接口为与CP1连接的接口。

当CP1发生异常，比如：虚机宕机，基础业务进程crash等，ASM都会触发主备倒换，此时CP2备升主，而CP1主降备。

CP1上的ASM联动通知ADM降备事件，然后ADM关闭周期定时器T，并且删除MACVLAN虚接口。CP2上的ASM联通通知ADM升主事件，然后ADM同理在地址B的物理接口上向linux内核裁剪MACVLAN虚接口，并且设置IP地址A’，MAC地址mac1(保持与CP1上设置的相同)。然后，开启周期定时器T再改物理接口上发送免费ARP。

此时，当Base CP Service与LB之间的交换机接收到新的免费ARP时，交换机会更新mac1的MAC表，把该mac的接口更新为与CP2连接的接口。

这样，LB上iptables的DNAT只需要配置为：Source：F，Dest：A’。Base CP Service发生主备倒换也无需修改。

方案二具体操作步骤如下：

在Base CP Service之间有内部网络保证ASM模块之间的三层互通，在传统路由器上两个CP是机架背板交换机提供的互通，但是在NFV虚拟化的今天，这些CP可能都是虚拟机，它们可能是在一台物理宿主机上、也可能在不同的物理宿主机上(甚至这两个宿主机可能都不在同一个机房)、也可能是在云上。那么Base CP Service之间的“心跳线”就不是简单的一根网线或者网线直连了，而是经过多个路由器的三层网络互通了。随之而来的问题就是：“心跳线”可能异常丢包，从而导致ASM模块检测到保活超时，误判对端CP已经宕机，那么原本为备角色的ASM就会自动升主，从而形成常见的双主现象。该现象会导致常见的表项学习错误、下发UP错误，从而UP不能正常转发流量，最终用户不能上线和上网。

该方案会借助与主备CP互联的LB设备：

仍然是图1的组网，Base CP Service开启主备HA后，假设ASM协商CP1为主，CP2为备。

在LB上新增ASM模块，它分别与主备CP上的ASM建立两个连接。这样，该ASM可以知道Base CP Service的主备角色。此时，ASM动态设置iptables DNAT：Source：F，Dest：A。

若是发生正常的主备倒换(CP2升主)，LB上的ASM会接收到CP的主备角色变化通知，那么它会及时的把iptables DNAT修改为：Source：F，Dest：B。这样也能够实现新的主CP与UP之间的互通，从而实现主备HA机制。

本发明提供一种方式解决CU分离场景中Base CP Service双主的方案。该方案会借助与主备CP互联的LB设备，虽然它们之间的网络也可能是不稳定的内部三层网络，但是增加了一个决策点可以规避双主问题。

仍然是图1的组网，Base CP Service开启主备HA后，假设ASM协商CP1为主，CP2为备。

在LB上新增ASM模块，它分别与主备CP上的ASM建立两个连接。这样，该ASM可以知道Base CP Service的主备角色。

当CP1-CP2之间的“心跳线”异常，导致CP2上的ASM误判而升主形成双主的时候，它会及时通知LB上ASM它的角色变为主了。

此时，LB上的ASM会发现Base CP Service已经形成双主，它仍然使用原先的主，也就是CP1作为主，那么就不需要修改iptables DNAT。同时，向CP2的ASM发送通知：需要回退到之前的备角色。

CP2上电ASM接收到第三方决策点的通知后立即回退到备角色。当“心跳线”恢复正常后，Base CP Service仍然保持之前的主备角色不变。这样就很好的解决了双主问题。

本发明提供的方案是解决在CU分离场景中，Base CP Service(基础控制平面服务实例，后续简称CP)与多个UP(用户平面)通过交换机和负荷分担器LB相连时，Base CPService的HA热备机制。此时每个UP同一时间只能与主CP相连。

本发明方案1是通过两个CP增加模块ADM，向交换机和LB提供一套固定不变的IP地址和MAC地址。方案2是通过在LB上增加模块ASM，那么两个CP和LB上的三个ASM互相形成全连接，从而LB上可动态感知CP的主备关系，而动态的修改iptables。

本发明在方案2基础上，又提供了一套解决CP双主问题。通过LB上的ASM模块，在CP形成双主的时候，能够快速的检测到并让错误升主的CP恢复到原先的备状态。

本发明方案1提供的是不用调整iptables的方法；方案2提供的是动态自动调整iptables方法，不是惯用技术手段。

在CU分离场景中，大部分厂商的LB都是自研的，那么它们就可以轻而易举的实现UP发起的Openflow通道和VXLAN隧道终结在LB上。从而LB再往上上送到CP的报文就是普通的私网-私网地址的报文了。而使用NGINX这样通过linux内核收发包的开源负荷分担器就需要通过设置iptables进行DNAT和SNAT才能实现UP和CP的互通(正文中描述过：CP-LB之间是私网地址，而LB-UP之间是公网地址)。如果CP HA热备是手动切换主备，那么到LB上手工切换设置iptables还有可能，但是CP如果是因为虚机异常、进程异常等原因触发的主备切换，那么就无法手工切换设置iptables，只能通过本发明提供的解决方案：根据CP的主备状态动态联动。

采用了本发明的转控分离场景下实现HA热备功能的方法，能够正常形成主备HA热备，并且当“心跳线”异常形成双主后，也能够立即恢复一主一备的正常状态，不用多次修改DNAT至原来的配置，也避免了通过手动方式修改iptables导致无法及时更新的问题，避免了新用户无法及时上线，该转控分离场景下实现HA热备功能的方法适用范围广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (5)

1.一种转控分离场景下实现HA热备功能的方法，其特征在于，所述的方法包括不调整iptables实现热备功能的步骤，具体包括以下步骤：

(1-1)部署用于HA机制的第一主备管理模块和第二主备管理模块以及与之对应的第一地址发布模块和第二地址发布模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP；

(1-2)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第一地址发布模块向linux内核创建MACVLAN虚接口，并设置固定的IP地址和MAC地址，向交换机周期性发送免费ARP；

(1-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(1-4)所述的第一主备管理模块和第二主备管理模块向与之对应的地址发布模块通知当前主备角色，所述的第二地址发布模块向linux内核创建MACVLAN虚接口，并设置与之前相同的固定的IP地址和MAC地址，向交换机周期性发送免费ARP。

2.根据权利要求1所述的转控分离场景下实现HA热备功能的方法，其特征在于，所述的方法包括动态自动调整iptables实现热备功能的步骤，具体包括以下步骤：

(2-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(2-2)所述的第一主备管理模块向第三主备管理模块通知其为主CP，并通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables；

(2-3)基础控制面发生主备倒换，确定第二主备管理模块为主CP以及第一主备管理模块为备CP；

(2-4)所述的第一主备管理模块和第二主备管理模块向第三主备管理模块通知其主备角色，第二主备管理模块通知其IP地址和MAC地址，所述的第三主备管理模块根据所述IP地址设置iptables。

3.根据权利要求1所述的转控分离场景下实现HA热备功能的方法，其特征在于，所述的方法包括避免形成双主控制面的步骤，具体包括以下步骤：

(3-1)部署用于HA机制的第一主备管理模块和第二主备管理模块，并确定第一主备管理模块为主CP以及第二主备管理模块为备CP，在负载均衡集群上新增第三主备管理模块且分别与第一主备管理模块和第二主备管理模块建立连接；

(3-2)所述的第二主备管理模块误判转变为主CP，向第三主备管理模块通知其为主角色；

(3-3)所述的第三主备管理模块检测到存在双主控制面，通知第二主备管理模块回退至备CP；

(3-4)所述的第二主备管理模块接收第三方决策点的通知，并回退至备角色。

4.根据权利要求1所述的转控分离场景下实现HA热备功能的方法，其特征在于，所述的步骤(1-2)中所述的第一地址发布模块通过与负载均衡集群相连的物理接口向linux内核创建MACVLAN虚接口。

5.根据权利要求1所述的转控分离场景下实现HA热备功能的方法，其特征在于，所述的步骤(2-2)和步骤(2-4)中第三主备管理模块设置iptables具体包括以下步骤：

(2.1)所述的第三主备管理模块将iptables的DNAT修改为当前主CP的IP地址。