CN110392111B - 一种基于数据中心的智能虚拟分布式路由器集群系统及其实现方法 - Google Patents

Abstract

本发明提供了一种基于数据中心的智能虚拟分布式路由器集群系统及其实现方法，包括运行在计算节点上的智能DVR代理模块，以及运行在控制节点上的智能DVR集群管理模块。每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态。集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理。本发明能够根据当前节点的物理资源以及负载配置，自动在3种模式之间进行切换，并判断数据包的流量类型，定义相应的标签，调用不同的发送单元将流量发送出去，简化了运维和部署机构，降低了系统的复杂度，为用户提供可靠稳定的网络服务。

Description

一种基于数据中心的智能虚拟分布式路由器集群系统及其实 现方法

技术领域

本发明涉及云计算数据处理技术领域，尤其涉及一种基于数据中心的智能虚拟分布式路由器集群系统及其实现方法。

背景技术

目前，企业在部署大规模数据中心openstack(云计算平台)环境时，考虑到虚拟机的数量以及用户的数量会很大，通常采用社区neutron(openstack云计算平台中负责集群网络功能的组件)的分布式路由器(Distributed Virtual Router,DVR)为租户的虚拟机提供东西向的内网路由以及南北向的外网访问能力。分布式路由技术是通过让计算节点自己来处理原先的大量东西向流量和非SNAT南北向流量(由被分配Floating IP的虚拟机与外部数据中心进行通信)。网络节点只需要处理占到一部分的SNAT流量，降低了数据中心的网络负载和整个云计算系统对网络节点的依赖。这种DVR分布式路由器通过在数据中心所有计算节点上额外添加一张连接公网的物理网卡将本物理节点上所有虚拟机的外网流量直接从该网卡发出去的方式减轻了传统集中式路由器的压力，提升了数据中心的网络性能。

但是，现有数据中心的DVR大多存在以下缺点：

1.数据中心除了要在计算节点上运行DVR外，还需要在网络节点上运行传统的集中式虚拟路由器，为没有外网IP(Internet Protocol)地址的虚拟机提供SNAT和DNAT功能。

2.计算节点物理机必须安装上额外的网卡连接到外部公网，同时占用一个数据中心的一个外网IP地址，造成物理资源以及外网IP资源的浪费。

3.现有DVR由于把租户的网络流量从每台虚拟机所在计算节点直接发出，较难像传统集中式路由器一样对该路由器整体做一些开发配置，比如对路由器总出口进行带宽限速，创建VPN(虚拟专用网络)隧道。

4.当计算节点物理机上的虚拟机使用公网流量超过本物理机上分布式路由器的出口带宽时，现有分布式路由器在高负载下将导致用户网络不稳定，表现为高丢包率、高延迟，对租户的使用体验造成很严重影响。

因此，需要一种结构简单、网络稳定的基于数据中心的智能虚拟分布式路由器集群系统及其实现方法。

技术术语：

Openstack：一种云计算平台

Neutron:Openstack云计算平台中负责集群网络功能的组件

DVR：Distributed Virtual Router,一种软件实现的虚拟分布式路由器

DNAT：Destination Network Address Translation，目的地址转换，作用是将一组本地内部的地址映射到一组全球地址，即把外网地址转换成私网地址，通过端口映射实现从外网可以访问内部的机器。

SNAT：Source Network Address Translation，是源地址转换，其作用是将ip数据包的源地址转换成另外一个地址，即把计算机的私有地址转换成公网地址。

NAT:Network Address Translation，网络地址转换，它是一个IETF(InternetEngineering Task Force,Internet工程任务组)标准，允许一个整体机构以一个公用IP地址出现在因特网上。简单地说，NAT就是在局域网内部网络中使用内部地址，而当内部节点要与外部网络进行通讯时，就在网关处，将内部地址替换成一个公用地址，从而在外部公网(internet)上正常使用，NAT可以使多台计算机共享Internet连接，这一功能很好地解决了公共IP地址紧缺的问题。

发明内容

为了解决上述问题，本发明提供一种基于数据中心的智能虚拟分布式路由器集群系统及其实现方法，能够根据本计算节点当前的网络功能以及集群状态，智能决策流量路径，简化了运维部署以及减少资源浪费。

为实现上述目的，本发明提供了一种基于数据中心的智能虚拟分布式路由器集群系统，包括：

运行在计算节点上的智能DVR代理模块，以及运行在控制节点上的智能DVR集群管理模块；

每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态；

集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理。

可选地，计算节点上的DVR代理模块根据本节点当前的网络功能以及集群状态，自动选择流量路径。

可选地，运行在计算节点上的智能DVR代理模块包括3种模式：其中，模式一包含内网网络接口，模式二和三包含内网网络接口和外网网络接口。

可选地，模式一、二和三之间根据当前计算节点上的虚拟机是否需要高级网络功能进行互相切换。

可选地，智能DVR代理模块包括：

管理单元，定时上报当前状态给集群管理模块，同时接收集群管理模块下发的模式切换指示；

模式切换单元，根据当前计算节点的硬件配置、当前计算节点虚拟机功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；

流量接收单元，接收网络流量数据包，判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量。

内网转发单元，将一DVR代理模块的流量发送到集群中另一DVR代理模块的虚拟机。

外网中继单元，将一DVR代理模块的待NAT流量发送到集群中另一DVR代理模块。

可选地，模式二还包括外网DNAT单元，外网DNAT单元将接收单元收到的外网DNAT流量，通过外网网卡发出。

可选地，模式三还包括外网NAT单元，外网NAT单元将接收单元收到的外网NAT流量从外网网卡发出。

可选地，若智能DVR代理模块判断流量不适合从本节点发出，通过内网转发单元将流量转发给另一DVR代理模块。

可选地，若智能DVR代理模块处于模式一时，本节点虚拟机发出的外网流量通过外网中继单元传递给处于模式二或三的智能DVR代理模块。

此外，本发明还提供了一种基于数据中心的智能虚拟分布式路由器集群系统的实现方法，包括：

每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态；

集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理；

根据当前计算节点的硬件配置、当前计算节点虚拟机的功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；

判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量。

本发明的优点和有益效果在于：相比现有的数据中心虚拟路由器系统，本发明提供了一种智能虚拟分布式路由器集群系统及其实现方法，包括运行在计算节点上的智能DVR代理模块，以及运行在控制节点上的智能DVR集群管理模块。智能DVR代理模块包括3种模式，能够根据当前节点的物理资源以及负载配置，自动在3种模式之间进行切换，并判断数据包的流量类型，定义相应的标签，调用不同的发送单元将流量发送出去。同时，本发明取消了传统网络节点中专门用于网络节点的集中式虚拟路由器，网络节点不再需要部署传统的集中式虚拟路由器，只需要运行一个简单的集群管理模块，就可以为系统运维和管理人员提供了从底层直接管理所有计算节点智能DVR的接口。系统运维人员以及管理员仅需要通过控制节点的集群管理端就可以了解到数据中心的网络状况，并可以对有问题的智能路由器做实时调整，简化运维和部署机构，降低了系统的复杂度。当某个计算节点上的虚拟机欲发送需要传统网络节点集中式虚拟路由器的流量时，当前节点的智能分布式路由器会根据3种模式的功能进行转发，分散了用户虚拟机的内网外网流量，为用户提供可靠稳定的网络服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例的部分介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了本发明一实施例的智能虚拟分布式路由器集群系统结构示意图。

图2示意性示出了本发明一实施例的智能DVR代理模块处于模式一的结构示意图。

图3示意性示出了本发明一实施例的智能DVR代理模块处于模式二的结构示意图。

图4示意性示出了本发明一实施例的智能DVR代理模块处于模式三的结构示意图。

图5示意性示出了本发明一实施例的智能DVR代理模块中模式切换的示意图。

图6示意性示出了本发明一实施例的智能DVR代理模块之间流量转发流程的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在一实施例中，如图1，本发明提供了一种基于数据中心10的智能虚拟分布式路由器集群系统，包括两部分：

运行在计算节点上的智能DVR代理模块(DVR agent模块)，以及运行在控制节点上的智能DVR集群管理模块。例如，在计算节点1、计算节点2、计算节点3上均包含智能DVR代理模块102，在控制节点100上只需一智能DVR集群管理模块101。

数据中心中所有智能DVR代理模块组成一个集群；

每个DVR代理模块102定时上报本模块的运行状况到控制节点的智能DVR管理模块101上，所述运行状况包括本DVR代理模块102当前运行的模式和/或负载状态；

集群管理模块101记录接收到的代理模块102上报的信息，并提供给系统管理员进行查看，同时提供接口供实时调整以及管理，以维护这些计算节点上的智能DVR代理模块。管理员可登陆管理模块管理各DVR代理模块的运行。

在一实施例中，计算节点上的DVR代理模块在转发虚拟机的流量时，DVR代理模块根据本节点当前的网络功能以及集群状态，自动选择流量路径。若判断流量不适合从本节点发出，智能DVR代理模块通过内网转发单元将流量转发给另一可以处理这种流量的DVR代理模块。在这种配置下，无须像传统openstack DVR环境中那样，需要为每个计算节点都安装外网网卡以及需要在网络节点设置集中式虚拟路由器。

在一实施例中，运行在计算节点上的智能DVR代理模块包括3种模式：其中，模式一包含内网网络接口，模式二和三包含内网网络接口和外网网络接口，参见智能DVR代理模块的模式类型表(表1)：

表1

模式	计算节点硬件需要
		mode 1	内网网络接口
mode 2/3	内网网络接口，外网网络接口

因此，Mode 1模式的智能DVR agent在计算节点上只需要内网网络接口，功能上只包含有:

(1).与控制节点DVR集群管理程序通信；

(2).流量接收功能；

(3).内网流量转发功能；

(4).外网流量中继功能。

Mode 2模式的智能DVR代理模块102在硬件上需要内网网络接口和外网网络接口，Mode2功能上包括：

(1).与控制节点DVR集群管理程序通信；

(2).流量接收功能；

(3).内网流量转发功能；

(4).外网流量中继功能；

(5).外网流量DNAT功能。

Mode 3模式的智能DVR代理模块102在硬件上也需要内网网络接口和外网网络接口，包含以下功能：

(1).与控制节点DVR集群管理程序通信；

(2).流量接收功能；

(3).内网流量转发功能；

(4).外网流量中继功能；

(5).外网流量DNAT功能

(6).外网流量NAT功能。

上述三种模式之间可以根据当前计算节点上的虚拟机是否需要高级网络功能进行互相切换。

在一实施例中，如图2所示，智能DVR代理模块102包括：管理单元1021、模式切换单元1022、流量接收单元1023、内网转发单元1024、外网中继单元1025。这些单元上述能够支持智能DVR代理模块102在模式一状态下运行。

在一实施例中，如图3所示，运行在模式二的智能DVR代理模块102还可包括外网DNAT单元1026，外网DNAT单元1026将接收单元1023收到的外网DNAT流量，从外网网卡发出。

在一实施例中，如图4所示，运行在模式三的智能DVR代理模块102还可包括外网NAT单元1027，外网NAT单元1027将接收单元1023收到的外网NAT流量从外网网卡发出。

以下将具体介绍智能DVR代理模块102中的各单元功能和工作过程：

管理单元1021，负责本DVR agent模块与集群管理模块之间的通信，定时上报当前状态给集群管理模块，同时接收集群管理模块下发的模式切换指令，指令功能参见表2。

表2

指令	作用
		Get status DVR ID	获取某个DVR agent的具体信息
Change mode 1/2/3	切换当前节点模式为1/2/3

模式切换单元1022，如图5所示，负责本智能DVR agent的模式切换功能，根据当前计算节点的硬件配置、当前计算节点虚拟机vm的功能需求和/或智能DVR集群管理模块的配置指令，判断切换运行状态为模式一、二或三。

例如：

(1).启动智能DVR agent时，该计算节点没有外网网络接口：

智能DVR agent则运行在mode 1模式下。

(2).智能DVR运行在mode 2模式时，用户在该节点上启动了虚拟机，并且需要使用网络的高级功能，比如NAT(网络地址转换)，VPN(Virtual Private Network，虚拟专用网络)，FW(Fire Wall，防火墙)，LB(Load Balance，负载均衡器)。

智能DVR agent则被切换到mode 3模式下为用户提供服务。

(3).智能DVR运行在mode 2，外网网络接口出现故障。

此时，由于外网网络接口故障，也无法运行mode 3模式。智能DVR agent切换到mode 1模式下为用户提供服务，原来需要进行DNAT功能的流量被智能DVR agent的外网中继单元发送到其他计算节点上的智能DVR agent进行协助发送，为用户服务的可靠性提供保障。

(4).智能DVR运行在mode 2，运维人员将节点上的外网网络接口进行升级。

同样，此时也无法运行mode 3模式。运维人员通过DVR集群管理程序告知智能DVRagent切换到mode 1，切换之后，运维人员进行外网网络接口升级，升级完毕再次通过DVR集群管理程序告知智能DVR agent切换到mode 2，完成服务不中断升级。简化运维。

流量接收单元1023，负责接收网络流量，在收到数据包之后，判断数据包的流量类型，定义相应的标签，调用不同的发送单元将流量发送出去。

流量接收单元1023收到的流量来源为：

(1).本计算机节点上虚拟机发出的网络流量；

(2).智能DVR集群中其他DVR agent内网转发单元发送到本节点上虚拟机的流量；

(3).智能DVR集群中其他DVR agent外网中继单元发送到本节点的待NAT流量。

接收单元1023在收到数据包之后，进行判断，打上不同的tag标签，调用不同的发送单元将流量发出。流量类型标签如表3：

表3

可以使用linux系统下的iptables(IP信息包过滤系统，属于一种命令行工具)给数据包打上tag：

iptables-t mangle-A mark-j MARK--set-xmark 0x2/0xffffffff

内网转发单元1024，将一DVR代理模块的流量发送到集群中另一DVR代理模块的虚拟机。

外网中继单元1025，将一DVR代理模块的待NAT流量发送到集群中的另一DVR代理模块。当本节点处于mode 1时，本节点虚拟机发出的外网流量需要通过外网中继单元1025传递给具有外网功能的mode2/3节点。

外网中继单元1025可以采用传统的linux路由表来实现，假设具有外网功能的节点智能DVR ip地址为A，执行以下配置：

匹配Tag为02的流量包；

ip rule add fwmark 0x02 table 200；

ip router add default via A。

外网DNAT单元1026，支持智能DVR代理模块102运行在模式二，将接收单元1023收到的外网DNAT流量，从外网网卡发出。外网DNAT单元1026，负责将Tag为03的数据包做DNAT从外网网卡发出，可使用iptables的DNAT功能实现。假设用户内网地址是A，外网DNAT是B，执行以下配置：

iptables-t nat-A dnat-d B-j DNAT--to-destination A。

外网NAT单元1027，支持智能DVR代理模块102运行在模式三，将接收单元1023收到的外网NAT流量从外网网卡发出。外网NAT单元1027负责将Tag为04的数据包做NAT从外网网卡发出，可使用iptables的NAT功能实现。假设用户设置的NAT地址为B，执行以下配置：

iptables-t nat-A nat-j SNAT--to-source B。

具体流量转发的一示例如图6所示，当一计算节点的智能DVR agent模块处于mode1(模式一)运行状态时，本节点虚拟机发出的外网流量需要通过其他智能DVR agent进行转发。各智能DVR agent模块之间的流量转发过程如下：

本节点虚拟机发出的外网流量由该节点的流量接收单元1023进行接收，但是该计算节点没有外网网络接口，则该计算节点的流量接收单元1023在收到数据包之后，进行判断，打上tag标签02，调用外网中继单元1025将流量传递给具有外网功能的mode2/3节点；

处于mode3运行状态的另一计算节点，通过流量接收单元1023接收到上述的流量，则该计算节点的接收单元1023在收到数据包之后，进行判断，打上tag标签04，调用外网NAT单元1026将流量从外网网卡发出。

此外，本发明还提供了一种基于数据中心的智能虚拟分布式路由器集群系统的实现方法，包括：

每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态；

集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理；

根据当前计算节点的硬件配置、当前计算节点虚拟机的功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；

判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考上述具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种基于数据中心的智能虚拟分布式路由器集群系统，其特征在于，包括：

运行在计算节点上的智能DVR代理模块，以及运行在控制节点上的智能DVR集群管理模块；

每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态，以及DVR代理模块根据当前计算节点的硬件配置、当前计算节点虚拟机的功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量；

集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理。

2.如权利要求1所述的系统，其特征在于，计算节点上的DVR代理模块根据本节点当前的网络功能以及集群状态，自动选择流量路径。

3.如权利要求1所述的系统，其特征在于，运行在计算节点上的智能DVR代理模块包括3种模式：其中，模式一包含内网网络接口，模式二和三包含内网网络接口和外网网络接口。

4.如权利要求3所述的系统，模式一、二和三之间根据当前计算节点上的虚拟机是否需要高级网络功能进行互相切换。

5.如权利要求1所述的系统，其特征在于，智能DVR代理模块还包括：

管理单元，定时上报当前状态给集群管理模块，同时接收集群管理模块下发的模式切换指示；

模式切换单元，根据当前计算节点的硬件配置、当前计算节点虚拟机的功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；

流量接收单元，接收网络流量数据包，判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量；

内网转发单元，将一DVR代理模块的流量发送到集群中另一DVR代理模块的虚拟机；

外网中继单元，将一DVR代理模块的待NAT流量发送到集群中另一DVR代理模块。

6.如权利要求5所述的系统，模式二还包括外网DNAT单元，外网DNAT单元将接收单元收到的外网DNAT流量，通过外网网卡发出。

7.如权利要求5所述的系统，其特征在于，模式三还包括外网NAT单元，外网NAT单元将接收单元收到的外网NAT流量从外网网卡发出。

8.如权利要求5所述的系统，其特征在于，若智能DVR代理模块判断流量不适合从本节点发出，通过内网转发单元将流量转发给另一DVR代理模块。

9.如权利要求5所述的系统，其特征在于，若智能DVR代理模块处于模式一时，本节点虚拟机发出的外网流量通过外网中继单元传递给处于模式二或三的智能DVR代理模块。

10.一种基于数据中心的智能虚拟分布式路由器集群系统的实现方法，包含权利要求1-9任一项所述的系统，其特征在于，包括：

每个DVR代理模块定时上报本模块的运行状况到控制节点的智能DVR管理模块上，所述运行状况包括本DVR代理模块当前运行的模式和/或负载状态；

集群管理模块记录接收到的代理模块上报的信息，并提供接口供实时调整以及管理；

根据当前计算节点的硬件配置、当前计算节点虚拟机的功能需求和/或智能DVR集群管理模块的配置，判断切换运行状态为模式一、二或三；

判断数据包的流量类型，定义相应的标签，调用不同的发送单元发送流量。

Images