CN116032820A - 一种基于clos架构的数据中心网络架构搭建方法与系统 - Google Patents
一种基于clos架构的数据中心网络架构搭建方法与系统 Download PDFInfo
- Publication number
- CN116032820A CN116032820A CN202211688672.7A CN202211688672A CN116032820A CN 116032820 A CN116032820 A CN 116032820A CN 202211688672 A CN202211688672 A CN 202211688672A CN 116032820 A CN116032820 A CN 116032820A
- Authority
- CN
- China
- Prior art keywords
- data center
- network
- architecture
- leaf
- ebgp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 19
- 210000001503 joint Anatomy 0.000 claims abstract description 8
- 101150014732 asnS gene Proteins 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于CLOS架构的数据中心网络架构搭建方法与系统，涉及网络架构技术领域，主要包括：采用leaf‑spine作为通讯模块的网络架构，在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；通过EBGP邻居关系下的边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。本发明直接使用EBGP作为等价路由承载协议，拆除各个层级交换机的堆叠，减小故障影响范围，实现高可用和负载分担。
Description
技术领域
本发明涉及网络架构技术领域，具体涉及一种基于CLOS架构的数据中心网络架构搭建方法与系统。
背景技术
当前数据中心的流量主要分为东西向(虚拟机之间的流量)流量和南北向流量(虚拟机访问资源池外部资源的流量)，由于云计算业务分布式的特点，带宽占用最大的也主要是东西向流量。东西向流量存在以下几个特点：1、部分东西向流量(存储类的业务)具有低时延、高吞吐的特点；2、东西向流量存在多打一的现象；3、由于数据中心规模比较大，考虑到成本和收益，TOR交换机多数采用非对称带宽设计，既上下行带宽不一致(一般收敛比为1：3)。传统数据中心的网络架构一般是服务器L3网关直接在核心交换机或者所有层级的交换机两两做堆叠+动态路由协议做打通。
基于上述描述，传统的数据中心网络架构已经不能满足当前数据中心业务特点，尤其是现在的分布式的云计算业务。
发明内容
为解决现有云计算服务中存在的问题，提高东西向流量的质量并降低故障风险，本发明提出了一种基于CLOS架构的数据中心网络架构搭建方法，包括：
采用leaf-spine作为通讯模块的网络架构，在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过EBGP邻居关系下的边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。
进一步地，所述通讯模块中服务器的网络层网关搭建至leaf交换机上。
进一步地，所述服务器的网段规划根据预留服务器装机地址进行位数规划。
进一步地，spine交换机和leaf交换机的AS使用ASN中的私有ASN号段。
进一步地，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。
进一步地，在南北向流量传输至网络功能区后，南北向流量还需经过nat转换以及防火墙、IPS防护处理。
本发明还提出了一种基于CLOS架构的数据中心网络架构搭建系统，包括：
架构搭建模块，用于以leaf-spine为网络架构搭建通讯模块；
链路设置模块，用于在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过链路设置模块搭建的EBDG邻居链路关系通过边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。
进一步地，spine交换机和leaf交换机的AS使用ASN中的私有ASN号段。
进一步地，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。
进一步地，在南北向流量传输至网络功能区后，南北向流量还需经过nat转换以及防火墙、IPS防护处理。
与现有技术相比，本发明至少含有以下有益效果：
(1)本发明所述的一种基于CLOS架构的数据中心网络架构搭建方法与系统，直接使用EBGP作为等价路由承载协议，可以拆除各个层级交换机的堆叠，即使某台交换机出现故障，由于采用EBGP的链路关系，只是流量的负载分担路径减少一个，但对于业务整体并无太大影响，同时，相较于传统的L3网关落在核心交换机上的方式，减少了二层广播域进一步缩小的故障影响范围；
(2)使用leaf-spine之间的三层但端口建立EBGP邻居，通过EBGP作为等价路由承载协议实现高可用和负载负担，而不依赖与任务IGP协议来建立EBGP连接，则减少了依赖和故障点；
(3)采用EBGP作为路由承载协议，在平滑扩张方面也更具有优势，对于后期网络业务的增配影响最小。
附图说明
图1是一种基于CLOS架构的数据中心网络架构搭建方法的步骤图；
图2是一种基于CLOS架构的数据中心网络架构搭建系统的结构图；
图3是单通讯模块下AS规划示例图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
随着云计算业务的不断发展，数据中心的规模越来越大，东西向流量的占比也越来越重要，原有的数据中心堆叠+动态路由协议的架构因为堆叠技术的不成熟以及配置复杂性，已经不适合承载现有的云计算数据中心业务。而且，随着云计算业务的快速增长，对于架构的扩展性、运维标准化和部署自动化的需求也越来越急切。因此，如图1所示，本发明提出了一种基于CLOS架构的数据中心网络架构搭建方法，主要包括：
采用leaf-spine作为通讯模块的网络架构，在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过EBGP邻居关系下的边沿交换机(edge)将虚拟机的南北向流量传输至网络功能区(server)和公网(Internet)对接。
其中，东西向流量为虚拟机(也即是服务器)之间的流量和南北向流量为虚拟机访问资源池外部资源的流量。
本发明之所以弃用了传统的网络架构，是因为传统数据中心中，网络层(L3)是落在核心交换机上的，这就导致了二层广播域过大，而加之当前数据中心的不断扩大，使得一旦发生广播风暴后故障影响面会比较大。同时，传统的堆叠+动态路由协议的架构还存在故障恢复时间长、业务损失不可控、扩展性差的问题。
因此，本发明提出了基于CLOS架构的数据中心网络架构，其以leaf-spine为主体构建CLOS架构下EBGP的交换机间邻居关系，从而拆除了各层交换机之间的堆叠，这样一来单台设备的故障只会使得ECMP的传输路径减少一个，而不会影响整体业务，从而并避免了可能因为堆叠技术不成熟而对大面积业务产生的影响。同时，使用EBGP承载路由，通过EBGP-ECMP(等价路由)实现高可用和负载的负载分担。相较于传统网络架构，本发明将网络层网关落在leaf交换机(采用TOR架构)上，其下行端口为48个，但考虑端口预留和单机柜的上服务器数量，一般只下挂44台服务器，将收敛比扩大至3：1左右。同时服务器的网络段考虑到预留服务器装机地址，一般规划为26位或25位，整个通讯模块最大服务器容量则由spine节点的接口数量决定。
而为了进一步简化设备配置，本发明中leaf-spine的互联端口采用三层单端口互联，而不做任何链路聚合，有多少对互联地址就建立多少个EBGP邻居，避免ECMP的hash后再产生链路聚合的二次hash，从而可能导致hash不均匀现象出现。这样一来，通过leaf交换机在BGP内广播承载的服务器网段路由信息，使得其可以不依赖于任何IGP协议，简洁、清晰。这样设置还有一个好处，当数据中心的规模比较大的时候，leaf交换机发出的路由条目会比较多，BGP协议比IGP协议更适合承载大规模路由。并且，相较于VXLAN、EVPN等新型协议，各个厂家的交换机对于EBGP的支持也更加的稳定、成熟，软件协议方面的故障率也能降低到最小。而在扩展性发面，由于其自身链路特性，当业务流量增大需要扩容时候，可以直接添加TOR交换机上行互联接口即可(根据提前预留扩容端口进行扩容)，而对原有业务和配置无需做任何调整。数据中心规模增大的时候，可以通过增加一层交换机层级来实现。
同时，为了更好的标记并管理各交换机，本发明中spine和leaf交换机的AS使用ASN(Autonomous System Number)中保留的私有ASN号段，也即是64512到65534共1023个ASN。同时，为了保证ASN在保证独有性的同时尽可能多的在不影响识别效果的情况下被重复使用，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。同时，leaf交换机发出的BGP路由，可以根据不同用途或者不同范围段在leaf交换机或者spine交换机上打上不同的BGP团体属性，以便实现路由控制。其中，单通讯模块下的AS规划示例如图3所示。
另外，考虑到现有云计算业务的东西向流量比重大，而且由于云计算业务的特点东西向流量越来越重要，南北向流量由于从公网而来会带来一些安全隐患，传统数据中心架构中东西向流量和南北向流量未作隔离，南北向流量的安全隐患在传统数据中心架构中会波及东西向流量。为此，在本发明中，当虚拟机南北向流量通过边沿交换机(edge)传输到网络功能区(server)后，还需经过防火墙、IPS等安全设备防护和公网(Internet)对接。通过在网络功能区做相应的nat转换，以及通过防火墙、IPS防护，保证了从公网到数据中心内部流量的安全，同时隔离了数据中心的东西向流量和南北向流量，保证了东西向流量不会受到南北向流量的直接影响。
实施例二
为了更好的对本发明进行理解，本实施例通过系统结构的形式，来对本发明进行阐述，如图2所示，一种基于CLOS架构的数据中心网络架构搭建系统，包括：
架构搭建模块，用于以leaf-spine为网络架构搭建通讯模块；
链路设置模块，用于在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过链路设置模块搭建的EBDG邻居链路关系通过边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。
进一步地，spine交换机和leaf交换机的AS使用ASN中的私有ASN号段。
进一步地，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。
进一步地，在南北向流量传输至网络功能区后，南北向流量还需经过nat转换以及防火墙、IPS防护处理。
综上所述，本发明所述的一种基于CLOS架构的数据中心网络架构搭建方法与系统，直接使用EBGP作为等价路由承载协议，可以拆除各个层级交换机的堆叠，即使某台交换机出现故障，由于采用EBGP的链路关系，只是流量的负载分担路径减少一个，但对于业务整体并无太大影响，同时，相较于传统的L3网关落在核心交换机上的方式，减少了二层广播域进一步缩小的故障影响范围。
使用leaf-spine之间的三层但端口建立EBGP邻居，通过EBGP作为等价路由承载协议实现高可用和负载负担，而不依赖与任务IGP协议来建立EBGP连接，则减少了依赖和故障点。采用EBGP作为路由承载协议，在平滑扩张方面也更具有优势，对于后期网络业务的增配影响最小。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
Claims (10)
1.一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，包括：
采用leaf-spine作为通讯模块的网络架构，在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过EBGP邻居关系下的边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。
2.如权利要求1所述的一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，所述通讯模块中服务器的网络层网关搭建至leaf交换机上。
3.如权利要求2所述的一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，所述服务器的网段规划根据预留服务器装机地址进行位数规划。
4.如权利要求1所述的一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，spine交换机和leaf交换机的AS使用ASN中的私有ASN号段。
5.如权利要求4所述的一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。
6.如权利要求1所述的一种基于CLOS架构的数据中心网络架构搭建方法，其特征在于，在南北向流量传输至网络功能区后，南北向流量还需经过nat转换以及防火墙、IPS防护处理。
7.一种基于CLOS架构的数据中心网络架构搭建系统，其特征在于，包括：
架构搭建模块，用于以leaf-spine为网络架构搭建通讯模块；
链路设置模块，用于在各层级交换机之间以三层单端口互联地址的形式搭建EBGP邻居，并以EBGP承载等价路由；
通过链路设置模块搭建的EBDG邻居链路关系通过边沿交换机将虚拟机的南北向流量传输至网络功能区和公网对接。
8.如权利要求7所述的一种基于CLOS架构的数据中心网络架构搭建系统，其特征在于，spine交换机和leaf交换机的AS使用ASN中的私有ASN号段。
9.如权利要求8所述的一种基于CLOS架构的数据中心网络架构搭建系统，其特征在于，当数据中心中含有多个leaf-spine网络架构下的通讯模块时，同一模块下spine交换机的ASN具有相同性，leaf交换机的ASN具有唯一性，跨模块下leaf交换机的ASN可复用，spine交换机的ASN不可复用。
10.如权利要求7所述的一种基于CLOS架构的数据中心网络架构搭建系统，其特征在于，在南北向流量传输至网络功能区后，南北向流量还需经过nat转换以及防火墙、IPS防护处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211688672.7A CN116032820A (zh) | 2022-12-27 | 2022-12-27 | 一种基于clos架构的数据中心网络架构搭建方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211688672.7A CN116032820A (zh) | 2022-12-27 | 2022-12-27 | 一种基于clos架构的数据中心网络架构搭建方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116032820A true CN116032820A (zh) | 2023-04-28 |
Family
ID=86077280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211688672.7A Pending CN116032820A (zh) | 2022-12-27 | 2022-12-27 | 一种基于clos架构的数据中心网络架构搭建方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116032820A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180183706A1 (en) * | 2016-12-23 | 2018-06-28 | Juniper Networks, Inc. | Apparatus, system, and method for distributing routing-protocol information in clos fabrics |
| CN110417665A (zh) * | 2019-08-05 | 2019-11-05 | 浪潮云信息技术有限公司 | 一种数据中心多Fabric场景的EVPN组网系统及方法 |
| CN110752989A (zh) * | 2019-10-18 | 2020-02-04 | 苏州浪潮智能科技有限公司 | 一种东西向流量转发方法与装置 |
| CN111277500A (zh) * | 2020-01-15 | 2020-06-12 | 山东汇贸电子口岸有限公司 | 一种数据中心evpn组网多出口设计方法及系统 |
| CN113259162A (zh) * | 2021-05-08 | 2021-08-13 | 中国工商银行股份有限公司 | 网络故障确定方法及装置、电子设备和存储介质 |
| US11277328B1 (en) * | 2020-08-17 | 2022-03-15 | Juniper Networks, Inc. | Using anycast as an abstract next hop (ANH) to reduce information related to border gateway protocl (BGP) next hops received by autonomous system border routers (ASBRs) and/or to improve BGP path convergence |
| US20220094601A1 (en) * | 2020-09-23 | 2022-03-24 | Nokia Solutions And Networks Oy | Targeted neighbor discovery for border gateway protocol |
-
2022
- 2022-12-27 CN CN202211688672.7A patent/CN116032820A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180183706A1 (en) * | 2016-12-23 | 2018-06-28 | Juniper Networks, Inc. | Apparatus, system, and method for distributing routing-protocol information in clos fabrics |
| CN110417665A (zh) * | 2019-08-05 | 2019-11-05 | 浪潮云信息技术有限公司 | 一种数据中心多Fabric场景的EVPN组网系统及方法 |
| CN110752989A (zh) * | 2019-10-18 | 2020-02-04 | 苏州浪潮智能科技有限公司 | 一种东西向流量转发方法与装置 |
| CN111277500A (zh) * | 2020-01-15 | 2020-06-12 | 山东汇贸电子口岸有限公司 | 一种数据中心evpn组网多出口设计方法及系统 |
| US11277328B1 (en) * | 2020-08-17 | 2022-03-15 | Juniper Networks, Inc. | Using anycast as an abstract next hop (ANH) to reduce information related to border gateway protocl (BGP) next hops received by autonomous system border routers (ASBRs) and/or to improve BGP path convergence |
| US20220094601A1 (en) * | 2020-09-23 | 2022-03-24 | Nokia Solutions And Networks Oy | Targeted neighbor discovery for border gateway protocol |
| CN113259162A (zh) * | 2021-05-08 | 2021-08-13 | 中国工商银行股份有限公司 | 网络故障确定方法及装置、电子设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| PEDRO JUAN ROIG, ET AL.,: ""Modelling a Leaf and Spine Topology for VM Migration in Fog Computing"", 《2020 24TH INTERNATIONAL CONFERENCE ELECTRONICS》, 16 July 2020 (2020-07-16) * |
| 回斌等: ""5G时代的电力智能数据网架构设计探讨"", 《电力信息与通信技术》, vol. 18, no. 8, 25 August 2020 (2020-08-25), pages 2 * |
| 李阳春;樊勇兵;陈楠;陈天;: "面向分层解耦的虚拟节点可靠性设计", 电信科学, no. 09, 20 September 2018 (2018-09-20) * |
| 颜永明;左良;许斌;徐海峰;叶克闯;: "LSN DCI EVPN VxLAN组网架构研究及实现", 电信科学, no. 06, 20 June 2017 (2017-06-20) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11283707B2 (en) | Segment routing with fast reroute for container networking | |
| EP3920484B1 (en) | Liveness detection and route convergence in software-defined networking distributed system | |
| US7903647B2 (en) | Extending sso for DHCP snooping to two box redundancy | |
| EP2108224B1 (en) | Multipath virtual router redundancy | |
| US20040078772A1 (en) | Dynamic route exchange | |
| CN109286914B (zh) | 多模车地综合移动数据传输系统 | |
| EP2846498B1 (en) | Label distribution method and device | |
| US11546254B2 (en) | Method, node, and medium for establishing connection between a source and endpoint via one or more border nodes | |
| CN108270690B (zh) | 控制报文流量的方法和装置 | |
| CN116158063A (zh) | 多边以太信道（meec）创建和管理 | |
| US9742518B2 (en) | Flexible interconnection of scalable systems integrated using optical networks for datacenters | |
| CN111756565B (zh) | 管理分支网络内的卫星设备 | |
| EP3989512A1 (en) | Method for controlling traffic forwarding, device, and system | |
| WO2021077995A1 (zh) | 网络切片共享上联口的方法、装置及存储介质 | |
| CN115865769A (zh) | 报文处理方法、网络设备及系统 | |
| CN111371535B (zh) | 一种异地主备数据中心灾备系统及切换方法 | |
| CN113254148A (zh) | 一种虚拟机的迁移方法及云管理平台 | |
| CN112312481A (zh) | 一种mec与多运营商核心网的通信方法及系统 | |
| US11877160B2 (en) | Geographically redundant and high availability system architecture for a hybrid cloud cellular network | |
| CN116032820A (zh) | 一种基于clos架构的数据中心网络架构搭建方法与系统 | |
| CN113472622A (zh) | 一种网络中传输业务的方法和设备 | |
| CN116234063A (zh) | 一种数据传输方法和装置 | |
| CN113422844B (zh) | 一种实现双活网络地址转换网关的方法 | |
| EP4199596A1 (en) | Routing information transmission method and apparatus | |
| CN113472753B (zh) | 一种多租户网络隔离的方法、数据中心和通信系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |