CN113973027B - 具有物理网络功能和虚拟化网络功能的服务链 - Google Patents

具有物理网络功能和虚拟化网络功能的服务链 Download PDF

Info

Publication number
CN113973027B
CN113973027B CN202011040805.0A CN202011040805A CN113973027B CN 113973027 B CN113973027 B CN 113973027B CN 202011040805 A CN202011040805 A CN 202011040805A CN 113973027 B CN113973027 B CN 113973027B
Authority
CN
China
Prior art keywords
pnf
network
switch
virtual
service chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011040805.0A
Other languages
English (en)
Other versions
CN113973027A (zh
Inventor
M·斯瓦库玛
A·苏亚纳拉亚纳
A·坦登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juniper Networks Inc
Original Assignee
Juniper Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juniper Networks Inc filed Critical Juniper Networks Inc
Priority to CN202311522030.4A priority Critical patent/CN117478459A/zh
Publication of CN113973027A publication Critical patent/CN113973027A/zh
Application granted granted Critical
Publication of CN113973027B publication Critical patent/CN113973027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4633Interconnection of networks using encapsulation techniques, e.g. tunneling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • H04L41/122Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/036Updating the topology between route computation elements, e.g. between OpenFlow controllers
    • H04L45/037Routes obligatorily traversing service-related nodes
    • H04L45/0377Routes obligatorily traversing service-related nodes for service chaining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/50Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/70Virtual switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开的实施例涉及具有物理网络功能和虚拟化网络功能的服务链。描述了集中控制器(诸如,软件定义联网(SDN)控制器)构建服务链的技术,服务链在裸金属服务器(BMS)与虚拟执行元件(例如,虚拟机或容器)或者在一些实例中,与远程BMS之间包括物理网络功能(PNF),反之亦然。根据本文所公开的技术,控制器可以构建包括PNF或PNF和虚拟网络功能(VNF)的组合的网络间服务链。控制器可以构建网络间服务链,以通过将虚拟可扩展局域网(VXLAN)用作基础传输技术的网络间服务链来引导BMS与虚拟执行元件或远程BMS之间的业务通过服务链。

Description

具有物理网络功能和虚拟化网络功能的服务链
技术领域
本公开大体上涉及计算机网络,并且更具体地,涉及将网络服务应用于遍历计算机网络的网络业务。
背景技术
计算机网络是交换数据和共享资源的互连的计算设备的类集。在基于分组的网络(诸如,互联网)中,计算设备通过将数据划分为被称为分组的小块来传送数据,这些小块被单独地在网络上从源设备路由到目的地设备。该目的地设备从分组中提取数据,并且将数据组装成其原始形式。
网络中的某些设备(被称为路由器)使用路由协议来交换和累积描述网络的拓扑信息。这允许路由器构建其自身的网络路由拓扑图。在接收到传入的数据分组之后,路由器检查该分组内的键控(keying)信息,并且根据累积的拓扑信息来转发该分组。
网络操作者可以部署一个或多个网络设备以实现服务点,这些服务点应用网络功能,诸如,防火墙、电信级(carrier grade)网络地址转换(CG-NAT)、针对视频的性能增强委托(proxy)、传输控制协议(TCP)优化和报头丰富、高速缓存以及负载均衡。附加地,网络操作者可以配置服务链,这些服务链各自标识要被应用于被映射至相应服务链的分组流(packet flow)的网络功能集合。换言之,服务链按照特定顺序来定义要被应用的一个或多个网络功能,以提供要应用于被绑定到服务链的分组流的复合网络服务。
发明内容
一般地,描述了集中控制器(诸如,软件定义联网(SDN)控制器)构建服务链的技术,该服务链包括在裸金属服务器(BMS)与虚拟执行元件(例如,虚拟机或容器)或者在一些实例中,与远程BMS之间的物理网络功能(PNF),反之亦然。根据本文所公开的技术,控制器可以构建包括PNF或PNF和虚拟网络功能(VNF)的组合的网络间服务链。控制器可以构建网络间服务链,以通过将虚拟可扩展局域网(VXLAN)用作基础传输技术的网络间服务链来引导(steer)BMS与虚拟执行元件或远程BMS之间的业务通过该服务链。
在当前系统中,PNF可以不被配置为服务链的一部分。相反,服务链可以限于包括VNF。在这种系统中,当网络业务从源网络进入服务链时,多协议标签交换(MPLS)被用于将网络业务从服务链中的一个VNF引导到下一VNF,再引导到目的地网络。例如,通用路由封装上的MPLS(MPLSoGRE)或用户数据报协议上的MPLS(MPLSoUDP)可以被用于针对层3虚拟专用网(L3VPN)和/或以太网VPN(EVPN)创建覆盖隧道(overlay tunnel),以引导分组通过服务链。
有若干技术问题可能会阻止PNF并入到服务链中。例如,PNF通常不支持MPLS,如上面提到的,MPLS通常是被用于引导网络业务通过服务链的覆盖隧道技术。虽然VNF和PNF都可以支持VXLAN作为传输技术,但是用VXLAN来代替MPLS可能在服务链内引起循环(looping)问题。在VXLAN的情况下,网络分组中的VXLAN标识符(VNID)通常映射至虚拟网络(VN)。可以在VN的主要路由实例中执行查找,以找到第一服务实例的左接口。然而,网络分组所携带的VNID通常与通过服务链传送的分组相同。因此,在当前服务链中使用VXLAN可能导致服务链中的第二服务实例接收到相同的VNID。当分组到达链中的第二服务实例时,VNID可能使分组被环回到服务链的第一服务实例,因为VNID映射至与服务链中的第一服务实例相同的虚拟网络和主要路由实例。
在一些示例中,控制器可以构建LR间服务链,以引导源自BMS的业务通过包括至少一个PNF的至少一个服务链,并且最终,引导到使用VXLAN作为传输技术的虚拟机。控制器可以在服务链的每个PNF中创建两个路由实例,并且可以向每个路由实例指派(assign)用于与逻辑路由器相关联的虚拟网络的不同VNID。为了经由服务链来将业务从源网络导向(direct)到目的地网络,控制器可以获得到与目的地网络相关联的虚拟机的路由(在本文中被称为“IP路由”)。控制器可以修改IP路由,以将业务从源网络导向到服务链中的PNF的左接口,而不是直接导向到目的地网络。例如,控制器可以通过设置下一跳以及在一些实例中,设置VNID或标识服务链的PNF的路由实例的其他下一跳信息来修改IP路由。然后,控制器向源网络通告(advertise)修改的IP路由。由控制器向源网络的、对修改的IP路由的该通告被称为“重新创建(re-originating)”IP路由。源网络的逻辑路由器可以从控制器导入修改的IP路由,这使网络设备将业务引导到路由下一跳,例如,在服务链的前端的PNF。
作为重新创建IP路由的一部分,控制器还可以将获得的IP路由存储为EVPN路由。例如,除了将IP路由存储在用于源网络的IP路由表中之外,控制器还可以将IP路由作为EVPN路由(例如,可以指定用于子网间连接性(即,IP网络的分区的连接性,在一些情况下,跨数据中心)的IP路由的EVPN Type-5路由)存储在用于源网络的EVPN路由表中。控制器还可以将EVPN路由的下一跳设置为引用源网络的在服务链的前端托管PNF的逻辑路由器。控制器可以将修改的EVPN路由通告给被直接连接至BMS的物理架顶式(TOR)交换机。TOR交换机可以从控制器导入EVPN路由,以将TOR交换机配置为将源自BMS的数据业务引导到路由下一跳,例如,在服务链的前端托管服务节点的服务器。
为了防止循环,控制器可以在每个PNF中创建两个路由实例,第一路由实例与“左”逻辑路由器相关联,并且第二路由实例与“右”逻辑路由器相关联。第一和第二路由实例可以被配置有与其对应的逻辑路由器的虚拟网络相关联的VNID。
按照这种方式,当TOR交换机接收到源自BMS的去往目的地网络(例如,“右”逻辑路由器的网络)的虚拟机的数据业务时,TOR交换机可以使用例如,虚拟可扩展局域网(VXLAN)来将业务引导到在服务链前端的PNF的左接口。当PNF接收到数据业务时,PNF可以对数据业务执行其相关联的服务,并且确定与数据业务的VXLAN报头中的VNID相关联的路由实例。VNID被用于确定哪个路由实例将被用于确定数据业务的下一跳。PNF可以对与目的地网络(例如,“右”网络)相关联的路由实例的路由表执行查找,并且将数据业务从PNF的右接口转发到托管服务链中的下一PNF的左接口的TOR。PNF可以将VXLAN报头中的VNID标签与被指派给与目的地网络相关联的路由接口的VNID交换。服务链中接收数据业务的下一PNF可以使用VNID来确定包括路由表的路由实例,这些路由表被用于确定如何进一步转发数据业务。
本公开的技术可以被实现为提供一个或多个技术优点的实际应用的一部分。例如,这些技术可以允许客户将PNF包括在服务链中,同时避免服务链中的后续PNF或VNF将分组循环回到服务链中的第一PNF。结果,客户可以通过将PNF包括在服务链中来利用其对PNF的投资,而不仅限于基于VNF的服务链。进一步地,使用PNF可以提供更好的网络吞吐量,因为与具有等效功能性的VNF相比较,当执行操作时,PNF通常具有更高的吞吐量。例如,PNF可以包括专用处理器以及用于使对网络分组执行的处理类型加速的其他硬件。
在一个实施例中,一种方法包括:由网络系统的软件定义网络SDN控制器创建包括多个物理网络功能PNF的服务链,该多个PNF包括第一PNF和第二PNF,服务链在网络系统的第一逻辑路由器和第二逻辑路由器之间;针对第一PNF和第二PNF中的每一个创建对应的第一路由实例和对应的第二路由实例;针对第一PNF和第二PNF中的每一个,利用第一标签配置对应的第一路由实例,并且利用第二标签配置第二路由实例,该第一标签包括与第一逻辑路由器相关联的第一虚拟网络的第一虚拟可扩展局域网VXLAN标识符VNID,该第二标签包括与第二逻辑路由器相关联的第二虚拟网络的第二VNID;通过服务链来在第一虚拟网络上的第一设备到第二虚拟网络上的第二设备之间创建第一路由,该第一路由在第一设备与第一PNF之间的第一交换机中将第一PNF的第一路由实例的第一VNID指定为针对从第一交换机到第一PNF的下一跳的第一标签,并且在第一PNF与第二PNF之间的第二交换机中将第二PNF的第一路由实例的第一VNID指定为用于从第二交换机到第二PNF的下一跳的第二标签;以及将第一路由推送到被通信地耦合至多个PNF中的一个或多个PNF的多个交换机中的至少一个交换机,多个交换机包括第一交换机和所述第二交换机。
在另一示例中,一种控制器包括:一个或多个处理器;服务链单元,该服务链单元由一个或多个处理器可执行,服务链单元被配置为:创建包括多个物理网络功能PNF的服务链,该多个PNF包括第一PNF和第二PNF,服务链在网络系统的第一逻辑路由器和第二逻辑路由器之间;针对每个PNF创建对应的第一路由实例和对应的第二路由实例;针对每个PNF,利用第一标签配置对应的第一路由实例,并且利用第二标签配置第二路由实例,该第一标签包括与第一逻辑路由器相关联的第一虚拟网络的第一VNID,该第二标签包括与第二逻辑路由器相关联的第二虚拟网络的第二VNID;并且通过服务链来在第一虚拟网络上的第一设备到第二虚拟网络上的第二设备之间创建第一路由,该第一路由在第一设备与第一PNF之间的第一交换机中将第一PNF的第一路由实例的第一VNID指定为针对从第一交换机到第一PNF的下一跳的标签,并且在第一PNF与第二PNF之间的第二交换机中将第二PNF的第一路由实例的第一VNID指定为针对从第二交换机到第二PNF的下一跳的标签;以及控制平面虚拟机,该控制平面虚拟机由一个或多个处理器可执行并且被配置为将第一路由推送到被通信地耦合至多个PNF中的一个或多个PNF的多个交换机中的至少一个交换机,多个交换机包括第一交换机和第二交换机。
在另一示例中,一种PNF设备包括:一个或多个处理器;以及计算机可读存储设备,该计算机可读存储设备被配置为存储第一路由实例、第二路由实例和指令,这些指令由一个或多个处理器可执行以使PNF设备:接收针对第一路由实例的配置数据,该配置数据包括第一标签和第二标签,该第一标签包括与第一逻辑路由器相关联的第一虚拟网络的第一VNID,该第二标签包括与第二逻辑路由器相关联的第二虚拟网络的第二VNID;利用第一标签配置第一路由实例;利用第二标签配置第二路由实例;接收第一路由数据,该第一路由数据指定从PNF设备到朝向第二虚拟网络的交换机的下一跳;利用第一路由数据配置第一路由实例;接收第二路由数据,该第二路由数据指定从PNF设备到朝向第一虚拟网络的交换机的下一跳;以及利用第二路由数据配置第二路由实例;其中PNF设备被配置在第一逻辑路由器和第二逻辑路由器之间的服务链中,第一逻辑路由器与第一虚拟网络相关联,第二逻辑路由器与第二虚拟网络相关联。
在附图和下面的描述中阐述了本公开一种或多种技术的细节。本发明的其他特征、目的和优点将通过本说明书和附图以及权利要求书而变得明显。
附图说明
图1是图示了包括可以实现本文所描述的技术的示例的数据中心的示例网络的框图。
图2A和图2B是图示了根据本公开中所描述的技术的一个或多个方面的包括示例服务链的示例网络系统的框图。
图3是图示了根据本公开中所描述的技术的一个或多个方面的具有物理网络功能和虚拟化网络功能的组合的示例服务链的框图。
图4图示了根据本公开中所描述的技术的一个或多个方面进行操作的示例控制器。
图5是图示了根据本公开中所描述的技术的一个或多个方面的控制器的示例操作400的流程图,该控制器提供包括至少一个PNF的服务链。
在附图和文本中,相同的参考字符表示相同的元件。
具体实施方式
图1是图示了包括可以实现本文所描述的技术的示例的数据中心102的示例网络100的框图。通常,数据中心102针对被耦合到数据中心的客户120的应用和服务提供操作环境,例如,通过服务提供方网络(未示出)。例如,数据中心102可以托管基础架构设备,诸如,联网和存储系统、冗余电源和环境控件。将客户120耦合到数据中心102的服务提供方网络可以被耦合至由其他提供方管理的一个或多个网络,并且因此,可以形成大规模公共网络基础架构(例如,互联网)的一部分。
在一些示例中,数据中心102表示许多在地理上分布的网络数据中心中的一个。如在图1的示例中图示的,数据中心102可以是为客户120提供网络服务的设施。客户120可以是集体实体(诸如,企业和政府)或个人。例如,网络数据中心可以为若干企业和终端用户托管web服务。其他示例服务可以包括:数据存储、虚拟专用网、业务工程、文件服务、数据挖掘、科学计算或超级计算等。在一些实施例中,数据中心102可以是单独的网络服务器、网络对等体或其他。
在该示例中,数据中心102包括经由互连拓扑118被互连的一组存储系统和应用服务器108A至108N(服务器108),其可以包括由一层或多层物理网络交换机和路由器提供的交换结构。服务器108可以是相应的裸金属服务器(BMS)。在图1的示例中,互连拓扑118包括机架(chassis)交换机104A至104N(机架交换机104)和架顶(TOR)交换机106A至106N(TOR交换机106)。例如,机架交换机104可以形成叶脊拓扑(spine and leaf topology)的脊节点,而TOR交换机106可以形成叶脊拓扑的叶节点。TOR交换机206可以是提供层2(例如,MAC)和/或层3(例如,IP)路由和/或交换功能性的物理网络设备。TOR交换机206可以包括一个或多个处理器和存储器,并且该一个或多个处理器和存储器能够执行一个或多个软件处理器。
服务器108为与客户120相关联的应用和数据提供执行和存储环境,并且可以是物理服务器、虚拟机或其组合。
通常,互连拓扑118表示在服务器108之间提供点到点连接性的层2(L2)和层3(L3)交换和路由组件。在一个示例中,互连拓扑118包括实现行业标准协议的一组互连的、高性能的、现成的、基于分组的路由器和交换机。在一个示例中,互连拓扑118可以包括通过以太网(IPoE)点到点连接性来提供互联网协议(IP)的现成的组件。
在图1中,SDN控制器112提供用于配置和管理数据中心102的路由和交换基础架构的高级控制器。可以在2013年5月6日提交的国际申请号PCT/US2013/044378和2014年3月26日提交的美国专利申请第14/226,509号(作为美国专利第9,571,394号被发行)中找到结合网络100的其他设备或其他软件定义的网络进行操作的虚拟网络控制器112的细节,这些申请中的每个申请的全部内容通过引用的方式被并入。SDN控制器112可以使用SDN协议(诸如,OpenFlow协议)来传送和管理数据中心102的设备。附加地,SDN控制器112可以使用其他接口类型来与数据中心102的路由和交换基础架构通信,诸如,简单网络管理协议(SNMP)接口、路径计算元件协议(PCEP)接口、设备管理接口(DMI)、CLI、路由系统(IRS)的接口或任何其他节点配置接口。
SDN控制器112提供了根据本公开的示例的用于促进一个或多个虚拟网络在数据中心102内的操作的在逻辑上—以及在一些情况下,在物理上集中的控制器。在一些示例中,SDN控制器112可以响应于从网络管理员110接收到的配置输入而进行操作。可以在2013年6月5日提交的名称为“PHYSICAL PATH DETERMINATION FOR VIRTUAL NETWORK PACKETFLOWS”的国际申请号PCT/US2013/044378中找到有关SDN控制器112结合数据中心102的其他设备进行操作的附加信息,该申请通过引用并入于此。
虽然未示出,但是数据中心102还可以包括:一个或多个附加的交换机、路由器、集线器、网关、安全设备(诸如,防火墙、入侵检测和/或入侵预防设备)、计算机终端、膝上型电脑、打印机、数据库、无线移动设备(诸如,蜂窝电话或个人数字助理)、无线接入点、桥接器、电缆调制解调器、应用加速器或其他网络设备。
通常,互连拓扑118内的网络业务(诸如,服务器108之间的分组流)可以使用许多不同的物理路径来遍历互连拓扑118的物理网络。例如,“分组流”可以由在分组的报头中使用的值定义,诸如,网络“五元组”,即,被用于通过物理网络来对分组进行路由的源IP地址、目的地IP地址、源端口和目的地端口以及通信协议。例如,协议指定通信协议(诸如,TCP或UDP),并且源端口和目的地端口是指连接的源端口和目的地端口。
与特定流条目相匹配的一组一个或多个分组数据单元(PDU)表示流。可以使用PDU的任何参数(诸如,源和目的地数据链路(例如,MAC)和网络(例如,IP)地址、虚拟局域网(VLAN)标签、传输层信息、多协议标签交换(MPLS)或通用MPLS(GMPLS)标签以及接收流的网络设备的入口端口)来大致对流进行分类。例如,流可以是在传输控制协议(TCP)连接中传输的所有PDU、通过特定MAC地址或IP地址提供的所有PDU、具有相同VLAN标签的所有PDU或在同一交换机端口接收到的所有PDU。
如在图1的示例中示出的,每个TOR交换机106在互连拓扑118中被通信地耦合至每个机架交换机104。类似地,在该示例中,每个机架交换机104被通信地耦合至每个TOR交换机106。因此,在该示例中,从任何一个TOR交换机106到任何另一个TOR交换机106的路径的数量等于机架交换机104的数量。虽然字母“N”被用于表示TOR交换机106和机架交换机104两者的未定义的数量,但是应该理解,可以存在与机架交换机104不同数量的TOR交换机106。
服务器108可以对应于数据中心102的相应租户。例如,服务器108A可以对应于第一租户,服务器108B可以对应于第二租户等。互连拓扑118允许例如,服务器108A至108N之间的租户间通信。根据本公开的技术,SDN控制器112可以被配置为自动将一个或多个服务设备配置为向租户间通信提供物理网络功能(PNF)或虚拟化网络功能(VNF)。服务设备可以是例如,物理设备(诸如,TOR交换机106、机架交换机104或与其连接的其他设备),或者它们可以是虚拟设备(诸如,虚拟机、虚拟路由器等)。PNF和VNF可以是例如,防火墙服务、网络地址转换(NAT)服务、入侵检测和预防(IDP)服务、负载均衡服务、路由服务、路由反射器、BNG、EPC等。PNF通常使用专用硬件来提供其网络功能,该专用硬件专用于将PNF的网络功能应用于通过PNF进行的网络数据传递。VNF可以提供与PNF相同的网络功能,但是被虚拟化,并且因此,可以在通用硬件(诸如,服务器108)上运行。可以有多于一个VNF配置在单独的服务器108上,并且可以有其他虚拟化设备实例在同一服务器上运行,诸如,虚拟路由器、虚拟机和其他这种虚拟化设备。
图1图示了两个逻辑路由器:左逻辑路由器114A和右逻辑路由器114B。逻辑路由器(也被称为逻辑系统)可以是包括表示层3(L3)路由功能性的数据和例程的网络模型。例如,逻辑路由器可以是提供L3路由功能性的虚拟路由器或VPN路由和转发(VRF)实例。逻辑路由器可以被建模为具有一个或多个子网络的父网络。
图1还图示了左逻辑路由器114A与右逻辑路由器114B之间的服务链130。服务链130可以包括PNF、VNF或者PNF和VNF的组合。在被耦合至单个逻辑路由器的子网络内的网络设备(虚拟的或物理的)之间传输的网络数据可以使用L2路由。在具有不同父逻辑路由器的子网络上的网络设备之间传输的网络数据可以使用L3路由。因此,在图1中所图示的示例中,在左逻辑路由器114A与右逻辑路由器114B之间的网络业务使用L3路由。
服务链130可以包括在左逻辑路由器114A与右逻辑路由器114B之间的PNF、VNF或者PNF和VNF的组合。如上所述,服务链按照特定顺序来定义待被应用的一个或多个网络服务,以提供要应用于被绑定到服务链的分组流的复合服务。因此,服务链130可以是按照定义的顺序被应用于左逻辑路由器114A与右逻辑路由器114B之间的网络业务的PNF、VNF或者PNF和VNF的组合。
在一些示例中,SDN控制器112接收例如,来自管理员110的用于各种网络设备的高级配置,并且将高级配置转换为低级配置数据。高层配置数据可以是与供应方无关的,而底层配置数据可以是供应方特定的,并且因此,由机架交换机104、TOR交换机106和服务器108中的每个相应组件可执行或可使用。由SDN控制器112接收到的高级配置可以被用于创建服务链130及其组成PNF和/或VNF。
可以按照各种方式来实现互连拓扑118,并且互连拓扑118不一定包括在图1中所示出的设备或布置。在一个示例中,互连拓扑118被实现为叶脊拓扑。在这种示例中,机架交换机104被配置为脊交换机(例如,层3交换机),并且TOR交换机106被配置为叶交换机。在其他示例中,可以根据IEEE 802.1BR来将互连拓扑118实现为Clos网络、虚拟机架结构(VCF)、互联网协议(IP)结构或互连拓扑。
图2A和图2B是图示了根据本公开中所描述的技术的一个或多个方面的包括示例服务链202的示例网络系统2的框图。服务链202被配置在两个逻辑路由器(LR)—逻辑路由器218和虚拟路由器214之间。这样,服务链202可以被称为“LR间”服务链。网络系统2可以包括图1所示网络100的一些或全部组件。在图2A和图2B中所图示的示例中,网络系统2包括TOR 106A、TOR 106B和TOR 106C、PNF210A和PNF 210B、虚拟路由器214、裸金属服务器228(“BMS228”)以及VM 227A至VM 227D。
BMS228表示专供单个客户使用的服务器(也被称为数据中心的“租户”),该服务器可以被称为“单租户服务器”。BMS228可以提供供单个客户使用以避免在多租户服务器中发生的所谓的“嘈杂邻居问题”的专用硬件。即,与多个客户可以与同一物理硬件/服务器进行交互以与其单独分配的虚拟路由器进行交互的服务器不同,BMS228可以仅专供单个客户使用。
图2A图示了通过服务链202将网络业务从源网络上的BMS引导到目的地网络上的虚拟机。在图2A的示例中,PNF 210A和PNF 210B可以被配置为服务链202的一部分。服务链202可以被配置在两个逻辑路由器—逻辑路由器218A和虚拟路由器214之间。逻辑路由器218经由子网络232A至232C将提供与TOR 106A的连接性的父网络通信地耦合至BMS228以及VM 227D和VM 227E。BMS228以及VM 227D和VM 227E形成集群230A。逻辑路由器218及其子网络232A至232C可以是将被称为“红色”网络的网络的一部分。
虚拟路由器214可以是分别经由子网络232D、232E和232F将提供与TOR 106C的连接性的父网络通信地耦合至VM 227A至VM 227C的逻辑路由器。虚拟路由器214可以在用于网络100的网络系统2的一个或多个物理服务器108(图1)上执行。执行虚拟路由器214的一个或多个服务器108可以提供用于执行一个或多个客户特定的VM的操作环境。例如,执行虚拟路由器214的服务器可以提供用于执行VM227A的操作环境,该VM 227A可以运行客户应用,诸如,用于客户的Web服务器、数据库服务器和/或企业应用(未示出)。VM 227可以被称为虚拟化的应用工作负载(或仅仅是应用工作负载),并且通常表示虚拟化的执行元件,诸如,虚拟机或容器。虚拟路由器214及其对应的子网络232D至232F将被称为“绿色”网络。
逻辑路由器(诸如,逻辑路由器218和虚拟路由器214)可以将来自数据中心交换结构中的物理路由器和交换机的网络扩展到托管在虚拟化服务器中的虚拟覆盖网络(例如,隧道)中。例如,逻辑路由器214和虚拟路由器214可以动态地创建和管理可用于应用工作负载之间的通信的一个或多个虚拟网络(例如,子网络232)。在一些示例中,覆盖隧道可以是被用于将业务隧道传输到物理设备(诸如,路由器或交换机)的特定IP地址的虚拟可扩展局域网(VXLAN)隧道。
可以通过将附接电路扩展到BMS228来将TOR交换机106A直接连接至BMS228,以向BMS228提供与虚拟机的网络内或网络间连接性。如在图2中示出的,可以使用逻辑路由器218来对连接性进行建模。在一些实例中,TOR交换机106可以实现EVPN-VXLAN以提供网络设备之间的连接性。例如,TOR交换机106A可以使用VXLAN对来自BMS228的业务进行封装以将业务转发到目的地节点。即,来自BMS228的业务使用EVPN作为控制平面,其中VXLAN被用作基础数据平面中的封装。
根据本文所描述的技术的一个或多个方面,SDN控制器112可以在集群230A中的机器(例如,BMS228以及VM 227D和VM 227E)与集群230B中的机器(例如,VM 227A至VM 227C)之间构建LR间服务链202。在一种实现中,SDN控制器112可以构建将源自BMS228的业务引导到虚拟机227A的服务链202。在图2A中所图示的示例中,SDN控制器112将PNF 210A和PNF210B配置为服务链202的一部分。PNF 210A和PNF 210B经由TOR 106B可通信地耦合。如在图2A中示出的,可以使用VXLAN作为传输技术来对PNF 210A和PNF 210B与TOR 106B之间的网络业务进行封装。
作为配置网络系统2的一部分,SDN控制器112可以为逻辑路由器创建内部虚拟网络(IVN)。在图2A中所图示的示例中,SDN控制器可以创建表示用于红色网络的逻辑路由器218的IVN 206A以及表示用于绿色网络的虚拟路由器214的IVN 206B。
SDN控制器112可以为服务链中的每个PNF创建两个路由实例。每个PNF中的第一路由实例可以与在服务链的前端的网络(例如,“红色”网络)相关联,并且第二路由实例可以与在服务链202的尾端(tail end)的网络(例如,“绿色”网络)相关联。路由实例可以是路由表、所指派的接口和路由协议参数的类集。路由实例中的所指派的接口的集合可以与路由实例的路由表相关联,并且路由协议参数可以确定路由表中的信息。单个路由实例可以有多个路由表。在图2A中所图示的示例中,SDN控制器在PNF 210A中创建路由实例208A和208B,并且在PNF 210B中创建路由实例208C和208D。路由实例208A和208C可以与关联于IVN206A的接口相关联,并且路由实例208B和208D可以与关联于IVN 206B的接口相关联。例如,SDN控制器112可以为PNF 210中的两个路由实例中的每一个生成VNID。这些VNID映射至与路由实例相关联的虚拟网络。因此,路由实例208A和208C的VNID分别映射至IVN 206A(红色网络),并且路由实例206B和206D的VNID分别映射至IVN 206B(绿色网络)。
如上面提到的,路由实例包括路由表。路由表中的条目指定将如何对由虚拟或物理设备接收到的网络业务进行路由。在该映射中使用的一个字段是“下一跳”字段,该“下一跳”字段指定应该是接收传入网络分组的下一设备的虚拟或物理网络设备的网络地址。在一些方面中,相对于BMS228,SDN控制器112可以将下一跳指派为托管服务链的服务接口(左接口)的TOR,并且将VXLAN VNID指派为与逻辑路由器的IVN的主要路由接口相关联的标签。例如,TOR 106A托管PNF 210A的左接口。SDN控制器112可以将路由安装到EVPN路由224中的路由表中。一旦进行了安装,就可以将路由通告(例如,推送)给包括TOR 106的远程BGPEVPN对等体。
SDN控制器112还可以在服务链202中的每个PNF 210处设置下一跳。对于服务链202中的每个PNF 210,可以将下一跳设置为托管服务链中的后一PNF的相关联的TOR。例如,SDN控制器112可以将针对PNF 210A的下一跳设置为TOR 106B,其中PNF 210B的路由实例的下一跳VNID与目的地网络相关联(例如,路由实例208D)。对于服务链中的最后一个PNF(例如,在图2A中所示出的示例中,为PNF210B),SDN控制器112可以将下一跳设置为具有来自与目的地虚拟网络相关联的服务路由实例的VNID标签的出口虚拟路由器。因此,在图2A中所图示的示例中,SDN控制器112可以将针对PNF 210B的下一跳设置为与IVN 206B相关联的虚拟路由器214。
虚拟路由器214可以提供经由虚拟路由器214可到达的IP路由,包括到目的地端点(例如,VM 227A)的IP路由。例如,虚拟路由器214可以提供包括VM 227A的目的地IP地址和用于托管VM 227A的物理服务器的网络地址的IP路由。在一种实现中,SDN控制器112可以从托管虚拟路由器214的服务器的虚拟网络(VN)代理获得IP路由。
SDN控制器112可以修改获得的IP路由以将业务导向到PNF210A,而不是直接导向到目的地网络(例如,IVN 206B)。例如,为了将去往VM 227A的业务从源网络导向到服务链202以便进行处理,SDN控制器112将所获得的IP路由中的下一跳修改为引用PNF 210A的“左”接口。修改路由中的下一跳还可以或备选地包括:修改标签,诸如,标识PNF 210A的VNID或其他虚拟网络标识符、隧道封装信息或其他下一跳信息。
因此,为了使TOR 106A沿服务链202引导业务流,SDN控制器112可以从目的地网络(例如,IVN 206B)获得虚拟路由器214的下一跳为VM 227A的IP路由,将TOR 106A中的IP路由的下一跳设置为引用PNF 210A,将IP路由添加到用于源网络(例如,IVN 206A)的IP路由表,并且将修改的IP路由通告给源网络上的设备。更具体地,SDN控制器112可以配置IP路由的下一跳和L3标签以使TOR 106A将业务引导到PNF 210A的“左”接口。由SDN控制器112将修改的IP路由通告给源网络被称为“重新创建”IP路由。作为重新创建的一部分,SDN控制器112可以将inet6路由重新创建为EVPN类型5路由。
SDN控制器112可以将修改的IP路由存储在针对IVN 206B的路由实例的IP路由表223中。IP路由表可以存储针对动态地学习过的路由的IP地址(例如,IPv4和/或IPv6地址),诸如,VM 227A的IP地址。在一些示例中,IP路由表223可以包括存储经由BGP来学习的层3VPN路由的BGP路由表。
除了将IP路由存储在针对目的地网络IVN 206B的路由实例的IP路由表223中之外,SDN控制器112还可以将该IP路由作为EVPN路由存储在路由实例的EVPN路由表224中。EVPN路由表224可以存储与EVPN相关的路由,诸如,指定用于跨数据中心的子网间连接性的IP前缀(例如,VM 227A的IP地址)的EVPN Type-5路由。
当TOR交换机206A接收到源自BMS228并且去往VM 227A的数据业务时,TOR交换机206A可以对其转发表执行查找以确定下一跳,在图2A中所图示的示例中,该下一跳是PNF210A的“左”接口。TOR交换机206A可以针对数据业务对VXLAN外部分组进行封装,以将数据业务隧道传输到PNF 210A的“左”接口。VXLAN外部分组的VNID字段可以是与路由实例208B相关联的VNID。PNF 210A可以向数据业务应用服务并且将数据业务转发到下一跳。在图2A中所图示的示例中,PNF 210A使用与VNID相关联的路由实例(例如,PNF210A的路由实例208B)来执行表查找以确定下一跳是TOR 206B。PNF210A可以执行“标签交换”以用路由实例206D的VNID来替换VXLAN报头中的VNID。TOR 206B可以确定下一跳是PNF 210B的“左”接口,并且将VXLAN报头中的标签交换为与PNF 210B的路由实例208D相关联的VNID。PNF 210B可以向数据业务应用服务。PNF 210B可以利用路由实例208D来基于路由实例208D的路由表确定数据业务的下一跳是TOR 106C。经由PNF 210B的“右”接口将数据业务转发到TOR106C。然后,TOR 106C使用其路由表中的下一跳信息来确定虚拟路由器214是下一跳,该虚拟路由器214转而将数据业务转发到目的地VM227A。
图2B图示了将业务从虚拟机引导回BMS。在一些示例中,SDN控制器112可以通过服务链202计算路由以便业务如在图2A中描述的那样沿相反方向流动,即,从VM 227到BMS228。例如,SDN控制器112可以获得具有BMS228的目的地地址的EVPN路由。
根据本文所公开的技术的一个或多个方面,SDN控制器112还可以将IP路由重新创建为EVPN路由以将服务链202扩展到BMS228。例如,除了通过修改下一跳来将从目的地网络(例如,IVN 206B)获得的IP路由重新创建到源网络(例如,IVN 206A)中之外,SDN控制器112还可以将IP路由重新创建为下一跳引用托管PNF 210B的“右”接口的TOR 106C的EVPN路由。修改路由中的下一跳可以包括:修改标签(例如,VNID)和用于基础物理网络的目的地网络地址以指向服务链202的右接口(例如,PNF 210B)的网络地址。
当业务起源于服务链202的右侧(例如,VM 227A)并且去往服务链202的左侧(例如,BMS228)时,可能没有到服务链202的左侧的任何路由。在从远程TOR 106接收到EVPNType 5路由之后,SDN控制器112可以将新服务链路径重新创建到red.inet.0表中,其中远程TOR(例如,TOR 106C)作为下一跳,并且VXLAN作为具有相关联的L3 VNID的封装类型。该路由可以由SDN控制器112的服务链模块在每一跳使用适当的L3标签(来自服务路由实例208)被复制到其他网络设备。在一些方面中,为了导入EVPN路由,TOR交换机206A被配置有适当的路由目标。例如,TOR交换机206A可以自动生成路由目标(例如,80000*)。
SDN控制器112可以将获得的EVPN路由重新创建为IP路由。例如,除了将EVPN路由存储在EVPN路由表224中之外,SDN控制器112还可以将EVPN路由作为IP路由存储在路由实例的IP路由表223中。SDN控制器112可以将IP路由中的下一跳设置为TOR交换机106C。SDN控制器112可以将IP路由通告到目的地网络,例如,IVN206A。虚拟路由器214可以导入引用TOR交换机206C的IP路由和下一跳,使得虚拟路由器214被配置为将从VM 227A接收到的数据业务引导到TOR 106C。
附加地,作为重新创建路由的一部分,SDN控制器112可以将L3标签指派给路由表的下一跳,使得下一跳包括与目的地网络(在图2的示例中,为红色网络206A)的VNID相关联的标签。这些VNID可以是与路由实例206A和206C相关联的VNID。
当虚拟路由器214接收到源自VM 227A并且去往BMS228的数据业务时,虚拟路由器214对其转发表执行查找,并且确定下一跳是TOR206C。虚拟路由器214可以针对数据业务对VXLAN外部分组进行封装,以将数据业务隧道传输到TOR交换机206C。当TOR交换机206C接收到VXLAN已封装数据业务时,TOR交换机206对VXLAN外部报头进行解封装,并且基于VNID来执行对下一跳的查找。TOR交换机206C可以从查找中确定下一跳PNF 210B,并且将数据业务转发到PNF 210B的右接口。PNF 210B可以使用VNID来确定将使用路由实例208C来将数据业务转发到下一跳,在这种情况下,为TOR 206B。PNF 210B可以执行标签交换作为转发业务的一部分以使TOR 206B将业务转发到PNF 210A。PNF 210A可以从VXLAN报头中的VNID确定将使用路由实例208A来确定将如何转发数据业务。对路由实例208A中的适当的路由表的查找确定TOR 106A是针对去往BMS228的业务的下一跳。
在图2A和图2B中所图示的示例示出了具有两个PNF的服务链202。服务链可以包括多于两个PNF。服务链中的每个PNF可以被通信地耦合至TOR。如上面提到的,每个PNF可以被配置有两个路由实例208。在2014年6月30日提交的名称为“SERVICE CHAINING ACROSSMULTIPLE NETWORKS”的美国专利第9,634,936号中进一步描述了不同网络的虚拟实体之间的服务链的附加示例,该申请的全部内容通过引用的方式被并入本文。
图3是图示了根据本公开中所描述的技术的一个或多个方面的具有物理网络功能和虚拟化网络功能的组合的示例服务链的框图。在图2A和图2B的示例中,服务链202只包括PNF。在一些实现中,如在图3中示出的,服务链可以包括PNF和VNF两者。
在图3中所示出的示例中,服务链302可以包括如上面针对图2A和图2B描述的PNF210A、PNF 210B和TOR 206B。附加地,服务链302可以包括托管VNF 312的服务节点304以及将服务节点302B耦合至PNF 210B的虚拟路由器310。服务节点304的VNF 312可以向数据业务提供服务,诸如,分组流的防火墙、深度分组检查(DPI)、入侵检测系统(IDS)、入侵预防系统(IPS)、电信级网络地址转换(CG-NAT)、媒体优化(语音/视频)、IPSec/VPN服务、传输控制协议(TCP)优化和报头丰富、高速缓存、HTTP过滤、计数、计费、收费和负载均衡,或者被应用于网络业务的其他类型的服务。
SDN控制器可以按照与上面针对图2A和图2B所示服务链202描述的方式相似的方式来构建服务链302。然而,当在服务链中耦合PNF和VNF时,SDN控制器可以使用虚拟路由器而不是TOR来将PNF耦合至VNF。因此,在图3中所图示的示例中,PNF 210B经由虚拟路由器310被耦合至VNF 312(即,托管VNF 312的服务节点302)。
在图3中所图示的示例示出了作为服务链302的尾端的VNF。要了解,VNF可以出现在服务链中的其他地方。例如,VNF可以被配置为服务链的前端,或者在服务链中的VNF和PNF之间。
图4图示了根据本文所描述的技术的一个或多个方面进行操作的示例控制器。SDN控制器400可以表示图1、图2A和图2B所示SDN控制器112的示例实例。虽然被图示和描述为在物理上分布的“虚拟”网络控制器,但是SDN控制器400的一些示例可以是在物理上和逻辑上集中在设备或服务器内。
如在图4的示例中图示的,SDN控制器400包括一个或多个控制器节点402A至402N(统称为“控制器节点402”)。每个控制器节点402可以表示SDN控制器400的分布式“虚拟”网络控制器。根据对等协议彼此对等的控制器节点402在网络上操作,这可以表示交换结构或L2/L3 IP结构的示例实例。在所图示的示例中,控制器节点402使用边界网关协议(BGP)实现(对等协议的示例)彼此对等。在该意义上,控制器节点402A和402N可以表示使用对等协议对等的第一控制器节点设备和第二控制器节点设备。控制器节点402包括用于发现网络的网络元件的相应网络发现模块464A至464N。
控制器节点402使用对等协议来向彼此提供与虚拟网络的至少部分地由控制器节点402管理的相应元件相关的信息。例如,控制器节点402A可以管理第一组一个或多个操作为用于虚拟网络的虚拟网络交换机的服务器。控制器节点402A可以通过BGP 468A来将与第一组服务器的管理或操作相关的信息发送至控制器节点402N。例如,由控制器节点402管理的其他元件可以包括网络控制器和/或设备、网络基础架构设备(例如,L2或L3交换机)、通信链路、防火墙和控制器节点402。由于控制器节点402具有对等关系,而不是主从关系,因此,可以在控制器节点402之间共享信息。
每个控制器节点402可以包括用于执行基本相似的功能性的基本相似的组件,在下文中主要针对控制器节点402A描述了所述功能性。
控制器节点402A可以包括用于存储与由控制器节点402A管理的第一组元件相关的配置信息的配置数据库460A。控制器节点402A的控制平面组件可以使用接口440来将配置信息存储到配置数据库460A。控制器节点402A可以共享与由控制器节点402A管理的第一组元件中的一个或多个元件相关并且被存储在配置数据库460A中的至少一些配置信息,以及接收与由其他控制器节点402管理的任何元件相关的至少一些配置信息。可以通过控制节点来存储一些或全部IP路由表223和EVPN路由表224(如在图2A和图2B中描述的)以促进网络发现模块和BGP 468的操作。
SDN控制器400可以执行由模块430表示的任何一个或多个所图示的SDN控制器操作,这些模块430可以包括编排432、用户接口434、全局负载均衡436和一个或多个应用438。SDN控制器400执行编排模块432以通过例如,以下方式来响应于动态需求环境而促进一个或多个虚拟网络的运行:在数据中心服务器中产生/移除虚拟机,调整计算能力,分配网络存储资源,以及修改连接虚拟网络的虚拟交换机的虚拟拓扑。由SDN控制器400执行的SDN控制器全局负载均衡436支持例如,对控制器节点402之间的分析、配置、通信任务的负载均衡。应用438可以表示由控制器节点402执行以例如,改变物理和/或虚拟网络的拓扑、添加服务或影响分组转发的一个或多个网络应用。
用户接口434包括可用于管理员(或软件代理)控制控制器节点402的操作的接口。例如,用户接口434可以包括管理员通过其可以修改例如,控制器节点402A的配置数据库460A的方法。由SDN控制器400操作的对一个或多个虚拟网络的管理可以通过提供单个管理点的统一用户接口434进行,这可以减少一个或多个虚拟网络的管理成本。
控制器节点402A可以包括执行控制平面协议以控制和监测一组网络元件的控制单元,诸如,控制平面虚拟机(VM)410A。在一些实例中,控制平面VM 410A可以表示本机进程。在所图示的示例中,控制平面VM 410A执行BGP 468A以将与由控制器节点402A管理的第一组元件相关的信息提供至例如,控制器节点402N的控制平面虚拟机462N。控制平面VM410A可以使用基于开放式标准的协议(例如,基于BGP的L3VPN),来利用其他控制平面实例和/或其他(多个)第三方联网设备分发有关其多个)虚拟网络的信息。给定根据本文描述的一个或多个方面的基于对等的模型,不同的控制平面实例(例如,不同的控制平面实例VM410A至VM 410N)可以执行不同的软件版本。在一个或多个方面中,例如,控制平面VM 410A可以包括特定版本的软件类型,并且控制平面VM 410N可以包括相同类型的软件的不同版本。
控制平面VM 410A可以使用通信协议来与物理路由器和虚拟路由器通信。虚拟路由器或交换机促进在一个或多个虚拟网络中的覆盖网络。在所图示的示例中,控制平面VM410A使用可扩展的消息传送和存在协议(XMPP)466A来与用于虚拟网络的至少一个虚拟路由器(例如,图1、图2A和图2B所示虚拟路由器14)通信。可以根据XMPP 466A来将虚拟网络路由数据、统计类集、日志和配置信息作为XML文档发送以便在控制平面VM 410A与虚拟路由器之间进行通信。控制平面VM 410A转而可以将数据路由到其他XMPP服务器(诸如,分析收集器),或者可以代表一个或多个虚拟网络交换机来取回配置信息。控制平面VM 410A可以进一步执行通信接口440以便与关联于配置数据库460A的配置虚拟机(VM)408A通信。通信接口440可以表示IF-MAP接口。
控制器节点402A可以进一步包括配置VM 408A以存储用于网络元件的配置信息并且管理配置数据库460A。配置VM 408A虽然被描述为虚拟机,但是在一些方面中,可以表示在控制器节点402A的操作系统上执行的本机过程。在一些方面中,配置VM 408A可以包括配置转换器,该配置转换器可以将用户友好的更高级别的虚拟网络配置转换为基于标准的协议配置(例如,BGP L3VPN配置),可以使用配置数据库460A来存储该基于标准的协议配置。
可以通过SDN控制器400来控制虚拟路由器以实现用于一个或多个端点和/或一个或多个主机的层4转发和策略实施点。由于来自控制平面VM 410A的配置,一个或多个端点或者一个和/或一个或多个主机可以被分类为虚拟网络。控制平面VM 410A还可以将用于每个端点的虚拟到物理映射作为路由分发到所有其他端点。这些路由可以提供将虚拟IP映射到物理IP的下一跳和所使用的封装技术(例如,IPinIP、NVGRE、VXLAN等中的一种)。
由模块430表示的任何虚拟网络控制器操作可以指示/请求控制器节点402建立服务链以便通过一系列一个或多个PNF 404和/或VNF(在图4中未示出)来跨不同网络从BMS和虚拟机引导业务。例如,UI 434可以接收为客户端业务创建服务链(例如,图2A、图2B和图3所示服务链202、302)的客户端请求。作为另一示例,一个应用438可以请求用于应用的应用业务的服务链。
控制平面VM 410A至VM 410N还包括根据本公开中描述的技术实现服务链的相应服务链单元470A至470N。为了便于描述,在下文中针对服务链单元470A描述服务链单元470A至470N的操作。服务链单元470A监测由控制平面VM 410经由XMPP 466A从SDN控制器400所控制的虚拟化元件获得的路由以及在一些实例中,监测由SDN控制器400生成以便配置元件的路由。
根据本文描述的技术,服务链单元470A可以部分地通过使用本文描述的技术将路由修改并且重新创建到由SDN控制器400控制的元件的网络中来建立所请求的服务链。例如,SDN控制器400可以经由一个或多个PNF或VNF来接收在BMS 428A与目的地端点(例如,VM415N)之间配置LR间服务链的请求(例如,经由UI 434)。
SDN控制器400可以将网络元件配置为经由一个或多个TOR和/或服务节点VM 415来将业务从源网络422A导向到目的地网络422N。为了经由服务链的PNF和VNF来将业务从源网络422A导向到目的地网络422N,服务链单元470A可以在服务链的PNF中配置两个路由实例,并且为路由实例生成VNID。服务链单元470A可以如上面针对图2A和图2B描述的那样获得路由并且重新创建路由。例如,SDN控制器400可以使用XMPP 466N来获得到目的地端点(例如,VM 415N)的IP路由。在一个示例中,SDN控制器400可以从托管VM 415N的服务器412N的虚拟网络代理413N获得IP路由。SDN控制器400可以将IP路由存储在控制平面VM 410A(未示出)中的IP路由表中。服务链单元470A可以重新创建路由,包括通过服务链将VNID指派为用于下一跳的L3标签。尽管与特定控制平面VM一起描述本文所描述的示例,但是这些技术可以由SDN控制器400的任何控制平面VM执行。
图5是图示了根据本公开中所描述的技术的一个或多个方面的用于提供LR间服务链的示例操作的流程图500。虽然针对图1所示SDN控制器112进行描述,但是流程图500的示例操作可以由任何控制器、服务器、设备、管理系统或其他合适的网络设备应用,以执行本文描述的技术。针对在图2A和图2B所示网络系统2中配置服务链202和配置服务链202来描述图5所示操作。在一些示例中,SDN控制器112可以执行流程图500的操作,以提供从裸金属服务器到虚拟执行元件(例如,虚拟机)的LR间服务链。
在图5的示例中,SDN控制器112可以在两个逻辑路由器(例如,逻辑路由器218和虚拟路由器214)之间创建服务链(502)。该服务链可以包括通过TOR被通信地耦合的一个或多个PNF。
SDN控制器112可以针对服务链中的每个PNF创建两个路由实例(504)。第一路由实例可以与在服务链左侧的虚拟网络(例如,在服务链的头端的虚拟网络,诸如,图2所示IVN206A)相关联。第二路由实例可以与在服务链的右侧的虚拟网络(例如,在服务链的尾端的虚拟网络,诸如,图2所示IVN 206B)相关联。
SDN控制器112可以针对服务链中的每个PNF的每个路由实例生成VNID。在一些示例中,针对与路由实例相关联的虚拟网络生成VNID。例如,每个PNF的第一路由实例将具有与左网络相关联的VNID,并且每个PNF的第二路由实例将具有与右网络相关联的VNID。针对与左网络相关联的路由实例生成的VNID可以彼此不同,针对与右网络相关联的路由实例生成的VNID的情况相同。SDN控制器112可以利用路由实例的对应VNID配置路由实例(508)。
SDN控制器112可以通过服务链来创建从左网络(例如,源网络)上的一个或多个设备到右网络(例如,目的地网络)上的一个或多个设备的第一路由(510)。SDN控制器112可以从目的地网络获得将下一跳指定为目的地网络可到达的目的地地址的路由。在一些示例中,SDN控制器112可以从目的地网络获得指定目的地网络(例如,IVN206B)可到达的虚拟机(例如,图2A所示VM 227A)的IP路由。
SDN控制器112可以通过修改从目的地网络获得的路由来通过服务链创建第一路由。例如,SDN 112可以通过将PNF的网络地址指定为从左网络上的设备接收到的分组的目的地地址的下一跳来修改路由。在一些示例中,指定下一跳包括:指定第一路由实例的网络地址和VNID作为用于下一跳的标签。因此,SDN控制器112修改获得的IP路由以将业务导向到服务链的一个或多个PNF,而不是直接导向到目的地网络。在一些方面中,如果SDN控制器112从目的地网络获得IP路由,则SDN控制器112可以将IP路由重新创建为到PNF的EVPN路由。例如,SDN控制器112可以将IP6路由重新创建为EVPN类型5路由。
SDN控制器112可以通过针对服务链中到右网络的每个剩余PNF指定服务链中到右网络的下一PNF的第一路由实例的网络地址和VNID作为用于下一跳的标签,来继续通过服务链创建第一路由。
SDN控制器112可以通过服务链来创建第二路由,其中第二路由是从右网络回到左网络(例如,从目的地网络回到源网络)的路由(512)。在这种情况下,SDN控制器112可以指定从被耦合至在服务链的右侧的逻辑路由器(例如,图2B所示虚拟路由器214)的TOR到在服务链的尾端的PNF(例如,图2B所示PNF 210B)的路由。在一些方面中,在TOR处所配置的下一跳可以指定与在服务链的尾端的PNF的第二路由实例相关联的网络地址和VNID。在创建第二路由的情况下,SDN控制器112可以将EVPN路由重新创建为到PNF的IP路由。例如,SDN控制器112可以将EVPN类型5路由重新创建为IP6路由。
SDN控制器112可以通过针对服务链中到左网络的每个剩余PNF指定服务链中到右网络的下一PNF的第二路由实例的网络地址和VNID作为用于下一跳的标签,来继续通过服务链创建第二路由。
本公开中所描述的技术可以至少部分地被实现在硬件、软件、固件或其任何组合中。例如,所描述的技术的各个方面可以被实现在一个或多个处理器中,包括:一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或分立逻辑电路装置以及这种组件的任何组合。术语“处理器”或“处理电路装置”通常可以指任何前述的逻辑电路装置(单独地或结合其他逻辑电路装置)或者任何其他等效的电路装置。包括硬件的控制单元还可以执行本公开的技术中的一种或多种技术。
这种硬件、软件和固件可以被实现在同一设备内或单独的设备内以支持本公开中所描述的各种操作和功能。附加地,任何所描述的单元、模块或组件都可以被同时或单独地实现为分立的但可彼此协作的逻辑设备。将不同的特征描述为模块或单元旨在突出显示不同的功能方面,并且不一定暗示必须通过单独的硬件或软件组件来实现这种模块或单元。相反,可以通过单独的硬件或软件组件来执行与一个或多个模块或单元相关联的功能性,或者该功能性可以被集成在共同的或单独的硬件或软件组件内。
本公开中所描述的技术还可以被实施或编码在包括指令的计算机可读介质(诸如,计算机可读存储介质)中。被嵌入或编码在计算机可读存储介质中的指令可以使可编程处理器或其他处理器执行该方法,例如,当指令被执行时。计算机可读存储介质可以包括:随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPRQM)、闪速存储器、硬盘、CD-ROM、软盘、磁带盒、磁性介质、光学介质或其他计算机可读介质。

Claims (20)

1.一种计算机联网方法,包括:
由网络系统的软件定义网络SDN控制器创建包括多个物理网络功能PNF的服务链,所述多个PNF包括第一PNF和第二PNF,所述服务链在所述网络系统的第一逻辑路由器和第二逻辑路由器之间;
针对所述第一PNF和所述第二PNF中的每一个创建对应的第一路由实例和对应的第二路由实例;
针对所述第一PNF和所述第二PNF中的每一个,利用第一标签配置所述对应的第一路由实例,并且利用第二标签配置所述第二路由实例,所述第一标签包括与所述第一逻辑路由器相关联的第一虚拟网络的第一虚拟可扩展局域网VXLAN标识符VNID,所述第二标签包括与所述第二逻辑路由器相关联的第二虚拟网络的第二VNID;
通过所述服务链来在所述第一虚拟网络上的第一设备到所述第二虚拟网络上的第二设备之间创建所述第一路由,所述第一路由在所述第一设备与所述第一PNF之间的第一交换机中将所述第一PNF的所述第一路由实例的所述第一VNID指定为针对从所述第一交换机到所述第一PNF的下一跳的第一标签,并且在所述第一PNF与所述第二PNF之间的第二交换机中将所述第二PNF的所述第一路由实例的所述第一VNID指定为针对从所述第二交换机到所述第二PNF的下一跳的第二标签;以及
将所述第一路由推送到被通信地耦合至所述多个PNF中的一个或多个PNF的多个交换机中的至少一个交换机,所述多个交换机包括所述第一交换机和所述第二交换机。
2.根据权利要求1所述的方法,其中创建所述第一路由包括:在所述第一PNF的所述第一路由实例中将第三交换机指定为从所述第一PNF到所述第三交换机的下一跳。
3.根据权利要求2所述的方法,其中所述第二交换机和所述第三交换机是相同的交换机。
4.根据权利要求1所述的方法,还包括:
通过所述服务链来在所述第二虚拟网络上的所述第二设备到所述第一虚拟网络上的所述第一设备之间创建第二路由,所述第二路由在所述第二设备与所述第二PNF之间的第三交换机中将所述第二PNF的所述第二路由实例的所述第二VNID指定为针对从所述第三交换机到所述第二设备的下一跳的标签,并且在所述第一PNF与所述第二PNF之间的第四交换机中将所述第一PNF的所述第二路由实例的所述第二VNID指定为针对从所述第四交换机到所述第一设备的下一跳的标签。
5.根据权利要求4所述的方法,其中创建所述第二路由包括:在所述第一PNF的所述第二路由实例中将所述第一PNF与所述第一设备之间的第五交换机指定为从所述第一PNF到所述第五交换机的下一跳。
6.根据权利要求1-5中任一项所述的方法,其中每个PNF的每个对应的第一路由实例的所述第一VNID不同于其他PNF的所述第一路由实例的其他第一VNID,并且其中每个PNF的每个对应的第二路由实例的所述第二VNID不同于其他PNF的所述对应的第二路由实例的所述第二VNID。
7.根据权利要求1-5中任一项所述的方法,其中创建所述第一路由包括:创建以太网虚拟专用网EVPN路由。
8.根据权利要求7所述的方法,其中所述EVPN路由包括EVPN类型5路由。
9.根据权利要求1-5中任一项所述的方法,还包括:创建从所述服务链中的每个PNF到所述服务链中的在相应PNF之后的交换机的虚拟可扩展局域网VXLAN段。
10.根据权利要求1所述的方法,其中创建所述服务链包括:配置在所述服务链的PNF之后的虚拟路由器,所述虚拟路由器被通信地耦合至所述服务链的虚拟化网络功能VNF。
11.根据权利要求1-5中任一项所述的方法,其中所述第一设备包括裸金属服务器BMS,并且所述第二设备包括虚拟机,并且其中所述第二逻辑路由器包括被通信地耦合至所述虚拟机的虚拟路由器。
12.根据权利要求1-5中任一项所述的方法,其中所述第一虚拟网络和所述第二虚拟网络包括内部虚拟网络。
13.一种网络控制器,包括:
一个或多个处理器;
服务链单元,所述服务链单元由所述一个或多个处理器可执行,所述服务链单元被配置为:
创建包括多个物理网络功能PNF的服务链,所述多个PNF包括第一PNF和第二PNF,所述服务链在网络系统的第一逻辑路由器和第二逻辑路由器之间,
针对每个PNF创建对应的第一路由实例和对应的第二路由实例,
针对每个PNF,利用第一标签配置所述对应的第一路由实例,并且利用第二标签配置所述第二路由实例,所述第一标签包括与所述第一逻辑路由器相关联的第一虚拟网络的第一虚拟可扩展局域网VXLAN标识符VNID,所述第二标签包括与所述第二逻辑路由器相关联的第二虚拟网络的第二VNID,以及
通过所述服务链来在所述第一虚拟网络上的第一设备到所述第二虚拟网络上的第二设备之间创建所述第一路由,所述第一路由在所述第一设备与所述第一PNF之间的第一交换机中将所述第一PNF的所述第一路由实例的所述第一VNID指定为针对从所述第一交换机到所述第一PNF的下一跳的标签,并且在所述第一PNF与所述第二PNF之间的第二交换机中将所述第二PNF的所述第一路由实例的所述第一VNID指定为针对从所述第二交换机到所述第二PNF的下一跳的标签;以及
控制平面虚拟机,所述控制平面虚拟机由所述一个或多个处理器可执行并且被配置为将所述第一路由推送到被通信地耦合至所述多个PNF中的一个或多个PNF的多个交换机中的至少一个交换机,所述多个交换机包括所述第一交换机和所述第二交换机。
14.根据权利要求13所述的控制器,其中所述服务链单元被配置为创建所述第一路由包括:所述服务链单元被配置为:在所述第一PNF的所述第一路由实例中将第三交换机指定为从所述第一PNF到所述第三交换机的下一跳。
15.根据权利要求13所述的控制器,其中所述服务链单元还被配置为:
通过所述服务链来在所述第二虚拟网络上的所述第二设备到所述第一虚拟网络上的所述第一设备之间创建第二路由,所述第二路由在所述第二设备与所述第二PNF之间的第三交换机中将所述第二PNF的所述第二路由实例的所述第二VNID指定为针对从所述第三交换机到所述第二设备的下一跳的标签,并且在所述第一PNF与所述第二PNF之间的第四交换机中将所述第一PNF的所述第二路由实例的所述第二VNID指定为针对所述第四交换机与所述第一设备之间的下一跳的标签。
16.根据权利要求13-15中任一项所述的控制器,其中创建所述第一路由包括:创建以太网虚拟专用网EVPN类型5路由。
17.根据权利要求13-15中任一项所述的控制器,其中所述服务链单元还被配置为创建从所述服务链中的每个PNF到所述服务链中的在相应PNF之后的交换机的VXLAN段。
18.根据权利要求13-15中任一项所述的控制器,其中所述服务链单元被配置为创建所述服务链包括:所述服务链被配置为,配置在所述服务链的PNF之后的虚拟路由器,所述虚拟路由器被通信地耦合至所述服务链的虚拟化网络功能VNF。
19.根据权利要求13-15中任一项所述的控制器,其中所述第一设备包括裸金属服务器BMS,并且所述第二设备包括虚拟机,并且其中所述第二逻辑路由器包括被通信地耦合至所述虚拟机的虚拟路由器。
20.一种物理网络功能PNF设备,包括:
一个或多个处理器;以及
计算机可读存储设备,所述计算机可读存储设备被配置为存储第一路由实例、第二路由实例和指令,所述指令由所述一个或多个处理器可执行以使所述PNF设备:
接收针对所述第一路由实例的配置数据,所述配置数据包括第一标签和第二标签,所述第一标签包括与第一逻辑路由器相关联的第一虚拟网络的第一虚拟可扩展局域网VXLAN标识符VNID,所述第二标签包括与第二逻辑路由器相关联的第二虚拟网络的第二VNID;
利用所述第一标签配置所述第一路由实例;
利用所述第二标签配置所述第二路由实例;
接收第一路由数据,所述第一路由数据指定从所述PNF设备到朝向所述第二虚拟网络的交换机的下一跳;
利用所述第一路由数据配置所述第一路由实例;
接收第二路由数据,所述第二路由数据指定从所述PNF设备到朝向所述第一虚拟网络的交换机的下一跳;以及
利用所述第二路由数据配置所述第二路由实例;
其中所述PNF设备被配置在第一逻辑路由器和第二逻辑路由器之间的服务链中,所述第一逻辑路由器与所述第一虚拟网络相关联,所述第二逻辑路由器与所述第二虚拟网络相关联。
CN202011040805.0A 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链 Active CN113973027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311522030.4A CN117478459A (zh) 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/922,954 2020-07-07
US16/922,954 US11178041B1 (en) 2020-07-07 2020-07-07 Service chaining with physical network functions and virtualized network functions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311522030.4A Division CN117478459A (zh) 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链

Publications (2)

Publication Number Publication Date
CN113973027A CN113973027A (zh) 2022-01-25
CN113973027B true CN113973027B (zh) 2023-12-01

Family

ID=72665114

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311522030.4A Pending CN117478459A (zh) 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链
CN202011040805.0A Active CN113973027B (zh) 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311522030.4A Pending CN117478459A (zh) 2020-07-07 2020-09-28 具有物理网络功能和虚拟化网络功能的服务链

Country Status (3)

Country Link
US (3) US11178041B1 (zh)
EP (1) EP3937438A1 (zh)
CN (2) CN117478459A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178041B1 (en) 2020-07-07 2021-11-16 Juniper Networks, Inc. Service chaining with physical network functions and virtualized network functions
US11336515B1 (en) * 2021-01-06 2022-05-17 Cisco Technology, Inc. Simultaneous interoperability with policy-aware and policy-unaware data center sites
US11728955B2 (en) * 2021-11-01 2023-08-15 International Business Machines Corporation Dynamic telecom network agent filtering
CN115277532B (zh) * 2022-07-12 2023-08-22 江苏安超云软件有限公司 基于服务链的数据报文转发方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355666A (zh) * 2018-12-21 2020-06-30 瞻博网络公司 促进针对计算机网络中的服务链的流对称

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064216B2 (en) 2012-06-06 2015-06-23 Juniper Networks, Inc. Identifying likely faulty components in a distributed system
US10355930B2 (en) * 2013-03-14 2019-07-16 Fortinet, Inc. System and method of subnetting a virtual network identifier
US9749231B2 (en) * 2013-07-02 2017-08-29 Arista Networks, Inc. Method and system for overlay routing with VXLAN on bare metal servers
US9686180B2 (en) * 2013-11-05 2017-06-20 Cisco Technology, Inc. Managing routing information for tunnel endpoints in overlay networks
US9300580B2 (en) * 2013-12-19 2016-03-29 International Business Machines Corporation Virtual machine network controller
US9571394B1 (en) 2014-01-10 2017-02-14 Juniper Networks, Inc. Tunneled packet aggregation for virtual networks
WO2015180084A1 (zh) * 2014-05-29 2015-12-03 华为技术有限公司 一种报文转发方法和VxLAN网关
US9634936B2 (en) 2014-06-30 2017-04-25 Juniper Networks, Inc. Service chaining across multiple networks
CN105471740B (zh) * 2014-07-09 2018-10-12 新华三技术有限公司 基于软件定义网络的网关迁徙处理方法及装置
CN105515992B (zh) * 2014-09-26 2019-01-11 新华三技术有限公司 Vxlan网络中的流表项处理方法及装置
KR102233645B1 (ko) * 2014-11-11 2021-03-30 한국전자통신연구원 가상 네트워크 기반 분산 다중 도메인 라우팅 제어 시스템 및 라우팅 제어 방법
CN105656796B (zh) * 2014-11-25 2019-01-22 新华三技术有限公司 实现虚拟扩展局域网三层转发的方法和装置
CN105991387A (zh) * 2015-01-29 2016-10-05 杭州华三通信技术有限公司 虚拟扩展局域网的报文传输方法和装置
US10291726B2 (en) * 2015-05-12 2019-05-14 Equinix, Inc. Network field unit for a cloud-based services exchange
CN106330649B (zh) * 2015-06-18 2019-08-02 新华三技术有限公司 一种跨软件定义网络的数据报文转发方法和装置
EP3332518A4 (en) * 2015-08-04 2019-04-03 Nokia Technologies Oy CONNECTION OF OVERLAY NETWORKS
CN107317832B (zh) * 2016-04-27 2020-01-03 新华三技术有限公司 报文转发方法及装置
US20180302343A1 (en) * 2017-04-14 2018-10-18 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. System and method for convergence of software defined network (sdn) and network function virtualization (nfv)
US10367726B1 (en) * 2018-01-12 2019-07-30 Netsia, Inc. Randomized VNF hopping in software defined networks
US20220070090A1 (en) * 2018-12-16 2022-03-03 Kulcloud Integrated wired/wireless network intermediary device, and deep packet matching method therefor
US10965592B2 (en) * 2019-05-31 2021-03-30 Juniper Networks, Inc. Inter-network service chaining
US11095557B2 (en) * 2019-09-19 2021-08-17 Vmware, Inc. L3 underlay routing in a cloud environment using hybrid distributed logical router
US11178041B1 (en) 2020-07-07 2021-11-16 Juniper Networks, Inc. Service chaining with physical network functions and virtualized network functions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355666A (zh) * 2018-12-21 2020-06-30 瞻博网络公司 促进针对计算机网络中的服务链的流对称

Also Published As

Publication number Publication date
US11178041B1 (en) 2021-11-16
US11956141B2 (en) 2024-04-09
EP3937438A1 (en) 2022-01-12
US20220070081A1 (en) 2022-03-03
CN117478459A (zh) 2024-01-30
CN113973027A (zh) 2022-01-25
US20230246941A1 (en) 2023-08-03
US11652727B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
US11824775B2 (en) Inter-network service chaining
US10986024B1 (en) Dynamic prefix list for route filtering
US11283707B2 (en) Segment routing with fast reroute for container networking
US10880210B2 (en) Cloud network having multiple protocols using virtualization overlays across physical and virtualized workloads
CN108696402B (zh) 虚拟路由器的基于会话的业务统计记录
US10237379B2 (en) High-efficiency service chaining with agentless service nodes
US10454821B2 (en) Creating and maintaining segment routed traffic engineering policies via border gateway protocol
CN113973027B (zh) 具有物理网络功能和虚拟化网络功能的服务链
CN106936777B (zh) 基于OpenFlow的云计算分布式网络实现方法、系统
US9935882B2 (en) Configuration of network elements for automated policy-based routing
US11528213B2 (en) Sharing routes using an in-memory data store in a distributed network system
CN107071087B (zh) 逻辑l3路由
CN111614605A (zh) 基于sdn虚拟防火墙的安全组信息的边界防火墙的自动配置
CN112688888B (zh) Evpn vxlan上改进的端口镜像
CN114039912B (zh) 用于改进路由通告的方法以及软件定义网络控制器
CN115412492A (zh) 由架顶式交换机针对裸金属服务器的策略实施
Makhijani et al. A Scalable and Dynamic Distribution of Tenant Networks across Multiple Provider Domains using Cloudcasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant