CN114600427A - 跨多个域的策略平面集成 - Google Patents
跨多个域的策略平面集成 Download PDFInfo
- Publication number
- CN114600427A CN114600427A CN202080075620.5A CN202080075620A CN114600427A CN 114600427 A CN114600427 A CN 114600427A CN 202080075620 A CN202080075620 A CN 202080075620A CN 114600427 A CN114600427 A CN 114600427A
- Authority
- CN
- China
- Prior art keywords
- sdwan
- path
- routing domain
- network
- segment routing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/76—Routing in software-defined topologies, e.g. routing between virtual machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/123—Evaluation of link metrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/30—Routing of multiclass traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/38—Flow based routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/50—Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/64—Routing or path finding of packets in data switching networks using an overlay routing layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/16—Implementing security features at a particular protocol layer
- H04L63/162—Implementing security features at a particular protocol layer at the data link layer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
用于通过分段路由互连SDWAN的系统、方法和计算机可读介质。可以标识SDWAN结构的第一SDWAN和第二SDWAN。可以跨SDWAN结构的WAN底层形成分段路由域,分段路由域互连第一SDWAN和第二SDWAN互连。可以通过执行通过在第一SDWAN和第二SDWAN之间形成的分段路由域的分段路由,来控制第一SDWAN和第二SDWAN之间的数据传输。
Description
相关申请的交叉引用
本申请要求于2019年9月4日提交的、名称为“跨多个域的策略平面集成(POLICYPLANE INTEGRATION ACROSS MULTIPLE DOMAINS)”的第16/560,849号美国非临时专利申请的权益和优先权,该非临时申请的内容通过引用整体明确结合于此。
技术领域
本公开的主题总体涉及计算机网络的领域,更特别地,涉及用于通过分段路由来互连SDWAN的系统和方法。
背景技术
企业网络格局在不断发展。存在对移动和物联网(IoT)设备流量、软件即服务(SaaS)应用和云采用的较大需求。此外,安全需求正在增加并且某些应用可能需要优先级和优化来正常运行。随着这种复杂性的增加,推动了以下项:降低成本和运营费用,并同时提供高可用性和可扩展性。
在这种发展格局下,传统的广域网(WAN)架构面临重大挑战。传统的WAN架构通常由多个多协议标签交换(MPLS)传输组成、或由与以下项配对的MPLS组成:该MPLS与互联网或以主动/备份方式使用的长期演进(LTE)链路配对,更通常地与互联网或被回传到中央数据中心或区域枢纽以进行互联网访问的SaaS流量配对。这些架构的问题可能包括带宽不足、带宽成本高、应用停机、SaaS性能差、操作复杂、云连接工作流复杂、部署时间长和策略更改、应用可见性有限以及网络安全方面的困难。
近年来,已经开发了软件定义企业网络方案来应对这些挑战。软件定义企业网络是更广泛的软件定义网络(SDN)技术的一部分,SDN包括软件定义广域网(SDWAN)和软件定义局域网(SDLAN)二者。SDN是集中式网络管理方法,可以从其应用抽象出底层网络基础设施。数据平面转发和控制平面的这种解耦可以允许网络运营商集中网络的智能,并提供更多的网络自动化、操作简化、以及集中配置、监视和故障排除。软件定义企业网络可以将SDN的这些原则应用于WAN和局域网(LAN)。
目前,可以组合SDWAN以形成单个网络,例如,非常大的网络。例如,区域园区网络可以形成一个或多个实体的非常大的网络。具体地,替代构建一个大型SDWAN,可以通过构建区域SD-WAN网络/云,来创建SDWAN的层级以形成网络。这些区域SDWAN通常终止于枢纽站点、数据中心和/或共址设施。在通过多个SDWAN形成网络时,促进SDWAN之间的通信(例如,互连SDWAN)对于确保网络正常运行至关重要。然而,互连单独的SDWAN难以实现。具体而言,通过支持SDWAN的SDWAN结构来互连单独的SDWAN难以正确实施。因此,存在对互连单独的SDWAN以形成更大网络的系统和方法的需要。更具体地,存在对通过在其中形成SDWAN的SDWAN结构来互连单独的SDWAN的系统和方法的需要。
附图说明
为了提供对本公开及其特征和优点的更完整的理解,结合附图参考以下描述,在附图中:
图1图示了根据实施例的高级网络架构的示例;
图2图示了根据实施例的网络拓扑的示例;
图3图示了示出根据实施例的用于管理覆盖网络的协议的操作的示图的示例;
图4图示了示出根据实施例的用于对网络进行分段的虚拟专用网络的操作的示图的示例;
图5A图示了示例网络环境、例如数据中心的示图;
图5B图示了网络环境的另一示例;
图6示出了互连SDWAN的示例网络环境;
图7图示了网络设备的示例;以及
图8图示了总线计算系统的示例,其中系统的组件使用总线彼此电通信。
具体实施方式
下面阐述的详细描述旨在作为对实施例的各种配置的描述,并且不旨在代表可以实践本公开的主题的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对本公开的主题的更透彻理解的目的的具体细节。然而,将清楚和明显的是,本公开的主题不限于本文阐述的具体细节并且可以在没有这些细节的情况下实施。在一些情况下,结构和组件以框图形式示出以避免模糊本公开的主题的构思。
概述
本发明的各方面在独立权利要求中阐述并且优选特征在从属权利要求中阐述。一个方面的特征可以单独地或与其他方面结合应用于每个方面。
一种方法可以包括标识SDWAN结构的第一SDWAN和第二SDWAN。可以跨WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN。可以通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
在各种实施例中,可以通过预先构建所述第一SDWAN和所述第二SDWAN之间通过所述WAN底层的多条路径,来形成通过所述SDWAN结构的分段路由域。所述多条路径可以能够被选择以控制所述第一SDWAN和所述第二SDWAN之间通过所述分段路由域的数据传输。
在某些实施例中,所述多条路径可以能够被改变,以控制所述第一SDWAN和所述第二SDWAN之间通过所述分段路由域的数据传输。
在各种实施例中,可以收集所述WAN底层中的链路的性能测量,所述链路在所述分段路由域中形成路径。可以基于所述WAN底层中的所述链路的性能测量,控制通过所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的路径上的数据传输。
在某些实施例中,所述WAN底层中的所述链路的性能测量可以包括以下项之一或以下项的组合:所述WAN底层中的所述链路的拥塞、延迟、丢包数量和抖动量。
在各种实施例中,所述性能测量可以作为流式传输遥测数据被收集,所述流式传输遥测数据来自形成所述WAN底层中的所述链路的节点。
在某些实施例中,可以标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径。可以将所述分段路由域中的路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联。进而,可以基于数据的流量类别以及路径与数据的特定流量类别的关联,来控制数据在所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的特定路径上的传输。所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的标识的路径中的两个节点可以被分段路由控制器配置为所述WAN底层中的路径计算元件节点。
在各种实施例中,可以确定所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径的性能健康状况。可以基于所述分段路由域中的路径的性能健康状况,标识所述分段路由域中的新路径。可以将所述新路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联。可以基于所述新路径与所述特定流量类别的关联,来控制所述特定流量类别的数据通过所述新路径的传输。所述新路径可以与所述特定流量类别相关联,用于替代之前与所述特定流量类别相关联的路径。此外,所述新路径可以是基于用于在所述第一SDWAN和所述第二SDWAN之间传输所述特定流量类别的数据的服务质量要求来标识的。
在某些实施例中,可以确定用于在所述第一SDWAN和所述第二SDWAN之间传输特定流量类别的数据的服务质量要求。可以基于所述服务质量要求,标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的适当路径。进而,可以通过分段路由,来控制所述特定流量类别的数据在所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的所述适当路径上的传输。
在各种实施例中,所述分段路由域可以利用介质访问控制安全(MACsec)加密,来在所述第一SDWAN和所述第二SDWAN之间传输数据。
一种系统可以包括一个或多个处理器以及存储指令的至少一个计算机可读存储介质,所述指令在由所述一个或多个处理器执行时,使得所述一个或多个处理器:标识SDWAN结构的第一SWAN和第二SDWAN。所述指令还可以使得所述一个或多个处理器:通过预先构建所述第一SDWAN和所述第二SDWAN之间通过所述SDWAN结构的WAN底层的多条可选择路径,跨所述WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN。此外,所述指令可以使得所述一个或多个处理器:通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
一种存储有指令的非暂时性计算机可读存储介质,所述指令在由处理器执行时,使得所述处理器:标识SDWAN结构的第一SDWAN和第二SDWAN。所述指令还可以使得处理器:跨所述SDWAN结构的WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN。此外,所述指令可以使得处理器:通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域中的一个或多个可改变路径的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
示例实施例
图1图示了用于实施本技术的各方面的网络架构100的示例。网络架构100的实施方式的示例是SDWAN架构。然而,本领域普通技术人员将理解,对于本公开中讨论的网络架构100和任何其他系统,在类似或替代的配置中可以存在附加的或更少的组件。本公开中提供的说明和示例是为了简洁和清楚。其他实施例可以包括不同数量和/或类型的元件,但本领域普通技术人员将理解,这样的变化不脱离本公开的范围。
在该示例中,网络架构100可以包括编排平面102、管理平面120、控制平面130和数据平面140。编排平面102可以协助边缘网络设备142(例如,交换机、路由器等)自动载入覆盖网络(overlay network)中。编排平面102可以包括一个或多个实体或虚拟的网络编排器器具104。(一个或多个)网络编排器器具104可以执行对边缘网络设备142的初始认证,并对控制平面130的设备和数据平面140的设备之间的连接进行编排。在一些实施例中,(一个或多个)网络编排器器具104还可以实现位于网络地址转换(NAT)之后的设备的通信。在一些实施例中,实体或虚拟的SD-WAN vBond器具可以操作为(一个或多个)网络编排器器具104。
管理平面120可以负责网络的中央配置和监视。管理平面120可以包括一个或多个实体或虚拟的网络管理器具122。在一些实施例中,(一个或多个)网络管理器具122可以经由图形用户界面来提供对网络的集中管理,以使用户能够监视、配置和维护底层(underlay)和覆盖网络中的边缘网络设备142和链路(例如,互联网传输网络160、MPLS网络162、4G/LTE网络164)。(一个或多个)网络管理器具122可以支持多租户,并实现对与不同实体(例如,企业、企业内的部门、部门内的组等)相关联的逻辑隔离的网络的集中管理。替代地或附加地,(一个或多个)网络管理器具122可以是用于单个实体的专用网络管理系统。在一些实施例中,实体或虚拟的SD-WAN vManage器具可以操作为(一个或多个)网络管理器具122。
控制平面130可以建立和维护网络拓扑,并对流量流向何处做出决定。控制平面130可以包括一个或多个实体或虚拟的网络控制器器具132。(一个或多个)网络控制器器具132可以建立到每个网络设备142的安全连接,并经由控制平面协议(例如,覆盖管理协议(OMP)(下面更详细讨论)、开放最短路径优先(OSPF)、中间系统到中间系统(IS-IS)、边界网关协议(BGP)、协议无关组播(PIM)、互联网组管理协议(IGMP)、互联网控制消息协议(ICMP)、地址解析协议(ARP)、双向转发检测(BFD)、链路聚合控制协议(LACP)等)分发路由和策略信息。在一些实施例中,(一个或多个)网络控制器器具132可以操作为路由反射器。(一个或多个)网络控制器器具132还可以对数据平面140中边缘网络设备142之间的安全连接进行编排。例如,在一些实施例中,(一个或多个)网络控制器器具132可以在(一个或多个)网络设备142之间分发加密密钥信息。这可以允许网络在没有互联网密钥交换(IKE)的情况下支持安全网络协议或应用(例如,互联网协议安全(IPSec)、传输层安全(TLS)、安全外壳(SSH)等),并实现网络的可扩展性。在一些实施例中,实体或虚拟的SD-WANvSmart控制器可以操作为(一个或多个)网络控制器器具132。
数据平面140可以负责基于来自控制平面130的决定来转发分组。数据平面140可以包括边缘网络设备142,其可以是实体或虚拟的网络设备。边缘网络设备142可以在组织的各种网络环境的边缘处操作,例如,在一个或多个数据中心或托管中心150、园区网络152、分公司办公网络154、家庭办公网络154等中,或者在云(例如,基础设施即服务(IaaS)、平台即服务(PaaS)、SaaS和其他云服务供应商网络)中。边缘网络设备142可以通过一个或多个WAN传输来提供站点之间的安全数据平面连接,例如,经由一个或多个互联网传输网络160(例如,数字用户线(DSL)、电缆等)、MPLS网络162(或其他专用分组交换网络(例如,城域以太网、帧中继、异步传输模式(ATM)等)、移动网络164(例如,3G、4G/LTE、5G等)或其他WAN技术(例如,同步光网络(SONET)、同步数字体系(SDH)、密集波分复用(DWDM)或其他光纤技术;租用线路(例如,T1/E1、T3/E3等);公共交换电话网络(PSTN)、综合业务数字网络(ISDN)或其他专用电路交换网络;小口径终端(VSAT)或其他卫星网络等)。边缘网络设备142可以负责流量转发、安全、加密、服务质量(QoS)和路由(例如,BGP、OSPF等)以及其他任务。在一些实施例中,实体或虚拟的SD-WAN vEdge路由器可以操作为边缘网络设备142。
图2图示了用于示出网络架构100的各个方面的网络拓扑200的示例。网络拓扑200可以包括管理网络202、一对网络站点204A和204B(统称为204)(例如,(一个或多个)数据中心150、(一个或多个)园区网络152、(一个或多个)分公司办公网络154、(一个或多个)家庭办公网络156、(一个或多个)云服务供应商网络等)、以及一对互联网传输网络160A和160B(统称为160)。管理网络202可以包括一个或多个网络编排器器具104、一个或多个网络管理器具122和一个或多个网络控制器器具132。尽管在该示例中管理网络202被示为单个网络,但本领域普通技术人员将理解,管理网络202的每个元件可以分布在任意数量的网络上和/或与站点204共址。在该示例中,可以通过传输网络160A或160B到达管理网络202的每个元件。
每个站点可以包括连接到一个或多个站点网络设备208的一个或多个端点206。端点206可以包括通用计算设备(例如,服务器、工作站、台式计算机等)、移动计算设备(例如,膝上型计算机、平板计算机、移动电话等)、可穿戴设备(例如,手表、眼镜或其他头戴式显示器(HMD)、耳机设备等)等。端点206还可以包括物联网(IoT)设备或装备,例如,农业装备(例如,牲畜跟踪和管理系统、浇水设备、无人驾驶飞行器(UAV)等);连接的汽车和其他车辆;智能家居传感器和设备(例如,报警系统、安全相机、灯、电器、媒体播放器、HVAC设备、电表、窗、自动门、门铃、锁等);办公装备(例如,桌面电话、复印机、传真机等);医疗保健设备(例如,起搏器、生物识别传感器、医疗装备等);工业装备(例如,机器人、工厂机械、建筑设备、工业传感器等);零售装备(例如,自动售货机、销售点(POS)设备、射频识别(RFID)标签等);智慧城市设备(例如,路灯、停车计时器、废物管理传感器等);运输和物流装备(例如,旋转门、租车跟踪器、导航设备、库存监视器等)等。
站点网络设备208可以包括实体或虚拟的交换机、路由器以及其他网络设备。尽管在该示例中站点204A被示为包括一对站点网络设备并且站点204B被示为包括单个站点网络设备,但是站点网络设备208可以包括任何网络拓扑中的任何数量的网络设备,任何网络拓扑包括多层(例如,核心层、分布层和访问层)、脊叶、网状、树状、总线、中心辐射等。例如,在一些实施例中,一个或多个数据中心网络可以实施以应用中心的基础设施(ACI)架构,和/或一个或多个园区网络可以实施软件定义访问(SD-Access或SDA)架构。站点网络设备208可以将端点206连接到一个或多个边缘网络设备142,并且边缘网络设备142可以用于直接连接到传输网络160。
在一些实施例中,可以使用“颜色”来标识各个WAN传输网络,并且不同的WAN传输网络可以被分配不同的颜色(例如,mpls、私有1(private1)、商业网络(biz-internet)、城域以太网(metro-ethernet)、lte等)。在该示例中,网络拓扑200可以针对互联网传输网络160A使用称为“商业网络”的颜色,并针对互联网传输网络160B使用称为“公共网络(public-internet)”的颜色。
在一些实施例中,每个边缘网络设备142可以形成到(一个或多个)网络控制器器具132的数据报传输层安全(DTLS)或TLS控制连接,并且通过每个传输网络160连接到任何网络控制器具132。在一些实施例中,边缘网络设备142还可以经由IPSec隧道安全地连接到其他站点中的边缘网络设备。在一些实施例中,可以在这些隧道中的每个内使用BFD协议来检测丢失、延迟、抖动和路径故障。
在边缘网络设备142上,颜色可以被用于协助识别或区分各个WAN传输隧道(例如,在单个边缘网络设备上不能两次使用相同的颜色)。颜色本身也可以具有意义。例如,以下颜色可以被认为是私有颜色:城域以太网(metro-ethernet)、mpls、以及私有1(private1)、私有2(private2)、私有3(private3)、私有4(private4)、私有5(private5)和私有6(private6),它们可以用于私有网络、或者不存在对传输IP端点的NAT寻址的地方(例如,因为在相同颜色的两个端点之间可能不存在NAT)。当边缘网络设备142使用私有颜色时,它们可以尝试使用本地、私有、底层IP地址来建立到其他边缘网络设备的IPSec隧道。公共颜色可以包括3g、商业(biz)、互联网(internet)、蓝(blue)、古铜(bronze)、定制1(custom1)、定制2(custom2)、定制3(custom3)、默认(default)、金(gold)、绿(green)、lte、公共网络(public-internet)、红(red)和银(silver)。边缘网络设备142可以使用公共颜色来建立到NAT后IP地址的隧道(如果涉及NAT)。如果边缘网络设备142使用私有颜色并且需要NAT来与其他私有颜色进行通信,则配置中的运营商设置可以指示边缘网络设备142是使用私有还是公共IP地址。使用此设置,两个私有颜色可在一者或两者使用NAT时建立会话。
图3图示了示出OMP的操作的示图300的示例,OMP在一些实施例中可以用于管理网络(例如,网络架构100)的覆盖。在该示例中,OMP消息302A和302B(统称为302)可以分别在网络控制器器具132和边缘网络设备142A和142B之间来回传输,其中控制平面信息(例如,路由前缀、下一跳路由、加密密钥、策略信息等)可以通过相应的安全DTLS或TLS连接304A和304B来交换。网络控制器器具132可以与路由反射器类似地进行操作。例如,网络控制器器具132可以从边缘网络设备142接收路由,处理路由并向它们应用任何策略,并且将路由通告给覆盖中的其他边缘网络设备142。如果不存在定义的策略,则边缘网络设备142可以以类似于全网格拓扑的方式运行,其中每个边缘网络设备142可以直接连接到处于另一站点的另一边缘网络设备142并从每个站点接收完整路由信息。
OMP可以通告以下三种类型的路由:
·OMP路由,其可以对应于从边缘网络设备142的本地站点或服务侧获知的前缀。前缀可以源于静态的或连接的路由、或源自例如OSPF或BGP协议内部,并被重新分配到OMP中,使得这些前缀可以跨覆盖传输。OMP路由可以通告属性,例如,传输位置(TLOC)信息(其可类似于BGP下一跳IP地址)和其他属性,例如,来源、发起者、偏好、站点标识符、标签和虚拟专用网络(VPN)。如果OMP路由指向的TLOC是活动的,则该OMP路由可被设置在转发表中。
·TLOC路由,其可以对应于边缘网络设备142上的逻辑隧道终止点,该边缘网络设备142连接到传输网络160中。在一些实施例中,TLOC路由可以通过包括IP地址、链路颜色和封装(例如,通用路由封装(GRE)、IPSec等)的三元组来唯一地标识和表示。除了系统IP地址、颜色和封装之外,TLOC路由还可以承载属性,例如,TLOC私有和公共IP地址、运营商、偏好、站点标识符、标签和权重。在一些实施例中,当活动BFD会话与TLOC相关联时,该TLOC可以在特定边缘网络设备142上处于活动状态。
·服务路由,其可以表示服务(例如,防火墙、分布式拒绝服务(DDoS)缓解器、负载平衡器、入侵防御系统(IPS)、入侵检测系统(IDS)、WAN优化器等),该服务可以连接到边缘网络设备142的本地站点并且对其他站点是可访问的,以与服务插入一起使用。此外,这些路由还可以包括VPN;VPN标签可以以更新类型来发送,以告知网络控制器器具132在远程站点处被服务的是那些VPN。
在图3的示例中,OMP被示出为在边缘网络设备142和网络控制器器具132之间建立的DTLS/TLS隧道304上运行。此外,示图300示出了通过WAN传输网络160A在TLOC 308A和308C之间建立的IPSec隧道306A,以及通过WAN传输网络160B在TLOC 308B和TLOC 308D之间建立的IPSec隧道306B。一旦建立了IPSec隧道306A和306B,则可以在它们中的每个上启用BFD。
图4图示了示出VPN的操作的示图400的示例,VPN在一些实施例中可以用于为网络(例如,网络架构100)提供分段。VPN可以相互隔离并且可以拥有它们自己的转发表。接口或子接口可以明确配置在单个VPN下,并且不能是多于一个VPN的一部分。标签可以用在OMP路由属性中和分组封装中,标签可以标识分组所属的VPN。VPN号可以是具有0到65530的值的四字节整数。在一些实施例中,(一个或多个)网络编排器器具104、(一个或多个)网络管理器具122、(一个或多个)网络控制器器具132和/或(一个或多个)边缘网络设备142均可以包括传输VPN402(例如,VPN号0)和管理VPN 404(例如,VPN号512)。传输VPN 402可以包括分别连接到WAN传输网络(例如,MPLS网络162和互联网传输网络160)的一个或多个实体或虚拟的网络接口(例如,网络接口410A和410B)。可以从传输VPN 402发起以下安全DTLS/TLS连接:该安全DTLS/TLS连接为到(一个或多个)网络控制器器具132的安全DTLS/TLS连接、或(一个或多个)网络控制器器具132和(一个或多个)网络编排器器具104之间的安全DTLS/TLS连接。此外,可以在传输VPN 402内部配置静态或默认路由或动态路由协议,以获得适当的下一跳信息,使得可以建立控制平面130并且IPSec隧道306(未示出)可以连接到远程站点。
管理VPN 404可以承载通过网络接口410C去往和来自以下项的带外管理流量:(一个或多个)网络编排器器具104、(一个或多个)网络管理器具122、(一个或多个)网络控制器器具132和/或(一个或多个)边缘网络设备142。在一些实施例中,管理VPN 404不能跨覆盖网络被承载。
除了传输VPN 402和管理VPN 404之外,(一个或多个)网络编排器器具104、(一个或多个)网络管理器具122、(一个或多个)网络控制器器具132和/或(一个或多个)边缘网络设备142还可以包括一个或多个服务侧VPN 406。服务侧VPN 406可以包括连接到一个或多个本地站点网络412并承载用户数据流量的一个或多个实体或虚拟的网络接口(例如,网络接口410D和410E)。(一个或多个)服务侧VPN 406可以针对以下特征被实现:例如,OSPF或BGP、虚拟路由器冗余协议(VRRP)、QoS、流量整形、监管等。在一些实施例中,用户流量可以通过以下方式通过IPSec隧道被引导至其他站点:通过将在站点412处从(一个或多个)网络控制器器具132接收的OMP路由重新分配到服务侧VPN路由协议中。进而,来自本地站点412的路由可以通过以下方式被通告给其他站点:通过将服务VPN路由通告到OMP路由协议中,该OMP路由协议可被发送到(一个或多个)网络控制器器具132并重新分配到网络中的其他边缘网络设备142。尽管在该示例中网络接口410A-E(统称为410)被示为物理接口,但本领域普通技术人员将理解,传输和服务VPN中的接口410还可以替代地是子接口。
图5A图示了示例网络环境500(例如,数据中心)的示图。在一些情况下,网络环境500可以包括可支持和/或托管云环境的数据中心。网络环境500可以包括结构520,结构520可以表示网络环境500的物理层或基础设施(例如,底层)。结构520可以包括脊(Spine)502(例如,脊路由器或交换机)和叶(Leaf)504(例如,叶路由器或交换机),它们可以互连以在结构520中路由或交换流量。脊502可以互连结构520中的叶504,叶504可以将结构520连接到网络环境500的覆盖或逻辑部分,覆盖或逻辑部分可以包括应用服务、服务器、虚拟机、容器、端点等。因此,结构520中的网络连接可以从脊502流向叶504,反之亦然。叶504和脊502之间的互连可以是冗余的(例如,多个互连),以避免路由的故障。在一些实施例中,叶504和脊502可以完全连接,使得任何给定的叶连接到每个脊502,并且任何给定的脊连接到每个叶504。叶504可以是例如架顶式(“ToR”)交换机、聚合交换机、网关、入口和/或出口交换机、供应商边缘设备和/或任何其他类型的路由或交换设备。
叶504可以负责路由和/或桥接租户或客户分组,并应用网络策略或规则。网络策略和规则可以由一个或多个控制器516驱动,和/或由一个或多个设备(例如,叶504)实施或执行。叶504可以将其他元件连接到结构520。例如,叶504可以使服务器506、管理程序508、虚拟机(VM)510、应用512、网络设备514等与结构520连接。这样的元件可以驻留在一个或多个逻辑或虚拟层或网络中,例如,覆盖网络中。在一些情况下,叶504可以封装和解封装去往或来自这些元件(例如,服务器506)的分组,以便实现整个网络环境500和结构520的通信。叶504还可以为任何其他设备、服务、租户或工作负载提供对结构520的访问。在一些情况下,连接到叶504的服务器506可以类似地封装和解封装去往和来自叶504的分组。例如,服务器506可以包括一个或多个虚拟交换机或路由器或隧道端点,以在以下项之间隧道传输分组:由服务器506托管或连接到服务器506的覆盖或逻辑层、以及由结构520表示并经由叶504访问的底层。
应用512可以包括软件应用、服务、容器、器具、功能、服务链等。例如,应用512可以包括防火墙、数据库、CDN服务器、IDS/IPS、深度分组检测服务、消息路由器、虚拟交换机等。来自应用512的应用可以由多个端点(例如,服务器506、VM 510等)分发、链接或托管,或者可以完全从单个端点运行或执行。
VM 510可以是由管理程序508托管的虚拟机、或在服务器506上运行的虚拟机管理器。VM 510可以包括在相应服务器上的访客操作系统上运行的工作负载。管理程序508可以提供创建、管理和/或运行VM 510的软件、固件和/或硬件的层。管理程序508可以允许VM510共享服务器506上的硬件资源,并且允许服务器506上的硬件资源表现为多个单独的硬件平台。此外,服务器506上的管理程序508可以托管一个或多个VM510。
在一些情况下,VM 510可以被迁移到其他服务器506。服务器506可以类似地被迁移到网络环境500中的其他物理位置。例如,连接到特定叶的服务器可以被改变为连接到不同的或附加的叶。这种配置或部署改变可能涉及对被应用于正在迁移的资源以及其他网络组件的设置、配置和策略的修改。
在一些情况下,一个或多个服务器506、管理程序508和/或VM 510可以表示或驻留在租户或客户空间中。租户空间可以包括与一个或多个客户端或订户相关联的工作负载、服务、应用、设备、网络和/或资源。因此,网络环境500中的流量可以基于特定的租户策略、空间、协定、配置等进行路由。此外,寻址可以在一个或多个租户之间变化。在一些配置中,租户空间可以被划分为逻辑段和/或网络,并和与其他租户相关联的逻辑段和/或网络分离。租户之间的寻址、策略、安全和配置信息可以由控制器516、服务器506、叶504等管理。
网络环境500中的配置可以在逻辑级、硬件级(例如,实体)和/或两者实施。例如,配置可以通过软件定义网络(SDN)框架(例如,ACI或VMWARE NSX),基于端点或资源属性(例如,端点类型和/或应用组或简档),而在逻辑和/或硬件级实施。为了说明,一个或多个管理员可以通过控制器516在逻辑级(例如,应用或软件级)定义配置,控制器516可以通过网络环境500实施或传播这样的配置。在一些示例中,控制器516可以是ACI框架中的应用策略基础设施控制器(APIC)。在其他示例中,控制器516可以是用于与其他SDN方案相关联的一个或多个管理组件,例如,NSX管理器。
这样的配置可以定义用于在网络环境500中路由和/或分类流量的规则、策略、优先级、协议、属性、对象等。例如,这样的配置可以定义用于基于端点组、安全组(SG)、VM类型、桥接域(BD)、虚拟路由和转发实例(VRF)、租户、优先级、防火墙规则等来分类和处理流量的属性和对象。其他示例网络对象和配置在下面进一步描述。流量策略和规则可以基于流量的标签、属性或其他特性来实施,例如,与流量相关联的协议、与流量相关联的EPG、与流量相关联的SG、与流量相关联的网络地址信息等。这样的策略和规则可以由网络环境500中的一个或多个元件实施,例如,叶504、服务器506、管理程序508、控制器516等。如之前所解释的,网络环境500可以根据一个或多个特定的SDN方案来配置,例如,CISCO ACI或VMWARE NSX。下面简要介绍这些示例SDN方案。
ACI可以通过可扩展分布式实施来提供应用中心方案或基于策略的方案。ACI支持在针对网络、服务器、服务、安全、需求等的声明式配置模型下,集成物理和虚拟环境。例如,ACI框架实施EPG,EPG可以包括共享共同配置要求(例如,安全、QoS、服务等)的一组端点或应用。端点可以是虚拟/逻辑或实体设备,例如,连接到网络环境500的VM、容器、主机或实体服务器。端点可以具有一个或多个属性,例如,VM名称、访客OS名称、安全标签、应用简档等。应用配置可以以合约的形式在EPG之间应用,而不是直接在端点之间应用。叶504可以将传入流量分类为不同的EPG。分类可以基于例如网络分段标识符,例如,VLAN ID、VXLAN网络标识符(VNID)、NVGRE虚拟子网标识符(VSID)、MAC地址、IP地址等。
在一些情况下,ACI基础设施中的分类可以由ACI虚拟边缘(AVE)来实施,AVE可以在主机(例如,服务器)上运行,AVE例如是在服务器上运行的vSwitch。例如,AVE可以基于指定的属性对流量进行分类,并且用不同的标识符(例如,网络分段标识(例如,VLAN ID))来标记不同属性EPG的分组。最后,叶504可以基于分组的标识符将分组与其属性EPG联系起来,并实施策略,这可以由一个或多个控制器516来实施和/或管理。叶504可以分类来自主机的流量属于哪个EPG,并相应地实施策略。
另一示例SDN解决方案基于VMWARE NSX。利用VMWARE NSX,主机可以运行能够分类和处理流量的分布式防火墙(DFW)。考虑以下情况:三种类型的VM(即,应用VM、数据库VM和网络VM)被放入单个层2网络分段。可以基于VM类型在网络分段内提供流量保护。例如,可以允许网络VM间的HTTP流量,而不允许网络VM与应用VM或数据库VM之间的HTTP流量。为了分类流量并实施策略,VMWARE NSX可以实施安全组,其可用于对特定VM(例如,网络VM、应用VM、数据库VM)进行分组。可以配置DFW规则来实施针对特定安全组的策略。为了说明,在前面示例的上下文中,DFW规则可以被配置为阻止网络、应用和数据库安全组之间的HTTP流量。
现在回到图5A,网络环境500可以经由叶504、服务器506、管理程序508、VM 510、应用512和控制器516部署不同的主机,例如,VMWARE ESXi主机、WINDOWS HYPER-V主机、裸机实体主机等。网络环境500可以与各种管理程序508、服务器506(例如,实体和/或虚拟的服务器)、SDN编排平台等交互操作。网络环境500可以实施声明式模型以允许其与应用设计和整体网络策略集成。
控制器516可以提供对结构信息、应用配置、资源配置、SDN基础设施的应用级配置建模、与管理系统或服务器的集成等的集中式访问。控制器516可以形成控制平面,该控制平面经由北向API与应用平面相接口,并通过南向API与数据平面相接口。
如前所述,控制器516可以针对网络环境500中的配置定义和管理(一个或多个)应用级模型。在一些情况下,应用或设备配置还可以由网络中的其他组件来管理和/或定义。例如,管理程序或虚拟器具(例如,VM或容器)可以运行服务器或管理工具,来管理网络环境500中的软件和服务,包括虚拟设备的配置和设置。
如上所示,网络环境500可以包括一种或多种不同类型的SDN方案、主机等。为了清楚和解释的目的,将参考ACI框架来描述本公开中的各种示例,并且控制器516可以互换地称为控制器、APIC或APIC控制器。然而,应注意,本文中的技术和构思不限于ACI方案,并且可以在其他架构和场景中实施,其他架构和场景包括其他SDN方案以及可能未部署SDN方案的其他类型的网络。
此外,如本文所引用的,术语“主机”可指代服务器506(例如,实体的或逻辑的)、管理程序508、VM 510、容器(例如,应用512)等,并且可以运行或包括任何类型的服务器或应用方案。“主机”的非限制性示例可包括虚拟交换机或路由器,例如,分布式虚拟交换机(DVS)、AVE节点、向量分组处理(VPP)交换机;VCENTER和NSX MANAGERS;裸机实体主机;HYPER-V主机;VM;DOCKER容器;等。
图5B图示了网络环境500的另一示例。在该示例中,网络环境500包括连接到结构520中的叶504的端点522。端点522可以是物理和/或逻辑或虚拟实体,例如,服务器、客户端、VM、管理程序、软件容器、应用、资源、网络设备、工作负载等。例如,端点522可以是表示以下项的对象:实体设备(例如,服务器、客户端、交换机等)、应用(例如,网络应用、数据库应用等)、逻辑或虚拟资源(例如,虚拟交换机、虚拟服务器具、虚拟化网络功能(VNF)、VM、服务链等)、运行软件资源的容器(例如,应用、器具、VNF、服务链等)、存储装置、工作负载或工作负载引擎等。端点522可以具有地址(例如,身份)、位置(例如,主机、网络分段、VRF实例、域等)、一个或多个属性(例如,名称、类型、版本、补丁级别、OS名称、OS类型等)、标签(例如,安全标签)、简档等。
端点522可以与相应的逻辑组518相关联。逻辑组518可以是包含根据以下项被分组在一起的(实体的和/或逻辑的或虚拟的)端点的逻辑实体:一个或多个属性(例如,端点类型(例如,VM类型、工作负载类型、应用类型等))、一个或多个需求(例如,策略需求、安全需求、QoS需求、客户需求、资源需求等)、资源名称(例如,VM名称、应用名称等)、简档、平台或操作系统(OS)特性(例如,OS类型或名称,包括访客和/或主机OS等)、相关联的网络或租户、一个或多个策略、标签等。例如,逻辑组可以是表示被分组在一起的一组端点的对象。为了说明,逻辑组1可以包含客户端端点,逻辑组2可以包含网络服务器端点,逻辑组3可以包含应用服务器端点,逻辑组N可以包含数据库服务器端点等。在一些示例中,逻辑组518是ACI环境中的EPG和/或另一SDN环境中的其他逻辑组(例如,SG)。
可以基于逻辑组518对去往和/或来自端点522的流量进行分类、处理、管理等。例如,逻辑组518可以用于对去往或来自端点522的流量进行分类,对去往或来自端点522的流量应用策略,定义端点522之间的关系,定义端点522的角色(例如,端点是消费还是提供服务等),对去往或来自端点522的流量应用规则,将过滤器或访问控制列表(ACL)应用于去往或来自端点522的流量,定义去往或来自端点522的流量的通信路径,实施与端点522相关联的要求,实施与端点522相关联的安全和其他配置等。
在ACI环境中,逻辑组518可以是用于在ACI中定义合约的EPG。合约可以包括指定EPG之间进行何种通信以及如何进行通信的规则。例如,合约可以定义何者提供服务,何者消费服务,以及哪些策略对象与该消费关系相关。合约可以包括以下策略:该策略定义通信路径、以及EP或EPG之间的通信或关系的所有相关元件。例如,网络EPG可以提供由客户端EPG消费的服务,并且该消费可以受制于过滤器(ACL)和包括一个或多个服务(例如,防火墙检查服务和服务器负载平衡)的服务图。
如前所述,企业网络格局在不断发展。对移动和IoT设备流量、SaaS应用和云采用的需求较大。此外,安全需求正在增加并且某些应用可能需要优先级和优化来正常运行。随着这种复杂性的增加,推动了以下项:降低成本和运营费用,并同时提供高可用性和可扩展性。
在这种发展格局下,传统的WAN架构面临重大挑战。传统的WAN架构通常由多个MPLS传输组成、或由与以下项配对的MPLS组成:该MPLS与互联网或以主动/备份方式使用的LTE链路配对,更通常地与互联网或被回传到中央数据中心或区域枢纽以进行互联网访问的SaaS流量配对。这些架构的问题可能包括带宽不足、带宽成本高、应用停机、SaaS性能差、操作复杂、云连接工作流复杂、部署时间长和策略更改、应用可见性有限以及网络安全方面的困难。
近年来,已经开发了软件定义企业网络方案来应对这些挑战。软件定义企业网络是更广泛的SDN技术的一部分,SDN包括SDWAN和SDLAN二者。SDN是集中式网络管理方法,可以从其应用中抽象出底层网络基础设施。数据平面转发和控制平面的这种解耦可以允许网络运营商集中网络的智能,并提供更多的网络自动化、操作简化、以及集中配置、监视和故障排除。软件定义企业网络可以将SDN的这些原则应用于WAN和LAN。
目前,可以组合SDWAN以形成单个网络,例如,非常大的网络。例如,区域园区网络可以形成一个或多个实体的非常大的网络。具体地,替代构建一个大型SDWAN,可以通过构建区域SD-WAN网络/云,来创建SDWAN的层级以形成网络。这些区域SDWAN通常终止于枢纽站点、数据中心和/或共址设施。在通过多个SDWAN形成网络时,促进SDWAN之间的通信(例如,互连SDWAN)对于确保网络正常运行至关重要。然而,互连单独的SDWAN难以实现。具体而言,通过支持SDWAN的SDWAN结构来互连单独的SDWAN难以正确实施。因此,存在对互连单独的SDWAN以形成更大网络的系统和方法的需求。更具体地,存在对通过在其中形成了SDWAN的SDWAN结构来互连单独的SDWAN的系统和方法的需求。
本公开包括用于通过经由分段路由来互连SDWAN,以解决这些问题/差异的系统、方法和计算机可读介质。具体地,可以标识SDWAN结构的第一SDWAN和第二SDWAN。可以形成通过SDWAN结构的分段路由域,分段路由域互连第一SDWAN和第二SDWAN。具体地,分段路由域可以跨SDWAN结构的WAN底层形成,以互连第一SDWAN和第二SDWAN。可以通过执行通过在第一SDWAN和第二SDWAN之间形成的分段路由域的分段路由,来控制第一SDWAN和第二SDWAN之间的数据传输。
本系统、方法和计算机可读介质由于多种原因而优于当前的跨域实施技术。具体地,可以通过以下方式来实现端到端SDWAN方案的益处:经由建立在WAN核心/底层上的分段路由域互连SDWAN,有效连接SDWAN以创建端到端SDWAN方案。此外,使用分段路由域来互连SDWAN提供了使用软件实例化构造(例如,来自控制器)来构建通过WAN核心的路径的功能。如下所述,由于分段路由所特有的前端决策和路径选择的机制,使得可以基于特定流量的特性来选取该流量的路径,以更有效地控制SDWAN之间的数据传输。此外,通过使用分段路由,可以反应性地更改路径,以更有效地控制SDWAN之间的数据传输。这优于用于连接SDWAN的典型网络结构,这些典型网络结构通常无法在控制SDWAN之间的数据传输中实现路径更改,除非路径更改是预先构建的。
图6示出了互连SDWAN的示例网络环境600。示例网络环境600包括第一SDWAN 602和第二SDWAN 604。第一SDWAN 602和第二SDWAN 604可以是网络环境中的适用SDWAN。例如,第一SDWAN 602和第二SDWAN 604可以形成为数据中心、园区网络、区域办公网络和其他适用的云环境的一部分。此外,第一SDWAN 602和第二SDWAN 604可以使用适用的SDN架构来实施和管理。例如,第一SDWAN 602和第二SDWAN 604可以使用图1所示的网络架构100来实施。第一SDWAN 602和第二SDWAN 604可以是同一企业网络的一部分。例如,第一SDWAN602和第二SDWAN 604可以包括不同位置处的企业园区网络和数据中心。
第一SDWAN 602和第二SDWAN 604可以形成为SDWAN结构的一部分。具体地,第一SDWAN 602和第二SDWAN 604可以由SDWAN结构的适用底层网络形成,例如,图6中所示的底层网络606。虽然第一SDWAN 602和第二SDWAN 604被示为与底层网络606分开实施,但这是为了说明目的,第一SDWAN 602和第二SDWAN 604的全部或一些部分实际上可以形成在底层网络606之上。因此,底层网络606可以形成包括第一SDWAN 602和第二SDWAN 604的SDWAN结构的一部分。
底层网络606可以由一个或多个适用网络形成。具体地,底层网络606可以通过宽带网络、MPLS网络、蜂窝网络和/或私有互连网络形成。此外,底层网络606可以通过一个或多个网络服务供应商的一个或多个网络形成。具体地,底层网络606可以由不同网络服务供应商的蜂窝网络和宽带网络形成。底层网络606可以用作互连第一SDWAN 602和第二SDWAN604的WAN底层。具体地,第一SDWAN 602和第二SDWAN604可以跨底层网络606相互交换数据,从而互连第一SDWAN 602和第二SDWAN 604。
可以形成通过底层网络606的分段路由域608,来互连第一SDWAN602和第二SDWAN604。进而,数据可以通过用于互连第一SDWAN 602和第二SDWAN 604的分段路由域608,而在第一SDWAN 602和第二SDWAN 604之间传输。具体地,第一SDWAN 602和第二SDWAN 604之间的数据传输可以使用分段路由,通过控制第一SDWAN 602和第二SDWAN 604之间通过分段路由域608的数据传输来控制。通过经由分段路由域608互连第一SDWAN 602和第二SDWAN604,可以实现端到端SDWAN方案的益处。具体地,与用于互连SDWAN的典型解方案(例如,IPSEC方案)相比,第一SDWAN 602和第二SDWAN 604可以更高效且更安全地相互通信。
作为在底层网络606中形成分段路由域608的一部分,可以在底层网络606中标识和构建一条或多条路径,以用于连接SDWAN 602和SDWAN 604。路径可以由底层网络606中的多个适用网络设备形成,以通过底层网络606连接SDWAN 602和SDWAN 604。进而,如稍后将更详细讨论的,路径可以基于流量类型来选择,以使用分段路由控制SDWAN602和SDWAN 604之间通过分段路由域608的流量传输。随后,可以在所选择的路径上传输流量,作为使用分段路由在第一SDWAN 602和第二SDWAN 604之间传输流量的一部分。分段路由域608可以使用介质访问控制安全(MACsec)加密,来在第一SDWAN 602和第二SDWAN 604之间传输流量。
通过分段路由域608的路径可以由适用软件控制器构建,例如,与分段路由域608相关联的分段路由控制器/路径计算元件控制器。在构建通过分段路由域608的预定义路径时,分段路由控制器可以根据所选择的路径,配置分段路由域608,来在SDWAN 602和SDWAN604之间路由流量。具体地,分段路由控制器可以向分段路由域608中的头端路由器/供应商边缘路由器信令通知路径的(一个或多个)分段的列表。路径的(一个或多个)分段的列表可以用于在供应商边缘路由器处对与路径相对应的单个每流(per-flow)状态进行编程。进而,供应商边缘路由器可以将分段的列表插入到分组头部中,以使用分段路由通过路径传输流量。此外,分段路由控制器可以向分段路由域608中的供应商边缘路由器添加路径的绑定分段ID(“BSID”)。BSID可以唯一地与和路径相关联的流量的特定策略相关联、或以其他方式标识该特定策略。进而,该策略可以例如由供应商边缘路由器使用,以使用分段路由通过路径传输流量。
在各种实施例中,供应商边缘路由器可以用作WAN底层中的路由计算元件节点。具体地,供应商边缘路由器可以通过将分段插入分组头部中并使用BSID/策略来控制通过路径的流量,来用作路由计算元素节点。分段路由控制器可以对路径中的两个节点进行编程以用作路由计算元素节点。例如,分段路由控制器可以向WAN底层中的两个供应商边缘路由器信令通知路径的(一个或多个)分段的列表和BSID。
路径可以被推送(例如,对路径的选择可以被推送)到适用的控制器,例如,用于第一SDWAN 602和第二SDWAN 604之一或两者的SDWAN控制器。具体地,对路径的选择可以在分段路由控制器根据先前描述的技术配置路径之后、或与分段路由控制器根据先前描述的技术配置路径相结合地被推送到SDWAN控制器。更具体地,分段路由控制器可以将BSID以及路径的其他适用属性(例如,路径的分段的列表)推送到SDWAN控制器。进而,SDWAN控制器可以配置第一SDWAN 602和第二SDWAN 604,以使用由分段路由控制器建立的路径通过分段路由域608来传输流量。具体地,SDWAN控制器可以为第一SDWAN 602和第二SDWAN 604中的边缘路由器配置策略,以促进通过由分段路由控制器经由分段路由域608建立的路径来传输流量。
通过分段路由域608的路径可以唯一地与特定流量类别相关联。进而,特定流量类别的流量可以通过分段路由域中与该特定流量类别相关联的特定路径,而在第一SDWAN602和第二SDWAN 604之间传输。流量类别可以由流量的一个或多个适用特性来定义。具体地,流量类别可以基于以下项之一或以下项的组合来定义:与流量相关联的用户组、应用组、VPN组、源和目的地。例如,流量类别可以包括与特定应用相关联的数据,该特定应用是作为提供网络服务访问的一部分而执行的应用。在另一示例中,流量类别可以包括在提供网络服务访问时传输到特定客户端和从特定客户端传输的数据。
在基于特定流量类别通过分段路由域608传输流量时,可以实施策略以基于流量类别控制流量传输。策略可以至少部分地由管理员定义。例如,管理员可以定义待控制的、通过分段路由域608的特定流量类别。策略还可以标识例如由分段路由控制器建立的通过分段路由域608的特定路径,以通过该特定路径传输特定类别的流量。适用的控制器可以实施用于基于流量类型控制通过分段路由域608的流量传输的策略。例如,SDWAN控制器可以将策略编程到第一SDWAN 602和第二SDWAN 604中的适用的边缘路由器上,以基于流量类别控制通过分段路由域608的流量传输。在另一示例中,分段路由控制器可以利用与用于基于流量类别通过分段路由域608传输流量的策略相对应的BSID,来对底层网络606中的适当的供应商边缘路由器进行编程。
用于通过分段路由域608传输特定流量(例如,特定流量类别)的路径,可以基于底层网络606中的链路的性能特性/测量来选择。特别是,可以基于底层网络606中的链路的性能测量来标识和构建特定路径,作为基于性能测量执行分段路由的一部分。性能测量可以包括与通过底层网络606中的链路的数据传输相关的适用度量。例如,性能测量可以包括以下项之一或以下项的适用组合:链路中的拥塞、链路中的延迟、链路中的丢包数量和链路中的抖动量。可以根据从形成底层网络606中的链路的节点接收的遥测数据来标识性能测量。遥测数据可以从节点流式传输到适用的控制器,例如,SDWAN控制器和分段路由控制器之一或两者。进而,控制器可以从流式传输的遥测数据标识底层网络606中的链路的性能测量。
此外,用于通过分段路由域608传输特定流量(例如,特定流量类别的流量)的路径,可以基于与传输特定流量相关联的服务质量要求来选择。服务质量要求可以基于流量类别而特定于流量。进而,用于通过分段路由域608传输特定类别的流量的路径,可以基于特定流量类别的服务质量要求来标识和建立。服务质量要求可以包括用于在第一SDWAN602和第二SDWAN 604之间传输流量的适用的性能要求。具体地,服务质量要求可以包括用于在第一SDWAN 602和第二SDWAN 604之间传输数据(例如,特定流量类型的数据)的带宽和延迟阈值/要求中的一者或两者。延迟要求可以包括用于在源和目的地之间传输数据的阈值单程数据传输时间和阈值往返数据延迟时间。带宽要求可以包括用于在源和目的地之间传输数据的阈值数据传输速率。例如,应用的服务质量要求可以指定与该应用相关联的流量应该在特定时间段内以特定平均比特率在第一SDWAN 602和第二SDWAN 604之间传输。
用于通过分段路由域608传输特定流量(例如,流量类别)的路径,可以基于与流量相关联的服务质量要求以及底层网络606中的链路的性能测量两者来选择。进而,可以通过分段路由域608建立/构建所选路径,以通过分段路由在第一SDWAN 602和第二SDWAN 604之间传输流量。具体地,可以利用满足特定流量的服务质量要求的链路来标识和构建路径。例如,分段路由控制器可以选择形成以下路径的链路:该路径具有满足用于在第一SDWAN 602和第二SDWAN 604之间传输特定类别的流量的带宽阈值的带宽。
在基于服务质量要求和底层网络606中的链路的性能测量两者来选择通过分段路由域608的路径的示例中,第一SDWAN 602中的具有SDWAN能力的路由器(例如,vEdge)可以标识与流量类别相关联的应用,并选择通过底层网络606到第二SDWAN 604的特定路径。具有SDWAN能力的路由器可以基于针对底层网络606收集的性能测量来选择特定路径。由具有SDWAN能力的路由器选择的路径可能是通过底层网络606的最短路径。然而,该路径可能仍然无法满足应用的服务质量要求,例如,应用的延迟阈值或带宽容限。然后,路由器可以将标识的路径发送到SDWAN控制器。SDWAN控制器可以将标识的路径以及应用的服务质量要求发送到分段路由控制器,例如,作为以下请求的一部分而发送:该请求用于通过底层网络606在分段路由域608中建立针对应用的路径。此外,SDWAN控制器可以发送与应用相关联的流量在第一SDWAN 602和第二SDWAN 604中的源和目的地。
此外,在示例中,分段路由控制器可以标识通过底层网络606的满足应用的服务质量要求的路径。具体地,分段路由控制器可以标识满足应用的服务质量要求的下一最短路径,该下一最短路径是与具有SDWAN能力的路由器所标识的路径相比的下一最短路径。分段路由控制器可以基于底层网络606中的链路的性能测量(例如,从由形成链路的节点收集的遥测数据确定的性能测量),来标识通过底层网络606的满足应用的服务质量要求的路径。
然后,分段路由控制器可以使用先前描述的用于建立通过分段路由域608的路径的技术,来在分段路由域608中建立路径。具体地,分段路由控制器可以利用路径中的链路分段的列表,来对路径中的供应商边缘路由器进行编程。此外,分段路由控制器可以利用用于控制应用流量通过路径流动的策略的BSID,来对供应商边缘路由器进行编程。如下所述,分段路由控制器可以发送路径的标识(例如,路径中的链路分段)、路径的策略的BSID、和/或路径已建立的指示。SDWAN控制器然后可以配置第一SDWAN 602和/或第二SDWAN 604来通过分段路由域608中的路径传输应用的流量。例如,SDWAN控制器可以配置第一SDWAN 602中的边缘节点(例如,具有SDWAN能力的路由器)来将应用的数据传输到分段路由域608中的路径,例如,分段路由域608中的路径的供应商边缘节点。
前述技术可以用于同步SDWAN控制器和分段路由控制器两者的操作,以通过分段路由域608传输数据,同时满足服务质量要求。进而,这可以允许SDWAN控制器利用底层网络606中的可用低延迟路径来用于SDWAN应用。
用于在第一SDWAN 602和第二SDWAN 604之间传输特定类别的流量的通过分段路由域608的路径可以被修改,以有效地创建用于传输流量的新路径。替代地,可以形成通过分段路由域608的全新路径,以用于在第一SDWAN 602和第二SDWAN 604之间传输特定类别的流量。新路径(例如,修改路径或全新路径)可以被标识并与特定流量类别相关联,以替换之前与特定流量类别相关联的路径。如下所述,可以基于新路径或修改路径与流量的特定流量类别的关联,在该新路径或修改路径上传输特定类别的流量。
可以基于监视的通过分段路由域608的路径的性能健康状况来建立新路径。可以根据在第一SDWAN 602和第二SDWAN 604之间传输数据的路径的性能测量,来定义路径的健康状况。具体地,SDWAN控制器可以基于(例如,由接收到的遥测数据所指示的)路径中的链路的性能测量,来监视通过分段路由域传输流量的路径的健康状况。例如,路径的健康状况可以包括基于路径中的负载水平、路径中的延迟、路径中的丢包数量和/或路径中的抖动而确定的分数。进而,SDWAN控制器可以协助基于路径的相对于阈值健康状况水平的健康状况来建立新路径,例如,如果路径的健康状况降低到阈值健康状况水平以下,则建立新路径。
可以使用本文描述的技术来建立新路径。具体地,分段路由控制器可以标识新路径,例如,通过修改通过分段路由域608的路径或标识通过分段路由域608的全新路径,来标识新路径。此外,分段路由控制器可以基于与先前路径相关联的流量的服务质量要求来标识新路径。例如,分段路由控制器可以标识满足应用的带宽要求的新路径。分段路由控制器可以基于由SDWAN控制器标识的路径来标识新路径,类似于前面讨论的关于SDWAN控制器标识路径以及分段路由控制器标识满足服务质量要求的下一最短路径的技术。
图7图示了网络设备700(例如,交换机、路由器、网络设备等)的示例。网络设备700可以包括主中央处理器(CPU)702、接口704和总线706(例如,PCI总线)。当在适当的软件或固件的控制下动作时,CPU702可以负责执行分组管理、错误检测和/或路由功能。CPU 702优选地在包括操作系统和任何适当应用软件的软件的控制下完成所有这些功能。CPU 702可以包括一个或多个处理器708,例如,来自摩托罗拉微处理器系列或MIPS微处理器系列的处理器。在一个替代实施例中,处理器708可以是专门设计的用于控制网络设备700的操作的硬件。在一个实施例中,存储器710(例如,非易失性RAM和/或ROM)也可以构成CPU 702的一部分。然而,存在多种不同的存储器能够与系统耦接的方式。
接口704可被提供为接口卡(有时称为线卡)。接口704可以控制数据分组在网络上的发送和接收,并有时支持与网络设备700一起使用的其他外围设备。可以提供的接口包括以太网接口、帧中继接口、电缆接口、DSL接口、令牌环接口等。此外,可以提供各种超高速接口,例如,快速令牌环接口、无线接口、以太网接口、千兆以太网接口、异步传输模式(ATM)接口、高速串行接口(HSSI)、SONET分组(POS)接口、光纤分布式数据接口(FDDI)等。接口704可以包括适合于与适当的介质进行通信的端口。在一些情况下,接口704还可以包括独立处理器,并且在一些实例下,还包括易失性RAM。独立处理器可以控制通信密集型任务,例如,分组交换、介质控制和管理。通过为通信密集型任务提供单独的处理器,接口704可以允许CPU702高效地执行路由计算、网络诊断、安全功能等。
尽管图7所示的系统是一个实施例的网络设备的示例,但它绝不是唯一的可以在其上实施本主题技术的网络设备架构。例如,还可以使用具有能够处理通信以及路由计算和其他网络功能的单个处理器的架构。此外,其他类型的接口和介质也可以与网络设备700一起使用。
不管网络设备的配置如何,它都可以采用一个或多个存储器或存储器模块(包括存储器710),一个或多个存储器或存储器模块被配置为存储用于通用网络操作的程序指令以及用于漫游、路由优化和本文描述的路由功能的机制。程序指令可以控制操作系统和/或一个或多个应用的操作。一个或多个存储器还可以被配置为存储诸如移动绑定、注册和关联表之类的表。
图8图示了总线计算系统800的示例,其中,系统的组件使用总线805彼此电通信。计算系统800可以包括处理单元(CPU或处理器)810和系统总线805,系统总线805可以将各种系统组件耦接到处理器810,各种计算设备组件包括系统存储器815,例如,只读存储器(ROM)820和随机存取存储器(RAM)825。计算系统800可以包括高速存储器的高速缓存812,该高速缓存与处理器810直接连接、紧邻处理器810、或集成为处理器810的一部分。计算系统800可以将数据从存储器815、ROM820、RAM 825和/或存储设备830复制到高速缓存812,以供处理器810快速访问。以这种方式,高速缓存812可以提供避免处理器由于等待数据而延迟的性能提升。这些模块和其他模块可以控制处理器810来执行各种动作。也可以使用其他系统存储器815。存储器815可以包括具有不同性能特性的多种不同类型的存储器。处理器810可以包括任何通用处理器以及硬件模块或软件模块,例如,存储在存储设备830中的模块1 832、模块2 834和模块3 836,该硬件模块或软件模块被配置为控制处理器810以及专用处理器,其中,软件指令被合并到实际的处理器设计中。处理器810基本上可以是完全独立的计算系统,该计算系统包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或不对称的。
为了实现与计算系统800的用户交互,输入设备845可以表示任何数量的输入机制,例如,用于语音的麦克风、用于手势或图形输入的触摸保护屏幕、键盘、鼠标、动作输入、语音等。输出设备835也可以是本领域技术人员已知的多种输出机制中的一种或多种。在一些情况下,多模式系统可以使用户能够提供多种类型的输入以与计算系统800进行通信。通信接口840可以控制和管理用户输入和系统输出。对在任何特定硬件布置上的操作可能没有限制,因此这里的基本特征可以容易地替换为正在开发的改进的硬件或固件布置。
存储设备830可以是非易失性存储器,并且可以是硬盘或能够存储计算机可访问的数据的其他类型的计算机可读介质,例如,磁带、闪存卡、固态存储设备、数字通用磁盘、盒式磁带、随机存取存储器、只读存储器及其混合。
如上所述,存储设备830可以包括用于控制处理器810的软件模块832、834、836。可以预期其他硬件或软件模块。存储设备830可以连接到系统总线805。在一些实施例中,执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件,该软件组件与诸如处理器810、总线805、输出设备835等之类的必要硬件组件相结合以执行功能。
总之,描述了用于通过分段路由互连SDWAN的系统、方法和计算机可读介质。可以标识SDWAN结构的第一SDWAN和第二SDWAN。可以跨SDWAN结构的WAN底层形成分段路由域,分段路由域互连第一SDWAN和第二SDWAN互连的分段路由域。可以通过执行通过在第一SDWAN和第二SDWAN之间形成的分段路由域的分段路由,来控制第一SDWAN和第二SDWAN之间的数据传输。
为了解释的清楚性,在一些情况下,各种实施例可以被呈现为包括各个的功能块,该功能块包括具有设备、设备组件、以软件或硬件和软件的组合实施的方法中的步骤或例程的功能块。
在一些实施例中,计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而,当提及时,非暂时性计算机可读存储介质明确排除诸如能量、载波信号、电磁波和信号本身之类的介质。
根据上述示例的方法可以使用所存储的或以其他方式从计算机可读介质可获得的计算机可执行指令来实施。这样的指令可以包括例如使得或以其他方式配置通用计算机、专用计算机或专用处理设备来执行特定功能或功能组的指令和数据。所使用的计算机资源的一些部分可以通过网络访问。计算机可执行指令可以是例如二进制、中间格式指令(例如,汇编语言)、固件或源代码。可用于存储指令、使用的信息、和/或在根据所述示例的方法期间创建的信息的计算机可读介质的示例包括:磁盘或光盘、闪存、提供有非易失性存储器的USB设备、网络存储设备等。
实施根据这些公开的方法的设备可以包括硬件、固件和/或软件,并且可以采用多种形式因素中的任何一种。这种形式因素的一些示例包括通用计算设备或通用移动计算设备,通用计算设备例如是服务器、机架安装设备、台式计算机、膝上型计算机等,通用移动计算设备例如是平板计算机、智能电话、个人数字助理、可穿戴设备等。本文描述的功能还可以体现在外围设备或附加卡中。作为进一步的示例,这样的功能性还可以在不同芯片或在单个设备中执行的不同进程之间的电路板上实现。
指令、用于传送此类指令的介质、用于执行它们的计算资源、以及用于支持此类计算资源的其他结构是用于提供在这些公开中描述的功能的手段。
尽管使用各种示例和其他信息解释了所附权利要求的范围内的各方面,但不应基于这样的示例中的特定特征或布置来暗示对权利要求的限制,因为普通技术人员将能够使用这些示例来导出各种各样的实施方式。此外,尽管可能已经以特定于结构特征和/或方法步骤的示例的语言描述了一些主题,但应理解,在所附权利要求中限定的主题不一定限于这些描述的特征或动作。例如,这样的功能可以以不同的方式分布或在本文标识的组件以外的组件中执行。而是,所描述的特征和步骤被公开为所附权利要求的范围内的系统和方法的组件的示例。
Claims (23)
1.一种方法,包括:
标识软件定义广域网SDWAN结构的第一SDWAN和第二SDWAN;
跨所述SDWAN结构的广域网WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN;
通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
2.根据权利要求1所述的方法,其中,形成通过所述SDWAN结构的分段路由域还包括:预先构建所述第一SDWAN和所述第二SDWAN之间通过所述WAN底层的多条路径,其中,所述多条路径能够被选择以控制所述第一SDWAN和所述第二SDWAN之间通过所述分段路由域的数据传输。
3.根据权利要求2所述的方法,其中,所述多条路径能够被改变以控制所述第一SDWAN和所述第二SDWAN之间通过所述分段路由域的数据传输。
4.根据权利要求1至3中任一项所述的方法,还包括:
收集所述WAN底层中的链路的性能测量,所述链路在所述分段路由域中形成路径;以及
基于所述WAN底层中的所述链路的性能测量,执行通过所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的路径上的数据传输。
5.根据权利要求4所述的方法,其中,所述WAN底层中的所述链路的性能测量包括以下项之一或以下项的组合:所述WAN底层中的所述链路的拥塞、延迟、丢包数量和抖动量。
6.根据权利要求4或5所述的方法,其中,所述性能测量作为流式传输遥测数据被收集,所述流式传输遥测数据来自形成所述WAN底层中的所述链路的节点。
7.根据权利要求1至6中任一项所述的方法,还包括:
标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径;
将所述分段路由域中的路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联;以及
基于数据的流量类别以及路径与数据的特定流量类别的关联,来控制数据在所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的特定路径上的传输。
8.根据权利要求7所述的方法,其中,所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的标识的路径中的两个节点被分段路由控制器配置为所述WAN底层中的路径计算元件节点。
9.根据权利要求7或8所述的方法,还包括:
确定所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径的性能健康状况;
基于所述分段路由域中的路径的性能健康状况,标识所述分段路由域中的新路径;
将所述新路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联;以及
基于所述新路径与所述特定流量类别的关联,来控制所述特定流量类别的数据在所述第一SDWAN和所述第二SDWAN之间通过所述新路径的传输。
10.根据权利要求9所述的方法,其中,所述新路径与所述特定流量类别相关联,用于替代之前与所述特定流量类别相关联的路径。
11.根据权利要求9或10所述的方法,其中,所述新路径是基于用于在所述第一SDWAN和所述第二SDWAN之间传输所述特定流量类别的数据的服务质量要求来标识的。
12.根据权利要求7至11中任一项所述的方法,还包括:
确定用于在所述第一SDWAN和所述第二SDWAN之间传输特定流量类别的数据的服务质量要求;
基于所述服务质量要求,标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的适当路径;以及
通过分段路由,来控制所述特定流量类别的数据在所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的所述适当路径上的传输。
13.根据权利要求12所述的方法,其中,所述服务质量要求包括用于传输所述特定流量类别的数据的带宽要求和延迟要求中的一者或两者。
14.根据权利要求1至13中任一项所述的方法,其中,所述分段路由域利用介质访问控制安全(MACsec)加密,来在所述第一SDWAN和所述第二SDWAN之间传输数据。
15.一种系统,包括:
一个或多个处理器;以及
至少一个计算机可读存储介质,所述至少一个计算机可读存储介质中存储有指令,所述指令在由所述一个或多个处理器执行时,使得所述一个或多个处理器执行包括以下项的操作:
标识软件定义广域网SDWAN结构的第一SDWAN和第二SDWAN;
通过预先构建所述第一SDWAN和所述第二SDWAN之间通过所述SDWAN结构的广域网WAN底层的多条可选择路径,跨所述SDWAN结构的WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN;以及
通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
16.根据权利要求15所述的系统,其中,所述指令在由所述一个或多个处理器执行时,还使得所述一个或多个处理器执行包括以下项的操作:
收集所述WAN底层中在所述分段路由域中形成路径的链路的性能测量;以及
基于所述WAN底层中的所述链路的性能测量,执行通过所述分段路由域的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的所述路径上的数据传输。
17.根据权利要求15或16所述的系统,其中,所述指令在由所述一个或多个处理器执行时,还使得所述一个或多个处理器执行包括以下项的操作:
标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径;
将所述分段路由域中的路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联;以及
基于数据的流量类别以及路径与数据的特定流量类别的关联,来控制数据在所述第一SDWAN和所述第二SDWAN之间在所述分段路由域中的特定路径上的传输。
18.根据权利要求17所述的系统,其中,所述指令在由所述一个或多个处理器执行时,还使得所述一个或多个处理器执行包括以下项的操作:
确定所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的路径的性能健康状况;
基于所述分段路由域中的路径的性能健康状况,标识所述分段路由域中的新路径;
将所述新路径与能够在所述第一SDWAN和所述第二SDWAN之间传输的数据的特定流量类别相关联;以及
基于所述新路径与所述特定流量类别的关联,来控制所述特定流量类别的数据在所述第一SDWAN和所述第二SDWAN之间通过所述新路径的传输。
19.根据权利要求17或18所述的系统,其中,所述指令在由所述一个或多个处理器执行时,还使得所述一个或多个处理器执行包括下列项的操作:
确定用于在所述第一SDWAN和所述第二SDWAN之间传输特定流量类别的数据的服务质量要求;
基于所述服务质量要求,标识所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的适当路径;以及
通过分段路由,来控制所述特定流量类别的数据在所述第一SDWAN和所述第二SDWAN之间的所述分段路由域中的所述适当路径上的传输。
20.一种存储有指令的非暂时性计算机可读存储介质,所述指令在由处理器执行时,使得所述处理器执行包括以下项的操作:
标识软件定义广域网SDWAN结构的第一SDWAN和第二SDWAN;
跨所述SDWAN结构的广域网WAN底层,形成通过所述SDWAN结构的分段路由域,所述分段路由域互连所述第一SDWAN和所述第二SDWAN;以及
通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域中的一个或多个可改变路径的分段路由,来控制所述第一SDWAN和所述第二SDWAN之间的数据传输。
21.一种设备,包括:
用于标识软件定义广域网SDWAN结构的第一SDWAN和第二SDWAN的装置;
用于跨所述SDWAN结构的广域网WAN底层形成通过所述SDWAN结构的分段路由域的装置,所述分段路由域互连所述第一SDWAN和所述第二SDWAN;以及
用于通过执行通过在所述第一SDWAN和所述第二SDWAN之间形成的所述分段路由域的分段路由来控制所述第一SDWAN和所述第二SDWAN之间的数据传输的装置。
22.根据权利要求21所述的设备,还包括用于实施根据权利要求2至14中任一项所述的方法的步骤的装置。
23.一种包括指令的计算机程序、计算机程序产品或计算机可读介质,所述指令在处理器上执行时,使得所述处理器执行根据权利要求1至14中任一项所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/560,849 US10938717B1 (en) | 2019-09-04 | 2019-09-04 | Policy plane integration across multiple domains |
US16/560,849 | 2019-09-04 | ||
PCT/US2020/046676 WO2021045895A1 (en) | 2019-09-04 | 2020-08-17 | Policy plane integration across multiple domains |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114600427A true CN114600427A (zh) | 2022-06-07 |
Family
ID=72322533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080075620.5A Pending CN114600427A (zh) | 2019-09-04 | 2020-08-17 | 跨多个域的策略平面集成 |
Country Status (8)
Country | Link |
---|---|
US (4) | US10938717B1 (zh) |
EP (1) | EP4026278A1 (zh) |
JP (1) | JP2022546563A (zh) |
KR (1) | KR20220059503A (zh) |
CN (1) | CN114600427A (zh) |
AU (1) | AU2020341323A1 (zh) |
CA (1) | CA3155554A1 (zh) |
WO (1) | WO2021045895A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115426314A (zh) * | 2022-08-08 | 2022-12-02 | 中国电信股份有限公司 | 一种通信方法、装置、网络设备及处理器可读存储介质 |
CN116938807A (zh) * | 2023-09-14 | 2023-10-24 | 新华三技术有限公司 | 数据报文传输方法、装置、设备及存储介质 |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10454714B2 (en) | 2013-07-10 | 2019-10-22 | Nicira, Inc. | Method and system of overlay flow control |
US10135789B2 (en) | 2015-04-13 | 2018-11-20 | Nicira, Inc. | Method and system of establishing a virtual private network in a cloud service for branch networking |
US10498652B2 (en) | 2015-04-13 | 2019-12-03 | Nicira, Inc. | Method and system of application-aware routing with crowdsourcing |
US10992568B2 (en) | 2017-01-31 | 2021-04-27 | Vmware, Inc. | High performance software-defined core network |
US20180219765A1 (en) | 2017-01-31 | 2018-08-02 | Waltz Networks | Method and Apparatus for Network Traffic Control Optimization |
US20200036624A1 (en) | 2017-01-31 | 2020-01-30 | The Mode Group | High performance software-defined core network |
US11706127B2 (en) | 2017-01-31 | 2023-07-18 | Vmware, Inc. | High performance software-defined core network |
US10523539B2 (en) | 2017-06-22 | 2019-12-31 | Nicira, Inc. | Method and system of resiliency in cloud-delivered SD-WAN |
US10999100B2 (en) | 2017-10-02 | 2021-05-04 | Vmware, Inc. | Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider |
US10686625B2 (en) | 2017-10-02 | 2020-06-16 | Vmware, Inc. | Defining and distributing routes for a virtual network |
US11115480B2 (en) | 2017-10-02 | 2021-09-07 | Vmware, Inc. | Layer four optimization for a virtual network defined over public cloud |
US11223514B2 (en) | 2017-11-09 | 2022-01-11 | Nicira, Inc. | Method and system of a dynamic high-availability mode based on current wide area network connectivity |
US20210092103A1 (en) * | 2018-10-02 | 2021-03-25 | Arista Networks, Inc. | In-line encryption of network data |
US10999137B2 (en) | 2019-08-27 | 2021-05-04 | Vmware, Inc. | Providing recommendations for implementing virtual networks |
US11044190B2 (en) | 2019-10-28 | 2021-06-22 | Vmware, Inc. | Managing forwarding elements at edge nodes connected to a virtual network |
US11489783B2 (en) | 2019-12-12 | 2022-11-01 | Vmware, Inc. | Performing deep packet inspection in a software defined wide area network |
US11394640B2 (en) | 2019-12-12 | 2022-07-19 | Vmware, Inc. | Collecting and analyzing data regarding flows associated with DPI parameters |
US11546302B2 (en) * | 2019-12-17 | 2023-01-03 | Fortinet, Inc. | Automatic establishment of network tunnels by an SDWAN controller based on group and role assignments of network devices |
CN117395167A (zh) * | 2020-01-21 | 2024-01-12 | 华为技术有限公司 | 服务等级配置方法以及装置 |
US11606712B2 (en) | 2020-01-24 | 2023-03-14 | Vmware, Inc. | Dynamically assigning service classes for a QOS aware network link |
US11233733B2 (en) | 2020-03-26 | 2022-01-25 | Verizon Patent And Licensing Inc. | Systems and methods for SR-MPLS to SRv6 interworking |
US11245641B2 (en) | 2020-07-02 | 2022-02-08 | Vmware, Inc. | Methods and apparatus for application aware hub clustering techniques for a hyper scale SD-WAN |
US11363124B2 (en) | 2020-07-30 | 2022-06-14 | Vmware, Inc. | Zero copy socket splicing |
US11463343B2 (en) * | 2020-10-07 | 2022-10-04 | Hewlett Packard Enterprise Development Lp | SDWAN overlay routing service |
US11575591B2 (en) | 2020-11-17 | 2023-02-07 | Vmware, Inc. | Autonomous distributed forwarding plane traceability based anomaly detection in application traffic for hyper-scale SD-WAN |
US11575600B2 (en) | 2020-11-24 | 2023-02-07 | Vmware, Inc. | Tunnel-less SD-WAN |
US11765059B2 (en) * | 2020-12-29 | 2023-09-19 | Fortinet, Inc. | Leveraging operation, administration and maintenance protocols (OAM) to add ethernet level intelligence to software-defined wide area network (SD-WAN) functionality |
US11929903B2 (en) | 2020-12-29 | 2024-03-12 | VMware LLC | Emulating packet flows to assess network links for SD-WAN |
US11777760B2 (en) * | 2020-12-30 | 2023-10-03 | Hughes Network Systems, Llc | VPN classification to reduce usage costs while retaining responsiveness |
US11792127B2 (en) | 2021-01-18 | 2023-10-17 | Vmware, Inc. | Network-aware load balancing |
US11979325B2 (en) | 2021-01-28 | 2024-05-07 | VMware LLC | Dynamic SD-WAN hub cluster scaling with machine learning |
US11757702B2 (en) | 2021-04-08 | 2023-09-12 | Cisco Technology, Inc. | Automated and scalable multi-level redundancy for cloud infrastructure |
EP4320824A1 (en) * | 2021-04-08 | 2024-02-14 | Cisco Technology, Inc. | System and method for connecting virtual networks in a branch site to clouds |
US11381499B1 (en) * | 2021-05-03 | 2022-07-05 | Vmware, Inc. | Routing meshes for facilitating routing through an SD-WAN |
US11729065B2 (en) | 2021-05-06 | 2023-08-15 | Vmware, Inc. | Methods for application defined virtual network service among multiple transport in SD-WAN |
US11489720B1 (en) | 2021-06-18 | 2022-11-01 | Vmware, Inc. | Method and apparatus to evaluate resource elements and public clouds for deploying tenant deployable elements based on harvested performance metrics |
US11375005B1 (en) | 2021-07-24 | 2022-06-28 | Vmware, Inc. | High availability solutions for a secure access service edge application |
US20230036547A1 (en) * | 2021-07-30 | 2023-02-02 | Cisco Technology, Inc. | Dynamic resource allocation for network security |
US11916786B2 (en) | 2021-08-13 | 2024-02-27 | Cisco Technology, Inc. | Distributed routing controllers for multi-region SDWAN |
AU2022325217B2 (en) * | 2021-08-13 | 2024-05-09 | Cisco Technology, Inc. | Distributed routing controllers for multi-region sdwan |
US11943146B2 (en) | 2021-10-01 | 2024-03-26 | VMware LLC | Traffic prioritization in SD-WAN |
CN114221891B (zh) * | 2021-12-13 | 2023-08-29 | 中国电信股份有限公司 | 绑定段标识拼接方法、路由反射器、自治域和跨域网络 |
US11778038B2 (en) | 2021-12-14 | 2023-10-03 | Cisco Technology, Inc. | Systems and methods for sharing a control connection |
WO2023114649A1 (en) * | 2021-12-14 | 2023-06-22 | Cisco Technology, Inc. | Method for sharing a control connection |
CN116419100A (zh) * | 2021-12-30 | 2023-07-11 | 华为技术有限公司 | 一种连通光传送网业务的方法和设备 |
US20230216733A1 (en) * | 2021-12-31 | 2023-07-06 | Fortinet, Inc. | Distributed node discovery and overlay path management on a data communication network |
US11991152B2 (en) * | 2022-02-09 | 2024-05-21 | Hewlett Packard Enterprise Development Lp | Bypassing IKE firewall for cloud-managed IPSec keys in SDWAN fabric |
US11909815B2 (en) | 2022-06-06 | 2024-02-20 | VMware LLC | Routing based on geolocation costs |
US20230412483A1 (en) * | 2022-06-17 | 2023-12-21 | Cisco Technology, Inc. | Software-as-a-service probe aggregation in networks |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160380886A1 (en) * | 2015-06-25 | 2016-12-29 | Ciena Corporation | Distributed data center architecture |
US20170026417A1 (en) * | 2015-07-23 | 2017-01-26 | Cisco Technology, Inc. | Systems, methods, and devices for smart mapping and vpn policy enforcement |
US20180109450A1 (en) * | 2016-10-14 | 2018-04-19 | Cisco Technology, Inc. | Creating and maintaining segment routed traffic engineering policies via border gateway protocol |
CN109257278A (zh) * | 2017-07-12 | 2019-01-22 | 瞻博网络公司 | 用于非分段路由启用的路由器的分段路由标签交换路径 |
CN109639577A (zh) * | 2018-12-26 | 2019-04-16 | 武汉思普崚技术有限公司 | 一种广域网带宽分级方法、装置及系统 |
US20190268973A1 (en) * | 2018-02-23 | 2019-08-29 | Cisco Technology, Inc. | Policy Mapping Methods and Apparatus for use in Interconnecting Software-Defined Wide Area Network (SD-WAN) Fabrics with Mobile Networks for Communications with UEs |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9717021B2 (en) * | 2008-07-03 | 2017-07-25 | Silver Peak Systems, Inc. | Virtual network overlay |
US8806482B1 (en) * | 2011-01-06 | 2014-08-12 | Amazon Technologies, Inc. | Interaction with a virtual network |
US10097372B2 (en) * | 2014-01-09 | 2018-10-09 | Ciena Corporation | Method for resource optimized network virtualization overlay transport in virtualized data center environments |
EP3308507B1 (en) * | 2015-06-12 | 2020-08-05 | Telefonaktiebolaget LM Ericsson (publ) | Multipath forwarding in an overlay network |
US10117285B2 (en) * | 2015-12-16 | 2018-10-30 | Verizon Patent And Licensing Inc. | Cloud WAN overlay network |
US9985883B2 (en) | 2016-02-26 | 2018-05-29 | 128 Technology, Inc. | Name-based routing system and method |
US10666500B2 (en) * | 2016-03-30 | 2020-05-26 | Juniper Networks, Inc. | Failure handling for active-standby redundancy in EVPN data center interconnect |
US10819630B1 (en) * | 2016-04-20 | 2020-10-27 | Equinix, Inc. | Layer three instances for a cloud-based services exchange |
WO2017205099A1 (en) * | 2016-05-24 | 2017-11-30 | Level 3 Communications, Llc | Route selection system for a communication network and method of operating the same |
US11252079B2 (en) * | 2017-01-31 | 2022-02-15 | Vmware, Inc. | High performance software-defined core network |
US20190036780A1 (en) * | 2017-07-31 | 2019-01-31 | Cisco Technology, Inc. | Generating a data model for a virtualized software-defined network |
US10700982B2 (en) * | 2017-07-31 | 2020-06-30 | Cisco Technology, Inc. | Path selection for an application based on a performance score in a software-defined network |
US10721165B2 (en) * | 2017-07-31 | 2020-07-21 | Cisco Technology, Inc. | Controlling a software-defined network |
US10523556B2 (en) * | 2017-08-08 | 2019-12-31 | Versa Networks, Inc. | Method and system for routing connections in a software-defined wide area network |
CN107547371A (zh) | 2017-09-28 | 2018-01-05 | 新华三技术有限公司 | 一种报文转发方法及装置 |
US10938716B1 (en) * | 2017-11-29 | 2021-03-02 | Riverbed Technology, Inc. | Preserving policy with path selection |
US20200028758A1 (en) * | 2018-07-17 | 2020-01-23 | Cisco Technology, Inc. | Multi-cloud connectivity using srv6 and bgp |
US10862805B1 (en) * | 2018-07-31 | 2020-12-08 | Juniper Networks, Inc. | Intelligent offloading of services for a network device |
US20200076683A1 (en) * | 2018-08-31 | 2020-03-05 | Hewlett Packard Enterprise Development Lp | Dynamic Cloud-Based Provisioning of Branch-Based Networking Devices |
US10511590B1 (en) * | 2018-10-23 | 2019-12-17 | Cisco Technology, Inc. | System and method of verifying network communication paths between applications and services |
US10708144B2 (en) * | 2018-11-14 | 2020-07-07 | Juniper Networks, Inc. | Predicting application quality of experience metrics using adaptive machine learned probes |
US11218376B2 (en) * | 2018-11-16 | 2022-01-04 | Cisco Technology, Inc. | Algorithmic problem identification and resolution in fabric networks by software defined operations, administration, and maintenance |
US10999189B2 (en) * | 2018-11-20 | 2021-05-04 | Cisco Technology, Inc. | Route optimization using real time traffic feedback |
US11201854B2 (en) * | 2018-11-30 | 2021-12-14 | Cisco Technology, Inc. | Dynamic intent-based firewall |
US11233822B2 (en) * | 2018-11-30 | 2022-01-25 | Cisco Technology, Inc. | Dynamic honeypots |
US10862758B2 (en) * | 2019-01-02 | 2020-12-08 | Hewlett Packard Enterprise Development Lp | Generation of network configuration and configuration commands for impacted nodes of a software defined wide area network |
US11024144B2 (en) * | 2019-02-22 | 2021-06-01 | Vmware, Inc. | Redirecting traffic from mobile device to initial slice selector for connection |
US11150963B2 (en) * | 2019-02-28 | 2021-10-19 | Cisco Technology, Inc. | Remote smart NIC-based service acceleration |
US10855575B2 (en) * | 2019-03-06 | 2020-12-01 | Hewlett Packard Enterprise Development Lp | Adaptive traffic routing in a software-defined wide area network |
US11005729B2 (en) * | 2019-03-14 | 2021-05-11 | Juniper Networks, Inc. | Satisfying service level agreement metrics for unknown applications |
US10924392B2 (en) * | 2019-03-15 | 2021-02-16 | Juniper Networks, Inc. | Planning and managing network probes using centralized controller |
US10958555B2 (en) * | 2019-03-15 | 2021-03-23 | Juniper Networks, Inc. | Real-time application-driven synthetic probing |
US11159447B2 (en) * | 2019-03-25 | 2021-10-26 | Cisco Technology, Inc. | Predictive routing using machine learning in SD-WANs |
US10880186B2 (en) * | 2019-04-01 | 2020-12-29 | Cisco Technology, Inc. | Root cause analysis of seasonal service level agreement (SLA) violations in SD-WAN tunnels |
US11012288B2 (en) * | 2019-05-14 | 2021-05-18 | Vmware, Inc. | Congestion avoidance in a slice-based network |
US10904125B2 (en) * | 2019-05-30 | 2021-01-26 | Cisco Technology, Inc. | Active probe construction using machine learning for measuring SD-WAN tunnel metrics |
US11277337B2 (en) * | 2019-06-06 | 2022-03-15 | Cisco Technology, Inc. | Systems and methods for routing network traffic using labels |
US10826775B1 (en) * | 2019-06-19 | 2020-11-03 | Cisco Technology, Inc. | Policy plane integration across multiple domains |
US11635995B2 (en) * | 2019-07-16 | 2023-04-25 | Cisco Technology, Inc. | Systems and methods for orchestrating microservice containers interconnected via a service mesh in a multi-cloud environment based on a reinforcement learning policy |
US10999137B2 (en) * | 2019-08-27 | 2021-05-04 | Vmware, Inc. | Providing recommendations for implementing virtual networks |
US11070422B2 (en) * | 2019-09-16 | 2021-07-20 | Cisco Technology, Inc. | Enabling enterprise segmentation with 5G slices in a service provider network |
US11153119B2 (en) * | 2019-10-15 | 2021-10-19 | Cisco Technology, Inc. | Dynamic discovery of peer network devices across a wide area network |
US11304115B2 (en) * | 2020-03-18 | 2022-04-12 | Equinix, Inc. | Network defined edge routing for an application workload |
US11463343B2 (en) * | 2020-10-07 | 2022-10-04 | Hewlett Packard Enterprise Development Lp | SDWAN overlay routing service |
US11412051B1 (en) * | 2021-04-08 | 2022-08-09 | Cisco Technology, Inc. | System and method for connecting virtual networks in a branch site to clouds |
US11722409B2 (en) * | 2021-05-03 | 2023-08-08 | Vmware, Inc. | Inter-tunneling endpoint (inter-TEP) overlay forwarding |
-
2019
- 2019-09-04 US US16/560,849 patent/US10938717B1/en active Active
-
2020
- 2020-08-17 WO PCT/US2020/046676 patent/WO2021045895A1/en unknown
- 2020-08-17 EP EP20765132.4A patent/EP4026278A1/en active Pending
- 2020-08-17 AU AU2020341323A patent/AU2020341323A1/en active Pending
- 2020-08-17 JP JP2022514240A patent/JP2022546563A/ja active Pending
- 2020-08-17 CA CA3155554A patent/CA3155554A1/en active Pending
- 2020-08-17 CN CN202080075620.5A patent/CN114600427A/zh active Pending
- 2020-08-17 KR KR1020227010848A patent/KR20220059503A/ko unknown
-
2021
- 2021-02-01 US US17/164,553 patent/US11533257B2/en active Active
-
2022
- 2022-11-21 US US18/057,703 patent/US20230077361A1/en active Pending
- 2022-11-29 US US18/059,797 patent/US11722410B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160380886A1 (en) * | 2015-06-25 | 2016-12-29 | Ciena Corporation | Distributed data center architecture |
US20170026417A1 (en) * | 2015-07-23 | 2017-01-26 | Cisco Technology, Inc. | Systems, methods, and devices for smart mapping and vpn policy enforcement |
US20180109450A1 (en) * | 2016-10-14 | 2018-04-19 | Cisco Technology, Inc. | Creating and maintaining segment routed traffic engineering policies via border gateway protocol |
CN109257278A (zh) * | 2017-07-12 | 2019-01-22 | 瞻博网络公司 | 用于非分段路由启用的路由器的分段路由标签交换路径 |
US20190268973A1 (en) * | 2018-02-23 | 2019-08-29 | Cisco Technology, Inc. | Policy Mapping Methods and Apparatus for use in Interconnecting Software-Defined Wide Area Network (SD-WAN) Fabrics with Mobile Networks for Communications with UEs |
CN109639577A (zh) * | 2018-12-26 | 2019-04-16 | 武汉思普崚技术有限公司 | 一种广域网带宽分级方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
L. DUNBAR, HUAWEI: "Segment routing for SD-WAN paths over hybrid networks:draft-dunbar-sr-sdwan-over-hybrid-networks-01", ETF NETWORK WORKING GROUP INTERNET DRAFT, pages 3 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115426314A (zh) * | 2022-08-08 | 2022-12-02 | 中国电信股份有限公司 | 一种通信方法、装置、网络设备及处理器可读存储介质 |
CN115426314B (zh) * | 2022-08-08 | 2024-05-14 | 中国电信股份有限公司 | 一种通信方法、装置、网络设备及处理器可读存储介质 |
CN116938807A (zh) * | 2023-09-14 | 2023-10-24 | 新华三技术有限公司 | 数据报文传输方法、装置、设备及存储介质 |
CN116938807B (zh) * | 2023-09-14 | 2023-12-22 | 新华三技术有限公司 | 数据报文传输方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11722410B2 (en) | 2023-08-08 |
US10938717B1 (en) | 2021-03-02 |
US20210160179A1 (en) | 2021-05-27 |
US20230077361A1 (en) | 2023-03-16 |
AU2020341323A1 (en) | 2022-04-21 |
CA3155554A1 (en) | 2021-03-11 |
WO2021045895A1 (en) | 2021-03-11 |
KR20220059503A (ko) | 2022-05-10 |
JP2022546563A (ja) | 2022-11-04 |
US11533257B2 (en) | 2022-12-20 |
US20230103683A1 (en) | 2023-04-06 |
US20210067442A1 (en) | 2021-03-04 |
EP4026278A1 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11722410B2 (en) | Policy plane integration across multiple domains | |
US11743141B2 (en) | On-path dynamic policy enforcement and endpoint-aware policy enforcement for endpoints | |
US10826775B1 (en) | Policy plane integration across multiple domains | |
US11870755B2 (en) | Dynamic intent-based firewall | |
US11329950B2 (en) | Wide area network edge device connectivity for high availability and extensibility | |
US20230198868A1 (en) | Intent-driven cloud branches | |
US11412051B1 (en) | System and method for connecting virtual networks in a branch site to clouds | |
US11757702B2 (en) | Automated and scalable multi-level redundancy for cloud infrastructure | |
WO2021146052A1 (en) | Live network sandboxing on a centralized management system | |
US20230388269A1 (en) | Software defined branch single internet protocol orchestration | |
WO2022217250A1 (en) | System and method for connecting virtual networks in a branch site to clouds | |
AU2021325836B2 (en) | Network service access and data routing based on assigned context | |
CN116783580A (zh) | 用于将分支站点中的虚拟网络连接到云的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |