CN105227454A - 虚拟路由系统及方法 - Google Patents
虚拟路由系统及方法 Download PDFInfo
- Publication number
- CN105227454A CN105227454A CN201410273228.8A CN201410273228A CN105227454A CN 105227454 A CN105227454 A CN 105227454A CN 201410273228 A CN201410273228 A CN 201410273228A CN 105227454 A CN105227454 A CN 105227454A
- Authority
- CN
- China
- Prior art keywords
- route
- network
- virtual
- source
- routing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013519 translation Methods 0.000 claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000013508 migration Methods 0.000 claims description 29
- 230000005012 migration Effects 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 9
- 238000002955 isolation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种虚拟路由系统及方法，其中，该系统包括：一级路由，用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；二级路由，用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；边界网关路由，用于为数据中心虚拟化平台提供到外部网络的源地址转换/目的地址转换功能。通过本发明，解决了针对相关技术中虚拟路由承载节点单一的问题，达到了提高数据中心网络性能和可用性，降低虚拟网络间通信对物理网络带宽消耗的效果。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种虚拟路由系统及方法。
背景技术
提供基础设施即服务(InfrastructureasaService，简称为IaaS)的云计算数据中心，为实现多租户隔离和虚拟机迁移等功能，需要实现网络虚拟化功能。虚拟化网络将租户私有网络下的虚拟机隔离在一个虚拟局域网(VirtualLocalAreaNetwork，简称为VLAN)/扩展虚拟局域网(VirtualExtensibleLAN，简称为VXLAN)/通用路由协议封装(GenericRoutingEncapsulation，简称为GRE)虚拟网络中。随着数据中心的发展，对网络的要求越来越高，要求数据中心网络高带宽、高效率、低时延，以及虚拟网络间通信，跨数据中心通信等需求。虚拟路由在数据中心网络通信中占据重要地位，但目前数据中心中虚拟路由的实现方案，在性能和高可用方面还存在诸多问题，如虚拟网络间东西流向问题，同一计算节点内部虚拟网络间通信仍要经过外部虚拟路由，虚拟路由承载节点单一，存在单点故障和性能瓶颈问题。
针对相关技术中虚拟路由承载节点单一的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中虚拟路由承载节点单一的问题，本发明提供了一种虚拟路由系统及方法，以至少解决上述问题。
根据本发明的一个方面，提供了一种虚拟路由系统，包括：一级路由，用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；二级路由，用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；边界网关路由，用于为数据中心虚拟化平台提供到外部网络的源地址转换/目的地址转换功能。
优选地，所述一级路由位于所述计算节点中；所述二级路由位于可实现路由虚拟化功能的网元设备中；所述边界网关路由位于为所述数据中心网络提供到外部网络的网关功能的路由实体中。
优选地，所述二级路由支持虚拟路由动态迁移协议VROOM。
优选地，每个所述虚拟网络存在唯一的全局标识。
优选地，所述边界网关路由支持边界网关路由协议BGP或者开放式最短路径优先协议OSPF协议。
优选地，所述系统还包括：网络控制器，用于创建或删除所述一级路由，和/或，为所述一级路由增加或移除虚拟网络的接口；和/或，用于创建、删除或迁移所述边界网关路由，和/或，为所述边界网关路由增加或移除虚拟网络的接口。
根据本发明的另一方面，提供了一种虚拟路由方法，包括：源一级路由接收到源虚拟机向目标设备发送的数据包，其中所述源一级路由为所述源虚拟机对应的一级路由，所述一级路由用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；所述源一级路由在所述目标设备在所述源一级路由所在节点内的情况下，将所述数据包转发至所述目标设备所在虚拟网络；或者，所述源一级路由在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，转发所述数据包至二级路由，所述二级路由用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；或者，所述源一级路由在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，所述源一级路由在所述目标设备不在所述数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由，所述边界网关路由用于提供到所述数据中心网络的外部网络的源地址转换/目的地址转换功能。
优选地，所述源一级路由在所述目标设备在所述源一级路由所在节点内的情况下，将所述数据包转发至所述目标设备所在虚拟网络；或者，所述源一级路由在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，转发所述数据包至二级路由；或者，所述源一级路由在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，所述源一级路由在所述目标设备不在所述数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由包括：所述源一级路由向网络控制器请求转发策略；所述网络控制器请求所述数据中心虚拟化平台获取所述目标设备的位置；所述网络控制器根据所述目标设备的位置向所述源一级路由下发所述转发策略，其中，所述转发策略包括：在所述目标设备在所述源一级路由所在节点内的情况下，所述源一级路由将所述数据包转发至所述目标设备所在虚拟网络；或者，在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，所述源一级路由转发所述数据包至二级路由；或者，在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，在所述目标设备不在所述数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由；所述源一级路由按照所述转发策略进行转发。
优选地，在所述源一级路由向网络控制器请求转发策略之前，还包括：所述网络控制器为每个所述虚拟网络分配唯一的全局标识。
优选地，在所述二级路由支持虚拟路由动态迁移协议VROOM的情况下，所述网络控制器对所述二级路由负载均衡进行调度迁移，和/或，对挂死的所述二级路由进行恢复。
优选地，在所述网络控制器对所述二级路由负载均衡进行调度迁移之前，还包括：所述网络控制器根据采集到的度量因子，确定是否对所述二级路由负载均衡进行调度迁移，其中，所述度量因子包括以下至少之一：所述二级路由的硬件资源利用率、网络承载带宽、节能需求。
优选地，在所述网络控制器对所述二级路由负载均衡进行调度迁移之前，还包括：所述网络控制器通过北向接口向第三方提供所采集到的所述度量因子；所述网络控制器接收所述第三方的调度策略，并根据所述调度策略对所述二级路由负载均衡进行调度迁移。
优选地，在所述网络控制器对挂死的所述二级路由进行恢复之前，还包括：所述网络控制器将二级路由集群中挂死的二级路由负责运行的虚拟路由全部迁出，并依次在所述二级路由集群的其他单元中克隆所述挂死的二级路由。
优选地，在所述源一级路由向网络控制器请求转发策略之前，还包括：所述网络控制器为每个所述虚拟网络分配唯一的全局标识。
优选地，在所述源一级路由将所述数据包转发至二级路由之后，还包括：所述二级路由将所述数据包转发至所述目标设备对应的目标一级路由，并由所述目标一级路由将所述数据包转发至所述目标设备所在虚拟网络。
优选地，在所述源一级路由将所述数据包转发至边界网关路由之后，还包括：所述边界网关路由对所述数据包进行到外部网络的源地址转换/目的地址转换，并转发至所述外部网络。
通过本发明，采用一种虚拟路由系统包括：一级路由，用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；二级路由，用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；边界网关路由，用于为数据中心虚拟化平台提供到外部网络的源地址转换/目的地址转换功能，解决了针对相关技术中虚拟路由承载节点单一的问题，达到了提高数据中心网络性能和可用性，降低虚拟网络间通信对物理网络带宽消耗的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种虚拟路由系统的结构框图；
图2是根据本发明实施例的一种虚拟路由方法的流程图；
图3是根据本发明实施例一的一种数据中心网络虚拟路由实施方法的示意图；
图4是根据本发明实施例一的同计算节点虚拟网络间虚拟机路由过程的示意图；
图5是根据本发明实施例一的不同计算节点虚拟网络间虚拟机路由过程的示意图；
图6是根据本发明实施例一的虚拟网络中虚拟机与外部网络通信网络地址转换NAT过程示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本实施例针对目前数据中心虚拟路由存在的诸多缺陷，实现了一种云计算数据中心网络虚拟路由高性能和高可用实施方法，有效解决了虚拟路由承载节点单一问题，同一计算节点内虚拟网络间通信问题，实现了一种分布式多级虚拟路由实施方案，可以提高数据中心网络性能和可用性，降低虚拟网络间通信对物理网络带宽消耗。
在本实施例中，提供了一种虚拟路由系统，图1是根据本发明实施例的一种虚拟路由系统的结构框图，如图1所示，该系统包括一级路由12、二级路由14和边界网关路由16，下面进行详细说明：
一级路由12，用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；
二级路由14，用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；
边界网关路由16，用于为数据中心虚拟化平台提供到外部网络的源地址转换/目的地址转换功能。
本实施例通过上述系统，在虚拟路由架构中将路由分出了一级路由、二级路由和边界网关路由，将计算节点内部的路由由一级路由处理，计算节点间的路由由二级路由处理，与外部网络的路由由边界网关路由处理，这三种路由分工合作，解决了针对相关技术中虚拟路由承载节点单一的问题，达到了提高数据中心网络性能和可用性，降低虚拟网络间通信对物理网络带宽消耗的效果。
优选地，所述一级路由可以位于所述计算节点中；所述二级路由位于可实现路由虚拟化功能的网元设备集群中；所述边界网关路由位于为所述数据中心网络提供到外部网络的网关功能的路由实体集群中。
优选地，所述二级路由可以支持虚拟路由动态迁移协议(VirtualRoutersOntheMove，简称为VROOM)，这样使得二级路由之间可以实现负载迁移，从而完成负载均衡以及防止单一节点挂死后影响业务实现。
优选地，每个所述虚拟网络可以存在唯一的全局标识。这样能够方便控制层设备对各个虚拟网络的路由转发进行管理控制。
优选地，所述边界网关路由可以支持边界网关路由协议(BorderGatewayProtocol，简称为BGP)或者开放式最短路径优先协议(OpenShortestPathFirst，简称为OSPF)协议。
优选地，该系统中还可以包括网络控制器18，用于创建或删除所述一级路由，和/或，为所述一级路由增加或移除虚拟网络的接口；和/或，用于创建、删除或迁移所述边界网关路由，和/或，为所述边界网关路由增加或移除虚拟网络的接口。
在本实施例中，还提供了一种虚拟路由方法，图2是根据本发明实施例的一种虚拟路由方法的流程图，如图2所示，该方法包括以下步骤：
步骤S202，源一级路由接收到源虚拟机向目标设备发送的数据包，其中所述源一级路由为源虚拟机对应的一级路由，所述一级路由用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；
步骤S204，所述源一级路由在所述目标设备在所述源一级路由所在节点内的情况下，将所述数据包转发至所述目标设备所在虚拟网络；或者，所述源一级路由在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，转发所述数据包至二级路由，所述二级路由用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；或者，所述源一级路由在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，所述源一级路由在所述目标设备不在所述数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由，所述边界网关路由用于提供到所述数据中心网络的外部网络的源地址转换/目的地址转换功能。
通过上述步骤，解决了针对相关技术中虚拟路由承载节点单一的问题，进而达到了提高数据中心网络性能和可用性，降低虚拟网络间通信对物理网络带宽消耗的效果。
优选地，步骤S204可以通过网络控制器的转发策略实现，具体为：所述源一级路由向网络控制器请求转发策略；所述网络控制器请求所述数据中心虚拟化平台获取所述目标设备的位置；所述网络控制器根据所述目标设备的位置向所述源一级路由下发所述转发策略，其中，所述转发策略包括：在所述目标设备在所述源一级路由所在节点内的情况下，所述源一级路由将所述数据包转发至所述目标设备所在虚拟网络；或者，在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，所述源一级路由转发所述数据包至二级路由；或者，在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，在所述目标设备不在所述数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由；所述源一级路由按照所述转发策略进行转发。
其中，上述数据中心虚拟化平台为虚拟网络，计算节点外部的数据中心网络为数据中心内的真实网络，数据中心网络的外部网络为数据中心以外的真实或者虚拟网络。
优选地，在所述源一级路由向网络控制器请求转发策略之前，还包括：所述网络控制器为每个所述虚拟网络分配唯一的全局标识。
优选地，在所述二级路由支持虚拟路由动态迁移协议(VROOM)的情况下，所述网络控制器还可以对所述二级路由负载均衡进行调度迁移，和/或，对挂死的所述二级路由进行恢复。
优选地，所述网络控制器对所述二级路由负载均衡进行调度迁移之前，所述网络控制器可以根据采集到的度量因子，确定是否对所述二级路由负载均衡进行调度迁移，其中，所述度量因子可以包括但不限于以下至少之一：所述二级路由的硬件资源利用率、网络承载带宽、节能需求。
优选地，所述网络控制器还可以通过北向接口向第三方提供所采集到的所述度量因子，然后根据接收到的第三方的调度策略对二级路由负载均衡进行调度迁移，其中，所述第三方为参与接入本系统的其他控制系统，与本系统的北向接口交互。
优选地，在所述网络控制器对挂死的所述二级路由进行恢复之前，还包括：所述网络控制器可以将二级路由集群中挂死的二级路由负责运行的虚拟路由全部迁出，并依次在所述二级路由集群的其他单元中克隆所述挂死的二级路由。
优选地，在所述源一级路由向网络控制器请求转发策略之前，所述网络控制器还可以为每个所述虚拟网络分配唯一的全局标识。
优选地，在所述源一级路由将所述数据包转发至二级路由之后，所述二级路由可以将所述数据包转发至所述目标设备对应的目标一级路由，并由所述目标一级路由将所述数据包转发至所述目标设备所在虚拟网络。
优选地，在所述源一级路由将所述数据包转发至边界网关路由之后，所述边界网关路由可以对所述数据包进行到外部网络的源地址转换/目的地址转换，并转发至所述外部网络。
下面结合优选实施例进行说明，以下优选实施例结合了上述实施例及其优选实施方式。
以下优选实施例中提供的一种数据中心网络虚拟路由高性能、高可用实施方法的数据中心网络构建包括：数据中心网络以网络控制面和数据转发面二维方式构建，所述网络控制平面中存在唯一全局逻辑控制器；数据中心网络实现网络虚拟化功能，网络控制器为每个虚拟网络分配唯一的全局标识；虚拟网络中三层路由功能由多级分布式虚拟路由组成，以实现数据中心网络虚拟路由的高性能；虚拟路由逻辑实体可以实现动态迁移功能，以实现数据中心网络虚拟路由的高可用性。
优选地，控制面控制器为虚拟化网络分配全局标识，虚拟网络可以基于vlan/vxlan/gre等方式，实现二层网络隔离。当数据中心提供网络即服务业务时，需要为租户分配网络名字空间，实现租户间虚拟网络三到七层的完全隔离。
优选地，多级分布式虚拟路由包括：一级路由，二级路由和边界网关路由。其中一级路由分布在虚拟化平台的每一个计算节点中；二级路由和边界网关路由可完成相关功能的高性能网元设备集群提供。
优选地，二级虚拟路由需要支持虚拟路由迁移协议(VROOM)，所述控制器可以对数据中心虚拟网络做出动态调整，包括虚拟路由负载均衡调度迁移和挂死节点虚拟路由恢复。
优选地，所述一级路由实现计算节点内不同虚拟网络间三层路由功能，一级路由根据控制面控制器调度，实现创建虚拟删除虚拟路由，为虚拟路由增加和移除虚拟网络接口，同时实现源地址转换/目的地址转换功能。
优选地，所述二级路由实现计算节点间不同虚拟网络三层路由功能，二级路由由一组可实现路由虚拟化功能的网元设备集群承载，集群中的每一个网元设备可以根据控制面控制器调度创建删除和迁移虚拟路由，以及为虚拟路由增加和移除虚拟网络接口。
优选地，边界网关路由是一组为数据中心网络到外部网络提供网关功能的分布式路由实体集群，每个路由单元可运行BGP/OSPF协议，为数据中心网络提供到外网的源地址转换/目的地址转换功能。
优选地，若虚拟网络中的虚拟机与数据中心内部公网中设备互访需要经过一级路由实现一次源地址转换/目的地址转换，若虚拟机虚拟网络中虚拟机与数据中心外部网络互访，需要经过边界网关路由二次源地址转换/目的地址转换。
优选地，为实现虚拟网络的高效率，二级路由需要根据控制面控制器负载均衡调度策略迁移虚拟路由，控制器可以采集二级路由的硬件资源利用率、网络承载带宽、节能需求等度量因子，最优化使用转发面网元设备资源。
优选地，为实现虚拟网络的高可用，当控制器监测到二级路由集群中某个单元出现挂死，需要将其负责运行的虚拟路由全部迁出，控制器按照相关调度策略依次为上述虚拟路由在集群中其他单元中克隆该虚拟路由，以保证与其相关虚拟网络三层路由功能正常运行。挂死节点恢复后，在重新接入前需要对其进行初始化，使其作为一个新资源接受控制器调度。
优选地，所述控制器可以提供北向接口，向第三方提供所采集到的二级路由度量因子，由第三方制定定制化的二级虚拟路由调度策略。
实施例一
本优选实施例针对目前云计算数据中心网络虚拟路由构建方案存在的诸多问题，提出了一种数据中心网络虚拟路由高性能、高可用实施方法，可以有效提高数据中心网络的性能和可用性。
本优选实施例通过多级分布式虚拟路由的方式，图3是根据本发明实施例一的一种数据中心网络虚拟路由实施方法的示意图，如图3所示，数据中心网络以网络控制面和数据转发面二维方式构建，所述网络控制平面中存在唯一全局逻辑控制器(Controller)；数据中心网络实现网络虚拟化功能，网络控制器为每个虚拟网络分配唯一的全局标识；虚拟网络中三层路由功能由多级分布式虚拟路由组成，以实现数据中心网络虚拟路由的高性能；虚拟路由逻辑实体可以实现动态迁移功能，以实现数据中心网络虚拟路由的高可用性。
图3中，CONTROLLER表示网络控制面控制器，FVR为一级虚拟路由，SVR为二级虚拟路由，VM为虚拟机，SR为可实现路由虚拟化功能的网元设备(二级路由)，BGR为边界网关路由，BGRCLUSTER为分布式边界网关路由集群，CN为计算虚拟化平台计算节点。
控制器为云计算数据中网络中的每一个虚拟化网络分配全局标识，虚拟化网络可以是基于vlan/vxlan/gre方式，实现二层网络间完全隔离，控制器需要对每个虚拟网络生成一个虚拟网络标识和网络隔离标识映射关系。当数据中心提供网络即服务业务时，需要为租户分配网络名字空间，实现租户间虚拟网络三到七层的完全隔离，控制器需要对每个租户生成一个租户标识和名字空间的映射关系。
多级分布式虚拟路由为虚拟化网络提供路由、源地址转换和目的地址转换等相关三层网络服务，多级分布式虚拟路由包括：一级路由，二级路由和边界网关路由。其中一级路由由分布在虚拟化平台的每一个计算节点中；二级路由和边界网关路由可完成相关功能的高性能网元设备集群提供。
一级路由逻辑实体驻留于虚拟化平台计算节点内部，为计算节点内部不同虚拟网络间的虚拟机通信提供三层路由功能，使同一计算节点内部不同网络间虚拟机通信不需要占用数据中心网络带宽，当通信的目的虚拟机不存在于同一计算节点时，一级路由将数据包转发至二级路由处理，这样可以有效降低虚拟机间东西流向数据，提高虚拟网络三层通信性能。一级路由接受控制面控制器调度，实现创建删除和更新拟虚拟路由功能，以及增加和移除虚拟网络接口至虚拟路由。同时一级路由所创建的虚拟路由可以为计算节点内虚拟机提供源地址转换/目的地址转换服务。
二级路由实现计算节点间不同虚拟网络所属虚拟机三层路由通信功能，二级路由由一组可实现路由虚拟化功能的网元设备集群承载，集群中的每一个网元设备可以根据控制面控制器调度创建删除更新和迁移虚拟路由，以及增加和移除虚拟网络接口至虚拟路由。
边界网关路由是一组为数据中心网络到外部网络提供网关功能的分布式路由实体集群，每个路由单元可运行BGP/OSPF协议，同时为数据中心网络提供到外部网络的源地址转换/目的地址转换功能。
基于上述多级分布式虚拟路由，虚拟网络中的虚拟机访问外部网络需要经过多次地址转换，若虚拟网络中的虚拟机与数据中心内部公网中设备互访需要经过一级路由实现一次源地址转换/目的地址转换，若虚拟机虚拟网络中虚拟机与数据中心外部网络互访，需要经过边界网关路由二次源地址转换/目的地址转换。
为提高数据中心网络性能和可用性，二级虚拟路由需要支持虚拟路由迁移协议(VROOM)，所述控制器可以对二级虚拟路由做出动态调整，包括虚拟路由负载均衡调度迁移和挂死节点虚拟路由恢复。
所述控制器可以采集二级路由的硬件资源利用率、网络承载带宽、节能需求等度量因子，计算全局资源，控制器根据负载均衡调度策略迁移虚拟路由，最优化使用转发面网元设备资源。当控制器监测到二级路由集群中某个单元出现挂死，需要将其负责运行的虚拟路由全部迁出，控制器按照相关调度策略依次为上述虚拟路由在集群中其他单元中克隆该虚拟路由，以保证与其相关虚拟网络三层路由功能正常运行。挂死节点恢复后，在重新接入前需要对其进行初始化，使其作为一个新资源接受控制器调度。
所述控制器可以提供北向接口，向第三方提供所采集到的二级路由度量因子数据，由第三方制定定制化的二级虚拟路由调度策略。
图4是根据本发明实施例一的同计算节点虚拟网络间虚拟机路由过程的示意图，如图4所示，虚拟机首次发送数据至目标虚拟机时，包括以下步骤：
步骤S402，源虚拟机发送数据包至本计算节点一级虚拟路由FVR；
步骤S404，源FVR未知目的虚拟机位置，请求网络控制器CONTROLLER安装转发策略；
步骤S406-S408，CONTROLLER请求虚拟化平台Vplat获取目标虚拟机位置；
步骤S410，CONTROLLER根据目标虚拟机位置下发转发策略给源FVR进行安装；
步骤S412，目标虚拟机在计算节点内，则源FVR直接转发数据包至目的虚拟机虚拟网络。
图5是根据本发明实施例一的不同计算节点虚拟网络间虚拟机路由过程的示意图，如图5所示，虚拟机首次发送数据至目标虚拟机时，包括以下步骤：
步骤S502，源虚拟机发送数据包至本计算节点一级虚拟路由FVR；
步骤S504，源FVR未知目的虚拟机位置，请求网络控制器CONTROLLER安装转发策略；
步骤S506-S508，CONTROLLER请求虚拟化平台Vplat获取目标虚拟机位置；
步骤S510，CONTROLLER根据目标虚拟机位置下发转发策略给源FVR进行安装；
步骤S512，目标虚拟机不存在于本计算节点内，则重新封装数据包并按CONTROLLER安装策略转发至二级虚拟路由SVR；
步骤S514，二级虚拟路由将数据转发至目的网关FVR；
步骤S516，目的FVR将数据包转发至目的主机虚拟网络。
边界网关路由是一组为数据中心网络到外部网络提供网关功能的路由实体集群，每个路由单元可运行BGP/OSPF协议，同时为数据中心网络提供到外部网络的源地址转换/目的地址转换功能。
基于上述多级分布式虚拟路由，虚拟网络中的虚拟机访问外部网络需要经过多次地址转换，图6是根据本发明实施例一的虚拟网络中虚拟机与外部网络通信网络地址转换(NetworkAddressTranslation，简称为NAT)过程示意图，如图6所示，若虚拟网络中的虚拟机与数据中心内部公网中设备互访需要经过一级路由实现一次源地址转换/目的地址转换，若虚拟机虚拟网络中虚拟机与数据中心外部网络互访，需要经过边界网关路由二次源地址转换/目的地址转换。
为提高数据中心网络性能和可用性，二级虚拟路由需要支持虚拟路由迁移协议(VROOM)，所述控制器可以对二级虚拟路由做出动态调整，包括虚拟路由负载均衡调度迁移和挂死节点虚拟路由恢复。
所述控制器可以采集二级路由的硬件资源利用率、网络承载带宽、节能需求等度量因子，计算全局资源，控制器根据负载均衡调度策略迁移虚拟路由，最优化使用转发面网元设备资源。当控制器监测到二级路由集群中某个单元出现挂死，需要将其负责运行的虚拟路由全部迁出，控制器按照相关调度策略依次为上述虚拟路由在集群中其他单元中克隆该虚拟路由，以保证与其相关虚拟网络三层路由功能正常运行。挂死节点恢复后，在重新接入前需要对其进行初始化，使其作为一个新资源接受控制器调度。
所述控制器可以提供北向接口，向第三方提供所采集到的二级路由度量因子数据，由第三方制定定制化的二级虚拟路由调度策略。
在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施例中描述的技术方案。
在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于光盘、软盘、硬盘、可擦写存储器等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种虚拟路由系统，其特征在于，包括：
一级路由，用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；
二级路由，用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；
边界网关路由，用于为数据中心虚拟化平台提供到外部网络的源地址转换/目的地址转换功能。
2.根据权利要求1所述的虚拟路由系统，其特征在于，
所述一级路由位于所述计算节点中；
所述二级路由位于可实现路由虚拟化功能的网元设备中；
所述边界网关路由位于为所述数据中心网络提供到外部网络的网关功能的路由实体中。
3.根据权利要求1所述的虚拟路由系统，其特征在于，所述二级路由支持虚拟路由动态迁移协议VROOM。
4.根据权利要求1所述的虚拟路由系统，其特征在于，每个所述虚拟网络存在唯一的全局标识。
5.根据权利要求1所述的虚拟路由系统，其特征在于，所述边界网关路由支持边界网关路由协议BGP或者开放式最短路径优先协议OSPF协议。
6.根据权利要求1所述的虚拟路由系统，其特征在于，所述系统还包括：
网络控制器，用于创建或删除所述一级路由，和/或，为所述一级路由增加或移除虚拟网络的接口；和/或，用于创建、删除或迁移所述边界网关路由，和/或，为所述边界网关路由增加或移除虚拟网络的接口。
7.一种虚拟路由方法，其特征在于，包括：
源一级路由接收到源虚拟机向目标设备发送的数据包，其中所述源一级路由为所述源虚拟机对应的一级路由，所述一级路由用于为数据中心虚拟化平台的计算节点内部的不同虚拟网络的虚拟机通信提供三层路由功能，并提供到所述计算节点外部的数据中心网络的源地址转换/目的地址转换功能；
所述源一级路由在所述目标设备在所述源一级路由所在节点内的情况下，将所述数据包转发至所述目标设备所在虚拟网络；或者，
所述源一级路由在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，转发所述数据包至二级路由，所述二级路由用于为所述计算节点间不同虚拟网络所属的虚拟机通信提供三层路由功能；或者，
所述源一级路由在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，
所述源一级路由在所述目标设备不在所述数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由，所述边界网关路由用于提供到所述数据中心网络的外部网络的源地址转换/目的地址转换功能。
8.根据权利要求7所述的方法，其特征在于，所述源一级路由在所述目标设备在所述源一级路由所在节点内的情况下，将所述数据包转发至所述目标设备所在虚拟网络；或者，所述源一级路由在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，转发所述数据包至二级路由；或者，所述源一级路由在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，所述源一级路由在所述目标设备不在所述数据中心网络中的情况下，对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由包括：
所述源一级路由向网络控制器请求转发策略；
所述网络控制器请求所述数据中心虚拟化平台获取所述目标设备的位置；
所述网络控制器根据所述目标设备的位置向所述源一级路由下发所述转发策略，其中，所述转发策略包括：在所述目标设备在所述源一级路由所在节点内的情况下，所述源一级路由将所述数据包转发至所述目标设备所在虚拟网络；或者，在所述目标设备位于所述数据中心虚拟化平台内但不在所述源一级路由所在节点内的情况下，所述源一级路由转发所述数据包至二级路由；或者，在所述目标设备位于所述计算节点外部的数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并发送给所述目标设备；或者，在所述目标设备不在所述数据中心网络中的情况下，所述源一级路由对所述数据包进行到所述内部网络的源地址转换/目的地址转换，并转发至边界网关路由；
所述源一级路由按照所述转发策略进行转发。
9.根据权利要求8所述的方法，其特征在于，在所述源一级路由向网络控制器请求转发策略之前，还包括：
所述网络控制器为每个所述虚拟网络分配唯一的全局标识。
10.根据权利要求8所述的方法，其特征在于，
在所述二级路由支持虚拟路由动态迁移协议VROOM的情况下，所述网络控制器对所述二级路由负载均衡进行调度迁移，和/或，对挂死的所述二级路由进行恢复。
11.根据权利要求10所述的方法，其特征在于，在所述网络控制器对所述二级路由负载均衡进行调度迁移之前，还包括：
所述网络控制器根据采集到的度量因子，确定是否对所述二级路由负载均衡进行调度迁移，其中，所述度量因子包括以下至少之一：所述二级路由的硬件资源利用率、网络承载带宽、节能需求。
12.根据权利要求11所述的方法，其特征在于，在所述网络控制器对所述二级路由负载均衡进行调度迁移之前，还包括：
所述网络控制器通过北向接口向第三方提供所采集到的所述度量因子；
所述网络控制器接收所述第三方的调度策略，并根据所述调度策略对所述二级路由负载均衡进行调度迁移。
13.根据权利要求10所述的方法，其特征在于，在所述网络控制器对挂死的所述二级路由进行恢复之前，还包括：
所述网络控制器将二级路由集群中挂死的二级路由负责运行的虚拟路由全部迁出，并依次在所述二级路由集群的其他单元中克隆所述挂死的二级路由。
14.根据权利要求8所述的方法，其特征在于，在所述源一级路由向网络控制器请求转发策略之前，还包括：
所述网络控制器为每个所述虚拟网络分配唯一的全局标识。
15.根据权利要求7所述的方法，其特征在于，在所述源一级路由将所述数据包转发至二级路由之后，还包括：
所述二级路由将所述数据包转发至所述目标设备对应的目标一级路由，并由所述目标一级路由将所述数据包转发至所述目标设备所在虚拟网络。
16.根据权利要求7所述的方法，其特征在于，在所述源一级路由将所述数据包转发至边界网关路由之后，还包括：
所述边界网关路由对所述数据包进行到外部网络的源地址转换/目的地址转换，并转发至所述外部网络。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410273228.8A CN105227454B (zh) | 2014-06-18 | 2014-06-18 | 虚拟路由系统及方法 |
| PCT/CN2014/090190 WO2015192584A1 (zh) | 2014-06-18 | 2014-11-03 | 虚拟路由系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410273228.8A CN105227454B (zh) | 2014-06-18 | 2014-06-18 | 虚拟路由系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105227454A true CN105227454A (zh) | 2016-01-06 |
| CN105227454B CN105227454B (zh) | 2019-02-26 |
Family
ID=54934807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410273228.8A Active CN105227454B (zh) | 2014-06-18 | 2014-06-18 | 虚拟路由系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105227454B (zh) |
| WO (1) | WO2015192584A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107171953A (zh) * | 2017-05-22 | 2017-09-15 | 浙江工商大学 | 一种虚拟路由器实现方法 |
| CN107231307A (zh) * | 2016-03-24 | 2017-10-03 | 瞻博网络公司 | 用于防止数据中心架构内子网间流量转接的方法、系统和装置 |
| CN107612923A (zh) * | 2017-10-09 | 2018-01-19 | 中国银联股份有限公司 | 一种基于网络策略组的业务访问方法及装置 |
| WO2018024254A1 (en) * | 2016-08-05 | 2018-02-08 | Huawei Technologies Co., Ltd. | Virtual network routing to dynamic end point locations in support of service-based traffic forwarding |
| CN107733670A (zh) * | 2016-08-11 | 2018-02-23 | 新华三技术有限公司 | 一种转发策略配置方法和装置 |
| CN111884937A (zh) * | 2020-07-23 | 2020-11-03 | 江苏安超云软件有限公司 | 一种在云计算系统中实现高速网络的装置及方法 |
| CN112470436A (zh) * | 2018-07-17 | 2021-03-09 | 思科技术公司 | 使用srv6和bgp的多云连通性 |
| CN115514692A (zh) * | 2022-09-20 | 2022-12-23 | 深信服科技股份有限公司 | 一种资源池内网络交互方法、系统、存储介质和终端 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112003750B (zh) * | 2020-08-24 | 2023-11-21 | 浪潮云信息技术股份公司 | 一种数据中心主机Overlay网络访问控制方法 |
| CN114827015B (zh) * | 2022-04-29 | 2024-04-02 | 深圳爱捷云科技有限公司 | 一种数据转发方法和虚拟化云网络架构 |
| CN115208813B (zh) * | 2022-09-14 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 一种边界网关协议的迁移方法、装置、设备及存储介质 |
| CN115801782B (zh) * | 2023-01-29 | 2023-05-16 | 中国人民解放军61660部队 | 一种跨区域数据中心云资源调度系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070140250A1 (en) * | 2005-12-21 | 2007-06-21 | Solace Systems, Inc. | Shared application inter-working with virtual private networks |
| CN102077508A (zh) * | 2009-03-18 | 2011-05-25 | 松下电器产业株式会社 | 在多节点间通过网络对数据进行接收和转发的组播通信方法及装置 |
| CN102137001A (zh) * | 2010-11-29 | 2011-07-27 | 华为技术有限公司 | 交换路由信息的方法、设备和系统 |
| US20120110186A1 (en) * | 2010-10-29 | 2012-05-03 | Cisco Technology, Inc. | Disaster Recovery and Automatic Relocation of Cloud Services |
| CN102884763A (zh) * | 2012-06-30 | 2013-01-16 | 华为技术有限公司 | 跨数据中心的虚拟机迁移方法、服务控制网关及系统 |
-
2014
- 2014-06-18 CN CN201410273228.8A patent/CN105227454B/zh active Active
- 2014-11-03 WO PCT/CN2014/090190 patent/WO2015192584A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070140250A1 (en) * | 2005-12-21 | 2007-06-21 | Solace Systems, Inc. | Shared application inter-working with virtual private networks |
| CN102077508A (zh) * | 2009-03-18 | 2011-05-25 | 松下电器产业株式会社 | 在多节点间通过网络对数据进行接收和转发的组播通信方法及装置 |
| US20120110186A1 (en) * | 2010-10-29 | 2012-05-03 | Cisco Technology, Inc. | Disaster Recovery and Automatic Relocation of Cloud Services |
| CN102137001A (zh) * | 2010-11-29 | 2011-07-27 | 华为技术有限公司 | 交换路由信息的方法、设备和系统 |
| CN102884763A (zh) * | 2012-06-30 | 2013-01-16 | 华为技术有限公司 | 跨数据中心的虚拟机迁移方法、服务控制网关及系统 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107231307A (zh) * | 2016-03-24 | 2017-10-03 | 瞻博网络公司 | 用于防止数据中心架构内子网间流量转接的方法、系统和装置 |
| CN107231307B (zh) * | 2016-03-24 | 2020-04-21 | 瞻博网络公司 | 用于防止数据中心架构内子网间流量转接的方法、系统和装置 |
| US10841208B2 (en) | 2016-08-05 | 2020-11-17 | Huawei Technologies Co., Ltd. | Slice/service-based routing in virtual networks |
| US11882027B2 (en) | 2016-08-05 | 2024-01-23 | Huawei Technologies Co., Ltd. | End point to edge node interaction in wireless communication networks |
| WO2018024254A1 (en) * | 2016-08-05 | 2018-02-08 | Huawei Technologies Co., Ltd. | Virtual network routing to dynamic end point locations in support of service-based traffic forwarding |
| US11165689B2 (en) | 2016-08-05 | 2021-11-02 | Huawei Technologies Co., Ltd | Service-based traffic forwarding in virtual networks |
| CN109479034A (zh) * | 2016-08-05 | 2019-03-15 | 华为技术有限公司 | 支持基于服务的流量转发的到动态端点位置的虚拟网络路由 |
| US10567276B2 (en) | 2016-08-05 | 2020-02-18 | Huawei Technologies Co., Ltd. | Virtual network pre-configuration in support of service-based traffic forwarding |
| US10608928B2 (en) | 2016-08-05 | 2020-03-31 | Huawei Technologies Co., Ltd. | Service-based traffic forwarding in virtual networks |
| US10630576B2 (en) | 2016-08-05 | 2020-04-21 | Huawei Technologies Co., Ltd. | Virtual network routing to dynamic end point locations in support of service-based traffic forwarding |
| US11005750B2 (en) | 2016-08-05 | 2021-05-11 | Huawei Technologies Co., Ltd. | End point to edge node interaction in wireless communication networks |
| CN109479034B (zh) * | 2016-08-05 | 2021-01-15 | 华为技术有限公司 | 支持基于服务的流量转发的到动态端点位置的虚拟网络路由 |
| CN107733670B (zh) * | 2016-08-11 | 2020-05-12 | 新华三技术有限公司 | 一种转发策略配置方法和装置 |
| US11086653B2 (en) | 2016-08-11 | 2021-08-10 | New H3C Technologies Co., Ltd. | Forwarding policy configuration |
| CN107733670A (zh) * | 2016-08-11 | 2018-02-23 | 新华三技术有限公司 | 一种转发策略配置方法和装置 |
| CN107171953A (zh) * | 2017-05-22 | 2017-09-15 | 浙江工商大学 | 一种虚拟路由器实现方法 |
| CN107171953B (zh) * | 2017-05-22 | 2020-04-28 | 浙江工商大学 | 一种虚拟路由器实现方法 |
| CN107612923B (zh) * | 2017-10-09 | 2020-05-01 | 中国银联股份有限公司 | 一种基于网络策略组的业务访问方法及装置 |
| CN107612923A (zh) * | 2017-10-09 | 2018-01-19 | 中国银联股份有限公司 | 一种基于网络策略组的业务访问方法及装置 |
| CN112470436A (zh) * | 2018-07-17 | 2021-03-09 | 思科技术公司 | 使用srv6和bgp的多云连通性 |
| CN112470436B (zh) * | 2018-07-17 | 2022-10-21 | 思科技术公司 | 用于提供多云连通性的系统、方法、以及计算机可读介质 |
| CN111884937A (zh) * | 2020-07-23 | 2020-11-03 | 江苏安超云软件有限公司 | 一种在云计算系统中实现高速网络的装置及方法 |
| CN111884937B (zh) * | 2020-07-23 | 2022-06-24 | 江苏安超云软件有限公司 | 一种在云计算系统中实现高速网络的装置及方法 |
| CN115514692A (zh) * | 2022-09-20 | 2022-12-23 | 深信服科技股份有限公司 | 一种资源池内网络交互方法、系统、存储介质和终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015192584A1 (zh) | 2015-12-23 |
| CN105227454B (zh) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105227454B (zh) | 虚拟路由系统及方法 | |
| US10374878B2 (en) | Forwarding tables for virtual networking devices | |
| US10091087B2 (en) | Methods and systems for load balancing based on data shard leader | |
| US20220206908A1 (en) | Techniques for replicating state information for high availability | |
| US10044525B2 (en) | Scalable tenant networks | |
| EP3355553B1 (en) | Reliable load-balancer using segment routing and real-time application monitoring | |
| US9686180B2 (en) | Managing routing information for tunnel endpoints in overlay networks | |
| US8667171B2 (en) | Virtual data center allocation with bandwidth guarantees | |
| CN102457439B (zh) | 一种云计算系统的虚拟交换系统及其虚拟交换方法 | |
| US20200036796A1 (en) | Container networking using communication tunnels | |
| CN104780088A (zh) | 一种业务报文的传输方法和设备 | |
| US11838376B2 (en) | Scaling service discovery in a micro-service environment | |
| US11438236B2 (en) | Methods and systems for managing connected data transfer sessions | |
| US9894144B2 (en) | Application level mirroring in distributed overlay virtual networks | |
| Zhao et al. | SDN based VxLAN optimization in cloud computing networks | |
| JP2023519656A (ja) | ハイパーバイザと仮想マシン間の動的セルラー接続 | |
| US20160352576A1 (en) | Dynamic attribute based application policy | |
| US20230138372A1 (en) | Secure bi-directional network connectivity system between private networks | |
| CN118541674A (zh) | 发布用于图形处理单元工作负载的物理拓扑网络局部性信息 | |
| US20230133380A1 (en) | Transparent mounting of external endpoints between private networks | |
| US20220326995A1 (en) | Tenant fairness in a multi-tenant environment | |
| US20240160496A1 (en) | Address management in gpu super cluster | |
| US20230370377A1 (en) | Disaggregation of tier1 devices in an sdn using smartswitches | |
| US20230269201A1 (en) | Pooling smart nics for network disaggregation | |
| WO2022271990A1 (en) | Routing policies for graphical processing units |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |