CN113411200A - 一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 - Google Patents
一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 Download PDFInfo
- Publication number
- CN113411200A CN113411200A CN202110500251.6A CN202110500251A CN113411200A CN 113411200 A CN113411200 A CN 113411200A CN 202110500251 A CN202110500251 A CN 202110500251A CN 113411200 A CN113411200 A CN 113411200A
- Authority
- CN
- China
- Prior art keywords
- virtual
- transmitted
- traffic
- node
- routing path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/20—Hop count for routing purposes, e.g. TTL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/38—Flow based routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/74—Address processing for routing
- H04L45/745—Address table lookup; Address filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3009—Header conversion, routing tables or routing tags
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/35—Switches specially adapted for specific applications
- H04L49/354—Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明的实施例提供了一种基于仿真网络传输虚拟流量的方法,包括:响应于待传输的虚拟流量在源节点匹配到对应的意图路由规则,在待传输的虚拟流量的意图路由路径中后续的每一节点,对该虚拟流量进行封装,并依照该意图路由路径传输至下一节点,对该虚拟流量进行解封,直至该待传输的虚拟流量到达其意图路由路径中的目的节点,其中,意图路由规则依据待传输的虚拟流量的意图路由路径生成并部署到意图路由数据模块上,待传输的虚拟流量的意图路由路径包含其逐跳路由路径中的关键节点。本发明实施例的技术方案因而能够极大减少流量传输过程中不必要的封装与解封装步骤,进而在保持仿真网络路由功能的同时,提高流量的传输性能。
Description
技术领域
本发明涉及计算机网络领域,尤其涉及基于仿真网络封装、解封及传输虚拟流量的方法及系统。
背景技术
目前,半实物化的大规模仿真网络通常使用覆盖(Overlay)网络虚拟化技术仿真多种真实网络。Overlay指的是一种网络架构上叠加的虚拟化技术模式。其大体框架是对基础网络不进行大规模修改的条件下,在现有的物理网络之上构建一个虚拟网络,实现应用在网络上的承载,使得上层应用只与虚拟网络相关,并能够与其它网络业务分离。
仿真网络中的设备(包括终端与网络设备)通常都是以虚拟机的形式呈现,其中作为终端的虚拟机为“虚拟主机节点”,作为“网络设备”的虚拟机为“虚拟网络节点”,它们统称为“虚拟节点”。图1示出了现有技术中一个示例仿真网络的结构示意图。如图1所示,为了达到与真实网络一致的网络功能,仿真网络中虚拟流量通常是由虚拟主机节点Host-1产生并流向另一个虚拟主机节点Host-2。从Host-1至Host-2的流量传输过程需要像真实网络一样逐一经过每个虚拟节点(即R1、R2、R3和R4)。但是,与物理网络中的多跳路由传输不同,仿真网络中虚拟流量的多跳路由传输时,报文在进入/流出每个虚拟节点时,都需要Overlay封装/解封装操作。因此,当仿真网络规模庞大、端到端路由跳数较多时,虚拟流量的传输时延就会显著增长,影响传输效率。
因此,亟需一种更加高效的基于仿真网络封装、解封及传输虚拟流量的方法及系统。
发明内容
因此,本发明实施例的目的在于克服上述相关技术的缺陷,提供一种基于仿真网络封装、解封及传输虚拟流量的方法及系统,能极大减少流量传输过程中不必要的封装与解封装步骤,进而在保持仿真网络路由功能的同时,提高流量的传输性能。
上述目的是通过以下技术方案实现的:
根据本发明实施例的第一方面,提供了一种基于仿真网络部署意图路由规则的方法,包括:依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,其中,所述意图路由路径包含所述特定虚拟流量的逐跳路由路径中的关键节点,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列;将所述开放流规则序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上;以及将所述虚拟扩展局域网隧道端点封装映射表项序列中的每个节点的虚拟扩展局域网隧道端点封装映射表项部署到对应的虚拟扩展局域网隧道端点上。
可选地,其中,所述关键节点是所述逐跳路由路径中具有过滤、更改流量、状态随流量变化功能和/或有性能约束的虚拟网络设备;以及源节点和目的节点。
可选地,其中,所述意图路由路径通过以下方式生成:响应于预设事件的发生,确定相关节点及特定虚拟流量的五元组,所述相关节点包括所述仿真网络中影响预设事件发生的节点,所述特定虚拟流量包括所述预设事件发生时所述相关节点带宽占比最高的虚拟流量;判断所述相关节点是否为关键节点;响应于所述相关节点不是关键节点,基于所述特定虚拟流量的五元组获取所述特定虚拟流量的逐跳路由路径;以及遍历所述逐跳路由路径中的节点,选取其中所有的关键节点生成所述意图路由路径。
根据本发明实施例的第二方面,还提供了一种基于仿真网络封装虚拟流量的方法,其中所述仿真网络基于权利要求1-3之一的方法被配置意图路由规则,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列,所述方法包括:接收待传输的虚拟流量;当所述待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断所述待传输的虚拟流量是否与所述分布式逻辑交换机上现有的开放流规则相匹配;响应于所述待传输的虚拟流量与所述现有的开放流规则相匹配,执行所述现有的开放流规则;以及响应于传输所述待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据所述虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装所述待传输的虚拟流量。
可选地,其中,通过以下方式判断所述待传输的虚拟流量是否与现有的意图路由规则相匹配:将所述待传输的虚拟流量的首部字段集合与所述现有的意图路由规则中特定流量的五元组相匹配。
根据本发明实施例的第三方面,提供了一种基于仿真网络解封虚拟流量的方法,包括:接收通过上述任一方法被封装的待传输的虚拟流量;响应于所述待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除所述待传输的虚拟流量外层的虚拟扩展局域网封装。
根据本发明实施例的第四方面,提供了一种基于仿真网络传输虚拟流量的方法,其中所述仿真网络基于权利要求1-3之一的方法被配置意图路由规则,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列,所述方法包括:响应于待传输的虚拟流量在源节点匹配到对应的开放流规则,在所述待传输的虚拟流量的意图路由路径中后续的每一节点,执行上述任一所述封装虚拟流量的方法,并依照所述意图路由路径传输至下一节点,以及执行上述解封虚拟流量的方法,直至所述待传输的虚拟流量到达所述待传输的虚拟流量的意图路由路径中的目的节点。
根据本发明实施例的第五方面,提供了一种基于仿真网络传输虚拟流量的系统,包括:控制模块,用于依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,其中,所述意图路由路径包含所述特定虚拟流量的逐跳路由路径中的关键节点,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列;将所述开放流规则序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上;以及将所述虚拟扩展局域网隧道端点封装映射表项序列中的每个节点的虚拟扩展局域网隧道端点封装映射表项部署到对应的虚拟扩展局域网隧道端点上;以及封装模块,用于接收待传输的虚拟流量;当所述待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断所述待传输的虚拟流量是否与所述分布式逻辑交换机上现有的开放流规则相匹配,其中,所述现有的开放流规则通过所述控制模块部署到仿真网络的分布式逻辑交换机上;响应于所述待传输的虚拟流量与所述现有的开放流规则相匹配,执行所述现有的开放流规则;以及响应于传输所述待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据所述虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装所述待传输的虚拟流量,其中,所述现有的虚拟扩展局域网隧道端点封装映射表项通过所述控制模块部署到仿真网络的虚拟扩展局域网隧道端点上;解封模块,用于接收通过所述封装模块被封装的待传输的虚拟流量;响应于所述待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除所述待传输的虚拟流量外层的虚拟扩展局域网封装,其中,所述待传输的虚拟流量的意图路由路径通过所述控制模块获得;以及传输模块,用于响应于待传输的虚拟流量在源虚拟节点匹配到对应的开放流规则,在所述待传输的虚拟流量的意图路由路径中后续的每一节点,通过所述封装模块进行封装,并依照所述意图路由路径传输至下一节点,以及通过所述解封模块进行解封,直至所述待传输的虚拟流量到达所述待传输的虚拟流量的意图路由路径中的目的节点,其中,所述待传输的虚拟流量的意图路由路径通过所述控制模块获得。
可选地,其中,所述控制模块被部署在单个虚拟节点上,或者以主从模式部署在多个虚拟节点上。
根据本发明实施例的第六方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被执行时实现如上述实施例第一至四方面所述的方法。
根据本发明实施例的第七方面,提供了一种电子设备,包括处理器和存储器,所述存储器中上存储有计算机程序,所述程序被执行时实现如上述实施例第一至四方面所述的方法。
本发明实施例的技术方案可以包括以下有益效果:
通过控制流量按照意图路由路径进行传输,由于绕过了逐跳路由路径中的非关键节点,因而能够极大减少流量传输过程中不必要的封装与解封装步骤,进而在保持仿真网络路由功能的同时,减少流量的传输时延,提高传输性能。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了现有技术中一个示例仿真网络的结构示意图;
图2示出了现有技术中基于图1所示的示例仿真网络传输虚拟流量的示意图;
图3示出了根据本发明一个实施例的基于图1所示的示例仿真网络传输虚拟流量的示意图;
图4根据本发明一个实施例的基于仿真网络部署意图路由规则的方法的流程图;
图5示出了根据本发明一个实施例的对虚拟流量进行封装的示意图;
图6示出了根据本发明一个实施例的对虚拟流量进行解封的示意图;
图7示出了根据本发明一个实施例的对虚拟流量进行传输的示意图;
图8示出了根据本发明一个实施例的基于仿真网络传输虚拟流量的系统的结构示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例,都属于本发明保护的范围。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图2示出了现有技术中基于图1所示的示例仿真网络传输虚拟流量的示意图。如图2所示,虚拟流量(以下简称流量)从Host-1(即h1)到Host-2(即h2)的过程中依次经过h1、R1、R2、R3、R4、h1,共需如下16个步骤:步骤1)h1虚拟机将流量发送到虚拟网卡所在分布式逻辑交换机LDS-1上;步骤2)分布式逻辑交换机查询流表后将流量转发给下一跳虚拟机R1;步骤3)R1查询自身路由表,将流量发送到虚拟网卡所在分布式逻辑交换机LDS-1上;步骤4)分布式逻辑交换机查询流表后将流量转发到虚拟扩展局域网隧道端点(vxlan tunnelingend point,vtep),vtep查询封装映射表表项进行vxlan封装,并发送到物理网络;步骤5)物理网络目的物理机接收到数据包后,进行vxlan解封装,并交给该物理机的分布式逻辑交换机LDS-2;步骤6)分布式逻辑交换机查询流表,将流量转发给R2;步骤7)-16)重复类似的上述步骤,使流量依次经过R2、R3和R4,最终到达目的虚拟机h2。由此可以看出,在上述传统路由路径(又称逐跳路由路径)中,流量经过网络中的每个节点,并且频繁地进行封装、解封,因而极大的延长了传输时间、影响传输性能。
为此,根据本发明的一个实施例,提供了一种基于仿真网络传输虚拟流量的系统。该系统能够控制流量按照意图路由路径而不是逐跳路由路径进行传输。意图路由路径是逐跳路由路径的有序子序列,包含了逐跳路由路径中的所有关键节点(例如核心的路由节点(如边界交换机)或安全节点(如防火墙)),而跳过了逐跳路由路径中不重要的非关键节点(例如仅具有转发功能的节点)。
图3示出了根据本发明一个实施例的基于图1所示的示例仿真网络传输虚拟流量的示意图。如图3所示,依据意图路由路径,流量从h1到h2的传输只需经过h1、R1、h2,只需如下6个步骤,其中,步骤1)-3)跟上述图2中逐跳路由路径中的步骤1)-3)一致;步骤4),当流量与部署在分布式逻辑交换机LDS-1上的意图路由规则相匹配时,使将流量的目的mac地址被修改为意图路由下一跳节点(即h2)的mac地址,并在vtep上匹配到新的封装映射表表项;步骤5),流量通过物理网络被直接发送到h2所在的物理机,并解封装vxlan,发送给分布式逻辑交换机LDS-4;步骤6),分布式逻辑交换机查询流表,将流量发给h2,由此完成流量在仿真网络中的传输。
由于意图路由路径中的节点数将显著少于逐跳路由路径中的节点数,因而能够极大减少流量传输过程中不必要的封装与解封装步骤,进而在保持仿真网络路由功能的同时,提高流量的传输性能。
基于意图路由路径传输虚拟流量,首先应当依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,并将该意图路由规则部署到仿真网络的数据平面(即数据模块)。
图4示出了根据本发明一个实施例的基于仿真网络部署意图路由规则的方法的流程图。如图4所示,该方法包括以下步骤:
S410,生成面向特定流量的意图路由路径。
在传输流量时,当仿真网络中出现流量时延显著增长或发生持续性丢包事件时,可以生成面向该流量的意图路由路径,以使得流量在路由过程中绕过导致性能下降的相关节点以及其他非关键节点,而仅经过原逐跳路由路径中的关键节点,以降低时延和缓解持续性丢包。非关键节点例如可以包括仿真网络中仅单纯执行转发功能的虚拟网络设备(即节点);关键节点例如可以包括原逐跳路由路径中具有过滤、更改流量、状态随流量变化功能和/或有性能约束的虚拟网络设备,例如,具有过滤数据包行为的虚拟网络设备(例如防火墙)、具有更改数据包首部行为的虚拟网络设备(例如NAT,以及其他拥有封装解封装行为的网络设备)、有状态的虚拟网络设备(例如网络测量设备、有状态NAT设备等)、配置了性能约束功能的虚拟网络设备(例如配置了对带宽、时延、丢包率有约束的网络设备)等,以及原逐跳路由路径中的源节点和目的节点。
在一个实施例中,生成面向特定流量的意图路由路径包括以下步骤:
S411,响应于预设事件的发生,确定相关节点及特定虚拟流量的五元组。
在流量传输中,当仿真网络测量服务检测到预先设置的特定事件发生时,例如持续性丢包或时延显著增长事件时,可以调用意图路由控制器北向api,将导致特定事件发生的节点(即“相关节点”)以及该相关节点带宽占比最高的流量(即“特定流量”)的五元组Qmatch告知意图路由控制器。特定流量的五元组包括该流量的指源IP地址,源端口,目的IP地址,目的端口和传输层协议。该五元组可以用于匹配部署在数据模块的面向特定流量的意图路由规则。
S412,判断该相关节点是否为关键节点
若该相关节点为关键节点则不生成意图路由路径,否则执行下述步骤。
S413,响应于该相关节点不是关键节点,基于特定流量的五元组获取该特定流量的逐跳路由路径。
意图路由控制器根据五元组Qmatch的源、目的IP地址以及仿真网络拓扑可以得到该特定流量的源节点和目的节点。通过调用仿真网络测量服务接口可以得到该特定流量从源节点到目的节点的逐跳路由路径[Q1,Q2,…,Qi,…,Qn],其中Qi(1≤i≤n)为逐跳路由第i跳虚拟节点。
S414,遍历逐跳路由路径中的节点,选取其中所有的关键节点生成意图路由路径。
遍历逐跳路由路径[Q1,Q2,…,Qi,…,Qn],对于每一跳Qi,若其属于关键节点,则将其加入意图路由路径集合中。最终可以得到面向该特定流量的意图路由路径[P1,P2,…,Pi,Pi+1,…,Pm],(2≤m<n)(1≤i≤m)。
S420,依据该意图路由路径生成对应的意图路由规则。
意图路由规则包括该意图路由路径的开放流规则序列(又称openflow rule序列)和虚拟扩展局域网隧道端点封装映射表项序列(又称vtep封装映射表项序列)。
为使得意图路由规则生成与下发功能的表述更加清晰,将下文中使用的符号定义如下:
意图路由路径:[P1,P2,…,Pi,Pi+1,…,Pm],其中Pi(1≤i≤m)代表了意图路由路径上第i跳的虚拟节点;
意图路由第i跳的虚拟节点Pi一共有Ci个虚拟网卡,其中第k(1≤k≤Ci)个虚拟网卡为其mac地址为vlan ID为虚拟扩展局域网标识符(vxlan networkidentifier,VNI)为IP地址为第i跳虚拟节点Pi所在物理节点的接入仿真网络的物理网卡IP为hostIPi;
意图路由第i跳虚拟节点Pi所在vtep为Ti;以及
能够触发上述意图路由的流量需匹配的首部字段集合为:Qmatch。
在一个实施例中,依据意图路由路径生成对应的意图路由规则包括以下步骤:
S421,确定意图路由路径的相邻两个节点中,后一节点接收前一节点流量的虚拟网卡。
在意图路由路径上每个相邻两个虚拟节点Pi、Pi+1中,确定后一节点Pi+1负责接收前一节点Pi发出的意图路由流量的虚拟网卡(即确定k的取值)。可以随机选择后一节点Pi+1的某个网卡,也可以指定的意图路由路径已经在表达了前一节点Pi的基础上还额外增加了相应虚拟网卡的信息。最终可以得到整个路径上参与意图路由的虚拟网卡序列
S422,获取该虚拟网卡序列中每个虚拟网卡的基本信息。
意图路由控制器调用计算虚拟化控制器和网络虚拟化控制器api获得步骤S421得到序列中每个网卡的基本信息,包括mac地址vlan IDVNIIP地址节点Pi所在物理节点的接入仿真网络的网卡IPhostIPi,连接到Si的端口(其中2≤i≤m,1≤k≤Ci)。
S423,确定意图路由路径上每个节点在分布式逻辑交换机上的转发端口。
对于意图路由路径上的所有相邻两个节点Pi、Pi+1,确定流量在Pi所在的分布式逻辑交换机Si上的转发端口 取值有两种情况,若Si==Si+1,则否则即若相邻两跳节点Pi、Pi+1在同一物理机上,则无需封装;若不在同一物理机,则进行封装。
S424,生成openflow rule序列。
在意图路由每个节点Pi(1≤i≤m-1)上生成如下openflow rule序列:
最终可以得到意图路由的openflow rule序列:[R1,R2,…,Ri,Ri+1,…,Rm-1]。
S425,生成vtep封装映射表表项序列。
从而形成意图路由的vtep封装映射表表项序列:[V1,V2,…,Vi,Vi+1,…,Vm-1]。
S430,将openflow rule序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上。
可以调用分布式逻辑交换机控制器api部署openflow rule序列。对于意图路由每一个节点Pi,其对应的openflow rule为Ri,通过调用分布式逻辑交换机控制器api,将Ri部署到Si上,(1≤i≤m-1)。分布式逻辑交换机控制器api的具体实现通过将Ri转换为openflowflow-mod message,并发送给Si实现openflow rule下发。
S440,将vtep封装映射表表项序列中的每个节点的vtep封装映射表表项部署到对应的虚拟扩展局域网隧道端点上。
可以调用vtep控制器api部署vtep封装映射表表项序列。对于意图路由每一跳节点Pi,其对应的vtep封装映射表表项为Vi,通过调用vtep控制器api,将Vi部署到Ti上,(1≤i≤m-1)。vtep控制器api的具体实现通过将Vi直接下发或通过下发可以让vtep Ti生成Vi的配置来实现Vi下发到vtep Ti上。
在上述实施例中,通过依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则并部署到数据模块,可以避免在传输虚拟流量中由于要经过原逐跳路由路径中的每个节点,并且频繁地进行封装、解封,而导致的延长传输时间、影响传输性能的问题。
根据本发明另一个实施例,还提供了一种基于仿真网络封装虚拟流量的方法,包括:接收待传输的虚拟流量;当待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断该待传输的虚拟流量是否与该分布式逻辑交换机上现有的开放流规则相匹配;响应于该待传输的虚拟流量与现有的开放流规则相匹配,执行现有的开放流规则;以及响应于传输该待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装该待传输的虚拟流量,其中,现有的开放流规则是通过前文所述的方法部署到仿真网络的分布式逻辑交换机上,现有的虚拟扩展局域网隧道端点封装映射表项是通过前文述方法部署到仿真网络的虚拟扩展局域网隧道端点上。
在一个实施例中,可以通过将待传输的虚拟流量的首部字段集合与现有的意图路由规则中特定流量的五元组相匹配,来判断该待传输的虚拟流量是否与现有的意图路由规则相匹配
图5示出了根据本发明的一个实施例的对虚拟流量进行封装的示意图。如图5所示,在意图路由的数据平面上,当从虚拟节点发出的流量匹配到意图路由的执行条件Qmatch时,该流量将按照意图路由控制器部署的规则来做意图路由封装,忽视原本的逐跳路由。具体包括如下步骤:
从意图路由路径中的Pi节点发出的流量,在Pi的网络协议栈中选择发出的虚拟网卡,流量到达Pi所在的分布式逻辑交换机Si;
判断流量是否匹配意图路由的触发条件(即是否与Si上现有的开放流规则Ri相匹配),若流量首部不匹配Ri,则直接执行逐跳路由路径,流程结束;若流量首部匹配到Ri,对该流量执行Ri的action部分,按照Ri action中的内容,修改流量首部目的mac地址、vlan id并转发到Si中可以到达意图路由路径下一节点Pi+1的端口
判断流量是否经过当前节点Pi的虚拟扩展局域网隧道端点vtep Ti,若该流量不经过vtep Ti,说明相邻两跳在同一个物理节点的分布式逻辑交换机上,则不需要进行封装,流量直接转发给意图路由路径的下一节点Pi+1,流程结束;若该流量经过vtep Ti,说明相邻两跳在不同物理节点的分布式逻辑交换机上,则匹配vtep Ti的封装映射表表项Vi,根据流量目的mac地址和vlan id查询需封装的vni和host_ip,并执行vxlan封装,生成封装后的流量;
将封装后的流量通过物理网络传输到意图路由路径的下一节点Pi+1。
根据本发明另一个实施例,还提供了种基于仿真网络解封虚拟流量的方法,包括:接收通过上述方法被封装的待传输的虚拟流量;响应于待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除该待传输的虚拟流量外层的虚拟扩展局域网封装,其中,待传输的虚拟流量的意图路由路径通过前文所述的方法获得。
图6示出了根据本发明的一个实施例的对虚拟流量进行解封装的示意图。如图6所示,在意图路由的数据平面上,匹配意图路由的虚拟流量到达下一节点之后,需要经过物理节点上的vtep解封装vxlan。具体包括如下步骤:
从意图路由路径的Pi节点发出的封装vxlan的虚拟流量通过物理网络到达该意图路由路径的下一节点Pi+1所在物理机;
经过vtep Ti+1解除该流量外层vxlan封装,并发送到相应分布式逻辑交换机Si+1;
Si+1根据流量的目的mac地址、vlan id匹配相应规则,将流量转发到意图路由路径的下一节点Pi+1;
在Pi+1的网络协议栈进行处理。
根据本发明的另一个实施例,还提供了一种基于仿真网络传输虚拟流量的方法,包括:响应于待传输的虚拟流量在源虚拟节点匹配到对应的开放流规则,在该待传输的虚拟流量的意图路由路径中后续的每一节点,执行上述封装虚拟流量的方法,并依照所意图路由路径传输至下一节点,以及执行上述解封虚拟流量的方法,直至该待传输的虚拟流量到达该待传输的虚拟流量的意图路由路径中的目的节点。
图7示出了根据本发明的一个实施例的对虚拟流量进行传输的示意图。如图7所示,在意图路由的数据平面上,从源节点发出的虚拟流量,在意图路由每一跳中都进行上述意图路由封装和意图路由解封装操作。例如,虚拟流量在意图路由Pi的物理节点上执行意图路由封装操作,并转发到下一节点Pi+1;若Pi和Pi+1在同一分布式逻辑交互机上,则在虚拟流量到达后Pi+1,在网络协议栈进行处理;若不在同一分布式逻辑交互机上,则由Pi+1所在物理节点的Ti+1上执行意图路由解封装操作,然后通过Si+1转发到Pi+1,在Pi+1的网络协议栈上进行处理,重复上述步骤,最终按照意图路由路径发送到目的节点,实现虚拟流量意图路由传输。
在上述实施例中,通过使得与意图路由规则相匹配的虚拟流量能够通过意图路由路径进行传输,解决了在基于Overlay的半实物化大规模仿真网络中,多跳路由传输需要过多的Overlay封装/解封装操作所带来的虚拟流量传输性能下降以及传输时延显著增加的问题,提高了虚拟流量在基于Overlay的半实物化大规模仿真网络中的传输性能。
图8示出了根据本发明一个实施例的基于仿真网络传输虚拟流量的系统的结构示意图。如图8所示,该系统800包括控制模块810(又称意图路由控制平面、意图路由控制器,在本文中三者可以互换)、数据模块820(又称意图路由数据平面,在本文中两者可以互换),其中数据模块820包括封装模块821、解封模块822和传输模块823。尽管该框图以功能上分开的方式来描述组件,但这样的描述仅为了说明的目的。图中所示的组件可以任意地进行组合或被分为独立的软件、固件和/或硬件组件。而且,无论这样的组件是如何被组合或划分的,它们都可以在同一计算装置或多个计算装置上执行,其中多个计算装置可以是由一个或多个网络连接。
控制模块810依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,其中,意图路由路径包含特定虚拟流量的逐跳路由路径中的关键节点,意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列;将开放流规则序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上;以及将虚拟扩展局域网隧道端点封装映射表项序列中的每个节点的虚拟扩展局域网隧道端点封装映射表项部署到对应的虚拟扩展局域网隧道端点上。在一个实施例中,控制模块810可以被部署在单个虚拟节点上;在另一个实施例中,控制模块810也可以以主从模式部署在多个虚拟节点上。
数据模块820接收待传输的流量,判断待传输的流量是否与控制模块所部署的意图路由规则相匹配,响应于待传输的流量与意图路由规则相匹配,依据意图路由规则对待传输的流量进行封装、解封并传输至意图路由规则指定的目的虚拟主机。数据模块820包括封装模块821、解封模块822和传输模块823。
封装模块821接收待传输的虚拟流量;当待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断待传输的虚拟流量是否与分布式逻辑交换机上现有的开放流规则相匹配,其中,现有的开放流规则通过控制模块部署到仿真网络的分布式逻辑交换机上;响应于待传输的虚拟流量与现有的开放流规则相匹配,执行现有的开放流规则;以及响应于传输待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装待传输的虚拟流量,其中,现有的虚拟扩展局域网隧道端点封装映射表项通过控制模块部署到仿真网络的虚拟扩展局域网隧道端点上。
解封模块822接收通过封装模块被封装的待传输的虚拟流量;响应于待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除待传输的虚拟流量外层的虚拟扩展局域网封装,其中,待传输的虚拟流量的意图路由路径通过控制模块获得。
传输模块823响应于待传输的虚拟流量在源虚拟节点匹配到对应的开放流规则,在待传输的虚拟流量的意图路由路径中后续的每一节点,通过封装模块进行封装,并依照意图路由路径传输至下一节点,以及通过解封模块进行解封,直至待传输的虚拟流量到达待传输的虚拟流量的意图路由路径中的目的节点,其中,待传输的虚拟流量的意图路由路径通过控制模块获得。
在上述实施例中,通过控制流量按照意图路由路径进行传输,由于绕过了逐跳路由路径中的非关键节点,使得封装与解封装步骤大大减少,进而实现流量的传输性能的提升。
在本发明的又一个实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序或可执行指令,当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案,其实现原理类似,此处不再赘述。在本发明的实施例中,计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质,以便可以分布式地存储和执行计算机程序或指令。
在本发明的另一个实施例中,可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器,在存储器中存储有计算机程序,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是非逻辑性的或不能工作。
本说明书中“包括”和“具有”以及类似含义的术语表达,意图在于覆盖不排他的包含,例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外,本申请附图中的各个元素仅仅为了示意说明,并非按比例绘制。
虽然本发明已经通过上述实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。
Claims (11)
1.一种基于仿真网络部署意图路由规则的方法,包括:
依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,其中,所述意图路由路径包含所述特定虚拟流量的逐跳路由路径中的关键节点,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列;
将所述开放流规则序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上;以及
将所述虚拟扩展局域网隧道端点封装映射表项序列中的每个节点的虚拟扩展局域网隧道端点封装映射表项部署到对应的虚拟扩展局域网隧道端点上。
2.根据权利要求1所述的方法,其中,所述关键节点是所述逐跳路由路径中具有过滤、更改流量、状态随流量变化功能和/或有性能约束的虚拟网络设备以及源节点和目的节点。
3.根据权利要求1所述的方法,其中,所述意图路由路径通过以下方式生成:
响应于预设事件的发生,确定相关节点及特定虚拟流量的五元组,所述相关节点包括所述仿真网络中影响预设事件发生的节点,所述特定虚拟流量包括所述预设事件发生时所述相关节点带宽占比最高的虚拟流量;
判断所述相关节点是否为关键节点;
响应于所述相关节点不是关键节点,基于所述特定虚拟流量的五元组获取所述特定虚拟流量的逐跳路由路径;以及
遍历所述逐跳路由路径中的节点,选取其中所有的关键节点生成所述意图路由路径。
4.一种基于仿真网络封装虚拟流量的方法,其中所述仿真网络基于权利要求1-3之一的方法被配置意图路由规则,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列,
所述方法包括:
接收待传输的虚拟流量;
当所述待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断所述待传输的虚拟流量是否与所述分布式逻辑交换机上现有的开放流规则相匹配;
响应于所述待传输的虚拟流量与所述现有的开放流规则相匹配,执行所述现有的开放流规则;以及
响应于传输所述待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据所述虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装所述待传输的虚拟流量。
5.根据权利要求4所述的方法,其中,通过以下方式判断所述待传输的虚拟流量是否与现有的意图路由规则相匹配:
将所述待传输的虚拟流量的首部字段集合与所述现有的意图路由规则中特定流量的五元组相匹配。
6.一种基于仿真网络解封虚拟流量的方法,包括:
接收通过权利要求4-5任一方法被封装的待传输的虚拟流量;
响应于所述待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除所述待传输的虚拟流量外层的虚拟扩展局域网封装。
7.一种基于仿真网络传输虚拟流量的方法,其中所述仿真网络基于权利要求1-3之一的方法被配置意图路由规则,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列,
所述方法包括:
响应于待传输的虚拟流量在源节点匹配到对应的开放流规则,在所述待传输的虚拟流量的意图路由路径中后续的每一节点,执行权利要求4-5中任一所述封装虚拟流量的方法,并依照所述意图路由路径传输至下一节点,以及执行权利要求6中所述解封虚拟流量的方法,直至所述待传输的虚拟流量到达所述待传输的虚拟流量的意图路由路径中的目的节点。
8.一种基于仿真网络传输虚拟流量的系统,包括:
控制模块,用于依据面向特定虚拟流量的意图路由路径生成对应的意图路由规则,其中,所述意图路由路径包含所述特定虚拟流量的逐跳路由路径中的关键节点,所述意图路由规则包括开放流规则序列和虚拟扩展局域网隧道端点封装映射表项序列;将所述开放流规则序列中的每个节点的开放流规则部署到对应的分布式逻辑交换机上;以及将所述虚拟扩展局域网隧道端点封装映射表项序列中的每个节点的虚拟扩展局域网隧道端点封装映射表项部署到对应的虚拟扩展局域网隧道端点上;以及
封装模块,用于接收待传输的虚拟流量;当所述待传输的虚拟流量到达仿真网络的任一分布式逻辑交换机时,判断所述待传输的虚拟流量是否与所述分布式逻辑交换机上现有的开放流规则相匹配,其中,所述现有的开放流规则通过所述控制模块部署到仿真网络的分布式逻辑交换机上;响应于所述待传输的虚拟流量与所述现有的开放流规则相匹配,执行所述现有的开放流规则;以及响应于传输所述待传输的虚拟流量将要经过当前节点的虚拟扩展局域网隧道端点时,依据所述虚拟扩展局域网隧道端点上现有的虚拟扩展局域网隧道端点封装映射表项封装所述待传输的虚拟流量,其中,所述现有的虚拟扩展局域网隧道端点封装映射表项通过所述控制模块部署到仿真网络的虚拟扩展局域网隧道端点上;
解封模块,用于接收通过所述封装模块被封装的待传输的虚拟流量;响应于所述待传输的虚拟流量的意图路由路径中下一节点不在当前分布式逻辑交换机时,通过虚拟扩展局域网隧道端点解除所述待传输的虚拟流量外层的虚拟扩展局域网封装,其中,所述待传输的虚拟流量的意图路由路径通过所述控制模块获得;以及
传输模块,用于响应于待传输的虚拟流量在源虚拟节点匹配到对应的开放流规则,在所述待传输的虚拟流量的意图路由路径中后续的每一节点,通过所述封装模块进行封装,并依照所述意图路由路径传输至下一节点,以及通过所述解封模块进行解封,直至所述待传输的虚拟流量到达所述待传输的虚拟流量的意图路由路径中的目的节点,其中,所述待传输的虚拟流量的意图路由路径通过所述控制模块获得。
9.根据权利要求8所述的系统,其中,所述控制模块被部署在单个虚拟节点上,或者以主从模式部署在多个虚拟节点上。
10.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-7中任一项所述的方法。
11.一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500251.6A CN113411200B (zh) | 2021-05-08 | 2021-05-08 | 一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500251.6A CN113411200B (zh) | 2021-05-08 | 2021-05-08 | 一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113411200A true CN113411200A (zh) | 2021-09-17 |
CN113411200B CN113411200B (zh) | 2022-07-15 |
Family
ID=77678286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110500251.6A Active CN113411200B (zh) | 2021-05-08 | 2021-05-08 | 一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113411200B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431656B2 (en) * | 2020-05-19 | 2022-08-30 | Fujitsu Limited | Switch identification method and non-transitory computer-readable recording medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160344622A1 (en) * | 2015-05-18 | 2016-11-24 | Cisco Technology, Inc. | Virtual Extensible Local Area Network Performance Routing |
CN107483369A (zh) * | 2017-09-13 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种报文处理方法及虚拟交换机 |
US20200304441A1 (en) * | 2019-03-19 | 2020-09-24 | Liveperson, Inc. | Dynamic communications routing to disparate endpoints |
CN112202673A (zh) * | 2017-11-21 | 2021-01-08 | 华为技术有限公司 | 一种配置方法及装置 |
CN112511432A (zh) * | 2020-11-12 | 2021-03-16 | 中国科学院计算技术研究所 | 一种Overlay网络虚拟化SFC路由配置、传输方法及系统 |
-
2021
- 2021-05-08 CN CN202110500251.6A patent/CN113411200B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160344622A1 (en) * | 2015-05-18 | 2016-11-24 | Cisco Technology, Inc. | Virtual Extensible Local Area Network Performance Routing |
CN107483369A (zh) * | 2017-09-13 | 2017-12-15 | 郑州云海信息技术有限公司 | 一种报文处理方法及虚拟交换机 |
CN112202673A (zh) * | 2017-11-21 | 2021-01-08 | 华为技术有限公司 | 一种配置方法及装置 |
US20200304441A1 (en) * | 2019-03-19 | 2020-09-24 | Liveperson, Inc. | Dynamic communications routing to disparate endpoints |
CN112511432A (zh) * | 2020-11-12 | 2021-03-16 | 中国科学院计算技术研究所 | 一种Overlay网络虚拟化SFC路由配置、传输方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431656B2 (en) * | 2020-05-19 | 2022-08-30 | Fujitsu Limited | Switch identification method and non-transitory computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
CN113411200B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11991012B2 (en) | Packet forwarding method, packet sending apparatus, and packet receiving apparatus | |
Li et al. | Protocol oblivious forwarding (POF): Software-defined networking with enhanced programmability | |
US9894003B2 (en) | Method, apparatus and system for processing data packet | |
CN114189473B (zh) | 一种报文的发送方法和装置 | |
JP7208008B2 (ja) | ネットワークデバイスで使用するためのプログラマブルパケット分類フレームワークを提供するためのシステムおよび方法 | |
Li et al. | Improving SDN scalability with protocol-oblivious source routing: A system-level study | |
WO2014176740A1 (zh) | 流分类器、业务路由触发器、报文处理的方法和系统 | |
WO2015014269A1 (zh) | 一种控制器、转发器及通道建立方法和系统 | |
CN108964940A (zh) | 消息发送方法及装置、存储介质 | |
EP4191966A1 (en) | Method and device for processing data message, storage medium, and electronic device | |
US11863454B2 (en) | Systems and methods for scalable validation of multiple paths in a network using segment routing | |
CN113542111B (zh) | 一种报文转发方法及网络设备 | |
CN113411200B (zh) | 一种基于仿真网络封装、解封及传输虚拟流量的方法及系统 | |
CN110752989A (zh) | 一种东西向流量转发方法与装置 | |
CN110022263B (zh) | 一种数据传输的方法及相关装置 | |
US20220247598A1 (en) | Packet Detection Method, Connectivity Negotiation Relationship Establishment Method, and Related Device | |
EP3902211A1 (en) | Packet forwarding method and network device | |
CN114598570A (zh) | 一种组播数据报文转发方法及设备 | |
EP4075739A1 (en) | Service chain forwarding control method and device, and service networking | |
CN109861912B (zh) | 优化用于电子设备内的虚拟节点的结构路径转发 | |
WO2023231438A1 (zh) | 报文发送的方法、网络设备及系统 | |
WO2023088145A1 (zh) | 一种报文处理方法、装置及设备 | |
WO2022218095A1 (zh) | 一种报文处理方法及相关设备 | |
WO2024093306A1 (zh) | 通信方法及装置 | |
WO2023125774A1 (zh) | 一种vxlan报文传输方法、网络设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |