CN109617735B - 云计算数据中心系统、网关、服务器及报文处理方法 - Google Patents

云计算数据中心系统、网关、服务器及报文处理方法 Download PDF

Info

Publication number
CN109617735B
CN109617735B CN201811602177.3A CN201811602177A CN109617735B CN 109617735 B CN109617735 B CN 109617735B CN 201811602177 A CN201811602177 A CN 201811602177A CN 109617735 B CN109617735 B CN 109617735B
Authority
CN
China
Prior art keywords
vlan
service
packet
distributed gateway
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811602177.3A
Other languages
English (en)
Other versions
CN109617735A (zh
Inventor
张争宪
刘扶舟
姚博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811602177.3A priority Critical patent/CN109617735B/zh
Publication of CN109617735A publication Critical patent/CN109617735A/zh
Priority to EP19902662.6A priority patent/EP3883195A4/en
Priority to JP2021537822A priority patent/JP7231744B2/ja
Priority to PCT/CN2019/128497 priority patent/WO2020135542A1/zh
Application granted granted Critical
Publication of CN109617735B publication Critical patent/CN109617735B/zh
Priority to US17/358,264 priority patent/US11831551B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2408Traffic characterised by specific attributes, e.g. priority or QoS for supporting different services, e.g. a differentiated services [DiffServ] type of service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4633Interconnection of networks using encapsulation techniques, e.g. tunneling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4637Interconnected ring systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H04L12/4675Dynamic sharing of VLAN information amongst network nodes
    • H04L12/4679Arrangements for the registration or de-registration of VLAN attribute values, e.g. VLAN identifiers, port VLAN membership
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/042Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/66Layer 2 routing, e.g. in Ethernet based MAN's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • H04L45/745Address table lookup; Address filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/354Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/70Virtual switches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45579I/O management, e.g. providing access to device drivers or storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/50Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种云计算数据中心系统,包括第一服务器、第二服务器、云管理平台以及交换机,第一服务器包括第一计算节点和第一分布式网关,第一分布式网关,接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息,第一分布式网关记录第二VLAN的网络信息,第一虚拟机,向第二虚拟机发送携带业务数据的第一业务报文,第一分布式网关,接收第一业务报文,根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,将第二业务报文发送至交换机,其中,第二业务报文携带业务数据,第二分布式网关,接收交换机转发的第二业务报文,并将第二业务报文携带的业务数据发送至第二虚拟机。通过以上方式以可提高网络可靠性。

Description

云计算数据中心系统、网关、服务器及报文处理方法
技术领域
本申请涉及网络通信技术领域,特别涉及一种云计算数据中心系统、网关、服务器及报文处理方法。
背景技术
在云计算网络环境中,有大量的网络流量需要通过网关分发,网关对云网络的网络性能、网络规模、可靠性以及系统扩容等有着很大的影响。现有技术往往采用集中式网关,即所有计算节点的虚拟机发出的报文,若需要跨虚拟局域网通信,均需要先发送报文到集中式网关中进行处理,如此带来可靠性不足的问题,例如,当集中式网关带宽不足,则会影响到整体网络的带宽,且若集中式网关出现故障,则会出现大面积网络瘫痪。
发明内容
本申请提供一种分布式网关及报文处理方法、服务器,将分布式网关设置到计算节点本地,每一个计算节点设置有一个分布式网关,每一计算节点的虚拟机发出的报文可经本地的分布式网关进行处理以进行跨子网传输,即便本地的分布式网关出现故障,也仅会影响对应计算节点上的虚拟机的通信,不会影响其他计算节点,因此可提高网络可靠性。
第一方面,本申请提供一种分布式网关的报文处理方法,分布式网关与第一计算节点通过第一高速外围组件互联PCIe链路连接,分布式网关与交换机连接,第一计算节点设置有第一虚拟机,第一虚拟机位于第一虚拟局域网VLAN,该方法包括以下步骤:分布式网关接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息,分布式网关记录第二VLAN的网络信息,分布式网关接收第一虚拟机向第二虚拟机发送的携带业务数据的第一业务报文,第二虚拟机位于第二VLAN,分布式网关根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,其中,第二业务报文携带业务数据,分布式网关发送第二业务报文至交换机。
由于分布式网关设置可接收云管理平台发送的针对第二VLAN的网络信息,并根据该网络信息针对第一计算节点的位于第一VLAN的第一虚拟机发出的业务报文进行修改,使得修改后的业务报文可传输至位于第二VLAN,从而在第一计算节点本地实现网关功能。
在第一方面的第一种可能的实现方式中,分布式网关包括网卡控制器和网卡,网卡设置有第一物理功能PF、第一虚拟功能VF以及物理网口,网卡控制器与第一PF连接,第一虚拟机与第一VF连接,物理网口与交换机连接。
通过网卡直通技术,将网卡的PF直通至网卡控制器,将网卡的VF直通至计算节点的虚拟机,以利用网卡控制器的运算能力对报文进行修改,减轻计算节点的运算量。
可选地,网卡控制器的运算能力大于网卡的运算能力,网卡控制器负责保卫修改,并负责与云管理平台的通信,网卡无需兼顾以上功能,不会影响网卡报文转发速度。
根据第一方面的第一种可能的实现方式,在第二种可能的实现方式中,分布式网关接收第一虚拟机向第二虚拟机发送的携带业务数据的第一业务报文,通过以下方式实现:网卡从第一VF接收第一业务报文。
由于网卡直通至第一虚拟机,因此第一虚拟机发送的业务报文无需经虚拟机管理器,因此可提高报文传输速度。
根据第一方面的第二种可能的实现方式,在第三种可能的实现方式中,分布式网关根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,包括:网卡将第一业务报文转发至第一PF,网卡控制器从第一PF获取第一业务报文,根据第二VLAN的网络信息对第一业务报文进行修改以产生第二业务报文,并将第二业务报文发送至第一PF,网卡将第二业务报文发送至物理网口。
通过网卡控制器独立执行修改报文的步骤,不用对造成网卡的额外负担,不会影响网卡的报文转发速度。
根据第一方面的第一至第三种可能的实现方式中的任一者,在第四种可能的实现方式中,管理报文的目的MAC地址是网卡控制器的MAC地址,网卡记录有网卡控制器的MAC地址与第一PF的第三对应关系,分布式网关接收云管理平台发送的管理报文,包括:网卡从物理网口接收管理报文,并根据管理报文的目的MAC地址从第三对应关系选择第一PF,并将管理报文转发至第一PF,网卡控制器从第一PF接收管理报文。
由于云管理平台可将管理报文下发至网卡控制器,因此用户可随时在云管理平台对分布式网关进行管理,从而提高用户体验。
根据第一方面的第四种可能的实现方式,在第五种可能的实现方式中,分布式网关记录第二VLAN的网络信息,包括:网卡控制器从管理报文获取第二VLAN的网络信息,并记录第二VLAN的网络信息。
网卡控制器和网卡相对独立,由网卡控制器记录第二VLAN的网络信息不会增加网卡的负担,对报文转发速度不会造成影响。
根据第一方面、第一方面的第一至第五种可能的实现方式中的任一者,在第六种可能的实现方式中,第一业务报文是VLAN报文,第一业务报文的目的地址是第二虚拟机的MAC地址,第一VLAN网络设置有第一VLAN识别码,第二VLAN网络设置有与第一VLAN识别码不同的第二VLAN识别码,第二VLAN的网络信息包括第二虚拟机的MAC地址与第二VLAN识别码的第一对应关系,分布式网关根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,包括:分布式网关根据第一业务报文的目的MAC地址从第一对应关系获取第二VLAN识别码,分布式网关将第二VLAN识别码设置于第一业务报文以产生第二业务报文。
由于第一虚拟机和第二虚拟机在不同的VLAN,不同的VLAN之间不能互通,通过云管理平台下发第二虚拟机的MAC地址与第二虚拟机所在的VLAN的第二VLAN识别码之间的对应关系至分布式网关,使得分布式网关在接收到第一虚拟机发送的目的地址是第二虚拟机的MAC地址的业务报文时,可将第二VLAN识别码设置到该业务报文,从而使得交换机可允许修改后的携带有第二VLAN识别码的业务报文到达第二虚拟机所在的第二VLAN,以此实现不同VLAN的虚拟机之间的通信。
根据第一方面、第一方面的第一至第五种可能的实现方式中的任一者,在第七种可能的实现方式中,第一业务报文是VLAN报文,第一业务报文的目的MAC地址是第二虚拟机的MAC地址,第二VLAN的网络信息包括第二虚拟机的MAC地址与与第二计算节点通过第二PCIe链路连接的另一分布式网关的IP地址的第二对应关系,第二虚拟机设置于第二计算节点,分布式网关根据第二VLAN的网络信息对第一业务报文进行修改以可到达第二VLAN的第二业务报文,包括:分布式网关根据第一业务报文的目的地址从第二对应关系获取IP地址,分布式网关将第一业务报文封装到第二业务报文,其中,第二业务报文为overlay报文,第二业务报文的目的IP地址是与IP地址。
由于第一虚拟机和第二虚拟机在不同的VLAN,不同的VLAN之间不能互通,通过云管理平台下发第二虚拟机的MAC地址与另一分布式网关的IP地址的对应关系至分布式网关,使得分布式网关在接收到第一虚拟机发送的目的地址是第二虚拟机的MAC地址的业务报文时,可将该业务报文封装为overlay报文,且overlay报文的目的IP地址为另一分布式网关的IP地址,从而使得交换机可根据该IP地址将overlay报文路由至第二虚拟机所在的与另一分布式网关通过PCIe链路连接第二计算节点,以此实现不同VLAN的虚拟机之间的通信。
第二方面,本申请提供一种分布式网关,分布式网关与第一计算节点通过PCIe接口连接,分布式网关与交换机连接,第一计算节点设置有第一虚拟机,第一虚拟机位于第一VLAN,分布式网关包括:接收模块,用于接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息,记录模块,用于记录第二VLAN的网络信息,接收模块,还用于接收第一虚拟机向第二虚拟机发送的携带有业务数据的第一业务报文,第二虚拟机位于第二VLAN,转换模块,用于根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,其中,第二业务报文携带有业务数据,发送模块,用于发送第二业务报文至交换机。
第二方面或第二方面任意一种实现方式是第一方面或第一方面任意一种实现方式对应的装置实现,第一方面或第一方面任意一种实现方式中的描述适用于第二方面或第二方面任意一种实现方式,在此不再赘述。
第三方面,本申请提供一种服务器,包括分布式网关和计算节点,分布式网关与计算节点通过高速外围组件互联PCIe接口连接,分布式网关与交换机连接,计算节点设置有第一虚拟机,第一虚拟机位于第一虚拟局域网VLAN,其中:分布式网关,用于接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息,分布式网关,还用于记录第二VLAN的网络信息,第一虚拟机,用于向第二虚拟机发送携带有业务数据的第一业务报文,第二虚拟机位于第二VLAN,分布式网关,还用于接收第一业务报文,分布式网关,还用于根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,并发送第二业务报文至交换机,其中,第二业务报文携带有业务数据。
第三方面或第三方面任意一种实现方式是第一方面或第一方面任意一种实现方式对应的系统实现,第一方面或第一方面任意一种实现方式中的描述适用于第二方面或第二方面任意一种实现方式,在此不再赘述。
第四方面,本申请提供一种分布式网关,包括处理器以及存储器,分布式网关与设置有第一虚拟机的计算节点连接,分布式网关与交换机连接,第一虚拟机位于第一虚拟局域网VLAN,存储器存储有程序指令,处理器运行程序指令以执行第一方面及第一方面任意一种可能的实现方式所述的方法。
第四方面或第四方面任意一种实现方式是第一方面或第一方面任意一种实现方式对应的实体装置实现,第一方面或第一方面任意一种实现方式中的描述适用于第四方面或第四方面任意一种实现方式,在此不再赘述。
第五方面,本申请提供一种云计算数据中心系统,包括第一服务器、第二服务器、云管理平台以及交换机,第一服务器包括通过第一高速外围组件互联PCIe链路连接的第一计算节点和第一分布式网关,第二服务器包括通过第二PCIe链路连接的第二计算节点和第二分布式网关,第一计算节点设置有位于第一虚拟局域网VLAN的第一虚拟机,第二计算节点设置有位于第二VLAN的第二虚拟机,云管理平台、第一分布式网关和第二分布式网关分别连接至交换机,第一分布式网关,用于接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息,第一分布式网关用于记录第二VLAN的网络信息,第一虚拟机,用于向第二虚拟机发送携带业务数据的第一业务报文,第一分布式网关,用于接收第一业务报文,根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,将第二业务报文发送至交换机,其中,第二业务报文携带业务数据,第二分布式网关,用于接收交换机转发的第二业务报文,并将第二业务报文携带的业务数据发送至第二虚拟机。
可选地,第一分布式网关包括第一网卡控制器和第一网卡,第一网卡设置有第一物理功能PF、第一虚拟功能VF以及第一物理网口,第一网卡控制器与第一PF连接,第一虚拟机与第一VF连接,第一物理网口与交换机连接。
可选地,第一网卡,用于从第一VF接收第一虚拟机发送的第一业务报文。
可选地,第一网卡,用于将第一业务报文转发至第一PF,第一网卡控制器,用于从第一PF获取业务报文,根据第二VLAN的网络信息将第一业务报文修改为第二业务报文,并将第二业务报文发送至第一PF,网卡,还用于从第一PF获取第二业务报文,将第二业务报文发送至第一物理网口。
可选地,管理报文是VLAN报文,管理报文的目的MAC地址是第一网卡控制器的MAC地址,第一网卡记录有第一网卡控制器的MAC地址与第一PF的第三对应关系,第一网卡,用于从第一物理网口接收管理报文,并根据管理报文的目的MAC地址从第三对应关系选择第一PF,并将管理报文转发至第一PF,
第一网卡控制器,用于从第一PF接收管理报文,从管理报文获取第二VLAN的网络信息,并记录第二VLAN的网络信息。
可选地,第二分布式网关包括第二网卡控制器和第二网卡,第二网卡设置有第二物理功能PF、第二虚拟功能VF以及第二物理网口,第二网卡控制器与第二PF连接,第二虚拟机与第二VF连接,第二物理网口与交换机连接。
可选地,第二网卡,用于从第二物理网口接收交换机发送的第二业务报文。
可选地,第二网卡,用于将第二业务报文转发至第二PF,第二网卡控制器,用于从第二PF获取第二业务报文,将第二业务报文修改为第一业务报文,并将第一业务报文发送至第二PF,第二网卡,还用于从第二PF获取第一业务报文,将第一业务报文发送至第二VF。
可选地,第二计算节点还设置有云管理平台客户端,云管理平台客户端,用于收集第二VLAN的网络信息,并将携带有第二VLAN的网络信息的注册报文发送至云管理平台。
可选地,第一业务报文和第二业务报文为VLAN报文,第一业务报文的目的地址是第二虚拟机的MAC地址,第一VLAN网络设置有第一VLAN识别码,第二VLAN网络设置有与第一VLAN识别码不同的第二VLAN识别码,第二VLAN的网络信息包括第二虚拟机的MAC地址与第二VLAN识别码的第一对应关系,第一分布式网关,用于根据第一业务报文的目的MAC地址从第一对应关系获取第二VLAN识别码,将第二VLAN识别码设置于第一业务报文以产生第二业务报文,并将第二业务报文发送至交换机,其中,第二VLAN识别码用于指示交换机将第二业务报文发送至第二分布式网关,第二分布式网关,用于接收交换机发送的第二业务报文,将第二业务报文发送至第二虚拟机。
可选地,第一业务报文为VLAN报文,第二业务报文为overlay报文,第一业务报文的目的MAC地址是第二虚拟机的MAC地址,第二VLAN的网络信息包括第二虚拟机的MAC地址与第第二分布式网关的IP地址的第二对应关系,第一分布式网关,用于根据第一业务报文的目的MAC地址从第二对应关系获取第二分布式网关的的IP地址,并将第一业务报文封装为第二业务报文并发送第二业务报文至交换机,其中,第二业务报文的目的IP地址是第二分布式网关的IP地址,第二分布式网关,用于网关对第二业务报文进行解封装处理以获取第一业务报文,并将第一业务报文发送至第二虚拟机。
附图说明
图1是根据本发明实施例的云计算数据中心的系统结构示意图;
图2是根据本发明实施例的云计算数据中心的另一系统结构示意图;
图3是根据本发明实施例的报文处理方法的数据交互图;
图4是根据本发明实施例的报文处理方法的另一数据交互图;
图5是根据本发明实施例的报文处理方法的另一数据交互图;
图6是根据本发明实施例的报文处理方法的另一数据交互图;
图7是根据本发明实施例的服务器1的硬件结构示意图;
图8是根据本发明实施例的分布式网关的装置结构示意图;
图9是根据本发明实施例的分布式网关的另一装置结构示意图。
具体实施方式
首先对本发明实施例涉及的名词进行解释:
云管理平台:用于统一管理云计算网络的虚拟机的平台,云计算网络的虚拟机分布设置于多个计算节点中,每个计算节点分别设置有云管理平台客户端,云管理平台客户端用于收集所在的计算节点上的虚拟机的状态信息,并上报至云管理平台,云管理平台设置有用户交互界面,用户可通过用户交互界面获知虚拟机的状态,用户还可以通过用户交换界面配置针对虚拟机的管理操作,云管理平台可发送与管理操作对应的命令至云管理平台客户端,云管理平台客户端可执行该命令以管理虚拟机。举例而言,云管理平台可例如为Openstack或VMware vSphere。
叠加(overlay)报文:overlay报文是封装有虚拟机报文的以太网报文中,overlay报文包括外层网络地址和内层网络地址,外层网络地址是以太网报文的报文头中的网络地址,包括源IP地址、目的IP地址、源MAC地址以及目的MAC地址,内层网络地址是虚拟机报文的报文头中的网络地址,包括源IP地址、目的IP地址、源MAC地址以及目的MAC地址,overlay报文的实现方式可以是虚拟可扩展局域网(Virtual Extensible Local Area Network,VXLAN)报文、网络虚拟化通用路由封装报文(Network virtualization Generic RoutingEncapsulation,NVGRE)或无状态传输隧道(Stateless Transport Tunneling,STT)报文。值得注意的是,在本发明实施例中,overlay报文具体可为VXLAN报文。
网卡虚拟化:网卡虚拟化可以采用单根输入输出虚拟化(Single-Root I/OVirtualization,SR-IOV)或多根输入输出虚拟化(Multi Root Input/OutputVirtualization,MR-IOV),上述网卡虚拟化又称为网卡直通。以SR-IOV直通为例,当网卡支持SR-IOV时,使用SR-IOV技术可以将主机上网卡共享给主机上运行的若干个虚拟机。在主机上使用支持SR-IOV能力的网卡时,网卡的网口会虚拟出至少一个物理功能(PhysicalFunction,PF)以及多个虚拟功能(Virtual Function,VF),主机上的虚拟机连接到至少一个VF。网卡内部包含具备交换机功能的交换设备。该交换设备按照介质访问控制(MediaAccessControl,MAC)表转发数据包,负责着PF、VF和物理网口之间的数据包转发。
虚拟局域网(Virtual Local Area Network,VLAN):是将一个物理的LAN在逻辑上划分成多个广播域的通信技术。
VLAN报文:属于一种二层报文,包括目的MAC字段、源MAC字段、VLAN ID字段以及载荷(payload)字段,其他字段步骤本发明实施例讨论范围之内,于此不作赘述。
虚拟局域网识别码(Virtual Local Area Network identify,VLAN ID):VLAN报文的VID字段,该字段唯一标识了一个VLAN,12bit长度的VID可以表示4096个不同的值,除去两个保留值,一个以太网最多可以划分为4094个VLAN。
请参见图1,图1是根据本发明实施例的云计算数据中心的系统结构示意图,如图1所示,云计算数据中心包括服务器1、服务器2、服务器3、交换机4以及云管理平台5。
其中,服务器1包括计算节点11和分布式网关12,服务器2包括计算节点21和分布式网关22,服务器3包括计算节点31和分布式网关32。其中,计算节点可例如为物理主机。
值得注意的是,图1为便于说明,仅示出三个服务器,但在实际应用中,服务器可为其他数量,本发明实施例对此不作限定。
在本发明实施例中,分布式网关可通过高速外设部件互连标准(PeripheralComponent Interconnect Express,PCIe)接口与计算节点连接,并且,分布式网关可通过物理网口与交换机连接。
交换机4可例如为机架顶(Top of Rack,TOR)交换机,举例而言,服务器1-3可设置于同一机架上,且分别与位于机架顶部的TOR交换机连接,在云计算数据中心中,一个机架设置有一个TOR交换机,每个机架插入多个刀片式服务器,机架之间通过TOR交换机进行跨机架连接。
在本发明实施例中,交换机4具有三层转发功能,举例而言,交换机4允许三层报文通过端口41-43,交换机4还记录有服务器1中的IP地址与交换机4连接到服务器1的的端口41之间的对应关系,在接收到三层报文时,若三层报文的目的IP地址是服务器1中的IP地址,则将该三层报文发送至端口41,从而实现三层转发功能。
类似地,交换机4还记录有服务器2中的IP地址与交换机4连接到服务器1的的端口42之间的对应关系,在接收到三层报文时,若三层报文的目的IP地址是服务器2中的IP地址,则将该三层报文发送至端口42。
其中,服务器1中的IP地址包括分布式网关12的IP地址,服务器2中的IP地址包括分布式网关22的IP地址。
进一步,交换机4可实现VLAN隔离,举例而言,交换机4与服务器1连接的端口41设置为只允许VLAN ID为1的VLAN报文进入服务器1,交换机4与服务器2连接的端口42设置为只允许VLAN ID为2的VLAN报文进入服务器2,交换机4与服务器3连接的端口41设置为允许VLAN ID为3的VLAN报文进入服务器3。交换机4与云管理平台5连接的端口45设置为允许VLAN ID为5的VLAN报文进入云管理平台5。
在本发明实施例中,服务器1内部形成一个VLAN,其VLAN ID是1;服务器2内部形成一个VLAN,其VLAN ID是2;服务器3内部形成一个VLAN,其VLAN ID是3。交换机4设置有端口41,42,43,45,举例而言,交换机4接收到VLAN ID是1的VLAN报文之后,将报文广播到各端口,仅有端口41允许通过该报文。
在本发明实施例中,交换机4配置为忽略报文的目的MAC地址,只根据VLAN ID来选择将报文发送至哪个端口。在本发明另外一些示例中,交换机4可配置为根据报文的目的MAC地址选择端口。
在本发明实施例中,云管理平台5可设置在一个计算节点中,通过安装在该计算节点的软件实现,或者,云管理平台5可用专用的网络设备实现,本发明实施例对此不作限定,并且,服务器1-3可与云管理平台5进行通信。
以下请参见图2,图2示出根据本发明实施例的云计算数据中心的另一系统结构示意图,其中图2是图1的进一步具体说明,并且,为了清楚说明,图2省略了图1的服务器3,仅示出服务器1和2的具体结构。
如图2所示,计算节点11包括第一云管理平台客户端111、虚拟机VM1以及虚拟机VM2。分布式网关12包括网卡控制器121和网卡122,其中,网卡控制器121包括第二云管理平台客户端1211,网卡122支持网卡直通功能,网卡122包括交换装置1221、物理网口1222、PF1、PF2、VF1以及VF2。
举例而言,交换装置1221可通过软件路由实现,例如Openvswitch。
并且,计算节点11上可运行有操作系统,第一云管理平台客户端111可作为第三方软件安装在操作系统中,第一云管理平台客户端111可例如为openstack的nova agent组件,nova agent组件可与云管理平台5上的nova组件通信,网卡控制器121上也可运行有操作系统,第二云管理平台客户端1211可作为第三方软件安装在操作系统中,第二云管理平台客户端1211可例如为openstack的neutron agent组件,neutron agent组件可与云管理平台5的neutron组件通信。值得注意的是,计算节点11可例如为基于X86平台的物理服务器,网卡控制器121可例如为基于ARM平台的智能板卡。
在本发明实施例中,分布式网关12包括相互连接的网卡控制器121和网卡122,网卡控制器121和网卡122可通过PCIe接口连接,网卡控制器121相对于网卡122具有更好的运算能力,以实现报文的快速处理,例如根据管理报文实现跨网络传输。并且,网卡122具有直通功能,网卡122的PF1直通至网卡控制器121,网卡控制器121与网卡122的PF1连接,网卡122的VF1直通至VM1,VM1与网卡122的VF1连接。
进一步,物理网口1222与交换机4的端口41连接。计算节点11的操作系统与PF2连接,运行在计算节点11的操作系统上的第一云管理平台客户端111可通过PF2连接至网卡122。
服务器2与服务器1具有类似的结构,具体可参见图2,于此不作赘述。
并且,在本发明实施例中,第一云管理平台客户端111和第三云管理平台客户端211预先记录有VLAN ID 5,根据VLAN ID 5与云管理平台5进行通信。
并且,云管理平台5预先记录有网卡控制器221的MAC地址和网卡控制器121的MAC地址,根据网卡控制器221的MAC地址与网卡控制器221进行通信,根据网卡控制器121的MAC地址与网卡控制器121进行通信。
进一步,交换装置1221的MAC表记录有:
VLAN ID 1;
VM1的MAC地址与VF1的对应关系;
VM2的MAC地址与VF2的对应关系;
计算节点11的MAC地址与PF2的对应关系;
网卡控制器121的MAC地址与PF1的对应关系。
当交换装置1221在本地MAC表查询不到接收到的报文的MAC地址,则将该报文发送至PF1。当交换装置1221判断到报文的VLAN ID不是1时,将报文发送至物理端口1222。
进一步,交换装置1221若从物理网口1222接收到三层报文,则先将该三层报文转发至PF1。
类似地,交换装置2221的MAC表记录有:
VLAN ID 2;
VM3的MAC地址与VF3的对应关系;
VM4的MAC地址与VF4的对应关系;
计算节点21的MAC地址与PF4的对应关系;
网卡控制器221的MAC地址与PF3的对应关系。
当交换装置2221在本地MAC表查询不到接收到的报文的MAC地址,则将该报文发送至PF3。当交换装置2221判断到报文的VLAN ID不是2时,将报文发送至物理端口2222。
进一步,交换装置2221若从物理网口2222接收到三层报文,则先将该三层报文转发至PF3。
并且,在本发明实施例中,分布式网关具有网卡的功能,分布式网关的IP地址可作为与分布式网关通过PCIe链路连接的计算节点的对外网暴露的IP地址。
并请参见图3,图3是根据本发明实施例的报文处理方法的数据交互图,如图3所示,报文处理方法包括以下步骤:
步骤S1:第二云管理平台客户端1211获取VLAN ID 2和VM3的MAC地址。
其中,VLAN ID 2是VM3所在的VLAN的标识码,VM1与VM3属于不同的虚拟局域网,VM1的VLAN ID与VM3的VLAN ID不同。
步骤S2:第二云管理平台客户端1211发送第一注册报文至网卡222。
其中,第一注册报文可例如为VLAN报文,其VLAN ID是VLAN ID 5,载荷中携带有VLAN ID 2和VM3的MAC地址。
具体而言,第二云管理平台客户端1211将第一注册报文发送至网卡222的PF4,网卡222的交换装置2221从PF4获取第一注册报文,判断到第一注册报文的VLAN ID不是VLANID 2,将第一注册报文发送至物理网口1222。
步骤S3:交换装置2221通过物理网口2222将第一注册报文发送至交换机4的端口42。
步骤S4:交换机4从端口42接收第一注册报文,根据第一注册报文的VLAN ID 5将第一注册报文发送至端口45。云管理平台5从端口45接收第一注册报文。
值得注意的是,在本发明实施例中,第一云管理平台客户端111也可获取计算节点11的虚拟机的VLAN ID和MAC地址并上报给云管理平台5,本发明对此不作限定。
步骤S5:云管理平台从第一注册报文的载荷获取VLAN ID 2和VM3的MAC地址,根据VLAN ID 2和VM3的MAC地址配置第二VLAN的网络信息,其中,第二VLAN的网络信息包括第二VLAN的VLAN ID 2和位于第二VLAN的VM3的MAC地址的第一对应关系。
举例而言,云管理平台5提供用户交互界面,用户在用户交换界面上选择并将第二VLAN的网络信息配置到计算节点11,以使得第二VLAN的网络信息适用于计算节点11的所有虚拟机。
步骤S6:云管理平台5发送第一管理报文至交换机4的端口45。
其中,第一管理报文为VLAN报文,其目的地址是网卡控制器121的MAC地址,其VLANID是1,并且,第一管理报文的载荷携带有第二VLAN的网络信息。
步骤S7:交换机4根据第一管理报文的VLAN ID 1将第一管理报文发送至网卡122的物理网口1222。
步骤S8:网卡122将第一管理报文发送至网卡控制器121。
具体地,网卡122的交换装置1221从物理网口1222获取第一管理报文,根据第一管理报文的目的MAC地址选择PF1,将第一管理报文发送至PF1,网卡控制器121的第二云管理平台客户端1211从PF1获取第一管理报文。
步骤S9:第二云管理平台客户端1211从第一管理报文获取第二VLAN的网络信息,并记录第二VLAN的网络信息。
综上,第二云管理平台客户端1211可记录用户配置于计算节点11上的所有虚拟机的第二VLAN的网络信息,后续可通过第二VLAN的网络信息来实现跨VLAN的通信。
值得注意的是,在本发明实施例中,第一云管理平台客户端111也可获取VLAN ID1和VM1的MAC,将VLAN ID 1和VM1的MAC作为第一VLAN的网络信息上报至云管理平台5。
并请参见图4,图4是根据本发明实施例的报文处理方法的另一数据交互图,图4是图3的延续,其中,报文处理方法还包括以下步骤:
步骤S10:VM1发送第一业务报文至网卡122。
其中,第一业务报文为VLAN报文,源MAC地址是VM1的MAC地址,目的MAC地址是VM3的MAC地址,载荷携带有业务数据,在本发明实施例中,VM1在发第一业务报文到VM3之前,并不知道VM3所在的VLAN网络的VLAN ID,因此,VM1将第一业务报文的VLAN ID设置为空,VM1将第一业务报文发送至VF1。
步骤S11:网卡122将第一业务报文转发到网卡控制器121。
其中,网卡122从VF1获取第一业务报文,判断到第一业务报文的目的MAC地址即VM3的MAC地址不在本地,将第一业务报文转发至PF1。
步骤S12:网卡控制器121根据第二VLAN的网络信息对第一业务报文进行修改。
其中,第二云管理平台客户端1211可从PF1获取第一业务报文,根据第一业务报文的目的MAC地址从第二VLAN的网络信息获取VLAN ID 2,将第一业务报文的VLAN ID设置为VLAN ID 2,从而产生携带有VLAN ID 2的第二业务报文,且第二业务报文的载荷携带有业务数据。
由于交换机4与服务器2连接的端口42只允许VLAN ID 2的报文通过,因此若直接发送第一业务报文到交换机4,交换机4判断到第一业务报文携带的VLAN ID为空,将第一业务报文在交换机4的所有端口进行广播,由于端口42不会允许只允许携带VLAN ID 2的报文通过,因此端口42不会讲第一业务报文发送至服务器2。
因此,本发明实施例的第二云管理平台客户端1211将第一业务报文修改成第二业务报文,以确保交换机4可通过端口42将第二业务报文发送至服务器2。
步骤S13:网卡控制器121将第二业务报文发送至网卡122。
其中,网卡控制器121将第二业务报文发送至PF1,网卡122的交换装置1221从PF1获取第二业务报文。
步骤S14:网卡122发送第二业务报文至交换机4。
其中,网卡122的交换装置1221判断到第二业务报文的VLAN ID不是1,将第二业务报文发送至物理网口1222。
步骤S19:交换机4从端口41接收第二业务报文,将第二业务报文转发至网卡222。
其中,交换机4根据第二业务报文的VLAN ID 2将第二业务报文发送至端口42,从而到达物理网口2222。
步骤S20:网卡222将第二业务报文转发至VM3。
其中,网卡222的交换装置2221从物理网口2222获取第二业务报文,根据第二业务报文的目的MAC地址选择VF3,并将第二业务报文发送至VF3,VM3从VF3获取到第二业务报文,VM3可从第二业务报文的载荷获取业务数据,从而根据业务数据进行业务处理。
由于分布式网关12将第一业务报文修改为配置有VLAN ID 2的第二业务报文,因此第二业务报文可经交换机4顺利传输至服务器2,从而实现跨VLAN的通信。
以上实施例示出分布式网关实现跨VLAN的报文传输的过程,值得注意的是,在本发明实施例中,分布式网关也可以实现overlay报文的封装,从而实现大二层跨网络通信,具体请参见图5,图5是根据本发明实施例的报文处理方法的另一数据交互图。
如图5所示,报文处理方法包括以下步骤:
步骤S17:第二云管理平台客户端1211获取VM3的MAC地址。
步骤S18:第二云管理平台客户端1211获取网卡控制器221的IP地址。
值得注意的是,在本发明实施例中,网卡控制器221的IP地址可作为分布式网关22以及计算节点21对外的IP地址。
步骤S19:第二云管理平台客户端1211产生第二注册报文,将第二注册报文发送至网卡222。
其中,第二注册报文为VLAN报文,其载荷携带有VM3的MAC地址和分布式网关的IP地址,且其VLAN ID是5。
具体地,第二云管理平台客户端1211将第二注册报文发送至PF4。
步骤S20:网卡222将第三注册报文发送至交换机4。
具体地,网卡222的交换装置2221从PF4获取第二注册报文,判断到第二注册报文的VLAN ID不是2,将第二注册报文发送至物理网口2222。
步骤S21:交换机4根据第二注册报文的VLAN ID 5将第二注册报文转发至云管理平台5。
具体地,交换机4从与物理网口2222连接的端口42接收第二注册报文,根据第二注册报文的VLAN ID 5将第二注册报文发送至端口45。云管理平台5从端口45接收到第二注册报文。
值得注意的是,在本发明实施例中,第一云管理平台客户端111也可以获取计算节点11上的虚拟机的MAC地址以及计算节点11的IP地址,并上报至云管理平台5,本发明实施例对此不作限定。
步骤S22:云管理平台5接收第二注册报文,从第二注册报文获取VM3的MAC地址和计算节点21的IP地址,并配置第二VLAN的网络信息,其中,第二VLAN的网络信息包括VM3的MAC地址和计算节点21的IP地址的对应关系。
可选地,用户可通过云管理平台5将第二VLAN的网络信息配置给计算节点11。
步骤S23:云管理平台5产生第二管理报文,并将第二管理报文发送至交换机4。
其中,第二管理报文可为VLAN报文,其目的MAC地址是网卡控制器121的MAC地址,其携带的VLAN ID为1,该MAC地址和VLAN ID可以由用户指定,如用户想针对计算节点11上的所有虚拟机进行转发配置,则可通过云管理平台5选择与计算节点11连接的网卡控制器121的MAC地址以及交换机4的端口41允许通过的VLAN ID 2。
步骤S24:交换机4将第二管理报文发送至网卡122。
具体地,交换机4根据第二管理报文的VLAN ID 1将第二管理报文发送至端口41,端口41允许第二管理报文进入网卡122的物理网口1222。
步骤S25:网卡122将第二管理报文发送至网卡控制器121。
具体地,网卡122的交换装置1221从物理网口1222获取第二管理报文,根据第二管理报文的目的MAC地址选择PF1,将第二管理报文发送至PF1。
步骤S26:网卡控制器121从第二管理报文获取第二VLAN的网络信息,记录第二VLAN的网络信息。
具体地,网卡控制器121的第二云管理平台客户端1211从PF1获取第二管理报文,获取第二管理报文携带的第二VLAN的网络信息并记录第二VLAN的网络信息。
值得注意的是,在本发明实施例中,第一云管理平台客户端111也可获取VM1的MAC地址和计算节点11的IP地址,将VM1的MAC地址和计算节点11的IP地址作为第一VLAN的网络信息上报至云管理平台5。
并请参见图6,图6是根据本发明实施例的报文处理方法的另一数据交互图,图6是图5的延续,承接图5,报文处理方法还包括以下步骤:
步骤S27:VM1发送第三业务报文至网卡122。
其中,第三业务报文为VLAN报文,源MAC地址是VM1的MAC地址,目的MAC地址是VM3的MAC地址,其载荷携带有业务数据,VM1不知道VM3所在的VLAN网络的VLAN ID,第一业务报文的VLAN ID为空,VM1将第三业务报文发送至VF1。
步骤S28:网卡122将第三业务报文转发到网卡控制器121。
其中,网卡122从VF1获取第三业务报文,判断到VM3的MAC地址不在本地,将第三业务报文转发至PF1。
步骤S29:网卡控制器121根据第二VLAN的网络信息对第三业务报文进行修改。
其中,第二云管理平台客户端1211从PF1获取第三业务报文,根据第三业务报文的目的MAC地址从第二VLAN的网络信息获取分布式网关22的IP地址,将第三业务报文封装至overlay报文中,overlay报文的目的IP地址是计算节点21的IP地址,目的MAC地址是计算节点21的下一跳设备的MAC地址,overlay报文携带有第三业务报文。
举例而言overlay报文可以是VXLAN报文。
步骤S30:网卡控制器121将overlay报文发送至网卡122。
其中,网卡控制器121的第二云管理平台客户端1211将overlay报文发送至PF1,网卡122的交换装置1221从PF1获取overlay报文。
步骤S31:网卡122发送overlay报文至交换机4。
其中,网卡122的交换装置1221判断到overlay报文的目的MAC不在本地,将overlay报文发送至物理网口1222,从而使得overlay报文到达交换机4。
步骤S32:交换机4从端口41接收overlay报文,将overlay报文转发至网卡222。
其中,交换机4根据overlay报文的目的IP地址将overlay报文发送至端口42,交换装置2221从物理端口2222获取overlay报文。
步骤S33:网卡222将overlay报文转发至网卡控制器221。
其中,网卡222的交换装置2221从物理网口2222获取overlay报文,根据overlay报文的目的IP地址选择PF3,并将overlay报文发送至PF3。
步骤S34:网卡控制器221对overlay报文进行解封装以获取overlay报文携带的第三业务报文。
其中,网卡控制器221的第四云管理平台客户端2211从PF3获取overlay报文,对overlay报文进行解封装,获取overlay报文携带的第三业务报文。
步骤S35:网卡控制器221发送第三业务报文至网卡222。
其中,网卡控制器221的第四云管理平台客户端2211将第三业务报文发送至PF3。
步骤S36:网卡222将第三业务报文发送至VM3。
其中,网卡222的交换装置2221从PF3获取第三业务报文,根据第三业务报文的目的MAC地址选择VF3,将第三业务报文发送至VF3,VM3从VF3获取第三业务报文,并从第三业务报文的载荷获取业务数据,根据业务数据进行业务处理。
由于分布式网关12将第三业务报文修改为overlay报文,overlya报文可经交换机4顺利传输至服务器2,从而实现跨VLAN的通信。
综上,在服务器本地的分布式网关发生故障时,仅会影响服务器本地虚拟机,其他服务器由于设置有分布式网关,因此不会受到影响,网络不会受到单一分布式网关故障影响。
在本发明实施例中,服务器1的分布式网关12通过网卡控制器121和网卡122实现,网卡控制器121、网卡122以及计算节点11可通过PCIe链路相互连接,具体可参见图7,图7是根据本发明实施例的服务器1的硬件结构示意图。
如图7所示,计算节点11的PCIe接口1103与网卡控制器121的PCIe接口12103连接,形成PCIe链路,计算节点11的PCIe接口1104与网卡122的PCIe接口12203连接,形成PCIe链路,网卡控制器121的PCIe接口12104与网卡122的PCIe接口12204连接,形成PCIe链路。
其中,计算节点11可通过PCIe接口1103向网卡控制器121供电,通过PCIe接口1104向网卡122供电,网卡122通过PCIe接口12203所在的PCIe链路向计算节点11提供直通功能,网卡122还可以通过PCIe接口12204所在的PCIe链路提供直通功能,处理器1101可为X86架构的运算能力强大的一个或多个处理器,处理器12101可为ARM架构的运算能力较强的处理器,处理器12201可为运算能力一般的处理器。
分布式网关22也具有类似结构,于此不作赘述。
值得注意的是,在本发明另外一些示例中,分布式网关也可以通过一个智能网卡单独实现,例如将物理网口和交换装置集成到网卡控制器,本发明实施例对此不作限定。
以下请参见图8,图8是根据本发明实施例的分布式网关的装置结构示意图。
如图8所示,分布式网关包括:
接收模块411,用于接收云管理平台发送的管理报文,管理报文携带有第二VLAN的网络信息;
记录模块413,用于记录第二VLAN的网络信息;
接收模块411,还用于接收第一虚拟机向第二虚拟机发送的携带有业务数据的第一业务报文,第二虚拟机位于第二VLAN;
转换模块412,用于根据第二VLAN的网络信息对第一业务报文进行修改以产生可到达第二VLAN的第二业务报文,其中,第二业务报文携带有业务数据;
发送模块,412用于发送第二业务报文至交换机。各功能模块的具体功能,在上述图1至图6所示实施例中亦有相关描述,在此不再赘述。
以下请参见图9,图9是根据本发明实施例的分布式网关的另一装置结构示意图。
以下请参见图9,图9示出根据本发明实施例的分布式网关的另一装置结构示意图,如图9所示,分布式网关可以包括处理单元421和通信接口422,处理单元421用于执行物理服务器上运行的操作系统以及各种软件程序所定义的功能,例如,用于实现虚拟交换机的功能。通信接口422用于与其他计算节点进行通信交互,其他设备可以是其它物理服务器,具体地,通信接口422可以是网络适配卡。可选地,该物理服务器还可以包括输入/输出接口423,输入/输出接口423连接有输入/输出设备,用于接收输入的信息,输出操作结果。输入/输出接口423可以为鼠标、键盘、显示器、或者光驱等。可选地,该物理服务器还可以包括辅助存储器424,一般也称为外存,辅助存储器424的存储介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。处理单元421可以有多种具体实现形式,例如处理单元421可以包括处理器4212和存储器4211,处理器4212根据存储器4211中存储的程序指令执行图2至图4所示实施例中分布式网关12或分布式网关22的相关操作,处理器4212可以为中央处理器(CPU)或图像处理器(英文:graphicsprocessing unit,GPU),处理器4212可以是单核处理器或多核处理器。处理单元421也可以单独采用内置处理逻辑的逻辑器件来实现,例如现场可编程门阵列(英文全称:FieldProgrammable Gate Array,缩写:FPGA)或数字信号处理器(英文:digital signalprocessor,DSP)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
进一步地,在本发明其他实施例中,也可以使用容器来替换虚拟机,本发明实施例对此不作限定。
需说明的是,以上描述的任意装置实施例都仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部进程来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,进程之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,主机,或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到,上述描述的系统、装置或单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种云计算数据中心系统,其特征在于,包括第一服务器、第二服务器、云管理平台以及交换机,所述第一服务器包括通过第一高速外围组件互联PCIe链路连接的第一计算节点和第一分布式网关,所述第二服务器包括通过第二PCIe链路连接的第二计算节点和第二分布式网关,所述第一计算节点设置有位于第一虚拟局域网VLAN的第一虚拟机,所述第二计算节点设置有位于第二VLAN的第二虚拟机,所述云管理平台、所述第一分布式网关和所述第二分布式网关分别连接至所述交换机,
所述第一分布式网关,用于接收云管理平台发送的管理报文,所述管理报文携带有所述第二VLAN的网络信息,所述第一分布式网关用于记录所述第二VLAN的网络信息;
所述第一虚拟机,用于向所述第二虚拟机发送携带业务数据的第一业务报文;
所述第一分布式网关,用于接收所述第一业务报文,根据所述第二VLAN的网络信息对所述第一业务报文进行VLAN识别码修改或overlay封装以产生可到达所述第二VLAN的第二业务报文,将所述第二业务报文发送至所述交换机,其中,所述第二业务报文携带所述业务数据;
所述第二分布式网关,用于接收所述交换机转发的所述第二业务报文,并将所述第二业务报文携带的业务数据发送至所述第二虚拟机。
2.一种分布式网关的报文处理方法,其特征在于,分布式网关与第一计算节点通过第一高速外围组件互联PCIe链路连接,所述分布式网关与交换机连接,所述第一计算节点设置有第一虚拟机,所述第一虚拟机位于第一虚拟局域网VLAN,所述方法包括:
所述分布式网关接收云管理平台发送的管理报文,所述管理报文携带有第二VLAN的网络信息;
所述分布式网关记录所述第二VLAN的网络信息;
所述分布式网关接收所述第一虚拟机向第二虚拟机发送的携带业务数据的第一业务报文,所述第二虚拟机位于所述第二VLAN;
所述分布式网关根据所述第二VLAN的网络信息对所述第一业务报文进行VLAN识别码修改或overlay封装以产生可到达所述第二VLAN的第二业务报文,其中,所述第二业务报文携带所述业务数据;
所述分布式网关发送所述第二业务报文至所述交换机。
3.根据权利要求2所述的方法,其特征在于,所述分布式网关包括网卡控制器和网卡,所述网卡设置有第一物理功能PF、第一虚拟功能VF以及物理网口,所述网卡控制器与所述第一PF连接,所述第一虚拟机与所述第一VF连接,所述物理网口与所述交换机连接。
4.根据权利要求3所述的方法,其特征在于,所述分布式网关接收所述第一虚拟机向第二虚拟机发送的携带业务数据的第一业务报文,包括:
所述网卡从所述第一VF接收所述第一业务报文。
5.根据权利要求4所述的方法,其特征在于,所述分布式网关根据所述第二VLAN的网络信息对所述第一业务报文进行修改以产生可到达所述第二VLAN的第二业务报文,包括:
所述网卡将所述第一业务报文转发至所述第一PF;
所述网卡控制器从所述第一PF获取所述第一业务报文,根据所述第二VLAN的网络信息对所述第一业务报文进行修改以产生所述第二业务报文,并将所述第二业务报文发送至所述第一PF;
所述网卡将所述第二业务报文发送至所述物理网口。
6.根据权利要求3所述的方法,其特征在于,所述管理报文的目的MAC地址是所述网卡控制器的MAC地址,所述网卡记录有所述网卡控制器的MAC地址与所述第一PF的第三对应关系,所述分布式网关接收所述云管理平台发送的管理报文,包括:
所述网卡从所述物理网口接收所述管理报文,并根据所述管理报文的目的MAC地址从所述第三对应关系选择所述第一PF,并将所述管理报文转发至所述第一PF;
所述网卡控制器从所述第一PF接收所述管理报文。
7.根据权利要求6所述的方法,其特征在于,所述分布式网关记录所述第二VLAN的网络信息,包括:
所述网卡控制器从所述管理报文获取所述第二VLAN的网络信息,并记录所述第二VLAN的网络信息。
8.根据权利要求2至7任一项所述的方法,其特征在于,所述第一业务报文是VLAN报文,所述第一业务报文的目的地址是所述第二虚拟机的MAC地址,所述第一VLAN网络设置有第一VLAN识别码,所述第二VLAN网络设置有与所述第一VLAN识别码不同的第二VLAN识别码,所述第二VLAN的网络信息包括所述第二虚拟机的MAC地址与所述第二VLAN识别码的第一对应关系,所述分布式网关根据所述第二VLAN的网络信息对所述第一业务报文进行修改以产生可到达所述第二VLAN的第二业务报文,包括:
所述分布式网关根据所述第一业务报文的目的MAC地址从所述第一对应关系获取所述第二VLAN识别码;
所述分布式网关将所述第二VLAN识别码设置于所述第一业务报文以产生所述第二业务报文。
9.根据权利要求2至7任一项所述的方法,其特征在于,所述第一业务报文是VLAN报文,所述第一业务报文的目的MAC地址是第二虚拟机的MAC地址,所述第二VLAN的网络信息包括所述第二虚拟机的MAC地址与与第二计算节点通过第二PCIe链路连接的另一分布式网关的IP地址的第二对应关系,所述第二虚拟机设置于所述第二计算节点,所述分布式网关根据所述第二VLAN的网络信息对所述第一业务报文进行修改以可到达所述第二VLAN的第二业务报文,包括:
所述分布式网关根据所述第一业务报文的目的地址从所述第二对应关系获取所述IP地址;
所述分布式网关将所述第一业务报文封装到所述第二业务报文,其中,所述第二业务报文为overlay报文,所述第二业务报文的目的IP地址是所述IP地址。
10.一种分布式网关,其特征在于,所述分布式网关与第一计算节点通过PCIe接口连接,所述分布式网关与交换机连接,所述第一计算节点设置有第一虚拟机,所述第一虚拟机位于第一VLAN,所述分布式网关包括:
接收模块,用于接收云管理平台发送的管理报文,所述管理报文携带有第二VLAN的网络信息;
记录模块,用于记录所述第二VLAN的网络信息;
所述接收模块,还用于接收所述第一虚拟机向第二虚拟机发送的携带有业务数据的第一业务报文,所述第二虚拟机位于所述第二VLAN;
转换模块,用于根据所述第二VLAN的网络信息对所述第一业务报文进行VLAN识别码修改或overlay封装以产生可到达所述第二VLAN的第二业务报文,其中,所述第二业务报文携带有所述业务数据;
发送模块,用于发送所述第二业务报文至所述交换机。
11.根据权利要求10所述的分布式网关,其特征在于,所述第一业务报文是VLAN报文,所述第一业务报文的目的地址是所述第二虚拟机的MAC地址,所述第一VLAN网络设置有第一VLAN识别码,所述第二VLAN网络设置有与所述第一VLAN识别码不同的第二VLAN识别码,所述第二VLAN的网络信息包括所述第二虚拟机的MAC地址与所述第二VLAN识别码的第一对应关系;
所述转换模块,用于根据所述第一业务报文的目的MAC地址从所述第一对应关系获取所述第二VLAN识别码,将所述第二VLAN识别码设置于所述第一业务报文以产生所述第二业务报文。
12.根据权利要求10所述的分布式网关,其特征在于,所述第一业务报文是VLAN报文,所述第一业务报文的目的MAC地址是第二虚拟机的MAC地址,所述第二VLAN的网络信息包括所述第二虚拟机的MAC地址与与第二计算节点通过第二PCIe链路连接的另一分布式网关的IP地址的第二对应关系,
所述转换模块,用于根据所述业务报文的目的地址从所述第二对应关系获取所述IP地址,将所述第一业务报文封装到所述第二业务报文,其中,所述第二业务报文为overlay报文,所述第二业务报文的目的IP地址是与所述与第二计算节点通过第二PCIe链路连接的另一分布式网关的IP地址。
13.一种服务器,其特征在于,包括分布式网关和计算节点,所述分布式网关与所述计算节点通过高速外围组件互联PCIe接口连接,所述分布式网关与交换机连接,所述计算节点设置有第一虚拟机,所述第一虚拟机位于第一虚拟局域网VLAN,其中:
所述分布式网关,用于接收云管理平台发送的管理报文,所述管理报文携带有第二VLAN的网络信息;
所述分布式网关,还用于记录所述第二VLAN的网络信息;
所述第一虚拟机,用于向第二虚拟机发送携带有业务数据的第一业务报文,所述第二虚拟机位于所述第二VLAN;
所述分布式网关,还用于接收所述第一业务报文;
所述分布式网关,还用于根据所述第二VLAN的网络信息对所述第一业务报文进行VLAN识别码修改或overlay封装以产生可到达所述第二VLAN的第二业务报文,并发送所述第二业务报文至所述交换机,其中,所述第二业务报文携带有所述业务数据。
14.一种分布式网关,其特征在于,包括处理器以及存储器,所述分布式网关与设置有第一虚拟机的计算节点连接,所述分布式网关与交换机连接,所述第一虚拟机位于第一虚拟局域网VLAN,所述存储器存储有程序指令,所述处理器运行所述程序指令以执行权利要求2至9任一项所述的方法。
CN201811602177.3A 2018-12-26 2018-12-26 云计算数据中心系统、网关、服务器及报文处理方法 Active CN109617735B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811602177.3A CN109617735B (zh) 2018-12-26 2018-12-26 云计算数据中心系统、网关、服务器及报文处理方法
EP19902662.6A EP3883195A4 (en) 2018-12-26 2019-12-26 CLOUD COMPUTING DATA CENTER SYSTEM, GATEWAY, SERVER AND MESSAGE PROCESSING METHOD
JP2021537822A JP7231744B2 (ja) 2018-12-26 2019-12-26 クラウドコンピューティングデータセンタシステム、ゲートウェイ、サーバ、およびパケット処理方法
PCT/CN2019/128497 WO2020135542A1 (zh) 2018-12-26 2019-12-26 云计算数据中心系统、网关、服务器及报文处理方法
US17/358,264 US11831551B2 (en) 2018-12-26 2021-06-25 Cloud computing data center system, gateway, server, and packet processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811602177.3A CN109617735B (zh) 2018-12-26 2018-12-26 云计算数据中心系统、网关、服务器及报文处理方法

Publications (2)

Publication Number Publication Date
CN109617735A CN109617735A (zh) 2019-04-12
CN109617735B true CN109617735B (zh) 2021-04-09

Family

ID=66010622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811602177.3A Active CN109617735B (zh) 2018-12-26 2018-12-26 云计算数据中心系统、网关、服务器及报文处理方法

Country Status (5)

Country Link
US (1) US11831551B2 (zh)
EP (1) EP3883195A4 (zh)
JP (1) JP7231744B2 (zh)
CN (1) CN109617735B (zh)
WO (1) WO2020135542A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617735B (zh) * 2018-12-26 2021-04-09 华为技术有限公司 云计算数据中心系统、网关、服务器及报文处理方法
CN110071918B (zh) * 2019-04-19 2020-10-09 北京那镁克科技有限公司 一种基于混合云的数据通信方法及装置
US11076004B2 (en) * 2019-08-20 2021-07-27 The Calany Holding S.Á R.L. Virtual radio access network system and method for optimized real-time responsive continuous location-based cloud computing, rendering, tracking, and communication services in three-dimensional space through a distributed computing center network
CN110830477B (zh) * 2019-11-11 2022-03-11 北京天融信网络安全技术有限公司 一种业务的识别方法、装置、网关、系统及存储介质
CN110944044B (zh) * 2019-11-20 2020-11-13 广州市品高软件股份有限公司 一种分布式api网关系统及其实现方法
CN112019598A (zh) * 2020-07-31 2020-12-01 深圳华云信息系统有限公司 一种分布式云计算系统
CN112367278B (zh) * 2020-11-03 2021-07-20 清华大学 基于可编程数据交换机的云网关系统及其报文处理方法
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112737915B (zh) * 2020-12-29 2022-10-25 优刻得科技股份有限公司 基于智能网卡的内网隧道跨域网关转发方法、系统、设备和介质
US20230031821A1 (en) * 2021-07-30 2023-02-02 Oracle International Corporation Overlay network based techniques for enabling communication between on-premises and cloud hosted data centers
CN114448752B (zh) * 2022-04-07 2022-09-09 杭州优云科技有限公司 一种多子网通信方法及装置
CN117118774B (zh) * 2023-10-23 2024-02-27 杭州优云科技有限公司 二层网络下云计算网关的接入方法及装置
CN118200240B (zh) * 2024-05-14 2024-07-26 中兴通讯股份有限公司 业务处理方法、网络设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506404A (zh) * 2014-12-17 2015-04-08 杭州华三通信技术有限公司 建立虚拟局域网转发通道的方法和装置
CN104639363A (zh) * 2013-11-13 2015-05-20 财团法人资讯工业策进会 用于在虚拟区域网络中管理云端装置的管理伺服器及其管理方法
CN105591925A (zh) * 2015-12-10 2016-05-18 杭州华三通信技术有限公司 应用于sdn中的报文转发方法和设备
CN108337192A (zh) * 2017-12-28 2018-07-27 华为技术有限公司 一种云数据中心中报文通信方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369333B2 (en) * 2009-10-21 2013-02-05 Alcatel Lucent Method and apparatus for transparent cloud computing with a virtualized network infrastructure
JP5585219B2 (ja) * 2010-06-03 2014-09-10 富士通株式会社 スイッチング装置および仮想lan構築方法
CN102801599B (zh) * 2012-07-26 2015-09-30 华为技术有限公司 一种通信方法和系统
US9210079B2 (en) * 2012-08-14 2015-12-08 Vmware, Inc. Method and system for virtual and physical network integration
US9116727B2 (en) * 2013-01-15 2015-08-25 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Scalable network overlay virtualization using conventional virtual switches
JP6024474B2 (ja) * 2013-01-23 2016-11-16 富士通株式会社 マルチテナントシステム、管理装置、管理プログラム、およびマルチテナントシステムの制御方法
JP6107307B2 (ja) * 2013-03-28 2017-04-05 日本電気株式会社 仮想化システム、フレーム伝送方法、及びフレーム伝送プログラム
US9419897B2 (en) * 2014-06-30 2016-08-16 Nicira, Inc. Methods and systems for providing multi-tenancy support for Single Root I/O Virtualization
JP6428296B2 (ja) * 2015-01-22 2018-11-28 富士通株式会社 情報処理システム、情報処理装置、および情報処理システムの制御方法
JP6629681B2 (ja) * 2016-06-24 2020-01-15 APRESIA Systems株式会社 スイッチ装置および中継システム
BR112018000362A2 (pt) * 2016-11-09 2018-09-11 Huawei Technologies Co., Ltd. método de processamento de pacote em sistema de computação em nuvem, hospedeiro e sistema
CN108337092B (zh) 2017-01-17 2021-02-12 华为国际有限公司 用于在通信网络中执行集体认证的方法和系统
CN109617735B (zh) * 2018-12-26 2021-04-09 华为技术有限公司 云计算数据中心系统、网关、服务器及报文处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639363A (zh) * 2013-11-13 2015-05-20 财团法人资讯工业策进会 用于在虚拟区域网络中管理云端装置的管理伺服器及其管理方法
CN104506404A (zh) * 2014-12-17 2015-04-08 杭州华三通信技术有限公司 建立虚拟局域网转发通道的方法和装置
CN105591925A (zh) * 2015-12-10 2016-05-18 杭州华三通信技术有限公司 应用于sdn中的报文转发方法和设备
CN108337192A (zh) * 2017-12-28 2018-07-27 华为技术有限公司 一种云数据中心中报文通信方法和装置

Also Published As

Publication number Publication date
JP2022515839A (ja) 2022-02-22
WO2020135542A1 (zh) 2020-07-02
US20210320872A1 (en) 2021-10-14
EP3883195A1 (en) 2021-09-22
US11831551B2 (en) 2023-11-28
CN109617735A (zh) 2019-04-12
EP3883195A4 (en) 2022-01-26
JP7231744B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
CN109617735B (zh) 云计算数据中心系统、网关、服务器及报文处理方法
US20220123960A1 (en) Data Packet Processing Method, Host, and System
JP6605713B2 (ja) クラウドコンピューティングシステムにおけるパケット処理方法、ホスト及びシステム
US10567275B2 (en) Network interface card switching for virtual networks
US10476699B2 (en) VLAN to VXLAN translation using VLAN-aware virtual machines
CN108293022B (zh) 一种报文传输的方法、装置和系统
US10554484B2 (en) Control plane integration with hardware switches
EP3031179B1 (en) Switch clusters having layer-3 distributed router functionality
WO2018032910A1 (zh) 一种跨网络通信的方法、设备
US12038861B2 (en) System decoder for training accelerators
US9325617B2 (en) Overlay capabilities exchange using DCBX
CN108337192B (zh) 一种云数据中心中报文通信方法和装置
CN109412922B (zh) 一种传输报文的方法、转发设备、控制器及系统
US12052182B2 (en) Latency-aware load balancer for topology-shifting software defined networks
CN105264837B (zh) 一种数据报文的传输系统、传输方法和设备
CN111294268B (zh) 避免ip地址冲突的方法及装置
KR101621717B1 (ko) 소프트웨어 정의 데이터 센터의 네트워크 자원을 가상화 하는 방법, 장치 및 컴퓨터 프로그램
WO2017219272A1 (zh) 转发报文的方法和装置
CN116743681A (zh) Vxlan网络中报文转发方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220301

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right