CN113162802A - 基于InfiniBand的通信方法、设备及存储介质 - Google Patents

基于InfiniBand的通信方法、设备及存储介质 Download PDF

Info

Publication number
CN113162802A
CN113162802A CN202110360394.1A CN202110360394A CN113162802A CN 113162802 A CN113162802 A CN 113162802A CN 202110360394 A CN202110360394 A CN 202110360394A CN 113162802 A CN113162802 A CN 113162802A
Authority
CN
China
Prior art keywords
network
infiniband
rdma
network card
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110360394.1A
Other languages
English (en)
Inventor
廖子南
周涛
洪志刚
谢冬鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongyun Ruilian Wuhan Computing Technology Co ltd
Original Assignee
Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongyun Ruilian Wuhan Computing Technology Co ltd filed Critical Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority to CN202110360394.1A priority Critical patent/CN113162802A/zh
Publication of CN113162802A publication Critical patent/CN113162802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/2876Pairs of inter-processing entities at each side of the network, e.g. split proxies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络通信技术领域,公开了一种基于InfiniBand的通信方法、设备及存储介质。本发明中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本实施例通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。

Description

基于InfiniBand的通信方法、设备及存储介质
技术领域
本发明涉及网络通信技术领域,尤其涉及基于InfiniBand的通信方法、设备及存储介质。
背景技术
就物理主机的当前运行方式而言,在大多数场景下,所有的业务应用都将直接运行在物理主机上。但缺点在于,计算资源和存储资源都会变得难于增减,要么是一直不够用,要么是把过剩的资源浪费掉,难以高效地运用物理主机的现有资源。
针对此现况,业界提出和设计了虚拟机技术方案,通过虚拟机技术的合理调度,在很多场景下都提高了资源利用率。但是,虚拟机技术却也存在着虚拟化管理软件自身消耗资源的问题,而且,虚拟机方案还需要在虚拟化管理软件之上运行独立的访客操作系统,这显然不是一种轻量的解决方案。
针对此现况,引入了容器技术,容器技术作为一种轻量级的技术可以很好地避免了上述问题。
具体而言,容器技术多通过容器引擎提供了一个在完全隔离的环境中打包和运行应用程序的能力,这个隔离的环境通常被称为容器。较之虚拟机技术,容器技术更为轻量,它可以保证程序运行环境的一致性,降低配置开发环境、生产环境的复杂度和成本,实现程序的快速部署。
同时,容器引擎及容器内的应用程序均运行在操作系统上。
为了进一步地理解容器技术,此处可以Kubernetes平台为例,其中,Kubernetes平台是一种较为流行的容器编排管理工具,其支持自动化部署、大规模可伸缩及应用容器化管理。以Kubernetes平台上的Pod间的通信为例,Pod为容器组的一种形式,当其中的一个Pod(即本端Pod)访问另一个Pod(即对端Pod)时,通常会通过Service服务进行通信。这种方式具体是通过iptables经由操作系统的TCP/IP(Transmission Control Protocol/Internet Protocol,传输控制协议/网际协议)协议栈实现对于对端Pod的访问的,可见,随着新的应用场景的出现,容器或容器组间的通信对带宽的需求也急剧增加。
其中,容器集群中的容器或容器组是指,容器集群在编排管理时的最小单位;同时,这里的容器是指在容器环境下运行独立应用的容器,而容器组是指在容器环境下运行独立应用的“逻辑主机”,运行着一个或者多个紧密耦合的应用容器。
但是,传统的TCP/IP协议栈并不是针对高性能应用场景设计的,它难以提供高效的通信支持,系统调用和内存复制等操作都会带来巨大的性能开销。
可见,传统的TCP/IP模式存在着通信效率低下的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供基于InfiniBand的通信方法、设备及存储介质,旨在解决传统的TCP/IP模式通信效率低下的技术问题。
为实现上述目的,本发明提供一种基于InfiniBand的通信方法,所述基于InfiniBand的通信方法包括以下步骤:
对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
优选地,所述基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输,具体包括:
在接收到第一容器发出的第一通信请求时,获取所述第一通信请求指向的虚拟RDMA网卡的网络地址;
根据所述网络地址发起RDMA通信行为。
优选地,所述对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡,具体包括:
通过SR-IOV将网络设备上安装的InfiniBand网卡设定为物理功能组件;
通过所述物理功能组件虚拟出作为虚拟功能组件的虚拟RDMA网卡。
优选地,所述对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡之后,所述基于InfiniBand的通信方法还包括:
对容器进行服务网格化处理。
优选地,所述对容器进行服务网格化处理,具体包括:
对容器所处的命名空间配置自动注入功能,以对与所述命名空间对应的容器注入网络代理组件;
其中,所述网络代理组件用于接收经过所述容器的当前数据。
优选地,所述基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输之后,所述基于InfiniBand的通信方法还包括:
读取所述网络代理组件中的预设流量治理规则;
通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作。
优选地,所述读取所述网络代理组件中的预设流量治理规则之前,所述基于InfiniBand的通信方法还包括:
配置预设流量治理规则;
将所述预设流量治理规则装载至所述网络代理组件中;
其中,所述预设流量治理规则包括负载均衡策略规则、限流策略规则及熔断策略规则中的至少一类。
此外,为实现上述目的,本发明还提出一种网络设备,所述网络设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于InfiniBand的通信程序,所述基于InfiniBand的通信程序配置为实现如上文所述的基于InfiniBand的通信方法的步骤。
其中,所述网络设备与InfiniBand网卡连接。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于InfiniBand的通信程序,所述基于InfiniBand的通信程序被处理器执行时实现如上文所述的基于InfiniBand的通信方法的步骤。
此外,为实现上述目的,本发明还提出一种基于InfiniBand的通信装置,所述基于InfiniBand的通信装置包括:虚拟化模块、挂载模块以及网络传输模块;
虚拟化模块,用于对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
挂载模块,用于设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
网络传输模块,用于基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
本发明中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本发明通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的网络设备结构示意图;
图2为本发明基于InfiniBand的通信方法第一实施例的流程示意图;
图3为本发明基于InfiniBand的通信方法第二实施例的流程示意图;
图4为本发明基于InfiniBand的通信方法第二实施例的网卡虚拟化后通信框架的框架示意图;
图5为本发明基于InfiniBand的通信方法第三实施例的流程示意图;
图6为本发明基于InfiniBand的通信方法第四实施例的流程示意图;
图7为本发明基于InfiniBand的通信方法第四实施例的容器化服务网格结构的框架示意图;
图8为本发明基于InfiniBand的通信方法第四实施例的流量治理规则的适用示意图;
图9为本发明基于InfiniBand的通信装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的网络设备结构示意图。
如图1所示,该网络设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口以及无线接口,而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus,USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory,RAM);也可以是稳定的存储器,比如,非易失存储器(Non-volatile Memory),具体可为,磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
其中,该网络设备与InfiniBand网卡连接。
本领域技术人员可以理解,图1中示出的结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于InfiniBand的通信程序。
在图1所示的网络设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接外设;所述网络设备通过处理器1001调用存储器1005中存储的基于InfiniBand的通信程序,并执行以下操作:
对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
在接收到第一容器发出的第一通信请求时,获取所述第一通信请求指向的虚拟RDMA网卡的网络地址;
根据所述网络地址发起RDMA通信行为。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
通过SR-IOV将网络设备上安装的InfiniBand网卡设定为物理功能组件;
通过所述物理功能组件虚拟出作为虚拟功能组件的虚拟RDMA网卡。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
对容器进行服务网格化处理。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
对容器所处的命名空间配置自动注入功能,以对与所述命名空间对应的容器注入网络代理组件;
其中,所述网络代理组件用于接收经过所述容器的当前数据。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
读取所述网络代理组件中的预设流量治理规则;
通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作。
进一步地,处理器1001可以调用存储器1005中存储的基于InfiniBand的通信程序,还执行以下操作:
配置预设流量治理规则;
将所述预设流量治理规则装载至所述网络代理组件中;
其中,所述预设流量治理规则包括负载均衡策略规则、限流策略规则及熔断策略规则中的至少一类。
在本实施例中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本实施例通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。
基于上述硬件结构,提出本发明基于InfiniBand的通信方法的实施例。
参照图2,图2为本发明基于InfiniBand的通信方法第一实施例的流程示意图。
在第一实施例中,所述基于InfiniBand的通信方法包括以下步骤:
步骤S10:对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡。
可以理解的是,本实施例的执行主体为网络设备,且该网络设备上安装有InfiniBand网卡。
其中,InfiniBand(IB),是一类支持远程直接内存访问(RDMA,remote directmemory access)技术的新一代网络协议。
其中,IB是一种服务器和存储器间的互联技术,具有高速、低延迟、低CPU负载、高效率和可扩展的特性。
同时,IB的关键特性之一是天然地支持RDMA,IB能够让服务器和服务器之间、服务器和存储设备之间的数据传输不需要主机的CPU的参与。
其中,RDMA技术是一种较早应用于高性能计算领域的网络通信协议,当前已在数据中心逐渐普及。就其技术实质而言,RDMA允许用户程序绕过操作系统内核,直接和网卡交互进行网络通信,从而了提供高带宽和极小时延;RDMA让计算机可以直接存取其他计算机的内存,而不需要经过处理器的处理;RDMA将数据从一个系统快速移动到远程系统的内存中,而不对操作系统造成任何影响。
具体地,在实操上,可先在集群中的物理机即网络设备上安装IB网卡。
接着,可对IB网卡进行虚拟化操作,以获得用于挂载的虚拟RDMA网卡。
进一步地,具体地,可通过SR-IOV(Single Root I/O Virtualization)对IB网卡进行虚拟化操作。
其中,SR-IOV是虚拟化的一个重要功能。通过启用SR-IOV这个功能,可以大大减轻宿主机的CPU负荷,提高网络性能,降低网络时延等,SR-IOV最初应用在网卡上。
简单来说,就是将一个物理网卡虚拟出来多个轻量化的PCIe物理设备,从而可以分配给虚拟机使用。该功能可以提高性能,节省成本和耗能,简化与网络设备的适配、布线的工作。
其中,PCIe是一类总线标准。
进一步地,IB技术作为一类新的网络技术,需要支持该技术的网卡和交换机。本实施例中的容器使用到的IB网卡可采用基于硬件的SR-IOV虚拟化解决方案,SR-IOV标准允许在虚拟机之间高效共享PCIe设备,即高效共享快速外设组件互连设备,并且它是在硬件中实现的,可以获得能够与本机性能接近的I/O性能。
步骤S20:设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡。
应当理解的是,在取得虚拟RDMA网卡后,可通过SR-IOV为容器或容器组设置虚拟RDMA网卡接口。
在通过虚拟RDMA网卡接口挂载虚拟RDMA网卡后,就完成了系统化的搭建操作。
步骤S30:基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
可以理解的是,在完成系统化的搭建操作后,处于系统应用层的各容器彼此之间就可通过RDMA技术进行网络传输,提高了系统应用层的应用程序在容器与容器之间进行数据传输时的效率,从而大大提高了系统的通信效率。
其中,容器环境可为Kubernetes平台上的容器/容器组。
同时,轻量级隔离和可移植性也降低了部署和管理云应用的复杂性,而且,RDMA网络能够提供更高的吞吐量、更低的延迟和更少的CPU占用。
进一步地,以一类具体场景为例,例如在高并发的微服务场景下,如果在容器云平台部署分布式训练任务,作为子任务训练节点的容器/容器组间的通信带宽需求可达10GB-100GB级,但对分布式系统而言,如何加速网络通信一直以来都是一个非常重要的问题。
例如此前研究所示,将一个单机键值存储系统应用到基于客户机-服务器(client-server)模式的分布式环境中,即便使用了批量处理(batching)等优化技术,仍然会造成大幅的性能下降。同时,分布式系统依赖网络通信完成节点间的协作,因此通信开销很大程度上决定了应用程序的整体性能。因此传统的TCP/IP协议栈并不是针对高性能应用场景设计的,它难以提供高效的通信支持,系统调用和内存复制等操作都会带来巨大的性能开销。
但是,本实施例给出的RDMA模式可以较好地应对这一工况。
本实施例中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本实施例通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。
参照图3,图3为本发明基于InfiniBand的通信方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于InfiniBand的通信方法的第二实施例。
第二实施例中,所述步骤S30,具体包括:
步骤S301:在接收到第一容器发出的第一通信请求时,获取所述第一通信请求指向的虚拟RDMA网卡的网络地址。
在具体实现中,就具体的网络传输行为而言,当各容器集群中的集群A中的第一容器欲与集群B中的第二容器进行通信时,可先获取集群B中第二容器挂载的虚拟RDMA网卡的网络地址(IP)。
步骤S302:根据所述网络地址发起RDMA通信行为。
接着,可根据集群B中第二容器的虚拟RDMA网卡的IP,通过集群A中第一容器的虚拟RDMA网卡与集群B中第二容器的虚拟RDMA网卡之间的RDMA网络,执行RDMA通信行为。
其中,容器可为系统应用层的容器,但也不限于此。
本实施例中可在各集群中的各容器之间进行RDMA网络传输,优化了传输效率。
进一步地,可通过SR-IOV对IB网卡进行虚拟化操作,具体地,所述对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡,具体包括:
通过SR-IOV将网络设备上安装的InfiniBand网卡设定为物理功能组件;
通过所述物理功能组件虚拟出作为虚拟功能组件的虚拟RDMA网卡。
可以理解的是,就SR-IOV而言,存在着物理功能(PF)与虚拟功能(VF)。
PF,用于支持SR-IOV的周边元件扩展接口(PCI,Pedpherd ComponentInterconnect)功能,拥有完全配置或控制PCIe设备资源的能力。
VF,是一种轻量级的PCIe功能,与PF相关联,可以与物理功能以及同一物理功能关联的其他VF共享一个或多个物理资源。
在具体实现中,物理功能组件的表述对应于PF,虚拟功能组件的表述对应于VF。
可见,可先对物理机的IB网卡进行插件安装,使之成为物理功能;接着,将IB网卡虚拟出若干个虚拟网卡;然后,可在容器上挂载虚拟RDMA网卡,使之可以进行RDMA间的通信。
进一步地,若后续采用服务网格,则可通过网络代理组件进行RDMA通信行为。
进一步地,在将IB网卡设变为物理功能组件时,可使用到插件,插件可为但不限于英特尔提供的sriov-cni插件。
其中,sriov-cni插件的作用是,让物理机的网卡设备可以实现虚拟化,变成多个VF。
进一步地,还可使用sriov-network-device-plugin组件,该组件可使容器中的Pod使用到虚拟出来的VF。
进一步地,可在网络设备上安装sriov-cni、sriov-network-device-plugin插件,可在网络设备上部署Kubernetes集群和Istio组件。
进一步地,为了便于理解基于InfiniBand的通信方法第二实施例,此处给出描述网卡虚拟化后通信框架的框架示意图,即图4。
在图4中,1个IB网卡虚拟化出N个虚拟网卡,N为正整数,例如,虚拟网卡1至3,虚拟网卡即为虚拟RDMA网卡。其中,还可使用到一组VF网卡组件,该组件和对应的微服务的容器相连。
参照图5,图5为本发明基于InfiniBand的通信方法第三实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明基于InfiniBand的通信方法的第三实施例。
第三实施例中,所述步骤S10之后,所述基于InfiniBand的通信方法还包括:
步骤S201:对容器进行服务网格化处理。
可以理解的是,就网络设备所处的容器环境而言,也可记为,RDMA网络环境,可对RDMA网络环境进行服务网格的配置。
通过服务网格化处理,具体地,通过为每个集群容器的RDMA网络环境进行服务网格的配备,进而使得容器/容器组间的系统网络流量可使用RDMA网络来执行RDMA通信,大大地提高了系统的通信效率,进而提升了分布式系统的效率。
进一步地,就服务网格化的具体实现方式而言,可先配置Istio组件,通过Istio组件对容器进行服务网格化。
通过实现服务网格化,可将服务之间、服务与集群外部的网络通讯和安全机制从微服务的业务逻辑中解藕,作为一个与平台无关的、独立运行的程序存在,以减少开发和运维人员的工作量。
此外,服务网格通常还具有更复杂的操作要求,比如,微服务间网络流量的各种治理方案,服务网格能够屏蔽分布式系统通信的复杂性,例如,负载均衡、服务发现、认证授权、监控追踪及流量控制等。服务只用关注业务逻辑,与服务真正的语言无关的,服务可以用任何语言编写,只需和服务网格通信即可,服务网格组件可以单独升级。
其中,Istio组件是一类微服务系统管理工具。
更具体地,Istio组件实现了服务网格模式,它是一个用于服务治理的开放平台,是一个与Kubernetes紧密结合的适用于云原生场景的服务网格形态的用于服务治理的开放平台。
通过Istio的服务网格特性,使得用户能够专注微服务本身业务,而不需要去关注服务之间的管理逻辑;同时,提供了一种简单的方式来为已部署的服务建立网络,该网络具有负载均衡、服务间认证及监控等功能,而不需要对服务的代码做任何改动。
本实施例中考虑到当前日益增长的应用微服务的大小和复杂性,微服务网络及其之间的交互变得越来越难以理解和管理,通过对容器环境进行服务网格化处理,可以较好地应对上述状况。同时,还大大地提高了系统的通信效率,进而提升了分布式系统的效率。
进一步地,所述对容器进行服务网格化处理,具体包括:
对容器所处的命名空间配置自动注入功能,以对与所述命名空间对应的容器注入网络代理组件;
其中,所述网络代理组件用于接收经过所述容器的当前数据。
具体地,就对每个集群容器的RDMA网络环境进行服务网格配置的具体操作而言,可先对集群中的容器进行服务网格化,服务网格化的容器之后所有经过容器的流量将先由网络代理组件接收,也就实现了对于系统服务部分的基础搭建工作。
进一步地,更具体地,可先配置Istio组件,例如,可在Kubernetes集群上安装Istio组件。
接着,可对应用层的容器所在的命名空间(Namespaces)进行自动注入的配置,具体的操作方法是对要开启自动注入的Namespaces加上标签istio-injection:enabled,如此,该Namespaces下所有Pod都会被注入一个网络代理组件,这样就完成了系统应用层的服务网格化。
其中,yaml文件代码片段如下所示,可提交该yaml文件到Kubernetes集群中进行创建工作。如下所示,
Figure BDA0003005330630000131
可见,可通过yaml文件创建该Namespaces资源、应用对应的Deployment、Service资源,完成服务的部署。
进一步地,在注入网络代理组件后,后续经过容器的流量将先由网络代理组件接收。
参照图6,图6为本发明基于InfiniBand的通信方法第四实施例的流程示意图,基于上述图5所示的第三实施例,提出本发明基于InfiniBand的通信方法的第四实施例。
第四实施例中,所述步骤S30之后,所述基于InfiniBand的通信方法还包括:
步骤S40:读取网络代理组件中的预设流量治理规则。
步骤S50:通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作。
可以理解的是,就流量治理规则的使用环节而言,可通过网络代理组件对流量进行监听,进而进行分析和转发。更具体地,鉴于不同的业务场景所处的容器在处理业务时可能需要不同的流量治理规则,网络代理组件可根据所代理容器的业务的不同对流量的治理有不同的规则。具体可表现为,上述的预设流量治理规则。
进一步地,可见,可为每个微服务所在的容器定制所需要的流量治理规则。
进一步地,当系统应用层的容器之间在进行网络传输时,如果符合网络代理组件转载的治理规则,则按规则进行流量治理工作。
本实施例中,通过适用治理规则可以较好地适应日益复杂的服务和不断增大的服务规模。
进一步地,为了便于理解基于InfiniBand的通信方法第一至第四实施例,此处给出描述容器化服务网格结构的框架示意图,即图7。
在图7中,以集群A与集群B为例,每个集群中虚拟化出虚拟网卡1至4,虚拟网卡即为虚拟RDMA网卡。
可见,不同集群中的虚拟网卡之间可进行RDMA通信,即,容器/容器组通过各自的RDMA网卡接入RDMA网络。
同时,可分别对两组容器集群对应的物理机上部署好RDMA网络,负责系统的网络传输环节,主要处理微服务之间的流量传输工作。
进一步地,若通过升级的方式,则需重新配置容器集群上运行时的网络环境,使其通信时使用RDMA网络通信。
进一步地,当集群A中部署的应用A负责调用和传输数据给集群B中的应用B时,容器/容器组先分配获得RDMA网络IP以及通信涉及的其他容器/容器组分配获得的RDMA网络IP,接着,微服务所在的容器通过提供的RDMA网络进行服务调用。
进一步地,网络代理和控制中枢组件用于实现服务的管理,支持负载均衡、熔断及限流。
更具体地,系统应用层中至少包含两套容器/容器组集群,并分别部署好应用组件,主要适用于处理容器集群的管理和系统的主要业务所需资源的调度,不负责任何的网络设置以及流量治理服务的配置,同时,可以是已经存在的微服务组件。
进一步地,所述读取所述网络代理组件中的预设流量治理规则之前,所述基于InfiniBand的通信方法还包括:
配置预设流量治理规则;
将所述预设流量治理规则装载至所述网络代理组件中;
其中,所述预设流量治理规则包括负载均衡策略规则、限流策略规则及熔断策略规则中的至少一类。
可以理解的是,就流量治理规则的装载环节而言,可定制治理规则,并将定制规则装载至网络代理组件中。
接着,通过网络代理组件可对系统应用层的流量进行分析和转发。
具体地,可通过配置文件的方式在Kubernetes集群中创建预设流量治理规则,如此应用程序就感知不到网络代理组件,也不会和治理规则之间有任何的联系。
同时,网络代理组件代理了应用程序的流量,执行负载均衡、限流和熔断动作。
此外,新的系统在使用RDMA的同时是需要重新设计系统的治理方案的,在不需要对服务的代码做任何改动的同时用最简单的方式来为已部署的服务建立网络。
同时,该网络具有负载均衡、服务间认证及监控等功能。
进一步地,就流量治理规则的具体类型而言,其一,可在网络代理组件中装载负载均衡策略规则。
相应地,所述通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作,具体包括:
通过负载均衡策略规则确定目标负载均衡算法,根据目标负载均衡算法对网络代理组件接收的当前数据进行负载均衡操作。
具体地,可修改对应应用的yaml文件更新副本的个数为2,分别进行版本1规则和版本2规则的注解,用以标识版本1部署和版本2部署,并创建对应的VirtualService和DestinationRule资源。
接着,可设置DestinationRule的spec.trafficPolicy.loadBalance.simple字段,来选择合适的负载均衡算法。例如,可对创建了两个工作负载的服务配置轮询调度(ROUND_ROBIN)算法,这样经过该服务的流量将会被平均地分配到版本1和版本2上。
其中,yaml文件代码片段如下所示,如此便可根据yaml文件的要求在Kubernetes集群中创建对应的VirtualService和DestinationRule对象。
VirtualService:其中设置v1的副本数为2
Figure BDA0003005330630000151
Figure BDA0003005330630000161
DestinationRule:对v1版本进行负载均衡策略配置
Figure BDA0003005330630000162
其二,可在网络代理组件中装载限流策略规则。
相应地,所述通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作,具体包括:
通过限流策略规则确定目标限流策略,根据目标限流策略对网络代理组件接收的当前数据进行限流操作。例如,在请求达到限制速率时,触发目标限流策略中对应的请求丢弃操作。
具体地,可在Kubernetes集群中创建Memquota资源,根据Memquota中对应的规则,使得在请求达到限制的速率时触发限流方案。
可通过yaml文件创建Memquota,Memquota可规定app-a服务在5秒内最多能被访问4次,该策略的效果是在5秒内刷新前台页面5次,可以看到有1次显示app-a服务不可用。
Figure BDA0003005330630000171
其三,可在网络代理组件中装载熔断策略规则。
相应地,所述通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作,具体包括:
通过熔断策略规则确定目标熔断策略,根据目标熔断策略对网络代理组件接收的待处理请求进行熔断控制操作。
例如,在待处理请求的数量处于预设请求数量阈值且当前连接的数量处于预设连接数量阈值时,触发目标熔断策略中对应的熔断控制操作。
具体地,可在Kubernetes集群中创建对应的VirtualService和DestinationRule资源,根据DestinationRule中对应的规则就可以触发相应的熔断机制。
可通过yaml文件创建DestinationRule,其中,connectionPool表示如果对服务发起超过3个HTTP/1.1的连接并且存在5个及以上的待处理请求,就会触发熔断机制。
其中,DestinationRule:connectionPool表示如果对app-a服务发起超过3个HTTP/1.1的连接并且存在5个及以上的待处理请求,outlierDetection表示每10秒扫描一次app-a服务的后端实例,在连续返回两次网关错误的实例中40%会被移出连接池两分钟。
如下所示,
Figure BDA0003005330630000181
本实施例中,通过制定与适用治理规则可以较好地适应日益复杂的服务和不断增大的服务规模。
具体地,通过对各集群中的容器配备网络代理组件的流量治理规则来处理RDMA通信行为,采纳的服务网格模式可使得容器/容器组间的微服务网络及其之间的交互更加容易管理。在对网络流量进行治理的同时,系统的应用只需要关注其本身的业务即可,这些不同类型的治理方法(例如,负载均衡、熔断及流量控制等)是通过服务网格化的网络代理组件来完成的,实现了服务治理与服务本身的解耦。这种特性也使得本实施例不仅适用于新的系统,旧的系统升级也可以适用。
进一步地,若通过流量治理规则对容器间的流量进行对应规则的治理操作,可参见图8所示的流量治理规则的适用示意图。
其中,Node1与Node2表示节点,即物理机,治理规则表示流量治理规则。
本实施例中通过轻量级网络代理能让应用程序无感知地进行流量治理,解耦应用程序的重试、超时、监控、追踪和服务发现。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于InfiniBand的通信程序,所述基于InfiniBand的通信程序被处理器执行时实现如下操作:
对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
在接收到第一容器发出的第一通信请求时,获取所述第一通信请求指向的虚拟RDMA网卡的网络地址;
根据所述网络地址发起RDMA通信行为。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
通过SR-IOV将网络设备上安装的InfiniBand网卡设定为物理功能组件;
通过所述物理功能组件虚拟出作为虚拟功能组件的虚拟RDMA网卡。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
对容器进行服务网格化处理。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
对容器所处的命名空间配置自动注入功能,以对与所述命名空间对应的容器注入网络代理组件;
其中,所述网络代理组件用于接收经过所述容器的当前数据。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
读取所述网络代理组件中的预设流量治理规则;
通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作。
进一步地,所述基于InfiniBand的通信程序被处理器执行时还实现如下操作:
配置预设流量治理规则;
将所述预设流量治理规则装载至所述网络代理组件中;
其中,所述预设流量治理规则包括负载均衡策略规则、限流策略规则及熔断策略规则中的至少一类。
本实施例中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本实施例通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。
此外,参照图9,本发明实施例还提出一种基于InfiniBand的通信装置,所述基于InfiniBand的通信装置包括:虚拟化模块10、挂载模块20以及网络传输模块30;
虚拟化模块10,用于对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
挂载模块20,用于设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
网络传输模块30,用于基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
本实施例中先对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟RDMA网卡;设置虚拟RDMA网卡接口,并通过虚拟RDMA网卡接口挂载虚拟RDMA网卡;基于虚拟RDMA网卡在各容器之间进行RDMA网络传输。可见,本实施例通过将集群容器的网络环境由传统的TCP/IP模式升级至RDMA模式,各容器彼此之间可通过RDMA技术进行网络传输,实现了容器/容器组间的RDMA通信,解决了传统的TCP/IP模式通信效率低下的技术问题。
本发明所述基于InfiniBand的通信装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器、RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者通信设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于InfiniBand的通信方法,其特征在于,所述基于InfiniBand的通信方法包括以下步骤:
对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
2.如权利要求1所述的基于InfiniBand的通信方法,其特征在于,所述基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输,具体包括:
在接收到第一容器发出的第一通信请求时,获取所述第一通信请求指向的虚拟RDMA网卡的网络地址;
根据所述网络地址发起RDMA通信行为。
3.如权利要求1所述的基于InfiniBand的通信方法,其特征在于,所述对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡,具体包括:
通过SR-IOV将网络设备上安装的InfiniBand网卡设定为物理功能组件;
通过所述物理功能组件虚拟出作为虚拟功能组件的虚拟RDMA网卡。
4.如权利要求1所述的基于InfiniBand的通信方法,其特征在于,所述对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡之后,所述基于InfiniBand的通信方法还包括:
对容器进行服务网格化处理。
5.如权利要求4所述的基于InfiniBand的通信方法,其特征在于,所述对容器进行服务网格化处理,具体包括:
对容器所处的命名空间配置自动注入功能,以对与所述命名空间对应的容器注入网络代理组件;
其中,所述网络代理组件用于接收经过所述容器的当前数据。
6.如权利要求5所述的基于InfiniBand的通信方法,其特征在于,所述基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输之后,所述基于InfiniBand的通信方法还包括:
读取所述网络代理组件中的预设流量治理规则;
通过所述预设流量治理规则对所述网络代理组件接收的当前数据进行流量控制操作。
7.如权利要求6所述的基于InfiniBand的通信方法,其特征在于,所述读取所述网络代理组件中的预设流量治理规则之前,所述基于InfiniBand的通信方法还包括:
配置预设流量治理规则;
将所述预设流量治理规则装载至所述网络代理组件中;
其中,所述预设流量治理规则包括负载均衡策略规则、限流策略规则及熔断策略规则中的至少一类。
8.一种网络设备,其特征在于,所述网络设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行基于InfiniBand的通信程序,所述基于InfiniBand的通信程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于InfiniBand的通信方法的步骤;
其中,所述网络设备与InfiniBand网卡连接。
9.一种存储介质,其特征在于,所述存储介质上存储有基于InfiniBand的通信程序,所述基于InfiniBand的通信程序被处理器执行时实现如权利要求1至7中任一项所述的基于InfiniBand的通信方法的步骤。
10.一种基于InfiniBand的通信装置,其特征在于,所述基于InfiniBand的通信装置包括:
虚拟化模块,用于对网络设备上安装的InfiniBand网卡进行虚拟化,得到虚拟远程直接内存访问RDMA网卡;
挂载模块,用于设置虚拟RDMA网卡接口,并通过所述虚拟RDMA网卡接口挂载所述虚拟RDMA网卡;
网络传输模块,用于基于所述虚拟RDMA网卡在各容器之间进行RDMA网络传输。
CN202110360394.1A 2021-04-02 2021-04-02 基于InfiniBand的通信方法、设备及存储介质 Pending CN113162802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360394.1A CN113162802A (zh) 2021-04-02 2021-04-02 基于InfiniBand的通信方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360394.1A CN113162802A (zh) 2021-04-02 2021-04-02 基于InfiniBand的通信方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113162802A true CN113162802A (zh) 2021-07-23

Family

ID=76886242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360394.1A Pending CN113162802A (zh) 2021-04-02 2021-04-02 基于InfiniBand的通信方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113162802A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742079A (zh) * 2021-09-10 2021-12-03 安超云软件有限公司 K8s七层负载均衡策略实现的方法及应用
CN114374609A (zh) * 2021-12-06 2022-04-19 东云睿连(武汉)计算技术有限公司 基于rdma设备的深度学习作业运行方法及系统
CN114640678A (zh) * 2022-03-14 2022-06-17 明阳产业技术研究院(沈阳)有限公司 基于SR-IOV的Pod管理方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110311948A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 容器/容器组间的通信方法及基于此的容器云网络系统
US20200112487A1 (en) * 2018-10-05 2020-04-09 Cisco Technology, Inc. Canary release validation mechanisms for a containerized application or service mesh
CN111614570A (zh) * 2020-04-20 2020-09-01 北京邮电大学 一种用于服务网格的流量控制系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200112487A1 (en) * 2018-10-05 2020-04-09 Cisco Technology, Inc. Canary release validation mechanisms for a containerized application or service mesh
CN110311948A (zh) * 2019-05-17 2019-10-08 北京瀚海星云科技有限公司 容器/容器组间的通信方法及基于此的容器云网络系统
CN111614570A (zh) * 2020-04-20 2020-09-01 北京邮电大学 一种用于服务网格的流量控制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严丽云: "基于运营商视角的服务网格技术评测与集成方案", 《电信科学》 *
苏俞頔: "HPC互联模拟环境网络接口虚拟化技术的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742079A (zh) * 2021-09-10 2021-12-03 安超云软件有限公司 K8s七层负载均衡策略实现的方法及应用
CN113742079B (zh) * 2021-09-10 2024-05-03 安超云软件有限公司 K8s七层负载均衡策略实现的方法及应用
CN114374609A (zh) * 2021-12-06 2022-04-19 东云睿连(武汉)计算技术有限公司 基于rdma设备的深度学习作业运行方法及系统
CN114374609B (zh) * 2021-12-06 2023-09-15 东云睿连(武汉)计算技术有限公司 基于rdma设备的深度学习作业运行方法及系统
CN114640678A (zh) * 2022-03-14 2022-06-17 明阳产业技术研究院(沈阳)有限公司 基于SR-IOV的Pod管理方法、设备及介质

Similar Documents

Publication Publication Date Title
US10778521B2 (en) Reconfiguring a server including a reconfigurable adapter device
CN113162802A (zh) 基于InfiniBand的通信方法、设备及存储介质
US9571332B2 (en) Methods and apparatuses for remote application provisioning automation over virtualized IT infrastructure
US10708232B2 (en) Techniques for communication in hybrid cloud system
US20190141119A1 (en) Technologies for transparent function as a service arbitration for edge systems
US9350682B1 (en) Compute instance migrations across availability zones of a provider network
CN100399273C (zh) 一种虚拟机系统及其硬件配置方法
EP3158448A2 (en) Integrated apis and uis for consuming services across different distributed networks
CN111212116A (zh) 一种基于容器云的高性能计算集群创建方法和系统
US10728169B1 (en) Instance upgrade migration
US20210240544A1 (en) Collaboration service to support cross-process coordination between active instances of a microservice
US11388164B2 (en) Distributed application programming interface whitelisting
US11709978B1 (en) Optimization of configurable distributed computing systems
EP3387816A1 (en) Connecting and retrieving security tokens based on context
US20100162236A1 (en) Using Stored State To Instantiate A Virtual Computer
US11537425B2 (en) Methods for application deployment across multiple computing domains and devices thereof
Penchalaiah et al. Clustered Single-Board Devices with Docker Container Big Stream Processing Architecture.
CN115016862A (zh) 基于Kubernetes集群的软件启动方法、装置、服务器及存储介质
JP2024501005A (ja) コンテナクラスタのための管理方法および装置
CN111176714A (zh) 软件系统开发方法、装置、终端设备及存储介质
US20220350618A1 (en) Peer booting operating systems on an edge network
US12020038B2 (en) Peer booting operating systems on an edge network
CN114281443B (zh) 一种云桌面系统及方法
US20230266983A1 (en) Physical hardware controller for provisioning services on processing devices
Bhonagiri et al. Constraint based network communications in a virtual environment of a proprietary hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication