CN114731335A - 用于网络消息排序的装置和方法 - Google Patents

用于网络消息排序的装置和方法 Download PDF

Info

Publication number
CN114731335A
CN114731335A CN202180006526.9A CN202180006526A CN114731335A CN 114731335 A CN114731335 A CN 114731335A CN 202180006526 A CN202180006526 A CN 202180006526A CN 114731335 A CN114731335 A CN 114731335A
Authority
CN
China
Prior art keywords
messages
message
series
received
programmable switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006526.9A
Other languages
English (en)
Inventor
M·拉迪
D·武齐尼奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Digital Technologies Inc
Original Assignee
Western Digital Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Digital Technologies Inc filed Critical Western Digital Technologies Inc
Publication of CN114731335A publication Critical patent/CN114731335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/34—Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Abstract

可编程交换机包括用于与网络上的装置进行通信的多个端口。该可编程交换机的电路被配置为经由至少一个端口从网络上的第一装置接收一系列相关消息，并且至少部分地基于包括在一个或多个消息中的序号，确定该一个或多个消息是否被无序接收。通过延迟至少一个消息，该一系列相关消息由可编程交换机按照包括在该一系列相关消息中的序号所指示的顺序经由一个或多个端口发送到第二装置。根据一个方面，网络控制器选择第一装置与第二装置之间的可编程交换机作为消息定序器，以用于使用所存储的网络拓扑对无序消息进行重新排序。

Description

用于网络消息排序的装置和方法
相关申请的交叉引用
本申请要求于2020年8月17日提交的名称为“DEVICES AND METHODS FOR NETWORKMESSAGE SEQUENCING”(代理人案卷号：WDA-5072P-US)的美国临时申请第63/066,754号的优先权，其通过引用整体并入本文。本申请还要求于2021年2月12日提交的名称为“DEVICESAND METHODS FOR NETWORK MESSAGE SEQUENCING”(代理人案卷号：WDA-5072-US)的美国申请第17/174,681号的优先权，其通过引用整体并入本文。本申请涉及于2019年8月22日提交的名称为“DISTRIBUTED CACHE WITH IN-NETWORK PREFETCH”的美国申请第16/548,116号(代理人案卷号：WDA-4307-US))，并于2020年11月5日公开为美国专利申请公开第2020/0349080号，其通过引用整体并入本文。本申请还涉及于2019年11月26日提交的名称为“FAULT TOLERANT DATA COHERENCE IN LARGE-SCALE DISTRIBUTED CACHE SYSTEMS”的美国申请第16/697,019号(代理人案卷号：WDA-4500-US)，并于2020年11月5日公开为美国专利申请公开第2020/0351370号，其通过引用整体并入本文。本申请还涉及于2020年6月26日提交的名称为“DEVICES AND METHODS FOR MANAGING NETWORK TRAFFIC FOR ADISTRIBUTED CACHE”的美国申请第16/914,206号(代理人案卷号：WDA-4952-US)，其通过引用整体并入本文。本申请还涉及于2020年6月30日提交的名称为“DEVICES AND METHODSFOR FAILURE DETECTION AND RECOVERY FOR A DISTRIBUTED CACHE”的美国申请第16/916,730号(代理人案卷号：WDA-4977-US)，其通过引用整体并入本文。本申请还涉及于2021年2月12日提交的名称为“MANAGEMENT OF NON-VOLATILE MEMORY EXPRESS NODES”的美国申请第17/175,449号(代理人案卷号：WDA-5254-US)，其通过引用整体并入本文。
背景技术
非易失性存储器Express(NVMe)是一种用于存储装置(如固态驱动器(SSD))的新兴主机控制器接口，以提高每秒输入/输出操作(IOPS)的性能。尽管NVMe最初被设计成与在计算机系统内的外围组件互连Express(PCIe)接口一起使用，但是最新的NVMe扩展(如基于Fabric的NVMe(NVMeoF))可以支持对NVMe装置的远程访问，如使用远程直接内存访问(RDMA)(例如，基于融合以太网的RDMA(RoCE)和(iWarp)和光纤通道(FC)传输结构体。然而，这种协议通常依赖于无损且可预测的无限带宽(InifiniBand)网络，而不是数据中心中常见的有损以太网。
将NVMeoF部署在基于树的网络拓扑或以太网结构的数据中心中会遇到处理无序的消息传递的挑战。当前NVMeoF协议(如RoCE、iWarp和FC)不能有效地处理无序的消息传递。在这方面，当前NVMeoF协议通过丢弃消息或分组并依靠发送装置来重新传输被丢弃的分组，以处理这种无序的消息传递。这种方法会给终端节点装置带来显著的延迟和开销，从而阻碍NVMe的其他高速性能。这对于具有密集输入/输出(I/O)操作的大规模数据中心而言尤其是个问题。
另外，取决于完全可靠的传输结构体的现有RDMA NVMeoF协议需要昂贵的支持数据中心桥接(DCB)的交换机来提供无损通信，并且其可扩展性有限。现有的分组丢失检测和恢复通常也依赖于端节点装置来检测丢失的分组并请求对丢失的分组进行重新传输。然而，这种方法会对使用NVMe的低延迟性能优势产生负面影响。
附图说明
通过下文所述的具体实施方式并且结合附图，本公开的实施方案的特征和优势将变得更加显而易见。提供附图和相关联描述是为了说明本公开的实施方案，而不是限制所要求保护的范围。
图1示出了根据一个或多个实施方案的用于实现消息排序的示例性网络环境。
图2是根据一个或多个实施方案的包括在图1的网络环境中的示例性组件的框图。
图3是根据一个或多个实施方案的示例性分组格式。
图4是根据一个或多个实施方案的消息排序过程的流程图。
图5是根据一个或多个实施方案的消息检索过程的流程图。
图6是根据一个或多个实施方案的可编程开关选择和编程过程的流程图。
具体实施方式
在以下具体实施方式中阐述了许多具体细节，以便提供对本公开的彻底理解。然而，对于本领域普通技术人员显而易见的是，可在不具有这些具体细节中的一些细节的情况下实践所公开的各种实施方案。在其他情况下，并未详细示出众所周知的结构和技术以避免不必要地模糊各种实施方案。
示例性网络环境
图1示出了根据一个或多个实施方式的用于实现消息排序的示例性网络100。如图1所示，服务器机架101A、101B、101C和101D中的终端节点装置(例如，图2中的终端节点装置103)分别使用架顶(ToR)交换机102A、102B、102C和102D来与其他终端节点装置进行通信。服务器机架101中的终端节点装置可以包括例如服务器或处理节点(如精简指令集计算机(RISC)-V内核)以及存储器装置(如固态驱动器(SSD)或硬盘驱动器(HDD))。在一些实施方式中，图1中的网络环境100可以用作数据中心的至少一部分和/或用于分布式处理，如用于分布式机器学习或大数据分析。
网络100可以包括例如存储区域网络(SAN)、局域网(LAN)和/或广域网(WAN)，如互联网。在这方面，服务器机架101、ToR交换机102、聚合交换机104、核心交换机106、缓冲服务器105和/或网络控制器120中的一个或多个的物理位置可以不同。服务器支架101、ToR交换机102、聚合交换机104、核心交换机106、缓冲服务器105和/或网络控制器120可以使用一个或多个标准(例如以太网)进行通信。
如图1的实例所示，服务器机架101A、101B、101C和101D中的每一个都连接到ToR或边缘交换机102。在其他实施方式中，每个机架101可以与多个ToR或边缘交换机102进行通信来实现冗余。ToR交换机102可以包括可编程交换机(如64端口ToR P4可编程交换机)，其向位于服务器机架101中的终端节点路由消息以及从位于服务器机架101中的终端节点路由消息。此类可编程交换机可以包括例如具有被配置为提供40千兆以太网(GE)帧速率的端口的Barefoot Networks Tofino专用集成电路(ASIC)。可以用作ToR交换机102的其他类型的可编程交换机可以包括例如Cavium Xpliant可编程交换机或Broadcom Trident 3可编程交换机。在一些实施方式中，并且如以上通过引用的方式并入本文中的申请第16/697,019号、第16/914,206号和第16/916,730号中所讨论的，每个ToR交换机102可以为存储在其相应服务器机架101的终端节点装置中的数据提供集中式数据一致性管理，如用于分布式缓存。
聚合交换机104A和104B在ToR交换机102A和102B之间为保留在集群1081中的消息路由消息。另外，聚合交换机104A和104B将消息从ToR交换机102A和102B路由到核心交换机106A和106B，用于在集群1081和1082之间行进的消息。在图1的实例中，机架101A和101B、ToR交换机102A和102B以及聚合交换机104A和104B被组合在一起作为集群1081。机架101C和101D、ToR交换机102C和102D以及聚合交换机104C和104D被组合在一起作为集群1082。
聚合交换机104A、104B、104C和104D可以包括可编程交换机(如64端口ToR P4可编程交换机)，其向其集群108中的ToR交换机102路由消息或从其集群108中的ToR交换机102路由消息。此类可编程交换机可以包括例如具有被配置为提供40千兆以太网(GE)帧速率的端口的Barefoot Networks Tofino专用集成电路(ASIC)。可以用作聚合交换机104的其他类型的可编程交换机可以包括例如Cavium Xpliant可编程交换机或Broadcom Trident 3可编程交换机。
核心交换机106A和106B提供集群108之间的通信以及集群与网络控制器120的通信。网络控制器120与聚合交换机104和核心交换机106进行通信。在一些实施方式中，网络控制器120可以包括软件定义网络(SDN)控制器。如下面更详细讨论的，网络控制器120可以使用网络拓扑来选择可编程交换机(例如，聚合交换机104或核心交换机106)作为消息定序器，用于对从第一终端装置发送到第二终端装置的一系列相关消息中的无序消息进行重新排序。另外，网络控制器120可以使用所存储的网络拓扑来对所选的可编程开关进行编程，以使得能够使用网络100中具有相同跳数或分段数的不同路径来以近似相同的行进时间从所选择的可编程交换机向第二终端装置发送一系列相关消息中的不同消息。
通常，使用来自被选作消息定序器的可编程交换机的拓扑感知路由可以减少由目标终端装置所接收的无序分组的数量。在图1的实例中，网络控制器120可以选择聚合交换机104来对同一集群内的两个终端装置之间的消息进行排序。对于在集群之间行进的消息，网络控制器120可以选择核心交换机106作为消息定序器。在一些实施方式中，ToR交换机102可以用作消息定序器，该消息定序器用于同一服务器机架101中的两个终端节点装置之间发送的一系列相关消息。
当用作消息定序器时，核心交换机106或聚合开关104可以将针对一系列相关消息接收的消息发送到缓冲服务器105，以临时存储所接收的消息。如果确定来自一系列相关消息的消息丢失，则缓冲服务器105可以用于检索丢失消息，或者可以从发起一系列相关消息的传输的第一终端装置检索丢失消息。在这方面，一些实施方式可以包括多级缓冲服务器105和消息定序器，使得离朝向目标终端装置的路径更远的消息定序器可以从较低级别的消息定序器所使用的缓冲服务器中检索丢失消息。因为可编程交换机(例如，聚合交换机104和核心交换机106)的本地存储器可能是有限的，所以使用缓冲服务器105可以提供额外的存储器用于存储消息。另外，通常情况下，从网络内位置(如缓冲服务器105)检索丢失消息比从第一终端装置恢复丢失消息更快，这是因为缓冲服务器105的位置更靠近目标终端装置，并且可编程交换机提供了更快的消息处理。
通过以下方式前述布置可以改进无序消息的处理：检索丢失消息并且在一系列相关消息仍在传输中或在网络中时将该一系列相关消息正确地排序回其预期顺序。通常，这改善了在有损网络(如以太网)中采用无损通信的接口(如NVMe)的使用。如上所述，通常，当前NVMe over Fabric(NVMeoF)协议通过丢弃消息来处理无序消息递送，并且依靠发送端装置以重新传输丢弃的分组。这种方法会给终端装置带来显著的延迟和开销，从而阻碍NVMe的预期高速性能。这对于具有大量网络流量的大规模数据中心而言尤其是个问题。将可编程交换机(如图1的实例中的聚合交换机104和核心交换机106)作为网络内消息定序器也不需要昂贵的数据中心桥接(DCB)能力，该能力也会限制可扩展性。
在一些实施方式中，ToR交换机102、聚合交换机104和核心交换机106可以包括例如可编程交换机，该可编程交换机可以编程以处理不同的自定义协议。可编程交换机102、104和106可以包括可编程匹配动作管线，以提供可配置的数据平面和自定义的分组处理能力。此类可编程开关的实例可以在共同待决的美国申请第16/548,116号、第16/697,019号、第16/914,206号和第16/916,730号中找到，其通过引用并入本文。
图1的实例中的可编程交换机102、104和106的数据平面可以控制可编程交换机的点对点分组转发行为，如使用L1/L2以太网分组交换、分组准入控制以及可以形成图2所示的交换机模块24A和31A的一部分的调度或排队。可编程交换机102、104和106的数据平面是可编程的并且与高级控制平面分隔，该高级控制平面为网络100中的装置之间的分组或消息确定端到端路由。在这方面，控制平面可以用于处理不同的过程，如下面更详细讨论的图4和图5中的过程。
可编程开关的使用允许通过限定自定义分组格式和处理行为来配置高性能和可扩展的以存储器为中心的架构，如下文参考图3至5所讨论的那些。可编程交换机102、104和106还允许协议无关交换机架构和使用现成的交换机(与专门设计的片上网络(NoC)相反)进行消息排序。另外，通常情况下，可编程交换机102、104和106的处理资源(如使用内容可寻址存储器(CAM)或三元CAM(TCAM)表格或其他类型的匹配动作表)可以比在终端节点装置上更快地处理一系列相关消息。
参考本公开，本领域普通技术人员将理解，其他实施方式可以包括与图1的实例中所示不同数量或布置的服务器机架101、聚合交换机104或核心交换机106。在这方面，图1中所示的网络100用于说明的目的，并且本领域普通技术人员将理解，网络100可以包括比图1的实例中所示更多的服务器机架101以及交换机或路由器。在这方面，其他实施方式可以包括网络100中的附加级别，所述附加级别可以包括附加的缓冲服务器105和/或可编程交换机。在一个实例变型中，可以省略聚合开关104，使得除ToR开关102之外，核心开关106也充当消息定序器。作为另一实例变型，在可编程交换机可以本地缓冲一系列相关消息的消息的实施方式中，可以省略缓冲服务器105。
图2是根据一个或多个实施方案的包括在图1的网络100中的示例性组件的框图。如图2所示，终端节点装置103包括处理器136、存储器138和用于在网络100上进行通信的接口140。尽管在图2的实例中仅示出了终端节点装置103，但是图1中的服务器机架101中的其他终端节点装置可以具有与终端节点装置103相似或不同的组件。
处理器136可以执行指令(如来自终端节点模块26指令)以及应用程序27，所述应用程序可以包括操作系统(OS)和/或由终端节点装置103使用的其他应用程序。处理器136可包括电路，如中央处理单元(CPU)、图形处理单元(GPU)、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、硬连线逻辑、模拟电路和/或它们的组合。在一些实施方式中，处理器136可以包括片上系统(SoC)，该系统可以与存储器138和接口140中的一个或两个组合。处理器136可以包括一个或多个缓存级别(例如，L1、L2和/或L3缓存)，其中数据从存储器138上加载或刷新到存储器中。此类数据可以包括例如由处理器136处理的部分代码和相关数据。在一些实施方式中，终端节点装置103可以形成分布式缓存的一部分，如相关申请第16/548,116号、第16/697,019号、第16/914,206号和第16/916,730号所述，这些申请通过引用并入本文。在此类实施方式中，可以经由一个或多个可编程交换机(如聚合交换机104和/或核心交换机106)从例如不同服务器机架101上的远程存储器装置或终端节点加载数据或缓存行或将其刷新到远程存储器装置或终端节点。
存储器138可以包括例如易失性RAM(如SRAM、DRAM)、非易失性RAM或其他固态存储器，其由处理器136用作内部主存储器以存储数据。存储在存储器138中的数据可以包括从另一个终端节点装置读取的数据、待存储在另一个终端节点装置中的数据、从终端节点模块26或应用程序27加载以供处理器136执行的指令和/或在执行这些应用程序时使用的数据。
在一些实施方式中，存储器138可以包括例如一个或多个旋转磁盘或非易失性固态存储器(如闪存)。尽管本文中的描述通常是指固态存储器，但应理解，固态存储器可包括各种类型的存储器设备中的一种或多种，如闪存集成电路、NAND存储器(例如，单层单元(SLC)存储器、多层单元(MLC)存储器(例如，两层或更多层)或它们的任何组合)、NOR存储器、EEPROM、其他离散的非易失性存储器(NVM)芯片或它们的任何组合。在其他实施方式中，存储器138可以包括，例如，存储级内存(SCM)，如硫族化合物RAM(C-RAM)、相变存储器(PCM)、可编程金属化单元RAM(PMC-RAM或PMCm)、双向通用存储器(OUM)、电阻式RAM(RRAM)、铁电存储器(FeRAM)、磁阻RAM(MRAM)、3D-XPoint存储器和/或其他类型的固态存储器。在一些实施方式中，终端节点装置103可以包括存储装置(如与存储器138分离的SSD或HDD)。
如图2所示，存储器138存储终端节点模块26，该模块可以提供用于指令，以将NVMe消息封装在以太网帧中(例如，使用图3所示的分组格式32)，对这些消息进行优先级排序以便在网络100中更快地处理，与可编程交换机(例如，ToR交换机102、聚合交换机104和核心交换机106)进行通信，以及对一系列相关消息进行排序，如下文参考图4和图5的过程更详细讨论的。此类指令还可以包括用于维护存储在分布式缓存中的数据(例如，缓存行)的一致性的协议。在一些实施方式中，终端节点模块26可以包括终端节点装置103的OS使用的驱动程序。
接口140被配置为将终端节点装置103与网络100中的装置(如ToR交换机102、聚合交换机104A或核心交换机106A)对接。接口140可以使用例如以太网等标准进行通信。在这方面，图2中的终端节点装置103、聚合交换机104A、核心交换机106A、网络控制器120和缓冲服务器1051的物理位置可以不同，而是可以通过网络(如LAN或WAN)进行通信。如本领域普通技术人员将理解的，接口140可以作为处理器136的一部分。
在图2的实例中，聚合交换机104A包括端口131A、电路133A和存储器135A。端口131A可以包括例如一个或多个不同类型的端口(如以太网、光纤通道或InfiniBand端口)，以经由图1中的ToR交换机102、核心交换机106A和缓冲服务器1051与网络100中的装置(如终端节点装置103)进行通信。电路133A可以包括电路，如ASIC、微控制器、DSP、FPGA、硬连线逻辑、模拟电路和/或其组合。在一些实施方式中，电路133A可以包括可以与存储器135A组合的SoC。
聚合交换机104A的存储器135A可以包括例如易失性RAM(如DRAM)、非易失性RAM或其他固态存储器(如寄存器阵列)，电路133A使用这些存储器来执行从聚合交换机模块31A或聚合交换机104A的固件加载的指令和/或在执行这些指令时使用的数据(如聚合交换机104A或网络路径30A的连接状态28A)。连接状态28A可以包括由聚合交换机104A维护的数据结构，该数据结构指示第一终端节点装置和第二终端节点装置之间的通信的连接状态。在一个实施方式中，连接状态可以包括NVMe连接状态，例如初始化、数据传输和终止化。网络路径30A可以包括由网络控制器120编程的转发规则，使得来自一系列相关消息的消息从聚合交换机104A向目标终端节点装置行进相同跳数或分段数。
如下文更详细地讨论的，聚合交换机模块31A可以包括用于执行如下文参考图4和图5讨论的过程的指令，以对一系列相关消息进行排序并从一系列相关消息中检索丢失消息。如上所述，聚合交换机104A可以包括可编程匹配动作阶段，例如具有TCAM。在此类实施方式中，电路133A和存储器135A可以包括这样的可编程匹配动作阶段。
在图2的实例中，网络控制器120可以将特定的可编程交换机(如聚合交换机104A或核心交换机106A)指定或设置为用于待从第一终端装置发送到第二终端装置的一系列相关消息的网络内消息定序器。如下文参考图6的过程更详细地讨论的，网络控制器120可以基于第一终端装置和第二终端装置的位置选择可编程交换机作为一系列相关消息的消息定序器。例如，网络控制器120可以选择核心交换机106A作为消息定序器，该消息定序器用于待从终端节点装置103发送到位于不同集群(例如，图1中的集群1082)中的不同终端节点装置的一系列相关消息。在另一实例中，网络控制器120可以选择聚合交换机104A作为消息定序器，该消息定序器用于待从终端节点装置103发送到位于同一集群(例如，图1中的集群1081)中的不同服务器机架101内的不同终端节点装置的一系列相关消息。
图2的实例中的网络控制器120维护网络拓扑16。如下文参考图4至6更详细讨论的，网络拓扑16向网络控制器120提供关于网络100中装置之间的路径的信息。网络拓扑16可以在初始化或网络发现过程中构建。可以基于网络拓扑16选择可编程交换机作为一系列相关消息的消息定序器。在一些实施方式中，可以选择多个消息定序器，使得一系列相关消息在多个路径上可编程交换机处被定序或排序。
另外，网络控制器120可以对已经被选作消息定序器的可编程交换机进行编程，该可编程交换机具有不同路径，这些不同路径从可编程交换机到终端节点装置具有相同跳数或分段数，以接收一系列相关消息。这可以允许可编程交换机使用具有类似延迟的路径，用于一系列相关消息中不同消息的路径传输。在这方面，网络内或路径上消息定序器的这种编程可以提供消息的智能拓扑感知路由。
网络控制器120的处理器124执行网络控制器模块18，以根据需要选择消息定序器并对消息定序器进行编程。处理器124可以包括电路，如CPU、GPU、微控制器、DSP、ASIC、FPGA、硬连线逻辑、模拟电路和/或其组合。在一些实施方式中，处理器124可以包括SoC，该系统可以与存储器126和接口128中的一个或两个组合。存储器126可以包括例如易失性RAM(如DRAM)、非易失性RAM或其他固态存储器，其被处理器124用于存储数据。网络控制器120经由接口128与核心交换机106A进行通信，该接口被配置为与核心交换机106A的端口130A进行对接，并且可以根据标准(如以太网)进行对接。
核心交换机106A包括端口130A、电路132A和存储器134A。端口130A可以包括例如一个或多个不同类型的端口(如以太网、光纤通道或InfiniBand端口)，以与网络100中的装置(如核心交换机106A和缓冲服务器1051)进行通信。电路132A可以包括电路，如ASIC、微控制器、DSP、FPGA、硬连线逻辑、模拟电路和/或其组合。在一些实施方式中，电路132A可以包括可以与存储器134A组合的SoC。
核心交换机106A的存储器134A可以包括例如易失性RAM(如DRAM)、非易失性RAM或其他固态存储器(如寄存器阵列)，电路132A使用这些存储器来执行从核心交换机模块24A或核心交换机106A的固件加载的指令和/或在执行这些指令时使用的数据(如连接状态20A或网络路径22A)。连接状态20A可以包括由核心交换机106A维护的数据结构，该数据结构指示第一终端节点装置和第二终端节点装置之间的通信的连接状态。在一个实施方式中，连接状态可以包括NVMe连接状态，例如初始化、数据传输和终止化。网络路径22A可以包括由网络控制器120编程的转发规则，使得来自一系列相关消息的消息从核心交换机106A向目标终端节点装置行进相同跳数或分段数。
如下文更详细地讨论的，核心交换机模块24A可以包括用于执行如下文参考图4和图5讨论的过程的指令，以对一系列相关消息进行排序并从一系列相关消息中检索丢失消息。如上所述，核心交换机106A可以包含可编程匹配动作阶段，例如具有TCAM。在此类实施方式中，电路132A和存储器134A可以包括这样的可编程匹配动作阶段。
缓冲服务器1051包括处理器1161、存储器1181和接口1221。如下文参考图5更详细地讨论的，缓冲服务器1051可以由网络内或路径内消息定序器(例如，核心交换机106A或聚合交换机104A)使用，以在一系列相关消息中丢失消息的情况下，将一系列相关消息缓冲或临时存储为存储器1181中的缓冲消息121。在这种情况下，消息定序器可以从缓冲服务器1051(如果可用)或者从发送一系列相关消息的设备中检索丢失消息。然后，消息定序器可以从缓冲服务器1051检索缓冲的消息，以正确的顺序对消息(包括检索到的丢失消息)进行排序或发送。
如上所述，某些接口(如NVMe)可能需要起始终端节点装置与目标终端节点装置之间的无损通信。当需要发送和接收终端节点装置对丢失的和无序的消息进行处理时，例如通过丢弃后续无序消息并重新发送一系列相关消息的整个剩余部分，使用数据中心中常见的以太网结构或其他有损传输结构会抵消使用NVMe的低延迟优势。此问题进一步由在大多数数据中心中使用多级树形拓扑加剧，在这些数据中心中，具有不同延迟的不同路径可以用于在一系列相关消息中对不同消息进行路由。如在本公开中使用网络内或路径上消息定序器可以更好地确保以正确的顺序传递一系列相关消息。
缓冲服务器1051的处理器1161执行缓冲服务器模块141，以根据需要缓冲和发送缓冲的消息121。处理器1161可以包括电路，如CPU、GPU、微控制器、DSP、ASIC、FPGA、硬连线逻辑、模拟电路和/或其组合。在一些实施方式中，处理器1161可以包括SoC，该系统可以与存储器1181和接口1221中的一个或两个组合。存储器1181可以包括例如易失性RAM(如DRAM)、非易失性RAM或其他固态存储器，其被处理器1161用于存储数据。缓冲服务器1051经由接口1221与核心交换机106A和聚合交换机104A进行通信，该接口被配置为与核心交换机106A的一个或多个端口130A和聚合交换机104A的一个或多个端口131A进行对接。如下文更详细讨论的，接口1221可以根据标准(如RDMA)进行对接，其中消息定序器(例如，核心交换机106A或聚合交换机104A)使用RDMA读取和写入命令来直接访问缓冲服务器1051的存储器1181中的消息。
如本领域普通技术人员参考本公开将理解的，其他实施方式可以包括与图2的实例中所示不同的组件或模块的布置或数量。例如，在一些实施方式中，除了存储器138之外，终端节点装置103可以包括存储装置，或者可以省略缓冲服务器1051，使得聚合交换机104A或核心交换机106A可以本地缓冲所接收的消息，以便以正确的顺序传输。
图3是根据一个或多个实施方案的示例性分组格式32。图3的示例性分组格式包括在以太网分组内封装或隧道传送的NVMe封装或消息，用于在网络100的以太网结构上传输。如图3所示，分组格式32包括以太网报头、互联网协议(IP)报头、用户数据报协议(UDP)报头和NVMe封装。在一些实施方式中，分组格式32符合标准802.3第1层帧格式，这可以允许分组与现有的和即将出现的可编程交换机一起操作，例如Barefoot Tofino ASIC交换机。通常，分组格式32可以对应于InfiniBand架构(IBA)分组格式。终端节点模块(如图2中的终端节点模块26)可以允许发起终端节点装置的消息以图3所示的格式构建消息或分组。
如上所述，由图1的可编程交换机(例如，核心交换机106、聚合交换机104和ToR交换机102)处理的消息可以具有自定义分组格式，使得这种可编程交换机可以将一系列相关消息与其他网络流量区分开来。在这样的实施方式中，前导码、起始帧定界符和分组间间隙可以遵循标准802.3第1层帧格式，但是第2层中的部分可以被可编程交换机解析的自定义报头字段所替换，如参考共同待决的相关申请第16/697,019号、第16/914,206号和第16/916,730号更详细讨论的。
在待从源或发送端节点装置发送的数据大于分配给有效载荷的1024字节的情况下，数据被分成一系列相关消息。发送端节点装置可以使用IP报头、UDP报头和基区传输报头的序号、源端口、目的端口、源地址和目的地址(例如，图3中的序号、SeqNo、S-Port、D-Port、SIP和DIP)的字段组合来对这一系列相关消息进行排序。然后，可编程交换机可以从所接收的消息中解析这些字段，以确定一系列相关消息的顺序或者消息是否被无序接收。在这方面，消息定序器可以在其存储器(例如，TCAM)中保留与特定连接相关的所接收消息的一个或多个序号，以识别无序的消息接收。
如上所述，如图1所示，网络或数据中心的多级结构创建多根树形网络拓扑。在图1的实例中，机架101中的服务器或终端节点装置可以通过多个不同路径对不同机架101中的另一终端节点装置的NVMe子系统进行远程NVMe访问。尽管使用多个路径可以提高带宽和延迟方面的整体性能，但是对于终端节点装置之间的给定NVMe连接，其也可能导致无序的NVMe封装传递。当给定连接的NVMe封装大小大于配置的最大传输单元(MTU)(如1500字节)时，NVMe封装的有效载荷被分段，并且包括分段数据的消息可以通过多个不同路径进行传输。
如上所述，每个消息定序器(例如，图2中的聚合交换机104A或核心交换机106A)可以维护用于跟踪与每个NVMe连接(如图2中的连接状态20A或连接状态28A)相关的分组或消息的数据结构。在起始-目标终端节点装置对之间的NVMe连接进行初始化时，消息定序器可以在用于该连接的数据结构中创建一个或多个条目，以在存储器(如TCAM)中指示该连接的状态(如初始化、数据传输和终止化)，以跟踪NVMe连接状态。
消息定序器可以基于可编程交换机的数据平面中的事件来更新连接状态。例如，接收连接的“ConnectionRequest”消息可以触发初始化状态，而“ReadyToUse”消息可以将连接状态更改为数据传输状态。当可编程交换机接收到分组时，入站管线可以解析该消息的报头字段，以检查它是否是NVMeoF消息，以及消息类型(例如，读取或写入请求)。然后，可编程交换机基于所接收的NVMe消息的操作码、发起方和目标ID字段更新NVMe连接状态。
在一些实施方式中，可以执行TCAM操作，以基于操作类型确定待执行的动作，并生成元数据信息(如用于从可编程交换机向目标终端节点装置发送消息的队列)。可编程交换机的流量管理器可以根据所执行的匹配动作将消息发送到特定的出站端口。
另外，可编程交换机可以将已处理的消息的副本缓冲到缓冲服务器105，以用于低延迟丢失消息恢复。在一些实施方式中，可编程交换机可以创建RDMA写入请求，并将其发送到连接至缓冲服务器105的端口。可编程交换机可以通过向所接收的分组添加新的RDMA报头，并且利用如操作类型(例如，RDMA写入)和缓冲服务器105的远程存储器地址的信息来填充字段，以创建RDMA写入请求。
当路径上消息定序器或终端节点装置确定消息已经丢失时，其可以针对所述特定的丢失消息向最近的缓冲服务器105发送消息重传请求。在用作消息定序器的可编程交换机请求丢失消息的实例中，可编程交换机可以生成对丢失消息的RDMA读取请求，并将其发送到缓冲服务器105。响应于RDMA读取请求，缓冲服务器105可以返回所请求的丢失消息的副本。
如图3所示，以太网报头包括目的地址、源地址、802.1Q标签和类型字段。目的地址可以包括用于目标终端节点装置接收消息的媒体访问控制(MAC)地址，并且源地址可以包括用于正在发送消息的起始终端节点装置的MAC地址。类型字段可以指示在帧中封装了哪些协议。例如，类型字段可以指示消息中使用了NVMe协议，这可以使得消息定序器进一步解析消息的其他部分(如UDP报头和NVMe封装)，以识别消息中的序号。
如上文通过引用并入的相关申请第16/916,730号中更详细讨论的，如以上通过引用并入的相关申请号16/916,730中更详细讨论的，以太网报头中的802.1Q标签可以用作优先级指示符，作为IEEE 802.1Qbb基于优先级的流量控制(PFC)标准的一部分。尽管通过具有相同跳数或分段数的路径传输分组可以减少NVMe流量所需的重新排序量，但是其他网络流量可能会导致不同路径上的排队延迟量不同。使用802.1Q标签根据消息中的这种优先级字段使NVMe消息的处理优先于未被识别为NVMe消息的其他消息的处理，这可以允许在其他类型的网络流量之前从可编程交换机发送NVMe消息，以进一步减少对消息重新排序或排序的需要。
在一些实施方式中，可编程交换机可以使用在给定传输周期中的其他队列之前提供的NVMe消息的专用队列，或者可以被分配更大的权重，以便与用于相同端口的其他队列相较而言，每个周期中传输更多的消息。NVMe消息的这种优先化还可以降低由于传输消息的队列过载而导致NVMe消息在可编程交换机处丢失或被丢弃的可能性。
在一些实施方式中，消息定序器可以根据802.1Q标签对消息的处理和传输进行优先级排序。如上文通过引用并入的相关申请第16/914,206号中所讨论的，802.1Q标签的服务等级可以具有八个值中的一个，可编程交换机可以使用该值来确定消息的队列。可编程交换机可以为NVMe消息分配最高优先级，以减少NVMe消息的网络延迟，并减少NVMe消息在可编程交换机处被丢弃的可能性。
在其他实施方式中，响应于可编程交换机识别出嵌入在消息中的NVMe封装(如通过使用以太网报头的类型字段或解析消息来识别NVMe封装)，可以在不使用优先级标签的情况下为NVMe消息分配更高的优先级。在又其他实施方式中，只有当NVMe消息是由消息中的字段(如序号、源端口、目的端口、源IP地址和目的IP地址的字段的组合)标识的一系列相关消息的一部分时，NVMe消息的优先化才会发生，从而有助于减少由于网络中的其他流量而导致的无序消息。
可编程交换机(例如，图1中的核心交换机106或聚合交换机104)可以基于一系列相关消息中包括的所述NVMe封装来将一系列相关消息识别为NVMe消息。例如，解析器和可编程交换机的一个或多个匹配动作级可以识别图3所示的NVMe封装中的非零序号，这可以指示该消息是一系列相关消息的一部分。然后，可编程交换机可以保持跟踪或以其他方式存储所接收的序号，以确定是否接收到无序消息。无序消息的接收可以触发丢失消息确定过程，如下文参考图4更详细讨论的。
如图3的实例中所示，分组格式32的IP报头包括用于IP版本、服务类型、报头长度(H-Length)、区分服务代码点(DSCP)、总长度(T-Length)、标识符(ID)、标记、分段偏移、生存时间(TTL)、协议、报头校验和(H-Checksum)、源IP地址(SIP)和目的IP地址(DIP)的字段。本领域普通技术人员将理解IP报头的这些字段，因此这里不提供对这些字段中的每一个的详细解释。
图3的实例中的分组格式32的UDP报头包括用于源端口、目的端口、长度、校验和、序号和时间戳的字段。与分组格式32的IP报头一样，本领域普通技术人员将理解图3中的UDP报头的字段，因此这里不提供对这些字段中的每一个的详细解释。
分组格式32的NVMe封装包括基区传输报头和RDMA扩展传输报头，以及i-CRC校验和字段。基区传输报头包括用于OpCode、请求的事件(SE)、迁移请求(M)、填充计数(PadCnt)、传输报头版本(T-Ver)、分区键(P-Key)、第一保留字段(Res)、目的队列对(D-QP)、确认请求(Ack-Req)、第二保留字段(Rsv)和分组序号(SeqNo)的字段。
分组格式32中的RDMA扩展传输报头为RDMA操作提供了附加字段(如消息定序器和缓冲服务器105之间的字段)。在这方面，从终端节点装置发送的消息可以不包括RDMA扩展传输报头。相反，作为消息定序器的可编程交换机可以向消息添加RDMA扩展传输报头，以执行RDMA写入和RDMA读取操作，从而直接访问缓冲服务器处的存储器中的缓冲区(例如，图2中的存储器1181中的缓冲消息121)。如图3所示，RDMA扩展传输报头包括用于RDMA操作的虚拟存储器地址(Virtual Mem.Addr.)、授权访问RDMA操作的远程密钥(Key)，以及指示DMA操作长度的直接存储器访问长度(DMA-Len)。
图3中的示例性分组格式32的剩余1024字节是用于承载NVMe消息的数据的有效载荷。如上所述，如果消息的大小超过MTU大小，则发送装置将消息的数据分割成一系列相关消息以适应该数据大小。NVMe封装和UDP报头的序号可用于指示对应于消息有效载荷中的数据片段的消息顺序。
如本领域普通技术人员根据本公开将理解的，其他消息或分组格式可以与可编程交换机一起用于消息排序。例如，与单独的802.1Q标签相反，其他实施方式可以在有效载荷中包括优先级指示符，或者可以根本不包括优先级指示符。在另一实例变型中，其他格式可能不包括RDMA扩展传输报头，如在消息定序器处本地缓冲消息而不是使用缓冲服务器的情况下。
示例性过程
图4是根据一个或多个实施方案的消息排序过程的流程图。图4的过程可以由例如执行核心交换机模块24A的图2中的核心交换机106A的电路132A来执行和/或由执行聚合交换机模块31A的图2中的聚合交换机104A的电路133A来执行。
在方框402中，可编程交换机经由可编程交换机的至少一个端口从第一装置接收一系列相关消息。基于例如序号、源端口和目的端口以及在一系列相关消息的消息中找到的地址，可编程交换机可以将消息识别为属于一系列相关消息。
在方框404中，可编程交换机确定在一系列相关消息中是否接收到一个或多个无序消息。在一些实施方式中，可编程交换机可以保持跟踪相关消息的序号，如通过更新用于存储从消息中提取的序号的存储器位置以指示顺序中最近所接收的消息。可以将新序号与在当前消息之前所接收的消息的先前序号进行比较。如果新序号与先前序号相比没有增加1，则可编程交换机可以确定所接收的消息是无序接收的。
如果在方框404中确定消息尚未按顺序接收，则在方框406中，可编程交换机按照一系列相关消息中包括的序号所指示的顺序，将一系列相关消息发送到第二装置。在一些实施方式中，如果消息的序号没有指示消息是无序接收的，则可以在接收消息时批量发送一系列消息。
另一方面，如果在方框404中确定一系列相关消息中的一个或多个消息被无序接收，则在方框408中，可编程交换机延迟发送一系列相关消息中的至少一个消息，以将一系列相关消息按顺序发送到第二装置。在一些实施方式中，可编程交换机可以本地缓冲第一无序消息之后的阈值数量的消息，直到接收到丢失消息。然后，可编程交换机在收到延迟消息后按顺序发送消息。如下文参考图5更详细讨论的，在对丢失消息应该被接收的序号之后接收的预定数量的消息进行计数之后，或者在用于接收丢失消息的定时器达到阈值之后，可编程交换机可以确定所述丢失消息应该为丢失消息。
参考本公开，本领域普通技术人员将理解，在其他实施方式中，图6的消息排序过程的方框的顺序可以不同。例如，在一些实施方式中，在方框404中确定已经接收到一个或多个无序消息的同时，充当消息定序器的可编程交换机可以在方框406中发送一系列相关消息中的一些消息。
图5是根据一个或多个实施方案的消息检索过程的流程图。图5的过程可以由例如执行核心交换机模块24A的图2中的核心交换机106A的电路132A来执行和/或由执行聚合交换机模块31A的图2中的聚合交换机104A的电路133A来执行。
在方框502中，可编程交换机将所接收的一系列相关消息发送到缓冲服务器(例如，图2中的缓冲服务器1051)，以临时存储相关消息。可编程交换机可以使用RDMA写入命令将消息直接添加到缓冲服务器的存储器中的缓冲区。
在方框504中，可编程交换机至少部分基于相关消息中包括的序号来确定丢失消息已经丢失。如上文针对图4的排序过程所述，可编程交换机可以基于一系列相关消息的所接收消息中的序号来确定尚未按顺序接收到丢失消息。在一些实施方式中，可编程交换机可以对在应该接收到丢失消息的序号之后接收到的一系列相关消息中的消息数量进行计数。替代地，响应于接收到序号在丢失消息的预期序号之后的消息，可编程交换机可以启动用于接收丢失消息的定时器。当定时器超过阈值时或者当所计数的消息数量超过消息数量的阈值时，可编程交换机可以确定丢失消息丢失。
在方框506中，响应于所计数的消息数量或计时器超过相应的阈值，可编程交换机向缓冲服务器和第一终端节点装置中的至少一者请求丢失消息。在一系列相关消息的路径上有多个缓冲服务器和消息定序器的情况下，可编程交换机可以将请求发送至比可编程交换机更靠近起始终端节点装置的最近的较早消息定序器。较早消息定序器可以使用例如RDMA读取请求从其缓冲服务器请求丢失消息，以检索丢失消息。在可编程交换机是唯一的消息定序器或者是离发起一系列相关消息的第一终端节点装置最近的消息定序器的情况下，可编程交换机可以向第一终端节点装置发送对丢失消息的请求，以重新传输丢失消息。
在方框508中，可编程交换机从缓冲服务器或第一装置接收丢失消息。可编程交换机可以使用丢失消息中的序号来识别丢失消息。
在方框510中，按照相关消息的序号所指示的顺序，可编程交换机将一系列相关消息中的剩余消息发送至第二装置。在一些实施方式中，可编程交换机可以在本地缓冲剩余消息，然后可以在方框508中接收到丢失消息之后以正确的顺序发送消息。在其他实施方式中，可编程交换机可以通过例如发出RDMA读取请求从缓冲服务器检索剩余消息中的部分或全部，所述RDMA读取请求允许可编程交换机直接访问存储在缓冲服务器中的缓冲消息。
图6是根据一个或多个实施方案的可编程开关选择和编程过程的流程图。图6的过程可以例如由执行网络控制器模块18的网络控制器120的处理器124来执行。
在方框602中，网络控制器从第一终端节点装置接收待发送到网络中第二终端节点装置的一系列相关消息的指示。第一装置可以被配置为如通过图2中的终端节点模块26向ToR交换机发送这样的指示，作为准备用于传输的一系列相关消息的一部分。然后，ToR交换机可以经由聚合交换机和/或核心交换机将该指示路由到网络控制器。
在方框604中，网络控制器在第一终端节点装置和第二终端节点装置之间的多个可编程交换机中选择一个作为一系列相关消息的消息定序器。网络控制器可以使用存储的网络拓扑(如图2中的网络拓扑16)来选择可编程交换机作为消息定序器。
在方框606中，网络控制器对在方框604中选择的可编程交换机进行编程，以使得能够使用具有相等跳数的不同路径来将一系列相关消息中的不同消息从所选择的可编程交换机发送到第二终端节点装置。网络控制器可以使用所存储的网络拓扑来确定所选择的可编程交换机和网络中具有相同跳数或分段数的第二终端节点装置之间的路径。在一些实施方式中，网络控制器可以使用例如P4编程来对可编程交换机的一个或多个匹配动作级进行编程，以控制一系列相关消息中的消息的路由。
如上所述，路径上或网络内消息定序器的前述使用可以减少由终端节点装置所接收的无序消息的产生。这对于在有损结构(如以太网)上充分利用依赖于无损通信的低延迟接口(如NVMe)尤其有用。另外，使用如上所述的网络内缓冲服务器可以便于将可编程交换机(如核心交换机和聚合交换机)用作消息定序器，以提供比传统上由终端节点装置提供的消息排序和丢失消息的恢复更快的消息排序和丢失消息的恢复。
其他实施方案
本领域的普通技术人员将会知道，结合本文公开的示例所描述的各种例示性逻辑块、模块和过程可以实现为电子硬件、计算机软件或两者的组合。此外，前述过程可体现在计算机可读介质上，该计算机可读介质使处理器或控制器电路执行或实施某些功能。
为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面对各种例示性部件、块和模块进行了总体描述。将此功能性实现为硬件还是软件取决于特定应用和施加在整个系统的设计约束。本领域的普通技术人员可以针对每个特定应用以不同方式实现所描述的功能，但这种实现决策不应被解释为导致脱离本公开的范围。
结合本文公开的示例所描述的各种例示性逻辑块、单元、模块、处理器电路和控制器电路可以用被设计用于执行本文所述功能的通用处理器、DSP、ASIC、FPGA或其他可编程逻辑器件、离散门或晶体管逻辑、分立硬件部件或它们的任何组合来实现或执行。通用处理器可以是微处理器，但是在替代方案中，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器或控制器电路还可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、SoC、结合DSP内核的一个或多个微处理器，或任何其他此类配置。
结合本文公开的示例而描述的方法或过程的活动可直接体现于硬件中、由处理器或控制器电路执行的软件模块中或两者的组合中。该方法或算法的步骤也可以以与示例中提供的顺序另选的顺序执行。软件模块可驻留在RAM存储器、闪存存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动介质、光学介质或本领域中已知的任何其他形式的存储介质中。示例性存储介质联接到处理器或控制器电路，使得该处理器或控制器电路可从该存储介质读取信息和向该存储介质写入信息。在替代方案中，存储介质可以是处理器或控制器电路的组成部分。处理器或控制器电路和存储介质可驻留在ASIC或SoC中。
提供了本公开的示例性实施方案的上述描述，以使得任何本领域普通技术人员能够制作或使用本公开的实施方案。对这些示例的各种修改对于本领域普通技术人员而言将是显而易见的，并且在不脱离本公开的实质或范围的情况下，本文公开的原理可以应用于其他示例。所述实施方案将在所有方面被认为仅仅是示例性的而非限制性的。此外，在以下权利要求书中以“A和B中的至少一者”的形式使用的语言应理解为意指“仅A、仅B或A和B两者”。

Claims (20)

1.一种可编程交换机，所述可编程交换机包括：
多个端口，所述多个端口用于与网络上的装置进行通信；和
电路，所述电路被配置为：
经由所述多个端口中的至少一个端口从所述网络上的第一装置接收一系列相关消息；
至少部分地基于包括在一个或多个消息中的序号，确定所述一系列相关消息中的所述一个或多个消息是否被无序接收；以及
按照包括在所述一系列相关消息中的序号所指示的顺序，经由所述多个端口中的一个或多个端口向第二装置发送所述一系列相关消息。
2.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为基于包括在所述一系列相关消息的每个消息中的NVMe封装，将所述一系列相关消息识别为非易失性存储器Express(NVMe)消息。
3.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为将所接收的一系列相关消息发送到缓冲服务器以临时存储。
4.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为：
至少部分地基于所述一系列相关消息的所接收消息中的序号，确定尚未按顺序接收到丢失消息；
对在应该接收到所述丢失消息的序号之后所接收的所述一系列相关消息中的消息数量进行计数；
将所计数的消息数量与阈值进行比较；以及
响应于所计数的消息数量超过所述阈值：
确定所述丢失消息丢失；以及
向缓冲服务器和所述第一装置中的至少一者请求所述丢失消息。
5.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为：
至少部分地基于所述一系列相关消息的所接收消息中的序号，确定尚未按顺序接收到丢失消息；
启动用于接收所述丢失消息的定时器；以及
响应于所述定时器超过阈值：
确定所述丢失消息丢失；以及
向缓冲服务器和所述第一装置中的至少一者请求所述丢失消息。
6.根据权利要求1所述的可编程交换机，所述可编程交换机进一步包括至少一个存储器，并且其中所述电路被进一步配置为维护指示所述第一装置和所述第二装置之间的NVMe连接状态的数据结构。
7.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为使用在所述可编程交换机和所述第二装置之间具有相等跳数的不同路径，向所述第二装置发送所述一系列相关消息中的不同消息。
8.根据权利要求1所述的可编程交换机，其中所述电路被进一步配置为：
基于所述消息中的优先级字段，将所述一系列相关消息中的消息识别为NVMe消息；以及
使所述消息的处理优先于未被识别为NVMe消息的其他消息。
9.根据权利要求8所述的可编程交换机，其中所述电路被进一步配置为使用专用于NVMe消息的队列来发送所述消息。
10.一种由可编程交换机执行的方法，所述方法包括：
从第一装置接收一系列相关消息；
至少部分地基于包括在所述一个或多个消息中的序号，确定所述一系列相关消息中的一个或多个消息是否被无序接收；以及
响应于确定一个或多个消息被无序接收，延迟发送所述一系列相关消息中的至少一个消息，从而将所述一系列相关消息按顺序发送到第二装置。
11.根据权利要求10所述的方法，所述方法进一步包括将所述一系列相关消息识别为非易失性存储器Express(NVMe)消息。
12.根据权利要求10所述的方法，所述方法进一步包括将所接收的一系列相关消息发送到缓冲服务器以临时存储。
13.根据权利要求10所述的方法，所述方法进一步包括：
至少部分地基于所述一系列相关消息的所接收消息中的序号，确定尚未按顺序接收到丢失消息；
对在应该接收到所述丢失消息的序号之后所接收的所述一系列相关消息中的消息数量进行计数；
将所计数的消息数量与阈值进行比较；以及
响应于所计数的消息数量超过阈值：
确定所述丢失消息丢失；以及
向缓冲服务器和所述第一装置中的至少一者请求所述丢失消息。
14.根据权利要求10所述的方法，所述方法进一步包括：
基于所述一系列相关消息的所接收消息中的序号，确定尚未按顺序接收到丢失消息；
启动用于接收所述丢失消息的定时器；以及
响应于所述定时器超过阈值：
确定所述丢失消息丢失；以及
向缓冲服务器和所述第一装置中的至少一者请求所述丢失消息。
15.根据权利要求10所述的方法，所述方法进一步包括维护指示所述第一装置和所述第二装置之间的NVMe连接状态的数据结构。
16.根据权利要求10所述的方法，所述方法进一步包括使用在所述可编程交换机和所述第二装置之间具有相等跳数的不同路径，向所述第二装置发送所述一系列相关消息中的不同消息。
17.根据权利要求10所述的方法，所述方法进一步包括：
基于所接收消息中的优先级字段，将所接收消息识别为NVMe消息；以及
使所接收消息的处理优先于未被识别为NVMe消息的其他消息。
18.根据权利要求17所述的方法，所述方法进一步包括使用专用于NVMe消息的队列来发送所述消息。
19.一种网络控制器，所述网络控制器包括：
至少一个存储器，所述至少一个存储器用于存储用于网络的网络拓扑；
接口，所述接口被配置为与所述网络上的多个可编程交换机进行通信；和
用于使用所存储的网络拓扑在所述网络上的第一装置和第二装置之间选择可编程交换机以用作消息定序器的装置，所述消息定序器用于对经由所述可编程交换机从所述第一装置发送到所述第一装置的一系列相关消息中的无序消息进行重新排序。
20.根据权利要求19所述的网络控制器，所述网络控制器进一步包括用于对所选定的可编程交换机进行编程以使得能够使用具有相等的跳数的所述网络中的不同路径的装置，以将所述一系列相关消息中的不同消息从所选定的可编程交换机发送到所述第二装置。
CN202180006526.9A 2020-08-17 2021-06-25 用于网络消息排序的装置和方法 Pending CN114731335A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063066754P 2020-08-17 2020-08-17
US63/066,754 2020-08-17
US17/174,681 US11736417B2 (en) 2020-08-17 2021-02-12 Devices and methods for network message sequencing
US17/174,681 2021-02-12
PCT/US2021/039070 WO2022039834A1 (en) 2020-08-17 2021-06-25 Devices and methods for network message sequencing

Publications (1)

Publication Number Publication Date
CN114731335A true CN114731335A (zh) 2022-07-08

Family

ID=80223462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006526.9A Pending CN114731335A (zh) 2020-08-17 2021-06-25 用于网络消息排序的装置和方法

Country Status (4)

Country Link
US (1) US11736417B2 (zh)
CN (1) CN114731335A (zh)
DE (1) DE112021000155T5 (zh)
WO (1) WO2022039834A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230030168A1 (en) * 2021-07-27 2023-02-02 Dell Products L.P. Protection of i/o paths against network partitioning and component failures in nvme-of environments
US11949604B2 (en) * 2021-10-06 2024-04-02 Inernational Business Machines Corporation Integrated network switch operation
US20230308384A1 (en) * 2022-03-25 2023-09-28 Xilinx, Inc. Efficiency and quality of service improvements for systems with higher bandwidth clients mixed with lower bandwidth clients
US11962434B2 (en) * 2022-07-08 2024-04-16 Keysight Technologies, Inc. Methods, systems, and computer readable media for capturing dropped packets at a switching fabric emulator

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049960A1 (en) * 2011-10-04 2013-04-11 Pismo Labs Technology Ltd. Method and system for reduction of time variance of packets received from bonded communication links
US20130263249A1 (en) * 2012-03-30 2013-10-03 Futurewei Technologies, Inc. Enhancing IPSEC Performance and Security Against Eavesdropping
CN104052574A (zh) * 2013-03-15 2014-09-17 国际商业机器公司 在网络控制器和交换机之间控制数据的传输的方法和系统
CN105009498A (zh) * 2013-03-08 2015-10-28 高通股份有限公司 增强的确收和重传机制
US20160156558A1 (en) * 2014-11-27 2016-06-02 Inventec (Pudong) Technology Corp. Data Center Network Flow Migration Method and System Thereof
US20170187629A1 (en) * 2015-12-28 2017-06-29 Amazon Technologies, Inc. Multi-path transport design
US20170187846A1 (en) * 2015-12-29 2017-06-29 Amazon Technologies, Inc. Reliable, out-of-order receipt of packets
US20170286363A1 (en) * 2016-04-04 2017-10-05 Marvell World Trade Ltd. Methods and systems for accessing host memory through non-volatile memory over fabric bridging with direct target access
WO2018133095A1 (zh) * 2017-01-23 2018-07-26 华为技术有限公司 一种传输数据包的方法、发送设备及接收设备
CN108702374A (zh) * 2015-09-02 2018-10-23 科内克斯实验室公司 用于以太网类型网络上的存储器和I/O的远程访问的NVM Express控制器
US20180335953A1 (en) * 2017-05-16 2018-11-22 Dell Products L.P. Systems and methods for hardware-based raid acceleration for variable-length and out-of-order transactions
CN108932109A (zh) * 2017-05-24 2018-12-04 西部数据技术公司 基于优先级的内部数据移动
US20200151104A1 (en) * 2018-11-12 2020-05-14 H3 Platform, Inc. System having persistent memory

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440752A (en) 1991-07-08 1995-08-08 Seiko Epson Corporation Microprocessor architecture with a switch network for data transfer between cache, memory port, and IOU
JP3210590B2 (ja) 1996-11-29 2001-09-17 株式会社日立製作所 マルチプロセッサシステムおよびキャッシュコヒーレンシ制御方法
US6078997A (en) 1996-12-09 2000-06-20 Intel Corporation Directory-based coherency system for maintaining coherency in a dual-ported memory system
US6044438A (en) 1997-07-10 2000-03-28 International Business Machiness Corporation Memory controller for controlling memory accesses across networks in distributed shared memory processing systems
US6092155A (en) 1997-07-10 2000-07-18 International Business Machines Corporation Cache coherent network adapter for scalable shared memory processing systems
US6209065B1 (en) 1997-10-24 2001-03-27 Compaq Computer Corporation Mechanism for optimizing generation of commit-signals in a distributed shared-memory system
US6108737A (en) 1997-10-24 2000-08-22 Compaq Computer Corporation Method and apparatus for reducing latency of inter-reference ordering in a multiprocessor system
US6263404B1 (en) 1997-11-21 2001-07-17 International Business Machines Corporation Accessing data from a multiple entry fully associative cache buffer in a multithread data processing system
US20050058149A1 (en) 1998-08-19 2005-03-17 Howe Wayne Richard Time-scheduled and time-reservation packet switching
US6230243B1 (en) 1999-02-19 2001-05-08 International Business Machines Corporation Method, system and program products for managing changed data of castout classes
US6829683B1 (en) 2000-07-20 2004-12-07 Silicon Graphics, Inc. System and method for transferring ownership of data in a distributed shared memory system
US6775804B1 (en) 2000-11-28 2004-08-10 Nortel Networks Limited Determining integrity of a packet
EP1255201B1 (en) 2001-05-01 2009-12-23 Sun Microsystems, Inc. Shared memory multiprocessing system employing mixed broadcast snooping and directory based coherency protocols
US6996674B2 (en) 2001-05-07 2006-02-07 International Business Machines Corporation Method and apparatus for a global cache directory in a storage cluster
US6754782B2 (en) 2001-06-21 2004-06-22 International Business Machines Corporation Decentralized global coherency management in a multi-node computer system
US7673090B2 (en) 2001-12-19 2010-03-02 Intel Corporation Hot plug interface control method and apparatus
US6912669B2 (en) 2002-02-21 2005-06-28 International Business Machines Corporation Method and apparatus for maintaining cache coherency in a storage system
US6868439B2 (en) 2002-04-04 2005-03-15 Hewlett-Packard Development Company, L.P. System and method for supervising use of shared storage by multiple caching servers physically connected through a switching router to said shared storage via a robust high speed connection
US7546422B2 (en) 2002-08-28 2009-06-09 Intel Corporation Method and apparatus for the synchronization of distributed caches
KR100454813B1 (ko) 2002-09-09 2004-11-03 한국전자통신연구원 분산 공유메모리 환경의 다단계 버스망을 위한 동적라우팅 방법
US6993630B1 (en) 2002-09-26 2006-01-31 Unisys Corporation Data pre-fetch system and method for a cache memory
US7237068B2 (en) 2003-01-28 2007-06-26 Sun Microsystems, Inc. Computer system employing bundled prefetching and null-data packet transmission
US7380059B2 (en) 2003-05-16 2008-05-27 Pillar Data Systems, Inc. Methods and systems of cache memory management and snapshot operations
US8949395B2 (en) 2004-06-01 2015-02-03 Inmage Systems, Inc. Systems and methods of event driven recovery management
US7376799B2 (en) 2005-07-21 2008-05-20 Hewlett-Packard Development Company, L.P. System for reducing the latency of exclusive read requests in a symmetric multi-processing system
US7865570B2 (en) 2005-08-30 2011-01-04 Illinois Institute Of Technology Memory server
US7415574B2 (en) 2006-07-05 2008-08-19 Cisco Technology, Inc. Dynamic, on-demand storage area network (SAN) cache
US7716425B1 (en) 2006-09-27 2010-05-11 Hewlett-Packard Development Company, L.P. Prefetching data in distributed storage systems
KR100901790B1 (ko) 2006-12-04 2009-06-11 한국전자통신연구원 ＩＰｖ４ 네트워크 기반 ＩＰｖ６ 서비스 제공시스템에서의 제어 터널 및 다이렉트 터널 설정 방법
US20110004729A1 (en) 2007-12-19 2011-01-06 3Leaf Systems, Inc. Block Caching for Cache-Coherent Distributed Shared Memory
US8732386B2 (en) 2008-03-20 2014-05-20 Sandisk Enterprise IP LLC. Sharing data fabric for coherent-distributed caching of multi-node shared-distributed flash memory
US8229945B2 (en) 2008-03-20 2012-07-24 Schooner Information Technology, Inc. Scalable database management software on a cluster of nodes using a shared-distributed flash memory
US9442850B1 (en) 2008-03-25 2016-09-13 Blue Coat Systems, Inc. Efficient directory refresh operations in wide area file systems
US7975025B1 (en) 2008-07-08 2011-07-05 F5 Networks, Inc. Smart prefetching of data over a network
US8990289B2 (en) 2009-02-27 2015-03-24 Oracle America, Inc. Server based framework for improving Ajax performance
US8281075B2 (en) 2009-04-14 2012-10-02 International Business Machines Corporation Processor system and methods of triggering a block move using a system bus write command initiated by user code
US8166251B2 (en) 2009-04-20 2012-04-24 Oracle America, Inc. Data prefetcher that adjusts prefetch stream length based on confidence
US8397066B2 (en) 2009-10-20 2013-03-12 Thomson Reuters (Markets) Llc Entitled data cache management
US8645631B2 (en) 2010-03-29 2014-02-04 Via Technologies, Inc. Combined L2 cache and L1D cache prefetcher
US9313604B1 (en) 2010-06-22 2016-04-12 Amazon Technologies, Inc. Network service request throttling system
US8396936B2 (en) 2010-10-28 2013-03-12 Hewlett-Packard Development Company, L.P. Computer system with cooperative cache
US8670310B2 (en) 2010-12-21 2014-03-11 Hewlett-Packard Development Company, L.P. Dynamic balancing priority queue assignments for quality-of-service network flows
US9088592B1 (en) 2011-11-08 2015-07-21 Alacritech, Inc. Network cache accelerator
KR101434887B1 (ko) 2012-03-21 2014-09-02 네이버 주식회사 네트워크 스위치를 이용한 캐시 시스템 및 캐시 서비스 제공 방법
US9235529B2 (en) 2012-08-02 2016-01-12 Oracle International Corporation Using broadcast-based TLB sharing to reduce address-translation latency in a shared-memory system with optical interconnect
US9712439B2 (en) 2013-02-28 2017-07-18 Texas Instruments Incorporated Packet processing match and action unit with configurable memory allocation
US9325610B2 (en) 2013-03-15 2016-04-26 Cisco Technology, Inc. Extended tag networking
US20140278573A1 (en) 2013-03-15 2014-09-18 State Farm Mutual Automobile Insurance Company Systems and methods for initiating insurance processing using ingested data
US9553796B2 (en) * 2013-03-15 2017-01-24 Cisco Technology, Inc. Cycle-free multi-topology routing
US20140331001A1 (en) 2013-05-02 2014-11-06 Lsi Corporation Command Barrier for a Solid State Drive Controller
US9525597B2 (en) 2013-06-06 2016-12-20 Dell Products, L.P. System and method for base topology selection
US10063638B2 (en) 2013-06-26 2018-08-28 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over ethernet-type networks
KR101877595B1 (ko) 2013-10-28 2018-07-12 주식회사 케이티 서비스에 따른 트래픽 처리를 이용한 QoS 제어 방법
US9608932B2 (en) 2013-12-10 2017-03-28 International Business Machines Corporation Software-defined networking single-source enterprise workload manager
US10277476B2 (en) 2014-01-06 2019-04-30 Cisco Technology, Inc. Optimizing network parameters based on a learned network performance model
US10635316B2 (en) 2014-03-08 2020-04-28 Diamanti, Inc. Methods and systems for data storage using solid state drives
US10628353B2 (en) 2014-03-08 2020-04-21 Diamanti, Inc. Enabling use of non-volatile media-express (NVMe) over a network
US9294567B2 (en) 2014-05-02 2016-03-22 Cavium, Inc. Systems and methods for enabling access to extensible storage devices over a network as local storage via NVME controller
US9418013B2 (en) 2014-06-30 2016-08-16 Intel Corporation Selective prefetching for a sectored cache
US9712381B1 (en) * 2014-07-31 2017-07-18 Google Inc. Systems and methods for targeted probing to pinpoint failures in large scale networks
US9608938B2 (en) * 2014-08-12 2017-03-28 Arista Networks, Inc. Method and system for tracking and managing network flows
US9529531B2 (en) 2014-10-06 2016-12-27 Barefoot Networks, Inc. Proxy hash table
US10063479B2 (en) 2014-10-06 2018-08-28 Barefoot Networks, Inc. Fast adjusting load balancer
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US10067967B1 (en) 2015-01-27 2018-09-04 Barefoot Networks, Inc. Hash table storing reduced search key
US9880768B2 (en) 2015-01-27 2018-01-30 Barefoot Networks, Inc. Dynamic memory reallocation for match-action packet processing
WO2016128931A1 (en) 2015-02-11 2016-08-18 Telefonaktiebolaget Lm Ericsson (Publ) Ethernet congestion control and prevention
US9733987B2 (en) 2015-02-20 2017-08-15 Intel Corporation Techniques to dynamically allocate resources of configurable computing resources
US9940056B2 (en) 2015-02-23 2018-04-10 Barefoot Networks, Inc. Coding scheme for identifying location of action entries
KR102321994B1 (ko) 2015-04-01 2021-11-04 삼성전자주식회사 무선 통신 시스템에서 무선 링크를 관리하기 위한 장치 및 방법
US9661022B2 (en) 2015-04-24 2017-05-23 Dell Products L.P. System and method for authorizing devices joining a network fabric
US20170026292A1 (en) 2015-07-20 2017-01-26 Schweitzer Engineering Laboratories, Inc. Communication link failure detection in a software defined network
US10044583B2 (en) 2015-08-21 2018-08-07 Barefoot Networks, Inc. Fast detection and identification of lost packets
US9825862B2 (en) 2015-08-26 2017-11-21 Barefoot Networks, Inc. Packet header field extraction
US9826071B2 (en) 2015-08-26 2017-11-21 Barefoot Networks, Inc. Configuring a switch for extracting packet header fields
US9923816B2 (en) 2015-09-24 2018-03-20 Barefoot Networks, Inc. Data-plane stateful processing units in packet processing pipelines
US10523764B2 (en) 2015-09-24 2019-12-31 Barefoot Networks, Inc. Data-plane stateful processing units in packet processing pipelines
US9912610B2 (en) 2015-09-24 2018-03-06 Barefoot Networks, Inc. Data-plane stateful processing units in packet processing pipelines
WO2017067572A1 (en) 2015-10-19 2017-04-27 Huawei Technologies Co., Ltd. Methods and devices in a communication network
KR20170087602A (ko) 2016-01-21 2017-07-31 현대자동차주식회사 네트워크에서 동작 모드의 전환 방법
US10063407B1 (en) 2016-02-08 2018-08-28 Barefoot Networks, Inc. Identifying and marking failed egress links in data plane
US10075567B1 (en) 2016-02-08 2018-09-11 Barefoot Networks, Inc. Packet generation in the data plane of a forwarding element
US10230810B1 (en) 2016-03-18 2019-03-12 Barefoot Networks, Inc. Storing packet data in mirror buffer
US10038624B1 (en) 2016-04-05 2018-07-31 Barefoot Networks, Inc. Flexible packet replication and filtering for multicast/broadcast
US10353819B2 (en) 2016-06-24 2019-07-16 Qualcomm Incorporated Next line prefetchers employing initial high prefetch prediction confidence states for throttling next line prefetches in a processor-based system
US10146527B2 (en) 2016-10-12 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for using BMC as proxy for NVME over fabrics device firmware upgrade
US10257122B1 (en) 2016-10-12 2019-04-09 Barefoot Networks, Inc. Distributing key-value pairs to forwarding elements for caching
US10127983B1 (en) 2016-11-08 2018-11-13 Barefoot Networks, Inc. Error handling for match action unit memory of a forwarding element
US10084687B1 (en) 2016-11-17 2018-09-25 Barefoot Networks, Inc. Weighted-cost multi-pathing using range lookups
US10877670B1 (en) 2016-11-28 2020-12-29 Barefoot Networks, Inc. Dynamically reconfiguring data plane of forwarding element to adjust data plane throughput based on detected conditions
US11601523B2 (en) 2016-12-16 2023-03-07 Intel Corporation Prefetcher in multi-tiered memory systems
US10496566B2 (en) 2016-12-20 2019-12-03 Samsung Electronics Co., Ltd. Method and apparatus for data recovering during a board replacement
US11223520B1 (en) 2017-01-31 2022-01-11 Intel Corporation Remote control plane directing data plane configurator
US10237206B1 (en) 2017-03-05 2019-03-19 Barefoot Networks, Inc. Equal cost multiple path group failover for multicast
US10257152B2 (en) 2017-03-10 2019-04-09 Nicira, Inc. Suppressing ARP broadcasting in a hypervisor
US10896059B2 (en) 2017-03-13 2021-01-19 International Business Machines Corporation Dynamically allocating cache in a multi-tenant processing infrastructure
US10261843B2 (en) 2017-03-16 2019-04-16 International Business Machines Corporation Speculative execution management in a coherent accelerator architecture
US10164829B1 (en) 2017-03-20 2018-12-25 Barefoot Networks, Inc. Incremental update of the data plane of a hardware forwarding element
US10223271B2 (en) 2017-03-31 2019-03-05 Intel Corporation Apparatus, computer program product, and method to perform cache operations in a solid state drive
US10158573B1 (en) 2017-05-01 2018-12-18 Barefoot Networks, Inc. Forwarding element with a data plane load balancer
US10289551B2 (en) 2017-05-11 2019-05-14 Western Digital Technologies, Inc. Preserving data upon a power shutdown
US10296370B2 (en) 2017-05-30 2019-05-21 Nicira, Inc. Port mirroring in a virtualized computing environment
US10275361B2 (en) 2017-05-31 2019-04-30 Seagate Technology Llc Managing multiple namespaces in a non-volatile memory (NVM)
US10659254B2 (en) 2017-07-10 2020-05-19 Fungible, Inc. Access node integrated circuit for data centers which includes a networking unit, a plurality of host units, processing clusters, a data network fabric, and a control network fabric
US10678692B2 (en) 2017-09-19 2020-06-09 Intel Corporation Method and system for coordinating baseline and secondary prefetchers
US10880204B1 (en) * 2017-09-26 2020-12-29 Amazon Technologies, Inc. Low latency access for storage using multiple paths
US11720283B2 (en) 2017-12-19 2023-08-08 Western Digital Technologies, Inc. Coherent access to persistent memory region range
US10503670B2 (en) 2017-12-21 2019-12-10 Advanced Micro Devices, Inc. Dynamic per-bank and all-bank refresh
US10534738B2 (en) 2018-01-17 2020-01-14 Western Digital Technologies, Inc. Host bus adaptor with configurable interface
US11288180B2 (en) 2018-01-19 2022-03-29 Micron Technology, Inc. Management of storage resources allocated from non-volatile memory devices to users
US11012367B2 (en) * 2018-03-30 2021-05-18 Intel IP Corporation Technologies for managing TCP/IP packet delivery
US10846235B2 (en) 2018-04-28 2020-11-24 International Business Machines Corporation Integrated circuit and data processing system supporting attachment of a real address-agnostic accelerator
US11221886B2 (en) 2018-05-17 2022-01-11 International Business Machines Corporation Optimizing dynamical resource allocations for cache-friendly workloads in disaggregated data centers
US20190370176A1 (en) 2018-06-01 2019-12-05 Qualcomm Incorporated Adaptively predicting usefulness of prefetches generated by hardware prefetch engines in processor-based devices
CN110633048B (zh) 2018-06-22 2022-11-08 慧荣科技股份有限公司 闪存存储装置的命名空间操作方法
US11005725B2 (en) 2018-06-29 2021-05-11 Vmware, Inc. Methods and apparatus to proactively self-heal workload domains in hyperconverged infrastructures
US10691602B2 (en) 2018-06-29 2020-06-23 Intel Corporation Adaptive granularity for reducing cache coherence overhead
TWI813742B (zh) 2018-08-23 2023-09-01 美商阿爾克斯股份有限公司 在網路路由環境中的非同步物件管理機制
US11016911B2 (en) 2018-08-24 2021-05-25 Samsung Electronics Co., Ltd. Non-volatile memory express over fabric messages between a host and a target using a burst mode
GB201814918D0 (en) 2018-09-13 2018-10-31 Blancco Tech Group Ip Oy Method and apparatus for use in sanitizing a network of non-volatile memory express devices
CN110908927A (zh) 2018-09-14 2020-03-24 慧荣科技股份有限公司 数据储存装置及其删除命名空间的方法
US10908841B2 (en) 2018-09-24 2021-02-02 Cisco Technology, Inc. Increasing throughput of non-volatile memory express over fabric (NVMEoF) via peripheral component interconnect express (PCIe) interface
US10880124B2 (en) 2018-12-28 2020-12-29 Alibaba Group Holding Limited Offload controller control of programmable switch
US10901908B2 (en) 2019-01-16 2021-01-26 International Business Machines Corporation Storing data into a memory
US11086787B2 (en) 2019-02-05 2021-08-10 International Business Machines Corporation Virtual cache synonym detection using alias tags
US10812388B2 (en) 2019-02-07 2020-10-20 Cisco Technology, Inc. Preventing damage to flows in an SDN fabric by predicting failures using machine learning
JP6898393B2 (ja) 2019-03-22 2021-07-07 株式会社日立製作所 ストレージシステム及びデータ転送方法
US11595289B2 (en) 2019-03-29 2023-02-28 Barefoot Networks, Inc. Network testing using a programmable packet engine
US11656992B2 (en) 2019-05-03 2023-05-23 Western Digital Technologies, Inc. Distributed cache with in-network prefetch
US11061599B2 (en) 2019-07-29 2021-07-13 EMC IP Holding Company LLC Volume migration in a federated storage array with non-volatile memory express over fabric (NVMeoF) host attachment
JP7080863B2 (ja) 2019-08-02 2022-06-06 株式会社日立製作所 ストレージ装置
US11039494B2 (en) 2019-08-12 2021-06-15 T-Mobile Usa, Inc. Base station sleeping cell recovery
US11599424B2 (en) 2019-08-15 2023-03-07 Cisco Technology, Inc. Dynamic hardware resource shadowing and memory error protection
KR102163279B1 (ko) 2019-09-09 2020-10-08 주식회사 맥데이타 5g 기반의 네트워크 성능 진단 방법, 장치 및 시스템
US11093352B2 (en) * 2019-09-11 2021-08-17 Hewlett Packard Enterprise Development Lp Fault management in NVMe systems
US11221954B2 (en) 2019-11-18 2022-01-11 International Business Machines Corporation Storing metadata in heterogeneous cache to improve I/O performance
US11588682B2 (en) * 2020-01-14 2023-02-21 Vmware, Inc. Common connection tracker across multiple logical switches
US11704059B2 (en) 2020-02-07 2023-07-18 Samsung Electronics Co., Ltd. Remote direct attached multiple storage function storage device
JP2021149308A (ja) 2020-03-17 2021-09-27 キオクシア株式会社 メモリシステムおよび制御方法
US20210194828A1 (en) 2020-12-07 2021-06-24 Intel Corporation Architecture for smart switch centered next generation cloud infrastructure

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049960A1 (en) * 2011-10-04 2013-04-11 Pismo Labs Technology Ltd. Method and system for reduction of time variance of packets received from bonded communication links
US20130263249A1 (en) * 2012-03-30 2013-10-03 Futurewei Technologies, Inc. Enhancing IPSEC Performance and Security Against Eavesdropping
CN105009498A (zh) * 2013-03-08 2015-10-28 高通股份有限公司 增强的确收和重传机制
CN104052574A (zh) * 2013-03-15 2014-09-17 国际商业机器公司 在网络控制器和交换机之间控制数据的传输的方法和系统
US20160156558A1 (en) * 2014-11-27 2016-06-02 Inventec (Pudong) Technology Corp. Data Center Network Flow Migration Method and System Thereof
CN108702374A (zh) * 2015-09-02 2018-10-23 科内克斯实验室公司 用于以太网类型网络上的存储器和I/O的远程访问的NVM Express控制器
US20170187629A1 (en) * 2015-12-28 2017-06-29 Amazon Technologies, Inc. Multi-path transport design
US20170187846A1 (en) * 2015-12-29 2017-06-29 Amazon Technologies, Inc. Reliable, out-of-order receipt of packets
US20170286363A1 (en) * 2016-04-04 2017-10-05 Marvell World Trade Ltd. Methods and systems for accessing host memory through non-volatile memory over fabric bridging with direct target access
WO2018133095A1 (zh) * 2017-01-23 2018-07-26 华为技术有限公司 一种传输数据包的方法、发送设备及接收设备
US20180335953A1 (en) * 2017-05-16 2018-11-22 Dell Products L.P. Systems and methods for hardware-based raid acceleration for variable-length and out-of-order transactions
CN108932109A (zh) * 2017-05-24 2018-12-04 西部数据技术公司 基于优先级的内部数据移动
US20200151104A1 (en) * 2018-11-12 2020-05-14 H3 Platform, Inc. System having persistent memory

Also Published As

Publication number Publication date
US11736417B2 (en) 2023-08-22
WO2022039834A1 (en) 2022-02-24
DE112021000155T5 (de) 2022-07-28
US20220052970A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US11899596B2 (en) System and method for facilitating dynamic command management in a network interface controller (NIC)
US11736417B2 (en) Devices and methods for network message sequencing
US9485200B2 (en) Network switch with external buffering via looparound path
US10791054B2 (en) Flow control and congestion management for acceleration components configured to accelerate a service
US20220303217A1 (en) Data Forwarding Method, Data Buffering Method, Apparatus, and Related Device
US10523576B1 (en) High-performance garbage collection in a network device
CN116018790A (zh) 基于接收方的精密拥塞控制
CN105991470B (zh) 以太网设备缓存报文的方法及装置
US11765250B2 (en) Devices and methods for managing network traffic for a distributed cache
EP3563535B1 (en) Transmission of messages by acceleration components configured to accelerate a service
US9143448B1 (en) Methods for reassembling fragmented data units
US9160688B2 (en) System and method for selective direct memory access
US20240056385A1 (en) Switch device for facilitating switching in data-driven intelligent network
WO2024049442A1 (en) An efficient mechanism to process qualitative packets in a router

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination