CN115834002A - 高速传输系统及方法 - Google Patents

Abstract

本申请公开了一种高速传输系统及方法，该系统包括接收端，设置为每接收到数据时，缓存该数据的接收状态信息；当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；发送端，设置为每接收到所述接收端发送的数据的接收状态信息就保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；所述接收端，还设置为接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；所述发送端，还设置为将更新后的接收状态信息发送给所述第三方设备。

Description

高速传输系统及方法

技术领域

本申请涉及RDMA技术领域，尤指一种高速传输系统及方法。

背景技术

近些年随着数据中心的发展，数据时常需要走出数据中心内部，跨数据中心或跨区域的高性能可靠传输逐渐成为热门需求。数据中心内部的高性能可靠传输主要使用RDMA的通信技术，但是随着传输距离的增长，很难构造无损网络，一旦网络中发生丢包，将会采用RDMA的Go-Back-N重传，重传报文将随着传输距离的增长而增多，网络中将出现大量的重传报文，导致传输效率变得极低甚至断流，现有技术无法满足RDMA在长距离场景中的高性能可靠传输的要求。

不同于RDMA在数据中心场景中的问题，在长距离场景中无法直接采用数据中心内的乱序接收和选择性重传方案，由于传输距离太长，网络中将存在大量飞包，硬件无法提供足够的资源缓存这些数据包的状态信息，数据中心内的可靠机制将无法工作。因此，针对长距离传输场景，需要专门设计一套可靠机制来实现长距离场景的乱序接收和选择性重传。

发明内容

本申请提供了一种高速传输系统及方法，能够实现长距离场景的乱序接收和选择性重传，提高传输效率。

本申请提供了一种高速传输系统，包括：

接收端，设置为每接收到数据时，缓存该数据的接收状态信息；当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

发送端，设置为每接收到所述接收端发送的数据的接收状态信息就保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

所述接收端，还设置为接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；

所述发送端，还设置为将更新后的接收状态信息发送给所述第三方设备。

在一种示例性的实施例中，接收端接收到的数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

在一种示例性的实施例中，所述接收端，还设置为当新增的预设信息为数据的存储地址时，将接收到的数据写入所述存储地址。

在一种示例性的实施例中，所述发送端当存在丢包时，重传丢失的数据，包括：

通过软件或者硬件维护并触发选择性重传，以及组装重传数据；

通过软件维护并触发选择性重传，通过硬件组装重传数据。

在一种示例性的实施例中，所述数据为一个报文、或多个报文、或消息。

本申请提供了一种高速传输方法，包括：

接收端每接收到数据时，缓存该数据的接收状态信息；

当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

所述接收端接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；所述更新后的接收状态信息用于更新第三方设备上的接收状态信息；

其中，所述重传数据是所述发送端将所接收的接收状态信息保存到第三方设备，定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据。

在一种示例性的实施例中，所述接收端接收到的数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

在一种示例性的实施例中，当新增的预设信息为数据的存储地址时，接收端将接收到的数据写入所述存储地址。

本申请提供了一种高速传输方法，包括：

发送端将每次接收到的接收端发送的数据的接收状态信息保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

并根据重传丢失的数据后收到的接收状态信息更新第三方设备的接收状态信息。

在一种示例性的实施例中，所述发送端向所述接收端发送数据；其中，所述数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例的高速传输系统的示意图；

图2为本申请实施例的接收端的高速传输方法的流程图；

图3为本申请实施例的发送端的高速传输方法的流程图；

图4为本申请实施例的各端交互的高速传输方法的流程图。

具体实施方式

图1为本申请实施例的高速传输系统的示意图，如图1所示，该高速传输系统包括：

接收端，设置为每接收到数据时，缓存该数据的接收状态信息；当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

发送端，设置为每接收到所述接收端发送的数据的接收状态信息就保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

所述接收端，还设置为接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；

所述发送端，还设置为将更新后的接收状态信息发送给所述第三方设备。

其中，第三方设备可以为主机存储或外部存储设备。第一存储设备可以为本端主机内存或主机外的存储设备。

在一种示例性的实施例中，接收到数据之后，缓存该数据的接收状态信息之前包括：

判定数据是否发生乱序或丢包；

当判定接收到的数据未发生乱序或丢包时，缓存的接收状态信息为数据的标识；

当判定接收到的数据发生乱序或丢包时，缓存的接收状态信息还包括乱序状态信息。

数据的标识包括但不限于PSN，即能标识接收到哪个数据即可。乱序状态信息可以包括乱序状态下的QPC(Queue Pair Context，队列对上下文)，以及标记报文接收状态的bitmap。其中，QPC包括PSN、msn、数据长度等各种QP上下文信息。

以接收报文为例，未发生乱序或丢包时对应顺序接收，顺序接收时，只需要记录接收到哪个报文即可。但是当接收到的报文发生乱序或丢包时，仅仅记录接收了哪个报文还不够，还需要额外记录接收了哪些乱序报文，需要额外维护乱序报文的PSN、msn等状态信息。乱序时需要额外保存一些状态信息，这些统一称为乱序状态信息。

在一种示例性的实施例中，更新缓存的接收状态信息有两种实现方式：

一种是重传报文和原始丢失报文一模一样，接收端在删除乱序状态信息时，将乱序状态写入到本端的第一存储设备中，通过查找本端乱序状态表就可以刷新乱序状态信息；

另一种是重传报文的PSN和原始丢失的报文的PSN不一样但是数据部分一样，比如发送了PSN为1、2、3三个报文，报文1丢失了，那么可以重传该报文时，将PSN设置为4。对于接收端来说并不感知该报文是不是重传报文，正常更新缓存接收状态信息即可，而对于发送端来说，是拥有完整的接收状态信息，知道哪些报文是重传报文，哪些报文不是，进而可以保证每个丢失报文能被重传发送到接收端。

以下举例说明上述高速传输系统的数据传输过程。例如发送端发送了PSN分别为1、2、3、4、5的报文，但是报文1丢失了。接收端只能缓存4个报文的接收状态，也就是PSN为1、2、3、4的报文的状态。当接收到PSN为5的报文时，接收端缓存不足以存下PSN为5的报文的接收状态，此时可以将PSN为1、2的状态信息发送给发送端，然后将这些状态信息删除，这样接收端就又可以缓存2个报文的状态信息。而发送端，每次收到接收端发送的状态信息后，直接发送给主机或DDR中，每当接收端缓存资源不够或者接收超时后，都会发送一部分乱序状态信息到发送端，而发送端不断发送给主机或DDR中，这样主机或DDR中就可以维护一份完整的乱序接收状态信息。在一种示例性的实施例中，所述接收端接收的数据的报文头中包括新增的预设信息；

其中，报文头(即Packet Header)例如是RDMA的BTH(即基础传输报头)、ETH(即扩展传输报头)等。

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

需要说明，对于RDMA的write操作，新增的预设信息是数据的存储地址，通过增加RETH信息来实现。对于send操作，新增的预设信息是RQ(Receive Queue，接收队列)WQE(Work Queue Entry/Element，工作队列入口/元素)索引信息。对于read操作，新增的预设信息是read消息序号信息。对于atomic操作，新增的预设信息是atomic消息序号信息。

在一种示例性的实施例中，所述接收端，还设置为当新增的预设信息为数据的存储地址时，将接收到的数据写入所述存储地址。

在一种示例性的实施例中，所述数据为一个报文、或多个报文、或消息。

消息就是WQE，WQE不一定是多个报文，可以是一个报文，也可以是多个报文。每个WQE对应多少个报文不一定相同，具体由用户决定。

在一种示例性的实施例中，所述发送端当存在丢包时，重传丢失的数据，包括：

通过软件或者硬件维护并触发选择性重传，以及组装重传数据；

通过软件维护并触发选择性重传，通过硬件组装重传数据。

其中，软件包括驱动软件和用户软件。硬件可以为FPGA。

组装重传数据可以根据PSN找到丢失的报文对应的发包信息(对于write、send、read request、atomic request报文来说，发包信息是SQ WQE，对于read response和atomic response报文来说，发包信息是接收端收到对应的read request和atomicrequest后生成的上下文信息)，然后根据发包信息发送重传报文即可。

需要说明的是，用户可以选择重传粒度，例如选择报文粒度的重传，也可以选择Flowlet粒度(多个报文)的重传，或者WQE粒度的重传。接收状态信息可以是报文粒度的，也可以是多个报文粒度的或消息粒度的。如果是报文粒度的重传，则乱序接收状态是报文粒度的；如果是Flowlet粒度的重传，则乱序接收状态是多个报文粒度的；如果是WQE粒度的重传，则乱序接收状态是消息粒度的。WQE粒度和Flowlet粒度的区别在于，Flowlet粒度对应的报文数量固定，WQE粒度对应的报文数量不固定。

本申请实施例不仅适用于长距离传输的场景，还可以适用于数据中心内的数据传输场景。

本申请实施例通过接收端仅仅维护部分乱序状态信息，每次将接收端乱序状态信息发送给发送端后，会刷新接收端乱序状态的缓存，减少接收端缓存开销；完整的乱序状态信息维护在第三方设备中，解决网卡上资源不够进而无法缓存全部乱序状态信息进行选择性重传的问题。

图2为本申请实施例的高速传输方法的流程图，应用于接收端，如图2所示，包括S21-S23步骤：

S21、接收端每接收到数据时，缓存该数据的接收状态信息；

S22、当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

S23、所述接收端接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端。

其中，所述重传数据是所述发送端将所接收的接收状态信息保存到第三方设备，定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据。

在一种示例性的实施例中，所述数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

需要说明，对于RDMA的write操作，新增的预设信息是数据的存储地址，通过增加RETH信息来实现。对于send操作，新增的预设信息是RQ WQE索引信息，RQ WQE表示读取队列的工作队列元素。对于read操作，新增的预设信息是read消息序号信息。对于atomic操作，新增的预设信息是atomic消息序号信息。

在一种示例性的实施例中，当新增的预设信息为数据的存储地址时，所述接收端，将接收到的数据写入所述存储地址。

在一种示例性的实施例中，接收端接收到的数据为一个报文、或多个报文、或消息。

在一种示例性的实施例中，所述发送端当存在丢包时，重传丢失的数据，包括：

通过软件或者硬件维护并触发选择性重传，以及组装重传数据；

通过软件维护并触发选择性重传，通过硬件组装重传数据。

其中，软件包括驱动软件和用户软件。硬件可以为FPGA。

需要说明的是，用户可以选择重传粒度，例如选择报文粒度的重传，也可以选择Flowlet粒度(多个报文)的重传，或者WQE粒度的重传。接收状态信息可以是报文粒度的，也可以是多个报文粒度的或消息粒度的。如果是报文粒度的重传，则乱序接收状态是报文粒度的；如果是Flowlet粒度的重传，则乱序接收状态是多个报文粒度的；如果是WQE粒度的重传，则乱序接收状态是消息粒度的。

在一种示例性的实施例中，当新增的预设信息为数据的存储地址时，接收端将接收到的数据写入所述存储地址。

图3为本申请实施例的高速传输方法的流程图，应用于发送端，如图3所示，包括S31-S32步骤：

S31、发送端将每次接收到的接收端发送的数据的接收状态信息保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

S32、根据重传丢失的数据后收到的接收状态信息更新第三方设备的接收状态信息。

在一种示例性的实施例中，所述发送端向所述接收端发送数据；其中，所述数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

需要说明，对于RDMA的write操作，新增的预设信息是数据的存储地址，通过增加RETH信息来实现。对于send操作，新增的预设信息是RQ WQE索引信息，RQ WQE表示读取队列的工作队列元素。对于read操作，新增的预设信息是read消息序号信息。对于atomic操作，新增的预设信息是atomic消息序号信息。

在一种示例性的实施例中，所述发送端当存在丢包时，重传丢失的数据，包括：

通过软件或者硬件维护并触发选择性重传，以及组装重传数据；

通过软件维护并触发选择性重传，通过硬件组装重传数据。

其中，软件包括驱动软件和用户软件。硬件可以为FPGA。

需要说明的是，用户可以选择重传粒度，例如选择报文粒度的重传，也可以选择Flowlet粒度(多个报文)的重传，或者WQE消息粒度的重传。接收状态信息可以是报文粒度的，也可以是多个报文粒度的或消息粒度的。如果是报文粒度的重传，则乱序接收状态是报文粒度的；如果是Flowlet粒度的重传，则乱序接收状态是多个报文粒度的；如果是WQE消息粒度的重传，则乱序接收状态是消息粒度的。

图4为本申请实施例的各端交互的高速传输方法的流程图，如图4所示，包括1-9步骤：

1、发送端在发送报文的报文头中增加接收端的乱序上送数据的地址信息(对于不同的RDMA操作，对应的地址信息不同，write操作是增加RETH信息，send操作是RQ WQE的索引信息，read和atomic操作是增加read/atomic消息序号信息)；

2、接收端根据报文头中乱序上送数据的地址信息，将数据乱序写入指定位置(RETH中包含虚拟地址和长度，send携带具体消耗哪个RQ WQE的哪一段地址，read和atomic包含了消息序号，就可以按照消息序号顺序缓存组装read/atomic的应答报文的上下文信息)；

3、接收端每次接收一个报文或Flowlet(多个报文)或WQE(消息)，都会更新乱序接收状态(用户自选择重传粒度，如果是报文粒度的重传，则乱序接收状态是报文粒度的；如果是Flowlet粒度的重传，则乱序接收状态是多个报文粒度的；如果是WQE粒度的重传，则乱序接收状态是消息粒度的)；

4、接收端每间隔一段时间或发现丢包时，都会将乱序接收状态发送到发送端，然后刷新乱序接收状态的缓存；

5、发送端将乱序接收状态上送到主机侧或DDR中，更新乱序接收状态信息；

6、发送端检测到丢包，根据乱序接收状态重传丢失报文：

本步骤采取以下3种方案：

1)软件方案：提供驱动软件或用户软件，维护乱序接收状态，找到丢失报文，并组装重传报文发送给接收端；

2)软硬件结合方案：提供驱动软件或用户软件，维护乱序接收状态，找到丢失报文，下发命令给硬件组装重传报文发送给接收端；

3)硬件方案：硬件维护乱序接收状态，找到丢失报文，组装重传报文发送给接收端；

7、接收端收到丢失的重传报文，更新乱序接收状态，给发送端发送最新的接收状态信息；

8、发送端收到最新的接收状态信息后，将接收状态信息上送到主机侧或DDR中，更新乱序接收状态信息；

9、如果发送端仍有报文需要发送，重复1-8步。

对于发送端检测到丢包，根据乱序接收状态重传丢失报文，本申请实施例提出软件、软硬件结合和硬件三种方案：

软件方案是将报文的接收状态信息放在第三方设备(主机侧或DDR)中，由驱动软件或用户软件维护并触发选择性重传，驱动软件或用户软件组装重传报文；

软硬件结合方案是将报文的状态信息放在主机侧或DDR中，由驱动软件或用户软件维护并触发选择性重传，硬件组装重传报文；

硬件方案是将报文的状态信息放在主机侧或DDR中，由硬件维护并触发选择性重传。

本申请实施例提供三种粒度的选择性重传机制：基于单个报文粒度的重传、基于Flowlet(多个报文)粒度的重传、基于WQE(消息)粒度的重传；

本申请实施例支持最大乱序窗口为16M(协议里面RDMA的发送端支持的最大窗口是16M，这里支持乱序窗口也是16M，意味着支持任意场景的乱序接收和选择性重传)，支持任意距离的选择性重传和乱序接收；

本申请实施例接收端仅仅维护部分乱序状态信息(指前述的接收状态信息)，每次将接收端乱序状态信息发送给发送端后，会刷新接收端乱序状态的缓存，减少接收端缓存开销；

本申请实施例完整的乱序状态信息维护在主机侧或DDR中，解决网卡上资源不够进而无法缓存全部乱序状态信息进行选择性重传的问题；

本申请实施例兼容数据中心内的乱序接收方案。

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种高速传输系统，其特征在于，包括：

接收端，设置为每接收到数据时，缓存该数据的接收状态信息；当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

发送端，设置为每接收到所述接收端发送的数据的接收状态信息就保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

所述接收端，还设置为接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；

所述发送端，还设置为将更新后的接收状态信息发送给所述第三方设备。

2.如权利要求1所述的高速传输系统，其特征在于，

接收端接收到的数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

3.如权利要求2所述的高速传输系统，其特征在于，

所述接收端，还设置为当新增的预设信息为数据的存储地址时，将接收到的数据写入所述存储地址。

4.如权利要求2所述的高速传输系统，其特征在于，

所述发送端当存在丢包时，重传丢失的数据，包括：

通过软件或者硬件维护并触发选择性重传，以及组装重传数据；

通过软件维护并触发选择性重传，通过硬件组装重传数据。

5.如权利要求1-4任一项所述的高速传输系统，其特征在于，

所述数据为一个报文、或多个报文、或消息。

6.一种高速传输方法，其特征在于，

接收端每接收到数据时，缓存该数据的接收状态信息；

当缓存已满或需要超时重传时，将缓存的部分接收状态信息发送给发送端以及本端的第一存储设备，并从缓存删除所发送的接收状态信息；

所述接收端接收到重传数据后，更新缓存的接收状态信息，并将更新后的接收状态信息发送给发送端；所述更新后的接收状态信息用于更新第三方设备上的接收状态信息；

其中，所述重传数据是所述发送端将所接收的接收状态信息保存到第三方设备，定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据。

7.如权利要求6所述的高速传输方法，其特征在于，

所述接收端接收到的数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

8.如权利要求7所述的高速传输方法，其特征在于，

当新增的预设信息为数据的存储地址时，接收端将接收到的数据写入所述存储地址。

9.一种高速传输方法，其特征在于，

发送端将每次接收到的接收端发送的数据的接收状态信息保存到第三方设备；并定期根据保存到第三方设备的接收状态信息检测是否存在丢包，当存在丢包时，重传丢失的数据；

并根据重传丢失的数据后收到的接收状态信息更新第三方设备的接收状态信息。

10.如权利要求9所述的高速传输方法，其特征在于，还包括：

所述发送端向所述接收端发送数据；其中，所述数据的报文头中包括新增的预设信息；

新增的预设信息为数据的存储地址、或者为RQ WQE索引信息、或者为read消息序号信息、或者为atomic消息序号信息。

Images