CN112153054B - 一种任意字节长度拼接缓存的实现方法和系统 - Google Patents

Abstract

一种任意字节长度拼接缓存的实现方法，包括：根据拼接缓存中的读指针和写指针判断拼接缓存的状态；响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将该有效数据存入拼接缓存；响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出。本发明还公开了一种任意字节长度拼接缓存的实现系统。本发明所公开的任意字节长度拼接缓存的实现方法和系统，有效解决了因传输协议位宽转换以及数据较小时导致的无效数据占位影响数据处理性能的问题。

Description

一种任意字节长度拼接缓存的实现方法和系统

技术领域

本专利涉及FPGA的高速接口解析技术领域，具体是一种任意字段长度拼接缓存的实现方法和系统。

背景技术

随着信息产业的飞速发展，在各个领域诞生了许多高速接口协议，如以太网协议，证券交易协议，雷达数据传输协议等等。这些协议目前软件处理起来较为缓慢，而用硬件处理速度会有大幅提升，其中FPGA因其灵活性，在这些领域中有着广泛的应用。但这些协议在设计之初，并没有考虑到用硬件进行解析，其设计的很多字段并不是64bit或者32bit对齐的，例如万兆网络的总线位宽可以设置为64bit或32bit；40G网络的总线位宽可以配置成128bit或者256bit；PCIe Gen3 x8接口的总线位宽和单lane的速率相关，如果单lane速率为2.5GT/s，总线位宽为128bit，如果单lane速率为8GT/s，总线位宽为256bit。因输入和输出位宽的不同，在实际数据传输中，有大量因数据量较小，无法有效利用完整的数据位宽，存在高位补零等占位传输的数据。大量的无效占位数据对于使用CPU处理数据的“软解析”应用程序来讲，对性能的消耗是巨大的，而当这些应用程序的使用场景大都为数据中心服务器时，因此对整个服务器集群来说将面临巨大的性能压力。

因此，亟需一种可以快速处理无效数据使之拼接成连续有效数据的方法和装置，可适配与各种常见不同数据位宽的输入输出协议的数据拼接。大大降低因软件解析所占用的CPU性能压力。提高系统整体性能。

发明内容

基于以上目的，本发明提出了一种任意字节长度拼接缓存的实现方法，包括以下步骤：

根据读指针和写指针判断拼接缓存的状态；

响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将该有效数据存入拼接缓存；

响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出。

在一些实施方式中，所述拼接缓存最小不低于第一预定长度，且最大不超过第二预定长度。

在一些实施方式中，方法还包括：

每向拼接缓存写入1字节数据，写指针加1；

每从拼接缓存读取1字节数据，读指针加1；

响应于写指针加1，记录拼接缓存已存入数据个数的寄存器加1；

响应于读指针加1，记录拼接缓存已存入数据个数的寄存器减1。

在一些实施方式中，所述判断拼接缓存的状态还包括：

响应于所述寄存器的值小于第二预定长度，拼接缓存状态为可读可写；

响应于所述寄存器的值为0，则拼接缓存状态仅为可写；

响应于所述寄存器的值等于第二预定长度，则拼接缓存状态仅为可读。

在一些实施方式中，所述提取输入数据的有效数据并存入拼接缓存包括：根据输入数据的掩码，将输入数据与掩码对应位置的数据存入拼接缓存。

在一些实施方式中，还包括：每向拼接缓存中每存入1字节数据，将写指针的值加1。

在一些实施方式中，所述将拼接缓存中的数据读出并输出包括：

将拼接缓存中的数据以字节为单位读出；

当读出的数据累积满足输出数据的数据位宽要求时发出。

在一些实施方式中，所述将拼接缓存中的数据读出并输出还包括：

从拼接缓存中每读出1字节数据，将读指针加1；以及

将拼接缓存原数据内容块数据位全置位为0。

在一些实施方式中，所述对拼接缓存的读写操作以及拼接缓存状态的判断操作，均为同步执行。

本发明的另一方面还提供了一种任意字节长度拼接缓存的实现系统，包括：

逻辑控制模块，配置用于根据拼接缓存中的读指针和写指针判断拼接缓存的状态；

写数据模块，配置用于响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将该有效数据存入拼接缓存；

读数据模块，配置用于响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出。

本发明所提出的一种任意字节长度拼接缓存的实现方法和系统，可有效解决在实际生产工作中，因不同的数据位宽及不同位宽之间的转换过程中大量使用占位的数据的对传输带宽的浪费及数据处理时的处理器性能的浪费及其所带来的计算压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明方法的流程图。

图2为本发明一个实施例的完整时序图。

图3为本发明系统的架构图。

图4为本发明实施例的数据拼接示意图。

图5本发明一个实施例的数据拼接时序图。

图6本发明一个实施例的数据拼接时序图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图。对本发明实施例进一步详细说明。

如图1所示，本发明一方面提供了一种任意字节长度拼接缓存的实现方法，包括以下步骤：

S1、根据读指针和写指针判断拼接缓存的状态；

S2、响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将该有效数据存入拼接缓存；

S3、响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出。

在本发明的实施例中，拼接缓存最小不低于第一预定长度，且最大不超过第二预定长度，例如，所述拼接缓存最小不低于1字节，最高不超过64字节，也即本发明输出数据的数据位宽适配范围：最低为8位，最高为512位。

在步骤S1中：读指针与写指针分别代表数据读取完成位置和数据写入完成位置，每向拼接缓存写入1字节数据，将写指针加1，且记录拼接缓存数已存入数据的寄存器data_cnt就加1，每从拼接缓存读取1字节数据，将读指针加1，且记录拼接缓存数已存入数据的寄存器data_cnt随之减1。

在一些实施方式中，所述判断拼接缓存的状态还包括：响应于所述寄存器的值小于第二预定长度，拼接缓存状态为可读可写；响应于所述寄存器的值为0，则拼接缓存状态仅为可写；响应于所述寄存器的值等于第二预定长度，则拼接缓存状态仅为可读。例如，在本发明的实施例中，所述寄存器data_cnt的值小于64时，拼接缓存状态为可读可写；所述寄存器data_cnt的值为0时，则当前拼接缓存状态仅为可写；所述寄存器的data_cnt值等于64时，则当前拼接缓存状态仅为可读。

在一些实施方式中，提取输入数据的有效数据并存入拼接缓存包括：根据输入数据的掩码，将输入数据与掩码对应位置的数据存入拼接缓存。在步骤S2中，当拼接缓存状态为可写时，根据输入数据的掩码，将输入数据与掩码对应的有效位数据提取出来，并将有效数据以字节为单位存入到拼接缓存中。

在本发明的实施例中，在将有效数据存入拼接缓存时，每存入1字节有效数据，将写指针加1。

图2前6个时钟周期所示为步骤S2的一个32bit数据拼接实施例的时序图：

其中，Clock表示总线时钟周期；rd表示输出数据使能；data_cnt表示拼接缓存中的数据个数；tdata表示输入数据；tkeep表示输入数据的掩码；full表示拼接缓存状态为满；empty表示拼接缓存状态为空；mem0～n表示拼接缓存的最小单元，n最大值为64；data_o_valid输出数据有效，用于判断已读取的数据是否满足输出数据位宽，满足则置为1，不满足则置为0；data_o表示输出数据；rd_len表示读取数据的长度，单位字节。

步骤S2执行过程如下：在第3个时钟周期内，对数据0x00000000000000aa执行上述写入操作，根据该数据的掩码tkeep为0x01转换成2进制的数据为00000001，取该数据最后一个字节大小的数据，也即aa保存到缓存mem0[7:0]内，同时写指针加1指向mem1[7:0]地址，data_cnt加1，empty置为0。

在第4个时钟周期内，对数据0x000000000000bb00执行写入操作，根据数据掩码tkeep为0x02转换成2进制的数据为00000010，故取该数据从右数第二个字节大小的数据即bb保存到mem1[7:0]内,同时写指针加1指向mem2[7:0]地址，data_cnt加1。

在第5个时钟周期内，对数据0x0000000000cc0000执行写入操作，根据数据掩码tkeep为0x04转换成2进制的数据为0x0000100，故取该数据从右数第三个字节大小的数据即cc保存到mem2[7:0]内，同时写指针加1指向mem3[7:0]，data_cnt加1.

在第6个时钟周期内，对数据0x00000000dd000000执行写入操作，根据数据掩码tkeep为0x08转换成2进制的数据为00001000，故取该数据从右数第四个字节大小的数据即dd保存到mem3[7:0]，同时写指针加1指向mem4[7:0],data_cnt加1，示意框图如图4所示。

在第6个时钟周期完成了对输入数据的有效位提取以及对有效数据的拼接存储。

在一些实施方式中，将拼接缓存中的数据读出并输出还包括：从拼接缓存中每读出1字节数据，将读指针加1；以及将拼接缓存原数据内容块数据位全置位为0。在步骤S3中，当拼接缓存状态为可读时，将拼接缓存中的数据以字节为单位读出，每读出1字节数据，读指针加1，拼接缓存剩余数据量减1；当读取的数据满足输出数据的数据位宽时，将读取的数据输出。

如图2所示，在第7个时钟周期内，将拼接缓存中的数据依次读取，rd置为1，将拼接缓存中从mem0～3的数据读出，data_cnt减4，data_o数据为0xddccbbaa为16进制的数据，此时读取的数据为4字节32位的数据，满足输出数据的数据位宽，data_o_valid为1将读取数据data_o输出。

在本发的一些实施例中，当拼接缓存中的数据在一定时钟周期内不满足输出数据的数据位宽的需要时，将不满足的数据高位补零凑足数据位宽格式发出。例如读取的数据ddccbbaa为4个字节，该数据位宽为32位，输出的数据也为32位时，输出数据为0xddccbbaa。若输出数据的数据位宽高于32位，则将高位部分补0后再输出，如0x00...00ddccbbaa。

在此说明的是，由于tdata总线位宽为64位，在对缓存的写操作时，单时钟周期内最多操作64位的数据，也即8字节数据。

在本发明的实施例中，当输出数据位宽超过64位时，拼接方法和上述方法一致，以data_o的位宽为80bit为例，拼接模块的读写时序如图5所示：

在第3个时钟周期开始对数据0x0705060403020100处理，该数据掩码tkeep为0xff，即所有数据皆有效，将该数据全部存入缓存中。

在第4、5、6、7时钟中期内，所处理的数据皆为全部有效，操作同第3时钟周期一样。

在第5个时钟周期开始，由于前两个时钟周期在缓存写入的数据为16字节，已满足输出位宽80bit情况下的数据输出长度，故在第5时钟周期开始，将缓存中的数据依次读出，即在本次时钟周期内，将0x0908........0100等10个字节的数据读出，此时钟周期内，data_o_valid为1，同时将读出的数据输出。

同第5个时钟周期，在第6、7、8个时钟周期内，将满足输出长度的数据从缓存中读出并输出。

在本发明的实施例中，当输出的数据位宽远远小于输入数据的位宽时，memory缓存模块出现满的状态的可能性很大，以full为“1”作为标志，此时禁止数据写入，待memory缓存空间留有足够的写入空间，再开启写操作。以data_0的位宽为16bit为例，如图6所示：

在第1到第10个时钟周期内，在此期间，输入数据掩码tkeep全为0xff，输入数据全部有效，共计80个字节数据存入拼接缓存。

从第2个时钟周期开始，由于输出位宽为16bit即4字节的数据容量，故在第1个时钟周期完成后，就可将拼接缓存中的数据读出并输出。所有在本时钟周期内，由data_o的总线位宽设置为16bit，从拼接缓存中读取2字节数据0x0100，data_o_valid为1并将数据输出。

在后续第3-10时钟周期内，写入数据的速度远远高于输出数据的速度，故在第11个时钟周期开始，拼接缓存状态为满，full置为1，此时禁止写入数据。

由于输出数据的读取速度为2字节/周期，故当进行到第14个时钟周期完成，拼接缓存的可用存储空间才为8字节，此时满足写入总线tdata的位宽，在第14个时钟周期，拼接缓存状态不为满，full置为0，拼接缓存为可写状态。

故在第15个时钟周期，向缓存写入8字节数据，同时，从中读取2字节数据，此时拼接缓存剩余空间不满足再一次的写操作，full为1，拼接缓存状态又变为仅可读。

在本发明的实施例中，本发明所有的对数据及拼接缓存的所有操作均可同时并行执行。在如图5所示的实施例中可见，对缓存写入和读出操作可同时并行执行，从输入数据的拼接完成到拼接数据的输出完成，前后之差仅为1个时钟周期。

如图3所示，本发明的另一方面还出了一种基于FPGA的任意字节长度拼接缓存系统，包括：逻辑控制模块，配置用于根据拼接缓存中的读指针和写指针判断拼接缓存的状态；写数据模块，配置用于响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将该有效数据存入拼接缓存；读数据模块，配置用于响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出。

其中，图3中参数内容如下表：

本发明提出的一种任意字节长度拼接缓存的实现方法和系统，有效解决了因数据传输过程中大量占位无效数据对带宽浪费以及无效数据对处理数据时计算机处理器资源的消耗，使数据传输变得更加高效。

Claims (5)

1.一种任意字节长度拼接缓存的实现方法，其特征在于，包括以下步骤：

根据拼接缓存中的读指针和写指针判断拼接缓存的状态；

响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将所述有效数据存入拼接缓存；

响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出；

每向拼接缓存写入1字节数据，写指针加1；

每从拼接缓存读取1字节数据，读指针加1；

响应于写指针加1，记录拼接缓存已存入数据个数的寄存器加1；

响应于读指针加1，记录拼接缓存已存入数据个数的寄存器减1；

所述根据拼接缓存中的读指针和写指针判断拼接缓存的状态还包括：

响应于所述寄存器的值小于第二预定长度，拼接缓存状态为可读可写；

响应于所述寄存器的值为0，则拼接缓存状态仅为可写；

响应于所述寄存器的值等于第二预定长度，则拼接缓存状态仅为可读；所述提取输入数据的有效数据并存入拼接缓存包括：

根据输入数据的掩码，将输入数据与掩码对应位置的数据存入拼接缓存；所述第二预定长度等于拼接缓存的最大字节数。

2.根据权利要求1所述的方法，其特征在于，所述将拼接缓存中的数据读出并输出包括：

将拼接缓存中的数据以字节为单位读出；

当读出的数据累积满足输出数据的数据位宽要求时输出。

3.根据权利要求2所述的方法，其特征在于，还包括：

从拼接缓存中每读出1字节数据，将读指针加1；以及

将拼接缓存原数据内容块数据位全置位为0。

4.根据权利要求1所述的方法，其特征在于，所述对拼接缓存的读写操作以及拼接缓存状态的判断操作，均为同步执行。

5.一种任意字节长度拼接缓存的实现系统，其特征在于，包括：

逻辑控制模块，配置用于根据拼接缓存中的读指针和写指针判断拼接缓存的状态；

写数据模块，配置用于响应于拼接缓存的状态为可写，提取输入数据中的有效数据，并将所述有效数据存入拼接缓存；

读数据模块，配置用于响应于拼接缓存的状态为可读，将拼接缓存中的数据读出并输出；

每向拼接缓存写入1字节数据，写指针加1；

每从拼接缓存读取1字节数据，读指针加1；

响应于写指针加1，记录拼接缓存已存入数据个数的寄存器加1；

响应于读指针加1，记录拼接缓存已存入数据个数的寄存器减1；

所述根据拼接缓存中的读指针和写指针判断拼接缓存的状态还包括：

响应于所述寄存器的值小于第二预定长度，拼接缓存状态为可读可写；

响应于所述寄存器的值为0，则拼接缓存状态仅为可写；

响应于所述寄存器的值等于第二预定长度，则拼接缓存状态仅为可读；所述提取输入数据的有效数据并存入拼接缓存包括：

根据输入数据的掩码，将输入数据与掩码对应位置的数据存入拼接缓存。；所述第二预定长度等于拼接缓存的最大字节数。

Images