CN100440854C

CN100440854C - 一种网络处理器的数据包接收接口部件及其存储管理方法

Info

Publication number: CN100440854C
Application number: CNB2004100500047A
Authority: CN
Inventors: 宫曙光; 李华伟; 徐宇峰; 刘彤; 李晓维
Original assignee: Institute of Computing Technology of CAS
Current assignee: G Cloud Technology Co Ltd
Priority date: 2004-06-25
Filing date: 2004-06-25
Publication date: 2008-12-03
Anticipated expiration: 2024-06-25
Also published as: CN1595910A

Abstract

本发明涉及数据通信技术领域。特别是一种用于网络处理器的数据包接收接口部件及其存储管理方法。部件包括：数据接收缓冲装置；指针存储区管理装置；动态随机存取存储器DRAM存储控制器；静态随机存取存储器SRAM存储控制器；队列管理装置；数据存储区。方法包括：使用队列表、数据包指针和存储块指针对数据存储区进行有效的组织管理；利用存储块指针和存储块位置对齐节省存储空间并提高操作效率；使用SRAM和DRAM分别存储数据包头和净荷数据来提高处理数据传输速度。本发明还通过对DRAM存储控制器进行改进，进一步提高了数据的存取速度，有助于高速网络处理器克服其存储瓶颈，实现高速数据传输和处理。

Description

一种网络处理器的数据包接收接口部件及其存储管理方法

技术领域

本发明涉及数据通信技术领域。特别是一种用于网络处理器的数据包接收接口部件及其存储管理方法。

背景技术

随着网络技术的迅速发展，网络带宽已经从几年前的2Gbps增长到了现在的40Gbps，这需要交换机和路由器提供更快的数据处理能力，另外，为适应不断变化的网络协议和网络服务质量(QOS)的要求，还要求网络交换设备具备更加灵活的可扩展性和可编程性，而传统的GPP(通用处理器)和ASIC(专用集成电路)均不能同时满足这两方面的要求。因此，一种新型的网络处理部件——网络处理器，由于兼具高速的数据处理能力和灵活的可编程性，被越来越广泛地应用于交换机和路由器中。

在典型的网络处理器中，通过定量分析发现，在一个数据包从接收到转发的过程中，大约有2/3的时间要用于数据的接收，存储、调度和发送，尽管在网络处理器设计中，可以通过使用多个专用RISC CPU(精简指令集处理器)为网络处理器提供高速的数据处理运算能力，但是低速存储器部件的低速传输能力仍旧阻碍了网络处理器性能的进一步提高，存储子系统已经成为网络处理器的瓶颈。因此，只有通过合理地设计接收和发送接口部件，提高数据接收、存储与排队的并行性，同时对存储子系统进行改进，采用合理高效的存储管理方法，最大限度的提高存储器传输速度，才可以有效地提高网络处理器的性能。

目前，在网络处理器设计中，主要通过两种方法来改善存储子系统，一种方法是使用分布式存储方法，通过将不同类型的数据包分别放在不同的存储器中，利用存储器的并行访问来提高传输速度，但这种方法并没有改善同一种类型的数据包的传输速度。

另一种方法是改进存储控制器，利用DRAM存储器特有的一些存取特性，对存储器访问指令进行缓冲、预测和重排序，通过隐藏某些读写延迟，提高突发(Burst)传输次数，来提高存储器传输速度。但这种方法现有的实现策略需要考虑到具体的网络协议和调度策略，导致硬件预测逻辑复杂并且不适于配置经常变化的网络环境。

发明内容

本发明的目的在于提供一种网络处理器的数据包接收接口部件及其存储管理方法。该部件有多个可以并行执行的电路装置组成，采用该接口部件，可以使网络处理器接收端的数据包接收、存储及调度的并行性得到提高，有效提高网络处理器接收端的数据传输速度。

本发明的另一个目的是实现提高数据包接收、流控、存储与调度的并行处理方法。

本发明的另一个目的是提供一种用于网络处理器的存储区组织管理方法，提高存储区分配及数据包排队的灵活性和速度，使网络处理器可以有效地进行存储区管理。

本发明的另一个目的是提供一种改进的DRAM存储控制器的设计方法，使DRAM存储器的传输速率得到提高，并且与以往的方法相比具有简单易行和更好的适应性。

附图说明

前面已经对本发明的目的进行了简要的说明，下面将结合附图对本发明的主要内容进行说明，包含的附图主要有：

图1：是本发明所用的存储区组织结构图。

图2：是未改进的DRAM存储器突发读操作时序图。

图3：是本发明所用改进的DRAM存储器突发读操作时序图。

图4：是本发明接收接口部件的系统结构框图。

图5：是本发明接口部件运行时的状态转换图。

图6，是本发明所用的存储区管理方法流程图。

具体实施方式

由于本接口部件的整体设计和存储区的组织管理方法密切相关，下面先对本发明所用存储区组织管理方法进行说明。

在网络处理器中，为方便排队，存储区一般被分成固定大小的块，并采用链表管理方式，通过跟踪骨干网数据包，并对所捕获的数据包的大小进行统计发现，大约40％左右的以太网数据包的尺寸小于或接近64KB，理论和经验都已证明，在网络交换设备中采用64Byte的数据块进行存储管理，有利于减少存储区碎片和减少存储器访问次数，所以被网络处理器普遍采用。为实现队列的链式管理方式，大多数的存储区管理方法的基本思想是：在每个存储块内部设置指向属于同一数据包下一块内存块的指针，该指针负责将属于同一个数据包的数据块链接到一起。同时在存储区中预留专门的空间来存放存储块地址指针和各种队列首尾指针，用于将数据包链接成不同的队列。但是采用什么样的具体实现方法对存储区管理的存取效率和灵活性会产生不同的影响。附图1说明了我们所用的存储区组织管理方法的存储区组织结构图。

在该存储区组织管理方法中，设置一块指针存储区，指针存储区表项有位置域、数据包指针和存储块指针组成，位置域用于指出数据块在所属数据包中的位置，数据包指针用于将数据包组织成队列。整个存储结构有三部分组成，队列表，指针存储区和数据存储区。队列表中的每一项对应一个队列，由队列头指针域和尾指针域组成，用于将数据包组织成队列。两个域的指针分别指出队列中第一个数据包和最后一个数据包在指针存储区中的起始位置；指针存储区中的每一项主要包括三个域：数据块位置标志域，数据包指针域和存储块指针域。位置域指示当前数据块在数据包中的位置，主要由两位组成，含义如下：

11：数据包中的第一块数据块。

10：数据包中位于中间位置的数据块。

00：数据包中的最后一块数据块。

01：数据包的第一块也是最后一块数据块(说明该数据包只含一块数据块)。

存储块指针和数据存储块一一对齐，用于将属于同一数据包的数据块组织成链表。

数据包指针域指示属于同一队列的下一个数据包在指针存储区中对应的起始位置，用于将不同的数据包链接成一个队列。

包括存储块的划分，存储块的组织以及队列的组织方法。

在图1中可以看到，存储区包括一块DRAM和多块SRAM，存储数据的DRAM和SRAM均以64字节为单位分块，并且DRAM的每一块都被安排在DRAM存储芯片的一行内，数据包的净荷存放在DRAM中，而数据包头存放在SRAM中，每次发送的处理数据都是SRAM中的数据包包头数据，指针存储区和队列表均放在SRAM中，有助于加快存储块的分配、查找，修改及释放操作。

指针存储区的每一项和数据存储区的存储块在位置上都是一一对应的关系，即指针存储区的每一项唯一对应固定的数据存储块，同时，每一个数据存储块也唯一对应固定的指针存储区中的一项，假定指针存储区表项是从1开始编号的，存储块的大小为64字节，并且整个缓冲区的起始地址为start addr，则序号为N的缓冲区表项所对应的数据存储块起始地址为(假定以字节为单位)：block addr＝start addr+Nx64。

采用这种位置对齐的方式，不需要再在每个数据存储块保留指针项，而用块指针域指示属于同一数据包的下一数据块在指针存储区中的对应位置，因此，通过块指针域就可以将属于同一个数据包的数据块链接到一起，从而节省了存储空间和访问次数。

数据存储区被分为DRAM部分和SRAM部分，DRAM中主要用于存放数据包的净荷，SRAM中主要用于存放数据包的包头。由于网络处理器所处理的信息主要是包头数据，而净荷部分一般只在接收和转发时访问一次，将包头部分存储在SRAM中有助于提高数据的处理速度。

这种存储区组织管理方法可以很容易地实现数据块的分配、释放以及数据包和数据块在队列中的查找、修改和删除等操作，一个队列中数据包和数据块的查找都只需要一次索引和一次顺序查找，只需有O(n+1)的时间复杂度，同时，队列表、指针存储区及数据包头都放在SRAM中，有利于进一步提高数据块的分配、查找、释放及数据处理的速度。

对DRAM存储控制器设计的改进主要是通过隐藏DRAM的预充电时间，并利用多次突发传输来提高存储器的传输速度。由于SDRAM的寻址具有独占性，所以在每次进行完读、写操作后，如果要对另一行进行寻址，就要将原来工作的行关闭，重新发送行/列地址。这种关闭现有工作行，准备打开新行的操作就是预充电。由于DRAM中的存储体会因行选通而使存储电容受到干扰，所以预充电是一种对工作行中所有存储体进行数据重写的过程，预充电可以修复受到影响的数据信号，但是也因此会带来一定的延迟。

图2是一次DRAM读操作的时序，从中可以看到预充电延迟所带来的影响。

通常DRAM存储器在每次完成一次读写操作后都会进行一次预充电，但是如果是连续读、写同一行的数据，则不需要每次都进行预充电，而只需要在最后一次对该行的读、写完成以后再进行一次预充电就可以了。

图3说明了对同一行进行两次连续读、一次预充电的时序图。

正是利用DRAM芯片的这一特性，多数存储器改进的方法都是通过对连续的内存访问指令进行缓冲和预测，并通过重排序，使连续的存储器访问尽量集中在同一行内，从而减少预充电次数，来达到提高存储器访问速度的目的。图3可以看作是改进的带预测和指令重排序的存储器读操作时序图，和图2所示的操作相比，有明显的优势，但是这种预测需要具体考虑网络协议和调度策略，任意的排序有时可能会影响到数据处理和调度的正确性，

在我们的实现方式中，考虑到数据存储区是以64字节分块的，并且多数有关协议和调度的操作都是以数据块和数据包为单位进行的，并且，DRAM存储芯片一行的存储容量一般是64字节的整数倍，我们可以在存储块划分的时候就将每个数据块安排在同一行内，同时在存储控制器中增加指令缓冲和分析功能，对于连续的存储器访问指令，我们总是以对同一块的访问为单位对指令进行重排序，使连续访问都集中在同一行块内，从而可以减少预充电时间，同时，在涉及到跨块的连续访问指令时，也可以通过判断是否属于同一行来进一步避免预充电操作，这种存储控制器的改进设计方法，不需要进行特别复杂的判断逻辑，实现简单有效。如连续的访问A1，A2，A3，A4，A5。假定A1，A3，A5是对同一块的访问，A2、A4是对另一块的访问，我们可以将访问序列重排为A1、A3、A5、A2、A4。在原来的访问序列中，假设两个块不在同一行内，则至少需要4次预充电，而在新的访问序列中，只需要在A5到A2访问之间进行一次预充电。

DRAM存储器均提供非突发和突发两种数据传输模式，所谓突发传输是指在存储芯片同一行中相邻的存储单元连续进行数据传输的方式，即只要指定起始列地址与突发长度，寻址与数据的存取就自动进行，并且只要控制好两段突发访问命令的间隔周期即可做到连续的突发传输，每次突发传输所涉及到存储单元(列)的数量就是突发长度(BurstLengths，简称BL)。图2和图3说明了突发长度为4的突发传输过程，非突发连续传输模式不采用突发传输而是依次单独寻址，此时可等效于BL＝1，虽然它可以让数据是连续的传输，但每次都要发送列地址与命令信息，控制资源占用极大，因此在存储器设计时应尽量使用突发传输模式。

但是突发传输的长度并非是越大越好，如果每次传输的有效数据较少，而BL(BL＝1，2，4，8)设的过大，导致传输无效数据的相对时间较长，反到会引起传输效率的下降。因为在网络处理器中存储瓶颈主要集中在数据的接收存储和发送读取，所以BL的设置应该重点考虑到接收或发送部件的单位数据的长度，如果每次以N位数据为操作单位，存储控制器的数据线宽度为L位，则BL应设为小于或等于N/L的最接近的有效值，譬如，如果N＝128，L＝32，则BL取为4比较合适。BL的长度可以通过专门的寄存器进行配置。

结合上述存储器的组织管理方式，接口部件具体实现的结构框图如图4所示，该接口部件主要有以下各电路装置组成：数据接收缓冲装置1，指针存储区管理装置2，DRAM控制器3，SRAM控制器4，队列管理装置5、SRAM指针存储区6、SRAM数据存储区7及队列表8，通过DRAM控制器3可以外接DRAM存储器。

一个队列管理装置5，用于队列的组织管理和处理数据的分发；

其中，数据接收缓冲装置1与多个装置相连，负责接收数据并进行缓冲，同时进行接口状态跟踪和接收数据的计数，接收数据线采用128位宽度，以一个数据包为单位进行接收处理，另外，接受缓冲装置与指针存储区管理装置、队列管理装置、DRAM存储控制器及SRAM存储控制器有接口，用于请求各装置对接收的数据进行并发处理。

指针存储区管理装置2用于存储区的组织管理，完成存储区指针的管理与维护以及数据存储块的分配，负责完成一定的流量控制功能，

DRAM存储控制器3和SRAM存储控制器4提供对DRAM数据存储区和SRAM数据存储区的访问接口，通过仲裁逻辑，实现对多个数据访问请求的响应。

队列管理装置5用于队列的组织管理和处理数据的分发，负责维护不同的队列链表，同时负责发送微处理器所需的数据包包头数据，队列表8负责存储队列信息，SRAM数据存储区7用于存储数据包包头数据。

DRAM存储控制器，提供仲裁机制和三个数据访问接口：一个接口供数据接收部件内部对存储器的访问，一个接口提供给微处理器，一个接口提供给数据转发部件，对于来自多个接口的请求，设置不同的优先级，数据接收接口部件优先级最高，微处理器优先级次高，数据转发部件优先级最低，并按绝对优先级策略进行授权访问；DRAM存储控制器还提供指令缓存、指令分析和重排序功能，可以一次缓存多条访问指令，可以对缓存的指令进行分析和重排序，对指令的重新排序是以是否在同一块内为排序条件的。

除了在内部有接口外，存储控制器、指针存储区区管理装置和队列管理装置还提供外部访问接口，实现微处理器和发送部件对数据的访问。

该接口部件在具体实现时，使用前面提到的存储区组织管理方法和改进的存储控制器设计。

图5是该接口部件运行时的状态转换图，在设备初始化完成以后，当接收接口部件接收到足够的数据时，就会请求指针存储区管理装置进行数据块分配，同时根据接收情况和预先配置请求队列管理装置进行数据包排队，在流控检查通过的情况下，通过存储控制器存储数据包数据，对于数据包的净荷，通过DRAM控制器存放到DRAM存储器中，对于数据包的包头，则通过SRAM控制器存放到SRAM存储器中。队列管理装置一方面负责完成数据包的入队和队列的维护工作，同时还负责响应微处理器的请求，在微处理器请求进行新的数据包处理时，负责通过SRAM存储控制器读取数据包包头数据，并发送给微处理器。

在完成以上动作的同时，存储控制器允许外部单元，主要是微处理器和发送部件访问数据存储区，存储控制器提供仲裁控制功能，为不同的访问设置不同的优先级，其中，数据接收接口部件内部访问的优先级最高，微处理器优先级次高，发送部件优先级最低，并按绝对优先级策略进行授权访问。

同时指针缓冲区管理部件和队列管理部件也允许外部部件同时对其进行访问，本身也具有仲裁逻辑，并使用与存储控制器相同的绝对优先级策略。通过对指针缓冲区部件和队列管理部件的访问，外部部件可以完成空闲存储块的申请和分配，以及数据块和数据包的查询、修改、删除等操作，管理部件本身负责保证操作的正确有效。

从以上的操作可以看到，该接口部件可以对数据进行实时接收和缓冲，并可以控制其它各组成装置进行并行操作，可并行的操作主要包括：存储块的分配，数据的存储，流控的执行，队列的组织与处理数据的分发。

图6是网络处理器的数据包存储管理方法流程图，其操作步骤如下：

(1)预分配数据存储块，向空闲队列管理器申请分配空闲存储块和相应指针；

(2)接收、缓冲数据；

(3)如果是新的数据包，转(4)，否则转(5)；

(4)将数据写入新分配的SRAM数据存储区，修改队列指针和数据存储块指针，同时将上一次接收的数据包入相应队列，转(8)；

(5)判断是不是包头数据，如果是转(6)，否则转(7)；

(6)将缓冲区数据写入SRAM数据存储区；

(7)将缓冲区数据写入DRAM数据存储区；

(8)判断当前存储块是否已写满，如果写满继续，否则转(2)；

(9)修改存储块指针将写满的存储块加入数据包链表，向空闲队列管理器申请新的存储空间和相应指针，转(2)。

Claims

1、一种用于网络处理器的数据包接收接口部件，其特征在于，该接口部件包括：

一数据接收缓冲装置，用于外部数据的接收、缓冲、接口状态跟踪以及发出数据的存储与排队请求；

一指针存储区管理装置，用于存储区的组织管理，完成存储区指针的管理和维护以及数据存储块的分配；

一DRAM存储控制器，用于提供对DRAM数据存储区的访问接口；

一SRAM存储控制器，用于提供对SRAM数据存储区的访问接口；

一队列管理装置，用于队列的组织管理和处理数据的分发；

一数据存储区，该数据存储区包括DRAM数据存储区和SRAM数据存储区，用于存储数据包数据；

所述数据接收缓冲装置与指针存储区管理装置、DRAM存储控制器、SRAM存储控制器和队列管理装置之间分别有接口，通过各接口请求指针存储区管理装置、DRAM存储控制器、SRAM存储控制器或队列管理装置对自身接收的外部数据进行并发处理；

所述指针存储区管理装置、DRAM存储控制器、SRAM存储控制器或队列管理装置是可并行执行的电路装置；

所述数据存储区存储数据的DRAM和SRAM均以64字节为单位分块，并且DRAM的每一块都被安排在DRAM存储芯片的一行内，数据包的净荷存放在DRAM中，而数据包头存放在SRAM中，每次发送的数据都是SRAM中的数据包包头数据，指针存储区和队列表均放在SRAM中。

2、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述数据接收缓冲装置接收外部数据的数据线采用128位宽度，以一个数据包为单位进行接收处理。

3、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述指针存储区管理装置与指针存储区SRAM连接，并具有一外部访问接口，通过该外部访问接口实现处理器和发送部件对数据的访问；该指针存储区SRAM设置有指针存储区表，该指针存储区表项由位置域、数据包指针和存储块指针组成，位置域用于指出数据块在所属数据包中的位置，数据包指针用于将数据包组织成队列，存储块指针和数据存储块一一对齐，用于将属于同一数据包的数据块组织成链表。

4、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述DRAM存储控制器与DRAM数据存储区连接，通过仲裁逻辑，实现对多个数据访问请求的响应；所述DRAM存储控制器还有一外部访问接口，通过该外部访问接口实现处理器和发送部件对数据的访问。

5、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述DRAM存储控制器，提供仲裁机制和三个数据访问接口：一个接口供数据包接收接口部件内部对数据存储区的访问，一个接口提供给网络处理器，一个接口提供给数据转发部件，对于来自多个接口的请求，设置不同的优先级，数据包接收接口部件优先级最高，网络处理器优先级次高，数据转发部件优先级最低，并按绝对优先级策略进行授权访问；该DRAM存储控制器还提供指令缓存、指令分析和重排序，可一次缓存多条访问指令，对缓存的指令进行分析和重排序，对指令的重新排序以是否在同一数据块内为排序条件。

6、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述SRAM存储控制器与SRAM数据存储区连接，通过仲裁逻辑，实现对多个数据访问请求的响应；

所述SRAM存储控制器还有一外部访问接口，通过该外部访问接口实现处理器和发送部件对数据的访问；

所述SRAM数据存储区用于存储数据包包头数据。

7、根据权利要求1所述的网络处理器的数据包接收接口部件，其特征在于，所述队列管理装置进一步用于负责维护不同的队列链表，发送网络处理器所需的数据包包头数据；

所述队列管理装置还有一外部访问接口，通过该外部访问接口实现网络处理器和数据发送部件对数据的访问；

所述队列链表用于存储队列信息。