CN101692655B - 一种数据帧存储管理装置 - Google Patents

Abstract

一种数据帧存储管理装置，涉及数据帧的处理技术，包括入口分片装置、分片写入读出装置和公用存储器的分单元管理装置三部分；入口分片装置将数据流缓存后，将其分片抽取成分片数据并发送给分片写入读出装置；分片写入读出装置根据时序控制电路的时序信号，将分片数据写入存储器，或从存储器中读取分片数据；公用存储器的分单元管理装置控制分片写入读出装置的读写操作。本发明所述的数据帧存储管理装置，将存储器分成若干个基本存储单元，作为存储的基本单位，可基于源端口分配地址，也可共享型分配地址，通过申请-释放的机制来达到地址的独立性使用，采用时序隔离的方法完成数据的写入与读出，避免了读写的冲突，使整个系统的电路实现相对简单。

Description

一种数据帧存储管理装置

技术领域

本发明涉及数据帧的处理技术，具体的说是一种数据帧存储管理装置。

背景技术

存储设备中的数据帧存储管理装置与系统的数据处理能力、带宽利用率、性能的稳定性都紧密相关。目前数据帧存储管理装置及存储方式多种多样，都有不同的特点，但在具体的电路设计中大多还存在着以下一些缺陷：

1、固定分配地址空间。数据帧的数据是突发的，包长和速率是不固定的，各端口需要存储的数据量是不一样的，固定分配地址空间不能达到各端口的地址共享，显然不能充分利用存储空间。

2、以帧为单位进行地址连续的存储，同样依赖于地址的相对固定的分配，不利于地址的灵活使用。

3、存储控制电路并行处理。并行处理在逻辑上相对简单，但每个端口都需要一套独立电路，规模较大。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种数据帧存储管理装置，将存储器分成若干个基本存储单元，作为存储的基本单位，可基于源端口分配地址，也可共享型分配地址，通过申请-释放的机制来达到地址的独立性使用，采用时序隔离的方法完成数据的写入与读出，避免了读写的冲突，使整个系统的电路实现相对简单。

为达到以上目的，本发明采取的技术方案是：

一种数据帧存储管理装置，其特征在于：包括入口分片装置、分片写入读出装置和公用存储器的分单元管理装置三部分；

入口分片装置将多端口数据流缓存后，将其分片抽取成分片数据并发送给分片写入读出装置；

分片写入读出装置根据时序控制电路的时序信号，将分片数据写入存储器，或从存储器中读取分片数据；

公用存储器的分单元管理装置控制分片写入读出装置的读写操作。

在上述技术方案的基础上，所说的存储器由基本存储单元构成，所说的基本存储单元的长度值为固定字节，包括地址空间和链表空间，地址空间用来存储分片数据，链表空间用来承载基本存储单元之间关联的链表。

在上述技术方案的基础上，入口分片装置包括入口缓存管理电路、缓存、分片抽取电路，入口缓存管理电路将接收到的多端口数据流写入缓存并通知分片抽取电路从缓存中读取数据流，分片抽取电路从缓存中读取数据流并将其变成分片数据，分片抽取电路还负责将分片数据发送到分片写入读出装置。

在上述技术方案的基础上，分片写入读出装置包括分片写入操作电路、分片读出操作电路、时序控制电路、存储器，分片写入操作电路接收入口分片装置的分片抽取电路发来的分片数据，然后根据时序控制电路的时序信号将分片数据写入存储器，分片读出操作电路根据时序控制电路的时序信号将分片数据从存储器内读出，发送到需要该分片数据的下级单元；公用存储器的分单元管理装置将存储器的具体操作地址发送给分片写入操作电路、分片读出操作电路，分片写入操作电路、分片读出操作电路根据该具体操作地址完成分片数据的写入和读出。

在上述技术方案的基础上，公用存储器的分单元管理装置包括基本存储单元的状态管理电路、基本存储单元的申请释放电路、基本存储单元的预申请电路，基本存储单元的状态管理电路和基本存储单元的申请释放电路间交互数据，基本存储单元的申请释放电路将申请释放请求传递给基本存储单元的状态管理电路，基本存储单元的状态管理电路将更新后的基本存储单元的状态信息传递给基本存储单元的申请释放电路，基本存储单元的申请释放电路直接发送操作地址给分片读出操作电路；基本存储单元的申请释放电路通过基本存储单元的预申请电路发送操作地址给分片写入操作电路。

本发明所述的数据帧存储管理装置，将存储器分成若干个基本存储单元，作为存储的基本单位，可基于源端口分配地址，也可共享型分配地址，通过申请-释放的机制来达到地址的独立性使用，采用时序隔离的方法完成数据的写入与读出，避免了读写的冲突，使整个系统的电路实现相对简单。

附图说明

本发明有如下附图：

图1本发明的各主要模块的连接关系示意框图

图2本发明的入口分片后的总线示意图

图3本发明的基本存储单元地址空间和链表空间的示意图

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，本发明所述的数据帧存储管理装置，包括入口分片装置、分片写入读出装置和公用存储器的分单元管理装置三部分；入口分片装置将多端口数据流缓存后，将其分片抽取成分片数据并发送给分片写入读出装置；分片写入读出装置根据时序控制电路的时序信号，将分片数据写入存储器，或从存储器中读取分片数据；公用存储器的分单元管理装置控制分片写入读出装置的读写操作。多端口数据流即多个端口的数据流，所述端口指的是某种类型的数据帧接口，通常可以是以太网端口，比如包括6个百兆和2个千兆以太网端口的多端口数据流可以被本发明所述的数据帧存储管理装置在125M的主时钟下同时处理。本发明所述的数据帧存储管理装置最终实现是硬件电路，但不象硬盘这样物理介质是固定的。本装置主要由电路板上的芯片(可现场编程的FPGA或者专用集成电路ASIC)实现，核心就是用verilog硬件描述语言作为源代码描述本装置的各种信号功能。只要某种应用需要做数据帧的存储管理，就可以将源代码在相应的FPGA或ASIC中实现。本装置类似于IP核，物理形式可以是多样的。帧数据流首先是通过入口分片装置的处理，被抽取成分片的数据送出，分片写入读出装置根据时序控制电路的时序信号向公用存储器的分单元管理装置申请基本存储单元的地址，然后将分片数据写入对应地址的基本存储单元中去。读出时，分片写入读出装置的分片读出操作电路对各端口进行调度，将优先级高的数据片段读出来，送给对应的端口。整个电路采用全同步设计，网管可以对操作的模式进行灵活配置。

如上所述，本发明所述的数据帧存储管理装置，各组成部分的功能如下：

1、入口分片装置

a、入口缓存管理电路。主要功能是在入口将各端口的数据和端口信息缓存起来，并进行空间的统计，当达到抽取门限，则将通知分片抽取电路进行抽取操作。

b、分片抽取电路。主要功能是产生抽取片段的时序，根据各端口缓存的情况，按照RR轮循原则进行片段的抽取。将数据片度和信息、时序指示送给下游模块。

2、公用存储器的分单元管理装置

a、基本存储单元的状态管理电路。主要功能是初始化所有基本存储单元，监视所有单元的空闲占用状态，完成状态的刷新，并实时统计各端口使用基本存储单元的情况。

b、基本存储单元的申请释放电路。主要功能是处理基本存储单元的申请和释放，采用申请优先、释放等待的原则。

c、基本存储单元的预申请电路。主要功能是预先申请好基本存储单元的地址，既提高了写入操作的效率，又平抑了短时间内各端口申请释放操作的集中产生。

3、分片写入读出装置。

a、时序控制电路。功能是产生写入和读出的时序，分配写入和读出操作的带宽。

b、分片写入操作电路。主要功能是按照写入时序将各端口的数据片段逐一写入申请的存储器的基本存储单元中。

c、分片读出操作电路。主功能是采用公平的轮循原则，按照读出时序将数据片段从基本存储单元中读出。

在上述技术方案的基础上，如图3所示，所说的存储器由基本存储单元构成，所说的基本存储单元的长度值为固定字节，包括地址空间和链表空间，地址空间用来存储分片数据，链表空间用来承载基本存储单元之间关联的链表。图3是基本存储单元承载帧数据的的基本情况。一个基本存储单元包含地址空间和链表空间，地址空间的大小跟写入和读出的数据片段长度相关，鉴于写入片段和读出片段的长度可以不同，地址空间的大小应该是它们的公倍数。链表空间主要存储下一个基本存储单元的地址。如图3所示，一个数据帧需要占用3个基本存储单元，从基本存储单元a开始，当a的地址空间占满后，则新申请基本存储单元b，a的链表空间存储b的地址，b的地址空间继续存储帧数据，用完后，继续申请新的基本存储单元c，b的链表空间存储c的地址。需要说明的是，基本存储单元a、b、c是独立的，地址并不一定是连续的，而是任意的。

在上述技术方案的基础上，入口分片装置包括入口缓存管理电路、缓存、分片抽取电路，入口缓存管理电路将接收到的多端口数据流写入缓存并通知分片抽取电路从缓存中读取数据流，分片抽取电路从缓存中读取数据流并将其变成分片数据，分片抽取电路还负责将分片数据发送到分片写入读出装置。本发明的入口分片装置的操作大致是如下几步：

a.将各端口数据写入缓存。各端口检测帧数据指示，若有数据帧，则依次写入缓存。各端口电路独立，并行处理。

b.根据各端口缓存状况，进行RR调度。缓存超过一个片段的，才有参与调度的机会。

c.根据调度的结果，对对应端口进行片段抽取。抽取按照一定时序和一定的数据结构(参见图2的总线结构)，片段信息在本片段的时间内维持不变。

在上述技术方案的基础上，分片写入读出装置包括分片写入操作电路、分片读出操作电路、时序控制电路、存储器，分片写入操作电路接收入口分片装置的分片抽取电路发来的分片数据，然后根据时序控制电路的时序信号将分片数据写入存储器，分片读出操作电路根据时序控制电路的时序信号将分片数据从存储器内读出，发送到需要该分片数据的下级单元；公用存储器的分单元管理装置将存储器的具体操作地址发送给分片写入操作电路、分片读出操作电路，分片写入操作电路、分片读出操作电路根据该具体操作地址完成分片数据的写入和读出。分片写入读出装置是存储操作的控制装置，以一定字节长度的片段为单位进行对存储器的读写操作控制。写入操作的数据帧片段即为入口分片装置产生的帧数据片段(长度为n1)，装置根据同时送来的片段信息，申请的基本存储单元的地址，将其写入存储器。读出操作以固定字节长度n2(也是32字节的整数倍)作为一个数据片段来处理，但读出时的数据片段长度n2和写入时的片段长度n1可以不一致。根据数据帧接口的接收发送的速率和写入读出控制的处理能力，本装置写入操作和读出操作的数据片段长度是可以灵活配置的，如写入时按照96字节为一个数据片段，而读出时按64字节为一个数据片段。分片写入读出装置承担所有端口的写入读出操作，采用写入读出时隙分开且各个端口公平轮循的办法来实现。考虑组播、帧丢弃等情况，写入与读出的带宽并不是完全一样的，本装置采用了写入读出时隙灵活配置的办法，既避免了突发读写操作的冲突问题，又有效地让写入读出的带宽分配和实际情况最大化吻合。在读写各自的时序范围内，各端口进行公平轮循。

帧数据经过入口分片装置处理后，以固定长度n1为一个分片数据的方式送出给分片写入操作电路。图2是分片数据的总线结构。其中s_data为传输的数据，clk为系统时钟，s_begin和s_end分别是本片段开始和结束的时隙指示，s_en指示本片段是否有效，f_header指示本片段是否含有数据帧的帧头，f_end指示本片段是否含有数据帧帧尾，s_length指示本片段含有多少字节的有效数据，s_msg是一组总线，为分片数据的其他信息指示，信息指示包含了源端口号、目的端口号、其他跟队列管理和调度相关的信息。s_en、f_header、f_end、s_length、s_msg在一个片段的时间内维持不变。在整个总线结构传输中间，一个帧可能被分割成若干各数据片段，这些数据片段并不一定是“连续地”连在一起的，而是可能和其他端口的其它数据帧的片段间插在一起的。

在上述技术方案的基础上，公用存储器的分单元管理装置包括基本存储单元的状态管理电路、基本存储单元的申请释放电路、基本存储单元的预申请电路，基本存储单元的状态管理电路和基本存储单元的申请释放电路间交互数据，基本存储单元的申请释放电路将申请释放请求传递给基本存储单元的状态管理电路，基本存储单元的状态管理电路将更新后的基本存储单元的状态信息传递给基本存储单元的申请释放电路，基本存储单元的申请释放电路直接发送操作地址给分片读出操作电路；基本存储单元的申请释放电路通过基本存储单元的预申请电路发送操作地址给分片写入操作电路。

在上述技术方案的基础上，基于上述装置的数据帧存储管理方法，可对各种端口类型(例如以太网接口)、各种流量、变帧长的数据帧进行统一的地址分配和存储管理，针对数据帧帧长的任意性和突发性，分片提取各端口数据帧数据，串行处理各端口数据，用硬件电路轮循实现各种数据帧数据的存储管理。提取数据帧端口的数据以k字节的整数倍n1为一个数据片段，写入存储器以n1字节为一个写数据片段，读出存储器以k字节的整数倍n2(n2可以不等于n1)为一个读数据片段。基本存储单元中地址空间为写数据片段n1和读数据片段n2的公倍数。例如，写入时以32(k)字节的3倍即96(n1)字节为一个数据片段，读出时以32(k)字节的2倍即64(n2)字节为一个数据片段。

在上述技术方案的基础上，基于上述装置的数据帧存储管理方法，存储器通过软件配置实现地址智能化分配和管理。存储器空间按照数据的源端口或目的端口为类别进行可控性分配，可以进行各端口独立分配存储空间，也可以进行共享型分配空间。对各端口和整体的的基本存储单元使用情况进行实时统计。按照前述所指定的策略可同时对源端口、目的端口和全局进行实时基本存储单元使用情况的监管，并激活对应的缓冲管理机制。

在上述技术方案的基础上，基于上述装置的数据帧存储管理方法，每个基本存储单元各自是独立的，不隶属于特定的端口，遵循“申请-释放”，“申请-释放”的操作原则。申请到的基本存储单元可以正常写入数据，被读出后可以再释放出来，被下一次申请使用，用完再释放。写入数据和读出数据进行了时序上的隔离，避免了读写冲突控制。不同端口的写入操作和读出操作各自进行公平的优先级轮循。分片提取速率要大于所有端口速率之和。

本发明采用了基本存储单元的管理机制，保证基本存储单元能够高效的被使用。每个基本存储单元的状态(空闲还是被占用)，能够被记录下来。收到申请请求时，通过查找基本存储单元的状态，按照优先算法将一个空闲的基本存储单元(如果没有空闲的基本存储单元则不允许端口提出申请，采取丢包处理)分配出去，同时修改基本存储单元的状态为占用。收到释放请求，则将修改对应的基本存储单元的状态为空闲。为满足瞬间突发的基本存储单元申请，采用了基本存储单元的预申请机制。

本发明的分片写入和分片读出操作在时序上进行了分离，分别在各自的有效时序下工作，若时序无效则相应的电路停止工作。读写时序的比例可以进行软件配置。分片写入操作分为一下几步：

a.写入电路初始化。监测输入分片数据的有效信号和帧头指示。如果发现帧头指示有效，则申请基本存储单元的地址，开始启动本端口的分片写入操作。

b.将分片数据写入数据缓存，并产生一个写操作信息(描述了缓存在什么地址上的数据应该写入存储器的什么位置)，写入操作信息缓存。同一个帧的下一个片段同样处理，同时将各片段的有效长度累加。

c.如果同一个帧的片段比较多，一个基本存储单元的地址空间用完了，则申请新的基本存储单元，同时产生一个特殊的写操作信息——描述了新基本存储单元的地址号写入旧基本存储单元链表空间。

d.如果监测到该片段含帧尾，则将整个帧的信息(包括源端口号、目的端口号、帧长、帧头所在基本存储单元的地址等)记录下来。

e.根据操作缓存的的操作信息，将对应的数据或者链表写入存储器对应的基本存储单元。如果一个帧的片段都写完，则将记录的帧信息送出。至此，一个帧的写入操作完成。

读出操作的步骤跟写入操作相反，如下：

a.根据帧信息启动读操作。

b.根据帧头地址开始读存储器。每次读一个片段(读片段可能和写片段长度不一定一致，可以自由配置)，帧长相应减少。读出的数据和片段信息(端口号、片段的有效字节数、帧头帧尾状态等)一起送出。

c.一个基本存储单元的地址空间读完后，剩余帧长不为零，启动读链表空间的操作，得到下一个基本存储单元的地址，读该基本存储单元的数据片段，如果剩余帧长还不为零，继续链表找下一个基本存储单元。最终直到读完帧长的字节数。

d.读数据片段的操作根据端口情况进行申请，提出申请的端口进行公平的轮循。

本发明的公用存储器分单元管理装置核心是将存储器按照基本存储单元来划分和管理。基本存储单元各自独立，其空闲和被占用状态可被监测，它们通过申请和释放来达到可反复分配使用的目的。其管理步骤如下：

a.初始化。所有的基本存储单元的状态被置为空闲。

b.处理申请请求。所有的基本存储单元的状态分成若干组，被系统实时监测。按照优先级排列，选出优先级最高的一个，将其地址给出，同时将对应的基本存储单元置为被占用。

c.处理释放请求。收到释放请求，直接修改对应基本存储单元的状态，从被占用修改为空闲。

考虑到申请释放的随机性，本发明采用预申请电路和排队释放电路来优化存储器分单元管理的效率。

初始化完成后，外部还没有申请时，预申请模块就启动内部申请，申请到m个(m可以配置)基本存储单元备用，当外部申请来时，直接将预申请到的基本存储单元的地址给出，内部预申请的基本存储单元个数递减1。只要内部预申请的基本存储单元个数小于m，则预申请模块则可以继续申请，以适应突发的频繁的外部申请。释放电路也因为释放是随机产生的，有短时间突发很多次释放的可能。本发明采用一定容量的空间来缓存释放信息，释放操作采用申请释放--等待响应--响应。通过排队释放，可以吸收瞬间突发和平均处理时间的差异。

本发明对各端口的基本存储单元进行独立统计，基于各端口和所有端口可以配置不同的门限值，如果达到对应的门限值，电路将给出告警，从而控制数据帧接收电路和发送电路产生不同操作。如：某端口基本存储单元的占用个数已经达到快满门限，则给出快满告警，对应端口的接收电路将丢弃新来的分片数据，直到快满告警消失。门限值的设置可以使整个存储器空间达到各端口的独立占用或整体共享。

综上所述，本发明给出的方法通过本发明所述的一种数据帧存储管理装置，将存储器分成若干个基本存储单元，作为存储的基本单位，可基于源端口分配地址，也可共享型分配地址，通过申请-释放的机制来达到地址的独立性使用，采用时序隔离的方法完成数据的写入与读出，避免了读写的冲突，使整个系统的电路实现相对简单。本发明具有以下优点：

1、多端口数据流输入的入口分片装置：采用公平的RR调度策略，串行化处理帧数据片段。入口可以按照固定长度n1(32字节的整数倍)来进行片段抽取，送给内部存储控制机制。

入口分片是指在输入的接口处将各个端口的帧数据先缓存起来，针对各个端口的缓存状况进行公平的RR调度策略，用高速时钟按照一定长度片段n1(帧尾处不足一个片段的也按照一个片段来处理，空闲位置用无效数据补齐)来进行串行化抽取，抽取的帧数据片段，传给下游的分片写入读出装置。

通过入口分片装置的作用，在宏观上各个端口的数据帧会被“切割”成若干个标准的片段，各片段随意间插着串行送出。同时，每个片段的信息(包括源端口号、目的端口号、片段有效字节数、本片段是否含有帧头帧尾等等信息)会和片段的数据一起送给分片写入读出装置。

2、公用存储器的分单元管理装置：存储器按照一定的单位空间定义为一个基本存储单元，每个基本存储单元各自独立。公用存储器的分单元管理装置对每个基本存储单元进行管理，监控其空闲状态，进行空间分配和空间释放的操作。存储器通过公用存储器的分单元管理装置的管理，对各端口达到了共享。

公用存储器的分单元管理装置主要功能是管理存储器地址空间。本装置采用基本存储单元的存储管理办法。每个基本存储单元相对独立，采用申请-释放的机制来进行管理。基本存储单元处于空闲状态时，可以被申请用来存储数据。申请后处于被占用状态，则不可再被申请。若该基本存储单元的数据被读走并接到释放指示，则从被占用状态跳回空闲状态，可以再度被申请。

基本存储单元的大部分用来存储数据帧的数据，称为地址空间，只留出若干字节的空间来存放下一个基本存储单元的地址，称为链表空间。每个基本存储单元只能存储同一个帧的内容，本发明禁止不同帧的数据存到同一个基本存储单元中。如果一个短帧可以完全存入一个基本存储单元的地址空间，则链表空间不存任何数据，如果是一个长帧，一个基本存储单元的地址空间不够存，则本装置会再申请一个新的基本存储单元，新基本存储单元的地址存储在旧基本存储单元的链表空间中。剩下的帧数据存入新基本存储单元的地址空间中。如果帧还有剩余数据，则继续申请新的基本存储单元，方法同上。

上述方案的公用存储器的分单元管理装置，采用源(目的)端口为目标的基本存储单元的统计，根据各端口占用基本存储单元的数目来决定本端口是否还可以继续申请基本存储单元，以达到存储器空间的灵活共享管理。

3、分片写入读出装置：本装置以数据帧的一个片段为操作单位，完成一次写入或者读出操作，每次操作对各端口采用公平轮循原则。读写操作进行时序隔离，避免了读写冲突控制。装置对各端口的操作采用串行化处理。

4、入口分片抽取机制对各端口的数据按RR原则进行片段抽取，提高了处理效率，保证了各端口处理的公平性。

5、存储空间的独立性、申请-释放的机制让基本存储单元灵活地为各端口提供服务。通过软件配置，各端口的存储空间可实现独立和共享。通过对基本存储单元划分地址空间和链表空间，既保证了存储短帧的有效性，又保证了存储长帧的逻辑连续性。

6、写入读出的串行化设计减少了电路的规模。

7、以数据片段为单位来处理的办法，有效解决了瞬间速率和平均带宽的问题，使电路的控制高效，简明。并且，这种基于片段的操作方式降低了数据帧存储转发的延时。

Claims (2)

1.一种数据帧存储管理装置，其特征在于：包括入口分片装置、分片写入读出装置和公用存储器的分单元管理装置三部分；

入口分片装置将多端口数据流缓存后，将其分片抽取成分片数据并发送给分片写入读出装置；

分片写入读出装置根据时序控制电路的时序信号，将分片数据写入存储器，或从存储器中读取分片数据；

公用存储器的分单元管理装置控制分片写入读出装置的读写操作；

入口分片装置包括入口缓存管理电路、缓存、分片抽取电路，入口缓存管理电路将接收到的多端口数据流写入缓存并通知分片抽取电路从缓存中读取数据流，分片抽取电路从缓存中读取数据流并将其变成分片数据，分片抽取电路还负责将分片数据发送到分片写入读出装置；

分片写入读出装置包括分片写入操作电路、分片读出操作电路、时序控制电路、存储器，分片写入操作电路接收入口分片装置的分片抽取电路发来的分片数据，然后根据时序控制电路的时序信号将分片数据写入存储器，分片读出操作电路根据时序控制电路的时序信号将分片数据从存储器内读出，发送到需要该分片数据的下级单元；公用存储器的分单元管理装置将存储器的具体操作地址发送给分片写入操作电路、分片读出操作电路，分片写入操作电路、分片读出操作电路根据该具体操作地址完成分片数据的写入和读出；

公用存储器的分单元管理装置包括基本存储单元的状态管理电路、基本存储单元的申请释放电路、基本存储单元的预申请电路，基本存储单元的状态管理电路和基本存储单元的申请释放电路间交互数据，基本存储单元的申请释放电路将申请释放请求传递给基本存储单元的状态管理电路，基本存储单元的状态管理电路将更新后的基本存储单元的状态信息传递给基本存储单元的申请释放电路，基本存储单元的申请释放电路直接发送操作地址给分片读出操作电路；基本存储单元的申请释放电路通过基本存储单元的预申请电路发送操作地址给分片写入操作电路。

2.如权利要求1所述的数据帧存储管理装置，其特征在于：所说的存储器由基本存储单元构成，所说的基本存储单元的长度值为固定字节，包括地址空间和链表空间，地址空间用来存储分片数据，链表空间用来承载基本存储单元之间关联的链表。

Images