CN104811495A - 一种用于智慧协同网络的网络组件内容存储方法及模块 - Google Patents

Abstract

本发明公开了一种提高智慧协同网络中网络组件内容存储读写速率的方法和储存模块。本方法通过将网络组件的内容存储模块设计为层次存储结构，用少量的高速静态随机存储器(Static Random Access Memory，SRAM)作为动态随机存储器(Dynamic Random Access Memory，DRAM)的缓存，利用网络流量本身具有的时间局部性，设计出内容存储的高速缓存模型；在将流经网络组件的内容存入存储模块时，通过预先分配空间的方式，将同一内容的不同数据包存储在存储空间的连续位置，使同一内容的数据包具有空间局部性；同时，提出一种命名机制，以提供存储空间局部性的支持。该发明可大幅度提高网络组件中存储模块的读写速率，从而提高网络组件的整体转发速率。

Description

一种用于智慧协同网络的网络组件内容存储方法及模块

技术领域

本发明涉及计算机网络技术，特别是涉及一种提高智慧协同网络中网络组件内容存储读写速率的方法及模块。

背景技术

现有互联网采用“沙漏模型”的设计思想，具有“三重绑定”的特征，即：服务的“资源和位置绑定”、网络的“控制和数据绑定”及“身份与位置绑定”。这种网络体系和机制是相对“静态”和“僵化”的，在此基础上的演进与发展难以突破原始设计思想的局限，无法从根本上满足信息网络“高速”、“高效”、“海量”、“泛在”等通信需求，更难以实现网络资源的高效利用、节能等。如图1所示，智慧协同网络通过建立“智慧服务层”、“资源适配层”和“网络组件层”以及覆盖“实体域”和“行为域”的“三层”、“两域”的体系架构，实现网络的“身份与位置分离”、“资源与位置分离”和“转发与数据分离”；通过动态感知网络状态并智能匹配服务需求，进而选择合理的网络族群及其内部组件来提供智慧化的服务，并通过引入行为匹配、行为聚类、网络复杂行为博弈决策等机制来实现资源的动态适配和协同调度，大幅度提高网络资源利用率，降低网络能耗等，显著提升用户体验。在智慧协同网络中，创新性地提出了网络组件模型，该模型重要特点之一就是在数据层面引入内容缓存模块，根据缓存机制存储数据内容，以实现资源动态适配、就近获取已访问过的目标，实现网络中流量聚合，减少数据的访问延时，减小数据链路带宽的消耗等。然而智慧协同网络尚处于架构设计阶段，很多方案并不尽善尽美，如在网络组件内容存储方面，有很多技术问题急需解决。

现有DRAM存储芯片不同读写操作所占用的时间区别较大。存储器芯片被组织成有很多输出位，通常为4～128位。我们用d*w来描述这种随机存储器(Random Access Memory,RAM)的结构，其中，d是可寻址位置的数量(也就是深度)，w是输出位数(每个位置的宽度)。逻辑上，DRAM被组织成矩形阵列，访问时间被分为行访问时间与列访问时间。DRAM可以缓冲一行，如在三星的一款双方速率同步动态随机存储器(Double Data Rate DRAM,DDR) 中，一行的大小可为512B～2KB。突发传输可以重复访问缓冲区而不占用行访问时间，缓冲区的作用类似于SRAM，通过改变列地址，可以随机访问缓冲区的任一位，直到访问下一行。由于对行中每一位的访问时间减少很多，因此这种方法明显改善了访问时间。在DRAM芯片中旧行访问时间远远大于新行的访问时间，且随着时间的变化这种趋势越来越明显，DRAM的访问特性随着时间的变化趋势如表1所示。

表1 DRAM芯片的发展趋势

表2 存储芯片慨况

目前国际上对内容存储的方法研究主要集中在网络设备之间的缓存协作上，对内容线速缓存的实现方法研究甚少。2010年，Somaya Arianfar在她的论文“On content-centric router design and implications”中第一次提到了内容线速存储在以内容为中心的路由器中的实现，其设计了一种支持内容存储的路由器，采用单层存储模型，分析了不同转发速率下的路由器应该采用怎样的存储器芯片作为内容存储，并讨论了不同存储器下路由器能耗问题，如表2所示。2011年，Diego Perino在Somaya Arianfar的基础上，在论文“A reality check for content centric networking”进一步讨论了现有存储技术对内容存储路由器的支持情况。然而两者都是基于单层内容存储模型进行讨论，没有充分考虑网络流量特性与存储芯片读写特性去进行内容存储器设计，导致内容的读取与存储速率只能等于DRAM单个字的读写速率，又路由器待机等待读写内容存储，最后大大降低了网络设备的转发速率。

因此，需要提供一种能够节省存储空间，又不影响储存模块处理请求速率的方法。

发明内容

传统的网络内容存储技术，使用单层存储模型，且未充分利用DRAM芯片中访问旧行的速率远远大于访问新行的速率这一特性，导致网络内容存储设备的传送待机时间长、吞吐量低、存储转发速率慢。

为解决上述技术问题，本发明采用下述技术方案：

一种用于智慧协同网络的网络组件内容存储方法，该方法的步骤包括

建立由静态随机存储器SRAM和动态随机存储器DRAM组成的双层存储模型，以SRAM作为DRAM的缓存；

在智慧协同网络中的服务标识中加入内容总大小TOTAL_SIZE字段，用于表示服务内容的总大小；

根据所述TOTAL_SIZE字段预分配一端连续的储存空间，用于存储服务内容的其他数据包；

把整个DRAM主存作为一个哈希桶，即一个固定大小的、没有链表的哈希表，优化内容索引方法，从而去掉存储在SRAM中95％～98％的内容索引表；

将同一内容的不同数据包存储在存储空间的连续位置，使同一内容的数据包具有空间局部性，提高储存模块处理请求的速率。

优选的，所述DRAM中的每个内容块中都存有与内容相关的一些信息，该信息元为元信息，所述元信息包括服务标识信息。

优选的，在DRAM内容更新时，新的内容块可以替换旧的内容块。

优选的，该方法的步骤进一步包括当遇到超出DRAM中固定块大小的内容时，其超出部分保存在循环log的剩余块中；每个块的所述元信息中包含了内容log地址，哈希值是i的对应第i个DRAM块。

优选的，所述索引表项包括缓存内容在DRAM中的基地址、DRAM单元标志位、在SRAM中的基地址、SRAM单元标志位和一个循环log地址。

优选的，该方法的步骤进一步包括若SRAM缓存丢失，则从DRAM中一次传输SRAM块大小的数据到SRAM。

一种用于智慧协同网络的网络组件内容存储模块，该装置包括静态随机存储器SRAM和动态随机存储器DRAM，所述SRAM作为DRAM的缓存，并去掉储存在SRAM中的95％～98％的内容索引表。

优选的，所述存储模块进一步包括循环模块，用于当遇到超出DRAM中固定块大小的内容时，保存其超出部分。

优选的，所述SRAM缓存与DRAM主存之间地址相关联的方式可以为直接映射、全相连或组相联。

本发明的有益效果如下：

本发明所述技术方案与现有技术相比，本发明采用网络内容的局部性特点设计存储模块的两层模型，使用SRAM作为存储模块中DRAM的高速缓存。这里使用的网络内容的局部性包括时间局部性与空间局部性两部分。网络内容的时间局部性是指在较短的时间段内，同一或相关网络内容将频繁被访问。网络内容的空间局部性是指同一网络内容的数据包将被存储在网络设备连续的存储区域中，SRAM缓存与DRAM主存直接交互数据以SRAM块为单位进行，块的大小与存储区域的大小根据网络流量特点设计。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出智慧协同网络“三层”、“两域”总体模型的示意图；

图2示出网络组件模型的示意图；

图3示出本发明所述网络组件存储模块的示意图；

图4示出服务标识经典组织结构的示意图；

图5示出本发明改进的服务标识组织结构的示意图；

图6示出DRAM存储器的组织方式的示意图；

图7示出本发明所述索引表的表项结构的示意图；

图8示出本发明所述网络组件存储模块查询模型的示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本发明公开了一种网络组件内容存储方法和存储模块。如图2所示，为本发明实施例所使用的网络组件模型框图，实施例在此模型基础上设计，网络组件由四部分组成：

1)转发控制器：负责查表存储转发网络数据；

2)请求表：保存服务标识与端口号关联关系，即未得到服务的请求服务标识与请求端口关系对；

3)转发表：记录服务标识前缀与一个或多个端口的关系；

4)存储模块：保存流经网络组件的可保存的数据内容。

如图3所示，为本发明所建立的存储模块的示意图，本发明采用两层存储结构，使用SRAM作为存储模块中DRAM的高速缓存。

现有网络设备中的内容存储都是一层结构，由于存储芯片技术一直没有跟上转发芯片技术的发展，设计者为了能满足高速转发网络设备的需求，往往需要使用大量更快的存储芯片，但如表1所示快速的存储芯片价格高昂，这也导致了支持内容存储的网络设备高昂的制作成本。本发明在网络组件的存储模块中设计出两层存储结构模型，目的是解决现有技术中的不足，使转发速率与制作成本达到权衡，从而实现提高内容存储的读写速率。

在DRAM芯片的访问过程中有个重要的特性，如表1所示，访问DRAM旧行的时间远远大于访问新行的时间。本发明利用这一特性，将存储模块设计为两层存储模型：一方面开辟连续的存储空间来存储同一内容的数据包；另一方面是网络流的时间局部性，使得缓存在SRAM的内容能够被多次引用。正是这点使两层存储模型能够在网络设备中取得成功。

如图4所示，为现有技术中智慧协同网络的服务标识组成结构图，本发明为了构建存储内容空间局部性，如图5所示，在服务标识中加入TOTAL_SIZE字段，表示的是服务内容的总大小。当服务内容的数据包到来的时候，存储模块根据TOTAL_SIZE字段预分配一段连续的存储空间，用于存储服务内容的其他数据包，从而让同一内容的其他数据包可以存储在一段连续的存储空间里面，便于逐行读写。

如图6所示，为网络组件存储模块DRAM主存储器的一种组织方式。为了进一步减少昂贵的SRAM的使用，本发明先尝试去掉存储在SRAM的内容索引表，把整个DRAM主存看做一个哈希桶，即一个固定大小的、没有链表的哈希表。同一内容保存在DRAM的固定大小的块中，通过对内容服务标识的哈希，得到这个服务内容的块地址偏移量，从而得到其在DRAM主存中存储位置。DRAM每一个内容块中都存有与内容相关的一些信息，称为元信息，为了防止哈希冲突导致的错误判断，元信息包含服务标识信息，同时新的内容块可以替换旧的内容块。因为有些内容大小可能大于DRAM中固定大小的块的大小，本发明引入循环log，这个循环log保存了超出块大小的内容的剩 余部分。同时每个块的元信息中也包含了内容log地址信息，哈希值是i的对应第i个DRAM块，剩余块在循环log里面。本发明的一种思想，即把整个DRAM存储空间看做哈希桶，哈希桶的索引就是地址，通过内容名字的哈希得到，但这样做也会增加命中丢失的时延，为了权衡两者，我们依然选择在SRAM中加入少量内容索引。保留SRAM中内容索引表的数量需要根据实际应用决定，本方法的索引使用量有现有技术中商用的缓存策略少20-50倍。

上述这种方式虽然减少SRAM的使用，但是它导致每次请求都要访问DRAM进行查询，即使DRAM中没有相关内容，存储内容之前也必须访问一次，从而大大增加了查询与存储内容的时间，因此在存储模块模型设计中使用一种更为折中的方案，即仍然使用少量的索引表在SRAM中，从而在进一步节省SRAM大小的同时，又能不影响存储模块处理请求的速率。

如图7所示，为DRAM内容在SRAM中的一个索引表项格式。每一个索引表项都包含了缓存内容在DRAM中的基地址、DRAM单元标志位，在SRAM中的基地址、SRAM单元标志位与一个循环log地址。循环log表项用于存储大于8个单元内容的剩余部分的下一个索引项。在这里DRAM，SRAM的最小单元被设为1500字节，同时DRAM中一个块有8个基本单元，考虑到SRAM缓存比较小，SRAM缓存中一个块只有4个基本单元，所以索引表项中分别就有8位与4位的单元标志位。单元标志位用于标识相应的单元是否为空，标志位为0表示相应的单元为空，没有数据，为1表示有数据。当SRAM缓存丢失时，从DRAM中一次传输SRAM块大小的数据到SRAM。

SRAM缓存与DRAM主存之间地址相关联的方式有很多种，如直接映射、全相联、组相联等。每个DRAM主存单元地址对应一个确定的SRAM地址，称为直接映射；主存中的一个基本单元可以放在SRAM中的任何位置的单元中，这种机制叫做全相联；介于直接映射和全相联之间的设计叫做组相联。在本实施例中，我们使用直接映射。

为说明存储模块的数据操作，下面说明本实施例中网络组件处理数据包的流程，如下：

1)服务请求包 

服务请求包从某个端口进来时，此处为了方便理解，假设服务请求包从端口1进入，网络组件首先检测所请求的内容是否保存在存储模块中，如果请求的内容在存储模块中，则直接将请求的内容数据通过端口1发送出去。如果不在存储模块中，则查找请求表判断这个内容是否正在被请求：

①若正在被请求，且请求端口相同，则丢弃服务请求包，请求包不做任何变化。若请求端口不同，则在请求的相应表项中追加请求的端口号，更新请求时间，然后丢弃服务器请求包；

②若没有被请求过，则添加相应请求表项到请求表，并查找转发表，将服务请求包通过一个或多个转发端口转发出去。

2)数据包

数据包从某个端口进入网络组件，网络组件的转发控制器首先查找请求表，判断数据包的服务是否被请求：

①若没有被请求，则直接丢弃数据包；

②若是被请求的服务数据，则将数据保存到存储模块，同时根据请求表将数据转发到一个或多个转发端口。当被请求的服务内容全部转发完成时，转发控制器删除相应的请求表项。

如图8所示，为网络组件存储模块的查询模型，本实施例使用了两个队列：FFD，FFS，对内容请求信息进行排队。若服务请求包请求的内容只存储在DRAM中，则对应的请求信息进入FFD队列；若服务请求包请求的内容存储在SRAM缓存中，则对应的请求信息进入FFS。当内容只存储在DRAM中，而不存在SRAM，称为SRAM缓存丢失。当SRAM缓存丢失时，相应内容将逐行按SRAM块大小从DRAM中传输到SRAM中。传输完成之后置位相应索引表项的SRAM单元标志位，同时请求信息出FFD队列，入FFS队列。为了提高转发速率，转发控制器只转发请求消息在FFS中排队的相应请求内容，即转发控制器只转发在SRAM中缓存的内容。这样做同时也消除了网络组件中转发控制器的待机等待，使得转发控制器可以利用原来的待机等待时间去做端口转发事务。

关于存储模块的插入，删除等操作。当数据包到达网络组件的存储模块时，首先写入SRAM中，同时添加内容索引表项。写入SRAM中的内容只有当其要被新内容替换的时候，才会被写入DRAM主存中，同时更新相应的表项。使用这种惰性插入主存的方法能最大限度的节省转发控制器的插入待机时间。删除存储模块中的内容时，只需将索引表项的标志位置零，而不用对SRAM缓存或DRAM主存进行擦除，当新内容写入时直接覆盖标志位为零的存储单元即可。

下面通过具体的实用数据来进一步说明两层内容存储模型的优势。

参照表1，表2中的数据，SRAM的访问时间(SRAM access Time，ST)为0.45ns，SRAM的数据位宽(SRAM Data Width，SDW)为64比特，8字节；DRAM访问新行的时间(DRAM access New row Time，DNT)为40ns，DRAM访问旧行的时间(DRAM access Old row Time，DOT)为1.25ns，DRAM的数据位宽(DRAM Data Width，DDW)为64比特，8字节。假设DRAM芯片的行大小(Row Size，RS)为2KB，SRAM缓存的块大小(SRAM Block Size，SBS)为4KB，DRAM主存的块大小(DRAM Block Size，DBS)为8KB。

请求内容在SRAM缓存则称为SRAM缓存命中。请求内容不在SRAM缓存中，但在DRAM主存中，则称为SRAM缓存丢失。SRAM请求命中率HIT_RATE，表示SRAM缓存命中占SRAM缓存命中次数与SRAM缓存丢失次数之和的百分比，SRAM缓存丢失率MISS_RATE的计算方法与HIT_RATE相仿。存储模块内容丢失代价MISS_TIME，即内容丢失时，内容从DRAM主存中按SRAM块的大小(内容小于一个SRAM块按内容大小算)传输到SRAM中，传输一个字节所需要的平均时间。因为DRAM主存按块连续存储，因此其丢失代价主要由访问DRAM新行时间、访问DRAM旧行时间、查找索引表时间及读取SRAM时间组成。这个丢失代价可由公式1计算，其中┌X┐表示取不小于X的最小整数。

MISS_TIME＝(┌SBS/RS┐*DNT+┌SBS/DWS┐*DOT)/SBS+HIT_TIME    (1) 

公式1中，HIT_TIME为SRAM缓存命中代价，即内容在SRAM缓存中传输一个字节到网络组件转发控制器所需的时间，考虑查找索引表的时间，HIT_TIME计算如公式2所示。

HIT_TIME＝(2*ST)/SDW         (2)

衡量一个存储模块是否高速的一个重要指标就是其平均读写时间，在两层内容存储模型中，存储模块的平均读写时间AVG_TIME可由公式3计算得出。

AVG_TIME＝MISS_RATE*MISS_TIME+HIT_RATE*HIT_TIME       (3) 

命中率与丢失率之和为1，则公式3又可表示为 

AVG_TIME＝MISS_TIME-(MISS_TIME-HIT_TIME)*HIT_RATE      (4) 

将公式1、2及相关参数代入公式4，得到此两层模型的平均读写时间AVG_TIME如公式5所示。

AVG_TIME＝(0.289-0.176*HIT_RATE)ns        (5) 

又HIT_RATE取值在0到1之间，所以AVG_TIME取值在0.113到0.289之间，换算成速率，则此两层存储模块的读写速率在28Gbps到70Gbps之间。 由于网络数据存在很强的时间局部性，通过模拟实验，使用DRAM主存0.05％大小的SRAM做高速缓存，HIT_RATE通常能达到50％，此时两层存储模块的平均读写速率为40Gbps。对比现有技术中的单层内容存储模型，使用SRAM做索引，DRAM做唯一存储器，易算出单层内容存储模型的理想读写速率为1.6Gbps。可见，使用两层内容存储模型的读写速率比单层存储模型快25倍。

综上所述，本发明所述技术方案利用网络内容的局部性特点设计存储模块的两层模型，使用SRAM作为存储模块中DRAM的高速缓存。这里使用的网络内容的局部性包括时间局部性与空间局部性两部分。网络内容的时间局部性是指在较短的时间段内，同一或相关网络内容将频繁被访问。网络内容的空间局部性是指同一网络内容的数据包将被存储在网络设备连续的存储区域中，SRAM缓存与DRAM主存直接交互数据以SRAM块为单位进行，块的大小与存储区域的大小根据网络流量特点设计。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种用于智慧协同网络的网络组件内容存储方法，其特征在于，该方法的步骤包括

建立由静态随机存储器SRAM和动态随机存储器DRAM组成的双层存储模型，以SRAM作为DRAM的缓存；

在智慧协同网络中的服务标识中加入内容总大小TOTAL_SIZE字段，用于表示服务内容的总大小；

根据所述TOTAL_SIZE字段预分配一端连续的储存空间，用于存储服务内容的其他数据包；

把整个DRAM主存作为一个哈希桶，即一个固定大小的、没有链表的哈希表，优化内容索引方法，从而去掉存储在SRAM中95％～98％的内容索引表；

将同一内容的不同数据包存储在存储空间的连续位置，使同一内容的数据包具有空间局部性，提高储存模块处理请求的速率。

2.根据权利要求1所述的网络组件内容存储方法，其特征在于，所述DRAM中的每个内容块中都存有与内容相关的一些信息，该信息元为元信息，所述元信息包括服务标识信息。

3.根据权利要求2所述的网络组件内容存储方法，其特征在于，在DRAM内容更新时，新的内容块可以替换旧的内容块。

4.根据权利要求2所述的网络组件内容存储方法，其特征在于，该方法的步骤进一步包括当遇到超出DRAM中固定块大小的内容时，其超出部分保存在循环log的剩余块中；每个块的所述元信息中包含了内容log地址，哈希值是i的对应第i个DRAM块。

5.根据权利要求1所述的网络组件内容存储方法，其特征在于，所述索引表项包括缓存内容在DRAM中的基地址、DRAM单元标志位、在SRAM中的基地址、SRAM单元标志位和一个循环log地址。

6.根据权利要求1所述的网络组件内容存储方法，其特征在于，该方法的步骤进一步包括若SRAM缓存丢失，则从DRAM中一次传输SRAM块大小的数据到SRAM。

7.一种用于智慧协同网络的网络组件内容存储模块，其特征在于，该装置包括静态随机存储器SRAM和动态随机存储器DRAM，所述SRAM作为DRAM的缓存，并去掉储存在SRAM中的95％～98％的内容索引表。

8.根据权利要求7所述的网络组件内容存储模块，其特征在于，所述存储模块进一步包括循环模块，用于当遇到超出DRAM中固定块大小的内容时，保存其超出部分。

9.根据权利要求7所述的网络组件内容存储模块，其特征在于，所述SRAM缓存与DRAM主存之间地址相关联的方式可以为直接映射、全相连或组相联。