CN104572498B - 报文的缓存管理方法和装置 - Google Patents

Abstract

本发明公开了一种报文的缓存管理方法和装置。该缓存管理方法包括：对接收到的报文的长度信息进行统计，得到报文的长度统计信息；根据长度统计信息对片内缓存单元的页面大小进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整。本发明根据当前报文的长度统计结果对片内缓存单元的页面大小进行动态调整，从而提升片内缓存单元的缓存空间的利用率，避免丢包情况的发生；并根据片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整，从而提升报文的存储效率，优化系统性能。

Description

报文的缓存管理方法和装置

技术领域

本发明涉及计算机领域，具体来说，涉及一种报文的缓存管理方法和装置。

背景技术

随着计算机网络技术的迅速发展，在网络安全领域，对单节点处理系统的海量报文的处理能力也越来越高，其中，报文处理具有算法简单、输入带宽大等特点，因此，一般优先选择硬件处理系统；而由于报文处理系统是存在抖动性的，而且在某些处理环节的处理上会有延迟大的情况发生，因此，系统在对报文进行处理时也很容易造成丢包现象的发生，而这对于网络安全处理系统来说是致命的。

目前，为了解决系统丢包的缺陷普遍采用的方法是在系统中增加缓存单元，即在系统的入口通过缓存一定数量的报文来避免丢包现象的发生。具体的，主要有以下两种技术方案，使用片外存储单元或使用片内存储单元来缓存报文。

其中，对于使用片外存储单元来缓存报文的方式来说，片外存储单元虽然具有容量大的特点，但是其访问周期比较长，这就使得对片外存储单元的访存又成为了报文处理系统所面对的新瓶颈，因此，借助片外存储单元来缓存报文的方案仍然不能够完全解决系统丢包的缺陷。

另一方面，对于使用片内存储单元来缓存报文的方式来说，片内存储单元虽然具备访问周期短的特点，但是其缓存容量又比较小，而且，目前的处理系统通常会按大包来分配缓存空间，例如，按照片内存储单元有256KB的存储资源，且最大包长为1024字节来计算，那么片内存储单元最多也只能存储256个报文，而如果在某段时间内系统接收到均是小包报文(例如100字节)，那么现有的这种片内存储方案也仅仅可以存储256个报文，而且还造成了片内存储单元的存储资源的大量浪费，而且还不能够从根本上解决系统丢包的问题。

因此，如何高效合理的利用片内存储单元中宝贵且有限的片上存储资源，对海量报文处理系统的处理能力起着至关重要的作用。

针对相关技术中存在的存储资源利用率低、系统丢包严重的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中存在的存储资源利用率低、系统丢包严重的问题，本发明提出一种报文的缓存管理方法和装置，能够根据当前报文长度的统计信息动态调整片内缓存单元的存储策略，从而提高片内存储资源的利用率，优化系统性能，并避免了系统丢包现象的发生。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种报文的缓存管理方法。

该缓存管理方法包括：

对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

根据长度统计信息对片内缓存单元的页面大小进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；

根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整。

优选的，该缓存管理方法进一步包括：

根据长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配。

优选的，在对片内缓存单元的页面存储地址进行调整后，该缓存管理方法进一步包括：

根据页面存储地址的调整结果确定片内缓存单元中空白页面的页面存储地址。

另外，在接收到请求缓存该报文的指令的情况下，该缓存管理方法进一步包括：

确定该请求缓存的报文的长度信息；

根据该长度信息在调整后的页面存储地址中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；

在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

此外，在未查找到页面大小与该报文的长度相匹配的页面存储地址的情况下，该缓存管理方法进一步包括：将该报文存储至与片外缓存单元。

根据本发明的另一方面，提供了一种报文的缓存管理装置。

该缓存管理装置包括：

统计模块，用于对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

第一调整模块，用于根据长度统计信息对片内缓存单元的页面大小进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；

第二调整模块，用于根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整。

其中，第一调整模块进一步用于根据长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配。

优选的，该缓存管理装置进一步包括：

第一确定模块，用于在对片内缓存单元的页面存储地址进行调整后，根据页面存储地址的调整结果确定片内缓存单元中空白页面的页面存储地址。

此外，该缓存管理装置进一步包括：

第二确定模块，用于在接收到请求缓存报文的指令的情况下，确定该请求缓存的报文的长度信息；

查找模块，用于根据该长度信息在调整后的页面存储地址中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；

第一存储模块，用于在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

另外，该缓存管理装置进一步包括：

第二存储模块，用于在未查找到页面大小与该报文的长度相匹配的页面存储地址的情况下，将该报文存储至与片外缓存单元。

本发明通过对当前报文的长度信息进行统计，并根据长度信息的统计结果来对片内缓存单元的页面大小进行动态调整，使调整后的页面大小与报文的长度相匹配，从而提升了片内缓存单元的缓存空间的利用率，避免了丢包情况的发生；并根据片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整，从而提升了报文的存储效率，优化系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的报文的缓存管理方法的流程图；

图2是根据本发明实施例的报文处理系统的报文处理方法流程图；

图3是根据本发明实施例的报文缓存管理的示意图；

图4是根据本发明一具体实施例的报文的缓存管理方法的流程图；

图5是根据本发明实施例的报文的缓存管理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种报文的缓存管理方法。

如图1所示，根据本发明实施例的报文的缓存管理方法包括：

步骤S101，对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

步骤S103，根据长度统计信息对片内缓存单元的页面大小进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；

步骤S105，根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整。

通过本发明的上述方案，能够根据当前报文的长度统计结果对片内缓存单元的页面大小进行动态调整，从而提升片内缓存单元的缓存空间的利用率，避免丢包情况的发生；并根据片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整，从而提升报文的存储效率，优化系统性能。

为了更好的理解本发明的上述技术方案，下面结合一具体实施例对本发明的上述技术方案进行详细阐述。

如图2所示，在本实施例中，报文处理系统包含了接收报文、报文长度统计、报文缓存单元、报文处理几大步骤。

在本实施例的报文处理系统中，从图2中可以看出，系统对接收到的报文进行长度信息的统计，从而得到报文的长度统计信息，并且，系统根据得到的长度统计信息来对报文缓存单元进行报文调缓存策略的调整，并将接收到的报文根据其长度信息写入调整后的报文缓存单元；此外，本实施例中的报文处理系统还可以对接收到的报文、以及从报文缓存单元中读取的报文进行相应的报文处理。

其中，如图3所示，根据本发明实施例的报文缓存单元包括片内缓存单元和片外缓存单元，并且，报文缓存管理中除了包含报文缓存单元外，还包括片内缓存单元的地址池，用于存储片内缓存单元中空白页面的物理存储地址。

其中，片内缓存单元可以根据页面的大小分为多个存储块，每个存储块的大小可以动态配置，如图3所示，在片内缓存单元的初始状态下，片内缓存单元按照页面的大小分为三大存储块，每个存储块的大小分别为256KB、128KB、128KB，其中，三个存储块的页面大小分别为128B、1024B、2048B，也就是说，片内缓存单元可以存储2048个长度小于128B的报文、128个长度大于128B且小于1024B的报文、64个长度大于1024B且小于2048B的报文。

而片内存储单元中的每个存储块中空白页面的物理存储地址均存储在独立的地址池中，如图3所示，在地址池0中存储着第一个存储块(存储空间大小为256KB，page_size＝128B)中空白页面的物理存储地址，在地址池1中存储着第一个存储块(存储空间大小为128KB，page_size＝1024B)中空白页面的物理存储地址，在地址池2中存储着第一个存储块(存储空间大小为128KB，page_size＝2048B)中空白页面的物理存储地址，那么当有报文需要存储在片内缓存单元中时，就可以通过访问地址池来确定相应页面的物理存储地址。

而当片内缓存单元中没有符合要求的页面来存储报文时，则将报文存储至片外缓存单元中。

具体的片内、片外相结合的缓存流程，如图4所示，首先对片内缓存单元的地址池进行初始化，即，确定片内缓存中的空白页面，并将其物理存储地址存储至相应的地址池中，由图2所示的报文处理系统接收报文，并启动报文长度统计模块，统计128字节、1024字节和2048字节三种长度区间的报文数目，当然，在实际应用中，用于统计的长度区间也可以按照更细化的长度区间来进行报文长度的统计，还可以根据当前的报文的长度值对长度区间进行实时的调整，以便获得更准确的报文长度统计信息，从而调整片内缓存单元的页面大小，提高片内缓存单元的利用率，防止丢包。

本例中，统计的是128字节、1024字节和2048字节三种长度区间的报文数目，那么就由如图3所示的报文缓存管理模块请求相应的存储地址，并根据报文长度来分配相应的地址给请求者，同时将报文进行存储，当然，首先是看请求存储的报文是否符合片内存储的要求，即，片内缓存单元中页面的大小是否可以存储该长度的报文，且该大小的页面为空白页面；而如果片内缓存单元的页面大小没有符合请求存储的报文的长度的，或，片内地址池分空，则分配片外地址给报文。

具体的，在本例中，对于请求缓存的报文中长度大于2048字节的报文，报文缓存管理模块就将片外缓存的地址返回给接收报文模块，然后接收报文模块就根据得到的地址将长度大于2048字节的报文写入至相应的片外缓存单元中；同样的，对于报文长度大于1024字节且小于等于2048字节的报文，系统将在地址池2中去寻址，并将寻到的地址返回给接收报文模块，然后接收报文模块就根据得到的地址将长度大于1024字节且小于等于2048字节的报文存储至片内缓存单元中页面大小为2048的存储块中，同时，还需要将地址池2中被取走的地址进行更新，即，那么下次再访问地址池2时，就无法得到已经被取走的地址，因为，地址池中仅存储空白页面的物理存储地址，同样的，当报文从片内缓存单元中读出后，此时，该页面为空，那么也需要将相应的地址更新至地址池中。

而对于报文长度大于128字节且小于等于1024字节的报文则向地址池1中寻址并返回地址给报文，同样的，对于报文长度小于等于128字节的报文则向地址池0中去寻址并返回地址给报文，方法同上，在此不再赘述。

通过以上处理，就可将接收到的报文按照128字节、1024字节和2048字节三种长度区间的统计结果进行报文的片内和片外相结合的方式进行高效存储。

此外，在本实施中，为了保证片内缓存单元的高利用率，会每隔一定的时间就对片内缓存单元的存储策略进行调整，并根据调整结果对片内缓存单元的页面存储地址(这里为地址池)进行调整。

具体的，通过对接收到的报文的长度信息进行统计来获取报文的长度统计信息，并根据该长度统计信息对片内缓存单元的页面大小进行调整，例如当前报文中长度为512字节的报文比较多，大包(1024字节～2048字节)较少，那么就可对片内缓存单元中page_size＝2048字节的页面进行调整，调整为多个page_size＝512字节的页面，从而提高片内存储的利用率，因为，如果未调整，那么页面大小为512字节的报文将存储至page_size＝1024的页面内，而这就将造成每1024字节的页面中就有512字节是浪费的，所以可通过对页面大小进行调整，并使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；

此外，由于地址池中存储着片内缓存单元中每个存储块的物理存储地址，因此，当对片内缓存单元的页面大小进行调整后，还可根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址(这里为地址池中存储的页面地址)进行调整。

优选的，根据本发明实施例的缓存管理方法可进一步包括：在对片内缓存单元的页面存储地址进行调整后，根据页面存储地址的调整结果来确定片内缓存单元中空白页面的页面存储地址，从而对相应的地址池中的地址进行更新(这里为重新初始化地址池)，以便对需要存储的报文下一步要进行的寻址做准备。

优选的，根据本发明实施例的缓存管理方法还可包括：根据长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量来进行调整，从而使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配。

具体的，例如当前流量为小包攻击流，可以调整片内缓存单元的存储空间全部存储小包，即将页面大小均调整为128字节，同样的由于页面大小被改变，页面的数量也会相应的改变，即，片内缓存单元调整为4096个可存储128字节以内的页面，那么片内缓存单元就可以存储4096个报文；而如果当前流量多为平均报文(即300字节)，那么可将片内256KB的存储块调整为存储512字节以下的报文，即，将存储大小为256KB的存储块中的页面大小由128字节一页调整为512字节一页，以提升系统对平均长度报文的处理能力。

另外，在接收到请求缓存该报文的指令的情况下，根据本发明实施例的缓存管理方法还可包括：确定该请求缓存的报文的长度信息；并根据该长度信息在调整后的页面存储地址(这里为重新初始化后的地址池)中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，则将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

此外，在另一个实施例中，根据本发明实施例的缓存管理方法进一步包括：

如果在地址池中没有查找到页面大小与该报文的长度相匹配的页面存储地址，未寻到地址的情况可分为以下两种，一种为如前面实施例中所述的报文的长度大于2048字节，超出片内存储的页面存储范围，即，报文长度不在片内缓存单元的页面大小的存储范围内；另一种，是报文长度在页面大小范围内，但是，片内缓存中已经没有空白页面，那么实际应用中请求缓存的报文符合以上中的一种或两种情况，系统都会将该报文存储至与片外缓存单元，防止系统丢包。

通过以上描述可以看出，本发明对于存储资源利用率低、系统丢包严重的问题给出了解决方案，具体的，本发明，采用片内和片外相结合的两级报文缓存管理结构，其中，片内缓存区分为多个页面缓存区，而每个页面缓存区空闲地址均存储在对应的地址池中，其中，片内缓存使用页面管理方式，页面大小以及页面缓存区可以动态调整，流量长度统计模块每隔一段时间，刷新片内缓存，通过动态调整片内缓存单元来防止宝贵的片内资源浪费。

根据本发明的实施例，还提供了一种报文的缓存管理装置。

如图5所示，根据本发明实施例的报文的缓存管理装置包括：

统计模块51，用于对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

第一调整模块52，用于根据长度统计信息对片内缓存单元的页面大小进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配；

第二调整模块53，用于根据对片内缓存单元的页面调整结果对片内缓存单元的页面存储地址进行调整。

其中，在一个实施例中，第一调整模块52进一步用于根据长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量进行调整，使调整后的片内缓存单元的页面大小与接收到的报文的长度相匹配。

优选的，根据本发明实施例的缓存管理装置进一步包括：：

第一确定模块(未示出)，用于在对片内缓存单元的页面存储地址进行调整后，根据页面存储地址的调整结果确定片内缓存单元中空白页面的页面存储地址。

此外，根据本发明实施例的缓存管理装置进一步包括：

第二确定模块(未示出)，用于在接收到请求缓存报文的指令的情况下，确定该请求缓存的报文的长度信息；

查找模块(未示出)，用于根据该长度信息在调整后的页面存储地址中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；

第一存储模块(未示出)，用于在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

另外，根据本发明实施例的缓存管理装置进一步包括：

第二存储模块(未示出)，用于在未查找到页面大小与该报文的长度相匹配的页面存储地址的情况下，将该报文存储至与片外缓存单元。

综上所述，借助于本发明的上述技术方案，通过使用片内缓存、片外缓存相结合的方式来对报文进行缓存，有效的防治了系统丢包的问题；并且，通过对片内缓存单元的空白页面的地址进行统一管理，从而提升了报文存储效率；另外，根据当前报文的长度统计结果来对片内缓存单元的存储策略进行动态调整，从而提升片内缓存单元的缓存空间的利用率，使宝贵的片内资源得到充分利用，优化系统性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种报文的缓存管理方法，其特征在于，包括：

对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

根据所述长度统计信息对片内缓存单元的页面大小进行调整，使调整后的所述片内缓存单元的页面大小与接收到的所述报文的长度相匹配；

根据对所述片内缓存单元的页面调整结果对所述片内缓存单元的页面存储地址进行调整；

其中，在接收到请求缓存所述报文的指令的情况下，所述缓存管理方法进一步包括：

确定该请求缓存的报文的长度信息；

根据该长度信息在调整后的所述页面存储地址中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；

在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

2.根据权利要求1所述的缓存管理方法，其特征在于，所述缓存管理方法进一步包括：

根据所述长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量进行调整，使调整后的所述片内缓存单元的页面大小与接收到的所述报文的长度相匹配。

3.根据权利要求1所述的缓存管理方法，其特征在于，在对所述片内缓存单元的页面存储地址进行调整后，所述缓存管理方法进一步包括：

根据所述页面存储地址的调整结果确定所述片内缓存单元中空白页面的页面存储地址。

4.根据权利要求1所述的缓存管理方法，其特征在于，在未查找到页面大小与该报文的长度相匹配的页面存储地址的情况下，所述缓存管理方法进一步包括：

将该报文存储至与片外缓存单元。

5.一种报文的缓存管理装置，其特征在于，包括：

统计模块，用于对接收到的报文的长度信息进行统计，得到报文的长度统计信息；

第一调整模块，用于根据所述长度统计信息对片内缓存单元的页面大小进行调整，使调整后的所述片内缓存单元的页面大小与接收到的所述报文的长度相匹配；

第二调整模块，用于根据对所述片内缓存单元的页面调整结果对调整后的所述片内缓存单元的页面存储地址进行调整；

所述缓存管理装置进一步包括：

第二确定模块，用于在接收到请求缓存所述报文的指令的情况下，确定该请求缓存的报文的长度信息；

查找模块，用于根据该长度信息在调整后的所述页面存储地址中查找页面大小与该报文的长度相匹配的空白页面的页面存储地址；

第一存储模块，用于在查找到页面大小与该报文的长度相匹配的空白页面的页面存储地址的情况下，将该报文存储至与该页面存储地址相对应的片内缓存单元的空白页面中。

6.根据权利要求5所述的缓存管理装置，其特征在于，所述第一调整模块进一步用于根据所述长度统计信息对片内缓存单元的页面大小、以及对应每个页面大小的页面数量进行调整，使调整后的所述片内缓存单元的页面大小与接收到的所述报文的长度相匹配。

7.根据权利要求5所述的缓存管理装置，其特征在于，所述缓存管理装置进一步包括：

第一确定模块，用于在对所述片内缓存单元的页面存储地址进行调整后，根据所述页面存储地址的调整结果确定所述片内缓存单元中空白页面的页面存储地址。

8.根据权利要求5所述的缓存管理装置，其特征在于，所述缓存管理装置进一步包括：

第二存储模块，用于在未查找到页面大小与该报文的长度相匹配的页面存储地址的情况下，将该报文存储至与片外缓存单元。