CN111597392A

CN111597392A - 一种索引处理方法、装置、设备及存储介质

Info

Publication number: CN111597392A
Application number: CN202010280355.6A
Authority: CN
Inventors: 房超; 郑展伟
Original assignee: Beijing Baizhuo Network Technology Co ltd
Current assignee: Beijing Baizhuo Network Technology Co ltd
Priority date: 2020-04-10
Filing date: 2020-04-10
Publication date: 2020-08-28
Anticipated expiration: 2040-04-10
Also published as: CN111597392B

Abstract

本发明公开了一种索引处理方法、装置、设备及存储介质，该方法包括：创建一维数组；将待分配索引的索引值依次设置为所述一维数组的各元素的下标；设置下标指针，所述下标指针包括第一下标指针和第二下标指针，所述一维数组中任意三个相邻的所述元素通过所述第一下标指针和所述第二下标指针相串联形成闭环；设置第N个元素的所述下标为起始下标，与所述起始下标相同的所述索引值会被最先分配；基于所述一维数组的所述下标进行索引分配。本发明减少了索引处理时的系统内存开销，提升了索引处理的速度。

Description

一种索引处理方法、装置、设备及存储介质

技术领域

本说明书涉及通信技术领域，特别是一种索引处理方法、装置、设备及存储介质。

背景技术

现有网络数据流量处理设备中，需要管理各种各样的规则表，例如灵活五元组规则、掩码五元组规则和特征码规则等等，在管理这些规则表的时候，通常会设计规则索引和内容对应的表项。

随着互联网大数据时代数据流量的爆发式增长，现有网络数据流量处理设备中，需要规则匹配处理的数据流量逐渐增大，日常管理的规则也逐渐增多，少则几十万条，多则几百万条、几千万条，甚至上亿条，这样一来规则的增、删、改、查压力逐渐增大。为了尽量减少索引在分配和释放时对规则操作效率的影响，索引处理算法的设计便显得尤为重要。

发明内容

本说明书实施例的目的在于，提供了一种索引处理方法、装置、设备及存储介质，减少了索引处理时的系统内存开销，提升了索引处理的速度。

为达到上述目的，一方面，本说明书实施例提供了一种索引处理方法，包括：

创建一维数组；

将待分配索引的索引值依次设置为所述一维数组的各元素的下标；

设置下标指针，所述下标指针包括第一下标指针和第二下标指针，所述一维数组中任意三个相邻的所述元素通过所述第一下标指针和所述第二下标指针相串联形成闭环；

设置第N个元素的所述下标为起始下标，与所述起始下标相同的所述索引值会被最先分配；

基于所述一维数组的所述下标进行索引分配。

另一方面，本说明书实施例还提供了一种索引处理装置，包括：

数组创建模块，用于创建一维数组；

下标设置模块，用于将待分配索引的索引值依次设置为所述一维数组的各元素的下标；

下标指针设置模块，用于设置下标指针，所述下标指针包括第一下标指针和第二下标指针，所述一维数组中任意三个相邻的所述元素通过所述第一下标指针和所述第二下标指针相串联形成闭环；

初始下标设置模块，用于设置第N个元素的所述下标为起始下标，与所述起始下标相同的所述索引值会被最先分配；

索引分配模块，用于基于所述一维数组的所述下标进行索引分配。

另一方面，本说明书实施例还提供了一种电子设备，包括：

存储器，用于存储计算机软件程序

处理器，用于运行所述计算机软件程序时可实现本发明实施例中的索引处理方法的步骤。

另一方面，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机软件程序，所述计算机软件程序被运行时可实现本发明实施例中的索引处理方法的步骤。

由以上本说明书实施例提供的技术方案可见，本说明书实施例根据指定的数组元素下标可以快速找到其对应的数组元素，即便处理几千万甚至是上亿个索引，都不会带来性能消耗，速度会很快。因为所有数组成员内存空间连续的，并且使用过程中不存在内存空间的重新分配和释放，所以不会产生内存碎片，并且每个数组成员仅2个字段，在32位和64位系统中均占用4+4共8字节内存空间，内存开销为固定值，相比传统的双向链表索引管理方法，在32位系统中内存开销会减少三分之一，在64位系统中内存开销会减少五分之三。

附图说明

图1为本说明书一些实施例的索引处理方法的流程图。

图2为本说明书一些实施例的索引处理装置的结构框图。

图3为本说明书一些实施例的索引分配前的示意图。

图4为本说明书一些实施例的索引自动分配后和回收后的示意图。

图5为本说明书一些实施例的索引手动分配后和回收后的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

如图1所示，本说明书一些实施例中提供了一种索引处理方法，该方法包括以下步骤:

S102、创建一维数组；

S104、将待分配索引的索引值依次设置为一维数组的各元素的下标；

S106、设置下标指针，下标指针包括第一下标指针和第二下标指针，一维数组中任意三个相邻的元素通过第一下标指针和第二下标指针相串联形成闭环；

S108、设置第N个元素的下标为起始下标，与起始下标相同的索引值会被最先分配；

S110、基于一维数组的下标进行索引分配。

在本说明书一些实施例中，步骤S110具体包括：自动分配索引值时，作为起始下标的第N个元素的下标所对应的索引值被最先分配，与第N个元素在一维数组中相邻的第N-1个元素和第N+1个元素通过第一下标指针和第二下标指针重新串联，重新设置第N+1个元素的下标为起始下标，与第N+1个元素的下标相同的索引值会被最先分配，其中当N为1时，第N-1个元素为一维数组中最后一个元素，当N+1超过一维数组的元素个数时，第N+1个元素为以为数组中第一个元素。

在本说明书一些实施例中，步骤S110具体还包括：指定分配索引值时且索引值与初始下标不同时，被指定的索引值会被最先分配，与被指定的索引值相对应的元素在一维数组中的相邻元素通过第一下标指针和第二下标指针重新串联，第N个元素的下标仍作为起始下标。

在本说明书一些实施例中，步骤S110具体又包括：指定分配索引值时且索引值与初始下标相同时，被指定的索引值会被最先分配，与被指定的索引值相对应的元素在一维数组中的相邻元素通过第一下标指针和第二下标指针重新串联，与被指定的索引值相对应的元素的下一个元素的下标作为起始下标。

进一步来说，在本说明书一些实施例中，下标被分配后，下标对应的索引值会被标记为已分配，被分配的下标会被返回至一维数组。

在本说明书中的一些实施例中，当收回被分配的索引值时，将与收回的索引值相同的下标所对应的元素插入当前的初始下标所对应的元素和初始下标所对应的元素的后一个元素之间，并通过下标指针双向串联，第一下标指针包括Prev指针，第二下标指针包括Next指针。

在实际的应用环境中，在索引分配之前，创建所有可用索引的数组，在数组中将每个索引表达为1个数组成员，相邻的数组成员之间通过指向前后数组成员下标的下标指针Prev和Next双向串联起来，可分配数组下标Index记录为第1个数组下标，索引管理即数组成员管理，数组下标即索引值。其中，所有数组成员内存空间连续，可分配数组下标Index不占用存储空间，在32位和64位系统中Prev指针和Next指针均占用4字节内存空间。

更为具体地，以m个可用索引为例，参考图3，创建包含m个可用索引的数组Array，其中m＝n+1，0～n即数组下标。将数组成员Array[0]与Array[n]和Array[1]通过对应的下标指针Prev和Next双向串联起来，此时Array[0].Prev＝n，Array[0].Next＝1，Array[n].Next＝0，Array[1].Prev＝0，以此类推，将所有数组成员通过其对应的下标指针Prev和Next双向串联起来，可分配数组下标Index记录为数组成员Array[0]的下标0，数组成员数量记录为m。

基于图3及对图3进行的解释的基础上，参照图4阐述自动分配和回收索引如下：当索引值自动分配后，数组成员数量减1，即数组成员数量等于m-1，将可分配数组下标Index对应的数组成员Array[0]指向的前后数组成员Array[n]和Array[1]通过其下标指针Prev和Next重新双向串联起来，此时Array[n].Next＝1，Array[1].Prev＝n，可分配数组下标Index记录为数组成员Array[1]的下标1，同时数组成员Array[0]标记为已分配，此时Array[0].Prev＝-1，Array[0].Next＝-1，并返回数组成员Array[0]的数组下标0。

当索引值回收后，将指定的数组下标0对应的数组成员Array[0]插入当前可用数组下标Index对应的数组成员Array[1]之后，即Array[1]和Array[2]之间，并通过下标指针Prev和Next重新双向串联起来，此时Array[0].Prev＝1，Array[0].Next＝2，Array[1].Next＝0，Array[2].Prev＝0，原可分配数组下标Index等于数组成员Array[1]的下标1不变，同时数组成员数量加1，即数组成员数量重新等于m。

基于图3及对图3进行的解释的基础上，参照图5阐述手动分配和回收索引如下：当索引值手动分配后，数组成员数量减1，即数组成员数量等于m-1，将指定的数组下标1对应的数组成员Array[1]指向的前后数组成员Array[0]和Array[2]通过其下标指针Prev和Next重新双向串联起来，此时Array[0].Next＝2，Array[2].Prev＝0，可分配数组下标Index等于数组成员Array[0]的下标0不变，仅将指定的数组下标1对应的数组成员Array[1]标记为已分配，此时Array[1].Prev＝-1，Array[1].Next＝-1，并返回数组成员Array[1]的数组下标1。

当索引值回收后，将指定的数组下标1对应的数组成员Array[1]插入当前可用数组下标Index对应的数组成员Array[0]之后，即Array[0]和Array[2]之间，并通过下标指针Prev和Next重新双向串联起来，此时Array[1].Prev＝0，Array[1].Next＝2，Array[0].Next＝1，Array[2].Prev＝1，可分配数组下标Index等于数组成员Array[0]的下标0不变，同时数组成员数量加1，即数组成员数量重新等于m。

本说明书实施例根据指定的数组元素下标可以快速找到其对应的数组元素，即便处理几千万甚至是上亿个索引，都不会带来性能消耗，速度会很快。因为所有数组成员内存空间连续的，并且使用过程中不存在内存空间的重新分配和释放，所以不会产生内存碎片，并且每个数组成员仅2个字段，在32位和64位系统中均占用4+4共8字节内存空间，内存开销为固定值，相比传统的双向链表索引管理方法，在32位系统中内存开销会减少三分之一，在64位系统中内存开销会减少五分之三。

如图2所示，本说明书一些实施例中还提供了一种索引处理装置，该装置包括：

数组创建模块201，用于创建一维数组；

下标设置模块202，用于将待分配索引的索引值依次设置为一维数组的各元素的下标；

下标指针设置模块203，用于设置下标指针，下标指针包括第一下标指针和第二下标指针，一维数组中任意三个相邻的元素通过第一下标指针和第二下标指针相串联形成闭环；

初始下标设置模块204，用于设置第N个元素的下标为起始下标，与起始下标相同的索引值会被最先分配；

索引分配模块205，用于基于一维数组的下标进行索引分配。

在本说明书一些实施例中，还提供了一种电子设备，包括：存储器，用于存储计算机软件程序；处理器，用于运行计算机软件程序时可实现本说明书实施例中的索引处理方法的步骤。

在本说明书一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机软件程序，计算机软件程序被运行时可实现本说明书实施例中的索引处理方法的步骤。

虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘式存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims

1.一种索引处理方法，其特征在于，所述方法包括：

创建一维数组；

基于所述一维数组的所述下标进行索引分配。

2.根据权利要求1所述的索引处理方法，其特征在于，

所述基于所述一维数组的所述下标进行索引分配，具体包括：

自动分配索引值时，作为所述起始下标的第N个元素的所述下标所对应的索引值被最先分配，与所述第N个元素在所述一维数组中相邻的第N-1个元素和第N+1个元素通过所述第一下标指针和所述第二下标指针重新串联，重新设置所述第N+1个元素的所述下标为起始下标，与所述第N+1个元素的所述下标相同的所述索引值会被最先分配，其中当N为1时，所述第N-1个元素为所述一维数组中最后一个元素，当N+1超过所述一维数组的元素个数时，所述第N+1个元素为所述以为数组中第一个元素。

3.根据权利要求2所述的索引处理方法，其特征在于，所述方法还包括：

指定分配索引值时且所述索引值与所述初始下标不同时，被指定的索引值会被最先分配，与所述被指定的索引值相对应的所述元素在所述一维数组中的相邻元素通过所述第一下标指针和所述第二下标指针重新串联，所述第N个元素的所述下标仍作为所述起始下标。

4.根据权利要求2所述的索引处理方法，其特征在于，

指定分配索引值时且所述索引值与所述初始下标相同时，被指定的索引值会被最先分配，与所述被指定的索引值相对应的所述元素在所述一维数组中的相邻元素通过所述第一下标指针和所述第二下标指针重新串联，与所述被指定的索引值相对应的所述元素的下一个元素的下标作为所述起始下标。

5.根据权利要求3或4所述的索引处理方法，其特征在于，

所述下标被分配后，所述下标对应的所述索引值会被标记为已分配，被分配的所述下标会被返回至所述一维数组。

6.根据权利要求5所述的索引处理方法，其特征在于，所述方法包括：

当收回被分配的所述索引值时，将与所述收回的索引值相同的所述下标所对应的元素插入当前的所述初始下标所对应的元素和所述初始下标所对应的元素的后一个元素之间，并通过所述下标指针双向串联，所述第一下标指针包括Prev指针，所述第二下标指针包括Next指针。

7.一种索引处理装置，其特征在于，所述装置包括

数组创建模块，用于创建一维数组；

8.根据权利要求7所述的索引处理装置，其特征在于，所述装置包括

9.根据权利要求8所述的索引处理装置，其特征在于，

10.根据权利要求8所述的索引处理装置，其特征在于，

11.根据权利要求9或10所述的索引处理装置，其特征在于，

所述下标被分配后，所述下标对应的所述索引值会被标记为已分配，被分配的所述下标会被返回至所述一维数组。当收回被分配的所述索引值时，将与所述收回的索引值相同的所述下标所对应的元素插入当前的所述初始下标所对应的元素和所述初始下标所对应的元素的后一个元素之间，并通过所述下标指针双向串联，所述第一下标指针包括Prev指针，所述第二下标指针包括Next指针。

12.一种电子设备，其特征在于，包括

存储器，用于存储计算机软件程序

处理器，用于运行所述计算机软件程序时实现根据权利要求1至6任一项所述索引处理方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机软件程序，所述计算机软件程序被运行时实现根据权利要求1至6任一项所述索引处理方法的步骤。