CN113220679A - 面向多模态网络的混合型fib存储结构及其数据处理方法 - Google Patents

Abstract

本发明公开了一种面向多模态网络混合型FIB存储结构的数据处理方法，对于不同长度的名称前缀或者IP地址按照LPM索引机制在内存中进行并行检索操作，判断该数据包的名称前缀或者IP地址前缀是否存在于混合路由器的FIB中，以获得下一跳路由的转发信息或是输出检索结果为无法匹配。本发明中的混合路由器能够处理多模态网络中不同模态数据包，通过判断数据包包头中是名称数据还是IP地址数据，进而对该数据进行差异化的处理，从而最终索引到转发信息。本发明中，实现上述功能的混合索引模型，通过BP神经网络组成塔式结构，进而构成混合索引模型。通过在片上存储器和片下存储器中该混合索引模型实现转发信息的快速检索。

Description

面向多模态网络的混合型FIB存储结构及其数据处理方法

技术领域

本发明属于多模态网络中多模态数据索引及存储结构设计领域，特别针对多模态网络中FIB存储结构及其数据检索算法。

背景技术

随着全息通信，车联网，AR/VR等各种创新型网络应用的不断涌现，当前网络架构已经不能满足用户对于互联网内容化、个性化、泛在移动、安全隐私等方面的需求。近年来各界对未来网络架构展开了积极探索。全维可定义的多模态网络、智慧标识共生网络、针对网络5.0的NewIP网络、hICN网络等多模态网络架构不断被提出。随着多模态网络构造技术和相关使能技术的创新发展，未来互联网或将向着多模态一体化融合的方向持续演进。这一趋势对未来网络的混合索引技术提出巨大挑战。

由于未来网络中数据量可能到达百万量级，因此在索引结构设计时需要遵循以下两个原则。第一，为了实现用户对于网络速度的要求，索引结构要保证检索速度达到线速以达到快速检索的要求。第二，由于大量的名称数据会消耗较大的存储空间，因此索引结构应当能够实现压缩存储，以降低未来路由器对于存储空间的要求。

当前路由器中的索引结构主要由哈希表、布隆过滤器、查找树、跳表及其衍生数据结构构成。其中，哈希表操作速度快，但需要消耗更多的存储空间以减少冲突；布隆滤波器无法定位元素的地址；查找树和跳表的查找速度均较慢。另外，当前研究主要针对某一模态的数据索引展开研究，对于未来多模态数据的混合索引相对缺乏。因此，迫切需要提出新的解决方案，设计面向多模态数据的混合数据索引结构，以适应未来多模态数据的综合快速索引问题。

发明内容

针对上述现有技术，本发明设计了基于神经网络的面向多模态网络混合型FIB存储结构并设计了其数据处理方法。该混合型FIB存储结构能够在保证数据检索速度的基础上提升存储效率，并可以实现多模态数据的最长前缀匹配，且其性能能够达到网络要求。

为了解决上述技术问题，本发明提出的一种面向多模态网络混合型FIB存储结构的数据处理方法，包括对数据包的转发信息检索和转发信息更新；

所述的对数据包的转发信息检索是：对于不同长度的名称前缀或者IP地址按照LPM索引机制在内存中进行并行检索操作，以此判断该数据包的名称前缀或者IP地址前缀是否存在于混合路由器的FIB中；如果在内存中存在匹配项且为最长匹配前缀，则根据索引模型的输出结果获得最长匹配前缀在片下FIB存储池中的偏移地址，从而可以获得下一跳路由的转发信息；如果不存在匹配前缀，则表明混合路由器的FIB中不存在该数据包的下一跳转发信息，输出检索结果为无法匹配；

所述的转发信息更新是：在对转发信息进行更新时，执行添加、删除、修改操作；其中，在执行添加操作时，首先将数据包中的包头信息插入到片上与其前缀长度对应的索引模型中，根据索引结果访问片下FIB存储池，插入相应的路由转发信息；在执行删除操作时，需要同时删除片上混合索引模型(由于该混合索引模型是部署在片上存储器，因此称为片上混合索引模型)和片下FIB存储池中对应的记录；在执行修改操作时，根据片上混合索引模型的输出结果直接访问片下的FIB存储池进行修改。

进一步讲，本发明所述的数据处理方法中所述的对数据包的转发信息检索的步骤如下：

步骤1-1：输入数据包，解析数据包包头，将数据包的内容名称或者IP地址输入到混合FIB存储结构中；

步骤1-2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤1-3：将固定维数输入向量输入到BP神经网络模型，计算该名称数据或是IP地址数据的累积分布函数值；

步骤1-4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称数据或是IP地址在映射表中的位置；

步骤1-5：判断该名称数据或是IP地址在映射表中的位置的值是否为0，若不为0，则此数据包对应的前缀在该混合路由器的FIB中，顺序执行步骤1-6；若为0，则此数据对应的前缀不在该混合路由器FIB中，转到步骤1-8；

步骤1-6：计算映射表中该位置所在的部分，根据该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量，求得索引地址；

步骤1-7：根据索引地址访问片下FIB存储池中的对应地址，输出下一跳路由转发信息，转到步骤1-9；

步骤1-8：输出检索结果为：无法匹配；

步骤1-9：对数据包的转发信息检索操作结束。

本发明所述的数据处理方法中所述的对数据包的转发信息更新的步骤如下：

步骤2-1：输入数据包，解析数据包包头，将待更新的混合数据输入到混合FIB存储结构中；

步骤2-2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤2-3：将固定维数输入向量输入到BP神经网络模型，计算该数据的累积分布函数值；

步骤2-4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称在映射表中的位置；

步骤2-5：片上存储单元的更新类型判断，如果更新类型为添加，则执行步骤2-6；如果更新类型为修改，则转到步骤2-7；如果更新类型为删除，则转到步骤2-8；

步骤2-6：执行片上存储单元的添加和片下存储单元的添加操作，

步骤2-7：执行片下存储单元的修改操作，根据映射表中该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量求得索引地址，根据索引地址访问片下FIB存储池中的对应地址，修改相应的路由转发信息，转发信息更新操作结束；

步骤2-8：执行片下存储单元的删除和片上存储单元的删除操作。

同时，本发明还提供了实现上述数据处理方法的混合型FIB存储结构，包括混合索引模型和混合型FIB存储结构；所述的混合索引模型包括输入数据处理单元、数据索引单元和映射单元；其中：所述输入数据处理单元用于将输入数据包的包头信息转变为输入向量；其中，对于名称数据，将其拆分为若干子向量，然后对所有子向量中相同位置的元素执行按位异或运算，最终得到该名称数据对应的输入向量；对于IP地址数据，对其添加标志位以示区分，并形成固定维数的输入向量；所述数据索引单元用于训练和预测累积分布函数值；所述数据索引单元使用两级金字塔式结构，包括第一级一个BP神经网络和第二级数个BP神经网络；所述映射单元将数据索引单元预测的累积分布函数值乘以映射表中槽的总个数，得到映射表中的映射位置，然后根据该位置对应的偏移地址和基地址计算存储器中的实际位置，最终检索到索引地址；所述的混合型FIB存储结构包括片上存储单元和片下存储单元，其中，所述片上存储单元使用高速存储器，部署一系列与不同名称前缀组件数和不同IP地址前缀长度相对应的混合索引模型，以实现基于LPM机制的多模态数据快速索引；所述片下存储单元使用存储空间较大的低速存储器，部署多个与片上混合索引模型对应的FIB存储池，以存储实际转发信息。

进一步讲，对于片上混合索引模型可能产生的误判，在片下存储单元的FIB存储池中使用链地址法来处理冲突，即映射到相同地址的数据以链表的形式连接。

与现有技术相比，本发明的有益效果是：

本发明中所述的混合路由器能够处理多模态网络中不同模态数据包，通过判断数据包包头中是名称数据还是IP地址数据，进而对该数据进行差异化的处理，从而最终索引到转发信息。本发明中，实现上述功能的混合索引模型，通过BP神经网络组成塔式结构，进而构成混合索引模型。通过在片上存储器和片下存储器中该混合索引模型实现转发信息的快速检索。

将本发明的多模态网络混合索引模型及混合型FIB存储结构在一台配置为IntelXeon E5-1650 v2 3.50GHz、DDR3 24GB SDRAM的小型工作站上进行软件部署测试。本发明使用传统Ipv4网络与面向内容的网络范例——命名数据网络组成的多模态网络为例，验证了本实验的效果。考虑到未来路由表索引数据量，实验中利用五千万个IP地址数据和五千万个名称数据进行训练，训练完成后输入一百万多模态数据进行测试。实验结果表明，在误判概率为1％的条件下，该FIB存储结构的存储消耗远远小于传统哈希表构成的FIB存储消耗，可直接部署于一个高速片上存储器上，查找速度也到达了线速。由此表明，本发明中设计的多模态数据混合索引模型及混合型FIB存储结构，能够实现最长前缀匹配机制，且在保证数据检索速度的基础上提升存储效率，具有优良的综合性能。

附图说明

图1为本发明多模态网络混合型FIB整体结构设计图；

图2为本发明多模态网络混合型FIB的数据检索方法；

图3为本发明多模态网络混合型FIB的数据更新方法。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

如图1所示，本发明提出多模态网络混合型FIB存储结构包括混合索引模型和混合型FIB存储结构。本发明以传统Ipv4网络与面向内容的网络范例——命名数据网络组成的多模态网络为例，具体说明如下：

所述的混合索引模型是多模态网络数据索引模型，主要包括输入数据处理单元、数据索引单元和映射单元。所述输入数据处理单元用于用于判断多模态数据类别，并将多模态路由数据，即输入数据包的包头信息转变处理为与数据索引单元输入对应的输入向量。其中，对于名称数据，将其拆分为若干子向量，然后对所有子向量中相同位置的元素执行按位异或运算，最终得到该索引数据(所述的名称数据)对应的输入向量；对于IP地址数据，对其添加标志位以示区分，并形成固定维数的输入向量。所述数据索引单元用于训练和预测累积分布函数值；为对应未来百万级别数据量，本发明所述的数据索引单元使用两级金字塔式结构，包括第一级一个BP神经网络和第二级数个BP神经网络。所述的映射单元将数据索引单元预测的累积分布函数值乘以映射表中槽的总个数，得到映射表中的映射位置，然后根据该位置对应的偏移地址和基地址计算存储器中的实际位置，最终检索到索引地址。

所述的混合型FIB存储结构以上述多模态网络混合索引模型为基础，主要包括片上存储单元和片下存储单元两部分。所述片上存储单元使用高速存储器，部署一系列与不同名称前缀组件数和不同IP地址前缀长度相对应的混合索引模型，以实现基于LPM机制的多模态数据快速索引；所述片下存储单元使用存储空间较大的低速存储器，部署多个与片上混合索引模型对应的FIB存储池，以存储实际转发信息。对于片上混合索引模型可能产生的误判，在片下存储单元的FIB存储池中使用链地址法来处理冲突，即映射到相同地址的数据以链表的形式连接。

本发明同时提出上述多模态网络混合型FIB存储结构的数据处理方法，包括对兴趣包的转发信息检索以及转发信息更新。

所述的对数据包的转发信息检索是：对于不同长度的名称前缀或者IP地址按照LPM索引机制在内存中进行并行检索操作，以此判断该数据包的名称前缀或者IP地址前缀是否存在于混合路由器的FIB中；如果在内存中存在匹配项且为最长匹配前缀，则根据索引模型的输出结果获得最长匹配前缀在片下FIB存储池中的偏移地址，从而可以获得下一跳路由的转发信息；如果不存在匹配前缀，则表明混合路由器的FIB中不存在该数据包的下一跳转发信息，输出检索结果为”无法匹配”。如图2所示，具体步骤如下：

步骤1：输入数据包，解析数据包包头，将数据包的内容名称或者IP地址输入到上述的混合FIB存储结构中；

步骤2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤3：将固定维数输入向量输入到BP神经网络模型，计算该名称数据或是IP地址数据的累积分布函数值；

步骤4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称数据或是IP地址在映射表中的位置；

步骤5：判断该名称数据或是IP地址在映射表中的位置的值是否为0，若该位置的值不为0，则此数据包对应的前缀在该混合路由器的FIB中，顺序执行步骤6；若映射表中该位置的值为0，则此数据对应的前缀不在该混合路由器FIB中，转到步骤8；

步骤6：计算映射表中该位置所在的部分，根据该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量，求得索引地址；

步骤7：根据索引地址访问片下FIB存储池中的对应地址，输出下一跳路由转发信息，转到步骤9；

步骤8：输出检索结果为：“无法匹配”；

步骤9：对数据包的转发信息检索操作结束。

所述的转发信息更新是：在对转发信息进行更新时，执行添加、删除、修改操作；其中，在执行添加操作时，首先将数据包中的包头信息插入到片上与其前缀长度对应的索引模型中，根据索引结果访问片下FIB存储池，插入相应的路由转发信息；在执行删除操作时，需要同时删除片上混合索引模型和片下FIB存储池中对应的记录；在执行修改操作时，根据片上混合索引模型的输出结果直接访问片下的FIB存储池进行修改。如图3所示，具体步骤如下：

步骤1：输入数据包，解析数据包包头，将待更新的混合数据输入到上述混合FIB存储结构中；

步骤2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤3：将固定维数输入向量输入到BP神经网络模型，计算该数据的累积分布函数值；

步骤4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称在映射表中的位置；

步骤5：片上存储单元的更新类型判断，如果更新类型为“添加”，则执行步骤6；如果更新类型为“修改”，则转到步骤7；如果更新类型为“删除”，则转到步骤8；

步骤6：执行片上存储单元的添加和片下存储单元的添加操作，其中，片上存储单元的添加操作是：将该数据插入片上与其前缀长度对应的索引结构中，并根据映射表中该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量求得索引地址；片下存储单元的添加操作是：根据索引地址访问片下FIB存储池中的对应地址，插入相应的路由转发信息，转发信息更新操作结束。

步骤7：执行片下存储单元的修改操作，根据映射表中该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量求得索引地址，根据索引地址访问片下FIB存储池中的对应地址，修改相应的路由转发信息，转发信息更新操作结束；

步骤8：执行片下存储单元的删除和片上存储单元的删除操作；其中，片下存储单元的删除的操作是：根据映射表中该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量求得索引地址，根据索引地址访问片下FIB存储池中的对应地址，删除相应的路由转发信息；片上存储单元的删除操作是：映射表中对应位置清零；转发信息更新操作结束。

实施例：

本发明中，训练完成后通过混合型FIB存储结构进行数据索引的一个实例如图1箭头所示。如果到达的是IP数据包(如虚线箭头所示)，则混合索引模型数据处理单元对IP地址进行逆序操作，并在首位添加标志位，得到输入向量(0，1，0，113，202)。将该输入向量输入到数据索引单元，经过第一级神经网络计算得到分类编号为1，则由第二级神经网络BPNN_2.1计算CDF值。假设计算得到的CDF值为0.4，乘以槽的个数15即为该IP数据包的映射位置0.4×15＝6，该位置位于Bitmap的第一部分，其记录的数字序号为3，因此实际的地址为第一部分对应的基地址加地址偏移量3，通过访问片下存储器，找到对应的FIB存储池3读取转发信息。如果到达的是名称为/ICN/TJU/SEM的内容数据包(如实线箭头所示)，混合索引模型的数据处理单元需要对名称进行拆分并执行五维异或运算，得到输入向量(62，78，22，97，124)。将该输入向量输入到第一级神经网络得到分类值为998，则在第二级神经网络BPNN_2.998计算CDF值。假设结果为0.667，乘以槽的个数15为该名称的映射位置0.667×15≈10，该位置位于Bitmap的第二部分，其记录的数字序号为n，因此实际的地址为第二部分对应的基地址加地址偏移量n，对应访问到片下FIB存储池n读取转发信息。

将本发明的混合型FIB存储结构及其训练方法在一台配置为Intel Xeon E5-1650v23.50GHz、DDR3 24GB SDRAM的小型工作站上进行软件部署测试。本发明使用传统Ipv4网络与面向内容的网络范例——命名数据网络组成的多模态网络为例，验证了本实验的效果。考虑到未来表索引数据量，实验中利用五千万个IP地址数据和五千万个名称数据进行训练，训练完成后输入一百万混合索引数据进行测试。实验结果表明，在误判概率为1％的条件下，该结构的存储消耗远远小于传统哈希表存储消耗，且可直接部署于一个高速片上存储器上，查找速度也到达了线速。由此表明，本发明中设计的多模态网络混合型FIB存储结构，能够实现多模态数据的混合索引，且在保证数据检索速度的基础上提升存储效率，具有优良的综合性能。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (5)

1.一种面向多模态网络混合型FIB存储结构的数据处理方法，包括对数据包的转发信息检索和转发信息更新；其特征在于，

所述的对数据包的转发信息检索是：对于不同长度的名称前缀或者IP地址按照LPM索引机制在内存中进行并行检索操作，以此判断该数据包的名称前缀或者IP地址前缀是否存在于混合路由器的FIB中；如果在内存中存在匹配项且为最长匹配前缀，则根据索引模型的输出结果获得最长匹配前缀在片下FIB存储池中的偏移地址，从而可以获得下一跳路由的转发信息；如果不存在匹配前缀，则表明混合路由器的FIB中不存在该数据包的下一跳转发信息，输出检索结果为无法匹配；

所述的转发信息更新是：在对转发信息进行更新时，执行添加、删除、修改操作；其中，在执行添加操作时，首先将数据包中的包头信息插入到片上与其前缀长度对应的索引模型中，根据索引结果访问片下FIB存储池，插入相应的路由转发信息；在执行删除操作时，需要同时删除片上混合索引模型和片下FIB存储池中对应的记录；在执行修改操作时，根据片上混合索引模型的输出结果直接访问片下的FIB存储池进行修改。

2.根据权利要求1所述的数据处理方法，其特征在于，所述的对数据包的转发信息检索的步骤如下：

步骤1-1：输入数据包，解析数据包包头，将数据包的内容名称或者IP地址输入到混合FIB存储结构中；

步骤1-2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤1-3：将固定维数输入向量输入到BP神经网络模型，计算该名称数据或是IP地址数据的累积分布函数值；

步骤1-4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称数据或是IP地址在映射表中的位置；

步骤1-5：判断该名称数据或是IP地址在映射表中的位置的值是否为0，若不为0，则此数据包对应的前缀在该混合路由器的FIB中，顺序执行步骤1-6；若为0，则此数据对应的前缀不在该混合路由器FIB中，转到步骤1-8；

步骤1-6：计算映射表中该位置所在的部分，根据该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量，求得索引地址；

步骤1-7：根据索引地址访问片下FIB存储池中的对应地址，输出下一跳路由转发信息，转到步骤1-9；

步骤1-8：输出检索结果为：无法匹配；

步骤1-9：对数据包的转发信息检索操作结束。

3.根据权利要求1所述的数据处理方法，其特征在于，所述的对数据包的转发信息更新的步骤如下：

步骤2-1：输入数据包，解析数据包包头，将待更新的混合数据输入到混合FIB存储结构中；

步骤2-2：判断数据包类型，若是名称数据，则执行按位异或运算，得到固定维数输入向量；若是IP地址数据，则对点分十进制IP地址添加标志位，得到固定维数输入向量；

步骤2-3：将固定维数输入向量输入到BP神经网络模型，计算该数据的累积分布函数值；

步骤2-4：将映射表中槽的总个数乘以预测的累积分布函数值，得到该名称在映射表中的位置；

步骤2-5：片上存储单元的更新类型判断，如果更新类型为添加，则执行步骤2-6；如果更新类型为修改，则转到步骤2-7；如果更新类型为删除，则转到步骤2-8；

步骤2-6：执行片上存储单元的添加和片下存储单元的添加操作，

步骤2-7：执行片下存储单元的修改操作，根据映射表中该位置所在部分对应的基地址和该位置中记录的实际存储器地址偏移量求得索引地址，根据索引地址访问片下FIB存储池中的对应地址，修改相应的路由转发信息，转发信息更新操作结束；

步骤2-8：执行片下存储单元的删除和片上存储单元的删除操作。

4.实现权利要求1所述的数据处理方法的混合型FIB存储结构，其特征在于，包括混合索引模型和混合型FIB存储结构；

所述的混合索引模型包括输入数据处理单元、数据索引单元和映射单元；其中：所述输入数据处理单元用于将输入数据包的包头信息转变为输入向量；其中，对于名称数据，将其拆分为若干子向量，然后对所有子向量中相同位置的元素执行按位异或运算，最终得到与该名称数据对应的输入向量；对于IP地址数据，对其添加标志位以示区分，并形成固定维数的输入向量；所述数据索引单元用于训练和预测累积分布函数值；所述数据索引单元使用两级金字塔式结构，包括第一级一个BP神经网络和第二级数个BP神经网络；所述映射单元将数据索引单元预测的累积分布函数值乘以映射表中槽的总个数，得到映射表中的映射位置，然后根据该位置对应的偏移地址和基地址计算存储器中的实际位置，最终检索到索引地址；

所述的混合型FIB存储结构包括片上存储单元和片下存储单元，其中，所述片上存储单元使用高速存储器，部署一系列与不同名称前缀组件数和不同IP地址前缀长度相对应的混合索引模型，以实现基于LPM机制的多模态数据快速索引；所述片下存储单元使用存储空间较大的低速存储器，部署多个与片上混合索引模型对应的FIB存储池，以存储实际转发信息。

5.根据权利要求4所述的混合型FIB存储结构，其特征在于，对于片上混合索引模型可能产生的误判，在片下存储单元的FIB存储池中使用链地址法来处理冲突，即映射到相同地址的数据以链表的形式连接。

Images