CN107294855B - 一种高性能计算网络下的tcp查找优化方法 - Google Patents

Abstract

本发明公开了一种高性能计算网络下的TCP查找优化方法，包括如下步骤：(1)处理TCP会话时，若TCP会话的数量级为百万级则首先对TCP会话的计算来获得32位短签名，若TCP会话的数量级为亿级，则在前一步基础上将得到的32位短签名的前16位和后16位进行异或得到16位短签名；(2)分别使用32位和16位的短签名代替TCP四元组标识TCP会话；(3)建立起前P个TCP会话短签名与哈希槽的一一对应关系；当到达的TCP会话的数量超过P时，前P个TCP会话的短签名与哈希槽一一映射，而从第P+1个开始的TCP会话短签名将从TCB池分配到冲突列表中。本发明可以减少查找时占用的缓存大小和发生哈希冲突的概率。

Description

一种高性能计算网络下的TCP查找优化方法

技术领域

本发明涉及一种高性能计算网络下的TCP查找优化方法，属于通信技术领域。

背景技术

随着智能电网中数据量的几何级增长，一方面，其巨大的数据量对设备的计算能力和网络的传输能力提出了巨大要求，在此背景下，高性能计算网络的概念应运而生，另一方面，由于智能电网由大量电力子网组成，且网络中有大量数据进行传输，因而智能电网中的数据主要依赖于高性能计算网络进行传输。

目前，高性能计算网络在广域网中主要依赖于TCP来实现，然而在TCP会话的数量达到一个阈值时，传统TCP会话的查找算法的性能会产生急剧恶化，且难以同时保持高速的查找速率和很低的缓存占用。TCB(传输控制块)是一种用于维持每个TCP会话状态的数据结构。

一般来说，一个TCB仅占用2601300KB大小。而当网络中有百万数量级的TCP会话传输时，TCB将占用260MB1.3GB的缓存空间，而主流商品处理器中最后一级高速缓存(LLC)的规模通常为10MB，也就是说TCB将占用LLC的大小的几十万倍的存储空间，若TCP会话达到亿级数量级，则TCB甚至需要占用TB级的存储空间，因而在用传统的TCP查找算法对TCP会话进行查找时，巨大的工作量会占用系统极大的缓存，甚至会出现缓存不够的现象，而系统的性能也会随着TCP会话数量的增加而迅速恶化，这是因为TCP工作集与会话数量成比例增长导致的空间局部性恶化。此外，由于TCB访问缺乏时间局部性，当大量的会话激活时，增加缓存大小只能带来很有限的好处，由于TCP会话的查找时间主要是由主存储器访问的CPU性能决定，而不是由指令的执行时间决定，因此，TCP查找时间会极大的受到存储器次要访问的影响。

综上所述，传统的TCP查找算法中哈希表的数据结构已经不能满足查找高性能计算网络中大量TCP会话的要求，也就是说，现有技术中传统TCP查找算法不能同时处理高性能网络中大量TCP会话的情况，以及其导致的哈希表性能急剧恶化和查找时占用缓存过大的问题。

发明内容

针对现有技术存在的不足，本发明目的是提供一种高性能计算网络下的TCP查找优化方法，其可以在处理大量TCP会话时显著提高哈希表的性能，减少查找时占用的缓存大小和发生哈希冲突的概率。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种高性能计算网络下的TCP查找优化方法，具体包括如下几个步骤：

(1)处理TCP会话时，若TCP会话的数量级为百万级,则首先对TCP会话的计算源IP地址、目的地IP地址、源端口和目的端口执行异或来获得短签名，即计算源IP地址⊕目的地IP地址⊕源端口⊕目的端口来获得短签名；若TCP会话的数量级为亿级，则在前一步基础上将得到的32位短签名的前16位和后16位进行异或得到16位短签名；

(2)根据TCP会话数量级的不同分别使用32位和16位的短签名代替TCP四元组标识TCP会话；

(3)设哈希表中槽的数量为N，每个哈希桶包含16个槽，若到达的TCP会话数量为百万级，则每个槽为32位长，若为亿级，则每个槽为16位长，通过将第(i-1)×16+j个TCP会话的短签名映射到第i个哈希桶中的第j个槽的映射方式，建立起前P个TCP会话短签名与哈希槽的一一对应关系；当到达的TCP会话的数量超过P时，前P个TCP会话的短签名与哈希槽一一映射，而从第P+1个开始的TCP会话短签名将从TCB池分配到哈希表的冲突列表中，且这些从P+1个开始的TCP会话的位置与签名一起也被存储在如图2所示的冲突列表中；这就实现了一种优化后的紧凑的哈希表数据结构，满足了高性能计算网络下对大量TCP会话进行有效查找的要求。

上述哈希表的结构等效为两级哈希表结构，其中，第一级表含有A个哈希桶，每个第二级表含有n＝2^b个哈希桶，其中，b表示TCB签名的位数，根据TCP会话数量级为百万级或是亿级分别取32和16。

通过记录哈希索引来标识对象，每个哈希桶的TCB签名的预期误判率等于第二级哈希表的冲突率。

当哈希表均匀装填了M个TCP会话时，装填因子为(M/N)×(1/2^b)，其中，TCP会话的签名的平均数量为k，k＝M/N，若TCP会话的数量为百万级，则有(M/N)≤16，b＝32，根据计算可得

(M/N)×(1/2^b)≤3.72×10^-9 (1)；

若TCP会话数量为亿级，则有(M/N)≤16，b＝16，根据计算可得

(M/N)×(1/2^b)≤2.44×10^-4 (2)。

假设在第二级哈希表中存储了q个TCP会话签名，并且定义E_q为q个会话不发生冲突的事件，其概率为：

其中，n表示第二级表中哈希桶的个数2^b，q≤16，此时项 无限趋近于0，根据高等数学公式e^x＝1+x+o(x²)可知，当x无限趋近于0时，有e^x＝1+x+o(x²)，即此时可用替代其余各项也可作相同的等价无穷小的替换，因此：

这里只是一个高等数学公式，x没有物理意义，只是表示x无限趋近于0时，e的x次方和1+x数值上近乎是一样的。

每个哈希桶的TCB签名的预期误判率的计算方法如下：

根据概率知识，至少两个会话冲突的概率等于1减去没有会话冲突的概率，则在TCP会话数量级为百万级时，将b＝32代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_k}≈k(k-1)/2n≤2.79×10^-8 (5)；

而在TCP会话数量为亿级时，将b＝16代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_k}≈k(k-1)/2n≤1.8×10^-3 (6)。

添加会话是要在哈希桶找到一个空的槽；当在哈希桶中找到空槽时，新的会话签名被存储在其中，并且返回与之对应的TCB；如果在哈希桶中没有找到空槽，则将包含会话签名和TCB位置的32位或16位二进制数添加到冲突列表。

当会话关闭时，需要清除TCB签名；如果在哈希桶中找到匹配的TCB签名，则通过将该槽清零来删除该会话；如果在冲突列表中找到该TCB会话签名，则首先将该TCB放回到TCB池中，然后再删除冲突列表中的该TCB。本发明有益效果如下：

本发明通过采用短签名来标识TCP会话的方法，提高了TCP查找算法处理数量级为百万级甚至亿级TCP会话的能力，使其更能满足高性能网络的要求；本发明用哈希表来存放这些短签名，减少了TCP查找时发生哈希冲突的概率，并显著减少了查找时占用的缓存大小，提高了哈希表的性能，使其更能满足高性能网络的要求。与传统的哈希表相比，优化后的哈希算法具有很低误判率和装填因子，且占用了更少的内存空间

附图说明

图1为本发明的TCP查找优化方法工作流程图；

图2为本发明中哈希表的数据结构图；

图3为查找TCP会话的算法流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明不再使用TCP会话的4元组，即源IP地址、目的地IP地址、源端口、目的端口来生成哈希值，而是根据TCP数量级为百万级或是亿级分别使用32位和16位的短签名来标记TCP会话。由于不需要将完整的TCB标识符存储在哈希表中，而只需要存储短签名，哈希表的大小大大减少，查找时需要的缓存也大大减少。签名算法的主要作用是数据压缩，这就有可能产生匹配冲突的现象，即不同的TCP会话恰好具有相同的签名。因此，每当在哈希表中匹配到了对应的TCP会话的签名时，应访问TCP中的TCB模块，并比较4元组，对实际匹配的TCP会话进行确认。由于签名匹配出错会导致额外的存储器访问，低匹配出错率是签名算法最重要的特性。另外，签名算法必须对每个TCP会话执行，故其计算次数不能太多。

参见图1，，本发明采用了一种较为简单的签名算法，若TCP会话的数量级为百万级则首先对TCP会话的计算源IP地址、目的地IP地址、源端口和目的端口执行异或来获得32位短签名，若TCP会话的数量级为亿级，则在前一步基础上将得到的32位短签名的前16位和后16位进行异或得到16位短签名，最终使用得到的短签名代替TCP四元组标识TCP会话。

参见图2，根据TCP会话数量级的不同，哈希表分别用生成的32位和16位短签名来标识TCP会话，其中每个哈希桶包含16个槽，每个槽根据存放的签名位数分别为32位和16位长。在对TCB阵列预分配时，引入参数N来表示哈希表中的槽的数量。前N个会话与每个槽一一映射，剩余元素则被保留在TCB池中用于下次分配。当冲突的TCB的数量大于哈希桶中的最大的槽的数量时，这些冲突的TCB签名将被分配到TCB池中，这些冲突的TCB的位置与签名一起明确地存储在哈希表的冲突列表中。另外，在这种数据结构下，TCB位置并不是明确地存储在查找表中，而是通过它们对应的槽的位置计算得出。TCB会话与槽的映射关系是将阵列中的序号为(i-1)×16+j的TCB会话映射到第i个哈希桶中的第j个槽。

本发明提出的哈希表的结构可等效为一种两级哈希表结构，其中第一级表含有A个哈希桶，每个第二级表含有2^b个哈希桶。在采用优化后的基于哈希算法的TCP查找算法时，本发明使用签名算法生成作为哈希索引的b个比特的TCB签名的第二级哈希函数。然而，在优化算法下哈希索引并不用于定位哈希桶，而是通过记录哈希索引来标识对象，这能很好地解决与开放寻址的冲突。因此，在优化后的算法中每个桶的TCB签名的误判率等于第二级哈希表的冲突率。

哈希表的性能很大程度上取决于哈希表的装填因子。本发明所研究的改进的TCB查找算法的等效哈希表如表B所示，两者的装填因子相等。图中的N表示哈希表中的哈希桶数，b表示TCB签名的位数。

当哈希表均匀装填了M个TCP会话时，装填因子可以计算为(M/N)×(1/2^b)。在该优化算法中，若TCP会话数量级为百万级则b＝32，且一般M/N不超过16，从而

(M/N)×(1/2^b)≤3.72×10^-9 (1)

若数量级为亿级，则b＝16，从而

(M/N)×(1/2^b)≤2.44×10^-4 (2)

这说明优化后的算法是一种具有极低装填因子的哈希算法。与传统的哈希表相比，优化后的算法大大减少了内存消耗。例如，当有1000000个TCP会话到达且装填因子为3.72×10^-9时，传统的哈希表在64位系统中需要占用2000TB的容量，而使用32位短签名的优化后的方法仅仅需要占用4.5MB的容量。而当有一亿个TCP会话到达时，且装填因子为2.44×10^-4时，传统的哈希表要占用200000TB的容量，而使用16位短签名的优化后的方法只需要占用1.2MB的空间。

如前所述，优化后的算法中每个哈希桶的误判率等于表A中第二级哈希表的冲突率。表A中每个第二级哈希表含有n＝2^b个桶，包含在该表中TCP会话的签名的平均数量不大于16。假设在第二级哈希表中存储了k个TCP会话签名，并且定义E_k为k个会话在表中不冲突的事件，则其概率为：

在n＝2³²和q≤16的情况下，此时项无限趋近于0，根据高等数学公式e^x＝1+x+o(x²)可知，当x无限趋近于0时，有e^x＝1+x+o(x²)，即此时可用替代其余各项也可作相同的等价无穷小的替换，因此：

根据概率知识容易知道，至少两个会话冲突的概率等于1减去没有会话冲突的概率，则在TCP会话数量级为百万级时，将b＝32代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_q}≈q(q-1)/2n≤2.79×10^-8 (5)。

而在TCP会话数量为亿级时，将b＝16代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_k}≈k(k-1)/2n≤1.8×10^-3 (6)。

也就是说，与传统的哈希表相比，优化后的哈希算法具有很低误判率和装填因子，且占用了更少的内存空间。

参见图3，TCP查找算法如下：

(a)TCP会话到达，计算短签名；

(b)将原始四元组与哈希表中短签名进行顺序搜索匹配；

(c)如果找到匹配，则比较完整四元组，并判断是否存在误判，如果发现误判则转向步骤(b)继续进行搜索，如果不存在误判，则转向步骤(e)；

(d)如果在哈希桶中找不到匹配，则检查冲突列表，再次判断是否找到匹配，如果找到匹配，则转向步骤(e)，如果找不到匹配，则返回Not Found，结束；

(e)返回相应TCP位置，并结束。

本发明用TCP的会话标识符计算该TCP会话的TCP签名.从第一个槽开始向桶的末端进行搜索签名匹配时，访问相应的TCB，并且进一步比较完整的4元组。如果发现误判，则继续进行搜索。若在哈希桶中找不到匹配，则检查相应的冲突列表，这个过程的最终返回值为相应的TCB位置或NOT FOUND。

添加会话的过程与查找会话类似，其区别在于添加会话是要在哈希桶找到一个空的槽。当在哈希桶中找到空槽时，新的会话签名被存储在其中，并且返回与之对应的TCB。如果在哈希桶中没有找到空槽则将包含会话签名和TCB位置的二进制数添加到冲突列表。

当会话关闭时，需要清除TCB签名。如果能在哈希桶中找到匹配的TCB签名，则可以通过将该槽清零来删除该会话。如果在冲突列表中找到该TCB会话签名，则首先将该TCB放回到TCB池中，然后再删除冲突列表中的该TCB。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种高性能计算网络下的TCP查找优化方法，其特征在于，具体包括如下几个步骤：

(1)处理TCP会话时，若TCP会话的数量级为百万级,则首先对TCP会话的计算源IP地址、目的地IP地址、源端口和目的端口执行异或来获得短签名，即计算源IP地址⊕目的地IP地址⊕源端口⊕目的端口来获得短签名；若TCP会话的数量级为亿级，则在前一步基础上将得到的32位短签名的前16位和后16位进行异或得到16位短签名；

(2)根据TCP会话数量级的不同分别使用32位和16位的短签名代替TCP四元组标识TCP会话；

(3)设哈希表中槽的数量为N，每个哈希桶包含16个槽，若到达的TCP会话数量为百万级，则每个槽为32位长，若为亿级，则每个槽为16位长，通过将第(i-1)×16+j个TCP会话的短签名映射到第i个哈希桶中的第j个槽的映射方式，建立起前P个TCP会话短签名与哈希槽的一一对应关系；当到达的TCP会话的数量超过P时，前P个TCP会话的短签名与哈希槽一一映射，而从第P+1个开始的TCP会话短签名将从TCB池分配到哈希表的冲突列表中，且这些从P+1个开始的TCP会话的位置与签名一起也被存储在冲突列表中。

2.根据权利要求1所述的高性能计算网络下的TCP查找优化方法，其特征在于，所述哈希表的结构等效为两级哈希表结构，其中，第一级表含有A个哈希桶，每个第二级表含有n＝2^b个哈希桶，其中，b表示TCB签名的位数，根据TCP会话数量级为百万级或是亿级分别取32和16。

3.根据权利要求2所述的高性能计算网络下的TCP查找优化方法，其特征在于，通过记录哈希索引来标识对象，每个哈希桶的TCB签名的预期误判率等于第二级哈希表的冲突率。

4.根据权利要求2所述的高性能计算网络下的TCP查找优化方法，其特征在于，当哈希表均匀装填了M个TCP会话时，装填因子为(M/N)×(1/2^b)，其中，TCP会话的签名的平均数量为k，k＝M/N，若TCP会话的数量为百万级，则有(M/N)≤16，b＝32，根据计算可得

(M/N)×(1/2^b)≤3.72×10^-9 (1)；

若TCP会话数量为亿级，则有(M/N)≤16，b＝16，根据计算可得

(M/N)×(1/2^b)≤2.44×10^-4 (2)。

5.根据权利要求4所述的高性能计算网络下的TCP查找优化方法，其特征在于，假设在第二级哈希表中存储了q个TCP会话签名，并且定义E_q为q个会话不发生冲突的事件，其概率为：

其中，n表示第二级表中哈希桶的个数2^b，q≤16，此时项 无限趋近于0，根据高等数学公式e^x＝1+x+o(x²)可知，当x无限趋近于0时，有e^x＝1+x+o(x²)，即此时可用替代其余各项也可作相同的等价无穷小的替换，因此：

6.根据权利要求5所述的高性能计算网络下的TCP查找优化方法，其特征在于，每个哈希桶的TCB签名的预期误判率的计算方法如下：

根据概率知识，至少两个会话冲突的概率等于1减去没有会话冲突的概率，则在TCP会话数量级为百万级时，将b＝32代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_k}≈k(k-1)/2n≤2.79×10^-8 (5)；

而在TCP会话数量为亿级时，将b＝16代入可得每个哈希桶的TCB签名的预期误判率为：

1-Pr{E_k}≈k(k-1)/2n≤1.8×10^-3 (6)。

7.根据权利要求1所述的高性能计算网络下的TCP查找优化方法，其特征在于，添加会话是要在哈希桶找到一个空的槽；当在哈希桶中找到空槽时，新的会话签名被存储在其中，并且返回与之对应的TCB；如果在哈希桶中没有找到空槽，则将包含会话签名和TCB位置的32位或16位二进制数添加到冲突列表。

8.根据权利要求1所述的高性能计算网络下的TCP查找优化方法，其特征在于，当会话关闭时，需要清除TCB签名；如果在哈希桶中找到匹配的TCB签名，则通过将该槽清零来删除该会话；如果在冲突列表中找到该TCB会话签名，则首先将该TCB放回到TCB池中，然后再删除冲突列表中的该TCB。