CN103746920A - 一种基于网闸实现数据传输的方法 - Google Patents

Abstract

本发明适用于数据通信领域，提供了一种基于网闸实现数据传输的方法。本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种基于网闸实现数据传输的方法，本发明针对通过网闸的IP报文有效，通过网闸的IP报文存在源IP地址和目的IP地址的方式，计算HASHID值。通过HASHID值进行IP报文的隔离规则匹配，并当IP报文通过网闸时，网闸的一端主机需要把四层及以上数据传输到另一端主机模块，另一端主机模块把接受到的数据重新构建IP报文并发送出去。

Description

一种基于网闸实现数据传输的方法

技术领域

本发明适用于数据通信领域，提供了一种基于网闸实现数据传输的方法。

背景技术

网闸是一组具有多种控制功能的软硬件组成的网络安全设备，通过专用交换通道、高速硬件通信卡等机制来实现高速、安全的内外网数据交换。网闸一般部署在用户网络需要高强度安全保护，同时又需要与其它不信任网络进行信息交换的网络中。

在工作过程中，网闸需要处理大量流经该设备不同特性的网络数据包，其特性包括网络地址、协议、端口及应用层数据的特征。因此网闸需要识别这些不同的网络数据包，以便对应进行快速的处理。但是网络数据包特性千变万化，无法通过固定方式识别不同的网络数据包。通过网闸的不同网络数据包越多，网闸中需要存储的网络数据包识别及处理方法将会越多。对网络数据包识别及处理方法通常称为规则。在网闸中需要采用一些快速的规则存储方法，以便网闸能够根据不同的网络数据包特性快速找到配合的规则而进行相应的数据处理，以提高网闸的数据剥离和重组速度，减少数据转发的延迟。

在网闸中，一般采用链表进行数据（比如路由信息、MAC地址信息、ACL规则、IPSEC隔离规则）存储和查表，但不管采用单项链表还是双向链表，始终需要堆链表进行遍历。如果链表较短，通过链表将能够快速查找到需要的信息。如果链表存储了大量数据，通过链表进行数据查找有可能花费相当长的时间，从而降低了网闸的处理能力，增加了数据转发的时延。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种基于网闸实现数据传输的方法，本发明针对通过网闸的IP报文有效，通过网闸的IP报文存在源IP地址和目的IP地址。当IP报文通过网闸时，网闸的一端主机需要把四层（TCP/IP第四层）及以上数据传输到另一端主机，另一端主机把接受到的数据重新构建IP报文并发送出去。

本发明采用的技术方案如下：一种基于网闸实现数据传输的方法包括：

步骤1：一端主机模块和另一端主机模块建立HASH桶数组，一端主机模块建立IP报文的隔离规则，并通过隔离交换模块传输隔离规则给另一端主机模块；一端主机模块与另一端主机模块，根据IP报文对应的HASH ID值自动把隔离规则添加到HASH桶数组中对应序号值MASK的单向链表头中；

步骤2：当一个IP报文通过网闸时，IP报文通过一端主机模块进行HASH ID值计算；一端主机模块根据此HASH ID值查找隔离规则，若此IP报文找到隔离规则，则返回当前HASH ID值和单向链表序号值，执行步骤3；否则，丢弃该IP报文； 

步骤3：一端主机模块将该IP报文的HASH ID值、单向链表序号值和四层及以上IP报文数据通过隔离交换模块发送给另一端主机模块，执行步骤4；

步骤4：另一端主机模块接收到数据后，根据HASH ID值和单向链表序号值，在HASH桶数组项中查找对应的隔离规则，并得到IP报文协议号、源地址、目的地址信息，随后重新组建IP报文并发送出去。

所述HASH ID值H是根据源地址、目的地址以及HASH桶数组值掩码MASK，计算HASH ID值，具体计算公式是：H= ((0xffff  & sip)  ^(sip >> 16) + (0xffff & dip)  ^(dip >> 16)) % MASK，其中sip指的是数据包的源地址，dip指的是数据包的目的地址。

所述隔离规则包括协议号、源地址、目的地址以及对应安全策略。

所述步骤2中一端主机模块根据此HASH ID值在其HASH桶数组项中查找隔离规则具体步骤是：一端主机模块根据此HASH ID值在HASH桶数组项中查找隔离规则，若根据该数组的单向链表头没有指向任何隔离规则，则丢弃IP报文；若单向链表头指向一条隔离规则，则把IP报文的协议号、源地址、目的地址信息与隔离规则中的协议号、源地址、目的地址进行匹配，若匹配成功，则返回成功。若当前隔离规则匹配不成功，且无下一条规则，则返回失败；若当前隔离规则匹配不成功，但是存在下一隔离规则，则进行匹配，依次类推，最终如果找到隔离规则，则返回当前HASH ID值和单向链表序号值。如果没找到隔离规则，则返回失败。

所述HASH通数组建立过程包括：

步骤1：创建MASK+1的HASH桶数组，每个桶数组成员为单向链表头，指向为空；每个桶数组成员可存储隔离规则；

步骤2：当有X个终端需要通过网闸发送IP报文时，一般情况下：

通过网闸的IP报文会进行一次HASH ID计算，单向链表查表次数为N=1+X/MASK，进行1到1+X/MASK次单向链表查询；

当X≤MASK时，通过网闸的X个IP报文中通过一次HASH ID值计算和查一次单向链表得到对应的隔离规则；

当X>MASK时，通过网闸的前MASK个IP报文通过一次HASH值计算和查一次单向链表，得到对应的隔离规则；（MASK+1）个到X-X%MASK个IP报文通过一次HASH值计算和(X/MASK）个单向链表号依次查单向链表，得到对应的隔离规则；（X-X%MASK）+1到X个IP报文通过HASH值计算和（（X/MASK）+1）个单向链表号依次查单向链表，得到对应的隔离规则；例如：

当X≤MASK时，通过网闸的X个IP报文中通过一次HASH ID值计算和一次查表得到对应的隔离规则；

当MASK+1<X<2*(MASK+1)时， 通过网闸的前MASK+1个IP报文通过一次HASH值计算和一次查表得到对应的隔离规则，（MASK+2）个到2*(MASK+1)个IP报文通过一次HASH值计算和2次单向链表查表得到对应的隔离规则；

所述当网闸需要添加一条隔离规则时，添加步骤具体为：

步骤51：一端主机模块根据输入的IP报文的协议号、源地址、目的地址信息作为散列算法的数据输入计算HASH ID值；

步骤52：一端主机模块与领一端主机模块对应创建隔离规则，并把IP报文的协议号、源地址及目的地址信息填充到隔离规则中，并让该HASH ID值对应的HASH桶数组中的单向链表头指向该隔离规则；

步骤53：一端主机模块把该HASH ID值、隔离规则通过隔离交换模块发送给另一端主机模块，另一端主机模块根据其HASH ID值自动把隔离规则添加到对应HASH桶数组中的单向链表头中。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

为了提供网闸的数据转发效率，降低数据转发的时延。可采用数组、散列表和链表相结合进行数据存储，减少数据查找的次数，提供数据查找的效率。

本发明是基于三层网络数据包的特性实现HASH散列算法，数组、链表和散列表结合实现网络数据包处理规则的存储和查表，使网闸能够根据不同网络数据包的三层特征信息，根据HASH散列算法对三层特征信息的计算快速锁定对应规则在网闸的存储位置，以加快网闸对该网络数据包的剥离和重组，减少网络通信数据进行数据转发和数据处理的时延，增加其性能。

本HASH算法是充分利用IP地址的特点，采用IP报文的源和目的地址和HASH桶掩码MASK参与运算，分别使用源和目的IP地址的高16位和低16位进行异或运算，再把源和目的IP地址异或结果进行相加，其结果与MASK进行与运算，运算的结果即为HASH ID值。IP数据包的源和目的IP地址值是不相同的，因此上述算法出现HASH碰撞的可能性极小。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是HASH同数组示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

一、本发明相关说明：

1、所述一端主机模块指的是外网主机模块或者内网主机模块，则另一端主机模块指的就是对应的内网主机模块或者外网主机模块

2、HASH桶数组中用MASK+1表示个数，MASK表示HASH桶数组掩码。

3、单向链表序号hlist值指的是单向链表中的序号值，与隔离规则个数对应。

4、所述隔离规则指的是HASH ID值在HASH桶数组中对应位置的隔离规则。

5、隔离规则指的是安全策略。

二、工作过程是：

本发明针对通过网闸的IP报文有效，通过网闸的IP报文存在源地址和目的地址。当IP报文通过网闸时，网闸的一端主机模块需要把四层及以上数据传输到另一端主机模块，另一端主机模块把接受到的数据重新构建IP报文并发送出去。

当网闸进行工作前，网闸的内外主机系统预先根据散列运算MASK创建MASK+1的HASH桶数组，每个桶数组成员为单向链表头，指向为空。

当网闸添加一条隔离规则时，添加步骤如下：

1. 一端主机模块根据输入IP报文的协议号、源地址、目的地址信息和HASH桶数组掩码MASK作为散列算法的数据输入计算HASH ID值；

2. 一端主机模块创建隔离规则，并把协议号、源地址、目的地址信息填充到隔离规则中，并让该HASH ID值对应的HASH桶数组中的单向链表头指向该隔离规则；另一端主机模块类似操作。

3. 一端主机模块（外网主机模块、内网主机模块）把该HASH ID值、隔离规则信息通过隔离交换模块发送给另一端主机模块，另一端主机模块根据其HASH ID值自动把隔离规则添加到对应HASH桶数组中的单向链表头中。

当一个IP报文通过网闸时，数据包转发及隔离规则查表步骤如下：

1. 一端主机系统解析出IP报文的协议号、源地址、目的地址信息，并根据HASH算法计算出HASH ID值；

2. 一端主机装置根据此HASH ID值在对应的HASH桶数组项中查找隔离规则，如果根据该数组的单向链表头没有指向任何隔离规则，则丢弃IP报文。如果单向链表头指向一条隔离规则，则把IP报文的协议号、源地址、目的地址信息与隔离规则中的协议号、源地址、目的地址进行匹配，匹配则返回成功。如果当前隔离规则匹配不成功，且无下一条规则，则丢弃IP报文。如果存在下一隔离规则，则进行匹配，依次类推。最终如果找到匹配规则，则返回当前HASH ID值和单向链表中的序号值。如果没找到匹配规则，则丢弃IP报文。

3. 如果返回成功，一端主机模块则把HASH ID值、单向链表序号值和四层及以上数据通过隔离通道发送给另一端主机模块；

4. 另一端主机模块收到数据后，首先根据HASH ID值和单向链表序号值在HASH ID值对应HASH桶数组项中查找到对应的隔离规则，并得到协议号、源地址、目的地址信息，随后重新组建IP报文并发送出去。

由于源IP地址和目的IP地址或者散列算法本身的原因，可能存在不同的源IP地址和目的IP地址通过散列算法进行运算，运算后得到HASH ID值相同。新增的信息将把HASH桶的原有信息替换掉，导致系统中永远找不到原有的存储信息,出现散列碰撞现象。为了有效避免碰撞现象，可以在HASH桶数组中增加单向链表来存储数据，如果出现碰撞现象，只需把新增数据添加到该HASH桶数组中单向链表中即可。

为了减少遍历单向链表的次数，散列算法的设计和实现显得尤为重要，因此网闸采用HASH数组和单向链表来进行数据存储，散列算法需要结合存储信息的特征值进行设计，重点是减少碰撞次数。为了尽量HASH桶数组的大小，同时减少碰撞发生，HASH算法的MASK值如果设置过大，可能导致系统内存无法承载。在32位操作系统中，MASK值一般为 SHORT型，最大为65535。本发明的HASH算法为H= ((0xffff  & sip)  ^(sip >> 16) + (0xffff & dip)  ^(dip >> 16)) & MASK。

在电力配电自动化系统中，供电局主站前置机需要和多达40000台配电终端进行通信，为了防止黑客入侵，需要在供电局主站部署一台网闸已防止其入侵和破坏。这台网闸中至少需要存储40000条以上隔离规则。如何快速根据流经该网闸的网络数据包的三层特性信息进行快速规则查表将直接影响到该网闸的数据剥离和重组的性能。根据上面描述的散列算法，该网闸在进行隔离规则查表时，需要根据经过设备的数据包的源和目的IP地址进行Hash散列运算。其运算的模MASK值影响着是否需要多次查表。因为该网闸需要和多达40000台配电终端进行通信，平均规则查表遍历的次数为40000整除MASK加一。如果MASK值为32767，通过网闸的网络数据包中有32768个需要通过一次Hash计算和一次查表得到对应的规则，7232个网络数据包需要通过一次Hash计算和两次查表得到对应的规则。图1中，如果MASK值为65535，所有数据包仅需要一次一次Hash计算和一次查表得到对应的规则。当然HASH桶数组中，还有25536个数组行为空。为了尽快减少所有通过该网闸的所有数据包查表的次数，Hash散列算法的Mask值为65535。

采用隔离规则中的源和目的IP地址等相关信息基于本发明中的HASH算法进行技术，根据计算得到的结果对应找到该隔离规则信息在HASH桶中的位置，然后通过单向链表添加到该项HASH桶的链表中。单向链表的长度主要取决于HASH算法的碰撞强度，碰撞强度越大，部分单向链表长度将越长。

当网络数据包经过网闸进行隔离规则匹配查询时，一般需要经过一次HASH（异或）运算和一次查表运算。其计算速度非常快，适合于网络通信类设备进行路由、MAC地址、ACL信息查表，适应于防火墙和网闸进行防火墙及网闸隔离规则的快速查表，提升了网闸的性能，降低了数据包转发或者处理的时延。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。 

Claims (6)

1.一种基于网闸实现数据传输的方法，其特征在于包括：

步骤1：一端主机模块和另一端主机模块建立HASH桶数组，一端主机模块建立IP报文的隔离规则，并通过隔离交换模块传输隔离规则给另一端主机模块；一端主机模块与另一端主机模块，根据IP报文对应的HASH ID值自动把隔离规则添加到HASH桶数组中对应单向链表序号的单向链表头中；

步骤2：当一个IP报文通过网闸时，IP报文通过一端主机模块进行HASH ID值计算；一端主机模块根据此HASH ID值查找隔离规则，若此IP报文找到隔离规则，则返回当前HASH ID值和单向链表序号值，执行步骤3；否则，丢弃该IP报文； 

步骤3：一端主机模块将该IP报文的HASH ID值、单向链表序号值和四层及以上IP报文数据通过隔离交换模块发送给另一端主机模块，执行步骤4；

步骤4：另一端主机模块接收到数据后，根据HASH ID值和单向链表序号值，在HASH桶数组项中查找对应的隔离规则，并得到IP报文协议号、源地址、目的地址信息，随后重新组建IP报文并发送出去。

2.根据权利要求1所述的一种基于网闸实现数据传输的方法，其特征在于所述HASH ID值H是根据源地址、目的地址以及HASH桶数组值掩码MASK，计算HASH ID值，具体计算公式是：H= ((0xffff  & sip)  ^(sip >> 16) + (0xffff & dip)  ^(dip >> 16)) % MASK，其中sip指的是数据包的源地址，dip指的是数据包的目的地址。

3.根据权利要求2所述的一种基于网闸实现数据传输的方法，其特征在于所述隔离规则包括协议号、源地址、目的地址以及对应安全策略。

4.根据权利要求1所述的一种基于网闸实现数据传输的方法，其特征在于所述步骤2中一端主机模块根据此HASH ID值在其HASH桶数组项中查找隔离规则具体步骤是：一端主机模块根据此HASH ID值在HASH桶数组项中查找隔离规则，若根据该数组的单向链表头没有指向任何隔离规则，则丢弃IP报文；若单向链表头指向一条隔离规则，则把IP报文的协议号、源地址、目的地址信息与隔离规则中的协议号、源地址、目的地址进行匹配，若匹配成功，则返回成功；若当前隔离规则匹配不成功，且无下一条规则，则返回失败；若当前隔离规则匹配不成功，但是存在下一隔离规则，则进行匹配，依次类推，最终如果找到隔离规则，则返回当前HASH ID值和单向链表序号值；如果没找到隔离规则，则返回失败。

5.根据权利要求1所述的一种基于网闸实现数据传输的方法，其特征在于所述HASH通数组建立过程包括：

步骤1：创建MASK+1的HASH桶数组，每个桶数组成员为单向链表头，指向为空；每个桶数组成员可存储隔离规则；

步骤2：当有X个终端需要通过网闸发送IP报文时，一般情况下：

通过网闸的IP报文会进行一次HASH ID计算，单向链表查表次数为N=1+X/MASK；

当X≤MASK时，通过网闸的X个IP报文中通过一次HASH ID值计算和查一次单向链表得到对应的隔离规则；

当X>MASK时，通过网闸的前MASK个IP报文通过一次HASH值计算和查一次单向链表，得到对应的隔离规则；（MASK+1）个到X-X%MASK个IP报文通过一次HASH值计算和(X/MASK）个单向链表号依次查单向链表，得到对应的隔离规则；（X-X%MASK）+1到X个IP报文通过HASH值计算和（（X/MASK）+1）个单向链表号依次查单向链表，得到对应的隔离规则。

6.根据权利要求1至5之一所述的一种基于网闸实现数据传输的方法，其特征在于所述当网闸需要添加一条隔离规则时，添加步骤具体为：

步骤51：一端主机模块根据输入的IP报文的协议号、源地址、目的地址信息作为散列算法的数据输入计算HASH ID值；

步骤52：一端主机模块与领一端主机模块对应创建隔离规则，并把IP报文的协议号、源地址及目的地址信息填充到隔离规则中，并让该HASH ID值对应的HASH桶数组中的单向链表头指向该隔离规则；

步骤53：一端主机模块把该HASH ID值、隔离规则通过隔离交换模块发送给另一端主机模块，另一端主机模块根据其HASH ID值自动把隔离规则添加到对应HASH桶数组中的单向链表头中。

Images