CN109873829B - 一种基于二进制哈希表的活动ip主机数量统计方法 - Google Patents

Abstract

本发明公开了一种基于二进制哈希表的活动IP主机数量统计方法，属于网络安全监控领域，解决现有技术中主动探测方法和被动探测法的不足之处。本发明建立活动IP主机数量统计所需的数据结构，设置初始值，数据结构包括二进制哈希表、IP主机计数器，开始时间戳，时间周期；对网络流量进行分析，即对每个IP分组的源IP地址，用哈希函数进行运算，获得哈希值；在二进制哈希表中对哈希值进行更新操作，同时修改IP主机计数器；判断当前时间戳与开始时间戳的差值是否大于等于时间周期，如果大于或等于时间周期，输出IP主机计数器的值，再进行新一轮统计，否则循环分析网络流量并对活动IP主机进行计数。本发明用于对活动IP主机数量进行统计。

Description

一种基于二进制哈希表的活动IP主机数量统计方法

技术领域

一种基于二进制哈希表的活动IP主机数量统计方法，用于对网络流量中的活动IP主机数量进行统计，属于网络安全监控领域。

背景技术

随着Internet的不断发展，网络规模日益扩大，其承载的网络业务逐渐增多，网络安全已成为人们越来越关心的问题。以DDoS攻击为代表的网络攻击已经造成了多起安全事故，现有大量研究从网络通信流量分析入手开展网络安全检测，其中的一个重要基础能力，就是快速统计当前网络中正在活动的IP主机数量。

根据检索，目前的网络活动主机统计方法有以下几种：

1.专利“一种活动主机数量的检测方法及装置”(CN200610057572.9)提出一种基于流量分析的活动主机数量检测方法，包括在监测设备中设置监控表、根据流经所述监控设备的数据包更新所述监控表、以及根据所述监控表判断所述活动主机数量的步骤。该发明还提供了一种网络地址转换设备后活动主机数量的检测装置。该发明用于对各种网络设备后活动主机数量的统计。其主要思路为：在监控设备中设置监控表，记录所有新发现主机的信息，包括上线时间和下线时间，每个主机一条记录；针对每个数据包，从数据包中提取当前主机信息，包括当前主机开机时间、关机时间和端口号；将数据包中提取的当前主机信息中的开机时间与监控表中每个记录的开机时间进行依次对比，如果相等，则将当前主机的端口号添加到所述与当前主机有相同开机时间的结构中，否则新建立一个结构，记录当前主机信息；最后，根据监控表中每个结构的表项得出对应主机的活动区间，如果需要获得活动主机数量的时刻在该活动区间内，则该主机为活动主机，从而统计出活动主机数量(即在某个时刻T，如果需要判断某个主机H是否为该时刻的活动主机，则比较主机H的活动区间是否与T存在任何形式的重合，如果重合则判定H为T时刻的活动主机，以此完成对任意时刻的活动主机数量统计)。该方法主要根据主机开机时间来进行不同主机身份的识别，需要在监控表中为每个可能的活动主机保留一条记录，而且在每次更新监控表的过程中都需要对监控表进行遍历查找，在主机数量较多的情况下，监控表会占据大量内存空间，查找效率也会严重降低，导致统计结果不准确，甚至检测装置的内存耗尽。总体而言，该方法时间空间复杂度较高。

2.论文“网络活动主机扫描探讨”(《经营管理者》2009年11期)，提出一种基于主动扫描的活动主机探测方法，该方法使用winpcap等工具，向网络发送ARP、ICMP和TCP探测报文，通过分析接收到的ARP、ICMP应答报文来发现局域网和互联网主机，从而实现主机探测和数量统计。《一种活动主机的并行探测方法》(北京地区高校研究生学术交流会， 2006)也采用了类似的方法，使用ICMP ping、UDP ping等主动探测方法，通过发送探测报文实现活动主机探测。

3.专利“基于IPID和概率统计模型的NAT主机个数检测方法”(CN201510184723.6)，提出了两种方法：(1)IPID检测法：IPID指的是IP报文首部的标识域，长度为16比特，它用来唯一标示一个IP报文，在实际的应用中通常把它当做一个计数器，不论数据包属于哪一个链接，同一台主机每发出一个IP包它的IPID值递增1，但是不同的主机之间的IPID 值的增长是相互独立的，因为NAT后的每台主机产生的IPID增长轨迹相同的概率非常小，所以可以通过分析给定的IP地址发出的数据包的IPID有多少条增长轨迹就可以确定这个地址后有多少台主机了。(2)Cookie ID技术主机检测法：Cookie是大部分网站为了辨别身份而存储在用户本地终端的数据，Cookie ID是通过name＝value这种方式存储的，同一网站为不同的用户分配的ID值不同，所以可以通过分析NAT发出的数据包中的Cookie ID来确定NAT后面有多少台主机，因为每一台主机它在同一个网站中的Cookie ID值是不同的。上述两种方法都仅仅用于统计NAT设备以下的网络主机数量。

上述现有方法可以分为主动探测法(发送探测报文)和被动分析法(分析网络流量而不发送探测报文)。存在几个方面的问题：(1)主动探测方法需要向每一个IP地址发送探测报文，容易造成额外的网络负荷，也容易被防火墙等安全防护设备拦截，导致发送探测报文失效，从而无法精确的统计数量。(2)现有被动分析法大多用于对NAT设备后的主机数量进行统计，而不是针对所有主机(在能统计所有的情况下存在第(3)点中的不足)；(3)被动探测法大多需要建立主机监控表，在监控表中为每个可能的活动主机保留一条记录，而且在每次更新监控表的过程中都需要对监控表进行遍历查找，算法的时间和空间复杂度均较高，在大规模IP主机活动的互联网环境下，会导致探测设备的内存和计算资源耗尽。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于二进制哈希表的活动IP主机数量统计方法，解决现有技术中：(1)主动探测方法需要向每一个IP地址发送探测报文，容易造成额外的网络负荷，也容易被防火墙等安全防护设备拦截，导致发送探测报文失效，从而无法精确的统计数量。(2)现有被动分析法大多用于对NAT设备后的主机数量进行统计，而不是针对所有主机；(3)被动探测法大多需要建立主机监控表，在监控表中为每个可能的活动主机保留一条记录，而且在每次更新监控表的过程中都需要对监控表进行遍历查找，算法的时间和空间复杂度均较高，在大规模IP主机活动的互联网环境下，会导致探测设备的内存和计算资源耗尽的问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于二进制哈希表的活动IP主机数量统计方法，其特征在于，如下步骤：

S1、建立活动IP主机数量统计所需的数据结构，设置初始值，数据结构包括一个二进制哈希表、一个IP主机计数器，一个开始时间戳，一个时间周期；

数据结构的初始值为：

二进制哈希表包括哈希位置和哈希成员，哈希位置对应的每个哈希成员为1个二进制位，每个哈希位置为十进制位，哈希表由固定长度的一串连续二进制位构成，记为HASHTABLE，二进制哈希表的长度为L，L＝0XFFFFFF，即该二进制哈希表由连续16777215个二进制位构成，二进制哈希表中的每个二进制位设置初始值为0；

IP主机计数器类型为正整数，单位为个，记为COUNT，设置初始值为0；

开始时间戳类型为时间，记为BEGINTIME，设置初始值为开始时刻；

时间周期为正整数，单位为秒，记为WINDOW，设置初始值为60；

S2、对网络流量进行分析，即对每个IP分组的源IP地址，用哈希函数进行运算，获得哈希值，哈希值存放的是二进制哈希表中的某个哈希成员的二进制哈希位置；

S3、在二进制哈希表中对哈希值相应的哈希成员进行更新操作，同时修改IP主机计数器；

S4、判断当前时间戳与开始时间戳的差值是否大于等于时间周期，如果大于或等于时间周期，则输出IP主机计数器的值，并转到步骤S1进行新一轮统计，否则转到步骤S2继续进行统计。

进一步，所述步骤S2的具体步骤为：

S2.1、采用抓包方法捕获网络中的IP分组，提取源IP地址，使用标准的IP头部解析方法将捕获到的IP分组进行IP协议头部分析，提取其中的源IP地址，即ADDR，其长度为 32位二进制；

S2.2、对S2.1获得的ADDR采用哈希函数进行运算，获得哈希值，即V_HASH，哈希函数的算法为：将32位长度的ADDR从高位到低位分为高16位和低16位，分别记为ADDRHIGH 和ADDRLOW，然后计算V_HASH，计算公式为：

V_HASH＝(((ADDRHIGH&00X00FF)^((ADDRHIGH&00XFF00)>>8))<<16&ADDRLOW)

其中，“&”为按位与运算符，“^”为按位异或运算符，“<<”为左移运算符，“>>”为右移运算符；

将计算得到的V_HASH转换为十进制值。

进一步，所述步骤S3的具体步骤为：

S3.1、根据十进制值查找二进制哈希表，从小到大找到HASHTABLE中十进制值对应的哈希成员，该哈希成员就是V_HASH对应的HASHTABLE中的哈希成员，记为HASHNODE；

S3.2、对哈希成员HASHNODE进行检查和更新，即如果HASHNODE值为0，则修改其值为 1，同时对IP主机计数器COUNT进行加1操作，令COUNT＝COUNT+1；如果HASHNODE值为1，则不操作。

进一步，所述步骤S4的具体步骤为：

S4.1、计算当前时间戳与开始时间戳的差值，即以当前时间戳减去开始时间戳，得到差值，记为DISPERSION；

S4.2、比较差值DISPERSION和时间周期WINDOW，如果DISPERSION＜WINDOW，则跳转步骤S2，循环分析网络流量并对活动IP主机进行计数；否则取出当前IP主机计数器COUNT的值，作为当前活动IP主机数量，进行日志或输出，并转到步骤S1进行新一轮统计。

本发明同现有技术相比，其有益效果表现在：

(1)本发明用于统计活动IP主机数量，而不是NAT设备以下的主机数量，即能统计所有活动IP主机数量；能统计所有活动IP主机数量的情况下，本发明不需要为每个主机建立监控表记录，不需要跟踪记录主机的IP地址、端口、IP或TCP序列号等信息，大大节约了内存空间，空间复杂度低，本发明设计的二进制哈希表大小为16777215位二进制，占用的内存空间仅为2MB字节左右，而且不随着IP主机数量的增多而增长，可以通过很少的内存占用，实现对大量IP主机的识别和统计；本发明通过哈希函数降低了二进制哈希表中可能存在的哈希冲突，可实现精确统计；

(2)本发明的时间复杂度很低，对哈希表的查找只需要进行一次简单定位就可以完成查找过程，不需要对哈希表进行遍历，查找效率明显高于遍历查找监控表的其他算法；

(3)本发明相对于目前已有的各类哈希表查找算法，本发明的每一个哈希成员仅占据一个二进制位，查找过程也仅需一次查找，时间和空间复杂度优势明显。

附图说明

图1是本发明流程示意图；

图2是本发明IP地址在二进制哈希表中的查找过程。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

活动IP主机：网络中一个时间周期内活动的IP主机，即发出IP分组的主机设备。本发明假定一个IP地址可唯一标识一台IP主机，即IP地址与IP主机一一对应。

统计周期：即指一段连续的时间周期，记为T，在该统计周期内发出IP分组的每一台主机设备均应作为一台活动IP主机。

IP地址：发出IP分组的源IP地址，即该活动IP主机的IP地址，记为ADDR。

IP地址的哈希值：IP地址经过哈希函数的运算之后，获得的数值，成为IP地址的哈希值，记为V_HASH。

哈希函数：从IP地址到哈希值的运算过程，输入参数为IP地址，返回值为哈希值。

本发明提出一种基于二进制哈希表的活动IP主机数量统计方法，该方法属于被动分析方法，通过分析网络流量、建立二进制哈希表来统计活动IP主机数量，相较于传统的基于流量分析和监控表的IP主机统计方法，本发明不需要为每个活动IP主机设立监控表记录，也不需要在监控表的更新过程中进行遍历查找，大大降低了算法的时间和空间复杂度，可通过较小的代价实现对IP主机数量的较准确统计。具体如下所述：

一种基于二进制哈希表的活动IP主机数量统计方法，如下步骤：

S1、建立活动IP主机数量统计所需的数据结构，设置初始值，数据结构包括一个二进制哈希表、一个IP主机计数器，一个开始时间戳，一个时间周期；

数据结构的初始值为：

二进制哈希表包括哈希位置和哈希成员，哈希位置对应的每个哈希成员为1个二进制位，每个哈希位置为十进制位，哈希表由固定长度的一串连续二进制位构成，记为HASHTABLE，二进制哈希表的长度为L，L＝0XFFFFFF，即该二进制哈希表由连续16777215个二进制位构成，二进制哈希表中的每个二进制位设置初始值为0；

IP主机计数器类型为正整数，单位为个，记为COUNT，设置初始值为0；

开始时间戳类型为时间，记为BEGINTIME，设置初始值为开始时刻；

时间周期为正整数，单位为秒，记为WINDOW，设置初始值为60；

S2、对网络流量进行分析，即对每个IP分组的源IP地址，用哈希函数进行运算，获得哈希值，哈希值存放的是二进制哈希表中的某个哈希成员的二进制哈希位置；具体步骤为：

具体步骤为：

S2.1、采用抓包方法捕获网络中的IP分组，提取源IP地址，使用标准的IP头部解析方法将捕获到的IP分组进行IP协议头部分析，提取其中的源IP地址，即ADDR，其长度为 32位二进制；

S2.2、对S2.1获得的ADDR采用哈希函数进行运算，获得哈希值，即V_HASH，哈希函数的算法为：将32位长度的ADDR从高位到低位分为高16位和低16位，分别记为ADDRHIGH 和ADDRLOW，然后计算V_HASH，计算公式为：

V_HASH＝(((ADDRHIGH&00X00FF)^((ADDRHIGH&00XFF00)>>8))<<16&ADDRLOW)

其中，“&”为按位与运算符，“^”为按位异或运算符，“<<”为左移运算符，“>>”为右移运算符；

将计算得到的V_HASH转换为十进制值。V_HASH是哈希值，里面存放的是二进制哈希表中的某个哈希成员的哈希位置(该哈希成员存放的内容是二进制)。本发明的二进制哈希表中所有哈希成员存放的是二进制数据，但哈希成员的哈希位置用十进制表示。

S3、在二进制哈希表中对哈希值相应的成员进行更新操作，同时修改IP主机计数器；

具体步骤为：

S3.1、根据十进制值查找二进制哈希表，从小到大找到HASHTABLE中十进制值对应的哈希成员，该哈希成员就是V_HASH对应的HASHTABLE中的哈希成员，记为HASHNODE；

S3.2、对哈希成员HASHNODE进行检查和更新，即如果HASHNODE值为0，则修改其值为 1，同时对IP主机计数器COUNT进行加1操作，令COUNT＝COUNT+1；如果HASHNODE值为1，则不操作，即如果HASHNODE值为1，则不修改其值，也不对COUNT进行任何操作。

S4、判断当前时间戳与开始时间戳的差值是否大于等于时间周期，如果大于或等于时间周期，则输出IP主机计数器的值，并转到步骤S1进行新一轮统计(可设置条件来判断是否执行新一轮的统计)，否则转到步骤S2继续进行统计。具体步骤为：

S4.1、计算当前时间戳与开始时间戳的差值，即以当前时间戳减去开始时间戳，得到差值，记为DISPERSION；

S4.2、比较差值DISPERSION和时间周期WINDOW，如果DISPERSION＜WINDOW，则跳转步骤S2，循环分析网络流量并对活动IP主机进行计数；否则取出当前IP主机计数器COUNT的值，作为当前活动IP主机数量，进行日志或输出，并转到步骤S1进行新一轮统计。

实施例

首先建立活动IP主机数量统计所需的数据结构，设置二进制哈希表长度为0XFFFFFF，初始值均为0；设置IP主机计数器COUNT＝0；开始时间戳BEGINTIME＝开始时刻，如：2018- 08-20 00：00：01；时间周期WINDOW＝60；

网络流量进行分析，即对每个IP分组的源IP地址，如提取的IP地址为10.100.5.1；

对源IP地址取出高16位，值为0x0A64；取出低16位，值为0×0501；根据V_HASH的计算公式，可得到哈希值V_HASH＝0×6E0501，将V_HASH转换为十进制值为7210241；

在二进制哈希表中查找第7210241号成员，发现其值为0，则将其值设置为1，将COUNT 值加1，则COUNT当前值为1；

检查当前时间戳(如：2018-08-20 00：00：08)与开始时间戳BEGINTIME的差值，如差值为：DISPERSION＝7秒，比较DISPERSI0N与WINDOW，显然7＜60，则转继续分析网络流量：

按照上述过程，经过多个IP分组的分析，当前时间戳变更为2018-08-20 00：01:01， COUNT值累加到500，此时DISPERSION值变更为60，满足DISPERSION＞＝WINDOW条件，输出并记录COUNT的值，即为当前时间周期的活动IP主机数量，然后根据人为或设定的条件进行新一轮的统计，即对二进制哈希表、IP主机计数器、开始时间戳进行重新设置，开始下一时间周期的统计；否则循环分析网络流量并对活动IP主机进行计数。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (4)

1.一种基于二进制哈希表的活动IP主机数量统计方法，其特征在于，如下步骤：

S1、建立活动IP主机数量统计所需的数据结构，设置初始值，数据结构包括一个二进制哈希表、一个IP主机计数器，一个开始时间戳，一个时间周期；

数据结构的初始值为：

二进制哈希表包括哈希位置和哈希成员，哈希位置对应的每个哈希成员为1个二进制位，每个哈希位置为十进制位，哈希表由固定长度的一串连续二进制位构成，记为HASHTABLE，二进制哈希表的长度为L，L=0XFFFFFF，即该二进制哈希表由连续16777215个二进制位构成，二进制哈希表中的每个二进制位设置初始值为0；

IP主机计数器类型为正整数，单位为个，记为COUNT，设置初始值为0；

开始时间戳类型为时间，记为BEGINTIME，设置初始值为开始时刻；

时间周期为正整数，单位为秒，记为WINDOW，设置初始值为60；

S2、对网络流量进行分析，即对每个IP分组的源IP地址，用哈希函数进行运算，获得哈希值，哈希值存放的是二进制哈希表中的某个哈希成员的二进制哈希位置；

哈希值的计算方法为：将32位长度的源IP地址ADDR从高位到低位分为高16位和低16位，分别记为ADDRHIGH和ADDRLOW，然后计算哈希值，计算公式为：

V_HASH=(((ADDRHIGH & 00X00FF) ^ ((ADDRHIGH & 00XFF00)>>8))<<16 & ADDRLOW)

其中，V_HASH 为哈希值，“&”为按位与运算符，“^”为按位异或运算符，“<<”为左移运算符，“>>”为右移运算符；

S3、在二进制哈希表中对哈希值相应的哈希成员进行更新操作，同时修改IP主机计数器；

S4、判断当前时间戳与开始时间戳的差值是否大于等于时间周期，如果大于或等于时间周期，则输出IP主机计数器的值，并转到步骤S1进行新一轮统计，否则转到步骤S2继续进行统计。

2.根据权利要求1所述的一种基于二进制哈希表的活动IP主机数量统计方法，其特征在于，所述步骤S2的具体步骤为：

S2.1、采用抓包方法捕获网络中的IP分组，提取源IP地址，使用标准的IP头部解析方法将捕获到的IP分组进行IP协议头部分析，提取其中的源IP地址，即ADDR，其长度为32位二进制；

S2.2、对S2.1获得的ADDR采用哈希函数进行运算，获得哈希值，即V_HASH，哈希函数的算法为：将32位长度的ADDR从高位到低位分为高16位和低16位，分别记为ADDRHIGH和ADDRLOW，然后计算V_HASH，计算公式为：

V_HASH=(((ADDRHIGH & 00X00FF) ^ ((ADDRHIGH & 00XFF00)>>8))<<16 & ADDRLOW)

其中，“&”为按位与运算符，“^”为按位异或运算符，“<<”为左移运算符，“>>”为右移运算符；

将计算得到的V_HASH转换为十进制值。

3.根据权利要求2所述的一种基于二进制哈希表的活动IP主机数量统计方法，其特征在于，所述步骤S3的具体步骤为：

S3.1、根据十进制值查找二进制哈希表，从小到大找到HASHTABLE中十进制值对应的哈希成员，该哈希成员就是V_HASH对应的HASHTABLE中的哈希成员，记为HASHNODE；

S3.2、对哈希成员HASHNODE进行检查和更新，即如果HASHNODE值为0，则修改其值为1，同时对IP主机计数器COUNT进行加1操作，令COUNT=COUNT+1；如果HASHNODE值为1，则不操作。

4.根据权利要求1所述的一种基于二进制哈希表的活动IP主机数量统计方法，其特征在于，所述步骤S4的具体步骤为：

S4.1、计算当前时间戳与开始时间戳的差值，即以当前时间戳减去开始时间戳，得到差值，记为DISPERSION；

S4.2、比较差值DISPERSION和时间周期WINDOW，如果DISPERSION<WINDOW，则跳转步骤S2，循环分析网络流量并对活动IP主机进行计数；否则取出当前IP主机计数器COUNT的值，作为当前活动IP主机数量，进行日志或输出，并转到步骤S1进行新一轮统计。

Images