CN103345475A - 一种基于被动方式的<ip，域名>信息获得和维护方法 - Google Patents

Abstract

本发明公开了一种基于被动方式的<IP，域名>信息获得和维护方法，本发明提供的方法不会影响网络自身的环境，不会给网络增加额外的负担，从结点上获取的数据都是当前真实网络中真实的、实时的数据，其数据很具有说服力。本方法中采用内存数据库与磁盘数据库相结合的模式，内存的数据读写速度要比磁盘高出几个数量级，本方法中的老化函数和FIFO高度算法确保了内存数据库当中存储的都是最新的、调用频率很高的，时常更新的、实时性很强的数据，这样也就确保了数据查询、更新的响应速度，而磁盘数据库还同时保证了海量信息的存储。

Description

一种基于被动方式的＜IP,域名＞信息获得和维护方法

技术领域

本发明涉及计算机网络技术领域，更具体的说，涉及基于被动方式的<IP，域名>信息获得和维护方法。

背景技术

在当下时代，互联网（Internet）在全球范围内膨胀急剧，业务种类持续增多，互连程度不断加深，性能也在不断地增强。随着网络的这种复杂程度越来越高，而系统级管理水平却越来越低，为了深入地理解互联网的网络状况，增强网络管理水平，IETF（Internet Engineering Task Force）及众多国内外大学以及研究机构都加强了对这一领域的研究，推出了许多的网络测量方法，并提出了许多的网络状况性能指标。

根据测量过程中是否向被测系统发送探测数据包可将网络测量方法分为主动测量和被动测量。被动测量即在网络中的某一结点收集数据包信息，如使用路由器或交换机收集数据包信息或者一个独立设备被动地监测网络链路的流量信息。

在众多的网络状况性能指标中，<IP，域名>信息其中比较突出的一点，它是众多的性能指标分析的基石，所谓<IP，域名>信息，即一条记录，记录包括了IP，域名，及该IP上该域名的访问量等信息。如现今比较权威的Alexa网络排名，它对各个网站进行排名的指标就是网站的访问量，可是网站的访问量如何计算而来呢？很显然，它得有最基础的<IP，域名>信息，然后才能对网站排名。其首先得依赖于<IP，域名>信息记录，统计某个域名下有哪些IP，然后累加这些IP上该域名的访问量，即得这个域名的总访问量，最后进行Alexa排名。再者，我们知道域名是分级的，包括顶级域名、二级域名等。顶级域名由许多国家顶级域、一个arpa域以及7个国际域组成。国际域也称为组织域，有com，edu，gov，org等。在互联网巨大的访问量中，这些组织域的访问量的分布如何呢？分析之基石最终还是得落在<IP，域名>信息上。可见其重要性。

对于<IP，域名>信息的获得，如果采用的主动方式，即通过Socket编程与域名系统DNS（Domain Name System）服务器进行通信，得到DNS的响应，从而获得<IP，域名>信息。该过程可以获得<IP，域名>信息的IP、域名值，但是却无法获得该IP上该域名的访问量，而且主动方式会向网络产生一定数据的数据包，会影响网络环境。

发明内容

有鉴于此，本发明的设计目的在于，提供一种基于被动方式的<IP，域名>信息获得和维护方法，不会影响网络自身的环境，从而不会给网络增加额外的负担。

本发明实施例是这样实现的：

一种基于被动方式的<IP，域名>信息获得和维护方法，包括：

获取当前网络结点上流入和流出的HTTP层的数据包的<IP，域名>信息；

在所述<IP，域名>信息中提取出五元组，所述五元组包括源IP、目的IP、源端口号、目的端口号和域名；

在所述内存数据库中查找所述五元组对应的记录；

当所述内存数据库中存在所述五元组对应的记录时，则更新所述五元组对应的记录；

当所述内存数据库中不存在所述五元组对应的记录时，则将所述五元组存储在所述内存数据库中新建的一条记录中。

优选地，在所述内存数据库中查找所述五元组对应的记录的步骤中，具体包括：

对所述五元组进行哈希得到所述五元组的哈希值；

当所述内存数据库中的哈希表中不存在所述五元组的哈希值时，则所述内存数据库中不存在所述五元组对应的记录；

当所述内存数据库中的哈希表中存在所述五元组的哈希值时，则所述内存数据库中存在所述五元组对应的记录。

优选地，在所述内存数据库中存在所述五元组对应的记录的步骤中，具体包括：

取出所述内存数据库中五元组对应的记录的目的IP和域名值；

当所述内存数据库中的所述目的IP和域名值与所述五元组中的目的IP和域名值相同时，则表示找到。

优选地，在所述将所述五元组存储在所述内存数据库中新建的一条记录中的步骤中，具体包括：

为新记录分配一块内存空间，对其IP、域名、顶级域名、二级域名记录创建时间等进行赋值；

对我们的五元组进行哈希得到一个哈希值；

定位到哈希表该哈希值的结点上；

如果该结点不存在记录，则让哈希值结点存放在新建的记录中；

如果该结点存在记录，则让新建的记录的下一个结点指向这条记录，让该哈希值结点存放新建的记录中。

优选地，在所述更新所述五元组对应的记录的步骤中，具体包括：

使所述五元组对应的记录的访问量次数加1；

使所述五元组对应的记录的最后一次更新时间变为当前时间；

计算并修改更新频率。

优选地，在所述计算并修改更新频率的步骤中，具体包括：

计算公式为UT1=n1/[(T1-T0)+n0*UT0]，其中，T0、n0、UT0是更新前这条记录的最后一次更新时间、访问次数、更新频率；T1、n1、UT1是更新后这条记录的最后一次更新时间、访问次数、更新频率。

优选地，还包括：

固定一段时间后会对整个内存数据库进行一次遍历；

将老化的记录从内存数据库中释放转出，并写入到磁盘数据库中。

优选地，所述老化的记录具体为记录的更新频率小于一个固定值的或当前时间减去最后一次更新时间的值大于一个固定值的记录。

优选地，还包括：

当所述内存数据库达到饱和状态时，则触发FIFO调度算法，将所述内存数据库内记录的创建时间最早的记录转出，并写入磁盘数据库中。

优选地，在触发FIFO调度算法的步骤中，具体为：

当调用FIFO调度算法时，则从内存数据库中转出的记录条数等于初始设定的值乘以FIFO调度算法调用的频率，所述调度算法的调用频率即每一个老化期间内被调用的次数。

优选地，在写入磁盘数据库中的步骤中，具体为：

对磁盘数据库进行查询；

如果所述磁盘数据库中不存在该记录，则将该记录直接插入所述磁盘数据库中；

如果所述磁盘数据库中存在该记录，则对其访问量、最后一次访问时间和更新频率进行更新。

与现有技术相比，本实施例提供的技术方案具有以下优点和特点：

在本发明提供的方案中，本发明不会影响网络自身的环境，不会给网络增加额外的负担，从结点上获取的数据都是当前真实网络中真实的、实时的数据，其数据很具有说服力。本方法中采用内存数据库与磁盘数据库相结合的模式，内存的数据读写速度要比磁盘高出几个数量级，本方法中的老化函数和FIFO高度算法确保了内存数据库当中存储的都是最新的、调用频率很高的，时常更新的、实时性很强的数据，这样也就确保了数据查询、更新的响应速度，而磁盘数据库还同时保证了海量信息的存储。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种基于被动方式的<IP，域名>信息获得和维护方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于被动方式的<IP，域名>信息获得和维护方法，该方法不会影响网络自身的环境，从而不会给网络增加额外的负担。

由于上述基于被动方式的<IP，域名>信息获得和维护方法的具体实现存在多种方式，下面通过具体实施例进行详细说明：

请参见图1所示，图1所示的为一种基于被动方式的<IP，域名>信息获得和维护方法，包括：

步骤S11、获取当前网络结点上流入和流出的HTTP层的数据包的<IP，域名>信息；

步骤S12、在所述<IP，域名>信息中提取出五元组，所述五元组包括源IP、目的IP、源端口号、目的端口号和域名；

步骤S13、在所述内存数据库中查找所述五元组对应的记录；

其中，步骤S13具体包括以下步骤：对所述五元组进行哈希得到所述五元组的哈希值；当所述内存数据库中的哈希表中不存在所述五元组的哈希值时，则所述内存数据库中不存在所述五元组对应的记录；当所述内存数据库中的哈希表中存在所述五元组的哈希值时，则所述内存数据库中存在所述五元组对应的记录。

其中，在所述内存数据库中存在所述五元组对应的记录的步骤中，具体包括：取出所述内存数据库中五元组对应的记录的目的IP和域名值；当所述内存数据库中的所述目的IP和域名值与所述五元组中的目的IP和域名值相同时，则表示找到。

步骤S14、当所述内存数据库中存在所述五元组对应的记录时，则更新所述五元组对应的记录；

其中，步骤S14具体包括以下步骤：使所述五元组对应的记录的访问量次数加1；使所述五元组对应的记录的最后一次更新时间变为当前时间；计算并修改更新频率。

其中，在所述计算并修改更新频率的步骤中，具体包括：计算公式为UT1=n1/[(T1-T0)+n0*UT0]，其中，T0、n0、UT0是更新前这条记录的最后一次更新时间、访问次数、更新频率；T1、n1、UT1是更新后这条记录的最后一次更新时间、访问次数、更新频率。

步骤S15、当所述内存数据库中不存在所述五元组对应的记录时，则将所述五元组存储在所述内存数据库中新建的一条记录中。

其中，步骤S15具体包括以下步骤：为新记录分配一块内存空间，对其IP、域名、顶级域名、二级域名记录创建时间等进行赋值；对我们的五元组进行哈希得到一个哈希值；定位到哈希表该哈希值的结点上；如果该结点不存在记录，则让哈希值结点存放在新建的记录中；如果该结点存在记录，则让新建的记录的下一个结点指向这条记录，让该哈希值结点存放新建的记录中。

在图1所示的实施例中，在步骤S15之后，还可以包括以下步骤：固定一段时间后会对整个内存数据库进行一次遍历；将老化的记录从内存数据库中释放转出，并写入到磁盘数据库中。所述老化的记录具体为记录的更新频率小于一个固定值的或当前时间减去最后一次更新时间的值大于一个固定值的记录。

在图1所示的实施例中，在步骤S15之后，还可以包括以下步骤：当所述内存数据库达到饱和状态时，则触发FIFO调度算法，将所述内存数据库内记录的创建时间最早的记录转出，并写入磁盘数据库中。其中，在触发FIFO调度算法的步骤中，具体为：当调用FIFO调度算法时，则从内存数据库中转出的记录条数等于初始设定的值乘以FIFO调度算法调用的频率，所述调度算法的调用频率即每一个老化期间内被调用的次数。其中，在写入磁盘数据库中的步骤中，具体为：对磁盘数据库进行查询；如果所述磁盘数据库中不存在该记录，则将该记录直接插入所述磁盘数据库中；如果所述磁盘数据库中存在该记录，则对其访问量、最后一次访问时间和更新频率进行更新。

在图1所示的实施例中，本发明不会影响网络自身的环境，不会给网络增加额外的负担，从结点上获取的数据都是当前真实网络中真实的、实时的数据，其数据很具有说服力。本方法中采用内存数据库与磁盘数据库相结合的模式，内存的数据读写速度要比磁盘高出几个数量级，本方法中的老化函数和FIFO高度算法确保了内存数据库当中存储的都是最新的、调用频率很高的，时常更新的、实时性很强的数据，这样也就确保了数据查询、更新的响应速度，而磁盘数据库还同时保证了海量信息的存储。

在图1所示的实施例中，本方案以被动方式，即在Linux下用lipcap，或者Windows下用WinpCap来捕获当前网络结点上流入和流出的HTTP层的GET数据包，并解析、提取出五元组（源IP，目的IP，源端口号，目的端口号，和域名）和<IP，域名>信息（IP，域名，顶级域名，二级域名，及该IP上该域名的访问量，更新频率，创建记录的时间，最新一次更新时间等）。

在图1所示的实施例中，本方案对提取出的数据的维护是采用内存数据库与传统数据库相结合的模式，本方法中的内存数据库是一张哈希表，有固定的大小，存储最新的、时常更新的、实时性很强的数据，传统数据库存储从内存数据库转出的数据。

在图1所示的实施例中，当数据包到达了，提取出其中的五元组后，对五元组在内存数据库中进行查找，如果找不到，就新建一条记录，存储在内存数据库中；如果找到，就更新这条记录；数据记录的查找、插入方法都是采用的一般哈希表的查找、插入方法。

在图1所示的实施例中，程序一旦部署成功并运行之后，数据就会不断的查询、插入、更新。为了更好地提高数据查询、响应速度，我们做了一定的老化处理。固定的一段时间后会自动调用老化函数，其会对整个内存数据库进行一次遍历，将一些很少用到的、很久都没有用到的、老化了的记录从内存数据库中释放转出，写入到传统数据库中，为新的记录腾出空间。老化的条件是记录的更新频率小于一个固定值或当前时间减去最后一次更新时间的值大于一个固定值的记录，我们就认为它应该被老化了。

在图1所示的实施例中，内存数据库是固定大小的，即最大只能存储固定数量的记录，当网络带宽很大，数据流量很大，数据包到达的速度特别快，程序还来不及老化之前，或者老化条件还没有得到满足前，内存已经达到饱和状态时，在我们的方法中会触发FIFO调度算法，会把最先写入内存数据库的记录，即其记录创建时间最早的一些记录转出、写入传统数据库中；每次调用FIFO调度算法时，从内存数据库中转出的记录条数不是一个固定值，其值等于初始设定的值乘以FIFO调度算法调用的频率。调度算法的调用频率即每一个老化期间内被调用的次数。

在图1所示的实施例中，当记录从内存数据库中转出、写入传统数据库时，也要对传统数据库进行查询、判断操作。即也要先对传统数据库进行查询，如果不存在这样的记录，就直接插入数据库中；如果已经存在这样的记录，则对其访问量，最后一次访问时间，更新频率进行更新。

综上所述，本方案具有以下优点：

1、真实性：本方法所采用的是被动的捕获网络结点的方式，获取的所有数据都是网络中真实的、实时的数据，该数据具有很强的说服力；

2、易操作性：本方法所需要的环境很简单，Linux下只要装有lipcap包，Windows下只要装有WinpCap包，该程序就能够跑起来；

3、响应速度快：本方法对数据的维护采用的是内存数据库与传统数据库相结合的模式，内存数据库当中存储最新的、调用频率很高的，时常更新的、实时性很强的数据，传统数据库存储从内存数据库转出的老化了的数据。本方法中的老化函数和FIFO高度算法确保了内存数据库当中存储的都是最新的、调用频率很高的，时常更新的、实时性很强的数据，这样也就确保了数据查询、更新的响应速度。

4、存储海量信息：现今的Internet覆盖了全世界，32位的IPv4地址都已经枯竭的形势下，<IP，域名>信息的数据量是相当大的，内存数据库确保了响应速度，传统数据库就保证了海量信息的存储。

需要说明的是，图1所示的实施例只是本发明所介绍的优选实施例，本领域技术人员在此基础上，完全可以设计出更多的实施例，因此不在此处赘述。

对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，包括：

获取当前网络结点上流入和流出的HTTP层的数据包的<IP，域名>信息；

在所述<IP，域名>信息中提取出五元组，所述五元组包括源IP、目的IP、源端口号、目的端口号和域名；

在所述内存数据库中查找所述五元组对应的记录；

当所述内存数据库中存在所述五元组对应的记录时，则更新所述五元组对应的记录；

当所述内存数据库中不存在所述五元组对应的记录时，则将所述五元组存储在所述内存数据库中新建的一条记录中。

2.根据权利要求1所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在所述内存数据库中查找所述五元组对应的记录的步骤中，具体包括：

对所述五元组进行哈希得到所述五元组的哈希值；

当所述内存数据库中的哈希表中不存在所述五元组的哈希值时，则所述内存数据库中不存在所述五元组对应的记录；

当所述内存数据库中的哈希表中存在所述五元组的哈希值时，则所述内存数据库中存在所述五元组对应的记录。

3.根据权利要求2所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在所述内存数据库中存在所述五元组对应的记录的步骤中，具体包括：

取出所述内存数据库中五元组对应的记录的目的IP和域名值；

当所述内存数据库中的所述目的IP和域名值与所述五元组中的目的IP和域名值相同时，则表示找到。

4.根据权利要求1所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在所述将所述五元组存储在所述内存数据库中新建的一条记录中的步骤中，具体包括：

为新记录分配一块内存空间，对其IP、域名、顶级域名、二级域名记录创建时间等进行赋值；

对我们的五元组进行哈希得到一个哈希值；

定位到哈希表该哈希值的结点上；

如果该结点不存在记录，则让哈希值结点存放在新建的记录中；

如果该结点存在记录，则让新建的记录的下一个结点指向这条记录，让该哈希值结点存放新建的记录中。

5.根据权利要求1所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在所述更新所述五元组对应的记录的步骤中，具体包括：

使所述五元组对应的记录的访问量次数加1；

使所述五元组对应的记录的最后一次更新时间变为当前时间；

计算并修改更新频率。

6.根据权利要求5所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在所述计算并修改更新频率的步骤中，具体包括：

计算公式为UT1=n1/[(T1-T0)+n0*UT0]，其中，T0、n0、UT0是更新前这条记录的最后一次更新时间、访问次数、更新频率；T1、n1、UT1是更新后这条记录的最后一次更新时间、访问次数、更新频率。

7.根据权利要求1所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，还包括：

固定一段时间后会对整个内存数据库进行一次遍历；

将老化的记录从内存数据库中释放转出，并写入到磁盘数据库中。

8.根据权利要求7所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，所述老化的记录具体为记录的更新频率小于一个固定值的或当前时间减去最后一次更新时间的值大于一个固定值的记录。

9.根据权利要求1所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，还包括：

当所述内存数据库达到饱和状态时，则触发FIFO调度算法，将所述内存数据库内记录的创建时间最早的记录转出，并写入磁盘数据库中。

10.根据权利要求9所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在触发FIFO调度算法的步骤中，具体为：

当调用FIFO调度算法时，则从内存数据库中转出的记录条数等于初始设定的值乘以FIFO调度算法调用的频率，所述调度算法的调用频率即每一个老化期间内被调用的次数。

11.根据权利要求9所述的基于被动方式的<IP，域名>信息获得和维护方法，其特征在于，在写入磁盘数据库中的步骤中，具体为：

对磁盘数据库进行查询；

如果所述磁盘数据库中不存在该记录，则将该记录直接插入所述磁盘数据库中；

如果所述磁盘数据库中存在该记录，则对其访问量、最后一次访问时间和更新频率进行更新。

Images