CN101902505A

CN101902505A - 一种分布式dns查询日志的实时统计装置及方法

Info

Publication number: CN101902505A
Application number: CN 200910085061
Authority: CN
Inventors: 毛伟; 李晓东; 金键; 王欣; 乔婧; 李雷
Original assignee: Computer Network Information Center of CAS
Current assignee: China Internet Network Information Center
Priority date: 2009-05-31
Filing date: 2009-05-31
Publication date: 2010-12-01
Anticipated expiration: 2029-05-31
Also published as: CN101902505B

Abstract

本发明提供了一种分布式DNS查询日志的实时统计装置，包括站点日志服务器和中心日志服务器，所述站点日志服务器包括：数据接收处理模块，用于接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；统计模块，用于实时统计所述日志统计对象数据，并缓存相应的统计结果；响应模块，用于响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器；所述中心日志服务器，用于对各站点日志服务器反馈的统计结果进行汇总处理。本发明可以基于DNS的分布式结构实现全局、大数据量的查询日志实时统计分析。

Description

一种分布式DNS查询日志的实时统计装置及方法

技术领域

本发明涉及网络通信领域，具体的说，涉及一种分布式DNS查询日志的实时统计装置及一种分布式DNS查询日志的实时统计方法。

背景技术

DNS(Domain Name System，域名系统)是互联网基础设施提供的一项核心服务，该系统包括一个将域名和IP地址相互映射的分布式数据库，可以实现域名和IP地址转换的功能。DNS服务器分布在广域网的各个站点，实现分布式的网络服务。在DNS服务器运行时，会生成对DNS服务器查询访问的日志记录，通过分析这些查询日志，不仅可以发现当前服务存在的问题，追踪服务过程中的各种安全和特定事件；还可以对域名的各种访问属性、DNS的工作流程进行分析，发现网络资源的使用情况，掌握网络发展的动态变化；为保证域名解析服务的高效运行，对全局分布式DNS查询日志的实时统计则显得尤为重要。

目前的DNS日志的统计方法主要采用DNS服务器自带的日志功能，如普遍使用的BIND(Berkeley Internet Name Domain Service)，它通过配置文件将不同类型的日志记录在不同的文件中，BIND的查询日志记录方法过程为：在为域名解析提供查询服务的过程中，每当客户查询请求被监听到后，就启动查询开始方法ns_query_start(ns_client_t*client)。该方法首先检查client的各项参数是否正确，然后检查ns_server-＞log_queries是否设置为开，若是，则启动写查询日志log_query(client)方法来写日志文件。这种写查询日志的算法思想是：只要有查询，客户端发来的查询信息有效且设置记录查询日志为开，无论解析是否成功，把请求的查询写日志中；解析出错，在错误日志中会写入记录。同时，它还有一个统计全部查询次数和出错次数的变量，是常驻内存的，定期写回日志文件。缺省情况下，BIND主要把启动、关闭和一些严重错误的消息写入日志文件。

然而，这种DNS服务器软件自带的日志功能只能进行单机日志统计，而无法用于基于DNS系统的分布式结构完成全局的实时日志统计分析工作，如日志数据的实时汇总统计和集中备份等。

目前，分布式日志统计的最普通的方法是将各站点的日志汇总到一个中心日志服务器，然后由中心日志服务器对所有的日志数据进行统计计算；对于一些易于计算的统计量，比如查询量的统计，使用上述方法将各站点的局部查询量简单相加就可以实时地得出分布式系统的全局查询量，但是对于一些较为复杂的统计计算，比如全局Top-k域名(求访问次数最大的前k个域名)，由于域名的数据量非常大，DNS查询量也非常大，由于服务器处理性能和传输性能的限制，现有的站点日志服务器和中心日志服务器显然无法在短时间内完成大量的数据传输和汇总统计计算工作。

因此，需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种DNS查询日志统计的机制，用以基于DNS的分布式结构实现全局、大数据量的查询日志实时统计分析。

发明内容

本发明所要解决的技术问题是提供一种基于DNS的分布式结构实现全局、大数据量的查询日志实时统计分析机制，用以基于DNS的分布式结构实现全局、大数据量的查询日志实时统计分析。

为了解决上述问题，本发明公开了一种分布式DNS查询日志的实时统计装置，包括站点日志服务器和中心日志服务器，

所述站点日志服务器包括：

数据接收处理模块，用于接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

统计模块，用于实时统计所述日志统计对象数据，并缓存相应的统计结果；

响应模块，用于响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器；

所述中心日志服务器，用于对各站点日志服务器反馈的统计结果进行汇总处理。

优选的，所述中心日志服务器包括：

Top-k查询请求模块，用于向各站点日志服务器发出实时日志查询请求，所述请求中包括反馈前k个统计结果的信息；

Top-k第一计算模块，用于对各站点反馈的前k个统计结果求和，并对求和结果降序排序，取第k个求和结果与站点个数的比例为第一阶段阈值，并将该阈值发送至所有站点日志服务器；

Top-k第二计算模块，用于对各站点第一次和第二次反馈的统计结果求和，并对求和结果降序排序，取第k个求和结果为第二阶段底值，并依据所述第二阶段底值筛选出候选统计结果的信息，并生成相应的候选统计结果查询请求发送至各站点日志服务器；

汇总统计模块，用于对各站点日志服务器反馈的第一次、第二次和第三次的统计结果进行汇总，并求出前k名；

站点日志服务器的响应模块包括：

第一统计结果反馈子模块，用于依据所述实时日志查询请求对当前统计结果进行排序，并将相应的前k个统计结果作为第一次的统计结果反馈至中心日志服务器；

第二统计结果反馈子模块，用于将大于所述第一阶段阈值且未反馈过的统计结果，作为第二次的统计结果反馈至中心日志服务器；

第三统计结果反馈子模块，用于依据所述候选统计结果的查询请求将相应的统计结果，作为第三次的统计结果反馈至中心日志服务器。

优选的，所述站点日志服务器还包括：

数据库访问模块，用于将一定时间内缓存中的统计结果写入数据库。

优选的，所述日志统计对象数据包括域名、域名查询类型和来源IP地址信息。

优选的，所述统计模块缓存统计结果的存储方式为键值key-value对的方式。

本发明实施例还公开了一种分布式DNS查询日志的实时统计方法，所述日志统计涉及中心日志服务器实时统计站点日志服务器中DNS查询日志的过程，所述的方法包括：

站点日志服务器接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

站点日志服务器实时统计所述日志统计对象数据，并缓存相应的统计结果；

站点日志服务器响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器；由所述中心日志服务器对各站点日志服务器反馈的统计结果进行汇总处理。

优选的，所述响应请求及汇总处理的步骤包括：

中心日志服务器向各站点日志服务器发出实时日志查询请求，所述请求中包括反馈前k个统计结果的信息；

站点日志服务器依据所述实时日志查询请求对当前统计结果进行排序，并将相应的前k个统计结果作为第一次的统计结果反馈至中心日志服务器；

中心日志服务器对各站点反馈的前k个统计结果求和，并对求和结果降序排序，取第k个求和结果与站点个数的比例为第一阶段阈值，并将该阈值发送至所有站点日志服务器；

站点日志服务器将大于所述第一阶段阈值且未反馈过的统计结果，作为第二次的统计结果反馈至中心日志服务器；

中心日志服务器对各站点第一次和第二次反馈的统计结果求和，并对求和结果降序排序，取第k个求和结果为第二阶段底值，并依据所述第二阶段底值筛选出候选统计结果的信息，并生成相应的候选统计结果查询请求发送至各站点日志服务器；

站点日志服务器依据所述候选统计结果的查询请求将相应的统计结果，作为第三次的统计结果反馈至中心日志服务器；

中心日志服务器对各站点日志服务器反馈的第一次、第二次和第三次的统计结果进行汇总，并求出前k名。

优选的，所述的方法还包括：

将一定时间内缓存中的统计结果写入数据库。

优选的，所述缓存统计结果的存储方式为键值key-value对的方式。

与现有技术相比，本发明具有以下优点：

首先，本发明通过部署中心日志服务器，以及，在各DNS解析站点部署站点日志服务器，使该中心日志服务器可以和分布式站点的日志服务器进行通信和整个DNS系统查询日志的全局统计。在统计过程中，所述中心日志服务器和各站点日志服务器基于分布式Top-k算法进行交互，在这种情况下，各站点日志服务器可以只传输部分统计结果到中心日志服务器，中心日志服务器就能通过这部分数据推算出准确的全局统计结果。由于传输数据量的大大削减，使得服务器无需在处理性能上和存储性能上承担不可负荷的开销，即可实现全局、大数据量的查询日志实时统计分析。

再者，本发明的站点日志服务器中具有专门的缓冲区和并发处理机制，从而支持大量的并发查询访问。与目前普遍使用的DNS服务器软件相比，可应对突发的大量查询访问，完整实时地获取所有DNS查询日志数据。

此外，本发明可对大量的查询日志进行快速的聚合，排序等操作，在一分钟的误差范围内得出当前时间窗口内的查询流量的全局统计结果。

附图说明

图1是本发明的一种分布式DNS查询日志的实时统计装置实施例1的结构图；

图2是应用本发明的优选装置实施例进行DNS查询日志统计的步骤流程图；

图3是本发明的一种分布式DNS查询日志的实时统计装置实施例2的结构图；

图4是本发明的一种分布式DNS查询日志的实时统计方法实施例的流程图；

图5是本发明的中心日志服务器和站点日志服务器的交互示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思之一在于，通过部署中心日志服务器，以及，在各DNS站点部署站点日志服务器，使该中心日志服务器可以对分布式站点的日志服务器进行控制和整个DNS系统查询日志的全局统计。在统计过程中，所述中心日志服务器和各站点日志服务器基于分布式Top-k算法进行交互，在这种情况下，各站点日志服务器可以只传输部分统计结果到中心日志服务器，中心日志服务器就能通过这些部分数据推算出准确的全局统计结果。由于数据量的大大削减，从而使得服务器无需在处理性能上和存储性能上承担不可负荷的开销，即可实现全局、大数据量的查询日志实时统计分析。

参考图1，示出了本发明的一种分布式DNS查询日志的实时统计装置实施例1的结构图，可以包括：

站点日志服务器11，具体包括以下模块：

数据接收处理模块111，用于接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

统计模块112，用于实时统计所述日志统计对象数据，并缓存相应的统计结果；

响应模块113，用于响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器12；

中心日志服务器12，用于对各站点日志服务器反馈的统计结果进行汇总处理。

在具体实现中，所述站点日志服务器和中心日志服务器可以完全独立于DNS解析服务器，直接获取DNS查询日志并进行统计分析。为提高域名解析服务的性能，还可以将现有DNS服务器的查询日志功能关闭，而直接用本发明的装置进行DNS查询日志的实时统计即可。

在本发明实施例中，所述站点日志服务器的响应模块与中心日志服务器的交互可以采用分布式Top-k算法进行。

分布式Top-k算法主要用来解决在分布式环境中Top-k求解问题(求出全局数值最大的前k名)。可以定义分布式系统中的Top-k求解过程如下：

假设在一个分布式系统中有m各个节点和一个中心节点，每个节点都与中心节点相连进行通信而且维护一个＜O，Si(O)＞对的列表，其中O代表对象，例如域名，Si(O)代表该对象对应的某个属性数值，例如被查询次数。每个列表都根据对象的数值进行降序排列。各个列表中的对象集合是可重叠，但是不完全相同。如果一个对象没有在某个节点的对象集中存在，那么这个对象在这个节点中的数值就被赋值成缺省值0。整个过程以中心节点发出Top-k查询请求开始，以求得全局数值和最大的k个对象为结束。分布式Top-k算法的目的就是尽量减少求解过程中的数据传输量，降低对网络带宽消耗，这在广域网环境中尤其重要。

因而在本发明的一种优选实施例中，所述中心日志服务器可以包括以下模块：

相应地，所述站点日志服务器的响应模块可以包括以下子模块：

参考图2，示出了应用本发明的优选装置实施例进行DNS查询日志统计的步骤流程图，具体可以包括以下步骤：

步骤201、站点日志服务器的数据接收处理模块接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

步骤202、站点日志服务器的统计模块实时统计所述日志统计对象数据，并缓存相应的统计结果；

步骤203、中心日志服务器的Top-k查询请求模块向各站点日志服务器发出实时日志查询请求，所述请求中包括反馈前k个统计结果的信息；

步骤204、站点日志服务器响应模块的第一统计结果反馈子模块依据所述实时日志查询请求对当前统计结果进行排序，并将相应的前k个统计结果作为第一次的统计结果反馈至中心日志服务器；

步骤205、中心日志服务器的Top-k第一计算模块对各站点反馈的前k个统计结果求和，并对求和结果降序排序，取第k个求和结果与站点个数的比例为第一阶段阈值，并将该阈值发送至所有站点日志服务器；

步骤206、站点日志服务器响应模块的第二统计结果反馈子模块将大于所述第一阶段阈值且未反馈过的统计结果，作为第二次的统计结果反馈至中心日志服务器；

步骤207、中心日志服务器的Top-k第二计算模块对各站点第一次和第二次反馈的统计结果求和，并对求和结果降序排序，取第k个求和结果为第二阶段底值，并依据所述第二阶段底值筛选出候选统计结果的信息，并生成相应的候选统计结果查询请求发送至各站点日志服务器；

步骤208、站点日志服务器响应模块的第三统计结果反馈子模块依据所述候选统计结果的查询请求将相应的统计结果，作为第三次的统计结果反馈至中心日志服务器；

步骤209、中心日志服务器的汇总统计模块对各站点日志服务器反馈的第一次、第二次和第三次的统计结果进行汇总，并求出前k名。

该前k名的统计结果即为中心日志服务器的当前统计结果。

为使本领域技术人员更好地理解本发明，以下以域名访问次数的Top-K计算为例说明中心日志服务器和站点日志服务器的交互过程。

第一阶段：

步骤S1、中心日志服务器实时(如每分钟)通知广域网上所有站点日志服务器，反馈站点日志服务器统计结果中访问次数最多的前k个域名、及其访问次数；各站点日志服务器依据该通知相应反馈；

步骤S2、中心日志服务器对所有收到的前k个域名的访问次数求和(注意这里相对于全局访问次数的统计而言，只是对当前的k个统计结果进行求和，而非全局求和的过程)，然后按照域名访问次数的和进行排序，设第k名的求和结果为τ1，称之为第一阶段底值。然后计算T＝τ1/m(m为站点的个数)，T称为第一阶段的阀值。

步骤S3、中心日志服务器对所有收到的域名的访问次数求和(注意，这里也只是对当前收到的统计结果进行求和，而非全局求和的过程)，然后按照访问次数的和进行排序，设第k名的求和结果为τ1，称之为第一阶段底值。将所述第一阶段的阀值T发送给所有站点日志服务器。各站点日志服务器将域名中访问次数比阀值T大，且在第一阶段中没有发送给中心日志服务器的域名及其访问次数发送到中心日志服务器；

第二阶段：

步骤S4、中心日志服务器对第一阶段和第二阶段一共接收到的域名的访问次数再求和，然后按照访问次数的和进行排序，设第k名的求和结果为τ2，称之为第二阶段底值。

第二阶段底值可以用来进一步削减需要传输的域名个数。具体计算过程为：

计算每个域名的访问次数‘上限和’，Usum(O)＝S1’(O)+...+S’m(O)；

其中，S’i(O)表示域名O的访问次数，i＝1...m，S’i(O)的取值如下：

(1)当站点i已把域名O的访问次数Si(O)发送到中心日志服务器，S’i(O)＝Si(O)；

(2)当站点i还没有把域名O的访问次数发送到中心日志服务器，S’i(O)＝T(T为第一阶段阀值)。

如果一个域名的‘上限和’小于τ2，则不需要传输该域名极其访问次数，即这些域名被削减，剩下的域名构成一个候选域名的集合S。

第三阶段：

步骤S5、中心日志服务器将候选集合S发送给网络中的所有站点日志服务器，站点日志服务器将集合S中在前两个阶段尚未发送给中心日志服务器的域名及其访问次数发送给中心日志服务器。中心日志服务器对集合S中的域名，根据三个阶段中收到的所有访问次数值，计算出精确访问次数和，并求出前K名，即域名访问次数的top-k。

在本例中，仅示出了日志统计对象数据为域名访问次数的一种示例，其他统计对象数据，如IP地址，域名查询类型等应用Top-K算法统计的处理是相似的。

对比现有的将各站点的全部日志或统计结果传输汇总到中心日志服务器的方法，本方法只需很少的几次通信，每次仅需有选择地传送部分数据，就可以对大量查询日志进行多种统计指标的实时计算，在一分钟的误差范围内即可得出当前时间窗口内的查询流量的统计结果。

参考图3，示出了本发明的一种分布式DNS查询日志的实时统计装置实施例2的结构图，可以包括：

站点日志服务器31，具体包括以下模块：

数据接收处理模块311，用于接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

统计模块312，用于实时统计所述日志统计对象数据，并缓存相应的统计结果；

响应模块313，用于响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器12；

数据库访问模块314，用于将一定时间内缓存中的统计结果写入数据库。

中心日志服务器32，用于对各站点日志服务器反馈的统计结果进行汇总处理。

本实施例与图1所示实施例不同之处在于，站点日志服务器定期将缓存的统计结果写入数据库的数据库访问模块，从而可以方便实际中更为多元化的数据分析操作，如历史运动状况分析等。

在本发明的一种优选实施例中，所述统计模块缓存统计结果的存储方式可以为键值key-value对的方式。如查询的域名-访问计数，当解析每一条DNS请求得到域名，就在内存中查找该域名并将其访问次数加1。该缓存的设置可以支持大量的并发查询访问，可应对突发的大量查询访问，完整实时地获取所有DNS查询日志数据。

参考图4，示出了本发明的一种分布式DNS查询日志的实时统计方法实施例的流程图，所述日志统计涉及中心日志服务器实时统计站点日志服务器中DNS查询日志的过程，本实施例可以包括以下步骤：

步骤401、站点日志服务器接收针对当前站点的DNS请求，并从所述DNS请求中提取日志统计对象数据；

步骤402、站点日志服务器实时统计所述日志统计对象数据，并缓存相应的统计结果；

步骤403、站点日志服务器响应中心日志服务器的实时日志查询请求，并反馈所述请求对应的统计结果至中心日志服务器；由所述中心日志服务器对各站点日志服务器反馈的统计结果进行汇总处理。

参考图5所示的中心日志服务器和站点日志服务器的交互示意图，所述步骤403可以包括以下子步骤：

子步骤4031、中心日志服务器向各站点日志服务器发出实时日志查询请求，所述请求中包括反馈前k个统计结果的信息；

子步骤4032、站点日志服务器依据所述实时日志查询请求对当前统计结果进行排序，并将相应的前k个统计结果作为第一次的统计结果反馈至中心日志服务器；

子步骤4033、中心日志服务器对各站点反馈的前k个统计结果求和，并对求和结果降序排序，取第k个求和结果与站点个数的比例为第一阶段阈值，并将该阈值发送至所有站点日志服务器；

子步骤4034、站点日志服务器将大于所述第一阶段阈值且未反馈过的统计结果，作为第二次的统计结果反馈至中心日志服务器；

子步骤4035、中心日志服务器对各站点第一次和第二次反馈的统计结果求和，并对求和结果降序排序，取第k个求和结果为第二阶段底值，并依据所述第二阶段底值筛选出候选统计结果的信息，并生成相应的候选统计结果查询请求发送至各站点日志服务器；

子步骤4036、站点日志服务器依据所述候选统计结果的查询请求将相应的统计结果，作为第三次的统计结果反馈至中心日志服务器；

子步骤4037、中心日志服务器对各站点日志服务器反馈的第一次、第二次和第三次的统计结果进行汇总，并求出前k名。

作为另一实施例，本发明还可以包括以下步骤：

将一定时间内缓存中的统计结果写入数据库。

为使本领域技术人员更好地理解本发明，以下通过本发明在实际中的一种示例具体说明。

步骤1、各地站点日志服务器接收DNS请求报文(具体格式在rfc1035中有详细定义)，并对报文进行解析，取得所查询的域名和来源地址等信息；

步骤2、各站点日志服务器在内存中存储一个key-value对的集合，如查询的域名-访问计数。当解析每一条查询得到域名，就在内存中查找该域名并将其访问次数加1。

在实际中，还可以在1分钟后对上1分钟的数对集合按照访问计数进行排序，得到访问计数从大到小排列的key-value对列表。

当然，其他的统计项如来源地址，查询类型等也用类似的方法进行统计。

步骤3、中心日志服务器周期性(如每隔一分钟)、向各站点日志服务器发起实时查询命令，各站点日志服务器进行响应。其二者采用Top-K算法进行交互，在交互过程，还需要执行中心日志服务器和各站点日志服务器之间的命令和数据的封包以及传输，以及报文的解析和处理。

步骤4、一段时间后，各站点日志服务器将内存中的统计数据写入数据库进行保存。

对于图4所示的方法实施例而言，由于其与图1所示的装置实施例基本相似，所以描述的比较简单，相关之处参见前述实施例的部分说明即可。

以上对本发明所提供的一种分布式DNS查询日志的实时统计装置及一种分布式DNS查询日志的实时统计方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种分布式DNS查询日志的实时统计装置，其特征在于，包括站点日志服务器和中心日志服务器，

所述站点日志服务器包括：

2.根据权利要求1所述的装置，其特征在于，所述中心日志服务器包括：

站点日志服务器的响应模块包括：

3.根据权利要求1或2所述的装置，其特征在于，所述站点日志服务器还包括：

4.根据权利要求1或2所述的装置，其特征在于，所述日志统计对象数据包括域名、域名查询类型和来源IP地址信息。

5.根据权利要求1或2所述的装置，其特征在于，所述统计模块缓存统计结果的存储方式为键值key-value对的方式。

6.一种分布式DNS查询日志的实时统计方法，其特征在于，所述日志统计涉及中心日志服务器实时统计站点日志服务器中DNS查询日志的过程，所述的方法包括：

7.根据权利要求6所述的方法，其特征在于，所述响应请求及汇总处理的步骤包括：

8.根据权利要求6或7所述的方法，其特征在于，还包括：

将一定时间内缓存中的统计结果写入数据库。

9.根据权利要求6或7所述的方法，其特征在于，所述日志统计对象数据包括域名、域名查询类型和来源IP地址信息。

10.根据权利要求6或7所述的装置，其特征在于，所述缓存统计结果的存储方式为键值key-value对的方式。