CN105681483A - 基于dns服务器测量特定ip范围解析占比的方法及系统 - Google Patents

Abstract

本发明公开了一种基于DNS服务器测量预定IP地址范围内的IP解析占比的方法及系统，该方法包括：步骤1、解析用户发起的DNS解析请求，并把解析成功的域名以及对应的IP地址集合插入到单链表；步骤2、从单链表中提取域名和IP地址集，并根据ICP列表和特定IP地址范围生成记录插入到哈希表中；步骤3、从哈希表中读取每个ICP相关的记录，并计算出每个ICP在预定IP地址范围的解析占比，并写入日志文件。本发明提出的上述方案可以供网络运营商和ICP根据解析占比测量值适当调整接入网络运营商的带宽值，以优化ICP用户体验。

Description

基于DNS服务器测量特定IP范围解析占比的方法及系统

技术领域

本发明涉及互联网技术领域，更具体地，涉及一种基于DNS服务器测量特定IP范围解析占比的方法，用于为ICP和运营商分析ICP内子域名解析情况的数据支撑，便于下一步制定相关方案以优化ICP用户体验。

背景技术

DNS(DomainNameSystem，域名系统)，因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。可见，DNS在web服务中占有极其重要的地位。其中本地dns服务器，采用递归的工作方式为客户端解析域名，常见的本地dns服务器主要有bind和dnspod-sr。其中dnspod-sr是一个运行在Linux平台上的高性能的递归DNS服务器软件，具备高性能、高负载、易扩展的优势，非BIND等软件可以比拟。

因特网的域名解析系统被设计为一个联机分布式数据库系统，并采用客户服务器方式。DNS解析主要采用UDP协议通信，端口号为53。当通过UDP协议多次请求查询失败时才会使用TCP协议通信。DNS大多数域名都通过本地进行DNS解析。本地域名服务器对域名解析系统非常重要，当一个主机发出DNS查询请求时，这个查询请求报文就会发给本地DNS服务器。本地DNS服务器一般都会采用递归查询。所谓递归查询就是：如果主机所访问的域名本地DNS服务器不知道域名对应的IP地址，那么本地域名服务器就会以DNS客户的身份，向其他根域名DNS服务器发出查询请求报文(即替主机查询)，而不是让主机自己进行下一步的查询。因此，递归查询返回的结果或者所要查询的IP地址，或者是报错，表示无法找到需要的IP地址。

DNS解析技术本身比较成熟，开源软件也相对丰富。常见的本地dns服务器主要有bind和dnspod-sr。其中dnspod-sr是一个运行在Linux平台上的高性能的递归DNS服务器软件，具备高性能、高负载、易扩展的优势，非BIND等软件可以比拟。dnspod-sr具有以下特性：高性能，比所有流行的开源DNS软件性能高出2倍以上；安全，能抵御一般攻击；稳定，有效降低解析失败率；主动刷新缓存，响应速度更快；易于扩展，非常容易部署；防污染，能够正确解析被污染域名。

情况描述：

(1)无论是bind还是dnspod-sr，这些传统的DNS服务器只负责域名解析，作为运营商或者ICP往往想知道该ICP在使用本地DNS解析时特定运营商的ip解析占比情况。

(2)如经过测量发现，某ICP的教育网ip解析占比相对较小，这样可能该ICP在教育网内提供的IP个数较少，为教育网内用户提供的带宽自然就相对较小，从而教育网内用户体验不佳。另外，教育网内用户访问ICP时还有可能会跨网，这样网络延时可能相对增加，从而降低用户访问速度。

发明内容

为解决上述现有技术中存在的问题，本发明提出一种基于DNS服务器测量特定IP范围解析占比的系统及方法。通过测量特定ip范围的解析占比情况，供网络运营商或ICP(内容服务提供商)决策提高解析占比，优化网内用户体验。

根据本发明一方面，其提供了一种基于DNS服务器测量预定IP地址范围内的IP解析占比的方法，该方法包括：

步骤1、解析用户发起的DNS解析请求，并把解析成功的域名以及对应的IP地址集合插入到单链表；

步骤2、从单链表中提取域名和IP地址集，并根据ICP列表和特定IP地址范围生成记录插入到哈希表中；

步骤3、从哈希表中读取每个ICP相关的记录，并计算出每个ICP在预定IP地址范围的解析占比，并写入日志文件。

根据本发明另一方面，其提供了一种基于DNS服务器测量预定IP范围内的IP解析占比的系统，该系统包括：

DNS解析子系统，用于解析用户发起的DNS解析请求，并把解析成功的域名以及对应的IP地址集合插入到单链表；

ICP判别子系统，用于从单链表中提取域名和IP地址集，并根据ICP列表和特定IP地址范围生成记录插入到哈希表中；

解析占比统计子系统，用于从哈希表中读取每个ICP相关的记录，并计算出每个ICP在预定IP地址范围的解析占比，并写入日志文件

本发明提出的上述方案通过将DNS解析、ICP判别、解析占比统计各模块结合，实现实时、高效和准确地统计出ICP的IP解析占比情况，用于向网络运营商或者ICP提供域名解析情况。

附图说明

图1为本发明中基于DNS服务器测量特定IP范围解析占比的系统架构图；

图2为本发明中DNS解析子系统的系统架构图；

图3为本发明中ICP判别过程流程图；

图4为本发明中解析占比统计过程流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。根据本发明的实施例程，能够清晰展示该发明下的解析占比统计功能。

为了提高效率本发明借鉴了开源软件dnspod-sr。后续的子系统均是在dnspod-sr的基础之上设计研发。

如图1所示，本发明公开的一种基于DNS服务器测量特定IP范围解析占比的系统，其包括：

DNS解析子系统，其用于解析用户发起的DNS解析请求，并把解析成功的域名以及对应的ip地址集合插入到单链表；

ICP判别子系统，从单链表中提取解析成功的域名和ip地址集合，并根据ICP列表和特定ip地址范围生成记录插入到哈希表中；

解析占比统计子系统，从哈希表中读取每个ICP相关的记录计算出每个ICP特定范围ip的解析占比，并写入日志文件。

从具体实现上看，图2示出了本发明中DNS解析子系统的实现模块架构示意图。如图1所示，DNS解析子系统包括：逻辑处理模块、功能模块和支撑模块；下面就各个模块的实现及功能详细做一介绍。

1、逻辑处理模块

逻辑处理模块是dnspod-sr的主要工作线程，功能是完成整个DNS的递归解析过程。其包括以下子模块：

1)sentinel子模块，其使用EPOLL模型处理UDP和TCP的DNS查询请求，接收数据并将数据地址存放到msgcache中。

2)fetcher子模块，其从msgcache中获取DNS查询请求数据，解包后先查询内存缓存(CNAME和请求类型)，如果查询成功则返回解析结果，如果查询失败则将查询请求加入到quizzer列表中。

3)quizzer子模块，其循环遍历quizzer列表中的查询请求，对每一个请求进行递归查询，逐级向各级授权DNS服务器发送查询请求，并解析各级授权服务器返回的解析结果，直到解析出结果后返回给客户端并将中间各级解析结果插入本地缓存。

特别的，如果尝试解析次数在将要达到最大尝试次数时还未解析出结果，将会向GOOGLE的公共DNS服务器转发该解析请求；如果解析超时或超过最大尝试解析次数后则停止解析该请求。

4)control子模块，其主要是配合客户端工具(tool目录)手动刷新指定的域名的缓存，可以用于某些TTL较长的记录修改后或者被污染记录修复后的强制刷新。

2、功能模块

所述功能模块主要用于处理网络包和dns数据包的相关操作，其包括以下几个子模块：

1)event子模块，主要功能是处理EPOLL和UDP/TCP查询数据接收的相关操作。

2)dns子模块，其主要完成DNS数据包的解包、组包等功能操作。

3、支撑模块

所述支撑模块为各功能提供支撑的基础模块，其包括以下几个子模块：

1)net子模块，其为网络的各种操作接口，完成socket的相关操作和数据收发。

2)storage子模块，其为内存存储模块，为解析记录缓存和quizzer列表提供增、删、改、查功能支持。

3)memory子模块，其为内存池的相关操作接口，用于内存池的创建、分配和释放。

4)io子模块，其为物理读写模块，包括加载配置文件和记录日志等功能。

5)datas子模块，其为

红黑树的相关实现接口，用于自动刷新即将过期的记录。

6)utils子模块，其为一些杂项操作接口，如获取随机数据、大小写转换等操作。

本发明还公开了一种基于DNS服务器测量特定IP范围解析占比的方法，该方法包括：

步骤1、DNS解析子系统解析用户发起的DNS解析请求，并把解析成功的域名以及对应的ip地址集合插入到单链表；

步骤2、ICP判别子系统从单链表中提取域名和ip地址集，并根据ICP列表和特定ip地址范围生成记录插入到hash表中；

步骤3、解析占比统计子系统从hash表中读取每个ICP相关的记录计算出每个ICP特定范围ip的解析占比，并写入日志文件。

下面就上面三个步骤详细介绍其实现过程。

本发明中步骤1的详细实现过程，具体包括：步骤11、sentinel子模块接收用户发起的DNS解析请求，并将接收的DNS解析请求数据插入到msgcache中；

步骤12、fetcher子模块从msgcache中获取DNS解析请求对其解包并验证查询是否有效，之后查找本地缓存，如果缓存查找失败则将所述DNS解析请求加入quizzer列表；

步骤13、quizzer子模块遍历quizzer列表获取DNS解析请求之后查找转发缓存，若查找失败，则各级授权DNS服务器转发所述DNS解析请求。

步骤14、quizzer子模块将根据从各级授权服务器返回的成功解析的结果生成域名和IP地址集然后插入到单链表中。

图3示出了本发明步骤2中ICP判别过程流程图。如图3所示，该流程具体包括：

步骤S20，ICP判别子系统从所述单链表中提取域名和IP地址集构成的节点，在提取所述域名和IP地址集构成的节点时需要加锁，同样地DNS解析子系统quizzer链表在插入节点时也需要加锁。

步骤S21，从ICP配置文件中读取ICP列表，插入到ICP链表中。其中，ICP链表节点中的数据为ICP名。

步骤S22，ICP判别子系统提取出节点后从节点中获取域名，将域名同ICP链表进行对比，如：www.163.com就是属于163.com这个ICP。如果对比成功就进行步骤S24，否则进行步骤S23。

步骤S23，ICP匹配失败，回退到步骤S20，取出新节点，重新处理。

步骤S24，根据步骤S20获取的节点中获取IP地址集，之所以是地址集是因为DNS服务器在解析时往往会返回多个ip地址。针对地址集中的每个IP地址与特定的ip地址范围进行对比，如果对比成功就计数加1。

特别地，一个ICP下面一般会有多个子域名，这些子域名的IP地址可能会重复，因此，在形成hash节点插入hash表时需要去掉重复的IP地址，重复的ip地址包括ICP申请的属于各种范围(不同运营商)的ip地址集合，还包括属于特定范围的ip地址集合，比如属于教育网的。

步骤S25，根据步骤S24计算出的特定范围的ip地址数和总的IP地址个数然后插入hash表，另外，插入hash表也需要加锁。

从步骤S20到步骤S25由单独的线程来完成ICP的判别，当单链表为空时ICP判别线程会被阻塞掉，只要单线程中有待处理的节点，线程就会实时处理。

图4示出了本发明步骤3中解析占比统计子系统过程流程图。如图4所示，该过程具体包括：

步骤S30，用户在配置文件中输入待检索的ICP名，配置文件也支持输入多个ICP名。

步骤S31，读取配置文件中的ICP名到数组中，将ICP名作为关键字检索hash表，hash表检索需要加锁。如果检索成功则进行步骤S32，否则进行步骤S33。

步骤S32，将从hash表中检索出的节点中提取出ICP名、总的解析ip地址数和特定范围的IP地址数。

步骤S33，hash表检索失败，表明待检索的ICP不在hash表中，提示用户核实ICP名，并会退到步骤S30。

步骤S34，计算出特定范围的IP解析占比值，并生成字符串。字符串中包含的字段有：ICP名、总的IP数据、特定范围IP地址数、解析占比值。

步骤S35，将步骤S34中生成的字符串写入日志文件。

本发明提出的上述方案通过将DNS解析、ICP判别、解析占比统计各模块结合，实现实时、高效和准确地统计出ICP的IP解析占比情况，用于向网络运营商或者ICP提供域名解析情况。上述方案可以供网络运营商和ICP根据解析占比测量值适当调整接入网络运营商的带宽值，以优化ICP用户体验。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于DNS服务器测量预定IP地址范围内的IP解析占比的方法，该方法包括：

步骤1、解析用户发起的DNS解析请求，并把解析成功的域名以及对应的IP地址集合插入到单链表；

步骤2、从单链表中提取域名和IP地址集，并根据ICP列表和特定IP地址范围生成记录插入到哈希表中；

步骤3、从哈希表中读取每个ICP相关的记录，并计算出每个ICP在预定IP地址范围的解析占比，并写入日志文件。

2.如权利要求1所述的方法，其中，步骤1包括：

步骤11、接收用户发起的DNS解析请求，并将接收的DNS解析请求数据插入到消息缓存中；

步骤12、从所述消息缓存中获取DNS解析请求并对其解包后验证查询其是否有效，之后查找本地缓存，如果本地缓存查找失败则将所述DNS解析请求加入递归列表；

步骤13、遍历所述递归列表获取DNS解析请求之后查找转发缓存，若查找失败，则向各级授权DNS服务器转发所述DNS解析请求；

步骤14、根据从各级授权服务器返回的成功解析结果生成域名和IP地址集然后插入到单链表中。

3.如权利要求1所述的方法，其中，步骤2具体包括：

步骤S20、从所述单链表中提取域名和IP地址集构成的节点；

步骤S21、从ICP配置文件中读取ICP列表，插入到ICP链表中，其中，ICP链表节点中的数据为ICP名；

步骤S22、提取出所述域名和IP地址集构成的节点后从中获取域名，将域名同ICP链表进行匹配，如果匹配成功则执行步骤S24，否则转步骤S23；

步骤S23、ICP匹配失败，回退到步骤S20，取出新节点，重新处理；

步骤S24、从所述域名和IP地址集构成的节点中获取IP地址集，针对IP地址集中的每个IP地址与所述预定IP地址范围进行对比，如果对比成功则预定IP地址范围的IP计数加1；

步骤S25、将计算出的预定IP地址范围的IP计数和所述IP地址集中总的IP地址个数与对应的ICP名作为一个ICP节点然后插入哈希表。

4.如权利要求1所述的方法，其中，步骤3具体包括：

步骤S30、用户在配置文件中输入待检索的ICP名；

步骤S31、读取配置文件中的ICP名到数组中，将ICP名作为关键字检索所述哈希表得到对应的ICP节点，所述ICP节点包括ICP名以及其对应的预定IP地址范围内的IP个数和总的IP地址个数；如果检索成功则进行步骤S32，否则进行步骤S33；

步骤S32、从哈希表中检索出的ICP节点中提取出ICP名及其对应的预定IP地址范围内的IP个数和总的IP地址个数，并转步骤34；

步骤S33、若哈希表检索失败，表明待检索的ICP名不在哈希表中，提示用户核实ICP名，并会退到步骤S30；

步骤S34、计算出所述ICP名对应的预定IP地址范围内的IP解析占比值，并生成对应的字符串，所述字符串包括：ICP名、所述ICP名对应的总的IP地址个数、预定IP地址范围内的IP个数和所述预定IP地址范围内的IP解析占比值。

5.一种基于DNS服务器测量预定IP范围内的IP解析占比的系统，该系统包括：

DNS解析子系统，用于解析用户发起的DNS解析请求，并把解析成功的域名以及对应的IP地址集合插入到单链表；

ICP判别子系统，用于从单链表中提取域名和IP地址集，并根据ICP列表和特定IP地址范围生成记录插入到哈希表中；

解析占比统计子系统，用于从哈希表中读取每个ICP相关的记录，并计算出每个ICP在预定IP地址范围的解析占比，并写入日志文件。

6.如权利要求1所述的基于DNS服务器测量预定IP范围内的IP解析占比的系统，其中，DNS解析子系统实现下述功能：

接收用户发起的DNS解析请求，并将接收的DNS解析请求数据插入到消息缓存中；

从所述消息缓存中获取DNS解析请求并对其解包后验证查询其是否有效，之后查找本地缓存，如果本地缓存查找失败则将所述DNS解析请求加入递归列表；

遍历所述递归列表获取DNS解析请求之后查找转发缓存，若查找失败，则向各级授权DNS服务器转发所述DNS解析请求；

根据从各级授权服务器返回的成功解析结果生成域名和IP地址集然后插入到单链表中。

7.如权利要求1所述的基于DNS服务器测量预定IP范围内的IP解析占比的系统，其中，ICP判别子系统实现下述功能：

从所述单链表中提取域名和IP地址集构成的节点；

从ICP配置文件中读取ICP列表，插入到ICP链表中，其中，ICP链表节点中的数据为ICP名；

提取出所述域名和IP地址集构成的节点后从中获取域名，将域名同ICP链表进行匹配，如果匹配失败，则取出新节点，从第一个步重新处理；

如果匹配成功，则从所述域名和IP地址集构成的节点中获取IP地址集，针对IP地址集中的每个IP地址与所述预定IP地址范围进行对比，如果对比成功则预定IP地址范围的IP计数加1；

将计算出的预定IP地址范围的IP计数和所述IP地址集中总的IP地址个数与对应的ICP名作为一个ICP节点然后插入哈希表。

8.如权利要求1所述的基于DNS服务器测量预定IP范围内的IP解析占比的系统，其中，解析占比统计子系统具体实现如下功能：

用户在配置文件中输入待检索的ICP名；

读取配置文件中的ICP名到数组中，将ICP名作为关键字检索所述哈希表得到对应的ICP节点，所述ICP节点包括ICP名以及其对应的预定IP地址范围内的IP个数和总的IP地址个数；

如果哈希表检索成功则从哈希表中检索出的ICP节点中提取出ICP名及其对应的预定IP地址范围内的IP个数和总的IP地址个数；

如果哈希表检索失败，表明待检索的ICP名不在哈希表中，提示用户核实ICP名；

计算出所述ICP名对应的预定IP地址范围内的IP解析占比值，并生成对应的字符串，所述字符串包括：ICP名、所述ICP名对应的总的IP地址个数、预定IP地址范围内的IP个数和所述预定IP地址范围内的IP解析占比值。