CN105791460A

CN105791460A - 基于多维度聚合的dns代理缓存优化方法和系统

Info

Publication number: CN105791460A
Application number: CN201610121291.9A
Authority: CN
Inventors: 孙永; 刘晓梅; 赵静芬; 刘庆云; 张鹏; 喻灵婧; 张成伟
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2016-03-03
Filing date: 2016-03-03
Publication date: 2016-07-20
Anticipated expiration: 2036-03-03
Also published as: CN105791460B

Abstract

本发明涉及一种基于多维度聚合的DNS代理缓存优化方法和系统，该方法包括以下步骤：1)对请求非法域名进行过滤；2)若域名合法且域名在DNS代理缓存中命中，则直接应答用户请求，结束域名查询行为；否则转步骤3)；3)DNS代理缓存将域名请求转发给缓存域名服务器，接收缓存域名服务器的应答结果并进行存储；4)将合法域名按级依次插入多级哈希表中，为各个缓存项更新查询频数和查询时间；同时将末级域名的多应答IP按{网段号：主机号列表}进行聚合存储；5)若哈希冲突，则采用线性法处理冲突；6)若哈希表满，则根据更新频数和更新时间为每个表项计算替换概率，根据最小替换概率对表项进行替换。

Description

基于多维度聚合的DNS代理缓存优化方法和系统

技术领域

本发明涉及网络服务领域，尤其是涉及一种提高用户网络服务质量的DNS代理缓存优化方法和系统。

背景技术

互联网的发展日益迅猛，根据相关调查显示，我国互联网用户规模达6.49亿，同时仍以每年数千万的数量在增长。除用户的不断增长外，域名和站点也日趋多样化，根据中国互联网络信息中心(CNNIC)最新公布的数据显示，CN域名的月新增注册数就高达169,839个。这些庞大的用户数量及多样的域名带来了DNS流量的增加，而DNS负责返回用户的域名解析请求，同用户对不同网络资源的访问有着直接的关系。但过于巨大的DNS查询请求会阻塞DNS服务，增加查询时延并降低系统稳定性，从而影响到用户的正常操作。例如在2014年底-2015年初，多个省份的运营商域名服务器因遭到大量变前缀域名访问而导致大规模用户出现网页访问变慢或无法打开等故障现象。据CNNIC近期统计，将近50％的二级和二级以下域名的查询时延达到0.4秒以上。服务能力和运维水平参差不齐，服务器的查询时延分布较广、差别很大。因此，保障用户高速稳定上网，提高网络服务质量有重要意义。

改进DNS应用，可有效改善网络服务质量，提高用户访问速度，保障用户访问网络的稳定性。缓存域名服务器作为DNS系统应用重要一部分，直接连接用户和权威域名服务器，负责缓存本地查询域名和IP地址的映射关系。缓存IP地址和域名映射关系在一定的生存周期内有效，并可有效加速用户的域名响应。而缓存域名服务器分布地部署在运营商的网络中，直接对缓存域名服务器进行优化普及较慢，不易于部署。而DNS代理缓存方法在兼容当前域名系统的前提下，易于部署在用户本地，能有效降低网络通信负载并提前过滤异常域名查询行为，从而达到改善网络服务质量、保障用户高速稳定访问网络的目标。但目前代理缓存方法性能低下，存在以下问题：

1)时空开销大：对所有查询域名进行顺序存储和顺序查找，当查询量大时，具有较大的查询延迟和转发延迟；

2)异常域名处理能力差：对非法域名未做过滤，直接转发到缓存域名服务器，增大了缓存域名服务器的处理负担。

发明内容

本发明的目的是为了克服上述现有DNS代理缓存方法存在的缺陷而提供一种内存开销小，响应快，稳定性高的高效DNS代理缓存方法和系统。

本发明的目的通过以下方案来实现：

一种提高用户网络服务质量的基于多维度聚合的DNS代理缓存优化方法，该方法包括如图1所示的以下步骤：

101)DNS代理缓存首先要过滤非法域名(与RFC定义不符)查询行为，直接响应域名不存在的应答($NXDOMAIN应答)；

102)若域名合法且域名在DNS代理缓存中命中，则直接应答用户请求，结束域名查询行为；否则转步骤103)；

103)若域名合法且不命中，DNS代理缓存将域名请求转发给缓存域名服务器，接收缓存域名服务器的应答结果并进行存储，再向用户返回结果；

104)DNS代理缓存将合法域名按级依次插入多级哈希表中，为各个缓存项更新查询频数和查询时间。域名的应答IP可能有多个，为节省DNS代理缓存空间，将多级哈希末级域中的应答IP进行聚合存储，存储形式为{网络号:主机号列表}。如将多应答IP按C网段进行聚合，聚合形式为{C网段号：{主机号1，主机号2，…主机号n}}；

105)若在域名插入多级哈希表的过程中，某级哈希表项n出现哈希冲突，则采用线性法处理冲突，直至找到空表项或表项n为止；

106)若在域名插入多级哈希表的过程中哈希表满，则根据更新频数和更新时间为每个表项计算替换概率，根据最小替换概率对表项进行替换。

所述的步骤101)根据DNS规定，域名中的标号都由英文字母和数字组成，每一个标号不超过63个字符，也不区分大小写字母。标号中除连字符(-)外不能使用其他的标点符号。因此，违反DNS规定的域名即为非法域名。

所述的步骤102)应答用户请求时，将存储的聚合IP拆分为多个独立的应答IP返回给用户。

所述的步骤103)从缓存域名服务器中接收应答，从应答报文中解析出域名、应答IP进行存储。

所述的步骤104)将域名分级，最多为四级；将域名的各级依次插入对应的各级哈希表项中，为各个表项更新频数和时间；同时，在末级表项中将多应答IP按照C网段号进行聚合存储。

所述的步骤105)将某一级哈希T[0..m-1]看成是一个循环向量，若初始探查的地址为d(即h(key)＝d)不为空，则继续探查序列为：d，d+l，d+2，…，m-1，0，1，…，d-1，直到找到空表项或地址为d止。

所述的步骤106)是一种基于概率的缓存替换算法，保证高热度域名以较低概率进行替换，且保证应答的准确性。热度域名与域名查询基数、域名查询频率有关，因此设替换概率为：

p_{n} = p_{n - 1} * e^{- a (t_{n} - t_{n - 1})},

其中，p代表缓存替换概率，用来判断缓存中域名是否需要被替换，p_n-1代表时刻t_n-1缓存的替换概率，p_n代表时刻t_n缓存的替换概率。p越大代表域名的热度越高，被置换的可能性越小。a代表冷却因子，是对域名热度的描述。a与查询基数x成反比，假设a的计算满足幂率分布a＝e^-x。高热度域名查询基数大，则相应a的值就小。t_n代表当前查询时间，t_n-1代表上一次查询时间，t_n-t_n-1可以有效反映查询频率。域名热度越高，查询频率越快，时间间隔越小，置换概率p越大，高热度域名被置换的可能性越小。

一种基于多维度聚合的DNS代理缓存优化系统，包括DNS代理缓存装置，所述DNS代理缓存装置部署在用户所在的局域网中；所述DNS代理缓存装置对用户请求的非法域名进行过滤，若域名合法且域名在所述DNS代理缓存装置中命中，则直接应答用户请求，结束域名查询行为；若域名合法且不能在所述DNS代理缓存装置中命中，则所述DNS代理缓存装置将域名请求转发给缓存域名服务器，接收并存储缓存域名服务器的应答结果，然后返回给用户；所述DNS代理缓存装置将合法域名按级依次插入多级哈希表中，为各个缓存项更新查询频数和查询时间，同时将末级域名的多应答IP按{网段号：主机号列表}进行聚合存储。

进一步地，若在域名插入多级哈希表的过程中出现表项哈希冲突，则所述DNS代理缓存装置采用线性法处理冲突，直至找到空表项或冲突项为止；若在域名插入多级哈希表的过程中哈希表满，则所述DNS代理缓存装置根据更新频数和更新时间为每个表项计算替换概率，根据最小替换概率对表项进行替换。

与现有技术相比，本发明具有以下优点：

1、对不合法域名进行提前过滤，减轻了缓存域名服务器的压力。

2、采用哈希检索的方式检索DNS代理缓存记录，检索记录速度快。

3、本发明将DNS代理缓存中的域名和IP进行聚合存储，节省存储空间。

4、采用基于概率的替换算法，保证高热度域名尽可能地存于缓存中，缓存具有较高的命中率。

附图说明

图1是基于多维度聚合的DNS代理缓存优化方法流程图。

图2是DNS代理缓存优化系统部署图。

图3是DNS代理缓存优化方法中多级哈希存储结构示意图。

图4是比较DNS代理缓存优化系统与DNSspeeder的部署图。

图5是DNS代理缓存优化方法与DNSspeeder的域名查询时延对比图。

图6是DNS代理缓存优化方法与DNSspeeder的内存使用量对比图。

具体实施方式

本发明的技术部署在用户机所在局域网中运行，下面结合附图和具体实施例对本发明进行详细说明。

DNS代理缓存优化方法部署如图2所示，DNS代理缓存部署在用户PC所在的局域网中，用户PC进行域名请求时，先向DNS代理缓存进行域名请求，若不命中，再将域名请求转发给缓存域名服务器。

所述步骤101，当用户发送域名“#####.abc.com.cn”请求时，DNS代理缓存直接响应域名不存在的应答，从而过滤非法域名。所述的步骤102，若用户请求域名合法且域名/IP映射关系存于缓存中，如映射关系为”abc.abc.com,10.0.2.{3,4}”，则域名命中后，返回给用户域名应答结果为10.0.2.3，10.0.2.4。所述的步骤103，若域名合法且不命中，DNS代理缓存代替用户将域名请求转发给配置的本地缓存域名服务器，接收缓存域名服务器的应答结果并进行存储，同时向用户返回结果。所述的步骤104，域名记录插入四级哈希表过程如图3所示，将合法域名分级，以域名“vip.vedio.baidu.com”为例：一级域插入”com”，更新频数和时间；”com”域下插入二级域”baidu”，更新频数和时间；”baidu”下插入三级域”vedio”，更新频数和时间；”vedio”下插入四级域”vip”，更新频数和时间。此时域名最后一级结束，将IP进行聚合后更新四级域存储的应答IP。所述的步骤105，设某一级哈希表为T[0..m-1]，若该级域名为”baidu”，初始探查的地址为d(即h(“baidu”)＝d)不为空且不是”baidu”，则继续探查序列为：d，d+l，d+2，…，m-1，0，1，…，d-1，直到找到空表项或”baidu”项时更新表项中对应域名、时间和应答IP。所述的步骤106，设γ＝1，则域名查询基数x与冷却因子a的对应关系为a＝e^-x。因此，当某级哈希表项(0…n-1)满时，对该级n个表项进行概率计算清空概率值最小的表项并插入新的对应域名。

DNSspeeder作为常用的DNS代理缓存方法能大大加速域名解析过程，给上网者非常明显的网络加速体验。DNSspeeder和本发明的DNS代理缓存优化系统的部署如图4所示，两者都部署在用户PC所在的局域网中，连接在同一个交换机上，对DNSspeeder与本发明的DNS代理缓存优化方法的域名查询时延和占用内存量进行比较。用户同时向DNSspeeder和本发明的DNS代理缓存优化系统发起10w域名请求(设1000ms为查询超时时延)，分别记录两者的平均域名查询时延和内存消耗量。对比结果如图5所示，与DNSspeeder相比，本发明的DNS代理缓存优化方法的平均查询时延优化了38.6％，同时，其内存使用量较稳定，内存使用量优化了34.1％。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种基于多维度聚合的DNS代理缓存优化方法，其特征在于，包括以下步骤：

101)通过DNS代理缓存接收用户的域名请求，并过滤非法域名；

102)若域名合法且域名在DNS代理缓存中命中，则DNS代理缓存直接应答用户请求，并结束域名查询行为；

103)若域名合法且不能在DNS代理缓存中命中，则DNS代理缓存将域名请求转发给缓存域名服务器，接收缓存域名服务器的应答结果并存储，然后向用户返回应答结果；

104)DNS代理缓存将合法域名按级依次插入多级哈希表中，为各个缓存项更新查询频数和查询时间，并将末级域名的多应答IP按{网段号：主机号列表}进行聚合存储。

2.如权利要求1所述的方法，其特征在于，还包括步骤105)：若在域名插入多级哈希表的过程中出现表项哈希冲突，则采用线性法处理冲突，直至找到空表项或冲突项为止。

3.如权利要求2所述的方法，其特征在于，还包括步骤106)：若在域名插入多级哈希表的过程中哈希表满，则根据更新频数和更新时间为每个表项计算替换概率，根据最小替换概率对表项进行替换。

4.如权利要求1至3中任一权利要求所述的方法，其特征在于，步骤102)在应答用户请求时，将存储的聚合IP拆分为多个独立的应答IP返回给用户。

5.如权利要求1至3中任一权利要求所述的方法，其特征在于，步骤103)从缓存域名服务器中接收应答，从应答报文中解析出域名、应答IP进行存储。

6.如权利要求1至3中任一权利要求所述的方法，其特征在于，步骤104)将域名最多分为四级，将域名的各级依次插入对应的各级哈希表项中，为各个表项更新频数和时间，在末级表项中将多应答IP按照网段号进行聚合存储。

7.如权利要求2所述的方法，其特征在于，步骤105)将某一级哈希T[0..m-1]看成是一个循环向量，若初始探查的地址为d不为空，则继续探查序列为：d，d+l，d+2，…，m-1，0，1，…，d-1，直到找到空表项或地址为d为止。

8.如权利要求3所述的方法，其特征在于，步骤106)采用基于概率的缓存替换算法保证高热度域名以较低概率进行替换，且保证应答的准确性；替换概率的计算公式为：

p_{n} = p_{n - 1} * e^{- a (t_{n} - t_{n - 1})},

其中，p代表缓存替换概率，用来判断缓存中域名是否需要被替换，p_n-1代表时刻t_n-1缓存的替换概率，p_n代表时刻t_n缓存的替换概率；p越大代表域名的热度越高，被置换的可能性越小；a代表冷却因子，是对域名热度的描述，高热度域名查询基数越大，则a越小；t_n代表当前查询时间，t_n-1代表上一次查询时间，t_n-t_n-1能够有效反映查询频率；域名热度越高，查询频率越快，时间间隔越小，置换概率p越大，高热度域名被置换的可能性越小。

9.一种基于多维度聚合的DNS代理缓存优化系统，其特征在于，包括DNS代理缓存装置，所述DNS代理缓存装置部署在用户所在的局域网中；所述DNS代理缓存装置对用户请求的非法域名进行过滤，若域名合法且域名在所述DNS代理缓存装置中命中，则直接应答用户请求，结束域名查询行为；若域名合法且不能在所述DNS代理缓存装置中命中，则所述DNS代理缓存装置将域名请求转发给缓存域名服务器，接收并存储缓存域名服务器的应答结果，然后返回给用户；所述DNS代理缓存装置将合法域名按级依次插入多级哈希表中，为各个缓存项更新查询频数和查询时间，并将末级域名的多应答IP按{网段号：主机号列表}进行聚合存储。

10.如权利要求9所述的系统，若在域名插入多级哈希表的过程中出现表项哈希冲突，则所述DNS代理缓存装置采用线性法处理冲突，直至找到空表项或冲突项为止；若在域名插入多级哈希表的过程中哈希表满，则所述DNS代理缓存装置根据更新频数和更新时间为每个表项计算替换概率，根据最小替换概率对表项进行替换。