CN110913007B

CN110913007B - 一种域名解析方法、装置及设备

Info

Publication number: CN110913007B
Application number: CN201911204570.1A
Authority: CN
Inventors: 胡冰; 范渊
Original assignee: DBAPPSecurity Co Ltd
Current assignee: DBAPPSecurity Co Ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2022-03-29
Anticipated expiration: 2039-11-29
Also published as: CN110913007A

Abstract

本申请公开了一种域名解析方法、装置、设备及可读存储介质，包括：在获取待解析的域名集合之后，利用DNS服务器集合中的多个DNS服务器同时执行域名解析操作，且通过为DNS服务器设置权重值，当解析成功时为权重值加上第一预设阈值，解析失败时减去第一预设阈值，直至权重值低于第二预设阈值时，将相应的DNS服务器踢除DNS服务器集合，从而保证DNS服务器集合中各个DNS服务器的域名解析能力，提升了域名解析的效率，避免了高并发场景下域名解析超时的问题。

Description

一种域名解析方法、装置及设备

技术领域

本申请涉及计算机技术领域，特别涉及一种域名解析方法、装置、设及可读存储介质。

背景技术

域名解析是把域名指向网站空间IP，让人们通过注册的域名可以方便地访问到网站的一种服务。目前存在的问题是当同时对大量网站进行访问时，会导致高并发下域名调用本地解析超时的问题，无法得到域名对应的IP地址。现有的解决方案大致有以下两种：

方案一、降低访问频率或者降低并发数，这种方式无法满足访问需求；

方案二、直接将要爬取的域名对应IP写进hosts文件里，这种方案支持的范围不广。

可见，如何解决高并发情况下域名解析超时的现象，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种域名解析方法、装置、设及可读存储介质，用以解决高并发情况下域名解析超时的问题。其具体方案如下：

第一方面，本申请提供了一种域名解析方法，包括：

获取待解析的域名集合和DNS服务器集合，其中，所述DNS服务器集合包括多个DNS服务器的标识信息和权重值；

启动多个线程，分别为各个所述线程分配所述DNS服务器集合的标识信息以及所述域名集合的域名；

并行调用各个所述线程根据分配得到的标识信息确定目标DNS服务器，并利用所述目标DNS服务器对分配得到的域名进行解析；

若解析成功，则将所述目标DNS服务器的权重值加上第一预设阈值；

若解析失败，则将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息。

优选的，所述将所述目标DNS服务器的权重值加上第一预设阈值，包括：

在redis缓存中记录该域名与解析得到的IP地址之间的映射关系，并将所述目标DNS服务器的权重值加上第一预设阈值。

优选的，在所述在redis缓存中记录该域名与解析得到的IP地址之间的映射关系之后，还包括：

利用爬虫根据所述redis缓存中的所述映射关系，对目标网站进行访问。

优选的，所述将所述目标DNS服务器的权重值减去所述第一预设阈值，包括：

将该域名记录到解析失败集合，并将所述目标DNS服务器的权重值减去所述第一预设阈值；对所述解析失败集合中的域名进行再次解析，直至解析失败次数超过第三预设阈值。

优选的，所述从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息，包括：

从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息，增加新的DNS服务器的标识信息，并将新的DNS服务器的权重值设置为初始值。

优选的，所述第一预设阈值为1，所述第二预设阈值为0，所述将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息，包括：

将所述目标DNS服务器的权重值减去1，直至权重值低于0时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息。

优选的，所述DNS服务器集合包括多个DNS服务器的地址信息和权重值。

第二方面，本申请提供了一种域名解析装置，包括：

获取模块：用于获取待解析的域名集合和DNS服务器集合，其中，所述DNS服务器集合包括多个DNS服务器的标识信息和权重值；

分配模块：用于启动多个线程，分别为各个所述线程分配所述DNS服务器集合的标识信息以及所述域名集合的域名；

解析模块：用于并行调用各个所述线程根据分配得到的标识信息确定目标DNS服务器，并利用所述目标DNS服务器对分配得到的域名进行解析；

第一更新模块：用于在解析成功时，将所述目标DNS服务器的权重值加上第一预设阈值；

第二更新模块：用于在解析失败时，将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息。

第三方面，本申请提供了一种域名解析设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种域名解析方法的步骤。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种域名解析方法的步骤。

本申请所提供的一种域名解析方法，包括：获取待解析的域名集合和DNS服务器集合，其中，DNS服务器集合包括多个DNS服务器的标识信息和权重值；启动多个线程，分别为各个线程分配DNS服务器集合的标识信息以及域名集合的域名；并行各个所述线程根据分配得到的标识信息确定目标DNS服务器，并利用目标DNS服务器对分配得到的域名进行解析；若解析成功，则将目标DNS服务器的权重值加上第一预设阈值；若解析失败，则将目标DNS服务器的权重值减去第一预设阈值，直至权重值低于第二预设阈值时，从DNS服务器集合中剔除目标DNS服务器的标识信息。

可见，该方法利用DNS服务器集合中的多个DNS服务器同时执行域名解析操作，且通过为DNS服务器设置用于衡量域名解析成功率的权重值，从而保证DNS服务器集合中各个DNS服务器的域名解析能力，提升了域名解析的效率，避免了高并发场景下域名解析超时的问题。

此外，本申请还提供了一种域名解析装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种域名解析方法实施例一的实现流程图；

图2为本申请所提供的一种域名解析方法实施例二的实现流程图；

图3为本申请所提供的一种域名解析装置实施例的功能框图；

图4为本申请所提供的一种域名解析设备实施例的结构示意图。

具体实施方式

本申请的核心是提供一种域名解析方法、装置、设备及可读存储介质，通过设置权重值保证DNS服务器集合中各个DNS服务器的域名解析能力，在域名解析过程中利用DNS服务器集合中的多个DNS服务器同时执行域名解析操作，显著提升了域名解析效率。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面对本申请提供的一种域名解析方法实施例一进行介绍，参见图1，实施例一包括：

S101、获取待解析的域名集合和DNS服务器集合，其中，所述DNS服务器集合包括多个DNS服务器的标识信息和权重值；

S102、启动多个线程，分别为各个所述线程分配所述DNS服务器集合的标识信息以及所述域名集合的域名；

S103、并行调用各个所述线程根据分配得到的标识信息确定目标DNS服务器，并利用所述目标DNS服务器对分配得到的域名进行解析；若解析成功，则跳转至S104，否则跳转至S105；

S104、将所述目标DNS服务器的权重值加上第一预设阈值；

S105、将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息。

高并发通常是指系统同时并行处理很多请求。高并发情况下访问大量不同网站，往往会发生域名解析超时的问题，本实施例的目的在于解决域名解析超时的问题，提升域名解析效率。

如上所述，本实施例预先设置了DNS服务器集合，该集合在实际应用中的形式具体可以为DNS服务器列表。DNS服务器集合中包括多个DNS服务器的标识信息及其权重值，其中标识信息是指可以唯一确定相应DNS服务器的信息，例如地址信息，权重值为本实施例中设置的用于衡量该DNS服务器的域名解析成功率的参数。

当添加DNS服务器至DNS服务器集合的时候，本实施例将其权重值设置为默认的初始值。在域名解析过程中，若DNS服务器列表中DNS服务器执行域名解析操作失败，则将该DNS服务器的权重值减去第一预设阈值，若执行域名解析操作成功，则将该DNS服务器的权重值加上第一预设阈值。同时，在域名解析过程中，对DNS服务器集合进行检测，当检测到某个DNS服务器的权重值低于第二预设阈值时，则将该DNS服务器从DNS服务器集合中踢除。作为一种具体的实施方式，为保证DNS服务器集合中DNS服务器的数量稳定，可以在踢除DNS服务器的同时，添加新的DNS服务器至DNS服务器集合。

上述执行域名解析操作失败，具体的表现形式可以为：域名解析时间超过时间阈值。上述第一预设阈值和第二预设阈值的具体取值，可以根据实际情况而设定，本实施例对此不做限定。

在域名解析过程中，本实施例启动多个线程，并为每个线程分配域名集合中的域名和DNS服务器集合中的DNS服务器。作为一种具体的实施方式，可以根据线程数量和域名集合中待解析域名的数量，将域名集合中的域名均匀分配给各个线程。分配DNS服务器的过程中，具体可以为每个线程分配一个DNS服务器，也就是说，保证线程与DNS服务器一一对应。实际过程中，根据DNS服务器分配结果将DNS服务器的标识信息发送至相应的线程，后续过程中，线程可以根据该标识信息确定相应的DNS服务器，即上述目标DNS服务器。

本实施例所提供一种域名解析方法，在获取待解析的域名集合之后，利用DNS服务器集合中的多个DNS服务器同时执行域名解析操作，且通过为DNS服务器设置权重值，当解析成功时为权重值加上第一预设阈值，解析失败时减去第一预设阈值，直至权重值低于第二预设阈值时，将相应的DNS服务器踢除DNS服务器集合，从而保证DNS服务器集合中各个DNS服务器的域名解析能力，提升了域名解析的效率，避免了高并发场景下域名解析超时的问题。

下面开始详细介绍本申请提供的一种域名解析方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

实施例二中将前述第一预设阈值设置为1，第二预设阈值设置为0。此外，实施例二中前述DNS服务器集合的形式为DNS服务器列表，该DNS服务器列表包括多个DNS服务器的地址信息和权重值。最后，本实施例的域名解析过程应用于高并发爬虫的场景下，爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

参见图2，实施例二具体包括：

S201、获取待解析的域名集合和DNS服务器列表，其中，所述DNS服务器列表包括多个DNS服务器的地址信息和权重值；

S202、分别为多个线程分配所述DNS服务器列表的地址信息以及所述域名集合的域名；

S203、并行调用各个所述线程根据分配得到的地址信息确定目标DNS服务器，并利用所述目标DNS服务器对分配得到的域名进行解析；若解析成功，则跳转至S204，否则跳转至S205；

S204、在redis缓存中记录该域名与解析得到的IP地址之间的映射关系，并将所述目标DNS服务器的权重值加上1；

S205、将该域名记录到解析失败集合，并将所述目标DNS服务器的权重值减去1；

S206、在权重值低于0时，从所述DNS服务器列表中剔除相应的DNS服务器的标识信息；增加新的DNS服务器的标识信息，并将新的DNS服务器的权重值设置为初始值；

S207、将所述解析失败集合作为待解析的域名集合，跳转至S202，进行再次解析，直至解析失败次数超过第三预设阈值；

S208、利用爬虫根据所述redis缓存中的所述映射关系，对目标网站进行访问。

下面以上述域名解析方法实施例为基础，对实际应用场景中域名解析过程进行介绍，该过程主要包括以下步骤：

步骤1、域名解析系统首先会加载一批可用的DSN服务器列表；

步骤2、域名解析系统开启并发解析域名，每个线程会在DNS服务器列表中拿取一个地址，指定这个地址对应的目标DNS服务器对域名进行解析；当解析到结果时，将解析结果存储到redis中，并且增加目标DNS服务器地址的权重值；如果解析失败，将域名放入解析失败集合，并减少目标DNS服务器地址的权重值。域名解析系统会有定时任务，定时检测DNS服务器地址列表，将权重值低于0的DNS服务器的地址信息剔除，且增加新的DNS服务器的地址，补足DSN服务器列表的固定长度。

步骤3、当域名集合中所有的域名都完成解析之后，域名解析系统会对解析失败集合里的域名进行第二轮解析，重复上述域名解析过程。此时大部分的域名都会有对应的IP地址了。域名解析系统会定时更新redis缓存中存储的域名对应的IP信息，确保各个域名的对应IP是最新的。

步骤4、启动爬虫系统，批量输入域名。

步骤5、爬虫系统根据域名创建爬虫种子，爬虫种子包括域名、域名对应IP、爬取层数等参数，域名对应IP会从redis中获取，域名解析系统已经将IP解析完毕。

步骤6、爬虫在爬取网站的时候，直接将链接中的域名替换成IP地址，并且在爬虫的请求头上加入host参数，host参数值就是域名，有端口的话把端口也带上，默认80端口可以不写。

步骤7、爬虫开启，进行爬取操作，直到爬虫结束。

下面对本申请实施例提供的一种域名解析装置进行介绍，下文描述的一种域名解析装置与上文描述的一种域名解析方法可相互对应参照。

如图3所示，该域名解析装置包括：

获取模块301：用于获取待解析的域名集合和DNS服务器集合，其中，所述DNS服务器集合包括多个DNS服务器的标识信息和权重值；

分配模块302：用于启动多个线程，分别为各个所述线程分配所述DNS服务器集合的标识信息以及所述域名集合的域名；

解析模块303：用于并行调用各个所述线程根据分配得到的标识信息确定目标DNS服务器，并利用所述目标DNS服务器对分配得到的域名进行解析；

第一更新模块304：用于在解析成功时，将所述目标DNS服务器的权重值加上第一预设阈值；

第二更新模块305：用于在解析失败时，将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息。

本实施例的域名解析装置用于实现前述的域名解析方法，因此该装置中的具体实施方式可见前文中的域名解析方法的实施例部分，例如，获取模块301、分配模块302、解析模块303、第一更新模块304、第二更新模块305，分别用于实现上述域名解析方法中步骤S101，S102，S103，S104，S105。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的域名解析装置用于实现前述的域名解析方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种域名解析设备，如图4所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现如上文所述的一种域名解析方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的一种域名解析方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种域名解析方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述将所述目标DNS服务器的权重值加上第一预设阈值，包括：

3.如权利要求2所述的方法，其特征在于，在所述在redis缓存中记录该域名与解析得到的IP地址之间的映射关系之后，还包括：

4.如权利要求1所述的方法，其特征在于，所述将所述目标DNS服务器的权重值减去所述第一预设阈值，包括：

5.如权利要求1所述的方法，其特征在于，所述从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息，包括：

6.如权利要求1所述的方法，其特征在于，所述第一预设阈值为1，所述第二预设阈值为0，所述将所述目标DNS服务器的权重值减去所述第一预设阈值，直至权重值低于第二预设阈值时，从所述DNS服务器集合中剔除所述目标DNS服务器的标识信息，包括：

7.如权利要求6所述的方法，其特征在于，所述DNS服务器集合包括多个DNS服务器的地址信息和权重值。

8.一种域名解析装置，其特征在于，包括：

9.一种域名解析设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种域名解析方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种域名解析方法的步骤。