CN102457588A - 一种实现反向域名解析的方法及装置 - Google Patents

Abstract

本发明涉及通信领域，公开了一种实现反向域名解析的方法及装置。该方法为：利用网络爬虫技术的信息抓取能力，及时获得最新的较为完整的目标域名列表，从而可以获得更为全面的IP地址与域名间的正向映射关系，进一步地，亦可令经反排处理后获得的域名和IP地址之间映射关系更为准确完整。这样，不需要利用ISP建立和维护PIR类型记录，因而有效降低了反向域名解析的计算复杂度，降低了服务器的运行负荷，同时，又充分利用了网络爬虫技术在信息搜集方面的优势，令获得的基础数据更加全面及时，从而能够更加完整、迅速、准确地建立IP地址到域名之间的反向映射关系，令反向域名解析的结果更加准确完整，能够获取给定IP地址对应的所有域名。

Description

一种实现反向域名解析的方法及装置

技术领域

本发明涉及通信领域，特别涉及一种实现反向域名解析的方法及装置。

背景技术

反向域名解析(即Reverse DNS，简称rDNS或revDNS)，与传统的(前向)域名解析(即DNS)是相反的操作，即是指IP地址到域名的映射。简而言之，就是可以获取与某一IP地址通过域名解析相关联的域名。

反向域名解析的应用范围广泛。在Web站点访问统计或是互联网流量分析中，反向域名解析可以获取访问者的ISP(Internet Service Provider，互联网服务提供商)信息。另一方面，反向域名解析也可以用于网络诊断，例如，通过反向域名解析，就可以获得得到用户的主机名称。除此之外，反向域名解析还可以用于分析和截获垃圾邮件，例如，通过反向域名解析可以对发送方进行前向验证，确保发送方与其IP地址注册的域名一致，并将通过验证的邮件发送方列入白名单；邮件服务器通常会拒绝接收没有进行反向域名解析的主机发送的邮件，这样就可以减轻黑客的攻击或者减少垃圾邮件的接收。

通常情况下，反向域名解析的解析结果并不一定是唯一的，因为存在多个域名指向同一个IP地址的情况，例如，Web站点通常会注册多个顶级域名以避免发生混乱，如，example.net，example.com和example.org这三个域名可以指向同一个IP地址。此外，共享的Web服务器也会同时搭载多个不同的Web站点，因而也会存在多个域名。

现有技术下，反向域名解析可以通过查找特殊的PTR类型记录(全称pointer DNS record type，简称PTR record)完成。所谓的PTR类型记录存储了反向域名解析条目。以IPv4反向域名解析为例，PTR类型记录由IPv4地址各部分进行反向连接后加上“.in-addr.arpa”后缀构成，如，IP地址1.2.3.4存储为PTR类型记录后显示为“4.3.2.1.in-addr.arpa”。查找到PTR类型记录后，其指向的主机名即为反向域名解析结果。

然而，现有技术下，为了能通过上述方式进行反向域名解析，ISP必须建立和维护PTR类型记录，这样做存在以下缺陷：

首先，ISP很难收集到完整全面的PTR类型记录，显然，PTR类型记录的不完整会直接导致反向域名解析结果的不准确；

其次，基于PTR类型记录实现反向域名解析会增加计算复杂度，因为ISP服务器需要执行递归查询之类的复杂操作，这会明显增加ISP服务器的运行负荷。

发明内容

本发明实施例提供一种实现反向域名解析的方法及装置，用以降低反向域名解析的计算复杂度，提高解析结果的准确度。

本发明实施例提供的具体技术方案如下：

一种实现反向域名解析的方法，包括：

基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表；

通过域名解析服务器，分别确定所述目标域名列表中记录的每一个域名与IP地址间的正向映射关系；

对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系。

一种实现反向域名解析的装置，包括：

第一处理单元，用于基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表；

通信单元，用于通过域名解析服务器，分别确定所述目标域名列表中记录的每一个域名与IP地址间的正向映射关系；

第二处理单元，用于对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系。

本发明实施例中，利用网络爬虫技术的信息抓取能力，及时获得最新的较为完整的目标域名列表，从而可以获得更为全面的IP地址与域名间的正向映射关系，进一步地，亦可令经反排处理后获得的域名和IP地址之间映射关系更为准确完整。相较于传统方式，采用本发明实施例记载的技术方案，不需要利用ISP建立和维护PTR类型记录，因而降低了反向域名解析的计算复杂度，降低了服务器的运行负荷，同时，又充分利用了网络爬虫技术在信息搜集方面的优势，令获得的基础数据更加全面及时，从而能够更加完整、迅速、准确地建立IP地址到域名之间的反向映射关系，令反向域名解析的结果更加准确完整，能够获取给定IP地址对应的所有域名。

附图说明

图1为本发明实施例中实现反向域名解析流程图；

图2为本发明实施例中反向域名解析装置功能结构示意图。

具体实施方式

为了降低反向域名解析的计算复杂度，提高解析结果的准确度，本发明实施例中，采用网络爬虫技术对域名进行抓取，从而获得全面的域名列表，再对域名列表中包含的多种域名进行多次解析，建立正向的域名与IP地址间的完整映射，然后基于映射结果生成倒排表，即建立反向的IP地址到域名的映射。

下面结合附图对本发明优选的实施方式进行详细说明。

参阅图1所示，本发明实施例中，实现反向域名解析的具体流程如下：

步骤200：基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表。

所谓的网络爬虫(Web crawler或Web spider)技术，也可以称为网络机器人(Web robots)技术，是一种系统地按照一定规则自动抓取Web网页信息的计算机应用程序。目前，被搜索引擎等类型站点用来抓取最新的信息。网络爬虫通常以包含一定数目URL(Uniform/Universal Resource Locator，统一资源定位)地址的列表作为原始输入，也叫做“种子”，在访问这些URL时发现其中包含的超链接并加入目标域名列表中。

因而，为了加快网络爬虫技术的使用效率，在初始网络地址列表中可以预先设置多种类型的网站地址，包括但不限于：1)常见的导航类网站的URL地址，此类网站一般能够覆盖各个类型主流网站，是获取域名非常理想的起点；2)指定的网络服务器(如，Web服务器、DNS服务器、Web缓存服务器)的用户访问日志文件中记录的URL地址，这些用户访问日志文件记录了用户请求过的Web站点的URL地址，将这些URL地址提取出来即可作为网络爬虫技术的搜索起点。

获取到按照上述方式设置的初始网络地址列表后，便可以将该初始网络地址列表作为“种子”，采用网络爬虫技术进行不断抓取，以获得内容丰富的目标域名列表，具体为：

A、根据初始网络地址列表，建立抓取队列，即以文本形式(如，txt格式、word格式)输入初始网站地址列表；其中，较佳的，需要去除抓取队列中重复出现的URL地址。

B、确定预设的抓取配置参数。

可以通过命令行或者配置文件的方式设置抓取配置参数。抓取配置参数的设置对象可以有多种，包含但不限于：每次最多抓取的URL地址数量、每个URL地址的抓取超时时间、最大重复抓取次数、重试TTL(Time To Live，生存时间)、域名的最大抓取级数，例如，设定最多抓取2级域名，那么根域abc.com的可抓取域名包括：abc.com、www.abc.com、live.abc.com等等，而tv.live.abc.com就不在可抓范围内、最大URL地址并发数等等。

C、根据上述抓取配置参数，依次在获得的抓取队列记录的每一个网络地址对应的网页页面中进行域名抓取。

例如，针对任意一网页页面，可以依次分析该任意一网页页面内包含的每一个URL地址(包括mms://、rtsp://等各种类型的URL)，并将每一个URL地址包含的域名记录至目标域名列表中，其中，较佳的，将可以通过HTTP访问(http://或https://)的URL地址添加至抓取队列中。

抓取队列处理完成后，会输出提示信息，提示本轮抓取已完成(本实施例中，将多次调用后完成对抓取队列的完整遍历称为“一轮”)。本轮抓取完成后，抓取队列可以保存起来作为下一轮的初始队列。下次调用时，将按照该抓取队列从头进行抓取。

在上述抓取过程中，若针对某个URL地址(以下称为问题URL地址)执行的抓取操作失败(如，重复尝试若干次后仍未成功)，则可以在抓取队列里对该问题URL地址进行标注，标注采用TTL的方式，每一轮遍历到该问题URL地址时，将TTL减1，如果TTL为0，不再重新尝试抓取，直接跳过；如果TTL不为0，则重新抓取该URL地址。

D、根据抓取结果生成目标域名列表。

在上述抓取过程中，可以生成日志文件，记录抓取时间、抓取状态、抓取的URL地址和抓取结果(包含新增URL地址个数，新增域名个数等等)，根据该抓取结果在获得所需的目标域名列表。例如，“t.example.com\nvideo.example.com\n...”其中，\n为分隔符。

实际应用中，为了处理大规模数据，较佳的，可以将目标域名列表存入分布式文件系统中(也可以是集中式文件系统)进行后续处理。考虑到采用网络爬虫技术获得的抓取结果会包含大量重复域名，因此，必须对目标域名列表包含的各类域名进行合并去重处理，这样，最终获得的目标域名列表就是完整的无重复的域名列表。

步骤210：通过域名解析代理，分别确定目标域名列表中记录的每一个域名与IP地址间的正向映射关系。

较佳的，可以采用分布式域名解析的方法来确定域名至IP地址的正向映射关系，从而获得目标域名列表中记录的每一个域名所对应的所有IP地址。

实际应用中，域名与IP地址并不一定是一一对应的，有的域名会对应多个IP地址，尤其是访问量较大的大型Web站点通常会将同一域名对应多个IP地址以提高访问质量。

以目标域名列表中记录的任意一域名为例，本实施例中，所谓的采用分布式域名解析是指，将上述任意一域名通过域名解析请求发送到分布在全国各处的至少两个DNS Resolver(域名解析代理)，由各DNS Resolver将获得的上述任意一域名发送至对应的域名解析服务器，也称为Local DNS(本地域名服务器)，这是因为，不同的域名解析服务器得到的解析结果可能不同，通过多个域名解析服务器可以获得同一域名对应的多个不同的IP地址；接着，各域名解析服务器对上述任意一域名进行解析后，分别向自身对应的DNS Resolver返回解析结果，由各DNS Resolver将解析结果返回上述任意一域名的发送方，这样，对各个解析结果进行汇总和去重处理，便可以得到上述任意一域名所对应的IP地址。

按照上述方法，将各域名的解析结果进行汇总后，就可以得到每一个域名与IP地址间的正向映射关系，例如，“t.example.com 1.2.3.41.2.3.6\nvideo.example.com 1.3.3.4\n...”，其中，“t.example.com 1.2.3.41.2.3.6”表示域名“t.example.com””对应的IP地址为“1.2.3.4”和“1.2.3.6”，

步骤220：对获得的每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反射映射关系。

具体执行方式如下：

首先，分别将每一个域名与IP地址之间的映射关系转化为一对一映射关系。

如果某一域名和IP地址之间是一对一映射关系，则直接记录；

如果某一域名与IP地址之间是一对多映射关系，则将该一对多映射关系分解为多个一对一映射关系。例如，将形如“t.example.com 1.2.3.41.2.3.6\n”的一对多映射关系分解成形如“t.example.com 1.2.3.4\n t.example.com 1.2.3.6\n”的一对一映射关系。

其次，按照已确定的一对一映射关系，交换每一个域名与相应的IP地址的记录位置，即以IP为键，域名为值。例如，将形如“t.example.com 1.2.3.4\nt.example.com 1.2.3.6\n”的映射关系，反排为形如“1.2.3.4t.example.com\n1.2.3.6t.example.com\n”的映射关系。

最后，将相邻的具有相同IP地址的映射关系进行合并，从而形成了确定每一个IP地址与域名间的反向映射关系(通常也为一对多的映射关系)。例如，

根据形如“1.2.3.4t.example.com\n 1.2.3.4a.abc.com\n”的映射关系，可以得到形如“1.2.3.4t.example.com a.abc.com\n”的IP地址与域名之间的反向映射结果。

较佳的，上述IP地址与域名之间的反向映射关系可以保存在分布式数据库中，形成key(健)/value(值)格式的数据表以便于后续查询和展示。

基于上述实施例，实现上述步骤200-步骤220的反向域名解析装置可以是普通服务器，如，FTP服务器，也可以是维护终端，当然，还可以是其他设备，此处仅为举例，并不局限于此。参阅图2所示，本发明实施全名，反向域名解析装置可以包括第一处理单元30、通信单元31和第二处理单元32，其中，

第一处理单元30，用于基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表；

通信单元31，用于通过域名解析服务器，分别确定目标域名列表中记录的每一个域名与IP地址间的正向映射关系；

第二处理单元32，用于对上述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系。

如图2所示，本实施例中，上述反向域名解析装置进一步包括：

设置单元33，用于设置初始网络地址列表，包括：在上述初始网络地址列表中添加导航类网站的统URL地址，在所述初始网络地址列表中添加指定网络服务器的用户访问日志文件中包含的URL地址。

综上所述，本发明实施例中，利用网络爬虫技术的信息抓取能力，及时获得最新的较为完整的目标域名列表，从而可以获得更为全面的IP地址与域名间的正向映射关系，进一步地，亦可令经反排处理后获得的域名和IP地址之间映射关系更为准确完整。相较于传统方式，采用本发明实施例记载的技术方案，不需要利用ISP建立和维护PTR类型记录，因而有效降低了反向域名解析的计算复杂度，降低了服务器的运行负荷，同时，又充分利用了网络爬虫技术在信息搜集方面的优势，令获得的基础数据更加全面及时，从而能够更加完整、迅速、准确地建立IP地址到域名之间的反向映射关系，令反向域名解析的结果更加准确完整，能够获取给定IP地址对应的所有域名。

进一步地，较佳的，上述方案可以结合分布式文件系统和数据库使用，这样，更便于进行大规模数据处理，形成IP地址到域名的完整映射，以及便于用户进行前端端查询和向用户进行结果展示。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种实现反向域名解析的方法，其特征在于，包括：

基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表；

通过域名解析服务器，分别确定所述目标域名列表中记录的每一个域名与IP地址间的正向映射关系；

对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系。

2.如权利要求1所述的方法，其特征在于，设置所述初始网络地址列表，包括：

在所述初始网络地址列表中添加导航类网站的统一资源定位URL地址；

在所述初始网络地址列表中添加指定网络服务器的用户访问日志文件中包含的URL地址。

3.如权利要求1所述的方法，其特征在于，基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表，包括：

根据初始网络地址列表，建立抓取队列，并去除该抓取队列中重复出现的统一资源定位URL地址；

确定预设的抓取配置参数；

根据所述抓取配置参数，采用网络爬虫技术依次在所述抓取队列记录的每一个网络地址对应的网页页面中进行域名抓取；

根据抓取结果生成目标域名列表。

4.如权利要求3所述的方法，其特征在于，所述抓取配置参数包含每次最多抓取的URL地址数量、每个URL地址的抓取超时时间、最大重复抓取次数、重试生存时间TTL、域名的最大抓取级数和最大URL地址并发数。

5.如权利要求3所述的方法，其特征在于，采用网络爬虫技术依次在所述抓取队列记录的任意一个网络地址对应的网页页面中进行域名抓取，包括：

依次分析所述任意一个网页页面中包含的每一个URL地址，并将每一个URL地址包含的域名记录至目标域名列表；其中，将能够通过HTTP访问的URL地址添加至抓取队列中。

6.如权利要求3所述的方法，其特征在于，根据抓取结果生成目标域名列表后，对所述目标域名列表进行合并去重处理。

7.如权利要求1-6任一项所述的方法，其特征在于，通过域名解析服务器，确定所述目标域名列表中任意一域名与IP地址间的正向映射关系，包括：

将所述任意一域名发往至少两个域名解析代理，令所述至少两个域名解析代理将所述任意一域名分别发往相应的域名解析服务器进行解析；

根据所述至少两个域名解析代理返回的相应的域名解析服务器的解析结果，确定所述任意一域名对应的一个或多个IP地址。

8.如权利要求1-6任一项所述的方法，其特征在于，对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系，包括：

分别将每一个域名与IP地址之间的映射关系转化为一对一映射关系；

按照所述一对一映射关系，交换每一个域名与相应的IP地址的记录位置；

将相邻的具有相同IP地址的映射关系进行合并，以形成每一个IP地址与域名间的反向映射关系。

9.一种实现反向域名解析的装置，其特征在于，包括：

第一处理单元，用于基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表；

通信单元，用于通过域名解析服务器，分别确定所述目标域名列表中记录的每一个域名与IP地址间的正向映射关系；

第二处理单元，用于对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系。

10.如权利要求9所述的装置，其特征在于，进一步包括：

设置单元，用于设置所述初始网络地址列表，包括：在所述初始网络地址列表中添加导航类网站的统一资源定位URL地址，在所述初始网络地址列表中添加指定网络服务器的用户访问日志文件中包含的URL地址。

11.如权利要求9所述的装置，其特征在于，第一处理单元基于预设的初始网络地址列表，采用网络爬虫技术获得目标域名列表时，根据初始网络地址列表，建立抓取队列，并去除该抓取队列中重复出现的统一资源定位URL地址，以及确定预设的抓取配置参数，并根据所述抓取配置参数，采用网络爬虫技术依次在所述抓取队列记录的每一个网络地址对应的网页页面中进行域名抓取，再根据抓取结果生成目标域名列表。

12.如权利要求11所述的装置，其特征在于，所述第一处理单元获得的抓取配置参数包含每次最多抓取的URL地址数量、每个URL地址的抓取超时时间、最大重复抓取次数、重试生存时间TTL、域名的最大抓取级数和最大URL地址并发数。

13.如权利要求11所述的装置，其特征在于，所述第一处理单元采用网络爬虫技术依次在所述抓取队列记录的任意一个网络地址对应的网页页面中进行域名抓取时，依次分析所述任意一个网页页面中包含的每一个URL地址，并将每一个URL地址包含的域名记录至目标域名列表；其中，将能够通过HTTP访问的URL地址添加至抓取队列中。

14.如权利要求11所述的装置，其特征在于，所述第一处理单元根据抓取结果生成目标域名列表后，对所述目标域名列表进行合并去重处理。

15.如权利要求9-14任一项所述的装置，其特征在于，所述通信单元通过域名解析服务器，确定所述目标域名列表中任意一域名与IP地址间的正向映射关系时，将所述任意一域名发往至少两个域名解析代理，令所述至少两个域名解析代理将所述任意一域名分别发往相应的域名解析服务器进行解析，并根据所述至少两个域名解析代理返回的相应的域名解析服务器的解析结果，确定所述任意一域名对应的一个或多个IP地址。

16.如权利要求9-14任一项所述的装置，其特征在于，所述第二处理单元对所述每一个域名与IP地址间的正向映射关系进行反排，确定每一个IP地址与域名间的反向映射关系时，分别将每一个域名与IP地址之间的映射关系转化为一对一映射关系，按照所述一对一映射关系，交换每一个域名与相应的IP地址的记录位置，将相邻的具有相同IP地址的映射关系进行合并，以形成每一个IP地址与域名间的反向映射关系。

Images