CN109241292B - 一种基于主被动数据建立域名服务器体系知识图谱的方法 - Google Patents

Abstract

本发明属于互联网技术领域，公开了一种基于主被动数据建立域名服务器体系知识图谱的方法，所述方法包括：主动爬取顶级域名信息；被动接收全国所有IDC机房流经的一级域名信息；对根域、顶级域名、一级域名进行转码处理及域名归属关系关联处理；对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址；基于以上结果，构建域名服务器体系的知识图谱。本发明解决了原有的互联网无法对域名服务器的基础资源进行有效管理的问题。

Description

一种基于主被动数据建立域名服务器体系知识图谱的方法

技术领域

本发明属于互联网技术领域，具体涉及一种基于主被动数据建立域名服务器体系知识图谱的方法。

背景技术

互联网迅猛发展，互联网域名解析服务器作为互联网上名称与地址转换的关键基础设施尤其重要。但是，现有技术中，没有一种专门的域名服务器的基础资源图库，如此不能够有效的对域名的基础数据进行管理。

为了更有效地对域名解析服务器体系基础资源(域名解析服务器、IP地址、层级关系等)进行准确的掌握，从而从整体上支持互联网网络安全、信息安全管理，建立一种域名服务器体系的知识图谱，则显得尤为重要。

发明内容

本发明的目的是，提供一种基于主被动数据建立域名服务器体系知识图谱的方法，以解决原有的互联网无法对域名服务器的基础资源进行有效管理的问题。

为解决上述技术问题，本发明所采用的技术方案如下：

一种基于主被动数据建立域名服务器体系知识图谱的方法，所述方法包括：

主动爬取顶级域名信息；

被动接收全国所有IDC机房流经的一级域名信息；

对根域、顶级域名、一级域名进行转码处理及域名归属关系关联处理；

对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址；

基于以上结果，构建域名服务器体系的知识图谱。

进一步地，所述知识图谱以树形结构和表格形式来展现。

进一步地，主动爬取顶级域名信息的方式具体包括：

通过HTTP爬虫，爬取IANA网站和/或https://www.iana.org/domains/root/db，对应的页面，获得全世界范围的所有顶级域名信息，所述顶级域名信息具体包括：顶级域名、域名类别、顶级域名管理者。

进一步地，被动接收全国所有IDC机房流经的一级域名信息的方式具体包括：

通过程序接口按时接收全国IDC信息安全管理系统上报的全国所有机房当天流经的所有一级域名信息，包括：一级域名、机房、接入商、省份、首次发现时间、最近发现时间、访问次数。

进一步地，所述转码处理是将不同国家的顶级域名转换为Puny code格式；所述域名归属关系关联处理是将对根域、顶级域、一级域的层级关系进行树形关联。

进一步地，所述对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址，具体包括：

通过域名查询工具软件，查询对应域名对应的NS记录，并记录下NS记录对应的域名和该域名对应的IP地址，针对NS记录对应的域名再迭代查找其NS记录，直到查询到的NS记录与之前迭代的相同，并记录每一层NS记录的域名和对应的IP地址。通过分布式IP地址查询工具，针对上步中没有IP地址返回的域名服务器域名进行解析查询，获得IP地址。

进一步地，构建域名服务器体系的知识图谱具体包括：

构建以根域名解析服务器为根集合、顶级域名解析服务器为一级节点集合、一级域名解析服务器为二级节点集合的树形形式的域名解析服务器知识图库，构建以所有域名解析服务器为维度的列表形式的域名解析服务器知识图谱。

与现有技术相比，本发明所提供的一种基于主被动数据建立域名服务器体系知识图谱的方法，基于编写简单的爬虫工具、利用现有的域名解析工具和一些公开的网站工具，并结合工信部已建的全国IDC/ISP信息安全管理系统中采集的活跃一级域名数据，构建了完整的域名解析服务器体系的知识图谱，对于从整体上掌握域名服务器这项互联网基础设施的情况、网络安全信息安全的防护起到了很好的技术支撑作用。

附图说明

图1为本发明实施例所述的一种基于主被动数据建立域名服务器体系知识图谱的方法的流程原理图。

图2为本发明实施例中的顶级域名采集的流程示意图。

图3为本发明实施例中的活跃一级域名采集的流程示意图。

图4为本发明实施例中的域名转码及层级关联的流程示意图。

图5为本发明实施例中的域名解析的流程示意图。

图6为本发明实施例中的采用NSLOOKUP命令查询根域名的NS记录的示意图。

图7为本发明实施例中的采用NSLOOKUP命令查询根域名的NS记录对应的AAAA记录的示意图。

图8为本发明实施例中的采用NSLOOKUP命令迭代查询根域名的NS记录对应的域名的NS记录的示意图。

图9为本发明实施例中的根域的域名解析服务器树形知识图谱示意图。

图10为本发明实施例中的域名解析服务器体系知识库建立的流程示意图。

图11为本发明实施例中的形成树形结构的域名解析服务器体系知识图谱示意图。

图12为本发明实施例中的形成表格形式的域名解析服务器体系知识图谱示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

1、定义

1.1域名(Domain Name)

本发明方法中所指的域名(Domain Name)是指，由一串用点分隔的名字组成的互联网上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位(有时也指地理位置)。域名采用分级结构，最高级为根域名，其次为顶级域名，再次为一级域名，二级域名等。

1.2根域名(root DN)

本发明方法中所指的根域名是指域名“.”，全世界只有一个根域名。

1.3顶级域名(Top Level Domain，简称TLD)

本发明方法中所指的根域名是指“.com”、“.cn”、“.arpa”、“.biz”、“.asia”、“.测试”等根域下的直接域名，该类域名目前有通用(generic)、国家(country-code)、基础设施(infrastructure)、受限通用(generic-restricted)、资助(sponsored)、测试(test)六大类。

1.4一级域名和二级域名

本发明方法中所指的一级域名是指在顶级域名下的一个层级的域名，如“baidu.com”、“tsinghua.edu.cn”等。二级域名是指在一级域名再下一个层级的域名，如“www.baidu.com”,“mail.tsinghua.edu.cn”等。一般来讲，针对一级域名进行解析的域名服务器，也负责针对对应的二级域名进行解析，因此，本文中我们只关心一级域名。

1.5域名系统(Domain Name System)

本发明方法中所指的域名系统是Internet上的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网，而不用去记住能够被机器直接读取的IP地址数串。

1.6域名服务器(Domain Name Server)

本发明方法中所指的域名服务器是进行域名和与之相对应的IP地址转换的服务器。域名服务器中保存了一张域名和与之相对应的IP地址的表，以解析消息的域名。

1.7IDC信安系统

本发明方法中所指的IDC信安系统是指由工信部建设的部、省、企业三级采集监测和信安处置系统，支持活跃IP监测和采集、活跃域名监测和采集、信息安全监测、信息安全处置、访问日志留存等功能。

1.8域名服务器体系

本发明方法中所指的域名服务器体系是指按照域名的层级关系建立的域名服务器构成的层级结构关系。

1.9域名服务器体系知识图谱

本发明方法中所指的域名服务器体系知识图谱是指由1.8中定义的域名服务器体系加上其对应的域名、IP地址V4、IP地址V6构成的树形和表格形式的基础资源库。

参照图1所示，本发明实施例所公开的一种基于主被动数据建立域名服务器体系知识图谱的方法，包括如下步骤：

步骤101、通过爬虫方式主动爬取顶级域名信息；

步骤102、通过接口方式被动接收全国所有IDC机房流经的一级域名信息；

步骤103、针对根域、顶级域、一级域进行转码、域名归属关系关联等预处理；

步骤104、针对每级域名进行主动探测查询，获得对应的域名服务器域名(NS)和IP地址；

步骤105、基于以上结果构建树形结构和表格形式的域名服务器体系知识图谱。

参照图2所示，图2是本发明实施例中的顶级域名信息获取的流程图。顶级域名采集算子每天(可根据系统需要进行时间间隔的调整)从IANA官网(https://www.iana.org/domains/root/db)主动爬取一次全网的顶级域名列表，如可以访问，则直接获取所有的顶级域名信息，包括：顶级域名、类型、管理者等，获取之后，判断该顶级域名信息是否存在本地的数据库，如否，则直接保存于本地，形成本地的顶级域名信息库D0，包括：顶级域名、类型、管理者、入库时间、当前时间、更新时间、当前状态(有效)；如已存在本地库，则更新本地顶级域名的信息库D0，包括顶级域名、类型、管理者、入库时间、当前时间、更新时间、状态(D0中存在而爬虫没有爬取到的域名，状态标记为无效，否则则标记有效)，针对D0中类型为“通用”、“国家”的顶级域名进行笛卡尔积运算，生成列表之外的顶级域名，如：“edu.cn”、“book.cn”等。额外顶级域列表和D0的并集构成所有的顶级域名知识库D1。

生成的顶级域名列表知识库D0示意见附表1(截止到2018年7月23日)，生成的全部顶级域名D1示意见附表2：

表1

表2

参照图3所示，图3是本发明实施例中的活跃一级域名信息获取的流程图。活跃域名信息采集算子每天(可根据系统需要进行调整)从IDC信安系统中同步一次全国的活跃一级域名数据，并加上当前时间标签，形成本地的一级域名原始数据库D2。具体流程为：

通过接口访问IDC信安系统，获取全国的活跃一级域名数据，包括：活跃域名、省份、接入商、首次发现时间、最近发现时间、访问次数等，然后保存本地，形成本地的活跃一级域名原始数据库D2，包括：活跃域名、省份、接入商、首次发现时间、最近发现时间、入库时间。

参照图4所示，图4是本发明实施例中的域名转码和层级关联的流程示意图。

首先，将D1中所有的顶级域挂到根域“.”上，然后将D2中所有的一级域，按照其对应的顶级域归属挂到相应的顶级域上，最后，针对根域、顶级域、一级域的每一层进行puncode编码转换，形成最终的知识库D3，生成的知识库D3结构见附表3。由于不同国家不同文字的原因，顶级域名不一定都是在DNS体系中可以识别的，需要转为Puny code格式，才能在互联网上正常使用，也才能进一步解析出来哪些域名服务器(NS)为这些域名提供解析服务，同时，由于域名体系是树形结构的，为了使得最终发现出来的所有的域名解析服务器(NS)进行有效组织，按照其解析的域名的层级关系进行关联，分别针对根域、顶级域、一级域进行树形关联的预处理，能够形成完整的、清楚的树状图。

表3

参照图5所示，图5是本发明实施例中对每级域名进行主动探测查询的流程示意图。域名解析算子的功能是针对特定的域名查询其对应的NS记录以及对应的IP地址列表，同时针对每层NS记录对应的域名进行迭代深入查询，直到查询完所有层次所有的NS记录对应的域名为止。域名解析算子的计算流程为：

针对某个域名进行域名解析查询对应的NS记录和IP地址，形成第一层的NS记录节点，针对第一层的NS记录节点中的每个域名迭代查询对应的NS记录，把该NS记录域名连接到上层对应的NS记录域名下，判断该NS记录域名下是否已出现过，如否，则继续以该记录为新的层级NS记录域名节点，继续迭代查询对应的NS记录；如是，则将该树形分支结束查询，至所有迭代查询结束，形成该域名的迭代查询NS记录知识图库。

如图5所示，进行特定域名的NS记录查询时，可以采用NSLOOKUP命令、DIG命令等进行查询，也可以自己编写程序进行查询。同时，为了确保同一个域名在不同地点获得不同的IP地址，尽量采集全面，也可以结合使用www.17ce.com进行NS记录对应域名的IP地址查询。

下面以根域为例，对建立根域的树形域名解析知识图谱的过程进行详细描述。

1)通过NSLOOKUP命令，获取根域的第一层NS域名列表和对应IP地址：

(1)NSLOOKUP命令如下：

NSLOOKUP–qt＝ns.

(2)相应结果如图6所示，图6是NSLOOKUP命令查询根域名的NS记录。

从图6可以看出，根域有13个域名服务器负责解析，对应的域名分别为a～m.root-servers.net，但是对应的IP地址，只给出了a～g.root-servers.net。

(3)通过NSLOOKUP补充相应域名对应的IP地址(以m的IPv6地址为例)：

nslookup-qt＝aaaa m.root-servers.net

结果如图7所示，图7是NSLOOKUP命令查询根域名的NS记录对应的AAAA记录。

2)通过NSLOOKUP命令，获取根域的第二层NS域名列表和对应IP地址：

针对这13个域名，进一步查询每个域名对应的NS记录，相应的命令和示例结果如下：

nslookup-qt＝ns a～m.root-servers.net

图8是NSLOOKUP命令迭代查询根域名的NS记录对应的域名的NS记录。

会发现所有13个域名对应的下一层NS记录，都是a.root-servers.net。过程结束。

3)经过以上步骤，建立的根域名对应的域名解析树形知识图谱如图9所示。

针对根域、顶级域、一级域名，重复根据图5中的流程进行计算，即可构件整个域名解析服务器体系的知识图谱，具体流程如图10所示。

针对D3中的根域应用域名解析算子，生成根域的知识图谱D4-1；

针对D3中的顶级域名中每个域名应用域名解析算子，生成顶级域的知识图谱D4-2；

针对D3中的一级域名中每个域名应用域名解析算子，生成一级域的知识图谱D4-3；

将D4-1、D4-2、D4-3按照域名树形分级结构构成一个更大的树，即形成了覆盖全体域名解析服务器的知识图谱D4，该图谱主要用于以域名为维度的查询；

针对D4中的每个域名解析服务器的记录，进行去重提取，形成所有域名解析服务器的列表知识图谱D5，该图谱主要用于以域名解析服务器为维度的查询。

最终形成的树形知识图谱如图11所示。

最终形成的表格形知识图谱如图12所示。

形成的树形知识图谱和表格形知识图谱层次清晰，一目了然，能够完整的反应现有的域名服务器体系的基本情况。

本发明所提供的一种基于主被动数据建立域名服务器体系知识图谱的方法，基于编写简单的爬虫工具、利用现有的域名解析工具和一些公开的网站工具，并结合工信部已建的全国IDC/ISP信息安全管理系统中采集的活跃一级域名数据，构建了完整的域名解析服务器体系的知识图谱，对于从整体上掌握域名服务器这项互联网基础设施的情况、网络安全信息安全的防护起到了很好的技术支撑作用。

上述说明示出并描述了本发明的若干推荐实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述指导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种基于主被动数据建立域名服务器体系知识图谱的方法，其特征在于，所述方法包括：

主动爬取顶级域名信息；

被动接收全国所有IDC机房流经的一级域名信息；

对根域、顶级域名、一级域名进行转码处理及域名归属关系关联处理；

对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址；

基于以上结果，构建域名服务器体系的知识图谱；

其中，对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址包括：

针对某个域名进行域名解析查询对应的NS记录和IP地址，形成第一层的NS记录节点，针对第一层的NS记录节点中的每个域名迭代查询对应的NS记录，把该NS记录域名连接到上层对应的NS记录域名下，判断该NS记录域名下是否已出现过，如否，则继续以该记录为新的层级NS记录域名节点，继续迭代查询对应的NS记录；如是，则将该树形分支结束查询，至所有迭代查询结束，形成该域名的迭代查询NS记录知识图库。

2.如权利要求1所述的建立域名服务器体系知识图谱的方法，其特征在于，所述知识图谱以树形结构和表格形式来展现。

3.如权利要求1所述的建立域名服务器体系知识图谱的方法，其特征在于，主动爬取顶级域名信息的方式具体包括：

通过HTTP爬虫，爬取IANA网站和/或https://www.iana.org/domains/root/db，对应的页面，获得全世界范围的所有顶级域名信息，所述顶级域名信息具体包括：顶级域名、域名类别、顶级域名管理者。

4.如权利要求1所述的建立域名服务器体系知识图谱的方法，其特征在于，被动接收全国所有IDC机房流经的一级域名信息的方式具体包括：

通过程序接口按时接收全国IDC信息安全管理系统上报的全国所有机房当天流经的所有一级域名信息，包括：一级域名、机房、接入商、省份、首次发现时间、最近发现时间、访问次数。

5.如权利要求1所述的建立域名服务器体系知识图谱的方法，其特征在于，所述转码处理是将不同国家的顶级域名转换为Puny code格式；所述域名归属关系关联处理是将对根域、顶级域、一级域的层级关系进行树形关联。

6.如权利要求1所述的建立域名服务器体系知识图谱的方法，其特征在于，所述对每级域名进行主动探测查询，获得对应的域名服务器域名和IP地址，具体包括：

通过域名查询工具软件，查询对应域名对应的NS记录，并记录下NS记录对应的域名和该域名对应的IP地址，针对NS记录对应的域名再迭代查找其NS记录，直到查询到的NS记录与之前迭代的相同，并记录每一层NS记录的域名和对应的IP地址。

7.如权利要求2所述的建立域名服务器体系知识图谱的方法，其特征在于，构建域名服务器体系的知识图谱具体包括：

构建以根域名解析服务器为根集合、顶级域名解析服务器为一级节点集合、一级域名解析服务器为二级节点集合的树形形式的域名解析服务器知识图库，构建以所有域名解析服务器为维度的列表形式的域名解析服务器知识图谱。

Images