CN108989484A

CN108989484A - 一种域名系统dns日志的压缩存储方法及装置

Info

Publication number: CN108989484A
Application number: CN201810891538.4A
Authority: CN
Inventors: 陈作平
Original assignee: Beijing Qianxin Technology Co Ltd
Current assignee: Beijing Qianxin Technology Co Ltd
Priority date: 2018-08-07
Filing date: 2018-08-07
Publication date: 2018-12-11

Abstract

本发明实施例公开一种域名系统DNS日志的压缩存储方法及装置，其中，方法包括：获取DNS日志中所有域名的所有请求数据；以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；存储归并后的DNS日志的所有数据。本发明实施例能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储。

Description

一种域名系统DNS日志的压缩存储方法及装置

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种域名系统DNS日志的压缩存储方法及装置。

背景技术

DNS(Domain Name System，域名系统)，万维网上作为域名和IP(网络之间互连的协议)地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过域名，最终得到该域名对应的IP地址的过程叫做域名解析(或主机名解析)。

DNS是一种基础性服务，会被大量的请求，大量的DNS请求会产生大量的DNS日志，例如一个公司内部的DNS系统一天有可能产生上亿条DNS数据。对于这么大量的DNS日志的数据，对数据的实时快速的查询和分析就变得极为困难，非常的低效。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种域名系统DNS日志的压缩存储方法及装置。

第一方面，本发明实施例提出一种域名系统DNS日志的压缩存储方法，包括：

获取DNS日志中所有域名的所有请求数据；

以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；

存储归并后的DNS日志的所有数据。

可选地，所述DNS日志中的每一请求数据的字段，包括：

请求IP、时间、策略、域名、分类和请求类型。

可选地，所述以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据，包括：

以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据，所归并成的一条数据中删除了请求IP字段，增加了请求数字段和总请求数量字段；

其中，所述总请求数量字段表示所归并成的一条数据中的总请求数量；

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

可选地，所述预设时间段包括：一分钟。

第二方面，本发明实施例还提出一种域名系统DNS日志的压缩存储装置，包括：

获取模块，用于获取DNS日志中所有域名的所有请求数据；

归并模块，用于以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；

存储模块，用于存储归并后的DNS日志的所有数据。

可选地，所述DNS日志中的每一请求数据的字段，包括：

请求IP、时间、策略、域名、分类和请求类型。

可选地，所述归并模块，具体用于

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

可选地，所述预设时间段包括：一分钟。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在第处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

由上述技术方案可知，本发明实施例提供的一种域名系统DNS日志的压缩存储方法及装置，通过以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据后进行存储，由此，能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储，可大大提高后续对DNS日志数据的实时快速查询和分析的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种域名系统DNS日志的压缩存储方法的流程示意图；

图2为本发明一实施例提供的一种域名系统DNS日志的压缩存储装置的结构示意图；

图3为本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本发明一实施例提供的一种域名系统DNS日志的压缩存储方法的流程示意图，如图1所示，本实施例的域名系统DNS日志的压缩存储方法，包括：

S1、获取DNS日志中所有域名的所有(DNS)请求数据。

S2、以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并(即压缩)成一条数据。

在具体应用中，举例来说，可以将所述预设时间段设置为一分钟，这样可将DNS日志的时间精度从秒级别降低到分钟级别。

S3、存储归并后的DNS日志的所有数据。

可以理解的是，DNS系统中的DNS请求在绝大多数时候都是请求的相同的那么几个主要的网站，通常这种高频站点可以占据DNS请求的90％的量。每条DNS日志中大部分的信息都是域名信息的扩展信息，如果域名相同，则这些扩展信息也相同。当请求量十分巨大时，每一条数据的数据本身的重要性就下降了，数据的整体的统计信息更重要，因此数据的产生时间这个信息的精确性可以被降低，因此本实施例将时间精度降低为预设时间段，对同一域名在预设时间段内的所有请求数据归并成一条数据，能够有效减少DNS日志中的数据条数。

本发明实施例提供的一种域名系统DNS日志的压缩存储方法，通过处理器来实现，通过以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据后进行存储，由此，能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储，可大大提高后续对DNS日志数据的实时快速查询和分析的效率。在实际中，本实施例对于访问量非常巨大的网站，压缩效果更为明显。

进一步地，在上述实施例的基础上，所述DNS日志中的每一请求数据的字段，可以包括：

请求IP、时间、策略、域名、分类和请求类型。

其中，“分类”和“策略”就是域名字段的扩展信息。

可以理解的是，同一域名的分类字段的内容是相同的，同一域名的策略字段的内容也是相同的。

进一步地，在上述实施例的基础上，所述步骤S2可以包括：

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

本发明实施例提供的一种域名系统DNS日志的压缩存储方法，能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储，可大大提高后续对DNS日志数据的实时快速查询和分析的效率。

图2示出了本发明一实施例提供的一种域名系统DNS日志的压缩存储装置的结构示意图，如图2所示，本实施例的域名系统DNS日志的压缩存储装置，包括：获取模块21、归并模块22和存储模块23；其中：

所述获取模块21，用于获取DNS日志中所有域名的所有(DNS)请求数据；

所述归并模块22，用于以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并(即压缩)成一条数据；

所述存储模块23，用于存储归并后的DNS日志的所有数据。

具体地，所述获取模块21获取DNS日志中所有域名的所有请求数据；所述归并模块22以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；所述存储模块23存储归并后的DNS日志的所有数据。

本发明实施例提供的一种域名系统DNS日志的压缩存储装置，应用于处理器，通过以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据后进行存储，由此，能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储，可大大提高后续对DNS日志数据的实时快速查询和分析的效率。在实际中，本实施例对于访问量非常巨大的网站，压缩效果更为明显。

请求IP、时间、策略、域名、分类和请求类型。

其中，“分类”和“策略”就是域名字段的扩展信息。

进一步地，在上述实施例的基础上，所述归并模块22，可具体用于

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

本发明实施例提供的一种域名系统DNS日志的压缩存储装置，能够有效减少DNS日志中的数据条数，实现对DNS日志的压缩存储，可大大提高后续对DNS日志数据的实时快速查询和分析的效率。

本实施例的域名系统DNS日志的压缩存储装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图3示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器301、存储器302、总线303及存储在存储器302上并可在处理器301上运行的计算机程序；

其中，所述处理器301和存储器302通过所述总线303完成相互间的通信；

所述处理器301执行所述计算机程序时实现上述方法实施例所提供的方法，例如包括：获取DNS日志中所有域名的所有请求数据；以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；存储归并后的DNS日志的所有数据。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例所提供的方法，例如包括：获取DNS日志中所有域名的所有请求数据；以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据；存储归并后的DNS日志的所有数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims

1.一种域名系统DNS日志的压缩存储方法，其特征在于，包括：

获取DNS日志中所有域名的所有请求数据；

存储归并后的DNS日志的所有数据。

2.根据权利要求1所述的方法，其特征在于，所述DNS日志中的每一请求数据的字段，包括：

请求IP、时间、策略、域名、分类和请求类型。

3.根据权利要求2所述的方法，其特征在于，所述以预设时间段作为时间精度，将所获取的DNS日志中所有域名的所有请求数据中同一域名在预设时间段内的所有请求数据归并成一条数据，包括：

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述预设时间段包括：一分钟。

5.一种域名系统DNS日志的压缩存储装置，其特征在于，包括：

获取模块，用于获取DNS日志中所有域名的所有请求数据；

存储模块，用于存储归并后的DNS日志的所有数据。

6.根据权利要求5所述的装置，其特征在于，所述DNS日志中的每一请求数据的字段，包括：

请求IP、时间、策略、域名、分类和请求类型。

7.根据权利要求6所述的装置，其特征在于，所述归并模块，具体用于

所述请求数字段包含了一组关键字对，所述关键字对为：

请求IP：所述请求IP的数量。

8.根据权利要求5-7中任一项所述的装置，其特征在于，所述预设时间段包括：一分钟。

9.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在第处理器上运行的计算机程序；

所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。