CN103647676A

CN103647676A - 域名系统数据处理方法

Info

Publication number: CN103647676A
Application number: CN201310744319.0A
Authority: CN
Inventors: 王杨; 谢茂金; 单桂华; 迟学斌
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2014-03-19
Anticipated expiration: 2033-12-30
Also published as: CN103647676B

Abstract

本发明涉及一种域名系统数据处理方法。该方法包括：接收访问日志；将访问日志划分到文件中；将文件处理为处理文件；从处理文件中的访问日志中抽取和过滤得到有效数据；从有效数据中抽取分析目标；以第一数量个分析目标作为第一分析目标群，对第一分析目标群中的分析目标所对应的处理文件的访问量进行统计处理，将统计结果累加以生成可视化分析的第一参数；以第二数量个分析目标作为第二分析目标群，对第二分析目标群中的分析目标所对应的处理文件分别进行访问量统计处理，得到每一个处理文件的统计结果，统计结果生成第一序列，对第一序列分类抽取以生成可视化分析的第二参数。本发明处理数据速度快，高效，能同时表现多种信息，交互方便。

Description

域名系统数据处理方法

技术领域

本发明涉及数据处理，尤其涉及域名系统数据处理方法。

背景技术

随着网络技术的快速发展，网络日志数据成为大数据的一个重要来源。网络日志数据蕴藏了丰富的信息，如网络异常与故障、人文社会热点、群体上网习惯等，而之前由于缺乏有效的分析处理，许多网络数据只能作为故障分析的辅助手段，难以体现其更丰富内涵与价值。

当前，域名系统（Domain Name System，DNS）日志数据分析可视化对于整个网络的安全具有重要作用。通过对DNS数据的可视分析可以实时得到当前网络的健康状况信息，有力辅助分析网络病毒的传播，追踪攻击来源，对良好网络环境的建设和维护具有重要的作用。同时，还能辅助域名访问规律的挖掘，节约监控成本，保障互联网的正常运转，具有光明的应用前景和显著的经济、社会效益。甚至还可以用于当前的热点问题及各类网站的访问情况的分析，以及用户行为特征，发现商机，获得一些潜在的信息，取得其他效益。但目前的DNS日志数据分析可视化方法还存在一系列不足：

（1）鉴于CN域名产生的数据量，无法直接对其可视化，势必要求先对数据进行预处理、聚类和相应的数据抽取。现有的处理方法常采用Pig，HIVE等进行处理，但多个查询目标不容易进行合并，造成重复计算，缺少算法优化渠道，造成多个分析目标则需要多次数据读取，从而造成较大的输入输出（Input/Output，IO）开销和重复计算。

（2）由于DNS日志数据包含域名、地域、时间、数量、排名等多种信息，在对数据进行可视化的时候，需要在展现各种信息的同时也能展现这些信息之间的关系。当前的DNS日志数据可视化技术，如树图、河流图、流量图等只能表现一种或两种信息，而不能将多种信息同时展现在一起，分析人员频繁的在不同的图表之间来回切换，不利于数据分析和规律挖掘。

（3）当前的多维信息可视化技术对于像DNS日志这样拥有巨大记录数量和繁杂分析目标的对象，要在有限的屏幕空间进行展示，布局容易出现问题，造成信息拥塞，出现严重遮挡的情况。

发明内容

本发明的目的是提供一种域名系统数据处理方法，通过对DNS访问日志的处理分析，开发一套能快速分析网络访问群体的行为特征、网络异常及其来源和影响的数据处理方法。

为实现上述目的，本发明提供了一种域名系统DNS数据处理方法，包括：

接收访问日志；

将所述访问日志划分到文件中；

根据所述文件的大小，将所述文件处理为处理文件；

从所述处理文件中的访问日志中抽取和过滤得到有效数据；

从所述有效数据中抽取分析目标；

以所述分析目标中的第一数量个分析目标作为第一分析目标群，对所述第一分析目标群中的分析目标所对应的处理文件的访问量进行统计处理，将统计结果累加以生成可视化分析的第一参数；

以所述分析目标中的第二数量个分析目标作为第二分析目标群，对所述第二分析目标群中的分析目标所对应的处理文件分别进行访问量统计处理，得到每一个处理文件的统计结果，所述统计结果生成第一序列，对所述第一序列分类抽取以生成可视化分析的第二参数。

优选地，所述接收访问日志具体包括：接收压缩后的访问日志，进行解压处理得到解压后的访问日志。

优选地，，所述根据所述文件的大小，将所述文件处理为处理文件具体包括：根据所述文件的大小，将所述文件分割为多个子文件，或者将多个所述文件合并为总文件。

优选地，所述根据所述文件的大小，将所述文件分割为多个子文件具体包括：将大于第一阈值的所述文件分割为多个子文件。

优选地，所述根据所述文件的大小，将多个所述文件合并为总文件具体包括：将小于第二阈值的所述文件合并为总文件。

优选地，所述从所述处理文件中的访问日志中抽取和过滤得到有效数据具体包括：在第一次抽取和过滤后，可以进行二次抽取和过滤。

优选地，所述第一分析目标是时间和地理来源信息。

优选地，所述第二分析目标是数据的时间、来源或域名信息。

优选地，所述可视化分析的第一参数包括：访问量地域分布和访问量时间分布。

优选地，所述可视化分析的第二参数包括：域名访问量。

本发明实现了处理大量DNS日志数据速度快、高效，能同时表现多种信息，能充分体现各种信息之间的相互关系，能很好地展现分析人员感兴趣的或者人工分析不易察觉的特殊信息；界面友好、美观，各可视化元素之间罗列合理、自然，符合人们的视觉标准；交互方便、高效。

附图说明

图1为本发明实施例提供的域名系统数据处理流程图；

图2为本发明实施例提供的基于第一参数的热表图；

图3为本发明实施例提供的基于第二参数的带标记主题河设计图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明实施例提供的域名系统DNS数据处理流程图。图1中各步骤如下：

步骤S101，接收访问日志。

具体地，可以采用编程模型Mapreduce方法，对数据进行分布式处理，为了降低磁盘空间的消耗和IO操作，有些访问日志是经过压缩处理的，例如采用压缩程序gnuzip对访问日志数据进行压缩处理，如果接收到的是压缩后的访问日志，则需要进行解压处理，从而得到解压后的访问日志。

步骤S102，将访问日志划分到文件中。

可以根据接收到的访问日志内容的时间段，例如：以天为单位，将解压后的访问日志划分到不同的文件夹中，可以以时间命名这些不同的文件夹。

步骤S103，根据文件的大小，将文件处理为处理文件。

由于分布式架构框架Hadoop不支持对gnuzip进行并行解压，因此需要根据文件的大小，将文件分割为多个子文件，或者将多个文件合并为总文件。在一个具体的实施例中，可以对大于第一阈值Tmax的文件进行分割，分割成多个接近某一值M的子文件。在另一个具体的实施例中，由于过多的小文件消耗大量的存储空间造成空间浪费和IO开销，因此可以对小于第二阈值Tmin的多个文件进行合并，合并为总文件，并使合并后的总文件文件小于第一阈值Tmax。

具体地，可以利用shell脚本对数据进行并行分割和合并操作，可以取第一阈值Tmax为300M，M为200M，第二阈值Tmin为60M。

步骤S104，从处理文件中的访问日志中抽取和过滤得到有效数据。

具体地，从处理文件中的访问日志的原始数据中抽取出需要数据，再从抽取出的需要数据中，进一步的过滤出有效数据，将有效信息保留下来，成为后续处理的数据源。其中，抽取和过滤可以是对原始数据进行字段切取、转换、清理过滤。在具体的实施例中，可以根据分析目标，在第一次抽取和过滤结束后，进行多次抽取和过滤，例如二次抽取和过滤。

步骤S105，从有效数据中抽取分析目标。

具体地，可以在Mapper阶段，采用正则表达式对抽取和过滤获后访问日志有效数据中的每条访问记录进行检查，例如将有效数据中的错误记录和局域网记录过滤掉，将某些类的访问进行合并。然后，通过Maxmind CityIP库将访问日志有效数据中的源IP转换为地理数据，该地理数据包括国家、地区和省/州信息。例如可以抽取出每条访问记录的“时间/目标域名/地理来源”信息作为输出；为了对来自全球和来自中国的访问分别统计，可以进行二次抽取，在一次抽取结果的基础上将来自中国的访问抽取出来，从而得到来自中国的访问流量，并将抽取分析目标时的中间结果压缩，并输出到磁盘。

步骤S106，以分析目标中的第一数量个分析目标作为第一分析目标群，对第一分析目标群中的分析目标所对应的处理文件的访问量进行统计处理，将统计结果累加以生成可视化分析的第一参数。

具体地，可以以时空流量作为第一分析目标群，以时间和地理来源作为第一分析目标，将时间和地理来源作为关键字，对抽取的分析目标中各处理文件对应的访问记录的时间和地理来源信息进行统计，将统计结果累加，作为分析目标结果之一输出。该输出结果可以生成可视化分析的第一参数：访问量地域分布、访问量时间分布。

步骤S107，以分析目标中的第二数量个分析目标作为第二分析目标群，对第二分析目标群中的分析目标所对应的处理文件分别进行访问量统计处理，得到每一个处理文件的统计结果，统计结果生成第一序列，对第一序列分类抽取以生成可视化分析的第二参数。

具体地，可以以访问分类作为第二分析目标群，以其中的时间、来源、域名作为第二分析目标，对抽取的分析目标中每个处理文件中的访问的“时间、来源、域名”信息作为分类依据进行统计。

在Mapper阶段，由于Hadoop的移动shuffle和排序sort功能，对“时间#来源#域名”信息的统计结果将会按字典序排序，生成第一序列，该第一序列作为Reducer的输入。可以重写Reducer的运行run方法，对结果进行分类抽取输出，输出每个时间段内，可以以小时计，每个地区访问量在Top100的域名信息，生成了可视化分析的第二参数：域名的访问量。

本实施例中提供的访问日志处理的方法具有处理访问日志数据速度快，高效的特点。

针对DNS日志数据的特点，设计了基于第一参数和第二参数的可以同时表现地域、时域、访问量和排名信息的DNS日志数据可视化方法。

图2为本发明实施例提供的基于第一参数的热表图。

本发明实施例中，基于第一参数：访问量地域分布和访问量时域分布，设计了一种新型图表-热表图，该热表图用于同时表达访问量、地区、时间信息，同时还具有比较、度量的功能。

在图2中，(a)是访问量地域分布热度图，颜色越深代表该地区访问量越大，颜色越浅代表访问量越少；(b)是时间刻度表盘，一圈代表24小时/天（或7天/周）；(c)是访问量彩条，顺时针方向的第二个柱表示当天该时刻访问量，顺时针方向的第三个柱表示后一天的访问量，顺时针方向的第一个柱表示前一天的访问量；(d)最大值刻度环；(e)平均值刻度环；(f)最小值刻度环。

具体地，采用热度地图作为地域信息的表现基础，通过对访问量数值赋予不同的颜色来刻画访问量地区的分布信息。图2（C）中的访问量彩条中，用柱状表示该时刻访问量，柱状的高度与访问量大小一致，这样可以方便得将访问量时域信息表示出来。在同一时刻点上分别列出了前一天（周）、当天（周）和下一天（周）的访问量彩条，赋予不同颜色，使其具有同比功能。在外表盘设计了三个刻度环，如图2中的（d）、（e）和（f）分别表示当天（周）的最大访问量、平均访问量和最小访问量，使其具有度量和比较功能。这样，在一张热表图中，可以同时表现地域、时域、访问量等信息，并可以方便观察日志数据的统计特性。在此基础上，附加了文字信息列表和单个域名的访问量时序变化曲线，以及每日实际访问量变化曲线与平均访问曲线的对比图。

本发明实施例中，基于第二参数：域名访问量，设计了主题河的DNS访问量排名可视化方法，采用ThemeRiver主题河作为排名统计可视化的主要部分，用来表示一个时期内，每一时刻DNS访问量排名Top100的变化信息，每条河流的宽度为该条河流所代表的排名段内所有域名在此刻的访问量总值。在原有人为指定的静态分段方法的基础上，采用基于最小均方差的动态分段算法，使得主题河的没道河流宽度比较平均。接着可以设计一套标记方法，用来突出显示某些异常情况发生的时刻。例如：有大幅度名次涨落的时刻，方便分析人员观察和选择；同时，将所选的异常时刻所包含的域名、排名变化具体情况等信息以列表的形式陈列在侧，并将该异常域名的排名变化曲线和异常点的地区访问量贡献度分布图绑定在视图中，使整个页面同时包含排名、访问量、地区分布、时间特征等多种信息，给异常分析和规律查找带来更加便捷的操作。

在图3中，(a)是按最小均方差法分段的河流，每条河流的宽度是该段内所有域名的访问量。(b)是排名大幅度变动标记，标记出现较大排名变化的时刻和位置。

图2和图3在总体设计上，采用了大量图表，为了在有限的屏幕空间进行展示，不使布局出现问题，造成信息拥塞或出现严重遮挡的情况，需要精心设计了合理、美观的页面布局，能让使用者第一眼就能大致把握DNS域名变化各种信息的总体态势，达到一目了然的效果。在细节设计上，所有重要的特征信息能很容易辨别出来，所有可视化元素（图表、文字等）都具有重要的作用，颜色变化都有区别和含义。在功能上，建立了高效便捷的数据筛选过滤机制，让使用者能迅速从中发现通常人工分析不易被察觉的信息。同时，设计了一套便捷、友好的人机交互机制，使使用者更方便的进行交互操作。

综上，本发明实施例提供的域名系统数据处理方法，处理大量DNS访问日志数据时，处理速度快，高效；基于域名系统数据处理中的第一参数和第二参数，实现了能同时表现多种信息，能充分体现各种信息之间的相互关系，能很好地展现分析人员感兴趣的或者人工分析不易察觉的特殊信息；界面友好、美观，各可视化元素之间罗列合理、自然，符合人们的视觉标准；交互方便、高效。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种域名系统数据处理方法，其特征在于，所述方法包括：

接收访问日志；

将所述访问日志划分到文件中；

根据所述文件的大小，将所述文件处理为处理文件；

从所述处理文件中的访问日志中抽取和过滤得到有效数据；

从所述有效数据中抽取分析目标；

2.如权利要求1所述的域名系统数据处理方法，其特征在于，所述接收访问日志具体包括：接收压缩后的访问日志，进行解压处理得到解压后的访问日志。

3.如权利要求1所述的域名系统数据处理方法，其特征在于，所述根据所述文件的大小，将所述文件处理为处理文件具体包括：根据所述文件的大小，将所述文件分割为多个子文件，或者将多个所述文件合并为总文件。

4.如权利要求3所述的域名系统数据处理方法，其特征在于，所述根据所述文件的大小，将所述文件分割为多个子文件具体包括：将大于第一阈值的所述文件分割为多个子文件。

5.如权利要求3所述的域名系统数据处理方法，其特征在于，所述根据所述文件的大小，将多个所述文件合并为总文件具体包括：将小于第二阈值的所述文件合并为总文件。

6.如权利要求1所述的域名系统数据处理方法，其特征在于，所述从所述处理文件中的访问日志中抽取和过滤得到有效数据具体包括：在第一次抽取和过滤后，可以进行二次抽取和过滤。

7.如权利要求1所述的域名系统数据处理方法，其特征在于，所述第一分析目标是时间和地理来源信息。

8.如权利要求1所述的域名系统数据处理方法，其特征在于，所述第二分析目标是访问日志的时间、来源或域名信息。

9.如权利1所述的域名系统数据处理方法，其特征在于，所述可视化分析的第一参数包括：访问量地域分布和访问量时间分布。

10.如权利1所述的域名系统数据处理方法，其特征在于，所述可视化分析的第二参数包括：域名访问量。