CN110019078A - 一种基于大数据的dns日志分析辅助决策系统及方法 - Google Patents

一种基于大数据的dns日志分析辅助决策系统及方法 Download PDF

Info

Publication number
CN110019078A
CN110019078A CN201910137470.5A CN201910137470A CN110019078A CN 110019078 A CN110019078 A CN 110019078A CN 201910137470 A CN201910137470 A CN 201910137470A CN 110019078 A CN110019078 A CN 110019078A
Authority
CN
China
Prior art keywords
data
dns
daily record
record data
dns daily
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910137470.5A
Other languages
English (en)
Inventor
陶心万
潘忠瑞
江波
王俊尧
唐佰琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Gewu Data Co Ltd
Original Assignee
Guizhou Gewu Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Gewu Data Co Ltd filed Critical Guizhou Gewu Data Co Ltd
Priority to CN201910137470.5A priority Critical patent/CN110019078A/zh
Publication of CN110019078A publication Critical patent/CN110019078A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于大数据的DNS日志分析辅助决策系统及方法，其系统包括以下模块，DNS日志数据采集模块，其用于采集DNS日志数据；预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。本发明一种基于大数据的DNS日志分析辅助决策系统可以为运营商的商业决策提供数据支撑。

Description

一种基于大数据的DNS日志分析辅助决策系统及方法
技术领域
本发明涉及大数据处理领域，具体涉及一种基于大数据的DNS日志分析辅助决策系统及方法。
背景技术
DNS作为互联网的第一入口，为Internet上的主机分配域名地址和网络协议地址，任何体系结构的互联网都离不开DNS。因此，基于DNS的相关研究日益受到重视。互联网公司和运营商纷纷针对DNS开展深入研究，目前，基于大数据平台的DNS分析工作成为研究的一个重点方向。那么如何基于大数据的DNS日志分析来为运营商的商业决策提供数据支撑是目前亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于大数据的DNS日志分析辅助决策系统及方法，可以为运营商的商业决策提供数据支撑。
本发明解决上述技术问题的技术方案如下：一种基于大数据的DNS日志分析辅助决策系统，包括以下模块，
DNS日志数据采集模块，其用于采集DNS日志数据；
预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
本发明的有益效果是：本发明一种基于大数据的DNS日志分析辅助决策系统基于海量的运营商DNS日志数据，采用Hadoop，Spark等大数据相关技术，对数据进行抽取、转换和加载；通过对基本的五元组数据与各维度的第三方数据交叉匹配，对数据快速准确的标记标签，最后对标记好标签的数据进行分组，聚合等统计操作，得到各个维度的统计数据，可以为运营商的商业决策提供数据支撑。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述DNS日志数据采集模块具体用于，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
进一步，所述预处理模块具体用于，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
进一步，所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
基于上述一种基于大数据的DNS日志分析辅助决策系统，本发明还提供一种基于大数据的DNS日志分析辅助决策方法。
一种基于大数据的DNS日志分析辅助决策方法，包括以下步骤，
S1，采集DNS日志数据；
S2，基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
S3，通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
S4，对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
本发明的有益效果是：本发明一种基于大数据的DNS日志分析辅助决策方法基于海量的运营商DNS日志数据，采用Hadoop，Spark等大数据相关技术，对数据进行抽取、转换和加载；通过对基本的五元组数据与各维度的第三方数据交叉匹配，对数据快速准确的标记标签，最后对标记好标签的数据进行分组，聚合等统计操作，得到各个维度的统计数据，可以为运营商的商业决策提供数据支撑。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述S1具体为，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
进一步，所述S2具体为，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
进一步，所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
附图说明
图1为本发明一种基于大数据的DNS日志分析辅助决策系统的结构框图；
图2为本发明一种基于大数据的DNS日志分析辅助决策方法的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于大数据的DNS日志分析辅助决策系统，包括以下模块，
DNS日志数据采集模块，其用于采集DNS日志数据；
预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
本发明一种基于大数据的DNS日志分析辅助决策系统基于海量的运营商DNS日志数据，采用Hadoop，Spark等大数据相关技术，对数据进行抽取、转换和加载；通过对基本的五元组数据与各维度的第三方数据交叉匹配，对数据快速准确的标记标签，最后对标记好标签的数据进行分组，聚合等统计操作，得到各个维度的统计数据，可以为运营商的商业决策提供数据支撑。
在本具体实施例中：
所述DNS日志数据采集模块具体用于，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
所述预处理模块具体用于，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
基于上述一种基于大数据的DNS日志分析辅助决策系统，本发明还提供一种基于大数据的DNS日志分析辅助决策方法。
如图2所示，一种基于大数据的DNS日志分析辅助决策方法，包括以下步骤，
S1，采集DNS日志数据；
S2，基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
S3，通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
S4，对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
本发明一种基于大数据的DNS日志分析辅助决策方法基于海量的运营商DNS日志数据，采用Hadoop，Spark等大数据相关技术，对数据进行抽取、转换和加载；通过对基本的五元组数据与各维度的第三方数据交叉匹配，对数据快速准确的标记标签，最后对标记好标签的数据进行分组，聚合等统计操作，得到各个维度的统计数据，可以为运营商的商业决策提供数据支撑。
在本具体实施例中：
所述S1具体为，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
所述S2具体为，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的DNS日志分析辅助决策系统，其特征在于：包括以下模块，
DNS日志数据采集模块，其用于采集DNS日志数据；
预处理模块，其用于基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
标记标签模块，其用于通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
统计操作模块，其用于对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
2.根据权利要求1所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述DNS日志数据采集模块具体用于，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
3.根据权利要求2所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述预处理模块具体用于，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
4.根据权利要求1至3任一项所述的一种基于大数据的DNS日志分析辅助决策系统，其特征在于：所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
5.一种基于大数据的DNS日志分析辅助决策方法，其特征在于：包括以下步骤，
S1，采集DNS日志数据；
S2，基于Hadoop平台并采用Spark计算引擎对所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据；
S3，通过五元组数据与各维度的第三方数据交叉匹配，对预处理后的所述DNS日志数据进行标记标签；
S4，对标记标签好的所述DNS日志数据进行统计操作，得到各维度的统计数据，并根据各维度的统计数据为运营商的商业决策提供数据支撑。
6.根据权利要求5所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述S1具体为，
实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量的DNS日志数据，将海量的所述DNS日志数据上传至云服务器。
7.根据权利要求6所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述S2具体为，
将云服务器中海量的所述DNS日志数据分布式存入Hadoop平台；
通过所述Hadoop平台的多个节点对所述DNS日志数据进行分布式处理，得到分布式的DNS日志数据；
采用Spark计算引擎对分布式的所述DNS日志数据进行抽取、转换和加载的预处理，生成预处理后的所述DNS日志数据。
8.根据权利要求5至7任一项所述的一种基于大数据的DNS日志分析辅助决策方法，其特征在于：所述五元组数据包括与所述DNS日志数据所对应的源IP地址、源端口、目的IP地址、目的端口和传输层协议。
CN201910137470.5A 2019-02-25 2019-02-25 一种基于大数据的dns日志分析辅助决策系统及方法 Pending CN110019078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910137470.5A CN110019078A (zh) 2019-02-25 2019-02-25 一种基于大数据的dns日志分析辅助决策系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910137470.5A CN110019078A (zh) 2019-02-25 2019-02-25 一种基于大数据的dns日志分析辅助决策系统及方法

Publications (1)

Publication Number Publication Date
CN110019078A true CN110019078A (zh) 2019-07-16

Family

ID=67189076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137470.5A Pending CN110019078A (zh) 2019-02-25 2019-02-25 一种基于大数据的dns日志分析辅助决策系统及方法

Country Status (1)

Country Link
CN (1) CN110019078A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837459A (zh) * 2019-11-07 2020-02-25 广东省科技基础条件平台中心 一种基于大数据的运行绩效分析方法及系统
CN111506621A (zh) * 2020-03-31 2020-08-07 新华三大数据技术有限公司 一种数据统计方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105634845A (zh) * 2014-10-30 2016-06-01 任子行网络技术股份有限公司 一种用于对海量dns日志进行多维统计分析的方法及系统
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统
WO2017184526A2 (en) * 2016-04-19 2017-10-26 Cisco Technology, Inc. Template-compatible encoding for content chunk aggregation and mapping
CN108512690A (zh) * 2018-01-26 2018-09-07 贵州力创科技发展有限公司 一种基于Hadoop平台的DNS日志分析方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105634845A (zh) * 2014-10-30 2016-06-01 任子行网络技术股份有限公司 一种用于对海量dns日志进行多维统计分析的方法及系统
WO2017184526A2 (en) * 2016-04-19 2017-10-26 Cisco Technology, Inc. Template-compatible encoding for content chunk aggregation and mapping
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统
CN108512690A (zh) * 2018-01-26 2018-09-07 贵州力创科技发展有限公司 一种基于Hadoop平台的DNS日志分析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837459A (zh) * 2019-11-07 2020-02-25 广东省科技基础条件平台中心 一种基于大数据的运行绩效分析方法及系统
CN111506621A (zh) * 2020-03-31 2020-08-07 新华三大数据技术有限公司 一种数据统计方法及装置

Similar Documents

Publication Publication Date Title
CN110019078A (zh) 一种基于大数据的dns日志分析辅助决策系统及方法
CN107038523B (zh) 基于共治网格的巡检任务管理方法和装置
CN102457588A (zh) 一种实现反向域名解析的方法及装置
CN107194651A (zh) 一种用于快递末端投递的用户画像系统
CN105844088A (zh) 通用型临床试验电子数据获取系统和获取方法
CN111010456B (zh) 一种主域名获取和验证方法
Van Alstyne et al. Emailnet: A system for automatically mining social networks from organizational email communication
CN108255902A (zh) 保险事故理赔处理方法、装置和理赔服务器
CN103442096A (zh) 基于移动互联网的nat转换方法及系统
CN106685707A (zh) 一种分布式基础设施系统中的资产信息控制方法
CN101931525B (zh) 一种信息安全管理资源定位方法及系统
CN106227776A (zh) 一种支撑智慧金融的数据预处理方法和装置
CN105184536A (zh) 基于物联网的自动入库管理系统
CN103093393A (zh) 一种客户业务资料及其数字化信息的集成应用方法
CN108764832A (zh) 城管和舆情诉求信息管理方法、系统、装置及设备
CN102025781A (zh) 基于分布式监测管理架构的业务感知方法
CN109086384A (zh) 基于用户画像的水务管理方法及系统
CN107301239A (zh) 一种数据库转换器及转换方法
CN114240241A (zh) 一种基于标识解析的工厂设备协同运维管理系统
CN106126671A (zh) 一种网络日志的更新方法
CN103810657A (zh) 一种大学考勤考核的系统及方法
Hennig Orchard meadow trees: tree detection using deep learning in ArcGIS pro
CN206674005U (zh) 一种智能化物流大数据处理平台
Li et al. Detection and Recognition of Evaluation System Based on IPv6 Website Platform
CN116662882A (zh) 一种邮件标注方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication