CN116166631A - Dns日志数据定制化收集与可视化方法、系统、介质及设备 - Google Patents

Dns日志数据定制化收集与可视化方法、系统、介质及设备 Download PDF

Info

Publication number
CN116166631A
CN116166631A CN202310450361.5A CN202310450361A CN116166631A CN 116166631 A CN116166631 A CN 116166631A CN 202310450361 A CN202310450361 A CN 202310450361A CN 116166631 A CN116166631 A CN 116166631A
Authority
CN
China
Prior art keywords
data
elastic search
component
processing module
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310450361.5A
Other languages
English (en)
Inventor
周铭扬
陈南飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingyang Industrial Technology Research Institute Shenyang Co ltd
Mingyang Shichuang Beijing Technology Co ltd
Original Assignee
Mingyang Industrial Technology Research Institute Shenyang Co ltd
Mingyang Shichuang Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingyang Industrial Technology Research Institute Shenyang Co ltd, Mingyang Shichuang Beijing Technology Co ltd filed Critical Mingyang Industrial Technology Research Institute Shenyang Co ltd
Priority to CN202310450361.5A priority Critical patent/CN116166631A/zh
Publication of CN116166631A publication Critical patent/CN116166631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种DNS日志数据定制化收集与可视化方法、系统、介质及设备，其中，所述系统中，Elasticsearch组件包括Elasticsearch引擎和Elasticsearch数据库，数据处理模块内置有预定义结构体对象；Fluentd组件部署在Kubernetes集群的节点上且与Elasticsearch数据库通信连接，Elasticsearch数据库与Elasticsearch引擎通信连接，Elasticsearch引擎与数据处理模块通信连接，数据处理模块与展示模块通信连接。本发明不仅可以提高DNS日志的可阅读性，并且可以根据某项属性进行过滤筛选，实现快速定位。

Description

DNS日志数据定制化收集与可视化方法、系统、介质及设备
技术领域
本发明涉及计算机技术领域，具体地说是一种DNS日志数据定制化收集与可视化方法、系统、介质及设备。
背景技术
随着微服务架构的普及，自动化资源管理成为了一种趋势，而Kubernetes（以下简称k8s）在当前环境下扮演着十分重要的角色。在Docker技术(容器虚拟化技术)的基础上，k8s为容器化的服务(也可以称作应用)提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，能够提高大规模容器集群管理的便捷性。
DNS服务器也是以Pod的形式部署在k8s环境中的。但DNS服务器的日志的只能输出在docker目录下，不方便查看。即使登录到服务器上进行查看，一个数据量庞大的log文件不具有良好的可阅读性，也无法快速定位、筛选出自己想要的日志内容进行分析处理。
发明内容
为此，本发明所要解决的技术问题在于提供一种DNS日志数据定制化收集与可视化方法、系统、介质及设备，不仅可以提高DNS日志的可阅读性，并且可以根据某项属性进行过滤筛选，实现快速定位。
为解决上述技术问题，本发明提供如下技术方案：
DNS日志数据定制化收集与可视化系统，包括Fluentd组件、Elasticsearch组件、数据处理模块和展示模块，Elasticsearch组件包括Elasticsearch引擎和Elasticsearch数据库，数据处理模块内置有预定义结构体对象，预定义结构体对象的属性为预定义属性；Fluentd组件部署在Kubernetes集群的节点上且与Elasticsearch数据库通信连接，Elasticsearch数据库与Elasticsearch引擎通信连接，Elasticsearch引擎与数据处理模块通信连接，数据处理模块与展示模块通信连接；数据处理模块依照预定义结构体对象的属性对Elasticsearch引擎提取到的数据进行处理并形成属性与属性值的关系。
上述DNS日志数据定制化收集与可视化系统， Fluentd组件的部署文件yaml文件中设置有对Fluentd组件采集的数据进行整理并丢弃无用信息的数据整理单元。
上述DNS日志数据定制化收集与可视化系统，Elasticsearch数据库中内置有对数据进行分词的分词控制器，分词控制器将分词结果以及分词用词权重一并存入Elasticsearch数据库中。
上述DNS日志数据定制化收集与可视化系统，数据处理模块利用正则表达式数据处理模块依照预定义结构体对象的属性对Fluentd组件收集到的数据进行提取并形成属性与属性值的关系。
上述DNS日志数据定制化收集与可视化系统，数据处理模块与关系型数据库通信连接。
利用上述DNS日志数据定制化收集与可视化系统进行DNS日志可视化的方法，包括如下步骤：
S1）通过Kubernetes集群的DaemonSet运行Fluentd组件将Fluentd组件部署在Kubernetes集群的所有节点并标记DNS服务器所在的Pod；
S2）Fluentd组件收集DNS服务器产生的日志并将收集到的日志数据发送至Elasticsearch数据库内存储；
S3）Elasticsearch引擎根据用户的查询请求对Fluentd组件收集到的数据进行提取；
S4）数据处理模块依照预定义结构体对象的属性对步骤S3）中提取到的数据进行处理并形成属性与属性值的关系，进而形成新数据；
S5）展示模块将步骤S4）中形成的新数据展示在可视化界面上。
上述方法，在步骤S5）中，将新数据存入关系型数据库。
计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
计算机设备，包括可读存储介质、处理器以及存储在可读存储介质上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明的技术方案取得了如下有益的技术效果：
1.通过依照预定义结构体对象提取信息，并将每条日志记录中所需要的信息放入预定义结构体对象对应的字段中，提高了日志的可阅读性，且根据某项属性进行过滤筛选，可以实现某项属性值快速定位。
2.将新数据存入关系型数据库中后，可以减少了正则表达式进行匹配和分组的时间，同时也可以利用关系型数据库特定的语法进行条件查询，筛选出自己想要的日志数据。
附图说明
图1为本发明中DNS日志数据定制化收集与可视化系统的工作原理图；
图2为本发明中实现DNS日志数据定制化收集与可视化的流程图；
图3为DNS日志数据可视化的页面效果；
图4为可在通信网络中实现DNS日志数据定制化收集与可视化的计算机设备原理图。
具体实施方式
下面结合示例，针对本发明进行进一步说明。
如图1所示，本发明DNS日志数据定制化收集与可视化系统，包括Fluentd组件、Elasticsearch组件、数据处理模块和展示模块，Elasticsearch组件包括Elasticsearch引擎和Elasticsearch数据库，数据处理模块内置有预定义结构体对象，预定义结构体对象的属性为预定义属性；Fluentd组件部署在Kubernetes集群的节点上且与Elasticsearch数据库通信连接，Elasticsearch数据库与Elasticsearch引擎通信连接，Elasticsearch引擎与数据处理模块通信连接，数据处理模块与展示模块通信连接；数据处理模块依照预定义结构体对象的属性对Elasticsearch引擎提取到的数据进行处理并形成属性与属性值的关系。其中，关系型数据库可以选用MySQL或Oracle。
Fluentd是具有实时的数据收集渠道能力，专门用来处理数据流，使用JSON作为数据格式，采用的是插件式的架构，具有高可扩展性和高可用性，同时还实现了高可靠性的信息转发。具体地以Kubernetes集群的节点上部署Fluentd为例，构建Fluentd镜像，编写Fluentd的部署文件yaml文件，设置数据源及数据流去向，Fluentd采集的容器日志一般是非结构化的，包含很多不必要的信息，所以在yaml文件中设置Fluentd组件采集的数据进行整理并丢弃无用信息的数据整理单元，即对Fluentd组件采集到的DNS日志信息进行整理，丢弃无用的信息。然后通过Kubernetes的DaemonSet运行Fluentd实现集群所有节点自动化部署，再标记DNS服务器所在的Pod，使DNS服务器所产生的日志可以被Fluentd找到，并可以收集至Docker目录下形成日志文件。
Elasticsearch引擎是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch引擎的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 引擎的实现原理主要分为以下几个步骤：首先将Fluentd组件收集到的数据提交到Elasticsearch数据库中，再通过分词控制器去将对应的语句分词，将分词用词权重和分词结果一并存入Elasticsearch 数据库中，当用户搜索数据时候，再根据权重将结果排名、打分，再将返回结果呈现给用户。而本发明则是将Fluentd组件收集到的日志内容存储在Elasticsearch中，然后通过分词控制器对日志内容进行分词，再其权重和分词结果一并存入数据，进而便于进行检索。
如图2所示，利用所述DNS日志数据定制化收集与可视化系统进行DNS日志可视化的方法，包括如下步骤：
S1）通过Kubernetes集群的DaemonSet运行Fluentd组件将Fluentd组件部署在Kubernetes集群的所有节点并标记DNS服务器所在的Pod；
S2）Fluentd组件收集DNS服务器产生的日志并将收集到的日志数据发送至Elasticsearch数据库内存储；
S3）Elasticsearch引擎根据用户的查询请求对Fluentd组件收集到的数据进行提取；
S4）数据处理模块依照预定义结构体对象的属性对步骤S3）中提取到的数据进行处理并形成属性与属性值的关系，进而形成新数据并将新数据存入关系型数据库；
S5）展示模块将步骤S4）中形成的新数据展示在可视化界面上。
其中，预定义结构体对象的属性为用户想要了解的各项信息。以DNS解析日志为例，用户需要知道DNS解析日志中记录的解析时间、解析类型、解析的域名以及请求解析的客户端相关信息（包括IP、端口等），例如，可将预定义结构体对象进行如下定义：
type Dnslog struct {
ClientIp string `json:"clientIp"` // 客户端IP
ClientPort uint16 `json:"clientPort"` // 客户端端口
RequestDomainName string `json:"requestDomainName"` // 请求域名
SourceView string `json:"sourceView"` // 源视图
AnalysisResult string `json:"analysisResult"` // 解析结果
AnalysisTime string `json:"analysisTime"` // 解析时间
AnalysisRecordType string `json:"analysisRecordType"` // 解析记录类型
}
利用Fluentd组件收集Pod中DNS服务器的日志文件，并通过数据整理单元将收集到日志文件整理后输出到Elasticsearch数据库中进行保存。
调整Elasticsearch Service代理配置，通过配置文件将Kubernetes集群中以Pod形式部署的Elasticsearch组件，再通过Elasticsearch提供的REST API接口对存储的字符串文本数据进行查询，并存入到计算机的内存中，其中，Elasticsearch Service用于集群内部通信的端口映射到集群外部端口。然后由数据处理模块利用正则表达式进行匹配和分组，提取每条日志记录中所需要的信息，放入到预定义结构体对象属性对应的字段中，形成属性与属性值的关系，成为定制化的日志数据内容。这样就提高了日志的可阅读性，并且可以根据某项属性进行过滤筛选，便于快速定位。最后可以将这种具有强关系的日志数据直接展示在可视化界面中，进行查看，页面效果如下图3所示。
而将这种具有强关系的日志数据保存至关系型数据库中，可以提升每次的查询效率，这样便于每次查询时可以直接从数据库中获取，减少了利用正则表达式进行匹配和分组耗费的时间，同时也可以利用关系型数据库特定的语法进行条件查询，筛选出用户想要的日志数据。
基于上述DNS日志数据定制化收集与可视化方法，相应的，本实例中还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如下步骤：通过Kubernetes集群的DaemonSet运行Fluentd组件将Fluentd组件部署在Kubernetes集群的所有节点并标记DNS服务器所在的Pod，然后利用Fluentd组件收集DNS服务器产生的日志并将收集到的日志数据发送至Elasticsearch数据库内存储，然后再利用Elasticsearch引擎进行DNS服务器日志检索，数据处理模块依照预定义结构体对象的属性对Elasticsearch引擎提取到的数据进行处理并形成属性与属性值的关系，并将处理后的数据以及所形成的属性与属性值之间的关系存入关系型数据库中形成新数据，展示模块将新数据展示在可视化界面上。
如图4所示，基于上述DNS日志数据定制化收集与可视化方法以及计算机可读存储介质，本实施例中，还提供了一种计算机设备，其包括可读存储介质、处理器以及存储在可读存储介质上并可在处理器上运行的计算机程序，其中可读存储介质与处理器均设置在总线上，处理器执行计算机程序时实现如下步骤：通过Kubernetes集群的DaemonSet运行Fluentd组件将Fluentd组件部署在Kubernetes集群的所有节点并标记DNS服务器所在的Pod，然后利用Fluentd组件收集DNS服务器产生的日志并将收集到的日志数据发送至Elasticsearch数据库内存储，然后再利用Elasticsearch引擎进行DNS服务器日志检索，数据处理模块依照预定义结构体对象的属性对Elasticsearch引擎提取到的数据进行处理并形成属性与属性值的关系，并将处理后的数据以及所形成的属性与属性值之间的关系存入关系型数据库中形成新数据，展示模块将新数据展示在可视化界面上。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims (9)

1.DNS日志数据定制化收集与可视化系统，其特征在于，包括Fluentd组件、Elasticsearch组件、数据处理模块和展示模块，Elasticsearch组件包括Elasticsearch引擎和Elasticsearch数据库，数据处理模块内置有预定义结构体对象，预定义结构体对象的属性为预定义属性；Fluentd组件部署在Kubernetes集群的节点上且与Elasticsearch数据库通信连接，Elasticsearch数据库与Elasticsearch引擎通信连接，Elasticsearch引擎与数据处理模块通信连接，数据处理模块与展示模块通信连接；数据处理模块依照预定义结构体对象的属性对Elasticsearch引擎提取到的数据进行处理并形成属性与属性值的关系。
2.根据权利要求1所述的DNS日志数据定制化收集与可视化系统，其特征在于，Fluentd组件的部署文件yaml文件中设置有对Fluentd组件采集的数据进行整理并丢弃无用信息的数据整理单元。
3.根据权利要求1所述的DNS日志数据定制化收集与可视化系统，其特征在于，Elasticsearch数据库中内置有对数据进行分词的分词控制器，分词控制器将分词结果以及分词用词权重一并存入Elasticsearch数据库中。
4.根据权利要求1所述的DNS日志数据定制化收集与可视化系统，其特征在于，数据处理模块利用正则表达式数据处理模块依照预定义结构体对象的属性对Fluentd组件收集到的数据进行提取并形成属性与属性值的关系。
5.根据权利要求1～4任一所述的DNS日志数据定制化收集与可视化系统，其特征在于，数据处理模块与关系型数据库通信连接。
6.利用权利要求1～5任一所述的DNS日志数据定制化收集与可视化系统进行DNS日志可视化的方法，其特征在于，包括如下步骤：
S1）通过Kubernetes集群的DaemonSet运行Fluentd组件将Fluentd组件部署在Kubernetes集群的所有节点并标记DNS服务器所在的Pod；
S2）Fluentd组件收集DNS服务器产生的日志记录并将收集到的日志数据发送至Elasticsearch数据库内存储；
S3）Elasticsearch引擎根据用户的查询请求对Fluentd组件收集到的数据进行提取；
S4）数据处理模块依照预定义结构体对象的属性对步骤S3）中提取到的数据进行处理并形成属性与属性值的关系，进而形成新数据；
S5）展示模块将步骤S4）中形成的新数据展示在可视化界面上。
7.根据权利要求6所述的方法，其特征在于，在步骤S4）中，将新数据存入关系型数据库。
8.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6或7所述的方法。
9.计算机设备，包括可读存储介质、处理器以及存储在可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6或7所述的方法。
CN202310450361.5A 2023-04-25 2023-04-25 Dns日志数据定制化收集与可视化方法、系统、介质及设备 Pending CN116166631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310450361.5A CN116166631A (zh) 2023-04-25 2023-04-25 Dns日志数据定制化收集与可视化方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310450361.5A CN116166631A (zh) 2023-04-25 2023-04-25 Dns日志数据定制化收集与可视化方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN116166631A true CN116166631A (zh) 2023-05-26

Family

ID=86416711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310450361.5A Pending CN116166631A (zh) 2023-04-25 2023-04-25 Dns日志数据定制化收集与可视化方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN116166631A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293979A1 (en) * 2005-05-24 2006-12-28 Magnum Communications, Limited System and method for defining attributes, decision rules, or both, for remote execution, claim set i
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN110543517A (zh) * 2019-08-26 2019-12-06 汉纳森（厦门）数据股份有限公司 一种基于Elasticsearch实现海量数据复杂查询方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293979A1 (en) * 2005-05-24 2006-12-28 Magnum Communications, Limited System and method for defining attributes, decision rules, or both, for remote execution, claim set i
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN110543517A (zh) * 2019-08-26 2019-12-06 汉纳森（厦门）数据股份有限公司 一种基于Elasticsearch实现海量数据复杂查询方法、装置及介质

Similar Documents

Publication Publication Date Title
US11741089B1 (en) Interactive location queries for raw machine data
US11768811B1 (en) Managing user data in a multitenant deployment
US10848510B2 (en) Selecting network security event investigation timelines in a workflow environment
US11132111B2 (en) Assigning workflow network security investigation actions to investigation timelines
US10250628B2 (en) Storyboard displays of information technology investigative events along a timeline
US11803548B1 (en) Automated generation of metrics from log data
US11687413B1 (en) Data snapshots for configurable screen on a wearable device
CN110309264B (zh) 基于知识图谱获取地理产品数据的方法和装置
US11886430B1 (en) Intent-based natural language processing system
RU2343537C2 (ru) Компьютерный поиск с помощью ассоциативных связей
WO2019237532A1 (zh) 一种业务数据的监控方法、存储介质、终端设备及装置
US11755531B1 (en) System and method for storage of data utilizing a persistent queue
WO2008039542A2 (en) System and method of ad-hoc analysis of data
CN111339171B (zh) 数据查询的方法、装置及设备
US11579764B1 (en) Interfaces for data monitoring and event response
US11558412B1 (en) Interactive security visualization of network entity data
US11574429B1 (en) Automated generation of display layouts
US12112010B1 (en) Data visualization in an extended reality environment
JPWO2003042869A1 (ja) 情報検索支援装置、コンピュータプログラム、プログラム格納媒体
US11494381B1 (en) Ingestion and processing of both cloud-based and non-cloud-based data by a data intake and query system
US11861767B1 (en) Streaming data visualizations
KR20090037704A (ko) 직관적 이미지 검색을 위한 이미지의 메타 데이터 생성방법
US11893296B1 (en) Notification interface on a wearable device for data alerts
CN116166631A (zh) Dns日志数据定制化收集与可视化方法、系统、介质及设备
US11714698B1 (en) System and method for machine-learning based alert prioritization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination