CN109309587A - 一种日志采集方法及系统 - Google Patents

一种日志采集方法及系统 Download PDF

Info

Publication number
CN109309587A
CN109309587A CN201811173956.6A CN201811173956A CN109309587A CN 109309587 A CN109309587 A CN 109309587A CN 201811173956 A CN201811173956 A CN 201811173956A CN 109309587 A CN109309587 A CN 109309587A
Authority
CN
China
Prior art keywords
log
collection method
multinode
log collection
configuration parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811173956.6A
Other languages
English (en)
Inventor
许祥宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Netan Technology Co Ltd
Original Assignee
Guangdong Netan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Netan Technology Co Ltd filed Critical Guangdong Netan Technology Co Ltd
Priority to CN201811173956.6A priority Critical patent/CN109309587A/zh
Publication of CN109309587A publication Critical patent/CN109309587A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/085—Retrieval of network configuration; Tracking network configuration history
    • H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
    • H04L41/0856—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information by backing up or archiving configuration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种日志采集方法及系统。所述的日志采集方法包括：根据用户操作前端界面填写内容，获得配置参数；根据获得的配置参数，分类过滤资产日志；根据配置文件内的信息，将分类过滤后的日志全量转出；将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。本发明所述的日志采集方法支持多种类型设备的采集方法，做到全方位多维度日志审计，以树状节点文本存储，方便程序调用，利于程序后续解析和存证。

Description

一种日志采集方法及系统
技术领域
本发明涉及日志处理相关技术领域，尤其是一种日志采集方法及系统。
背景技术
在一个完整的信息系统里面，日志是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志的重要地位尤甚，可以说是安全审计方面最主要的工具之一。日志的采集便于审计、存证，本发明提供了一种日志的采集方法及系统。
在现有技术中，网络日志采集主要为被动传输为主、无差别全量提取的日志采集方式。被动传输采集，即日志发送端和日志接收端的C/S模式，常见的如SNMP、syslog、FTP、SFTP等；使用日志代理采集的方式以实现日志的格式初始化、将客户端指定目录下的日志数据全量接收并转发给日志服务器，最后存放于文件系统中。
这种方法的缺陷或不足是：日志采集方式较为单一，被动传输日志的方式虽可适应一般的生产环境，但对于高精度高准度的安全生产环境下，此方式将失去其数据的可信价值，因为C/S架构下的发送端容易受网络波动的影响，若仅仅以被动传输的方式收集日志，当网络环境不稳定，造成网络中断、网络卡顿的情况，将使得日志传输过程丢包率骤升，甚至直接断开C/S模式下的socket连接，最后造成不可挽回的损失。无差别全量收集日志，容易产生较多无关审计价值的日志，当攻击者施加混淆目的，大量发送数据包给日志服务器，容易出现服务宕机、加大审计难度的问题。收集到的日志数据没有以结构化来存储，造成分类混乱，文本检索速度慢。
发明内容：
本发明所要解决的技术问题是，提供一种日志采集方法及系统。所述的日志采集方法及系统做到了全方位多维度日志审计，存储方法方便程序做数据调用，有利于程序做后续解析和存证。
本发明所要解决的上述技术问题，通过如下技术方案予以解决：
一种日志采集方法，其包括：
根据用户操作前端界面填写内容，获得配置参数；
根据获得的配置参数，分类过滤资产日志；
根据配置文件内的信息，将分类过滤后的日志全量转出；
将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。
优选地，以多节点分流的形式存储前，还包括：
对日志内容做预定义处理，识别日志协议的格式，过滤丢弃无用的数据包，保留的日志原文以时间节点做换行处理。
优选地，所述的日志全量转出是通过指定端口将数据转出，并开启端口监听线程。
优选地，所述多节点分流形式是通过多节点分流型服务端，将日志流量做信息分流处理，分为：存储流和解析流。采用多节点分流型的日志接收服务端程序，将日志文本以目录树的结构存储在文件系统中，同时能够将数据流实时与系统前台进行交互，达到实时展示数据的目的。
进一步优选地，所述存储流，是将日志流量按照不同来源进行标识，分类分目录存放于文件系统中，形成“目录结构树”。方便后续的程序调用，有利于提高检索速度。
进一步优选地，所述解析流，是将日志流量信息以输入流的形式传入日志接收器中处理成结构化数据。由于是数据流的形式，省去了解析文本文件的过程，大大加快了日志解析的速率。数据流可以通过程序方便地过滤筛选出需要的内容信息，并丢弃赘余无意义的文本。保证了数据的实时性要求。
进一步优选地，所述形成的目录结构树，是采用多级遍历树的方式进行查找，提高查询校验的准确性和可扩展性。
进一步优选地，分类分目录存放并可根据需要，定义第二级目录的标识，存放日志的原文。
本发明还提供一种日志采集系统，其包括：
获取单元，所述的获取单元用于根据操作前端界面填写的信息获得配置参数；
过滤单元，所述的过滤单元用于根据配置参数，有效分类过滤资产日志；
转出单元，所述的转出单元用于根据配置文件内的信息，将分类过滤后的日志全量转出；
存储单元，所述的存储单元用于将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。
进一步优选地，所述的日志采集系统还包括：
预定义处理单元，所述的预处理单元用于识别日志协议格式，过滤丢弃无用的数据包。
本发明的有益效果是：支持多种类型设备的采集方法，真正做到全方位多维度日志审计；采用树状节点文本存储，方便程序做数据调用，如：数据聚合统计和文本检索；采用日志解析方法，可解析杂乱文本，利用程序做后续解析与存证。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明所述的日志采集的流程示意图；
图2是本发明所述的日志采集系统的结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本流程，因此其仅显示与本发明有关的流程。
如图1所示，本发明一种日志采集方法，所述的方法具体为：
101. 根据用户操作前端界面填写内容，获得配置参数；
102. 根据获得的配置参数，分类过滤资产日志；
103. 根据配置文件内的信息，将分类过滤后的日志全量转出；
104. 将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。
步骤101，具体的根据用户操作前端界面输入的IP地址、资产名称、选择资产类型等信息，获得配置参数。其中，配置参数包含：资产IP、资产类型、资产型号、资产是否属于内网或外网、资产供应商、资产名字。
步骤102，根据获得的配置参数有效分类过滤资产日志。
步骤103，根据配置文件内的信息，从指定路径下将分类过滤后的日志全量转出，并对转出的日志做预定义处理，有效识别日志协议的格式，如syslog日志的pri标签，SNMP的trap参数等，过滤丢弃无用的数据包。
步骤104，将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。具体的，存储流先将日志流量按照不同的来源进行标识，然后分类分目录存放于文件系统中，形成一颗“目录结构树”，并且采用多级遍历树的方式。可根据需要，定义第二级目录的标识，如：获取日志的日期。日期最后一级则为具体时间的文本文件，存放日志的原文。
如图2所示，本发明提供了一种日志采集系统
201.获取单元：根据操作前端界面填写的信息获得配置参数；
202.过滤单元：根据配置参数，有效分类过滤资产日志；
203.转出单元：根据配置文件内的信息，将分类过滤后的日志全量转出；
205.存储单元：收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。
所述的日志采集系统还包括：
204.预定义处理单元：识别日志协议格式，过滤丢弃无用的数据包，保留的日志原文以时间节点做换行处理。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种日志采集方法，其特征在于，包括：
根据用户操作前端界面填写内容，获得配置参数；
根据获得的配置参数，分类过滤资产日志；
根据配置文件内的信息，将分类过滤后的日志全量转出；
将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。
2.根据权利要求1所述的日志采集方法，其特征在于，以多节点分流的形式存储前，还包括：
对日志内容做预定义处理，识别日志协议的格式，过滤丢弃无用的数据包。
3.根据权利要求1所述日志采集方法，其特征在于，所述的日志全量转出是通过指定端口将数据转出，并开启端口监听线程。
4.根据权利要求1所述日志采集方法，其特征在于，所述多节点分流形式是通过多节点分流型服务端，将日志流量做信息分流处理，分为：存储流和解析流。
5.根据权利要求4所述日志采集方法，其特征在于，所述存储流，是将日志流量按照不同来源进行标识，分类分目录存放于文件系统中，形成“目录结构树”。
6.根据权利要求4所述日志采集方法，其特征在于，所述解析流，是将日志流量信息以输入流的形式传入日志接收器中处理成结构化数据。
7.根据权利要求5所述日志采集方法，其特征在于，所述形成的目录结构树，采用多级遍历树的方式进行查找。
8.一种日志采集系统，其特征在于，包括：
获取单元，所述的获取单元用于根据操作前端界面填写的信息获得配置参数；
过滤单元，所述的过滤单元用于根据配置参数，有效分类过滤资产日志；
转出单元，所述的转出单元用于根据配置文件内的信息，分类过滤后的日志全量转出；
存储单元，所述的存储单元用于将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。
9.根据权利要求8所述的日志采集系统，其特征在于，还包括：
预定义处理单元，所述的预定义处理单元用于识别日志协议格式，过滤丢弃无用的数据包。
CN201811173956.6A 2018-10-09 2018-10-09 一种日志采集方法及系统 Pending CN109309587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811173956.6A CN109309587A (zh) 2018-10-09 2018-10-09 一种日志采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811173956.6A CN109309587A (zh) 2018-10-09 2018-10-09 一种日志采集方法及系统

Publications (1)

Publication Number Publication Date
CN109309587A true CN109309587A (zh) 2019-02-05

Family

ID=65225612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811173956.6A Pending CN109309587A (zh) 2018-10-09 2018-10-09 一种日志采集方法及系统

Country Status (1)

Country Link
CN (1) CN109309587A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110581780A (zh) * 2019-08-27 2019-12-17 杭州安恒信息技术股份有限公司 针对web服务器资产的自动识别方法
CN111030972A (zh) * 2019-03-29 2020-04-17 哈尔滨安天科技集团股份有限公司 一种资产信息管理及可视化展示的方法、装置及存储设备
CN112214800A (zh) * 2020-09-17 2021-01-12 新华三信息安全技术有限公司 基于区块链的日志数据分选存证方法及系统、设备、介质
CN112527617A (zh) * 2020-12-17 2021-03-19 四川长虹电器股份有限公司 一种安卓电视故障日志记录方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
CN107678933A (zh) * 2017-09-28 2018-02-09 中国平安人寿保险股份有限公司 日志生成管理方法、装置、设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、系统以及计算机可读存储介质
CN107678933A (zh) * 2017-09-28 2018-02-09 中国平安人寿保险股份有限公司 日志生成管理方法、装置、设备及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030972A (zh) * 2019-03-29 2020-04-17 哈尔滨安天科技集团股份有限公司 一种资产信息管理及可视化展示的方法、装置及存储设备
CN110581780A (zh) * 2019-08-27 2019-12-17 杭州安恒信息技术股份有限公司 针对web服务器资产的自动识别方法
CN110581780B (zh) * 2019-08-27 2022-10-21 杭州安恒信息技术股份有限公司 针对web服务器资产的自动识别方法
CN112214800A (zh) * 2020-09-17 2021-01-12 新华三信息安全技术有限公司 基于区块链的日志数据分选存证方法及系统、设备、介质
CN112527617A (zh) * 2020-12-17 2021-03-19 四川长虹电器股份有限公司 一种安卓电视故障日志记录方法

Similar Documents

Publication Publication Date Title
CN109309587A (zh) 一种日志采集方法及系统
CN105490854B (zh) 实时日志收集方法、系统和应用服务器集群
US10691748B2 (en) Methods and apparatus to process call packets collected in a communications network
CN106982150B (zh) 一种基于Hadoop的移动互联网用户行为分析方法
US20110125748A1 (en) Method and Apparatus for Real Time Identification and Recording of Artifacts
CN103595576B (zh) 一种基于内容提供商标识的互联口icp流量统计系统及方法
CN106330584B (zh) 一种业务流的识别方法及识别装置
CN107634848A (zh) 一种采集分析网络设备信息的系统和方法
CN105577411B (zh) 基于服务起源的云服务监控方法和装置
CN102882703A (zh) 一种基于http分析的url自动分类分级的系统及方法
CN103414608B (zh) 快速的web流量采集统计系统和方法
CN104022920A (zh) 一种lte网络流量识别系统及方法
GB2427490A (en) Network usage monitoring with standard message format
CN102035698A (zh) 基于决策树分类算法的http隧道检测方法
CN105072196B (zh) 分布式数据包存储、回溯方法及系统
CN108737549A (zh) 一种大数据量的日志分析方法及装置
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN106209431A (zh) 一种告警关联方法及网管系统
CN109344137A (zh) 一种日志存储方法及系统
CN106326280B (zh) 数据处理方法、装置及系统
CN109344138A (zh) 一种日志解析方法及系统
TWM594841U (zh) 封包擷取分析裝置及具有該封包擷取分析裝置之網路資安系統
CN107273554A (zh) 电梯智能监控系统与方法
CN110324327A (zh) 基于特定企业域名数据的用户及服务器ip地址标定装置及方法
CN104021348B (zh) 一种隐匿p2p程序实时检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205

RJ01 Rejection of invention patent application after publication