CN112565232A - 一种基于模板和流量状态的日志解析方法及系统 - Google Patents

一种基于模板和流量状态的日志解析方法及系统 Download PDF

Info

Publication number
CN112565232A
CN112565232A CN202011372841.7A CN202011372841A CN112565232A CN 112565232 A CN112565232 A CN 112565232A CN 202011372841 A CN202011372841 A CN 202011372841A CN 112565232 A CN112565232 A CN 112565232A
Authority
CN
China
Prior art keywords
log
template
matching
library
weblog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011372841.7A
Other languages
English (en)
Other versions
CN112565232B (zh
Inventor
张云飞
勇明
侯永春
徐行之
华德峰
苏和
马益峰
陈昊
张兆君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maintenance Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Maintenance Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maintenance Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical Maintenance Branch of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202011372841.7A priority Critical patent/CN112565232B/zh
Publication of CN112565232A publication Critical patent/CN112565232A/zh
Application granted granted Critical
Publication of CN112565232B publication Critical patent/CN112565232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于模板和流量状态的日志解析方法及系统，包括：获取网络日志；通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志。优点：本发明能够解决现有网络安全监测装置解析日志能力有限的问题，进一步提高了网络日志的自动化解析能力，进而提高了整个系统的安全性。

Description

一种基于模板和流量状态的日志解析方法及系统
技术领域
本发明涉及一种基于模板和流量状态的日志解析方法及系统及系统，属于数据处理技术领域。
背景技术
网络安全监测装置部署于变电站或电厂，用于收集站内信息并将重要日志上送。在规范的实施过程中，对所接入设备的日志格式进行了规范。但是在实际存量变电站或电厂中，大量的网络设备或安防设备的日志并没有按照规范所定义的格式来发送，这就导致网络安全监测装置所能采集到的信息收到了限制。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于模板和流量状态的日志解析方法及系统及系统。
为解决上述技术问题，本发明提供一种基于模板和流量状态的日志解析方法，包括：
获取网络日志；
通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，
若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，
若匹配失败则输出原始日志，后续进行人工分析处理。
进一步的，所述获取网络日志的过程包括：
通过设置本机为syslog服务器来获取网络日志，或通过抓取交换机上的网络流量并获取514端口的UDP（用户数据报协议）报文来获取网络日志。
进一步的，所述通过预先确定的日志模板库对所述网络日志进行匹配判断的过程包括：
获取与所述网络日志相关的一类装置的日志范式化解析模板，根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
进一步的，所述流量状态实时库为网络中针对某个IP建立的网络状态行为特征库；
所述网络状态行为特征库中的特征为某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
进一步的， 还包括审核过程，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
一种基于模板和流量状态的日志解析系统，包括：
获取模块，用于获取网络日志；
匹配模块，用于通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志，后续进行人工分析处理。
进一步的，所述获取模块包括：
第一获取模块，用于通过设置本机为syslog服务器来获取网络日志；
第二获取模块，用于通过抓取交换机上的网络流量并获取514端口的UDP报文来获取网络日志。
进一步的，所述匹配模块包括：
日志模板库构建模块，用于获取与所述网络日志相关的一类装置的日志范式化解析模板；
判断模块，用于根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
进一步的，所述匹配模块包括：
网络状态行为特征获取模块，用于获取某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
进一步的，还包括审核模块，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
本发明所达到的有益效果：
本发明能够解决现有网络安全监测装置解析日志能力有限的问题，进一步提高了网络日志的自动化解析能力，进而提高了整个系统的安全性。
附图说明
图1是本发明的逻辑框图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
一种基于模板和流量状态的日志解析方法，如图1所示，包括如下步骤：
步骤1、通过设置syslog服务器或网络流量获取网络日志；
其中网络日志的获取可以通过设置本机为syslog（系统日志）服务器来接收日志，具体方法为打开本机的UDP（用户数据报协议） 514端口，并将相应设备的日志服务器地址指定为本机；或通过抓取交换机上的网络流量并获取514端口的UDP报文来获取日志。
步骤2、通过模板库对日志进行匹配，若匹配成功则输出解析日志，若匹配失败则进入步骤3；
日志的模板库通常为某一类装置（如linux主机）日志的范式化解析模板，匹配的过程可以通过关键字匹配或正则表达式匹配。通常操作系统的日志格式是有固定格式的，可以预先将此类格式固定的设备日志做成模板并导入模板库。
步骤3、从流量状态实时库中对日志进行匹配，若匹配失败则输出原始日志，若匹配成功则输出解析日志并进入步骤4；
流量状态实时库为网络中针对某个IP建立的网络状态行为特征库。网络状态行为特征既表示某一时刻网络连接、中断、正常交互的过程，也包括一段时间内的连接、流量特征。
匹配的过程以交换机的syslog事件为例，若交换机发出的syslog日志无法通过模板匹配，则在流量状态实时库中查看该交换机是否存在网络状态行为特征。譬如交换机在当前是否发生了一个基于http或https的连接，则该syslog很可能是一个登陆类事件。譬如交换机当前是否正遭受某种dos攻击，则该syslog很可能是一个dos攻击告警事件。
步骤4、将步骤3中通过流量状态匹配成功的日志形成模板并添加入模板库。
对于流量状态匹配成功的日志，自动形成模板，并添加入模板库。这个添加过程可以增加人工审核的过程以提高模板的正确率。
相应的本发明还提供一种基于模板和流量状态的日志解析系统，包括：
获取模块，用于获取网络日志；
匹配模块，用于通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志。
所述获取模块包括：
第一获取模块，用于通过设置本机为syslog（系统日志）服务器来获取网络日志；
第二获取模块，用于通过抓取交换机上的网络流量并获取514端口的UDP（用户数据报协议）报文来获取网络日志。
所述匹配模块包括：
日志模板库构建模块，用于获取与所述网络日志相关的一类装置的日志范式化解析模板；
判断模块，用于根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
所述匹配模块包括：
网络状态行为特征获取模块，用于获取某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
还包括审核模块，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行人工审核，人工审核通过后再添加到日志模板库中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于模板和流量状态的日志解析方法，其特征在于，包括：
获取网络日志；
通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，
若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，
若匹配失败则输出原始日志，后续进行人工分析处理。
2.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述获取网络日志的过程包括：
通过设置本机为syslog服务器来获取网络日志，或通过抓取交换机上的网络流量并获取514端口的UDP报文来获取网络日志。
3.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述通过预先确定的日志模板库对所述网络日志进行匹配判断的过程包括：
获取与所述网络日志相关的一类装置的日志范式化解析模板，根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
4.根据权利要求1所述的基于模板和流量状态的日志解析方法，其特征在于，所述流量状态实时库为网络中针对某个IP建立的网络状态行为特征库；
所述网络状态行为特征库中的特征为某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
5.根据权利要求4所述的基于模板和流量状态的日志解析方法，其特征在于，还包括审核过程，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
6.一种基于模板和流量状态的日志解析系统，其特征在于，包括：
获取模块，用于获取网络日志；
匹配模块，用于通过预先确定的日志模板库对所述网络日志进行匹配判断，若匹配成功则输出解析日志，若匹配失败则通过流量状态实时库继续对网络日志进行匹配判断，若匹配成功则输出解析日志，并将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库，若匹配失败则输出原始日志，后续进行人工分析处理。
7.根据权利要求6所述的基于模板和流量状态的日志解析系统，其特征在于，所述获取模块包括：
第一获取模块，用于通过设置本机为syslog服务器来获取网络日志；
第二获取模块，用于通过抓取交换机上的网络流量并获取514端口的UDP报文来获取网络日志。
8.根据权利要求6所述的基于模板和流量状态的日志解析系统，其特征在于，所述匹配模块包括：
日志模板库构建模块，用于获取与所述网络日志相关的一类装置的日志范式化解析模板；
判断模块，用于根据范式化解析模板通过关键字匹配或正则表达式匹配进行匹配判断。
9.根据权利要求6所述的基于模板和流量状态的日志解析系统，其特征在于，所述匹配模块包括：
网络状态行为特征获取模块，用于获取某一时刻网络连接、中断、正常交互的过程或一段时间内的连接、流量特征。
10.根据权利要求6所述的基于模板和流量状态的日志解析方法，其特征在于， 还包括审核模块，用于在将流量状态实时库匹配成功的日志自动形成模板添加到日志模板库之前进行审核，审核通过后再添加到日志模板库中。
CN202011372841.7A 2020-11-30 2020-11-30 一种基于模板和流量状态的日志解析方法及系统 Active CN112565232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011372841.7A CN112565232B (zh) 2020-11-30 2020-11-30 一种基于模板和流量状态的日志解析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011372841.7A CN112565232B (zh) 2020-11-30 2020-11-30 一种基于模板和流量状态的日志解析方法及系统

Publications (2)

Publication Number Publication Date
CN112565232A true CN112565232A (zh) 2021-03-26
CN112565232B CN112565232B (zh) 2022-05-13

Family

ID=75045302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011372841.7A Active CN112565232B (zh) 2020-11-30 2020-11-30 一种基于模板和流量状态的日志解析方法及系统

Country Status (1)

Country Link
CN (1) CN112565232B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277365A (zh) * 2022-07-27 2022-11-01 时趣互动（北京）科技有限公司 一种基于web的网络设备日志流量分析方法及装置
CN115658637A (zh) * 2022-12-26 2023-01-31 北京六方云信息技术有限公司 日志范式化处理方法、装置、存储介质及处理器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286891A (zh) * 2008-05-30 2008-10-15 杭州华三通信技术有限公司 系统日志解析方法及装置
US7818274B1 (en) * 2006-09-20 2010-10-19 Cisco Technology, Inc. Automatic generation of event-handling rules from system log entries
CN107992490A (zh) * 2016-10-26 2018-05-04 华为技术有限公司 一种数据处理方法以及数据处理设备
CN110377576A (zh) * 2019-07-24 2019-10-25 中国工商银行股份有限公司 创建日志模板的方法和装置、日志分析方法
CN111435343A (zh) * 2019-01-15 2020-07-21 北京大学 计算机系统日志模板的自动生成和在线更新方法与系统
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818274B1 (en) * 2006-09-20 2010-10-19 Cisco Technology, Inc. Automatic generation of event-handling rules from system log entries
CN101286891A (zh) * 2008-05-30 2008-10-15 杭州华三通信技术有限公司 系统日志解析方法及装置
CN107992490A (zh) * 2016-10-26 2018-05-04 华为技术有限公司 一种数据处理方法以及数据处理设备
CN111435343A (zh) * 2019-01-15 2020-07-21 北京大学 计算机系统日志模板的自动生成和在线更新方法与系统
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN110377576A (zh) * 2019-07-24 2019-10-25 中国工商银行股份有限公司 创建日志模板的方法和装置、日志分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277365A (zh) * 2022-07-27 2022-11-01 时趣互动（北京）科技有限公司 一种基于web的网络设备日志流量分析方法及装置
CN115658637A (zh) * 2022-12-26 2023-01-31 北京六方云信息技术有限公司 日志范式化处理方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
CN112565232B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110855676B (zh) 网络攻击的处理方法、装置及存储介质
CN113645065B (zh) 基于工业互联网的工控安全审计系统及其方法
CN111030857A (zh) 网络告警方法、装置、系统与计算机可读存储介质
CN112565232B (zh) 一种基于模板和流量状态的日志解析方法及系统
CN109005162B (zh) 工控系统安全审计方法及装置
CN109587125B (zh) 一种网络安全大数据分析方法、系统及相关装置
CN108337266B (zh) 一种高效的协议客户端漏洞发掘方法与系统
CN108241580B (zh) 客户端程序的测试方法及终端
CN111917777A (zh) 网络数据解析方法、装置和电子设备
CN111866016A (zh) 日志的分析方法及系统
CN114465741B (zh) 一种异常检测方法、装置、计算机设备及存储介质
CN107168844B (zh) 一种性能监控的方法及装置
CN110941632A (zh) 一种数据库审计方法、装置及设备
CN112350854A (zh) 一种流量故障定位方法、装置、设备及存储介质
CN111682642A (zh) 面向轻量级智能变电站信息异常性检测系统及其方法
CN110784486A (zh) 一种工业漏洞扫描方法和系统
CN107707549B (zh) 一种自动提取应用特征的装置及方法
US20160205118A1 (en) Cyber black box system and method thereof
CN111698168B (zh) 消息处理方法、装置、存储介质及处理器
CN117254983A (zh) 涉诈网址检测方法、装置、设备及存储介质
CN114531345A (zh) 流量比对结果存储方法、装置、设备及存储介质
CN113285824B (zh) 一种监控网络配置命令安全性的方法及装置
CN115712552A (zh) 一种api和数据库的关联审计方法及系统
CN113031569B (zh) 一种核聚变控制系统的监听方法、系统、终端及介质
CN112910842B (zh) 一种基于流量还原的网络攻击事件取证方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant