CN115221020A - 一种日志规则判定方法、系统、存储介质以及设备 - Google Patents
一种日志规则判定方法、系统、存储介质以及设备 Download PDFInfo
- Publication number
- CN115221020A CN115221020A CN202110432143.XA CN202110432143A CN115221020A CN 115221020 A CN115221020 A CN 115221020A CN 202110432143 A CN202110432143 A CN 202110432143A CN 115221020 A CN115221020 A CN 115221020A
- Authority
- CN
- China
- Prior art keywords
- log
- acquisition
- logs
- rule
- program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及计算机安全技术领域，具体涉及一种日志规则判定方法、系统、存储介质以及设备，所述方法包括将日志源的日志记录进行导出；对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；将日志规则判定方法推送到日志处理程序，形成日志接口；本发明将各类平台、系统、网络设备、安全设备等日志格式进行识别，为后端日志管理系统、安全管理系统等平台提供友好的日志输入，可以大大降低各类管理系统日志对接的难度；针对通用的日志规则判定，后期只需要对新增日志格式信息进行维护，便可以保持与各类分析平台、管理平台的兼容性；过程都由程序自动化执行，无需人为干预。
Description
技术领域
本发明涉及计算机安全技术领域，具体涉及一种日志规则判定方法、系统、存储介质以及设备。
背景技术
随着网络与信息技术不断发展，各类平台类系统、业务类系统、安全类系统以及路由器、交换机等网络设备和IPS、IDS、WAF等安全设备功能日益丰富，日志粒度越来越细。为了达到审计和监测目的，日志管理中心、安全管理中心等系统需要将各种日志归集以便用于存储和分析。
由于日志散落在各个系统和设备中，并且各系统和软硬件的厂商不同，日志规则和格式难免有所差异，对于日志统一存储和分析带来非常大的困难，如何快速判定日志规则和格式，成为各类基于日志数据的管理中心必须考虑的问题。
其中
平台类系统：向其他系统提供基础服务的信息系统。
业务类系统：为开展业务服务所使用的信息系统。
安全类系统：为保障网络空间安全相关业务所使用的信息系统。
网络安全监测装置：一种通过网络流量分析(旁路接入镜像流量)实现协议识别与解析、pcap数据包存储、流量信息回溯查询、威胁检测分析告警等功能的流量解析与安全监测设备，可提供文件还原、网络流量信息和威胁告警数据外发等服务。
IDS：入侵检测系统(Intrusion Detection System)
IP：网络之间互连的协议(Internet Protocol)
IPS：入侵防御系统(IntrusionPrevention System)
JSON：JavaScript对象表示法(JavaScript ObjectNotation)
MAC：媒体访问控制(MediaAccess Control)
NAT：网络地址转换(NetworkAddress Translation)
TOS：服务类型(Type OfService)
UDP协议：用户数据报协议(User Datagram Protocol)
UTC时间：世界统一时间(Coordinated Universal Time)
UTF-8编码：万国码(Unicode Transformation Format 8-bit)
WAF：WEB应用防火墙(WEB Application Firewall)
现有技术中，采用的解决方案为：
常用日志分类及日志集中存储方法如下：
1.常用日志分类级别
fatal-严重的，造成服务中断的错误；
error-其他错误运行期错误；
warn-警告信息，如程序调用了一个即将作废的接口，接口的不当使用，运行状态不是期望的但仍可继续处理等；
info-有意义的事件信息，如程序启动，关闭事件，收到请求事件等；
debug-调试信息，可记录详细的业务处理到哪一步了，以及当前的变量状态；
trace-更详细的跟踪信息；
2.通过syslog服务将日志发送到远程服务器进行存储。
3.目前各系统及软硬件厂商都遵从基本的日志分类原则，将日志按照日志信息的紧急程度和信息内容详细程度分级，但各家对日志的格式没有统一规范。日志管理中心对日志存储之前需要统一格式，现有技术方案是由各日志管理中心或安全管理中心厂商对特定的品牌产品的日志人工分析，定制性开发日志处理接口。
网络和安全设备发展较为迅速，日志内容更为丰富，虽然支持syslog方式存储在远程服务器，但是日志中的一些扩展信息无法被日志中心解析，而这些扩展信息却包含着非常重要的记录。
由厂商对系统及软硬件设备进行日志格式分析并开发日志接口，专业化程度高，但开发周期长，只适合定制，不利于用户在使用中自行维护。
发明内容
本发明所要解决的技术问题是：提供一种建立日志格式规则库，以正则方式对日志格式进行匹配，自动化判定日志规则和日志分析处理方法、系统、存储介质以及设备。
为了解决上述技术问题，本发明采用的第一种技术方案为：
一种日志规则判定方法，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
为了解决上述技术问题，本发明采用的第二种技术方案为：
一种日志规则判定系统，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
为了解决上述技术问题，本发明采用的第三种技术方案为：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的日志规则判定方法。
为了解决上述技术问题，本发明采用的第四种技术方案为：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的日志规则判定方法。
本发明的有益效果在于：
1、本方案将各类平台、系统、网络设备、安全设备等日志格式进行识别，为后端日志管理系统、安全管理系统等平台提供友好的日志输入，可以大大降低各类管理系统日志对接的难度；
2、针对通用的日志规则判定，后期只需要对新增日志格式信息进行维护，便可以保持与各类分析平台、管理平台的兼容性；
3、本方案全部过程都由程序自动化执行，一般无需人为干预。
附图说明
图1为本发明的一种日志规则判定方法应用在各类日志产生系统或软硬件设备的对接关系图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，一种日志规则判定方法，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
进一步的，在执行日志处理程序时对日志采集方式进行分类梳理；
所述分类梳理包括：UDP采集、WEBSERVICE采集、Agent采集、网卡抓包采集、Nmap采集以及消息总线监听采集。
进一步的，在执行日志处理程序时对日志进行分类，包括进程日志、端口日志、服务日志、主机安全事件日志、终端日志、流量告警日志、网络连接日志、包过滤防火墙日志、WAF日志、VPN日志、交换机日志、路由器日志、操作系统日志、数据库日志、中间件日志、平台类系统日志、业务系统日志、安全类系统日志、第三方软件日志以及通用格式日志。
一种日志规则判定系统，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
进一步的，在执行日志处理程序时对日志采集方式进行分类梳理；
所述分类梳理包括：UDP采集、WEBSERVICE采集、Agent采集、网卡抓包采集、Nmap采集以及消息总线监听采集。
进一步的，在执行日志处理程序时对日志进行分类，包括进程日志、端口日志、服务日志、主机安全事件日志、终端日志、流量告警日志、网络连接日志、包过滤防火墙日志、WAF日志、VPN日志、交换机日志、路由器日志、操作系统日志、数据库日志、中间件日志、平台类系统日志、业务系统日志、安全类系统日志、第三方软件日志以及通用格式日志。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的日志规则判定方法。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的日志规则判定方法。
从上述描述可知：
1、本方案将各类平台、系统、网络设备、安全设备等日志格式进行识别，为后端日志管理系统、安全管理系统等平台提供友好的日志输入，可以大大降低各类管理系统日志对接的难度；
2、针对通用的日志规则判定，后期只需要对新增日志格式信息进行维护，便可以保持与各类分析平台、管理平台的兼容性；
3、本方案全部过程都由程序自动化执行，一般无需人为干预。
实施例一
一种日志规则判定方法，包括
将日志源(系统或设备)的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
在执行日志处理程序时对日志采集方式进行分类梳理；
所述分类梳理包括：UDP采集、WEBSERVICE采集、Agent采集、网卡抓包采集、Nmap采集以及消息总线监听采集。
其中：
UDP采集：适用于对实效要求高，但允许一定程度丢包的日志数据；
WEBSERVICE采集：适用于不允许丢包的日志数据；
Agent采集：通过在主机上安装Agent代理，使用Agent收集所需信息，适用于无法远程收集信息的数据；
网卡抓包采集：适用于直接对网卡抓取流量并还原流量内容，监测流量类数据；
Nmap采集：适用于通过Nmap扫描工具抓取数据；
消息总线监听采集：适用于受限环境下，通过消息总线进行消息监听。
在执行日志处理程序时对日志进行分类，包括进程日志、端口日志、服务日志、主机安全事件日志、终端日志、流量告警日志、网络连接日志、包过滤防火墙日志、WAF日志、VPN日志、交换机日志、路由器日志、操作系统日志、数据库日志、中间件日志、平台类系统日志、业务系统日志、安全类系统日志、第三方软件日志以及通用格式日志等。
实施例二
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述的日志规则判定方法。
实施例三
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求实施例一所述的日志规则判定方法。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种日志规则判定方法，其特征在于，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
2.根据权利要求1所述的日志规则判定方法，其特征在于，在执行日志处理程序时对日志采集方式进行分类梳理；
所述分类梳理包括：UDP采集、WEBSERVICE采集、Agent采集、网卡抓包采集、Nmap采集以及消息总线监听采集。
3.根据权利要求1所述的日志规则判定方法，其特征在于，在执行日志处理程序时对日志进行分类，包括进程日志、端口日志、服务日志、主机安全事件日志、终端日志、流量告警日志、网络连接日志、包过滤防火墙日志、WAF日志、VPN日志、交换机日志、路由器日志、操作系统日志、数据库日志、中间件日志、平台类系统日志、业务系统日志、安全类系统日志、第三方软件日志以及通用格式日志。
4.一种日志规则判定系统，其特征在于，包括
将日志源的日志记录进行导出；
对日志源的日志类型和字段通过正则表达式进行自动匹配，将原始日志与目标日志格式字段和内容进行一一对应；
将日志规则判定方法推送到日志处理程序，形成日志接口。
5.根据权利要求4所述的日志规则判定系统，其特征在于，在执行日志处理程序时对日志采集方式进行分类梳理；
所述分类梳理包括：UDP采集、WEBSERVICE采集、Agent采集、网卡抓包采集、Nmap采集以及消息总线监听采集。
6.根据权利要求4所述的日志规则判定系统，其特征在于，在执行日志处理程序时对日志进行分类，包括进程日志、端口日志、服务日志、主机安全事件日志、终端日志、流量告警日志、网络连接日志、包过滤防火墙日志、WAF日志、VPN日志、交换机日志、路由器日志、操作系统日志、数据库日志、中间件日志、平台类系统日志、业务系统日志、安全类系统日志、第三方软件日志以及通用格式日志。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-3任意一项所述的日志规则判定方法。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任意一项所述的日志规则判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432143.XA CN115221020A (zh) | 2021-04-21 | 2021-04-21 | 一种日志规则判定方法、系统、存储介质以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432143.XA CN115221020A (zh) | 2021-04-21 | 2021-04-21 | 一种日志规则判定方法、系统、存储介质以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115221020A true CN115221020A (zh) | 2022-10-21 |
Family
ID=83605681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110432143.XA Pending CN115221020A (zh) | 2021-04-21 | 2021-04-21 | 一种日志规则判定方法、系统、存储介质以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115221020A (zh) |
-
2021
- 2021-04-21 CN CN202110432143.XA patent/CN115221020A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10079843B2 (en) | Streaming method and system for processing network metadata | |
| US10356106B2 (en) | Detecting anomaly action within a computer network | |
| CN111800412B (zh) | 高级可持续威胁溯源方法、系统、计算机设备及存储介质 | |
| US20140059216A1 (en) | Methods and systems for network flow analysis | |
| EP3223495B1 (en) | Detecting an anomalous activity within a computer network | |
| CN109995582B (zh) | 基于实时状态的资产设备管理系统及方法 | |
| CN103795709A (zh) | 一种网络安全检测方法和系统 | |
| US20170295068A1 (en) | Logical network topology analyzer | |
| CN110958231A (zh) | 基于互联网的工控安全事件监测平台及其方法 | |
| US20180183714A1 (en) | Using a flow database to automatically configure network traffic visibility systems | |
| CN112217777A (zh) | 攻击回溯方法及设备 | |
| CN114124516A (zh) | 态势感知预测方法、装置及系统 | |
| CN111698168B (zh) | 消息处理方法、装置、存储介质及处理器 | |
| WO2020132949A1 (zh) | 用于工业控制系统的监测方法、装置、系统和计算机可读介质 | |
| CN116708253B (zh) | 设备识别方法、装置、设备及介质 | |
| CN114553546B (zh) | 基于网络应用的报文抓取的方法和装置 | |
| CN116723020A (zh) | 网络服务模拟方法、装置、电子设备及存储介质 | |
| KR102318686B1 (ko) | 개선된 네트워크 보안 방법 | |
| CN115221020A (zh) | 一种日志规则判定方法、系统、存储介质以及设备 | |
| CN115883574A (zh) | 工业控制网络中的接入设备识别方法及装置 | |
| Sourour et al. | Network security alerts management architecture for signature-based intrusions detection systems within a NAT environment | |
| CN112583817A (zh) | 网络震荡监测与预警方法、装置和介质 | |
| CN111698236A (zh) | 一种浏览器防泄密方法和系统 | |
| CN111953807B (zh) | 一种报文标识处理方法、装置及存储介质 | |
| CN116827698B (zh) | 一种网络关口流量安全态势感知系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |