CN114793193A - 一种网络安全日志的快速关联分类及分级存储方法 - Google Patents

一种网络安全日志的快速关联分类及分级存储方法 Download PDF

Info

Publication number
CN114793193A
CN114793193A CN202210437117.0A CN202210437117A CN114793193A CN 114793193 A CN114793193 A CN 114793193A CN 202210437117 A CN202210437117 A CN 202210437117A CN 114793193 A CN114793193 A CN 114793193A
Authority
CN
China
Prior art keywords
log
logs
information
message
log information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210437117.0A
Other languages
English (en)
Inventor
杨晶亮
涂明
沈圳
王振邦
周嘉宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dongsheng Data Co ltd
Original Assignee
Shenzhen Dongsheng Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dongsheng Data Co ltd filed Critical Shenzhen Dongsheng Data Co ltd
Priority to CN202210437117.0A priority Critical patent/CN114793193A/zh
Publication of CN114793193A publication Critical patent/CN114793193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种网络安全日志的快速关联分类及分级存储方法，包括如下步骤：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；通过日志中的流、事务信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志；对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。本发明技术方案解决Json日志格式输出的性能问题。

Description

一种网络安全日志的快速关联分类及分级存储方法
技术领域
本发明涉及数据通信技术领域，特别涉及一种网络安全日志的快速关联分类及分级存储方法。
背景技术
在网络安全领域，网络安全设备如IPS/IDS设备在对现网接入流量分析时，可以根据设备所下发的安全检测规则，对流量进行深度分析，发现存在的攻击行为、登陆异常、入侵行为等行为，然后通过设备自身的日志系统记录下这些行为的相关告警信息、流信息、应用信息、报文信息、附件等信息，供后面日志审计系统查询或者取证。
在IPS/IDS设备中其中日志输出方式有很多种，如输出到Syslog、输出到Redis、以及输出到日志文件，其中比较常见的是输出日志文件。日志文件包括很多种日志：告警日志，报文日志，关联流日志，应用元数据日志等，这些日志通过Json格式输出到不同的日志文件中。设备中每条日志都会在日志文件中输出一条信息(告警、关联流、应用元数据日志)，或者产生一个日志文件(报文和文件附件日志)。
Json格式日志文件有比较好的可读性，但是在高速网络安全设备中输出Json格式日志有其固有的缺点：
如果输出日志条目数比较多(告警、关联流、应用元数据日志)，输出性能就不高，不停的文件IO操作影响输出性能；
如果输出日志文件数比较多(报文和文件附件日志)，输出同样受存储器件IO操作性能影响；
这些日志信息本来可以相互关联的，现在直接输出然后交给后端日志审计系统去关联，可能会降低后端系统性能；
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的主要目的是提出一种网络安全日志的快速关联分类及分级存储方法，旨在解决Json日志格式输出的性能问题。
为实现上述目的，本发明提出的一种网络安全日志的快速关联分类及分级存储方法，包括如下步骤：
S1：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；
S2：通过日志中的流、事务信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志；
S3：对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。
优选地，步骤S1中，定义日志模板具体为定义输出日志中的关键词。
优选地，步骤S2中，具体关联流程包括：
接收各类日志消息，根据日志中的流信息查找关联表；
若查找到关联节点，则根据流信息创建新的关联节点；
若没有查找到关联节点，则将当前日志节点添加到查到到的关联节点列表里。
优选地，步骤S3中，具体输出过程包括：
判断关联节点收集日志是否完整，若未完整，则继续接收日志消息并关联，若完整，则进入下一步；
取得关联节点中的告警日志，并获取应用日志模板，解析并输出模板中的告警部分信息；
判断是否存在流日志，若存在，则取得关联节点中的流日志，解析并输出模板中的流部分信息，若不存在，则进行下一步；
判断是否存在应用日志，若存在，则取得关联节点中的对应应用事务的日志，解析并输出模板中的应用部分信息，若不存在，则进行下一步；
判断是否存在报文日志，若存在，则取得关联节点中的对应报文日志，解析并输出模板中的报文部分信息，若不存在，则进行下一步；
判断是否存在附件日志，若存在，则取得关联节点中的对应文件日志，解析并输出模板中的文件附件部分信息，若不存在，则进行下一步；
输出完整的告警日志信息。
优选地，步骤S3中，具体的分级存储过程包括：日志输出首先输出到第一级的内存文件系统上，当输出日志条目数到一定数目后将XML格式日志模板、日志数据文件、报文文件、文件附件打包；
日志打包完成后，将打包好的日志文件拷贝到第二级的带RAID SSD/HD存储系统上。
与现有技术相比，本发明的有益效果是：从离散的输出Json格式的告警、关联流、应用元数据、报文和文件附件日志，到通过快速关联后输出的模板化的整合日志，可以有效的减少日志输出的次数，从而减少文件IO操作，提升了日志输出的性能；
由于输出的日志是关联后完整的日志信息，而不需要后端日志审计系统再去做关联，从而节省了后端日志审计系统的关联工作，可以提升后端日志审计系统的性能；
打包分级存储日志的方法在一级内存系统完成高密度日志输出的IO操作，相对于在存储磁盘完成日志输出打包性能得到大大的提升，打包后的日志被拷贝到二级存储系统，这样可能10000多条日志仅需要一次文件拷贝操作，大大节省了日志输出的文件IO操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明步骤S2中具体关联流程示意图；
图2为本发明步骤S3中具体输出过程流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本实施例提出的一种网络安全日志的快速关联分类及分级存储方法，包括如下步骤：
S1：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；
具体地，模板样例如下：
<？xml version＝"1.0"encoding＝"UTF-8"？>
<ITEM key＝"0811001"jname＝"userid"eng＝"userid"chn＝""rmk＝""pv＝"16780801"sw＝"1"/>
<ITEM key＝"0811002"jname＝"ruleid"eng＝"ruleid"chn＝""rmk＝""pv＝"16780801"sw＝"1"/>
<ITEM key＝"0811003"jname＝"type"eng＝"type"chn＝""rmk＝""pv＝"16780801"sw＝"1"/>
<ITEM key＝"0811004"jname＝"timestamp"eng＝"timestamp"chn＝""rmk＝""pv＝"16780802"sw＝"1"/>
<ITEM key＝"0811005"jname＝"flow_id"eng＝"flow_id"chn＝""rmk＝""pv＝"16780805"sw＝"1"/>
<ITEM key＝"0811006"jname＝"rule"eng＝"rule"chn＝""rmk＝""pv＝"16780806"sw＝"1"/>
<GROUP key＝"0811010"jname＝"ip"eng＝"ipp"chn＝""rmk＝""pv＝"16780806">
<ITEM key＝"0811011"jname＝"srcAddr"eng＝"srcAddr"chn＝""rmk＝""pv＝"16780806"sw＝"1"/>
<ITEM key＝"0811012"jname＝"dstAddr"eng＝"dstAddr"chn＝""rmk＝""pv＝"16780806"sw＝"1"/>
<ITEM key＝"0811013"jname＝"srcPort"eng＝"srcPort"chn＝""rmk＝""pv＝"16780806"sw＝"1"/>
<ITEM key＝"0811014"jname＝"dstPort"eng＝"dstPort"chn＝""rmk＝""pv＝"16780806"sw＝"1"/>
...
</GROUP>
S2：通过日志中的流(flow id)、事务(transaction id)信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志，定义日志模板具体为定义输出日志中的关键词；具体关联流程参考图1，包括：
接收各类日志消息，根据日志中的流信息(flow id)查找关联表；
若查找到关联节点，则根据流信息(flow id)创建新的关联节点；
若没有查找到关联节点，则将当前日志节点添加到查到到的关联节点列表里。
S3：对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值(value域)；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。
进一步地，步骤S3中，具体输出过程包括：
判断关联节点收集日志是否完整，若未完整，则继续接收日志消息并关联，若完整，则进入下一步；
取得关联节点中的告警日志，并获取应用日志模板，解析并输出模板中的告警部分信息；
判断是否存在流日志，若存在，则取得关联节点中的流日志，解析并输出模板中的流部分信息，若不存在，则进行下一步；
判断是否存在应用日志，若存在，则取得关联节点中的对应应用事务的日志，解析并输出模板中的应用部分信息，若不存在，则进行下一步；
判断是否存在报文日志，若存在，则取得关联节点中的对应报文日志，解析并输出模板中的报文部分信息，若不存在，则进行下一步；
判断是否存在附件日志，若存在，则取得关联节点中的对应文件日志，解析并输出模板中的文件附件部分信息，若不存在，则进行下一步；
输出完整的告警日志信息。
进一步地，步骤S3中，具体的分级存储过程包括：日志输出首先输出到第一级的内存文件系统上，当输出日志条目数到一定数目(如10000条)后将XML格式日志模板、日志数据文件、报文文件、文件附件打包；
日志打包完成后，将打包好的日志文件拷贝到第二级的带RAID SSD/HD存储系统上。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种网络安全日志的快速关联分类及分级存储方法，其特征在于，包括如下步骤：
S1：根据应用元数据的不同定义XML格式日志模板，日志模板包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息；
S2：通过日志中的流、事务信息将告警日志、关联流日志、应用元数据日志、报文日志和文件附件日志关联在一起，每条告警日志输出一条完整的日志；
S3：对日志进行分级存储机制输出，包括告警日志信息，关联流日志信息，应用元数据日志信息，报文日志信息，文件附件日志信息中的值；分级存储机制采用两级，第一级采用内存文件系统，第二级采用带RAID SSD/HD存储系统。
2.如权利要求1所述的网络安全日志的快速关联分类及分级存储方法，其特征在于，步骤S1中，定义日志模板具体为定义输出日志中的关键词。
3.如权利要求1所述的网络安全日志的快速关联分类及分级存储方法，其特征在于，步骤S2中，具体关联流程包括：
接收各类日志消息，根据日志中的流信息查找关联表；
若查找到关联节点，则根据流信息创建新的关联节点；
若没有查找到关联节点，则将当前日志节点添加到查到到的关联节点列表里。
4.如权利要求1所述的网络安全日志的快速关联分类及分级存储方法，其特征在于，步骤S3中，具体输出过程包括：
判断关联节点收集日志是否完整，若未完整，则继续接收日志消息并关联，若完整，则进入下一步；
取得关联节点中的告警日志，并获取应用日志模板，解析并输出模板中的告警部分信息；
判断是否存在流日志，若存在，则取得关联节点中的流日志，解析并输出模板中的流部分信息，若不存在，则进行下一步；
判断是否存在应用日志，若存在，则取得关联节点中的对应应用事务的日志，解析并输出模板中的应用部分信息，若不存在，则进行下一步；
判断是否存在报文日志，若存在，则取得关联节点中的对应报文日志，解析并输出模板中的报文部分信息，若不存在，则进行下一步；
判断是否存在附件日志，若存在，则取得关联节点中的对应文件日志，解析并输出模板中的文件附件部分信息，若不存在，则进行下一步；
输出完整的告警日志信息。
5.如权利要求1所述的网络安全日志的快速关联分类及分级存储方法，其特征在于，步骤S3中，具体的分级存储过程包括：日志输出首先输出到第一级的内存文件系统上，当输出日志条目数到一定数目后将XML格式日志模板、日志数据文件、报文文件、文件附件打包；
日志打包完成后，将打包好的日志文件拷贝到第二级的带RAID SSD/HD存储系统上。
CN202210437117.0A 2022-04-22 2022-04-22 一种网络安全日志的快速关联分类及分级存储方法 Pending CN114793193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210437117.0A CN114793193A (zh) 2022-04-22 2022-04-22 一种网络安全日志的快速关联分类及分级存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210437117.0A CN114793193A (zh) 2022-04-22 2022-04-22 一种网络安全日志的快速关联分类及分级存储方法

Publications (1)

Publication Number Publication Date
CN114793193A true CN114793193A (zh) 2022-07-26

Family

ID=82462631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210437117.0A Pending CN114793193A (zh) 2022-04-22 2022-04-22 一种网络安全日志的快速关联分类及分级存储方法

Country Status (1)

Country Link
CN (1) CN114793193A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179436A (zh) * 2007-11-23 2008-05-14 上海华为技术有限公司 实现调试日志的关联方法及装置
CN106209455A (zh) * 2016-07-11 2016-12-07 税友软件集团股份有限公司 一种跨系统弱耦合的关联业务故障定位方法及系统
CN107622068A (zh) * 2016-07-14 2018-01-23 深圳联友科技有限公司 一种基于json格式的日志管理方法及装置
CN110096521A (zh) * 2019-04-29 2019-08-06 顶象科技有限公司 日志信息处理方法及装置
CN110389933A (zh) * 2019-07-01 2019-10-29 京信通信系统（中国）有限公司 一种进程间的日志管理方法及装置
CN111737207A (zh) * 2020-06-19 2020-10-02 北京金山云网络技术有限公司 展示、归集分布式系统中服务节点的日志的方法和装置
CN111930305A (zh) * 2020-07-24 2020-11-13 北京金山云网络技术有限公司 数据的存储方法和装置、存储介质、电子装置
CN112468347A (zh) * 2020-12-14 2021-03-09 中国科学院信息工程研究所 一种云平台的安全管理方法、装置、电子设备及存储介质
CN112527747A (zh) * 2020-12-23 2021-03-19 安徽航天信息有限公司 一种日志模板配置、展示方法及装置
CN113918412A (zh) * 2021-09-22 2022-01-11 上海漫道科技有限公司 一种实时异常日志分析方法及系统
US20220066998A1 (en) * 2020-08-26 2022-03-03 Vmware, Inc. Methods and systems that identify computational-entity transactions and corresponding log/event-message traces from streams and/or collections of log/event messages

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179436A (zh) * 2007-11-23 2008-05-14 上海华为技术有限公司 实现调试日志的关联方法及装置
CN106209455A (zh) * 2016-07-11 2016-12-07 税友软件集团股份有限公司 一种跨系统弱耦合的关联业务故障定位方法及系统
CN107622068A (zh) * 2016-07-14 2018-01-23 深圳联友科技有限公司 一种基于json格式的日志管理方法及装置
CN110096521A (zh) * 2019-04-29 2019-08-06 顶象科技有限公司 日志信息处理方法及装置
CN110389933A (zh) * 2019-07-01 2019-10-29 京信通信系统（中国）有限公司 一种进程间的日志管理方法及装置
CN111737207A (zh) * 2020-06-19 2020-10-02 北京金山云网络技术有限公司 展示、归集分布式系统中服务节点的日志的方法和装置
CN111930305A (zh) * 2020-07-24 2020-11-13 北京金山云网络技术有限公司 数据的存储方法和装置、存储介质、电子装置
US20220066998A1 (en) * 2020-08-26 2022-03-03 Vmware, Inc. Methods and systems that identify computational-entity transactions and corresponding log/event-message traces from streams and/or collections of log/event messages
CN112468347A (zh) * 2020-12-14 2021-03-09 中国科学院信息工程研究所 一种云平台的安全管理方法、装置、电子设备及存储介质
CN112527747A (zh) * 2020-12-23 2021-03-19 安徽航天信息有限公司 一种日志模板配置、展示方法及装置
CN113918412A (zh) * 2021-09-22 2022-01-11 上海漫道科技有限公司 一种实时异常日志分析方法及系统

Similar Documents

Publication Publication Date Title
Vaarandi A data clustering algorithm for mining patterns from event logs
CN108549814A (zh) 一种基于机器学习的sql注入检测方法、数据库安全系统
CN106936812B (zh) 一种云环境下基于Petri网的文件隐私泄露检测方法
Yusof et al. Intrusion alert correlation technique analysis for heterogeneous log
US11533373B2 (en) Global iterative clustering algorithm to model entities&#39; behaviors and detect anomalies
Singh et al. Sql injection detection and correction using machine learning techniques
CN113965389B (zh) 一种基于防火墙日志的网络安全管理方法、设备及介质
CN109088903A (zh) 一种基于流式的网络异常流量检测方法
CN112463553A (zh) 一种基于普通告警关联分析智能告警的系统与方法
Wang et al. A Log‐Based Anomaly Detection Method with Efficient Neighbor Searching and Automatic K Neighbor Selection
CN110602030A (zh) 网络入侵阻断方法、服务器及计算机可读介质
CN115982012A (zh) 一种接口管理能力成熟度的评估模型及方法
CN113904881A (zh) 一种入侵检测规则误报处理方法和装置
Skopik et al. Smart Log Data Analytics
CN113114691B (zh) 一种网络入侵检测方法、系统、设备和可读存储介质
CN113051552A (zh) 一种异常行为检测方法和装置
CN117874662A (zh) 基于图模式的微服务日志异常检测方法
CN111049839B (zh) 一种异常检测方法、装置、存储介质及电子设备
Copstein et al. Log abstraction for information security: Heuristics and reproducibility
CN114793193A (zh) 一种网络安全日志的快速关联分类及分级存储方法
WO2016173327A1 (zh) 用于检测网站攻击的方法和设备
CN113032774B (zh) 异常检测模型的训练方法、装置、设备及计算机存储介质
Chen et al. Detecting and identifying system changes in the cloud via discovery by example
CN112860637A (zh) 一种基于审计策略来处理日志的方法及系统
CN112597498A (zh) 一种webshell的检测方法、系统、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination