CN112118252A - 一种用于网络监测的网络日志审计系统 - Google Patents

一种用于网络监测的网络日志审计系统 Download PDF

Info

Publication number
CN112118252A
CN112118252A CN202010972332.1A CN202010972332A CN112118252A CN 112118252 A CN112118252 A CN 112118252A CN 202010972332 A CN202010972332 A CN 202010972332A CN 112118252 A CN112118252 A CN 112118252A
Authority
CN
China
Prior art keywords
data
data packet
server
module
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010972332.1A
Other languages
English (en)
Inventor
廉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Changtai Information Security Service Co ltd
Original Assignee
Anhui Changtai Information Security Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Changtai Information Security Service Co ltd filed Critical Anhui Changtai Information Security Service Co ltd
Priority to CN202010972332.1A priority Critical patent/CN112118252A/zh
Publication of CN112118252A publication Critical patent/CN112118252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络安全监测，具体涉及一种用于网络监测的网络日志审计系统，包括服务器以及数据采集模块，服务器与用于存储数据采集模块采集文件数据的文件存储模块相连，服务器与用于存储数据采集模块采集日志数据的日志存储模块相连，服务器与用于将文件数据、日志数据整合成数据包的数据包整合模块相连；本发明提供的技术方案能够有效克服现有技术所存在的网络安全流量日志数据格式混乱而不便存储、存在大量重复冗余日志数据的缺陷。

Description

一种用于网络监测的网络日志审计系统
技术领域
本发明涉及网络安全监测，具体涉及一种用于网络监测的网络日志审计系统。
背景技术
网络流量日志记录着网络中发生的点点滴滴，通过分析网络流量日志，可以对网络环境中的安全事件进行定位和深入分析，发现网络内部用户的异常行为。目前，网络日志审计系统中，大多是根据协议类型、内容对网络流量进行分析和审计工作的。大多数的流量异常都是实时的，基于静态或动态阈值的时间窗口划分，对全网进行监控，这样不能对单个用户的周期性异常做出识别和判断，因此构建离线的网络日志审计系统是必要的。
网络安全流量日志的数据量非常庞大，如何才能有效存储、管理这些数据，不仅要考虑设备开销、可移植性等问题，同时也需要考虑到海量日志中包含的信息。GoogleMapReduce计算模型和GFS(Google Filesystem)技术的出现给海量数据的存储、处理提供了解决方案，Hadoop是这一技术的开源实现。利用Hadoop可以将普通计算机的存储能力和计算能力聚集起来，构建起Hadoop环境来提供强大的存储能力和大型计算能力。
然而，构建起Hadoop环境仍然不能从根本上解决网络安全流量日志数据格式的混乱，以及存在大量重复冗余日志数据的问题，如果能够在解决这些问题的前提下构建Hadoop环境，能够进一步提升网络安全流量日志的处理和审计速度。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种用于网络监测的网络日志审计系统，能够有效克服现有技术所存在的网络安全流量日志数据格式混乱而不便存储、存在大量重复冗余日志数据的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种用于网络监测的网络日志审计系统，包括服务器以及数据采集模块，所述服务器与用于存储数据采集模块采集文件数据的文件存储模块相连，所述服务器与用于存储数据采集模块采集日志数据的日志存储模块相连，所述服务器与用于将文件数据、日志数据整合成数据包的数据包整合模块相连；
所述服务器与用于对数据包进行解析的数据包解析模块相连，所述服务器与用于存储历史日志数据内容特征的内容特征存储模块相连，所述服务器与用于提取解析数据包中日志数据内容特征的内容特征获取模块相连，所述服务器与用于对历史日志数据内容特征、数据包中日志数据内容特征进行比对的内容特征比对模块相连；
所述服务器与用于存储历史日志数据属性特征的属性特征存储模块相连，所述服务器与用于提取解析数据包中日志数据属性特征的属性特征获取模块相连，所述服务器与用于对历史日志数据属性特征、数据包中日志数据属性特征进行比对的属性特征比对模块相连，所述服务器与用于根据内容特征比对模块、属性特征比对模块的比对结果对数据包进行重复处理的数据包处理模块相连；
所述服务器与用于提取经过重复处理的数据包中的日志数据的日志提取模块相连，所述服务器与用于采集认证异常日志数据的异常日志采集模块相连，所述服务器与用于挖掘认证异常日志数据的异常特征的异常特征挖掘模块相连，所述服务器与用于根据异常特征对网络日志数据进行分析的网络日志分析模块相连。
优选地，所述日志数据中包含有相关文件数据的路径信息，所述数据包整合模块根据路径信息将日志数据及相关文件数据整合成数据包。
优选地，所述数据包整合模块根据路径信息从文件存储模块中调取文件数据后，所述文件存储模块将该文件数据删除。
优选地，还包括与服务器相连的用于从数据包的文件数据内容中提取该数据包对应索引信息的索引信息提取模块，以及与所述服务器相连的用于输入索引信息查询数据包的数据查询模块。
优选地，所述内容特征比对模块判断是否能够在内容特征存储模块中寻找到与解析数据包中日志数据内容特征完全相同的内容特征。
优选地，所述内容特征比对模块能够在历史日志数据内容特征中寻找到与解析数据包中日志数据内容特征完全相同的内容特征时，则所述数据包处理模块删除该数据包；
否则，所述内容特征比对模块将该数据包发送至属性特征获取模块。
优选地，所述属性特征比对模块判断是否能够在属性特征存储模块中寻找到与解析数据包中日志数据属性特征完全相同的属性特征。
优选地，所述属性特征比对模块能够在历史日志数据属性特征中寻找到与解析数据包中日志数据属性特征完全相同的属性特征时，则所述属性特征比对模块判断两个日志数据的生成间隔时间是否在阈值范围内；否则，所述数据包处理模块存储该数据包。
优选地，所述属性特征比对模块判断两个日志数据的生成间隔时间在阈值范围内时，所述数据包处理模块删除该数据包；否则，所述数据包处理模块存储该数据包。
优选地，所述内容特征包括日志数据初始字符、日志数据末尾字符、日志数据字符长度；所述属性特征包括日志数据的源ip、目的ip、源端口、目的端口。
(三)有益效果
与现有技术相比，本发明所提供的一种用于网络监测的网络日志审计系统，能够将日志数据，以及通过日志数据中的路径信息寻找到的相关文件数据整合成数据包的格式，便于进行集中存储；通过比对内容特征、属性特征能够找出重复冗余的数据包，并进行删除，能够从根本上有效提升日志数据的处理和审计速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于网络监测的网络日志审计系统，如图1所示，包括服务器以及数据采集模块，服务器与用于存储数据采集模块采集文件数据的文件存储模块相连，服务器与用于存储数据采集模块采集日志数据的日志存储模块相连，服务器与用于将文件数据、日志数据整合成数据包的数据包整合模块相连。
日志数据中包含有相关文件数据的路径信息，数据包整合模块根据路径信息将日志数据及相关文件数据整合成数据包，便于对日志数据进行集中存储，并且将日志数据及其相关文件数据整合成数据包，也便于进行网络安全问题的溯源。
数据包整合模块根据路径信息从文件存储模块中调取文件数据后，文件存储模块将该文件数据删除，能够保证文件存储模块的存储空间。
还包括与服务器相连的用于从数据包的文件数据内容中提取该数据包对应索引信息的索引信息提取模块，以及与服务器相连的用于输入索引信息查询数据包的数据查询模块。可以向数据查询模块输入数据查询模块，利用索引信息快速找到对应数据包。
服务器与用于对数据包进行解析的数据包解析模块相连，服务器与用于存储历史日志数据内容特征的内容特征存储模块相连，服务器与用于提取解析数据包中日志数据内容特征的内容特征获取模块相连，服务器与用于对历史日志数据内容特征、数据包中日志数据内容特征进行比对的内容特征比对模块相连；
服务器与用于存储历史日志数据属性特征的属性特征存储模块相连，服务器与用于提取解析数据包中日志数据属性特征的属性特征获取模块相连，服务器与用于对历史日志数据属性特征、数据包中日志数据属性特征进行比对的属性特征比对模块相连，服务器与用于根据内容特征比对模块、属性特征比对模块的比对结果对数据包进行重复处理的数据包处理模块相连。
本申请技术方案中，针对数据包整合模块整合后形成的数据包中存在重复冗余日志数据的问题，重复处理过程如下：
(1)内容特征比对模块判断是否能够在内容特征存储模块中寻找到与解析数据包中日志数据内容特征完全相同的内容特征：
内容特征比对模块能够在历史日志数据内容特征中寻找到与解析数据包中日志数据内容特征完全相同的内容特征时，则数据包处理模块删除该数据包；否则，内容特征比对模块将该数据包发送至属性特征获取模块；
(2)属性特征比对模块判断是否能够在属性特征存储模块中寻找到与解析数据包中日志数据属性特征完全相同的属性特征：
属性特征比对模块能够在历史日志数据属性特征中寻找到与解析数据包中日志数据属性特征完全相同的属性特征时，则属性特征比对模块判断两个日志数据的生成间隔时间是否在阈值范围内；否则，数据包处理模块存储该数据包；
(3)属性特征比对模块判断两个日志数据的生成间隔时间在阈值范围内时，数据包处理模块删除该数据包；否则，数据包处理模块存储该数据包。
上述内容中，内容特征包括日志数据初始字符、日志数据末尾字符、日志数据字符长度；属性特征包括日志数据的源ip、目的ip、源端口、目的端口。
服务器与用于提取经过重复处理的数据包中的日志数据的日志提取模块相连，服务器与用于采集认证异常日志数据的异常日志采集模块相连，服务器与用于挖掘认证异常日志数据的异常特征的异常特征挖掘模块相连，服务器与用于根据异常特征对网络日志数据进行分析的网络日志分析模块相连。
异常特征挖掘模块针对挖掘的异常特征以及该日志数据认证异常的原因建立异常认证数据库，网络日志分析模块在接收到数据包处理模块发送的数据包后，解析提取日志数据，并根据异常认证数据库对该日志数据进行审计。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于网络监测的网络日志审计系统，其特征在于：包括服务器以及数据采集模块，所述服务器与用于存储数据采集模块采集文件数据的文件存储模块相连，所述服务器与用于存储数据采集模块采集日志数据的日志存储模块相连，所述服务器与用于将文件数据、日志数据整合成数据包的数据包整合模块相连；
所述服务器与用于对数据包进行解析的数据包解析模块相连，所述服务器与用于存储历史日志数据内容特征的内容特征存储模块相连，所述服务器与用于提取解析数据包中日志数据内容特征的内容特征获取模块相连，所述服务器与用于对历史日志数据内容特征、数据包中日志数据内容特征进行比对的内容特征比对模块相连；
所述服务器与用于存储历史日志数据属性特征的属性特征存储模块相连，所述服务器与用于提取解析数据包中日志数据属性特征的属性特征获取模块相连，所述服务器与用于对历史日志数据属性特征、数据包中日志数据属性特征进行比对的属性特征比对模块相连，所述服务器与用于根据内容特征比对模块、属性特征比对模块的比对结果对数据包进行重复处理的数据包处理模块相连；
所述服务器与用于提取经过重复处理的数据包中的日志数据的日志提取模块相连，所述服务器与用于采集认证异常日志数据的异常日志采集模块相连，所述服务器与用于挖掘认证异常日志数据的异常特征的异常特征挖掘模块相连，所述服务器与用于根据异常特征对网络日志数据进行分析的网络日志分析模块相连。
2.根据权利要求1所述的用于网络监测的网络日志审计系统，其特征在于：所述日志数据中包含有相关文件数据的路径信息，所述数据包整合模块根据路径信息将日志数据及相关文件数据整合成数据包。
3.根据权利要求2所述的用于网络监测的网络日志审计系统，其特征在于：所述数据包整合模块根据路径信息从文件存储模块中调取文件数据后，所述文件存储模块将该文件数据删除。
4.根据权利要求1所述的用于网络监测的网络日志审计系统，其特征在于：还包括与服务器相连的用于从数据包的文件数据内容中提取该数据包对应索引信息的索引信息提取模块，以及与所述服务器相连的用于输入索引信息查询数据包的数据查询模块。
5.根据权利要求1所述的用于网络监测的网络日志审计系统，其特征在于：所述内容特征比对模块判断是否能够在内容特征存储模块中寻找到与解析数据包中日志数据内容特征完全相同的内容特征。
6.根据权利要求5所述的用于网络监测的网络日志审计系统，其特征在于：所述内容特征比对模块能够在历史日志数据内容特征中寻找到与解析数据包中日志数据内容特征完全相同的内容特征时，则所述数据包处理模块删除该数据包；
否则，所述内容特征比对模块将该数据包发送至属性特征获取模块。
7.根据权利要求6所述的用于网络监测的网络日志审计系统，其特征在于：所述属性特征比对模块判断是否能够在属性特征存储模块中寻找到与解析数据包中日志数据属性特征完全相同的属性特征。
8.根据权利要求7所述的用于网络监测的网络日志审计系统，其特征在于：所述属性特征比对模块能够在历史日志数据属性特征中寻找到与解析数据包中日志数据属性特征完全相同的属性特征时，则所述属性特征比对模块判断两个日志数据的生成间隔时间是否在阈值范围内；否则，所述数据包处理模块存储该数据包。
9.根据权利要求8所述的用于网络监测的网络日志审计系统，其特征在于：所述属性特征比对模块判断两个日志数据的生成间隔时间在阈值范围内时，所述数据包处理模块删除该数据包；否则，所述数据包处理模块存储该数据包。
10.根据权利要求5-9中任意一项所述的用于网络监测的网络日志审计系统，其特征在于：所述内容特征包括日志数据初始字符、日志数据末尾字符、日志数据字符长度；所述属性特征包括日志数据的源ip、目的ip、源端口、目的端口。
CN202010972332.1A 2020-09-16 2020-09-16 一种用于网络监测的网络日志审计系统 Pending CN112118252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010972332.1A CN112118252A (zh) 2020-09-16 2020-09-16 一种用于网络监测的网络日志审计系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010972332.1A CN112118252A (zh) 2020-09-16 2020-09-16 一种用于网络监测的网络日志审计系统

Publications (1)

Publication Number Publication Date
CN112118252A true CN112118252A (zh) 2020-12-22

Family

ID=73802061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972332.1A Pending CN112118252A (zh) 2020-09-16 2020-09-16 一种用于网络监测的网络日志审计系统

Country Status (1)

Country Link
CN (1) CN112118252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738221A (zh) * 2020-12-28 2021-04-30 中国建设银行股份有限公司 对象存储流量的审计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195674B1 (en) * 2014-09-24 2015-11-24 Logzilla Corporation Systems and methods for large-scale system log analysis, deduplication and management
CN105634841A (zh) * 2014-10-29 2016-06-01 任子行网络技术股份有限公司 一种减少网络审计系统冗余日志的方法与装置
CN106776942A (zh) * 2016-11-30 2017-05-31 任子行网络技术股份有限公司 一种网络审计日志的传输保存系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195674B1 (en) * 2014-09-24 2015-11-24 Logzilla Corporation Systems and methods for large-scale system log analysis, deduplication and management
CN105634841A (zh) * 2014-10-29 2016-06-01 任子行网络技术股份有限公司 一种减少网络审计系统冗余日志的方法与装置
CN106776942A (zh) * 2016-11-30 2017-05-31 任子行网络技术股份有限公司 一种网络审计日志的传输保存系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周琪锋: "基于网络日志的安全审计系统的研究与设计", 《计算机技术与发展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738221A (zh) * 2020-12-28 2021-04-30 中国建设银行股份有限公司 对象存储流量的审计方法及装置
CN112738221B (zh) * 2020-12-28 2022-05-27 中国建设银行股份有限公司 对象存储流量的审计方法及装置

Similar Documents

Publication Publication Date Title
CN111526060B (zh) 业务日志的处理方法及系统
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
US10652265B2 (en) Method and apparatus for network forensics compression and storage
CN113342564B (zh) 日志审计方法、装置、电子设备和介质
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
US8676965B2 (en) Tracking high-level network transactions
CN107992398A (zh) 一种业务系统的监控方法和监控系统
CN105843878B (zh) 一种it系统事件标准化实现方法
CN109600258B (zh) 工业协议报文记录装置及方法
CN113676464A (zh) 一种基于大数据分析技术的网络安全日志告警处理方法
CN111984499A (zh) 一种大数据集群的故障检测方法和装置
CN109379390B (zh) 一种基于全流量的网络安全基线生成方法
CN111740868B (zh) 告警数据的处理方法和装置及存储介质
CN112347501A (zh) 数据处理方法、装置、设备及存储介质
CN111181799A (zh) 一种网络流量监控方法及设备
CN109525495B (zh) 一种数据处理装置、方法和fpga板卡
CN112351024A (zh) 一种公网通信安全监测系统及方法
CN112532614A (zh) 一种用于电网终端的安全监测方法和系统
CN112118252A (zh) 一种用于网络监测的网络日志审计系统
Lukashin et al. Distributed packet trace processing method for information security analysis
Elsen et al. goProbe: a scalable distributed network monitoring solution
CN114760083B (zh) 一种攻击检测文件的发布方法、装置及存储介质
KR101345095B1 (ko) 클러스터 환경 기반의 ｂｇｐ 라우팅 정보 분석 방법 및 시스템
CN103631930A (zh) 一种搜索引擎空间占用统计方法及系统
CN117240505B (zh) 一种基于数据治理平台的预警处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination