CN112398835A - 基于网络设备日志分析的网络安全预警技术系统 - Google Patents
基于网络设备日志分析的网络安全预警技术系统 Download PDFInfo
- Publication number
- CN112398835A CN112398835A CN202011219653.0A CN202011219653A CN112398835A CN 112398835 A CN112398835 A CN 112398835A CN 202011219653 A CN202011219653 A CN 202011219653A CN 112398835 A CN112398835 A CN 112398835A
- Authority
- CN
- China
- Prior art keywords
- module
- data file
- data
- filtering
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000004140 cleaning Methods 0.000 claims abstract description 9
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 238000007619 statistical method Methods 0.000 abstract description 4
- 238000010606 normalization Methods 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 3
- 231100000279 safety data Toxicity 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了基于网络设备日志分析的网络安全预警技术系统，该系统包括采集模块、清洗模块、过滤模块、标准化模块、补齐模块、标签模块和存储模块。本发明可对不同网络设备的原始日志数据进行归一化处理，以形成平台内的统一格式，并由平台进行格式化后的存储、分析，处理过程简单，便于实现。而且基于该系统可进行安全数据的分类、关联、聚类、回归等大数据处理，为用户提供安全态势感知、资产安全评估、安全状况统计分析、安全预警、资源查询等功能。
Description
技术领域
本发明涉及网络安全领域，尤其是涉及基于网络设备日志分析的网络安全预警技术系统。
背景技术
网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。
在网络系统的安全分析中，网络设备的日志数据是个重要的数据来源，但不同的网络设备的日志数据格式往往不同，差异性较大，影响处理效率。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的第一个目的在于提供一种基于网络设备日志分析的网络安全预警技术系统。
本发明的技术方案如下：基于网络设备日志分析的网络安全预警技术系统，其特征在于，包括：
采集模块，所述采集模块用于采集网络设备的原始日志数据并生成第一数据文件；
清洗模块，所述清洗模块与所述采集模块相连，所述清洗模块用于对所述第一数据文件进行重新审查和校验，发现并纠正所述第一数据文件中可识别的错误以生成第二数据文件；
过滤模块，所述过滤模块与所述清洗模块相连，所述过滤模块用于根据预设的过滤规则对所述第二数据文件进行过滤以生成符合所述过滤规则的第三数据文件和不符合所述过滤规则的第四数据文件，其中所述第三数据文件丢弃，所述第四数据文件保留；
标准化模块，所述标准化模块与所述过滤模块相连，所述标准化模块用于对所述第四数据文件进行标准化处理以生成第五数据文件；
补齐模块，所述补齐模块与所述标准化模块相连，所述补齐模块用于对所述第五数据文件进行补齐处理以生成第六数据文件；
标签模块，所述标签模块与所述补齐模块相连，所述标签模块用于所述第六数据文件进行添加标签以生成第七数据文件；
存储模块，所述存储模块与所述标签模块相连，所述存储模块用于存储所述第七数据文件。
进一步地，所述采集模块被配置成对于自身无存储功能的网络设备采用被动方式采集数据，对于其他网络设备采用主动方式采集数据。
进一步地，所述采集模块被配置成对收集到的重复的原始日志数据进行聚合归并，以减少日志量。
进一步地，所述过滤模块被配置成用户可自定义过滤规则，以将用户不关心的日志过滤掉。
和现有技术相比，本发明的有益效果如下：
本发明可对不同网络设备的原始日志数据进行归一化处理，以形成平台内的统一格式，并由平台进行格式化后的存储、分析，处理过程简单，便于实现。而且基于该系统可进行安全数据的分类、关联、聚类、回归等大数据处理，为用户提供安全态势感知、资产安全评估、安全状况统计分析、安全预警、资源查询等功能。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：
图1是本发明的基于网络设备日志分析的网络安全预警技术系统的数据流转图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“竖向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，“第一特征”、“第二特征”可以包括一个或者更多个该特征。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面参考附图1描述根据本发明实施例的基于网络设备日志分析的网络安全预警技术系统，该系统包括采集模块、清洗模块、过滤模块、标准化模块、补齐模块、标签模块和存储模块。
采集模块用于采集网络设备的原始日志数据并生成第一数据文件。具体而言，采集模块原则上以主动采集为主，被动收集为辅，除了采集对象自身无存储功能，如防火墙，IDS等等设备，可以采用被动采集外，其他的数据优先以主动的方式获取数据。需要支持的数据采集方式如下：
主动采集：支持采集节点通过Ftp/Sftp、webservice、SNMP、file、JDBC/ODBC等协议主动采集数据；
被动采集：支持采集节点通过Syslog、Webservice、Flow等协议被动接收数据。
采集模块为适配各种采集数据源，需要支持多种采集协议，以实现对各类数据的采集，包括不限于安全对象属性、运行状态、安全事件、评估与检测等数据。为实现对包括安全对象的属性、运行状态、安全事件、评估与检测等数据的采集，针对不同类型的数据以及对应的适配协议，采集频率建议如下：
此外，采集模块被配置成对收集到的重复的原始日志数据进行聚合归并，以减少日志量。
清洗模块与采集模块相连，清洗模块用于对第一数据文件进行重新审查和校验，发现并纠正第一数据文件中可识别的错误以生成第二数据文件，过滤模块与清洗模块相连，过滤模块用于根据预设的过滤规则对第二数据文件进行过滤以生成符合过滤规则的第三数据文件和不符合过滤规则的第四数据文件，其中第三数据文件丢弃，第四数据文件保留。进一步地，过滤模块被配置成用户可自定义过滤规则，以将用户不关心的日志过滤掉
标准化模块与过滤模块相连，标准化模块用于对第四数据文件进行标准化处理以生成第五数据文件；补齐模块与标准化模块相连，补齐模块用于对第五数据文件进行补齐处理以生成第六数据文件；标签模块与补齐模块相连，标签模块用于第六数据文件进行添加标签以生成第七数据文件；存储模块与标签模块相连，存储模块用于存储第七数据文件。
为了便于理解，下面将以IDS日志数据为例，描述本发明的工作过程。
(1)采集
原始日志样例：
(2)过滤
该日志不匹配过滤规则，不过滤。
(3)标准化
标准化后字段如下表：
标准化后字段
| 字段 | 值 | 字段说明 |
| COLLECT_TIME | 2019-04-13_13:42:30 | 事件发生时间 |
| SERVERITY | 1 | 风险等级 |
| ACTION | 0 | 是否阻断 |
| ID | [50193]某某入侵攻击事件 | 事件ID，事件名 |
| SRC_IP | 192.168.10.244 | 源IP |
| SRC_PORT | 138 | 源端口 |
| DST_IP | 192.168.10.255 | 目的IP |
| DST_PORT | 138 | 目的端口 |
| PROTOCOL | UDP.NETBIOSDGM | 协议 |
| SRC_USER | User1 | 用户名 |
(4)信息补齐
补齐后字段如下表：
补齐后字段
注：带*字段为补齐字段。
(5)数据标签
数据标签化后数据如下表：
数据标签化
注：带*字段为数据标签字段。
(6)存储
根据业务需求，平台需要对该类IDS日志做统计分析，同时需要对数据进行钻取以及全文检索。
存储位置：分布式文件系统、分布式检索系统。
本发明可对不同网络设备的原始日志数据进行归一化处理，以形成平台内的统一格式，并由平台进行格式化后的存储、分析，处理过程简单，便于实现。而且基于该系统可进行安全数据的分类、关联、聚类、回归等大数据处理，为用户提供安全态势感知、资产安全评估、安全状况统计分析、安全预警、资源查询等功能。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (4)
1.基于网络设备日志分析的网络安全预警技术系统，其特征在于，包括：
采集模块，所述采集模块用于采集网络设备的原始日志数据并生成第一数据文件；
清洗模块，所述清洗模块与所述采集模块相连，所述清洗模块用于对所述第一数据文件进行重新审查和校验，发现并纠正所述第一数据文件中可识别的错误以生成第二数据文件；
过滤模块，所述过滤模块与所述清洗模块相连，所述过滤模块用于根据预设的过滤规则对所述第二数据文件进行过滤以生成符合所述过滤规则的第三数据文件和不符合所述过滤规则的第四数据文件，其中所述第三数据文件丢弃，所述第四数据文件保留；
标准化模块，所述标准化模块与所述过滤模块相连，所述标准化模块用于对所述第四数据文件进行标准化处理以生成第五数据文件；
补齐模块，所述补齐模块与所述标准化模块相连，所述补齐模块用于对所述第五数据文件进行补齐处理以生成第六数据文件；
标签模块，所述标签模块与所述补齐模块相连，所述标签模块用于所述第六数据文件进行添加标签以生成第七数据文件；
存储模块，所述存储模块与所述标签模块相连，所述存储模块用于存储所述第七数据文件。
2.根据权利要求1所述的基于网络设备日志分析的网络安全预警技术系统，其特征在于，所述采集模块被配置成对于自身无存储功能的网络设备采用被动方式采集数据，对于其他网络设备采用主动方式采集数据。
3.根据权利要求1所述的基于网络设备日志分析的网络安全预警技术系统，其特征在于，所述采集模块被配置成对收集到的重复的原始日志数据进行聚合归并，以减少日志量。
4.根据权利要求1所述的基于网络设备日志分析的网络安全预警技术系统，其特征在于，所述过滤模块被配置成用户可自定义过滤规则，以将用户不关心的日志过滤掉。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219653.0A CN112398835A (zh) | 2020-11-03 | 2020-11-03 | 基于网络设备日志分析的网络安全预警技术系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011219653.0A CN112398835A (zh) | 2020-11-03 | 2020-11-03 | 基于网络设备日志分析的网络安全预警技术系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112398835A true CN112398835A (zh) | 2021-02-23 |
Family
ID=74597631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011219653.0A Pending CN112398835A (zh) | 2020-11-03 | 2020-11-03 | 基于网络设备日志分析的网络安全预警技术系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112398835A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709149A (zh) * | 2021-08-26 | 2021-11-26 | 北京天融信网络安全技术有限公司 | 一种网络安全分析方法、装置、存储介质和电子设备 |
| CN117033334A (zh) * | 2023-10-08 | 2023-11-10 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108494727A (zh) * | 2018-02-06 | 2018-09-04 | 成都清华永新网络科技有限公司 | 一种用于网络安全管理的安全事件闭环处理方法 |
-
2020
- 2020-11-03 CN CN202011219653.0A patent/CN112398835A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108494727A (zh) * | 2018-02-06 | 2018-09-04 | 成都清华永新网络科技有限公司 | 一种用于网络安全管理的安全事件闭环处理方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709149A (zh) * | 2021-08-26 | 2021-11-26 | 北京天融信网络安全技术有限公司 | 一种网络安全分析方法、装置、存储介质和电子设备 |
| CN117033334A (zh) * | 2023-10-08 | 2023-11-10 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
| CN117033334B (zh) * | 2023-10-08 | 2023-12-22 | 吉林省高速公路集团有限公司 | 高速公路收费车道日志采集处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110493348B (zh) | 一种基于物联网的智能监控报警系统 | |
| CN104937886B (zh) | 日志分析装置、信息处理方法 | |
| US9124619B2 (en) | Directing audited data traffic to specific repositories | |
| CN101610174B (zh) | 一种日志事件关联分析系统与方法 | |
| CN112398835A (zh) | 基于网络设备日志分析的网络安全预警技术系统 | |
| US20140156711A1 (en) | Asset model import connector | |
| CN103873298B (zh) | 一种操作维护中心北向接口的数据质量自动监测的方法 | |
| CN102148827B (zh) | 安全事件管理方法、装置及安全管理平台 | |
| CN103532940A (zh) | 网络安全检测方法及装置 | |
| CN111224988A (zh) | 一种网络安全信息过滤方法 | |
| CN114598525A (zh) | 一种针对网络攻击的ip自动封禁的方法和装置 | |
| CN106055608A (zh) | 自动采集和分析交换机日志的方法和装置 | |
| CN113157994A (zh) | 一种多源异构平台数据处理方法 | |
| CN110430159A (zh) | 一种平台服务器防火墙策略开放范围过大预警方法 | |
| CN108243060A (zh) | 一种基于大数据预分类的网络安全告警风险判定方法 | |
| CN112965979B (zh) | 一种用户行为分析方法、装置及电子设备 | |
| CN105959290A (zh) | 攻击报文的检测方法及装置 | |
| CN115865525B (zh) | 日志数据处理方法、装置、电子设备和存储介质 | |
| CN110011962A (zh) | 一种车联网业务数据的识别方法 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN114208114B (zh) | 每参与者的多视角安全上下文 | |
| CN110191004A (zh) | 一种端口检测方法及系统 | |
| CN117827813A (zh) | 一种计算机信息安全监控系统 | |
| CN105450459B (zh) | 一种系统消息处理方法及收集器 | |
| CN114244732A (zh) | 一种NetFlow端口流量准确率核查方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210223 |
|
| RJ01 | Rejection of invention patent application after publication |