CN114143020A - 一种基于规则的网络安全事件关联分析方法和系统 - Google Patents
一种基于规则的网络安全事件关联分析方法和系统 Download PDFInfo
- Publication number
- CN114143020A CN114143020A CN202111038025.7A CN202111038025A CN114143020A CN 114143020 A CN114143020 A CN 114143020A CN 202111038025 A CN202111038025 A CN 202111038025A CN 114143020 A CN114143020 A CN 114143020A
- Authority
- CN
- China
- Prior art keywords
- rule
- event
- data
- information
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000010219 correlation analysis Methods 0.000 title claims description 27
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 238000012098 association analyses Methods 0.000 claims abstract description 19
- 230000004931 aggregating effect Effects 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 32
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 238000012097 association analysis method Methods 0.000 abstract 1
- 230000001364 causal effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例提供了一种基于规则的网络安全事件关联分析方法和系统，其核心思想是采用基于规则的关联分析算法，融合流量信息和多源日志信息，挖掘多源信息之间的本质联系，从海量的数据发现潜在的安全事件。该方法通过对解析后的日志、流量记录进行过滤、信息字段提取、数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全事件，形成事件队列，并利用树形规则中节点之间的关系来定义同一攻击场景的关联关系，将零散存在的数据记录组织成为一个完整的攻击场景。然后在线将事件队列中的记录信息与树形规则匹配，实现多源记录信息向关联规则的映射，根据映射找到关联的记录信息，重建攻击过程。
Description
技术领域
本发明属于涉及信息技术领域，尤其涉及一种基于规则的网络安全事件关 联分析方法和系统。
背景技术
随着社会信息化进程的发展，越来越多的信息采用数子化的方式进行存储 和发送,这种模式保障了数据传输的实时性和高效性，但也造成了通信网络非 常容易受到攻击。
当前网络攻击技术的复杂化、隐蔽化及分布化，一个攻击过程由多个攻击 阶段、通过不同的网络节点实施。网络系统中部署的各种主机、应用、网络设 备、安全设备每天产生大量的数据，记录系统中发生的各种安全事件。然而， 海量的安全数据存在大量的冗余，不易直接管理，而且依靠单个事件的记录无 法反映整个攻击威胁的全貌。一个有效的解决办法就是通过一套网络安全事件 的关联分析方法，对数据进行关联分析，挖掘数据之间的本质联系，从而及时 有效地从海量零乱的数据中发现潜在的安全威胁及其攻击意图，继而采取防御 措施确保网络安全。
目前常用的网络安全事件关联分析算法有基于因果关联的分析算法和基 于推断知识的关联分析算法等，各种方法都有其优缺点。基于因果关联的分析 算法是根据安全事件存在的固有因果关系，将安全事件的安全信息关联起来， 进而形成可以描述安全事件之间关系的攻击场景图。因果关联技术虽然从本质 上解释了安全事件之前的联系，但是单纯的采用因果关联的技术仍然存在一定 的问题，采用这种方法关联后的攻击场景与实际的攻击场景很可能存在一些差 异，而这些差异会一定程度上误导管理员。基于推断知识的关联分析算法知识 库通过机器学习算法的推断建立，在关联规则没有预先假定，而是完全从训练 实例中获取。然而寻找代表性的数据集是非常困难的，而且这种方法计算负荷 十分庞大、对于缺失的计算负荷无法进行关联，影响分析结果的准确性。
发明内容
针对现有技术中对于电力系统的数据处理中存在的问题，本发明实施例的 目的是提供一种基于规则的网络安全事件关联分析方法和系统。
为了解决上述问题，本发明实施例提出了一种基于规则的网络安全事件关 联分析方法和系统，包括以下步骤：
通过基于规则的关联分析算法，对解析后的日志和流量记录进行过滤、信 息字段提取、数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全 事件，以形成事件队列；
利用树形规则中节点之间的关系来定义同一攻击场景的关联关系，将零散 存在的数据记录组织成为一个完整的攻击场景；
将事件队列中的记录信息与树形规则匹配，实现多源记录信息向关联规则 的映射，根据映射找到关联的记录信息，重建攻击过程。
其中，所述方法包括：
建立过滤规则库，基于过滤规则库的过滤规则对数据进行过滤，去除错误 的和重复的信息；其中规则库中包括至少一棵规则树，用于描述一次攻击场景， 用来匹配数据记录信息，实现关联分析；每一层树节点都是一条规则，每一条 规则里都有匹配关联规则所需的条件；
进行信息字段提取，预定义特征字段，通过正则表达式从属性字段中选择 代表数据记录的最优属性子集；
进行数据合并，把表示同一攻击事件的多角度的数据记录合并为一条记录；
用于建立数据队列表，收集数据预处理模块处理后的数据记录，按照时间 顺序以事件队列的方式进行存放；
对多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事 件；
对攻击过程进行重建，以用于利用异常流量的时间特征映射出日志时间特 征，通过时间进行匹配，确定具体的日志状态；再推断出具体的网络设备，在 此时间段所有记录的日志事件用于攻击路径还原。
其中，该规则库为xml数据格式构建关联规则；其中关联规则中包含序列 关系、并列关系和选择关系三种组织关系。
其中，预定义特征字段包括以下的任意一个：安全设备标识、安全事件标 识、安全事件捕获时间、源主机IP、源端口、目的主机IP、目的端口、安全 事件类型、采集代理位置、安全事件的优先级、协议、用户名、用户密码、文 件名、安全日志内容、事件相关主机IP、操作系统类型、相关端口、相关端 口的状态、服务名、应用程序名、扩展字段。
其中，所述网络安全事件通过以下方式获取：
针对每种日志，制定正则捕获组组成的正则表达式，多条正则表达式构成 特征字段提取特征库，从日志数据文件中读取日志记录，与提取规则库中的正 则表达式进行匹配，符合正则表达式的记录，通过正则表达式的正则捕获组得 到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库 中的下一条规则，直到规则库中所有规则匹配完毕，仍不通过的记录作丢弃处 理；
其中，正则表达式为:
^(\\S+))(\\S+)\\[([\\w:]+\\s[+\\-]\\d{4}\\)(\\S+)(\\S+)(S+)(\\d{3})(\\d+)
提取Apache日志源IP、用户标识、用户名字、访问日期、访问网站所使 用的方法、及请求的资源和使用的协议、网站响应码、以及会话发送的字节数；
数据合并基于相似度的关联分析算法，比较每条记录属性的相似度，相似 度取值范围为[0，1]，相似度取值越大，属性之间越相似；1代表两个属性完 全匹配，0代表两个属性完全不匹配；先对每个属性都进行比较，然后再通过 整体的相似度比较公式来技术两条记录之间的相似度；通过设定门限值，当两 条记录的相似度大于门限值则判定两条记录是相似的，将特征值合并到一条记 录。
其中，所述关联规则库通过库基于多层次威胁树建立，包括：
节点层次定义步骤：根据威胁行为过程具有层次性的特征，采用分层的思 想，将威胁树中的节点定义为事件层、状态层和目标层；其中事件层描述攻击 者的具体攻击行为，代表入侵者对系统的攻击手段；状态层描述到的最终目标 的中间状态，表示网络威胁过程中的概念性步骤，具体可以由事件层节点推导 出来；目标层表示威胁行为的最终目标，如拒绝服务、信息泄露等，也就是所 谓的根节点；
节点的量化描述步骤：采用五元组<Name,ProSet,Layer,ReType,Desc>对节 点进行量化描述：
Name：节点名称；
ProSet：相关属性集；
Layer：所属层次，包括事件层、状态层和目标层；
ReType：关系类型，包括序列关系、并列关系、选择关系；
Desc：威胁描述；采用单个谓词表示，包括时间相关谓词、主机系统相关 谓词、系统服务相关谓词、行为相关谓词。
其中，所述多层次威胁树包括：
确定威胁的最终目标E为多层次威胁树的目标层节点，然后找到目标层 节点发生所需要的所有条件集Desc：G、a、b、c；将它们通过关系ReType表 现出根节点的子节点；采用同样的方法对规则树的每个状态层节点进行拓展， 直到找到所有的事件层节点；其中G、H为状态层节点，a、b、c、d、e、f、g 为事件层节点。G发生的条件集为H和d，H，d为并列关系。H发生的的条 件集为e、f、g，其中e与分f、g之间为选择关系；
读取事件队列中的记录信息，并与关联规则库中的关联规则进行匹配，实 现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事件。
其中，所述关联分析包括：
读取事件队列中的记录信息，将其特征与等待匹配的节点的相关属性集 ProSet作比较，如果符合，则说明匹配成功，将该节点的子节点设为下一个待 匹配的节点；如果该记录信息的属性值与所有的待匹配节点都不符合，则将其 余根节点的属性进行比较，如果有符合的根节点，则创建一个新的分支，如果 匹配到叶子节点，则表示此威胁场景还原成功，然后把整个规则树各节点的信 息存储到数据库的报警信息表中，供报警信息展示程序提取信息。
其中，所述重建攻击包括：
根据流量与关联规则的映射，找出异常流量；
根据异常流量的日期、事件、IP等信息确定时间范围和通信地址；
根据异常流量的事件范围和通信地址确定日志的时间范围和通信地址；
找出具体的日志；
通过日志的种类、属性确定具体的网络设备；
根据通信前后的异常信息确定攻击路径。
同时，本发明实施例还提出了一种基于规则的网络安全事件关联分析系统， 包括：预处理模块、关联规则库、事件队列模块、关联分析引擎、攻击过程重 建模块；
预处理模块，用于通过基于规则的关联分析算法，对解析后的日志和流量 记录进行过滤、信息字段提取、数据归并去除冗余数据、降低数据维度、聚合 同一类型网络安全事件，以形成事件队列；
事件队列模块，用于利用关联规则库中的树形规则中节点之间的关系来定 义同一攻击场景的关联关系，将零散存在的数据记录组织成为一个完整的攻击 场景；
事件队列模块，用于将事件队列中的记录信息与树形规则匹配，实现多源 记录信息向关联规则的映射；
关联分析引擎，用于根据映射找到关联的记录信息；
攻击过程重建模块，用于重建攻击过程。
本发明的有益效果在于：
本发明技术方案的核心思想是采用基于规则的关联分析算法，融合流量信 息和多源日志信息，挖掘多源信息之间的本质联系，从海量的数据发现潜在的 安全事件。该方法通过对解析后的日志、流量记录进行过滤、信息字段提取、 数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全事件，形成事 件队列，并利用树形规则中节点之间的关系来定义同一攻击场景的关联关系， 将零散存在的数据记录组织成为一个完整的攻击场景。然后在线将事件队列中 的记录信息与树形规则匹配，实现多源记录信息向关联规则的映射，根据映射 找到关联的记录信息，重建攻击过程。
附图说明
图1是本发明实施例的流程示意图；
图2是本发明实施例的系统模块结构示意图；
图3是关联分析引擎流程图；
图4是威胁的多层次威胁树表示。
具体实施例
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对 本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本 发明，并不用于限定本发明。
下面结合附图及本发明的实施例的方法进一步说明。
本发明技术方案的核心思想是采用基于规则的关联分析算法，融合流量信 息和多源日志信息，挖掘多源信息之间的本质联系，从海量的数据发现潜在的 安全事件。该方法通过对解析后的日志、流量记录进行过滤、信息字段提取、 数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全事件，形成事 件队列，并利用树形规则中节点之间的关系来定义同一攻击场景的关联关系， 将零散存在的数据记录组织成为一个完整的攻击场景。然后在线将事件队列中 的记录信息与树形规则匹配，实现多源记录信息向关联规则的映射，根据映射 找到关联的记录信息，重建攻击过程。
如图2所示的，该基于规则的网络安全事件关联分析系统包括：数据预处 理模块、规则库、关联分析模块、攻击过程重建模块和前台模块。其工作流程 可以如图1所示的：其中数据预处理模块实现对解析后的日志、流量数据进行 过滤、信息字段提取和数据归并。在工作时，首先建立过滤规则库，基于过滤 规则库的过滤规则对数据进行过滤，去除错误的和重复的信息，或是信息具有 一定的目的性或倾向性，以减少后续过程的处理量。其中规则库中包括至少一 棵规则树，用于描述一次攻击场景，用来匹配数据记录信息，实现关联分析； 每一层树节点都是一条规则，每一条规则里都有匹配关联规则所需的条件；其 中该规则库优选xml数据格式构建关联规则；其中关联规则中包含序列关系、 并列关系和选择关系三种组织关系。然后进行信息字段提取，预定义一些特征 字段，通过正则表达式从属性字段中选择代表数据记录的最优属性子集。然后 进行数据合并，把表示同一攻击事件的多角度的数据记录合并为一条记录。其 中事件队列模块，用于建立数据队列表，收集数据预处理模块处理后的数据记 录，按照时间顺序以事件队列的方式进行存放，提供给关联分析模块。关联分 析模块用于实现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场 景安全事件。攻击过程重建模块，用于利用异常流量的时间特征映射出日志时 间特征，通过时间进行匹配，达到具体的日志状态，再推断出具体的网络设备， 在此时间段所有记录的日志事件用于攻击路径还原。前台模块，用于直接与用 户进行会话，主要实现对关联规则管理、威胁场景知识管理、过滤规则管理功 能。
如图3所示的，上述系统在工作时，执行以下的步骤：
首先，收集解析后的日志和流量数据，在进行关联分析前对数据进行预处 理，实现对解析后的日志、流量数据进行过滤、信息字段提取和数据归并。
数据过滤基于过滤规则库的过滤规则对数据进行过滤去除错误的和重复 的信息，或是信息具有一定的目的性或倾向性，以减少后续过程的处理量。过 滤规则包括数据源、规则名称、字段、正则表达式、操作、修改日期。
如：当设置过滤规则对TargetIP为192.168.0.1的记录进行过滤时，首先 设置“数据源”和“规则名称”，指定“字段”为TargetIP，并设置“正则表 达式”为(TargetIP:).*(192.168.0.1)，“操作”为丢弃。
信息字段提取包括安全设备标识、安全事件标识、安全事件捕获时间、源 主机IP、源端口、目的主机IP、目的端口、安全事件类型、采集代理位置、 安全事件的优先级、协议、用户名、用户密码、文件名、安全日志内容、事件 相关主机IP、操作系统类型、相关端口、相关端口的状态、服务名、应用程 序名、扩展字段等特征字段。
针对每种日志，制定正则捕获组组成的正则表达式，多条正则表达式构成 特征字段提取特征库，从日志数据文件中读取日志记录，与提取规则库中的正 则表达式进行匹配，符合正则表达式的记录，通过正则表达式的正则捕获组得 到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库 中的下一条规则，直到规则库中所有规则匹配完毕，仍不通过的记录作丢弃处 理。
例如，制定正则表达式:
^(\\S+))(\\S+)\\[([\\w:]+\\s[+\\-]\\d{4}\\)(\\S+)(\\S+)(S+)(\\d{3})(\\d+)提取 Apache日志源IP、用户标识、用户名字、访问日期、访问网站所使用的方法、 及请求的资源和使用的协议、网站响应码、以及会话发送的字节数。
数据合并基于相似度的关联分析算法，比较每条记录属性的相似度，相似 度取值范围为[0，1]，相似度取值越大，属性之间越相似。1代表两个属性完 全匹配，0代表两个属性完全不匹配。先对每个属性都进行比较，然后再通过 整体的相似度比较公式来技术两条记录之间的相似度。通过设定一个门限值， 当两条记录的相似度大于门限值则判定两条记录是相似的，将特征值合并到一 条记录。
然后，建立数据队列表，收集数据预处理模块处理后的数据记录，按照时 间顺序以事件队列的方式进行存放，提供给关联分析模块。
接下来，建立关联规则库。关联规则库基于多层次威胁树建立。
(1)节点层次定义
根据威胁行为过程具有层次性的特征，采用分层的思想，将威胁树中的节 点定义为事件层、状态层和目标层。
事件层描述攻击者的具体攻击行为，代表入侵者对系统的攻击手段，如 ARP欺骗、端口扫描等。
状态层描述到的最终目标的中间状态，表示网络威胁过程中的概念性步骤， 具体可以由事件层节点推导出来。
目标层表示威胁行为的最终目标，如拒绝服务、信息泄露等，也就是所谓 的根节点。
(2)节点的量化描述
采用五元组<Name,ProSet,Layer,ReType,Desc>对节点进行量化描述：
Name：节点名称。
ProSet：相关属性集。
Layer：所属层次，包括事件层、状态层和目标层。
ReType：关系类型，包括序列关系、并列关系、选择关系。
Desc：威胁描述。采用单个谓词表示，包括时间相关谓词、主机系统相关 谓词、系统服务相关谓词、行为相关谓词。
图4为多层次威胁树的示例，首先确定威胁的最终目标E为多层次威胁 树的目标层节点，然后找到目标层节点发生所需要的所有条件集(Desc)，G、 a、b、c，将它们通过关系(ReType)表现出根节点的子节点。采用同样的方 法对规则树的每个状态层节点进行拓展，直到找到所有的事件层节点。其中G、 H为状态层节点，a、b、c、d、e、f、g为事件层节点。G发生的条件集为H 和d，H，d为并列关系。H发生的的条件集为e、f、g，其中e与分f、g之间 为选择关系。
再次，读取事件队列中的记录信息，并与关联规则库中的关联规则进行匹 配，实现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全 事件。关联分析的流程如图2所示：
读取事件队列中的记录信息，将其源IP、目的IP、源端口、目的端口等 主要特征与等待匹配的节点的相关属性集(ProSet)作比较，如果符合，则说明 匹配成功。将该节点的子节点设为下一个待匹配的节点，如果该记录信息的属 性值与所有的待匹配节点都不符合，则将其余根节点的属性进行比较。如果有 符合的根节点，则创建一个新的分支。如果匹配到叶子节点，则表示此威胁场 景还原成功，此时把整个规则树各节点的信息存储到数据库的报警信息表中， 供报警信息展示程序提取信息。
最后重建攻击过程。其具体步骤如下：
第一步，根据流量与关联规则的映射，找出异常流量。
第二步，根据异常流量的日期、事件、IP等信息确定时间范围和通信地 址。
第三步，根据异常流量的事件范围和通信地址确定日志的时间范围和通信 地址。
第四步，找出具体的日志。
第五步，通过日志的种类、属性确定具体的网络设备。
第六步，根据通信前后的异常信息确定攻击路径。
前台模块直接与用户进行会话，完成关联分析的各项功能。主要实现关联 规则管理及威胁场景知识管理。
关联规则管理，提供管理页面通过规则列表、规则树展示关联规则，对 关联规则进行新增、删除、导入、导出等操作，对规则树上的叶节点进行编辑。
威胁场景知识管理，提供场景管理页面，支持场景安全模型的增、删、改、 查操作。提供威胁场景知识导入、导出，配置操作功能。
过滤规则的管理提供管理页面，支持过滤规则添加、编辑、删除、导入、 导出等操作。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于规则的网络安全事件关联分析方法，其特征在于，包括：
通过基于规则的关联分析算法，对解析后的日志和流量记录进行过滤、信息字段提取、数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全事件，以形成事件队列；
利用树形规则中节点之间的关系来定义同一攻击场景的关联关系，将零散存在的数据记录组织成为一个完整的攻击场景；
将事件队列中的记录信息与树形规则匹配，实现多源记录信息向关联规则的映射，根据映射找到关联的记录信息，重建攻击过程。
2.根据权利要求1所述的基于规则的网络安全事件关联分析方法，其特征在于，所述方法包括：
建立过滤规则库，基于过滤规则库的过滤规则对数据进行过滤，去除错误的和重复的信息；其中规则库中包括至少一棵规则树，用于描述一次攻击场景，用来匹配数据记录信息，实现关联分析；每一层树节点都是一条规则，每一条规则里都有匹配关联规则所需的条件；
进行信息字段提取，预定义特征字段，通过正则表达式从属性字段中选择代表数据记录的最优属性子集；
进行数据合并，把表示同一攻击事件的多角度的数据记录合并为一条记录；
用于建立数据队列表，收集数据预处理模块处理后的数据记录，按照时间顺序以事件队列的方式进行存放；
对多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事件；
对攻击过程进行重建，以用于利用异常流量的时间特征映射出日志时间特征，通过时间进行匹配，确定具体的日志状态；再推断出具体的网络设备，在此时间段所有记录的日志事件用于攻击路径还原。
3.根据权利要求2所述的基于规则的网络安全事件关联分析方法，其特征在于，其中该规则库为xml数据格式构建关联规则；其中关联规则中包含序列关系、并列关系和选择关系三种组织关系。
4.根据权利要求3所述的基于规则的网络安全事件关联分析方法，其特征在于，其中预定义特征字段包括以下的任意一个：安全设备标识、安全事件标识、安全事件捕获时间、源主机IP、源端口、目的主机IP、目的端口、安全事件类型、采集代理位置、安全事件的优先级、协议、用户名、用户密码、文件名、安全日志内容、事件相关主机IP、操作系统类型、相关端口、相关端口的状态、服务名、应用程序名、扩展字段。
5.根据权利要求3所述的基于规则的网络安全事件关联分析方法，其特征在于，所述网络安全事件通过以下方式获取：
针对每种日志，制定正则捕获组组成的正则表达式，多条正则表达式构成特征字段提取特征库，从日志数据文件中读取日志记录，与提取规则库中的正则表达式进行匹配，符合正则表达式的记录，通过正则表达式的正则捕获组得到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库中的下一条规则，直到规则库中所有规则匹配完毕，仍不通过的记录作丢弃处理；
其中，正则表达式为:
^(\\S+))(\\S+)\\[([\\w:]+\\s[+\\-]\\d{4}\\)(\\S+)(\\S+)(S+)(\\d{3})(\\d+)
提取Apache日志源IP、用户标识、用户名字、访问日期、访问网站所使用的方法、及请求的资源和使用的协议、网站响应码、以及会话发送的字节数；
数据合并基于相似度的关联分析算法，比较每条记录属性的相似度，相似度取值范围为[0，1]，相似度取值越大，属性之间越相似；1代表两个属性完全匹配，0代表两个属性完全不匹配；先对每个属性都进行比较，然后再通过整体的相似度比较公式来技术两条记录之间的相似度；通过设定门限值，当两条记录的相似度大于门限值则判定两条记录是相似的，将特征值合并到一条记录。
6.根据权利要求3所述的基于规则的网络安全事件关联分析方法，其特征在于，所述关联规则库通过库基于多层次威胁树建立，包括：
节点层次定义步骤：根据威胁行为过程具有层次性的特征，采用分层的思想，将威胁树中的节点定义为事件层、状态层和目标层；其中事件层描述攻击者的具体攻击行为，代表入侵者对系统的攻击手段；状态层描述到的最终目标的中间状态，表示网络威胁过程中的概念性步骤，具体可以由事件层节点推导出来；目标层表示威胁行为的最终目标，如拒绝服务、信息泄露等，也就是所谓的根节点；
节点的量化描述步骤：采用五元组<Name,ProSet,Layer,ReType,Desc>对节点进行量化描述：
Name：节点名称；
ProSet：相关属性集；
Layer：所属层次，包括事件层、状态层和目标层；
ReType：关系类型，包括序列关系、并列关系、选择关系；
Desc：威胁描述；采用单个谓词表示，包括时间相关谓词、主机系统相关谓词、系统服务相关谓词、行为相关谓词。
7.根据权利要求6所述的基于规则的网络安全事件关联分析方法，其特征在于，所述多层次威胁树包括：
确定威胁的最终目标E为多层次威胁树的目标层节点，然后找到目标层节点发生所需要的所有条件集Desc：G、a、b、c；将它们通过关系ReType表现出根节点的子节点；采用同样的方法对规则树的每个状态层节点进行拓展，直到找到所有的事件层节点；其中G、H为状态层节点，a、b、c、d、e、f、g为事件层节点。G发生的条件集为H和d，H，d为并列关系。H发生的的条件集为e、f、g，其中e与分f、g之间为选择关系；
读取事件队列中的记录信息，并与关联规则库中的关联规则进行匹配，实现多源记录信息向关联规则的映射，将孤立的信息关联成威胁场景安全事件。
8.根据权利要求7所述的基于规则的网络安全事件关联分析方法，其特征在于，所述关联分析包括：
读取事件队列中的记录信息，将其特征与等待匹配的节点的相关属性集ProSet作比较，如果符合，则说明匹配成功，将该节点的子节点设为下一个待匹配的节点；如果该记录信息的属性值与所有的待匹配节点都不符合，则将其余根节点的属性进行比较，如果有符合的根节点，则创建一个新的分支，如果匹配到叶子节点，则表示此威胁场景还原成功，然后把整个规则树各节点的信息存储到数据库的报警信息表中，供报警信息展示程序提取信息。
9.根据权利要求1所述的基于规则的网络安全事件关联分析方法，其特征在于，其中所述重建攻击包括：
根据流量与关联规则的映射，找出异常流量；
根据异常流量的日期、事件、IP等信息确定时间范围和通信地址；
根据异常流量的事件范围和通信地址确定日志的时间范围和通信地址；
找出具体的日志；
通过日志的种类、属性确定具体的网络设备；
根据通信前后的异常信息确定攻击路径。
10.一种基于规则的网络安全事件关联分析系统，其特征在于，包括：预处理模块、关联规则库、事件队列模块、关联分析引擎、攻击过程重建模块；
预处理模块，用于通过基于规则的关联分析算法，对解析后的日志和流量记录进行过滤、信息字段提取、数据归并去除冗余数据、降低数据维度、聚合同一类型网络安全事件，以形成事件队列；
事件队列模块，用于利用关联规则库中的树形规则中节点之间的关系来定义同一攻击场景的关联关系，将零散存在的数据记录组织成为一个完整的攻击场景；
事件队列模块，用于将事件队列中的记录信息与树形规则匹配，实现多源记录信息向关联规则的映射；
关联分析引擎，用于根据映射找到关联的记录信息；
攻击过程重建模块，用于重建攻击过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111038025.7A CN114143020B (zh) | 2021-09-06 | 2021-09-06 | 一种基于规则的网络安全事件关联分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111038025.7A CN114143020B (zh) | 2021-09-06 | 2021-09-06 | 一种基于规则的网络安全事件关联分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114143020A true CN114143020A (zh) | 2022-03-04 |
| CN114143020B CN114143020B (zh) | 2023-10-31 |
Family
ID=80394590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111038025.7A Active CN114143020B (zh) | 2021-09-06 | 2021-09-06 | 一种基于规则的网络安全事件关联分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114143020B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114710368A (zh) * | 2022-06-06 | 2022-07-05 | 杭州安恒信息技术股份有限公司 | 一种安全事件检测方法、装置及计算机可读存储介质 |
| CN114826783A (zh) * | 2022-06-28 | 2022-07-29 | 睿至科技集团有限公司 | 一种基于大数据的预测方法及系统 |
| CN114915479A (zh) * | 2022-05-18 | 2022-08-16 | 中国科学院信息工程研究所 | 一种基于Web日志的Web攻击阶段分析方法及系统 |
| CN114915501A (zh) * | 2022-07-15 | 2022-08-16 | 北京微步在线科技有限公司 | 基于进程行为图的入侵事件检测方法、装置及电子设备 |
| CN114915478A (zh) * | 2022-05-19 | 2022-08-16 | 东南大学溧阳研究院 | 基于多Agent的分布式关联分析的智慧园区工控系统网络攻击场景识别方法 |
| CN115174242A (zh) * | 2022-09-07 | 2022-10-11 | 广州集韵信息科技有限公司 | 一种内网与外网间的数据安全传输控制方法及系统 |
| CN115687599A (zh) * | 2022-09-29 | 2023-02-03 | 恒生电子股份有限公司 | 业务数据处理方法、装置、电子设备及存储介质 |
| CN115883219A (zh) * | 2022-12-02 | 2023-03-31 | 上海花宸月希信息科技有限公司 | 基于日志的大数据智能关联分析方法及系统 |
| CN116647416A (zh) * | 2023-07-27 | 2023-08-25 | 深圳大学 | 网络安全指标推荐方法、装置、设备及存储介质 |
| CN116846623A (zh) * | 2023-06-27 | 2023-10-03 | 广东为辰信息科技有限公司 | 针对车辆安全事件的关联分析方法 |
| CN117331933A (zh) * | 2023-09-11 | 2024-01-02 | 安徽省大数据中心 | 基于多源异构统一纳管的安全运营方法及系统 |
| CN117376034A (zh) * | 2023-12-07 | 2024-01-09 | 南京中孚信息技术有限公司 | 基于用户行为关联的网络流量识别系统、方法及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1878093A (zh) * | 2006-07-19 | 2006-12-13 | 华为技术有限公司 | 安全事件关联分析方法和系统 |
| CN104811447A (zh) * | 2015-04-21 | 2015-07-29 | 深信服网络科技（深圳）有限公司 | 一种基于攻击关联的安全检测方法和系统 |
| CN105119945A (zh) * | 2015-09-24 | 2015-12-02 | 西安未来国际信息股份有限公司 | 一种用于安全管理中心的日志关联分析方法 |
| CN106453417A (zh) * | 2016-12-05 | 2017-02-22 | 国网浙江省电力公司电力科学研究院 | 一种基于近邻相似性的网络攻击目标预测方法 |
| US20180103052A1 (en) * | 2016-10-11 | 2018-04-12 | Battelle Memorial Institute | System and methods for automated detection, reasoning and recommendations for resilient cyber systems |
| CN109005069A (zh) * | 2018-08-29 | 2018-12-14 | 中国人民解放军国防科技大学 | 基于天地一体化网络的网络安全知识图谱的关联分析方法 |
| CN110213207A (zh) * | 2018-05-07 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种基于日志分析的网络安全防御方法及设备 |
-
2021
- 2021-09-06 CN CN202111038025.7A patent/CN114143020B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1878093A (zh) * | 2006-07-19 | 2006-12-13 | 华为技术有限公司 | 安全事件关联分析方法和系统 |
| CN104811447A (zh) * | 2015-04-21 | 2015-07-29 | 深信服网络科技（深圳）有限公司 | 一种基于攻击关联的安全检测方法和系统 |
| CN105119945A (zh) * | 2015-09-24 | 2015-12-02 | 西安未来国际信息股份有限公司 | 一种用于安全管理中心的日志关联分析方法 |
| US20180103052A1 (en) * | 2016-10-11 | 2018-04-12 | Battelle Memorial Institute | System and methods for automated detection, reasoning and recommendations for resilient cyber systems |
| CN106453417A (zh) * | 2016-12-05 | 2017-02-22 | 国网浙江省电力公司电力科学研究院 | 一种基于近邻相似性的网络攻击目标预测方法 |
| CN110213207A (zh) * | 2018-05-07 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 一种基于日志分析的网络安全防御方法及设备 |
| CN109005069A (zh) * | 2018-08-29 | 2018-12-14 | 中国人民解放军国防科技大学 | 基于天地一体化网络的网络安全知识图谱的关联分析方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114915479A (zh) * | 2022-05-18 | 2022-08-16 | 中国科学院信息工程研究所 | 一种基于Web日志的Web攻击阶段分析方法及系统 |
| CN114915479B (zh) * | 2022-05-18 | 2023-06-27 | 中国科学院信息工程研究所 | 一种基于Web日志的Web攻击阶段分析方法及系统 |
| CN114915478A (zh) * | 2022-05-19 | 2022-08-16 | 东南大学溧阳研究院 | 基于多Agent的分布式关联分析的智慧园区工控系统网络攻击场景识别方法 |
| CN114915478B (zh) * | 2022-05-19 | 2023-03-10 | 东南大学溧阳研究院 | 基于多代理的分布式关联分析的智慧园区工控系统网络攻击场景识别方法、系统及存储介质 |
| CN114710368B (zh) * | 2022-06-06 | 2022-09-02 | 杭州安恒信息技术股份有限公司 | 一种安全事件检测方法、装置及计算机可读存储介质 |
| CN114710368A (zh) * | 2022-06-06 | 2022-07-05 | 杭州安恒信息技术股份有限公司 | 一种安全事件检测方法、装置及计算机可读存储介质 |
| CN114826783A (zh) * | 2022-06-28 | 2022-07-29 | 睿至科技集团有限公司 | 一种基于大数据的预测方法及系统 |
| CN114915501A (zh) * | 2022-07-15 | 2022-08-16 | 北京微步在线科技有限公司 | 基于进程行为图的入侵事件检测方法、装置及电子设备 |
| CN114915501B (zh) * | 2022-07-15 | 2022-09-13 | 北京微步在线科技有限公司 | 基于进程行为图的入侵事件检测方法、装置及电子设备 |
| CN115174242A (zh) * | 2022-09-07 | 2022-10-11 | 广州集韵信息科技有限公司 | 一种内网与外网间的数据安全传输控制方法及系统 |
| CN115687599B (zh) * | 2022-09-29 | 2023-10-31 | 恒生电子股份有限公司 | 业务数据处理方法、装置、电子设备及存储介质 |
| CN115687599A (zh) * | 2022-09-29 | 2023-02-03 | 恒生电子股份有限公司 | 业务数据处理方法、装置、电子设备及存储介质 |
| CN115883219A (zh) * | 2022-12-02 | 2023-03-31 | 上海花宸月希信息科技有限公司 | 基于日志的大数据智能关联分析方法及系统 |
| CN116846623A (zh) * | 2023-06-27 | 2023-10-03 | 广东为辰信息科技有限公司 | 针对车辆安全事件的关联分析方法 |
| CN116846623B (zh) * | 2023-06-27 | 2024-05-03 | 广东为辰信息科技有限公司 | 针对车辆安全事件的关联分析方法 |
| CN116647416A (zh) * | 2023-07-27 | 2023-08-25 | 深圳大学 | 网络安全指标推荐方法、装置、设备及存储介质 |
| CN116647416B (zh) * | 2023-07-27 | 2023-11-07 | 深圳大学 | 网络安全指标推荐方法、装置、设备及存储介质 |
| CN117331933A (zh) * | 2023-09-11 | 2024-01-02 | 安徽省大数据中心 | 基于多源异构统一纳管的安全运营方法及系统 |
| CN117331933B (zh) * | 2023-09-11 | 2024-02-23 | 安徽省大数据中心 | 基于多源异构统一纳管的安全运营方法及系统 |
| CN117376034A (zh) * | 2023-12-07 | 2024-01-09 | 南京中孚信息技术有限公司 | 基于用户行为关联的网络流量识别系统、方法及介质 |
| CN117376034B (zh) * | 2023-12-07 | 2024-03-22 | 南京中孚信息技术有限公司 | 基于用户行为关联的网络流量识别系统、方法及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114143020B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114143020B (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
| US10367827B2 (en) | Using network locations obtained from multiple threat lists to evaluate network data or machine data | |
| CN110650128B (zh) | 一种检测以太坊数字货币盗取攻击的系统及方法 | |
| CN112114995B (zh) | 基于进程的终端异常分析方法、装置、设备及存储介质 | |
| CN111431939B (zh) | 基于cti的sdn恶意流量防御方法 | |
| KR100960117B1 (ko) | 시그니처 패턴 매칭방법과 그 시스템 및 시그니처 패턴이기록된 기록매체 | |
| CN110012005B (zh) | 识别异常数据的方法、装置、电子设备及存储介质 | |
| CN112165462A (zh) | 基于画像的攻击预测方法、装置、电子设备及存储介质 | |
| CN109379390B (zh) | 一种基于全流量的网络安全基线生成方法 | |
| CN103226675B (zh) | 一种分析入侵行为的溯源系统及方法 | |
| EP3623983A1 (en) | Method and device for identifying security threats, storage medium, processor and terminal | |
| CN115134250B (zh) | 一种网络攻击溯源取证方法 | |
| CN115766258B (zh) | 一种基于因果关系图的多阶段攻击趋势预测方法、设备及存储介质 | |
| CN113179241A (zh) | 一种基于时序关联性分析的多步攻击表征方法 | |
| Las-Casas et al. | A big data architecture for security data and its application to phishing characterization | |
| Belouch et al. | A hybrid filter-wrapper feature selection method for DDoS detection in cloud computing | |
| CN116915450A (zh) | 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法 | |
| CN117454376A (zh) | 工业互联网数据安全检测响应与溯源方法及装置 | |
| CN117061254B (zh) | 异常流量检测方法、装置和计算机设备 | |
| CN115567305A (zh) | 基于深度学习的顺序网络攻击预测分析方法 | |
| Khaoula et al. | Improving Intrusion Detection Using PCA And K-Means Clustering Algorithm | |
| CN115883213A (zh) | 基于连续时间动态异质图神经网络的apt检测方法及系统 | |
| Tian et al. | Network attack path reconstruction based on similarity computation | |
| CN113572781A (zh) | 网络安全威胁信息归集方法 | |
| CN112115174A (zh) | 一种基于图计算技术的kyc方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |