CN115622750A - 安全告警智能排查方法、网络设备及存储介质 - Google Patents
安全告警智能排查方法、网络设备及存储介质 Download PDFInfo
- Publication number
- CN115622750A CN115622750A CN202211178870.9A CN202211178870A CN115622750A CN 115622750 A CN115622750 A CN 115622750A CN 202211178870 A CN202211178870 A CN 202211178870A CN 115622750 A CN115622750 A CN 115622750A
- Authority
- CN
- China
- Prior art keywords
- events
- alarm
- security
- safety
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了安全告警智能排查方法、网络设备及储介质，其中，方法包括获取安全事件数据；抽取K数量个安全事件并标记告警事件；利用分类模型对所标记的K个安全事件进行分类训练；获取每个安全事件为告警事件的概率；根据获取的K个安全事件每个事件发生告警的概率计算新的K值；通过计算得到的新的K值对原K值进行迭代处理；计算安全事件的错报漏报率；当错报漏报率小于预设值，则分类模型收敛；当错报漏报率大于等于预设值，通过迭代K值继续训练分类模型。本申请实施例工作人员只需对抽检的K数量个安全事件数据进行标记，大大减少了工作人员的工作量。
Description
技术领域
本申请涉及通讯设备技术领域，尤其涉及安全告警智能排查方法、网络设备及存储介质。
背景技术
随着互联网行业的快速发展和应用创新的突飞猛进，网络流量的类型多样化、演变形和复杂性都随着新型网络应用及网络协议的不断涌现而日益增长，同时网络运营服务商和网络监管部门对了解网络流量构成、实施网络差异化服务，以及净化网络环境等诉求也愈强烈。其中，安全管理平台的安全告警是安全管理平台分析的基础，大多设备基于规则，阈值设定等进行上报告警日志，导致每天上报成千上万安全告警日志，一定程度给安全管理员排查、处置带来巨大的工作压力。
基于机器学习的攻击判定分类方法，需要大量带有真实标签的样本来训练分类器，但是获取大量真实标签需要耗费大量人力物力。因此针对实际信息安全应用场景下，基于安全管理平台上报的大量安全事件进行标记存在着工作量大，无法完成的问题。这里所进行的标记式这些安全事件是否是告警事件。例如是告警事件，则标记1，不是告警事件标记0。
发明内容
为了克服相关技术中存在的问题，本申请提供了安全告警智能排查方法、网络设备及存储介质。
根据本申请实施例第一方面安全告警智能排查方法，包括：
获取安全事件数据；
抽取K数量个安全事件并标记告警事件；
利用分类模型对所标记的K个安全事件进行分类训练；
获取每个安全事件为告警事件的概率；
根据获取的K个安全事件每个事件发生告警的概率计算新的K值；
通过计算得到的新的K值对原K值进行迭代处理；
计算安全事件的错报漏报率；
当错报漏报率小于预设值，则分类模型收敛；
当错报漏报率大于等于预设值，通过迭代K值继续训练分类模型。
优选的，抽取K数量个安全事件，包括：
当判断为迭代初始，采用无监督算法对安全事件进行排序；
获取排序靠前的K数量个安全事件，并标记是否是告警事件；
当判断不是迭代初始，获取迭代后的K数量个安全事件；
利用迭代后的K数量个安全事件进行分类模型预测，获取每个安全事件的预测概率；
利用迭代后的K数量个安全事件进行基于无监督算法计算并进行排序；
基于安全事件的预测概率进行预测概率排序和预测概率的熵值计算与熵值排序；
抽取迭代后的所述无监督算法排序后的前K/3的安全事件；
抽取预测概率排序后概率大的前K/3的安全事件；
抽取熵值排序靠前的K/3的安全事件；
将迭代后的所述无监督算法排序后的前K/3的安全事件，预测概率排序后概率大的前K/3的安全事件和熵值排序靠前的K/3的安全事件组合成K数量个安全事件。
进一步地，无监督算法排序可以基于特征异常检测算法或使用图排序算法。
进一步地，图排序算法的公式：
其中，a表示权重值，h表示节点，基于h结果进行排序。
进一步地，特征异常检测算法基于标记得分异常的事件进行排序。
优选的，通过计算获取新的K值，包括：
基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值；
对所述K个安全事件的熵值进行排序；
预设安全事件发生概率在0.5的有m个，则K/3+K6≈m；
计算得到K≈2m。
进一步地，基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值公式：
其中，p(xi)表示告警事件发生的概率，n＝1,2。
优选的，计算安全事件的错报漏报率，包括：
获取一批新的安全事件数据；
将新一批的安全事件以K值迭代的方式输入分类模型预测告警事件；
将新一批的安全事件通过标记告警事件；
将预测得到的告警事件与标记的告警事件进行比较，计算预测得到告警事件的漏报错报率。
本申请实施例第二方面提供了网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述安全告警智能排查方法。
本申请实施例第三方面提供理论存储介质，其上存储有计算机程序指令，程序指令被处理器执行时用于实现上述安全告警智能排查方法。
本申请实施例提供的技术方案可以包括以下有益效果：
本申请实施例中工作人员只需对抽检的K数量个安全事件数据进行标记，大大减少了工作人员的工作量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入申请中并构成本申请的一部分，示出了符合本申请的实施例，并与申请一起用于解释本申请的原理。
图1是本申请实施例流程示意图；
图2是本申请中K数量个安全事件的获取方法示意图；
图3是本申请图排序算法示意图；
图4是本申请计算获取新的K值的方式示意图；
图5是本申请计算安全事件的错报漏报率示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为解决背景技术存在的问题，本申请实施例提供了安全告警智能排查方法，如图1所示，包括：
获取安全事件数据；
抽取K数量个安全事件并标记告警事件；
利用分类模型对所标记的K个安全事件进行分类训练；
获取每个安全事件为告警事件的概率；
根据获取的K个安全事件每个事件发生告警的概率计算新的K值；
通过计算得到的新的K值对原K值进行迭代处理；
计算安全事件的错报漏报率；
当错报漏报率小于预设值，则分类模型收敛；
当错报漏报率大于等于预设值，需要通过迭代K值继续训练分类模型。
本申请实施例因为每次只抽取K数量个安全事件通过模型进行预测和安全事件标记，因此工作人员需要手工操作标记的安全事件数量大大降低。而由于K值是一个动态调整的数据，因此分类模型预测根据调整的K值进行预测，预测数据更为精准，能够做到快速收敛。
在本实施例中需要说明抽取K数量个安全事件是如何得到的，具体来说包括以下两种情况，如图2所示：
情况一：当判断为迭代初始，因为此时没有已算好的迭代的新的K值，因此采用无监督算法对安全事件进行排序；获取排序靠前的K数量个安全事件，并标记是否是告警事件。
情况二：当判断不是迭代初始，获取迭代后的K数量个安全事件；(1)利用迭代后的K数量个安全事件进行分类模型预测，获取每个安全事件的预测概率；(2)利用迭代后的K数量个安全事件进行基于无监督算法计算并进行排序；(3)基于安全事件的预测概率进行预测概率排序和预测概率的熵值计算与熵值排序。抽取迭代后的无监督算法排序后的前K/3的安全事件；抽取预测概率排序后概率大的前K/3的安全事件；抽取熵值排序靠前的K/3的安全事件；将迭代后的所述无监督算法排序后的前K/3的安全事件，预测概率排序后概率大的前K/3的安全事件和熵值排序靠前的K/3的安全事件组合成K数量个安全事件。这里需要说明的是排序靠前指的是告警事件概率发生大的事件。
这里的无监督算法可以是基于特征异常检测算法获取的，也可以是使用图排序算法获取的。
图排序算法具体来说是通过下述公式实现,
其中，a表示权重值，h表示节点，基于h结果进行排序。如图所示3，A(1)＝H(2)+H(3)+H(4),H(1)＝A(5)+A(6)+A(7)。每个节点都会有两个属性值，a值和h值，从物理意义上理解：当一个主机发起多个攻击事件时，表示该主机大概率已经失陷(中毒)，则在图中表现为一个节点指向多个节点，这里基于每个节点的h值排序作为最后的排序结果。
特征异常检测算法是基于标记得分异常的事件进行排序。
本申请实施例中计算获取新的K值，如图4所示，包括：
基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值；
对K个安全事件的熵值进行排序；
预设安全事件发生概率在0.5的有m个，这是因为通过实验发现，不确定安全事件的熵值在事件预测概率为0.5附近，这也符合其实际物理特性，则K/3+K6≈m；因此计算得到K≈2m。利用熵值排序预测，主要利用熵值的稳定性特性。
基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值公式：
其中，p(xi)表示告警事件发生的概率，n＝1，2。是基于预测概率中标记类别0和类别1的概率计算对应的熵值。本申请实施例中可以以标记0为非告警事件或正常事件，标记1为告警事件。当然也可以反过来设置。
本申请实施例中的计算安全事件的错报漏报率，如图5所示，包括：
获取一批新的安全事件数据；
将新一批的安全事件以K值迭代的方式输入分类模型预测告警事件；
将新一批的安全事件进行告警事件标记；
将预测得到的告警事件与标记的告警事件进行比较，计算预测得到告警事件的漏报错报率。
本申请实施例第二方面还提供了网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述安全告警智能排查方法。
本申请实施例第三方面提供了存储介质，其上存储有计算机程序指令，程序指令被处理器执行时用于实现上述安全告警智能排查方法。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.安全告警智能排查方法，其特征在于，包括：
获取安全事件数据；
抽取K数量个安全事件并标记告警事件；
利用分类模型对所标记的K个安全事件进行分类训练；
获取每个安全事件为告警事件的概率；
根据获取的K个安全事件每个事件发生告警的概率计算新的K值；
通过计算得到的新的K值对原K值进行迭代处理；
计算安全事件的错报漏报率；
当错报漏报率小于预设值，则分类模型收敛；
当错报漏报率大于等于预设值，通过迭代K值继续训练分类模型。
2.根据权利要求1所述的安全告警智能排查方法，其特征在于，抽取K数量个安全事件，包括：
当判断为迭代初始，采用无监督算法对安全事件进行排序；
获取排序靠前的K数量个安全事件，并标记是否是告警事件；
当判断不是迭代初始，获取迭代后的K数量个安全事件；
利用迭代后的K数量个安全事件进行分类模型预测，获取每个安全事件的预测概率；
利用迭代后的K数量个安全事件进行基于无监督算法计算并进行排序；
基于安全事件的预测概率进行预测概率排序和预测概率的熵值计算与熵值排序；
抽取迭代后的所述无监督算法排序后的前K/3的安全事件；
抽取预测概率排序后概率大的前K/3的安全事件；
抽取熵值排序靠前的K/3的安全事件；
将迭代后的所述无监督算法排序后的前K/3的安全事件，预测概率排序后概率大的前K/3的安全事件和熵值排序靠前的K/3的安全事件组合成K数量个安全事件。
3.根据权利要求2所述的安全告警智能排查方法，其特征在于，所述无监督算法排序可以基于特征异常检测算法或使用图排序算法。
4.根据权利要求3所述的安全告警智能排查方法，其特征在于，所述图排序算法的公式：
其中，a表示权重值，g表示节点，基于h结果进行排序。
5.根据权利要求3所述的安全告警智能排查方法，其特征在于，所述特征异常检测算法基于标记得分异常的事件进行排序。
6.根据权利要求1所述的安全告警智能排查方法，其特征在于，通过计算获取新的K值，包括：
基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值；
对所述K个安全事件的熵值进行排序；
预设安全事件发生概率在0.5的有m个，则K/3+K6≈m；
计算得到K≈2m。
7.根据权利要求6所述的安全告警智能排查方法，其特征在于，基于预测概率中基于标记为是告警事件和不是告警事件的概率计算对应的熵值公式：
其中，p(xi)表示告警事件发生的概率，n＝1，2。
8.根据权利要求1所述的安全告警智能排查方法，其特征在于，所述的计算安全事件的错报漏报率，包括：
获取一批新的安全事件数据；
将新一批的安全事件以K值迭代的方式输入分类模型预测告警事件；
将新一批的安全事件通过标记告警事件；
将预测得到的告警事件与标记的告警事件进行比较，计算预测得到告警事件的漏报错报率。
9.网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时执行包括权利要求1-8任意一项所述的安全告警智能排查方法。
10.存储介质，其上存储有计算机程序指令，其特征在于，程序指令被处理器执行时用于实现权利要求1-8任一项所述的安全告警智能排查方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178870.9A CN115622750A (zh) | 2022-09-27 | 2022-09-27 | 安全告警智能排查方法、网络设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178870.9A CN115622750A (zh) | 2022-09-27 | 2022-09-27 | 安全告警智能排查方法、网络设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115622750A true CN115622750A (zh) | 2023-01-17 |
Family
ID=84861176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211178870.9A Pending CN115622750A (zh) | 2022-09-27 | 2022-09-27 | 安全告警智能排查方法、网络设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115622750A (zh) |
-
2022
- 2022-09-27 CN CN202211178870.9A patent/CN115622750A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111475804B (zh) | 一种告警预测方法及系统 | |
| EP3796176A1 (en) | Fault root cause analysis method and apparatus | |
| CN108964995B (zh) | 基于时间轴事件的日志关联分析方法 | |
| CN111614491B (zh) | 一种面向电力监控系统安全态势评估指标选取方法及系统 | |
| CN112565301B (zh) | 基于小样本学习的服务器运行网络流量异常数据检测方法 | |
| CN114124482B (zh) | 基于lof和孤立森林的访问流量异常检测方法及设备 | |
| CN111726248A (zh) | 一种告警根因定位方法及装置 | |
| CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
| CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| CN112492567B (zh) | 一种应急指挥通信中的故障分析和解决方法及装置 | |
| JP2009527839A (ja) | 通信ネットワークのトランザクション監視のための方法及びシステム | |
| CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
| CN113259176A (zh) | 一种告警事件分析方法和装置 | |
| CN109993391B (zh) | 网络运维任务工单的派发方法、装置、设备及介质 | |
| CN110602030A (zh) | 网络入侵阻断方法、服务器及计算机可读介质 | |
| CN114581694A (zh) | 一种基于改进的支持向量机的网络安全态势评估方法 | |
| WO2017033448A1 (ja) | データ処理装置、データ処理方法、及びプログラム記録媒体 | |
| Li et al. | A lightweight intrusion detection model based on feature selection and maximum entropy model | |
| CN112039907A (zh) | 一种基于物联网终端评测平台的自动测试方法及系统 | |
| CN117221087A (zh) | 告警根因定位方法、装置及介质 | |
| CN117216713A (zh) | 故障定界方法、装置、电子设备和存储介质 | |
| CN115659351B (zh) | 一种基于大数据办公的信息安全分析方法、系统及设备 | |
| CN116865994A (zh) | 一种基于大数据的网络数据安全预测方法 | |
| CN115622750A (zh) | 安全告警智能排查方法、网络设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |