CN116684128A - 一种基于网络攻击行为自适应分类的告警降噪方法及系统 - Google Patents

一种基于网络攻击行为自适应分类的告警降噪方法及系统 Download PDF

Info

Publication number
CN116684128A
CN116684128A CN202310590596.4A CN202310590596A CN116684128A CN 116684128 A CN116684128 A CN 116684128A CN 202310590596 A CN202310590596 A CN 202310590596A CN 116684128 A CN116684128 A CN 116684128A
Authority
CN
China
Prior art keywords
alarm
data
rules
steps
adaptive classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310590596.4A
Other languages
English (en)
Inventor
徐胜国
胡游君
郭靓
刘剑
姜训
刘强
俞皓
王清华
徐雪菲
纪元
臧燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Information and Communication Technology Co
Original Assignee
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Information and Communication Technology Co filed Critical Nari Information and Communication Technology Co
Priority to CN202310590596.4A priority Critical patent/CN116684128A/zh
Publication of CN116684128A publication Critical patent/CN116684128A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于网络攻击行为自适应分类的告警降噪方法及系统，包括获取系统数据，并进行去噪处理和标记化；加载告警规则，通过实时流计算方式对告警规则开启监听窗口；匹配告警规则；利用训练数据对自适应分类模型进行离线训练，形成灰名单数据；进行在线检测；根据告警类型总结告警过滤规则，进行二次过滤。本发明相较于传统的仅基于规则的告警降噪检测，利用模型的方式，不容易被绕过且能够更加灵活准确的发现真正的攻击。可以通过不断的学习训练，学习新的攻击行为规律，识别最新的攻击行为；具有多场景的适应性，针对不同的应用场景，只需采用对应的数据进行训练，即可迅速部署模型，实现对应场景的告警降噪检测，无需重复开发。

Description

一种基于网络攻击行为自适应分类的告警降噪方法及系统
技术领域
本发明涉及计算机信息处理技术领域，特别是一种基于网络攻击行为自适应分类的告警降噪方法及系统。
背景技术
当前复杂的网络攻击早已摒弃原有非黑即白的理念，将具有威胁的元素以打分的形式来描述其威胁可信度，建设攻击行为自适应分类模型，以现有分值为基础，结合现场分析人员和安全专家处置结果，动态反馈到模型中，该模型动态调整威胁可信度，形成攻击行为智能降噪机制，能够很好的降低网络安全告警的数量。
现有技术的不足之处：传统技术仅基于规则的告警降噪检测，告警降噪检测功能呈离散状态分布，而且基于预先定义好的规则，不够灵活且容易被绕过，缺乏多场景的学习自适应性；传统的告警降噪主要聚焦某个单点事件或者聚焦于相同的告警进行归并，对新的场景产生的大量噪声告警没有解决的能力。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的基于网络攻击行为自适应分类的告警降噪方法及系统存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种基于网络攻击行为自适应分类的告警降噪方法及系统。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种基于网络攻击行为自适应分类的告警降噪方法及系统，其包括，获取系统数据，并进行去噪处理和标记化，获得无噪声的训练数据；加载告警规则到内存中，通过实时流计算方式对告警规则开启监听窗口；匹配告警规则，若匹配成功，则生成告警数据，放入告警队列中；利用训练数据对自适应分类模型进行离线训练，形成灰名单数据；对自适应分类模型进行在线检测；根据告警类型总结告警过滤规则，进行二次过滤。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述去噪处理包括，日志数据进行筛选、清洗、过滤、聚类；所述标记化包括，将各种不同表达方式的日志转换成的统一的描述形式，标记化字段包括IP地址、端口、告警级别以及告警名称。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述实时流计算方式包括，对流入系统的数据进行实时处理和分析，产生实时结果；通过基于事件的架构处理数据，自动触发处理，使数据在到达时立即被处理。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述离线训练包括，在灰名单初始分数，即威胁可信度基础上，如果对应的告警被忽略，则灰名单对应的分值-1，如果转封禁则将其置为100分，如果是已处置，则+1分，其他处置则分值不变，最高100分，最低1分；当分值为1需要继续-1的时候，将本条灰名单删除。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述在线检测包括，利用训练过的灰名单数据结合实时产生的告警数据，通过k近邻分类算法，找到匹配的灰名单，根据计算结果，判断是告警还是消息。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述k近邻分类算法包括，实时告警数据经过向量化后，转换成样本{X1,X2,...XN},其中Xi＝{IP，Port，WarningLevel，WarningName}，每个样本Xi含有4维特征，进行归一化；将向量中每个数值型数据点进行转换，公式如下：
式中，xi是第i个数据点原始取值；max(xi)和min(xi)分别表示向量中第i个特征的最大值和最小值；x′i是经过归一化后的第i个数据点取值；归一化后得到的结果在各维度上落在0到1的范围之内；对于任意一个待分类样本Y＝[y1,y2,...yn]，根据余弦相似度算法分别计算Y和每个Xi的相似度；余弦相似度计算公式如下：
式中，X，Y分别表示两个不同的样本，xi,yi分别表示样本X，Y特征向量的第i个特征值。
作为本发明所述基于网络攻击行为自适应分类的告警降噪方法及系统的一种优选方案，其中：所述总结告警过滤规则包括如下步骤，每周查询全网告警表排名第一的告警类型；根据排名第一的告警类型在全网告警表查询产生该告警最多的网省；具体到该网省查看该类告警，分析产生原因，总结告警过滤规则；所述二次过滤包括，根据总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表。
第二方面，本发明实施例提供了一种基于网络攻击行为自适应分类的告警降噪系统，其包括：数据处理模块，用于获取技防设备和系统日志，对日志数据进行筛选、清洗、过滤以及聚类操作，并对清洗后的结果数据进行标记化，获得无噪声的训练数据；数据分析模块，用于将安全专家分析总结的场景规则加载到内存中，通过实时流计算方式，针对每种规则，开启监听窗口，匹配告警规则，如果命中，生成告警数据，放入告警队列中；攻击行为自适应分类模块，包括离线训练和在线检测，离线训练包括形成灰名单数据；在线检测包括，根据选用的K近邻分类算法分别计算待分类样本和每个已知样本的相似度，选出最接近1的样本对应的威胁可信度和告警置信度，计算告警阈值，当告警阈值大于50分时，则打上告警的标签，后期加入告警表；否则打上消息的标签，加入消息表；专家经验模块，包括安全专家每周查看全网告警表排名第一的告警类型，根据第一的告警在全网告警表查询产生该告警最多的网省，具体到该网省查看该类告警，总结告警过滤规则；二次过滤模块，用于根据总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述方法的任一步骤。
本发明有益效果为相较于传统的仅基于规则的告警降噪检测，本发明利用模型的方式，不容易被绕过且能够更加灵活准确的发现真正的攻击。基于规则的告警降噪检测需要人工不断更新最新的规则，而模型可以通过不断的学习训练，学习新的攻击行为规律，识别最新的攻击行为；本发明模型具有多场景的适应性，针对不同的应用场景，只需采用该场景对应的数据对模型进行训练，即可迅速部署模型，实现对应场景的告警降噪检测，无需重复开发。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为基于网络攻击行为自适应分类的告警降噪系统的整体结构图。
图2为基于网络攻击行为自适应分类的告警降噪方法的自适应分类模型实例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明第一个实施例，该实施例提供了一种基于网络攻击行为自适应分类的告警降噪方法，包括：
S1：采集数据并进行处理。
具体的，S1.1：数据采集：通过syslog方式，获取技防设备和系统日志，供数据处理使用。
S1.2：数据去噪：采集的数据中，对日志数据进行筛选、清洗、过滤、聚类等操作。
更进一步的，数据清洗和过滤是将一些格式不合规，属性个数和要求的不一致的数据直接删除，提高数据质量；数据聚类是指在指定的时间间隔内，如果多次出现仅有时间不同，其他属性相同的记录，则只保留该重复记录中的最后一条记录。
S1.3：数据标记化：的结果数据进行标记化，获得无噪声的训练数据，为下一步数据分析做准备。
更进一步的，将各种不同表达方式的日志转换成的统一的描述形式，分析人员不必再去熟悉不同厂商不同的日志信息，从而大大提升分析的工作效率。系统提供的标记化字段包括IP地址、端口、告警级别、告警名称等。
S2：对数据进行分析。
具体的，S2.1：加载告警规则：目前通过安全专家分析总结出600多种场景规则，然后加载到内存中，通过实时流计算方式，针对每种规则，开启监听窗口。
更进一步的，实时流计算是一种处理数据流的技术，它可以对流入系统的数据进行实时处理和分析，以产生实时结果。这种技术主要用于处理实时数据。实时流计算通过基于事件的架构处理数据，这种架构可以自动触发处理，从而使数据在到达时立即被处理。
S2.2：规则匹配：利用标记化后的数据，匹配S1中的告警规则，如果命中，生成告警数据，放入告警队列中，为下一步攻击行为自适应分类模块能够准确的离线训练和分析检测做准备。
S3：建立自适应分类模型并进行离线训练和在线检测。
具体的，S3.1：离线训练，根据数据集上训练来形成灰名单数据，此训练过程可以定期执行或手动触发。
其中，灰名单元素可以包含IP地址、端口、告警级别、告警名称等，其简要格式如下：
表1灰名单元素表
Id IP Port WarningLevel WarningName Score RealtimeScore CalculateScore
1 20.20.20.120 80 高 Sql注入 80 70 50
2 20.20.20.121 3306 中 高危端口 80 70 50
… … …
(1)IP：告警数据中的攻击源IP或攻击目的IP，(2)Port：告警数据中的源端口或目的端口，(3)WarningLevel：告警数据中的告警级别，(4)WarningName：告警数据中的告警类别，(5)Score：是当前这条灰名单的威胁可信度(灰名单初始分数)，其值是智能调整的，范围是1-100，(6)RealtimeScore：是当前这条灰名单的告警置信度(实时告警对应的分数)，其值是智能调整的，范围是1-100，(7)CalculateScore：是当前这条灰名单的告警阈值(计算后的分数)，其值是智能调整的，范围是1-100。
灰名单来源
(1)根据专家经验反哺
具体的，现场运维人员和安全专家每天分析产生的告警数据，将一些有价值告警中的IP、端口、告警级别、告警名称通过web界面，录入灰名单。
(2)根据告警处置结果获取
具体的，根据告警处置的结果设置灰名单的威胁可信度(灰名单初始分数)。
(3)根据情报获取
具体的，根据告警数据中的攻击源匹配情报(第三方和内生情报)，如果能够匹配上，将相关信息插入灰名单，并且将威胁可信度置为100分。
离线灰名单分值和计算
(1)根据历史告警数据中的处置结果设置灰名单的威胁可信度(灰名单初始分数)，此分值支持在线调整。
表1灰名单分值表
处置状态 分值
转工单 60
已处置 80
封禁 100
(2)离线训练过程中，在灰名单初始分数基础上，如果对应的告警被忽略，则灰名单对应的分值-1，如果转封禁则将其置为100分，如果是已处置，则+1，其他处置则分值不变，最高100分，最低1分。当分值为1需要继续-1的时候，将本条灰名单删除。
S3.2：在线检测，在该阶段，利用训练过的灰名单数据结合实时产生的告警数据，通过k近邻分类算法，找到匹配的灰名单，根据计算结果，判断是告警还是消息。
具体的，日志数据经过实时分析匹配规则得到的告警，根据等级换算成对应的分值，分值映射关系如表所示：
表2告警等级对应分值
告警等级 告警分值
高 80
中 50
低 20
k近邻分类算法
k近邻分类(k-nearestneighbor classification)算法(简称KNN)，KNN算法具有简单、无需估计参数、无需训练等优点，特别适合多分类问题(对象具有多个类别标签)，缺点是对待分类样本的分析开销大，因为要扫描全部样本进行距离计算，流式数据是一定时间内流入窗口缓存到内存的数据，这部分数据量不会很大，因此适合KNN算法进行分类分析。
算法的思想是在已知样本中找到与待分类样本最相似的K个样本，然后查看这K个已知样本所属的类别，找到所属类别样本最多的那个类，最终将待分类样本归为此类。
本发明基于KNN算法实现的分类过程如下：
实时告警数据经过向量化后，转换成样本{X1,X2,...XN},其中Xi＝{IP，Port，WarningLevel，WarningName}，每个样本Xi含有4维特征，然后进行归一化。
本发明采用MinMaxScaler进行归一化，可以将向量中每一个数值型数据点按如下公式进行转换：
式中xi是第i个数据点原始取值，max(xi)和min(xi)分别表示向量中第i个特征的最大值和最小值，x′i是经过归一化后的第i个数据点取值，归一化后得到的结果将在各维度上落在0到1的范围之内，方便进行分类分析。
例如：{“192.168.0.1”，“80”，“高”，“sql注入”}可以采用以下步骤实现归一化；对于IP地址和端口号，由于它们均为数字，可以将其转换为数值型数据；对于字符串“高”，由于无法直接进行量化，因此需要进行特征提取和转换，使用词袋模型或Word2Vec等方式，将文本转化为数值型数据；对于字符串“sql注入”，同样需要进行特征提取和转换，将文本转化为数值型数据；将上述数据点组成一个四维向量。
对于任意一个待分类样本Y＝[y1,y2,...yn]，根据选用的余弦相似度算法分别计算Y和每个Xi的相似度。
具体的，由于网络安全数据是文本类型，使用余弦来计算相似度更加适合。
余弦相似度计算公式：
式中，X，Y分别表示两个不同的样本，xi,yi分别表示样本X，Y特征向量的第i个特征值；余弦相似度计算值是在0-1之间，两个向量夹角越小，说明两个样本越相似。
选出最接近1的样本X对应的威胁可信度和告警置信度，通过如下公式计算出告警阈值：告警阈值＝威胁可信度*0.6+告警置信度*0.4。
当告警阈值大于50分时，则打上告警的标签，后期加入告警表；否则打上消息的标签，加入消息表。
S4：总结告警过滤规则。
具体的，S4.1：每周查询全网告警表排名第一的告警类型。
S4.2：根据第一的告警在全网告警表查询产生该告警最多的网省。
S4.3：具体到该网省查看该类告警，分析原因，总结出告警过滤规则。
如下表所示，可使该类告警数量减少80％。
表3告警过滤规则表
S5：进行二次过滤。
具体的，在线检测输出的告警数据，经过总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表。
本实施例还提供一种计算机设备，适用于基于网络攻击行为自适应分类的告警降噪方法的情况，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的本发明实施例所述方法的全部或部分步骤。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的基于网络攻击行为自适应分类的告警降噪方法。
本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
由上可知，本发明利用建立模型的方式，不容易在实际检测中被绕过且能够更加灵活准确的发现真正的攻击，可以通过不断的学习训练，学习新的攻击行为规律，识别最新的攻击行为；同时本方法还具有多场景的适应性，针对不同的应用场景，只需采用该场景对应的数据对自适应分类模型进行训练，即可迅速部署模型，实现对应场景的告警降噪检测，无需重复开发。
实施例2
参照图2，为本发明第二个实施例，该实施例提供了一种基于网络攻击行为自适应分类的告警降噪系统，包括：
数据处理模块获取技防设备和系统日志，对日志数据进行筛选、清洗、过滤以及聚类操作，并对清洗后的结果数据进行标记化，获得无噪声的训练数据。
数据分析模块通过安全专家分析总结出600多种场景规则，加载到内存中，通过实时流计算方式，针对每种规则，开启监听窗口，匹配上述告警规则，如果命中，生成告警数据，放入告警队列中。
攻击行为自适应分类模块，包括离线训练和在线检测，其中，离线训练包括形成灰名单数据；在线检测包括，根据选用的K近邻分类算法分别计算待分类样本和每个已知样本的相似度，选出最接近1的样本对应的威胁可信度和告警置信度，计算告警阈值，当告警阈值大于50分时，则打上告警的标签，后期入告警表；否则打上消息的标签，入消息表。
专家经验模块，包括安全专家每周查看全网告警表排名第一的告警类型，根据第一的告警在全网告警表查询产生该告警最多的网省，具体到该网省查看该类告警，分析原因，总结出告警过滤规则。
二次过滤模块，包括根据总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表。
由上可知，本发明利用建立模型的方式，不容易在实际检测中被绕过且能够更加灵活准确的发现真正的攻击，可以通过不断的学习训练，学习新的攻击行为规律，识别最新的攻击行为；同时还具有多场景的适应性，针对不同的应用场景，只需采用该场景对应的数据对自适应分类模型进行训练，即可迅速部署模型，实现对应场景的告警降噪检测，无需重复开发。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现基于网络攻击行为自适应分类的告警降噪方法。计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于网络攻击行为自适应分类的告警降噪方法，其特征在于：包括，
获取系统数据，并进行去噪处理和标记化，获得无噪声的训练数据；
加载告警规则到内存中，通过实时流计算方式对告警规则开启监听窗口；
匹配告警规则，若匹配成功，则生成告警数据，放入告警队列中；
利用训练数据对自适应分类模型进行离线训练，形成灰名单数据；
对自适应分类模型进行在线检测；
根据告警类型总结告警过滤规则，进行二次过滤。
2.如权利要求1所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述去噪处理包括，日志数据进行筛选、清洗、过滤、聚类；所述标记化包括，将各种不同表达方式的日志转换成的统一的描述形式，标记化字段包括IP地址、端口、告警级别以及告警名称。
3.如权利要求2所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述实时流计算方式包括，对流入系统的数据进行实时处理和分析，产生实时结果；通过基于事件的架构处理数据，自动触发处理，使数据在到达时立即被处理。
4.如权利要求3所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述离线训练包括，在灰名单初始分数，即威胁可信度基础上，如果对应的告警被忽略，则灰名单对应的分值-1，如果转封禁则将其置为100分，如果是已处置，则+1分，其他处置则分值不变，最高100分，最低1分；当分值为1需要继续-1的时候，将本条灰名单删除。
5.如权利要求4所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述在线检测包括，利用训练过的灰名单数据结合实时产生的告警数据，通过k近邻分类算法，找到匹配的灰名单，根据计算结果，判断是告警还是消息。
6.如权利要求5所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述k近邻分类算法包括，实时告警数据经过向量化后，转换成样本{X1,X2,...XN},其中Xi＝{IP，Port，WarningLevel，WarningName}，每个样本Xi含有4维特征，进行归一化；
将向量中每个数值型数据点进行转换，公式如下：
式中，xi是第i个数据点原始取值；max(xi)和min(xi)分别表示向量中第i个特征的最大值和最小值；x′i是经过归一化后的第i个数据点取值；归一化后得到的结果在各维度上落在0到1的范围之内；
对于任意一个待分类样本Y＝[y1,y2,...yn]，根据余弦相似度算法分别计算Y和每个Xi的相似度；余弦相似度计算公式如下：
式中，X，Y分别表示两个不同的样本，xi,yi分别表示样本X，Y特征向量的第i个特征值。
7.如权利要求6所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：所述总结告警过滤规则包括如下步骤，
每周查询全网告警表排名第一的告警类型；
根据排名第一的告警类型在全网告警表查询产生该告警最多的网省；
具体到该网省查看该类告警，分析产生原因，总结告警过滤规则；
所述二次过滤包括，根据总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表。
8.一种基于网络攻击行为自适应分类的告警降噪系统，基于权利要求1～7所述的基于网络攻击行为自适应分类的告警降噪方法，其特征在于：包括，
数据处理模块，用于获取技防设备和系统日志，对日志数据进行筛选、清洗、过滤以及聚类操作，并对清洗后的结果数据进行标记化，获得无噪声的训练数据；
数据分析模块，用于将安全专家分析总结的场景规则加载到内存中，通过实时流计算方式，针对每种规则，开启监听窗口，匹配告警规则，如果命中，生成告警数据，放入告警队列中；
攻击行为自适应分类模块，包括离线训练和在线检测，离线训练包括形成灰名单数据；在线检测包括，根据选用的K近邻分类算法分别计算待分类样本和每个已知样本的相似度，选出最接近1的样本对应的威胁可信度和告警置信度，计算告警阈值，当告警阈值大于50分时，则打上告警的标签，后期加入告警表；否则打上消息的标签，加入消息表；
专家经验模块，包括安全专家每周查看全网告警表排名第一的告警类型，根据第一的告警在全网告警表查询产生该告警最多的网省，具体到该网省查看该类告警，总结告警过滤规则；
二次过滤模块，用于根据总结的告警过滤规则，如果命中任一规则，则不生成告警，转成消息，否则插入告警表。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述方法的步骤。
CN202310590596.4A 2023-05-24 2023-05-24 一种基于网络攻击行为自适应分类的告警降噪方法及系统 Pending CN116684128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310590596.4A CN116684128A (zh) 2023-05-24 2023-05-24 一种基于网络攻击行为自适应分类的告警降噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310590596.4A CN116684128A (zh) 2023-05-24 2023-05-24 一种基于网络攻击行为自适应分类的告警降噪方法及系统

Publications (1)

Publication Number Publication Date
CN116684128A true CN116684128A (zh) 2023-09-01

Family

ID=87781709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310590596.4A Pending CN116684128A (zh) 2023-05-24 2023-05-24 一种基于网络攻击行为自适应分类的告警降噪方法及系统

Country Status (1)

Country Link
CN (1) CN116684128A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915507A (zh) * 2023-09-12 2023-10-20 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN117539665A (zh) * 2024-01-09 2024-02-09 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915507A (zh) * 2023-09-12 2023-10-20 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN116915507B (zh) * 2023-09-12 2023-12-05 奇安星城网络安全运营服务(长沙)有限公司 基于安全信号匹配的计算机网络安全分析系统
CN117539665A (zh) * 2024-01-09 2024-02-09 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质
CN117539665B (zh) * 2024-01-09 2024-04-12 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109768985B (zh) 一种基于流量可视化与机器学习算法的入侵检测方法
CN108632279B (zh) 一种基于网络流量的多层异常检测方法
CN116684128A (zh) 一种基于网络攻击行为自适应分类的告警降噪方法及系统
CN113392932B (zh) 一种深度入侵检测的对抗攻击系统
US20020161763A1 (en) Method for classifying data using clustering and classification algorithm supervised
CN114124482B (zh) 基于lof和孤立森林的访问流量异常检测方法及设备
CN115348074B (zh) 深度时空混合的云数据中心网络流量实时检测方法
CN107180056A (zh) 视频中片段的匹配方法和装置
Wang et al. Res-TranBiLSTM: An intelligent approach for intrusion detection in the Internet of Things
CN115622806A (zh) 一种基于bert-cgan的网络入侵检测方法
CN110995713A (zh) 一种基于卷积神经网络的僵尸网络检测系统及方法
CN117081798A (zh) 一种基于att_ck和有向警报图的真实威胁告警系统、方法和计算机可读存储介质
CN111797997A (zh) 网络入侵检测方法、模型构建方法、装置及电子设备
CN114970694B (zh) 一种网络安全态势评估方法及其模型训练方法
CN114638356B (zh) 一种静态权重引导的深度神经网络后门检测方法及系统
CN113887633B (zh) 基于il的闭源电力工控系统恶意行为识别方法及系统
CN112651422B (zh) 一种时空感知的网络流量异常行为检测方法及电子装置
Chimphlee et al. Integrating genetic algorithms and fuzzy C-means for anomaly detection
CN113468555A (zh) 一种客户端访问行为识别方法、系统及装置
CN113127640A (zh) 一种基于自然语言处理的恶意垃圾评论攻击识别方法
CN112861913A (zh) 一种基于图卷积网络的入侵警报消息的关联方法
CN112115794A (zh) 一种基于深度学习的安全帽佩戴情况检测方法
Siqi et al. Anomalous traffic detection algorithm for SDN
CN118133146B (zh) 基于人工智能的物联网风险入侵识别方法
Khoshgoftaar et al. Evaluating indirect and direct classification techniques for network intrusion detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination