CN116962081A - 安全报警研判方法、装置及存储介质 - Google Patents

安全报警研判方法、装置及存储介质 Download PDF

Info

Publication number
CN116962081A
CN116962081A CN202311206897.9A CN202311206897A CN116962081A CN 116962081 A CN116962081 A CN 116962081A CN 202311206897 A CN202311206897 A CN 202311206897A CN 116962081 A CN116962081 A CN 116962081A
Authority
CN
China
Prior art keywords
alarm
rule
data
load
threat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311206897.9A
Other languages
English (en)
Other versions
CN116962081B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Juming Network Technology Co ltd
Original Assignee
Nanjing Juming Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Juming Network Technology Co ltd filed Critical Nanjing Juming Network Technology Co ltd
Priority to CN202311206897.9A priority Critical patent/CN116962081B/zh
Publication of CN116962081A publication Critical patent/CN116962081A/zh
Application granted granted Critical
Publication of CN116962081B publication Critical patent/CN116962081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种安全报警研判方法、装置及存储介质，其中方法包括：利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用安全运营平台将安全数据进行结构化处理，以解析出网络会话五元组；加载免研判规则，对结构化处理后的安全数据进行过滤，以缩小安全数据中告警的需研判范围；对经过免研判规则过滤后的安全数据中的告警，利用报警元数据检测规则对其进行标注；对未被标注为误报或者威胁的告警，利用报警负载浅度检测规则对其进行标注；对未被标注为威胁的告警，利用攻击负载双向研判规则对其进行标注；对未被标注为威胁的告警，利用负载深度研判规则对其进行标注；对被标注为威胁的告警进行汇总，生成威胁情报。

Description

安全报警研判方法、装置及存储介质
技术领域
本申请涉及网络安全技术领域，具体涉及一种安全报警研判方法、装置及存储介质。
背景技术
在网络安全领域中，安全运营平台承载着收集、泛化、分析和研判各种安全产品或设备的告警功能，由于其处于安全防护体系的顶端，故能获取的各种安全报警数据也较为抽象，即这些报警本身给出的信息极不具体，故对其进行研判存在较大问题，即使部分安全产品给出了一定的安全数据，如某些厂商的Web应用防护设备等，但从中判断是否为威胁仍是比较大的挑战，特别是从中筛除掉相关误报等。
对于误报的处理，传统上安全管理员仍是登录到各个安全设备查看其详细内容，但一般的边界安全设备，如防火墙、统一威胁管理（UTM）、Web应用防火墙、网络流量检测和响应产品等，处于性能考虑，它们一般不会留存太多细节数据，特别是不可能提供完整的攻击负载（Payload），即发生攻击时的网络访问数据，故仅凭这些产品自身提供的报警来判断是否误报，是非常困难的，因为这些设备对于安全运营平台而言都是三方设备。
因此，需要一种能记录所有相关攻击流量的方法，配合安全运营平台以提供完整的攻击取证能力，从而可以在技术细节上对各类误报提供研判依据，最终达到可以自动化运维的目的。
发明内容
本申请实施例的目的在于提供一种安全报警研判方法、装置及存储介质，用以解决现有技术中缺少一种能记录所有相关攻击流量的方法，导致无法配合安全运营平台提供完整的攻击取证能力，从而无法在技术细节上对各类误报提供研判依据，无法达到可以自动化运维的目的的问题。
为实现上述目的，本申请实施例提供一种安全报警研判方法，包括：利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用所述安全运营平台将所述安全数据进行结构化处理，以解析出网络会话五元组；
加载免研判规则，对结构化处理后的所述安全数据进行过滤，以缩小所述安全数据中告警的需研判范围；
对经过所述免研判规则过滤后的所述安全数据中的所述告警，利用报警元数据检测规则对其进行标注；
对未被标注为误报或者威胁的所述告警，利用报警负载浅度检测规则对其进行标注；
对未被标注为威胁的所述告警，利用攻击负载双向研判规则对其进行标注；
对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注；
对被标注为威胁的所述告警进行汇总，生成威胁情报。
可选地，所述解析出网络会话五元组包括：根据数据性质对所述安全数据进行分类和命名，并补充地理位置信息；
所述安全数据包括攻击负载的TCP初始序列。
可选地，所述报警元数据检测规则包括：
基于规格化后的元数据的定义构建的筛选过滤表达式，表达式之间支持逻辑与、或、非，所述元数据包括网络会话五元组、应用协议、DNS、URI、主机名、用户名和/或邮箱。
可选地，所述利用报警负载浅度检测规则对其进行标注，包括：
对所述告警中的文本数据利用自然语言进行分词并去除其中常见停止词；
对于经过Base64编码方式上报的所述告警信息，使用2-gram方式进行分词；
完成分词后，与负载浅度特征进行比对，当高于设定阈值时将对应的所述告警标注为威胁。
可选地，所述利用攻击负载双向研判规则对其进行标注，包括：
利用安全报警的网络会话五元组、告警发生时间或者TCP初始序列号向边界网络流量留存设备进行请求，以获取相关数据，将获取到的数据包与历史攻击负载双向研判规则进行比对，当没有命中时，将对应的数据展现在平台管理界面中；
所述攻击负载双向研判规则包括威胁检测规则和与之对应的误报检测规则。
可选地，基于机器学习的所述负载深度研判规则为通过攻击负载进行深度学习所获得的特征而构成的机器学习规则；
在所述对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注之后，还包括：
对请求负载进行分词处理；
去除协议相关停止词；
使用分词器对文本或者二进制数据进行处理，其中，对所述二进制数据采用2-gram方式进行处理；
针对不同的应用协议，使用TF-IDF方法对所述文本或二进制数据进行分析，形成聚类数据，将每种所述聚类数据标注为被研判后的威胁类型；
根据所述聚类数据，自动生成深度研判规则。
可选地，所述根据所述聚类数据，自动生成深度研判规则，包括：
对所述聚类数据的签名的内容集合进行自动扩张；其中
自动扩张的依据是分词或2-gram片段在同类告警中的内聚程度和不同类告警中的差异程度同时决定的，即平台定义两个阈值，分词或片段未在历史检测中发现，但同时满足这两个阈值时可以自动生成所述深度研判规则，以备后续使用。
可选地，所述对被标注为威胁的所述告警进行汇总，生成威胁情报，包括：
将被标注为威胁的所述告警的攻击源IP地址、攻击手法、攻击时间和/或攻击行业信息进行汇总，生成所述威胁情报，并将生成的所述威胁情报上载到云端安全运营平台。
为实现上述目的，本申请还提供一种安全报警研判装置，包括：存储器；以及
与所述存储器连接的处理器，所述处理器被配置成执行如上所述的方法的步骤。
为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点：
本申请实施例提供一种安全报警研判方法，包括：利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用所述安全运营平台将所述安全数据进行结构化处理，以解析出网络会话五元组；加载免研判规则，对结构化处理后的所述安全数据进行过滤，以缩小所述安全数据中告警的需研判范围；对经过所述免研判规则过滤后的所述安全数据中的所述告警，利用报警元数据检测规则对其进行标注；对未被标注为误报或者威胁的所述告警，利用报警负载浅度检测规则对其进行标注；对未被标注为威胁的所述告警，利用攻击负载双向研判规则对其进行标注；对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注；对被标注为威胁的所述告警进行汇总，生成威胁情报。
通过上述方法，利用安全运营平台，配合全流量网络抓取设备自动化地对各类边界安全报警进行信息收集，从而与传统方法相较，其数据来源更为准确，故对安全报警或威胁的研判更为全面，避免了此类平台可能产生的大量安全告警噪音；通过多层次的安全策略体系，包括基于签名的和非签名的方式，并综合机器学习方法，在最大范围和更深的层面对安全告警进行筛选，从而降低安全运维人员的整体工作强度。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本申请实施例提供的一种安全报警研判方法的流程图；
图2为本申请实施例提供的一种安全报警研判装置的模块框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种安全报警研判方法，参考图1，图1为本申请的一实施方式中提供的一种安全报警研判方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
在步骤101处，利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用所述安全运营平台将所述安全数据进行结构化处理，以解析出网络会话五元组。
具体地，利用安全运营平台的自身安全数据采集装置从各个安全产品中获取相关安全数据，然后利用安全运营平台使用安全数据泛化部件将这些安全数据进行结构化处理，解析出相关网络会话五元组，在一些实施例中，包括根据数据性质对其进行分类和命名，补充其他相关信息，如地理位置等；部分安全产品可提供相关攻击负载的TCP初始序列（TCP Initial Sequence），安全运营平台亦对其进行解析。
在步骤102处，加载免研判规则，对结构化处理后的所述安全数据进行过滤，以缩小所述安全数据中告警的需研判范围。
具体地，安全运营平台研判引擎根据加载的免研判规则，对结构化处理后的安全数据进行过滤，免研判规则的作用是缩小安全数据中告警的需研判范围，例如针对防火墙或Web应用防火墙等报出的“UDP/TCP泛洪攻击”等，因为对于此类报警根本没有太多的研判价值，可以进行忽略，另外针对其它安全设备已经对相关攻击进行了阻断（向攻击者发送了RST包），则也可以不进入研判，平台将直接将其定性为“威胁”；需要说明的是免研判规则主要就是利用安全运营平台的告警过滤规则实现，免研判规则是进入研判的入口规则；这里所谓免研判的含义是不关注或无法研判的安全告警数据。
在步骤103处，对经过所述免研判规则过滤后的所述安全数据中的所述告警，利用报警元数据检测规则对其进行标注。
具体地，对于不满足免研判规则的安全数据中的告警，平台利用报警元数据检测规则对这些告警进行标注，报警元数据检测规则主要也是利用历史上人工研判的成果，将其应用在新生成的报警中，这些元数据主要包括网络会话的四元组（除源端口）、报警名称、分类、地理位置、域名等，对于标注为“误报”的则不再进入下述步骤，同时对于标注为“威胁”的也不再进行研判。
在一些实施例中，所述报警元数据检测规则包括：基于规格化后的元数据的定义构建的筛选过滤表达式，表达式之间支持逻辑与、或、非，所述元数据包括网络会话五元组、应用协议、DNS、URI、主机名、用户名和/或邮箱。
在步骤104处，对未被标注为误报或者威胁的所述告警，利用报警负载浅度检测规则对其进行标注。
具体地，如均不满足上述规则的告警，则平台进入下一步处理，即报警负载浅度检测规则；这类规则需要的前置条件是安全设备的报警中包含了少量的攻击或威胁负载内容，其负载内容部分是文本方式或者是二进制方式，二进制方式一般是使用Base64进行编码；在一些实施例中，平台对于这类报警内容的处理方式，是利用自然语言分词（针对文本）并去除其中常见停止词，如HTTP请求和响应头中的固定词（包括HTTP、User-Agent、GET/POST/OPTION/DELETE等），而对于经过Base64编码方式上报的信息，则使用2-gram方式进行划分，待分词完毕后，与内存中的相关负载浅度特征进行比对，如高于设定阈值则认为存在威胁，将其标注为“威胁”，这里浅度检测规则是由历史研判知识累积的。
在一些实施例中，所述报警负载浅度检测规则是针对日志中包含的少量负载制定的，它不一定能反映完整的攻击实际内容；需要说明的是目前部分安全设备的报警中会包含部分攻击负载，如长亭WAF等，但其准确性和可代表性讯在一定疑问，所以后续还必须使用深度检测规则。
在步骤105处，对未被标注为威胁的所述告警，利用攻击负载双向研判规则对其进行标注。
具体地，如不满足报警负载浅度检测规则，则平台进入攻击负载双向研判规则流程，在一些实施例中，所谓的攻击负载是平台利用安全报警的网络会话五元组、告警发生时间、TCP初始序列号（如存在）向边界网络流量留存设备进行请求，待获取相关数据后，将数据包与历史攻击负载双向（基于威胁、误报双向）研判规则进行比对，如不能命中将其展现在平台管理界面中；由用户自行判断其可靠程度，这里可以配置两种规则（所有称为双向研判规则，所谓双向就是指研判为威胁和研判为误报的两种规则），一类为威胁检测规则，与之对应的是误报检测规则。
这里的检测规则的基本语法如下（本质上这是一种轻量级的网络攻击检测规则，但支持检测顺序的混排）：
Name:’’; Ordered: 1; Protocol:’’; Approtocol:’…’; Direct:‘/>’; Offset: xx; Content:‘’; Content:‘’;…, Pcre:‘’, Len: ; Pcre:‘’, Len:‘’;…; Rem:‘’;
Name：规则名称；
Ordered:针对Content及Pcre是否有序；1或0；
Protocol：传输层协议；
AppProtocol：应用层协议；
Direct：检测方向，包括客户端到服务端以及服务端到客户端，即toclient和toserver；
Content：普通签名特征，一般可以使用文本或二进制方式给出，如；
Pcre：pcre正则签名特征，如；支持大小写不敏感、多行匹配等；
Offset：绝对字节偏移；
Distance:相对距离；
Len：检测长度限制;
Rem：注释。
上述规则内容，主要是Content和Pcre部分，它们是签名检测的核心，在一条规则中可以出现多个，但平台引擎会按照这些签名的顺序进行匹配。
平台会根据给出规则（一般遵照规约，由人工方式编写）对获取的数据包进行双向检测。
在步骤106处，对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注。
在一些实施例中，基于机器学习的所述负载深度研判规则为通过攻击负载进行深度学习所获得的特征而构成的机器学习规则。
在一些实施例中，为了提升安全运营平台对于各类未知威胁的检测和处置能力，对于从基于机器学习的负载深度研判过程中获取的被判定为“威胁”的数据包，平台将会对其进行更为进一步的处理，主要处理包括如下内容：
对请求负载（toserver）进行分词处理，包括文本和二进制方式；
去除协议相关停止词，包括如HTTP请求头、其它应用协议特殊头标志等（如SMB、DCERPC等），需要注意的是这里的停止词与传统的NLP不同，是基于网络协议的；比较有代表性的二进制停止词如SMB协议中Process ID、User ID等对威胁研判无甚意义字段等；
使用内置分词器对文本或二进制进行处理，针对二进制数据采用2-gram方式；
针对不同应用协议，平台使用TF-IDF方法对上述文本或二进制数据进行分析，形成聚类数据，每种聚类数据被标注为特定的被研判后的威胁类型；
根据被聚类后的威胁数据，平台自动生成深度研判规则，以弥补人工撰写研判规则的不足，究其原理是对签名的内容集合进行自动扩张，当后续出现攻击负载片段时不至于错误判断；可以自动扩张依据是分词或2-gram片段在某同类安全告警中的内聚程度和不同类告警中的差异程度同时决定的，即平台定义两个阈值Ts和Td，分词或片段未在历史检测中发现，但同时满足这两个阈值时可以自动生成研判规则，以备后续使用；自动生成的研判规则一般是基于乱序的，当然也可以根据设定支持顺序方式；当出现多个分词或片段语义重叠时，平台根据情况生成研判规则闭包，缩减规则，以提升实际运营效率。
在步骤107处，对被标注为威胁的所述告警进行汇总，生成威胁情报。
具体地，对于研判为“威胁”的告警，平台会将其攻击源IP地址，包括被解析为X-FORWARD-FOR (XFF)的外网IP地址汇总生成威胁情报，情报中除包含IP地址外，还涵盖了攻击手法、攻击时间、攻击行业信息等内容，将这些信息上载到云端安全运营平台。
上述实施例通过利用在网络边界(或者在内部网络边界和内部互联部分)部署网络全流量记录装置，以抓取所完整网络流量，利用内部通信信道向安全运营平台提供原始攻击数据，以便于安全运维人员针对具体攻击流量进行研判，并通过多层次的规则配置方式，在报警元数据（Metadata）、报警部分负载以及攻击负载规则层面提供筛选能力，从而最大限度地支持安全运营的自动化和精准化运作，对后续可能产生的类似报警进行处理，缩减用户需要处理的安全告警数量。
产生的有益效果包括：1.利用安全运营平台，配合全流量网络抓取设备自动化地对各类边界安全报警进行信息收集，从而与传统方法相较，其数据来源更为准确，故对安全报警或威胁的研判更为全面，避免了此类平台可能产生的大量安全告警噪音；
2.通过多层次的安全策略体系，包括基于签名的和非签名的方式，并综合机器学习方法，在最大范围和更深的层面对安全告警进行筛选，从而降低安全运维人员的整体工作强度；
3.进一步的，利用本申请可以自动生成安全运营平台的研判规则（非人工方式），从而提升平台整体的自动化程度；
4.更进一步的，利用本申请的方法，可以更快地发现其它威胁或攻击源，从而为威胁情报体系提供相关数据来源，提升安全防护体系，尽早对这些攻击源进行封堵，提升用户网络的安全强度。
图2为本申请实施例提供的一种安全报警研判装置的模块框图。该装置包括：
存储器201；以及与所述存储器201连接的处理器202，所述处理器202被配置成：利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用所述安全运营平台将所述安全数据进行结构化处理，以解析出网络会话五元组；
加载免研判规则，对结构化处理后的所述安全数据进行过滤，以缩小所述安全数据中告警的需研判范围；
对经过所述免研判规则过滤后的所述安全数据中的所述告警，利用报警元数据检测规则对其进行标注；
对未被标注为误报或者威胁的所述告警，利用报警负载浅度检测规则对其进行标注；
对未被标注为威胁的所述告警，利用攻击负载双向研判规则对其进行标注；
对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注；
对被标注为威胁的所述告警进行汇总，生成威胁情报。
在一些实施例中，所述处理器202还被配置成：所述解析出网络会话五元组包括：根据数据性质对所述安全数据进行分类和命名，并补充地理位置信息；
所述安全数据包括攻击负载的TCP初始序列。
在一些实施例中，所述处理器202还被配置成：所述报警元数据检测规则包括：
基于规格化后的元数据的定义构建的筛选过滤表达式，表达式之间支持逻辑与、或、非，所述元数据包括网络会话五元组、应用协议、DNS、URI、主机名、用户名和/或邮箱。
在一些实施例中，所述处理器202还被配置成：所述利用报警负载浅度检测规则对其进行标注，包括：
对所述告警中的文本数据利用自然语言进行分词并去除其中常见停止词；
对于经过Base64编码方式上报的所述告警信息，使用2-gram方式进行分词；
完成分词后，与负载浅度特征进行比对，当高于设定阈值时将对应的所述告警标注为威胁。
在一些实施例中，所述处理器202还被配置成：所述利用攻击负载双向研判规则对其进行标注，包括：
利用安全报警的网络会话五元组、告警发生时间或者TCP初始序列号向边界网络流量留存设备进行请求，以获取相关数据，将获取到的数据包与历史攻击负载双向研判规则进行比对，当没有命中时，将对应的数据展现在平台管理界面中；
所述攻击负载双向研判规则包括威胁检测规则和与之对应的误报检测规则。
在一些实施例中，所述处理器202还被配置成：基于机器学习的所述负载深度研判规则为通过攻击负载进行深度学习所获得的特征而构成的机器学习规则；
在所述对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注之后，还包括：
对请求负载进行分词处理；
去除协议相关停止词；
使用分词器对文本或者二进制数据进行处理，其中，对所述二进制数据采用2-gram方式进行处理；
针对不同的应用协议，使用TF-IDF方法对所述文本或二进制数据进行分析，形成聚类数据，将每种所述聚类数据标注为被研判后的威胁类型；
根据所述聚类数据，自动生成深度研判规则。
在一些实施例中，所述处理器202还被配置成：所述根据所述聚类数据，自动生成深度研判规则，包括：
对所述聚类数据的签名的内容集合进行自动扩张；其中
自动扩张的依据是分词或2-gram片段在同类告警中的内聚程度和不同类告警中的差异程度同时决定的，即平台定义两个阈值，分词或片段未在历史检测中发现，但同时满足这两个阈值时可以自动生成所述深度研判规则，以备后续使用。
在一些实施例中，所述处理器202还被配置成：所述对被标注为威胁的所述告警进行汇总，生成威胁情报，包括：
将被标注为威胁的所述告警的攻击源IP地址、攻击手法、攻击时间和/或攻击行业信息进行汇总，生成所述威胁情报，并将生成的所述威胁情报上载到云端安全运营平台。
具体实现方法参考前述方法实施例，此处不再赘述。
本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。

Claims (10)

1.一种安全报警研判方法，其特征在于，包括：
利用安全运营平台，从各个安全产品中获取相关安全数据，然后利用所述安全运营平台将所述安全数据进行结构化处理，以解析出网络会话五元组；
加载免研判规则，对结构化处理后的所述安全数据进行过滤，以缩小所述安全数据中告警的需研判范围；
对经过所述免研判规则过滤后的所述安全数据中的所述告警，利用报警元数据检测规则对其进行标注；
对未被标注为误报或者威胁的所述告警，利用报警负载浅度检测规则对其进行标注；
对未被标注为威胁的所述告警，利用攻击负载双向研判规则对其进行标注；
对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注；
对被标注为威胁的所述告警进行汇总，生成威胁情报。
2.根据权利要求1所述的安全报警研判方法，其特征在于，
所述解析出网络会话五元组包括：根据数据性质对所述安全数据进行分类和命名，并补充地理位置信息；
所述安全数据包括攻击负载的TCP初始序列。
3.根据权利要求1所述的安全报警研判方法，其特征在于，所述报警元数据检测规则包括：
基于规格化后的元数据的定义构建的筛选过滤表达式，表达式之间支持逻辑与、或、非，所述元数据包括网络会话五元组、应用协议、DNS、URI、主机名、用户名和/或邮箱。
4.根据权利要求1所述的安全报警研判方法，其特征在于，所述利用报警负载浅度检测规则对其进行标注，包括：
对所述告警中的文本数据利用自然语言进行分词并去除其中常见停止词；
对于经过Base64编码方式上报的所述告警信息，使用2-gram方式进行分词；
完成分词后，与负载浅度特征进行比对，当高于设定阈值时将对应的所述告警标注为威胁。
5.根据权利要求1所述的安全报警研判方法，其特征在于，所述利用攻击负载双向研判规则对其进行标注，包括：
利用安全报警的网络会话五元组、告警发生时间或者TCP初始序列号向边界网络流量留存设备进行请求，以获取相关数据，将获取到的数据包与历史攻击负载双向研判规则进行比对，当没有命中时，将对应的数据展现在平台管理界面中；
所述攻击负载双向研判规则包括威胁检测规则和与之对应的误报检测规则。
6.根据权利要求1所述的安全报警研判方法，其特征在于，
基于机器学习的所述负载深度研判规则为通过攻击负载进行深度学习所获得的特征而构成的机器学习规则；
在所述对未被标注为威胁的所述告警，利用基于机器学习的负载深度研判规则对其进行标注之后，还包括：
对请求负载进行分词处理；
去除协议相关停止词；
使用分词器对文本或者二进制数据进行处理，其中，对所述二进制数据采用2-gram方式进行处理；
针对不同的应用协议，使用TF-IDF方法对所述文本或二进制数据进行分析，形成聚类数据，将每种所述聚类数据标注为被研判后的威胁类型；
根据所述聚类数据，自动生成深度研判规则。
7.根据权利要求6所述的安全报警研判方法，其特征在于，所述根据所述聚类数据，自动生成深度研判规则，包括：
对所述聚类数据的签名的内容集合进行自动扩张；其中
自动扩张的依据是分词或2-gram片段在同类告警中的内聚程度和不同类告警中的差异程度同时决定的，即平台定义两个阈值，分词或片段未在历史检测中发现，但同时满足这两个阈值时可以自动生成所述深度研判规则，以备后续使用。
8.根据权利要求1所述的安全报警研判方法，其特征在于，所述对被标注为威胁的所述告警进行汇总，生成威胁情报，包括：
将被标注为威胁的所述告警的攻击源IP地址、攻击手法、攻击时间和/或攻击行业信息进行汇总，生成所述威胁情报，并将生成的所述威胁情报上载到云端安全运营平台。
9.一种安全报警研判装置，其特征在于，包括：
存储器；以及
与所述存储器连接的处理器，所述处理器被配置成执行如权利要求1至8中任一项所述的方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被机器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN202311206897.9A 2023-09-19 2023-09-19 安全报警研判方法、装置及存储介质 Active CN116962081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311206897.9A CN116962081B (zh) 2023-09-19 2023-09-19 安全报警研判方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311206897.9A CN116962081B (zh) 2023-09-19 2023-09-19 安全报警研判方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116962081A true CN116962081A (zh) 2023-10-27
CN116962081B CN116962081B (zh) 2023-12-12

Family

ID=88462404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311206897.9A Active CN116962081B (zh) 2023-09-19 2023-09-19 安全报警研判方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116962081B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018618A1 (en) * 2003-07-25 2005-01-27 Mualem Hezi I. System and method for threat detection and response
CN104901971A (zh) * 2015-06-23 2015-09-09 北京东方棱镜科技有限公司 对网络行为进行安全分析的方法和装置
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
CN110278201A (zh) * 2019-06-12 2019-09-24 深圳市腾讯计算机系统有限公司 安全策略评价方法及装置、计算机可读介质和电子设备
CN110912890A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种面向内网的新型漏洞攻击检测系统
CN111901317A (zh) * 2020-07-15 2020-11-06 中盈优创资讯科技有限公司 一种访问控制策略处理方法、装置和设备
US20220279045A1 (en) * 2021-02-26 2022-09-01 Trackerdetect Ltd Global iterative clustering algorithm to model entities' behaviors and detect anomalies
US20220329616A1 (en) * 2017-11-27 2022-10-13 Lacework, Inc. Using static analysis for vulnerability detection
CN115883218A (zh) * 2022-12-02 2023-03-31 中国人民解放军国防科技大学 基于多模态数据模型的复合攻击链补全方法、系统及介质
US20230275917A1 (en) * 2017-11-27 2023-08-31 Lacework, Inc. Identifying An Attack Surface Of A Cloud Deployment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018618A1 (en) * 2003-07-25 2005-01-27 Mualem Hezi I. System and method for threat detection and response
CN104901971A (zh) * 2015-06-23 2015-09-09 北京东方棱镜科技有限公司 对网络行为进行安全分析的方法和装置
US20220329616A1 (en) * 2017-11-27 2022-10-13 Lacework, Inc. Using static analysis for vulnerability detection
US20230275917A1 (en) * 2017-11-27 2023-08-31 Lacework, Inc. Identifying An Attack Surface Of A Cloud Deployment
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及系统
CN110278201A (zh) * 2019-06-12 2019-09-24 深圳市腾讯计算机系统有限公司 安全策略评价方法及装置、计算机可读介质和电子设备
CN110912890A (zh) * 2019-11-22 2020-03-24 上海交通大学 一种面向内网的新型漏洞攻击检测系统
CN111901317A (zh) * 2020-07-15 2020-11-06 中盈优创资讯科技有限公司 一种访问控制策略处理方法、装置和设备
US20220279045A1 (en) * 2021-02-26 2022-09-01 Trackerdetect Ltd Global iterative clustering algorithm to model entities' behaviors and detect anomalies
CN115883218A (zh) * 2022-12-02 2023-03-31 中国人民解放军国防科技大学 基于多模态数据模型的复合攻击链补全方法、系统及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
夏威;: "主动的网络安全防御技术――蜜网技术", 职大学报, no. 02 *
杜瑞颖;胡力;陈晶;陈炯;: "基于组策略的SDN多粒度流量检测系统", 计算机工程, no. 04 *
陈强军;张明清;孔红山;刘小虎;邵连杰;: "基于CPN的信息系统安全防护能力建模方法", 系统仿真学报, no. 10 *

Also Published As

Publication number Publication date
CN116962081B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US11463457B2 (en) Artificial intelligence (AI) based cyber threat analyst to support a cyber security appliance
Davis et al. Data preprocessing for anomaly based network intrusion detection: A review
CN111277587A (zh) 基于行为分析的恶意加密流量检测方法及系统
EP3079337A1 (en) Event correlation across heterogeneous operations
US11700269B2 (en) Analyzing user behavior patterns to detect compromised nodes in an enterprise network
Catak et al. Distributed denial of service attack detection using autoencoder and deep neural networks
Boukhamla et al. CICIDS2017 dataset: performance improvements and validation as a robust intrusion detection system testbed
Wu et al. Bot detection using unsupervised machine learning
Mualfah et al. Network forensics for detecting flooding attack on web server
CN112653669B (zh) 网络终端安全威胁预警方法、系统及网络终端管理装置
US20170034195A1 (en) Apparatus and method for detecting abnormal connection behavior based on analysis of network data
Kabir et al. Cyber security challenges: An efficient intrusion detection system design
CN115134250B (zh) 一种网络攻击溯源取证方法
Smallwood et al. Intrusion analysis with deep packet inspection: increasing efficiency of packet based investigations
Garcia-Teodoro et al. Automatic generation of HTTP intrusion signatures by selective identification of anomalies
Bereziński et al. Entropy-based internet traffic anomaly detection: A case study
Brissaud et al. Passive monitoring of https service use
Davis Machine learning and feature engineering for computer network security
Boukhtouta et al. Towards fingerprinting malicious traffic
KR102244036B1 (ko) 네트워크 플로우 데이터를 이용한 네트워크 자산 분류 방법 및 상기 방법에 의해 분류된 네트워크 자산에 대한 위협 탐지 방법
CN116962081B (zh) 安全报警研判方法、装置及存储介质
Catalin et al. An efficient method in pre-processing phase of mining suspicious web crawlers
Afek et al. Automated signature extraction for high volume attacks
Bukac et al. Analyzing traffic features of common standalone dos attack tools
US11632393B2 (en) Detecting and mitigating malware by evaluating HTTP errors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant