CN117914547A - 内置数据处理单元的安全态势感知处理方法、系统及设备 - Google Patents

Abstract

本发明提供内置数据处理单元的安全态势感知处理方法、系统及设备，应用于终端侧的方法包括：根据目标事件的属性在本地威胁感知树中匹配对应的节点，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程。本发明可以降低网络安全态势感知中的系统通信成本和云服务器的计算压力。

Description

内置数据处理单元的安全态势感知处理方法、系统及设备

技术领域

本发明涉及网络安全技术领域，尤其涉及内置数据处理单元的安全态势感知处理方法及设备。

背景技术

在当前的网络安全形势下，网络攻击向大规模、协同化和多层次等方向发展，攻击路径难以预测，用户对于网络与信息安全的需求越来越大。网络网络安全态势感知是指在一定的时间和空间维度内对网络系统进行感知，提取理解系统的网络要素，从大量且存在噪声的数据中辨识出网络中的攻击活动。网络态势感知能宏观地把握整个网络的安全状况，并合理、有效地进行相应，为完了安全防护提供保证，已尽可能地降低因攻击造成的损失。

传统的安全态势感知全部由云服务器完成，终端需要将自身的数据全部上报云服务器进行安全态势感知，系统通信成本和云服务器计算压力高。

发明内容

本发明提供内置数据处理单元的安全态势感知处理方法及设备，用以解决现有技术中网络安全态势感知技术中系统通信成本和云服务器计算压力高的缺陷，实现降低安全态势感知中的系统通信成本和云服务器计算压力。

本发明提供一种内置数据处理单元的安全态势感知处理方法，应用于终端，包括：

根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，所述本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

当所述目标事件在所述本地威胁感知树的任意一层中匹配不到对应的节点时，将所述目标事件标记为异常事件；

基于所述异常事件以及所述异常事件的上下文事件生成所述异常事件对应的异常拓扑图，将所述异常拓扑图发送至云服务器进行网络安全态势感知，其中所述异常事件的上下文事件为所述异常事件对应的目标进程的上下文进程，所述上下文进程为所述目标进程的X代祖先进程和Y代后代进程，X和Y为正整数。

根据本发明提供的一种内置数据处理单元的安全态势感知处理方法，所述将所述异常拓扑图发送至云服务器进行网络安全态势感知，包括：

将所述异常拓扑图发送至边缘端，以使得所述边缘端对多个所述异常拓扑图进行语义聚合后发送至所述云服务器进行网络安全态势感知。

根据本发明提供的一种内置数据处理单元的安全态势感知处理方法，所述本地威胁感知树的建立过程包括：

观测系统事件，当所述系统事件在初始感知树的任意一层中匹配不到对应的节点时，根据所述系统事件的属性在所述初始感知树中创建新的节点；

当在预设时段内所述初始感知树中新创建的节点占所述初始感知树的总节点的比例均小于预设比例时，将所述初始感知树作为所述本地威胁感知树。

本发明还提供一种安全态势感知处理方法，应用于云服务器，包括：

获取各个待处理异常拓扑图，所述待处理异常拓扑图是基于所述异常拓扑图生成的；

对重复的多个所述待处理异常拓扑图进行去重处理，保留其中一个所述待处理异常拓扑图，并记录所述待处理异常拓扑图对应的异常事件的重复个数；

基于所述待处理异常拓扑图中所述异常事件的命令树中共同子片段的数量对各个所述待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，基于各个所述聚合异常拓扑图的异常分数，确定目标异常事件；

基于所述目标异常事件进行网络安全态势感知。

根据本发明提供的一种安全态势感知处理方法，所述基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，包括：

基于所述聚合异常拓扑图中包括的所有正常事件的频率的倒数的平均值确定第一得分；

基于所述聚合异常拓扑图中包括的所有异常事件的频率的倒数的平均值确定第二得分；

基于所述第一得分和所述第二得分确定所述聚合异常拓扑图的异常分数。

根据本发明提供的一种安全态势感知处理方法，还包括：

获取各个终端的本地威胁感知树；

基于所述各个终端的非系统进程对所述各个终端进行聚类，确定至少一个终端簇，每个所述终端簇中包括至少两个所述终端；

确定所述终端簇中的终端的所述本地威胁感知树中共有进程的各个属性值，基于所述共有进程对所述终端簇中的终端的所述本地威胁感知树进行更新。

根据本发明提供的一种安全态势感知处理方法，所述基于所述目标异常事件进行网络安全态势感知，包括：

基于各个所述目标异常事件的关联和时序关系，对各个所述目标异常事件进行聚类，得到各个异常事件簇；

以所述异常事件簇为数据源识别网络攻击行为，得到网络攻击行为识别结果；

对各个网络态势要素进行量化处理，将所述网络攻击行为识别结果、所述网络态势要素和系统资产信息输入至网络安全态势评估模型，得到网络安全态势评估结果，所述网络安全态势评估模型基于知识图谱和贝叶斯攻击图构建，所述网络态势要素包括网络环境、网络漏洞和所述异常事件；

基于所述网络安全态势评估结果生成态势实时告警信息；

基于所述网络攻击行为识别结果和所述网络态势要素进行网络安全态势预测，得到网络安全态势预测结果；

基于所述异常事件簇中事件的相关数据报文和所述网络态势要素对网络攻击进行溯源；

对所述网络安全态势评估结果、所述态势实时告警信息和所述网络安全态势预测结果进行可视化显示。

本发明还提供一种安全态势感知处理系统，包括终端及云服务器；

所述终端用于：

根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，所述本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

当所述目标事件在所述本地威胁感知树的任意一层中匹配不到对应的节点时，将所述目标事件标记为异常事件；

基于所述异常事件以及所述异常事件的上下文事件生成所述异常事件对应的异常拓扑图，将所述异常拓扑图发送至云服务器进行网络安全态势感知，其中所述异常事件的上下文事件为所述异常事件对应的目标进程的上下文进程，所述上下文进程为所述目标进程的X代祖先进程和Y代后代进程，X和Y为正整数；

所述云服务器用于：

获取各个待处理异常拓扑图，所述待处理异常拓扑图是基于所述异常拓扑图生成的；

对重复的多个所述待处理异常拓扑图进行去重处理，保留其中一个所述待处理异常拓扑图，并记录所述待处理异常拓扑图对应的异常事件的重复个数；

基于所述待处理异常拓扑图中所述异常事件的命令树中共同子片段的数量对各个所述待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，基于各个所述聚合异常拓扑图的异常分数，确定目标异常事件；

基于所述目标异常事件进行网络安全态势感知。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述内置数据处理单元的安全态势感知处理方法和/或实现如上述任一种所述安全态势感知处理方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述内置数据处理单元的安全态势感知处理方法和/或实现如上述任一种所述安全态势感知处理方法。

本发明提供的内置数据处理单元的安全态势感知处理方法、系统及设备，通过终端在本地根据事件的属性在本地威胁感知树中匹配对应的节点，只有在事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将事件标记为异常事件，并基于异常事件及其上下文事件生成异常拓扑图发送至云服务器进行网络安全态势感知，这样终端承担了网络安全态势感知的一部分数据处理过程，降低了系统通信成本和云服务器的计算压力。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种内置数据处理单元的安全态势感知处理方法的流程示意图；

图2是本发明提供的一种内置数据处理单元的安全态势感知处理方法的系统功能架构示意图；

图3是本发明提供的一种安全态势感知处理方法的流程示意图；

图4是本发明提供的一种内置数据处理单元的安全态势感知处理方法中终端的处理逻辑示意图；

图5是本发明提供的一种内置数据处理单元的安全态势感知处理方法中云服务器的处理逻辑示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明提供的内置数据处理单元的安全态势感知处理方法，本发明提供的内置数据处理单元的安全态势感知处理方法，适用于一种内置数据处理单元的安全态势感知处理系统中，该系统包括云服务器、边缘端和终端。如图2所示，系统中的边缘端、终端处部署轻量化的软件可定义DPU，在终端和边缘端执行部分安全态势感知工作前置处理，并实现云边端协同的异常检测，解决异常检测精度召回率难以平衡，以及态势感知信息量不足、粒度不够精细等问题。如图1所示，该系统中的终端执行的内置数据处理单元的安全态势感知处理方法包括步骤：

S110、根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

S120、当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；

S130、基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程，X和Y为正整数。

具体地，终端首先进行数据采集，数据采集包括安全设备日志采集、业务数据采集和网络流量采集等，日志采集功能包括日志接收﹑日志分类、日志格式化和日志转发，流量采集功能包括流量采集﹑协议解析、文件还原和流量元数据上报。数据采集需要支持海量高速数据采集和归一化操作，为提高系统效率，优化算力配置，本发明利用终端内置DPU(数据处理单元)支撑流计算加速，提高网络数据采集和协议解析等逻辑较为固定的数据采集工作的效率。数据预处理是对采集到的数据实施清洗、过滤﹑标准化、关联补齐、添加标签等处理，并将标准数据加载到数据存储中，对于被标准化的数据应保存原始日志和原始流量。数据预处理层对采集器上报的归一化日志和流探针上报的流量元数据进行格式化处理，补充相关的上下文信息，并将格式化后的数据提交到终端设备的事件流cache中以供之后的异常检测和异常拓扑图生成使用。

业务终端构建本地威胁感知树并执行轻量级的检测，确定异常事件和生成异常拓扑图，发送给云服务器进行进一步处理。为了进一步降低云服务器的数据计算压力，本发明提供的方法中，将异常拓扑图发送至云服务器进行网络安全态势感知，包括：

将异常拓扑图发送至边缘端，以使得边缘端对多个异常拓扑图进行语义聚合后发送至云服务器进行网络安全态势感知。

也就是说，在一种可能的实现方式中，在终端识别异常事件，生成异常拓扑图后，不是直接发送至云服务器，而是先发送至边缘端进行进一步处理后再发送至云服务器，边缘端进行的处理包括异常拓扑图语义预聚合、局部感知树推导等，将在后文被详细说明。

本地威胁感知树的建立过程是对初始感知树的训练过程，在训练模式下，业务终端根据系统事件流训练得到本地威胁感知树，在检测模式下，终端将偏离本地威胁感知树的事件检测为警报，标记为异常事件，并生成异常拓扑图。

下面对终端本地的本地威胁感知树的建立过程进行说明，本地威胁感知树的建立过程包括：

观测系统事件，当系统事件在初始感知树的任意一层中匹配不到对应的节点时，根据系统事件的属性在初始感知树中创建新的节点；

当在预设时段内初始感知树中新创建的节点占初始感知树的总节点的比例均小于预设比例时，将初始感知树作为本地威胁感知树。

威胁感知树模型使用多层树形结构，根据事件的属性对其进行分类。具体来说，威胁感知树模型由四层节点组成:事件类型、操作、进程和其他属性，每一层都关联于事件的一种特定属性。给定一个系统事件E，威胁感知树会在每一层中找到一个匹配的节点来表示该事件的相应属性值，如果找不到，则创建一个新的节点，其训练流程为：

(1)威胁感知树的“事件类型”层有三个节点:进程、文件和网络，根据E的事件类型，在其类型匹配的子树中查找操作层中的节点；

(2)根据E的操作类型在操作层中查找或创建节点，如事件类型为“进程”的结点可能会有“创建”、“退出”等结点；

(3)根据由E发起的进程继续在进程层中查找或创建节点；

(4)根据E的事件类型，在属性层中建立节点来表示E的其他属性。例如，进程事件主要使用命令行属性来表示，包括命令选项和参数。

系统根据观测到的系统事件的各种属性对其进行分类，并在威胁感知树中建立相应的节点。每个事件发生的频率也会记录在相应的属性节点中用于后续的异常评分。当新创建节点的比例连续两天低于0.1％，则认为模型收敛。云服务器也会及时进行全局模型聚合推导并下发到业务终端进行部署，以减少业务偏见带来的检测误差，云服务器进行全局模型聚合推导的过程将在后文被说明。在系统事件匹配节点的复杂性仅限于对四层属性值进行哈希检查，因此基于威胁感知树的异常检测是低成本的轻量级检测。

当威胁感知树模型收敛后，业务终端切换到检测模式。给定一个系统事件E后，系统搜索威胁感知树，查找是否有与E的属性相匹配的节点。如果未找到，则将E报告为警报。本地检测将所有学习期间没有观察到的事件都视为异常，这将检测到尽可能多的异常事件以保证检测精度。

由于进程会产生子进程共同完成某些系统任务以达到攻击效果，因此，本发明提供的方法中，在确定异常事件后，基于异常事件以及异常事件的上下文事件生成异常拓扑图，包括：

获取异常事件关联的目标进程，识别目标进程X代内的祖先进程和Y代内的后代进程作为异常事件的上下文进程；

将异常事件的上下文进程的相关事件作为异常事件的上下文事件；

基于异常事件和异常事件的上下文事件生成异常拓扑图。

一个进程的上一代祖先进程为调用或创建该进程的进程，进程的下一代后代进程为该进程调用或创建的进程。X、Y的取值根据当前网络系统的环境和检测需求确定，为了提高建立流程树的效率，使用轻量级数据库sqlite作为异常拓扑图生成使用的cache，将短期日志信息存储在cache中，在发现异常时即可根据cache中的内容快速构建异常拓扑图。

下面对本发明提供的云服务器执行的内置数据处理单元的安全态势感知处理方法进行说明，如图3所示，云服务器执行的内置数据处理单元的安全态势感知处理方法包括步骤：

S310、获取各个待处理异常拓扑图，待处理异常拓扑图是基于异常拓扑图生成的；

S320、对重复的多个待处理异常拓扑图进行去重处理，保留其中一个待处理异常拓扑图，并记录待处理异常托普通股对应的异常事件的重复个数；

S330、基于待处理异常拓扑图中异常事件的命令树中共同自片段的数量对各个待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

S340、基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，基于各个聚合异常拓扑图的异常分数，确定目标异常事件；

S350、基于目标异常事件进行网络安全态势感知。

待处理异常拓扑图可以直接是终端生成的异常拓扑图，在一种可能的实现方式中，为了进一步降低云服务器的计算压力，终端将异常拓扑图发送至边缘端，边缘端进行处理后得到待处理异常拓扑图再发送至云服务器，边缘端对异常拓扑图的处理可以包括语义聚合和去重处理，边缘端对异常拓扑图进行去重处理和语义聚合的过程可以与云服务器对待处理异常拓扑图进行去重处理和语义聚合的过程一致。

具体地，虽然终端本地检测在检测潜在攻击时产生的开销较低，但却有可能产生大量误报。因此，需要进行误报过滤减少异常检测的召回率，误报过滤通过去重处理、语义聚合和异常分数排名实现。

去重处理是删除重复的异常拓扑图。很多异常警报往往代表相同的行为，例如，系统升级会在短时间内重复添加和删除大量文件，从而导致终端生成一系列错误的异常事件，为了消除此类重复警报，本发明提供的方法中，为每个异常事件设置一个时间窗口，该时间窗口内的所有与之重复的异常事件都进行去除，在时间窗口后，将异常事件的重复次数记录在异常事件对应的异常拓扑图中。

语义聚合是对相似的异常事件的异常拓扑图进行聚合，具体地，除了相同行为的重复警报外，系统中往往还存在大量与类似的执行命令有关的错误警报，只是在某些参数或操作对象上存在差异。因此，本发明提供的方法中，汇总语义相似的异常事件，以进一步减少报告的警报。具体来说，这一过程包括三个步骤：

(1)通过标记命令中的单词来构建命令的语法树；

(2)计算两个命令树之间的相似性。两个命令树的相似性是通过它们有多少共同的子片段来衡量的。具体来说，如果两个命令的相似度超过阈值，就认为它们是相似的；

(3)对具有相似异常事件的异常拓扑图进行聚合，并记录聚合的异常拓扑图的数量在聚合后的异常拓扑图中。这样，生成的聚合异常拓扑图的冗余度就能进一步降低。

假阳性异常的上下文事件一般都代表良性行为，基于这一认识，本发明提供的方法中，通过评估异常事件的出现频率及其上下文事件是否也是异常来确定异常事件的异常分数。

基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，包括：

基于聚合异常拓扑图中包括的所有正常事件的频率的倒数的平均值确定第一得分；

基于聚合异常拓扑图中包括的异常事件的频率的倒数的平均值确定第二得分；

基于第一得分和第二得分确定聚合异常拓扑图的异常分数。

聚合异常拓扑图是对异常拓扑图进行聚合后得到的拓扑图，也可以称为一个异常拓扑图。一个异常拓扑图里包含正常事件和异常事件。对于正常事件，事件频率是系统训练本地模型时记录的，正常事件的事件频率是指正常事件占系统中所有事件的比例。对于异常事件，事件频率指异常拓扑图中记录的异常事件的重复次数占异常拓扑图中所有事件(包括异常事件和正常事件)的总数的比例。假设有一个包含m个正常事件和n个异常事件的异常拓扑图。异常事件对异常拓扑图的异常贡献更大，由其得出的第二得分为:其中e_i代表异常拓扑图中的第i个异常事件，f(e_i)表示异常事件e_i发生的频率。对于正常事件，第一得分的计算方法为:/>其中a_i代表异常拓扑图中的第i个正常事件，f(a_i)表示正常事件a_i发生的频率。基于第一得分和第二得分确定异常分数可以表示为：SCORE＝αSCORE(a)+(1-α)SCORE(e)。

其中，α根据异常事件数量确定，具体取值考虑当前系统中异常事件和正常时间的比例确定。

对所有异常拓扑图按照异常分数进行排序，如果聚合异常拓扑图的异常得分大于阈值，则将其归类为真警报，标记聚合异常拓扑图对应的异常事件为目标异常事件，否则为假警报。阈值与系统当前业务与安全要求有关，当前业务安全要求越高，则阈值越小。

本发明提供的方法中，云服务器还建立全局威胁感知树模型以更新终端本地的本地威胁感知树。云服务器中建立的全局模型可以补充每个终端主机中建立的本地威胁感知树模型以避免因模型训练期间业务分布不均带来的误差。例如，系统中包含两个提供某服务的主机A和B，它们在不同的时间提供相同的服务，在本地威胁感知树模型训练期间，系统内由A提供服务而B轮休，这样会导致本应有相同的本地威胁感知树的A和B有着差异极大的感知树模型。系统通过从A和B中推导出一个全局威胁感知树模型并下发部署在A和B中解决这种局部偏差问题。

具体地，本发明提供的由云服务器执行的安全态势感知处理方法，还包括步骤：

获取各个终端的本地威胁感知树；

基于各个终端的非系统进程对各个终端进行聚类，确定至少一个终端簇，每个终端簇中包括至少两个终端；

确定终端簇中的终端的共有进程的各个属性值，基于共有进程对终端簇中的终端的本地威胁感知树进行更新。

更具体地说，构建全局威胁感知树模型这一过程包括四个步骤:

(1)从每个本地模型中提取非系统进程列表。本地威胁感知树模型中的进程节点分为两类，即系统进程和非系统进程。系统进程伴随着操作系统的安装，在所有操作系统类型相同的主机中都是一样的。而非系统进程是软件应用程序的进程，这些进程的组合可以表明主机提供的服务类型。通过总结不同操作系统的系统进程来获得系统进程列表，进而早每个模型中过剔除系统进程得出特定服务进程列表；

(2)对于业务终端中提取的非系统进程，使用word2vec计算提取的进程名称的词嵌入向量；

(3)根据词嵌入向量，使用K-means算法对本地威胁感知树模型进行聚类，将提供同类服务的主机就会被归入同一个簇中；

(4)最后，聚合在同一群组内的正常进程的行为，例如，A、B、C属于同一个簇，它们均有正常进程m和n。将A、B、C三个终端的本地威胁感知树中的m和n抽象为m’和n’，并替换本地威胁感知树中的m和n获得全局威胁感知树模型，m’包括A、B、C三个终端的本地威胁感知树中进程m的各个属性值，同理，n’包括A、B、C三个终端的本地威胁感知树中进程n的各个属性值。

终端接收到对应的全局威胁感知树后，将全局威胁感知树作为新的本地威胁感知树，在前文的例子中，A、B、C三个终端更新后的本地威胁感知树模型中进程m和n对应的节点一致。

基于目标异常事件进行网络安全态势感知，包括：

基于各个目标异常事件的关联和时序关系，对各个目标异常事件进行聚类，得到各个异常事件簇；

以异常事件簇为数据源识别网络攻击行为，得到网络攻击行为识别结果；

对各个网络态势要素进行量化处理，将网络攻击行为识别结果、网络态势要素和系统资产信息输入至网络安全态势评估模型，得到网络安全态势评估结果，网络安全态势评估模型基于知识图谱和贝叶斯攻击图构建，网络态势要素包括网络环境、网络漏洞和异常事件；

基于网络安全态势评估结果生成态势实时告警信息；

基于网络攻击行为识别结果和网络态势要素进行网络安全态势预测，得到网络安全态势预测结果；

基于异常事件簇中事件的相关数据报文和网络态势要素对网络攻击进行溯源；

对网络安全态势评估结果、态势实时告警信息和网络安全态势预测结果进行可视化显示。

具体地，本发明提供的方法中，网络安全态势感知包括两个阶段：安全态势分析阶段和安全态势应用阶段。

在安全态势分析阶段，以异常检测阶段上报的异常事件为数据源，以现存安全威胁和攻击事件为切入视角，对内外部安全威胁状况从网络威胁、系统安全维度进行态势安全理解，包括态势要素提取、异常关联分析、攻击链建模和态势风险评估4个功能。

(1)态势要素提取：网络安全态势要素反映了网络环境的运行状态，态势要素提取主要负责对异常事件库中的异常报警信息以及终端主机状态信息进行处理并提取出影响网络正常运行的因素，本发明提供的方法中，将安全要素按照基于本体的方法划分为三类：网络环境、网络漏洞和异常事件。其中网络环境包括网络拓扑和网络配置；网络漏洞包括漏洞对象、漏洞属性和利用方法；异常事件包括事件类型、操作、进程和属性。

(2)异常关联分析：关联分析通过挖掘异常事件之间的关联和时序关系，在大量散乱无章的异常事件内生成内部联系紧密的异常事件簇，为后续的攻击链建模和态势风险评估提供数据支撑。本专利采用基于神经网络和遗传编程的关联规则生成方法，按照不同攻击场景进行分类，然后基于分类结果提取规则项并组成训练集，规则项以树形结构组成初始关联规则，并利用遗传编程方法自动生成针对不同攻击场景的关联规则。

(3)攻击链建模：基于扩展网络攻击图的攻击链建模，以关联分析形成的异常事件簇为数据源，以扩展网络攻击图作为匹配规则进行基于特征的匹配，进一步识别网络攻击行为，发现攻击的意图、步骤、危害和风险等相关信息，为安全威胁推理溯源和态势风险评估分析模型提供接口。对于未能成功匹配的事件簇，采用专家分析的方法决定是否丢弃或认定为未知攻击并扩展知识模型。

(4)态势风险评估：态势风险评估基于安全态势模型，具体分析态势要素的评估指标并将部分指标进行量化评估，采用基于知识图谱和贝叶斯攻击图的网络安全态势评估模型，结合网络攻击、安全态势要素信息和系统资产信息对当前整体网络态势风险进行评估。

安全态势应用阶段包括态势实时告警、态势预测、安全威胁推理溯源和态势可视化4个功能。达到网络安全的可视、可管、可控。

(1)态势实时告警。在态势风险评估的基础上，根据网络安全要求和资产信息敏感程度设立态势告警阈值，当态势风险评估结果高于阈值时进行实时告警，提醒安全运维人员及时进行风险处理。

(2)态势预测。结合安全态势分析中生成攻击链，以及网络攻击知识模型和态势安全要素信息，根据攻击事件的种类、频率和预测的后续攻击步骤对未来的安全态势发展趋势进行预测，并按照上述的安全态势评估方法对未来网络安全态势进行评估。

(3)安全威胁推理溯源。系统结合异常事件簇中事件相关数据报和态势要素提取中获得的网络拓扑结构，考虑通信的时空相似性，基于探查流表项的溯源算法，以DPU为数据处理加速引擎，对可疑进程和会话进行关联分析，以与受害者连接的交换机作为溯源起点交换机，向交换机添加探查流表项，并根据攻击包触发的Packet-in消息找到其转发路径，利用控制器维护的拓扑信息，有针对性地获取可能在攻击路径上的交换机的统计信息，构建溯源路径树并进一步提取出疑似攻击者的主机信息。

(4)态势可视化。利用可视化技术，将原本碎片化的威胁告警、异常行为报警、态势预测等数据结构化，形成全局性、动态化、关联化的可视化视图，提供丰富多样的数据可视化效果，从不同视角和维度进行风险呈现，指导安全运维人员快速发现问题并及时处置。

从上文的说明可以看出，本发明提供的方法基于包括云服务器、边缘网关、业务终端集群三个部分的系统实现，如图4和图5所示，其中业务终端负责本地威胁感知树模型训练、全局感知树部署、异常检测和拓扑图生成等任务；边缘网关负责网络数据采集及解析、防火墙等外置安全设备数据采集、异常拓扑图预语义聚合、局部感知树推导等任务；云服务器负责全局威胁感知树聚合推导及下发、异常拓扑图语义聚合、假阳性异常过滤、安全态势理解和安全态势呈现等工作。其中终端的本地模型训练和异常检测、边缘网关的局部模型聚合作为云服务平台的前置处理模块，能充分利用边、端侧部署的DPU算力资源，同时减少系统通信成本和云端计算压力。

本发明还提供一种安全态势感知处理系统，包括终端和云服务器，终端用于：

根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；

基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程，X和Y为正整数；

云服务器用于：

获取各个待处理异常拓扑图，待处理异常拓扑图是基于异常拓扑图生成的；

对重复的多个待处理异常拓扑图进行去重处理，保留其中一个待处理异常拓扑图，并记录待处理异常拓扑图对应的异常事件的重复个数；

基于待处理异常拓扑图中异常事件的命令树中共同子片段的数量对各个待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，基于各个聚合异常拓扑图的异常分数，确定目标异常事件；

基于目标异常事件进行网络安全态势感知。

本发明提供的系统中各个参与方的相关内容可以与前文中所述的方法一一对应。在一种实现方式中，该系统中还包括边缘端，边缘端执行的步骤可以参阅前文所述的方法。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述的内置数据处理单元的安全态势感知处理方法和/或上述的安全态势感知处理方法，该内置数据处理单元的安全态势感知处理方法包括：根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程，X和Y为正整数，该安全态势感知处理方法包括：获取各个待处理异常拓扑图，待处理异常拓扑图是基于异常拓扑图生成的；对重复的多个待处理异常拓扑图进行去重处理，保留其中一个待处理异常拓扑图，并记录待处理异常拓扑图对应的异常事件的重复个数；基于待处理异常拓扑图中异常事件的命令树中共同子片段的数量对各个待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，基于各个聚合异常拓扑图的异常分数，确定目标异常事件；基于目标异常事件进行网络安全态势感知。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述的内置数据处理单元的安全态势感知处理方法和/或上述的安全态势感知处理方法，该内置数据处理单元的安全态势感知处理方法包括：根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程，X和Y为正整数，该安全态势感知处理方法包括：获取各个待处理异常拓扑图，待处理异常拓扑图是基于异常拓扑图生成的；对重复的多个待处理异常拓扑图进行去重处理，保留其中一个待处理异常拓扑图，并记录待处理异常拓扑图对应的异常事件的重复个数；基于待处理异常拓扑图中异常事件的命令树中共同子片段的数量对各个待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，基于各个聚合异常拓扑图的异常分数，确定目标异常事件；基于目标异常事件进行网络安全态势感知。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述的内置数据处理单元的安全态势感知处理方法和/或上述的安全态势感知处理方法，该内置数据处理单元的安全态势感知处理方法包括：根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；当目标事件在本地威胁感知树的任意一层中匹配不到对应的节点时，将目标事件标记为异常事件；基于异常事件以及异常事件的上下文事件生成异常事件对应的异常拓扑图，将异常拓扑图发送至云服务器进行网络安全态势感知，其中异常事件的上下文事件为异常事件对应的目标进程的上下文进程，上下文进程为目标进程的X代祖先进程和Y代后代进程，X和Y为正整数，该安全态势感知处理方法包括：获取各个待处理异常拓扑图，待处理异常拓扑图是基于异常拓扑图生成的；对重复的多个待处理异常拓扑图进行去重处理，保留其中一个待处理异常拓扑图，并记录待处理异常拓扑图对应的异常事件的重复个数；基于待处理异常拓扑图中异常事件的命令树中共同子片段的数量对各个待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；基于聚合异常拓扑图中包括的正常事件和异常事件的频率确定聚合异常拓扑图的异常分数，基于各个聚合异常拓扑图的异常分数，确定目标异常事件；基于目标异常事件进行网络安全态势感知。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种内置数据处理单元的安全态势感知处理方法，其特征在于，应用于终端，包括：

根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，所述本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

当所述目标事件在所述本地威胁感知树的任意一层中匹配不到对应的节点时，将所述目标事件标记为异常事件；

基于所述异常事件以及所述异常事件的上下文事件生成所述异常事件对应的异常拓扑图，将所述异常拓扑图发送至云服务器进行网络安全态势感知，其中所述异常事件的上下文事件为所述异常事件对应的目标进程的上下文进程，所述上下文进程为所述目标进程的X代祖先进程和Y代后代进程，X和Y为正整数。

2.根据权利要求1所述的内置数据处理单元的安全态势感知处理方法，其特征在于，所述将所述异常拓扑图发送至云服务器进行网络安全态势感知，包括：

将所述异常拓扑图发送至边缘端，以使得所述边缘端对多个所述异常拓扑图进行语义聚合后发送至所述云服务器进行网络安全态势感知。

3.根据权利要求1所述的内置数据处理单元的安全态势感知处理方法，其特征在于，所述本地威胁感知树的建立过程包括：

观测系统事件，当所述系统事件在初始感知树的任意一层中匹配不到对应的节点时，根据所述系统事件的属性在所述初始感知树中创建新的节点；

当在预设时段内所述初始感知树中新创建的节点占所述初始感知树的总节点的比例均小于预设比例时，将所述初始感知树作为所述本地威胁感知树。

4.一种基于权利要求1-3任一项所述方法的安全态势感知处理方法，其特征在于，应用于云服务器，包括：

获取各个待处理异常拓扑图，所述待处理异常拓扑图是基于所述异常拓扑图生成的；

对重复的多个所述待处理异常拓扑图进行去重处理，保留其中一个所述待处理异常拓扑图，并记录所述待处理异常拓扑图对应的异常事件的重复个数；

基于所述待处理异常拓扑图中所述异常事件的命令树中共同子片段的数量对各个所述待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，基于各个所述聚合异常拓扑图的异常分数，确定目标异常事件；

基于所述目标异常事件进行网络安全态势感知。

5.根据权利要求4所述的安全态势感知处理方法，其特征在于，所述基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，包括：

基于所述聚合异常拓扑图中包括的所有正常事件的频率的倒数的平均值确定第一得分；

基于所述聚合异常拓扑图中包括的所有异常事件的频率的倒数的平均值确定第二得分；

基于所述第一得分和所述第二得分确定所述聚合异常拓扑图的异常分数。

6.根据权利要求4所述的安全态势感知处理方法，其特征在于，所述方法还包括：

获取各个终端的本地威胁感知树；

基于所述各个终端的非系统进程对所述各个终端进行聚类，确定至少一个终端簇，每个所述终端簇中包括至少两个所述终端；

确定所述终端簇中的终端的所述本地威胁感知树中共有进程的各个属性值，基于所述共有进程对所述终端簇中的终端的所述本地威胁感知树进行更新。

7.根据权利要求4所述的安全态势感知处理方法，其特征在于，所述基于所述目标异常事件进行网络安全态势感知，包括：

基于各个所述目标异常事件的关联和时序关系，对各个所述目标异常事件进行聚类，得到各个异常事件簇；

以所述异常事件簇为数据源识别网络攻击行为，得到网络攻击行为识别结果；

对各个网络态势要素进行量化处理，将所述网络攻击行为识别结果、所述网络态势要素和系统资产信息输入至网络安全态势评估模型，得到网络安全态势评估结果，所述网络安全态势评估模型基于知识图谱和贝叶斯攻击图构建，所述网络态势要素包括网络环境、网络漏洞和所述异常事件；

基于所述网络安全态势评估结果生成态势实时告警信息；

基于所述网络攻击行为识别结果和所述网络态势要素进行网络安全态势预测，得到网络安全态势预测结果；

基于所述异常事件簇中事件的相关数据报文和所述网络态势要素对网络攻击进行溯源；

对所述网络安全态势评估结果、所述态势实时告警信息和所述网络安全态势预测结果进行可视化显示。

8.一种安全态势感知处理系统，其特征在于，包括终端以及云服务器；

所述终端用于：

根据目标事件的属性在本地威胁感知树中匹配对应的节点，其中，所述本地威胁感知树中包括多个层，每个层对应一种事件属性，每个层中的节点对应一种属性值；

当所述目标事件在所述本地威胁感知树的任意一层中匹配不到对应的节点时，将所述目标事件标记为异常事件；

基于所述异常事件以及所述异常事件的上下文事件生成所述异常事件对应的异常拓扑图，将所述异常拓扑图发送至云服务器进行网络安全态势感知，其中所述异常事件的上下文事件为所述异常事件对应的目标进程的上下文进程，所述上下文进程为所述目标进程的X代祖先进程和Y代后代进程，X和Y为正整数；

所述云服务器用于：

获取各个待处理异常拓扑图，所述待处理异常拓扑图是基于所述异常拓扑图生成的；

对重复的多个所述待处理异常拓扑图进行去重处理，保留其中一个所述待处理异常拓扑图，并记录所述待处理异常拓扑图对应的异常事件的重复个数；

基于所述待处理异常拓扑图中所述异常事件的命令树中共同子片段的数量对各个所述待处理异常拓扑图进行语义聚合，得到聚合异常拓扑图；

基于所述聚合异常拓扑图中包括的正常事件和异常事件的频率确定所述聚合异常拓扑图的异常分数，基于各个所述聚合异常拓扑图的异常分数，确定目标异常事件；

基于所述目标异常事件进行网络安全态势感知。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述内置数据处理单元的安全态势感知处理方法和/或如权利要求4-7任一项所述内置数据处理单元的安全态势感知处理方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述内置数据处理单元的安全态势感知处理方法和/或如权利要求4-7任一项所述内置数据处理单元的安全态势感知处理方法。