CN108881123A - 恶意流量识别系统及方法 - Google Patents

Abstract

本发明涉及一种恶意流量识别系统，包括探测模块，用于对主机端、服务器端和网络流量的数据进行采集和预处理；存储模块，用于存储探测模块采集的数据和恶意流量识别过程中产生的数据；分析模块，用于对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；反馈模块，用于根据分析模块得出的结论进行反馈调节，还包括一种恶意流量识别方法。采用该恶意流量识别系统及方法，提高了IT系统的整体健壮性，提高了运维效率，提高了流量识别的准确率，可以识别和阻断APT攻击，可以作为网络犯罪的取证工具，具有广泛的应用范围。

Description

恶意流量识别系统及方法

技术领域

本发明涉及网络通信技术领域，尤其涉及网络安全技术领域，具体是指一种恶意流量识别系统及方法。

背景技术

利用先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式，APT(Advanced Persistent Threat，高级持续性威胁)攻击的原理相对于其他攻击形式更为高级和先进，其高级性主要体现在APT在发动攻击之前需要对攻击对象的业务流程和目标系统进行精确的收集。在此收集的过程中，此攻击会主动挖掘被攻击对象受信系统和应用程序的漏洞，利用这些漏洞组建攻击者所需的网络，并利用0day漏洞进行攻击。

APT攻击通过复杂的欺骗技术和基本协议，如HTTP，Email等协议，而不是采用可被阻断的非基本协议或高端口协议，非常难识别和防御，通常采用的包过滤或限制速率的措施只是通过停止服务来简单停止攻击任务，但同时合法用户的请求也被拒绝，造成业务的中断或服务质量的下降

APT攻击具有潜伏周期长，隐蔽性高的特点，威胁着企业的数据安全，而现有单纯的防火墙技术，防病毒技术，DPI技术，DFI技术都无法有效应对APT攻击。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现的恶意流量识别系统及方法。

为了实现上述目的，本发明具有如下构成：

该恶意流量识别系统，其特征在于，所述的系统包括：

探测模块，用于对主机端、服务器端和网络流量的数据进行采集和预处理；

存储模块，用于存储探测模块采集的数据和恶意流量识别过程中产生的数据；

分析模块，用于对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

反馈模块，用于根据分析模块得出的结论进行反馈调节。

较佳地，所述的探测模块包括：

主机端探测单元，用于通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

服务器端探测单元，用于通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

网络流量探测单元，用于对网络流量进行采集和预处理。

较佳地，所述的存储模块包括：

原始数据存储单元，用于保存系统采集到的所有原始数据；

系统数据存储单元，用于保存系统配置数据；

分析结论存储单元，用于保存系统生成的所有统计信息和结论信息。

较佳地，所述的分析模块包括：

初步分析单元，用于将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

深入分析单元，用于识别加密数据分析、用户行为和用户身份；

预测单元，用于预测用户行为和业务流量。

更佳地，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

较佳地，所述的反馈模块包括：

反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

还包括一种恶意流量识别方法，所述的方法包括以下步骤：

(1)所述的探测模块对主机端、服务器端和网络流量的数据进行采集和预处理；

(2)所述的存储模块存储探测模块采集的数据和恶意流量识别过程中产生的数据；

(3)所述的分析模块对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

(4)所述的反馈模块根据分析模块得出的结论进行反馈调节。

较佳地，所述的步骤(1)包括以下步骤：

(1-1)主机端探测单元通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-2)服务器端探测单元通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-3)网络流量探测单元对网络流量进行采集和预处理。

较佳地，所述的步骤(2)包括以下步骤：

(2-1)原始数据存储单元保存系统采集到的所有原始数据；

(2-2)系统数据存储单元保存系统配置数据；

(2-3)分析结论存储单元保存系统生成的所有统计信息和结论信息。

较佳地，所述的步骤(3)包括以下步骤：

(3-1)初步分析单元将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

(3-2)深入分析单元识别加密数据分析、用户行为和用户身份；

(3-3)预测单元预测用户行为和业务流量。

更佳地，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

较佳地，所述的步骤(4)包括以下步骤：

(4-1)反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户和管理员用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

(4-2)反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

更佳地，所述的当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道，具体包括以下步骤：

(4-1-1)当所述的终端设备用户对分析模块的结论有异议时，通过所述的反馈通知单元提出申诉；

(4-1-2)所述的反馈通知单元将申诉信息发送至管理员用户，该管理员用户启动复查流程；

(4-1-3)管理员用户根据与该申诉相关的分析模块的结论的ID地址，找到该结论对应的存储模块保存的原始信息数据、系统配置数据和分析模块产生的数据，并取证分析；

(4-1-4)管理员用户根据分析结果判断是否支持所述的分析模块的结论，如果是，继续步骤(4-1-5)，否则，继续步骤(4-1-6)；

(4-1-5)所述的反馈通知单元将处理结果告知该终端设备用户，并继续执行分析模块的结论；

(4-1-6)所述的反馈通知单元将处理结果告知该终端设备用户和所述的分析模块，所述的反馈调节单元撤销所述的分析模块的结论，所述的分析模块修正分析方法并继续步骤(3)；

(4-1-7)当所述的终端设备用户对分析模块的结论有异议时，直接启动复查流程，继续步骤(4-1-3)。

采用了该发明中的恶意流量识别系统及方法，提高了IT系统的整体健壮性，提高了运维效率，提高了流量识别的准确率，可以识别和阻断APT攻击，可以作为网络犯罪的取证工具，具有广泛的应用范围。

附图说明

图1为本发明的恶意流量识别系统的模块交互示意图。

图2为本发明的恶意流量识别方法的复查流程的示意图。

图3为本发明的恶意流量识别系统及方法的总拓扑示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

该恶意流量识别系统，其特征在于，所述的系统包括：

探测模块，用于对主机端、服务器端和网络流量的数据进行采集和预处理；

存储模块，用于存储探测模块采集的数据和恶意流量识别过程中产生的数据；

分析模块，用于对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

反馈模块，用于根据分析模块得出的结论进行反馈调节。

较佳地，所述的探测模块包括：

主机端探测单元，用于通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

服务器端探测单元，用于通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

网络流量探测单元，用于对网络流量进行采集和预处理。

较佳地，所述的存储模块包括：

原始数据存储单元，用于保存系统采集到的所有原始数据；

系统数据存储单元，用于保存系统配置数据；

分析结论存储单元，用于保存系统生成的所有统计信息和结论信息。

较佳地，所述的分析模块包括：

初步分析单元，用于将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

深入分析单元，用于识别加密数据分析、用户行为和用户身份；

预测单元，用于预测用户行为和业务流量。

更佳地，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

较佳地，所述的反馈模块包括：

反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

还包括一种恶意流量识别方法，所述的方法包括以下步骤：

(1)所述的探测模块对主机端、服务器端和网络流量的数据进行采集和预处理；

(2)所述的存储模块存储探测模块采集的数据和恶意流量识别过程中产生的数据；

(3)所述的分析模块对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

(4)所述的反馈模块根据分析模块得出的结论进行反馈调节。

较佳地，所述的步骤(1)包括以下步骤：

(1-1)主机端探测单元通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-2)服务器端探测单元通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-3)网络流量探测单元对网络流量进行采集和预处理。

较佳地，所述的步骤(2)包括以下步骤：

(2-1)原始数据存储单元保存系统采集到的所有原始数据；

(2-2)系统数据存储单元保存系统配置数据；

(2-3)分析结论存储单元保存系统生成的所有统计信息和结论信息。

较佳地，所述的步骤(3)包括以下步骤：

(3-1)初步分析单元将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

(3-2)深入分析单元识别加密数据分析、用户行为和用户身份；

(3-3)预测单元预测用户行为和业务流量。

更佳地，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

较佳地，所述的步骤(4)包括以下步骤：

(4-1)反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户和管理员用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

(4-2)反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

更佳地，所述的当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道，具体包括以下步骤：

(4-1-1)当所述的终端设备用户对分析模块的结论有异议时，通过所述的反馈通知单元提出申诉；

(4-1-2)所述的反馈通知单元将申诉信息发送至管理员用户，该管理员用户启动复查流程；

(4-1-3)管理员用户根据与该申诉相关的分析模块的结论的ID地址，找到该结论对应的存储模块保存的原始信息数据、系统配置数据和分析模块产生的数据，并取证分析；

(4-1-4)管理员用户根据分析结果判断是否支持所述的分析模块的结论，如果是，继续步骤(4-1-5)，否则，继续步骤(4-1-6)；

(4-1-5)所述的反馈通知单元将处理结果告知该终端设备用户，并继续执行分析模块的结论；

(4-1-6)所述的反馈通知单元将处理结果告知该终端设备用户和所述的分析模块，所述的反馈调节单元撤销所述的分析模块的结论，所述的分析模块修正分析方法并继续步骤(3)；

(4-1-7)当所述的终端设备用户对分析模块的结论有异议时，直接启动复查流程，继续步骤(4-1-3)。

总体上将主机防护和网络防御结合，并利用dpi技术和数据挖掘机器学习技术做分析，将APT攻击阻隔在内网之外。(进一步的可以做蜜罐系统，分析攻击者的攻击方式和目标。)

在一种具体的实施方式中，如图1所示，系统分为探测模块，存储和记录模块，分析模块，反馈模块。

其中探测模块中细分：为主机端探测子模块、服务器端探测子模块和网络流量探测子模块。网络流量和主机及服务器上的地址、端口、应用、时间和用户等，做数据采集和预处理。

存储和记录模块分为原始数据存储子模块，系统数据存储子模块和分析结论存储子模块。其中原始数据存储子模块将保存和记录系统收集到的所有原始信息。系统数据存储子模块保存记录系统配置等相关的信息，分析结论存储子模块保存记录系统生成的所有统计和结论信息。

分析模块分为初步分析子模块、深入分析子模块和预测子模块。其中初步分析子模块是将各探测点收到的信息按照模块角色，多维度地进行初步分析，维度包括：时间，地址，端口，协议，用户，应用，服务器服务。建立和不断补充特征库。深入分析子模块包括加密数据分析识别，用户行为识别，用户身份识别。预测子模块包括用户行为预测，业务流量预测。

反馈模块将根据分析模块得出的结论做相应反馈调节，如阻止某连接等。其包括反馈通知子模块，反馈调节子模块。反馈通知子模块是将系统的处理结果通知系统设定的需要通知的用户，便于用户及时地知晓和介入系统管理，当对分析模块的结论有异议时，用户可及时人为的分析和处理。反馈调节子模块是按照分析模块得出的结论对系统整体做调整，如：恶意流量做记录并阻止。

在一种具体的实施方式中，系统可能对正常用户进行误判，而恶意攻击者也可能假扮正常用户通过审核，因此，有以下人工干预流程，如图2所示：

首先用户分为管理员权限用户和终端设备用户，反馈通知子模块将分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户。

终端设备用户如果有异议时，可以通过反馈通知子模块向系统申诉，申诉信息会通过反馈通知子模块到达管理员用户，进入复查流程：管理员用户通过分析模块的结论ID，找到该结论对应的存储模块保存的原始信息数据，系统配置数据，及分析模块产生的数据，做取证分析。然后，管理员通过反馈模块做处理：支持系统结论，反馈通知子模块将处理结果告知终端设备用户，反馈调节子模块继续执行分析模块的结论；不支持系统结论，反馈通知子模块将处理结果告知终端设备用户，反馈通知子模块将处理结果告知分析模块，用来修正分析方法，反馈调节子模块撤销分析模块的结论。

管理员用户如果有对分析模块的结论有异议时，可直接进入复查流程。

在另一种具体的实施方式中，如图3所示，在内网或是整个网络管理员有控制管理权限。服务器、个人电脑等硬件设备和虚拟机等虚拟设备也都有超级用户权限。

在硬件设备和虚拟设备中安装终端组件。在服务器端安装服务端组件。终端组件功能包括探测模块，反馈通知子模块和反馈调节子模块，终端组件还包括终端用户使用接口。服务端组件功能包括存储模块，分析模块，反馈模块，有管理员用户接口，包括web管理接口和命令行接口。终端组件和服务端组件之间通过ssl/tls加密连接。

采用了该发明中的恶意流量识别系统及方法，提高了IT系统的整体健壮性，提高了运维效率，提高了流量识别的准确率，可以识别和阻断APT攻击，可以作为网络犯罪的取证工具，具有广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (13)

1.一种恶意流量识别系统，其特征在于，所述的系统包括：

探测模块，用于对主机端、服务器端和网络流量的数据进行采集和预处理；

存储模块，用于存储探测模块采集的数据和恶意流量识别过程中产生的数据；

分析模块，用于对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

反馈模块，用于根据分析模块得出的结论进行反馈调节。

2.根据权利要求1所述的恶意流量识别系统，其特征在于，所述的探测模块包括：

主机端探测单元，用于通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

服务器端探测单元，用于通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

网络流量探测单元，用于对网络流量进行采集和预处理。

3.根据权利要求1所述的恶意流量识别系统，其特征在于，所述的存储模块包括：

原始数据存储单元，用于保存系统采集到的所有原始数据；

系统数据存储单元，用于保存系统配置数据；

分析结论存储单元，用于保存系统生成的所有统计信息和结论信息。

4.根据权利要求1所述的恶意流量识别系统，其特征在于，所述的分析模块包括：

初步分析单元，用于将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

深入分析单元，用于识别加密数据分析、用户行为和用户身份；

预测单元，用于预测用户行为和业务流量。

5.根据权利要求4所述的恶意流量识别系统，其特征在于，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

6.根据权利要求1所述的恶意流量识别系统，其特征在于，所述的反馈模块包括：

反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

7.一种恶意流量识别方法，其特征在于，所述的方法包括以下步骤：

(1)所述的探测模块对主机端、服务器端和网络流量的数据进行采集和预处理；

(2)所述的存储模块存储探测模块采集的数据和恶意流量识别过程中产生的数据；

(3)所述的分析模块对主机端、服务器端和网络流量的数据进行分析，识别恶意流量；

(4)所述的反馈模块根据分析模块得出的结论进行反馈调节。

8.根据权利要求7所述的恶意流量识别方法，其特征在于，所述的步骤(1)包括以下步骤：

(1-1)主机端探测单元通过主机的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-2)服务器端探测单元通过服务器的地址信息、端口信息、应用信息、时间信息和用户信息进行数据采集和预处理；

(1-3)网络流量探测单元对网络流量进行采集和预处理。

9.根据权利要求7所述的恶意流量识别方法，其特征在于，所述的步骤(2)包括以下步骤：

(2-1)原始数据存储单元保存系统采集到的所有原始数据；

(2-2)系统数据存储单元保存系统配置数据；

(2-3)分析结论存储单元保存系统生成的所有统计信息和结论信息。

10.根据权利要求7所述的恶意流量识别方法，其特征在于，所述的步骤(3)包括以下步骤：

(3-1)初步分析单元将采集到的数据根据模块划分，从多个维度进行初步分析，，建立并不断补充特征库；

(3-2)深入分析单元识别加密数据分析、用户行为和用户身份；

(3-3)预测单元预测用户行为和业务流量。

11.根据权利要求10所述的恶意流量识别方法，其特征在于，所述的多个维度包括时间，地址，端口，协议，用户，应用和服务器的服务。

12.根据权利要求7所述的恶意流量识别方法，其特征在于，所述的步骤(4)包括以下步骤：

(4-1)反馈通知单元，用于分析模块的分析结果和系统处理结果分别通知终端设备用户和管理员用户，当终端设备用户和管理员用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道；

(4-2)反馈调节单元，用于按照分析模块得出的结论对系统整体做调整。

13.根据权利要求12所述的恶意流量识别方法，其特征在于，所述的当终端设备用户对分析模块的结论有异议时，为该终端设备用户提供申诉的通道，具体包括以下步骤：

(4-1-1)当所述的终端设备用户对分析模块的结论有异议时，通过所述的反馈通知单元提出申诉；

(4-1-2)所述的反馈通知单元将申诉信息发送至管理员用户，该管理员用户启动复查流程；

(4-1-3)管理员用户根据与该申诉相关的分析模块的结论的ID地址，找到该结论对应的存储模块保存的原始信息数据、系统配置数据和分析模块产生的数据，并取证分析；

(4-1-4)管理员用户根据分析结果判断是否支持所述的分析模块的结论，如果是，继续步骤(4-1-5)，否则，继续步骤(4-1-6)；

(4-1-5)所述的反馈通知单元将处理结果告知该终端设备用户，并继续执行分析模块的结论；

(4-1-6)所述的反馈通知单元将处理结果告知该终端设备用户和所述的分析模块，所述的反馈调节单元撤销所述的分析模块的结论，所述的分析模块修正分析方法并继续步骤(3)；

(4-1-7)当所述的终端设备用户对分析模块的结论有异议时，直接启动复查流程，继续步骤(4-1-3)。