CN110912887A - 一种基于Bro的APT监测系统和方法 - Google Patents

Abstract

本发明公开了一种基于Bro的APT监测系统和方法，涉及计算机网络安全领域，包括宿主机、Docker容器和系统拓展；所述宿主机为网关，抓取并产生PCAP文件，并将所述PCAP文件输出给所述Docker容器；所述Docker容器包括提取模块和检测模块，对输入的所述PCAP文件进行提取和检测；所述提取模块和所述检测模块设置为Bro入侵检测系统。本发明通过对网络流量的直接综合分析，对APT攻击进行检测，具有较高的性能和可延展性，可对流量中传输的文件进行重组和提取，并对高速流量进行实时分析和生成日志的功能，并通过针对性的恶意文件检测，以及对日志的分析，实现了对流量中APT攻击的监测目标。

Description

一种基于Bro的APT监测系统和方法

技术领域

本发明涉及计算机网络安全领域，尤其涉及一种基于Bro的APT监测系统和方法。

背景技术

APT攻击，即高级可持续威胁攻击，也称为定向威胁攻击，指某组织对特定对象展开的持续有效的攻击活动。这种攻击活动具有极强的隐蔽性和针对性，通常会运用受感染的各种介质、供应链和社会工程学等多种手段实施先进的、持久的且有效的威胁和攻击。

APT入侵客户的途径多种多样，主要包括以下几个方面：

一、以智能手机、平板电脑和USB等移动设备为目标和攻击对象继而入侵企业信息系统；

二、社交工程的恶意邮件是许多APT攻击成功的关键因素之一，随着社交工程攻击手法的日益成熟，邮件几乎真假难辨。从一些受到APT攻击的大型企业可以发现，这些企业受到威胁的关键因素都与普通员工遭遇社交工程的恶意邮件有关。从一开始，黑客就是针对某些特定员工发送钓鱼邮件，以此作为使用APT手法进行攻击的源头；

三、利用防火墙、服务器等系统漏洞继而获取访问企业网络的有效凭证信息是使用APT攻击的另一重要手段。

根据分析方案的不同，针对APT攻击的检测主要可分为两种类型：

(1)基于机器学习算法

许多学者基于机器学习(machine learning)算法与深度学习(deep learning)技术，对网络流量分类与检测进行了深入研究。如Thomas Karagiannis等人曾提出一种分类模型，其需要可访问的端口和IP地址信息，或端口和主机之间的流量模式；MatthewRoughan等人利用最近邻居模型(nearest neighbor)进行聚类以提供所需的分类；Yu Gu等人则采用熵最大方法(entropy maximization method)，通过流量预测判断网络状态；一种特别设计的神经网络(neural networks)则由Atiya等人提出，使用稀疏选择(sparse-basis selection)预测视频流量的利用率；还有一些研究人员采用贝叶斯神经网络(Bayesian neural networks)或支持向量机(support vector machine，SVM)等机器学习算法进行网络流量分类的研究。

(2)基于对流量的综合分析

相较于通过机器学习算法的直接检测，对于网络流量的直接综合分析也是APT攻击检测的一大方向，例如Bilge等人通过大量流量分析检测僵尸网络；PavlosLamprakis等人所提出的网络请求图(Web Request Graphs)算法；Jasek R.等人基于蜜罐对APT攻击进行检测；而FireEye公司的Haq T.等人基于对流量对象的特征提取和匹配，以及概率分析算法实现APT检测平台。

其中，基于流量的分析，仍是APT检测的主要方式。

目前的网络入侵检测系统，通常依靠签名匹配和服务器端口作为主要的识别技术，例如Bro入侵检测系统。本领域的技术人员致力于开发一种基于入侵检测系统报告的检测方案，从而提出一种基于Bro的APT监测系统和方法。

发明内容

本发明所要解决的技术问题是提出一种基于蜜罐的僵尸网络的追踪溯源系统，系统与人工分析恶意样本相结合，在日志记录与分析系统的辅助下，通过模仿或解析僵尸网络中的通信，实现对僵尸网络的追踪。

为实现上述目的，本发明提供了一种基于Bro的APT监测系统，包括宿主机、Docker容器和系统拓展；所述宿主机为网关，抓取并产生PCAP文件，并将所述PCAP文件输出给所述Docker容器；所述Docker容器包括提取模块和检测模块，对输入的所述PCAP文件进行提取和检测；所述提取模块和所述检测模块设置为Bro入侵检测系统。

进一步地，所述Bro入侵检测系统包括libpcap内核、网络事件层和脚本解释器；在所述libpcap内核完成对流量数据包的提取和处理解析后，所述Bro入侵检测系统将所述流量数据包传递给所述网络事件层；所述网络事件层对所述流量数据包的完整性及校验和进行检查，如果是异常流量包，则所述Bro入侵检测系统将所述流量数据包抛弃并报错；如果不是异常流量包，则所述Bro入侵检测系统将所述流量数据包根据传输层协议进行分流；当所述网络事件层完成对所述流量数据包的处理后，所述脚本解释器将生成一系列的网络事件；所述网络事件被缓存在FIFO队列中并会立刻进行处理；当所述网络事件处理完毕后，所述Bro入侵检测系统将回到所述libpcap内核读入下一个所述流量数据包，进行下一次的处理。

进一步地，所述传输层协议包括TCP和UDP，所述流量数据包根据所述传输层协议的不同分为TCP流量和UDP流量。

进一步地，对于所述TCP流量，所述Bro入侵检测系统首先对所述流量数据包进行检验和检查；然后根据所述流量数据包的源IP地址端口及目的IP地址端口，将所述流量数据包以TCP连接为单位分离；而后根据SYN/FIN/RST控制位状态，更新连接状态；所述连接状态包括尝试连接、连接建立、连接拒绝和连接断开；最后，所述Bro入侵检测系统将处理所述流量数据包中的数据确认信息，并生成对应的事件以处理所述流量数据包中的载荷。

进一步地，对于所述UDP流量，所述Bro入侵检测系统将根据所述流量数据包的源IP地址端口及目的IP地址端端口，将所述流量数据包以UDP数据流为单位分离；而后根据所述流量数据包的通信方向生成UDP请求和UDP响应事件，并生成对应的事件以处理所述流量数据包中的载荷。

进一步地，还包括BroAPT-Daemon守护进程；所述BroAPT-Daemon守护进程为RESTAPI服务器，在所述宿主机上运行。

进一步地，采用多进程的运行逻辑架构；所述提取模块通过同步队列向所述检测模块传递所述PCAP文件的信息；每当所述检测模块从所述同步队列中获得所述PCAP文件的信息，所述检测模块对所述PCAP文件进行检查，获取所述PCAP文件的MIME类型和UID信息，并根据所述PCAP文件的所述MIME类型，所述检测模块从API配置文件中选择对应的检测API配置；最后，所述检测模块执行所述检测API配置中的检测命令，对所述PCAP文件进行恶意文件检测，并生成检测报告。

进一步地，所述Bro入侵检测系统采用单线程设计。

本发明还提供了一种基于Bro的APT捕获方法，是基于权利要求1至8任意一项所述的基于Bro的APT监测系统，所述方法包括以下步骤：

步骤101、部署并配置所述基于Bro的APT监测系统；

步骤102、所述基于Bro的APT监测系统为每一个输入的所述PCAP文件创建一个第一子进程；在所述第一子进程中，所述Bro入侵检测系统载入用户提供的Bro脚本；

步骤103、所述Bro脚本和所述基于Bro的APT监测系统中的文件提取脚本一起，处理和分析所述PCAP文件，得到流量中传输的文件和Bro日志；

步骤104、完成对所述PCAP文件的Bro初步分析后，所述基于Bro的APT监测系统通过同步队列向另一组进程告知生成的所述Bro日志的信息；

步骤105、所述另一组进程负责对所述Bro日志的进一步分析和处理；用户使用编写的分析函数，并将所述分析函数添加注册到Python进程中；

步骤106、每当所述基于Bro的APT监测系统接收到一条所述Bro日志的信息，所述基于Bro的APT监测系统为所述每一个分析函数创建一个第二子进程，由所述第二子进程完成对所述Bro日志的进一步分析和处理。

本发明还提供了一基于Bro的APT追踪溯源方法，基于权利要求9所述的基于Bro的APT捕获方法，所述方法还包括以下步骤：

步骤107、所述基于Bro的APT监测系统将通过另一同步队列，向第三组进程告知所述PCAP文件的相关信息，包括文件路径和MIME类型；

步骤108、所述基于Bro的APT监测系统将为每一个提取得到的文件创建一个第三子进程；

步骤109、用户配置所需的API配置文件；

步骤110、所述第三子进程将从所述API配置文件中，根据待检测文件的MIME类型，选择对应的检测配置，并执行配置中的检测脚本，生成恶意文件检测日志。

本发明提供的基于Bro的APT监测系统通过对网络流量的直接综合分析，对APT攻击进行检测，具有较高的性能和可延展性，可对流量中传输的文件进行重组和提取，并对高速流量进行实时分析和生成日志的功能，并通过针对性的恶意文件检测，以及对日志的分析，实现了对流量中APT攻击的监测目标。

本发明提供的基于Bro的APT监测系统对于APT检测的研究虽然较为前置，探究的目标比较宽泛，但是挖掘了Bro入侵检测系统对APT检测的效用，设计并实现了一个具备极强可拓展性且可用于高速流量处理的APT检测系统。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是Bro入侵检测系统架构示意图；

图2是基于Bro入侵检测系统的APT监测系统架构图；

图3是基于Bro入侵检测系统的APT监测系统核心模块示意图；

图4是基于Bro入侵检测系统的APT监测系统检测模块示意图；

图5是基于Bro入侵检测系统的APT监测系统客户端-服务器检测架构图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

本发明设计并实现了基于Bro入侵检测系统的APT监测系统——BroAPT系统。BroAPT系统通过对网络流量的直接综合分析，对APT攻击进行检测。该系统具有较高的性能和可延展性，可对流量中传输的文件进行重组和提取，并对高速流量进行实时分析和生成日志的功能，并通过针对性的恶意文件检测，以及对日志的分析，实现了对流量中APT攻击的监测目标。其中设计的Bro入侵检测系统架构如图1所示，由以下模块组成：

(1)libpcap内核

Bro入侵检测系统将libpcap作为内核，无需考虑底层(即链路层)协议及网络流量嗅探抓取；由于libpcap的通用性，也使得Bro可移植于不同的UNIX/Linux系统，并在条件允许时，通过libpcap的调用接口实现流量解析等的硬件加速。此外，利用libpcap读写PCAP文件的功能，Bro还可实现离线监测、后期处理与分析的功能。后期处理与分析是通过Bro的日志系统进行。在libpcap内核完成对流量数据包的提取和处理解析后，Bro入侵检测系统将流量数据包传递给网络事件层。

(2)网络事件层

网络事件层首先对流量数据包的完整性及校验和(checksum)进行检查，如果是异常流量包，则Bro入侵检测系统将流量数据包抛弃并报错。如果不是异常流量包，则Bro入侵检测系统将流量数据包根据传输层协议进行分流。

(3)脚本解释器

当网络事件层完成对流量数据包的处理后，将生成一系列的网络事件；网络事件被缓存在FIFO(first in first out，先进先出)队列中并会立刻进行处理；当网络事件处理完毕后，Bro入侵检测系统将回到libpcap内核读入下一个流量数据包，进行下一次的处理，处理过程如上所述。

如图2所示，为基于Bro入侵检测系统的APT监测系统架构。

根据运行环境的不同，可将APT监测系统分为三个逻辑层面。最底层是系统所运行的宿主机，其作为网关实时抓取并产生PCAP文件，并将PCAP文件输出给Docker容器；中间层是Docker容器，是系统的核心模块，Docker容器包括提取模块和检测模块，对输入的PCAP文件进行提取和检测；第三层则是对系统的配置和拓展，用户可根据实际需求进行调整。

如图3所示，为基于Bro入侵检测系统的APT监测系统核心模块。

首先，模块对输入源进行扫描，获取尚未处理的网络流量PCAP文件，即新产生的PCAP文件。模块为每一个PCAP文件创建一个子进程。在子进程中，模块加载内置的文件提取脚本，以及由用户编写的Bro功能拓展脚本，调用Bro入侵检测系统对PCAP文件进行分析和处理，得到从流量中提取的文件，与由Bro日志系统生成的日志文件。随后，模块调用内置的分析函数对日志文件进行解析，从原始日志文件中提取信息，形成分析日志。

如图4所示，为基于Bro入侵检测系统的APT监测系统检测模块。

BroAPT系统采用了多进程的运行逻辑架构。BroAPT-Core提取模块通过同步队列(queue)，向BroAPT-App检测模块传递提取文件的信息。因此，每当模块从同步队列中，获得提取文件的信息，其首先对该文件进行检查，并获取文件的MIME类型、UID等信息。随后，根据文件的MIME类型，模块从API配置文件中选择对应的检测API配置。最后，模块执行API配置中的检测命令，对该文件进行恶意文件检测，生成检测报告。

BroAPT系统在提取文件时，会以：PROTOCOL-FUID-MIMETYPE.EXT的格式命名。从而，BroAPT-App检测模块可从提取文件名中，得到该文件在Bro系统中所使用的UID、传输该文件的协议类型、libmagic识别该文件的MIME类型等信息。

如图5所示，为基于Bro入侵检测系统的APT监测系统客户端-服务器检测架构。

由于BroAPT系统的核心模块在Docker容器中运行，其运行权限是受限状态，而某些检测工具则可能需要在完整权限下运行，如使用Docker镜像或虚拟机等。因此，BroAPT-App检测模块设计了客户端-服务器检测架构，即通过API配置文件的配置，选择在Docker容器内进行检测或在宿主机环境中进行检测。

传输层协议包括TCP和UDP，流量数据包根据传输层协议的不同分为TCP流量和UDP流量。

对于TCP流量，Bro入侵检测系统首先对流量数据包进行检验和检查；然后根据流量数据包的源IP地址端口及目的IP地址端口，将流量数据包以TCP连接为单位分离；而后根据SYN/FIN/RST控制位状态，更新连接状态；连接状态包括尝试连接(connectionattempt)、连接建立(connection established)、连接拒绝(connection rejected)和连接断开(connection finished)；最后，Bro入侵检测系统将处理流量数据包中的数据确认信息(data acknowledgement)，并生成对应的事件(event)以处理流量数据包中的载荷(payload)。

对于UDP流量，Bro入侵检测系统将根据流量数据包的源IP地址端口及目的IP地址端端口，将流量数据包以UDP数据流为单位分离；而后根据流量数据包的通信方向生成UDP请求和UDP响应事件，并生成对应的事件以处理流量数据包中的载荷。

BroAPT系统还包括BroAPT-Daemon守护进程；BroAPT-Daemon守护进程为REST API服务器，在宿主机上运行。

Bro入侵检测系统采用单线程设计，因为考虑到如果为每一个网络事件的处理函数(event handler)创建一个线程，则可能最终导致事件处理函数之间的资源竞争等问题。然而，在系统正式开始运行前，其将展开Bro脚本中的域名(hostname)常量，采用异步请求的方式，通过DNS(Domain Name System，域名系统)查询得到这些域名常量所对应的IP地址。

由于系统中使用了大量的计时器，如TCP连接超时的计时器等，考虑到插入和删除操作时间复杂度都是O(log(N))的单优先级堆(single priority heap)，在元素数量较多时的性能表现较差，因此使用日历序列(calendar queue)以实现对计时器的管理。同时，由于计时器超时分布并不均匀，以及系统载荷有限，因此系统为了负载均衡，放弃了对计时器超时处理的精确性，即——限制每次处理超时计时器的数量；当系统空闲时处理计时器，而不是等待至下一流量包到达。

在Bro脚本的处理上，Bro入侵检测系统采取了类似Python语言的处理方案：将Bro脚本编译为AST(abstract syntax tree，抽象语法树)，从而在执行时按需调用。由于计时器等交互性元素的存在，脚本解释器在AST语法树之外，另有一条用于维护运行现场的执行栈。

本发明还提供了一种基于Bro的APT捕获方法，是基于权利要求1至8任意一项的基于Bro的APT监测系统，方法包括以下步骤：

步骤101、部署并配置基于Bro的APT监测系统；

步骤102、基于Bro的APT监测系统为每一个输入的PCAP文件创建一个第一子进程；在第一子进程中，Bro入侵检测系统载入用户提供的Bro脚本；

步骤103、Bro脚本和基于Bro的APT监测系统中的文件提取脚本一起，处理和分析PCAP文件，得到流量中传输的文件和Bro日志；

步骤104、完成对PCAP文件的Bro初步分析后，基于Bro的APT监测系统通过同步队列向另一组进程告知生成的Bro日志的信息；

步骤105、另一组进程负责对Bro日志的进一步分析和处理；用户使用编写的分析函数，并将分析函数添加注册到Python进程中；

步骤106、每当基于Bro的APT监测系统接收到一条Bro日志的信息，基于Bro的APT监测系统为每一个分析函数创建一个第二子进程，由第二子进程完成对Bro日志的进一步分析和处理。

本发明还提供了一基于Bro的APT追踪溯源方法，基于权利要求9的基于Bro的APT捕获方法，方法还包括以下步骤：

步骤107、基于Bro的APT监测系统将通过另一同步队列，向第三组进程告知PCAP文件的相关信息，包括文件路径和MIME类型；

步骤108、基于Bro的APT监测系统将为每一个提取得到的文件创建一个第三子进程；

步骤109、用户配置所需的API配置文件；

步骤110、第三子进程将从API配置文件中，根据待检测文件的MIME类型，选择对应的检测配置，并执行配置中的检测脚本，生成恶意文件检测日志。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于Bro的APT监测系统，其特征在于，包括宿主机、Docker容器和系统拓展；所述宿主机为网关，抓取并产生PCAP文件，并将所述PCAP文件输出给所述Docker容器；所述Docker容器包括提取模块和检测模块，对输入的所述PCAP文件进行提取和检测；所述提取模块和所述检测模块设置为Bro入侵检测系统。

2.如权利要求1所述的基于Bro的APT监测系统，其特征在于，所述Bro入侵检测系统包括libpcap内核、网络事件层和脚本解释器；在所述libpcap内核完成对流量数据包的提取和处理解析后，所述Bro入侵检测系统将所述流量数据包传递给所述网络事件层；所述网络事件层对所述流量数据包的完整性及校验和进行检查，如果是异常流量包，则所述Bro入侵检测系统将所述流量数据包抛弃并报错；如果不是异常流量包，则所述Bro入侵检测系统将所述流量数据包根据传输层协议进行分流；当所述网络事件层完成对所述流量数据包的处理后，所述脚本解释器将生成一系列的网络事件；所述网络事件被缓存在FIFO队列中并会立刻进行处理；当所述网络事件处理完毕后，所述Bro入侵检测系统将回到所述libpcap内核读入下一个所述流量数据包，进行下一次的处理。

3.如权利要求2所述的基于Bro的APT监测系统，其特征在于，所述传输层协议包括TCP和UDP，所述流量数据包根据所述传输层协议的不同分为TCP流量和UDP流量。

4.如权利要求3所述的基于Bro的APT监测系统，其特征在于，对于所述TCP流量，所述Bro入侵检测系统首先对所述流量数据包进行检验和检查；然后根据所述流量数据包的源IP地址端口及目的IP地址端口，将所述流量数据包以TCP连接为单位分离；而后根据SYN/FIN/RST控制位状态，更新连接状态；所述连接状态包括尝试连接、连接建立、连接拒绝和连接断开；最后，所述Bro入侵检测系统将处理所述流量数据包中的数据确认信息，并生成对应的事件以处理所述流量数据包中的载荷。

5.如权利要求3所述的基于Bro的APT监测系统，其特征在于，对于所述UDP流量，所述Bro入侵检测系统将根据所述流量数据包的源IP地址端口及目的IP地址端端口，将所述流量数据包以UDP数据流为单位分离；而后根据所述流量数据包的通信方向生成UDP请求和UDP响应事件，并生成对应的事件以处理所述流量数据包中的载荷。

6.如权利要求3所述的基于Bro的APT监测系统，其特征在于，还包括BroAPT-Daemon守护进程；所述BroAPT-Daemon守护进程为REST API服务器，在所述宿主机上运行。

7.如权利要求3所述的基于Bro的APT监测系统，其特征在于，采用多进程的运行逻辑架构；所述提取模块通过同步队列向所述检测模块传递所述PCAP文件的信息；每当所述检测模块从所述同步队列中获得所述PCAP文件的信息，所述检测模块对所述PCAP文件进行检查，获取所述PCAP文件的MIME类型和UID信息，并根据所述PCAP文件的所述MIME类型，所述检测模块从API配置文件中选择对应的检测API配置；最后，所述检测模块执行所述检测API配置中的检测命令，对所述PCAP文件进行恶意文件检测，并生成检测报告。

8.如权利要求3所述的基于Bro的APT监测系统，其特征在于，所述Bro入侵检测系统采用单线程设计。

9.一种基于Bro的APT捕获方法，基于权利要求1至8任意一项所述的基于Bro的APT监测系统，其特征在于，所述方法包括以下步骤：

步骤101、部署并配置所述基于Bro的APT监测系统；

步骤102、所述基于Bro的APT监测系统为每一个输入的所述PCAP文件创建一个第一子进程；在所述第一子进程中，所述Bro入侵检测系统载入用户提供的Bro脚本；

步骤103、所述Bro脚本和所述基于Bro的APT监测系统中的文件提取脚本一起，处理和分析所述PCAP文件，得到流量中传输的文件和Bro日志；

步骤104、完成对所述PCAP文件的Bro初步分析后，所述基于Bro的APT监测系统通过同步队列向另一组进程告知生成的所述Bro日志的信息；

步骤105、所述另一组进程负责对所述Bro日志的进一步分析和处理；用户使用编写的分析函数，并将所述分析函数添加注册到Python进程中；

步骤106、每当所述基于Bro的APT监测系统接收到一条所述Bro日志的信息，所述基于Bro的APT监测系统为所述每一个分析函数创建一个第二子进程，由所述第二子进程完成对所述Bro日志的进一步分析和处理。

10.一种基于Bro的APT追踪溯源方法，基于权利要求9所述的基于Bro的APT捕获方法，其特征在于，所述方法还包括以下步骤：

步骤107、所述基于Bro的APT监测系统将通过另一同步队列，向第三组进程告知所述PCAP文件的相关信息，包括文件路径和MIME类型；

步骤108、所述基于Bro的APT监测系统将为每一个提取得到的文件创建一个第三子进程；

步骤109、用户配置所需的API配置文件；

步骤110、所述第三子进程将从所述API配置文件中，根据待检测文件的MIME类型，选择对应的检测配置，并执行配置中的检测脚本，生成恶意文件检测日志。

Images