CN105024877A - 一种基于网络行为分析的Hadoop恶意节点检测系统 - Google Patents

Abstract

本发明针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统。该系统包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储。

Description

一种基于网络行为分析的Hadoop恶意节点检测系统

技术领域

本发明涉及网络行为领域，具体涉及一种基于网络行为分析的Hadoop恶意节点检测系统。

背景技术

基于网络行为的恶意分析，首先在集群中建立监控模块，对每个节点的行为进行监控，同时设定监控中心负责记录这些节点的关键行为，并且利用这些行为训练评估模型，通过不断迭代训练，保持一个良好的评估模型实时评估集群内节点的状态。在集群中，如若某个节点遭到了攻击，运行了恶意程序，那么就会产生大量与其他节点不同的行为，这是判定的核心条件。

目前基于网络行为分析的恶意程序监测技术已经有不少阶段性成果，例如NICTER系统、TrumanBox系统、AMCAS系统等。这些系统主要思路几乎都是根据网络分析，构建虚拟网络来触发恶意程序，由此定位恶意程序，然而在针对hadoop内部恶意节点的检测研究比较少，当前服务较为完善的安全保证框架主要有SecureMR，VIFA等，但是都有一定局限性。

1)SecureMR：Secure MapReduce，是针对MapReduce计算模型中映射、化简工作进行增强改进的框架，增加了Secure Committer、Secure Verifier模块,并设计实现了这些模块的通信协议,能够保证非共谋的工作节点计算结果的正确性和映射、化简节点的安全性,但是对一组共谋恶意节点的恶意行为该框架无法有效地检测。

2)VIFA:Verification-based Integrity Assurance Framework.一种基于验证的服务完整性保证框架,在云计算中引入高安全级别、可信的验证工作节点,并假设化简工作节点是可信的,对映射工作节点的计算结果进行iH确性验证,而且对所有任务都进行复制执行,引入“信誉值”的计算模型,能够有效检测非共谋、共谋的恶意节点,但每一份映射任务都分配给两个工作节点进行重复计算,会严重影响云计算系统的任务处理性能；验证节点是成本很高的计算资源,应该更合理、高效地使用,VIAF中是根据概率统计结果对工作节点的计算结果进行验证,没有引入缓存机制对热门任务缓存,会造成验证节点的资源浪费。

异常网络行为：计算机在不同网络层有不同的协议与行为，恶意程序常常大量产生或规律产生某种类型的网络行为，我们称这些网络行为为异常的网络行为。

恶意节点：集群环境中，存在大量的工作节点，正常情况下工作节点只会响应控制中心的任务派遣，但是如果遭到恶意程序攻击，某些节点就会产生独立的恶意行为，我们称这些节点为恶意节点。

监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习，是一种利用已知的运行数据来进行训练的过程。

异常评估：根据监督学习训练获取的模型，结合当前实时运行状态，对当前节点运行情况进行风险评估。

目前该领域的技术缺少对集群内节点本身任务的综合考虑，对于一部分hadoop节点，如果执行共同的任务，那么行为会极其相似，但是如果执行的不是同类任务，那么出现较大差异也是可以接受的，因此在对节点进行恶意行为分析的时候必须考虑到该节点当前执行的任务，即可以从系统日志入手，结合网络行为共同分析。

发明内容

本发明针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统，实现一种利用对网络行为的分析技术以及机器学习中的监督学习方法来对集群内部节点进行异常检测的系统。

本发明通过以下技术方案进行实现：

一种基于网络行为分析的Hadoop恶意节点检测系统，包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；

网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；

节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；

节点负载分析模块用于监控分析各个节点实时负载情况；

恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测。

进一步地，所述的实时负载情况包括CPU、内存的信息。

本发明的有益效果：

本发明针对Hadoop节点中的恶意节点检测，整个系统利用到了常用的基于主机的监控检测技术来监控节点网络行为、负载状况判断可疑节点的单节点运行状态，同时利用机器学习的方法，训练模型来评估整个集群内部的网络交互行为，通过二者结合，综合判断集群内部节点运行状态。

附图说明

图1为具体实施方式中单棵决策树建树过程图；

图2为具体实施方式中预测过程流程图。

具体实施方式

本发明的基于网络行为分析的Hadoop恶意节点检测系统具体如下实现：

(1)网络行为监控模块

网络行为在不同网络层有不同行为表示，恶意程序常常大量产生如下协议中的一种或多种网络请求，如：DNS、ICMP、HTTP、FTP、SMTP等。本发明同时监控如下几个关键协议的网络行为：

ICMP是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这种类型的行为通常目的之一是大量请求数据包，耗尽服务器资源，目的之二是可能根据ICMP包的特殊性构建与远端恶意程序的通信，因为ICMP能够轻易穿透防火墙，因此很难发现。

HTTP请求的恶意行为简单而直接，大都是通过http方式请求其他恶意程序或页面，达到一个跳板作用，而他本身并不直接具有攻击型，因此能够躲避大部分静态动态分析，但是基于网络行为的监控则可以轻易地判断出来此类攻击。

FTP方式是另一种常用的下载、上传恶意程序和数据的方式，实现过程与http相仿，大都是通过下载的恶意程序或脚本来执行恶意代码，也可以将窃取的数据上传至指定服务器。

SMTP协议是一种邮件协议，常被恶意程序利用来进行资料发送，由于它使用第三方服务方的服务，而且几乎都对数据进行加密，因此也是极难防范的。

Telnet是一种远程控制命令，恶意程序可以通过该命令远程控制计算机，并且该协议是明文通信，如果被恶意使用将会造成严重后果。

该模块为基础模块之一，检测到上述协议行为后统一发送至分析主机进行分析，包括训练与实时监测。

(2)节点日志分析模块

Hadoop的工作节点对于每一项服务都有独立的日志，比如MapReduce的日志其中有包括了JobTracker日志与TaskTracker日志。在每个节点上的监控模块将会提取这些日志，根据日志中的记录来判断该节点正在执行的任务分类，然后根据不同任务分类将该节点的网络行为、负载等信息反馈至分析主机。对于节点日志的分析能够判断当前节点正在执行的任务，帮助我们将节点分类。

(3)节点负载分析模块

对于每个节点，我们监控cpu、内存占用率以及网络负载情况，对于hadoop的节点来说，不同的任务会有不同的负载情况，正常情况下，一个作业会基本平均的切分到多个节点进行作业，节点的负载应该大致相同，因此根据对节点日志的分析结果，如果某个节点的负载大大超出了执行相同任务节点的负载，那么该节点很可能出现了以外的情况，这些意外情况有可能是良性的，也有可能是恶意行为，因此对于节点负载的监控能快速直观反映出一个节点的健康状况。由于集群内部网络行为复杂而且数据量较大，并不能做到实时对所有节点都同时进行分析评估，因此，对于节点负载的监控能在一定程度上为网络行为的分析评估提供一个优先级顺序，对于健康度较低的节点优先对其网络行为进行评估检测。

(4)恶意检测模块

本发明采用机器学习的方法来对恶意节点进行分析检测，对一个节点的状态分析，归根究底是一个二分类问题，则可以利用监督学习的方法来对集群中的节点进行统一分析。目前通过不同环境的测试，采用效果最好的随机森林算法进行建模。同时，在初次训练建模的时候，需要利用外部工具对集群随机节点进行模拟攻击，由此产生异常数据供系统初次训练。

a)Feature选取

选取特征样本的核心思路是不同时间段内各种监控范围内协议的数据包数量与目标IP，例如：[icmp，3s，12，10.4.16.102]这样一个四元组代表icmp包从该节点前3秒内发送到10.4.16.102这台计算机一共发送了12次，同时节点还会根据设定时间段向分析机发送节点负载相关的特征数据：[task1，46％，28％，321.5KB]这个四元组分别代表了当前节点执行任务编号、cpu时间段内平均值、内存时间段内平均值、网络带宽。考虑到集群内数据包数量庞大同时为了反映不同时间段的情况，在本专利中设定3秒，10秒，60秒三个时间段共同进行取样，既可以反映出瞬时的服务器状态，又能反映出一个较长时间的服务器任务动向。

对每一个监控协议的数据包进行如上取样，最终在分析机上形成一个大型的网络行为库，该行为库一是作为目前节点状态的判定标准，同时也会成为下一阶段训练的样本数据，为下一步训练提供数据基础。

b)训练过程

由于本专利针对的问题是离散数据的分类问题，所以采用CART决策树进行训练，起训练过程总结如下：

(1)给定训练集S，特征维数F。确定参数：森林中CART树棵树t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m；

对于第1-t棵树，i＝1-t：

(2)从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例。然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点。

(4)重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点。

(5)重复(2),(3),(4)直到所有CART都被训练过。

在上述过程(3)中，利用Gini值来进行最优的特征分类，定义为Gini＝1-∑(P(i)*P(i)),P(i)为当前节点上数据集中第i类样本的比例。例如：分为2类，当前节点上有100个样本，属于第一类的样本有70个，属于第二类的样本有30个，则Gini＝1-0.7×07-0.3×03＝0.42，可以看出，类别分布越平均，Gini值越大，类分布越不均匀，Gini值越小。在寻找最佳的分类特征和阈值时，评判标准为：argmax(Gini-GiniLeft-GiniRight)，即寻找最佳的特征f和阈值th，使得当前节点的Gini值减去左子节点的Gini和右子节点的Gini值最大。

c)评估过程

在实时评估的过程中，实际上是使用训练出的随机森林模型进行预测，本专利在此设定一个风险标准x，即可以指定检验的拟合程度，x设定值在(0,1)区间内，值越高，系统检测越严格，同时误报率也会增高，漏报率减少；值越低，检测将会越宽容，相对误报率减少，但是漏报率会相应上升。

预测过程可以总结如下：

对于第1-t棵树，i＝1-t：

(1)从当前树的根节点开始，根据当前节点的阈值th，判断是进入左节点(<th)还是进入右节点(>＝th)，直到到达，某个叶子节点，并输出预测值。

(2)重复执行(1)直到所有t棵树都输出了预测值。对所有树的预测值进行统计，由于本专利针对的是二分类问题，即[恶意，正常]，如果对应一个节点的样本，P(恶意)/(P(恶意)+P(恶正常))>＝x，则判定该节点行为异常。

d)模型更新

在根据学习算法训练出模型之后，理论上来讲已经可以直接利用模型对节点的网络行为进行实时的预测也就是评估了，但是鉴于有可能遇到训练不充分的情况，在这里设立一个不定时更新模型参数的机制，一旦所分析的数据超过一定限度，就对原有模型进行二次训练，相当于扩大了一次训练集的效果，使得模型逐渐完善。本专利中设定一个阈值，当森林中每棵树预测次数大于该阈值的情况下，将会重新训练整个森林，以满足集群运行时产生的不可避免的环境变化。

Claims (6)

1.一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；其中：

网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；

节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；

节点负载分析模块用于监控分析各个节点实时负载情况；

恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测。

2.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的恶意检测模块采用机器学习的方法来对恶意节点进行分析检测。

3.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的恶意检测模块通过以下方法进行训练恶意检测模型：

步骤一、Feature选取：选取不同时间段内各种监控范围内协议的数据包数量与目标IP，对每一个监控协议的数据包进行取样，最终在分析机上形成一个大型的网络行为库，该行为库作为目前节点状态的判定标准，同时作为下一阶段训练的样本数据；

步骤二、训练过程：采用CART决策树的方法进行训练；

步骤三、评估过程：设定一个风险标准x，即可以指定检验的拟合程度，x设定值在(0,1)区间内，值越高，系统检测越严格，同时误报率也会增高，漏报率减少；值越低，检测将会越宽容，相对误报率减少，但是漏报率会相应上升；

步骤四、模型更新：设定一个阈值，当森林中每棵树预测次数大于该阈值的情况下，将会重新训练整个森林，以满足集群运行时产生的不可避免的环境变化。

4.如权利要求3所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的训练包括以下步骤：

(1)给定训练集S，特征维数F；确定参数：森林中CART树棵树t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m；

对于第1-t棵树，i＝1-t：

(2)从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例，然后继续训练其他节点；如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征，利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点，继续训练其他节点；

(4)重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点；

(5)重复(2),(3),(4)直到所有CART都被训练过。

5.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的网络行为监控模块同时监控如下几个关键协议的网络行为：

ICMP，用于在IP主机、路由器之间传递控制消息；

HTTP；

FTP，常用的下载、上传恶意程序和数据的方式，通过下载的恶意程序或脚本来执行恶意代码，或将窃取的数据上传至指定服务器；

SMTP，被恶意程序利用来进行资料发送；

Telnet，恶意程序通过该命令远程控制计算机。

6.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的实时负载情况包括CPU、内存的信息。