CN111294332A - 一种流量异常检测与dns信道异常检测系统及方法 - Google Patents

Abstract

本发明涉及一种流量异常检测与DNS信道异常检测系统及方法，系统包括预处理模块：用于对历史训练数据进行预处理；异常检测模块：黑名单过滤单元，用于已知的异常日志，并对过滤的异常数据及保留的正常数据各自进行相应的标注；特征提取单元，用于对异常数据集、正常数据集分别进行特征提取；威胁检测单元，用于根据需要检测的异常威胁类型，对异常数据集、正常数据集提取的特征选定不同的检测器模型组合训练并生成对应的模型，并对训练后的模型输入测试数据进行威胁检测；核查反馈模块：用于对威胁检测的结果进行核查反馈。与现有技术相比，本发明具有检测准确、灵活性强、易于调整和改进等优点。

Description

一种流量异常检测与DNS信道异常检测系统及方法

技术领域

本发明涉及计算机DNS信道异常检测技术领域，尤其是涉及一种流量异常检测与DNS信道异常检测系统及方法。

背景技术

在数据中心安全运维过程中常需要购置各类安全产品，例如TSA、EDR、防火墙等等。这些安全产品监控数据中心内外的各种类型网络流量，针对一些特征通过预设的规则进行匹配和检测，并依次产生警报，而这些产品在使用中会产生大量的威胁告警日志。

目前，这些被广泛使用的检测系统主要有以下缺点：

1)检测系统生成的大量警报是根据特定规则匹配触发的，一方面需要大量的人工精力来维护，另一方面触发规则阈值固定，容易被针对性规避，同时难以发现未知的威胁风险。在每次进行规则的升级和调整都需要进行大量的人工改动，自动化程度不够，无法自动检测网络流量异常，且时效性也较差。

2)目前的检测系统往往只监测特定的流量，例如SSH、HTTP等。而DNS作为一个广泛使用的基础协议，在监测环节中却屡屡被忽视，因此可能被用作建立通信信道的一种方式，事实上，有许多安全产品利用DNS协议进行信息的上传，以此加速传输速度(因使用了UDP)并绕过了其他防火墙的检测。

利用DNS日志中包含的域名信息，可以反映多种潜在的信息传输威胁，例如动态生成域名和数据外传。动态生成域名指的是使用域名生成算法(Domain GenerationAlgorithm，DGA)产生的随机域名。这些域名往往与恶意通信如僵尸网络控制有关。数据外传是指利用DNS报文传输特定的信息进行通信。实现数据外传的方式较多，例如使用现有的工具建立DNS隧道。另一种较为常见的方式则是使用DNS报文的域名(NAME)字段或资源数据(RDATA)字段直接传输字符串。

而传统的DNS检测方法往往只针对特定的一种威胁类型进行检测，在实际的环境中，由于数据分布不同难以全面覆盖各种类型的异常。此外，安全产品触发的警报数量巨大，且触发规则比较单一，警报之间关联性不强。运维人员的精力有限，由于数据量巨大的警报难以一一检查，在实时检测中需要有较高的处理能力；同时警报内容过于底层，运维人员难以快速判断发生的具体安全威胁事件或攻击行为，严重影响工作的效率。

综上，现有技术的流量异常检测与DNS信道异常检测面临如下挑战：1、数据量巨大，在实时检测中需要有较高的处理能力；2、生产环境日志格式和数据分布差异巨大，整体系统框架需要灵活可部署；3、实际环境中缺少准确的异常标注，模型需要具有无监督学习能力或反馈修正能力；4、算法要足够准确，产生的结果要可解释、可操作。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种流量异常检测与DNS信道异常检测系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种流量异常检测与DNS信道异常检测系统，包括：

A)预处理模块：用于对历史训练数据进行预处理。

B)异常检测模块，该模块包括：

b1、黑名单过滤单元，用于根据预先设定好的黑名单及过滤规则，过滤预处理后的数据中已知的异常日志，并对过滤的异常数据及保留的正常数据各自进行相应的标注；

b2、特征提取单元，用于对异常数据集、正常数据集分别进行特征提取；提取的特征包括通用特征、网络流量特征、DNS日志、类型特征以及资源数据特征。

b3、威胁检测单元，用于根据需要检测的异常威胁类型，对异常数据集、正常数据集提取的特征选定不同的检测器模型组合训练并生成对应的模型，并对训练后的模型输入测试数据进行威胁检测。

威胁检测单元通过串联或并联方式组合多个检测器模型对多个威胁进行检测。针对流量数据，威胁检测单元不设置专门的威胁类型，并采用串联或并联的多个无监督学习算法的检测器模型检测数据中的离群点统一检测异常。其中，针对DNS日志数据，所述威胁检测单元设置专门的威胁类型，并针对专门的威胁类型利用随机森林模型与孤立森林模型串联或并联的方式对多个威胁进行检测。优选地，采用孤立森林的威胁检测步骤设于采用随机森林的威胁检测步骤后。

威胁检测单元的检测结果通过机器学习领域的通用指标进行判断，通过调整各检测器的阈值使各通用指标达到最大表示检测结果最优，所述的通用指标包括准确率、召回率以及F1分值。

C)核查反馈模块：

c1、白名单过滤与人工调查单元，用于对威胁检测的结果进行进一步核查，并将核查结果反馈至异常检测模块，更新异常数据集、正常数据集并再次执行威胁检测步骤。白名单过滤与人工调查单元与黑名单过滤单元的名单及过滤规则相反，用于过滤掉正常的数据。

c2、聚合及可视化单元，用于对异常检测结果进行聚合、归一化，并将单一威胁关联到主机级别的威胁结果进行可视化展示与风险评分。

一种流量异常检测与DNS信道异常检测方法，具体包括以下步骤：

S1、对历史训练数据进行预处理，依据预处理后的数据通过预先设定好的黑名单及过滤规则，过滤已知的异常日志，将异常日志和正常日志分别进行不同的标注，并将异常日志视为负样本，将正常日志视为正样本。

S2、对于正样本、负样本的数据分别进行特征提取，提取后的特征分别进行相应的标注，随后将特征划分为训练集与评估集，将训练接输入模型中进行训练，针对流量数据，采用编码器-解码器网络模型进行训练，针对DNS日志数据，利用随机森林模型与孤立森林模型串联或并联的方式进行模型训练。

S3、被检测的实时DNS日志作为测试数据输入训练后的模型进行异常检测，模型输出的检测结果通过白名单及其过滤规则进行再一次过滤，过滤的数据经过人工调查后反馈至威胁检测单元。

S4、威胁检测单元对反馈的结果进行判断，对于正样本，若反馈结果是漏报的正常样本，则增加其至原始正样本中，同时修正原来的标注，若反馈结果是是误报样本，则将其增加其至原始负样本中，同时修正原来的标注；对于负样本，若反馈结果是漏报的异常样本，则增加其至原始负样本中，同时修正原来的标注，若反馈结果是是误报样本，则将其增加其至原始正样本中，同时修正原来的标注。

S5、将反馈结果调整后，继续进行样本特征提取、模型训练、异常检测及白名单过滤和人工调查过程，直至不再出现误报样本和漏报样本为止。

S6、通过聚合及可视化单元对多种不同威胁的检测结果进行进一步聚合和可视化操作，进而对主机失陷的可能性进行检测，并展示主机实体的风险评分。

与现有技术相比，本发明具有以下有益效果：

1)本发明设计了一个灵活性强、易于调整和改进的模块化检测系统，该系统设有预处理模块、异常检测模块和核查反馈模块，异常检测模块可针对流量数据、DNS日志数据建立相应的具有监督学习能力的模型进行检测，检测结果通过反馈流程，在多次迭代后能够显著提升算法模型的准确性，使得算法能更好地适应数据的变化，进而能够将本系统更加容易且快速地部署到不同场景或环境中，能够自动对流量异常和DNS日志的异常进行全面检测，以发现其中可能存在的各种类型恶意通信威胁；

2)在威胁检测步骤中，本发明将一个单独的分类器算法模型称为检测器，每一个检测器对应检测目标中的一条或多条异常类型，通过串联或并联等方式组合在一起，可对日志流量中的多种威胁提供检测，解决了由于数据量巨大的警报难以一一检查的问题，且提高了检测效率；

3)本发明的威胁检测模块针对DNS日志，主要针对动态生成域名、数据外传和数据劫持进行检测，使用的算法模型包含随机森林和孤立森林，具有监督学习能力；

4)核查反馈模块能够利用白名单过滤与人工调查功能将核查处理的数据反馈至威胁检测单元，以进一步对正常样本和异常样本进行整理，具有反馈修正能力，通过反馈流程，整体上有效利用了人工查验的结果，在多次迭代后能够显著提升算法模型的准确性，使得算法能更好地适应数据的变化；

5)黑名单过滤单元将其过滤的异常数据进行标注，并将其视为负样本，将保留的正常数据视为正样本，并同样进行标注，对于核查反馈模块获取的误报样本和漏报样本重新进行调整，并相应地修改其标注，可提高标注的准确性，减少由于标注错误和缺失带来的影响，进而大大减少了运维人员和安全工程师确认和处理警报信息需要的工作；

6)本发明针对大量数据首先进行预处理，预处理后的提取了多个特征，结合多特征检测，具有更准确的检测率，降低单一特征的误报率；

7)本发明所使用的训练模型的算法收敛速度快；

8)本发明利用多种模型对不同种类威胁进行独立检测，这些检测结果可以通过聚合及可视化单元进行进一步聚合和可视化操作，将单一的、底层的异常威胁聚合为主机级别的威胁情报，通过各检测结果对可能存在的失陷主机进行检测，并通过常用的可视化等方式展示主机实体的风险评分，使最终结果易于理解并方便运维人员进行对应处理。

附图说明

图1为本发明流量异常检测与DNS信道异常检测系统的结构示意图；

图2为本发明实施例中编码器-解码器网络的结构示意图；

图3为本发明实施例中针对DNS日志的一种威胁检测模型组合实现样例示意图；

图4为本发明实施例中检测器组合方式的实现样例示意图；

图5为本发明流量异常检测与DNS信道异常检测方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，本发明涉及一种流量异常检测与DNS信道异常检测系统，包括预处理模块、异常检测模块和核查反馈模块。

预处理模块用于对历史训练数据(历史流量数据和历史DNS日志数据)进行初步预处理，提取基本信息，包括：

1、时间戳；

2、源IP地址，端口号；

3、目的IP地址，端口号；

4、记录类型；

5、记录设备。

异常检测模块将预处理后的数据进行特征提取以及威胁检测。异常检测模块包括依次设置的黑名单过滤单元、特征提取单元和威胁检测单元。具体操作为：

一、黑名单过滤及特征提取

首先，黑名单过滤单元根据预先设定好的黑名单及过滤规则，过滤已知的异常日志。黑名单的规则包括包长度、频率和特定关键字等由运维人员设置的安全规则，过滤的主要数据是可以被现有方法简单检测出的异常数据，这样可以快速获取一定的异常样本，并且避免对已知异常的重复检测，以提高整体框架的效率。

黑名单过滤单元将其过滤的异常数据进行标注，并将其视为负样本。将保留的正常数据视为正样本，并同样进行标注。在黑名单过滤完毕之后，特征提取单元对正样本、负样本分别进行特征提取，对不同的字段，提取不同的特征，包括表1所示的特征(根据实际使用的安全产品及检测目标，可以进一步确定更多的特征)：

表1提取特征表

二、威胁检测

之后，威胁检测单元根据需要检测的异常威胁类型，选定威胁检测中的不同的模型组合来训练并生成对应的模型。数据积累到一定程度后，模型训练会趋于稳定，此时可以使用已训练好的模型框架进行在线检测。本框架中使用的深度学习算法，在通常实验情况下日志数据量在一百万条左右即可达到收敛。使用的传统算法(随机森林与孤立森林)可以在更小的数据量达到收敛，通常为十万条左右。

在威胁检测步骤中，一个单独的分类器算法模型称为检测器。每一个检测器对应检测目标中的一条或多条异常类型，通过串联或并联等方式组合在一起，对日志流量中的多种威胁提供检测。

针对流量数据，不设置专门的威胁类型，使用无监督学习算法检测数据中的离群点来统一检测异常，使用编码器-解码器网络(Encoder-Decoder Network)进行检测。编码器-解码器网络属于深度学习模型，是一种适用于序列到序列问题的递归神经网络结构，如图2所示。该模型通过编码(encode)、解码(decode)过程，基于重建误差作为异常检测的指标。对于有大量历史数据且其中大部分为正常样本的情况下有较好的效果。该算法使用一定时间窗口的流量特征的统计数据进行训练，连续时间窗口的特征作为一条序列进行输入。同时，针对单一网络报文日志，对整条数据字符串也进行训练，对字符串进行分词后作为一条序列输入。编码器-解码器网络通过深度学习方式挖掘数据序列中隐藏的特点，并以此检测数据中偏差较大的离群点数据。选取测试数据输入训练后的编码器-解码器网络模型获取流量数据的异常检测结果，异常检测结果包括正样本数据和/或负样本数据。

针对DNS日志，主要针对动态生成域名、数据外传和数据劫持进行检测，使用的算法模型包含：随机森林(Random Forest)和孤立森林(Isolation Forest)。这两种算法是被广泛使用的、经典的机器学习算法，其中随机森林属于有监督学习算法，对已知类型的威胁检测有较好的效果。孤立森林则属于无监督学习算法，在整体设计框架中负责对有监督检测的结果进行查漏补缺，发现未知类型的威胁。随机森林与孤立森林先后设置。

这两种算法均使用特征提取部分中产生的特征，使用历史数据划分训练集与测试集，并通过主成分分析等方式选择其中重要的特征进行训练，最终得到模型参数。在异常检测阶段，被检测的实时DNS日志作为测试集直接输入训练后的多个检测器，获取DNS日志的异常检测结果，最终的检测结果中，动态生成域名、数据外传和数据劫持由不同的已训练完成的检测器进行检测，分别输出结果，包括正样本数据和/或负样本数据。

以上提及的所有算法，按照不同的检测目标，分别作为独立的检测器进行训练。最终所有的检测器通过一定方式(如串联或并联方式)组合在一起进行异常检测。图3是针对DNS日志的一种威胁检测模型组合实现样例。在该实现方案中，使用了四个检测器串联实现，包括：a、数据外传检测，使用随机森林算法；b、动态生成域名检测，使用随机森林算法；c、离群点检测，使用孤立森林算法；d、DNS劫持检测，使用图以及规则匹配。以上仅是一种可能的实现方式。在实际使用当中，根据需要检测的威胁种类和数据分布情况，可以调整不同的实现方式，以达到最好的检测结果，需注意的是，应当将使用孤立森林的威胁检测步骤置于使用随机森林的威胁检测的步骤后。检测结果的好坏评价通过机器学习领域的通用指标：准确率、召回率以及F1分值进行判断，通过调整各检测器的阈值使得这些指标尽可能达到最大。图4是两种基础的检测器工作流程，左侧为将多个检测器依次串联，该方案时间开销大但节省算力；右侧为将多个检测器采用并联方式，该方案时间开销小但需要更多的计算资源。

三、核查反馈

核查反馈模块对异常检测模块的检测记过进行进一步的核查及反馈处理。

影响异常检测的一项重要因素是标注数据的获取，尤其是有监督机器学习方法，及其依赖于标注数据的质量。在实际的生成环节中，威胁检测训练集的标记获取非常困难，不但耗时耗力，而且由于威胁的多样性和多变性，难免会出现标注不准确和缺失的情况。

另一方面，由于威胁检测的性质，产生的警报信息需要运维人员和安全工程师确认和处理。因此，为减少由于标注错误和缺失带来的影响，本发明在整个检测框架中引入了核查反馈模块，核查反馈模块是核查并进行反馈的机制，核查反馈模块包括白名单过滤与人工调查单元和聚合及可视化单元。

白名单过滤单元与人工调查单元与黑名单过滤单元的名单及过滤规则相反。过滤后的日志数据人工核查，并通过聚合及可视化单元进行显示。若获取的日志全部正常，则直接输出检测结果，若出现异常日志，则聚合及可视化单元将核查的异常日志结果反馈至威胁检测单元，威胁检测单元将原训练数据进行增量修改，并增加发现的漏报样本至原始正样本，误报样本至原始负样本，同时修正可能存在的错误标注。聚合及可视化单元将各个检测器的异常检测结果进行聚合、归一化，并将单一威胁关联到主机级别的威胁结果进行可视化展示与风险评分。

利用本发明的系统检测流量异常和DNS信道异常的基本流程如图5所示：

当需要对流量和DNS信道进行检测分析时，首先对历史训练数据，即历史流量数据和历史DNS日志数据进行预处理，处理后的数据利用预先设定好的黑名单及过滤规则，过滤已知的异常日志，并将异常日志和正常日志分别进行标注，例如将异常日志标注为0，并将其视为负样本，将正常日志标注为1，并将其视为正样本。

对于正样本的数据直接进行特征提取，进行标注后输入模型中进行训练，并利用检测器进行检测，检测器的检测结果通过白名单及其过滤规则进行再一次过滤，对于过滤的数据通过人工调查，调查得到的异常数据反馈至威胁检测单元，威胁检测单元将这些样本进行判断，若是漏报的正常样本则增加其至原始正样本中，同时修正原来的标注。若是误报的异常样本则将其增加其至原始负样本中，同时修正原来的标注。

对于负样本的数据直接进行特征提取，进行标注后输入模型中进行训练，并利用检测器进行检测，检测器的检测结果通过白名单及其过滤规则进行再一次过滤，对于过滤的数据通过人工调查，调查得到的异常数据反馈至威胁检测单元，威胁检测单元对这些样本进行判断，若是漏报的异常样本则增加其至原始负样本中，同时修正原来的标注。若是误报的正常样本则将其增加其至原始正样本中，同时修正原来的标注。

将反馈结果调整后，继续进行样本特征提取、模型训练、异常检测及白名单过滤和人工调查，直到不出现误报样本和漏报样本为止。

可通过聚合及可视化单元对多种不同威胁的检测结果进行进一步聚合和可视化操作，进而对主机失陷的可能性进行检测，并展示主机实体的风险评分。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种流量异常检测与DNS信道异常检测系统，其特征在于，包括：

预处理模块：用于对历史训练数据进行预处理；

异常检测模块：

黑名单过滤单元，用于根据预先设定好的黑名单及过滤规则，过滤预处理后的数据中已知的异常日志，并对过滤的异常数据及保留的正常数据各自进行相应的标注；

特征提取单元，用于对异常数据集、正常数据集分别进行特征提取；

威胁检测单元，用于根据需要检测的异常威胁类型，对异常数据集、正常数据集提取的特征选定不同的检测器模型组合训练并生成对应的模型，并对训练后的模型输入测试数据进行威胁检测；

核查反馈模块：

白名单过滤与人工调查单元，用于对威胁检测的结果进行进一步核查，并将核查结果反馈至异常检测模块，更新异常数据集、正常数据集并再次执行威胁检测步骤；

聚合及可视化单元，用于对异常检测结果进行聚合、归一化，并将单一威胁关联到主机级别的威胁结果进行可视化展示与风险评分。

2.根据权利要求1所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，特征提取单元提取的特征包括通用特征、网络流量特征、DNS日志、类型特征以及资源数据特征。

3.根据权利要求1所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，所述的白名单过滤与人工调查单元与黑名单过滤单元的名单及过滤规则相反，用于过滤掉正常的数据。

4.根据权利要求1所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，所述的威胁检测单元通过串联或并联方式组合多个检测器模型对多个威胁进行检测。

5.根据权利要求4所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，针对流量数据，所述的威胁检测单元不设置专门的威胁类型，所述的威胁检测单元采用串联或并联的多个无监督学习算法的检测器模型检测数据中的离群点统一检测异常。

6.根据权利要求5所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，针对流量数据，所述的威胁检测单元采用的无监督学习算法的检测器模型为编码器-解码器网络模型。

7.根据权利要求4所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，针对DNS日志数据，所述的威胁检测单元设置专门的威胁类型，并针对专门的威胁类型利用随机森林模型与孤立森林模型串联或并联的方式对多个威胁进行检测，采用孤立森林的威胁检测步骤设于采用随机森林的威胁检测步骤后。

8.根据权利要求6或7所述的一种流量异常检测与DNS信道异常检测系统，其特征在于，威胁检测单元的检测结果通过机器学习领域的通用指标进行判断，通过调整各检测器的阈值使各通用指标达到最大表示检测结果最优，所述的通用指标包括准确率、召回率以及F1分值。

9.一种应用如权利要求1～8任一项所述的流量异常检测与DNS信道异常检测系统的检测方法，其特征在于，该方法包括如下步骤：

1)对历史训练数据进行预处理，依据预处理后的数据通过预先设定好的黑名单及过滤规则，过滤已知的异常日志，将异常日志和正常日志分别进行不同的标注，并将异常日志视为负样本，将正常日志视为正样本；

2)对于正样本、负样本的数据分别进行特征提取，提取后的特征分别进行相应的标注，随后将特征划分为训练集与评估集，将训练接输入模型中进行训练，针对流量数据，采用编码器-解码器网络模型进行训练，针对DNS日志数据，利用随机森林模型与孤立森林模型串联或并联的方式进行模型训练；

3)将被检测的实时DNS日志作为测试数据输入训练后的模型进行异常检测，模型输出的检测结果通过白名单及其过滤规则进行再一次过滤，过滤的数据经过人工调查后反馈至威胁检测单元；

4)威胁检测单元对反馈的结果进行判断，对于正样本，若反馈结果是漏报的正常样本，则增加其至原始正样本中，同时修正原来的标注，若反馈结果是是误报样本，则将其增加其至原始负样本中，同时修正原来的标注；对于负样本，若反馈结果是漏报的异常样本，则增加其至原始负样本中，同时修正原来的标注，若反馈结果是是误报样本，则将其增加其至原始正样本中，同时修正原来的标注；

5)将反馈结果调整后，继续进行样本特征提取、模型训练、异常检测及白名单过滤和人工调查过程，直至不再出现误报样本和漏报样本为止；

6)通过聚合及可视化单元对多种不同威胁的检测结果进行进一步聚合和可视化操作，进而对主机失陷的可能性进行检测，并展示主机实体的风险评分。

Images