CN108833360A - 一种基于机器学习的恶意加密流量识别技术 - Google Patents

Abstract

本发明是一种基于机器学习的流量识别技术，识别的对象是经过加密的恶意流量，本技术主要应用于流量识别领域，也可以辅助应用于网络攻击检测领域。本技术的技术核心是利用机器学习算法建立恶意加密流量识别模型，再通过模型去识别新流量。该技术的工作流程为读取大量已知属性流量数据，提取流量的统计性特征，将特征作为属性，使用随机森林算法建立模型，最后使用模型去识别新输入的流量。新输入流量的识别流程为提取流量统计性特征，输入模型进行识别，得出识别结果。本技术主要针对于加密和编码的流量，参与建模的数据全部由正常加密流量和恶意加密流量组成，这是因为如今非加密流量的识别技术已经很成熟，而对加密或编码流量的识别却十分困难，本技术为加密流量的识别提供了新的解决方法。

Description

一种基于机器学习的恶意加密流量识别技术

技术领域

本发明涉及加密流量识别领域与流量统计性特征建模领域，主要核心是采集大量流量数据样本的统计性特征，利用数据建立机器学习模型，并使用构建的模型识别恶意加密流量。

技术背景

目前大部分传统的流量识别技术主要依靠于特征匹配实现，广泛用于明文流量识别。但是，由于加密或编码后的恶意流量，其相关的特征无法被直接提取，所以无法直接使用匹配特征技术检测识别出经过加密的恶意流量。传统的流量识别技术提取特征的前提是对加密流量进行解密，但是这涉及到隐私侵犯的问题，恶意流量的加密是为了逃过以特征匹配技术为核心的流量识别技术，而正常流量的加密往往是为了保护用户的隐私。因此，对加密的正常流量和恶意流量一视同仁是难以容忍的，解密恶意的流量是对恶意攻击的检测，但解密正常流量可能就是侵犯用户的隐私。如果使用以特征匹配为核心的流量识别技术，想要识别一个加密流量是否是恶意流量，就必须先对加密流量进行解密，而一旦对正常流量进行解密，就可能侵犯用户隐私，所以解密前必须知道其是否属于恶意流量，这就陷入了一个死循环：解密是为了识别，而解密的前提却是识别。

因此，在不侵犯用户隐私的情况下，采用传统的特征匹配难以识别恶意加密流量。特征匹配的实现通常是通过唯一性特征或特殊特征建立恶意流量模型，一旦新输入的流量与模型中的特征匹配，就被识别为恶意流量。这种技术有两个明显的缺陷。

一、无法对处理过的流量进行识别，如加密、编码。因为一旦流量进行处理，就无法通过正常途径提取出需要匹配的特征，无法进行匹配。

二、无法对未知类型的恶意流量进行识别。因为新型的恶意流量不会被设定好的模型匹配，所以会被视为“正常流量”。

目前，越来越多的攻击采用加密的方式去躲避依靠流量识别的攻击检测技术，而且越严重的攻击越难以被识别。这样的现状严重威胁着人们网络生活的安全以及国家网络系统的安全，当传统的特征匹配无法再提供稳定和准确的恶意流量识别，网络系统急需一种能够在不需解密加密流量的情况下，检测识别恶意加密流量的方法。

发明内容

“一种基于机器学习的恶意加密流量识别技术”是为了解决在不解密加密流量的条件下去识别恶意流量而提出的发明。发明的目标是在不侵犯用户隐私的前提下，对采集的流量进行识别，解析出其中隐藏的恶意加密流量。

本发明创新性地用统计性特征结合机器学习去替代传统的特征匹配。特征匹配无法识别加密流量的问题在于两点：无法提取特征、无法进行匹配，而在本发明中，统计性特征解决了提取特征的问题，机器学习解决了进行匹配的问题。传统的特征匹配无法提取特征的根本原因在于相关特征被加密，所以在不解密的情况下难以提取，而统计性特征却不受加密影响，依旧可以被提取，比如数据流中最大数据包包长、平均数据包时间间隔等等，这些统计性的特征不会受到加密的影响而无法提取，因为“加密”的对象针对的是数据流内部的明文信息，对于时间、包长等外在特征没有影响。本发明还使用机器学习建模的方法替代传统的特征匹配方法，由于传统的特征匹配方法有着非一即零的缺陷，其容易错判、漏判，而机器学习建立模型的识别方法在于预测，拥有更高的合理性与可信度。

为了实现这种加密流量识别技术，本发明选择了32种统计性特征作为流量识别特征，并采用随机森林作为机器学习算法。技术框架包含了数据采集，特征提取，建模数据备份，机器学习建模，流量样本识别这五个模块。数据采集的对象是加密恶意流量与加密正常流量，只采集加密流量是为了降低非加密流量对模型针对性的影响，因为非加密流量的识别已经很成熟。本发明最终实现了一种技术，提取数据样本中统计性特征，建立随机森林模型，在模型评估优秀的前提下进行恶意加密流量识别，拥有着极高的识别率以及极低的误报率和漏报率。

附图说明

从下面结合附图的详细描述，可以更加清楚地理解本发明的目标、实现方法、优点以及特性，其中。

图1是发明的技术流程框架。

图2是数据采集层的工作流程。

图3统计性特征层特征提取流程。

图4是所需提取的32种统计性特征列举。

图5是机器学习建模层详细过程图。

图6是模型识别层的详细流程图。

具体实施方式

本发明主要用于恶意加密流量识别，识别的恶意流量来源包括恶意攻击软件，扫描软件，钓鱼网站，木马病毒，恶意挖矿机等，由于建模采用的数据是流量的统计性特征，因此模型根据数据样本，可以掌握恶意加密流量的统计学规律，不仅能够识别已知的恶意加密流量，也能对未知的新型恶意流量进行识别。

下面结合附图对发明的技术框架进行说明。

图1 发明的技术流程框架

图1是本发明的技术框架图，采用分层模型框架。每一层都具有不同的功能，且每一层的输入都来源于上一层的输出。底部的数据样本采集层的输入为原始的正常流样本和恶意流样本，统计性特征提取层的输入为已经筛选且整理好的数据流样本，建模数据备份层的输入是已经提取完的统计性特征集，机器学习建模层的输入是可以直接用以建模的数据（统计性特征集），模型识别层的输入已经完成建模的模型。下面对每一层做详细说明。

图2 数据采集层的工作流程

根据图2所示，由于数据样本的质量对于建模质量的影响十分高，因此在提取统计性特征之前，将会对数据样本进行一次筛选，剔除掉一些质量低且对建模意义不大的数据，提取其中优秀的数据作为建模样本。其中判断为优质数据流的条件如下。

一、数据流总数据包数在20到1000之间。

二、数据流中携带着信息。

三、数据流是一个完整的双向流，而不是单向流。

数据流的数据包总数限制可以剔除掉一些过大或过小的数据流，这些数据流的建模意义不大，只会对建模带来不必要的负担。数据流中携带信息是为了剔除掉一些单纯的握手协议，而双向流的要求是为了确保数据流的完整性，确保源IP与目的IP之间有交互性。在对采集的数据进行筛选后，将最终优秀的数据流样本分别存储，这是因为随机森林是有监督的机器学习算法，区分存储可以方便对数据进行打标签。

在最后的模型识别中，参与建模的恶意流量样本和正常流量样本的比例影响到误报率和漏报率。误报率是指将正常流量误报为恶意流量的概率，而漏报率指的是将恶意流量识别为正常流量的概率。对于实际网络环境来说，误报率是比漏报率更加难以容忍的，因为将正常流量误报成恶意流量从而阻挡正常流的运行，很可能造成网络阻塞，正常服务无法运行。因此综合实际情况考虑，本发明采用的恶意流、正常流比例为1:5。

在数据样本准备就绪后，进行数据流统计性特征的提取，图3显示了统计性特征提取层的详细流程。

图3 统计性特征层特征提取流程

本发明提取的特征一共有32种，图4是对所需提取的统计性特征的列举。

图4 所需提取的32种统计性特征列举

在表中有28种特征为传输层统计性特征，主要与数量、长度和时间这三大类相关。由于异常流量往往伴随着加密和编码等处理手段，隐藏了包长和时间等有效信息，因此仅靠这28种传输层统计性特征依旧不足以分类恶意加密流量，所以本发明选用了4种应用层统计性特征，以下是对着4种特征的介绍与提取方法。

一、比特值分布（Bit_Positions_Meter）。由于前几个数据包中往往储存着与应用层协议相关的字节序列，所以统计非0值的偏移量作为判断依据。提取方法为载荷部分，一个数据包的前16个字节（128位），把值为1的位数相加。取一个流的前八个数据包，做平均数。

二、比特值频率比（Bit_Value_Meter）。根据数据包载荷中的0,1值分布情况，可以判断应用层协议是否加密，如BT流量的MSE协议。提取方法为载荷部分，一个数据包的前32个字节，统计这32个字节在0-7这八个位数上0出现的个数，计算概率，最后计算期望值。取前5个数据包的平均数。

三、字节比较值（Byte_Equality_Meter）。统计数据流中同方向下数据包载荷信息变化规律，提取方法为载荷部分，在前4个数据包中，每个数据包前32字节与前一个同方向的包的同位置字节进行比较，相同记为1，不同记为0，最后32位2进制转为10进制后除以10的八次方。

四、字符频数统计（Byte_Frequency_Meter）。统计数据包载荷部分每个字节所有的256种可能值。提取方法为载荷部分，取前32个字节，统计256种可能的数量，计算概率，再计算熵值。总共取5个数据包。

在特征提取完成后，建模数据将会进入建模数据备份层，数据会被存储作为备份，这是因为特征提取在数据量巨大的条件下是十分耗时的，每次建模都进行现场提取是浪费时间的，因此在数据样本相同的情况下，提取出的特征数据存储为备份，避免反复提取，而下一次建模只需要读取备份就可以获取已经提取出的特征数据来直接建模。机器学习建模层详细过程如图5所示。

图5 机器学习建模层详细过程图

在提取或读取备份获取建模数据后，本发明将直接进行建模工作，建模采用的机器学习算法是随机森林算法，其通过随机的方式去生成一个包含众多决策树的森林，但是这些决策树之间是没有关联的，也基本上都不相同。选择随机森林算法的原因是它有以下几个优点：1. 相比于其他算法，拥有较高的准确率，误报率低；2. 能够高效地运行在庞大的数据集内；3.能够直接应用于高维的特征输入样本上，不需要通过特征选择来降维；能够评估各个特征对于分类的重要程度；4.对缺省值问题也能够很好的解决；5.在生成过程中，可以获取到内部生成误差的一种无偏估计。其实随机森林的特点远不止这些，它的强大在于它基本可以适用于众多机器学习领域的问题，可以用来处理任何复杂的分类问题。

本发明采用设置随机森林内决策树建立的个数为100，特征子集的大小为特征集大小的平方根，以建模数据作为输入进行建模。一旦模型建立完成，其将会作为输入传入模型识别层，模型识别层的详细流程如下。

图6 模型识别层的详细流程图

如图6所示，在模型识别层中会以上层的模型作为核心来完成识别工作，在需要识别的流集合中读取流，按照统计性特征提取层的流程提取统计性特征，最终使用随机森林模型进行识别，得出识别结果。

由于随机森林十分适应高纬度的建模工作，随着样本量的增大，时间的消耗也十分小，增长比也十分低。因此，本发明的模型拥有优秀的模型性质，且建模的时间代价也十分低。

如上所述，本发明成功地在不解密加密流量的前提下去识别恶意加密流量，且拥有着极高的准确率和极低的误报率及漏报率。本发明比传统的恶意流量识别方法有如下优点：1.解决了难以识别恶意加密流量的问题；2.拥有很高的成长性，随着建模样本集增大，模型的精确度和可行度也会越来越高；3.可以识别出未知的、新出现的恶意流量，因为它们拥有相似的统计性特征；4.时间代价低，建模数据可以二次利用。

尽管出于说明的目的描述了本发明的优选实施例子，本领域人员将理解，在不脱离如附属权利要求所披露的本发明的范围和精神的情况下，各种修改、增加和替换都是可能的。

Claims (8)

1.一种基于机器学习的恶意加密流量识别技术，其特征在于所述方法包括如下步骤：

A、在数据采集层，采集大量数据流样本，提取出其中具有优秀品质的流量作为样本；

B、在统计性特征提取层，获取流量样本，提取出流量的统计性特征；

C、在建模数据备份层，将提取出的流统计性特征作为建模数据进行备份；

D、在机器学习模型层，读取建模数据，使用随机森林算法进行模型建立；

E、在模型识别层，使用建立好的模型，对加密恶意流量进行识别。

2.根据权利要求1所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤A中“优秀品质的流量”定义如下：

A1、数据流总数据包数在20到1000之间；

A2、数据流中携带着信息；

A3、数据流是一个完整的双向流，而不是单向流。

3.根据权利要求1所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤A中数据采集的要求如下：

所采集的数据流皆为加密流量，且恶意加密流量与正常流量的数量比例为1:5。

4.根据权利要求1所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤B中进一步包括如下要求：

B1、所提取的流的统计性特征一共有28种传输层统计性特征；

B2、所提取的流的统计性特征一共有4种应用层载荷信息统计性特征；

B3、统计性特征提取结束后，会备份作为下一次建模的建模数据。

5.根据权利要求4所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤B1中的28种传输层统计性特征包括如下：

上行总包数、上行总字节数、下行总包数、下行总字节数、最小上行包长度、最大上行包长度、平均上行包长度、上行包长标准差、最小下行包长度、最大下行包长度、平均下行包长度、下行包长标准差、最小上行包时间间隔、最大上行包时间间隔、平均上行包时间间隔、上行包时间间隔标准差、最小下行包时间间隔、最大下行包时间间隔、平均下行包时间间隔、下行包时间间隔标准差、平均包到达时间间隔、平均包时间间隔标准差、上行包PSH标记数量、下行包PSH标记数量、上行包URG标记数量、下行包URG标记数量、每秒到达的包数、每秒到达的字节数。

6.根据权利要求4所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤B2中的4种应用层载荷信息统计性特征包括如下：

比特值分布、比特值频率比、字节比较值、字符频数统计。

7.根据权利要求1所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤C中进一步包括如下步骤：

D1、获取建模数据，建模数据来源于统计性特征提取层或建模数据备份层；

D2、设置随机森林内决策树建立的个数为100，特征子集的大小为特征集大小的平方根；

D3、以数据数据作为输入，调整参数，建立随机森林模型。

8.根据权利要求1所述的一种基于机器学习的恶意加密流量识别技术，所述的步骤D中进一步包括如下步骤：

E1、提取所需识别数据流量的统计性特征，特征要求如B1、B2所述；

E2、将提取出的特征作为输入传递给所建立的随机森林模型；

E3、模型最后返回识别结果。