CN110958233B - 一种基于深度学习的加密型恶意流量检测系统和方法 - Google Patents

Abstract

本发明公开了一种基于隐马尔科夫链的加密型恶意流量检测系统，涉及计算机网络安全领域的加密型恶意流量检测领域，包括数据收集模块、预处理模块、指纹生成模块、指纹库、评估模块，并依次连接；数据收集模块使用网络嗅探工具收集流量样本，通过应用监控程序关联流量样本与进程；预处理模块把研究对象设定为每个进程及其对应的通信信息，把研究对象的网络流收集到一起；指纹生成模块对流量样本进行序列化，传入隐马尔科夫模型，生成指纹；指纹经处理后存储在指纹库中；评估模块分析指纹特征，找出异常指纹。本发明针对加密流量的移动互联网恶意软件检测技术，准确率高，误报率低，实现了高效准确警报拦截加密恶意流量，保护移动互联网用户安全。

Description

一种基于深度学习的加密型恶意流量检测系统和方法

技术领域

本发明涉及计算机网络安全领域的加密型恶意流量检测领域，尤其涉及一种基于深度学习的加密型恶意流量检测系统和方法。

背景技术

随着4G网络的普及，移动上网已经成为人们上网的一个重要方式。根据ZenithMedia研究显示，2018年移动互联网流量占互联网流量的比例高达80％。移动互联网应用已经在吃、穿、住、行等众多方面，成为了人们生活中不可或缺的一部分。我国目前正积极推进第五代移动通信(5G)和超宽带关键技术的研究，并启动了5G的商用试点，在未来，移动网络流量将成为互联网上网的主流方式。然而目前移动设备操作系统及移动互联网应用的漏洞百出，移动互联网通信安全的问题日益凸显，各种恶意软件造成的隐私窃取、网络金融诈骗等安全事件时有发生。为此，网络传输广泛采用了SSL这样的加密传输协议以增强安全防御。报告显示截止2018年12月，半数的在线流量均被加密，而且加密流量的比例趋势是越来越高。流量加密固然保护了数据的隐私和安全，然而也给恶意软件提供了藏身之所，让不法分子有了可乘之机。加密能够像隐藏其他信息一样隐藏恶意软件(如僵尸网络、木马和病毒等)，从而为恶意软件制造者利用，以逃避当前的网络安全审计。Gartner预测到2020年前，有半数的恶意威胁将通过加密协议传送恶意软件。当前的网络流量检测技术不能很好应对加密流量中的恶意软件检测，从而将资产的安全风险暴露在外，因此针对加密流量的恶意软件检测技术研究就显得尤为重要。当前各类安全防护产生基本都是针对非加密流量进行检测，而目前快速发展的加密流量趋势，将使得这些设施的防护作用极为降低。

Profile HMM(Profile Hidden Markov Model，剖面隐含马尔可夫模型，简写为PHMM)，在过去主要用于生物序列分析，如同源基因序列搜索，例如，对序列家族成员的新序列进行评估和gnomic序列分类等。PHMM是基于标准的HMM理论。与传统的HMM模型相比，首先，PHMM利用了观察序列中包含的位置信息；其次，PHMM允许零转换，模型可以匹配包含插入或删除的序列。

对比传统的方法，通常另一个关键的假设是他们忽略了背景的流量。但实际上，这是不可能的。根据传统的方法，将“理想”包序列转化为自定义特征向量。如果将模拟的新流量导入到传统模型中，新的流量会将严重影响原始数据包序列特性，从而导致不匹配。

因此，本领域的技术人员致力于开发一种基于隐马尔科夫链的加密型恶意流量检测系统和方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何检测加密型恶意流量。具体地说，使用的隐马尔科夫链具有将序列重构的特性，通过将数据传入马尔科夫模型重构特征序列，生成具有流量唯一特性的数据向量(即指纹)，通过指纹相似度匹配，找出异常指纹，即为加密型恶意流量。

为实现上述目的，本发明提供了一种基于隐马尔科夫链的加密型恶意流量检测系统和方法。

本发明提供了一种基于隐马尔科夫链的加密型恶意流量检测系统包括数据收集模块、预处理模块、指纹生成模块、指纹库、评估模块，并依次连接，所述数据收集模块使用网络嗅探工具收集流量样本，通过应用监控程序关联流量样本与进程；所述预处理模块把研究对象设定为每个进程及其对应的通信信息，把所述研究对象的网络流收集到一起；所述指纹生成模块对所述流量样本进行序列化，传入隐马尔科夫模型，生成流量指纹；所述指纹经处理后存储在所述指纹库中；所述评估模块分析所述指纹特征，找出异常指纹。

可选地，在上述实施例中的基于隐马尔科夫链的加密型恶意流量检测系统中，上述网络嗅探工具为wireshark。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测系统中，上述每个进程及其对应的通信信息标记为七元组，包括进程名称、进程号、源IP、源端口、目的IP、目的端口、网络流方向，即<process name，process id,srcIP，srcPort，dstIP，dstPort，direction>。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测系统中，上述指纹的处理过程包括压缩操作。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测系统中，上述评估模块分析所述指纹特征还包括匹配包含相近基因的指纹，对于已知的包含恶意攻击的加密型流量进行检测。

使用上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测系统，本发明还提供的一种基于隐马尔科夫链的加密流量检测方法，包括如下步骤：

S001，Argus提取网络流，上述数据收集模块将网络嗅探工具部署在实验网环境中，收集所述实验网环境内的流量信息，并将所述流量信息通过开源网络流量分析工具Argus提取成包含双向通信信息的网络流的形式，在客户端使用网络监控工具匹配所述网络流与进程ID，保留相关的系统日志、事件信息以便验证；

S002，网络流七元组聚合，上述数据预处理模块将研究对象设定为每个进程及其对应的通信信息，标记为七元组，即<process name，process id,srcIP，srcPort，dstIP，dstPort，direction>，对每条网络流根据七元组进行匹配，把具有相同七元属性的网络流储存在同一个数组中；

S003，七元组数据序列化，指纹生成模块对上述七元组进行序列构造；

S004，基因序列对齐，创建指纹库，根据指纹生成算法，获取每个对象的基因序列，对其建立指纹库；

S005，基于HMM匹配，评估模块分析和检测包含恶意攻击的加密流量；

S006，输出结果。

可选地，在上述实施例中的基于隐马尔科夫链的加密型恶意流量检测方法中，步骤S001中，上述实验网环境内的流量信息包括源/目的地址IP和端口，网络流方向，证书信息等。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测方法中，步骤S001中，上述网络监控工具包括但不限于netstat，netstat在安卓客户端上通过busybox实现。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测方法中，步骤S003中，序列构造包括分析七元组中网络流的数据包大小和方向

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测方法中，步骤S004中，考虑到随着指纹库的扩大，检测效率会逐步降低，首先采取聚类的方式，对每个指纹中的基因进行分组，当分组中的基因数超出阈值m时，采用栈式自动编码器(SAE)，对这部分基因序列进行信息压缩，进一步提取这些基因中包含的关键基因，使有基因片段组成的指纹库始终保持在精简的范围内。

可选地，在上述任一实施例中的基于隐马尔科夫链的加密型恶意流量检测方法中，步骤S005包括：

S0051、为避免数据包序列受数据包重传等时间延时的影响，或者存在恶意进程故意将数据包顺序打乱的情况，使用同源搜索算法，比对多个序列中的相同片段；

S0052、将所述片段对齐，然后通过对齐的包对模型进行参数估计，假定从状态k转换到状态l的概率为

另有k发送一个符号a的概率

其中，A_kl表示状态k转换到状态l的转换次数，E_k(a)表示符号a在对齐后相同的列中发送的次数；

S0053、得到PHMM中的参数λ＝(A，E，π)，使用该估计的参数模型预测观察序列，即基因序列，π为初始状态的概率分布；

S0054、和已知恶意攻击的流量基因进行匹配，对于最相近的网络流认为是包含恶意攻击的加密流量。

本发明提供的一种基于隐马尔科夫链的加密型恶意流量检测系统和方法，针对加密流量的移动互联网恶意软件检测技术，使用的隐马尔科夫链具有将序列重构的特性，通过将数据传入马尔科夫模型重构特征序列，生成流量指纹，通过指纹相似度匹配，找出加密型恶意流量，本发明准确率高，误报率低，实现了高效准确警报拦截加密恶意流量，保护移动互联网用户安全。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是示例性实施例的的结构示意图；

图2是示例性实施例的流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明提供的一种基于隐马尔科夫链的加密型恶意流量检测系统包括数据收集模块、预处理模块、指纹生成模块、指纹库、评估模块，并依次连接，所述数据收集模块使用网络嗅探工具收集流量样本，通过应用监控程序关联流量样本与进程；所述预处理模块把研究对象设定为每个进程及其对应的通信信息，把所述研究对象的网络流收集到一起；所述指纹生成模块对所述流量样本进行序列化，传入隐马尔科夫模型，生成具有流量唯一特性的数据向量，以下特指为流量指纹。所述指纹经处理后存储在所述指纹库中；所述评估模块分析所述指纹特征，找出异常指纹。

对于上述网络嗅探工具，发明人使用的是wireshark，但其他有网络嗅探功能的工具也可以使用，来获取流量样本。

为了方便将所有的网络流收集到一起，发明人将研究对象设定为每个进程及其对应的通信信息，并标记为七元组，包括进程名称、进程号、源IP、源端口、目的IP、目的端口、网络流方向，即<process name，process id,srcIP，srcPort，dstIP，dstPort，direction>。

为了节省指纹库的空间，发明人在存储指纹之前，对指纹进行优化处理，在本实施例中使用的是压缩方法，然后再存储到指纹库。

发明人考虑到随着指纹库的扩大，检测效率会逐步降低，首先采取聚类的方式，对每个指纹中的基因进行分组，当分组中的基因数超出阈值m的部分基因，采用栈式自动编码器(SAE)，对这部分基因序列进行信息压缩，进一步提取这些基因中包含的关键基因，使有基因片段组成的指纹库始终保持在精简的范围内。

发明人进一步配置上述评估模块，评估模块分析所述指纹特征，匹配包含相近基因的指纹，可以检测出已知的包含恶意攻击的加密型流量。

使用本发明的基于隐马尔科夫链的加密型恶意流量检测系统，发明人通过了加密流量检测方法，具体步骤如图2所示，包括：

S001，Argus提取网络流，上述数据收集模块将网络嗅探工具部署在实验网环境中，收集所述实验网环境内的流量信息，并将所述流量信息通过开源网络流量分析工具Argus提取成网络流的形式，在客户端使用网络监控工具匹配所述网络流与进程ID，网络监控工具包括但不限于netstat，保留相关的系统日志、事件等信息以便验证；

S002，网络流七元组聚合，上述数据预处理模块将研究对象设定为每个进程及其对应的通信信息，标记为七元组，即<process name,process id，srcIP,srcPort,dstIP,dstPort,direction>，对每条网络流根据七元组进行匹配，把具有相同七元属性的网络流储存在同一个数组中；

S003，七元组数据序列化，指纹生成模块对上述七元组进行序列构造；

S004，基因序列对齐，创建指纹库，根据指纹生成算法，获取每个对象的基因序列，对其建立指纹库；

S005，基于HMM匹配，评估模块分析和检测包含恶意攻击的加密流量；

S006，输出结果。

在步骤S001中，发明人收集的实验网环境内的流量信息包括但不限于源/目的地址IP和端口、网络流方向、证书信息等。另外其中使用的网络监控工具(包括但不限于netstat)在安卓客户端上通过busybox实现。

在步骤S003中，发明人使用指纹生成模块对七元组序列构造，包括分析七元组中网络流的数据包大小和方向。具体地，当包大小为100，方向为发出时，可以把网络流表示为+100，接受包大小为90的网络流标记为-90，由此可以得到序列+100,-90…。然后，将序列符号化，使用进行替换，将序列范围设定在-2000到+2000，将-2000到-1950标记为AA，-1950到-1900标记为AB。

在步骤S004中，发明人考虑到随着指纹库的扩大，检测效率会逐步降低，首先采取聚类的方式，对每个指纹中的基因进行分组，当分组中的基因数超出阈值m时，采用栈式自动编码器(SAE)，对这部分基因序列进行信息压缩，进一步提取这些基因中包含的关键基因，使有基因片段组成的指纹库始终保持在精简的范围内。

发明人细化步骤S005，包括以下子步骤：

S0051、为避免数据包序列受数据包重传等时间延时的影响，或者存在恶意进程故意将数据包顺序打乱的情况，使用同源搜索算法，比对多个序列中的相同片段；

S0052、将所述片段对齐，然后通过对齐的包对模型进行参数估计，假定从状态k转换到状态l的概率为

另有k发送一个符号a的概率

其中，A_kl表示状态k转换到状态l的转换次数，E_k(a)表示符号a在对齐后相同的列中发送的次数；

S0053、该模型除了保留原来的匹配状态M，删除状态D，插入状态I，开始状态B，结束状态E。之外，还增加了多个状态，例如开始状态S，终止状态T状态。其中的N，C，J状态负责产生不能和模型匹配的随机序列。

S0054、首先主要模型M，D，I中的参数是从序列中学习得到的，主模型主要负责匹配序列。其他状态包括(S,N,C,J,T)的参数，以及从B状态进入的概率和从状态E退出模型的概率，上述参数的设置都不是从具体序列中学习得到的，都只是固定设置的参数值。这些参数和概率主要负责使得模型可以在局部匹配多个子序列或者控制使用局部匹配还是全局匹配。其中，N，C，J中的自循环控制着非匹配序列在序列前缀、后缀、或者中间部分的长度大小。这使得该模型可以在原始网络网络流量中可以略过其序列中的无关背景流量。得到PHMM中的参数λ＝(A，E，π)，使用该参数估计模型预测观察序列也即所属基因序列，π为初始状态的概率分布；

S0055、和已知恶意攻击的流量基因进行匹配，对于最相近的网络流认为是包含恶意攻击的加密流量。

在子步骤S0054中，发明人重点关注已知恶意攻击的流量基因，对于匹配到包含最相近的网络流认为是包含恶意攻击的加密流量，从而完成加密型恶意流量检测。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于隐马尔科夫链的加密型恶意流量检测系统，其特征在于，包括数据收集模块、预处理模块、指纹生成模块、指纹库、评估模块，并依次连接；所述数据收集模块使用网络嗅探工具收集流量样本，通过应用监控程序关联流量样本与进程；所述预处理模块把研究对象设定为每个进程及其对应的通信信息，把所述研究对象的网络流收集到一起；所述指纹生成模块对所述流量样本进行序列化，传入隐马尔科夫模型，生成指纹；所述指纹经处理后存储在所述指纹库中；所述评估模块分析所述指纹特征，找出异常指纹；

所述每个进程及其对应的通信信息标记为七元组，包括进程名称、进程号、源IP、源端口、目的IP、目的端口、网络流方向，即<process name，process id,srcIP，srcPort，dstIP，dstPort，direction>；

所述网络嗅探工具为wireshark；

所述指纹的处理过程包括压缩；

所述评估模块分析所述指纹特征，还包括匹配包含相近基因的指纹。

2.一种基于隐马尔科夫链的加密流量检测方法，其特征在于，使用如权利要求1至5任一基于隐马尔科夫链的加密型恶意流量检测系统，包括以下步骤：

S001，Argus提取网络流，所述数据收集模块将网络嗅探工具部署在实验网环境中，收集所述实验网环境内的流量信息，并将所述流量信息通过开源网络流量分析工具Argus提取成包含双向通信信息的网络流的形式，在客户端使用网络监控工具匹配所述网络流与进程ID，保留相关的系统日志、事件信息以便验证；

S002，网络流七元组聚合，所述数据预处理模块将研究对象设定为每个进程及其对应的通信信息，标记为七元组，即<process name,process id,srcIP,srcPort,dstIP,dstPort,direction>，对每条网络流根据七元组进行匹配，把具有相同七元属性的网络流储存在同一个数组中；

S003，七元组数据序列化，所述指纹生成模块对所述七元组进行序列构造；

S004，基因序列对齐，创建指纹库，根据指纹生成算法，获取每个对象的基因序列，对其建立指纹库；

S005，基于HMM匹配，所述评估模块分析和检测包含恶意攻击的加密流量；

S006，输出结果。

3.如权利要求2所述的基于隐马尔科夫链的加密流量检测方法，其特征在于，所述步骤S001中，所述实验网环境内的流量信息包括源/目的地址IP和端口，网络流方向，证书信息。

4.如权利要求2所述的基于隐马尔科夫链的加密流量检测方法，其特征在于，所述步骤S001中，所述网络监控工具包括但不限于netstat，所述netstat在安卓客户端上通过busybox实现。

5.如权利要求2所述的基于隐马尔科夫链的加密流量检测方法，其特征在于，所述步骤S003中，所述序列构造包括分析七元组中网络流的数据包大小和方向。

6.如权利要求2所述的基于隐马尔科夫链的加密流量检测方法，其特征在于，所述步骤S005还包括：

S0051、使用同源搜索算法，比对多个序列中的相同片段；

S0052、将所述片段对齐，然后通过对齐的包对模型进行参数估计；

S0053、得到PHMM中的参数λ＝(A，E，π)，π为初始状态的概率分布；

S0054、和已知恶意攻击的流量基因进行匹配，对于最相近的网络流认为是包含恶意攻击的加密流量。

Images