CN112235257A - 融合式加密恶意流量检测方法及系统 - Google Patents

Abstract

本发明属于网络技术领域，特别涉及一种融合式加密恶意流量检测方法及系统，包含：收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；通过将深度学习分为相对独立且并行学习的两条支路来并行提取流量数据的时空特征，其中，两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；将流量数据空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。本发明将流量数据时空特征学习提取进行并行融合处理，实现高精度、高时效性检测，同时能够有效降低存储开销，具有较好地应用价值。

Description

融合式加密恶意流量检测方法及系统

技术领域

本发明属于网络技术领域，特别涉及一种融合式加密恶意流量检测方法及系统。

背景技术

随着信息通信技术的飞速发展，网络安全问题也日益突显。为保护通信安全，各类加密技术被广泛应用于通信过程。然而，流量加密也给不法分子以可乘之机，攻击者利用加密技术隐藏恶意企图，规避检测系统，实施隐蔽攻击。

传统的流量识别方法如深入包检测等存在泄漏用户隐私的风险，且不适用于加密等类型流量的检测。随着机器学习、深度学习等技术的发展，基于各类机器学习、深度学习算法的新型检测模式获得了越来越广泛的应用。传统的机器学习算法如随机森林、支持向量机、XGBoost等，需要复杂的特征工程对网络流量数据进行特征提取，一方面消耗大量人力，另一方面影响检测效率。深度学习算法以其强大的特征学习能力逐渐成为研究人员和技术开发人员的首选，基于这些算法的检测模型不需要特征提取等步骤，显著减轻了模型应用的门槛。常用的深度学习算法有CNN、1D-CNN、LSTM、GRU等。目前采用的检测方式多为单一算法模式，即只自用一种深度学习算法对加密恶意流量进行检测。这种模式只能提取数据某一方面的特征，如采用1D-CNN、CNN等检测方法仅提取空间特征，利用LSTM、GRU等方法仅提取时间特征，对数据特征的学习不完善，从而影响检测精度。

发明内容

为此，本发明提供一种融合式加密恶意流量检测方法及系统，将流量数据时空特征学习提取进行并行融合处理，实现高精度、高时效性检测，同时能够有效降低存储开销。

按照本发明所提供的设计方案，一种融合式加密恶意流量检测方法，包含如下内容：

收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

通过将深度学习分为相对独立且并行学习的两条支路来并行提取流量数据的时空特征，其中，两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

将流量数据空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

作为本发明融合式加密恶意流量检测方法，进一步地，预处理过程中，对网卡节点处捕获的流量数据进行清洗，去除无效数据，然后依次对流量数据进行切片和维度处理；将维度处理后的数据进行标准化、归一化，使流量数据分布在[0，1]之间。

作为本发明融合式加密恶意流量检测方法，进一步地，流量数据切片处理中，首先判断数据包长度是否大于切片长度，对大于切片长度的数据进行切片处理，对小于切片长度的数据进行补齐处理。

作为本发明融合式加密恶意流量检测方法，进一步地，根据硬件算力及切片长度，以字节为单位对流量数据进行维度处理。

作为本发明融合式加密恶意流量检测方法，进一步地，深度学习中，通过构建用于时空特征提取学习的深度学习网络模型来完成，该深度学习网络模型包含用于学习流量数据空间特征的卷积神经网络结构和用于学习流量数据时间特征的长短期记忆网络结构，两者网络结构并行运行，输入均为转换后的流量数据，输出分别为转换后流量数据的空间特征和时间特征。

作为本发明融合式加密恶意流量检测方法，进一步地，卷积神经网络结构采用一维卷积神经网络，该一维卷积神经网络中包含四个卷积层和两个池化层，以学习并提取输入数据的空间特征；长短期记忆网络结构中包含四层长短期网络层，以学习并提取输入数据的时间特征。

作为本发明融合式加密恶意流量检测方法，进一步地，长短期记忆网络结构中每层长短期网络层后连接一用于消除过拟合的DROPOUT层。

作为本发明融合式加密恶意流量检测方法，进一步地，空间特征和时间特征送入深度学习中的同一全连接层进行特征融合，并利用分类器进行数据分类，筛选出加密恶意流量数据。

作为本发明融合式加密恶意流量检测方法，进一步地，同一全连接层中的神经元同时接收空间特征和时间特征，并将两种特征拼接融合处理，送至深度学习中的softmax层进行分类判决，以获取加密的恶意流量。

进一步地，基于上述的方法，本发明还提供一种融合式加密恶意流量检测系统，包含：包含：数据处理模块、特征提取模块和融合分类模块，其中，

数据处理模块，用于收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

特征提取模块，用于通过将深度学习分为相对独立且并行学习的两条支路，来并行提取流量数据的时空特征，其中两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

融合分类模块，用于将流量数据的空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

本发明的有益效果：

本发明并行处理流量数据的空间特征和时间特征学习，比单一深度学习算法检测模型获取更多的网络流量数据信息，能够更加精确的反映原始数据的内容原貌，因此，检测精度更高；直接对原始数据进行处理，省却了烦琐的特征工程，节省了人力，给加密恶意流量的检测带来便利，提升了检测效率，具有较好地应用价值。

附图说明：

图1为实施例中并行融合式加密恶意流量检测模型示意；

图2为实施例中基于特征自学习的加密恶意流量检测模型示意；

图3为实施例中并行融合式加密恶意流量检测流程示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

针对现有流量检测中特征学习不完善、检测精度不高等情形。本发明实施例，提供一种融合式加密恶意流量检测方法，包含如下内容：

收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

通过将深度学习分为相对独立且并行学习的两条支路来并行提取流量数据的时空特征，其中，两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

将流量数据空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

本发明实施例中，并行处理流量数据的空间特征和时间特征学习，比单一深度学习算法检测模型获取更多的网络流量数据信息，能够更加精确的反映原始数据的内容原貌，检测精度更高。

作为本发明实施例中的融合式加密恶意流量检测方法，进一步地，预处理过程中，对网卡节点处捕获的流量数据进行清洗，去除无效数据，然后依次对流量数据进行切片和维度处理；将维度处理后的数据进行标准归一化，使流量数据分布在[0，1]之间。对数据进行预处理，主要进行数据清洗、数据切片、维处理和数据变换，将数据变换成为固定输入维度，适于深度学习算法处理的数据格式。

作为本发明实施例中的融合式加密恶意流量检测方法，进一步地，流量数据切片处理中，首先判断数据包长度是否大于切片长度，对大于切片长度的数据进行切片处理，对小于切片长度的数据进行补齐处理。进一步地，根据硬件算力及切片长度，以字节对流量数据进行维度处理。

数据预处理中，首先在网卡处对流量数据进行捕获，再对捕获的数据包进行清洗，去除无效数据，如不含有负载的数据，或者损坏的数据包，接下来对数据进行切片，判断数据包长度是否大于切片长度，比如选定截取前100字节，实验中得出选取前100字节已经可以达到很好的效果。如果数据包长度大于100，则对数据进行截断，反之，如果数据长度小于100，则以零补齐。而后，可对数据进行维度处理，可以按字节对数据进行处理，如一个字节为一维，则100字节即100维。也可以多个字节为一维，具体根据硬件的算力以及所截取的数据长度来确定。采用字节精度，也更加细粒度，也在一定程度上提升了检测精度。维度处理后，将数据进行标准化、归一化，使得流量数据分布在[0,1]之间，便于深度学习中损失函数的控制。

作为本发明实施例中融合式加密恶意流量检测方法，进一步地，深度学习中，通过构建用于时空特征提取学习的深度学习网络模型来完成，该深度学习网络模型包含用于学习流量数据空间特征的卷积神经网络结构和用于学习流量数据时间特征的长短期记忆网络结构，两者网络结构并行运行，输入均为转换后的流量数据，输出分别为转换后流量数据的空间特征和时间特征。

将原本两种深度学习算法各自的全连接层合二为一，通过共同的全连接层将两种模型提取的不同特征进行融合，从而更加精确地实施加密恶意流量检测。由于能够获取更加丰富的特征，因此，本发明实施例中的模型比单一深度学习算法检测模型获取更多的网络流量数据信息，能够更加精确的反映原始数据的内容原貌，因此，能够达到更高的检测精度。

作为本发明实施例中的融合式加密恶意流量检测方法，进一步地，卷积神经网络结构采用一维卷积神经网络，该一维卷积神经网络中包含四个卷积层和两个池化层，以学习并提取输入数据的空间特征；长短期记忆网络结构中包含四层长短期网络层，以学习并提取输入数据的时间特征。

参见图1所示，本发明深度学习模型使用的是1D-CNN，因此不再需要特意将数据转化为二维图片数据结构。将深度学习检测模块拆分为特征自学习模块和分类器模块，特征自学习模块由1D-CNN和LSTM并行组成，而后将1D-CNN提取的空间特征和LSTM提取的时间特征同时传送给分类器模块，由分类器完成对加密恶意流量的检测；模型采用数据切片方式进行数据处理，不需要提取数据特征，可直接对原始数据进行处理。图2中，基于特征自学习的加密恶意流量检测模型不需要特征工程，仅对原始流量进行简单的切片操作(将原始数据截取固定长度)即可实施恶意流量检测，因此节省人力，同时更加快捷，其提取数据采用CNN和/或LSTM来完成深度学习检测，可能造成特征学习不完善，影响检测精度和效率。而本案实施例中，深度学习两条支路由长短期记忆网络和一维卷积神经网络构成，同时，两种神经网络分别取长短期记忆层和卷积层、池化层构成，都不包含全连接层；也就是说，本专利的两条支路均只包含一种神经网络，网络结构更加简洁，训练参数更少，训练以及推理的时效性更高，同时，存储开销也相对低廉。

作为本发明实施例中的融合式加密恶意流量检测方法，进一步地，长短期记忆网络结构中每层长短期网络层后连接一用于消除过拟合的DROPOUT层。进一步地，空间特征和时间特征送入深度学习中的同一全连接层进行特征融合，并利用分类器进行数据分类，筛选出加密恶意流量数据。进一步地，同一全连接层中的神经元同时接收空间特征和时间特征，并将两种特征拼接融合处理，送至深度学习中的softmax层进行分类判决，以获取加密的恶意流量。

参见图1和3所示，将处理好的数据送入深度学习模型中，该模型采用1D-CNN与LSTM并行融合机制。即数据同时并行传入1D-CNN网络和LSTM网络。其中1D-CNN网络由4个卷积层和两个池化层组成，LSTM网络由4层LSTM网络组成，每层LSTM网络后紧跟一层Dropout层，以消除过拟合。利用1D-CNN提取流量数据的空间特征，LSTM提取数据的时间特征。1D-CNN和LSTM两个分支同时连接到一个全连接层。若全连接层有128个神经元，则该128个神经元同时接收来自1D-CNN的空间数据特征和来自LSTM的时间数据特征。将两种特征融合，最终送给Softmax层进行判决，对加密的恶意流量进行检测。

由于1D-CNN网络与LSTM网络对输入的维度要求不尽相同，因此，在各自输入前，需要通过Reshape层将数据构建成为匹配输入数据。但同时从内存空间取出相同的数据，因此，数据本身不需要复制，降低对存储的要求。将融合方式与特征提取构成一个有机整体，形成一个完整的网络，应用该网络即可完成加密的恶意流量检测；并没再引入其他的算法执行特征融合操作，直接将不同的特征送入共同的全连接层，由全连接层自动进行特征融合，进而实现加密的恶意流量检测，提升检测效果，有利于网络安全技术实施。

进一步地，基于上述的方法，本发明实施例还提供一种融合式加密恶意流量检测系统，包含：包含：数据处理模块、特征提取模块和融合分类模块，其中，

数据处理模块，用于收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

特征提取模块，用于通过将深度学习分为相对独立且并行学习的两条支路，来并行提取流量数据的时空特征，其中两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

融合分类模块，用于将流量数据的空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种融合式加密恶意流量检测方法，其特征在于，包含如下内容：

收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

通过将深度学习分为相对独立且并行学习的两条支路来并行提取流量数据的时空特征，其中，两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

将流量数据空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

2.根据权利要求1所述的融合式加密恶意流量检测方法，其特征在于，预处理过程中，对网卡节点处捕获的流量数据进行清洗，去除无效数据，然后依次对流量数据进行切片和维度处理；将维度处理后的数据进行标准化、归一化，使流量数据分布在[0，1]之间。

3.根据权利要求2所述的融合式加密恶意流量检测方法，其特征在于，流量数据切片处理中，首先判断数据包长度是否大于切片长度，对大于切片长度的数据进行切片处理，对小于切片长度的数据进行补齐处理。

4.根据权利要求2所述的融合式加密恶意流量检测方法，其特征在于，根据硬件算力及切片长度，以字节为单位对流量数据进行维度处理。

5.根据权利要求1所述的融合式加密恶意流量检测方法，其特征在于，深度学习中，通过构建用于时空特征提取学习的深度学习网络模型来完成，该深度学习网络模型包含用于学习流量数据空间特征的卷积神经网络结构和用于学习流量数据时间特征的长短期记忆网络结构，两者网络结构并行运行，输入均为转换后的流量数据，输出分别为转换后流量数据的空间特征和时间特征。

6.根据权利要求5所述的融合式加密恶意流量检测方法，其特征在于，卷积神经网络结构采用一维卷积神经网络，该一维卷积神经网络中包含四个卷积层和两个池化层，以学习并提取输入数据的空间特征；长短期记忆网络结构中包含四层长短期网络层，以学习并提取输入数据的时间特征。

7.根据权利要求6所述的融合式加密恶意流量检测方法，其特征在于，长短期记忆网络结构中每层长短期网络层后连接一用于消除过拟合的DROPOUT层。

8.根据权利要求1或5所述的融合式加密恶意流量检测方法，其特征在于，空间特征和时间特征送入深度学习中的同一全连接层进行特征融合，并利用分类器进行数据分类，筛选出加密恶意流量数据。

9.根据权利要求8所述的融合式加密恶意流量检测方法，其特征在于，同一全连接层中的神经元同时接收空间特征和时间特征，并将两种特征拼接融合处理，送至深度学习中的softmax层进行分类判决，以获取加密的恶意流量。

10.一种融合式加密恶意流量检测系统，其特征在于，包含：数据处理模块、特征提取模块和融合分类模块，其中，

数据处理模块，用于收集网卡节点处原始流量；对原始流量进行预处理，使其转换为用于深度学习的数据类型；

特征提取模块，用于通过将深度学习分为相对独立且并行学习的两条支路，来并行提取流量数据的时空特征，其中两条支路中，一条支路用于学习流量数据的空间特征，另一支路用于学习流量数据的时间特征；

融合分类模块，用于将流量数据的空间特征和时间特征进行融合处理，并通过分类器进行数据分类，以筛选出加密恶意流量数据。

Images