CN109698836B - 一种基于深度学习的无线局域网入侵检测方法和系统 - Google Patents
一种基于深度学习的无线局域网入侵检测方法和系统 Download PDFInfo
- Publication number
- CN109698836B CN109698836B CN201910102673.0A CN201910102673A CN109698836B CN 109698836 B CN109698836 B CN 109698836B CN 201910102673 A CN201910102673 A CN 201910102673A CN 109698836 B CN109698836 B CN 109698836B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- network
- frame
- rnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000000306 recurrent effect Effects 0.000 claims abstract description 11
- 235000019580 granularity Nutrition 0.000 claims abstract description 9
- 238000003672 processing method Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 27
- 238000013480 data collection Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000011425 standardization method Methods 0.000 claims 2
- 230000006399 behavior Effects 0.000 abstract description 3
- 230000002265 prevention Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 20
- 210000002569 neuron Anatomy 0.000 description 16
- 230000004913 activation Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000007123 defense Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种基于深度学习的无线局域网入侵检测系统，涉及网络空间安全领域。本系统包括模型学习和入侵检测，其中模型学习负责预构建RNN神经网络，入侵检测使用构建好的RNN神经网络实时完成入侵检测任务。采用LSTM循环神经网络对具有时序特点的无线局域网网络数据流量进行分类预测，根据识别模块分类预测的输出判断目标网络流量序列的类别，识别出目标网络中的入侵行为，根据设置的优先级和处理方法进行不同粒度的处理，对可能发生的信息安全问题进行预警和预防，保障无线局域网的保密性、可用性和完整性，提高无线局域网的安全级别。
Description
技术领域
本发明涉及网络空间安全技术领域，特别涉及一种无线局域网入侵检测方法和系统。
背景技术
智能家居设备作为物联网的一类主要应用场景已经走进成千上万的家庭，而在智能家居领域，无线通信技术被广泛用于设备的互联，802.11系列标准明确规定了无线局域网(WLANs)在媒介访问控制层(MAC)和物理层(PHY)上的实现方式，能为智能家居提供基本可靠的无线设备互联，通常的方案是利用无线路由器作为网关构建一个包含各智能家居设备的智能家居无线局域网，形成一个星型的拓扑结构。通过将智能家居设备接入互联网，使得用户可以随时远程查看、控制、管理家中的智能家居设备。但由于物理可见介质缺失的特性，无线局域网比有线网络更易受到隐蔽的攻击和非法访问。这些智能设备为用户带来了舒适和便利同时，也带来了一些信息安全隐患。研究如何加强无线局域网的安全性变得至关重要，入侵检测方法便是一种为了提高网络的安全性而引入的针对入侵行为进行识别和预警的可靠安全方案。
深度学习由感知机发展而来，最典型的深度学习模型就是前馈深度网络，他由多个感知机层层叠加而来，每个感知机利用一个非线性激活函数对输入数据进行处理然后输出，这样的网络结构也被称为神经网络，每个感知机就是一个神经元。激活函数赋予了神经网络处理线性不可分问题的能力，而多层变换又赋予了神经网络处理复杂特征数据的能力。循环神经网络的出现又为神经网络带来了处理输入间前后相关问题的能力，这是一种利用神经网络处理序列的通用模型。Hochreiter和Schmidhuber提出的LSTM(长短时记忆)网络更近一步的赋予了神经网络处理关联时间跨度较大信息的能力。采用LSTM模型来对具有时序规律的无线局域网流量数据进行识别分类是十分合适的。专利公开号为CN108199875A，名称为一种网络入侵检测系统及方法公开了一种利用PSO-based K-means算法挖掘规则库数据的网络入侵检测系统和方法，实现方案上，该方法仍然是基于规则集的入侵检测方法，K-means算法主要用于提取新的规则。2018年，一种基于深度学习的无线传感器入侵检测方法(CN108234500A)公开了一种利用深度信念网络进行特征学习，构建基分类器，然后利用随机森林算法组合多个分类器的入侵检测方法，该方法主要适用于无线传感器网络，且没有形成针对无线传感器网络入侵检测的有效系统。
发明内容
本发明针对现有技术的上述缺陷，提供一种基于深度学习的无线局域网入侵检测，适用于基于WiFi组网的无线局域网，针对该网络的特点采用基于LSTM的循环神经网络，采用LSTM循环神经网络对具有时序特点的无线局域网网络数据流量进行分类预测，识别出目标网络中的入侵行为，对可能发生的信息安全问题进行预警和预防，设计针对无线传感器网络入侵检测的有效系统，保障无线局域网的保密性、可用性和完整性，提高无线局域网的安全级别。
本发明解决上述技术问题的技术方案是，一种基于深度学习的无线局域网入侵检测系统，包括数据收集模块、RNN学习模块、RNN验证模块、采集预处理模块、识别模块和结果处理模块,其中数据收集模块负责采集无线局域网数据作为样本，并进行数据集构建和划分，RNN学习模块读取数据集进行模型和参数学习构建习得模型，RNN验证模块根据数据收集模块提供的验证数据对习得模型进行验证和测试，验证和测试结果反馈给RNN学习模块进行优化，采集预处理模块实时采集目标网络数据包，对数据包进行过滤并处理成满足RNN神经网络要求的数据结构，同时向数据收集模块提供脱敏后的数据，识别模块从RNN学习模块获取习得模型对脱敏数据进行分类预测，结果处理模块根据识别模块分类预测的输出判断目标网络流量序列的类别，根据设置的优先级和处理方法进行不同粒度的防御处理。
其中，模型为基于LSTM的神经网络模型，模型形态基本固定，习得模型主要习得该模型中各部分的权重参数与偏差值，同时对采用的超参数进行微调。不同粒度的防御处理具体可为，根据识别出的网络流量序列的类别进行相关处理，例如，识别出为恶意流量，根据用户对该类型流量配置的对应动作进行防御处理，如为未授权用户则主动断开连接等。根据用户配置，不同用户对不同恶意流量的处理优先级不同。
本发明进一步，数据收集模块将数据集按照比例随机划分为训练集、验证集和测试集，每个数据帧被处理为含有多个属性的一维向量，其中最后一个属性为该数据帧所对应的类别标签，其余属性分别对应虚拟冗长帧中形成的特征向量属性。RNN学习模块根据长短时记忆循环神经网络LSTM分类预测模型构建前向网络计算图，将训练集按序列顺序输入到前向网络中，得到序列的预测值，根据序列预测值计算损失函数，更新权重参数和偏置参数以最小化损失函数。识别模块从RNN学习模块获取计算图和学习参数构建前向传播网络，将采集预处理模块提供的数据作为输入向量输入到前向传播网络中，获取对该网络流量序列数据类型的分类预测概率。
对数据包进行过滤并处理成满足RNN神经网络要求的数据结构具体包括，过滤掉抓取数据中非目标网络的数据包以及目标网络中的非关键数据包，将过滤后的数据包按照802.11MAC帧格式进行解析，按每个802.11帧对应一个序列时间步的规制对解析数据进行序列划分，并按照预定长度分片，提取解析数据中各字段的数据，构建虚拟冗长帧并将提取的数据写入其中，形成等长的待处理数据；按缺失值补齐虚拟冗长帧中缺失的字段，将虚拟冗长帧中的字段映射为输入数据对应的属性，按照各属性的类型转换为含有多个属性的一维向量。
其中，LSTM分类预测模型包括，输入层、隐藏层、输出层，其中，输入层由一系列神经元构成，用以获取输入数据的特征向量，隐藏层由两层LSTM层构成，每层LSTM层分别具有多个神经元，每个神经元对应一个LSTM记忆块，记忆块包含了自连接的状态神经元以及输入门、输出门和遗忘门，在同一时间步的LSTM层之间，采用正则化方法减少过拟合的影响，例如可采用dropout正则化方法，在学习过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。输出层为具有多个神经元的全连接层，分别对应需要预测的目标类别，通过归一化指数函数softmax激活函数，将隐藏层的输出转换为与分类预测类别相关的概率分布预测值
为加快神经网络的训练速度，根据公式：
确定原始损失函数，其中，
为对真实类别yt时间步t的预测值，T为当前序列的最大时间步。
进一步LSTM记忆块根据公式：
it＝σ(Wi·xt+Ui·ht-1+bi)
ft＝σ(Wf·xt+Uf·ht-1+bf)
ot＝σ(Wo·xt+Uo·ht-1+bo)
ct＝at⊙it+ct-1⊙ft
对LSTM记忆块结构模型向量进行更新，其中，ct、ft、it和ot分别为时间步t的状态神经元向量、遗忘门向量、输入门向量和输出门向量，at和ht为当前时间步的输入结点向量和输出结点向量，xt为当前时间步的LSTM记忆块的输入向量，ct-1和ht-1分别表示时间步t-1的状态向量和输出结点向量，φ和σ分别表示双曲正切tanh激活函数和sigmoid激活函数，⊙表示求向量的哈达玛积，W*与U*分别表示下标
所示对应结点对时间步t输入向量和t-1时间步输出结点向量的权重矩阵(下标
可为c,i,f,o其中之一)，bc，bi，bf，bo分别表示状态神经元、输入门、遗忘门和输出门对应的偏差值向量。
本发明还提出一种基于深度学习的无线局域网入侵检测方法，数据收集模块负责采集无线局域网数据作为样本，并进行数据集构建和划分，RNN学习模块读取数据集进行模型和参数学习构建习得模型，RNN验证模块根据数据收集模块提供的验证数据对习得模型进行验证和测试，验证和测试结果反馈给RNN学习模块进行优化，采集预处理模块实时采集目标网络数据包，对数据包进行过滤并处理成满足RNN神经网络要求的数据结构，同时向数据收集模块提供脱敏后的数据，识别模块从RNN学习模块获取习得模型对脱敏数据进行分类预测，结果处理模块根据识别模块分类预测的输出判断目标网络流量序列的类别，根据设置的优先级和处理方法进行不同粒度的处理。
具体的，识别模块从RNN学习模块获取计算图和学习好的参数构建前向传播网络，将采集预处理模块采集并处理好的数据作为输入向量输入到前向传播网络中，最终输出对该网络流量序列数据的类型的分类预测概率；所述结果处理模块获取识别模块的输出结果，判断该网络流量序列的类别，然后根据预设的优先级和处理方法进行不同粒度的处理，处理方法包括但不限于向责任人发出警报，接入目标网络实施防御等手段。
本发明利用LSTM循环神经网络挖掘无线局域网络流量数据之间存在的潜在关联关系，而不是对单条数据帧进行识别预测，提升了系统预测判断所依照的信息量，增大了入侵检测系统的处理粒度，有效降低误判率，同时不涉及网络负载数据，使得用户隐私能够得到有效保护。
本发明特别是适用于WiFi组网的智能家居系统。相较于传统入侵检测技术，本发明不涉及网络负载数据，能够提供良好的用户隐私保护，采用机器学习方法，能够通过数据自动化的学习适用的模型；采用深度学习，一般不需要事先对数据进行特征分析和数据预处理，只需要将数据转换为神经网络接受的数据结构即可，采用循环神经网络，能够挖掘网络流量序列中的长短期依赖关系。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的系统模块示意图；
图2为本发明实施例采用的循环神经网络结构示意图；
图3为本发明实施例采用的长短时记忆块示意图；
图4为802.11帧的基本结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种基于深度学习的无线局域网入侵检测系统，本系统包括：数据收集模块10、RNN学习模块20、RNN验证模块30、采集预处理模块40、RNN识别模块50、结果处理模块60，其中数据收集模块负责采集无线局域网数据作为样本，并进行数据集构建和划分，RNN学习模块读取构建和划分的数据集进行模型和参数学习构建习得模型，RNN验证模块对习得模型进行验证和测试，验证数据来自数据收集模块，反馈结果给RNN学习模块用以优化测试结果；采集预处理模块负责实时采集目标网络数据包，对数据包进行过滤之后处理成满足RNN神经网络处理要求的数据结构，同时向数据收集模块提供脱敏后的数据，识别模块从RNN学习模块获取习得的参数构建神经网络计算图，对实时数据进行分类预测，计算出该实时数据的类别概率，根据概率进行类别判断。结果处理模块根据识别模块分类预测的输出判断目标网络状态，根据设置的优先级和处理方法进行不同粒度的处理。
数据收集模块读取输入数据，对数据进行处理，根据数据来源的不同，采用相应的处理方式，如数据来源为样本网络产生的802.11帧数据为例，采集预处理模块将数据处理成神经网络可接受的数据结构，将构建的数据集可以按照6:2:2的比例随机划分为训练集、验证集和测试集，在本实施例中，每个数据帧被最终处理为含有多个(如本实施例为156个)属性的一维向量，其中最后一个属性为该数据帧所对应的类别标签，其余属性分别对应采集预处理模块中所述虚拟冗长帧中形成的特征向量属性。RNN学习模块根据长短时记忆循环神经网络LSTM分类预测模型构建前向网络计算图，将训练集按序列顺序输入到前向网络中，根据神经元计算公式进行前向迭代计算，计算得到对序列的预测值；根据序列的预测值计算损失函数，采用沿时间反向传播算法更新权重参数和偏置参数以最小化损失函数。
如图2所示为LSTM分类预测模型循环神经网络结构示意图，包括，输入层、隐藏层、输出层，图中∫符号表示相应的激活函数。
第一部分为输入层，该层的神经元对应于网络流量序列数据中单个时间步输入数据的各个属性，即802.11帧对应的特征向量。第二部分为隐藏层，该部分由一个或多个LSTM层构成，对输入序列数据进行分类预测，并在不同LSTM层之间使用dropout正则化方法增加神经网络的鲁棒性。第三部分为输出层，该层是承接最后一个LSTM层的全连接层，用以输出预测结果，通过相关激活函数将神经网络的输出转换为与分类预测类别相关的概率分布。
具体地，RNN学习模块采用的学习方法为：首先，观察所用神经网络特点人为设置超参数并利用服从高斯分布的随机参数初始化神经网络权重参数和偏差值；然后，输入数据，利用沿时间反向传播算法(back-propagation through time,BPTT)，优化权重参数和偏差值，最小化损失函数；最终获得最佳的权重参数和偏差值。所述损失函数为所有时间步(或部分时间步)上的损失函数的总和。所述超参数可由RNN验证模块提供调节方向。例如，输入层由一系列(如155个)神经元构成，用以获取输入数据的特征向量xt，其中t表示时间步的索引；隐藏层由多层LSTM层构成(图中所示为两层)，每个LSTM层分别具有多个(如128个)LSTM记忆块(memory cell)，每个记忆块包含了自连接的状态神经元以及输入、输出和遗忘门。在同一时间步的LSTM层之间，采用dropout正则化方法(概率系数可为0.9)，用于减少过拟合的影响，提升神经网络的鲁棒性。输出层为具有多个(如4个)神经元的全连接层，分别对应需要预测的目标类别(如可包括正常、洪泛攻击、注入攻击和冒用攻击4个目标类别)，通过softmax激活函数将隐藏层的输出转换为与分类预测类别相关的概率分布预测值
如图3所示为所述LSTM记忆块的结构，取值来自前层网络的当前时间步的LSTM记忆块的输入向量xt加上上一个时间步的输出结点向量ht-1经过tanh激活函数处理生成当前时间步的输入结点向量at，通过sigmoid激活函数处理产生当前时间步的输入门向量it、遗忘门向量ft、输出门向量ot；it通过与at进行向量积控制at是否能够成功输入，ft通过与ct-1进行向量积控制是否遗忘上一个时间步的状态向量，上述两个向量积相加产生当前时间步的状态向量ct，输出门向量ot则与经过tanh激活函数处理的ct进行向量积产生当前时间步的输出结点向量ht；ct继续参与下一个时间步的状态向量生成，ht继续参与下一个时间步的计算。相关计算公式如下。
it＝σ(Wi·xt+Ui·ht-1+bi)
ft＝σ(Wf·xt+Uf·ht-1+bf)
ot＝σ(Wo·xt+Uo·ht-1+bo)
ct＝at⊙it+ct-1⊙ft
其中，ct、ft、it和ot分别为当前时间步(时间t)的状态神经元向量、遗忘门向量、输入门向量和输出门向量，t表示时间步的索引，at和ht为当前时间步的输入结点向量和输出结点向量，图中的黑色方块表示来自上一个时间步，即ct-1和ht-1分别表示上一个时间步(时间步t-1)的状态向量和输出结点向量，
和σ分别表示tanh激活函数和sigmoid激活函数，⊙表示求向量的哈达玛积，W*与U*分别表示下标
所示对应结点(
分别对应表示状态神经元c、输入门i、遗忘门f和输出门o)对当前时间步(t)输入向量和前一时间步(t-1)输出结点向量的权重矩阵，bc，bi，bf，bo分别表示状态神经元、输入门、遗忘门和输出门对应的偏差值向量。
为加快神经网络的训练速度，在沿时间反向传播算法中采用随机梯度下降算法，优化代价函数，添加正则项之后的最终优化的目标函数是原始损失函数+l2正则项。为防止梯度爆炸，优化的代价函数为原始损失函数加上系数为10-6的L2范数(欧几里得范数)正则项，根据如下公式优化损失函数：
其中，
为对真实类别y的预测值，t为时间步，T为当前序列的最大时间步，ω为对应的权重参数。
RNN验证模块通过验证集数据对以上超参数的调节提供指导性指标，通过测试集数据对神经网络的学习情况进行测评。采集预处理模块实时对目标网络数据包进行监听，抓取目标网络流量数据，对抓取的数据包进行解析，并进行序列划分与分片，提取并补齐相关字段信息，将每一帧数据转换为等长的虚拟冗长帧，对相应字段进行归一化、数值化和嵌入表示处理，将虚拟冗长帧向量化。例如，本实施可采用基于libpcap数据包捕获函数库的网络监听技术，通过放置监听装置在目标网络环境中，对目标网络流量数据进行实时抓取，该流程为透明处理，对目标网络正常通信不产生影响，也不危害目标网络的安全性。通过数据包的源物理地址和目标物理地址进行匹配对数据包进行序列划分，构建双向通信流序列，并对超过20个帧的序列进行分片处理。
图4为802.11帧的基本结构和组成字段，802.11帧主要有三种类型，其中数据帧负责将上层协议的数据置于帧主体中加以传递；控制帧负责管理无线介质的访问以及提供MAC层所需的可靠性，以协助数据帧的传递；管理帧是三种类型帧中最为复杂的一种，提供如设备发现、身份验证以及设备关联等服务。虽然802.11帧具有相同的基本结构，但不同类型的帧在成帧细节上仍有较大的差异，其主要表现在管理帧与另外两种帧的不同。
过滤掉抓取数据中非目标网络的数据包以及目标网络中的非关键数据包；将抓取到的数据包按照802.11MAC帧格式进行解析；将解析的802.11帧按照设定的划分规则进行序列划分，每个802.11帧对应一个序列时间步；将划分好的序列按照设定好的分片规则进行分片，超过一定长度的分片需要进行截断处理；提取解析数据中各字段的数据，过滤掉无关的字段信息，构建虚拟冗长帧并将提取的数据写入其中，形成等长的待处理数据；按缺失值补齐虚拟冗长帧中缺失的字段；将虚拟冗长帧中的字段映射为输入数据对应的属性，按照各属性的类型转换为含有多个属性的一维向量。
本实施例中，通过构建虚拟冗长帧的方式，将三种类型的帧统一成相同的格式以方便进一步的处理。所述虚拟冗长帧具有统一的格式，即由三种类型帧的所有字段构成，其中不同类型帧转换得到的冗长帧中缺失的字段采用默认缺失值“-1”进行填充处理。
为将虚拟冗长帧转换为神经网络接受的数据结构，对相应字段进一步处理，具体可为，对与帧控制字段中的子类型字段类似的类别型字段，类别型字段为不连续的离散型特征，采用独热编码方式对其进行了编码处理，例如帧控制字段的子类型字段分别有9类，即可采用独热编码方式以9位编码分别将该字段标识为(100000000)，(010000000)，(001000000)，(000100000)，(000010000)，(000001000)，(000000100)，(000000010)，(000000001)；对与地址1字段类似的整数型字段，采用离差标准化方法对原始数据进行归一化处理，根据公式：
识别模块(50)从RNN学习模块(20)获取学习好的计算图和参数，构建用于识别的前向神经网络，将采集预处理模块(40)输出的序列向量作为前向神经网络的输入，前向神经网络输出对序列数据的分类预测概率向量。结果处理模块(60)接收识别模块输出的分类预测概率向量，判断目标网络中流量的类别，若为正常流量，则不进行处理，如为异常流量，则按照设定的处理规则进行处理。以发现注入攻击为例，结果处理模块向责任人报告本次入侵，并建议目标网关停止接收入侵源的数据。
采集预处理模块主要包括数据实时采集和数据预处理两个阶段。其中，数据实时采集阶段负责采集目标无线局域网中的所有数据包，可采用不同方式进行，包括但不限于接入目标网络接收网关转发数据包，监听模式捕获工作环境数据包等方式；数据预处理阶段负责对采集的数据进行实时过滤并将其预处理为神经网络能够处理的数据结构，下面以802.11MAC帧数据包为例具体说明采集和处理步骤：
(1)按需过滤：按照设定需求过滤掉抓取数据中非目标网络的数据包以及目标网络中的非关键数据包；
(2)解析802.11MAC帧：将抓取到的数据包按照802.11MAC帧格式进行解析；
(3)序列划分：将解析的802.11帧按照设定的划分规则进行序列划分，每一个802.11帧对应一个序列时间步；
(4)序列分片：将划分好的序列按照设定好的分片规则进行分片，超过一定长度的分片需要进行截断处理；
(5)提取各字段信息，写入虚拟冗长帧：提取解析数据中各字段的数据，其中需过滤掉无关的字段信息，如数据帧的负载数据信息以及非标准的商用定制标签等，然后构建虚拟冗长帧并将提取的数据写入其中，形成等长的待处理数据。所述虚拟冗长帧为一种含有所有可能字段的802.11帧的理论表示，不同类型的帧均可表示成等长的虚拟冗长帧，其中特定类型帧中不存在的字段将按照缺失值进行处理；
(6)缺失域补齐：将构建的虚拟冗长帧中缺失的字段按缺失值进行补齐；
(7)映射对应属性：将虚拟冗长帧中的字段映射为输入数据对应的属性；
(8)对属性进行数值化、归一化以及嵌入表示处理：按照各属性的类型，对其进行对应的处理，转换为神经网络可以处理的数据结构，即含有多个属性的一维向量。
Claims (8)
1.一种基于深度学习的无线局域网入侵检测系统，其特征在于：包括数据收集模块(10)、RNN学习模块(20)、RNN验证模块(30)、采集预处理模块(40)、识别模块(50)和结果处理模块(60),其中数据收集模块负责采集无线局域网数据作为样本，并进行数据集构建和划分，RNN学习模块读取数据集进行模型和参数学习构建习得模型，RNN验证模块根据数据收集模块提供的验证数据对习得模型进行验证和测试，验证和测试结果反馈给RNN学习模块进行优化，采集预处理模块实时采集目标网络数据包，对数据包进行过滤并处理成满足RNN神经网络要求的数据结构，同时向数据收集模块提供脱敏后的数据，识别模块从RNN学习模块获取习得模型对脱敏数据进行分类预测，结果处理模块根据识别模块分类预测的输出判断目标网络流量序列的类别，根据设置的优先级和处理方法进行不同粒度的处理；
数据收集模块将数据集按照比例随机划分为训练集、验证集和测试集，每个数据帧被处理为含有多个属性的一维向量，其中最后一个属性为该数据帧所对应的类别标签，其余属性分别对应虚拟冗长帧中形成的特征向量属性；
所述虚拟冗长帧具有统一的格式，即由三种类型帧的所有字段构成，其中不同类型帧转换得到的冗长帧中缺失的字段采用默认缺失值“-1”进行填充处理；为将虚拟冗长帧转换为神经网络接受的数据结构，对相应字段进一步处理，具体为：对与帧控制字段中的子类型字段类似的类别型字段，类别型字段为不连续的离散型特征，采用编码方式对其进行编码处理；对与地址1字段类似的整数型字段，采用离差标准化方法对原始数据进行归一化处理；对与essid类似的字符型字段，采用句向量的形式对其进行嵌入表示；对与信号强度类似的数值型字段，进行数值转换处理。
2.根据权利要求1所述的系统，其特征在于：RNN学习模块根据LSTM长短时记忆循环神经网络构建前向网络计算图，将训练集按序列顺序输入到前向网络中，得到序列的预测值，根据序列预测值计算损失函数，更新权重参数和偏置参数以最小化损失函数。
3.根据权利要求1或2所述的系统，其特征在于：识别模块从RNN学习模块获取计算图和学习参数构建前向传播网络，将采集预处理模块提供的数据作为输入向量输入到前向传播网络中，获取对该网络流量序列数据类型的分类预测概率。
4.一种基于深度学习的无线局域网入侵检测方法，其特征在于：数据收集模块负责采集无线局域网数据作为样本，并进行数据集构建和划分，RNN学习模块读取数据集进行模型和参数学习构建习得模型，RNN验证模块根据数据收集模块提供的验证数据对习得模型进行验证和测试，验证和测试结果反馈给RNN学习模块进行优化，采集预处理模块实时采集目标网络数据包，对数据包进行过滤并处理成满足RNN神经网络要求的数据结构，同时向数据收集模块提供脱敏后的数据，识别模块从RNN学习模块获取习得模型对脱敏数据进行分类预测，结果处理模块根据识别模块分类预测的输出判断目标网络流量序列的类别，根据设置的优先级和处理方法进行不同粒度的处理；
数据收集模块将数据集按照比例随机划分为训练集、验证集和测试集，每个数据帧被处理为含有多个属性的一维向量，其中最后一个属性为该数据帧所对应的类别标签，其余属性分别对应虚拟冗长帧中形成的特征向量属性；
所述虚拟冗长帧具有统一的格式，即由三种类型帧的所有字段构成，其中不同类型帧转换得到的冗长帧中缺失的字段采用默认缺失值“-1”进行填充处理；为将虚拟冗长帧转换为神经网络接受的数据结构，对相应字段进一步处理，具体为：对与帧控制字段中的子类型字段类似的类别型字段，类别型字段为不连续的离散型特征，采用编码方式对其进行编码处理；对与地址1字段类似的整数型字段，采用离差标准化方法对原始数据进行归一化处理；对与essid类似的字符型字段，采用句向量的形式对其进行嵌入表示；对与信号强度类似的数值型字段，进行数值转换处理。
5.根据权利要求4所述的方法，其特征在于：RNN学习模块根据长短时记忆循环神经网络LSTM分类预测模型构建前向网络计算图，将训练集按序列顺序输入到前向网络中，得到序列的预测值，根据序列预测值计算损失函数，更新权重参数和偏置参数以最小化损失函数。
6.根据权利要求4或5所述的方法，其特征在于：识别模块从RNN学习模块获取计算图和学习参数构建前向传播网络，将采集预处理模块提供的数据作为输入向量输入到前向传播网络中，获取对该网络流量序列数据类型的分类预测概率。
7.根据权利要求6所述的方法，其特征在于：对数据包进行过滤并处理成满足RNN神经网络要求的数据结构具体包括，过滤掉抓取数据中非目标网络的数据包以及目标网络中的非关键数据包，将过滤后的数据包按照802.11MAC帧格式进行解析，按每个802.11帧对应一个序列时间步的规制对解析数据进行序列划分，并按照预定长度分片，提取解析数据中各字段的数据，构建虚拟冗长帧并将提取的数据写入其中，形成等长的待处理数据；按缺失值补齐虚拟冗长帧中缺失的字段，将虚拟冗长帧中的字段映射为输入数据对应的属性，按照各属性的类型转换为含有多个属性的一维向量。
8.根据权利要求6所述的方法，其特征在于：为加快神经网络的训练速度，根据公式：
确定原始损失函数，其中，
为对真实类别yt时间步t的预测值，T为当前序列的最大时间步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910102673.0A CN109698836B (zh) | 2019-02-01 | 2019-02-01 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910102673.0A CN109698836B (zh) | 2019-02-01 | 2019-02-01 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109698836A CN109698836A (zh) | 2019-04-30 |
| CN109698836B true CN109698836B (zh) | 2021-07-23 |
Family
ID=66234738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910102673.0A Active CN109698836B (zh) | 2019-02-01 | 2019-02-01 | 一种基于深度学习的无线局域网入侵检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109698836B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111901134B (zh) * | 2019-05-05 | 2023-04-07 | 中国移动通信集团四川有限公司 | 一种基于循环神经网络模型rnn的预测网络质量的方法和装置 |
| CN110225019B (zh) * | 2019-06-04 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 一种网络安全处理方法和装置 |
| CN110166484A (zh) * | 2019-06-06 | 2019-08-23 | 中国石油大学(华东) | 一种基于LSTM-Attention网络的工业控制系统入侵检测方法 |
| CN110519273B (zh) * | 2019-08-28 | 2021-11-02 | 杭州迪普科技股份有限公司 | 入侵防御方法和装置 |
| CN110401955B (zh) * | 2019-09-06 | 2023-03-24 | 江门职业技术学院 | 一种移动网络恶意节点检测方法及系统 |
| CN112787878B (zh) * | 2019-11-08 | 2023-03-14 | 大唐移动通信设备有限公司 | 一种网络指标的预测方法及电子设备 |
| CN110995815B (zh) * | 2019-11-27 | 2022-08-05 | 大连民族大学 | 一种基于Gaia大数据分析系统的信息传输方法 |
| CN111783442A (zh) * | 2019-12-19 | 2020-10-16 | 国网江西省电力有限公司电力科学研究院 | 入侵检测方法、设备和服务器、存储介质 |
| CN111200564B (zh) * | 2019-12-24 | 2022-09-06 | 大连理工大学 | 一种基于多通道卷积神经网络的高效网络流量识别方法 |
| CN111274216B (zh) * | 2020-01-09 | 2023-05-23 | 腾讯科技（深圳）有限公司 | 无线局域网的识别方法、识别装置、存储介质及电子设备 |
| CN111586051B (zh) * | 2020-05-08 | 2021-06-01 | 清华大学 | 一种基于超图结构质量优化的网络异常检测方法 |
| CN111753464B (zh) * | 2020-05-29 | 2022-07-15 | 中国科学技术大学 | 一种无人直升机模型在线学习方法及系统 |
| CN111698258B (zh) * | 2020-06-18 | 2023-02-07 | 上海第二工业大学 | 一种基于WiFi的环境入侵检测方法和系统 |
| CN111797386A (zh) * | 2020-06-28 | 2020-10-20 | 四川长虹电器股份有限公司 | 一种基于物联网用户行为可信的检测方法 |
| CN111931252B (zh) * | 2020-07-28 | 2022-05-03 | 重庆邮电大学 | 一种基于滑动窗口和cenn的车载can入侵检测方法 |
| CN111966711A (zh) * | 2020-09-01 | 2020-11-20 | 杭州安恒信息技术股份有限公司 | 一种物联网设备入侵检测方法、装置、设备及存储介质 |
| CN112036496A (zh) * | 2020-09-02 | 2020-12-04 | 哈尔滨工程大学 | 一种核动力装置故障诊断方法及系统 |
| CN112398875B (zh) * | 2021-01-18 | 2021-04-09 | 北京电信易通信息技术股份有限公司 | 视频会议场景下基于机器学习的流数据安全漏洞探测方法 |
| CN112822206B (zh) * | 2021-01-29 | 2021-12-07 | 清华大学 | 网络协同攻击行为的预测方法、装置以及电子设备 |
| CN112949739A (zh) * | 2021-03-17 | 2021-06-11 | 中国电子科技集团公司第二十九研究所 | 一种基于智能流量分类的信息传输调度方法及系统 |
| CN113268733B (zh) * | 2021-04-22 | 2022-05-03 | 中国科学院信息工程研究所 | 一种基于神经网络的容器挖矿异常检测方法及系统 |
| CN114091280B (zh) * | 2021-11-26 | 2022-07-05 | 江苏汉华热管理科技有限公司 | 一种石墨化炉保温系统稳定性检测方法及装置 |
| CN115174132B (zh) * | 2022-05-13 | 2024-02-06 | 华北电力大学 | 一种基于网络流量的电力物联网入侵检测方法 |
| CN116032359A (zh) * | 2022-12-27 | 2023-04-28 | 中国联合网络通信集团有限公司 | 特征网络数据的预测方法、系统及电子设备 |
| CN117061255B (zh) * | 2023-10-12 | 2024-01-19 | 国网江苏省电力有限公司苏州供电分公司 | 电力信息系统的入侵检测方法、模型训练方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935600B (zh) * | 2015-06-19 | 2019-03-22 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的移动自组织网络入侵检测方法与设备 |
| CN105141455B (zh) * | 2015-08-24 | 2018-08-17 | 西南大学 | 一种基于统计特征的有噪网络流量分类建模方法 |
| US10832168B2 (en) * | 2017-01-10 | 2020-11-10 | Crowdstrike, Inc. | Computational modeling and classification of data streams |
| CN108574668B (zh) * | 2017-03-10 | 2020-10-20 | 北京大学 | 一种基于机器学习的DDoS攻击流量峰值预测方法 |
| US10375585B2 (en) * | 2017-07-06 | 2019-08-06 | Futurwei Technologies, Inc. | System and method for deep learning and wireless network optimization using deep learning |
| CN107730087A (zh) * | 2017-09-20 | 2018-02-23 | 平安科技（深圳）有限公司 | 预测模型训练方法、数据监控方法、装置、设备及介质 |
| CN107948166B (zh) * | 2017-11-29 | 2020-09-25 | 广东亿迅科技有限公司 | 基于深度学习的流量异常检测方法及装置 |
| CN108200030A (zh) * | 2017-12-27 | 2018-06-22 | 深信服科技股份有限公司 | 恶意流量的检测方法、系统、装置及计算机可读存储介质 |
| CN108900542B (zh) * | 2018-08-10 | 2021-03-19 | 海南大学 | 基于LSTM预测模型的DDoS攻击检测方法及装置 |
| CN108985268B (zh) * | 2018-08-16 | 2021-10-29 | 厦门大学 | 基于深度迁移学习的归纳式雷达高分辨距离像识别方法 |
-
2019
- 2019-02-01 CN CN201910102673.0A patent/CN109698836B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109698836A (zh) | 2019-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109698836B (zh) | 一种基于深度学习的无线局域网入侵检测方法和系统 | |
| CN108566364B (zh) | 一种基于神经网络的入侵检测方法 | |
| CN109447162B (zh) | 一种基于Lora和Capsule的实时行为识别系统及其工作方法 | |
| CN111629006B (zh) | 融合深度神经网络和层级注意力机制的恶意流量更新方法 | |
| CN107241358B (zh) | 一种基于深度学习的智能家居入侵检测方法 | |
| CN114615093B (zh) | 基于流量重构与继承学习的匿名网络流量识别方法及装置 | |
| CN111669384B (zh) | 融合深度神经网络和层级注意力机制的恶意流量检测方法 | |
| CN113242259B (zh) | 网络异常流量检测方法及装置 | |
| CN109446804B (zh) | 一种基于多尺度特征连接卷积神经网络的入侵检测方法 | |
| CN113179244B (zh) | 一种面向工业互联网边界安全的联邦深度网络行为特征建模方法 | |
| CN111669385B (zh) | 融合深度神经网络和层级注意力机制的恶意流量监测系统 | |
| CN112087442A (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
| CN112367303B (zh) | 分布式自学习异常流量协同检测方法及系统 | |
| CN114372530A (zh) | 一种基于深度自编码卷积网络的异常流量检测方法及系统 | |
| CN113556319B (zh) | 物联网下基于长短期记忆自编码分类器的入侵检测方法 | |
| CN112019529B (zh) | 新能源电力网络入侵检测系统 | |
| Chen et al. | Network anomaly detection based on deep support vector data description | |
| Abdullah et al. | An artificial deep neural network for the binary classification of network traffic | |
| Yao | A network intrusion detection approach combined with genetic algorithm and back propagation neural network | |
| CN114445671A (zh) | 一种基于设备类型的异常流量检测方法及装置 | |
| CN115277888B (zh) | 一种移动应用加密协议报文类型解析方法及系统 | |
| CN114358177A (zh) | 一种基于多维度特征紧凑决策边界的未知网络流量分类方法及系统 | |
| Vartouni et al. | Auto-threshold deep SVDD for anomaly-based web application firewall | |
| CN111008687A (zh) | 一种物联网边缘节点安全的神经网络监测模型 | |
| CN114726800B (zh) | 一种基于模型解释的规则式应用流量分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240508 Address after: 215143, M area, north side, 7th floor, Building 6, No. 2996 Taidong Road, Huangdai Town, Xiangcheng District, Suzhou City, Jiangsu Province Patentee after: Suzhou Wenzhi Xingyi Digital Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2 Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |