CN112134873A - 一种IoT网络异常流量实时检测方法及系统 - Google Patents

Abstract

本发明涉及一种IoT网络异常流量实时检测方法及系统。本发明首先使用主动探测和被动发现相结合的方式提取物联网流量特征；其次，使用核主成分分析法对提取的特征向量进行维度约简以减小冗余特征对检测器的影响以提高检测准确度；最后，使用重新生成的低维特征向量训练基于条件深度信念网络的IoT网络流量检测器，在此过程中，数据以窗口的形式序列输入条件深度信念网络模型。本发明能够实时准确的检测IoT网络异常流量，确保物联网内设备和通信安全。

Description

一种IoT网络异常流量实时检测方法及系统

技术领域

本发明涉及物联网(Internet of Things，IoT)安全技术领域，特别是涉及一种IoT网络异常流量实时检测方法及系统。

背景技术

随着物联网设备的普及以及物联网技术的快速应用，基于物联网设备和技术广泛应用于智能家居、智慧医疗、智能交通、智能楼宇、智慧城市等场景。物联网给人类生活带来了便利，但由于网内通信也引起了诸多网络安全问题。研究发现，当前主流的数物联网设备固件存在后门，这会导致其泄露敏感信息，此外，物联网设备通信协议的脆弱性也给整个物联网系统带来了安全隐患。针对物联网的安全事件频发催生了针对物联网安全通信层面攻击检测技术的发展，其中通过检测物联网中的异常流量可有效发现网络中的攻击行为。传统的异常流量检测技术主要包括基于特征匹配技术。强依赖网络中已发生的事件，需要不断制定更新规则来判断是否有攻击行为发生，且该类方法检测准确度不高。此外，基于物联网系统的较强实时性，及时识别攻击并给出警告对系统内设备安全稳定运行至关重要，因此，针对物联网内流量提出一套精准、高效的实时检测方法对保障物联网内网乃至整个网络安全稳定具有重大意义。

发明内容

本发明的目的是提供一种IoT网络异常流量实时检测方法及系统，以解决现有的网络异常流量检测方法需要不断设定检测规则，检测准确度低，且无法实时识别攻击并发出警告的问题。

为实现上述目的，本发明提供了如下方案：

一种IoT网络异常流量实时检测方法，包括：

定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数；

基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCPSYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击；

根据攻击网络流量生成攻击特征向量；

根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量；

对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量；

将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器；

利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

可选的，所述对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量，具体包括：

获取所述重组高维特征向量中的最大元素值和最小元素值，并对所述最大元素值以及所述最小元素值进行归一化处理，确定归一化处理后的特征向量；

利用高斯核函数将所述归一化处理后的特征向量映射到再生核希尔伯特空间，生成再生核希尔伯特空间特征向量；

获取特征向量样本集，并基于所述再生核希尔伯特空间特征向量求解所述特征向量样本集对应的主成分；

根据所述主成分构建求解矩阵，并基于所述求解矩阵确定重组低维特征向量。

可选的，所述将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器，具体包括：所述条件深度信念网络包括一层受限高斯伯努利玻尔兹曼机CGBRBM网络和若干层玻尔兹曼机RBM网络；

将所述重组低维特征向量和所述攻击特征向量组成一个数据集，按照训练数据与测试数据比例为7:3的原则将所述数据集划分为训练集和测试集；

利用所述训练集对所述条件深度信念网络进行预训练，初始化所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述CGBRBM网络的能量函数；

根据所述CGBRBM网络的能量函数确定所述CGBRBM网络的隐含层和可见层单元的条件概率分布；

基于所述CGBRBM网络的隐含层和可见层单元的条件概率分布，利用对比发散算法更新所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，确定更新后的CGBRBM网络；

初始化所述RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述RBM网络的能量函数；

根据所述RBM网络的能量函数更新所述RBM网络的隐含层和可见层之间的权重和偏执，确定更新后的RBM网络；

定义微调过程中的微调学习率，并根据所述微调学习率确定所述条件深度信念网络中隐含层的最优权重和最优偏执，以及所述条件深度信念网络中输出层的权重向量以及偏执值；

根据所述更新后的CGBRBM网络、所述更新后的RBM网络、所述隐含层的最优权重和最优偏执以及所述输出层的权重向量以及偏执值构建IoT异常流量检测器。

可选的，所述将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器，之后还包括：

利用所述测试集测试所述IoT异常流量检测器的性能。

可选的，所述利用所述测试集测试所述IoT异常流量检测器的性能，具体包括：

将所述测试集输入至所述IoT异常流量检测器，确定特征输出参数；所述特征输出参数包括真阳率、假阳率、假阴率以及真阴率；

根据所述特征输出参数确定检测准确度、精度以及召回率；

根据所述检测准确度、所述精度以及所述召回率测试所述IoT异常流量检测器的性能。

一种IoT网络异常流量实时检测系统，包括：

信息获取模块，用于定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数；

攻击网络流量获取模块，用于基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCPSYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击；

攻击特征向量生成模块，用于根据攻击网络流量生成攻击特征向量；

重组高维特征向量确定模块，用于根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量；

重组低维特征向量确定模块，用于对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量；

IoT异常流量检测器构建模块，用于将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器；

检测模块，用于利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

可选的，所述重组低维特征向量确定模块具体包括：

归一化处理单元，用于获取所述重组高维特征向量中的最大元素值和最小元素值，并对所述最大元素值以及所述最小元素值进行归一化处理，确定归一化处理后的特征向量；

映射单元，用于利用高斯核函数将所述归一化处理后的特征向量映射到再生核希尔伯特空间，生成再生核希尔伯特空间特征向量；

主成分确定单元，用于获取特征向量样本集，并基于所述再生核希尔伯特空间特征向量求解所述特征向量样本集对应的主成分；

重组低维特征向量确定单元，用于根据所述主成分构建求解矩阵，并基于所述求解矩阵确定重组低维特征向量。

可选的，所述IoT异常流量检测器构建模块具体包括：所述条件深度信念网络包括一层受限高斯伯努利玻尔兹曼机CGBRBM网络和若干层玻尔兹曼机RBM网络；

划分单元，用于将所述重组低维特征向量和所述攻击特征向量组成一个数据集，按照训练数据与测试数据比例为7:3的原则将所述数据集划分为训练集和测试集；

CGBRBM网络的能量函数定义单元，用于利用所述训练集对所述条件深度信念网络进行预训练，初始化所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述CGBRBM网络的能量函数；

CGBRBM网络的隐含层和可见层单元的条件概率分布确定单元，用于根据所述CGBRBM网络的能量函数确定所述CGBRBM网络的隐含层和可见层单元的条件概率分布；

更新后的CGBRBM网络确定单元，用于基于所述CGBRBM网络的隐含层和可见层单元的条件概率分布，利用对比发散算法更新所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，确定更新后的CGBRBM网络；

RBM网络的能量函数定义单元，用于初始化所述RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述RBM网络的能量函数；

更新后的RBM网络确定单元，用于根据所述RBM网络的能量函数更新所述RBM网络的隐含层和可见层之间的权重和偏执，确定更新后的RBM网络；

参数确定单元，用于定义微调过程中的微调学习率，并根据所述微调学习率确定所述条件深度信念网络中隐含层的最优权重和最优偏执，以及所述条件深度信念网络中输出层的权重向量以及偏执值；

IoT异常流量检测器构建单元，用于根据所述更新后的CGBRBM网络、所述更新后的RBM网络、所述隐含层的最优权重和最优偏执以及所述输出层的权重向量以及偏执值构建IoT异常流量检测器。

可选的，还包括：

测试模块，用于利用所述测试集测试所述IoT异常流量检测器的性能。

可选的，所述测试模块具体包括：

特征输出参数确定单元，用于将所述测试集输入至所述IoT异常流量检测器，确定特征输出参数；所述特征输出参数包括真阳率、假阳率、假阴率以及真阴率；

检测准确度、精度以及召回率确定单元，用于根据所述特征输出参数确定检测准确度、精度以及召回率；

测试单元，用于根据所述检测准确度、所述精度以及所述召回率测试所述IoT异常流量检测器的性能。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种IoT网络异常流量实时检测方法及系统，本发明针对IoT网络内流量进行分析，采用主动探测和被动发现的方式统计网络流量特征，对特征数据归一化后采用核主成分分析法将原始特征向量进行约简，使用约简后的数据训练基于条件深度信念网络的实时异常流量检测器，提高了检测准确性；同时，本发明采用条件深度信念网络作为检测器，该检测模型实时性强，检测准确度高且更加鲁棒。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的IoT网络异常流量实时检测方法流程图；

图2为本发明所提供的另一种IoT网络异常流量实时检测方法流程图；

图3为本发明所提的基于条件深度信念网络检测器训练示意图；

图4为本发明所提供的检测方法在数据约简前后的检测效果示意图；

图5为本发明所提供的IoT网络异常流量实时检测系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种IoT网络异常流量实时检测方法及系统，能够在线实时检测IoT内网络异常流量。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明为克服网关对IoT网络内的业务流量的影响，首先通过主动探测和被动发现结合的方式对网络中的物联网流量信息进行提取，前者中使用主动探测方式统计时间窗口内IoT流量中包含的物联网终端的指纹特征；后者中使用被动发现方式发现通过网关的物联网终端流量并对其进行分析以提取时间窗口内网络流量交互特征信息，之后使用核主成分分析法(Principal Component Analysis，PCA)剔除二者过程中获取的冗余信息得到低维流量特征数据集。使用特征数据集训练基于条件深度信念网络(Conditional DeepBelief Network，CDBN)的检测器实现了IoT中异常流量的在线检测。本发明建立了高效精准的实时的IoT中异常流量检测方法，保障了IoT内网环境乃至整个IoT网络的安全稳定运行。

图1为本发明所提供的IoT网络异常流量实时检测方法流程图，如图1所示，一种IoT网络异常流量实时检测方法，包括：

步骤101：定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数。

步骤102：基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCPSYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击。

步骤103：根据攻击网络流量生成攻击特征向量。

步骤104：根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量。

步骤105：对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量。

步骤106：将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器。

步骤107：利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

在实际应用中，本发明还可以由以下方法实现：

一种实时的IoT网络异常流量检测方法，基于主动探测、被动发现的流量特征提取，核主成分分析方法的数据约简，条件深度信念网络的实时检测流程图如图2所示，包括如下步骤：

步骤S1：定义时间窗口w＝{t,t₁,...,t_w-1}，在t时刻通过主动探测方式记录IoT中的物联网终端的指纹信息，所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类、设备厂商号。

步骤S2：在时间窗口w内以被动发现的方式记录IoT内不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数、设备厂商数。

步骤S3：在时间窗口w内以被动发现的方式分析并记录IoT内网络流量交互信息，包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的比特每秒(bits per second，bps)数、向设备发送报文的bps数。

步骤S4：构造攻击网络流量，按步骤S1-S3记录攻击流量信息数据。攻击种类包括TCP SYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击、中间人攻击。

步骤S5：针对正常流量和攻击流量生成正常特征向量和攻击特征向量。采用步骤S1中的6种数值特征，步骤S2中的5种定量指标，及步骤S3中的13种定量指标作为IoT内网络流量特征，重组成具有24维的较高维特征向量。

步骤S6：按如下步骤对重组后的较高维特征向量内的特征数据进行归一化处理，并使用核主成分分析法对归一化的特征向量进行约简：

步骤S601：定义特征向量F_i＝(f₁,f₂,...,f₂₄),i＝1,2,...，其中最大元素值和最小元素值分别为max(F)和min(F)，归一化处理特征数据为：

步骤S602：对归一化处理的特征向量进行约简处理。首先，定义新的特征向量F_i'＝(f₁',f₂',...,f₂'₄),i＝1,2,...，使用高斯核函数k(.)将F'映射到再生核希尔伯特空间(Reproduction Kernel Hilbert Space，RKHS)生成再生核希尔伯特空间特征向量k(F',.)。

步骤S603：定义新的特征向量样本集为G∈R^24×n，根据以下公式求解样本集对应的主成分：

其中n样本集中的样本数量，

1为元素全1的n维向量，k(G,.)＝[k(F₁,.),k(F₂,.),...,k(F_n,.)]∈R^∞×n；V∈R^∞×m为所需求解的样本转换矩阵，即k(F',.)转换得到的主成分为V^Tk(F',.)，m≤24为降维后的得到的主成分个数(维度)。

步骤S604：求解样本转换矩阵V∈R^∞×m，令V＝k(G,.)L(L∈R^n×m)，主成分可表示为V^Tk(F',.)＝L^T[k(x_i,.)^Tk(x_j,.)]_1≤i,j≤n，求解样本矩阵V转化为求解矩阵L：

步骤S605：使用IPOPT软件求解上述线性模型得矩阵L＝[l₁,l₂,...,l_m]，其中l_i(1≤i≤m)为KHK的第i个特征值λ_i对应的特征向量；

为G中n条样本降维后在第i个主成分上的取值。

步骤S606：任取小于24的正整数赋值于m，代入步骤S601-S605，确定重组低维特征向量，实现特征向量维度约简。

步骤S7：将正常和攻击特征向量分为训练数据集和测试数据集，使用正常特征向量对条件深度信念网络进行与训练和微调，可按如下步骤构建基于条件深度信念网络的IoT异常流量检测器。

步骤S701：按一定比例(7:3)将数据集分为训练数据集和测试数据集；

步骤S702：使用训练数据集对条件深度信念网络进行预训练，首先初始化CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执。定义如下能量函数：

式中v_j为可见层向量中的第j个元素，h_i是隐藏层向量的第i个元素，w_ij是可见单元和隐藏单元之间权重矩阵中的第ij的元素，

为可见层中第j个元素的标准差，n和m为隐含层和可见层中的节点数，b和c为隐含层向量和可见层向量的偏执，d_i和c_i可按如下公式计算：

其中v_t-k为第k可见层向量；

步骤S703：基于公式(4)可按以下公式计算隐含层和可见层单元的条件概率分布：

步骤S704：使用对比发散算法(Contrastive Divergence，CD)更新CGBRBM的参数如下：

其中w_ij，a_ijk和b_ijk为层间单元的权重，<.>_l和<.>_m为通过训练数据和模型分布计算的概率分布；

步骤S705：初始化RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执。定义如下能量函数：

式中v_j是可见层向量中的第j个元素，h_i是隐藏层向量的第i个元素，w_ij是可见单元和隐藏单元之间权重矩阵中的第ij的元素。定义d_i和c_i为藏层偏执向量中的第i个元素和可见层偏执向量中的第j个元素；

步骤S706：基于公式(8)，隐含层和可见层之间的权重和偏执可采用如下公式进行更新：

式中α是学习速率，<.>_m和<.>_l为基于训练数据和模型分布计算的期望；至此，CGBRBM和RBM的与训练过程完毕；

步骤S707：微调过程中定义微调学习率η，以第h个隐含层为例使用如下公式进行微调获取最优权重和偏执：

式中△W_h,i,j和△d_h,j为权重矩阵中第ij个元素和偏执向量中的第j个元素，p_h-1,j为第h-1个隐含层中的第j个元素的激活概率，δ_h,j可通过如下公式计算：

其中M为第h+1个隐含层向量的元素个数，W_h+1,j,k和p_h,j为第h+1个隐含层节点对应的权重矩阵中的第jk个元素和激活概率；

步骤S708：按如下公式更新输出层单元的权重向量和偏执值：

其中△W_o,j为权重向量中第j个元素的更新值，△d_o为偏执的更新值，p_H,j为最后隐含层h＝H向量中第j个元素的更新值，式中δ_o的计算公式如下：

δ_o＝p_o(1-p_o)(l_o-L) (13)

其中l_o和L为模型预测的输出标签和真实的输出标签，p_o为单个输出单元的激活概率，重复步骤S701-S708可训练基于条件深度信念网络的实时IoT检测器；

步骤S8：使用训练好的条件深度信念网络检测器实现对IoT内异常流量的实时检测，可按如下步骤进行操作：

步骤S801：设n个时间点对应的测试数据序列为S_n＝{x_t1,x_t2,...,x_tn}，以窗口大小为△向训练好的模型中输入测试数据；

步骤S802：输入全部测试数据，对比输入数据标签和输出数据标签，计算真阳率(Ture Positive，TP)，假阳率(False Positive，FP)，假阴率(False Negative，FN)，真阴率(True Negative，TN)；

步骤S803：按照如下公式计算检测准确度(Accuracy)，精度(Precision)和召回率(Recall)：

Precision＝TP/(TP+FP)*100％；

Recall＝TP/(TP+FN)*100％；

Accuracy＝(TP+TN)/(TP+FN+TN+FP)。

本发明采用真实物联网环境对所提方法进行验证，物联网环境中包括6个物联网设备和2台PC，设备间通信采用Wi-Fi网络。其中，物联网设备包括1个家庭智能网关、4个不同品牌的网络摄像头和一个智能恒温器。收集了的连续3天内的网络流量，其中每小时中的后20分钟为攻击流量。按经验，本发明选择2秒作为特征提取的时间窗口，生成含86400个正常特征向量和43200个异常特征向量的数据集，按7：3的比例将数据集分为训练和测试数据，如图3所示，将训练数据输入条件深度信念网络训练检测器。

图4为本发明所提供的检测方法在数据约简前后的检测效果示意图，预设条件深度信念网络中的隐含层数为5，数据序列输入窗口大小△＝5，使用核主成分分析法将原始数据约简至12维。从图4中可以看出，使用本发明所提的数据约简方法可有效提高检测效果，降维前的检测准确度为96.58％，检测精度为96.72％，召回率96.43％；降维后的检测准确度为97.76％，检测精度为97.85％，召回率为97.69％。

表1为所提出的基于核主成分分析法，条件深度信念网络的IoT网络异常流量的检测方法的检测效果示意表，从表1中可以看出，使用本发明所提方法，当条件深度信念网络中隐含层数为6时，检测效果最佳，此时，检测准确度为98.65％，平均检测时间为1.22ms，实现了精准的IoT网络异常流量的实时性检测。

表1

图5为本发明所提供的IoT网络异常流量实时检测系统结构图，如图5所示，一种IoT网络异常流量实时检测系统，包括：

信息获取模块501，用于定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数。

攻击网络流量获取模块502，用于基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCPSYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击。

攻击特征向量生成模块503，用于根据攻击网络流量生成攻击特征向量。

重组高维特征向量确定模块504，用于根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量。

重组低维特征向量确定模块505，用于对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量。

所述重组低维特征向量确定模块505具体包括：归一化处理单元，用于获取所述重组高维特征向量中的最大元素值和最小元素值，并对所述最大元素值以及所述最小元素值进行归一化处理，确定归一化处理后的特征向量；映射单元，用于利用高斯核函数将所述归一化处理后的特征向量映射到再生核希尔伯特空间，生成再生核希尔伯特空间特征向量；主成分确定单元，用于获取特征向量样本集，并基于所述再生核希尔伯特空间特征向量求解所述特征向量样本集对应的主成分；重组低维特征向量确定单元，用于根据所述主成分构建求解矩阵，并基于所述求解矩阵确定重组低维特征向量。

IoT异常流量检测器构建模块506，用于将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器。

所述IoT异常流量检测器构建模块506具体包括：所述条件深度信念网络包括一层受限高斯伯努利玻尔兹曼机CGBRBM网络和若干层玻尔兹曼机RBM网络；划分单元，用于将所述重组低维特征向量和所述攻击特征向量组成一个数据集，按照训练数据与测试数据比例为7:3的原则将所述数据集划分为训练集和测试集；CGBRBM网络的能量函数定义单元，用于利用所述训练集对所述条件深度信念网络进行预训练，初始化所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述CGBRBM网络的能量函数；CGBRBM网络的隐含层和可见层单元的条件概率分布确定单元，用于根据所述CGBRBM网络的能量函数确定所述CGBRBM网络的隐含层和可见层单元的条件概率分布；更新后的CGBRBM网络确定单元，用于基于所述CGBRBM网络的隐含层和可见层单元的条件概率分布，利用对比发散算法更新所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，确定更新后的CGBRBM网络；RBM网络的能量函数定义单元，用于初始化所述RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述RBM网络的能量函数；更新后的RBM网络确定单元，用于根据所述RBM网络的能量函数更新所述RBM网络的隐含层和可见层之间的权重和偏执，确定更新后的RBM网络；参数确定单元，用于定义微调过程中的微调学习率，并根据所述微调学习率确定所述条件深度信念网络中隐含层的最优权重和最优偏执，以及所述条件深度信念网络中输出层的权重向量以及偏执值；IoT异常流量检测器构建单元，用于根据所述更新后的CGBRBM网络、所述更新后的RBM网络、所述隐含层的最优权重和最优偏执以及所述输出层的权重向量以及偏执值构建IoT异常流量检测器。

检测模块507，用于利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

本发明还包括：测试模块，用于利用所述测试集测试所述IoT异常流量检测器的性能。

所述测试模块具体包括：特征输出参数确定单元，用于将所述测试集输入至所述IoT异常流量检测器，确定特征输出参数；所述特征输出参数包括真阳率、假阳率、假阴率以及真阴率；检测准确度、精度以及召回率确定单元，用于根据所述特征输出参数确定检测准确度、精度以及召回率；测试单元，用于根据所述检测准确度、所述精度以及所述召回率测试所述IoT异常流量检测器的性能。

本发明结合了主动探测、被动发现，核主成分分析以及条件深度信念网络技术，本发明可加装在IoT网络环境中，作为二次网关使用，首先采用主动探测和被动发现技术对网络中的流量进行感知，生成原始多维特征向量；其次，为了压缩冗余数据减少模型训练时间，提高模型检测准确度，使用核主成分分析法对原始特征向量进行约简；最后，使用约简后的数据在线训练条件深度信念网络检测器，实现IoT内异常流量的在线检测。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种IoT网络异常流量实时检测方法，其特征在于，包括：

定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数；

基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCP SYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击；

根据攻击网络流量生成攻击特征向量；

根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量；

对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量；

将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器；

利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

2.根据权利要求1所述的IoT网络异常流量实时检测方法，其特征在于，所述对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量，具体包括：

获取所述重组高维特征向量中的最大元素值和最小元素值，并对所述最大元素值以及所述最小元素值进行归一化处理，确定归一化处理后的特征向量；

利用高斯核函数将所述归一化处理后的特征向量映射到再生核希尔伯特空间，生成再生核希尔伯特空间特征向量；

获取特征向量样本集，并基于所述再生核希尔伯特空间特征向量求解所述特征向量样本集对应的主成分；

根据所述主成分构建求解矩阵，并基于所述求解矩阵确定重组低维特征向量。

3.根据权利要求1所述的IoT网络异常流量实时检测方法，其特征在于，所述将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器，具体包括：所述条件深度信念网络包括一层受限高斯伯努利玻尔兹曼机CGBRBM网络和若干层玻尔兹曼机RBM网络；

将所述重组低维特征向量和所述攻击特征向量组成一个数据集，按照训练数据与测试数据比例为7:3的原则将所述数据集划分为训练集和测试集；

利用所述训练集对所述条件深度信念网络进行预训练，初始化所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述CGBRBM网络的能量函数；

根据所述CGBRBM网络的能量函数确定所述CGBRBM网络的隐含层和可见层单元的条件概率分布；

基于所述CGBRBM网络的隐含层和可见层单元的条件概率分布，利用对比发散算法更新所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，确定更新后的CGBRBM网络；

初始化所述RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述RBM网络的能量函数；

根据所述RBM网络的能量函数更新所述RBM网络的隐含层和可见层之间的权重和偏执，确定更新后的RBM网络；

定义微调过程中的微调学习率，并根据所述微调学习率确定所述条件深度信念网络中隐含层的最优权重和最优偏执，以及所述条件深度信念网络中输出层的权重向量以及偏执值；

根据所述更新后的CGBRBM网络、所述更新后的RBM网络、所述隐含层的最优权重和最优偏执以及所述输出层的权重向量以及偏执值构建IoT异常流量检测器。

4.根据权利要求1所述的IoT网络异常流量实时检测方法，其特征在于，所述将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器，之后还包括：

利用所述测试集测试所述IoT异常流量检测器的性能。

5.根据权利要求4所述的IoT网络异常流量实时检测方法，其特征在于，所述利用所述测试集测试所述IoT异常流量检测器的性能，具体包括：

将所述测试集输入至所述IoT异常流量检测器，确定特征输出参数；所述特征输出参数包括真阳率、假阳率、假阴率以及真阴率；

根据所述特征输出参数确定检测准确度、精度以及召回率；

根据所述检测准确度、所述精度以及所述召回率测试所述IoT异常流量检测器的性能。

6.一种IoT网络异常流量实时检测系统，其特征在于，包括：

信息获取模块，用于定义时间窗口，在所述时间窗口的起始时刻利用主动探测方式获取物联网IoT中物联网终端的指纹信息，并在所述时间窗口内以被动发现方式获取IoT网络内的定量信息以及流量交互信息；所述指纹信息包括IoT终端IP、MAC地址、操作系统版本号、开放端口个数、通信协议种类以及设备厂商号；所述定量信息包括不同终端IP数、MAC地址数、不同操作系统版本数、最大开放端口、支持通信协议类别数以及设备厂商数；所述流量交互信息包括TCP建链数、TCP断链数，源IP数量、目的IP数量、相同IP通信的最大连接数、设备发送的数据包数、向设备发送的数据包数、TCP与UDP比例、设备发送的标记为“SYN”、“RST”、“FIN”的TCP报文数量、设备发送报文的bps数以及向设备发送报文的bps数；

攻击网络流量获取模块，用于基于不同的攻击种类，获取攻击网络流量；所述攻击种类包括TCP SYN泛洪攻击、Land攻击、Smurf攻击、FTP半连接攻击、TCP重放攻击、端口扫描攻击以及中间人攻击；

攻击特征向量生成模块，用于根据攻击网络流量生成攻击特征向量；

重组高维特征向量确定模块，用于根据所述指纹信息、所述定量信息以及所述流量交互信息生成正常特征向量，确定重组高维特征向量；

重组低维特征向量确定模块，用于对所述重组高维特征向量进行归一化处理，并利用核主成分分析法对归一化后的特征向量进行处理，确定重组低维特征向量；

IoT异常流量检测器构建模块，用于将所述重组低维特征向量和所述攻击特征向量划分训练集以及测试集，并利用所述训练集对条件深度信念网络进行训练，构建基于条件深度信念网络的IoT异常流量检测器；

检测模块，用于利用所述IoT异常流量检测器实时检测IoT内的网络异常流量。

7.根据权利要求6所述的IoT网络异常流量实时检测系统，其特征在于，所述重组低维特征向量确定模块具体包括：

归一化处理单元，用于获取所述重组高维特征向量中的最大元素值和最小元素值，并对所述最大元素值以及所述最小元素值进行归一化处理，确定归一化处理后的特征向量；

映射单元，用于利用高斯核函数将所述归一化处理后的特征向量映射到再生核希尔伯特空间，生成再生核希尔伯特空间特征向量；

主成分确定单元，用于获取特征向量样本集，并基于所述再生核希尔伯特空间特征向量求解所述特征向量样本集对应的主成分；

重组低维特征向量确定单元，用于根据所述主成分构建求解矩阵，并基于所述求解矩阵确定重组低维特征向量。

8.根据权利要求6所述的IoT网络异常流量实时检测系统，其特征在于，所述IoT异常流量检测器构建模块具体包括：所述条件深度信念网络包括一层受限高斯伯努利玻尔兹曼机CGBRBM网络和若干层玻尔兹曼机RBM网络；

划分单元，用于将所述重组低维特征向量和所述攻击特征向量组成一个数据集，按照训练数据与测试数据比例为7:3的原则将所述数据集划分为训练集和测试集；

CGBRBM网络的能量函数定义单元，用于利用所述训练集对所述条件深度信念网络进行预训练，初始化所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述CGBRBM网络的能量函数；

CGBRBM网络的隐含层和可见层单元的条件概率分布确定单元，用于根据所述CGBRBM网络的能量函数确定所述CGBRBM网络的隐含层和可见层单元的条件概率分布；

更新后的CGBRBM网络确定单元，用于基于所述CGBRBM网络的隐含层和可见层单元的条件概率分布，利用对比发散算法更新所述CGBRBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，确定更新后的CGBRBM网络；

RBM网络的能量函数定义单元，用于初始化所述RBM网络的隐含层和可视层之间的连接权重和层中神经元的偏执，并定义所述RBM网络的能量函数；

更新后的RBM网络确定单元，用于根据所述RBM网络的能量函数更新所述RBM网络的隐含层和可见层之间的权重和偏执，确定更新后的RBM网络；

参数确定单元，用于定义微调过程中的微调学习率，并根据所述微调学习率确定所述条件深度信念网络中隐含层的最优权重和最优偏执，以及所述条件深度信念网络中输出层的权重向量以及偏执值；

IoT异常流量检测器构建单元，用于根据所述更新后的CGBRBM网络、所述更新后的RBM网络、所述隐含层的最优权重和最优偏执以及所述输出层的权重向量以及偏执值构建IoT异常流量检测器。

9.根据权利要求6所述的IoT网络异常流量实时检测系统，其特征在于，还包括：

测试模块，用于利用所述测试集测试所述IoT异常流量检测器的性能。

10.根据权利要求9所述的IoT网络异常流量实时检测系统，其特征在于，所述测试模块具体包括：

特征输出参数确定单元，用于将所述测试集输入至所述IoT异常流量检测器，确定特征输出参数；所述特征输出参数包括真阳率、假阳率、假阴率以及真阴率；

检测准确度、精度以及召回率确定单元，用于根据所述特征输出参数确定检测准确度、精度以及召回率；

测试单元，用于根据所述检测准确度、所述精度以及所述召回率测试所述IoT异常流量检测器的性能。

Images