CN109818961A

CN109818961A - 一种网络入侵检测方法、装置和设备

Info

Publication number: CN109818961A
Application number: CN201910095028.0A
Authority: CN
Inventors: 凌捷; 吴成智; 谢锐; 陈家辉
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-01-30
Filing date: 2019-01-30
Publication date: 2019-05-28
Anticipated expiration: 2039-01-30
Also published as: CN109818961B

Abstract

本发明公开了一种网络入侵检测方法，该方法包括以下步骤：获取目标网络的通信数据，并提取出通信数据的原始特征集合；利用随机森林选择算法对原始特征集合进行特征降维，获得目标特征集合；利用目标特征集合构建分类决策树，并利用分类决策树去除通信数据中的冗余数据，获得目标通信数据；将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。该网络入侵检测方法的可提升检测速度，且不影响检测准确率。本发明还公开了一种网络入侵检测装置、设备及可读存储介质，具有相应的技术效果。

Description

一种网络入侵检测方法、装置和设备

技术领域

本发明涉及网络安全技术领域，特别是涉及一种网络入侵检测方法、装置、设备及可读存储介质。

背景技术

网络入侵检测技术是通过一定的技术手段收集网络日志或监听网络通信数据包，通过对这些日志或数据包进行分析，从而发现网络中是否存在可能破坏网络通信的恶意行为。

但是，网络日志或网络通信数据的数据量较大，且网络入侵检测要求检测快速且准确。目前，用粒子集群算法(POS)来寻找获得核函数宽度gamma值和惩罚参数，提高SVM的检测准确率；利用改进蚁群算法和自适应二进制量子引力搜索以及改进的二进制量子引力搜索算法来提取特征和优化SVM参数，以提高检测准确率；基于遗传算法寻找BP神经网络的最优权值和阈值，提高了BP神经网络的检测准确率；引入人工蜂群算法和改进的差分算法引入到BP神经网络的参数优化中，克服算法模型由于参数设定降低检测准确率的问题。

可见，目前对于如何提高网络入侵检测准确率已存在相应地解决方式，而对于如何提高网络入侵检测速度等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种网络入侵检测方法、装置、设备及可读存储介质，以在保障检测准确率的同时，提高检测速度。

为解决上述技术问题，本发明提供如下技术方案：

一种网络入侵检测方法，包括：

获取目标网络的通信数据，并提取出所述通信数据的原始特征集合；

利用随机森林选择算法对所述原始特征集合进行特征降维，获得目标特征集合；

利用所述目标特征集合构建分类决策树，并利用所述分类决策树去除所述通信数据中的冗余数据，获得目标通信数据；

将所述目标通信数据输入至网络入侵检测模型中，对所述目标网络进行网络入侵检测。

优选地，所述利用随机森林选择算法对所述原始特征集合进行特征选择，获得目标特征集合，包括：

利用袋外数据分类准确率对所述原始特征集合中每个特征进行特征重要性度量计算，获得第一特征重要性集合；

利用袋外数据置换曲线下面积对所述原始特征集合中每个特征进行特征重要性度量计算，获得第二特征重要性集合；

对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理，获得第三特征重要性集合；

按照重要性的先后顺序，从所述第三特征重要性集合中选出所述目标特征集合。

优选地，所述对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理，获得第三特征重要性集合，包括：

按照权重系数，对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理，获得所述第三特征重要性集合。

优选地，在对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理之前，还包括：

利用最大最小化算法分别对所述第一特征重要性集合和所述第二特征重要性集合进行归一化。

优选地，获取目标网络的通信数据，包括：

按照预设时间周期获取所述目标网络的通信数据；其中，所述通信数据包括网络数据流和系统日志中的至少一种。

优选地，利用所述目标特征集合构建分类决策树，包括：

按照自顶向下递归方式，建立与所述目标特征集合匹配的所述分类决策树。

优选地，利用所述分类决策树去除所述通信数据中的冗余数据，获得目标通信数据，包括：

将所述通信数据划分至所述分类决策树的节点；

对所述分类决策树进行剪枝，获得目标分类决策树；

遍历所述目标分类决策树，获得所述目标通信数据。

一种网络入侵检测装置，包括：

通信数据获取模块，用于获取目标网络的通信数据，并提取出所述通信数据的原始特征集合；

特征降维模块，用于利用随机森林选择算法对所述原始特征集合进行特征降维，获得目标特征集合；

数据降维模块，用于利用所述目标特征集合构建分类决策树，并利用所述分类决策树去除所述通信数据中的冗余数据，获得目标通信数据；

网络入侵检测模块，用于将所述目标通信数据输入至网络入侵检测模型中，对所述目标网络进行网络入侵检测。

一种网络入侵检测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述网络入侵检测方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述网络入侵检测方法的步骤。

应用本发明实施例所提供的方法，获取目标网络的通信数据，并提取出通信数据的原始特征集合；利用随机森林选择算法对原始特征集合进行特征降维，获得目标特征集合；利用目标特征集合构建分类决策树，并利用分类决策树去除通信数据中的冗余数据，获得目标通信数据；将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。

获取到目标网络的通信数据之后，可提取出通信数据的原始特征集合。由于随机森林选择算法能够利用特征的重要性进行特征选择，因此可利用随机森林选择算法对原始特征集合进行特征降维，得到目标特征集合。即该目标特征集合即为原始特征集合的子集，且目标特征集合中的特征为通信数据的重要特征。利用该目标特征集合，可构建分类决策树，并利用分类决策树，可去除图像数据中的冗余数据，得到更为精简的目标通信数据。最后，将目标通信数据输入至网络入侵检测模型中，可对目标网络进行网络入侵检测。由于目标图像数据相对于原始的通信数据，数据量更小，且同样具备该通信数据的重要特征，因此，网络入侵检测耗时更短，且不影响检测准确率。

相应地，本发明实施例还提供了与上述网络入侵检测方法相对应的网络入侵检测装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种网络入侵检测方法的实施流程图；

图2为本发明实施例中一种网络入侵检测装置的结构示意图；

图3为本发明实施例中一种网络入侵检测设备的结构示意图；

图4为本发明实施例中一种网络入侵检测设备的具体结构示意图。

具体实施方式

本发明的核心是提供一种网络入侵检测方法，通过利用权重投票和随机森林特征选择算法选取最优的特征子集，根据该特征子集建立分类决策树，并利用分类决策树对待检测数据去除冗余数据，可减少网络入侵检测模型的计算量，降低模型检测耗时，可提高网络入侵检测的准确率和效率。

本发明的另一核心是提供与上述网络入侵检测方法相对应的网络入侵检测装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参考图1，图1为本发明实施例中一种网络入侵检测方法的流程图，该方法包括以下步骤：

S101、获取目标网络的通信数据，并提取出通信数据的原始特征集合。

其中，目标网络可以任意一个待进行网络入侵检测的网络，如企业内网、校园网、银行服务平台等。其中，通信数据可具体为系统日志、通信数据包中的至少一种。具体的，在获取目标网络的通信数据时，可按照预设时间周期获取目标网络的通信数据。例如，每间隔五分钟或十分钟获取一次目标网络的通信数据。通信数据可直接从目标网络的服务器中获取，如利用镜像服务，获取流经该服务器的通信数据包。

得到通信数据之后，便可将通信数据输入至特征检测模型(如卷积神经网络模型，或其他常见的特征检测模型)中，提取出通信网络的原始特征集合。其中，原始特征集合中的特征可包括：通信数据对应的用户信息(如账户、登录时长、登录地址、用户权限等)、业务信息(如业务类别、业务持续时间、业务建立时间、业务结束时间等)和用户设备信息(如设备识别号、客户端版本等)等特征。

S102、利用随机森林选择算法对原始特征集合进行特征降维，获得目标特征集合。

随机森林选择算法中具有多种特征重要性计算方式，在本发明实施例中，则利用一个或多个特征重要性计算方式，对原始特征集合中的各个特征的重要性进行计算，然后根据计算结果，从原始特征集合中筛选出重要的特征，构成目标特征集合。如此，便可实现特征降维。

具体的，采用一种特征重要性计算方式来表征各个特征的重要性，并进一步进行特征降维的方式可具体参见特征重要性计算方式的算法流程。在此不再赘述。优选地，结合多个特征重要性计算方式，相对于单独一种特征重要性计算方式，还可保障最终目标特征集合的准确性，即得到的目标特征集合即为该通信数据重要的特征。下面以结合利用袋外数据分类准确率和利用袋外数据置换曲线下面积的特征重要性计算方式为例，对采用多种特征重要性计算方式时，如何进行特征降维进行详细描述。

在结合利用袋外数据分类准确率和利用袋外数据置换曲线下面积，进行特征降维的具体过程，包括：

步骤一、利用袋外数据分类准确率对原始特征集合中每个特征进行特征重要性度量计算，获得第一特征重要性集合；

步骤二、利用袋外数据置换曲线下面积对原始特征集合中每个特征进行特征重要性度量计算，获得第二特征重要性集合；

步骤三、对第一特征重要性集合和第二特征重要性集合进行融合处理，获得第三特征重要性集合；

步骤四、按照重要性的先后顺序，从第三特征重要性集合中选出目标特征集合。

为了便于描述，下面将上述四个步骤结合起来进行说明。

其中，步骤一和步骤二的执行顺序可先后要求，即可先执行步骤一，也可先执行步骤二，当然还可并行执行步骤一和步骤二。

利用袋外数据分类准确率的变量重要性度量主要是通过计算袋外数据自变量值发生轻微扰动后分类正确率与扰动前分类正确率的平均减少量来表示变量重要性。例如，对于特征x_j的特征重要性度量计算如下：

其中b＝1，2，3，...，B；B为样本个数，是袋外数据扰动前统计正确分类的个数，是袋外数据扰动后的正确分类个数。

利用袋外数据置换曲线下面积的特征重要性度量，主要是通过计算袋外数据自变量发生轻微扰动后曲线下面积前后的平均减少量表示该变量的重要性。因此特征x_j的变量重要性度量计算如下：

其中，ntree^*表示森林中的树木数量，AUC_tj表示树t袋外数据替换前的曲线下面积，表示树t袋外数据随机替换后曲线下面积。

为了便于描述，在本文中，将利用袋外数据分类准确率对原始特征集合中每一个特征计算得到的重要性度量结果添加至第一特征重要性集合中；将利用袋外数据置换曲线下面积对原始特征集合中每一个特征计算得到的重要性度量结果添加至第二特征重要性集合中。即本文中的第一特征重要性集合和第二特征重要性集合中的第一和第二仅用于区别其分别由不同的特征重要性计算方式计算而来，并为先后或重要性区别。

在得到第一特征重要性集合和第二特征重要性集合之后，为了更好的融合两种计算方法的优点，可按照权重系数，对第一特征重要性集合和第二特征重要性集合进行融合处理，获得第三特征重要性集合。即可对两种算法获得的变量重要性赋予权重，得到最终每个变量x_j的变量重要性，对其排序，取出目标特征集合，其计算如下：

其中W₁+W₂＝1。

进行特征重要性排序后，优选地，可根据通信数据的数据量的多少，选择相应数量的重要特征。具体的，可为数据量与重要特征数量建立映射关系，选出与数据量匹配的特征数量即可。如此，便可避免因通信数据的数据量过大或过小，而特征选取过多或过小的情况。另外，还可利用重要性阈值进行特征选择，例如，将重要性大于预设阈值的特征均添如目标特征集合中。其他多种特征重要性计算方式的组合模式也可参照与此，在此不一一赘述。

优选地，在进行集合融合之前，还可对第一特征重要性集合和第二特征重要性集合进行规范化，即归一化。具体的，可利用最大最小化算法分别对第一特征重要性集合和第二特征重要性集合进行规范化。其中，数据规范化是一项数据挖掘基本工作，由于数据采集采用的量纲和单位不同，往往导致数据的值域相差很大，容易出现大吃小的现象，为了避免这样的情况，可采用最大最小化算法对特征重要性数据进行规范化，其计算公式如下：

其中，max，min分别为特征数据重要性的最大，最小值。

S103、利用目标特征集合构建分类决策树，并利用分类决策树去除通信数据中的冗余数据，获得目标通信数据。

分类决策树算法构造树阶段，其关键操作是在树的节点上选择显著的测试属性，该属性可以将检测数据进行更好的划分，消除冗余数据，提高入侵检测准确率和效率。通过执行上述步骤S101和S102，便得到重要性较强的目标特征集合。将目标特征集合用于构建分类决策树，可提升分类决策树对图像数据去冗余的处理速度。

具体的，可按照自顶向下递归方式，建立与目标特征集合匹配的分类决策树。

去除通信数据中的冗余数据，获得目标通信数据，包括：

步骤一、将通信数据划分至分类决策树的节点；

步骤二、对分类决策树进行剪枝，获得目标分类决策树；

步骤三、遍历目标分类决策树，获得目标通信数据。

为便于描述，下面结合决策树算法，以及其遵循的分治原则，将构建分类决策树和去冗余数据结合起来进行说明。

分类决策树算法遵循分治原则，其分类学习主要包括分类决策树的构造和剪枝两个阶段。

分类决策树构造阶段：采用自顶向下递归方式，从根节点开始在每个节点按照给定的选择测试属性，然后按照相应的属性的有可能取值向下建立分支，划分通信数据，直到一个节点上的所有样本被划分到一个类，或者某一个节点的数据量少于给点值为止。

分类决策树剪枝阶段：剪枝过程是试图消除通信数据中的噪声或孤立点，以提高未知数据集进行分类的准确性，树剪枝主要是包括先剪枝和后剪枝两种方式。其标准有最小描述长度原则和期望错误率最小原则。

决策树算法第一阶段最为重要，其关键操作是在树的节点上选取最佳的测试属性，也就是说，通信数据特征的显著性可以对训练数据进行更好的划分。因此，对数据降维，选取目标特征子集对决策树算法的准确率有很大的影响。

完成分类决策树剪枝之后，便可遍历目标分类决策树，将节点上的数据作为目标通信数据。

S104、将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。

得到目标通信数据之后，便可将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。此时，目标通信数据相较于通信数据的数据量更小，可减少计算量，缩短网络入侵检测耗时，进一步提升网络入侵检测的速度。

实施例二：

相应于上面的方法实施例，本发明实施例还提供了一种网络入侵检测装置，下文描述的网络入侵检测装置与上文描述的网络入侵检测方法可相互对应参照。

参见图2所示，该装置包括以下模块：

通信数据获取模块101，用于获取目标网络的通信数据，并提取出通信数据的原始特征集合；

特征降维模块102，用于利用随机森林选择算法对原始特征集合进行特征降维，获得目标特征集合；

数据降维模块103，用于利用目标特征集合构建分类决策树，并利用分类决策树去除通信数据中的冗余数据，获得目标通信数据；

网络入侵检测模块104，用于将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。

应用本发明实施例所提供的装置，获取目标网络的通信数据，并提取出通信数据的原始特征集合；利用随机森林选择算法对原始特征集合进行特征降维，获得目标特征集合；利用目标特征集合构建分类决策树，并利用分类决策树去除通信数据中的冗余数据，获得目标通信数据；将目标通信数据输入至网络入侵检测模型中，对目标网络进行网络入侵检测。

在本发明的一种具体实施方式中，通信数据获取模块101，包括：

第一特征重要性计算单元，用于利用袋外数据分类准确率对原始特征集合中每个特征进行特征重要性度量计算，获得第一特征重要性集合；

第二特征重要性计算单元，用于利用袋外数据置换曲线下面积对原始特征集合中每个特征进行特征重要性度量计算，获得第二特征重要性集合；

特征重要性融合单元，用于对第一特征重要性集合和第二特征重要性集合进行融合处理，获得第三特征重要性集合；

特征筛选单元，用于按照重要性的先后顺序，从第三特征重要性集合中选出目标特征集合。

在本发明的一种具体实施方式中，特征重要性融合单元，具体用于按照权重系数，对第一特征重要性集合和第二特征重要性集合进行融合处理，获得第三特征重要性集合。

在本发明的一种具体实施方式中，通信数据获取模块101，还包括：

特征归一化处理单元，用于在对第一特征重要性集合和第二特征重要性集合进行融合处理之前，还包括：利用最大最小化算法分别对第一特征重要性集合和第二特征重要性集合进行归一化。

在本发明的一种具体实施方式中，通信数据获取模块101，具体用于按照预设时间周期获取目标网络的通信数据；其中，通信数据包括网络数据流和系统日志中的至少一种。

在本发明的一种具体实施方式中，数据降维模块103，具体用于按照自顶向下递归方式，建立与目标特征集合匹配的分类决策树。

在本发明的一种具体实施方式中，数据降维模块103，具体用于将通信数据划分至分类决策树的节点；对分类决策树进行剪枝，获得目标分类决策树；遍历目标分类决策树，获得目标通信数据。

实施例三：

相应于上面的方法实施例，本发明实施例还提供了一种网络入侵检测设备，下文描述的一种网络入侵检测设备与上文描述的一种网络入侵检测方法可相互对应参照。

参见图3所示，该网络入侵检测设备包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例的网络入侵检测方法的步骤。

具体的，请参考图4，图4为本实施例提供的一种网络入侵检测设备的具体结构示意图，该网络入侵检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在网络入侵检测设备301上执行存储介质330中的一系列指令操作。

网络入侵检测设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

上文所描述的网络入侵检测方法中的步骤可以由网络入侵检测设备的结构实现。

实施例四：

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种网络入侵检测方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的网络入侵检测方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种网络入侵检测方法，其特征在于，包括：

2.根据权利要求1所述的网络入侵检测方法，其特征在于，所述利用随机森林选择算法对所述原始特征集合进行特征选择，获得目标特征集合，包括：

3.根据权利要求2所述的网络入侵检测方法，其特征在于，所述对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理，获得第三特征重要性集合，包括：

4.根据权利要求2所述的网络入侵检测方法，其特征在于，在对所述第一特征重要性集合和所述第二特征重要性集合进行融合处理之前，还包括：

5.根据权利要求1所述的网络入侵检测方法，其特征在于，获取目标网络的通信数据，包括：

6.根据权利要求1至5任一项所述的网络入侵检测方法，其特征在于，利用所述目标特征集合构建分类决策树，包括：

7.根据权利要求1至5任一项所述的网络入侵检测方法，其特征在于，利用所述分类决策树去除所述通信数据中的冗余数据，获得目标通信数据，包括：

将所述通信数据划分至所述分类决策树的节点；

对所述分类决策树进行剪枝，获得目标分类决策树；

遍历所述目标分类决策树，获得所述目标通信数据。

8.一种网络入侵检测装置，其特征在于，包括：

9.一种网络入侵检测设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述网络入侵检测方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述网络入侵检测方法的步骤。