CN109962909A - 一种基于机器学习的网络入侵异常检测方法 - Google Patents

Abstract

本发明属于网络安全技术领域，一种基于机器学习的网络入侵异常检测方法，包括以下步骤：(1)对数据特征属性进行分类，(2)将数据集中的目标属性按照传统的网络入侵类别进行映射，(3)对数据中的样本特征进行降维，(4)采用处理后的数据集来训练针对网络请求的多分类模型，(5)使用测试集数据对训练后的分类模型进行评估。本发明的一种基于机器学习的网络入侵异常检测方法，配合特征处理和归一化技术对数据进行预处理，构建了SVM模型实现对网络异常攻击的高效检测，解决了传统的基于规则的检测方法所面临的维护成本高、需要实时更新过滤规则的问题。

Description

一种基于机器学习的网络入侵异常检测方法

技术领域

本发明涉及一种基于机器学习的网络入侵异常检测方法，属于网络安全技术领域。

背景技术

随着网络的无线化、移动化的深入和推广，越来越多的智能设备(手机、电视和其他设备)依赖计算机系统和互联网、无线网络(如蓝牙和Wi-Fi)和物联网，信息安全形式日趋严峻。而最近网络安全事件频发，网络攻击愈演愈烈。然而，网络安全防御技术相对比较传统，智能化设备发展滞后，网络安全与大数据的真正融合还未完全实现，关键信息基础设施保护也正待解决一系列瓶颈问题。而网络入侵检测是指通过收集操作系统、系统程序、应用程序、网络包等信息，发现系统中违背安全策略或危及系统安全的网络传输行为。

传统的网络入侵检测技术通过一个由人工维护的系统请求过滤规则集对入侵系统的网络行为进行拦截。然而，由于人们对IT的认识逻辑的局限性，只能局限于完成计算任务去设计IT系统，必定存在逻辑不全的缺陷，从而难以应对人为利用缺陷进行的攻击。所以，传统的通过人工维护来更改规则集的检测技术不仅效率较低，同时系统的维护成本过大，存在着很大的缺陷。

网络异常检测本质上是个分类问题，随着机器学习、人工智能技术的发展极大的提高了人们的数据处理能力。从而，人们提出了基于统计分析、模式预测、神经网络、遗传算法、基于规则匹配、数据挖掘等的网络入侵异常智能检测技术。通过数据训练出模型，不仅能够准确地识别出网络中的异常请求，同时对于未见过的请求，也可以通过实时的学习来增强自己的识别能力。这种基于机器学习技术的模型，使得网络异常检测技术从过去的被动防御转换为主动防御，为网络安全问题的解决提供了新的研究方向。

发明内容

为了克服现有技术中存在的不足，本发明目的是提供一种基于机器学习的网络入侵异常检测方法。该方法是将支持向量机技术应用于NSL-KDD数据集，从而较快的发现网络异常请求，在一定程度上提高了异常检测的准确率和识别异常请求的速度。

为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于机器学习的网络入侵异常检测方法，包括以下步骤：

步骤1、对数据特征属性进行分类，具体包括以下子步骤：

(a)给定一个包含m个样本的原始数据集D＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，y_i∈{t₁,t₂,...,t_n}，其中t_i表示样本的目标属性，每个样本的目标属性是n个目标属性中的一个，每个样本x_i是由n个特征构成的，即x_i＝{X₁,X₂,...,X_n}；

(b)将原始数据集D中的样本特征{X₁,X₂,...,X_n}进行分类，识别出其中的类别型数据特征Discrete＝{d₁,d₂,...,d_n}，其中d_i∈{X₁,X₂,...,X_n}和连续型数据特征Continuous＝{c₁,c₂,...,c_n}，其中c_i∈{X₁,X₂,...,X_n}；

(c)针对数据集中的类别型数据特征Discrete，使用OneHot编码技术对其进行编码处理；

(d)针对数据集中的连续型数据特征Continuous，使用数据标准化技术将其转化为均值为0，标准差为1的数据，具体的标准化过程通过公式(1)进行描述，

式中，E(X_i)表示所有样本特征X_i的平均值，表示所有样本特征X_i的标准差，X_i ^*表示样本的第i个特征的值进行数据标准化后的结果；

步骤2、将数据集中的目标属性按照传统的网络入侵类别进行映射，通常网络入侵具有5种类别，需对数据集中样本的目标属性y进行映射处理，将它们映射到Dos,U2L,R2L,Probe,Normal 5类的空间中，即t_i∈{Dos,U2L,R2L,Probe,Normal}；

步骤3、对数据中的样本特征进行降维，使用主成分分析(PCA)技术对数据集中的样本特征{X₁,X₂,...,X_n}进行特征选择，挑选出对样本的目标属性y影响最大的多个特征以此来构建模型输入的样本数据，具体包括以下子步骤：

(a)对样本中的所有属性进行中心化操作，其过程通过公式(2)进行描述，

式中，m表示数据集中的总样本个数，表示第i个样本的第j个特征；

(b)计算样本的协方差矩阵XX^T，其中X为所有样本的所有特征构成的一个矩阵，X^T表示矩阵的转置；

(c)对协方差矩阵XX^T进行特征分解，通过公式(3)进行描述，

XX^TV＝λV (3)

式中，V表示协方差矩阵XX^T的特征向量，λ表示协方差矩阵XX^T的特征值；

(d)对公式(3)求解出的特征值λ从大到小进行排序，通过公式(4)进行描述，

λ₁≥λ₂≥...≥λ_d (4)

(e)取最大的d'个特征构成新的特征向量，这d'个特征即为所选择的样本特征，具体的特征选择通过公式(5)进行描述，

式中，d表示样本特征的总个数，d'表示总共要选取的特征的个数，λ_i表示第i个特征值的大小；

步骤4、采用处理后的数据集来训练针对网络请求的多分类模型，具体包括以下子步骤：

(a)采用支持向量机SVM技术构建针对网络请求的多分类模型，需要将样本分类到具有5个值的目标空间中，针对任意的两类样本都构建一个SVM分类器，具有5个类别就会构建出10个分类器；

(b)使用经过预处理后的数据集对多分类模型进行训练；

步骤5、使用测试集数据对训练后的分类模型进行评估，具体包括以下子步骤：

(a)对于测试集中的数据进行同样的数据预处理过程，包括特征选择、数据标准化和OneHot编码；

(b)采用步骤4子步骤(b)训练的网络请求多分类模型对测试数据集进行分类预测；

(c)根据对测试集数据的预测结果，采用多折交叉验证的方式对分类模型进行评估，计算分类模型的正确率。

本发明有益效果是：一种基于机器学习的网络入侵异常检测方法，包括以下步骤：(1)对数据特征属性进行分类，(2)将数据集中的目标属性按照传统的网络入侵类别进行映射，(3)对数据中的样本特征进行降维，(4)采用处理后的数据集来训练针对网络请求的多分类模型，(5)使用测试集数据对训练后的分类模型进行评估。与已有技术相比，本发明的一种基于机器学习的网络入侵异常检测方法，配合特征处理和归一化技术对数据进行预处理，构建了SVM模型实现对网络异常攻击的高效检测，解决了传统的基于规则的检测方法所面临的维护成本高、需要实时更新过滤规则的问题。

附图说明

图1是本发明方法步骤流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于机器学习的网络入侵异常检测方法，包括以下步骤：

步骤1、对数据特征属性进行分类，具体包括以下子步骤：

(a)给定一个包含m个样本的原始数据集D＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，y_i∈{t₁,t₂,...,t_n}，其中t_i表示样本的目标属性，每个样本的目标属性是n个目标属性中的一个，每个样本x_i是由n个特征构成的，即x_i＝{X₁,X₂,...,X_n}；

(b)将原始数据集D中的样本特征{X₁,X₂,...,X_n}进行分类，识别出其中的类别型数据特征Discrete＝{d₁,d₂,...,d_n}，其中d_i∈{X₁,X₂,...,X_n}和连续型数据特征Continuous＝{c₁,c₂,...,c_n}，其中c_i∈{X₁,X₂,...,X_n}；

(c)针对数据集中的类别型数据特征Discrete，使用OneHot编码技术对其进行编码处理；

(d)针对数据集中的连续型数据特征Continuous，使用数据标准化技术将其转化为均值为0，标准差为1的数据，具体的标准化过程通过公式(1)进行描述，

式中，E(X_i)表示所有样本特征X_i的平均值，表示所有样本特征X_i的标准差，X_i ^*表示样本的第i个特征的值进行数据标准化处理后的结果；

步骤2、将数据集中的目标属性按照传统的网络入侵类别进行映射，通常网络入侵具有5种类别，需对数据集中样本的目标属性y进行映射处理，将它们映射到Dos,U2L,R2L,Probe,Normal 5类的空间中，即t_i∈{Dos,U2L,R2L,Probe,Normal}；

步骤3、对数据中的样本特征进行降维，使用主成分分析(PCA)技术对数据集中的样本特征{X₁,X₂,...,X_n}进行特征选择，挑选出对样本的目标属性y影响最大的多个特征以此来构建模型输入的样本数据，具体包括以下子步骤：

(a)对样本中的所有属性进行中心化操作，其过程通过公式(2)进行描述，

式中，m表示数据集中的总样本个数，表示第i个样本的第j个特征；

(b)计算样本的协方差矩阵XX^T，其中X为所有样本的所有特征构成的一个矩阵，X^T表示矩阵的转置；

(c)对协方差矩阵XX^T进行特征分解，通过公式(3)进行描述，

XX^TV＝λV (3)

式中，V表示协方差矩阵XX^T的特征向量，λ表示协方差矩阵XX^T的特征值；

(d)对公式(3)求解出的特征值λ从大到小进行排序，通过公式(4)进行描述，

λ₁≥λ₂≥...≥λ_d (4)

(e)取最大的d'个特征构成新的特征向量，这d'个特征即为所选择的样本特征，具体的特征选择通过公式(5)进行描述，

式中，d表示样本特征的总个数，d'表示总共要选取的特征的个数，λ_i表示第i个特征值的大小；

步骤4、采用处理后的数据集来训练针对网络请求的多分类模型，具体包括以下子步骤：

(a)采用支持向量机SVM技术构建针对网络请求的多分类模型，需要将样本分类到具有5个值的目标空间中，针对任意的两类样本都构建一个SVM分类器，具有5个类别就会构建出10个分类器；

(b)使用经过预处理后的数据集对多分类模型进行训练；

步骤5、使用测试集数据对训练后的分类模型进行评估，具体包括以下子步骤：

(a)对于测试集中的数据进行同样的数据预处理过程，包括特征选择、数据标准化和OneHot编码；

(b)采用步骤4子步骤(b)训练的网络请求多分类模型对测试数据集进行分类预测；

(c)根据对测试集数据的预测结果，采用多折交叉验证的方式对分类模型进行评估，计算分类模型的正确率。

Claims (1)

1.一种基于机器学习的网络入侵异常检测方法，其特征在于包括以下步骤：

步骤1、对数据特征属性进行分类，具体包括以下子步骤：

(a)给定一个包含m个样本的原始数据集D＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，y_i∈{t₁,t₂,...,t_n}，其中t_i表示样本的目标属性，每个样本的目标属性是n个目标属性中的一个，每个样本x_i是由n个特征构成的，即x_i＝{X₁,X₂,...,X_n}；

(b)将原始数据集D中的样本特征{X₁,X₂,...,X_n}进行分类，识别出其中的类别型数据特征Discrete＝{d₁,d₂,...,d_n}，其中d_i∈{X₁,X₂,...,X_n}和连续型数据特征Continuous＝{c₁,c₂,...,c_n}，其中c_i∈{X₁,X₂,...,X_n}；

(c)针对数据集中的类别型数据特征Discrete，使用OneHot编码技术对其进行编码处理；

(d)针对数据集中的连续型数据特征Continuous，使用数据标准化技术将其转化为均值为0，标准差为1的数据，具体的标准化过程通过公式(1)进行描述，

式中，E(X_i)表示所有样本特征X_i的平均值，表示所有样本特征X_i的标准差，X_i ^*表示样本的第i个特征的值进行数据标准化处理后的结果；

步骤2、将数据集中的目标属性按照传统的网络入侵类别进行映射，通常网络入侵具有5种类别，需对数据集中样本的目标属性y进行映射处理，将它们映射到Dos,U2L,R2L,Probe,Normal 5类的空间中，即t_i∈{Dos,U2L,R2L,Probe,Normal}；

步骤3、对数据中的样本特征进行降维，使用主成分分析(PCA)技术对数据集中的样本特征{X₁,X₂,...,X_n}进行特征选择，挑选出对样本的目标属性y影响最大的多个特征以此来构建模型输入的样本数据，具体包括以下子步骤：

(a)对样本中的所有属性进行中心化操作，其过程通过公式(2)进行描述，

式中，m表示数据集中的总样本个数，表示第i个样本的第j个特征；

(b)计算样本的协方差矩阵XX^T，其中X为所有样本的所有特征构成的一个矩阵，X^T表示矩阵的转置；

(c)对协方差矩阵XX^T进行特征分解，通过公式(3)进行描述，

XX^TV＝λV (3)

式中，V表示协方差矩阵XX_T的特征向量，λ表示协方差矩阵XX_T的特征值；

(d)对公式(3)求解出的特征值λ从大到小进行排序，通过公式(4)进行描述，

λ₁≥λ₂≥...≥λ_d (4)

(e)取最大的d'个特征构成新的特征向量，这d'个特征即为所选择的样本特征，具体的特征选择通过公式(5)进行描述，

式中，d表示样本特征的总个数，d'表示总共要选取的特征的个数，λ_i表示第i个特征值的大小；

步骤4、采用处理后的数据集来训练针对网络请求的多分类模型，具体包括以下子步骤：

(a)采用支持向量机SVM技术构建针对网络请求的多分类模型，需要将样本分类到具有5个值的目标空间中，针对任意的两类样本都构建一个SVM分类器，具有5个类别就会构建出10个分类器；

(b)使用经过预处理后的数据集对多分类模型进行训练；

步骤5、使用测试集数据对训练后的分类模型进行评估，具体包括以下子步骤：

(a)对于测试集中的数据进行同样的数据预处理过程，包括特征选择、数据标准化和OneHot编码；

(b)采用步骤4子步骤(b)训练的网络请求多分类模型对测试数据集进行分类预测；

(c)根据对测试集数据的预测结果，采用多折交叉验证的方式对分类模型进行评估，计算分类模型的正确率。