CN115766227A - 基于单类支持向量机ocsvm的流量异常检测方法 - Google Patents
基于单类支持向量机ocsvm的流量异常检测方法 Download PDFInfo
- Publication number
- CN115766227A CN115766227A CN202211432020.7A CN202211432020A CN115766227A CN 115766227 A CN115766227 A CN 115766227A CN 202211432020 A CN202211432020 A CN 202211432020A CN 115766227 A CN115766227 A CN 115766227A
- Authority
- CN
- China
- Prior art keywords
- data
- ocsvm
- flow
- characteristic
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000009467 reduction Effects 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于单类支持向量机OCSVM的流量异常检测方法，包括1）数据采集阶段、2）数据降维预处理阶段及3）OCSVM算法运行阶段。应用本技术方案可通过机器学习的方法对数据进行二分类，并且只需要一类样本就可以训练检测模型，对噪声样本数据具有鲁棒性，很好满足了工控系统的数据不平衡特点。
Description
技术领域
本发明涉及信息安全测试技术领域，特别是一种基于单类支持向量机 OCSVM的流量异常检测方法。
背景技术
与传统TCP/IP网络不同，工业控制系统通信网络具有“状态有限”和“行为有限”的特点。状态有限是指工业控制系统通信具有规律性和稳定性的特点，即规则的通信流；行为有限是指工业控制系统具有较固定的行为特征和可预测的行为模式，因此，工业控制系统的实时网络流量异常特征识别技术本质上是一个二分类问题，即对正常的工业数据和异常的工业数据进行二分类。但目前的数据检测通常需要多类样本，检测便捷度低。
发明内容
有鉴于此，本发明的目的在于提供一种基于单类支持向量机OCSVM的流量异常检测方法，通过机器学习的方法对数据进行二分类，并且只需要一类样本就可以训练检测模型，对噪声样本数据具有鲁棒性，很好满足了工控系统的数据不平衡特点。
为实现上述目的，本发明采用如下技术方案：基于单类支持向量机 OCSVM的流量异常检测方法，包括1)数据采集阶段、2)数据降维预处理阶段及3)OCSVM算法运行阶段。
在一较佳的实施例中，数据采集阶段在电网运行时对网络数据包进行捕获，从电网实时网络流量中采集到的流量数据绝大部分为正常数据，少部分为异常数据；现场采集的流量数据数据量大、维度高，因此需要经过一系列的预处理后，采用OCSVM算法进行机器学习。
在一较佳的实施例中，数据降维预处理阶段指数据降维；数据降维是对数据维度进行降维处理；采用主成分分析方法对系统数据进行特征提取、降维度。
在一较佳的实施例中，对电网网络流量特征数据进行反复权衡比较，选取能够代表电网流量的特征属性代表原始数据包信息；选取下列13项特征属性代表原数据包的信息，它们是源地址、目的地址、IP包总长度、IP 包头长度、TCP包头长度、源端口号、目的端口号、流量大小、协议标识符、长度、业务标识符、功能码以及数据长度；
根据所选择的特征，将这些特征按顺序从数据包中提取出来并存储成矩阵形式，用主成分分析方法PCA进行特征提取，进行降维处理，去除噪声数据和冗余特征项。
在一较佳的实施例中，主成分分析方法PCA具体过程如下：
步骤1：设定n个特征变量，这里n＝13；
步骤2：输入提取数据帧号N，计算第N帧各特征数据地址；
步骤3：提取不同的特征变量对应的数据值；
步骤4：判断是否提取n个特征变量，若是，将提取的特征变量输出，存储为矩阵形式，记为X0，否则继续提取数据，直到将所有数据包中的特征值都提取出来为止；
步骤5：计算标准化化后的工业数据集X0的协方差矩阵P＝(1/n)X0X0T，并计算协方差矩阵的特征值以及对应的特征向量；
步骤6：按照特征值大小顺序将特征值对应的特征向量排列成向量形式，根据公式计算累计方差贡献率，选取前m，个特征向量组成变换矩阵C，m<n，确定降维后工业数据集，记为X1＝CX0，将原始工业数据集从n维降到m维。
在一较佳的实施例中，OCSVM算法运行阶段具体为：在经过数据预处理后，得到具有相同维数的流量数据样本，即OCSVM算法可处理的矩阵形式X ＝(x1，x2…xi…xl)，将矩阵输入OCSVM算法运算实现实时网络流量异常的识别；在X矩阵中，xi＝(xi1，xi2，…，xim)表示第i个现场数据，每一维代表该数据的一项属性；
当样本维数为两维时，直线即可进行样本划分，当样本维数为三维时，截面即可进行样本划分，当样本维数高于3维时，需要在高维空间进行样本划分，利用OCSVM算法将样本的特征在高维空间进行映射和划分。
在一较佳的实施例中，在OCSVM流量流量异常检测中；在OCSVM训练中，采用OCSVM算法对电网流量数据进行训练；在训练时假设坐标原点为异样样本，在特征空间中构建一个最优的划分面区分正常和异常数据，得到分类决策函数。
与现有技术相比，本发明具有以下有益效果：经过对电网智能终端报文的深度解析，对网络流量的异常监测以对应用层指令监测，可构建电网智能终端业务行为模型，实现基于终端业务行为模型的指令级攻击模式在线识别，解决电网智能终端中大量规约指令级新型攻击识别难题。
附图说明
图1为本发明优选实施例的基于单类支持向量机OCSVM的流量异常检测技术流程图；
图2为本发明优选实施例的电网异常流量检测流程。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提出了基于单类支持向量机OCSVM的流量异常检测技术，OCSVM 的基本思想就是通过机器学习的方法对数据进行二分类，并且只需要一类样本就可以训练检测模型，对噪声样本数据具有鲁棒性，很好满足了工控系统的数据不平衡特点，如图1所示。
一种基于单类支持向量机OCSVM的流量异常检测方法，如图1所示，包括以下三个阶段；
1)数据采集阶段
数据采集主要是在电网运行时对网络数据包进行捕获，从电网实时网络流量中采集到的流量数据绝大部分为正常数据，只有很少的一部分为异常数据，此外，现场采集的流量数据还可能数据量大、维度高，因此需要经过一系列的预处理，才能用OCSVM算法进行机器学习。
2)数据降维预处理阶段
数据预处理主要指数据降维，数据降维主要是对数据维度进行降维处理，采集的数据具有较多的属性即数据的维度高，这会降低异常识别算法的效率，需要对数据作降维处理。本发明采用主成分分析方法对系统数据进行特征提取、降维度，主成分分析法(Principal Component Analysis, PCA)基于统计特征的多维正交线性变化，是一种多源统计方法，成功应用于数据的特征提取和数据降维。
对于一个数据包来说，在对特征属性进行选择时，属性选择的越多能代表的原始数据包的信息就越全面，然而，特征属性选择的越多计算量也会相应越大。因此需要对电网网络流量特征数据进行反复权衡比较，选取能够代表电网流量的特征属性代表原始数据包信息。经过反复权衡比较，本发明选取下列13项特征属性代表原数据包的信息，它们是源地址、目的地址、IP包总长度、IP包头长度、TCP包头长度、源端口号、目的端口号、流量大小、协议标识符、长度、业务标识符、功能码、数据长度。
根据上述所选择的的特征，根据上述所选择的特征，将这些特征按顺序从数据包中提取出来并存储成矩阵形式，用PCA方法进行特征提取，进行降维处理，去除噪声数据和冗余特征项。其具体过程如下：
步骤1：设定n个特征变量，这里n＝13；
步骤2：输入提取数据帧号N，计算第N帧各特征数据地址；
步骤3：提取不同的特征变量对应的数据值；
步骤4：判断是否提取了n个特征变量，若是，将提取的特征变量输出，存储为矩阵形式，记为X0，否则继续提取数据，直到将所有数据包中的特征值都提取出来为止。
步骤5：计算标准化化后的工业数据集X0的协方差矩阵P＝(1/n)X0X0T，并计算协方差矩阵的特征值以及对应的特征向量；
步骤6：按照特征值大小顺序将特征值对应的特征向量排列成向量形式，根据公式计算累计方差贡献率，选取前m(<n)个特征向量组成变换矩阵C，确定降维后工业数据集，记为X1＝CX0，将原始工业数据集从n维降到m维。
3)OCSVM算法运行阶段
在经过数据预处理后，可以得到具有相同维数的流量数据样本，即 OCSVM算法可处理的矩阵形式X＝(x1，x2…xi…xl)，将矩阵输入OCSVM 算法运算实现实时网络流量异常的识别。在X矩阵中，xi＝(xi1，xi2，…， xim)表示第i个现场数据，每一维代表该数据的一项属性。
当样本维数为两维时，直线即可进行样本划分，当样本维数为三维时，截面即可进行样本划分，当样本维数高于3维时，需要在高维空间进行样本划分。由于流量样本维数较高，本项目利用OCSVM算法将样本的特征在高维空间进行映射和划分。
在OCSVM流量流量异常检测中，最关键、最重要的模块就是OCSVM训练过程。在OCSVM训练中，采用OCSVM算法对电网流量数据进行训练，由于电网一般情况下都工作在正常的状态下，因此采集的数据也大多为正常数据，OCSVM算法只需要正常数据就可训练，在训练时假设坐标原点为异样样本，在特征空间中构建一个最优的划分面区分正常和异常数据，得到分类决策函数，OCSVM算法运行阶段详细流程如图2所示。
通过上述流程训练得到的OCSVM分类决策函数就可以对电网流量进行检测，从而快速准备的判断其为正常数据还是异常数据。
经过上述对电网智能终端报文的深度解析，对网络流量的异常监测以对应用层指令监测，可构建电网智能终端业务行为模型，实现基于终端业务行为模型的指令级攻击模式在线识别，解决电网智能终端中大量规约指令级新型攻击识别难题。
Claims (7)
1.基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，包括1)数据采集阶段、2)数据降维预处理阶段及3)OCSVM算法运行阶段。
2.根据权利要求1所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，数据采集阶段在电网运行时对网络数据包进行捕获，从电网实时网络流量中采集到的流量数据绝大部分为正常数据，少部分为异常数据；现场采集的流量数据数据量大、维度高，因此需要经过一系列的预处理后，采用OCSVM算法进行机器学习。
3.根据权利要求1所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，数据降维预处理阶段指数据降维；数据降维是对数据维度进行降维处理；采用主成分分析方法对系统数据进行特征提取、降维度。
4.根据权利要求3所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，对电网网络流量特征数据进行反复权衡比较，选取能够代表电网流量的特征属性代表原始数据包信息；选取下列13项特征属性代表原数据包的信息，它们是源地址、目的地址、IP包总长度、IP包头长度、TCP包头长度、源端口号、目的端口号、流量大小、协议标识符、长度、业务标识符、功能码以及数据长度；
根据所选择的特征，将这些特征按顺序从数据包中提取出来并存储成矩阵形式，用主成分分析方法PCA进行特征提取，进行降维处理，去除噪声数据和冗余特征项。
5.根据权利要求4所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，主成分分析方法PCA具体过程如下：
步骤1：设定n个特征变量，这里n＝13；
步骤2：输入提取数据帧号N，计算第N帧各特征数据地址；
步骤3：提取不同的特征变量对应的数据值；
步骤4：判断是否提取n个特征变量，若是，将提取的特征变量输出，存储为矩阵形式，记为X0，否则继续提取数据，直到将所有数据包中的特征值都提取出来为止；
步骤5：计算标准化化后的工业数据集X0的协方差矩阵P＝(1/n)X0X0T，并计算协方差矩阵的特征值以及对应的特征向量；
步骤6：按照特征值大小顺序将特征值对应的特征向量排列成向量形式，根据公式计算累计方差贡献率，选取前m，个特征向量组成变换矩阵C，m<n，确定降维后工业数据集，记为X1＝CX0，将原始工业数据集从n维降到m维。
6.根据权利要求1所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，OCSVM算法运行阶段具体为：在经过数据预处理后，得到具有相同维数的流量数据样本，即OCSVM算法可处理的矩阵形式X＝(x1，x2…xi…xl)，将矩阵输入OCSVM算法运算实现实时网络流量异常的识别；在X矩阵中，xi＝(xi1，xi2，…，xim)表示第i个现场数据，每一维代表该数据的一项属性；
当样本维数为两维时，直线即可进行样本划分，当样本维数为三维时，截面即可进行样本划分，当样本维数高于3维时，需要在高维空间进行样本划分，利用OCSVM算法将样本的特征在高维空间进行映射和划分。
7.根据权利要求6所述的基于单类支持向量机OCSVM的流量异常检测方法，其特征在于，在OCSVM流量流量异常检测中；在OCSVM训练中，采用OCSVM算法对电网流量数据进行训练；在训练时假设坐标原点为异样样本，在特征空间中构建一个最优的划分面区分正常和异常数据，得到分类决策函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211432020.7A CN115766227A (zh) | 2022-11-16 | 2022-11-16 | 基于单类支持向量机ocsvm的流量异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211432020.7A CN115766227A (zh) | 2022-11-16 | 2022-11-16 | 基于单类支持向量机ocsvm的流量异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115766227A true CN115766227A (zh) | 2023-03-07 |
Family
ID=85371868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211432020.7A Pending CN115766227A (zh) | 2022-11-16 | 2022-11-16 | 基于单类支持向量机ocsvm的流量异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115766227A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680621A (zh) * | 2023-08-02 | 2023-09-01 | 国网江苏省电力有限公司 | 一种避雷器相角差预测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170329314A1 (en) * | 2014-11-26 | 2017-11-16 | Shenyang Institute Of Automation, Chinese Academy Of Sciences | Modbus tcp communication behaviour anomaly detection method based on ocsvm dual-outline model |
| CN109462521A (zh) * | 2018-11-26 | 2019-03-12 | 华北电力大学 | 一种适用于源网荷互动工控系统的网络流量异常检测方法 |
| CN111832647A (zh) * | 2020-07-10 | 2020-10-27 | 上海交通大学 | 异常流量检测系统及方法 |
| CN113162893A (zh) * | 2020-09-29 | 2021-07-23 | 国网河南省电力公司电力科学研究院 | 基于注意力机制的工业控制系统网络流量异常检测方法 |
| CN113516162A (zh) * | 2021-04-26 | 2021-10-19 | 湖南大学 | 一种基于OCSVM和K-means算法的工控系统流量异常检测方法与系统 |
-
2022
- 2022-11-16 CN CN202211432020.7A patent/CN115766227A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170329314A1 (en) * | 2014-11-26 | 2017-11-16 | Shenyang Institute Of Automation, Chinese Academy Of Sciences | Modbus tcp communication behaviour anomaly detection method based on ocsvm dual-outline model |
| CN109462521A (zh) * | 2018-11-26 | 2019-03-12 | 华北电力大学 | 一种适用于源网荷互动工控系统的网络流量异常检测方法 |
| CN111832647A (zh) * | 2020-07-10 | 2020-10-27 | 上海交通大学 | 异常流量检测系统及方法 |
| CN113162893A (zh) * | 2020-09-29 | 2021-07-23 | 国网河南省电力公司电力科学研究院 | 基于注意力机制的工业控制系统网络流量异常检测方法 |
| CN113516162A (zh) * | 2021-04-26 | 2021-10-19 | 湖南大学 | 一种基于OCSVM和K-means算法的工控系统流量异常检测方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘万军;秦济韬;曲海成;: "基于改进单类支持向量机的工业控制网络入侵检测方法", 计算机应用, no. 05, 26 December 2017 (2017-12-26) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680621A (zh) * | 2023-08-02 | 2023-09-01 | 国网江苏省电力有限公司 | 一种避雷器相角差预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110247930B (zh) | 一种基于深度神经网络的加密网络流量识别方法 | |
| CN110011999B (zh) | 基于深度学习的IPv6网络DDoS攻击检测系统及方法 | |
| CN110909811A (zh) | 一种基于ocsvm的电网异常行为检测、分析方法与系统 | |
| CN111385297B (zh) | 无线设备指纹识别方法、系统、设备及可读存储介质 | |
| Jalili et al. | Detection of distributed denial of service attacks using statistical pre-processor and unsupervised neural networks | |
| CN113162893B (zh) | 基于注意力机制的工业控制系统网络流量异常检测方法 | |
| CN112804123B (zh) | 一种用于调度数据网的网络协议识别方法及系统 | |
| CN113067798B (zh) | Ics入侵检测方法、装置、电子设备和存储介质 | |
| CN109784668B (zh) | 一种用于电力监控系统异常行为检测的样本特征降维处理方法 | |
| CN108418727B (zh) | 一种探测网络设备的方法及系统 | |
| CN112822189A (zh) | 一种流量识别方法及装置 | |
| CN115766227A (zh) | 基于单类支持向量机ocsvm的流量异常检测方法 | |
| CN112418065A (zh) | 设备运行状态识别方法、装置、设备及存储介质 | |
| CN112468339B (zh) | 告警处理方法、系统、装置和存储介质 | |
| CN113570200A (zh) | 一种基于多维信息的电网运行状态监测方法及系统 | |
| CN110851422A (zh) | 一种基于机器学习的数据异常监测模型构建方法 | |
| CN114124482A (zh) | 基于lof和孤立森林的访问流量异常检测方法及设备 | |
| CN115396204A (zh) | 一种基于序列预测的工控网络流量异常检测方法及装置 | |
| CN113284004A (zh) | 一种基于孤立森林算法的电力数据诊断的治理方法 | |
| CN110266680B (zh) | 一种基于双重相似性度量的工业通信异常检测方法 | |
| CN111600878A (zh) | 一种基于maf-adm的低速率拒绝服务攻击检测方法 | |
| CN110809009A (zh) | 一种应用于工控网络的两级入侵检测系统 | |
| Jiang et al. | Recognizing control chart patterns with neural network and numerical fitting | |
| CN117411703A (zh) | 一种面向Modbus协议的工业控制网络异常流量检测方法 | |
| CN116991743A (zh) | 一种基于协议逆向的工控设备黑盒模糊测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |