CN112738014B - 一种基于卷积时序网络的工控流量异常检测方法及系统 - Google Patents
一种基于卷积时序网络的工控流量异常检测方法及系统 Download PDFInfo
- Publication number
- CN112738014B CN112738014B CN202011168042.8A CN202011168042A CN112738014B CN 112738014 B CN112738014 B CN 112738014B CN 202011168042 A CN202011168042 A CN 202011168042A CN 112738014 B CN112738014 B CN 112738014B
- Authority
- CN
- China
- Prior art keywords
- data
- flow
- industrial control
- model
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 25
- 230000005856 abnormality Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000001105 regulatory effect Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 abstract description 10
- 238000012549 training Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于卷积时序网络的工控流量异常检测方法及系统，包括以工控协议流量作为输入，将其按读写功能拆分并将拆分后的数据包按照单位时间窗口合并、规整、分组用于预测模型进行学习；以流量数据为输入，形成数据集，利用编码‑解码架构并带有ConvLSTM层的神经网络模型获得能够利用当前窗口数据预测下一窗口数据的流量数据预测模型；利用得到的预测模型，对待检测流量数据包进行预测，得到预测数据与真实数据的距离差距。对组内差距信息计算归一化得分，得到窗口与得分的分布。利用加权方式融合读写模型的得分分布，利用分布信息检测异常数据流量。本发明采用解码‑编码结构的预测用深度学习模型，引入ConvLSTM模块，对工控流量时间和空间上的特征进行有效地学习。
Description
技术领域
本发明属于网络信息安全技术领域，涉及攻击检测技术领域，特别是工业控制系统下的异常检测。
背景技术
随着工业互联网的普及，工业信息化程度不变的加强。网络中的节点设备越来越多的接入互联通信中，利用带有不同协议的通信数据(流量)来实现多设备之间的交互。伴随着这种交互的不断深入，风险也随之而来。越多的节点的开放，导致工业底层控制系统越来越容易受到攻击者的攻击；攻击者往往会利用前序攻击来实现对PLC控制设备的控制。从而导致工厂作业的停止甚至是设备的损坏，对企业带来巨大的影响。而传统的工控设备由于更新迭代慢，其安全设施并不能很好的适应网络高速发展带来的风险问题，因此需要额外的安全模块引入对其进行特殊保护，尤其是对工控系统的特殊保护。在传统的入侵检测中，入侵检测技术根据数据；来源的不同，可以分为主机检测和网络检测；在工控系统中，执行设备与控制设备之间通过特有的工控协议如MODBUS、S7、DNP3等，控制设备利用这些协议来控制执行设备的寄存器值，来修改执行器要执行和更改的开关设备。从而实现对于工厂设备的有序运行，保证生产的自动化运转。而想改变这种情况，攻击者就无法逃离于工控流量传输指令来下达攻击。因此，对于工控流量的分析和检测成为了检测工控系统中风险的有效方法。对于工控流量的异常检测逐渐变得日趋火热。
工业控制系统流量(工控流量)与传统流量不同，其报文形式固定，流量固定，在固定周期上呈现一定的规律性。其需要控制的指令存在于报文负载的固定位置，因此需要着重注意该区域的区别变化。同时，因为指令变化呈现的周期性，流量在连续时间内前后关系存在很大的关联性，而攻击往往会改变这些关联性，因此在检测攻击时，需要考虑前后关联关系。为了能够有效监测这些数据变化，在传统的入侵检测中，往往会考虑进行人为的特征提取，之后再结合分类器模型，对这些特征进行学习和分析，利用特征判断流量中是否存在异常。然而，人为提取特征的过程会损失大量的数据信息，主观因素提取的特征会对模型的分类训练过程产生一定的影响，从而会影响性能和精度提升。
随着计算性能的不断提高，深度学习逐渐代替了机器学习成为了人工智能领域的热点，其强大的学习能力也越来越多的用来进行入侵检测技术。其检测精度也可以有了显著的提高。然而，目前对于流量的模型分类有两种，一个是利用提取的特征来对特征利用深度学习模型分类；这无异于传统的机器学习方法，浪费了一定的深度学习效果；第二种是利用卷积的深度学习模型来对流量进行分类，类似于图像的方式。此方法的问题在于丧失了流量数据中的前后关系。尤其是在工控流量如此依赖前后关系的特性上，很难充分利用数据信息来检测异常。因此，如何将空间上与时间上的关系进行考虑，利用深度学习模型更好地学习到有效地关系数据，成为研究的重点。
发明内容
本发明所要解决的技术问题是提供一种基于卷积时序网络的工控流量异常检测方法及系统，用于解决工控系统下利用机器学习或者深度学习提取特征学习方法丧失掉的数据信息，以及不能充分考虑前后数据关系的问题。
本发明解决上述技术问题的技术方案如下：一种基于卷积时序网络的工控流量异常检测方法，包括：
步骤1，以工控协议流量网络数据包为输入，将其按照读、写功能类型进行拆分，并将拆分后的数据包按照单位时间窗口进行合并、规整、分组用于预测模型学习。
步骤2，以步骤1处理后的数据作为输入，形成流量数据集。设计编码、解码架构的神经网络模型，并引入ConvLSTM层(带卷积操作的长短期记忆网络)，完成对输入数据的特征学习，获得能够利用当前窗口数据预测下一窗口数据的流量数据预测模型。
步骤3，利用步骤2得到的预测模型，对待检测流量数据包进行预测。利用预测结果与真实结果进行比较，得到距离差距。并对组内差距信息计算归一化得分，得到所有窗口的得分分布。再利用加权方式融合读写模型的得分分布，利用总分布信息检测异常数据流量。
在上述技术方案的基础上，本发明还可以做如下细化。
进一步，所述步骤1中将所有数据包合并、规整、分组的过程具体包括：
步骤11，以工控数据包单位周期时间T为时间窗口，对T时间窗口内数据包进行提取并合并为一个数据帧。
步骤12，将合并后的每一帧数据包进行规整，对其数据形状进行改变，由1维数据(1*N)转换为2维方阵(M*M)数据。
步骤13，对合并且规整后的所有数据矩阵，按照固定的大小进行分组，依次提取多个相邻数据帧作为一组。
进一步，还需判断是否已有用于检测流量异常的工控流量的预测模型，若没有则利用深度学习方法构建流量预测模型，否则直接对待检测的工控流量做出预测。
进一步，所述步骤2中利用深度学习方法，构建流量预测模型，来学习工控流量数据包特征对流量进行拟合做出预测数据的方法具体包括：
步骤21，利用步骤1中合并且规整好的无异常工控流量数据集，放入卷积层中进行编码，得到编码后的数据。
步骤22，对编码后的数据利用ConvLSTM层对时空特性进行学习，预测下一时刻对应的流量数据。
步骤23，对预测的数据放入反卷积层中进行解码得到解码后的预测数据。
步骤24，利用MSE(均方误差)函数计算Fi+1(真实的第i+1位置的数据)与Fi'+1(预测的第i+1位置的数据)的损失，利用损失信息对模型进行负反馈。利用优化器优化对应参数层参数。
步骤25，若达到终止条件(模型迭代轮数达到最大)时，则算法终止，返回构建的流量预测模型，否则重复步骤21至步骤24。
进一步，所述步骤3中，利用步骤2生成的预测流量模型生成预测流量时，还需要对其进一步处理，来得到是否异常结果。
进一步，所述步骤3中对于未知异常情况的工控流量得到预测数据后，利用预测数据与真实数据的对比检测数据异常的具体步骤包括：
步骤31，利用权力要求1步骤2得到的流量预测模型，对待检测的数据进行放入，得到预测的下一数据帧流量。
步骤32，利用得到的预测流量数据与真实流量数据进行对比，计算差异程度，得到元素之间的差异距离。
步骤33，利用得到的每个数据帧与对应预测的下一数据帧之间的差异结果，根据步骤1中的分组情况，对组内每个数据帧的数据差异程度进行归一化，计算组内每个数据帧的归一化得分。
步骤34，对所有数据与归一化得分结果按照前后顺序关系进行贴合得到得分分布表。
步骤35，以加权融合的方式对读写模型分别给出的得分分布进行融合，得到总的得分分布图
步骤36，对分布状态内低于某一阈值或者出现得分谷点的数据进行提取，认定此数据为异常数据
基于上述方法，本发明的技术方案还包括了一种基于卷积时序网络的工控流量异常检测系统，包括：
数据包预处理模块，以工控流量数据包作为输入，对数据包按照功能进行拆分，并对拆分后的数据进行合并、规整和分组。
预测模型学习模块，其用于以数据包预处理模型后的数据作为输入，形成训练数据集，利用深度学习模型和优化方法对流量特性进行学习并拟合，获得工控流量预测模型。
异常检测模块。利用预测模型学习模块得到的流量预测模型对待检测的流量进行预测，利用预测结果与真实流量信息进行比较计算出差异性，并利用差异性对待检测流量的异常性进行判断。
进一步，所述数据预处理模块包括：
数据包按功能拆分模块：其利用工控协议中不同的读写指令功能对数据包进行拆分。
数据包合并、规整模块：其用于对拆分后的数据分别按照单位时间窗口进行截取，并对截取的数据进行合并，并重塑成方阵的形式。
数据包分组模块：其用于对合并、规整后的数据按照固定大小进行分组。
进一步，所述预测模型学习模块利用深度学习模型框架针对于工控流量进行学习，生成预测流量模型。
进一步，所述系统还包括输出模块，所述预测模型学习模块利用深度学习模型框架针对于工控流量进行学习，生成预测流量模型。
本发明的有益效果是：
一、模型输入为所有系统中的工控协议流量，不需要额外数据处理提取对应的特征，直接对现有捕获的流量进行有效的学习，且训练过程无监督化。
二、与传统的机器学习和深度学习的方法相比，本发明直接处理流量数据，利用编码解码格式，对流量特征进行自动提取和转换。利用
ConvLSTM模块同时提取一组流量在数据上的空间特征，还能够处理在一段时间内流量上的时间特征信息。从而更加全面的掌握工控流量的规律。
三、本发明的模型与以往利用分类模型检测异常流量不同，本模型为预测模型流量，即利用前序流量预测当前流量来对实际流量的异常进行判断，而不是简单地利用分类模型对模型进行分类。这样一是更加有助于追溯到异常的流量信息；二是对于异常的判断更具有依据性、可靠性。
四、本系统最后的输出结果为异常的时间点以及操作序列，能够使管理员等利用异常检测信息的人员能够更加清晰的对高风险的攻击进行判断，从而更快速的做出防御措施。
综上所述，本发明公开了一种利用卷积时序网络实现的预测模型检测工控系统流量异常的检测方法及系统，有效解决了传统利用机器学习检测时需要提取特征导致的数据利用不充分问题；又解决了利用卷积神经网络或者LSTM(长短期以及网络)模型不能同时对工控流量学习时间和空间的特性问题；最后整体模型在训练时无需监督，在学习上更加方便。本发明利用ConvLSTM层结合编码和解码结构模型对工控流量呈现时间上的连续、空间上的相关特性进行有效的学习，能够有效处理和学习输入的数据，从而实现对工控流量异常检测能力的提高。同时，此模型在整体上无需人工提取特征，无需监督学习，直接对正常流量进行学习即可。在整体学习效率(高准确性和高召回率)上也可以达到很好的效果。
附图说明
图1为本发明所述一种基于卷积时序网络的工控流量异常检测方法的流程示意图；
图2为本发明实施例一中通过预处理后的工控流量构建预测模型并检测异常的方法示意图；
图3为本发明实施例一利用正常工控数据构建预测模型的流程示意图；
图4为本发明所述实施例二基于S7协议工控数据集实验结果图；
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
如图1所示，实施例一是一种基于卷积时序网络的工控流量异常检测方法，包括：
步骤1，以待检测的工控流量数据包为输入，并将数据包进行拆分、合并、规整以及分组。
步骤2，以步骤1获得的流量数据包作为输入，形成数据集，利用带有解码和编码的深度学习模型对该数据集进行时间和空间特征的学习，根据此预测对应数据下一阶段的数据流量，得到流量预测模型。
步骤3，利用步骤2得到的流量预测模型，对待检测的流量进行预测，得到预测结果，利用预测结果与真实流量进行比较，得到距离差距。对组内差距信息计算归一化得分，得到距离差距分布，利用得分分布信息检测异常数据流量。
如图2所示，根据工控网络数据包构建预测模型并检测异常的具体内容为：
1)数据包拆分：数据包拆分操作是利用工控协议类型中，根据操作不同，可将数据包分为写寄存器(write)和读寄存器(read)两种操作数据包，得到Fwrite和Fread流量，其中Fwrite为写寄存器包数据，Fread为读寄存器包数据。
2)数据包分组和规整：此操作对拆分后的流量Fwrite和Fread流量分别按照命令周期T进行周期内窗口流量截取，将每个窗口内的数据进行合并，得到F1,F2,F3,...,Fn，其中n为总窗口数。之后将得到的F进行分组，以N为单位进行分组得到分组后的数据对应分组数据G1,G2,...,Gm，m为分组数。
3)判定是否已有训练存在的模型，如果没有则将数据进行汇总放入新模型中进行训练，如果有则将数据放入模型进行检测。
4)新训练模型利用初始化的深度学习模型对接收到的分组后的Fwrite和Fread数据进行预测拟合。依据时间Ti时刻流量Fi放入模型(i为对应数据位置)，拟合Fi+1流量，依据损失函数LOSS，计算损失，进行对模型的负反馈处理。
5)当已存在模型时，将数据Fi作为输入放入模型得到Fi'+1，利用得到的数据与真实数据Fi+1计算欧式距离差异dst(i)，公式为
6)由于对流量进行了拆分，因此将拆分的两种流量对应的两种模型检测结果按照时刻信息进行合并，利用加权求和的方式对同一时刻的read的对应得分Scoreread和write对应得分Scorewrite进行相加得到融合后的得分Scoreall(t)，将得分按照时间排列得到得分分布表。
7)利用得分分布表，对得分分布的谷点进行提取，找到对应时刻的异常流量操作，进行关联得到异常攻击序列。
预测模型结构设计为解码、特征提取、解码的流程结构，训练过程为正向递推与反向递推共存的结构。首先，编码层为卷积操作的编码，有利用更好地将空间数据转换为模型可接收的数据，有利用时空特征的学习。其次，对于ConvLSTM层，其输入为4维度的张量(时间，分组，高度，宽度)，能够在内部利用卷积操作学习空间特征，同时利用LSTM结构学习存在于空间数据上的时间特性。这样能够对数据进行有效地学习并利用学习的特性输出下一时刻预测的流量数据。最后，为了能够实现原始数据与预测数据的对比并计算差异，在最后进行反卷积进行解码，还原数据为原始编码。如图3所示，具体的实施步骤为：
步骤21，首先将准备训练的数据F1,F2,...,Fn进行规整，调整每个数据形状为卷积可以接受的大小M*M形状。
步骤22，将数据放入卷积层进行编码得到编码后的数据。
步骤23，对编码后的数据进行时空特性学习预测下一单位时刻对应的数据。
步骤24，对得到的预测数据放入反卷积层进行解码得到解码后的预测数据。
步骤25，利用MSE(均方误差)损失函数计算Fi'+1与Fi+1的损失，利用损失对模型进行负反馈。
步骤26，判断是否达到训练轮数，如果达到则输出结果，如果没有达到训练轮数则重复此过程。得到最终的结果。
另外,所述步骤3异常检测完成后，输出结果为两类：一类是判断某一单位时刻内流量存在异常行为；另一类是某一单位时刻内不存在异常行为。
综合上述基于前序数据预测模型的异常检测模型方法，本发明同时公开了一种基于深度学习的工控流量异常检测系统。本系统主要由数据包处理预处理模块、预测模型学习和训练模块和异常检测模块三部分构成。
1)数据包预处理模块。数据包预处理模块以网络数据包作为输入，自动将数据工控流量数据包以执行功能如读写等操作进行分离，根据时间窗口进行流量合并以及数据规整，最后将合并的流量进行分组，得到分组好的预处理数据。
2)预测模型学习模块。以数据包预处理模块得到的结果作为输入。利用神经网络模型对当前数据组数据进行特征学习和预测，使模型输出贴近下一组数据，利用模型拟合结果与实际结果的差异程度，优化模型中的参数来实现对模型的训练。
3)异常检测模块。以数据包预处理模块得到的分组数据为输入。利用预测模型学习模块得到的预测模型，对输入的数据进行预测。利用预测结果计算与实际的数据进行差异值计算，并最终计算出分组内的差异值归一化得分。得到每个窗口数据的得分，汇总得分得到得分分布。通过得分分布找到分布谷点，从而得到异常时刻点，检测到异常流量。
同样对应上述的一种利用时序信息的流量预测模型检测工控流量的异常的方法，这种检测工控流量的异常的系统中：
所述数据预处理模块包括：数据包按功能拆分模块，其利用工控协议中不同的读写指令功能对数据包进行拆分。数据包合并、规整模块，其用于对拆分后的数据分别按照单位时间窗口进行截取，并对截取的数据进行合并，再重塑成方阵的形式。数据包分组模块，其用于对合并、规整后的数据按照固定大小进行分组。
所述预测模型学习模块其利用编码-解码的深度学习模型框架针对于工控流量进行学习，生成预测流量模型。
所述系统还包括输出模块，用于对预测模块得到的结果做出判断，并根据判断结果输出是否为捕捉到异常流量。
实施例二
实施例二是对以S7为主工控协议的模拟炼油厂工控数据进行实验，利用以下几个精度对模型的效果进行评估。
首先定义以下四种样本集合：
1)TP：数据集中阳性样本且被模型归类为阳性的样本集合。
2)FP：数据集中阴性样本但被模型归类为阳性的样本集合。
3)TN：数据集中阴性样本且被模型归类为阴性的样本集合。
4)FN：数据集中阳性样品但被模型归类为阴性的样本集合。
基于上述四种样本集合，本发明采用入侵检测领域中通常使用四种评价指标来对本发明中的入侵检测模型进行检测性能评价。
模型检测性能评价指标，其中包括：准确率(Accuracy)，精确率(Precision)，召回率(Recall)和F-Measure。具体定义如下：
由于准确率与召回率分别描述系统性能的两个方面，单一使用准确率和召回率作为评价指标具有局限性，因此，本发明选用F-Measure指标将这两个指标进行综合考虑，从而选择最优方案。
在该数据集中，数据分布在10个小时的数十个周期内，攻击者共在64个时刻时制造了不同的攻击。
针对于本实验数据集，数据集在前2-3周期(前2900秒内)没用攻击出现，因此利用此段时间内的数据训练建立模型。为了保证数据的整洁性，将数据中的非S7协议包进行去除，将write包与read包分离，分离后对每一秒内的数据包进行提取，放入模型中训练。设计合适的数据窗口，将数据能够全部装入。模型利用Adam优化器进行优化，利用MSE作为损失计算方式。在训练100轮后，模型趋于拟合。
利用训练好的模型对整个数据集全部周期进行测试，部分测试结果如图4所示。在测试时，利用两个模型分别输出read和write包的得分曲线。根据时刻信息将两个结果进行合并。从结果中可以看到，无论是单一的攻击还是连续的dos攻击都能够通过模型得到检测。如图4的b中，在4000到4200秒之内大多数时刻得分布在1.0附近。在4170秒附近，得分突然下降，此时正好捕捉到恶意的工控指令。同时在图4的c中，可以看到在5500至5600连续一段时间得分在0.6左右。判断此时系统遭遇了连续的恶意指令攻击。通过对该段流量的查看可以发现有DOS泛洪攻击存在。此时攻击者在单位时间内发送大量恶意数据包。
通过验证整体效果可以检测到绝大部分被恶意插入的序列指令攻击，利用评估指标可以知道，本模型在检测准确率，召回率，F-Measure指数上可以达到99.9％，基本上可以对所有恶意注入的命令进行有效检测，
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于卷积时序网络的工控流量异常检测方法，其特征在于，包括：
步骤1，以工控协议流量作为输入，按照读、写功能类型进行拆分得到数据包，将拆分后的数据包按照单位时间窗口进行合并、规整、分组用于预测模型进行学习的数据；
步骤2，以步骤1获得的用于预测模型进行学习的数据作为输入，形成分组数据集；利用编码、解码架构的神经网络模型对该输入数据进行特征学习，获得能够利用当前窗口数据预测下一窗口数据的流量数据预测模型；
步骤3，利用步骤2得到的预测模型，对待检测流量数据包进行预测，利用预测结果与真实结果进行比较，得到距离差距；并对组内差距信息计算归一化得分，得到窗口与得分的分布；利用加权方式融合读写模型的得分分布，利用总得分分布检测异常数据流量；
所述步骤1中将所有数据包合并、规整、分组的过程包括：
步骤11，按照工控数据包单位周期时间T为时间窗口，对T时间窗口内数据包进行提取并合并为一个数据帧；
步骤12，将合并后的每一帧数据包进行规整，对其数据形状进行改变，由1维数据1*N转换为2维方阵M*M数据；
步骤13，对合并且规整后的数据矩阵，按照固定的大小进行分组，依次提取多个相邻数据帧作为一组；
所述步骤2中还需判断是否已有针对待检测是否异常的工控流量的预测模型，若没有则利用深度学习方法构建流量预测模型，否则直接对待检测的工控流量做出预测；
所述步骤2中利用深度学习方法，构建流量预测模型，来学习工控流量数据包特征对流量进行拟合做出预测数据的方法具体包括：
步骤21，利用步骤1中合并且规整好的无异常工控流量数据集F1,F2,...,Fn，放入卷积层中进行编码，得到编码后的数据Ci＝Conv(Fi)，其中Conv为多层卷积层操作，n为总数据量；
步骤22，对编码后的数据进行时空特性学习预测得到下一对应时刻的预测数据Ci+1＝Convlstm(Ci)，其中Convlstm为多层ConvLSTM层操作，ConvLSTM为带卷积的长短期记忆网络；
步骤23，对预测的数据放入反卷积层中进行解码得到解码后的预测数据Fi'+1＝Deconv(Ci+1)，其中Deconv为多层反卷积层操作；
步骤24，利用MSE即均方误差函数计算真实的第i+1位置的数据Fi+1与预测的第i+1位置的数据Fi'+1的损失，利用损失信息对模型进行负反馈；利用优化器优化对应参数层参数；
步骤25，若达到终止条件即模型迭代轮数达到最大时，则算法终止，返回构建的流量预测模型，否则重复步骤21至步骤24。
2.根据权利要求1所述一种基于卷积时序网络的工控流量异常检测方法，其特征在于，所述步骤3中对于未知异常情况的工控流量得到预测数据后，利用预测数据与真实数据的对比检测数据异常的具体步骤包括：
步骤31，利用权利要求1步骤2得到的流量预测模型，对待检测的数据进行放入，得到预测的下一数据帧流量；
步骤32，利用得到的预测流量数据与真实流量数据进行对比，计算差异程度，得到元素之间的差异距离；
步骤33，利用得到的每个数据帧与对应预测的下一数据帧之间的差异结果，利用在权利要求1步骤1中的分组结果，对组内每个数据帧的数据差异程度进行归一化，计算组内每个数据帧的归一化得分；
步骤34，对所有数据与归一化得分结果按照前后顺序关系进行对应得到得分分布表；
步骤35，以加权融合的方式对读写模型分别给出的得分分布进行融合，得到总的得分分布图；
步骤36，对分布状态内低于某一阈值或者出现得分谷点的数据进行提取，认定此数据为异常数据。
3.根据权利要求2所述的一种基于卷积时序网络的工控流量异常检测方法，其特征在于，所述的步骤33利用差距信息计算分组内归一化得分的方法具体为：
利用分组，计算组内距离的归一化结果，得到每个数据帧的归一化得分
其中，dst(t)代表第t位置的数据差异程度，j表示数据在组内位置，遍历范围为1到N，N为小组内的数据总个数，Score(t)表示t数据的对应归一化得分；该公式的整体数据范围为Ft所在小组G中的所有数据，计算组内的距离总和得到最终的归一化结果，最后得到单位时间窗口内对应的得分情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168042.8A CN112738014B (zh) | 2020-10-28 | 2020-10-28 | 一种基于卷积时序网络的工控流量异常检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011168042.8A CN112738014B (zh) | 2020-10-28 | 2020-10-28 | 一种基于卷积时序网络的工控流量异常检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112738014A CN112738014A (zh) | 2021-04-30 |
| CN112738014B true CN112738014B (zh) | 2023-05-16 |
Family
ID=75597333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011168042.8A Active CN112738014B (zh) | 2020-10-28 | 2020-10-28 | 一种基于卷积时序网络的工控流量异常检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112738014B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361364B (zh) * | 2021-05-31 | 2022-11-01 | 北京市商汤科技开发有限公司 | 目标行为检测方法、装置、设备及存储介质 |
| CN114172704B (zh) * | 2021-11-27 | 2024-03-26 | 北京工业大学 | 一种基于bsm数据包时空关系的异常节点检测方法 |
| CN114390002B (zh) * | 2021-12-15 | 2024-08-06 | 南京理工大学 | 基于分组条件熵的网络流量多模块聚类异常检测方法 |
| CN114298277B (zh) * | 2021-12-28 | 2023-09-12 | 四川大学 | 一种基于层稀疏化的分布式深度学习训练方法及系统 |
| CN115225520B (zh) * | 2022-07-15 | 2023-09-26 | 同济大学 | 一种基于元学习框架的多模态网络流量预测方法及装置 |
| CN116343359B (zh) * | 2023-02-16 | 2023-10-31 | 唐山三友化工股份有限公司 | 一种工业生产异常行为态势检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034140A (zh) * | 2018-09-13 | 2018-12-18 | 哈尔滨工业大学 | 基于深度学习结构的工业控制网络信号异常检测方法 |
| CN109766992A (zh) * | 2018-12-06 | 2019-05-17 | 北京工业大学 | 基于深度学习的工控异常检测及攻击分类方法 |
| CN110719289A (zh) * | 2019-10-14 | 2020-01-21 | 北京理工大学 | 一种基于多层特征融合神经网络的工控网络入侵检测方法 |
| CN110912867A (zh) * | 2019-09-29 | 2020-03-24 | 惠州蓄能发电有限公司 | 工业控制系统的入侵检测方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11481495B2 (en) * | 2018-05-11 | 2022-10-25 | Sri International | Anomalous behavior detection in processor based systems |
-
2020
- 2020-10-28 CN CN202011168042.8A patent/CN112738014B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034140A (zh) * | 2018-09-13 | 2018-12-18 | 哈尔滨工业大学 | 基于深度学习结构的工业控制网络信号异常检测方法 |
| CN109766992A (zh) * | 2018-12-06 | 2019-05-17 | 北京工业大学 | 基于深度学习的工控异常检测及攻击分类方法 |
| CN110912867A (zh) * | 2019-09-29 | 2020-03-24 | 惠州蓄能发电有限公司 | 工业控制系统的入侵检测方法、装置、设备和存储介质 |
| CN110719289A (zh) * | 2019-10-14 | 2020-01-21 | 北京理工大学 | 一种基于多层特征融合神经网络的工控网络入侵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的工控网络异常流量检测;张艳升等;《计算机应用》;20181218(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112738014A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112738014B (zh) | 一种基于卷积时序网络的工控流量异常检测方法及系统 | |
| CN112491796B (zh) | 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法 | |
| CN113067754B (zh) | 一种半监督时间序列异常检测方法及系统 | |
| CN111600919B (zh) | 智能网络应用防护系统模型的构建方法和装置 | |
| WO2024114827A1 (zh) | 基于连续时间动态异质图神经网络的apt检测方法及系统 | |
| Wang et al. | Res-TranBiLSTM: An intelligent approach for intrusion detection in the Internet of Things | |
| CN117113262A (zh) | 网络流量识别方法及其系统 | |
| CN117220920A (zh) | 基于人工智能的防火墙策略管理方法 | |
| CN116318928A (zh) | 一种基于数据增强和特征融合的恶意流量识别方法及系统 | |
| CN117749409A (zh) | 一种大规模网络安全事件分析系统 | |
| Laptiev et al. | Algorithm for Recognition of Network Traffic Anomalies Based on Artificial Intelligence | |
| CN117992496A (zh) | 一种基于时空特征融合的日志异常检测方法 | |
| CN117938430A (zh) | 基于Bert模型的Webshell检测方法 | |
| CN111797997A (zh) | 网络入侵检测方法、模型构建方法、装置及电子设备 | |
| CN115622810A (zh) | 一种基于机器学习算法的业务应用识别系统及方法 | |
| Xie et al. | Research and application of intrusion detection method based on hierarchical features | |
| CN114091021A (zh) | 一种用于电力企业安全防护的恶意代码检测方法 | |
| Hsieh et al. | MLNN: A Novel Network Intrusion Detection Based on Multilayer Neural Network | |
| CN117852092B (zh) | 基于区块链的数据安全保护方法及系统 | |
| CN117792801B (zh) | 一种基于多元事件分析的网络安全威胁识别方法及系统 | |
| CN117439800B (zh) | 一种网络安全态势预测方法、系统及设备 | |
| Nema et al. | Robust Anomaly Detection in Network Traffic using Deep Learning Models | |
| Chen et al. | Res-CLN: security intrusion detection system for optical communication in hybrid networks with CNN-LSTM based on fused residual structure | |
| Meng et al. | Computer Network Security Evaluation Method Based on GABP Model | |
| CN116668092A (zh) | 一种基于神经网络的网络安全威胁情报分析方法及其分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |