CN115643115A - 基于大数据的工控网络安全态势预测方法及系统 - Google Patents

基于大数据的工控网络安全态势预测方法及系统 Download PDF

Info

Publication number
CN115643115A
CN115643115A CN202211660390.6A CN202211660390A CN115643115A CN 115643115 A CN115643115 A CN 115643115A CN 202211660390 A CN202211660390 A CN 202211660390A CN 115643115 A CN115643115 A CN 115643115A
Authority
CN
China
Prior art keywords
program
industrial control
data
control network
flow data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211660390.6A
Other languages
English (en)
Other versions
CN115643115B (zh
Inventor
石小川
马超
张典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211660390.6A priority Critical patent/CN115643115B/zh
Publication of CN115643115A publication Critical patent/CN115643115A/zh
Application granted granted Critical
Publication of CN115643115B publication Critical patent/CN115643115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于大数据的工控网络安全态势预测方法及系统,构建了Kafka分布式消息转发订阅框架;对消费者程序进行扩展,在消费者程序构建神经网络模型并进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,将训练生成的神经网络模型反馈至生产者程序;对生产者程序进行扩展对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对工控网络流量数据进行安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。

Description

基于大数据的工控网络安全态势预测方法及系统
技术领域
本发明涉及信息技术领域,尤其涉及基于大数据的工控网络安全态势预测方法及系统。
背景技术
随着科学技术的进步,工业控制网络的结构变得愈发复杂,网络协议的种类也愈发繁杂,针对工业控制网络的攻击手段也日益多样化,传统防火墙、入侵防御等静态防御和边界防御为主的安全防护策略已然无法应对具备隐蔽性、渗透性的高级新型威胁。结合工业控制系统的特点,大量学者将工业控制系统的安全研究重点定为网络流量异常检测方面。以安全大数据为基础,从全局视角对工业控制网络全网数据进行安全威胁发现、理解分析、最后响应处理的网络态势感知技术在维护工业控制系统安全性方面具有非常好的适配性。
现有维护工控网络安全的方法大多只是运用各种机器学习或深度学习的方法构建入侵检测系统,通过训练分类器以识别采集的工控网络流量数据是否安全。对于工业控制网络中大规模的数据、已知和未知的威胁并无法有效预测。
发明内容
本发明提供了一种基于大数据的工控网络安全态势预测方法及系统,用以解决或者至少部分解决现有技术中无法对工业控制网络中的态势进行准确预测的技术问题。
为了解决上述技术问题,本发明第一方面提供了基于大数据的工控网络安全态势预测方法,包括:
T1:构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于从工控网络中采集工控网络流量数据,并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
S2:对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
S3:对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
在一种实施方式中,S1中生产者程序以旁路的方式与工控网络并联,对工控网络流量数据进行采集。
在一种实施方式中,步骤S3对消费者程序进行扩展,还包括对消费者程序添加数据压缩、数据降维的功能,且构造的消费者程序包括多个,一部分消费者程序负责拉取Kafka中的数据并带入神经网络模型中进行训练,并将训练生成的神经网络模型反馈至生产者程序,还接收生产者程序的反馈以重新训练模型;另一部分消费者程序负责统计Kafka中遭受各攻击种类的流量数据的数量,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,然后将样本增强后的数据再次缓存于Kafka中。
在一种实施方式中,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,包括:
针对给定小样本时间序列,训练一个时间序列生成模型,并使用该时间序列生成模型生成仿真时间序列添加到原样本中。
在一种实施方式中,所述方法还包括:
当消费者程序未反馈神经网络模型于生产者程序时,生产者程序将已处流量数据缓存至Kafka中用作后续消费者程序训练神经网络模型的训练数据,其中,已处理流量数据为通过人工标记的数据;
当生产者程序收到消费者程序的神经网络模型训练完毕的反馈时,采集工控网络原始流量数据以及已处理流量数据,已处理流量数据送入消费者程序中的神经网络模型进行训练,并用训练得到的模型对原始流量数据进行分类,生成数据的安全态势标签,并生产至Kafka中进行缓存。
基于同样的发明构思,本发明第二方面提供了基于大数据的工控网络安全态势预测系统,包括:
Kafka框架构建模块,用于构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于对工控网络数据进行读取并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
态势感知模块,用于对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
安全态势预测模块,用于对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
相对于现有技术,本发明的优点和有益的技术效果如下:
本发明提出的基于大数据的工控网络安全态势预测方法及系统,可以根据实际情况对生产者程序和消费者程序进行扩展,从而可以增强对不同工控网络的适应性,且系统易于定制和扩展特定功能,实现对已知或未知高级持续威胁的高时效性、高准确度智能检测。消费者程序训练生成的模型能够反馈至生产者程序处,使其对采集的工控网络流量数据实现安全态势预测,同时,当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。上述反馈机制可使得系统预测感知网络安全态势的准确率始终维持在较高水平,让系统可自适应自演化面向大规模工控网络进行安全威胁智能诊断。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为网络态势感知基本框架图;
图2是本发明实施例中提出的基于大数据的工控网络安全态势预测方法的流程图;
图3是本发明实施例中基于大数据的工控网络安全态势感知模型框架图;
图4是本发明实施例中感知模型框架中小样本增强模型的示意图;
图5是本发明实施例中感知模型框架中神经网络模型的示意图;
图6是本发明实施例中基于大数据的工控网络安全态势预测系统的结构框图;
图7为本发明实施例提供的计算机可读存储介质的结构示意图;
图8为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
态势感知技术最早诞生于军事领域,具有感知、理解和预测三个层次。网络态势感知技术旨在对大规模网络通信进行异常数据感知、理解与预测,动态监测网络环境,对能够引起网络态势变化的因素进行数据采集,对预测的异常数据及时反馈,并做出合适的防御响应,并可对未来一段时间的网络安全态势进行预测,以达到维护网络安全的目的。虽然现今网络态势感知在算法上应用广且发展迅速,但在大数据技术方面的发展空间仍然很大。且由于工控系统设备的封闭性以及通信设备和协议的专有性,使得目前对于工控网络的态势感知研究仍然较少。网络态势感知技术基本可分为三个层次:数据源层、统计分析层和智能诊断层。具体请参见图1,数据源层主要运用大数据技术实现全网数据的采集与存储,实现网络态势的提取;统计分析层主要运用构建知识图谱、机器学习、深度学习等方法对流量数据进行统计学分析、分类等实现网络态势的利用;智能诊断层运用决策融等算法,实现最终的网络态势评估。本发明设计的工控网络安全态势感知模型,通过利用Kafka分布式消息订阅转发框架、神经网络模型、工控网络流量时序数据小样本增强等算法,构建包括数据源层、统计分析层和智能诊断层三层模型,实现工控网络安全态势感知及面向高级持续威胁的智能分析与诊断。
本发明旨在提出一种基于大数据工具的分层且可扩展的网络安全态势感知预测系统,以实现对已知或未知高级持续威胁的高时效性、高准确度智能检测及构建具有良好自适应性和自演化性的大规模工控网络安全威胁智能诊断框架。具体而言,主要创新点包括:
(1)利用分层且可扩展的系统设计方案,可针对特定工控网络系统添加扩展功能,如压缩、降维、融合以及结构化等操作,提高信息的价值密度,运算效率。
(2)利用Kafka机制,对大规模工控网络实时流式数据实现快速准确安全的转发存储,同时在消费者程序添加网络安全态势感知预测神经网络训练模型,对特定数据还可添加小样本真强算法,以此提高工控网络安全态势感知预测的准确性。
(3)利用反馈机制,对Kafka消费者程序训练的模型反馈于Kafka生产者程序处,对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈于消费者处重新训练模型,以此使得系统工控网络安全态势感知预测的准确率始终维持在较高水平。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了基于大数据的工控网络安全态势预测方法,包括:
S1:构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于对工控网络数据进行读取并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
S2:对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
S3:对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
请参见图2,是本发明实施例中提出的基于大数据的工控网络安全态势预测方法的流程图。
具体来说,步骤S1构建“数据中转站”:Kafka分布式消息转发订阅框架,实现工控网络态势的获取。利用Kafka高吞吐量、持久性存储以及分布式等特性,实现工控网络流式数据的实时快速准确安全转发与存储,解决目前工控网络安全研究所面临的通信流量规模大、协议种类繁多、生成速度快等问题。数据采集方面,可采用旁路方式,将数据采集系统与网络并联进行数据采集,利用工控网络中协议的广播机制, 运用Wireshark等网络流量数据抓包工具,在不影响工控系统正常运行的前提下,采集工控网络的会话日志、网络应用日志和原始通信数据,实现工控网络的原始态势提取。并通过创建Kafka的topic、生产者和消费者程序,构建数据采集、缓存、转发三个层次的Kafka数据中转站。
具体实施过程中,构建“数据中转站”:Kafka分布式消息转发订阅框架,实现工控网络态势的获取,通过如下方式来实现:
部署大数据环境:
本发明实施例采用ubuntu 18.04.6操作系统构建Kafka集群,由于Kafka依赖于Zookeeper,故需要对每台虚拟机的Zookeeper和Kafka进行设置。本发明的大数据环境搭建步骤如下:
(1)配置JDK、Zookeeper、Kafka等本发明所需软件。
(2)创建Kafka的topic,命名为ics,用于发布订阅本发明的工业控制网络流量数据。
(3)编写Kakfa生产者程序,对工控网络数据进行读取并以流数据的形式生产至Kafka的对应分区中。
(4)编写Kafka消费者程序,对工控网络数据进行订阅转发。
利用Kafka构造数据中转站,对大规模工控网络的实时流式数据进行快速准确安全转发与存储,屏蔽数据采集端和数据处理端之间的数据处理速率差异,避免了工控网络流量数据的丢失现象。对后续采集工控网络的会话日志、网络应用日志和原始通信数据,通过创建Kafka的topic、生产者和消费者程序,构建数据采集、缓存、转发三个层次的Kafka数据中转站,实现工控网络态势的获取。
步骤S2:扩展Kafka消费者程序,实现工控网络态势的理解。例如添加数据压缩、统计学习算法等功能,对存储在Kafka的数据运用机器学习或深度学习等方法分析一些攻击的攻击行为,考虑到工控网络的特点,输入模型的数据是实时变化的,因此,需要设计网络结构能做到保留上次时刻输入的数据,从而使得网络既能学习到某一时刻的局部特征,也能学习到一个时间段内的全局特征。在消费者程序构建特定神经网络模型对消费者程序从Kafka框架中转发的工控网络流量数据进行分析并学习提取网络安全态势的方法,即通过神经网络模型,对输入的工控网络流量数据,输出得到该流量数据是否正常,若异常则输出遭受攻击的标签或未知威胁,并将训练生成的模型反馈于生产者程序中即可形成自动预测分析网络安全态势的框架,实现工控网络态势的理解,反馈至生产者程序的模型也可对生产者程序后续采集的流量数据带入模型并进行安全性预测。
步骤S3:扩展Kafka生产者程序,实现工控网络态势的评估。可以添加对流量数据进行简单判断是否安全的功能,如一些简单的命令注入攻击及参数注入攻击,生产者程序可以通过分析网络中的Modbus数据包,对导致设备故障的违规命令(如控制系统某个运行中的阀门紧急关闭的违规命令)或错误参数设置命令(如将系统压强参数设置为规定范围之外)可以直接进行系统遭受攻击的反馈。Kafka生产者程序还可利用步骤S3反馈的训练完毕的神经网络模型对采集的工控网络流量数据实现安全态势预测,完成最终的工控网络态势的评估。同时当生产者程序预测准确性降低时反馈于消费者处重新训练模型,以此使得系统工控网络安全态势感知预测的准确率始终维持在较高水平。
在一种实施方式中,S1中生产者程序以旁路的方式与工控网络并联,对工控网络流量数据进行采集。
生产者程序以旁路的方式与工控网络并联,可以在不影响工控网络正常运行的同时实现数据的采集。
在一种实施方式中,步骤S3对消费者程序进行扩展,还包括对消费者程序添加数据压缩、数据降维的功能,且构造的消费者程序包括多个,一部分消费者程序负责拉取Kafka中的数据并带入神经网络模型中进行训练,并将训练生成的神经网络模型反馈至生产者程序,还接收生产者程序的反馈以重新训练模型;另一部分消费者程序负责统计Kafka中遭受各攻击种类的流量数据的数量,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,然后将样本增强后的数据再次缓存于Kafka中。
请参见图3,是本发明实施例中基于大数据的工控网络安全态势感知模型框架图。其中,感知模型框架中小样本增强模型如图4所示,神经网络模型的示意图如图5所示。
具体来说, Kafka的消费者程序主要负责实时拉取流量数据,并且可以对拉取的流量数据进行压缩、降维等操作。利用Kafka多个不同集群节点的消费者程序可同时消费相同数据这一特性,构造多个消费者程序,消费者程序其一负责拉取Kafka中的数据并带入神经网络模型训练以及接收生产者程序对重新训练神经网络模型的反馈(模型预测准确率)以重新训练模型;消费者程序其二负责统计Kafka中遭受各攻击种类的流量数据的数量,对特定攻击种类或未知威胁等数量不足的样本带入小样本增强算法,提升安全威胁样本的数量和质量后将全部数据再次缓存于Kafka中。
深度学习的优势在于可以从大量数据中发现数据的特征,大大减少人工的干预且效率更高。因此,将人工智能、深度学习技术应用到工控网络安全领域可以有效提高网络安全防护的水平和效率。考虑到工控网络中的异常流量及攻击行为数据均存在可辨识的时序特征,因此将全网数据建模为时间序列类型。在时间序列分析领域有许多分析模型,而考虑到工控网络的特点,输入模型的数据是实时变化的,因此,需要设计网络结构能做到保留上次时刻输入的数据,从而使得网络既能学习到某一时刻的局部特征,也能学习到一个时间段内的全局特征。在消费者程序构建特定神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,反馈于生产者程序中即可形成自动预测分析网络安全态势的框架。
在一种实施方式中,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,包括:
针对给定小样本时间序列,训练一个时间序列生成模型,并使用该时间序列生成模型生成仿真时间序列添加到原样本中。
具体来说,考虑工控网络中某些安全威胁样本的数量和质量不足,在消费者程序中引入小样本增强算法提升样本的数量与质量,有助于神经网络模型对特定攻击种类的攻击行为进行训练。使用小样本增强技术可以在未知威胁出现的初期就通过捕获未知威胁的少量特征来训练和升级工控网络威胁智能分析和预测系统。将工控网络中的流量、日志等样本信息视为时间序列信息,那么小样本数据增强的任务可以描述为针对给定小样本时间序列,训练一个时间序列生成模型,并使用该模型生成仿真时间序列添加到原样本中。
输入:训练集
Figure 91793DEST_PATH_IMAGE001
(
Figure 556404DEST_PATH_IMAGE002
代表原始工控网络时间序列构成 的训练集;
Figure 867299DEST_PATH_IMAGE003
Figure 59246DEST_PATH_IMAGE004
代表第一个和第N个原始样本;N为训练集中时间序列条数)
输出:训练集
Figure 421089DEST_PATH_IMAGE005
Figure 774710DEST_PATH_IMAGE006
代表生成的工控网络时间序列集 合,
Figure 838481DEST_PATH_IMAGE007
Figure 568539DEST_PATH_IMAGE008
代表第一个和第M个生成的样本,M 为生成时间序列数量)
最后将输出的
Figure 781958DEST_PATH_IMAGE006
重新导入Kafka中,用于提升训练神经网络模型的准确性。
在一种实施方式中,所述方法还包括:
当消费者程序未反馈神经网络模型于生产者程序时,生产者程序将已处流量数据缓存至Kafka中用作后续消费者程序训练神经网络模型的训练数据,其中,已处理流量数据为通过人工标记的数据;
当生产者程序收到消费者程序的神经网络模型训练完毕的反馈时,开始采集工控网络原始流量数据以及已处理流量数据,已处理流量数据送入消费者程序中的神经网络模型进行训练,并用训练得到的模型对原始流量数据进行分类,生成数据的安全态势标签,并生产至Kafka中进行缓存。
具体来说,Kafka的生产者程序主要负责将采集的工控网络流量数据缓存于Kafka中。对于实际的工业控制网络场景,生产者程序可采用流量镜像的方式,在确保不会影响到系统正常运行以及不影响工业生产业务的前提下,接入工业控制网络终端以进行流量数据的采集;也可采用WireShark或其他抓包工具捕获网络中传播的流量数据包的数据采集方式。或借助Python编写脚本,按照流式数据的形式读取工业控制网络数据集,模拟真实场景中流式数据的采集,并对该数据集进行扩充,以不间断地生成流式数据。
当系统刚启动,消费者程序未将神经网络模型反馈于生产者程序时,生产者程序缓存以人工打上遭受攻击种类标签的已处理流量数据于Kafka中,用于后续消费者程序神经网络模型的训练。当生产者程序收到消费者程序的神经网络模型训练完毕的反馈时,开始采集工控网络原始数据以及已处理流量数据,将以处理流量数据带入神经网络模型进行训练,得到训练好的模型,再利用训练好的模型生成原始数据的安全态势标签。再将得到的安全态势标签结果写入原始数据中,并生产至Kafka中缓存;对于已处理流量数据,则还需统计已处理数据的网络安全态势标签的准确率,当准确率低于预期值时反馈于消费者程序以更新神经网络模型。
(1)对于已处理流量数据S,当无神经网络模型时,读取S的攻击标签
Figure 572060DEST_PATH_IMAGE009
,形成
Figure 857548DEST_PATH_IMAGE010
后写入Kafka;
(2)当神经网络模型F(x)反馈于生产者程序后,对于原始数据M,计算标签
Figure 876450DEST_PATH_IMAGE011
形成
Figure 196573DEST_PATH_IMAGE012
后写入Kafka;对于已处理数据
Figure 157576DEST_PATH_IMAGE010
,计算标签
Figure 946672DEST_PATH_IMAGE013
, 并读取S的攻击标签
Figure 752954DEST_PATH_IMAGE014
与计算出的标签
Figure 927583DEST_PATH_IMAGE015
进行对比,统计M的数量
Figure 810219DEST_PATH_IMAGE016
Figure 70299DEST_PATH_IMAGE017
相等的数 量
Figure 680272DEST_PATH_IMAGE018
,并将
Figure 709408DEST_PATH_IMAGE010
写入Kafka;
(3)计算准确率
Figure 25596DEST_PATH_IMAGE019
,当P小于预期值时反馈消费者程序以重新生成神经网络 模型,反之则不需反馈。
实施例二
基于同样的发明构思,本实施例提供了基于大数据的工控网络安全态势预测系统,请参见图6,该系统包括:
Kafka框架构建模块,用于构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于对工控网络数据进行读取并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
态势感知模块,用于对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
安全态势预测模块,用于对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
本发明提出一种基于大数据工具的分层且可扩展的网络安全态势感知预测系统,其优越性主要体现在以下几个方面:
(1) 可扩展性使得系统对不同工控网络的适应性增强,且系统易于定制和扩展特定功能,实现对已知或未知高级持续威胁的高时效性、高准确度智能检测。
(2) 反馈机制可使得系统预测感知网络安全态势的准确率始终维持在较高水平,让系统可自适应自演化面向大规模工控网络进行安全威胁智能诊断。
由于本发明实施例二所介绍的系统为实施本发明实施例一中基于大数据的工控网络安全态势预测方法所采用的系统,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该系统的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的系统都属于本发明所欲保护的范围。
实施例三
基于同一发明构思,请参见图7,本发明还提供了一种计算机可读存储介质300,其上存储有计算机程序311,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于大数据的工控网络安全态势预测方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,如图8所示,包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403,处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于大数据的工控网络安全态势预测方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.基于大数据的工控网络安全态势预测方法,其特征在于,包括:
S1:构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于从工控网络中采集工控网络流量数据,并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
S2:对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
S3:对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
2.如权利要求1所述的基于大数据的工控网络安全态势预测方法,其特征在于,S1中生产者程序以旁路的方式与工控网络并联,对工控网络流量数据进行采集。
3.如权利要求1所述的基于大数据的工控网络安全态势预测方法,其特征在于,步骤S3对消费者程序进行扩展,还包括对消费者程序添加数据压缩、数据降维的功能,且构造的消费者程序包括多个,一部分消费者程序负责拉取Kafka中的数据并带入神经网络模型中进行训练,并将训练生成的神经网络模型反馈至生产者程序,还接收生产者程序的反馈以重新训练模型;另一部分消费者程序负责统计Kafka中遭受各攻击种类的流量数据的数量,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,然后将样本增强后的数据再次缓存于Kafka中。
4.如权利要求3所述的基于大数据的工控网络安全态势预测方法,其特征在于,对特定攻击种类或未知威胁这类型数量不足的样本进行样本增强,包括:
针对给定小样本时间序列,训练一个时间序列生成模型,并使用该时间序列生成模型生成仿真时间序列添加到原样本中。
5.如权利要求1所述的基于大数据的工控网络安全态势预测方法,其特征在于,所述方法还包括:
当消费者程序未反馈神经网络模型于生产者程序时,生产者程序将已处流量数据缓存至Kafka中用作后续消费者程序训练神经网络模型的训练数据,其中,已处理流量数据为通过人工标记的数据;
当生产者程序收到消费者程序的神经网络模型训练完毕的反馈时,采集工控网络原始流量数据以及已处理流量数据,已处理流量数据送入消费者程序中的神经网络模型进行训练,并用训练得到的模型对原始流量数据进行分类,生成数据的安全态势标签,并生产至Kafka中进行缓存。
6.基于大数据的工控网络安全态势预测系统,其特征在于,包括:
Kafka框架构建模块,用于构建Kafka分布式消息转发订阅框架,该框架包括主题、生产者程序和消费者程序,主题用于发布订阅工控网络流量数据,生产者程序用于对工控网络数据进行读取并以流数据的形式生产至Kafka的对应分区中,消费者程序用于Kafka的对应分区中读取工控网络流量数据并进行转发;
态势感知模块,用于对消费者程序进行扩展,包括:在消费者程序构建神经网络模型,并对神经网络模型进行训练,训练过程中神经网络模型对工控网络流量数据进行分析并学习提取网络安全态势的方法,根据输入的工控网络流量数据,输出得到该流量数据是否正常,训练完成后,将训练生成的神经网络模型反馈至生产者程序;
安全态势预测模块,用于对生产者程序进行扩展,包括:对生产者程序添加对流量数据进行判断是否安全的功能以及对违规命令进行系统遭受攻击的反馈,生产者程序利用消费者程序反馈训练生成的神经网络模型对采集的工控网络流量数据实现安全态势预测,同时当生产者程序预测准确性降低时反馈至消费者程序,使其重新训练神经网络模型。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被执行时实现如权利要求1至5中任一项权利要求所述的方法。
8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5中任一项权利要求所述的方法。
CN202211660390.6A 2022-12-23 2022-12-23 基于大数据的工控网络安全态势预测方法及系统 Active CN115643115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211660390.6A CN115643115B (zh) 2022-12-23 2022-12-23 基于大数据的工控网络安全态势预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211660390.6A CN115643115B (zh) 2022-12-23 2022-12-23 基于大数据的工控网络安全态势预测方法及系统

Publications (2)

Publication Number Publication Date
CN115643115A true CN115643115A (zh) 2023-01-24
CN115643115B CN115643115B (zh) 2023-03-10

Family

ID=84949835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211660390.6A Active CN115643115B (zh) 2022-12-23 2022-12-23 基于大数据的工控网络安全态势预测方法及系统

Country Status (1)

Country Link
CN (1) CN115643115B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405323A (zh) * 2023-06-05 2023-07-07 拓尔思天行网安信息技术有限责任公司 安全态势感知攻击预测方法、装置、设备、介质及产品
CN117354058A (zh) * 2023-12-04 2024-01-05 武汉安域信息安全技术有限公司 基于时间序列预测的工控网络apt攻击检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
US20220035775A1 (en) * 2020-07-31 2022-02-03 Splunk Inc. Data field extraction model training for a data intake and query system
CN114065946A (zh) * 2021-11-11 2022-02-18 杭州海康威视数字技术股份有限公司 一种基于Flink框架的推理方法、装置及Flink服务系统
CN115001934A (zh) * 2022-04-27 2022-09-02 中国大唐集团科学技术研究总院有限公司 一种工控安全风险分析系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN110914836A (zh) * 2017-05-09 2020-03-24 纽拉拉股份有限公司 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
CN108040074A (zh) * 2018-01-26 2018-05-15 华南理工大学 一种基于大数据的实时网络异常行为检测系统及方法
US20220035775A1 (en) * 2020-07-31 2022-02-03 Splunk Inc. Data field extraction model training for a data intake and query system
CN114065946A (zh) * 2021-11-11 2022-02-18 杭州海康威视数字技术股份有限公司 一种基于Flink框架的推理方法、装置及Flink服务系统
CN115001934A (zh) * 2022-04-27 2022-09-02 中国大唐集团科学技术研究总院有限公司 一种工控安全风险分析系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘杰: "基于大数据的工控网络态势感知技术研究与应用" *
靳琳;赵任方;董钟;: "基于Spark Streaming的网络安全流式大数据态势感知研究及发展趋势分析" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405323A (zh) * 2023-06-05 2023-07-07 拓尔思天行网安信息技术有限责任公司 安全态势感知攻击预测方法、装置、设备、介质及产品
CN116405323B (zh) * 2023-06-05 2023-09-22 拓尔思天行网安信息技术有限责任公司 安全态势感知攻击预测方法、装置、设备、介质及产品
CN117354058A (zh) * 2023-12-04 2024-01-05 武汉安域信息安全技术有限公司 基于时间序列预测的工控网络apt攻击检测系统及方法

Also Published As

Publication number Publication date
CN115643115B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN115643115B (zh) 基于大数据的工控网络安全态势预测方法及系统
US20180219895A1 (en) Method and system for learning representations of network flow traffic
US11934536B2 (en) Dynamic network risk predicting method based on a graph neural network
CN111600919B (zh) 智能网络应用防护系统模型的构建方法和装置
CN111931179B (zh) 基于深度学习的云端恶意程序检测系统及方法
CN112738014B (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
CN114821204B (zh) 一种基于元学习嵌入半监督学习图像分类方法与系统
Bodström et al. State of the art literature review on network anomaly detection with deep learning
CN117580046A (zh) 一种基于深度学习的5g网络动态安全能力调度方法
CN116684877A (zh) 一种基于gyac-lstm的5g网络流量异常检测方法及系统
CN115964258A (zh) 基于多时序分析的物联网卡异常行为分级监测方法及系统
CN117811850A (zh) 一种基于STBformer模型的网络入侵检测方法及系统
JI et al. Log Anomaly Detection Through GPT-2 for Large Scale Systems
CN114416479A (zh) 一种基于流外正则化的日志序列异常检测方法
CN117938430A (zh) 基于Bert模型的Webshell检测方法
CN117574262A (zh) 一种面向小样本问题的水声信号分类方法、系统及介质
Qi Computer Real-Time Location Forensics Method for Network Intrusion Crimes.
CN111352820A (zh) 一种高性能应用运行状态预测和监控方法、设备和装置
CN116248346A (zh) 面向智慧城市的cps网络安全态势感知建立方法和系统
CN113344119B (zh) 工业物联网复杂环境下的小样本烟雾监测方法
CN115426194A (zh) 数据处理方法及装置、存储介质及电子设备
CN114915496A (zh) 基于时间权重和深度神经网络的网络入侵检测方法和装置
CN115169293A (zh) 一种文本隐写分析方法、系统、装置及存储介质
CN115643153A (zh) 基于图神经网络的报警关联分析方法
Cheng et al. PyAnomaly: a Pytorch-based toolkit for video anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant