CN107124394B - 一种电力通信网络安全态势预测方法和系统 - Google Patents
一种电力通信网络安全态势预测方法和系统 Download PDFInfo
- Publication number
- CN107124394B CN107124394B CN201710142063.4A CN201710142063A CN107124394B CN 107124394 B CN107124394 B CN 107124394B CN 201710142063 A CN201710142063 A CN 201710142063A CN 107124394 B CN107124394 B CN 107124394B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- particle
- sub
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种电力通信网络安全态势预测方法和系统，所述方法包括：通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；对数据仓库中的电网数据进行预处理；基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警；本发明能够对电力通信网络安全态势进行高性能和较高准确性的实时预测。
Description
技术领域
本发明涉及电力通信网络安全技术领域，特别是指一种电力通信网络安全态势预测方法和系统。
背景技术
近年来，电力通信网络朝着网格化、复杂化、分布式的方向发展，通信网络节点之间的联系也更加频繁，电力设备也随着技术的发展在不断地更替。导致电力通信网络在不间断的产生海量的通信数据。这些数据结构复杂，来源和数据类型较多。与此同时，电力通信网络遭受的攻击手段也在不断进步，朝着复杂化、分布式的方向延伸。电力通信网络的安全运营遭受到越来越严峻的考验。因此，面向大数据量的电力通信网络安全态势预测模型的研制有着贴合实际应用的意义，在电力通信和日常网络通信系统中有着广泛的用途。
据查阅相关资料，现有的网络安全态势预测模型主要是依赖于Hadoop框架，结合预测算法(如BP神经网络和支持向量机等)，主要针对中小型规模的网络进行安全态势预测，选择的数据源多是各类日志记录。以上方法数据具有非实时性，预测精度较低，收敛数度慢等缺点，导致得出的结果没有预计的理想。因此有人提出基于GRNN-PSO算法对网络安全态势进行预测，其优点在中小型规模网络预测精度高，收敛速度快，但对大型规模网络，效果不理想。现有的电力通信网络具有数据量大、实时性要求高等特点，仅仅依靠原有的防火墙、入侵检测、防病毒等单一网络安全防护技术已不足以应对电力网络安全的需求。
针对现有的电力网络安全态势预测模型框架的研究，基于Hadoop框架的网络安全态势模型，数据具有非实时性，处理速度慢等缺点，导致处理结果意义不大。神经网络等算法在单一使用时都有其各自的局限性，导致预测精度和预测效率较低。
发明内容
有鉴于此，本发明的目的在于提出一种电力通信网络安全态势预测方法和系统，能够对电力通信网络安全态势进行高性能和较高准确性的实时预测。
基于上述目的本发明提供的一种电力通信网络安全态势预测方法，包括：
通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；
对数据仓库中的电网数据进行预处理；
基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；
基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警。
在一些实施方式中，所述方法还包括：
根据算法设计与RDD分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化：将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
在一些实施方式中，所述根据算法设计与RDD分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化具体包括：
对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中；
采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；
在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；
采用电力态势指标训练集对BP神经网络算法迭代；
输出神经网络结构。
在一些实施方式中，所述采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值具体包括：
在取值范围内随机生成粒子群，包括粒子初始速度和9初始位置；
将粒子群随机分N个相等的子群体，生成粒子群RDD数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；
启动Spark集群中的map接口的作业；
将生成的粒子群RDD作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；
比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；
比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；
根据相应的搜索方向更新粒子的位置，生成新的粒子群RDD；
判断是否满足终止条件，如果满足则输出，否则进行下一轮的迭代。
在一些实施方式中，所述采用电力态势指标训练集对BP神经网络算法迭代具体包括：
从Driver进程得到神经网络参数初始权值，广播到每个Slave节点；
根据初始权值，在每Slave节点上实例化一个神经网络结构；
根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；
由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代。
另一方面，本发明还提供了一种电力通信网络安全态势预测系统，包括：
数据源单元，用于通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；
数据获取单元，用于对数据仓库中的电网数据进行预处理；
Spark平台计算单元，用于基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；
数据分析单元，用于基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警。
在一些实施方式中，所述数据分析单元还用于根据算法设计与RDD分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化：将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
在一些实施方式中，所述数据分析单元具体用于：对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中；采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；采用电力态势指标训练集对BP神经网络算法迭代；输出神经网络结构。
在一些实施方式中，所述数据分析单元具体用于：在取值范围内随机生成粒子群，包括粒子初始速度和9初始位置；将粒子群随机分N个相等的子群体，生成粒子群RDD数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；启动Spark集群中的map接口的作业；将生成的粒子群RDD作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；根据相应的搜索方向更新粒子的位置，生成新的粒子群RDD；判断是否满足终止条件，如果满足则输出，否则进行下一轮的迭代。
在一些实施方式中，所述数据分析单元具体用于：Driver进程得到神经网络参数初始权值，广播到每个Slave节点；根据初始权值，在每Slave节点上实例化一个神经网络结构；根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代。
从上面所述可以看出，本发明提供的电力通信网络安全态势预测方法和系统具有如下有益效果：
(1)将分散存储在各个平台上的数据类型繁多、格式不定的电力通信数据抽取、清洗、汇总到数据仓库中。
(2)Spark平台极大提高了迭代计算较多的电力网络安全态势评估数据的运算效率，同时采用Spark Streaming对实时数据进行处理，基本满足了电力通信网络安全态势预测的准实时计算场景的要求。
(3)结合RDD的并行粒子群优化神经网络算法，解决了传统神经网络算法收敛到局部极值出现早熟的现象和进化后期收敛速度慢等缺陷，极大提高了电力通信网络安全态势预测的性能。
(4)划分的安全态势对应标准，把模型输出的态势安全值与实际生产相结合，针对不同级别的危险，可以设置不同级别的预警手段，及时通知电力企业相关部门，采取相应的措施来处理预测到的危险态势，及时提醒电力企业员工将要发生网络攻击，员工可以提前做出应对措施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的电力通信网络安全态势预测方法流程图；
图2为本发明实施例中的神经网络结构图；
图3为本发明实施例中应用的并行粒子群优化神经网络算法流程图；
图4为本发明实施例的电力通信网络安全态势预测系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明实施例提供了一种电力通信网络安全态势预测方法，参考图1，为本发明实施例的电力通信网络安全态势预测方法流程图。
所述电力通信网络安全态势预测方法，包括以下步骤：
步骤101、通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库。
本步骤中，汇集各种多源海量数据，数据主要来源于电网调度信息、电力公司基层业务信息、各站点之间通信信息包括移动终端设备和视频会议等。这些数据分散存储与各个平台，如：业务平台、互联网平台、OSS(Operation Support System,运营支持系统)等；通过抽取转换加载技术将数据从这些平台中抽取出来，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的数据加载到数据仓库中去。
步骤102、对数据仓库中的电网数据进行预处理。
本步骤中，对多源异构数据进行数据采集和预处理。
步骤103、基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标。
本步骤中，Spark平台提供内存式实时处理并行计算机制，计算安全势态的相关指标；Spark可以比其它平台更高效的预测网络安全态势的原因是它的弹性分布式数据集(RDD)。RDD本质上是内存数据集,对内存的读写速度远远超过对磁盘的读取速度,可以大大的减少I/O操作的时间，另外RDD支持容错,通常支持容错的方法主要有两种：复制数据和日志。由于复制数据容错机制会存在数据冗余、增加电力通信网络通信的开销，因此Spark系统采用日志数据更新的方式进行容错；Spark Streaming是构建在Spark基础上的实时计算框架。Spark Streaming将输入的任务流拆分为一系列秒级的批处理作业，交给Spark引擎处理。每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的操作变为针对Spark中对RDD的Transformation操作，Spark Streaming可以读取HDFS、Flume等平台中的流数据。最小窗口可以选择在0.5秒到2秒之间，这已经可以满足电力大数据安全态势预测的准实时计算场景。
步骤104、基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警。
本步骤中，过算法分析电网安全势态。为了尽可能的提高电力通信网络安全态势预测是效率，不仅要利用Spark框架的RDD提供的计算接口并行化效果，还需要对算法进行并行化优化。设计和实现算法时，RDD分区的划分、shuffle操作的时机与次数,在实践中需要重点考虑，实现良好的Spark算法与糟糕的算法在性能上可以导致上10-100倍的差别。
根据计算的势态安全值参照态势安全值对应表中的安全势态对应标准，将危险级别划分为5类。针对不同级别的危险，可以设置不同级别的预警手段，及时通知电力企业相关部门，采取相应的措施来处理预测到的危险态势，达到预测和预警网络安全态势的目的。
进一步的，在发明实施例中，考虑到传统粒子群优化算法在进化过程中具有易收敛到局部极值出现早熟现象，进化后期收敛速度慢等缺陷，为了解决以上问题，同时达到提高电力通信网络安全态势预测的效率的目的，本文对PSO-神经网络模型进行了并行化优化。
将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
优化的具体算法步骤如下：
步骤1：对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中。
步骤2：采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；其中所述步骤2进一步包括以下步骤2.1至2.6：
步骤2.1：在取值范围内随机生成粒子群，包括粒子初始速度和9初始位置。
步骤2.2:将粒子群随机分N个相等的子群体，生成粒子群RDD数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；
步骤2.2：启动Spark集群中的map接口的作业；
步骤2.3：将步骤2.2生成的粒子群RDD作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；
步骤2.4：比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；
步骤2.5：比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；
步骤2.6：根据相应的搜索方向更新粒子的位置，生成新的粒子群RDD；
步骤2.7：判断是否满足终止条件，如果满足则输出，否则进入步骤2.2进行下一轮的迭代；
步骤3：在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；
步骤4：采用电力态势指标训练集对BP神经网络算法迭代；包括以下步骤：
步骤4.1：从Driver进程得到神经网络参数初始权值，广播到每个Slave节点；
步骤4.2：根据初始权值，在每Slave节点上实例化一个神经网络结构；
步骤4.3：根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；
步骤4.4：由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代；
步骤5：输出神经网络结构。生成的神经网络结构如图2所示
此外，本发明实施例中，还采用Yarn方式作为多Slave节点的调节方式，对应的Master节点和各Slave节点的算法流程图如图3所示。
本发明实施例的电力通信网络安全态势预测方法，针对现有技术中Hadoop框架的非实时和性能低下的缺点，利用更为便捷的Spark大数据计算框架，对电力通信网络的海量数据进行实时的、高效的处理。针对单一预测算法的局限性导致的预测精度和预测效率低下的问题，提出一种新的结合粒子群算法和BP神经网络的并行粒子群优化神经网络算法电力通信网络的安全态势进行预测。基于Spark框架的并行粒子群优化神经网络算法准确度高，并且相较于基于Hadoop的预测方法在处理速度上有显著提高。结合Spark内存计算框架和并行粒子群优化神经网络算法的电力通信网络安全态势预测具有预测性能好、实时性高等特点。为电力网络安全人员防范电力网络攻击提供可靠支持。
另一方面，本发明实施例还提供了一种电力通信网络安全态势预测系统。参考图4，为本发明实施例的电力通信网络安全态势预测系统结构示意图。
所述电力通信网络安全态势预测系统，包括：
数据源单元401，用于通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；
数据获取单元402，用于对数据仓库中的电网数据进行预处理；
Spark平台计算单元403，用于基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；
数据分析单元404，用于基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警。
进一步的，所述数据分析单元404还用于根据算法设计与RDD分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化：将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
其中，所述数据分析单元404具体用于：对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中；采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；采用电力态势指标训练集对BP神经网络算法迭代。
所述数据分析单元404具体用于：在取值范围内随机生成粒子群，包括粒子初始速度和9初始位置；将粒子群随机分N个相等的子群体，生成粒子群RDD数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；启动Spark集群中的map接口的作业；将生成的粒子群RDD作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；根据相应的搜索方向更新粒子的位置，生成新的粒子群RDD；判断是否满足终止条件，如果满足则输出，否则进行下一轮的迭代。
所述数据分析单元404具体用于：Driver进程得到神经网络参数初始权值，广播到每个Slave节点；根据初始权值，在每Slave节点上实例化一个神经网络结构；根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代。
上述实施例的系统用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种电力通信网络安全态势预测方法，其特征在于，包括：
通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；
对数据仓库中的电网数据进行预处理；
基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；
基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警；
所述方法还包括：
根据算法设计与弹性分布式数据集分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化：将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
2.根据权利要求1所述的电力通信网络安全态势预测方法，其特征在于，所述根据算法设计与弹性分布式数据集分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化具体包括：
对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中；
采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；
在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；
采用电力态势指标训练集对BP神经网络算法迭代；
输出神经网络结构。
3.根据权利要求2所述的电力通信网络安全态势预测方法，其特征在于，所述采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值具体包括：
在取值范围内随机生成粒子群，包括粒子初始速度和初始位置；
将粒子群随机分N个相等的子群体，生成粒子群弹性分布式数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；
启动Spark集群中的map接口的作业；
将生成的粒子群弹性分布式数据集作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；
比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；
比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；
根据相应的搜索方向更新粒子的位置，生成新的粒子群弹性分布式数据集；
判断是否满足终止条件，如果满足则输出，否则进行下一轮的迭代。
4.根据权利要求2所述的电力通信网络安全态势预测方法，其特征在于，所述采用电力态势指标训练集对BP神经网络算法迭代具体包括：
从Driver进程得到神经网络参数初始权值，广播到每个Slave节点；
根据初始权值，在每Slave节点上实例化一个神经网络结构；
根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；
由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代。
5.一种电力通信网络安全态势预测系统，其特征在于，包括：
数据源单元，用于通过抽取转换加载技术，将电网数据从原存储位置进行抽取，经过数据清洗，将预先定义的跟电力通信网络安全态势评估有关的电网数据加载到数据仓库；
数据获取单元，用于对数据仓库中的电网数据进行预处理；
Spark平台计算单元，用于基于Spark平台，根据进行预处理的电网数据，计算获得安全势态的相关指标；
数据分析单元，用于基于粒子群算法优化神经网络模型计算电力通信网络安全态势值，根据安全态势值对应的安全势态的相关指标，将危险级别进行分类并进行预警；
所述数据分析单元还用于根据算法设计与弹性分布式数据集分区的划分、shuffle操作的时机与次数之间的关系，将粒子群算法优化神经网络模型进行并行化优化：将粒子群体随机分解为N个子种群，各子种群以相应的搜索方向更新粒子的位置的进化方法，采用二值交叉算子将每个子群中最差的N-1个位置替换成其它N-1个子群的最优位置。
6.根据权利要求5所述的电力通信网络安全态势预测系统，其特征在于，所述数据分析单元具体用于：对电力态势指标训练数据进行预处理，将训练集分解成多个子集，存储在HDFS中；采用PSO算法对神经网络的权值进行全局寻优，得到优化的网络初始权值；在各计算节点上均采用优化后的网络初始权值建立自身的神经网络结构；采用电力态势指标训练集对BP神经网络算法迭代；输出神经网络结构。
7.根据权利要求6所述的电力通信网络安全态势预测系统，其特征在于，所述数据分析单元具体用于：在取值范围内随机生成粒子群，包括粒子初始速度和初始位置；将粒子群随机分N个相等的子群体，生成粒子群弹性分布式数据集；设置迭代N代之后每个子群中最差的N-1个位置替换为其他N-1个子群的最优位置；启动Spark集群中的map接口的作业；将生成的粒子群弹性分布式数据集作map转换处理，训练神经网络，由适应度函数计算各个粒子的适应度值；比较各个粒子的适应度值和历史最优值，如果当前的适应度值更优，就更新历史最优值；比较各个粒子的历史最优值与该子种群的最优值进行比较，如果某个粒子的历史最优值比该子种群的最优值更优，更新该子种群的最优值；根据相应的搜索方向更新粒子的位置，生成新的粒子群弹性分布式数据集；判断是否满足终止条件，如果满足则输出，否则进行下一轮的迭代。
8.根据权利要求6所述的电力通信网络安全态势预测系统，其特征在于，所述数据分析单元具体用于：Driver进程得到神经网络参数初始权值，广播到每个Slave节点；根据初始权值，在每Slave节点上实例化一个神经网络结构；根据每个Slave节点得到的部分电力态势指标训练样本训练神经网络，达到预定的迭代次数或者训练误差达到精度要求范围之内之后得到神经网络权值；由每个Slave节点的参数权值和参数权值的调整量决定是否需要再次迭代。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710142063.4A CN107124394B (zh) | 2017-03-10 | 2017-03-10 | 一种电力通信网络安全态势预测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710142063.4A CN107124394B (zh) | 2017-03-10 | 2017-03-10 | 一种电力通信网络安全态势预测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107124394A CN107124394A (zh) | 2017-09-01 |
| CN107124394B true CN107124394B (zh) | 2020-03-20 |
Family
ID=59718263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710142063.4A Active CN107124394B (zh) | 2017-03-10 | 2017-03-10 | 一种电力通信网络安全态势预测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107124394B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730002B (zh) * | 2017-10-13 | 2020-06-02 | 国网湖南省电力公司 | 一种通信网关机遥控参数智能模糊比对方法 |
| CN108650139A (zh) * | 2018-05-18 | 2018-10-12 | 深圳众厉电力科技有限公司 | 一种电力通信网络监测系统 |
| CN108881250B (zh) * | 2018-06-28 | 2020-07-07 | 广东电网有限责任公司 | 电力通信网络安全态势预测方法、装置、设备及存储介质 |
| CN110309179B (zh) * | 2019-05-22 | 2023-04-07 | 桂林电子科技大学 | 基于并行pso的最大容错频繁项集挖掘方法 |
| CN110489972A (zh) * | 2019-06-26 | 2019-11-22 | 中电万维信息技术有限责任公司 | 电子政务系统的安全评估方法及相关设备 |
| CN110647942B (zh) * | 2019-09-25 | 2022-05-17 | 广东电网有限责任公司 | 一种用于卫星网络的入侵检测方法、装置和设备 |
| CN111325356A (zh) * | 2019-12-10 | 2020-06-23 | 四川大学 | 一种基于演化计算的神经网络搜索分布式训练系统及训练方法 |
| CN111860828B (zh) * | 2020-06-15 | 2023-11-28 | 北京仿真中心 | 一种神经网络的训练方法、存储介质和设备 |
| CN112418311A (zh) * | 2020-11-21 | 2021-02-26 | 安徽理工大学 | 一种通信网络风险评估的分布式随机森林方法 |
| CN112769803B (zh) * | 2020-12-31 | 2022-02-25 | 北京天融信网络安全技术有限公司 | 网络威胁的检测方法、装置和电子设备 |
| CN112866262B (zh) * | 2021-01-25 | 2022-06-14 | 东方电气自动控制工程有限公司 | 一种基于神经网络的电厂安全i区态势感知平台 |
| CN113630379A (zh) * | 2021-06-30 | 2021-11-09 | 济南浪潮数据技术有限公司 | 一种网络安全态势预测方法、装置、设备及存储介质 |
| CN116562631B (zh) * | 2023-07-10 | 2024-02-13 | 广东电网有限责任公司佛山供电局 | 一种电力光纤通信网络风险量化评价方法、系统和设备 |
| CN116719806A (zh) * | 2023-08-11 | 2023-09-08 | 尚特杰电力科技有限公司 | 大数据计算分析系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6047189A (en) * | 1996-10-11 | 2000-04-04 | Arraycomm, Inc. | Adaptive method for channel assignment in a cellular communication system |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| CN106484809A (zh) * | 2016-09-23 | 2017-03-08 | 华北电力大学（保定） | 一种基于Spark的能源互联网信息平台及其应用 |
-
2017
- 2017-03-10 CN CN201710142063.4A patent/CN107124394B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6047189A (en) * | 1996-10-11 | 2000-04-04 | Arraycomm, Inc. | Adaptive method for channel assignment in a cellular communication system |
| CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| CN106484809A (zh) * | 2016-09-23 | 2017-03-08 | 华北电力大学（保定） | 一种基于Spark的能源互联网信息平台及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107124394A (zh) | 2017-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107124394B (zh) | 一种电力通信网络安全态势预测方法和系统 | |
| CN108924198B (zh) | 一种基于边缘计算的数据调度方法、装置及系统 | |
| CN110135573B (zh) | 一种深度学习模型的训练方法、计算设备以及系统 | |
| CN107895176B (zh) | 一种面向水电机群广域监测诊断的雾计算系统及方法 | |
| CN108039959B (zh) | 一种数据的态势感知方法、系统及相关装置 | |
| CN110334157B (zh) | 一种云计算管理系统 | |
| CN109034580B (zh) | 一种基于大数据分析的信息系统整体健康度评估方法 | |
| CN109739919A (zh) | 一种用于电力系统的前置机和采集系统 | |
| CN111586091A (zh) | 一种实现算力组配的边缘计算网关系统 | |
| CN111935140B (zh) | 异常报文识别方法及装置 | |
| Wang et al. | Heterogeneity-aware gradient coding for straggler tolerance | |
| CN111159152B (zh) | 基于大数据处理技术的二次运维数据融合方法 | |
| CN112069229B (zh) | 一种面向移动轨迹大数据的最佳候车点推荐方法及系统 | |
| CN107656973A (zh) | 一种应用于云审计系统的日志审计子系统 | |
| CN114143060B (zh) | 基于人工智能预测的信息安全预测方法及大数据安全系统 | |
| CN107301094A (zh) | 面向大规模动态事务查询的动态自适应数据模型 | |
| Chatzidimitriou et al. | Cenote: a big data management and analytics infrastructure for the web of things | |
| CN110888850A (zh) | 一种基于电力物联网平台的数据质量检测方法 | |
| CN109889366B (zh) | 网络流量增量统计、分析方法及系统 | |
| CN106874215B (zh) | 一种基于Spark算子的序列化存储优化方法 | |
| CN111325368A (zh) | 一种光储式电动汽车充电站光伏功率预测方法和装置 | |
| CN110647942B (zh) | 一种用于卫星网络的入侵检测方法、装置和设备 | |
| Li et al. | Dynamic Performance Analysis of STEP System in Internet of Vehicles Based on Queuing Theory | |
| CN114356712A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| Zhang et al. | Workload forecasting with hybrid stochastic configuration networks in clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd. Applicant after: Beijing Zhongdian Feihua Communications Co.,Ltd. Applicant after: STATE GRID CORPORATION OF CHINA Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd. Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. Applicant after: CENTRAL University OF FINANCE AND ECONOMICS Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd. Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd. Applicant before: State Grid Corporation of China Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd. Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. Applicant before: CENTRAL University OF FINANCE AND ECONOMICS |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190904 Address after: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing Applicant after: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd. Applicant after: STATE GRID CORPORATION OF CHINA Applicant after: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd. Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. Applicant after: CENTRAL University OF FINANCE AND ECONOMICS Address before: 100070 Fengtai District, Feng Feng Road, the era of wealth on the 1st floor of the world's 28 floor, Beijing Applicant before: BEIJING GUODIANTONG NETWORK TECHNOLOGY Co.,Ltd. Applicant before: Beijing Zhongdian Feihua Communications Co.,Ltd. Applicant before: STATE GRID CORPORATION OF CHINA Applicant before: INFORMATION COMMUNICATION BRANCH, STATE GRID LIAONING ELECTRIC POWER Co.,Ltd. Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. Applicant before: CENTRAL University OF FINANCE AND ECONOMICS |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |