CN115297016A - 一种基于深度学习的电力网络活跃度评价和预测方法 - Google Patents

Abstract

本发明涉及电网人工智能和数据处理技术领域，公开了一种基于深度学习的电力网络活跃度评价和预测方法，包括：获取原始数据，筛选待评价服务端口流量数据，进行活跃度计算；进行数据预处理，得到历史活跃度数据集，自动化定时对数据集进行更新；将数据集划分为训练样本和测试样本，训练样本进行样本重构并输入到不同的深度学习模型进行模型训练；将测试样本输入到训练好的模型中，并对模型进行评估和比较，得到一个该服务的最优模型，将模型保存；自动化实时获取不同网络服务的活跃度数据，得到未来的活跃度预测结果。与现有技术相比，本发明能够及时发现活跃度异常的网络服务并且便于网络的维护和管理，提升电力网络系统智能化水平。

Description

一种基于深度学习的电力网络活跃度评价和预测方法

技术领域

本发明涉及电网人工智能和数据处理技术领域，具体涉及一种基于深度学习的电力网络活跃度评价和预测方法。

背景技术

随着电力网络系统的不断的建设与发展，业务管理方式正在不断丰富，传统基于经验的管理方式正逐步向基于数据分析的智能化科学管理转变，各地区电力监控网的建设正在往数字化、智能化发展。然而电力网络规模大，复杂程度高，电力大数据价值尚未得到充分利用，迫切需要引入数字化手段推进业务变革。同时，网络流量活跃度问题关系到网络的管理和维护以及对异常服务的发现和预警。及时准确地分析预测网络活跃度，能够直观反映电力网络系统的活跃度分布情况，了解各个应用系统的运行状态，能更快地实现故障定位、协助优化系统，将有助于网络规划和管理，建立科学高效的备案系统管理体系。

人工智能技术作为新一代信息技术的典型代表在流量监控中具有独特的优势，如异常流量识别和电力负荷预测等领域。同时，由于采集技术的发展，电网企业已经积累到了海量的用户用电量、电力设备监测等数据，利用数据挖掘、人工智能等技术，让开展电力网络系统的活跃度研究并对未来活跃度进行预测成为了可能。

以回归分析法、时间序列法、灰色理论为基础的传统预测方法和以人工神经网络（Artificial Neural Network, ANN）、支持向量回归（Support Vector Regression, SVR）为代表的机器学习算法在公网流量预测中取得了不错的效果，然而电网中大量二次设备的接入以及业务种类的增加，使数据通信网业务流量变化更加复杂，波动性更加明显，同时不同业务活跃度变化规律差异大。若采用上述方法进行网络服务活跃度的预测，预测方法较为单一，无法适应不同的变化规律，从而导致电力网络活跃度的预测精度低、效果差。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于深度学习的电力网络活跃度评价和预测方法，用于实时量化评估电力网络系统中不同服务运行时的网络活跃度情况，能够及时发现活跃度异常的网络服务并且便于网络的维护和管理，提升电力网络系统智能化水平。

技术方案：本发明提供了一种基于深度学习的电力网络活跃度评价和预测方法，包括如下步骤：

步骤1：获取原始数据，筛选出待评价服务端口流量数据，提取相关特征进行活跃度计算；

步骤2：将流量数据文件进行数据预处理，得到一个历史活跃度数据集，同时自动化定时对此数据集进行更新；

步骤3：将数据集划分为训练样本和测试样本，训练样本进行样本重构并输入到不同的深度学习模型进行模型训练，调节每种模型的参数，使不同模型的准确度达到最高；

步骤4：将测试样本输入到训练好的模型中，并对模型进行评估和比较，得到一个该服务的最优模型，将模型保存；

步骤5：自动化实时获取不同网络服务的活跃度数据，输入到对应的最优模型，得到未来的活跃度预测结果。

进一步地，所述步骤1中具体操作为：

获取原始流量数据和IP地址、端口号、时间，筛选出待评价服务端口数据并取总字节数、总数据包、比特率、访问次数、会话次数进行相关性分析，按照如下三维网络活跃节点计算方法，计算活跃度：

其中，

，

，

为各种因素权值。

进一步地，所述步骤2的具体操作为：

以IP地址、端口号、时间、协议类型为基础进行数据合并，合并后提取活跃度数据以及对应的IP地址、端口号、时间字段，以IP地址-端口号作为列名，时间作为行索引，遍历所有数据文件进行活跃度合并，合并后进行数据清洗和缺失值处理，得到一个活跃度的历史数据集，同时自动化定时对此数据集进行更新。

进一步地，自动化定时对数据集进行更新的具体操作为：

以一个列表记录每小时新获取的文件名，再利用一个定时器定时遍历新获取的流量文件，进行与创建历史数据集相同的数据处理流程，最后再与历史活跃度数据进行合并和保存就能够完成对数据集的自动化定时更新。

进一步地，所述步骤3中模型训练的具体操作为：

输入预测服务的IP地址和端口号，选中对应的IP地址-端口号字段，将最后72条数据作为测试样本，其余数据作为训练样本，构建不同的深度学习预测模型，将训练样本进行样本重构并输入到不同的深度学习模型进行模型训练，所述深度学习预测模型选用LSTM和GRU预测模型。

进一步地，所述步骤4中对模型进行评估和比较的具体操作为：

遍历测试样本，每72条数据输出为一个样本，最终得到一个len（test_set）×72的测试样本，并将样本进行重构，加上一个维度表示样本的特征得到测试样本，将测试样本输入到训练好的模型里，采用R方值（R2_score）指标进行模型评估，R2_score计算公式如下：

根据各个模型的效果调节每种模型的参数，使不同模型的准确度达到最高，然后再对各个模型最终的准确率进行对比，选择一个准确度最高的模型作为该服务端口的预测模型保存到服务器中，模型文件名以IP端口参数命名以便模型调用。

进一步地，所述步骤5中具体操作为：

采用定时器每小时获取该列表里所有待预测IP服务端口的实时活跃度数据，遍历每一个IP端口并判断该端口的模型是否存在，若不存在则进行模型训练以及模型评估和比较，保存一个最优模型到服务器中以便模型调用；若存在则直接调用该IP端口动态命名的模型文件，创建IP端口活跃度序列并输入到该模型中，得到未来72h的活跃度结果，将活跃度结果与对应时间、IP地址、端口号等信息保存到数据库中并利用可视化技术描绘活跃度变化的散点图。

有益效果：

1、网络流量活跃度问题关系到网络的管理和维护以及对异常服务的发现和预警，及时准确地分析预测网络活跃度，能够直观反映电力网络系统活跃度真实的分布情况，了解各个应用系统的运行状态，能更快地实现故障定位、协助优化系统，将有助于网络规划和管理，建立科学高效的备案系统管理体系。所以网络流量活跃度预测技术的研究具有现实的重要性。在电力大数据领域，目前缺少对电力网络系统服务的活跃度研究与预测，本发明提出的一种基于总字节数，总数据包和访问次数的三维网络活跃节点计算方法，能够量化评估电网服务器活跃度程度。针对电力网络规模大，不同服务之间活跃度规律性不同，本发明提供的预测技术通过不同的深度学习模型的测试和比较能够选出适用于不同的服务端口的预测模型。

2、电力网络系统中服务活跃度数据在特定时间可能有较大变化，本发明提供的技术包含了利用定时器对数据集和模型的定时更新，使得模型预测在活跃度数据变化比较大的情况下仍能够保持预测的准确度。

附图说明

图1为本发明系统框架图；

图2为本发明数据预处理算法流程图；

图3为本发明模型训练算法流程图；

图4为本发明模型预测算法流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种基于深度学习的电力网络活跃度评价和预测方，主要用于实时量化评估电力网络系统不同服务运行时的网络活跃度情况，并预测该服务未来72h的活跃度变化，并利用数据可视化技术将结果呈现，可以提供给电力网络系统管理人员，从而能够及时发现活跃度异常的服务并且便于网络的维护和管理。

系统模型框架图如图1所示，该网络活跃度评价和预测方法主要包括：获取原始数据、相关性分析和活跃度计算、数据预处理、构建并优化网络、模型评估和对比、保存最优模型。首先从电力网络系统接口中获取流量的原始数据，筛选出待评价服务流量数据并提取与活跃度相关的流量特征进行相关性分析，根据结果取相应权重得到活跃度数据，将数据进行合并、清洗和缺失值处理得到一个用于模型训练的数据集，同时自动化定时对此数据集进行更新。将数据集划分成训练集和测试集，将训练数据进行样本重构，并输入不同的深度学习模型，经过模型训练和参数调优得到各个模型，将各个模型进行评估和比较，最终得到适应于该服务端口的最优模型并保存，输入待预测端口的数据进行72h活跃度预测，结果保存到数据库中并利用可视化技术呈现。

该方法的具体执行过程如下：

（1）数据筛选和活跃度计算

数据筛选首先需要从数据库读取已备案IP端口信息加入到一个列表中，然后从所有IP流量数据中筛选已备案IP端口的流量数据，数据为csv文件形式，字段主要包括通信和流量特征、IP地址、端口号、时间等信息，提取与网络服务活跃度相关的总字节数、总数据包、比特率、访问次数、会话次数等特征进行相关性分析，根据相关性分析结果得到了各流量数据之间的相关性程度，根据该结果提出了一种基于总字节数，总数据包和访问次数的三维网络活跃节点计算方法以及公式各部分的权重，活跃度计算公式为：

公式中各个权值选取如下：

｛W ₁，W ₂，W ₃｝=｛0.3，0.3，0.4｝。

（2）数据预处理

数据预处理包含了历史数据集的创建和数据集自动化更新，该部分主要完成以下工作：首先将所有IP历史流量数据经过预处理得到一个历史数据集，然后获取实时活跃度数据并经过处理加入到历史数据集中完成数据集的自动化更新，具体流程如图2所示。

历史数据集的创建首先需要从系统数据库中读取待测IP地址和端口号，再筛选该IP端口列表的数据，然后根据IP地址、端口号、协议类型、时间对流量数据进行合并，根据活跃度计算公式计算出活跃度，然后将每条数据的时间记录，将IP地址和端口号合并，合并后的IP端口将作为列名称，记录的时间作为行索引，这样就得到了一条IP端口对应时间的活跃度数据。之后分别通过遍历每个数据文件，并在每个数据文件中遍历所有行数据进行上述处理，将处理后的数据进行合并，然后对数据集进行缺失值处理，将空值以0代替，就能得到最终的每个IP端口对应时间的历史活跃度数据集。

数据集的自动化定时更新需要在历史活跃度数据集的接触上需要自动化定时对此数据集进行更新，只需要以一个列表记录每小时新获取的文件名，再利用一个定时器定时遍历新获取的流量文件，进行与创建历史数据集相同的数据处理流程，最后再与历史活跃度数据进行合并和保存就能够完成对数据集的自动化定时更新。

（3）模型训练

模型训练部分的主要流程如图3所示，首先需要创建一个输入序列，将数据集划分为训练集和测试集，选择最后72条数据作为测试集test_set，其余作为训练集train_set。遍历训练集，每72条数据输出为一个样本，最终得到一个len（train_set）×72×1的训练样本，其中len（train_set）表示样本数，72表示时间步，1表示特征数。然后将样本进行重构以适应于不同深度学习预测模型的参数要求。搭建LSTM和GRU预测模型，搭建模型的各个训练层，进行模型编译、模型训练。将训练样本输入到不同的深度学习模型进行模型训练，迭代训练20轮后能够得到一个理想的损失率，至此就完成了模型的训练。

（4）模型评估和比较

测试样本进行同样的处理，遍历测试集，每72条数据输出为一个样本，最终得到一个len（test_set）×72的测试样本，并将样本进行重构，加上一个维度表示样本的特征得到测试样本，将测试样本输入到训练好的模型里，采用R方值（R2_score）指标进行模型评估，R2_score计算公式如下：

首先根据各个模型的效果调节每种模型的参数，使不同模型的准确度达到最高，然后再对各个模型最终的准确率进行对比，选择一个准确度最高的模型作为该服务端口的预测模型保存到服务器中，模型文件名以IP端口参数命名以便模型调用。

（5）实时预测

实时预测部分的主要流程如图4所示，采用定时器每小时获取该列表里所有待预测IP服务端口的实时活跃度数据，遍历每一个IP端口并判断该端口的模型是否存在，若不存在则进行模型训练以及模型评估和比较，保存一个最优模型到服务器中以便模型调用；若存在则直接调用该IP端口动态命名的模型文件，创建IP端口活跃度序列并输入到该模型中，得到未来72h的活跃度结果，将活跃度结果与对应时间、IP地址、端口号等信息保存到数据库中并利用可视化技术描绘活跃度变化的散点图。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的电力网络活跃度评价和预测方法，其特征在于，包括如下步骤：

步骤1：获取原始数据，筛选出待评价服务端口流量数据，提取相关特征进行活跃度计算；

步骤2：将流量数据文件进行数据预处理，得到一个历史活跃度数据集，同时自动化定时对此数据集进行更新；

步骤3：将数据集划分为训练样本和测试样本，训练样本进行样本重构并输入到不同的深度学习模型进行模型训练，调节每种模型的参数，使不同模型的准确度达到最高；

步骤4：将测试样本输入到训练好的模型中，并对模型进行评估和比较，得到一个该服务的最优模型，将模型保存；

步骤5：自动化实时获取不同网络服务的活跃度数据，输入到对应的最优模型，得到未来的活跃度预测结果。

2.根据权利要求所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，所述步骤1中具体操作为：

获取原始流量数据和IP地址、端口号、时间，筛选出待评价服务端口数据并取总字节数、总数据包、比特率、访问次数、会话次数进行相关性分析，按照如下三维网络活跃节点计算方法，计算活跃度：

其中，

，

，

为各种因素权值。

3.根据权利要求1所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，所述步骤2的具体操作为：

以IP地址、端口号、时间、协议类型为基础进行数据合并，合并后提取活跃度数据以及对应的IP地址、端口号、时间字段，以IP地址-端口号作为列名，时间作为行索引，遍历所有数据文件进行活跃度合并，合并后进行数据清洗和缺失值处理，得到一个活跃度的历史数据集，同时自动化定时对此数据集进行更新。

4.根据权利要求3所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，自动化定时对数据集进行更新的具体操作为：

以一个列表记录每小时新获取的文件名，再利用一个定时器定时遍历新获取的流量文件，进行与创建历史数据集相同的数据处理流程，最后再与历史活跃度数据进行合并和保存就能够完成对数据集的自动化定时更新。

5.根据权利要求1所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，所述步骤3中模型训练的具体操作为：

输入预测服务的IP地址和端口号，选中对应的IP地址-端口号字段，将最后72条数据作为测试样本，其余数据作为训练样本，构建不同的深度学习预测模型，将训练样本进行样本重构并输入到不同的深度学习模型进行模型训练，所述深度学习预测模型选用LSTM和GRU预测模型。

6.根据权利要求1所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，所述步骤4中对模型进行评估和比较的具体操作为：

遍历测试样本，每72条数据输出为一个样本，最终得到一个len（test_set）×72的测试样本，并将样本进行重构，加上一个维度表示样本的特征得到测试样本，将测试样本输入到训练好的模型里，采用R方值（R2_score）指标进行模型评估，R2_score计算公式如下：

根据各个模型的效果调节每种模型的参数，使不同模型的准确度达到最高，然后再对各个模型最终的准确率进行对比，选择一个准确度最高的模型作为该服务端口的预测模型保存到服务器中，模型文件名以IP端口参数命名以便模型调用。

7.根据权利要求1至6任一所述的基于深度学习的电力网络活跃度评价和预测方法，其特征在于，所述步骤5中具体操作为：

采用定时器每小时获取该列表里所有待预测IP服务端口的实时活跃度数据，遍历每一个IP端口并判断该端口的模型是否存在，若不存在则进行模型训练以及模型评估和比较，保存一个最优模型到服务器中以便模型调用；若存在则直接调用该IP端口动态命名的模型文件，创建IP端口活跃度序列并输入到该模型中，得到未来72h的活跃度结果，将活跃度结果与对应时间、IP地址、端口号等信息保存到数据库中并利用可视化技术描绘活跃度变化的散点图。

Images