CN118520235B - 一种基于大数据处理的电网数据可视方法及系统 - Google Patents

Abstract

本发明涉及电数字数据处理领域，更具体地，本发明涉及一种基于大数据处理的电网数据可视方法及系统，方法包括：获取历史电网中频率数据和电压数据，生成历史数据集，获取历史数据集中任一电压数据的参考数据段；计算各个电压数据在对应参考数据段中的异常指数；计算各个电压数据与频率数据之间的相关性；将相关性和异常指数的乘积作为电压数据的平滑指数，获取当前最后时刻的电压数据基于平滑指数进行预测，计算预测值与实际值的差异值，响应于差异值大于等于预设异常阈值时，则该时刻电压数据为异常数据，对电压数据中的异常数据进行可视化展示。本发明通过电压数据自适应调节平滑指数，提高异常检测的准确率。

Description

一种基于大数据处理的电网数据可视方法及系统

技术领域

本发明涉及电数字数据处理领域。更具体地，本发明涉及一种基于大数据处理的电网数据可视方法及系统。

背景技术

电网数据通常指的是与电力系统相关的各种数据，包括电力生成、传输和分配等方面的信息，这些数据在电力系统运行管理、优化、规划以及市场交易等方面都具有重要的作用。采集、分析和利用这些数据可以帮助电力公司和相关部门更好地管理电力系统、提高供电可靠性、优化能源利用、降低成本以及促进清洁能源的应用。电网数据量不断增加，包括来自传感器、监控设备、SCADA系统等的大量数据。

现有公开号为CN116317103A的中国专利申请文件公开了一种配电网电压数据处理方法，根据调研发现，TTU数据中存在由于表计接触不良、表计故障、参数设置错误、通讯故障、测量元件故障，受到复杂电磁环境的干扰等原因都会造成数据的异常、噪声以及丢失等问题。这些带有瑕疵数据的存在会导致低电压误判、线损计算结果不可靠和错误的负荷分析结果。

上述方案中，由于多种因素可能导致数据存在异常或表现为噪声数据，目前通常使用指数平滑方法可以用于处理缺失数据点，但是平滑系数往往是全局统一的，若对某一时刻的电压数据进行预测时，其前一时刻数据存在异常，是一个噪声数据，就会导致现有指数平滑方法对于电压数据的预测的准确性降低。

发明内容

为解决目前通常使用指数平滑方法可以用于处理缺失数据点，但是平滑系数往往是全局统一的，导致现有指数平滑方法对于电压数据的预测的准确性降低的问题，本发明在如下的多个方面中提供方案。

在第一方面中，一种基于大数据处理的电网数据可视方法，包括：获取历史电网中频率数据和电压数据，生成历史数据集，获取历史数据集中任一电压数据的预设范围内的数据作为参考数据段；计算所述历史数据集中各个电压数据和对应参考数据段中的平均电压数据的差值的绝对值和参考数据段中与该电压数据相同的数据点的个数的比值，根据所述比值和历史数据集中电压数据与预测数据的差值的绝对值的乘积作为每个电压数据的异常指数；计算各个电压数据与频率数据之间的相关性，，式中，表示第个电压数据与频率数据之间的相关性，表示第个电压数据的电压值，表示第个电压数据的参考数据段中的平均电压值，表示第个电压数据的采样时刻对应的频率值，表示第个电压数据在参考数据段中频率数据平均值，表示指数函数；将所述相关性和异常指数的乘积作为电压数据的平滑指数，获取当前最后时刻的电压数据基于平滑指数进行预测，计算预测值与实际值的差异值，响应于差异值大于等于预设异常阈值时，则该时刻电压数据为异常数据，对电压数据中的异常数据进行可视化展示。

其效果在于：通过计算电压数据与频率数据之间的相关性，得到对应的影响程度，有利于分析电网数据中的异常数据，利用电压数据进行自适应平滑系数预测电压趋势，通过分析参考数据段中电压数据，更加准确地评估电压数据的异常性，提高检测的精度和准确性，对实时电压数据输入，实现对电网数据的实时监测和预警，并通过可视化方式将异常数据进行展示，及时发现潜在的异常情况，保障电网的稳定运行。

在一个实施例中，获得所述异常指数，还包括：

计算所述参考数据段中相邻采样时刻的电压数据对应实际电压数据之间的差异值之和以及参考数据段中的所有数据点中电压数据实际采样值的极差的乘积，得到异常概率值；

将所述异常概率值和异常指数的乘积作为每个电压数据的修正后的异常指数。

其效果在于：通过在参考数据段中的多个数据的特征，得到更加全面的评估电压数据的异常指数，提高异常检测的准确性和可靠性，以使修正后的异常指数更加符合实际情况，提高异常检测的灵敏度和准确性，减少误报和漏报的可能性。

在一个实施例中，获得所述异常指数，还包括：

计算各个电压数据在参考数据段中的信息熵；

将所述信息熵作为调节参数，计算所述信息熵和异常指数的乘积，得到修正后的异常指数。

其效果在于：利用信息熵作为调节参数，能够实现对异常指数的自适应调节，根据数据的不确定性和变化程度进行修正，使异常检测更加灵活和准确。

在一个实施例中，获取所述各个电压数据与频率数据之间的相关性，还包括：

获取所述参考数据段中各个电压数据和频率数据之间的皮尔逊相关系数，将所述皮尔逊相关系数作为相关性的线性相关系数，计算所述相关性与线性相关系数的乘积，得到修正后的相关性。

其效果在于：将皮尔逊相关系数作为相关性的线性相关系数，并将其与计算得到的相关性相乘，可以得到修正后的相关性。这种修正能够更准确地反映参考数据段中的电压数据和频率数据之间的线性关系，考虑到了相关系数的影响因素。

在一个实施例中，所述获取当前最后时刻的电压数据基于平滑指数进行预测，包括：

选择当前历史数据中的最后电压数据和对应的平滑指数，根据所述最后电压数据和平滑指数的乘积以及最后电压数据对应的预测值和平滑指数补数的乘积之和，得到当前时刻电压数据的预测值。

其效果在于：通过基于历史数据进行预测，能够实现对当前时刻电压数据的实时预测，及时发现电压波动的趋势并进行相应的调整和优化，确保电网运行的稳定性和安全性。

在一个实施例中，获取所述预测值与实际值的差异值满足下述关系式：

，

式中，表示第个电压数据的预测值与实际值的差异值，表示归一化函数，表示第个电压数据的预测值，表示第个电压数据的实际值。

在一个实施例中，所述对电压数据中的异常数据进行可视化展示，包括：

对所述差异值判断之后的电压数据构建散点图，其中，所述散点图的横坐标为采集时间、纵坐标为电压数据，将所述异常数据标记为不同的颜色或形状。

第二方面，一种基于大数据处理的电网数据可视系统，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述的基于大数据处理的电网数据可视方法。

其效果在于：

1.本发明通过自适应选择平滑系数可以灵活地适应这种变化，很大程度上削弱了噪声数据点对于数据预测准确性的影响，通过根据历史数据的变化特征动态地选择平滑系数，可以减少预测误差，使预测结果更加接近实际情况，提高了预测的准确性。

2.本发明通过随历史电压数据快速变化的情况下，自适应选择平滑系数可以更快地捕捉到这种变化，使预测结果更具实时性，通过自适应地调整平滑系数，可以增强预测模型对不确定性和噪声的稳健性，提高了模型的鲁棒性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是本发明实施例一种基于大数据处理的电网数据可视方法中步骤S1-步骤S4的方法流程图。

图2是本发明实施例一种基于大数据处理的电网数据可视系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图来详细描述本发明的具体实施方式。

参照图1，一种基于大数据处理的电网数据可视方法包括步骤S1-步骤S4，具体如下：

S1：获取历史电网中频率数据和电压数据，生成历史数据集，获取历史数据集中任一电压数据的预设范围内的数据作为参考数据段。

示例性的，获取任一电压数据为目标数据，选取目标数据两侧的预设数据点作为电压数据的参考数据段，其中，两侧预设数据点共设置为80个，若一侧电压数据点不足，则以另一侧电压数据补齐，通过对参考数据段中的电压数据进行分析。

进一步说明，使用数字电压记录仪和频率记录仪对电压数据和频率数据进行采集与记录，具体的，采集时长为三十分钟，采集频率为一秒一次，使用模数转换设备，对于电压数据和频率数据进行数字化转换，生成历史数据集。

S2：计算历史数据集中各个电压数据和对应参考数据段中的平均电压数据的差值的绝对值和参考数据段中与该电压数据相同的数据点的个数的比值，根据比值和历史数据集中电压数据与预测数据的差值的绝对值的乘积作为每个电压数据的异常指数。

具体地，电压数据的异常指数满足下述关系式：

，

式中，表示第个电压数据点的异常指数，表示第个电压数据点的电压值，表示第个电压数据点与参考数据段中的平均电压值，表示第个电压数据点与参考数据段中的电压值相同的数据点的个数，表示对第个电压数据点的历史数据的预测值，表示超参数，表示归一化函数。

进一步说明，表示为第个电压数据的电压值与第个电压数据在参考数据段中的平均电压值之间的差异值，差异值越大说明该历史数据的异常指数越大。越小，说明第个电压数据的电压值与参考数据段中的电压数据存在差异，其发生异常的概率就越大，对应异常指数就越大。表示为第个电压数据的电压值与其预测值之间的差异性，差异性越大，说明该电压数据的预测值与实际值之间的差异越大，那么该数据点可能为噪声或出现异常的可能性越大。

根据对各个电压数据的异常指数进行分析，公式中表示超参数，其值设置为0.01，为了防止参考数据段中不存在与第个电压数据的历史数据电压值相同的数据点。

除此之外，需要说明的是，上述方案中仅通过对一个电压数据进行分析，获取各个历史电压数据的异常指数，缺乏更多的历史数据的支持，还可以通过历史数据中参考数据段内的数据变化特征进行分析，进而获得更加准确的异常指数。

另一实施例中，计算参考数据段中相邻采样时刻的电压数据对应实际电压数据之间的差异值之和以及参考数据段中的所有数据点中电压数据实际采样值的极差的乘积，得到异常概率值，将异常概率值作为修正参数；

将计算异常概率值和异常指数的乘积作为每个电压数据的修正后的异常指数。

具体地，修正后的异常指数满足下述关系式：

，

式中，表示第个电压数据点修正后的异常指数，表示第个电压数据的异常指数，表示第个电压数据对应参考数据段中数据个数，与分别表示第个电压数据在参考数据段中的第个和第个电压数据的实际值，与分别表示第个电压数据在对应参考数据段中的极大值和极小值。

进一步说明，表示第个电压数据在参考数据段中所有相邻采样时刻的电压数据之间的差异值之和，该值越大可以说明在参考数据段中的数据变化越剧烈，其中存在噪声数据的可能性越大，对应第个电压数据发生异常的可能性会越大。表示第个电压数据在参考数据段中实际采样的所有电压数据中电压值的极差，该值越大，相邻采样时刻的电压数据之间的差异值之和的可信度越大，那么第个电压数据发生异常的可能性会越大。

在一实施例中，计算各个电压数据在参考数据段中的信息熵；将信息熵作为调节参数，计算信息熵和异常指数的乘积，得到修正后的异常指数。

进一步说明，通过信息熵可以衡量参考数据段中信息量的指标，在参考数据段中信息熵越高，电压数据不确定性越大，反之信息熵越低，电压数据的结构和规律性越高，同时根据信息熵可以发现历史数据集中的异常值或突变点，其中，异常值可能为噪声数据。

S3：计算各个电压数据与频率数据之间的相关性。

具体地，相关性满足下述关系式：

，

式中，表示第个电压数据与频率数据之间的相关性，表示第个电压数据的电压值，表示第个电压数据的参考数据段中的平均电压值，表示第个电压数据的采样时刻对应的频率值，表示第个电压数据在参考数据段中频率数据平均值，表示指数函数。

需要说明的是，计算电压数据和频率数据的之间的差异，差异越小，则电压数据和频率数据之间有坚强的相关性，反之，则相关性较小；较大的差异表示该参考数据段中的数据存在异常值和离群点。

除此之外，另一实施例中，获取参考数据段中各个电压数据和频率数据之间的皮尔逊相关系数，将皮尔逊相关系数作为相关性的线性相关系数，计算相关性与线性相关系数的乘积，得到修正后的相关性。

具体地，修正后的相关性满足下述关系式：

，

式中，表示第个电压数据与频率数据之间修正后的相关性，表示第个电压数据与频率数据之间的相关性，表示第个电压数据在参考数据段中对应时间段的电压数据与频率数据之间的皮尔逊相关系数，表示指数函数。

进一步说明，通过使用皮尔逊相关系数衡量参考数据段中对应采集实际的电压数据和频率数据之间的线性相关性，其中，线性相关性的值位于之间，当皮尔逊相关系数趋近于1时，则表示电压数据和频率数据之间存在正相关性，反之，皮尔逊相关系数趋近于-1时，电压数据和频率数据之间存在负相关性，当皮尔逊系数趋近于0时，则电压数据和频率数据之间没有线性相关性。

S4：将相关性和异常指数的乘积作为电压数据的平滑指数，获取当前最后时刻的电压数据基于平滑指数进行预测，计算预测值与实际值的差异值，响应于差异值大于等于预设异常阈值时，则该时刻电压数据为异常数据，对电压数据中的异常数据进行可视化展示。

选择当前历史数据中的最后电压数据和对应的平滑指数，根据最后电压数据和平滑指数的乘积以及最后电压数据对应的预测值和平滑指数补数的乘积之和，得到当前时刻电压数据的预测值；

同理，得到历史数据集中每个电压数据的预测值。

具体地，电压数据的预测值与实际值的差异值满足下述关系式：

，

式中，表示第个电压数据的预测值与实际值的差异值，表示归一化函数，表示第个电压数据的预测值，表示第个电压数据的实际值。

进一步说明，预测值和实际值的差异值出异常数据，对差异值进行归一化处理，得到差异值的取值范围位于区间之间，本实施例中，预设异常阈值为0.8，响应于差异值大于0.8，则说明对应时刻残差较大，该模型未能捕捉到电压的真实数据，则该时刻采集的数据中存在异常值。

对差异值判断之后的电压数据构建散点图，其中，散点图的横坐标为采集时间、纵坐标为电压数据，将异常数据标记为不同的颜色或形状。

进一步说明，可以在散点图中添加平滑曲线或皮尔逊相关系数，有益于增强散点图的信息表达能力，有助于辅助技术人员观察。

至此，本发明结束。

本发明还提供了一种基于大数据处理的电网数据可视系统。如图2所示，系统包括处理器和存储器，存储器存储有计算机程序指令，当计算机程序指令被处理器执行时实现根据本发明第一方面的一种基于大数据处理的电网数据可视方法。

系统还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。

在本发明中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive RandomAccess Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

在本说明书的描述中，“多个”、“若干个”的含义是至少两个，例如两个，三个或更多个等，除非另有明确具体的限定。

虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。

Claims (8)

1.一种基于大数据处理的电网数据可视方法，其特征在于，包括：

获取历史电网中频率数据和电压数据，生成历史数据集，获取历史数据集中任一电压数据的预设范围内的数据作为参考数据段；

计算所述历史数据集中各个电压数据和对应参考数据段中的平均电压数据的差值的绝对值和参考数据段中与该电压数据相同的数据点的个数的比值，根据所述比值和历史数据集中电压数据与该电压数据的预测数据的差值的绝对值的乘积作为每个电压数据的异常指数；

计算各个电压数据与频率数据之间的相关性，，式中，表示第个电压数据与频率数据之间的相关性，表示第个电压数据的电压值，表示第个电压数据的参考数据段中的平均电压值，表示第个电压数据的采样时刻对应的频率值，表示第个电压数据在参考数据段中频率数据平均值，表示指数函数；

将所述相关性和异常指数的乘积作为电压数据的平滑指数，选择当前历史数据中的最后电压数据基于平滑指数进行预测得到当前时刻的电压数据的预测值，计算所述当前时刻的电压数据的预测值与实际值的差异值，响应于差异值大于等于预设异常阈值时，则该时刻电压数据为异常数据，对电压数据中的异常数据进行可视化展示。

2.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，获得所述异常指数，还包括：

计算所述参考数据段中相邻采样时刻的实际电压数据之间的差异值之和以及参考数据段中的所有数据点中电压数据实际采样值的极差的乘积，得到异常概率值；

将所述异常概率值和异常指数的乘积作为每个电压数据的修正后的异常指数。

3.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，获得所述异常指数，还包括：

计算各个电压数据在参考数据段中的信息熵；

将所述信息熵作为调节参数，计算所述信息熵和异常指数的乘积，得到修正后的异常指数。

4.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，获取所述各个电压数据与频率数据之间的相关性，还包括：

获取所述参考数据段中各个电压数据和频率数据之间的皮尔逊相关系数，将所述皮尔逊相关系数作为相关性的线性相关系数，计算所述相关性与线性相关系数的乘积，得到修正后的相关性。

5.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，所述选择当前历史数据中的最后电压数据基于平滑指数进行预测得到当前时刻的电压数据的预测值，包括：

选择当前历史数据中的最后电压数据和对应的平滑指数，根据所述最后电压数据和平滑指数的乘积以及最后电压数据对应的预测值和平滑指数补数的乘积之和，得到当前时刻电压数据的预测值。

6.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，获取所述预测值与实际值的差异值满足下述关系式：

，

式中，表示第个电压数据的预测值与实际值的差异值，表示归一化函数，表示第个电压数据的预测值，表示第个电压数据的实际值。

7.根据权利要求1所述的一种基于大数据处理的电网数据可视方法，其特征在于，所述对电压数据中的异常数据进行可视化展示，包括：

对所述差异值判断之后的电压数据构建散点图，其中，所述散点图的横坐标为采集时间、纵坐标为电压数据，将所述异常数据标记为不同的颜色或形状。

8.一种基于大数据处理的电网数据可视系统，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据权利要求1-7任一项所述的基于大数据处理的电网数据可视方法。