CN117313016B - 一种新能源电力交易现货电价价差数据处理方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，提出了一种新能源电力交易现货电价价差数据处理方法，包括：采集新能源电力交易现货电价中的多维度的电价数据，得到不同位置的电价数据子集；获取每个电价数据子集中每个维度的第一基准值并得到基础维度；得到若干初始聚簇；得到若干电价数据子集对应位置所属的区域；对同一区域中同一维度的若干数据根据迭代自组织聚类不同包容条件进行聚类，得到每次包容条件下若干类簇；获取每个区域每个维度中每个数据在每次包容条件下的包容度；获取每个数据点的筛选程度；根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度。本发明旨在解决电价数据受多维度数据影响而导致异常检测结果不准确的问题。

Description

一种新能源电力交易现货电价价差数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种新能源电力交易现货电价价差数据处理方法。

背景技术

随着能源转型和可再生能源的快速发展，新能源电力交易市场日益活跃；在这个市场中，电力发电量和电价是两个重要的关键变量。电力交易参与者需要根据电价和发电量的变化来制定合理的交易策略，并进行风险管理；在对电价数据处理的过程中，由于会受到极端因素的影响，例如突发的自然因素、供需市场的变化等，需要及时地根据电价数据的关键性特征进行政策调整，因此需要对多维度的电价数据进行准确的分析，其中前提需要准确的识别出多维度的电价数据中的异常数据。

传统的多维度电价数据的异常数据识别方法，是通过对历史的多维度电价数据进行聚类处理获取异常检测模型，在该模型中通过计算每个电价数据与对应的聚类中心之间的距离，判断该电价数据的异常程度；而迭代自组织聚类算法可以很好的适应不同的数据集，并且可解释性很强，因此可以通过迭代自组织聚类算法进行异常检测模型的构建。然而对多维度的电力数据在迭代聚类过程中，会将一些数据中的异常样本强行分到距离最小的聚簇中，造成在聚簇中样本的数量与预先设置的类簇最小样本数目之间比较时，把一些异常数据样本也统计在内，导致错误的异常检测模型的构建，进而使得多维度电价数据的异常数据检测不准确，从而影响电价数据的调整。

发明内容

本发明提供一种新能源电力交易现货电价价差数据处理方法，以解决现有的电价数据受多维度数据影响而导致异常检测结果不准确的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种新能源电力交易现货电价价差数据处理方法，该方法包括以下步骤：

采集新能源电力交易现货电价中的多维度的电价数据，得到不同位置的电价数据子集；

根据不同电价数据子集中各维度中相邻数据点的数值变化，获取每个电价数据子集中每个维度的第一基准值并得到基础维度；根据每个电价数据子集中基础维度的数据均值进行聚类，得到若干初始聚簇；根据不同初始聚簇相同维度中相邻数据的数值变化之间的差异，对初始聚簇进行合并，得到若干电价数据子集对应位置所属的区域；

对同一区域中同一维度的若干数据根据迭代自组织聚类不同包容条件进行聚类，得到每次包容条件下若干类簇；根据数据在相邻次包容条件下类簇的变化，以及对应其他维度下类簇的变化，获取每个区域每个维度中每个数据在每次包容条件下的包容度；根据包容度的变化获取每个数据点的筛选程度；

根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度。

进一步的，所述得到不同位置的电价数据子集，包括的具体方法为：

采集电网中若干具体位置在每个维度每个时间戳的数据，对采集到的数据进行数值化处理，将同一位置下采集到并数值化后的多维度的电价数据，组成该位置的电价数据子集。

进一步的，所述获取每个电价数据子集中每个维度的第一基准值并得到基础维度，包括的具体方法为：

对于任意一个电价数据子集中任意一个维度，对该电价数据子集中该维度的若干数据构建维度时间变化曲线，其中曲线的横坐标轴为时间轴，纵坐标轴为该电价数据子集中该维度的数据；对维度时间变化曲线中每个数据点计算斜率，得到若干斜率后，对相邻数据点的斜率计算差值绝对值，将所有差值绝对值的均值，作为该电价数据子集中该维度的初始基准值；对初始基准值进行反比例归一化处理，得到的结果记为该电价数据子集中该维度的第一基准值；

对该维度在每个电价数据子集中计算第一基准值，将所有第一基准值的均值，作为该维度的第二基准值；获取每个维度在每个电价数据子集中的第一基准值，得到每个维度的第二基准值，将第二基准值最大的维度，作为基础维度。

进一步的，所述得到若干初始聚簇，包括的具体方法为：

对于任意一个电价数据子集，获取基础维度在该电价数据子集中所有数据的数值的均值，记为该电价数据子集的基础代表值；获取每个电价数据子集的基础代表值，根据基础代表值对所有电价数据子集进行DBSCAN聚类，其中电价数据子集之间的距离度量采用基础代表值的差值绝对值，聚类得到若干聚簇，记为若干初始聚簇。

进一步的，所述得到若干电价数据子集对应位置所属的区域，包括的具体方法为：

对于任意两个初始聚簇中除基础维度之外任意一个维度，将两个初始聚簇中任意一个初始聚簇记为目标初始聚簇，另一个初始聚簇记为参考初始聚簇，目标初始聚簇中任意一个电价数据子集记为目标电价数据子集，参考初始聚簇中任意一个电价数据子集记为参考电价数据子集；获取该维度在目标电价数据子集中的若干数据，对目标电价数据子集中该维度的相邻数据计算比值，记为该维度在目标电价数据子集中每个数据的变化比值；

获取该维度在参考电价数据子集中每个数据的变化比值，获取该维度下任意一个时间戳的目标电价数据子集中数据的变化比值与参考电价数据子集中数据的变化比值的差值绝对值，记为该维度下该时间戳在目标电价数据子集与参考电价数据子集的差异程度，获取该维度下每个时间戳在目标电价数据子集与参考电价数据子集的差异程度，将所有差异程度的均值记为该维度在目标电价数据子集与参考电价数据子集的第一差异值；

获取该维度在目标初始聚簇与参考初始聚簇中任意两个属于不同初始聚簇的电价数据子集的第一差异值，得到若干第一差异值，将所有第一差异值的均值，记为该维度在目标初始聚簇与参考初始聚簇的第二差异值；

获取除基础维度之外每个维度在目标初始聚簇与参考初始聚簇的第二差异值，对所有第二差异值的均值进行反比例归一化处理，得到的结果记为目标初始聚簇与参考初始聚簇的相近程度；

若目标初始聚簇与参考初始聚簇的相近程度大于相近阈值，对目标初始聚簇与参考初始聚簇分别包括的若干电价数据子集对应的若干位置进行合并，作为一个区域；对任意两个初始聚簇获取相近程度，若相近程度大于相近阈值，对初始聚簇包括的若干电价数据子集对应的若干位置进行合并，最终得到若干区域。

进一步的，所述得到每次包容条件下若干类簇，包括的具体方法为：

对于任意一个区域，将任意一个维度作为当前维度，在对该区域当前维度的数据进行迭代自组织聚类的过程中，设置若干次包容条件；对该区域所有位置的电价数据子集中当前维度的若干数据进行迭代自组织聚类，数据之间的距离度量采用数据之间的差值绝对值，根据每次包容条件进行聚类，得到每次包容条件下的若干类簇。

进一步的，所述每个区域每个维度中每个数据在每次包容条件下的包容度，具体的获取方法为：

根据同一区域中每个位置对应电价数据子集中每个维度的维度时间变化曲线，获取每个维度在每个区域的若干参考维度及其相关系数，以及每个区域每个维度每个数据的邻域范围；对于任意一个区域，将任意一个维度作为当前维度，该区域当前维度的第个数据在第/>次包容条件下的包容度/>的计算方法为：

其中，表示该区域当前维度的第/>个数据在第/>次包容条件下的数据包容因子，/>表示该区域当前维度的第/>个数据在第/>次包容条件下的维度包容因子，/>与/>为参考权重；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离，所述邻域范围平均距离的具体计算方法为：获取第/>个数据在第/>次包容条件下所属类簇中每个数据的邻域范围，计算第/>个数据的邻域范围与在第/>次包容条件下所属类簇中每个数据的邻域范围的DTW距离，将所有DTW距离的均值作为第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离；/>表示求绝对值，/>表示以自然常数为底的指数函数；/>表示当前维度在该区域的参考维度的数量，/>表示当前维度在该区域的第/>个参考维度的相关系数，/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性，所述类簇相似性的具体计算方法为：根据电价数据子集获取第/>个数据在第/>个参考维度对应的数据，记为第/>个数据在第/>个参考维度的参考数据，对该区域当前维度的第/>个参考维度的数据进行迭代自组织聚类，包容条件不作改变，获取参考数据在第/>次包容条件下的所属类簇，对该类簇与当前维度的第个数据在第/>次包容条件下所属类簇计算NMI值，将NMI值作为类簇相似性；表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性。

进一步的，所述每个维度在每个区域的若干参考维度及其相关系数，以及每个区域每个维度每个数据的邻域范围，具体的获取方法为：

对于任意一个区域，将任意一个维度作为当前维度，将除当前维度之外任意一个维度作为目标维度，该区域中存在若干位置，获取该区域中任意一个位置的电价数据子集，对该位置的电价数据子集中当前维度的维度时间变化曲线与目标维度的维度时间变化曲线计算皮尔逊相关系数，记为该位置当前维度与目标维度的相似程度，获取该区域中每个位置当前维度与目标维度的相似程度，将所有相似程度的均值，作为该区域当前维度与目标维度的相关程度，若相关程度大于相关阈值，将目标维度作为当前维度在该区域的参考维度，对除当前维度之外每个维度都与当前维度进行相关判断，得到当前维度在该区域的若干参考维度；对所有参考维度与当前维度的相关程度进行softmax归一化，得到的结果作为当前维度在该区域的每个参考维度的相关系数；

对于该区域当前维度的任意一个数据，其在对应的电价数据子集中都具有若干相邻的数据，根据该数据在在对应的电价数据子集的维度时间变化曲线上的数据点，结合邻域范围大小，获取该数据的邻域范围。

进一步的，所述根据包容度的变化获取每个数据点的筛选程度，包括的具体方法为：

对于任意一个区域，将任意一个维度作为当前维度，获取该区域当前维度的第个数据在除第一次包容条件之外每次包容条件的包容度，以包容条件的次序为横坐标，包容度为纵坐标，得到第/>个数据的包容度曲线，根据包容度曲线获取每次包容条件的包容度与相邻前一次包容条件的包容度的斜率，得到若干斜率，将所有斜率的方差与均值的乘积，作为第/>个数据的包容度变化因子，对包容度变化因子进行反比例归一化处理，得到的结果记为第/>个数据的筛选程度。

进一步的，所述根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度，包括的具体方法为：

对任意一个区域的若干电价数据子集中任意一个维度的数据进行迭代自组织聚类的过程中，若任意一个数据的筛选程度大于筛选阈值，将该数据作为迭代自组织聚类过程中参与设置的类簇最小样本数量比较的数据，得到该区域该维度的聚类结果，对每个区域每个维度得到聚类结果；

对于任意一个数据，获取该数据与对应聚类结果中距离最近的类簇中心的距离，记为该数据的离群距离；获取该数据对应的聚类结果中每个数据的离群距离，对所有离群距离进行线性归一化，得到的结果记为每个数据的异常程度。

本发明的有益效果是：本发明通过获取新能源电力交易现货电价中的多维度的电价数据，得到不同位置的电价数据子集，通过对电价数据子集中各维度的数据构建维度时间变化曲线，分析维度时间变化曲线来获取基础维度，并根据基础维度得到初始聚簇，再根据不同初始聚簇中相同维度数据变化的相似性，对初始聚簇进行合并，得到若干区域，通过区域来表征变化相似的位置的电价数据子集；而后再设置不同包容条件，通过对每个区域每个维度中的数据进行迭代自组织聚类，根据聚类结果中类簇的变化量化数据的包容度，进而得到筛选程度，通过数据包容因子及维度包容因子来量化包容度，考虑数据本身在类簇中的相似性同时，结合维度与相关的参考维度之间变化的相似性，提高包容度量化的准确性，进而提高筛选程度的准确性，为后续类簇最小样本数量的比较提供基础，通过筛选程度来进行类簇最小样本数量的比较，避免将异常数据强行分到距离最小的类簇中，进而可以得到准确的聚类结果，根据聚类结果来确定异常数据，进而通过排除异常数据的干扰进行后续的电价调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种新能源电力交易现货电价价差数据处理方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种新能源电力交易现货电价价差数据处理方法流程图，该方法包括以下步骤：

步骤S001、采集新能源电力交易现货电价中的多维度的电价数据，得到不同位置的电价数据子集。

本实施例的目的是对新能源电力交易现货电价中的多维度的电价数据进行异常数据的检测，进而通过排除异常数据的干扰进行后续的电价调整，因此首先需要获取新能源电力交易现货电价中的多维度的电价数据；本实施例共采集现货电价、供应量、需要量及天气状况四个维度的与电价相关的数据，采集时间范围本实施例设置为近两年，采样时间间隔设置为一天，即每个维度的数据均有对应的时间戳，时间戳为每一天；采集数据完成后，对采集到的数据进行数值化处理，数值化处理即是对同维度的数据进行线性归一化，本实施例不再赘述；同时对多个电网中具体位置进行采集，同一位置下采集到并数值化后的多维度的电价数据，组成该位置的电价数据子集，则得到每个位置的电价数据子集，所有位置的电价数据子集组成电价数据总集，位置的数量本实施例不进行具体设置，实施者根据实际情况自行设置需要采集的电网中具体位置。

至此，得到了不同位置的多维度的电价数据，分别组成每个位置的电价数据子集。

步骤S002、根据不同电价数据子集中各维度中相邻数据点的数值变化，获取每个电价数据子集中每个维度的第一基准值并得到基础维度；根据每个电价数据子集中基础维度的数据均值进行聚类，得到若干初始聚簇；根据不同初始聚簇相同维度中相邻数据的数值变化之间的差异，对初始聚簇进行合并，得到若干电价数据子集对应位置所属的区域。

需要说明的是，由于多维度的电价数据存在着不同的类型，例如不同电价数据子集的电价数据中可能呈现局部相似，因为会受到一些影响的维度导致局部相似，例如天气、供需量、需求量等，因此在构造异常检测模型之前，分析多维度的电价数据之间的关系时要对获取的电价数据总集进行聚类处理，并在同一聚簇中进行数据分析；其中对电价数据总集的聚类为根据基础维度为基准，以其他维度的变化关系为度量进行针对位置的区域聚类；因此需要根据各维度中相邻数据点的数值变化关系，寻找到变化最小的维度来作为基础维度，而后通过基础维度得到若干初始聚簇，再根据初始聚簇中相同维度中相邻数据点的变化，量化初始聚簇之间的相近关系并合并，进而对电价数据子集对应位置进行区域划分。

具体的，对于任意一个电价数据子集中任意一个维度，对该电价数据子集中该维度的若干数据构建维度时间变化曲线，其中曲线的横坐标轴为时间轴，纵坐标轴为该电价数据子集中该维度的数据（电价数据子集中的数据均为数值化处理后的数据，后续不再赘述）；对维度时间变化曲线中每个数据点计算斜率，需要说明的是，斜率计算为当前数据点与相邻前一个数据点进行计算，得到的斜率作为当前数据点的斜率，第一个数据点不进行斜率计算；得到若干斜率后，对相邻数据点的斜率计算差值绝对值，将所有差值绝对值的均值，作为该电价数据子集中该维度的初始基准值；由于基础维度需要变化越小，则需要初始基准值越小，作为基础维度的可能性越大，因此对初始基准值进行反比例归一化处理，得到的结果记为该电价数据子集中该维度的第一基准值，本实施例采用模型来呈现反比例关系及归一化处理，其中/>为模型的输入，输入初始基准值；按照上述方法对该维度在每个电价数据子集中计算第一基准值，将所有第一基准值的均值，作为该维度的第二基准值；按照上述方法获取每个维度在每个电价数据子集中的第一基准值，得到每个维度的第二基准值，将第二基准值最大的维度，作为基础维度。

进一步的，对于任意一个电价数据子集，获取基础维度在该电价数据子集中所有数据的数值的均值，记为该电价数据子集的基础代表值；按照上述方法获取每个电价数据子集的基础代表值，根据基础代表值对所有电价数据子集进行DBSCAN聚类，其中电价数据子集之间的距离度量采用基础代表值的差值绝对值，聚类得到若干聚簇，记为若干初始聚簇，每个初始聚簇中包含若干电价数据子集。

进一步的，对于任意两个初始聚簇中除基础维度之外任意一个维度，将两个初始聚簇中任意一个初始聚簇记为目标初始聚簇，另一个初始聚簇记为参考初始聚簇，目标初始聚簇中任意一个电价数据子集记为目标电价数据子集，参考初始聚簇中任意一个电价数据子集记为参考电价数据子集；获取该维度在目标电价数据子集中的若干数据，对目标电价数据子集中该维度的相邻数据计算比值，记为该维度在目标电价数据子集中每个数据的变化比值，需要说明的是，变化比值由当前数据的数值比上相邻前一个数据的数值得到，目标电价数据子集中该维度的第一个数据不计算变化比值；按照上述方法获取该维度在参考电价数据子集中每个数据的变化比值，由于不同电价数据子集相同维度的数据所包括的时间戳是相同的，因此该维度在目标电价数据子集中每个数据与该维度参考电价数据子集中每个数据一一对应，则获取该维度下任意一个时间戳的目标电价数据子集中数据的变化比值与参考电价数据子集中数据的变化比值的差值绝对值，记为该维度下该时间戳在目标电价数据子集与参考电价数据子集的差异程度，按照上述方法获取该维度下每个时间戳（不包括第一个时间戳）在目标电价数据子集与参考电价数据子集的差异程度，将所有差异程度的均值记为该维度在目标电价数据子集与参考电价数据子集的第一差异值；按照上述方法获取该维度在目标初始聚簇与参考初始聚簇中任意两个属于不同初始聚簇的电价数据子集的第一差异值，即从目标初始聚簇中任选一个电价数据子集，再从参考初始聚簇中任选一个电价数据子集，获取该维度在两个选取的电价数据子集的第一差异值；则得到若干第一差异值，将所有第一差异值的均值，记为该维度在目标初始聚簇与参考初始聚簇的第二差异值；按照上述方法获取除基础维度之外每个维度在目标初始聚簇与参考初始聚簇的第二差异值，对所有第二差异值的均值进行反比例归一化处理，得到的结果记为目标初始聚簇与参考初始聚簇的相近程度，本实施例采用模型来呈现反比例关系及归一化处理，其中/>为模型的输入，输入所有第二差异值的均值；预设一个相近阈值，本实施例相近阈值采用0.68进行叙述，若目标初始聚簇与参考初始聚簇的相近程度大于相近阈值，则对目标初始聚簇与参考初始聚簇分别包括的若干电价数据子集对应的若干位置进行合并，作为一个区域；按照上述方法对任意两个初始聚簇获取相近程度，若相近程度大于相近阈值，则对初始聚簇包括的若干电价数据子集对应的若干位置进行合并，则最终能够得到若干区域，每个区域包含若干位置，需要说明的是，同一区域中任意两个位置对应的电价数据子集所属初始聚簇的相近程度均大于相近阈值。

至此，根据电价数据子集中各维度的数据变化，得到基础维度并聚类分析得到初始聚簇，根据不同初始聚簇中相同维度数据变化的相近关系，对初始聚簇包括的数据子集对应位置进行合并得到若干区域。

步骤S003、对同一区域中同一维度的若干数据根据迭代自组织聚类不同包容条件进行聚类，得到每次包容条件下若干类簇；根据数据在相邻次包容条件下类簇的变化，以及对应其他维度下类簇的变化，获取每个区域每个维度中每个数据在每次包容条件下的包容度；根据包容度的变化获取每个数据点的筛选程度。

需要说明的是，在同一区域对每个维度分别进行迭代自组织聚类的过程中，在类簇中样本的数量与预先设置的类簇最小样本数量进行比较的过程中，类簇会错误地将一些异常数据作为样本统计在内，则需要对这些异常数据进行排除；因此参考迭代自组织聚类的思想，通过不断增加包容条件，来获取每个数据的包容度，进而在比较类簇最小样本数量时，将包容性值较小的数据筛选出去，得到准确的结果；其中包容条件表征的是设置的允许波动条件，即对应的随着允许的波动条件的增加，在迭代自组织聚类的过程中得到的聚簇结果的偏差变化，若偏差变化程度越大，则对应的该数据的包容度较小；而偏差变化则通过数据在对应维度下相邻次包容条件下所属类簇的变化，以及对应维度的相关维度下相邻次包容条件下所属类簇的变化，量化得到包容度；而相关维度则是根据不同维度的维度时间变化曲线进行量化，通过对比维度时间变化曲线整体的相似度得到参考维度。

具体的，对于任意一个区域，将任意一个维度作为当前维度，将除当前维度之外任意一个维度作为目标维度，该区域中存在若干位置，获取该区域中任意一个位置的电价数据子集，在步骤S002中已经获取每个电价数据子集中每个维度的维度时间变化曲线，对该位置的电价数据子集中当前维度的维度时间变化曲线与目标维度的维度时间变化曲线计算皮尔逊相关系数，记为该位置当前维度与目标维度的相似程度，按照上述方法获取该区域中每个位置当前维度与目标维度的相似程度，将所有相似程度的均值，作为该区域当前维度与目标维度的相关程度，预设一个相关阈值，本实施例相关阈值采用0.65进行叙述，若相关程度大于相关阈值，则将目标维度作为当前维度在该区域的参考维度，按照上述方法对除当前维度之外每个维度都与当前维度进行相关判断，得到当前维度在该区域的若干参考维度；同时对所有参考维度与当前维度的相关程度进行softmax归一化，得到的结果作为当前维度在该区域的每个参考维度的相关系数。

进一步的，在对该区域当前维度的数据进行迭代自组织聚类的过程中，需要不断增加包容条件，可以通过不同的初始聚类中心的数量来表示，本实施例设置初始聚类中心的数量从1到8，则共得到8次包容条件；对于该区域当前维度的任意一个数据，其在对应的电价数据子集中都具有若干相邻的数据，预设一个邻域范围大小，本实施例邻域范围大小采用7进行叙述，以该数据在对应的电价数据子集的维度时间变化曲线上的数据点为中心，前后相邻各3个数据点，包括该数据点共7个数据点，构成该数据的邻域范围，则按照上述方法获取该区域当前维度每个数据的邻域范围，邻域范围实际上为一段维度时间变化曲线，需要说明的是，若数据点靠近维度时间变化曲线的边界部分，会导致无法获取完整的邻域范围，本实施例通过二次线性插值对这些数据点对应数据的邻域范围进行补齐。

进一步的，对该区域所有位置的电价数据子集中当前维度的若干数据进行迭代自组织聚类，数据之间的距离度量采用数据之间的差值绝对值，根据每次包容条件进行聚类，得到每次包容条件下的若干类簇，则该区域当前维度的第个数据在第/>次包容条件下的包容度/>的计算方法为（其中/>）：

其中，表示该区域当前维度的第/>个数据在第/>次包容条件下的数据包容因子，/>表示该区域当前维度的第/>个数据在第/>次包容条件下的维度包容因子，/>与/>为参考权重，本实施例认为数据包容因子与维度包容因子同样重要，因此采用进行叙述；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离，具体的计算方法为：获取第/>个数据在第/>次包容条件下所属类簇中每个数据的邻域范围，计算第/>个数据的邻域范围与在第/>次包容条件下所属类簇中每个数据的邻域范围的DTW距离，将所有DTW距离的均值作为第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离，需要说明的是，由于邻域范围表现为一段维度时间变化曲线，因此可以对不同数据的邻域范围进行DTW距离计算，同时由于该区域中存在多个位置对应若干电价数据子集，因此可能存在与第/>个数据在数值上完全相同的其他数据，但每个数据的邻域范围存在差异，因此不再对数值相同的其他数据作特殊说明；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离；/>表示求绝对值，/>表示以自然常数为底的指数函数，本实施例采用/>模型来呈现反比例关系及归一化处理，/>为模型的输入，实施者可根据实际情况设置反比例函数及归一化函数；数据在相邻两次包容条件下得到的邻域范围平均距离的比值越接近1，表明邻域范围平均距离的差异越小，则数据在相邻两次包容条件下所属类簇的变化较小，则数据在相邻次包容条件下所属类簇的偏差较小，则数据包容因子越大，包容度越大；

表示当前维度在该区域的参考维度的数量，/>表示当前维度在该区域的第/>个参考维度的相关系数，/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性，具体的计算方法为：根据电价数据子集获取第/>个数据在第/>个参考维度对应的数据，记为第/>个数据在第/>个参考维度的参考数据，即由于电价数据子集中不同维度的数据对应的时间戳相同，因此通过时间戳能够得到对应数据，对该区域当前维度的第/>个参考维度的数据进行迭代自组织聚类，包容条件不作改变，则获取参考数据在第/>次包容条件下的所属类簇，对该类簇与当前维度的第/>个数据在第/>次包容条件下所属类簇计算NMI值，即归一化互信息值，NMI值为类簇之间相似性量化的公知技术，本实施例不再赘述，将NMI值作为类簇相似性；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性；对每个参考维度计算相邻次包容条件下类簇相似性的变化，类簇相似性的差异越小，参考维度上的偏差越小，包容度应越大，则维度包容因子越大，同时以相关系数来作为权重，参考维度与当前维度的相关程度越大，其类簇相似性的变化的可参考性越大。

进一步的，按照上述方法获取该区域当前维度的第个数据在除第一次包容条件之外每次包容条件的包容度，以包容条件的次序为横坐标，包容度为纵坐标，得到第/>个数据的包容度曲线，根据包容度曲线获取每次包容条件的包容度与相邻前一次包容条件的包容度的斜率，其中斜率计算为公知技术，本实施例不再赘述，其中第二次包容条件的包容度由于没有前一次包容条件的包容度，则不计算斜率，则得到若干斜率，将所有斜率的方差与均值的乘积，作为第/>个数据的包容度变化因子，对包容度变化因子进行反比例归一化处理，得到的结果记为第/>个数据的筛选程度，本实施例采用/>模型来呈现反比例关系及归一化处理，其中/>为模型的输入，输入为包容度变化因子；斜率的方差值表征斜率较为离散，则包容度在相邻次包容条件下的变化之间的差异较大，包容度变化不稳定，同时以均值作为参考，均值较大则包容度变化较大，变化不稳定且变化较大，数据的整体偏差慢慢变大，筛选程度应较小；按照上述方法获取该区域当前维度每个数据的筛选程度，按照上述方法获取每个区域每个维度中每个数据的筛选程度。

至此，通过对每个区域每个维度中的数据进行迭代自组织聚类，得到每个数据的筛选程度。

步骤S004、根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度。

获取到每个区域每个维度中每个数据的筛选程度后，预设一个筛选阈值，本实施例筛选阈值采用0.58进行叙述，则对任意一个区域的若干电价数据子集中任意一个维度的数据进行迭代自组织聚类的过程中，若任意一个数据的筛选程度大于筛选阈值，则将该数据作为迭代自组织聚类过程中参与设置的类簇最小样本数量比较的数据，即与类簇最小样本数量比较过程中，仅考虑类簇中筛选程度大于筛选阈值的数据，通过迭代自组织聚类得到最终的聚类结果，其中类簇最小样本数量为迭代自组织聚类中设置的参数，本实施例不再赘述；按照上述方法对每个区域每个维度得到聚类结果。

进一步的，得到聚类结果后，对于任意一个数据，获取该数据与对应聚类结果中距离最近的类簇中心的距离（即迭代自组织聚类中数据之间的距离度量，此处用距离表示），记为该数据的离群距离；获取该数据对应的聚类结果中每个数据的离群距离，对所有离群距离进行线性归一化，得到的结果记为每个数据的异常程度；按照上述方法获取每个区域每个维度中每个数据的异常程度；预设一个异常阈值，本实施例异常阈值采用0.6进行叙述，若数据的异常程度大于异常阈值，该数据为异常数据，对多维度的电价数据中每个数据进行异常判断，则对新能源电力交易现货中的多维度的电价数据，完成了异常数据的检测。

至此，通过对多维度的电价数据进行自适应的迭代自组织聚类，实现新能源电力交易现货中的多维度的电价数据的异常数据检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种新能源电力交易现货电价价差数据处理方法，其特征在于，该方法包括以下步骤：

采集新能源电力交易现货电价中的多维度的电价数据，得到不同位置的电价数据子集；

根据不同电价数据子集中各维度中相邻数据点的数值变化，获取每个电价数据子集中每个维度的第一基准值并得到基础维度；根据每个电价数据子集中基础维度的数据均值进行聚类，得到若干初始聚簇；根据不同初始聚簇相同维度中相邻数据的数值变化之间的差异，对初始聚簇进行合并，得到若干电价数据子集对应位置所属的区域；

对同一区域中同一维度的若干数据根据迭代自组织聚类不同包容条件进行聚类，得到每次包容条件下若干类簇；根据数据在相邻次包容条件下类簇的变化，以及对应其他维度下类簇的变化，获取每个区域每个维度中每个数据在每次包容条件下的包容度；根据包容度的变化获取每个数据点的筛选程度；

根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度。

2.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述得到不同位置的电价数据子集，包括的具体方法为：

采集电网中若干具体位置在每个维度每个时间戳的数据，对采集到的数据进行数值化处理，将同一位置下采集到并数值化后的多维度的电价数据，组成该位置的电价数据子集。

3.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述获取每个电价数据子集中每个维度的第一基准值并得到基础维度，包括的具体方法为：

对于任意一个电价数据子集中任意一个维度，对该电价数据子集中该维度的若干数据构建维度时间变化曲线，其中曲线的横坐标轴为时间轴，纵坐标轴为该电价数据子集中该维度的数据；对维度时间变化曲线中每个数据点计算斜率，得到若干斜率后，对相邻数据点的斜率计算差值绝对值，将所有差值绝对值的均值，作为该电价数据子集中该维度的初始基准值；对初始基准值进行反比例归一化处理，得到的结果记为该电价数据子集中该维度的第一基准值；

对该维度在每个电价数据子集中计算第一基准值，将所有第一基准值的均值，作为该维度的第二基准值；获取每个维度在每个电价数据子集中的第一基准值，得到每个维度的第二基准值，将第二基准值最大的维度，作为基础维度。

4.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述得到若干初始聚簇，包括的具体方法为：

对于任意一个电价数据子集，获取基础维度在该电价数据子集中所有数据的数值的均值，记为该电价数据子集的基础代表值；获取每个电价数据子集的基础代表值，根据基础代表值对所有电价数据子集进行DBSCAN聚类，其中电价数据子集之间的距离度量采用基础代表值的差值绝对值，聚类得到若干聚簇，记为若干初始聚簇。

5.根据权利要求2所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述得到若干电价数据子集对应位置所属的区域，包括的具体方法为：

对于任意两个初始聚簇中除基础维度之外任意一个维度，将两个初始聚簇中任意一个初始聚簇记为目标初始聚簇，另一个初始聚簇记为参考初始聚簇，目标初始聚簇中任意一个电价数据子集记为目标电价数据子集，参考初始聚簇中任意一个电价数据子集记为参考电价数据子集；获取该维度在目标电价数据子集中的若干数据，对目标电价数据子集中该维度的相邻数据计算比值，记为该维度在目标电价数据子集中每个数据的变化比值；

获取该维度在参考电价数据子集中每个数据的变化比值，获取该维度下任意一个时间戳的目标电价数据子集中数据的变化比值与参考电价数据子集中数据的变化比值的差值绝对值，记为该维度下该时间戳在目标电价数据子集与参考电价数据子集的差异程度，获取该维度下每个时间戳在目标电价数据子集与参考电价数据子集的差异程度，将所有差异程度的均值记为该维度在目标电价数据子集与参考电价数据子集的第一差异值；

获取该维度在目标初始聚簇与参考初始聚簇中任意两个属于不同初始聚簇的电价数据子集的第一差异值，得到若干第一差异值，将所有第一差异值的均值，记为该维度在目标初始聚簇与参考初始聚簇的第二差异值；

获取除基础维度之外每个维度在目标初始聚簇与参考初始聚簇的第二差异值，对所有第二差异值的均值进行反比例归一化处理，得到的结果记为目标初始聚簇与参考初始聚簇的相近程度；

若目标初始聚簇与参考初始聚簇的相近程度大于相近阈值，对目标初始聚簇与参考初始聚簇分别包括的若干电价数据子集对应的若干位置进行合并，作为一个区域；对任意两个初始聚簇获取相近程度，若相近程度大于相近阈值，对初始聚簇包括的若干电价数据子集对应的若干位置进行合并，最终得到若干区域。

6.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述得到每次包容条件下若干类簇，包括的具体方法为：

对于任意一个区域，将任意一个维度作为当前维度，在对该区域当前维度的数据进行迭代自组织聚类的过程中，设置若干次包容条件；对该区域所有位置的电价数据子集中当前维度的若干数据进行迭代自组织聚类，数据之间的距离度量采用数据之间的差值绝对值，根据每次包容条件进行聚类，得到每次包容条件下的若干类簇。

7.根据权利要求3所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述每个区域每个维度中每个数据在每次包容条件下的包容度，具体的获取方法为：

根据同一区域中每个位置对应电价数据子集中每个维度的维度时间变化曲线，获取每个维度在每个区域的若干参考维度及其相关系数，以及每个区域每个维度每个数据的邻域范围；对于任意一个区域，将任意一个维度作为当前维度，该区域当前维度的第个数据在第/>次包容条件下的包容度/>的计算方法为：

其中，表示该区域当前维度的第/>个数据在第/>次包容条件下的数据包容因子，表示该区域当前维度的第/>个数据在第/>次包容条件下的维度包容因子，/>与/>为参考权重；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离，所述邻域范围平均距离的具体计算方法为：获取第/>个数据在第/>次包容条件下所属类簇中每个数据的邻域范围，计算第/>个数据的邻域范围与在第/>次包容条件下所属类簇中每个数据的邻域范围的DTW距离，将所有DTW距离的均值作为第/>个数据在第/>次包容条件下所属类簇的邻域范围平均距离；/>表示该区域当前维度的第/>个数据在第次包容条件下所属类簇的邻域范围平均距离；/>表示求绝对值，/>表示以自然常数为底的指数函数；/>表示当前维度在该区域的参考维度的数量，/>表示当前维度在该区域的第/>个参考维度的相关系数，/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性，所述类簇相似性的具体计算方法为：根据电价数据子集获取第/>个数据在第/>个参考维度对应的数据，记为第/>个数据在第/>个参考维度的参考数据，对该区域当前维度的第/>个参考维度的数据进行迭代自组织聚类，包容条件不作改变，获取参考数据在第/>次包容条件下的所属类簇，对该类簇与当前维度的第/>个数据在第/>次包容条件下所属类簇计算NMI值，将NMI值作为类簇相似性；/>表示该区域当前维度的第/>个数据在第/>次包容条件下所属类簇在第/>个参考维度的类簇相似性。

8.根据权利要求7所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述每个维度在每个区域的若干参考维度及其相关系数，以及每个区域每个维度每个数据的邻域范围，具体的获取方法为：

对于任意一个区域，将任意一个维度作为当前维度，将除当前维度之外任意一个维度作为目标维度，该区域中存在若干位置，获取该区域中任意一个位置的电价数据子集，对该位置的电价数据子集中当前维度的维度时间变化曲线与目标维度的维度时间变化曲线计算皮尔逊相关系数，记为该位置当前维度与目标维度的相似程度，获取该区域中每个位置当前维度与目标维度的相似程度，将所有相似程度的均值，作为该区域当前维度与目标维度的相关程度，若相关程度大于相关阈值，将目标维度作为当前维度在该区域的参考维度，对除当前维度之外每个维度都与当前维度进行相关判断，得到当前维度在该区域的若干参考维度；对所有参考维度与当前维度的相关程度进行softmax归一化，得到的结果作为当前维度在该区域的每个参考维度的相关系数；

对于该区域当前维度的任意一个数据，其在对应的电价数据子集中都具有若干相邻的数据，根据该数据在在对应的电价数据子集的维度时间变化曲线上的数据点，结合邻域范围大小，获取该数据的邻域范围。

9.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述根据包容度的变化获取每个数据点的筛选程度，包括的具体方法为：

对于任意一个区域，将任意一个维度作为当前维度，获取该区域当前维度的第个数据在除第一次包容条件之外每次包容条件的包容度，以包容条件的次序为横坐标，包容度为纵坐标，得到第/>个数据的包容度曲线，根据包容度曲线获取每次包容条件的包容度与相邻前一次包容条件的包容度的斜率，得到若干斜率，将所有斜率的方差与均值的乘积，作为第个数据的包容度变化因子，对包容度变化因子进行反比例归一化处理，得到的结果记为第个数据的筛选程度。

10.根据权利要求1所述的一种新能源电力交易现货电价价差数据处理方法，其特征在于，所述根据数据的筛选程度进行迭代自组织聚类并获取每个数据点的异常程度，包括的具体方法为：

对任意一个区域的若干电价数据子集中任意一个维度的数据进行迭代自组织聚类的过程中，若任意一个数据的筛选程度大于筛选阈值，将该数据作为迭代自组织聚类过程中参与设置的类簇最小样本数量比较的数据，得到该区域该维度的聚类结果，对每个区域每个维度得到聚类结果；

对于任意一个数据，获取该数据与对应聚类结果中距离最近的类簇中心的距离，记为该数据的离群距离；获取该数据对应的聚类结果中每个数据的离群距离，对所有离群距离进行线性归一化，得到的结果记为每个数据的异常程度。