CN109445972B - 数据修复方法、装置、设备和存储介质 - Google Patents

Abstract

本发明涉及一种数据修复方法、装置、设备和存储介质，确定原始电力数据中的缺失数据；根据缺失数据所在的日期确定缺失数据对应的日期类型；根据日期类型和预设的修复方法，对所述缺失数据进行修复。不同的日期类型使用不同的修复方法去修复缺失数据，使得缺失数据可以得到有效的识别与修正。通过对原始电力数据中的负荷缺失数据进行标识与修复，可以保障电力计量数据的完整性与准确性，去伪存真，凸显了负荷的变化规律；从而保证了户电力需求分析、开展市场交易工作、向用户提供附加值服务等工作的可靠性。

Description

数据修复方法、装置、设备和存储介质

技术领域

本发明涉及电力技术领域，更具体地说，涉及一种数据修复方法、装置、设备和存储介质。

背景技术

随着电力体制的改革，电力市场的消费群体对电能的产品质量和服务质量要求日益提高，客户服务理念、服务渠道和服务体验的进一步提升都需要更加精细的电力数据作为支撑。对供电公司而言，可以根据电力数据开展用户电力数据分析与挖掘工作、辅助开展市场交易工作、向用户提供附加值服务等。

但是，电力数据会因为多种原因不可避免地出现丢失、残缺或者不完整的问题，使得基于电力数据的各种应用分析的准确性很低，甚至无法进行分析。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高电力数据的准确性和完整性的一种数据修复方法、装置、设备和存储介质。

第一方面，一种数据修复方法，包括：

确定原始电力数据中的缺失数据；

根据缺失数据所在的日期确定缺失数据对应的日期类型；日期类型用于表示缺失数据所在的日期是否为节假日；

根据日期类型和预设的修复方法，对缺失数据进行修复。

上述的数据修复方法，通过区分节假日与工作日，并且根据不同日期类型分别预设了不同的修复方法，对原始电力数据中的负荷缺失数据进行标识与修复，使得电力数据更加精细、完整、准确。

在其中一个实施例中，根据所述日期类型和预设的修复方法，对所述缺失数据进行修复，包括：

获取所述缺失数据的缺失率；

根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复。

在其中一个实施例中，若所述日期类型为节假日，则所述根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复，包括：

若所述缺失率大于所述第一阈值，则根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对所述缺失数据进行修复；所述第一时间段为节假日所在的时间周期；

若所述缺失率小于或等于所述第一阈值，则根据所述缺失数据在所述原始电力数据中的位置信息，对所述缺失数据进行修复。

在其中一个实施例中，所述根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对所述缺失数据进行修复，包括：

获取各所述第一负荷比值的负荷平均比值；

根据所述负荷平均比值，对所述缺失数据的关联数据的斜率进行修复；所述关联数据为在时间顺序上位于所述缺失数据前后，且与所述缺失数据连续的数据。

在其中一个实施例中，所述根据所述缺失数据在所述原始电力数据中的位置信息，对所述缺失数据进行修复，包括：

若所述缺失数据在时间顺序上位于所述原始电力数据的首末位置，则采用所述原始电力数据中与所述缺失数据距离最近的非缺失数据，对所述缺失数据进行修复；

若所述缺失数据在时间顺序上位于所述原始电力数据的非首末位置，则对所述缺失数据的关联数据进行线性插值，根据线性插值结果对所述缺失数据进行修复；所述关联数据为在时间顺序上位于所述缺失数据前后，且与所述缺失数据连续的数据。

在另一个实施例中，若所述日期类型为工作日，则所述根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复，包括：

若所述缺失率大于所述第一阈值，则获取预设的第二时间段内的非缺失数据的第一负荷平均值，对所述缺失数据进行修复；

若所述缺失率小于或等于所述第一阈值，则获取与所述缺失样本数据对应的目标样本数据，根据所述目标样本数据对所述缺失数据进行修复，所述缺失样本数据包括所述缺失数据所在日期对应的非缺失数据，所述目标样本数据与所述缺失样本数据之间的相似度大于预设相似度阈值。

在其中一个实施例中，所述获取预设的第二时间段内的非缺失数据的第一负荷平均值，对所述缺失数据进行修复，包括：

确定与所述第一负荷平均值的差值最小的历史负荷平均值；

根据所述缺失数据的时刻，从所述历史负荷平均值所在日期对应的非缺失数据中，确定目标修复数据；

根据所述目标修复数据对所述缺失数据进行修复。

在其中一个实施例中，所述根据所述目标样本数据对所述缺失数据进行修复，包括：

从所述目标样本数据中获取所述缺失数据时刻对应的电力数据的平均值；

根据所述电力数据的平均值对所述缺失数据进行修复。

在其中一个实施例中，所述方法还包括：

若所述目标样本数据中与所述缺失数据时刻对应的电力数据缺失，则对所述缺失数据的关联数据进行线性插值，根据线性插值结果对所述缺失数据进行修复；所述关联数据为在时间顺序上距离所述缺失数据最近的非缺失数据。

在其中一个实施例中，所述确定原始电力数据中的缺失数据，包括：

将所述原始电力数据中，负荷值小于预设的第二阈值的数据确定为所述缺失数据。

在其中一个实施例中，所述确定原始电力数据中的缺失数据，包括：

将所述原始电力数据中的异常数据确定为缺失数据；所述异常数据的负荷值大于第三阈值或小于第四阈值；或者，所述异常数据与相同日期下的前一时刻的电力数据之间的负荷比值大于第五阈值或小于第六阈值。

在其中一个实施例中，所述方法还包括：

根据多个相同日期类型的历史电力数据，获取每个时刻对应的第二负荷平均值；

根据所述第二负荷平均值获得每个时刻对应的负荷标准差；

根据所述第二负荷平均值、所述负荷标准差和预设的第七阈值，确定所述第三阈值和所述第四阈值。

在其中一个实施例中，所述方法还包括：

获取历史电力数据的负荷比值集合；所述负荷比值集合中包括同一日期下的每个时刻的电力数据与前一时刻的电力数据的负荷比值；

获取所述负荷比值集合的四分之三分位数对应的第二负荷比值和四分之一分位数对应的第三负荷比值；

根据所述第二负荷比值和所述第三负荷比值分别确定所述第五阈值和所述第六阈值。

第二方面，一种数据修复的装置，所述装置包括：

第一确定模块，用于确定原始电力数据中的缺失数据；

第二确定模块，用于根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

修复模块，用于根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

确定原始电力数据中的缺失数据；

根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

确定原始电力数据中的缺失数据；

根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

上述数据修复方法、装置、设备和存储介质，确定原始电力数据中的缺失数据；根据缺失数据所在的日期确定缺失数据对应的日期类型；根据日期类型和预设的修复方法，对所述缺失数据进行修复。通过对原始电力数据中的负荷缺失数据进行标识与修复，可以保障电力计量数据的完整性与准确性。从而保证了户电力需求分析、开展市场交易工作、向用户提供附加值服务等工作的可靠性。

附图说明

图1为一个实施例提供的计算机设备的内部结构示意图；

图2为一个施例提供的一种数据修复方法流程图；

图3为本申请实施例提供的另一种数据修复方法的流程图；

图4为节假日日期类型缺失数据修复方法的流程图；

图5为节假日缺失率大于第一阈值时缺失数据修复方法的流程图；

图6为节假日缺失率小于或等于第一阈值时缺失数据修复方法的流程图；

图7为工作日日期类型缺失数据修复方法的流程图；

图8为工作日缺失率大于第一阈值时缺失数据修复方法的流程图；

图9为工作日缺失率小于或等于第一阈值时获取目标样本数据的流程图；

图10为工作日缺失率小于或等于第一阈值时缺失数据修复方法的流程图；

图11为一种缺失数据的查找流程图；

图12为另一种缺失数据的查找流程图；

图13一个实施例提供的数据修复装置的结构示意图。

具体实施例

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

目前，我国各级电力调度中心，负荷数据的采集系统大多为数据采集与监视控制系统(Supervisory Control And Data Acquisition，SCADA)系统。在数据的采集过程中，记录、转换、传输等任意环节出现的随机干扰都可能使得观测数据出现错误。另外，一些特殊事件(如切负荷停电，线路负荷检修停电，大事件、大用户的冲击、拉闸限电等)也会引起负荷的反常变化。对历史负荷数据的清洗是短期负荷预测的首要环节，如果这些异常情况得不到有效地识别和修正，而直接进行负荷预测，则必然会给预测结果带来很大的误差。此外，由于异常数据的影响，隐藏了负荷的真正变化规律，不利于负荷预测过程中模型的探讨。因此，在负荷预测前，必须进行负荷数据的清洗，去伪存真，也即对负荷数据的缺失数据进行修复，以凸显负荷的变化规律。

本申请实施例提供的数据修复方法可以应用于一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储电力数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据修复方法。

图2为本申请实施例提供的一种数据修复方法流程图，该方法的执行主体为图1所示的计算机设备，该实施例涉及的根据日期类型对电力数据中的缺失数据进行修复的具体实现过程。如图2所示，该方法可以包括以下步骤：

S101、确定原始电力数据中的缺失数据。

其中，原始电力数据SCADA系统中采集到的原始数据，缺失数据为原始数据中趋近于0或者是发生突变的数据。

在本实施例中，可以将一些出现异常状况的数据标记为缺失数据，例如，某些时刻的负荷值小于0、等于0或极小负荷值，如1、2、5等；或者，存在连续几个负荷值相同的现象；或者，某时刻的负荷值与其前后负荷值相比出现很大的跳跃；或者，某时刻的负荷与前几天同一时刻的负荷相比出现很大差异；或者，有些时刻的负荷值缺失，在出现上述等任何情况时，可以将对应时刻的数据标记为缺失数据。

S102、根据缺失数据所在的日期确定缺失数据对应的日期类型；日期类型用于表示缺失数据所在的日期是否为节假日。

在本实施例中，可以按照工作日和节假日划分日期类型，例如，节假日主要是指国家法定休息日，如五一、端午、国庆、春节、星期六、星期日等，可以将上述国家法定休息日对应的日期类型划分为节假日，将其它剩余的日期类型划分为工作日。或者，不同的变压器用户应对节假日的处理方式各有不同，例如，办公写字楼可能放假、商场继续营业、工厂可能轮休等，可以根据实际情况对日期类型进行划分。可以设置每个日期对应的日期类型，确定了缺失数据所在的日期，即可以确定缺失数据所在的日期对应的日期类型。

S103、根据日期类型和预设的修复方法，对缺失数据进行修复。

在本实施例中，不同的日期类型的缺失数据的样式可能不同，可以针对不同的日期类型设置不同的修复方法，采用日期类型对应的修复方法对缺失数据进行修复。例如，当缺失数据所在的日期为8月30日，8月30日的日期类型为工作日，则可以采用曲线置换法对缺失数据进行修复；当缺失数据所在的日期为10月1日，10月1日的日期类型为节假日，则可以采用线性插值法对缺失数据进行修复。

本申请实施例提供的数据修复方法，确定原始电力数据中的缺失数据，根据缺失数据所在的日期确定缺失数据对应的日期类型，根据日期类型和预设的修复方法，对缺失数据进行修复，通过对原始电力数据中的负荷缺失数据进行标识与修复，将修复后的数据同步回计量系统，进而保障电力计量数据的完整性与准确性。从而为开展用户电力需求分析、辅助开展市场交易工作、向用户提供附加值服务等工作提供完整且准确的数据，保证了上述工作的可靠性。

图3为本申请实施例提供的另一种数据修复方法的流程图，该实施例涉及的是根据日期类型和预设的修复方法，对缺失数据进行修复的具体实现过程，在图2所示实施例的基础上，如图3所示，S103可以包括以下步骤：

S201、获取所述缺失数据的缺失率。

其中，缺失率用于表示原始电力数据中数据缺失和异常的概率；缺失率为缺失数据的长度与原始电力数据长度的比值。

在本实施例中，将原始电力数据中趋近于0或者是发生突变的数据标识为缺失数据，统计缺失数据的长度，再将缺失数据的长度除以原始电力数据的长度，得到缺失数据的缺失率。

S202、根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复。

其中，第一阈值相当于范围限定，可以根据第一阈值将缺失率划分为两个范围，在不同的范围内可以对应不同的修复方法。根据缺失率与预设的第一阈值的大小关系，使用对应的修复方法对缺失数据进行修复，例如，第一阈值为35％，则当缺失率大于35％时使用线性插值斜率修补法对缺失数据进行修复，当缺失率小于或等于35％时使用线性插值法对缺失数据进行修复。

下面按照日期类型分为节假日和工作日分别描述“根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复”的具体实现方法。

可选地，若日期类型为节假日，如图4所示，S202可以包括：

S301、若缺失率大于第一阈值，则根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对缺失数据进行修复；所述第一时间段为节假日所在的时间周期。

其中，第一负荷比值是指每日相邻时间点负荷的比值，第一时间段可以是距离待填补日最近的一段时间的周末，例如最近3个月的周末。待填补日为存在缺失数据的原始电力数据的日期。

在本实施例中，当缺失率大于第一阈值，那么选取距离待填补日最近的一段时间的周末作为填补日，用填补日中相邻时间点的电力负荷数据之间的第一负荷比值对缺失数据进行修复。例如，选取距离待填补日最近的3个月的周末对应的原始电力数据，将3个月的周末对应的原始电力数据中相邻时间点的负荷求比值，得到第一负荷比值，可以根据第一负荷比值对相邻时间点的数据斜率进行修复。

S302、若缺失率小于或等于第一阈值，则根据缺失数据在原始电力数据中的位置信息，对缺失数据进行修复。

其中，位置信息是指缺失数据在原始电力数据中的位置，可以是时间排序上的首位、末尾、或者除首末位以外的中间位置区域。

在本实施例中，当缺失率小于或等于第一阈值，则找出缺失数据所在的位置，根据缺失数据所在的位置，选取对应的修复方法，对缺失数据进行修复，例如，当缺失数据位于首位和末尾时，可以采用距离缺失数据最近的电力数据来填补缺失数据；当缺失数据位于中间位置区域时，可以采用线性插值法对缺失数据进行填补。

在本实施例提供的方法中：若缺失率大于第一阈值，则根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对缺失数据进行修复；若缺失率小于或等于第一阈值，则根据缺失数据在原始电力数据中的位置信息，对缺失数据进行修复，通过判断缺失率的大小，使用不同的修复的方法对缺失数据进行修复，可以使得缺失数据的修复更加准确、完整，还可以灵活适用于各种场景中。

示例性的，若所述缺失率大于所述第一阈值，如图5所示，步骤“根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对所述缺失数据进行修复”包括：

S401、获取各第一负荷比值的负荷平均比值。

在本实施例中，根据每日相邻时间点负荷的比值，可得到其平均值即为负荷平均比值。当缺失率大于第一阈值，那么选取距离待填补日最近的一段时间的周末作为填补日，获取填补日中各相邻时间点的电力负荷数据之间的第一负荷比值，并计算所有的第一负荷比值的负荷平均比值。例如，选取距离待填补日最近的3个月的周末对应的原始电力数据，将3个月的周末对应的原始电力数据中相邻时间点的负荷求比值，得到第一负荷比值，再将第一负荷比值求平均，得到负荷平均比值。

S402、根据负荷平均比值，对缺失数据的关联数据的斜率进行修复；关联数据为在时间顺序上位于缺失数据前后，且与缺失数据连续的数据。

本实施例中，缺失数据对应的时间点前后的非缺失数据即为关联数据。根据计算出的负荷平均比值，找出缺失数据对应的时间点前后的关联数据，根据负荷平均比值对关联数据的斜率进行修复。

示例性的，若所述缺失率小于或等于所述第一阈值，如图6所示，则步骤“根据所述缺失数据在所述原始电力数据中的位置信息，对所述缺失数据进行修复”包括：

S501、若缺失数据在时间顺序上位于原始电力数据的首末位置，则采用原始电力数据中与缺失数据距离最近的非缺失数据，对缺失数据进行修复。

其中，首末位置指缺失数据在每日的原始电力数据中时间顺序上的位置为首位或者末位。

在本实施例中，当缺失数据在时间顺序上的位置为首位或者末位时，则采用当日原始电力数据中与缺失数据距离最近的非缺失数据，对缺失数据进行修复。例如，2018年9月4日的原始电力数据中的首位存在缺失数据，该采用该首位相邻的后一时刻的非缺失数据对该缺失数据进行填补。

S502、若缺失数据在时间顺序上位于原始电力数据的非首末位置，则对缺失数据的关联数据进行线性插值，根据线性插值结果对缺失数据进行修复；所述关联数据为在时间顺序上位于所述缺失数据前后，且与所述缺失数据连续的数据。

其中，非首末位置即为除首末位置以外的中间位置区域。

在本实施例中，当缺失数据在时间顺序上的位置为中间位置区域，则采用缺失数据的关联数据进行线性插值修复。缺失数据可以分为单个数据缺失和连续多个数据缺失两种情况，下面分这两种情况分别介绍采用缺失数据的关联数据进行线性插值修复的具体实现方式。

若缺失数据为单个数据缺失，则其前后时点的负荷数据是已知的，可使用行插值法来补齐相应数据，即用当前时刻前后的负荷值均值来填补，例如，根据公式

求出当前时刻前后的负荷值均值s_kt，其中，s_k(t-1)为当前时刻的前一时刻的负荷值，s_k(t+1)为当前时刻的后一时刻的负荷值。

若缺失数据为连续多个数据缺失，由于通讯、计算机死机或其他原因造成中间连续多个数据缺失，可利用缺失数据点两端的数据，采用行插值法得到缺失数据1/2中心点的数据，由这点分别和左右两端点的数据再次利用行均值法取得1/4和3/4的数据点，重复使用，即可补齐所有的数据。考虑到缺失数据个数的奇偶性，可以设原始电力数据构成的原始序列为

其中

为缺失数据，若i为奇数，则根据公式

求缺失数据1/2中心点的数据，若i为偶数，则根据公式

求缺失数据1/2中心点的数据。其中s_k1，s_k2，…，s_k(j-1)s_k(j+1)，s_k(j+2)，…，s_kn为原始电力数据中的非缺失数据。

根据本实施例的方法：若缺失数据在时间顺序上位于原始电力数据的首末位置，则采用原始电力数据中与缺失数据距离最近的非缺失数据，对缺失数据进行修复；若缺失数据在时间顺序上位于原始电力数据的非首末位置，则对缺失数据的关联数据进行线性插值，根据线性插值结果对缺失数据进行修复；通过对缺失数据区分首末位置和中间位置采用不同的方式修复，可以使得电力负荷数据的修复更加精确，不会遗漏缺失数据，能使修复后的数据更加完整。

可选地，若日期类型为工作日，如图7所示，S202“根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复”可以包括：

S601、若缺失率大于第一阈值，则获取预设的第二时间段内的非缺失数据的第一负荷平均值，对缺失数据进行修复。

在本实施例中，第二时间段可以是缺失数据所在的待填补日中非缺失数据对应的时间段，第一负荷平均值即为当日所有负荷值之和除以负荷个数得到的值。若第一阈值为50％，则当缺失率大于50％时，则计算缺失数据所在日期对应的原始电力数据中非缺失数据的第一平均负荷值，根据所得的第一平均负荷值对缺失数据进行修复。

S602、若缺失率小于或等于第一阈值，则获取与缺失样本数据对应的目标样本数据，根据目标样本数据对缺失数据进行修复，缺失样本数据包括缺失数据所在日期对应的非缺失数据，目标样本数据与缺失样本数据之间的相似度大于预设相似度阈值。

其中，缺失样本数据为缺失数据所在日期对应的原始电力数据中的非缺失数据序列，目标样本数据为与该缺失样本数据相似度满足预设相似度阈值的历史负荷数据，相似度阈值为目标样本数据与缺失样本数据之间的相似程度的度量，相似度阈值越大，则两者越相似，相似度阈值越小，则两者差异越大。

在本实施例中，若第一阈值为50％，则当缺失率大于50％时，则计算缺失数据所在日中非缺失数据的平均负荷值，根据所得的数据对缺失数据进行修复；当缺失率小于或等于50％时，则查找出与该缺失样本数据最相似的历史负荷数据，根据相似度大于预设相似度阈值的历史负荷数据对缺失数据进行修复。

示例性的，若所述缺失率大于所述第一阈值，如图8所示，则步骤“获取预设的第二时间段内的非缺失数据的第一负荷平均值，对所述缺失数据进行修复”包括：

S701、确定与第一负荷平均值的差值最小的历史负荷平均值。

其中，历史负荷平均值为多个历史负荷数据中相同时点的平均负荷值。例如，获取三天的历史电力数据，每天包括24个时点，缺失数据的时点为6：00-7:00，则计算每天的6：00-7:00对应的电力数据的负荷平均值作为历史负荷平均值，将每个历史负荷平均值与第一负荷平均值求差值，得到差值最小的历史负荷平均值。

S702、根据缺失数据的时刻，从历史负荷平均值所在日期对应的非缺失数据中，确定目标修复数据。

在本实施例中，分别获取7月3日、7月4日和7月5日的历史负荷平均值，7月4日的历史负荷平均值与第一负荷平均值的差值最小，从7月4日的非缺失数据中，确定目标修复数据。

S703、根据所述目标修复数据对所述缺失数据进行修复。

在本实施例中，可以采用目标修复数据直接替换缺失数据，或者，对目标修复数据进行处理，用处理之后目标修复数据直接替换缺失数据。

示例性的，若所述缺失率小于或等于所述第一阈值，如图9所示，则步骤“获取与所述缺失样本数据对应的目标样本数据”包括：

S801、对参考数据序列进行极大极小值转换操作，得到标准数据序列，参考数据序列为与所述缺失样本数据构成的序列。

其中，参考数据序列为待填补日(即缺失数据对应的日期)的非缺失数据组成的序列，标准数据序列为参考时间序列极大值极小值转换后得到的数据序列。

在本实施例中，参考数据序列为Y＝(y₁,y₂,y₃,…,y₉₅,y₉₆)，将Y＝(y₁,y₂,y₃,…,y₉₅,y₉₆)进行极大极小值转换，如

则得到标准化后的标准数据序列。

S802、将标准数据序列和历史数据序列分别映射到二维空间域，得到二维标准数据序列和二维历史数据序列。

其中，标准数据序列和历史数据序列各为

将每个点映射到二维空间，即二维标准数据序列

和二维历史数据序列

S803、根据二维标准数据序列和二维历史数据序列，计算二维空间域中每个时间点上，二维标准数据序列中的数据和二维历史数据序列中的数据之间的斜率。

在本实施例中，斜率为同一个时点对应的标准数据和历史数据映射到二维空间域的二维标准数据和二维历史数据构成的斜率。例如：可以根据公式

求二维标准数据序列中的数据和二维历史数据序列中的数据之间的斜率。

S804、根据各斜率的权重，获取标准数据序列和历史数据序列之间的加权距离。

其中，权重为表示斜率水平的数值。

例如：根据“斜率差异大，则数字距离大”的规则，采用不同的数字表示斜率的权重lab_i，即label(x,y)＝{lab₁,lab₂,lab₃,…,lab₉₆}，其中lab_i值遵循如下规则：

当

当

当

当

当

当

当

当

当

当

当

当

当

然后根据斜率的权重lab_i计算出标准数据序列和历史数据序列之间的加权距离D(X，Y)，即

S805、根据加权距离确定与缺失样本数据对应的目标样本数据。

在本实施例中，加权距离越小，则历史数据序列与缺失样本数据越相似，可以将加权距离最小的历史数据序列确定为目标样本数据，也可以将小于预设阈值的加权距离对应的历史数据序列确定为目标样本数据。

可选地，步骤“根据加权距离确定与缺失样本数据对应的目标样本数据”包括：按照从小到大的顺序对各所述加权距离进行排序；确定排序后的加权距离中的前N个加权距离对应的历史数据序列为所述目标样本数据。

在本实施例中，加权距离D越小则标准数据序列和历史数据序列越相似，将加权距离由小到大排序，选取前N个历史数据序列作为所述目标样本数据，也即选取前N个史数据序列的日期为当前日期的相似日，N为正整数。

示例性的，若所述缺失率小于或等于所述第一阈值，如图10所示，则步骤“根据所述目标样本数据对所述缺失数据进行修复”包括：

S1001、从目标样本数据中获取所述缺失数据时刻对应的电力数据的平均值。

在本实施例中，电力数据的平均值是目标样本数据(N个历史数据序列)中与缺失数据时刻对应的电力数据的总和除以N所得。然后将电力数据的平均值作为填补数据对缺失数据进行修复。

例如：对于每日负荷缺失值个数占比小于或等于50％的样本而言，采用相似日均值填补法，即基于负荷形状相似性度量(具体内容见S801-S804)的查找方法寻找与该缺失样本最相似的三天历史负荷数据，若最相似的三天历史负荷数据所在日期为9月3日、9月4日、9月5日，计算出它们与待填补日缺失数据相同时点的电力数据平均值，将计算出的电力数据平均值用于相应缺失数据的填补。

S1002、根据电力数据的平均值对所述缺失数据进行修复。

在本实施例中，当9月6日的18时为缺失数据所在时点，最相似的三天历史负荷数据所在日期为9月3日、9月4日、9月5日，则将9月3日、9月4日、9月5日的18时的负荷求和再除以3，得到这3天的18时的电力数据平均值；再将得到的电力数据平均值对9月6日的18时的缺失数据进行修复。

需要注意的是，当最相似的这三天历史负荷在待填补位置的数据均缺失，则该样本填补后还有缺失值存在，此时，步骤“根据电力数据的平均值对所述缺失数据进行修复”之后，还包括：对缺失数据的关联数据进行线性插值，根据线性插值结果对缺失数据进行修复，所述关联数据为在时间顺序上距离所述缺失数据最近的非缺失数据。其中，关联数据为在时间顺序上距离缺失数据最近的非缺失数据，线性插值方法同上述S502中方法一致，此处不再赘述。

在本申请实施例中，缺失数据可以是趋近于0的数据，也可以是发生突变的数据，不同的缺失数据的获取方法也不同，下面描述确定缺失数据的方法。

在一个实施例中，若缺失数据为趋近于0的数据，则步骤S101“确定原始电力数据中的缺失数据”包括将原始电力数据中，负荷值小于预设的第二阈值的数据确定为缺失数据。

示例性的，若预设的第二阈值为5，则小于5的所有负荷数据均确定为缺失数据；或者，将连续几个负荷值相同或某时刻负荷值为0、小于0和极小负荷的数据视为伪数据，将这些伪数据置为缺失数据。

在另一个实施例中，若缺失数据为发生突变的数据，则步骤S101“确定原始电力数据中的缺失数据”包括：将原始电力数据中的异常数据确定为缺失数据；异常数据的负荷值大于第三阈值或小于第四阈值；或者，异常数据与相同日期下的前一时刻的电力数据之间的负荷比值大于第五阈值或小于第六阈值。

其中，异常数据为与其它数据的一般行为不一致的数据，S101中已做详细举例说明。在本实施例中，确定异常数据有两种方式，一种为纵向对比(概率统计法)，一种为横向对比(相邻负荷级比法)；纵向对比为将同一时点不同日期的负荷值与某个区间进行比对(限定此区间范围的即为第三阈值和第四阈值)，横向对比为同一天相邻时点的负荷数据比值与某个区间进行比对(限定此区间范围的即为第五阈值和第六阈值)。若历史负荷数据满足异常数据所在的阈值限定的区间内，则将此部分异常数据确定为缺失数据。

进一步地，若为纵向对比方法(概率统计法)寻找异常数据，如图11所示，则该方法包括：

S1401、根据多个相同日期类型的历史电力数据，获取每个时刻对应的第二负荷平均值。

其中，第二负荷平均值为选定的相同日期类型的电力数据中某时刻的电力数据的负荷平均值。

在一个实施例中，对于负荷数据而言，其本质是利用小概率事件发生的思想来识别某时刻与前几天同一时刻相比异常的负荷数据。若第i日的时点负荷数据为L_i＝(s_i1,s_i2,s_it....s_i96)t＝1,2,...96,第t时刻的历史负荷数据为L_t＝(s_1t,s_2t,s_it....s_nt)i＝1,2,...n；其中，L_i为历史负荷中第i日的96个时点负荷数据，s_it为第i日第t时刻的负荷值，L_t为第t时刻的多个相同日期类型的历史负荷数据，n为给定的样本个数。则根据公式

可以计算出第二负荷平均值u_t，即u_t为t时刻负荷的均值，也即为第二负荷平均值。

S1402、根据第二负荷平均值获得每个时刻对应的负荷标准差。

其中，负荷标准差为根据第二负荷平均值运算后得到的，在本实施例中，根据上述计算出的第二负荷平均值，然后依据公式

就可计算出t时刻对应的负荷标准差σ_t。

S1403、根据第二负荷平均值、所述负荷标准差和预设的第七阈值，确定所述第三阈值和所述第四阈值。

其中，第七阈值为某时刻的历史负荷值与第二负荷平均值的差值，除以负荷标准差得到的。具体方法为将t时刻的负荷数据正态标准化，且异常判断指标为：

这里的θ一般取2，则将在[(-θ*σ_t)+u_t,θ*σ_t+u_t]区间的负荷视为正常值，否则视为异常数据，将其置为缺失数据。其中(-θ*σ_t)+u_t即为第三阈值，θ*σ_t+u_t即为第四阈值。

若为横向对比方法(相邻负荷级比法)寻找异常数据，如图12所示，则该方法还可以包括：

S1501、获取历史电力数据的负荷比值集合；所述负荷比值集合中包括同一日期下的每个时刻的电力数据与前一时刻的电力数据的负荷比值。

其中，负荷比值集合为历史负荷数据中每一日中每个相邻时点比值的集合。

在一个实施例中，采用相邻负荷级比法对日负荷数据进行异常值查找，即利用相邻负荷的比值来识别某时刻与其相邻负荷之间是否存在跳跃性。具体做法为：计算第i日当前t时刻与前一时刻的负荷比

由此公式可得到历史电力数据的负荷比值集合R_t＝(r_1t,r_2t....r_nt),n为历史负荷样本个数。

S1502、获取负荷比值集合的四分之三分位数对应的第二负荷比值和四分之一分位数对应的第三负荷比值。

其中，第二负荷比值为四分之三分位数对应的相邻时点负荷比值，第三负荷比值为四分之一分位数对应的相邻时点负荷比值。在本实施例中，R_t的四分之三分位数可记为(QR_t[3])，四分之一分位数可记为(QR_t[1])。

S1503、根据第二负荷比值和第三负荷比值分别确定第五阈值和第六阈值。

在本实施例中，根据R_t的四分之三分位数(QR_t[3])和四分之一分位数(QR_t[1])确定各个时点相邻负荷比的阈值，其阈值上限upR_t也即第五阈值定义为upR_t＝QR_t[3]+1.5*(QR_t[3]-QR_t[1])，阈值下限downR_t也即第六阈值定义为downR_t＝max(0,QR_t[1]-1.5*(QR_t[3]-QR_t[1]))，将r_it与第五阈值upR_t和第六阈值downR_t进行对比，如果r_it>upR_t或r_it<downR_t，则将s_it负荷值视异常数据；将其置为缺失数据。

在上述实施例中，使用两种不同的方法：概率统计法和相邻负荷级比法进行确定缺失数据，使得异常数据能够更加精确的被找到，从而可以被更加精确的标识与修复，进而使得修复后的电力数据能够更加完整且准确。

图13为一个实施例提供的数据修复装置结构示意图。如图13所示，该数据修复装置包括：第一确定模块10、第二确定模块20和修复模块30，其中：

第一确定模块10，用于确定原始电力数据中的缺失数据；

第二确定模块20，用于根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

修复模块30，用于根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

本发明实施例提供的数据修复装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储电力数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据修复方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

确定原始电力数据中的缺失数据；

根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

确定原始电力数据中的缺失数据；

根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

根据所述日期类型和预设的修复方法，对所述缺失数据进行修复。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据修复方法，其特征在于，包括：

确定原始电力数据中的缺失数据，其中，所述缺失数据为所述原始电力数据中的异常数据；

根据所述缺失数据所在的日期确定所述缺失数据对应的日期类型；所述日期类型用于表示所述缺失数据所在的日期是否为节假日；

获取所述缺失数据的缺失率，并根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复；其中，根据所述缺失率与所述第一阈值的大小关系，使用对应的修复方法对所述缺失数据进行修复；

其中，确定所述异常数据包括纵向对比方法和横向对比方法，所述纵向对比方法为将同一时刻不同日期的原始电力数据的负荷值与通过第三阈值和第四阈值确定的第一区间进行对比，若所述原始电力数据的负荷值位于所述第一区间内，则为异常数据；所述横向对比方法为将同一天相邻时刻的原始电力数据的负荷比值与通过第五阈值和第六阈值确定的第二区间进行对比，若所述负荷比值位于所述第二区间内，则为异常数据；

其中，根据所述纵向对比方法确定所述异常数据还包括：

根据多个相同日期类型的历史电力数据，获取每个时刻对应的第二负荷平均值；根据所述第二负荷平均值获得每个时刻对应的负荷标准差；根据所述第二负荷平均值、所述负荷标准差和预设的第七阈值，确定所述第三阈值和所述第四阈值；

其中，根据所述横向对比方法确定所述异常数据还包括：

获取历史电力数据的负荷比值集合，其中，所述负荷比值集合中包括同一日期下的每个时刻的电力数据与前一时刻的电力数据的负荷比值；获取负荷比值集合的四分之三分位数对应的第二负荷比值和四分之一分位数对应的第三负荷比值；根据第二负荷比值和第三负荷比值分别确定第五阈值和第六阈值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述缺失率与所述第一阈值的大小关系，使用对应的修复方法对所述缺失数据进行修复，包括：

在所述缺失率大于所述第一阈值的情况下，使用线性插值斜率修补法对所述缺失数据进行修复；

在所述缺失率小于或等于所述第一阈值的情况下，使用线性插值法对所述缺失数据进行修复。

3.根据权利要求1所述的方法，其特征在于，若所述日期类型为节假日，则所述根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复，包括：

若所述缺失率大于所述第一阈值，则根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对所述缺失数据进行修复；所述第一时间段为节假日所在的时间周期；

若所述缺失率小于或等于所述第一阈值，则根据所述缺失数据在所述原始电力数据中的位置信息，对所述缺失数据进行修复。

4.根据权利要求3所述的方法，其特征在于，所述根据第一时间段内各相邻时间点的电力数据的第一负荷比值，对所述缺失数据进行修复，包括：

获取各所述第一负荷比值的负荷平均比值；

根据所述负荷平均比值，对所述缺失数据的关联数据的斜率进行修复；所述关联数据为在时间顺序上位于所述缺失数据前后，且与所述缺失数据连续的数据。

5.根据权利要求3所述的方法，其特征在于，所述根据所述缺失数据在所述原始电力数据中的位置信息，对所述缺失数据进行修复，包括：

若所述缺失数据在时间顺序上位于所述原始电力数据的首末位置，则采用所述原始电力数据中与所述缺失数据距离最近的非缺失数据，对所述缺失数据进行修复；

若所述缺失数据在时间顺序上位于所述原始电力数据的非首末位置，则对所述缺失数据的关联数据进行线性插值，根据线性插值结果对所述缺失数据进行修复；所述关联数据为在时间顺序上位于所述缺失数据前后，且与所述缺失数据连续的数据。

6.根据权利要求1所述的方法，其特征在于，若所述日期类型为工作日，则所述根据所述缺失率、预设的第一阈值和预设的修复方法，对所述缺失数据进行修复，包括：

若所述缺失率大于所述第一阈值，则获取预设的第二时间段内的非缺失数据的第一负荷平均值，对所述缺失数据进行修复；

若所述缺失率小于或等于所述第一阈值，则获取与缺失样本数据对应的目标样本数据，根据所述目标样本数据对所述缺失数据进行修复，所述缺失样本数据包括所述缺失数据所在日期对应的非缺失数据，所述目标样本数据与所述缺失样本数据之间的相似度大于预设相似度阈值；

其中，若所述缺失率小于或等于所述第一阈值，所述获取与所述缺失样本数据对应的目标样本数据，包括：

对参考数据序列进行极大极小值转换操作，得到标准数据序列，所述参考数据序列为与所述缺失样本数据构成的序列；

将所述标准数据序列和历史数据序列分别映射到二维空间域，得到二维标准数据序列和二维历史数据序列；

根据所述二维标准数据序列和所述二维历史数据序列，计算二维空间域中每个时间点上所述二维标准数据序列中的数据和所述二维历史数据序列中的数据之间的斜率；

根据各斜率的权重，获取所述标准数据序列和所述历史数据序列之间的加权距离；

根据所述加权距离确定与所述缺失样本数据对应的目标样本数据。

7.根据权利要求6所述的方法，其特征在于，所述获取预设的第二时间段内的非缺失数据的第一负荷平均值，对所述缺失数据进行修复，包括：

确定与所述第一负荷平均值的差值最小的历史负荷平均值；

根据所述缺失数据的时刻，从所述历史负荷平均值所在日期对应的非缺失数据中，确定目标修复数据；

根据所述目标修复数据对所述缺失数据进行修复。

8.根据权利要求6所述的方法，其特征在于，所述根据所述目标样本数据对所述缺失数据进行修复，包括：

从所述目标样本数据中获取所述缺失数据时刻对应的电力数据的平均值；

根据所述电力数据的平均值对所述缺失数据进行修复。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

若所述目标样本数据中与所述缺失数据时刻对应的电力数据缺失，则对所述缺失数据的关联数据进行线性插值，根据线性插值结果对所述缺失数据进行修复；所述关联数据为在时间顺序上距离所述缺失数据最近的非缺失数据。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images