CN113377753A - 一种蓄热式电锅炉负荷数据清洗系统 - Google Patents

Abstract

本发明公开了一种蓄热式电锅炉负荷数据清洗系统，包括：数据输入模块、重复数据去除模块、数据缺失值填充模块、数据异常值处理模块，数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块，本发明的有益效果是：1）蓄热式电锅炉原始数据有重复缺失异常值，本发明分别针对这些问题进行了完整的数据清洗；2）本发明的加权平均数据缺失填充法，充分考虑了真实值和缺失值距离对缺失值的影响，认为距离缺失值越近，真实值对缺失值影响越高，权重越高。方法快速简单，能够有效的进行蓄热式电锅炉负荷的缺失值填充。

Description

一种蓄热式电锅炉负荷数据清洗系统

技术领域

本发明涉及超导磁体技术领域，具体是一种蓄热式电锅炉负荷数据清洗系统。

背景技术

在电力物联网的建设已成为电网转型升级的关键目标。在泛在电力物联网的底层架构中，

通过负责数据感知和数据采集的信息感知层是架构基底，所获取的量测数据和存储数据的数据库是支撑整个泛在电力物联网系统的基础，如同高楼大厦是否稳固看地基，收集和存储的数据信息的质量好坏也关系整个泛在电力物联网系统的结构是否稳固。然而，同任何工业现场量测数据一样，在数据感知、传输、处理的过程中，由于采集设备故障、通信信道不稳定以及外界干扰等原因，往往会让用电信息采集系统采集到不同程度的“脏数据”，如重复、缺失和异常数据。

重复、缺失和异常数据的存在，会直接影响到后续电力系统对于历史负荷数据的分析与评估，进而影响到电网相关运行策略的制定。负荷功率值是用电信息采集系统中最重要的采集数据，若负荷功率数据重复缺失异常，则会造成基于电量数据的各种应用分析失去准确性甚至无法进行。此时，若能基于数据的内在结构特性(负荷特性)，恢复缺失的数据，修复异常数据，则可以保障数据完整性，提升数据使用价值。

大规模配电网负荷数据在线清洗与修复方法研究[J].:为减少数据缓存成本,提高负荷数据在配电网规划设计、智能分析等领域的可用性,充分有效地对大规模、混杂、不精确的监测或采集负荷数据进行在线清洗,保证每个周期的时序数据得到一致的偏差检测和精确修复,在分析不同类型异常负荷数据产生原因和分布特点的基础上,提出一种面向大规模配电网负荷数据的在线清洗与修复方法,包括基于密度的负荷数据流异常辨识方法和基于协同过滤推荐算法的负荷数据修复方法。为突破配电网负荷大数据在线分析性能瓶颈,还在Hadoop平台上给出相应的分布式并行解决方案,通过使用实际配电网运行中的负荷数据进行验证,结果表明所提算法和框架能够有效预处理配电网负荷数据,具有实际应用价值

以因果关系推理的方式推导出现有技术的缺点如下：

1)没有对重复数据进行处理，会导致使用负荷数据时出错；

2)没有缺失值进行处理，会导致大范围负荷功率值缺失时，系统无法修复数据。

发明内容

本发明的目的在于提供一种蓄热式电锅炉负荷数据清洗系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种蓄热式电锅炉负荷数据清洗系统，包括：

数据输入模块，用于获得用户用电曲线数据，转化为序列向量做输入数据；

重复数据去除模块，用于对数据按时间和用户ID为唯一标识，识别出数据集中的重复数据，并去除重复数据；

数据缺失值填充模块，用于使用加权平均数据缺失填充方法对缺失值数据进行填充；

数据异常值处理模块，用于依据蓄热式电锅炉负荷数据规律，识别原始数据中离群点，并将其标记为缺失点，使用缺失值填充方法进行修复；

数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块。

作为本发明的进一步技术方案：所述数据输入模块的具体实施步骤如下：1)输入用户负荷功率曲线数据；2)输入用户ID；3)输入每个功率曲线数据的时间；4)将前三步中的数据转化为序列向量做输入数据。

作为本发明的进一步技术方案：所述重复数据去除模块的具体实施步骤如下：1)设置用户ID和时间为唯一标识；2)建立用户负荷数据矩阵，其中d代表负荷数据的时间范围，f代表蓄热式电锅炉负荷数据采样频率，用-1初始化矩阵M。比如时间线为2019/11/10-2020/5/28，则建立全为-1的初始化唯一标识矩阵值M，3)输入用户数据，若矩阵，跳转3，否则继续循环输入，其中为用户n在时间t上的唯一标识矩阵值，其中为用户n在时间t上的原始功率值，该值可能重复；4)不进行替换，跳转3；5)替换循环结束获得无重复数据的用户负荷功率曲线数据M。

作为本发明的进一步技术方案：所述数据缺失值填充模块的具体实施步骤如下：1)将前后日负荷全小于0的全部变为0；

3)计算连续缺失值个数，连续缺失值少于等于3个跳转3，连续缺失变值多于288点跳转4，连续缺失值多于3个小于288个跳转5，如公式3所示；

a_w＝w₁v₁+w₂v₂+…+w_nv_n/n (1)

其中，f_i代表填充值，N_missing代表连续缺失值的数量，a_{w_t}，a_{w_v}，a_{w_h}分别对应横向加权平均值，纵向加权平均值，同期历史数据加权平均值，v为正常负荷值；

3)使用横向前后正常数值的加权平均值进行填充；

4)若有往年数据，则补全为非0同期负荷数据加权平均值，若没有往年数据，则使用5中方法进行补全；

5)使用纵向上下正常数值加权平均值进行填充；

6)计算权重，横纵正常值离缺失值最近的权重设得较大，权重计算详见公式(1)

w_i＝d(a，v_i)/∑_id

其中，d代表距离函数，a代表异常点，v_i代表正常点。

作为本发明的进一步技术方案：所述数据异常值处理模块的具体实施步骤如下：

3)异常值识别，用基于邻近值的异常数据识别方法，横向遍历所有负荷数据，若某点的负荷值与前后点的差值均大于前后点均值的某个阈值，则将该点标记为异常点，这里的阈值我们使用的是10％；

4)异常值修复，把异常值当为缺失值，用缺失值填充方法进行修复。如公式4所示：

a＝(a_l+a_r)/2，if abs(a_r-a)＞r*a_mean and abs(a_l-a)＞r*a_mean (4)

其中a为修复后的值，a_l和a_r为左右邻近值，a_mean为左右邻近值的平均数。

与现有技术相比，本发明的有益效果是：1)蓄热式电锅炉原始数据有重复缺失异常值，本发明分别针对这些问题进行了完整的数据清洗；2)本发明的加权平均数据缺失填充法，充分考虑了真实值和缺失值距离对缺失值的影响，认为距离缺失值越近，真实值对缺失值影响越高，权重越高。方法快速简单，能够有效的进行蓄热式电锅炉负荷的缺失值填充；3)根据缺失值的范围，进一步将缺失值进行分类，补全策略更加细致合理。

附图说明

图1是蓄热式电锅炉负荷数据清洗方法示意图。

图2是数据去重模块示意图。

图3是数据缺失值补全模块示意图。

图4是缺失值填充前后负荷数据曲线对比图。

图5是异常值修复前后日负荷曲线对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，实施例1：一种蓄热式电锅炉负荷数据清洗系统，包括：

数据输入模块，用于获得用户用电曲线数据，转化为序列向量做输入数据；

重复数据去除模块，用于对数据按时间和用户ID为唯一标识，识别出数据集中的重复数据，并去除重复数据；

数据缺失值填充模块，用于使用加权平均数据缺失填充方法对缺失值数据进行填充；

数据异常值处理模块，用于依据蓄热式电锅炉负荷数据规律，识别原始数据中离群点，并将其标记为缺失点，使用缺失值填充方法进行修复；

数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块。

实施例2：在实施例1的基础上，数据输入模块的具体实施步骤如下：1)输入用户负荷功率曲线数据；2)输入用户ID；3)输入每个功率曲线数据的时间；4)将前三步中的数据转化为序列向量做输入数据。

重复数据去除模块的具体实施步骤如下：1)设置用户ID和时间为唯一标识；2)建立用户负荷数据矩阵,其中d代表负荷数据的时间范围，f代表蓄热式电锅炉负荷数据采样频率，用-1初始化矩阵M。比如时间线为2019/11/10—2020/5/28，则建立全为-1的初始化唯一标识矩阵值M，3)输入用户数据，若矩阵，跳转3，否则继续循环输入，其中为用户n在时间t上的唯一标识矩阵值，其中为用户n在时间t上的原始功率值，该值可能重复；4)不进行替换，跳转3；5)替换循环结束获得无重复数据的用户负荷功率曲线数据M。

数据缺失值填充模块的具体实施步骤如下：1)将前后日负荷全小于0的全部变为0；

4)计算连续缺失值个数，连续缺失值少于等于3个跳转3，连续缺失变值多于288点跳转4，连续缺失值多于3个小于288个跳转5，如公式3所示；

a_w＝w₁v₁+w₂v₂+…+w_nv_n/n (1)

其中，f_i代表填充值，N_missing代表连续缺失值的数量，a_{w_t}，a_{w_v}，a_{w_h}分别对应横向加权平均值，纵向加权平均值，同期历史数据加权平均值，v为正常负荷值；

3)使用横向前后正常数值的加权平均值进行填充；

4)若有往年数据，则补全为非0同期负荷数据加权平均值，若没有往年数据，则使用5中方法进行补全；

5)使用纵向上下正常数值加权平均值进行填充；

6)计算权重，横纵正常值离缺失值最近的权重设得较大，权重计算详见公式(1)

w_i＝d(a，v_i)/∑_id

其中，d代表距离函数，a代表异常点，v_i代表正常点。

作为本发明的进一步技术方案：所述数据异常值处理模块的具体实施步骤如下：

5)异常值识别，用基于邻近值的异常数据识别方法，横向遍历所有负荷数据，若某点的负荷值与前后点的差值均大于前后点均值的某个阈值，则将该点标记为异常点，这里的阈值我们使用的是10％；

6)异常值修复，把异常值当为缺失值，用缺失值填充方法进行修复。如公式4所示：

a＝(a_l+a_r)/2，if abs(a_r-a)＞r*a_mean and abs(a_l-a)＞r*a_mean (4)

其中a为修复后的值，a_l和a_r为左右邻近值，a_mean为左右邻近值的平均数。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种蓄热式电锅炉负荷数据清洗系统，其特征在于，包括：

数据输入模块，用于获得用户用电曲线数据，转化为序列向量做输入数据；

重复数据去除模块，用于对数据按时间和用户ID为唯一标识，识别出数据集中的重复数据，并去除重复数据；

数据缺失值填充模块，用于使用加权平均数据缺失填充方法对缺失值数据进行填充；

数据异常值处理模块，用于依据蓄热式电锅炉负荷数据规律，识别原始数据中离群点，并将其标记为缺失点，使用缺失值填充方法进行修复；

数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块。

2.根据权利要求1所述的一种蓄热式电锅炉负荷数据清洗系统，其特征在于，所述数据输入模块的具体实施步骤如下：1)输入用户负荷功率曲线数据；2)输入用户ID；3)输入每个功率曲线数据的时间；4)将前三步中的数据转化为序列向量做输入数据。

3.根据权利要求1所述的一种蓄热式电锅炉负荷数据清洗系统，其特征在于，所述重复数据去除模块的具体实施步骤如下：1)设置用户ID和时间为唯一标识；2)建立用户负荷数据矩阵,其中d代表负荷数据的时间范围，f代表蓄热式电锅炉负荷数据采样频率，用-1初始化矩阵M，比如时间线为2019/11/10—2020/5/28，则建立全为-1的初始化唯一标识矩阵值M，3)输入用户数据，若矩阵，跳转3，否则继续循环输入，其中为用户n在时间t上的唯一标识矩阵值，其中为用户n在时间t上的原始功率值，该值可能重复；4)不进行替换，跳转3；5)替换循环结束获得无重复数据的用户负荷功率曲线数据M。

4.根据权利要求1所述的一种蓄热式电锅炉负荷数据清洗系统，其特征在于，所述数据缺失值填充模块的具体实施步骤如下：1)将前后日负荷全小于0的全部变为0；

2)计算连续缺失值个数，连续缺失值少于等于3个跳转3，连续缺失变值多于288点跳转4，连续缺失值多于3个小于288个跳转5，如公式3所示；

a_w＝w₁v₁+w₂v₂+…+w_nv_n/n (1)

其中，f_i代表填充值，N_missing代表连续缺失值的数量，a_{w_t}，a_{w_v}，a_{w_h}分别对应横向加权平均值，纵向加权平均值，同期历史数据加权平均值，v为正常负荷值；

3)使用横向前后正常数值的加权平均值进行填充；

4)若有往年数据，则补全为非0同期负荷数据加权平均值，若没有往年数据，则使用5中方法进行补全；

5)使用纵向上下正常数值加权平均值进行填充；

6)计算权重，横纵正常值离缺失值最近的权重设得较大，权重计算详见公式(1)

w_i＝d(a,v_i)/∑_id

其中，d代表距离函数，a代表异常点，v_i代表正常点。

5.根据权利要求1所述的一种蓄热式电锅炉负荷数据清洗系统，其特征在于，所述数据异常值处理模块的具体实施步骤如下：

1)异常值识别，用基于邻近值的异常数据识别方法，横向遍历所有负荷数据，若某点的负荷值与前后点的差值均大于前后点均值的某个阈值，则将该点标记为异常点，这里的阈值我们使用的是10％；

2)异常值修复，把异常值当为缺失值，用缺失值填充方法进行修复，如公式4所示：

a＝(a_l+a_r)/2，ifabs(a_r-a)＞r*a_mean and abs(a_l-a)＞r*a_mean (4)

其中a为修复后的值，a_l和a_r为左右邻近值，a_mean为左右邻近值的平均数。

Images