CN110781167A - 一种基于聚类压缩感知的用户缺失电量数据修复方法 - Google Patents

一种基于聚类压缩感知的用户缺失电量数据修复方法 Download PDF

Info

Publication number
CN110781167A
CN110781167A CN201910986927.XA CN201910986927A CN110781167A CN 110781167 A CN110781167 A CN 110781167A CN 201910986927 A CN201910986927 A CN 201910986927A CN 110781167 A CN110781167 A CN 110781167A
Authority
CN
China
Prior art keywords
missing
electric quantity
day
period
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910986927.XA
Other languages
English (en)
Other versions
CN110781167B (zh
Inventor
严明辉
段沛恒
卜祺
王睿琛
冯莹莹
孙恒一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Electric Power Trading Center LLC
Original Assignee
Kunming Electric Power Trading Center LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Electric Power Trading Center LLC filed Critical Kunming Electric Power Trading Center LLC
Priority to CN201910986927.XA priority Critical patent/CN110781167B/zh
Publication of CN110781167A publication Critical patent/CN110781167A/zh
Application granted granted Critical
Publication of CN110781167B publication Critical patent/CN110781167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Water Supply & Treatment (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于聚类压缩感知的用户缺失电量数据修复方法。本发明首先从计量系统中获取用户当月用电信息，设置数据缺失日以及缺失时段；采用k‑means聚类对用户的用电模式进行划分，依据分类结果构建相似日用电量矩阵；通过相似日用电量矩阵求取相似日平均用电量序列；依据平均用电量对相似日矩阵中缺失时段的电量预填充；判断用户电量曲线的失真程度，就严重失真采用预填充值进行修复；将缺失时段依据前后是否连续进行分块，计算各块时段的电能增长率；若缺失时段电能波动在正常范围采用线性插值的方式进行修复，若不在正常范围时采用压缩感知进行修复。本发明能够同时考虑数据的横向、纵向相似性，对用户连续缺失电量的修复具有较高的准确率。

Description

一种基于聚类压缩感知的用户缺失电量数据修复方法
技术领域
本发明属于智能电网技术领域，尤其涉及一种基于聚类压缩感知的用户缺失电量数据修复方法。
背景技术
2018年7月，南方能源监管局组织召开南方电力现货市场交易规则专家研讨会，广东电力现货市场正式运行。在未来，中国电力市场将逐步形成中长期加现货交易的市场模式，届时电能交易与结算将会变得非常复杂，对电能量数据采集及技术处理手段也会提出更高要求。
高级量测体系作为智能电网的重要组成部分，经过多年的建设，目前已日趋完善。其通过运用各种先进的测量技术和通讯手段使电网整体运行情况易于感知，能够及时发现异常情况，保障系统安全稳定运行。分时计量是电网高级量测体系中非常重要的功能之一，其能够记录用户各个时段的用电情况，为各市场主体参与现货市场交易提供条件。
分时电量数据作为电能结算中最重要的基础数据，其重要性不言而喻。然而在实际情况中由于各种原因会导致计量系统中的电量数据出现缺失、跳变以及死数等异常情况。如何识别、修复异常数据成为电力现货市场建设亟待解决的问题。
传统的数据修复方法原理简单，主要考虑缺失点与周围数据的相关性或者历史数据的周期性，在处理单点缺失时，计算时间短且修复效果较好；但是在处理多点和连续数据缺失时求解将会变得非常复杂，修复所得数据与原始数据相差较大。
发明内容
鉴于上述技术存在的问题，本发明提出了一种基于聚类压缩感知的用户缺失电量数据修复方法，包括以下步骤：
步骤1：从计量系统中获取得到用户当月用电量，根据缺失数据日以及缺失时段序列设置用户缺失电量，根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零，得到聚类算法输入数据集以构建输入矩阵；
步骤2：采用k-means聚类方法对输入矩阵按行聚类得到聚类结果，将用户在当月M天的用电模式按日分为k类，构建相似日矩阵；
步骤3：找到缺失数据日所属的相似日矩阵，将矩阵中缺失数据日的用电量整行置空后得到中间矩阵，进一步计算得到缺失时段的相似日平均用电量序列；
步骤4：采用相似日平均用电量对相似日矩阵中缺失时段的电量进行预填充；
步骤5：判断用户缺失数据日电量曲线的失真程度以进行修复；
步骤6：将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列，计算分块后缺失数据时段电量的平均增长率；
步骤7：若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复，若分块后缺失数据时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复；
作为优选，步骤1中所述用户当月第d天，h时段的用电量为：
Wd,h
其中，d∈(1,…M)，M表示该月所具有的天数，h∈(1,…N)，N表示一天内电表能够计量的时段数目；
步骤1中所述根据缺失数据日以及缺失时段序列设置用户缺失电量为：
设置用户缺失电量的位置在d0天h0时段；
其中，d0为缺失数据日，h0为缺失时段序列，h0＝(h0(1),h0(2),…h0(q))，其长度q表示当日电量缺失的数目；
设置用户缺失电量为：：
Figure BDA0002236990230000021
步骤1中所述聚类算法输入数据集：
bd,h＝Wd,h d∈(1,…M),h∈(1…N)
步骤1中根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零：
Figure BDA0002236990230000022
其中h0表示缺失时段，
Figure BDA0002236990230000023
为bd,h中缺失时段的数据；
步骤1中所述构建输入矩阵具体为：
B＝bd,h d∈(1,…M),h∈(1…N)
其中，bd,h为聚类算法输入数据集，B为输入矩阵；
作为优选，步骤2中所述聚类结果具体为：
将输入矩阵B的M行进行分类，记录每一类别所包含的行：
di＝(di(1),di(2),…di(mi))i∈(1,2,…k)
Figure BDA0002236990230000031
其中,di表示矩阵B中类别为i的行，mi为类别为i的行数；
步骤2中所述的相似日矩阵具体为：
依据聚类结果将矩阵B中划为同一类的行所对应日的各时段用电量重新排列，组成相似日用电量矩阵：
此处考虑到矩阵B中缺失时段的电量前述步骤已经置零，所以需要找到每一行所对应的日各时段的用电量即Wd,h，因为后续要求缺失时段用电量的平均值；
Figure BDA0002236990230000032
其中，Pi为类别i的相似日用电量矩阵，维度为mi×N，
Figure BDA0002236990230000033
为类别i中第mi天第N个时段的用电量；
作为优选，步骤3中所述找到缺失数据日所属的相似日矩阵为：
找到d0日所属的相似日矩阵为Pi；
将Pi中d0日的用电量整行置空后得到中间矩阵Pi′；
步骤3中所述进一步计算得到相似日平均用电量序列为：
对Pi′按列求取平均值得到相似日平均用电量序列：
Figure BDA0002236990230000034
作为优选，步骤4中对相似日矩阵中缺失时段的电量进行预填充为：
Pi(n1,h0(j))＝f(h0(j))j∈(1,…q)
其中f为相似日平均用电量序列，h0为缺失电量时段，Pi为相似日矩阵，n1表示Pi中d0日用电量所处的行数，0≤n1≤mi；
作为优选，步骤5中所述判断用户缺失数据日电量曲线的失真程度以进行修复具体为：
所述缺失数据日为d0；
所述失真程度是指缺失数据个数与缺失量阈值的大小关系：
当q＞L时，直接选用相似日矩阵缺失时段的预填充值作为修复结果修复结束，所述预填充值为根据所述步骤4预填充处理得到：
w(j)＝Pi(n1,h0(j))j∈(1,2,…q)
其中，q为缺失数据个数，Pi为相似日矩阵，w为修复电量序列；
当q≤L时，执行步骤6；
作为优选，步骤6中所述将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列具体为：
将h0依据前后是否为连续缺失分块成m个子时段序列：
h0,e e∈(1,…,m)
Figure BDA0002236990230000041
其中，h0为缺失时段序列，h0,e为第e块缺失时段，length(h0,e)表示h0,e的长度；
步骤6中所述计算分块后缺失数据时段电量的平均增长率为：
ae(j)＝f(h0,e(j)+1)/f(h0,e(j))j∈(1,…length(h0,e)),e∈(1,…m)
其中，ae为分块后第e块缺失时段的平均增长率；
作为优选，步骤7中所述若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复为：
当缺失数据时段电量的平均增长率满足公式：
l1≤ae(j)≤l2j∈(1,…,length(h0,e)),e∈(1,…m)
其中，ae(j)为第e块缺失时段中第j个点的电量增长率，length(h0,e)表示h0,e的长度；l1代表电量波动的下波动阈值，l2代表电量波动的上波动阈值；
采用线性插值的方式进行修复，具体为：
利用表码前后读数计算平均电量填补缺失数据，具体如下：
Figure BDA0002236990230000051
其中，Q表示从用户计量电表中所读取的d0日表码数值，h0,e表示第e块缺失时段，length(h0,e)表示h0,e的长度，we(j)为第e块缺失时段中第j个点的修复电量；
步骤7中所述当分块后缺失时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复具体为：
当缺失时段电量增长率满足：
ae(j)＜l1或ae(j)＞l2j∈(1,…,length(h0e))
采用压缩感知方法对电量序列进行修复；
进一步地，所述采用压缩感知方法对电量序列进行修复为：
步骤7.1，重构缺失日所属的相似日矩阵；
作为优选，步骤7.1中所述的重构相似日矩阵具体为：
所述相似日矩阵为Pi,i∈(1,…k)；
对Pi中的元素按行依次排列构成一条长度为1×Nmi的电量序列：
x＝[Pi(1,1),…Pi(1,N),Pi(2,1),…Pi(2,N),…Pi(mi,1),…Pi(mi,N)]T
其中，x中各元素分别代表同类用电模式下每天不同时段的用电量，特别的Pi(mi,1),…Pi(mi,N)表示类别i用电模式下第mi天中1～N各时段的用电量；
步骤7.2，选取smooth滤波函数，对电量序列做平滑处理；
步骤7.3，对平滑后的电量序列进行离散余弦变换：
θ＝ψx
其中，x为电量序列，ψ为Nmi×Nmi的离散余弦变换矩阵，θ表示x经离散余弦变换之后的稀疏序列；
步骤7.4，选择高斯随机测量矩阵，对稀疏序列进行压缩：
所述压缩过程为：
y＝φψ'θ+ε＝Aθ+ε
其中，ψ'为ψ求逆的结果，φ为M×Nmi的高斯随机测量矩阵，A为观测矩阵，ε为随机噪声，y表示观测结果，维度为M×1；
步骤7.5，选用正交匹配追踪算法对压缩所得观测结果进行重构，从重构输出结果中找到缺失点的电量修复数据，修复过程结束；
作为优选，步骤7.5所述选用正交匹配追踪算法对压缩所得观测结果进行重构具体为：
z＝g(y,A,k)
其中，g为正交匹配追踪算法函数关系，A为观测矩阵，k为θ中非零元素的数目，z表示对x经压缩再重构后的结果，维度为1×Nmi；
步骤7.5所述从重构输出结果中找到缺失点的电量修复数据，具体为：
we(j)＝z((n1-1)×N+h0e(j))j∈(1,…length(h0e))
其中，z为重构结果，n1为Pi中d0日所在的行，h0e为第e块缺失电量时段，we(j)为第e块缺失时段中第j个点的修复电量。
本发明能够同时考虑数据的横向、纵向相似性，对用户连续缺失电量的修复具有较高的准确率。
附图说明
图1：为本发明方法流程图；
图2：为正交匹配追踪重构算法流程图；
图3：为分别设置缺失点数为2～20时的修复误差对比；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图3介绍本发明的具体实施方式为：
步骤1：从计量系统中获取得到用户当月的用电量，根据缺失数据日以及缺失时段序列设置用户缺失电量，根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零，得到聚类算法输入数据集以构建输入矩阵；
步骤1中所述用户当月第d天，h时段的用电量为：
Wd,h
其中，d∈(1,…M)，M表示该月所具有的天数，h∈(1,…N)，N表示一天内电表能够计量的时段数目，以12月为例，M＝30N＝96；
步骤1中所述根据缺失数据日以及缺失时段序列设置用户缺失电量为：
设置用户缺失电量的位置在d0天h0时段；
其中，d0为缺失数据日，d0＝15，h0为一时间序列，h0＝(h0(1),h0(2),…h0(q))，其长度q表示当日电量缺失的数目，将缺失点数q分别设置为2～20后随机生成缺失时间序列进行电量修复；
设置用户缺失电量为：：
Figure BDA0002236990230000071
步骤1中所述聚类算法输入数据集：
bd,h＝Wd,h d∈(1,…M),h∈(1…N)
步骤1中根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零：
Figure BDA0002236990230000072
其中h0表示缺失时段，
Figure BDA0002236990230000073
为bd,h中缺失时段的数据；
步骤1中所述构建输入矩阵具体为：
B＝bd,h d∈(1,…M),h∈(1…N)
其中，bd,h为聚类算法输入数据集，B为输入矩阵；
步骤2：采用k-means聚类方法对输入矩阵按行聚类得到聚类结果，将用户在当月M天的用电模式按日分为k类，k＝3，构建相似日矩阵；
步骤2中所述聚类结果具体为：
将输入矩阵B的M行进行分类，记录每一类别所包含的行：
di＝(di(1),di(2),…di(mi))i∈(1,2,…k)
Figure BDA0002236990230000081
其中,di表示矩阵B中类别为i的行，mi为类别为i的行数；
步骤2中所述的相似日矩阵具体为：
依据聚类结果将矩阵B中划为同一类的行所对应日的各时段用电量重新排列，组成相似日用电量矩阵：
此处考虑到矩阵B中缺失时段的电量前述步骤已经置零，所以需要找到每一行所对应的日各时段的用电量即Wd,h，因为后续要求缺失时段用电量的平均值；
Figure BDA0002236990230000082
其中，Pi为类别i的相似日用电量矩阵，维度为mi×N，Wdi(mi),N为类别i中第mi天第N个时段的用电量；
步骤3：找到缺失数据日所属的相似日矩阵，将矩阵中缺失数据日的用电量整行置空后得到中间矩阵，进一步计算得到缺失时段的相似日平均用电量序列；
步骤3中所述找到缺失数据日所属的相似日矩阵为：
找到d0日所属的相似日矩阵为Pi；
将Pi中d0日的用电量整行置空后得到中间矩阵Pi′；
步骤3中所述进一步计算得到相似日平均用电量序列为：
对Pi′按列求取平均值得到相似日平均用电量序列：
Figure BDA0002236990230000091
步骤4：采用相似日平均用电量对相似日矩阵中缺失时段的电量进行预填充；
步骤4中对相似日矩阵中缺失时段的电量进行预填充为：
Pi(n1,h0(j))＝f(h0(j))j∈(1,…q)
其中f为相似日平均用电量序列，h0为缺失电量时段，Pi为相似日矩阵，n1表示Pi中d0日用电量所处的行数，0≤n1≤mi
步骤5：判断用户缺失数据日电量曲线的失真程度以进行修复；
步骤5中所述判断用户缺失数据日电量曲线的失真程度以进行修复具体为：
所述缺失数据日为d0；
所述失真程度是指缺失数据个数与缺失量阈值的大小关系：
当q＞L时，直接选用相似日矩阵缺失时段的预填充值作为修复结果修复结束，所述预填充值为根据所述步骤4预填充处理得到：
w(j)＝Pi(n1,h0(j))j∈(1,2,…q)
其中，q为缺失数据个数，L为缺失量阈值，L＝10，Pi为相似日矩阵，w为修复电量序列；
当q≤L时，执行步骤6；
步骤6：将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列，计算分块后缺失数据时段电量的平均增长率；
步骤6中所述将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列具体为：
将h0依据前后是否为连续缺失分块成m个子时段序列：
h0,e e∈(1,…,m)
Figure BDA0002236990230000101
其中，h0为缺失时段序列，h0,e为第e块缺失时段，length(h0,e)表示h0,e的长度；
步骤6中所述计算分块后缺失数据时段电量的平均增长率为：
ae(j)＝f(h0,e(j)+1)/f(h0,e(j))j∈(1,…length(h0,e)),e∈(1,…m)
其中，ae为分块后第e块缺失时段的平均增长率；
步骤7：:若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复，若分块后缺失数据时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复；
步骤7中所述若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复为：
当缺失数据时段电量的平均增长率满足公式：
l1≤ae(j)≤l2j∈(1,…,length(h0,e)),e∈(1,…m)
其中，ae(j)为第e块缺失时段中第j个点的电量增长率，length(h0,e)表示h0,e的长度；l1代表电量波动的下波动阈值，l1＝0.95，l2代表电量波动的上波动阈值l2＝1.05；
采用线性插值的方式进行修复，具体为：
利用表码前后读数计算平均电量填补缺失数据，具体如下：
Figure BDA0002236990230000102
其中，Q表示从用户计量电表中所读取的d0日表码数值，h0,e表示第e块缺失时段，length(h0,e)表示h0,e的长度，we(j)为第e块缺失时段中第j个点的修复电量；
步骤7中所述当分块后缺失时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复具体为：
当缺失时段电量增长率满足：
ae(j)＜l1或ae(j)＞l2j∈(1,…,length(h0e))
采用压缩感知方法对电量序列进行修复；
进一步地，所述采用压缩感知方法对电量序列进行修复为：
步骤7.1，重构缺失日所属的相似日矩阵；
步骤7.1中所述的重构相似日矩阵具体为：
所述相似日矩阵为Pi,i∈(1,…k)；
对Pi中的元素按行依次排列构成一条长度为1×Nmi的电量序列：
x＝[Pi(1,1),…Pi(1,N),Pi(2,1),…Pi(2,N),…Pi(mi,1),…Pi(mi,N)]T
其中，x中各元素分别代表同类用电模式下每天不同时段的用电量，特别的Pi(mi,1),…Pi(mi,N)表示类别i用电模式下第mi天中1～N各时段的用电量；
步骤7.2，选取smooth滤波函数，对电量序列做平滑处理；
步骤7.3，对平滑后的电量序列进行离散余弦变换：
θ＝ψx
其中，x为电量序列，ψ为Nmi×Nmi的离散余弦变换矩阵，θ表示x经离散余弦变换之后的稀疏序列；
步骤7.4，选择高斯随机测量矩阵，对稀疏序列进行压缩：
所述压缩过程为：
y＝φψ'θ+ε＝Aθ+ε
其中，ψ'为ψ求逆的结果，φ为M×Nmi的高斯随机测量矩阵，A为观测矩阵，ε为随机噪声，y表示观测结果，维度为M×1；
步骤7.5，参见图2，选用正交匹配追踪算法对压缩所得观测结果进行重构，从重构输出结果中找到缺失点的电量修复数据，修复过程结束；
步骤7.5所述选用正交匹配追踪算法对压缩所得观测结果进行重构具体为：
z＝g(y,A,k)
其中，g为正交匹配追踪算法函数关系，A为观测矩阵，k为θ中非零元素的数目，z表示对x经压缩再重构后的结果，维度为1×Nmi；
步骤7.5所述从重构输出结果中找到缺失点的电量修复数据，具体为：
we(j)＝z((n1-1)×N+h0e(j))j∈(1,…length(h0e))
其中，z为重构结果，n1为Pi中d0日所在的行，h0e为第e块缺失电量时段，we(j)为第e块缺失时段中第j个点的修复电量。
在对缺失时段的电量修复完成之后，为评估本方法的有效性需要对修复结果的误差进行计算：
Figure BDA0002236990230000121
其中，q为缺失电量的个数，h0为电量缺失时段，real为缺失数据日各时段的真实电量序列，w为缺失时段的修复电量，E为日电量相对误差。
参见图3，将误差与现有的线性插值方法、局部加权回归方法和平均电量填充方法所得结果的误差进行对比，。
通过比较分析可以得到如下结论：
由于分时电量是由表码读数通过前后相减间接计算得到的，表码数据的单点缺失就会导致分时2点电量连续缺失。此种情况下，采用线性插值的方法不仅计算简单，而且修复误差更小。
除此之外在表码读数连续缺失时，从图中可以看出，采用聚类-压缩感知方法得到的修复数据结果始终具有最高的准确率。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于聚类压缩感知的用户缺失电量数据修复方法，包括以下步骤：
步骤1：从计量系统中获取得到用户当月用电量，根据缺失数据日以及缺失时段序列设置用户缺失电量，根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零，得到聚类算法输入数据集以构建输入矩阵；
步骤2：采用k-means聚类方法对输入矩阵按行聚类得到聚类结果，将用户在当月M天的用电模式按日分为k类，构建相似日矩阵；
步骤3：找到缺失数据日所属的相似日矩阵，将矩阵中缺失数据日的用电量整行置空后得到中间矩阵，进一步计算得到缺失时段的相似日平均用电量序列；
步骤4：采用相似日平均用电量对相似日矩阵中缺失时段的电量进行预填充；
步骤5：判断用户缺失数据日电量曲线的失真程度以进行修复；
步骤6：将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列，计算分块后缺失数据时段电量的平均增长率；
步骤7：若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复，若分块后缺失数据时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复。
2.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤1中所述用户当月第d天，h时段的用电量为：
Wd,h
其中，d∈(1,…M)，M表示该月所具有的天数，h∈(1,…N)，N表示一天内电表能够计量的时段数目；
步骤1中所述根据缺失数据日以及缺失时段序列设置用户缺失电量为：
设置用户缺失电量的位置在d0天h0时段；
其中，d0为缺失数据日，h0为缺失时段序列，h0＝(h0(1),h0(2),…h0(q))，其长度q表示当日电量缺失的数目；
设置用户缺失电量为：：
Figure FDA0002236990220000011
步骤1中所述聚类算法输入数据集：
bd,h＝Wd,h d∈(1,…M),h∈(1…N)
步骤1中根据缺失时段将用户当月每天相同缺失时段的电量数据全部置零：
Figure FDA0002236990220000021
其中h0表示缺失时段，
Figure FDA0002236990220000022
为bd,h中缺失时段的数据；
步骤1中所述构建输入矩阵具体为：
B＝bd,h d∈(1,…M),h∈(1…N)
其中，bd,h为聚类算法输入数据集，B为输入矩阵。
3.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤2中所述聚类结果具体为：
将输入矩阵B的M行进行分类，记录每一类别所包含的行：
di＝(di(1),di(2),…di(mi))i∈(1,2,…k)
Figure FDA0002236990220000023
其中,di表示矩阵B中类别为i的行，mi为类别为i的行数；
步骤2中所述的相似日矩阵具体为：
依据聚类结果将矩阵B中划为同一类的行所对应日的各时段用电量重新排列，组成相似日用电量矩阵：
此处考虑到矩阵B中缺失时段的电量前述步骤已经置零，所以需要找到每一行所对应的日各时段的用电量即Wd,h，因为后续要求缺失时段用电量的平均值；
其中，Pi为类别i的相似日用电量矩阵，维度为mi×N，
Figure FDA0002236990220000025
为类别i中第mi天第N个时段的用电量。
4.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤3中所述找到缺失数据日所属的相似日矩阵为：
找到d0日所属的相似日矩阵为Pi；
将Pi中d0日的用电量整行置空后得到中间矩阵Pi′；
步骤3中所述进一步计算得到相似日平均用电量序列为：
对Pi′按列求取平均值得到相似日平均用电量序列：
5.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤4中对相似日矩阵中缺失时段的电量进行预填充为：
Pi(n1,h0(j))＝f(h0(j))j∈(1,…q)
其中f为相似日平均用电量序列，h0为缺失电量时段，Pi为相似日矩阵，n1表示Pi中d0日用电量所处的行数，0≤n1≤mi。
6.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤5中所述判断用户缺失数据日电量曲线的失真程度以进行修复具体为：
所述缺失数据日为d0；
所述失真程度是指缺失数据个数与缺失量阈值的大小关系：
当q＞L时，直接选用相似日矩阵缺失时段的预填充值作为修复结果修复结束，所述预填充值为根据所述步骤4预填充处理得到：
w(j)＝Pi(n1,h0(j))j∈(1,2,…q)
其中，q为缺失数据个数，Pi为相似日矩阵，w为修复电量序列；
当q≤L时，执行步骤6。
7.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤6中所述将缺失时段序列依据前后是否为连续缺失分块成多个子时段序列，得到分块后缺失时段序列具体为：
将h0依据前后是否为连续缺失分块成m个子时段序列：
h0,e e∈(1,…,m)
Figure FDA0002236990220000041
其中，h0为缺失时段序列，h0,e为第e块缺失时段，length(h0,e)表示h0,e的长度；
步骤6中所述计算分块后缺失数据时段电量的平均增长率为：
ae(j)＝f(h0,e(j)+1)/f(h0,e(j))j∈(1,…length(h0,e)),e∈(1,…m)
其中，ae为分块后第e块缺失时段的平均增长率。
8.根据权利要求1所述的基于聚类压缩感知的用户缺失电量数据修复方法，其特征在于：
步骤7中所述若分块后缺失数据时段电量的平均增长率在正常范围时采用线性插值的方式进行修复为：
当缺失数据时段电量的平均增长率满足公式：
l1≤ae(j)≤l2 j∈(1,…,length(h0,e)),e∈(1,…m)
其中，ae(j)为第e块缺失时段中第j个点的电量增长率，length(h0,e)表示h0,e的长度；l1代表电量波动的下波动阈值，l2代表电量波动的上波动阈值；
采用线性插值的方式进行修复，具体为：
利用表码前后读数计算平均电量填补缺失数据，具体如下：
其中，Q表示从用户计量电表中所读取的d0日表码数值，h0,e表示第e块缺失时段，length(h0,e)表示h0,e的长度，we(j)为第e块缺失时段中第j个点的修复电量；
步骤7中所述当分块后缺失时段电量的平均增长率不在正常范围时采用压缩感知方法对电量序列进行修复具体为：
当缺失时段电量增长率满足：
ae(j)＜l1或ae(j)＞l2 j∈(1,…,length(h0e))
采用压缩感知方法对电量序列进行修复；
进一步地，所述采用压缩感知方法对电量序列进行修复为：
步骤7.1，重构缺失日所属的相似日矩阵；
作为优选，步骤7.1中所述的重构相似日矩阵具体为：
所述相似日矩阵为Pi,i∈(1,…k)；
对Pi中的元素按行依次排列构成一条长度为1×Nmi的电量序列：
x＝[Pi(1,1),…Pi(1,N),Pi(2,1),…Pi(2,N),…Pi(mi,1),…Pi(mi,N)]T
其中，x中各元素分别代表同类用电模式下每天不同时段的用电量，特别的Pi(mi,1),…Pi(mi,N)表示类别i用电模式下第mi天中1～N各时段的用电量；
步骤7.2，选取smooth滤波函数，对电量序列做平滑处理；
步骤7.3，对平滑后的电量序列进行离散余弦变换：
θ＝ψx
其中，x为电量序列，ψ为Nmi×Nmi的离散余弦变换矩阵，θ表示x经离散余弦变换之后的稀疏序列；
步骤7.4，选择高斯随机测量矩阵，对稀疏序列进行压缩：
所述压缩过程为：
y＝φψ'θ+ε＝Aθ+ε
其中，ψ'为ψ求逆的结果，φ为M×Nmi的高斯随机测量矩阵，A为观测矩阵，ε为随机噪声，y表示观测结果，维度为M×1；
步骤7.5，选用正交匹配追踪算法对压缩所得观测结果进行重构，从重构输出结果中找到缺失点的电量修复数据，修复过程结束；
步骤7.5所述选用正交匹配追踪算法对压缩所得观测结果进行重构具体为：
z＝g(y,A,k)
其中，g为正交匹配追踪算法函数关系，A为观测矩阵，k为θ中非零元素的数目，z表示对x经压缩再重构后的结果，维度为1×Nmi；
步骤7.5所述从重构输出结果中找到缺失点的电量修复数据，具体为：
we(j)＝z((n1-1)×N+h0e(j))j∈(1,…length(h0e))
其中，z为重构结果，n1为Pi中d0日所在的行，h0e为第e块缺失电量时段，we(j)为第e块缺失时段中第j个点的修复电量。
CN201910986927.XA 2019-10-17 2019-10-17 一种基于聚类压缩感知的用户缺失电量数据修复方法 Active CN110781167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910986927.XA CN110781167B (zh) 2019-10-17 2019-10-17 一种基于聚类压缩感知的用户缺失电量数据修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910986927.XA CN110781167B (zh) 2019-10-17 2019-10-17 一种基于聚类压缩感知的用户缺失电量数据修复方法

Publications (2)

Publication Number Publication Date
CN110781167A true CN110781167A (zh) 2020-02-11
CN110781167B CN110781167B (zh) 2023-05-02

Family

ID=69385874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910986927.XA Active CN110781167B (zh) 2019-10-17 2019-10-17 一种基于聚类压缩感知的用户缺失电量数据修复方法

Country Status (1)

Country Link
CN (1) CN110781167B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380998A (zh) * 2020-11-16 2021-02-19 华北电力大学（保定） 一种基于矩阵补全的低压台区缺失数据补全方法
CN114385618A (zh) * 2022-01-17 2022-04-22 大数金科网络技术有限公司 一种基于权重的数据智能补充方法
CN115545348A (zh) * 2022-11-23 2022-12-30 国网江苏省电力有限公司营销服务中心 一种适用于复杂计量采集条件的电量获取及拟合方法
CN116683452A (zh) * 2023-08-03 2023-09-01 国网山东省电力公司营销服务中心(计量中心) 一种日清缺失电量的修复方法及系统
CN116883059A (zh) * 2023-09-06 2023-10-13 山东德源电力科技股份有限公司 一种配电终端管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239737A (zh) * 2014-09-25 2014-12-24 许继电气股份有限公司 一种充换电站车辆监控系统的数值修正方法
CN107480298A (zh) * 2017-08-30 2017-12-15 北京恒华龙信数据科技有限公司 一种电量数据修复方法及装置
US20180128713A1 (en) * 2010-03-15 2018-05-10 KLATU Networks, LLC Managing The Effectiveness Of Repairs In Refrigeration Assets
CN108197156A (zh) * 2017-12-08 2018-06-22 囯网河北省电力有限公司电力科学研究院 用电信息采集系统的异常电量数据修复方法及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180128713A1 (en) * 2010-03-15 2018-05-10 KLATU Networks, LLC Managing The Effectiveness Of Repairs In Refrigeration Assets
CN104239737A (zh) * 2014-09-25 2014-12-24 许继电气股份有限公司 一种充换电站车辆监控系统的数值修正方法
CN107480298A (zh) * 2017-08-30 2017-12-15 北京恒华龙信数据科技有限公司 一种电量数据修复方法及装置
CN108197156A (zh) * 2017-12-08 2018-06-22 囯网河北省电力有限公司电力科学研究院 用电信息采集系统的异常电量数据修复方法及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHEL BESSANI; RODRIGO ZEMPULSKI FANUCCHI; JORGE ALBERTO ACHCAR; CARLOS DIAS MACIEL: "A statistical analysis and modeling of repair data from a Brazilian Power Distribution System" *
赵少东; 王春燕: "电力系统的计量缺失数据智能修复研究与应用" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380998A (zh) * 2020-11-16 2021-02-19 华北电力大学（保定） 一种基于矩阵补全的低压台区缺失数据补全方法
CN114385618A (zh) * 2022-01-17 2022-04-22 大数金科网络技术有限公司 一种基于权重的数据智能补充方法
CN114385618B (zh) * 2022-01-17 2024-04-12 大数金科网络技术有限公司 一种基于权重的数据智能补充方法
CN115545348A (zh) * 2022-11-23 2022-12-30 国网江苏省电力有限公司营销服务中心 一种适用于复杂计量采集条件的电量获取及拟合方法
CN115545348B (zh) * 2022-11-23 2023-04-28 国网江苏省电力有限公司营销服务中心 一种适用于复杂计量采集条件的电量获取及拟合方法
CN116683452A (zh) * 2023-08-03 2023-09-01 国网山东省电力公司营销服务中心(计量中心) 一种日清缺失电量的修复方法及系统
CN116683452B (zh) * 2023-08-03 2023-11-10 国网山东省电力公司营销服务中心(计量中心) 一种日清缺失电量的修复方法及系统
CN116883059A (zh) * 2023-09-06 2023-10-13 山东德源电力科技股份有限公司 一种配电终端管理方法及系统
CN116883059B (zh) * 2023-09-06 2023-11-28 山东德源电力科技股份有限公司 一种配电终端管理方法及系统

Also Published As

Publication number Publication date
CN110781167B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110781167A (zh) 一种基于聚类压缩感知的用户缺失电量数据修复方法
CN110889545A (zh) 一种电力负荷预测方法、装置及可读存储介质
Huang et al. Multifractal diffusion entropy analysis on stock volatility in financial markets
CN110321934B (zh) 一种检测用户用电异常数据的方法及系统
Cheng et al. Enhanced state estimation and bad data identification in active power distribution networks using photovoltaic power forecasting
CN103370722A (zh) 通过小波和非线性动力学预测实际波动率的系统和方法
CN113126019A (zh) 一种智能电表误差远程估计方法、系统、终端和存储介质
CN110390563A (zh) 用户价值的量化方法、装置、计算机设备和存储介质
CN112614004A (zh) 用电信息的处理方法及装置
Cerquitelli et al. Clustering-based assessment of residential consumers from hourly-metered data
CN111985695A (zh) 城市综合体用电量预测方法、装置、电子设备及存储介质
Polonik Concentration and goodness-of-fit in higher dimensions:(Asymptotically) distribution-free methods
Patidar et al. A hybrid system of data-driven approaches for simulating residential energy demand profiles
CN117172589A (zh) 一种行业典型用户电力需求响应潜力评估方法
Majidpour Time series prediction for electric vehicle charging load and solar power generation in the context of smart grid
Wong et al. Detecting macroeconomic phases in the Dow Jones Industrial Average time series
CN107704723A (zh) 一种基于斜率关联度的显著变量选择方法
Bertrand et al. Overfitting of Hurst estimators for multifractional Brownian motion: A fitting test advocating simple models
CN114638638A (zh) 基于统计学方法的绿色电力环境价值分析方法及系统
CN115238940A (zh) 电网负荷预测模型的训练方法及装置
Shamim et al. Novel technique for feature computation and clustering of smart meter data
Heffernan The Macroeconomic determinants of remittances received in four regions
Davarzani et al. Study of missing meter data impact on domestic load profiles clustering and characterization
CN116667356B (zh) 发电主体行为控制方法、装置、设备、介质和产品
CN116883059B (zh) 一种配电终端管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant