CN113469189B - 一种用电采集数据缺失值填充方法、系统及装置 - Google Patents

一种用电采集数据缺失值填充方法、系统及装置 Download PDF

Info

Publication number
CN113469189B
CN113469189B CN202111024585.7A CN202111024585A CN113469189B CN 113469189 B CN113469189 B CN 113469189B CN 202111024585 A CN202111024585 A CN 202111024585A CN 113469189 B CN113469189 B CN 113469189B
Authority
CN
China
Prior art keywords
data
representing
vector
value
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111024585.7A
Other languages
English (en)
Other versions
CN113469189A (zh
Inventor
汤克艰
唐文升
刘向向
刘强
舒骁骁
卢婕
冯颖
田静
熊茹
俞林刚
严勤
刘波
李昊翔
范志夫
曾子厦
胡志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangxi Electric Power Co ltd
Power Supply Service Management Center Of State Grid Jiangxi Electric Power Co ltd
Original Assignee
State Grid Jiangxi Electric Power Co ltd
Power Supply Service Management Center Of State Grid Jiangxi Electric Power Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangxi Electric Power Co ltd, Power Supply Service Management Center Of State Grid Jiangxi Electric Power Co ltd filed Critical State Grid Jiangxi Electric Power Co ltd
Priority to CN202111024585.7A priority Critical patent/CN113469189B/zh
Publication of CN113469189A publication Critical patent/CN113469189A/zh
Application granted granted Critical
Publication of CN113469189B publication Critical patent/CN113469189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Complex Calculations (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种用电采集数据缺失值填充方法、系统及装置，所述方法包括：利用平均值‑方差法对用电采集数据异常值处理；利用用电采集数据去训练降噪自编码器模型，基于训练好的降噪自编码器网络模型去重构原始的用电样本数据，利用重构数据来填充缺失的用电采集样本数据，且模型中加入新提出的Depreciation‑FourOrder正则化方法；结合k‑means聚类技术利用数据的标准差来矫正填充的数据值。本发明通过降噪自编码器模型填充用电采集数据的缺失值，加入提出的新的正则化项，提高模型性能。根据网络层的单元数设置噪声水平。利用数据的标准差来矫正填充的数据值，使得填充值更加准确。

Description

一种用电采集数据缺失值填充方法、系统及装置
技术领域
本发明属于配电网控制与信息科学的交叉领域，具体涉及一种用电采集数据缺失值填充方法、系统及装置。
背景技术
随着电网系统信息化和数据化程度的提高以及用户用电采集数据的迅速增加，与人们各方面息息相关的电力能源的地位也变得越来越重要。目前，电网公司实现了电力数据高频采集的功能，并且为了更好地实现对这些数据的管理和分析，电力企业普遍建立了统一、可复用的大数据平台 。通过对用电采集数据进行数据分析可以实现对电网状态的智能感知，保障电力系统的安全平稳运行又能提高电网企业的经济效益。
然而，电网系统在收集用电采集数据时总是因为一些因素导致某些用电采集数据的缺失。不对缺失数据采取措施，可能会导致在后续用电采集数据的数据分析出现不好的影响。如果直接删除缺失的用电采集数据，那么会造成资源的浪费，减少隐藏在这些缺失数据中有价值的信息，甚至有可能会影响结果分析的正确性。因此，对用电采集数据进行填充是很有必要的。
发明内容
本发明的目的在于提供一种用电采集数据缺失值填充方法、系统及装置，为了避免用电采集数据中的异常数据对训练模型的不利影响，对样本数据的异常值进行了检测进行删除处理。为了填充用电采集数据中的缺失数据，用训练好的降噪自编码器模型去重构原始数据，从而用重构数据填充缺失值，并且模型中加入了新的正则化项，防止模型过拟合，提高模型的性能。其次，为了获得较佳的噪声衰减比，噪声值的比值设置为前一层的一半。最终，为了提高填充数据的精确性，通过标准差来对填充的数据值进行校正。
为实现上述目的，本发明提供一种用电采集数据缺失值填充方法、系统及装置。所述方法首先对用电采集数据利用平均值-方差法检测用电采集数据中的异常值，然后将异常的用电采集数据删除；接着利用用电采集数据去训练降噪自编码器模型，基于训练好的降噪自编码器网络模型去重构原始的用电样本数据，利用重构数据来填充缺失的用电采集样本数据；防止模型过拟合，提出了新的Depreciation-FourOrder正则化项；为了获得较佳的噪声衰减比，根据网络层的单元数降低噪声水平；然后，结合k-means聚类方法、邻近数据点到类簇中心的平均距离并利用数据的标准差来矫正填充的数据值。最终，通过系统和装置来完成上述的功能。
本发明提供一种用电采集数据缺失值填充方法，包括如下步骤：
步骤1：获取异常值处理后的用电采集数据；
步骤2：基于预先训练的降噪自编码器模型得到原始数据的重构数据，降噪自编码器模型通过以下步骤训练得到：
将缺失的值全部置零，并引入一个损坏过程，随机对原始输入数据进行损坏；
利用编码网络对损坏后的数据进行训练，转换为相对原始数据低维度隐含变量；
利用解码网络将前面得到的低维度隐含变量重构得到原始维度的输入变量；
为了防止过拟合，模型中提出一种Depreciation-FourOrder正则化方法；
步骤3：重构数据被用来填充用电采集数据中缺失的部分，作为临时的填充值，利用缺失数据的标准差校正填充的重构数据，得到最终的填充值。
进一步的，步骤1中所述异常值处理为平均值-方差法检测用电采集数据中的异常值，并将异常的用电采集数据删除，步骤如下：
首先，先计算用电采集数据的平均值，假设用电采集数据向量用
Figure 401180DEST_PATH_IMAGE001
表示，那么用电采集数据平均值计算公式如下所示：
Figure 769845DEST_PATH_IMAGE002
(1)
其中，
Figure 54064DEST_PATH_IMAGE003
(i=1，2，3，...n)表示第i条用电采集数据；
Figure 558995DEST_PATH_IMAGE004
表示用电采集数据的期望，
Figure 653990DEST_PATH_IMAGE005
表示用电采集数据的平均值，用电采集数据的期望值和平均值相等。
接着，计算用电采集数据的方差向量，假设方差向量用
Figure 509950DEST_PATH_IMAGE006
表示，其中
Figure 332282DEST_PATH_IMAGE007
表示
Figure 754036DEST_PATH_IMAGE008
的方差，其计算公式如下所示：
Figure 19932DEST_PATH_IMAGE009
(2)
然后，用电采集数据向量
Figure 97610DEST_PATH_IMAGE010
中的n条数据分别减平均值
Figure 739944DEST_PATH_IMAGE011
并对结果取绝对值，计算得到n个非零实数，取其中最大非零实数定义为最大偏差；
最后用方差向量
Figure 468734DEST_PATH_IMAGE012
除以这一最大偏差，得到一新的向量，求得该向量的模d；如果用电采集数据
Figure 905532DEST_PATH_IMAGE013
的模大于d，那么该条用电采集数据为正常的数据，否则为异常的数据。
进一步的，步骤2中所述降噪自编码器模型训练的具体步骤如下：
①输入的用电采集数据中采样一个样本
Figure 470505DEST_PATH_IMAGE014
；
②降噪自编码器引入一个损坏过程
Figure 385371DEST_PATH_IMAGE015
，
Figure 234248DEST_PATH_IMAGE015
表示样本
Figure 576367DEST_PATH_IMAGE016
产生损坏样本
Figure 628637DEST_PATH_IMAGE017
的概率；然后，从损坏过程
Figure 347194DEST_PATH_IMAGE015
中采样一个损坏样本
Figure 50577DEST_PATH_IMAGE017
；
③将
Figure 829177DEST_PATH_IMAGE018
作为训练样本去重构原始输入的样本数据的分布；
编码过程的数学表达式如公式（3）所示；
Figure 368743DEST_PATH_IMAGE019
(3)
其中，
Figure 890991DEST_PATH_IMAGE020
表示编码函数，
Figure 448880DEST_PATH_IMAGE021
表示编码函数的参数，
Figure 398382DEST_PATH_IMAGE022
表示
Figure 159664DEST_PATH_IMAGE023
维的输入向量，
Figure 485603DEST_PATH_IMAGE024
表示经过编码器处理后提取到的
Figure 445469DEST_PATH_IMAGE025
维的隐含特征向量，并且
Figure 815139DEST_PATH_IMAGE026
；
解码过程的数学表达式如公式（4）所示；
Figure 329297DEST_PATH_IMAGE027
(4)
其中，
Figure 193348DEST_PATH_IMAGE028
表示解码器根据隐含特征向量解码得出的重构向量，并且其维度与原始的输入向量的维度一致，
Figure 210983DEST_PATH_IMAGE029
表示解码函数，
Figure 11274DEST_PATH_IMAGE030
表示解码函数的参数；
降噪自编码器的无监督训练过程是不断调整编码函数的参数
Figure 747149DEST_PATH_IMAGE031
和解码函数的参数
Figure 149312DEST_PATH_IMAGE030
来最小化损失函数，其损失函数的表达式如公式（5）所示；
Figure 287032DEST_PATH_IMAGE032
(5)
其中，
Figure 264084DEST_PATH_IMAGE033
表示解码器根据隐含特征向量解码得出的重构向量，
Figure 221676DEST_PATH_IMAGE034
表示训练样本的平均重构误差，
Figure 693108DEST_PATH_IMAGE035
表示训练样本的总数目，
Figure 419756DEST_PATH_IMAGE036
表示原始向量和重构向量之间
的差；
编码函数和解码函数采用的均为非线性激活函数，编码函数和解码函数的表达式如公式（6）、（7）所示；
Figure 302130DEST_PATH_IMAGE037
(6)
Figure 12597DEST_PATH_IMAGE038
(7)
则公式（4）可改写为如下：
Figure 22141DEST_PATH_IMAGE039
（8）
其中，
Figure 868875DEST_PATH_IMAGE040
表示权重矩阵，
Figure 453309DEST_PATH_IMAGE041
表示权重矩阵的转置，
Figure 119913DEST_PATH_IMAGE042
表示编码函数的偏置向量，
Figure 933149DEST_PATH_IMAGE043
表示解码函数的偏置向量，s f 表示编码函数的映射，s g 表示解码函数的映射；
原始向量和重构向量之间的差如公式（9）所示；
Figure 899968DEST_PATH_IMAGE044
(9)
解码和编码网络都采用LSTM；
其次，根据层的单元数降低噪声水平，噪声值的比值设置为前一层的一半；
接着，在模型中引入一种Depreciation-FourOrder正则化方法，加入正则化项的目标函数表达式被更新为如公式(10)所示：
Figure 389724DEST_PATH_IMAGE045
(10)
其中，
Figure 74783DEST_PATH_IMAGE046
表示惩罚参数一，
Figure 426130DEST_PATH_IMAGE047
表示惩罚参数二，
Figure 247455DEST_PATH_IMAGE048
表示权重系数。
进一步的，步骤3包括以下步骤：
将降噪自编码器重构得到的变量值填充到相应的缺失值中；
对填充后的用电样本数据进行聚类，得到若干个类簇，然后选择距离需要被填充的样本点
Figure 845796DEST_PATH_IMAGE049
最近的
Figure 752572DEST_PATH_IMAGE050
个样本点
Figure 907610DEST_PATH_IMAGE051
，计算这
Figure 832709DEST_PATH_IMAGE052
个样本点距离类簇中心的平均距离，如公式(11)所示；
Figure 415000DEST_PATH_IMAGE053
(11)
其中，
Figure 809073DEST_PATH_IMAGE054
表示类簇的类簇中心，
Figure 502222DEST_PATH_IMAGE055
表示
Figure 94877DEST_PATH_IMAGE056
最近的
Figure 97337DEST_PATH_IMAGE057
个样本点中的第j个样本点；
接着，通过对用电采集数据缺失值的填充数据加减对应属性列的标准差来矫正填充数据；计算加减标准差后的填充数据与类簇中心的距离以及通过降噪自编码器得到的填充数据与类簇中心的距离，通过比较哪种情况下得到的距离最接近
Figure 916389DEST_PATH_IMAGE058
就选择该种情况下的数据作为最终的用电采集数据缺失的值的填充数据。
本发明还提供一种用电采集数据缺失值填充系统，包括：
获取模块：用于获取去除异常值后的去噪用电采集数据；
训练模块：用于通过以下步骤训练得到降噪自编码器模型：
将缺失的值全部置零，并引入一个损坏过程，随机对原始输入数据进行损坏；
利用编码网络对损坏后的数据进行训练，转换为相对原始数据低维度隐含变量；
利用解码网络将前面得到的低维度隐含变量重构得到原始维度的输入变量；
为了防止过拟合，模型中提出一种Depreciation-FourOrder正则化方法；
重构模块：用于利用训练好的降噪自编码器模型去得到原始输入的重构变量；
填充以及校正模块：用于降噪自编码器得到的重构变量值去填充缺失数据，得到临时的缺失数据填充值，并利用数据的标准差结合聚类、邻近点平均类簇中心距离去校正临时的填充值，确定最终的数据填充值。
本发明还提供一种用电采集数据缺失值填充装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述用电采集数据缺失值填充方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被设置为运行时执行上述用电采集数据缺失值填充方法的步骤。
本发明的有益效果是：
本发明针对用电采集数据的缺失值问题，提出了一种用电采集数据缺失值填充方法、系统及装置。通过对用电采集数据的缺失值进行填充，可以保留住缺失数据中蕴藏的数据价值，为后续数据分析带来有益的结果，从而更好地提高电力企业的服务水平。首选对原始样本数据进行了异常值检测和处理，避免了异常值对训练模型的不利影响。利用降噪自编码器模型训练正常的样本数据，得到输入数据和重构数据之间的关系，然后基于训练好的降噪自动编码器网络模型得到真实数据的重构数据，利用重构数据以及数据的标准差去填充用电采集数据中的缺失值。降噪自编码器模型中加入了新的正则化项，防止模型过拟合，提高模型的性能。其次，为了获得较佳的噪声衰减比，噪声值的比值设置为前一层的一半。最终，为了提高填充数据的精确性，通过标准差来对填充的数据值进行校正。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明的保护范围。
本发明实施方式的一方面提供一种用电采集数据缺失值填充方法，其流程图如图1所示。首先对用电采集数据利用平均值-方差法检测用电采集数据中的异常值，然后将异常的用电采集数据删除；接着利用用电采集数据去训练降噪自编码器模型，基于训练好的降噪自编码器网络模型去重构原始的用电采集数据，利用重构数据来填充缺失的用电采集数据，作为临时的填充数据；为了防止模型过拟合，提出了新的Depreciation-FourOrder正则化项；为了获得较佳的噪声衰减比，根据网络层的单元数降低噪声水平；然后，结合k-means聚类方法、填充数据距离类簇中心的距离、邻近数据点到类簇中心的平均距离并利用数据的标准差选择最接近平均距离的数据来矫正填充的数据值，得到最终的填充缺失数据。
首先，对异常值进行处理。
用电采集数据是指电能表采集回的用户侧电压、电流、有功功率、电量数据。用电采集数据过程中可能由于设备等问题采集到一些异常的数据信息。对于异常的用电采集数据要进行处理，否则在后续分析处理中会造成不良的影响。异常值是采集数据中的个例数据，因此，本发明将异常的用电采集数据直接删除。异常值的检查采用平均值-方差检测法。
（1）先计算用电采集数据的平均值。假设用电采集数据向量用
Figure 209967DEST_PATH_IMAGE059
表示，那么用电采集数据平均值计算公式如下所示：
Figure 860391DEST_PATH_IMAGE060
(1)
其中，
Figure 39612DEST_PATH_IMAGE061
(i=1，2，3，...n)表示第i条用电采集数据；
Figure 408276DEST_PATH_IMAGE062
表示用电采集数据的期望，
Figure 443228DEST_PATH_IMAGE063
表示用电采集数据的平均值，用电采集数据的期望值和平均值相等。
（2）接着，计算用电采集数据的方差向量。假设方差向量用
Figure 948159DEST_PATH_IMAGE064
表示，其中
Figure 292421DEST_PATH_IMAGE065
表示
Figure 882803DEST_PATH_IMAGE066
的方差，其计算公式如下所示：
Figure 721446DEST_PATH_IMAGE067
(2)
（3）然后，用电采集数据向量
Figure 346462DEST_PATH_IMAGE068
中的n条数据分别减平均值
Figure 861626DEST_PATH_IMAGE069
并对结果取绝对值，计算得到n个非零实数，取其中最大非零实数定义为最大偏差。
（4）最后用方差向量
Figure 142566DEST_PATH_IMAGE070
除以这一最大偏差，得到一新的向量，求得该向量的模d。如果用电采集数据
Figure 519320DEST_PATH_IMAGE071
的模大于d，那么该条用电采集数据为正常的数据，否则为异常的数据。
其次，对缺失值进行填充。
(1)建立降噪自编码器模型
降噪自编码器是一种深度无监督模型，可以对采集的用电采集数据先进行数据降维，然后对降维得到的用电采集数据进行重构，得到重构的用电采集数据。相比较于传统的自编码器，其可以接受受损的用电采集数据作为输入，然后预测未受损的用电采集数据。预测的用电采集数据值可以被用来填充缺失的数据。
降噪自编码器是通过最小化输入与重构信号之间的误差来对网络参数进行调整，但是其的隐含层表示并不是由原始的用电输入数据直接映射得到，而是先将原始用电采集数据的一定比例的数据损坏，其它停电数据不做处理。对于缺失的用电采集数据，直接做置零处理。这样的话，原始输入中就会减少一定比例的用电采集数据信息。降噪自编码器可以通过学习的方式去填充这些缺失的信息，从而缺失的数据就可以通过这种方式被填充。
降噪自编码器是一种由编码网络和解码网络构成的无监督网络模型。编码网络是将原始数据转换为相对原始数据低维度隐含变量，解码网络就是将前面得到的低维度隐含变量重构得到原始维度的输入变量。降噪自编码的输入不会等同于输出，如果两者相同的话，降噪自编码器的处理就失去了意义。其编码过程是为了提取输入数据中更为重要、敏感的信息，解码过程就是利用这些被提取的特征去重构出接近原始输入的数据。解码和编码网络均采用LSTM。降噪自编码器模型的训练过程具体步骤如下所示：
①输入的用电采集数据中采样一个样本
Figure 248111DEST_PATH_IMAGE072
；
②降噪自编码器引入一个损坏过程
Figure 684909DEST_PATH_IMAGE073
，
Figure 249882DEST_PATH_IMAGE073
表示样本
Figure 430328DEST_PATH_IMAGE074
产生损坏样本
Figure 544783DEST_PATH_IMAGE075
的概率。然后，从损坏过程
Figure 886903DEST_PATH_IMAGE073
中采样一个损坏样本
Figure 673593DEST_PATH_IMAGE075
；
③将
Figure 657730DEST_PATH_IMAGE076
作为训练样本去重构原始输入的样本数据的分布。
编码过程数学表达式如公式（3）所示。
Figure 626692DEST_PATH_IMAGE077
(3)
其中，
Figure 405292DEST_PATH_IMAGE078
表示编码函数，
Figure 679278DEST_PATH_IMAGE079
表示编码函数的参数，
Figure 201526DEST_PATH_IMAGE080
表示
Figure 759416DEST_PATH_IMAGE081
维的输入向量，
Figure 708917DEST_PATH_IMAGE082
表示经过编码器处理后提取到的
Figure 735779DEST_PATH_IMAGE083
维的隐含特征向量，并且
Figure 796139DEST_PATH_IMAGE084
。
解码过程数学表达式如公式（4）所示。
Figure 474114DEST_PATH_IMAGE085
(4)
其中，
Figure 594516DEST_PATH_IMAGE086
表示解码器根据隐含特征向量解码得出的重构向量，并且其维度与原始的输入向量的维度一致，
Figure 843095DEST_PATH_IMAGE087
表示解码函数，
Figure 707146DEST_PATH_IMAGE088
表示解码函数的参数。
降噪自编码器的无监督训练过程是不断调整编码函数的参数
Figure 257205DEST_PATH_IMAGE089
和解码函数的参数
Figure 548509DEST_PATH_IMAGE088
来最小化损失函数，以此来保证重构得到的向量尽可能地接近原始输入向量。其损失函数的表达式如公式（5）所示。
Figure 284384DEST_PATH_IMAGE090
(5)
其中，
Figure 686547DEST_PATH_IMAGE091
表示解码器根据隐含特征向量解码得出的重构向量，
Figure 73535DEST_PATH_IMAGE092
表示训练样本的平均重构误差，
Figure 801319DEST_PATH_IMAGE093
表示训练样本的总数目，
Figure 24490DEST_PATH_IMAGE094
表示原始向量和重构向量之间
的差；
为了能够学习到更为深层次的特征，编码函数和解码函数采用的均为非线性激活函数，编码函数和解码函数的表达式如公式（6）、（7）所示。
Figure 495923DEST_PATH_IMAGE095
（6）
Figure 471838DEST_PATH_IMAGE096
(7)
则公式（4）可改写为如下：
Figure 104945DEST_PATH_IMAGE097
（8）
其中，
Figure 815412DEST_PATH_IMAGE098
表示权重矩阵，
Figure 824956DEST_PATH_IMAGE099
表示权重矩阵的转置，
Figure 186536DEST_PATH_IMAGE100
表示编码函数的偏置向量，
Figure 256123DEST_PATH_IMAGE101
表示解码函数的偏置向量，s f 表示编码函数的映射，s g 表示解码函数的映射；
原始向量和重构向量之间的差如公式（9）所示；
Figure 188307DEST_PATH_IMAGE102
(9)
为了提高模型的效果，解码和编码网络都采用LSTM。
其次，根据层的单元数降低噪声水平。为了获得较佳的噪声衰减比，噪声值的比值设置为前一层的一半。
接着，为了防止模型过拟合，在模型中引入一种称为Depreciation-FourOrder正则化的方法，加入正则化项的目标函数表达式被更新为如公式(10)所示：
Figure 1542DEST_PATH_IMAGE103
(10)
其中，
Figure 952050DEST_PATH_IMAGE104
表示惩罚参数一，
Figure 192538DEST_PATH_IMAGE105
表示惩罚参数二，
Figure 612018DEST_PATH_IMAGE106
表示权重系数。
通过降噪自编码模型重构的用电样本数据，重构得到的值就可以作为填充的缺失值。
(2) 对缺失值填充校正
接下来对用电样本数据聚类，得到若干个类簇，聚类的方法采用k-means方法，过程如下所示：
1)选取k个点做为初始聚集的簇心；
2)分别计算每个样本数据到k个簇核心的距离，根据计算得到的距离找到离该点最近的簇中心，那么该条样本数据就划分到对应的簇；
3)所有样本数据都划分到到相应的簇后，整个样本就分为了k个簇。然后重新计算每个簇的中心；
4)反复迭代 2 )- 3 )步骤，直到达到某个中止条件。
然后选择距离需要被填充的样本点
Figure 697786DEST_PATH_IMAGE107
最近的
Figure 768379DEST_PATH_IMAGE108
个样本点
Figure 445348DEST_PATH_IMAGE109
，计算这
Figure 352124DEST_PATH_IMAGE110
个样本点距离类簇中心的平均距离，如公式(11)所示。
Figure 507162DEST_PATH_IMAGE111
(11)
其中，
Figure 432261DEST_PATH_IMAGE112
表示类簇的类簇中心，
Figure 14552DEST_PATH_IMAGE113
表示
Figure 408625DEST_PATH_IMAGE114
最近的
Figure 101774DEST_PATH_IMAGE115
个样本点中的第j个样本点。
接着，通过对用电采集数据缺失值的填充数据加减对应属性列的标准差来矫正填充数据。
第j列标准差的计算如公式（12）所示：
Figure 146959DEST_PATH_IMAGE116
(12)
其中，
Figure 634573DEST_PATH_IMAGE117
表示第j列的数据平均值，
Figure 515941DEST_PATH_IMAGE118
第j列的第i数据。
计算加减标准差后的填充数据与类簇中心的距离以及通过降噪自编码器得到的填充数据与类簇中心的距离，通过比较哪种情况下得到的距离最接近
Figure 12781DEST_PATH_IMAGE119
就选择该种情况下的数据作为最终的用电采集数据缺失的值的填充数据。
本发明实施方式的另一方面还提供一种用电采集数据缺失值填充系统，系统一共包括四个模块，分别是获取模块、训练模块、重构模块、填充以及校正模块。
对于获取模块，它是用来获取去除异常值后的去噪用电采集数据的模块。用电采集数据过程中可能由于设备等问题采集到一些异常的用电采集数据信息。对于异常的用电采集数据要进行处理，否则可能会产生一些不利的影响，该模块就是用来实现该功能的。
对于训练模块，它是用于通过以下步骤训练得到降噪自编码器模型：
将缺失的值全部置零，并引入一个损坏过程，随机对原始输入数据进行损坏；
利用编码网络对损坏后的数据进行训练，转换为相对原始数据低维度隐含变量；
利用解码网络将前面得到的低维度隐含变量重构得到原始维度的输入变量；
为了防止过拟合，模型中提出一种Depreciation-FourOrder正则化方法。通过训练得到训练好的降噪自编码器模型，该模块就是用来实现该功能的。
对于重构模块，它是用于利用降噪自编码器模型去得到原始输入的重构变量。通过对采集的用电采集数据先进行数据降维，然后对降维得到的用电采集数据进行重构，得到重构的用电采集数据，该模块就是用来实现该功能的。
对于填充以及校正模块，它是用来降噪自编码器得到的重构变量值去填充缺失数据，得到临时的缺失数据填充值，并利用数据的标准差结合聚类、邻近点平均类簇中心距离去校正临时的填充值，确定最终的数据填充值，该模块就是用来实现该功能的。
训练模块中降噪自编码器模型训练的具体步骤如下：
①输入的用电采集数据中采样一个样本
Figure 918333DEST_PATH_IMAGE120
；
②降噪自编码器引入一个损坏过程
Figure 842426DEST_PATH_IMAGE121
，
Figure 679932DEST_PATH_IMAGE121
表示样本
Figure 714884DEST_PATH_IMAGE122
产生损坏样本
Figure 734662DEST_PATH_IMAGE123
的概率；然后，从损坏过程
Figure 829657DEST_PATH_IMAGE121
中采样一个损坏样本
Figure 420038DEST_PATH_IMAGE123
；
③将
Figure 258681DEST_PATH_IMAGE124
作为训练样本去重构原始输入的样本数据的分布；
编码过程的数学表达式如公式（3）所示；
Figure 132965DEST_PATH_IMAGE125
(3)
其中，
Figure 398861DEST_PATH_IMAGE126
表示编码函数，
Figure 476539DEST_PATH_IMAGE127
表示编码函数的参数，
Figure 853293DEST_PATH_IMAGE128
表示
Figure 582084DEST_PATH_IMAGE129
维的输入向量，
Figure 284461DEST_PATH_IMAGE130
表示经过编码器处理后提取到的
Figure 849434DEST_PATH_IMAGE131
维的隐含特征向量，并且
Figure 29880DEST_PATH_IMAGE132
；
解码过程的数学表达式如公式（4）所示；
Figure 816439DEST_PATH_IMAGE133
(4)
其中，
Figure 424138DEST_PATH_IMAGE134
表示解码器根据隐含特征向量解码得出的重构向量，并且其维度与原始的输入向量的维度一致，
Figure 476408DEST_PATH_IMAGE135
表示解码函数，
Figure 709812DEST_PATH_IMAGE136
表示解码函数的参数；
降噪自编码器的无监督训练过程是不断调整编码函数的参数
Figure 163927DEST_PATH_IMAGE137
和解码函数的参数
Figure 942527DEST_PATH_IMAGE136
来最小化损失函数，其损失函数的表达式如公式（5）所示；
Figure 482093DEST_PATH_IMAGE138
(5)
其中，
Figure 253608DEST_PATH_IMAGE139
表示解码器根据隐含特征向量解码得出的重构向量，
Figure 562230DEST_PATH_IMAGE140
表示训练样本的平均重构误差，
Figure 714994DEST_PATH_IMAGE141
表示训练样本的总数目，
Figure 991123DEST_PATH_IMAGE142
表示原始向量和重构向量之间
的差；
编码函数和解码函数采用的均为非线性激活函数，编码函数和解码函数的表达式如公式（6）、（7）所示；
Figure 51483DEST_PATH_IMAGE143
(6)
Figure 214611DEST_PATH_IMAGE144
(7)
则公式（4）可改写为如下：
Figure 600593DEST_PATH_IMAGE145
（8）
其中，
Figure 92580DEST_PATH_IMAGE146
表示权重矩阵，
Figure 956631DEST_PATH_IMAGE147
表示权重矩阵的转置，
Figure 239845DEST_PATH_IMAGE148
表示编码函数的偏置向量，
Figure 531149DEST_PATH_IMAGE149
表示解码函数的偏置向量，s f 表示编码函数的映射，s g 表示解码函数的映射；
原始向量和重构向量之间的差如公式（9）所示；
Figure 63761DEST_PATH_IMAGE150
(9)
解码和编码网络都采用LSTM；
其次，根据层的单元数降低噪声水平，噪声值的比值设置为前一层的一半；
接着，在模型中引入一种Depreciation-FourOrder正则化方法，加入正则化项的目标函数表达式被更新为如公式(10)所示：
Figure 184033DEST_PATH_IMAGE151
(10)
其中，
Figure 587332DEST_PATH_IMAGE152
表示惩罚参数一，
Figure 49538DEST_PATH_IMAGE153
表示惩罚参数二，
Figure 725239DEST_PATH_IMAGE154
表示权重系数。
本发明实施方式的另一方面还提供一种用电采集数据缺失值填充装置，填充装置包括存储介质和处理器。存储介质用来存储计算机程序指令，这些计算机程序用来实现系统功能。存储介质是通过一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。通过计算机或其他可编程数据处理设备的处理器执行计算机程序指令可以用于实现系统中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种用电采集数据缺失值填充方法，其特征在于：包括如下步骤：
步骤1：获取异常值处理后的用电采集数据；
步骤2：基于预先训练的降噪自编码器模型得到原始数据的重构数据，降噪自编码器模型通过以下步骤训练得到：
将缺失的值全部置零，并引入一个损坏过程，随机对原始输入数据进行损坏；
利用编码网络对损坏后的数据进行训练，转换为相对原始数据低维度隐含变量；
利用解码网络将前面得到的低维度隐含变量重构得到原始维度的输入变量；
为了防止过拟合，模型中提出一种Depreciation-FourOrder正则化方法；
步骤2中所述降噪自编码器模型训练的具体步骤如下：
①输入的用电采集数据中采样一个样本
Figure 188412DEST_PATH_IMAGE002
；
②降噪自编码器引入一个损坏过程
Figure 471626DEST_PATH_IMAGE004
，
Figure 153143DEST_PATH_IMAGE004
表示样本
Figure 889018DEST_PATH_IMAGE006
产生损坏样本
Figure 432126DEST_PATH_IMAGE008
的概率；然后，从损坏过程
Figure 569846DEST_PATH_IMAGE010
中采样一个损坏样本
Figure 156685DEST_PATH_IMAGE012
；
③将
Figure 458484DEST_PATH_IMAGE014
作为训练样本去重构原始输入的样本数据的分布；
编码过程的数学表达式如公式（3）所示；
Figure 664338DEST_PATH_IMAGE016
(3)
其中，
Figure 781198DEST_PATH_IMAGE018
表示编码函数，
Figure 476622DEST_PATH_IMAGE020
表示编码函数的参数，
Figure 187089DEST_PATH_IMAGE022
表示
Figure 803491DEST_PATH_IMAGE024
维的输入向量，
Figure 915803DEST_PATH_IMAGE026
表示经过编码器处理后提取到的
Figure 844445DEST_PATH_IMAGE028
维的隐含特征向量，并且
Figure 42208DEST_PATH_IMAGE030
；
解码过程的数学表达式如公式（4）所示；
Figure 199651DEST_PATH_IMAGE032
(4)
其中，
Figure 166470DEST_PATH_IMAGE034
表示解码器根据隐含特征向量解码得出的重构向量，并且其维度与原始的输入向量的维度一致，
Figure 531592DEST_PATH_IMAGE036
表示解码函数，
Figure 951072DEST_PATH_IMAGE038
表示解码函数的参数；
降噪自编码器的无监督训练过程是不断调整编码函数的参数
Figure 177785DEST_PATH_IMAGE040
和解码函数的参数
Figure 999111DEST_PATH_IMAGE042
来最小化损失函数，其损失函数的表达式如公式（5）所示；
Figure 535134DEST_PATH_IMAGE044
(5)
其中，
Figure 441911DEST_PATH_IMAGE046
表示解码器根据隐含特征向量解码得出的重构向量，
Figure 206735DEST_PATH_IMAGE048
表示训练样本的平均重构误差，
Figure 944884DEST_PATH_IMAGE050
表示训练样本的总数目，
Figure 855071DEST_PATH_IMAGE052
表示原始向量和重构
向量之间的差；
编码函数和解码函数采用的均为非线性激活函数，编码函数和解码函数的表达式如公式（6）、（7）所示；
Figure 45881DEST_PATH_IMAGE054
(6)
Figure 739031DEST_PATH_IMAGE056
(7)
则公式（4）改写为如下：
Figure 141806DEST_PATH_IMAGE058
（8）
其中，
Figure 222894DEST_PATH_IMAGE060
表示权重矩阵，
Figure 104263DEST_PATH_IMAGE062
表示权重矩阵的转置，
Figure 476469DEST_PATH_IMAGE064
表示编码函数的偏置向量，
Figure 126893DEST_PATH_IMAGE066
表示解码函数的偏置向量，s f 表示编码函数的映射，s g 表示解码函数的映射；
原始向量和重构向量之间的差如公式（9）所示；
Figure 910042DEST_PATH_IMAGE068
(9)
解码和编码网络都采用LSTM；
其次，根据层的单元数降低噪声水平，噪声值的比值设置为前一层的一半；
接着，在模型中引入一种Depreciation-FourOrder正则化方法，加入正则化项的目标函数表达式被更新为如公式(10)所示：
Figure 278706DEST_PATH_IMAGE070
(10)
其中，
Figure 110396DEST_PATH_IMAGE072
表示惩罚参数一，
Figure 756272DEST_PATH_IMAGE074
表示惩罚参数二，
Figure 585688DEST_PATH_IMAGE076
表示权重系数；
步骤3：重构数据被用来填充用电采集数据中缺失的部分，作为临时的填充值，利用缺失数据的标准差校正填充的重构数据，得到最终的填充值。
2.根据权利要求1所述的一种用电采集数据缺失值填充方法，其特征在于：步骤1中所述异常值处理为平均值-方差法检测用电采集数据中的异常值，并将异常的用电采集数据删除，步骤如下：
①先计算用电采集数据的平均值，假设用电采集数据向量用
Figure 566282DEST_PATH_IMAGE078
表示，那么用电采集数据平均值计算公式如下所示：
Figure 404925DEST_PATH_IMAGE080
(1)
其中，
Figure 639728DEST_PATH_IMAGE082
表示第i条用电采集数据，i=1，2，3，...n；
Figure 905625DEST_PATH_IMAGE084
表示用电采集数据的期望，
Figure 107936DEST_PATH_IMAGE086
表示用电采集数据的平均值，用电采集数据的期望值和平均值相等；
②计算用电采集数据的方差向量，假设方差向量用
Figure 750270DEST_PATH_IMAGE088
表示，其中
Figure 102229DEST_PATH_IMAGE090
表示
Figure 273448DEST_PATH_IMAGE092
的方差，其计算公式如下所示：
Figure 963055DEST_PATH_IMAGE094
(2)
③用电采集数据向量
Figure 143501DEST_PATH_IMAGE096
中的n条数据分别减平均值
Figure 352896DEST_PATH_IMAGE098
并对结果取绝对值，计算得到n个非零实数，取其中最大非零实数定义为最大偏差；
④用方差向量
Figure 757333DEST_PATH_IMAGE100
除以这一最大偏差，得到一新的向量，求得该向量的模d；如果用电采集数据
Figure 137498DEST_PATH_IMAGE102
的模大于d，那么该用电采集数据为正常的数据，否则为异常的数据。
3.根据权利要求1所述的一种用电采集数据缺失值填充方法，其特征在于：步骤3包括以下步骤：
将降噪自编码器重构得到的变量值填充到相应的缺失值中；
对填充后的用电样本数据进行聚类，得到若干个类簇，然后选择距离需要被填充的样本点
Figure 652793DEST_PATH_IMAGE104
最近的
Figure 106909DEST_PATH_IMAGE106
个样本点
Figure 760875DEST_PATH_IMAGE108
，计算这
Figure 300441DEST_PATH_IMAGE110
个样本点距离类簇中心的平均距离，如公式(11)所示；
Figure 681743DEST_PATH_IMAGE112
(11)
其中，
Figure 990365DEST_PATH_IMAGE114
表示类簇的类簇中心，
Figure 815233DEST_PATH_IMAGE116
表示
Figure 576515DEST_PATH_IMAGE118
最近的
Figure 27088DEST_PATH_IMAGE120
个样本点中的第j个样本点；
接着，通过对用电采集数据缺失值的填充数据加减对应属性列的标准差来矫正填充数据；计算加减标准差后的填充数据与类簇中心的距离以及通过降噪自编码器得到的填充数据与类簇中心的距离，通过比较哪种情况下得到的距离最接近
Figure 190216DEST_PATH_IMAGE122
就选择该种情况下的数据作为最终的用电采集数据缺失的值的填充数据。
4.一种用电采集数据缺失值填充系统，其特征在于：包括：
获取模块：用于获取去除异常值后的去噪用电采集数据；
训练模块：用于通过以下步骤训练得到降噪自编码器模型：
将缺失的值全部置零，并引入一个损坏过程，随机对原始输入数据进行损坏；
利用编码网络对损坏后的数据进行训练，转换为相对原始数据低维度隐含变量；
利用解码网络将前面得到的低维度隐含变量重构得到原始维度的输入变量；
为了防止过拟合，模型中提出一种Depreciation-FourOrder正则化方法；
所述降噪自编码器模型训练的具体步骤如下：
①输入的用电采集数据中采样一个样本
Figure 107357DEST_PATH_IMAGE124
；
②降噪自编码器引入一个损坏过程
Figure 697213DEST_PATH_IMAGE126
，
Figure 358002DEST_PATH_IMAGE126
表示样本
Figure 500270DEST_PATH_IMAGE128
产生损坏样本
Figure 57154DEST_PATH_IMAGE130
的概率；然后，从损坏过程
Figure 668395DEST_PATH_IMAGE126
中采样一个损坏样本
Figure 70557DEST_PATH_IMAGE132
；
③将
Figure 332911DEST_PATH_IMAGE134
作为训练样本去重构原始输入的样本数据的分布；
编码过程的数学表达式如公式（3）所示；
Figure 795117DEST_PATH_IMAGE136
(3)
其中，
Figure 893654DEST_PATH_IMAGE138
表示编码函数，
Figure 99507DEST_PATH_IMAGE140
表示编码函数的参数，
Figure 216368DEST_PATH_IMAGE142
表示维的输入向量，
Figure 115054DEST_PATH_IMAGE144
表示经过编码器处理后提取到的
Figure 435308DEST_PATH_IMAGE146
维的隐含特征向量，并且
Figure 444852DEST_PATH_IMAGE148
；
解码过程的数学表达式如公式（4）所示；
Figure 947377DEST_PATH_IMAGE150
(4)
其中，
Figure 751385DEST_PATH_IMAGE152
表示解码器根据隐含特征向量解码得出的重构向量，并且其维度与原始的输入向量的维度一致，
Figure 821585DEST_PATH_IMAGE154
表示解码函数，
Figure 369241DEST_PATH_IMAGE156
表示解码函数的参数；
降噪自编码器的无监督训练过程是不断调整编码函数的参数
Figure 460694DEST_PATH_IMAGE158
和解码函数的参数
Figure 435603DEST_PATH_IMAGE160
来最小化损失函数，其损失函数的表达式如公式（5）所示；
Figure 730449DEST_PATH_IMAGE162
(5)
其中，
Figure 81796DEST_PATH_IMAGE164
表示解码器根据隐含特征向量解码得出的重构向量，
Figure 27755DEST_PATH_IMAGE166
表示训练样本的平均重构误差，
Figure 439145DEST_PATH_IMAGE168
表示训练样本的总数目，
Figure 221288DEST_PATH_IMAGE170
表示原始向量和重构向
量之间的差；
编码函数和解码函数采用的均为非线性激活函数，编码函数和解码函数的表达式如公式（6）、（7）所示；
Figure 907484DEST_PATH_IMAGE172
(6)
Figure 848895DEST_PATH_IMAGE174
(7)
则公式（4）改写为如下：
Figure 290241DEST_PATH_IMAGE176
（8）
其中，
Figure 684313DEST_PATH_IMAGE178
表示权重矩阵，
Figure 252829DEST_PATH_IMAGE180
表示权重矩阵的转置，
Figure 783167DEST_PATH_IMAGE182
表示编码函数的偏置向量，
Figure 660993DEST_PATH_IMAGE184
表示解码函数的偏置向量，s f 表示编码函数的映射，s g 表示解码函数的映射；
原始向量和重构向量之间的差如公式（9）所示；
Figure 542362DEST_PATH_IMAGE186
(9)
解码和编码网络都采用LSTM；
其次，根据层的单元数降低噪声水平，噪声值的比值设置为前一层的一半；
接着，在模型中引入一种Depreciation-FourOrder正则化方法，加入正则化项的目标函数表达式被更新为如公式(10)所示：
Figure 669497DEST_PATH_IMAGE188
(10)
其中，
Figure 319921DEST_PATH_IMAGE190
表示惩罚参数一，
Figure 368648DEST_PATH_IMAGE192
表示惩罚参数二，
Figure 737313DEST_PATH_IMAGE194
表示权重系数；
重构模块：用于利用训练好的降噪自编码器模型去得到原始输入的重构变量；
填充以及校正模块：用于降噪自编码器得到的重构变量值去填充缺失数据，得到临时的缺失数据填充值，并利用数据的标准差结合聚类、邻近点平均类簇中心距离去校正临时的填充值，确定最终的数据填充值。
5.一种用电采集数据缺失值填充装置，其特征在于：包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行权利要求1~3任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被设置为运行时执行权利要求1~3任一项所述方法的步骤。
CN202111024585.7A 2021-09-02 2021-09-02 一种用电采集数据缺失值填充方法、系统及装置 Active CN113469189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111024585.7A CN113469189B (zh) 2021-09-02 2021-09-02 一种用电采集数据缺失值填充方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111024585.7A CN113469189B (zh) 2021-09-02 2021-09-02 一种用电采集数据缺失值填充方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113469189A CN113469189A (zh) 2021-10-01
CN113469189B true CN113469189B (zh) 2021-11-19

Family

ID=77868072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111024585.7A Active CN113469189B (zh) 2021-09-02 2021-09-02 一种用电采集数据缺失值填充方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113469189B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189313B (zh) * 2021-11-08 2023-11-24 广东电网有限责任公司广州供电局 一种电表数据重构方法及装置
CN116611717B (zh) * 2023-04-11 2024-03-19 南京邮电大学 一种基于显隐式的融合辅助信息的填充方法
CN116186501B (zh) * 2023-04-20 2023-07-28 四川中电启明星信息技术有限公司 一种用户电表采集数据修复方法、系统、电子设备及介质
CN116842410B (zh) * 2023-09-01 2023-11-17 福建赛鲲鹏网络科技有限公司 一种基于动态感知的智能头盔防盗管理方法以及系统
CN116996869B (zh) * 2023-09-26 2023-12-29 济南正大科技发展有限公司 一种网络异常数据处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN109213753A (zh) * 2018-08-14 2019-01-15 西安理工大学 一种基于在线pca的工业系统监测数据恢复方法
CN109815223A (zh) * 2019-01-21 2019-05-28 北京科技大学 一种针对工业监测数据缺失的补全方法及补全装置
CN111144214A (zh) * 2019-11-27 2020-05-12 中国石油大学(华东) 基于多层堆栈式自动编码器的高光谱图像解混方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626676B2 (en) * 2010-03-18 2014-01-07 Microsoft Corporation Regularized dual averaging method for stochastic and online learning
US8868478B2 (en) * 2012-05-31 2014-10-21 Xerox Corporation Tensor trace norm and inference systems and recommender systems using same
JP6465440B2 (ja) * 2016-02-26 2019-02-06 日本電信電話株式会社 解析装置、方法、及びプログラム
CN106295175B (zh) * 2016-08-09 2018-12-14 西安电子科技大学 基于svd算法的台站气象数据缺值填充方法
US10592368B2 (en) * 2017-10-26 2020-03-17 International Business Machines Corporation Missing values imputation of sequential data
CN110472190A (zh) * 2018-05-09 2019-11-19 北京京东尚科信息技术有限公司 填充有序序列的方法和装置
CN109657149A (zh) * 2018-12-25 2019-04-19 合肥学院 一种基于生成对抗网络和双聚类的推荐方法及系统
US11568187B2 (en) * 2019-08-16 2023-01-31 Fair Isaac Corporation Managing missing values in datasets for machine learning models
CN111429605B (zh) * 2020-04-10 2022-06-21 郑州大学 一种基于生成式对抗网络的缺失值填充方法
CN112258337B (zh) * 2020-09-14 2024-03-12 陕西讯格信息科技有限公司 一种自我补全修正的基站能耗模型预测方法
CN113298131B (zh) * 2021-05-17 2022-08-05 南京邮电大学 一种基于注意力机制的时序数据缺失值插补方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590778A (zh) * 2017-07-31 2018-01-16 南京理工大学 一种基于无损约束降噪的自编码方法
CN109213753A (zh) * 2018-08-14 2019-01-15 西安理工大学 一种基于在线pca的工业系统监测数据恢复方法
CN109815223A (zh) * 2019-01-21 2019-05-28 北京科技大学 一种针对工业监测数据缺失的补全方法及补全装置
CN111144214A (zh) * 2019-11-27 2020-05-12 中国石油大学(华东) 基于多层堆栈式自动编码器的高光谱图像解混方法

Also Published As

Publication number Publication date
CN113469189A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113469189B (zh) 一种用电采集数据缺失值填充方法、系统及装置
Lu et al. An MDL approach to the climate segmentation problem
US20190384879A1 (en) Meteorology sensitive load power estimation method and apparatus
CN113126019B (zh) 一种智能电表误差远程估计方法、系统、终端和存储介质
CN113160190A (zh) 一种接触网紧固件异常检测方法、设备、检测装置及存储介质
CN110781316A (zh) 一种融合超平面和持续时间建模的时间感知知识表示学习方法
CN114740388A (zh) 一种基于改进tcn的锂电池剩余寿命状态评估方法
CN116842337A (zh) 基于LightGBM优选特征与COA-CNN模型的变压器故障诊断方法
CN115034485A (zh) 一种基于数据空间的风电功率区间预测方法及装置
CN110212592B (zh) 基于分段线性表达的火电机组负荷调节最大速率估计方法及系统
CN113127469B (zh) 一种三相不平衡数据的缺失值的填补方法及系统
CN117556369B (zh) 一种动态生成的残差图卷积神经网络的窃电检测方法及系统
CN114880538A (zh) 基于自监督的属性图社团检测方法
CN117131022B (zh) 一种电力信息系统的异构数据迁移方法
CN117171907A (zh) 一种滚动轴承剩余寿命预测方法及系统
CN115980588A (zh) 基于自编码器提取特征的锂离子电池健康状态估计方法
CN116127343A (zh) 基于电压序列相似性的户变关系与相别识别方法及系统
CN113158134B (zh) 非侵入式负荷辨识模型的构建方法、装置和存储介质
CN111476408B (zh) 一种电力通信设备状态预测方法及系统
Zhu et al. End-to-end topology-aware machine learning for power system reliability assessment
CN114545066A (zh) 一种非侵入式负荷监测模型聚合方法和系统
CN111626472A (zh) 一种基于深度混合云模型的场景趋势判断指标计算系统及方法
CN112507597B (zh) 基于多簇粒子滤波的多端柔性直流输电系统状态评估方法
CN116885715B (zh) 一种分布式光伏集群功率短期预测方法及装置
CN117408394B (zh) 电力系统的碳排放因子预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant