CN110825798A - 一种电力应用数据维护方法及装置 - Google Patents

一种电力应用数据维护方法及装置 Download PDF

Info

Publication number
CN110825798A
CN110825798A CN201911037176.3A CN201911037176A CN110825798A CN 110825798 A CN110825798 A CN 110825798A CN 201911037176 A CN201911037176 A CN 201911037176A CN 110825798 A CN110825798 A CN 110825798A
Authority
CN
China
Prior art keywords
data
power application
application data
abnormal
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911037176.3A
Other languages
English (en)
Inventor
冷迪
黄建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN201911037176.3A priority Critical patent/CN110825798A/zh
Publication of CN110825798A publication Critical patent/CN110825798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种电力应用数据维护方法及装置，其中，电力应用数据维护方法包括：步骤S1，从不同大数据平台的数据库中导入电力应用数据；步骤S2，对导入的电力应用数据的格式进行标准化处理；步骤S3，对标准化处理后的电力应用数据进行分类存储。本发明可以从不同大数据平台的数据库中导入电力信息系统应用数据，通过对导入的电力信息系统应用数据进行标准化处理，将导入的全部数据统一转换为相同的格式，然后再基于不同大数据平台的数据库的地址信息进行分类存储，防止各个大数据平台之间的数据出现串扰，并且采用结构化的数据存储方式，便于后期快速地查询数据。

Description

一种电力应用数据维护方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种电力应用数据维护方法及装置。
背景技术
随着计算机科学的发展，越来越多的传统行业与计算机应用结合起来。在大数据与人工智能的发展趋势下，电力行业的研究也产生了更多新的思路。电力信息应用系统在运行与维护的过程中会产生大量数据，而不同地区的系统可能会采用不同的大数据平台来采集数据和存储数据，但是不同的大数据平台之间的数据不互通，或者存储的数据格式有差异，从而导致无法对多个大数据平台的数据库中存储的数据进行汇总分析。
发明内容
本发明所要解决的技术问题在于，提供一种电力应用数据维护方法及装置，以防止各个大数据平台之间的数据出现串扰，便于后期快速地查询数据。
为了解决上述技术问题，本发明提供一种电力应用数据维护方法，包括以下步骤：
步骤S1，从不同大数据平台的数据库中导入电力应用数据；
步骤S2，对导入的电力应用数据的格式进行标准化处理；
步骤S3，对标准化处理后的电力应用数据进行分类存储。
其中，所述步骤S1中在导入应用系统数据时针对导入前的数据和导入后的数据建立对应的映射关系。
其中，所述步骤S1中还包括以下步骤：
步骤S11，实时监控来自大数据平台的源数据的时间戳，并对时间戳有变化的源数据进行解析；
步骤S12，按照预设的适配规则将解析后的源数据与之前已解析的源数据进行比对分析，若两者的比对结果一致，则将该时间戳有变化的源数据删除，若两者的比对结果不一致，则保存该时间戳有变化的源数据。
其中，所述步骤S2具体包括对从不同大数据平台导入的电力应用数据的存储格式进行统一转换，其中存储格式的转换包括数据类型的转换、编码转换和日期转换中的任一种或任意组合。
其中，所述步骤S3中还包括以下步骤：
步骤S31，建立预测模型；
步骤S32，收集至少一个数据完整的训练集，并利用训练集训练预测模型直至预测模型的函数收敛；
步骤S33，利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
步骤S34，将输出的填充值补充进数据缺失的数据集中。
其中，所述电力应用数据维护方法还包括以下步骤：
步骤S4，利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
本发明还提供一种电力应用数据维护装置，包括：
数据导入模块，用于与各个大数据平台的数据库连接以从其数据库中导入电力应用数据；
标准化处理模块，用于对所述数据导入模块导入的电力应用数据的格式进行标准化处理；
分类存储模块，用于将经过所述标准化处理模块标准化处理后的电力应用数据进行分类存储。
其中，所述电力应用数据维护装置还包括用于对缺失数据的数据集进行数据填充的数据填充模块，所述数据填充模块包括：
预测模型建模单元，用于建立预测模型；
训练单元，用于收集至少一个数据完整的训练集并利用数据完整的训练集反复迭代地训练预测模型直至预测模型的函数收敛；
填充单元，用于利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
保存单元，用于将填充值保存至数据缺失的数据集中。
其中，所述数据导入模块包括时间戳监控单元、数据解析单元和比对单元，所述时间戳监控单元用于实时监控来自大数据平台的源数据的时间戳，所述数据解析单元用于源数据进行解析，所述比对单元用于将时间戳有变化的解析后的源数据与之前已经解析过的源数据进行比对，并根据比对结果删除或保存时间戳有变化的源数据。
其中，所述电力应用数据维护装置还包括系统设备状态数据修复模块，用于采用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
本发明实施例的有益效果在于，可以从不同大数据平台的数据库中导入应用数据，通过对导入的数据进行标准化处理，将导入的全部数据统一转换为相同的格式，然后再基于不同大数据平台的数据库的地址信息进行分类存储，防止各个大数据平台之间的数据出现串扰，并且采用结构化的数据存储方式，便于后期快速地查询数据；
另外，还对各个大数据平台导入的应用数据进行初步筛选，基于源数据的时间戳来对源数据进行解析比对，从而实现将同一个大数据平台中重复的数据剔除，防止前后重复导入相同的电力数据，减少了后续数据处理量，并且基于时间戳的唯一性，避免出现遗漏导入数据的情况；
并且，利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息，从而可以恢复设备的状态数据中的噪声点和缺失值，同时实现了突发性故障信息的有效获取，提高了后续状态评估的准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一一种电力应用数据维护方法的流程示意图。
图2是本发明实施例一中步骤S1的子流程示意图。
图3是本发明实施例一中步骤S3的子流程示意图。
图4是本发明实施例一中步骤S4的子流程示意图。
图5是本发明实施例二一种电力应用数据维护装置的模块连接结构示意图。
图6是本发明实施例二中数据导入模块的单元结构示意图。
图7是本发明实施例二中数据填充模块的单元结构示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
请参照图1所示，本发明实施例一提供一种电力应用数据维护方法，其包括以下步骤：
步骤S1，从不同大数据平台的数据库中导入电力应用数据；
步骤S2，对导入的电力应用数据的格式进行标准化处理；
步骤S3，对标准化处理后的电力应用数据进行分类存储。
可以理解，在所述步骤S1中，可以通过数据接口与各个大数据平台的存储数据的设备连接以从其本地服务器中提取应用数据，也可以通过登录各个大数据平台的云服务器从云服务器中提取数据。
还可以理解，所述步骤S1中在导入电力应用数据时针对导入前的电力数据和导入后的电力应用数据建立对应的映射关系，从而可以实现应用数据的可追溯查找，防止在导入数据的过程中出现数据遗漏的问题。
另外，在所述步骤S1中还包括以下步骤：
对同一个大数据平台导入的应用系统数据进行数据初步筛选，剔除掉重复的数据。
由于无法监控各个大数据平台中存储的数据是否存在重复的情况，因此在正式导入电力应用数据之前先进行数据初步筛选，以剔除掉重复的数据，防止同一个大数据平台中相同的数据重复导入，减少了后续数据处理量，并避免重复数据带来的诊断失误问题。
可以理解，如图2所示，所述对大数据平台导入的电力应用数据进行数据初步筛选具体包括以下步骤：
步骤S11：实时监控来自大数据平台的源数据的时间戳，并对时间戳有变化的源数据进行解析；
步骤S12：按照预设的适配规则将解析后的源数据与之前已解析的源数据进行比对分析，若两者的比对结果一致，则将该时间戳有变化的源数据删除，若两者的比对结果不一致，则保存该时间戳有变化的源数据。
通过对导入的电力应用数据的时间戳进行监控，可以在从一个大数据平台的数据库导入数据的过程中对前后导入的数据进行监控，一旦比对出相同的数据，则将后导入的数据删除，防止出现前后重复导入相同数据的情况，并且由于时间戳具有唯一性，在导入数据的过程中不会出现遗漏导入电力数据的情况。
由于不同的大数据平台存储的电力应用数据的格式不同，导入的数据可能无法被识别。可以理解，在所述步骤S2中，通过对不同大数据平台导入的电力数据进行标准化处理，即对电力应用数据的存储格式进行统一转换，其中存储格式的转换包括但不限于数据类型的转换、编码转换和日期转换等。
可以理解，在所述步骤S3中，对标准化处理后的数据进行分类具体是基于不同大数据平台的数据库的地址信息进行分类，从而将不同的大数据平台导入的数据分开，防止各个大数据平台之间的数据出现串扰。另外，还可以根据具体的电力数据类型进行分类，例如用电设备名称、用电设备所在区域、电力数据的采集时间等，在此不做具体限定。
还可以理解，在所述步骤S3中，可以采用结构化的数据存储方式对分类后的电力数据进行存储，还可以采用离散化的数据存储方式对分类后的电力数据进行存储，为了便于数据的快速查询，本实施例优选采用结构化的数据存储方式。
可以理解，当某个大数据平台导入的电力应用数据本身存在数据缺失时，可能会导致系统丢失了大量的有用信息，从而导致电力诊断结果出现错误。如图3所示，所述步骤S3中还包括以下步骤：
步骤S31：建立预测模型，该预测模型可以采用CNN神经网路模型或者RBF神经网络模型或者其它神经网络模型；
步骤S32：收集至少一个数据完整的训练集，并利用训练集训练预测模型直至预测模型的函数收敛，通过反复迭代地训练预测模型，逐步提高了预测模型的精度，对缺失数据的填充会更准确和鲁棒；
步骤S33：利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
步骤S34：将输出的填充值补充进数据缺失的数据集中。
可以理解，应用系统设备状态量的检测是由各个传感器来完成的，但是经过底层的大数据平台预处理后进行状态评估的源数据可以认为是按时间序列排列的特征量数据。这些数据的统一格式为“时间*特征量＝数值”，因此，可认为采集的所有状态量形成了一个单元或多个单元的连续而完整的时间序列，如矩阵X所示：
Figure BDA0002251836080000061
其中，Xlh为在h时刻状态量l的数值。
根据应用系统应用设备的运行特点，其状态数据中的异常通常表现为两种形式：①可进行数据清洗的异常，即噪声点和缺失值；②设备运行状态受到干扰而导致的数据异常。噪声点是指由于仪器异常或设备系统的扰动引起的严重偏离期望值的数据，这些数据不仅会影响模型拟合的精度，而且会导致后续状态评估出现偏差，引起误诊。缺失值是指由于传感器的短时失效、通信端口异常、记录失误等因素引起的数据中断，状态数据中存在的缺失值破坏了系统运行的连续性，不利于后续的状态评估和趋势检验。设备状态数据的时间序列中往往含有多个异常数据，修复所有的噪声点和缺失值是电力系统设备状态数据清洗的目标，同时也要实现突发性故障信息的有效获取，而不是作为异常数据剔除。
为了修复输变电设备的状态数据中的噪声点和缺失值，本发明的适配大数据平台的数据维护方法还包括以下步骤：
步骤S4：利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
具体地，如图4所示，所述步骤S4包括以下步骤：
步骤S41：假定不存在异常值，对数据观测序列Zt建立时间序列模型，并由所估计的模型计算初始残差，具体采用以下公式计算初始残差：
Figure BDA0002251836080000071
其中，为初始拟合的残差序列，
Figure BDA0002251836080000073
为π(B)的初始值，π(B)为表征残差影响的算子，
Figure BDA0002251836080000074
和分别为初始拟合的平稳算子和可逆算子，B为延迟算子。
因此，残差方差的初始估计
Figure BDA0002251836080000076
为：
Figure BDA0002251836080000077
另外，步骤S41中采用的估计模型可以是IO(信息异常值)模型、AO(附加异常值)模型或者两者的组合，其中IO模型为
Figure BDA0002251836080000078
IO模型影响了T时刻之后的所有观测值Zt，Zt+1，…，其影响效应与Zt的模型形式有关，通过θ(B)/所描述的系统动态特性而影响后面的所有观测序列。其中，Xt表示无异常值的时间序列，
Figure BDA00022518360800000711
ω为异常值影响因子；
Figure BDA00022518360800000712
为脉冲函数，θ(B)和分别为没有公共因子的平稳算子和可逆算直，
Figure BDA00022518360800000714
at为相互独立、具有相同分布
Figure BDA00022518360800000715
的白噪声序列，其中δa为含异常值的残差的标准差。
另外，AO模型为：
Figure BDA00022518360800000716
AO模型只影响该干扰发生的那一时刻T上的序列值，而不影响该时刻以后的序列值，AO模型通过未知的ω而起作用，时间序列中的缺失值可以认为是一种附加异常值。
在通常情况下，一个被观测的时间序列可以在不同的时间点上受不同类型的异常值的影响，因此，得到下面两种异常值组合的模型：
Figure BDA0002251836080000082
其中，k表示异常值个数，ωj和υj分别为对应于不同异常值的影响因子和算子。
步骤S42：观测拟合残差序列，若从某时间点开始残差序列呈现水平迁移，并远大于之前的残差值，则原始时间序列需用时间序列干预模型拟合，跳至步骤S47；否则跳至外循环。因此设备发生故障时其状态数据往往会产生水平迁移和快速变化的趋势，这种情况下状态数据用公式(1)拟合时在某一时间点后的残差序列均远大于之前的值，因此，可直接判断数据不可做清洗，只能通过时间序列干预模型拟合。
步骤S43：在外循环中，利用已估计的模型，对t＝1,2,3...n，计算每个观测点的检验统计量TtAO和TtIO，TtAO表示t时刻产生的AO异常数据的检验统计量，TtIO表示t时刻产生的IO异常数据的检验统计量。定义λTmax＝max{|TtAO|，|TtIO|}，这里Tmax为最大值发生的时刻，当λTmax＞C时，其中C是预先设定的常数，通常取3和4之间的值，则说明存在异常数据，进入内循环修正数据。
步骤S44：在内循环中修正数据。当
Figure BDA0002251836080000083
时，可以确定在时刻Tmax存在异常数据AO，通过公式(5)修正原始时间序列数据，从而得到新的时间序列
Figure BDA0002251836080000084
为：其中，
Figure BDA0002251836080000086
表示噪声点AO对时间序列拟合的影响，
Figure BDA0002251836080000091
其中，
Figure BDA0002251836080000092
再根据公式(8)修正得到新的残差
Figure BDA0002251836080000093
为：
Figure BDA0002251836080000094
当时，确定在时刻Tmax存在异常数据IO，利用公式(4)修正数据，则IO的影响可以消除，即
Figure BDA0002251836080000096
其中，
Figure BDA0002251836080000097
再根据公式(11)修正得到新的残差
Figure BDA0002251836080000098
为：
Figure BDA0002251836080000099
使用迭代的方法识别并修正时间序列所有的噪声点，在修正后的残差
Figure BDA00022518360800000910
和
Figure BDA00022518360800000911
的基础上再次计算每个观测点的检验统计量
Figure BDA00022518360800000912
和
Figure BDA00022518360800000913
并重复步骤S44，直到所有的异常数据都被识别出来。当λTmax＜C时，则说明外循环已修复异常数据，内循环结束。
步骤S45：：假设在内循环结束后有K个异常数据在时刻T1、T2...Tk被识别出来，
Figure BDA00022518360800000914
同时异常数据被修正而得到了新的时间序列
Figure BDA0002251836080000101
(右上角的1表示这是第1次外循环迭代得到的序列)。然后重新回到步骤S43进入外循环，并根据公式
Figure BDA0002251836080000102
重新估计该时间序列参数
Figure BDA0002251836080000103
并根据公式(2)和公式(3)得到时间序列残差模型
Figure BDA0002251836080000104
为：
Figure BDA0002251836080000105
Figure BDA0002251836080000106
根据重估的时间序列参数计算检验统计量，当λTmax＜C时外循环结束，当λTmax＞C时重新进入外循环，直到所有的异常数据都被修复。
步骤S46：在最后一次外循环结束后，针对修正了噪声点的时间序列
Figure BDA0002251836080000107
进行联合估计，得到拟合异常值的模型：
Figure BDA0002251836080000108
其中，各参数
Figure BDA0002251836080000109
是在最后一次迭代中得到的，该联合估计的目的是验证数据清洗的数学模型是否与真实数据相近，即拟合残差属于可接受范围。此时，将公式(14)中异常时间点的数据作为修正的数据，以替代原始数据，而其他时间点的数据仍保留原始值。
步骤S47：使用以下公式(15)和公式(16)的时间序列干预模型拟合原始数据，并求出干预点发生时间，
Figure BDA0002251836080000111
Figure BDA0002251836080000112
其中，为阶跃函数，b为延迟时间，该结构说明输入的干预变量是
Figure BDA0002251836080000114
输出的状态量延迟时间b后做出反应且强度为ω，以后再不回到以前的状况；
Figure BDA0002251836080000115
其中，δ延迟算子的相应参数，该结构常常用来表示趋势性状态量趋势的变化。
本发明的适配大数据平台的数据维护方法，可以从不同大数据平台的数据库中导入电力数据，由于不同大数据平台的电力数据不相通，或者电力数据的存储格式不同，可能无法识别所有的电力数据，通过对导入的电力数据进行标准化处理，将导入的全部电力数据统一转换为相同的格式，然后再基于不同大数据平台的数据库的地址信息进行分类存储，防止各个大数据平台之间的数据出现串扰，并且采用结构化的数据存储方式，便于后期快速地查询数据。
另外，还对各个大数据平台导入的电力数据进行初步筛选，基于源数据的时间戳来对源数据进行解析比对，从而实现将同一个大数据平台中重复的数据剔除，防止前后重复导入相同的电力数据，减少了后续数据处理量，并且基于时间戳的唯一性，避免出现遗漏导入数据的情况。
并且，利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息，从而可以恢复设备的状态数据中的噪声点和缺失值，同时实现了突发性故障信息的有效获取，提高了后续状态评估的准确性和可靠性。
如图5所示，本发明实施例二还提供一种电力应用数据维护装置，其优选适用于如本发明实施例一所述的电力应用数据维护方法，该电力应用数据维护装置包括数据导入模块11、标准化处理模块12和分类存储模块13，所述数据导入模块11用于与各个大数据平台的数据库连接以从其数据库中导入电力应用数据，所述标准化处理模块12分别与数据导入模块11和分类存储模块13连接，其用于对数据导入模块11导入的电力应用数据的格式进行标准化处理，所述分类存储模块13用于将经过标准化处理模块12标准化处理后的电力应用数据进行分类存储。
另外，如图6所示，所述数据导入模块11还包括时间戳监控单元111、数据解析单元112和比对单元113，所述时间戳监控单元111用于实时监控来自大数据平台的源数据的时间戳，所述数据解析单元112用于源数据进行解析，所述比对单元113用于将时间戳有变化的解析后的源数据与之前已经解析过的源数据进行比对，并根据比对结果删除或保存时间戳有变化的源数据。
另外，所述适配大数据平台的数据维护装置还包括用于对缺失数据的数据集进行数据填充的数据填充模块14。如图7所示，所述数据填充模块14包括
预测模型建模单元141，用于建立预测模型，该预测模型可以CNN神经网路模型或者RBF神经网络模型或者其它神经网络模型；
训练单元142，用于收集至少一个数据完整的训练集并利用数据完整的训练集反复迭代地训练预测模型直至预测模型的函数收敛；
填充单元143，用于利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
保存单元144，用于将填充单元143输出的填充值保存至数据缺失的数据集中。
另外，所述适配大数据平台的数据维护装置还包括输变电设备状态数据修复模块15，用于采用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种电力应用数据维护方法，其特征在于，包括以下步骤：
步骤S1，从不同大数据平台的数据库中导入电力应用数据；
步骤S2，对导入的电力应用数据的格式进行标准化处理；
步骤S3，对标准化处理后的电力应用数据进行分类存储。
2.根据权利要求1所述的电力应用数据维护方法，其特征在于，所述步骤S1中在导入应用系统数据时针对导入前的数据和导入后的数据建立对应的映射关系。
3.根据权利要求1所述的电力应用数据维护方法，其特征在于，所述步骤S1中还包括以下步骤：
步骤S11，实时监控来自大数据平台的源数据的时间戳，并对时间戳有变化的源数据进行解析；
步骤S12，按照预设的适配规则将解析后的源数据与之前已解析的源数据进行比对分析，若两者的比对结果一致，则将该时间戳有变化的源数据删除，若两者的比对结果不一致，则保存该时间戳有变化的源数据。
4.根据权利要求1所述的电力应用数据维护方法，其特征在于，所述步骤S2具体包括对从不同大数据平台导入的电力应用数据的存储格式进行统一转换，其中存储格式的转换包括数据类型的转换、编码转换和日期转换中的任一种或任意组合。
5.根据权利要求1所述的电力应用数据维护方法，其特征在于，所述步骤S3中还包括以下步骤：
步骤S31，建立预测模型；
步骤S32，收集至少一个数据完整的训练集，并利用训练集训练预测模型直至预测模型的函数收敛；
步骤S33，利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
步骤S34，将输出的填充值补充进数据缺失的数据集中。
6.根据权利要求1所述的电力应用数据维护方法，其特征在于，还包括以下步骤：
步骤S4，利用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
7.一种电力应用数据维护装置，其特征在于：包括
数据导入模块，用于与各个大数据平台的数据库连接以从其数据库中导入电力应用数据；
标准化处理模块，用于对所述数据导入模块导入的电力应用数据的格式进行标准化处理；
分类存储模块，用于将经过所述标准化处理模块标准化处理后的电力应用数据进行分类存储。
8.根据权利要求7所述的电力应用数据维护装置，其特征在于，还包括用于对缺失数据的数据集进行数据填充的数据填充模块，所述数据填充模块包括：
预测模型建模单元，用于建立预测模型；
训练单元，用于收集至少一个数据完整的训练集并利用数据完整的训练集反复迭代地训练预测模型直至预测模型的函数收敛；
填充单元，用于利用训练好的预测模型对数据缺失的数据集进行填充检验并输出预测的填充值；
保存单元，用于将填充值保存至数据缺失的数据集中。
9.根据权利要求7所述的电力应用数据维护装置，其特征在于，所述数据导入模块包括时间戳监控单元、数据解析单元和比对单元，所述时间戳监控单元用于实时监控来自大数据平台的源数据的时间戳，所述数据解析单元用于源数据进行解析，所述比对单元用于将时间戳有变化的解析后的源数据与之前已经解析过的源数据进行比对，并根据比对结果删除或保存时间戳有变化的源数据。
10.根据权利要求7所述的电力应用数据维护装置，其特征在于，还包括系统设备状态数据修复模块，用于采用时间序列模型识别各状态量的时间序列，检测出数据的异常模式，判断异常数据是能提取设备故障信息的有用数据还是可被清洗的无用数据，当异常数据是由设备异常状态产生时，用时间序列干预模型进行拟合以提取有效故障信息。
CN201911037176.3A 2019-10-29 2019-10-29 一种电力应用数据维护方法及装置 Pending CN110825798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911037176.3A CN110825798A (zh) 2019-10-29 2019-10-29 一种电力应用数据维护方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911037176.3A CN110825798A (zh) 2019-10-29 2019-10-29 一种电力应用数据维护方法及装置

Publications (1)

Publication Number Publication Date
CN110825798A true CN110825798A (zh) 2020-02-21

Family

ID=69551034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911037176.3A Pending CN110825798A (zh) 2019-10-29 2019-10-29 一种电力应用数据维护方法及装置

Country Status (1)

Country Link
CN (1) CN110825798A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738412A (zh) * 2020-05-28 2020-10-02 江门职业技术学院 一种不完全网络的大数据异常挖掘方法、系统及存储介质
CN112069166A (zh) * 2020-07-09 2020-12-11 浙江南都电源动力股份有限公司 一种电站设备数据采集方法和系统
CN112947924A (zh) * 2021-03-05 2021-06-11 珠海格力电器股份有限公司 一种能源信息监测方法、装置、终端、存储介质及处理器
CN113190542A (zh) * 2021-05-19 2021-07-30 西安图迹信息科技有限公司 一种电网用大数据清洗去噪方法、系统和计算机存储介质
CN114547018A (zh) * 2022-04-24 2022-05-27 西安热工研究院有限公司 一种sis实时数据库自动清洗废弃点的方法及系统
CN117407381A (zh) * 2023-09-26 2024-01-16 陕西小保当矿业有限公司 一种矿山工业大数据实时处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104300675A (zh) * 2014-08-28 2015-01-21 深圳供电局有限公司 一种基于一体化子站系统的配电房远程监控方法和系统
CN106709035A (zh) * 2016-12-29 2017-05-24 贵州电网有限责任公司电力科学研究院 一种电力多维全景数据的预处理系统
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN109656793A (zh) * 2018-11-22 2019-04-19 安徽继远软件有限公司 一种基于多源异构数据融合的信息系统性能立体监测方法
CN110059356A (zh) * 2019-03-18 2019-07-26 中国电力科学研究院有限公司 一种基于大数据和人工智能的大电网智能调控系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104300675A (zh) * 2014-08-28 2015-01-21 深圳供电局有限公司 一种基于一体化子站系统的配电房远程监控方法和系统
CN106709035A (zh) * 2016-12-29 2017-05-24 贵州电网有限责任公司电力科学研究院 一种电力多维全景数据的预处理系统
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN109656793A (zh) * 2018-11-22 2019-04-19 安徽继远软件有限公司 一种基于多源异构数据融合的信息系统性能立体监测方法
CN110059356A (zh) * 2019-03-18 2019-07-26 中国电力科学研究院有限公司 一种基于大数据和人工智能的大电网智能调控系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严英杰等: ""基于时间序列分析的输变电设备状态大数据清洗方法"", 《电力系统自动化》, vol. 39, no. 7, 10 April 2015 (2015-04-10), pages 138 - 144 *
胡可云等: "《数据挖掘理论与应用》", vol. 1, 北京：北京交通大学出版社, pages: 183 - 186 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738412A (zh) * 2020-05-28 2020-10-02 江门职业技术学院 一种不完全网络的大数据异常挖掘方法、系统及存储介质
CN112069166A (zh) * 2020-07-09 2020-12-11 浙江南都电源动力股份有限公司 一种电站设备数据采集方法和系统
CN112947924A (zh) * 2021-03-05 2021-06-11 珠海格力电器股份有限公司 一种能源信息监测方法、装置、终端、存储介质及处理器
CN113190542A (zh) * 2021-05-19 2021-07-30 西安图迹信息科技有限公司 一种电网用大数据清洗去噪方法、系统和计算机存储介质
CN113190542B (zh) * 2021-05-19 2023-02-24 西安图迹信息科技有限公司 一种电网用大数据清洗去噪方法、系统和计算机存储介质
CN114547018A (zh) * 2022-04-24 2022-05-27 西安热工研究院有限公司 一种sis实时数据库自动清洗废弃点的方法及系统
CN114547018B (zh) * 2022-04-24 2022-08-16 西安热工研究院有限公司 一种sis实时数据库自动清洗废弃点的方法及系统
CN117407381A (zh) * 2023-09-26 2024-01-16 陕西小保当矿业有限公司 一种矿山工业大数据实时处理方法及装置

Similar Documents

Publication Publication Date Title
CN110825798A (zh) 一种电力应用数据维护方法及装置
WO2023071217A1 (zh) 基于深度迁移学习的多工况流程工业故障检测诊断方法
CN112596495B (zh) 一种基于知识图谱的工业设备故障诊断方法及系统
CN111539550B (zh) 光伏阵列工作状态的确定方法、装置、设备及存储介质
US20120304008A1 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
CN112416643A (zh) 无监督异常检测方法与装置
CN111504676A (zh) 基于多源监控数据融合的设备故障诊断方法、装置及系统
CN112487708A (zh) 一种基于集成学习的电阻点焊质量预测方法
CN111027615A (zh) 基于机器学习的中间件故障预警方法和系统
CN111879349A (zh) 一种传感器数据偏差自适应修正方法
CN110471395B (zh) 一种故障检测方法、装置、设备及存储介质
CN112416662A (zh) 多时间序列数据异常检测方法与装置
CN114185760A (zh) 系统风险评估方法及装置、充电设备运维检测方法
CN117041029A (zh) 网络设备故障处理方法、装置、电子设备及存储介质
CN111371647A (zh) 数据中心监控数据预处理方法及装置
CN115081647A (zh) 基于贝叶斯网络模型的工业智能仪表故障预诊断方法
WO2024104406A1 (zh) 异常检测的方法和云网络平台
CN116660761B (zh) 一种锂离子电池检测方法及系统
CN115114124A (zh) 主机风险的评估方法及评估装置
CN117315365A (zh) 一种基于视觉分析的凸轮轴表面损伤检测系统
CN113407520A (zh) 一种基于机器学习的电力网络安全数据清洗系统及方法
CN111913065A (zh) 一种基于Pair-Copula的贝叶斯网络变压器状态评估方法
CN113676457B (zh) 一种基于状态机的流式多层安全检测方法及系统
CN117763457B (zh) 一种基于大数据分析的芯片测试数据管理系统及方法
CN117520040B (zh) 一种微服务故障根因确定方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication