CN104750861B - 一种储能电站海量数据清洗方法及系统 - Google Patents

一种储能电站海量数据清洗方法及系统 Download PDF

Info

Publication number
CN104750861B
CN104750861B CN201510181094.1A CN201510181094A CN104750861B CN 104750861 B CN104750861 B CN 104750861B CN 201510181094 A CN201510181094 A CN 201510181094A CN 104750861 B CN104750861 B CN 104750861B
Authority
CN
China
Prior art keywords
data
energy
value
power station
accumulating power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510181094.1A
Other languages
English (en)
Other versions
CN104750861A (zh
Inventor
李相俊
郑昊
姚继锋
惠东
王向前
徐琛
王立业
董文琦
岳巍澎
郭光朝
贾学翠
张亮
汪奂伶
郑高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jibei Zhangjiakou Fengguang Storage And Transmission New Energy Co ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Original Assignee
STATE GRID XINYUAN ZHANGJIAKOU SCENERY STORAGE DEMONSTRATION POWER PLANT CO Ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd
State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STATE GRID XINYUAN ZHANGJIAKOU SCENERY STORAGE DEMONSTRATION POWER PLANT CO Ltd, State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, Electric Power Research Institute of State Grid Fujian Electric Power Co Ltd, State Grid Fujian Electric Power Co Ltd filed Critical STATE GRID XINYUAN ZHANGJIAKOU SCENERY STORAGE DEMONSTRATION POWER PLANT CO Ltd
Priority to CN201510181094.1A priority Critical patent/CN104750861B/zh
Publication of CN104750861A publication Critical patent/CN104750861A/zh
Priority to PCT/CN2015/097998 priority patent/WO2016165378A1/zh
Application granted granted Critical
Publication of CN104750861B publication Critical patent/CN104750861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本发明提供了一种储能电站海量数据清洗方法及系统,该方法包括以下步骤:I、定位并替换储能电站数据集中的缺省值;II、定位并替换所述数据集中的异常值;III、根据所述储能电池数据的不同类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。本发明的方法和系统既实现海量电池数据清洗,又能够保证海量数据分布式处理要求,实现了综合考虑K近邻算法、拉依达准则法、分布式处理等的储能电站海量电池数据优化清洗与预处理目的,提高大容量电池储能电站海量数据的与预处理与利用效果。

Description

一种储能电站海量数据清洗方法及系统
技术领域
本发明涉及一种储能技术领域的方法及系统,具体讲涉及一种储能电站海量数据清洗方法及系统。
背景技术
目前,储能电站数据采集、存储与管理方法尚不规范,需要对储能电站海量数据管理和挖掘技术开展进一步深化研究。储能电站海量数据主要有以下特点:(1)数据量大:由于储能电站电池数量众多,每个电池又有很多监测设备,每秒采集上来的数据量巨大,因此要求能够正确快速地清洗这些数据。(2)异常数据原因复杂:由于监测设备众多,受精度、网络信号等多种客观并且不可预知的因素影响,导致数据中存在异常数据。
大数据时代的到来为储能技术的发展提供了一个契机,其中储能电池数据的使用价值巨大,对储能电站海量数据的准确、高效处理是电站运行效果与设备特性评估及精细化控制管理的重要基础。然而,由于监测设备缺陷和网络传输信号不稳定等客观原因,储能电站数据常常包括了很多异常值和缺省值,极大地干扰了储能电站海量数据的分析计算,因此储能电站海量电池数据分析计算的准确程度很大程度上取决于如何有效地对原始的海量电池数据进行清洗。
针对海量的原始数据进行清洗,现有常用方法是按照一定周期将海量数据分成多个批次,然后一批一批进行清洗,流水线作业。此种方法有如下缺陷:
1、单批次处理的范围有限,导致每次进行数学统计分析的数量少,清洗精度较低;
2、不能应对海量数据的并行处理,单线清洗费时长,速度慢,效率不高。
3、数据种类繁多,单批次需要考虑各种情况,处理比较复杂,增加了计算难度。
鉴于此,需要提供一种能够克服上述现有技术方案所存在的缺陷的储能电站数据清洗方法及系统。
发明内容
为克服上述现有技术的不足,本发明提供一种储能电站海量数据清洗方法及系统。
实现上述目的所采用的解决方案为:
一种储能电站海量数据清洗方法,所述方法包括以下步骤:
I、定位并替换储能电站数据集中的缺省值;
II、定位并替换所述数据集中的异常值;
III、根据所述储能电池数据的不用类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。
优选地,所述步骤I中,运用统计学处理方法定位所述缺省值;运用K近邻算法确定所述缺省值附近的正常值,用所述正常值替换所述缺省值。
优选地,所述步骤II中,运用拉依达准则法定位所述异常值;利用K近邻算法确定所述异常值附近的正常值,用所述正常值替换所述异常值。
优选地,所述步骤III中,根据所述数据集中数据的不同特征确定其中不合理数据,并用所述不合理数据的前面或后面的正常值进行替换。
优选地,所述储能电池数据的种类包括电流、电压、温度、SOC和功率;
所述不同类别特征包括根据先验知识,不同类别的数据确定的突变阈值;
所述步骤III包括,遍历各类别的数据,根据所述突变阈值,确定不合理数据,用前一时刻的数据将所述不合理数据替换。
一种储能电站海量数据清洗系统,所述系统包括数据存储模块、数据清洗模块和显示模块;
所述数据存储模块基于HBase构建电池数据表,所述电池数据表用于存储所有涉及的储能电站数据;
所述数据清洗模块基于Hadoop清洗储能电站数据;
所述显示模块用于展示所述清洗前和清洗后的储能电站数据。
优选地,所述数据清洗模块用于清洗所述储能电站数据,所述数据清洗模块包括实现以下步骤的子模块:
I、定位并替换储能电站数据集中的缺省值;
II、定位并替换所述数据集中的异常值;
III、根据所述储能电池数据的不用类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。
优选地,所述步骤I中,运用统计学处理方法定位所述缺省值;运用K近邻算法确定所述缺省值附近的正常值,用所述正常值替换所述缺省值。
优选地,所述步骤II中,运用拉依达准则法定位所述异常值;利用K近邻算法确定所述异常值附近的正常值,用所述正常值替换所述异常值。
优选地,所述储能电池数据的种类包括电流、电压、温度、SOC和功率;
所述不同类别特征包括根据先验知识,不同类别的数据确定的突变阈值;
所述步骤III包括,遍历各类别的数据,根据所述突变阈值,确定不合理数据,用前一时刻的数据将所述不合理数据替换。
与现有技术相比,本发明具有以下有益效果:
1、本发明的方法和系统既实现海量电池数据清洗,又能够保证海量数据分布式处理要求,实现了综合考虑K近邻算法、拉依达准则法、分布式处理等的储能电站海量电池数据优化清洗与预处理目的,提高大容量电池储能电站海量数据的与预处理与利用效果。
2、针对储能电站海量电池数据的特点,本发明提出的清洗方法采用统计学方法和附加式处理方法相结合,提升了清洗效果;
利用Hadoop分布式处理特性,多节点并行清洗海量的电池数据,增大了清洗范围,提高了清洗精度,另外并行处理可以带来效率的提升。
采用Hadoop分布式计算框架,保证高效率并行处理数据及可扩展性,通过增加处理节点,可以进一步提升清洗效率和范围;采用NoSQL型数据库HBase,保证海量电池数据的存储。
3、该方法及其分散式系统,利用Map/Reduce计算框架,对海量电池数据进行分类处理,减少了计算的复杂度。
4、利用HBase表的多版本性,保存了清洗前后的海量电池数据,并利用前端技术EChart进行展示,给用户一个直观的清洗效果。
附图说明
图1为本发明中储能电站海量电池数据清洗方法流程图;
图2为本发明中储能电站海量电池数据清洗系统结构图;
图3为本发明中HBase储能电站海量电池数据表的结构图;
图4为本发明中基于Hadoop的分布式清洗流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
如图1所示,图1为本发明提供的一种储能电站海量电池数据清洗方法流程图;该方法包括以下步骤:
I、定位并替换储能电站数据集中的缺省值;
II、定位并替换所述数据集中的异常值;
III、根据所述储能电池数据的不用类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。
步骤I,运用统计学处理方法定位所述缺省值;运用K近邻算法确定所述缺省值附近的正常值,用所述正常值替换所述缺省值。实现数据清洗。
S101、每个电池监测点的一段时间内的原始数据导入内存,原始数据包括数据编号和对应的数据值,数据编号对应数据值,定位每个数值值为空的点即缺省值。
S102、在每个电池数据缺省值附近使用K近邻算法,计算附近K个样本在范围为N的数据集中分别出现的次数,用出现频率最大的电池数据作为正常值替换掉缺省值。
步骤II,运用拉依达准则法定位所述异常值;利用K近邻算法确定所述异常值附近的正常值,用所述正常值替换所述异常值。实现数据清洗。
S201、默认为电池监测数据是服从正态分布,根据拉依达准则法,确定包含原始数据的数据集的数学期望和标准方差,对于各个数据的偏差大于标准偏差的(一般是标准差的3倍),认为是异常值。
即,若电池检测数据总体服从正态分布,则对于大于μ+3σ或小于μ-3σ的实验数据作为异常数据,予以剔除。μ与σ分别表示正态总体的数学期望和标准差剔除后,对余下的各测量值重新计算偏差和标准偏差,并继续审查,直到各个偏差均小于3σ为止。
提供一应用实施例,对某一温度T测量11次,其数据如下:
温度 1 2 3 4 5 6 7 8 9 10 11
L 10.35 10.38 10.3 10.32 10.35 10.33 10.37 10.31 10.34 20.33 10.37
计算获得:
3σ=3.01×3=9.03
确定20.33为异常值,用K临近算法将该值替换。
S202、在每个电池数据缺省值附近使用K近邻算法,计算附近K个近邻样本在范围为N的数据集中分别出现的次数,用出现频率最大的电池数据作为正常值替换掉缺省值。
本发明还提供一方案,步骤S102、S202中,运用K临近算法确定用于替换的值,即在N个样本中,找出x的K个近邻。假设N个样本中有Kc个Wc类的样本,若K1,K2,…Kc分别是K个近邻中分别属于W1,W2,…,Wc类的样本数,则定义判别函数:Gi(x)=Ki,i=1,2,3,…,c;若Gj(x)=maxki,则决策x∈Wj,用Wj替换缺省值x。
本发明还提供另一方案,步骤S102、S202中,运用K临近算法确定用于替换的值的类别,具体包括以下步骤:
设x为缺省值,取A[1]~A[k]作为x的初始近邻,计算与测试样本x间的欧氏距离d(x,A[i]),i=1~k;
按d(x,A[i])升序排序,计算最远样本与x间的距离D_max{d(x,A[j])},j=1~k;
for(i=k+1;i<=n;i++)
计算A[i]与x间的距离d(x,A[i]);
if d(x,A[i])<D
then用A[i]代替最远样本;
按d(x,A[i])升序排序,计算最远样本与x间的距离D_max{d(x,A[j])},j=1~i;
计算前k个样本A[i],i=1~k所属类别的概率,具有最大概率的类别即为样本x的类。
最后,以最大概率的类别的近邻值替换x。
步骤III,根据所述储能电池数据的不用类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。完成进一步清洗。具体包括:
步骤301,将数据集中的数据根据标示符进行分类,包括:温度、电压、电流、SOC、有功功率五类。分类后可获得5个集合,每个集合表示一种类别的数据集。各类别的阈值是参照先验知识设定的,依次遍历其中数据是否超过阈值,若i超过,则用i-1替换该数值。
如图2所述,本发明实施例还提供了一种储能电站海量电池数据清洗系统,包括电池数据存储模块、电池数据清洗模块和电池显示模块。
所述数据存储模块基于HBase构建电池数据表,所述电池数据表用于存储所有涉及的储能电站数据;所述数据清洗模块基于Hadoop清洗储能电站数据;所述显示模块用于展示所述清洗前和清洗后的储能电站数据。
数据清洗模块用于清洗所述储能电站数据,所述数据清洗模块包括实现以下步骤的子模块:I、定位并替换储能电站数据集中的缺省值;II、定位并替换所述数据集中的异常值;III、根据所述储能电池数据的不用类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。
提供一系统实施例,包括电池数据存储模块,电池数据清洗模块和电池数据显示模块。
构建电池数据存储模块。
通过HBase建立数据表table1存储储能电站海量电池数据,表结构如图3所示。
其中,Row key的组成为数据标示符、距离1970年1月1日的天数和当天开始的秒数,中间以“|“分隔开来,表中存有2个版本的数据,t0表示清洗前的数据,t1表示清洗后的数据。Column:”data”为列族,value为列名,后面跟的数字为监测的电池数据。
构建电池数据清洗模块,该模块基于Hadoop分布式框架构建。
将根据清洗方法构建的清洗程序进行验证。将清洗程序移植到Hadoop分布式框架中来,构建mapreduce程序。
如图4所示,Hadoop从HBase中读取海量电池数据并进行分片分发给Hadoop集群下各个节点进行map处理,通过map程序和shuffle阶段将每个电池监测点的数据都归集成一个数据片供reduce程序处理。各个节点上的Reduce程序则对输入进来的某个电池监测点的数据进行清洗,并将结果存入HBase中。
构建储能电站海量电池数据显示模块,利用EChart前端技术将清洗前后的各个电池数据以图表的形式展示给用户。通过清洗前后对比的数据,直观地判断清洗效果的好坏。
最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换,但这些变更、修改或者等同替换,均在申请待批的权利要求保护范围之内。

Claims (7)

1.一种储能电站海量数据清洗方法,其特征在于:所述方法包括以下步骤:
步骤I、定位并替换储能电站数据集中的缺省值;
步骤II、定位并替换所述数据集中的异常值;
步骤III、根据储能电池数据的不同类别特征,在替换后获得的数据集中确定不合理数据,并进行替换;
所述步骤I中,运用统计学处理方法定位所述缺省值;运用K近邻算法确定所述缺省值附近的正常值,用出现频率最大的所述正常值替换所述缺省值;
所述储能电池数据的种类包括电流、电压、温度、SOC和功率;
所述不同类别特征包括根据先验知识,不同类别的数据确定的突变阈值;
所述步骤III包括,遍历各类别的数据,根据所述突变阈值,确定不合理数据,用前一时刻的数据将所述不合理数据替换。
2.如权利要求1所述的方法,其特征在于:所述步骤II中,运用拉依达准则法定位所述异常值;利用K近邻算法确定所述异常值附近的正常值,用出现频率最大的所述正常值替换所述异常值。
3.如权利要求1所述的方法,其特征在于:所述步骤III中,根据所述数据集中数据的不同特征确定其中不合理数据,并用所述不合理数据的前面或后面的正常值进行替换。
4.一种储能电站海量数据清洗系统,其特征在于:所述系统包括数据存储模块、数据清洗模块和显示模块;
所述数据存储模块基于HBase构建电池数据表,所述电池数据表用于存储所有涉及的储能电站数据;
所述数据清洗模块基于Hadoop清洗储能电站数据;
所述显示模块用于展示所述清洗前和清洗后的储能电站数据;
所述数据清洗模块用于清洗所述储能电站数据,所述数据清洗模块包括实现以下步骤的子模块:
步骤I、定位并替换储能电站数据集中的缺省值;
步骤II、定位并替换所述数据集中的异常值;
步骤III、根据储能电池数据的不同类别特征,在替换后获得的数据集中确定不合理数据,并进行替换。
5.如权利要求4所述的系统,其特征在于:所述步骤I中,运用统计学处理方法定位所述缺省值;运用K近邻算法确定所述缺省值附近的正常值,用所述正常值替换所述缺省值。
6.如权利要求4所述的系统,其特征在于:所述步骤II中,运用拉依达准则法定位所述异常值;利用K近邻算法确定所述异常值附近的正常值,用所述正常值替换所述异常值。
7.如权利要求4所述的系统,其特征在于:所述储能电池数据的种类包括电流、电压、温度、SOC和功率;
所述不同类别特征包括根据先验知识,不同类别的数据确定的突变阈值;
所述步骤III包括,遍历各类别的数据,根据所述突变阈值,确定不合理数据,用前一时刻的数据将所述不合理数据替换。
CN201510181094.1A 2015-04-16 2015-04-16 一种储能电站海量数据清洗方法及系统 Active CN104750861B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510181094.1A CN104750861B (zh) 2015-04-16 2015-04-16 一种储能电站海量数据清洗方法及系统
PCT/CN2015/097998 WO2016165378A1 (zh) 2015-04-16 2015-12-21 一种储能电站海量数据清洗方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510181094.1A CN104750861B (zh) 2015-04-16 2015-04-16 一种储能电站海量数据清洗方法及系统

Publications (2)

Publication Number Publication Date
CN104750861A CN104750861A (zh) 2015-07-01
CN104750861B true CN104750861B (zh) 2019-05-21

Family

ID=53590545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510181094.1A Active CN104750861B (zh) 2015-04-16 2015-04-16 一种储能电站海量数据清洗方法及系统

Country Status (2)

Country Link
CN (1) CN104750861B (zh)
WO (1) WO2016165378A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750861B (zh) * 2015-04-16 2019-05-21 中国电力科学研究院 一种储能电站海量数据清洗方法及系统
CN105138650A (zh) * 2015-08-28 2015-12-09 成都康赛信息技术有限公司 一种基于孤立点挖掘的Hadoop数据清洗方法及系统
CN106682225B (zh) * 2017-01-04 2019-07-23 成都四方伟业软件股份有限公司 一种大数据的汇集存储方法与系统
CN106934208B (zh) * 2017-01-05 2019-07-23 国家能源局大坝安全监察中心 一种大坝异常监测数据自动识别方法
CN109033174A (zh) * 2018-06-21 2018-12-18 北京国网信通埃森哲信息技术有限公司 一种电能质量数据清洗方法及装置
CN109039809A (zh) * 2018-07-17 2018-12-18 中国电子科技集团公司电子科学研究院 一种网闸集群异常的检测方法、装置及内网服务器
CN109710601A (zh) * 2018-12-25 2019-05-03 国电大渡河大岗山水电开发有限公司 一种智能化水电厂运行数据清洗方法
CN111797078A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据清洗方法、模型训练方法、装置、存储介质及设备
CN111552685B (zh) * 2019-12-27 2022-02-15 广东电网有限责任公司电力科学研究院 基于Spark的电能质量数据清洗方法及装置
CN111695623B (zh) * 2020-06-09 2024-05-10 中国电力科学研究院有限公司 基于模糊聚类的大规模电池储能系统成组建模方法、系统、设备及可读存储介质
CN112231333A (zh) * 2020-11-09 2021-01-15 南京莱斯网信技术研究院有限公司 一种生态环境数据共享交换方法和系统
CN112286924A (zh) * 2020-11-20 2021-01-29 中国水利水电科学研究院 一种数据异常动态识别与多模式自匹配的数据清洗技术
CN112765149B (zh) * 2020-12-03 2023-06-09 万克能源科技有限公司 储能系统容量的计算系统及方法
CN114995992A (zh) * 2022-01-29 2022-09-02 中国华能集团清洁能源技术研究院有限公司 一种电池储能分布式计算控制系统及控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982489A (zh) * 2012-11-23 2013-03-20 广东电网公司电力科学研究院 一种基于海量计量数据的电力客户在线分群方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135979B (zh) * 2010-12-08 2013-10-09 华为技术有限公司 数据清洗方法及装置
WO2013146884A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 データクレンジングシステム、方法およびプログラム
CN103701931A (zh) * 2014-01-08 2014-04-02 东华大学 一种基于云平台的远程环境数据管理监控系统
CN103955510A (zh) * 2014-04-30 2014-07-30 广西电网公司电力科学研究院 基于etl云平台上传的海量电力营销数据整合方法
CN104111996A (zh) * 2014-07-07 2014-10-22 山大地纬软件股份有限公司 基于hadoop平台的医保门诊大数据抽取系统及方法
CN104750861B (zh) * 2015-04-16 2019-05-21 中国电力科学研究院 一种储能电站海量数据清洗方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982489A (zh) * 2012-11-23 2013-03-20 广东电网公司电力科学研究院 一种基于海量计量数据的电力客户在线分群方法

Also Published As

Publication number Publication date
CN104750861A (zh) 2015-07-01
WO2016165378A1 (zh) 2016-10-20

Similar Documents

Publication Publication Date Title
CN104750861B (zh) 一种储能电站海量数据清洗方法及系统
Xu et al. A novel clustering algorithm for grouping and cascade utilization of retired Li-ion batteries
US10229129B2 (en) Method and apparatus for managing time series database
CN111612650B (zh) 一种基于dtw距离的电力用户分群方法及系统
CN107608862B (zh) 监控告警方法、监控告警装置及计算机可读存储介质
CN101516099B (zh) 一种传感器网络异常检测方法
CN102819772B (zh) 电力配网建设物资需求预测方法及装置
CN101751234B (zh) 一种磁盘阵列数据分布方法及系统
CN107862022A (zh) 文化资源推荐系统
Xue et al. A self-adaptive multi-objective feature selection approach for classification problems
Wang et al. Wind speed interval prediction based on multidimensional time series of Convolutional Neural Networks
CN108805174A (zh) 聚类方法及装置
Hua et al. Hadoop configuration tuning with ensemble modeling and metaheuristic optimization
CN113592156A (zh) 电厂煤量调度方法、装置、终端设备及存储介质
CN115389955A (zh) 一种电池内外总压测试的压差预测方法及装置
CN105159918A (zh) 一种基于信任关联度的微博网络社区发现方法
WO2012159320A1 (zh) 一种大规模图像数据的聚类方法及装置
CN103136440B (zh) 数据处理方法和装置
CN103699653A (zh) 数据聚类方法和装置
CN116595102B (zh) 一种改进聚类算法的大数据管理方法及系统
CN102737284A (zh) 基于sas系统的多元线性回归法在客流预测的运用
CN113641705B (zh) 一种基于计算引擎的营销处置规则引擎方法
CN115526428A (zh) 基于时空图卷积网络的排水管网污水流量预测方法
CN115392123A (zh) 二次电池物理模型的参数辨识方法、系统、设备及介质
CN114401496A (zh) 一种基于5g边缘计算的视频信息快速处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Patentee after: CHINA ELECTRIC POWER RESEARCH INSTITUTE Co.,Ltd.

Patentee after: STATE GRID CORPORATION OF CHINA

Patentee after: State Grid Jibei Zhangjiakou Fengguang storage and transmission new energy Co.,Ltd.

Patentee after: STATE GRID FUJIAN ELECTRIC POWER Co.,Ltd.

Patentee after: STATE GRID FUJIAN ELECTRIC POWER Research Institute

Address before: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Patentee before: China Electric Power Research Institute

Patentee before: State Grid Corporation of China

Patentee before: STATE GRID XINYUAN ZHANGJIAKOU SCENERY STORAGE DEMONSTRATION POWER PLANT Co.,Ltd.

Patentee before: STATE GRID FUJIAN ELECTRIC POWER Co.,Ltd.

Patentee before: STATE GRID FUJIAN ELECTRIC POWER Research Institute