CN117270791A - 一种电力数据分析方法及系统 - Google Patents
一种电力数据分析方法及系统 Download PDFInfo
- Publication number
- CN117270791A CN117270791A CN202311543420.XA CN202311543420A CN117270791A CN 117270791 A CN117270791 A CN 117270791A CN 202311543420 A CN202311543420 A CN 202311543420A CN 117270791 A CN117270791 A CN 117270791A
- Authority
- CN
- China
- Prior art keywords
- power data
- data
- power
- analysis
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000005516 engineering process Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000007621 cluster analysis Methods 0.000 claims description 11
- 238000013079 data visualisation Methods 0.000 claims description 9
- 238000005111 flow chemistry technique Methods 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 5
- 230000010485 coping Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 17
- 238000007418 data mining Methods 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 abstract description 2
- 230000005611 electricity Effects 0.000 description 68
- 230000006399 behavior Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 9
- 238000005065 mining Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种电力数据分析方法及系统,涉及电力数据分析技术领域,所述方法包括:采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本;将分类筛选后的数据样本形成大规模电力数据集;对大规模电力数据集针对处理响应需求进行分析处理;对存储的电力数据与电力数据分析处理结果进行可视化。对巨量的电力数据合理筛选取样后再做数据挖掘工作,以提高数据挖掘速度,减轻算力压力,针对不同的业务处理响应需求应用不同的数据处理技术,提高数据分析效率,分布式存储缓解存储压力。
Description
技术领域
本发明涉及电力数据分析技术领域,尤其涉及一种电力数据分析方法及系统。
背景技术
随着智能电网的快速发展,电力系统面临着数据种类繁多、数据量巨大、数据复杂性日益提升的挑战。对于这些数据的价值挖掘,无疑需要开展大量深入的技术研究工作。目前,电力系统运行数据主要集中在各变电站、区域调度以及省调中心,其中省调中心的数据存储量和种类均居于领先地位。然而,当前的电网省调中心内部监控运行系统已面临性能瓶颈,其仅能满足基本业务需求,对产生的电力系统数据一般仅进行存储记录和简单的统计工作,未能进一步挖掘数据的深层价值。当需要对此类数据进行计算和分析时,电力系统工作人员通常需要将数据导出至离线存储,再进行分析和计算。因此,如何优化电力系统数据存储管理,提升其性能,进而实现对数据的深度挖掘和分析,是我们当前亟待解决的问题。
发明内容
本发明提供了一种电力数据分析方法,包括:
Step1、采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本;
Step2、将分类筛选后的数据样本形成大规模电力数据集;
Step3、对大规模电力数据集针对处理响应需求进行分析处理;
Step4、对存储的电力数据与电力数据分析处理结果进行可视化。
如上所述的一种电力数据分析方法,其中采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本,具体分为以下子步骤:
通过调用省调度中心的电力数据获取API采集巨量电力数据;
以市为单位对采集到的数据进行分类并存储;
按市级分类读取存储中的电力数据,提取电力数据特征;
根据电力数据特征对市级分类电力数据分别进行聚类分析;
根据聚类分析结果筛选电力数据样本。
如上所述的一种电力数据分析方法,其中对大规模电力数据集针对处理响应需求进行分析处理,具体包括:
应用流处理技术在电力系统中应对处理响应需求高的业务;
应用批处理技术在电力系统中,应对处理响应需求不不高但数据量大的业务;
结合流处理技术与批处理技术在电力系统中,应对需要大量数据分析结果为基础的高处理响应需求业务。
本发明还提供一种电力数据分析系统,包括:电力数据准备模块、电力数据分析应用模块、电力数据可视化模块。
如上所述的一种电力数据分析系统,其中电力数据准备模块用于采集电力数据,存储电力数据以及对电力数据进行筛选形成大规模电力数据集。
如上所述的一种电力数据分析系统,其中电力数据准备模块,具体包括以下子模块:
电力数据采集子模块,用于通过调用省调度中心的电力数据获取API采集巨量电力数据作为原始数据;
电力数据存储子模块,用于将采集到的数据按市为单位进行分类存储;
电力数据筛选子模块,用于读取存储的市级分类电力数据分别进行筛选。
如上所述的一种电力数据分析系统,其中电力数据分析应用模块,用于对大规模电力数据集针对处理响应需求进行分析处理。
如上所述的一种电力数据分析系统,其中电力数据可视化模块,用于对存储的电力数据与电力数据分析处理结果进行可视化。
本发明实现的有益效果如下:对巨量的电力数据合理筛选取样后再做数据挖掘工作,以提高数据挖掘速度,减轻算力压力,针对不同的业务处理响应需求应用不同的数据处理技术,提高数据分析效率,分布式存储缓解存储压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种电力数据分析方法流程图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本发明实施例一提供一种电力数据分析方法,包括:
步骤S10:采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本;
通过调用省调度中心的电力数据获取API采集巨量电力数据作为原始数据,由于原始数据量大,若直接用作数据挖掘,以目前计算机的算力难以应对处理响应快的需求,因此需要对原始数据进行筛选,获取具有代表性,且涵盖范围相对全面的数据样本作为数据挖掘的数据对象,具体地:
步骤S11:以市为单位对采集到的数据进行分类并存储;
省调度中心获取到的原始数据是整个省的电力数据,粒度较大,直接进行筛选可能会漏掉一些代表性数据,数据涵盖范围也会相应的缺失。在采集数据接口下,以流处理的方式对采集到的原始数据以市为单位进行分类,细化原始数据粒度,分类完成的数据再采用分布式存储结构进行存储,减轻存储压力,提高读取速度。
步骤S12:按市级分类读取存储中的电力数据,提取电力数据特征;
提取的电力数据代表性特征,从而提高聚类分析的计算效率与准确性,具体地:
将电力数据按照采集时间正序排序,并根据采集时间平均划分为n个数据段;
使用公式 提取电力数据中每条电力记录所包含各项字段的时间序列特征,其中j取值1~m分别表示电力记录中的不同字段,m为电力记录中的字段总数量,βj为字段j的时间序列特征,i取值1~n表示不同数据段,/>为字段j在数据段i中的平均值,/>为字段j在整个时间序列的平均值;将每条电力记录分别使用上述公式提取时间序列特征后,形成电力数据特征矩阵,/>,其中βkj表示电力记录k中字段j的时间序列特征,k取值1~z,z为电力数据中的电力记录总数量,j取值1~m,m为电力记录中的字段总数量。
步骤S13:根据电力数据特征对市级分类电力数据分别进行聚类分析;
使用公式计算聚类数,其中argmin∑返回求和项最小时的k值,k为列举的不同聚类数,取值在3~10,o为聚类数为k时聚类出的不同数据簇,取值为1~k,p表示数据簇o内的不同数据样本,取值为1~q,q为数据簇o内的样本数量,Ssamp为数据样本p的值,samo为数据簇o内数据样本的均值,Asam为参与聚类分析的所有数据样本均值。
使用计算出的k值根据电力数据特征矩阵对市级分类电力数据进行聚类分析并为每个数据样本分配聚类标签。
步骤S14:根据聚类分析结果筛选电力数据样本;
首先根据聚类标签获取不同分类的数据样本,分别从不同分类的数据样本中随机抽取σ%的数据样本作为后续数据分析的基础数据,σ为预设的数据样本抽取量。
步骤S20:将分类筛选后的数据样本形成大规模电力数据集;
大规模电力数据集表示为
,其中s1~sq为不同的市级分类标识,P1~Pq分别为不同市级分类下的电力数据样本集合,Pt为下标为t的电力数据样本集合,t取值1~q,,其中X1~Xδ为电力数据记录。
步骤S30:对大规模电力数据集针对处理响应需求进行分析处理;
不同业务所对应的处理响应需求也不同,所采用的数据分析处理技术也应有所变通,所述处理响应需求是指业务对返回结果实时性的高低。
I.应用流处理技术在电力系统中应对处理响应需求高的业务;
流处理的处理模式将数据视为流,源源不断的数据组成了数据流,当新的数据到来时就立刻处理并返回所需的结果,以电网运行实时监测为例:
实时采集电网运行监测参数,每次有新参数被获取到时即返回给前端,前端根据新参数重新为数据节点赋值,实现监测图表的实时更新。
II.应用批处理技术在电力系统中,应对处理响应需求不不高但数据量大的业务;
批处理用于大规模数据集的并行运算,主要用来进展大规模离线数据分析。以用户用电行为分析为例:
i.从大规模电力数据集所包含的电力数据记录中,提取用户用电数据形成用户用电数据集;
形成的用户用电数据集应包含用电时间、用电量与用户,并按照用电时间正序排序;
用户用电数据集表示为:,其中sj1~sjγ表示不同用电时间,ydl1~ydlγ表示不同用电时间的用电量,yh1~yhγ表示不同用户。
ii.根据用户用电数据集提取用户用电特征;
从用户用电数据集中提取用户用电特征,包括:每日、每周、每月的的平均用电量、峰谷用电量比例以及用电时间分布;
首先按用户分组,分别计算不同用户的平均用电量与峰谷用电量比例,平均用电量计算公式为:,其中c表示计算周期开始时用电时间下标,f表示计算周期结束时用电时间下标,数据集中的数据是按用电时间正序排序的,且用电时间下标与用电量下标一致,因此ydlc则可以表示用电时间下标为c时的用电量;峰谷用电量比例的计算公式为:/>,其中ZQ表示计算周期内用电量数据的集合,max()函数返回ZQ集合中的最大值,min()函数返回ZQ集合中的最小值。
用电时间分布则以二进制数表示,如:一天24小时,则用24位二进制数来表示,第几个小时用电量有较大波动则表示为1,没有则表示为0,所述波动计算为当前小时用电量与前一小时用电量作差,若差值大于预设阈值则视为有较大波动。
iii.根据用户用电特征建立用户用电行为模型;
使用上述聚类数计算公式计算聚类数k,根据用户用电特征对用电数据集进行聚类分析,聚类结果为不同用电群体的用电行为特征;Spark聚类分析后会生成一个kmeans对象,执行kmeans对象的fit()方法,参数为用户用电数据集YD,即可进行模型训练,将训练完成的模型对象进行存储。
iv.根据用户用电行为模型进行用户行为预测或查看不同用电群体的用电行为特征。
III.结合流处理技术与批处理技术在电力系统中,应对需要大量数据分析结果为基础的高处理响应需求业务;
整合流处理技术与批处理技术可以实现电力数据的实时分析和长期挖掘,例如智能告警分析,流处理技术实时将数据流输入至告警分析模型,实时进行异常检测,而告警分析则可以通过长期对离线数据的不断挖掘建立并不断完善告警分析模型。
步骤S40:对存储的电力数据与电力数据分析处理结果进行可视化;
对存储的电力数据可视化是对原始数据的统计和展示,提供不同维度的查询字段以方便查看所需数据,统计字段包括地区、时期,地区可细化至社区,而查询字段又细化至某个电表。
对电力数据分析结果的可视化主要是应用各种图表来展示处理之后的数据,页面布局设计根据业务表现需求来确定。
实施例二
本发明实施例二提供一种电力数据分析系统,包括:电力数据准备模块、电力数据分析应用模块、电力数据可视化模块。
(1)电力数据准备模块,用于采集电力数据,存储电力数据以及对电力数据进行筛选形成大规模电力数据集;具体包括:
①电力数据采集子模块,用于通过调用省调度中心的电力数据获取API采集巨量电力数据作为原始数据;
②电力数据存储子模块,用于将采集到的数据按市为单位进行分类存储;省调度中心获取到的原始数据是整个省的电力数据,粒度较大,直接进行筛选可能会漏掉一些代表性数据,数据涵盖范围也会相应的缺失。在采集数据接口下,以流处理的方式对采集到的原始数据以市为单位进行分类,细化原始数据粒度,分类完成的数据再采用分布式存储结构进行存储,减轻存储压力,提高读取速度。
③电力数据筛选子模块,用于读取存储的市级分类电力数据分别进行筛选,获取具有代表性且涵盖范围较为全面的电力数据,为后续的数据挖掘工作减轻负担;具体地:
I.提取电力数据特征,从而提高聚类分析的计算效率与准确性,具体地:
将电力数据按照采集时间正序排序,并根据采集时间平均划分为n个数据段;
使用公式提取电力数据中每条电力记录所包含各项字段的时间序列特征,其中j取值1~m分别表示电力记录中的不同字段,m为电力记录中的字段总数量,βj为字段j的时间序列特征,i取值1~n表示不同数据段,/>为字段j在数据段i中的平均值,/>为字段j在整个时间序列的平均值;将每条电力记录分别使用上述公式提取时间序列特征后,形成电力数据特征矩阵,/>,其中βkj表示电力记录k中字段j的时间序列特征,k取值1~z,z为电力数据中的电力记录总数量,j取值1~m,m为电力记录中的字段总数量;
II.根据电力数据特征对市级分类电力数据分别进行聚类分析;
使用公式计算聚类数,其中argmin∑返回求和项最小时的k值,k为列举的不同聚类数,取值在3~10,o为聚类数为k时聚类出的不同数据簇,取值为1~k,p表示数据簇o内的不同数据样本,取值为1~q,q为数据簇o内的样本数量,Ssamp为数据样本p的值,samo为数据簇o内数据样本的均值,Asam为参与聚类分析的所有数据样本均值。
使用计算出的k值根据电力数据特征矩阵对市级分类电力数据进行聚类分析并为每个数据样本分配聚类标签;
III.根据聚类分析结果筛选电力数据样本;
首先根据聚类标签获取不同分类的数据样本,分别从不同分类的数据样本中随机抽取σ%的数据样本作为后续数据分析的基础数据,σ为预设的数据样本抽取量。
IV.将分类筛选后的数据样本形成大规模电力数据集;
大规模电力数据集表示为,其中s1~sq为不同的市级分类标识,P1~Pq分别为不同市级分类下的电力数据样本集合,Pt为下标为t的电力数据样本集合,t取值1~q,/>,其中X1~Xδ为电力数据记录。
(2)电力数据分析应用模块,用于对大规模电力数据集针对处理响应需求进行分析处理;
不同业务所对应的处理响应需求也不同,所采用的数据分析处理技术也应有所变通,具体包括:
I.应用流处理技术在电力系统中应对处理响应需求高的业务;
流处理的处理模式将数据视为流,源源不断的数据组成了数据流,当新的数据到来时就立刻处理并返回所需的结果,以电网运行实时监测为例:
实时采集电网运行监测参数,每次有新参数被获取到时即返回给前端,前端根据新参数重新为数据节点赋值,实现监测图表的实时更新。
II.应用批处理技术在电力系统中,应对处理响应需求不不高但数据量大的业务;
批处理用于大规模数据集的并行运算,主要用来进展大规模离线数据分析。以用户用电行为分析为例:
i.从大规模电力数据集所包含的电力数据记录中,提取用户用电数据形成用户用电数据集;
形成的用户用电数据集应包含用电时间、用电量与用户,并按照用电时间正序排序;
用户用电数据集表示为:,其中sj1~sjγ表示不同用电时间,ydl1~ydlγ表示不同用电时间的用电量,yh1~yhγ表示不同用户。
ii.根据用户用电数据集提取用户用电特征;
从用户用电数据集中提取用户用电特征,包括:每日、每周、每月的的平均用电量、峰谷用电量比例以及用电时间分布;
首先按用户分组,分别计算不同用户的平均用电量与峰谷用电量比例,平均用电量计算公式为:,其中c表示计算周期开始时用电时间下标,f表示计算周期结束时用电时间下标,数据集中的数据是按用电时间正序排序的,且用电时间下标与用电量下标一致,因此ydlc则可以表示用电时间下标为c时的用电量;峰谷用电量比例的计算公式为:/>,其中ZQ表示计算周期内用电量数据的集合,max()函数返回ZQ集合中的最大值,min()函数返回ZQ集合中的最小值。
用电时间分布则以二进制数表示,如:一天24小时,则用24位二进制数来表示,第几个小时用电量有较大波动则表示为1,没有则表示为0,所述波动计算为当前小时用电量与前一小时用电量作差,若差值大于预设阈值则视为有较大波动。
iii.根据用户用电特征建立用户用电行为模型;
使用上述聚类数计算公式计算聚类数k,根据用户用电特征对用电数据集进行聚类分析,聚类结果为不同用电群体的用电行为特征;Spark聚类分析后会生成一个kmeans对象,执行kmeans对象的fit()方法,参数为用户用电数据集YD,即可进行模型训练,将训练完成的模型对象进行存储。
iv.根据用户用电行为模型进行用户行为预测或查看不同用电群体的用电行为特征。
III.结合流处理技术与批处理技术在电力系统中,应对需要大量数据分析结果为基础的高处理响应需求业务;
整合流处理技术与批处理技术可以实现电力数据的实时分析和长期挖掘,例如智能告警分析,流处理技术实时将数据流输入至告警分析模型,实时进行异常检测,而告警分析则可以通过长期对离线数据的不断挖掘建立并不断完善告警分析模型。
(3)电力数据可视化模块,用于对存储的电力数据与电力数据分析处理结果进行可视化;
对存储的电力数据可视化是对原始数据的统计和展示,提供不同维度的查询字段以方便查看所需数据,统计字段包括地区、时期,地区可细化至社区,而查询字段又细化至某个电表;
对电力数据分析结果的可视化主要是应用各种图表来展示处理之后的数据,页面布局设计根据业务表现需求来确定。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (8)
1.一种电力数据分析方法,包括:
Step1、采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本;
Step2、将分类筛选后的数据样本形成大规模电力数据集;
Step3、对大规模电力数据集针对处理响应需求进行分析处理;
Step4、对存储的电力数据与电力数据分析处理结果进行可视化。
2.根据权利要求1所述的一种电力数据分析方法,其特征在于,采集省调度中心的电力数据,对电力数据分类后进行分布式存储,并筛选电力数据样本,具体分为以下子步骤:
通过调用省调度中心的电力数据获取API采集巨量电力数据;
以市为单位对采集到的数据进行分类并存储;
按市级分类读取存储中的电力数据,提取电力数据特征;
根据电力数据特征对市级分类电力数据分别进行聚类分析;
根据聚类分析结果筛选电力数据样本。
3.根据权利要求1所述的一种电力数据分析方法,其特征在于,对大规模电力数据集针对处理响应需求进行分析处理,具体包括:
应用流处理技术在电力系统中应对处理响应需求高的业务;
应用批处理技术在电力系统中,应对处理响应需求不不高但数据量大的业务;
结合流处理技术与批处理技术在电力系统中,应对需要大量数据分析结果为基础的高处理响应需求业务。
4.一种电力数据分析系统,包括:电力数据准备模块、电力数据分析应用模块、电力数据可视化模块。
5.根据权利要求4所述的一种电力数据分析系统,包括:电力数据准备模块用于采集电力数据,存储电力数据以及对电力数据进行筛选形成大规模电力数据集。
6.根据权利要求4所述的一种电力数据分析系统,其特征在于,电力数据准备模块,具体包括以下子模块:
电力数据采集子模块,用于通过调用省调度中心的电力数据获取API采集巨量电力数据作为原始数据;
电力数据存储子模块,用于将采集到的数据按市为单位进行分类存储;
电力数据筛选子模块,用于读取存储的市级分类电力数据分别进行筛选。
7.根据权利要求4所述的一种电力数据分析系统,其特征在于,电力数据分析应用模块,用于对大规模电力数据集针对处理响应需求进行分析处理。
8.根据权利要求4所述的一种电力数据分析系统,其特征在于,电力数据可视化模块,用于对存储的电力数据与电力数据分析处理结果进行可视化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311543420.XA CN117270791B (zh) | 2023-11-20 | 2023-11-20 | 一种电力数据分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311543420.XA CN117270791B (zh) | 2023-11-20 | 2023-11-20 | 一种电力数据分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117270791A true CN117270791A (zh) | 2023-12-22 |
CN117270791B CN117270791B (zh) | 2024-04-09 |
Family
ID=89204694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311543420.XA Active CN117270791B (zh) | 2023-11-20 | 2023-11-20 | 一种电力数据分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117270791B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120136496A1 (en) * | 2010-11-30 | 2012-05-31 | General Electric Company | System and method for estimating demand response in electric power systems |
CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
CN108108517A (zh) * | 2017-11-23 | 2018-06-01 | 江苏瑞中数据股份有限公司 | 一种基于大数据的电网规划智能辅助分析方法 |
US11062250B1 (en) * | 2017-05-01 | 2021-07-13 | Advanced Pricing Logic, Inc. | System and method for database architecture for electronic data optimization and management |
CN114003774A (zh) * | 2021-10-28 | 2022-02-01 | 国网河北省电力有限公司信息通信分公司 | 一种用于智慧城市的电力大数据信息采集系统 |
CN116579590A (zh) * | 2023-07-13 | 2023-08-11 | 北京圆声能源科技有限公司 | 一种虚拟电厂中的需求响应评估方法和系统 |
-
2023
- 2023-11-20 CN CN202311543420.XA patent/CN117270791B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120136496A1 (en) * | 2010-11-30 | 2012-05-31 | General Electric Company | System and method for estimating demand response in electric power systems |
CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
US11062250B1 (en) * | 2017-05-01 | 2021-07-13 | Advanced Pricing Logic, Inc. | System and method for database architecture for electronic data optimization and management |
CN108108517A (zh) * | 2017-11-23 | 2018-06-01 | 江苏瑞中数据股份有限公司 | 一种基于大数据的电网规划智能辅助分析方法 |
CN114003774A (zh) * | 2021-10-28 | 2022-02-01 | 国网河北省电力有限公司信息通信分公司 | 一种用于智慧城市的电力大数据信息采集系统 |
CN116579590A (zh) * | 2023-07-13 | 2023-08-11 | 北京圆声能源科技有限公司 | 一种虚拟电厂中的需求响应评估方法和系统 |
Non-Patent Citations (1)
Title |
---|
沈玉玲;吕燕;陈瑞峰;: "基于大数据技术的电力用户行为分析及应用现状", 电气自动化, no. 03 * |
Also Published As
Publication number | Publication date |
---|---|
CN117270791B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110245981B (zh) | 一种基于手机信令数据的人群类型识别方法 | |
CN110781332A (zh) | 基于复合聚类算法的电力居民用户日负荷曲线聚类方法 | |
CN109284380A (zh) | 基于大数据分析的非法用户识别方法及装置、电子设备 | |
CN111008726B (zh) | 一种电力负荷预测中类图片转换方法 | |
CN110598042A (zh) | 一种基于增量更新的视频结构化实时更新方法及系统 | |
CN107315796A (zh) | 一种基于大数据的交通警情研判分析系统及方法 | |
CN111985815A (zh) | 一种能源电力运营评价指标的筛选方法及装置 | |
Fontanini et al. | A data-driven BIRCH clustering method for extracting typical load profiles for big data | |
CN114912720A (zh) | 基于记忆网络电力负荷预测方法、装置、终端及存储介质 | |
CN111092764B (zh) | 一种实时动态亲密度关系分析方法及系统 | |
CN103902739B (zh) | 数据库集群服务器数据分类方法 | |
CN111400376A (zh) | 基于电信数据建设人口分析平台的方法和装置 | |
Sawalha et al. | Towards an efficient big data management schema for IoT | |
CN117270791B (zh) | 一种电力数据分析方法及系统 | |
CN105445577A (zh) | 一种电能质量干扰源工况辨识方法 | |
CN117171244A (zh) | 基于数据中台构建的企业数据管理系统及其数据分析方法 | |
CN1902631A (zh) | 用于周期现象的聚类技术 | |
CN109523031B (zh) | 一种用于深度分析的大数据智能机器学习系统 | |
CN114004408B (zh) | 一种基于数据分析的用户电力负荷预测方法 | |
CN111915116A (zh) | 一种基于K-means聚类的电力居民用户分类方法 | |
CN112330136A (zh) | 一种大用户异常用电分析数据集的关联性挖掘方法和装置 | |
CN110659681B (zh) | 基于模式识别的时序数据预测系统及方法 | |
CN114881818A (zh) | 一种电子物证数据分析系统 | |
CN109189775B (zh) | 一种工业监控平台海量数据处理系统及方法 | |
CN112614005A (zh) | 企业复工状态的处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |