CN104915456A - 一种基于数据分析系统下的海量用电数据挖掘方法 - Google Patents

一种基于数据分析系统下的海量用电数据挖掘方法 Download PDF

Info

Publication number
CN104915456A
CN104915456A CN201510383691.2A CN201510383691A CN104915456A CN 104915456 A CN104915456 A CN 104915456A CN 201510383691 A CN201510383691 A CN 201510383691A CN 104915456 A CN104915456 A CN 104915456A
Authority
CN
China
Prior art keywords
data
analysis
electricity consumption
consumption
company
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510383691.2A
Other languages
English (en)
Inventor
李建炜
南权
王春艳
曹龙
曾力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia LGG Instrument Co Ltd
Original Assignee
Ningxia LGG Instrument Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia LGG Instrument Co Ltd filed Critical Ningxia LGG Instrument Co Ltd
Priority to CN201510383691.2A priority Critical patent/CN104915456A/zh
Publication of CN104915456A publication Critical patent/CN104915456A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于数据分析系统下的海量用电数据挖掘方法。其特点是,包括如下步骤:通过对供电企业用电数据分析、政府及大客户用电数据分析、用电业务数据分析、用电量综合分析来促进用户改进用电模式。本发明的数个服务体系构建于开源软件基础之上,且充分结合了相关应用领域、相关技术发展情况、数学领域的最新发展以及国产硬件,通过在算法库中实现适合用电的多种经典数据挖掘算法,来解决用电数据挖掘算法的适用性和通用性;通过分布式结构、网内信息处理和可伸缩架构来解决支撑工具的引用性问题;通过分布式协同数据分析框架、支撑工具标准化、软件方案硬件化的措施来提高用电数据挖掘方法的效率。

Description

一种基于数据分析系统下的海量用电数据挖掘方法
技术领域
本发明涉及一种基于数据分析系统下的海量用电数据挖掘方法。
背景技术
近年来,各行各业面临着海量数据处理需求,这也使大数据成为时下热门词汇。大数据与云计算相结合具有先天优势,云计算技术也已经发展到成熟的阶段。
发明内容
本实用新型的目的是提供一种基于数据分析系统下的海量用电数据挖掘方法,能够通过数据分析促进用户改进用电模式,从而提高能源利用效率。
一种基于数据分析系统下的海量用电数据挖掘方法,其特别之处在于,包括如下步骤:通过对供电企业用电数据分析、政府及大客户用电数据分析、用电业务数据分析、用电量综合分析来促进用户改进用电模式。
其中供电企业用电数据分析是指对用电量、用户数装接容量、高耗能用电量、高耗能用户数装接容量,通过分地区历年、分地区直供、分地区各行业、各行业历年、历年直供、各行业直供、台账、分地市的报表来具体的展现企业用电。
其中政府及大客户用电数据分析是指通过能源消耗监控、能耗数据采集与设备检测系统来进行用能数据分析,具体包括能耗数据分析和用能单位能耗分析。
其中能耗数据分析具体包括如下步骤:
第一步:综合计算和比较在线监测数据与在线填报数据,实现区域的能耗趋势分析、比较分析和异常判断,进行图标分析展示,形成区域能耗数据分析;
第二步,综合计算和比较在线监测数据与在线填报数据,实现各行业用能单位的能耗趋势分析、比较分析和异常判断,形成行业能耗数据分析;
第三步,基于区域能耗总量分析的结果,实现指定区域能耗总量排名,展示区域级能耗构成情况,形成区域能耗总量排名;
第四步,基于行业能耗总量分析的结果,实现各行业能耗总量排名,展示行业级能耗构成情况,形成行业能耗总量排名;
第五步,计算监测范围内用能单位的能源成本,与同比、环比、行业或区域数据比较并展示,形成能源成本数据分析。
其中用能单位能耗分析具体包括如下步骤:
第一步,按工业用能单位和设备进行分类能源统计分析,计算能耗并排序输出,展示能源构成状况工,形成业企业和重点用能设备能耗分析;
第二步,按分类能效进行非工业与大型公建的能耗分析,计算分类能耗和人均能耗、单位面积能耗并按能耗排名展示,形成非工业和大型公建能耗分析;
第三步,对用电量数据进行分时统计和计费,统计用电峰值规律,形成电量、电费分时数据分析。
其中用电业务数据分析是指用电业务按单位业务数据处理,具体包括:
第一步,在地市公司统计系统中,将各区县上报的用电分类数据进行处理,形成本市各区县用电明细数据;地市公司将该表的数据报送到网省公司;考虑到该明细数据与汇总数据的一致性,需要在数据上报地市公司用电汇总数据时,同时上报各区县明细数据;
第二步,省公司包括直属单位接收各地市公司已推广上报的各区县明细数据,通过当前地市公司上报的用电汇总数据减去对应地市公司中各区县的明细数据,得到该地市公司的线损数据即虚拟单位的用电数据;将未推广的地市公司、各区县、各地市公司线损数据上报到电网公司;根据用电数据表的单位信息和省公司统计业务应用系统中的“单位基本信息表”生成“省公司单位维表信息”;
第三步,电网公司收到各省上报的“各区县/市用电明细数据”;电网公司根据各省上报的区县、地市明细、线损电量以及总部分地区用电情况表中的区域网损、跨区网损,最终形成的用电数据中包括:总部跨区下属单位、各区域下属单位、各省网损、推广的下属单位公司地市公司线损、推广的下属单位公司区县用电数据、未推广下属单位地市公司用电数据;通过各下属单位上报的单位维表,生成用电海量信息数据挖掘分析系统的单位维表。
其中用电业务数据分析是指按口径业务数据处理,具体包括:
第一步,地市公司根据区县公司趸售、直供情况,按照业务逻辑,处理区县公司用电明细数据,以统计口径的形式上报区县用电明细到区域直属省公司;
第二步,区域直属省公司根据地市公司趸售、直供情况,按照业务逻辑,处理地市公司用电汇总数据,得到不同口径的地市用电明细;根据地市用电汇总、区县用电明细,计算得到地市线损数据;根据省公司汇总数据、区县/市明细数据,计算得到省公司网损数据;将区县用电明细、地市用电明细、地市线损数据统一整合为区县/市明细数据,并上报到电网公司;
第三步,电网公司从分地区用电情况表中,得到跨区网损、区域网损数据;将跨区网损数据、区域内网损数据、省公司网损数据、区县/市明细数据作为用电海量信息数据挖掘明细数据。
其中用电量综合分析具体包括:
第一步,ETL1实现从业务系统到ODS的数据抽取,在抽取之前,确定业务系统数据库中哪些数据需要被抽取以及抽取的频率、范围、时机,ETL平台通过数据库访问接口连接业务系统数据库,抽取业务数据并加载到ODS中;
第二步,ETL2实现从ODS到数据仓库的数据抽取,当数据成功地从业务系统加载到ODS后,ETL调度机制会启动从ODS到数据仓库的抽取流程,从ODS抽取数据并加载到数据仓库中;
第三步,ETL3实现从数据仓库到数据集市的数据抽取,当数据成功地从ODS加载到数据仓库后,ETL调度机制会启动从数据仓库到数据集市的抽取流程,从数据仓库抽取数据并加载到数据集市中;
第四步,BI模型设计,包含数据库对象、数据库对象关系和包与立方体;其中,数据库对象,创建元数据模型的DM层数据库对象包括:区域单位维表、省单位维表、地市单位维表、单位维表、行业分类维表、行业分类关系、统计口径维表、全社会用电明细情况;
数据库对象关系,多个省、区域和地市单位维表形成单位维表,多个单位维表和统计口径维表形成全社会明细情况指标数据,多个行业分类维表和全社会明细情况指标数据形成行业分类维表;
‘包’与‘立方体’,基于‘包’下对用电分析空间中的查询对象进行即席查询、即席多维分析、在‘立方体’上进行查询分析;用电量分析所用的立方体基于‘包’的即席多维分析和按年度时间分区进行设计;
第五步,BI展现,用电量综合分析BI展现的报表,包括分地区历年、月用电量分析、分地区各行业用电量分析、分地区直供用电量分析、各行业历年、月用电分析、历年直供用电量分析、各行业直供用电量分析、历年用电量台账、分地区用电全口径综合分析、分地区用电直供综合分析、分地市用电综合分析。
本发明提供了一种基于数据分析系统下的海量用电数据挖掘方法,本发明的数个服务体系构建于开源软件基础之上,且充分结合了相关应用领域、相关技术发展情况、数学领域的最新发展以及国产硬件,通过在算法库中实现适合用电的多种经典数据挖掘算法,来解决用电数据挖掘算法的适用性和通用性;通过分布式结构、网内信息处理和可伸缩架构来解决支撑工具的引用性问题;通过分布式协同数据分析框架、支撑工具标准化、软件方案硬件化的措施来提高用电数据挖掘方法的效率。
附图说明
附图1为本发明提出的数据分析综合系统的总体架构图;
附图2为本发明提出的数据分析综合系统的功能架构图;
附图3为本发明提出的用电业务按单位业务数据处理流程图;
附图4为本发明提出的用电业务按口径业务数据处理流程图;
附图5为本发明提出的用电综合分析用电分析时序图;
附图6为本发明提出的供电企业用电数据分析图;
附图7为本发明提出的政府及大客户用电数据服务平台框架示意图;
附图8为本发明提出的政府及大客户用电数据分析系统功能图;
附图9为用电量分析各数据库对象间的关系图;
附图10为基于数据分析综合系统下的海量用电数据挖掘方法综合框架图。
具体实施方式
为实现上述目的,本发明采用的技术方案是:
一种基于数据分析综合系统下的海量用电数据挖掘方法,其特别之处在于,包括:
(1)数据分析综合系统
本发明实施例提供了数据分析综合系统,从总体架构和功能架构两方面构建系统模型。
总体架构,在对数据运行的环境分析基础上,从全局角度构建海量用电数据挖掘系统的层级架构。用电海量信息数据挖掘方法支持系统以层级关系视角进行,包含业务应用层、ODS层、数据仓库层、数据集市层、数据分析层。其中,
业务应用层,给其他分析系统提供明细数据,数据源的格式非常多,主要包括:关系数据库、文本文件、EXCEL文件、HTML文件、其他数据文件等。数据源为系统提供了基本、必需的分析对象。
ODS层,用于存储在载入数据仓库前,符合三级范式的形式,并依照数据主题模型的详细业务应用源数据,存储在缓冲区的数据基本上与源系统保持一致,且作为数据仓库数据来源的一部分,ODS层隔离业务系统数据库和数据仓库,给数据仓库提供统一的入口。
数据仓库层,系统总体架构中最核心的数据存储区域,包含一个相对稳定、统一的数据仓库数据模型,支撑海量用电数据挖掘技术支持系统的大部分数据应用,在逻辑模型上与ODS库模型保持一致,但数据在线存储的周期比ODS库长。
数据集市层,按照特定的、针对统计业务分析主题而构建的数据集合,其数据由数据仓库层的数据经过转换后形成,直接支撑前端的应用需求,通常会作为OLAP服务和应用服务的数据输入,保障数据仓库高可用性、可扩展性和高性能。
应用分析层,在数据集市的基础上,结合实际业务应用需求,将数据结构信息进行最大限度的设计和整合,生成元数据模型并最终以‘包’的形式发布到BI应用服务器上,再通过BI产品工具且基于元数据模型采用列表、图形、OLAP等技术构建分析报表,发布到Web服务器。
功能架构,包括用电分析、设备分析、发电分析、供电分析、项目分析和系统管理六大功能模块。系统管理模块负责系统的管理和维护,其它模块都涉及在统计业务系统中的业务数据处理,以及数据从业务系统通过ODS、数据仓库、数据集市到展现整个流程的功能设计。主要包括数据的抽取、转换、清洗和装载,以及应用分析中的元数据模型设计和报表的展现。其中用电分析为本发明所讨论的重点,用电分析从时间、地区、统计口径、行业分类等角度,对全社会用电情况、高耗能行业的用电情况进行分析并展现,实现图表的向下钻取、向上汇总、穿透查询。
(2)海量用电数据挖掘方法。
本发明实施例提供了供电企业用电数据分析,包括:
对用电量、用户数装接容量、高耗能用电量、高耗能用户数装接容量从时间、所属地区、口径、行业等多个角度进行分析,实现数据的自动汇总、展现和属性间的穿透查询,采用表格、柱形图、折线图、饼图等展现形式。
本发明实施例提供了政府及大客户用电数据分析,包括节能监测服务平台体系、能耗数据采集及设备监测、用能数据分析。其中,
节能监测服务平台体系,由“1+M+N”的多级平台组成,实现各平台资源共享:1—省级节能监测综合平台,简称综合平台;M—工业、建筑、交通、公共机构主要行业领域能耗监测平台;N—地市能耗监测平台。
能耗数据采集及设备监测,通过采集器信息维护、采集通道维护、模块列表、接入点维护、表计维护、采集器调度管理、采集器状态监测和控制、能耗数据自动采集模块进行能耗数据采集及设备监测。
用能数据分析,包括能耗数据分析和用能单位能耗分析:
能耗数据分析,通过采集用能单位产值、产品产量、能源消耗数据、能源价格、能源折标系数等数据,实现对用能单位的单位产值综合能耗、单位产品综合能耗、单位产值能源成本、单位产品能源成本等指标进行统计分析。
用能单位能耗分析,通过对全市各主要用能单位和行业的能耗数据监测,分析各行业或区域总体能耗趋势和用能效率,为政府制定淘汰高耗能行业、调整产业结构提供基础支撑。
本发明实施例提供了用电业务数据处理,包括:
用电业务数据处理从单位、口径两个角度进行说明描述。根据数据分析综合系统的处理,用电数据需要从基层单位逐级汇总,形成上级单位的数据。从单位视角数据处理过程中,重点说明了用电数据在各级单位的处理过程,形成总部用电分析数据。用电统计的单位包括了全直供、全趸售、直供加趸售三类,对于全直供的单位一般只报送直供数据,全趸售单位一般只报送地区其它数据,直供加趸售的单位一般报送直供、全口径的用电数据,而全口径数据包括了直供、地区其它的数据,所以为满足统计分析需要,需要将各单位的数据全部整理为直供、地区其它两部分,这样可以以统计口径作为一个维度来进行处理,在口径视角数据处理过程中重点说明了各级单位直供口径、地区口径的计算处理过程。
本发明实施例提供了用电综合分析,包括:
用电综合分析,从时间、地区、行业、统计口径的角度,以饼图、折线图和表格形式展现用电分析属性(时间、地区、行业分类、统计口径)和各类用电指标(用电量、用户数、装接容量)关联的数据信息。主要内容包括用电量综合分析、用户数装接容量综合分析、高耗能用电量分析、高耗能用户数装接容量分析。
通过业务数据处理程序,在总部业务数据库中准备好分析决策所需的用电月报数据;使用ETL抽取工具,将用电月报数据抽取、转换、加载到ODS数据库,从ODS经数据仓库,最终加载到数据集市中,以供决策分析使用;使用BI展现工具,针对用电量综合分析主题在数据集市建立对应的Cube以及基于Cube的元数据模型,实现报表展现。
采用本发明提出的一种基于数据分析综合系统下的用电数据挖掘方法,本发明中的数个服务体系均构建于开源软件基础之上,形成面向特定行业数据分析解决方案,为行业客户、中小企业提供高端数据分析服务。本发明的关键技术与行业特色捆绑紧密。
下面通过发明实施例中的附图,对本发明的技术方案做进一步清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分,而不是所有。
附图1为本发明实施例提供的数据分析综合系统的总体架构,内容中包含用电、发电、供电、设备、项目五个类型,层次上包括业务应用层、ODS层、数据仓库层、数据集市层、应用分析层五个技术层次,,其中,
业务应用层,用于给系统提供数据,其中的数据源格式很多,并为系统提供基本、必须的分析对象:
ODS层,用于隔离业务系统数据库和数据仓库,给数据仓库提供统一的入口,减少对业务系统应用的影响。用于存储在被处理载入数据仓库前的详细业务应用源数据;
数据仓库层,用于支撑用电信息数据挖掘支持系统的大部分数据应用,是整个系统构架中最核心的数据存储区域,包含一个相对稳定、统一的数据仓库数据模型;
数据集市层,用于保障数据仓库高可用性、可扩展性和高性能,是按照特定的、针对统计业务分析主题而构建的数据集合;
应用分析层,用于将数据结构信息最大限度的设计和整合,生成元数据模型并最后以包的形式发布到BI应用服务器上。再通过BI产品工具基于元数据模型采用列表、图形、OLAP等技术构建分析报表,发布到Web服务器。
具体的在本发明实例中电网通过业务应用层产生的明细数据经由ODS层存储在数据仓库层中,再通过数据集市层进入应用分析层实现数据分析处理。
附图2为本发明实施例提供的数据分析综合系统的功能架构,包括:
数据分析综合系统包括用电分析、设备分析、发电分析、供电分析、项目分析和系统管理六大功能模块。系统管理模块负责系统的管理和维护,其它模块都涉及在统计业务系统中的业务数据处理,以及数据从业务系统通过ODS、数据仓库、数据集市到展现整个流程的功能设计。包括数据的抽取、转换、清洗和装载,以及应用分析中的元数据模型设计和报表的展现。其中用电分析为本发明所讨论的重点,用电分析从时间、地区、统计口径、行业分类等角度对全社会用电情况、高耗能行业的用电情况进行分析展现,实现图表的上下钻取、汇总和穿透查询。
附图3为本发明实施例提供的用电业务按单位业务数据处理流程,该过程包括以下步骤:
地市公司:在地市公司统计系统中,将各区县上报的用电分类数据进行处理,形成本市各区县用电明细数据,包括主要字段:年、月、地市公司代码、区县公司代码、区县公司名称、区县公司排序号、统计口径、行业分类、指标值(如②所示);地市公司将该表的数据报送到网省公司;考虑到该明细数据与汇总数据的一致性,需要在数据上报地市公司用电汇总数据时,同时上报各区县明细数据。
网省公司:省公司(包括直属单位)接收各地市公司(已推广)上报的各区县明细数据,通过当前地市公司上报的用电汇总数据减去对应地市公司中各区县的明细数据,得到该地市公司的线损数据(即虚拟单位的用电数据);将未推广的地市公司、各区县、各地市公司线损数据上报到电网公司;明细结构内容有:年、月、单位代码、统计口径、行业分类、指标值(如④所示);根据用电数据表的单位信息和省公司统计业务应用系统中的“单位基本信息表”生成“省公司单位维表信息”(如⑥所示);用省公司统计业务应用系统中的省公司用电汇总数据减去“各地市用电汇总数据”,得到该下属单位公司的线损电量(如⑦所示);
国网公司:电网公司收到各省上报的“各区县/市用电明细数据”;电网公司根据各省上报的区县、地市明细、线损电量以及总部分地区用电情况表中的区域网损、跨区网损,最终形成的用电数据中包括:总部跨区下属单位、各区域下属单位、各省网损、地市公司线损(推广的下属单位公司)、区县用电数据(推广的下属单位公司)、地市公司用电数据(未推广下属单位);通过各下属单位上报的单位维表,生成用电海量信息数据挖掘分析系统的单位维表;
附图4为本发明实施例提供的用电业务按口径业务数据处理流程。包括以下步骤:
地市公司:根据区县公司上报的“区县公司行业用电分类表”,计算区县公司直供口径、地区其它口径的用电数据,将计算结果保存到“区县用电明细表”,其中计算公式,
全直供的区县公司:直接取直供口径,地区其它口径=0;
全趸售的区县公司:直接取地区其它口径,直供口径=0;
直供加趸售的区县公司:直接取直供口径,地区其它口径=全口径-直供口径;
将“区县公司用电明细表”、“地市公司用电汇总表”上报省公司(区域直属)。
省公司(区域直属):接收地市公司上报的“区县公司用电明细表”、“地市公司用电汇总表”;根据地市公司用电汇总数据,计算地市公司直供口径、地区其它口径的用电明细,其中计算公式:
全直供的地市公司:直接取直供口径,地区其它口径=0;
全趸售的地市公司:直接取地区其它口径,直供口径=0;
直供加趸售的地市公司:直接取直供口径,地区其它口径=全口径-直供口径;
根据地市公司用电明细、区县公司用电明细,计算各地市公司直供口径、地区其它口径的线损数据,计算公式:
地市公司线损=地市公司用电明细-各区县公司用电明细;
根据省公司用电汇总,计算省公司直供口径、地区其它口径的汇总数据,计算公式:
直供口径:直接取;地区其它口径=地区全口径-直供口径;
根据省公司汇总数据、区县/市用电明细,计算省公司网损数据,计算公式:
省公司网损数据=该省公司汇总数据-该省公司下区县/市用电明细。
将地市公司用电明细、区县公司用电明细、地市公司线损、省公司网损数据统一保存到“区县/市用电明细表”中。
将“区县/市用电明细表”上报电网公司。
电网公司:接收省公司(区域直属)上报的“区县/市用电明细表”;
根据“电网公司分地区用电情况”用电数据,获取直供口径的跨区网损、区域网损数据,计算公式:
直供口径:直接取;
将跨区网损数据、区域内网损数据、区县/市用电明细统一存放到“用电事实表”中,作为用电海量信息数据挖掘明细数据。
附图5为本发明实施例提供的用电综合分析时序图,包括ETL抽取、元模型设计、BI报表展现,元模型设计和BI展现是本发明在用电量综合分析时序中讨论的重点。其中,
ETL1,实现从业务系统到ODS的数据抽取,在抽取之前,确定业务系统数据库中哪些数据需要被抽取以及抽取的频率、范围、时机,ETL平台通过数据库访问接口连接业务系统数据库,抽取业务数据并加载到ODS中;
ETL2,实现从ODS到数据仓库的数据抽取,当数据成功地从业务系统加载到ODS后,ETL调度机制会启动从ODS到数据仓库的抽取流程,从ODS抽取数据并加载到数据仓库中;
ETL3,实现从数据仓库到数据集市的数据抽取,当数据成功地从ODS加载到数据仓库后,ETL调度机制会启动从数据仓库到数据集市的抽取流程,从数据仓库抽取数据并加载到数据集市中;
BI模型设计,包含数据库对象、数据库对象关系和包与立方体。其中,
数据库对象,创建元数据模型的DM层数据库对象包括:区域单位维表、省单位维表、地市单位维表、单位维表、行业分类维表、行业分类关系、统计口径维表、全社会用电明细情况(年);
数据库对象关系,见附图9;
‘包’与‘立方体’,基于‘包’下对用电分析空间中的查询对象进行即席查询、即席多维分析、在‘立方体’上进行查询分析。用电量分析所用的立方体基于‘包’的即席多维分析和时间(年)分区进行设计。
BI展现,用电量综合分析BI展现的报表,包括分地区历年(月)用电量分析、分地区各行业用电量分析、分地区直供用电量分析、各行业历年(月)用电分析、历年直供用电量分析、各行业直供用电量分析、历年用电量台账、分地区用电综合分析(全口径)、分地区用电综合分析(直供)、分地市用电综合分析。
附图6为本发明实施例提供的供电企业用电数据分析,包括:
供电企业用电数据分析对用电量、用户数装接容量、高耗能用电量、高耗能用户数装接容量从时间、地区、行业和口径属性对电网公司所有单位的所有行业的用电量明细数据进行查询和分析;
可对时间、地区、行业三个维度进行向上、向下钻取,钻取路径为“区域->省->市”、“年->月”、“三大产业->八大行业->99个子行业”,横向穿透查询到用电量分析的其他报表。通过分地区历年、分地区直供、分地区各行业、各行业历年、历年直供、各行业直供、台账、分地市来具体的展现企业用电。
附图7为本发明实施例提供的政府及大客户用电数据服务平台框架示意图,由“1+M+N”的多级平台组成,实现各平台资源共享,包括:
1—市级能耗监测综合平台,简称综合平台;
M—工业、建筑、交通、公共机构等主要行业领域能耗监测平台;
N—地市级能耗监测平台。包括政府经济运行监测平台,能源统计监测信息平台。
附图8为本发明实施例提供的政府及大客户用电数据分析系统功能图,包括耗能数据采集与设备监测、用能数据分析。其中,
本发明实施例提供的耗能数据采集与设备监测包括:
采集器信息维护,提供数据采集设备的管理功能,包括采集设备的基本信息的维护,即采集设备基本信息的增、删、查、改;
采集通道维护,提供采集通道的管理功能,包括采集通道的基本信息的维护,即采集通道基本信息的增、删、查、改;
模块列表,提供采集通道的管理功能,包括采集通道的基本信息的维护,即采集通道基本信息的增、删、查、改;
接入点维护,提供接入点的管理功能,包括接入点的基本信息的维护,即接入点基本信息的增、删、查、改;
表计维护,提供表计信息的管理功能,包括表计的基本信息的维护,即表计基本信息的增、删、查、改;
采集器调度管理,将设备信息下发到采集前置机,同时要通过GPRS传输到终端采集器,终端采集器根据保存信息,通过表计、接入点、通道及采集器的从属关系,去定位每个采集点的位置;
采集器状态监测和控制,按监测节点信息、采集器信息或状态查找采集器,并展示结果;
能耗数据自动采集,采集器每隔十五分钟读一次现场表计,将数据通过GPRS无线网回传到平台通讯前置机,前置机将数据提交到平台数据库实时数据展现,获取一段时间内某采集点的能耗数据并展示。
本发明实施例提供的用能数据分析,包括能耗数据分析和用能单位能耗分析。其中,
本发明实施例提供的能耗数据分析,包括:
区域能耗数据分析,综合计算和比较在线监测数据与在线填报数据,实现区域的能耗趋势分析、比较分析和异常判断,进行图标分析展示;
行业能耗数据分析,综合计算和比较在线监测数据与在线填报数据,实现各行业用能单位的能耗趋势分析、比较分析和异常判断;
区域能耗总量排名,基于区域能耗总量分析的结果,实现指定区域能耗总量排名,展示区域级能耗构成情况;
行业能耗总量排名,基于行业能耗总量分析的结果,实现各行业能耗总量排名,展示行业级能耗构成情况;
能源成本数据分析,计算监测范围内用能单位的能源成本,与同比、环比、行业或区域数据比较并展示。
本发明实施例提供的用能单位能耗分析,包括:
工业企业和重点用能设备能耗分析,按工业用能单位和设备进行分类能源统计分析,计算能耗并排序输出,展示能源构成状况;
非工业和大型公建能耗分析,按分类能效进行非工业与大型公建的能耗分析,计算分类能耗和人均能耗、单位面积能耗并按能耗排名展示;
电量、电费分时数据分析,对用电量数据进行分时统计和计费,统计用电峰值规律。

Claims (8)

1.一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于,包括如下步骤:通过对供电企业用电数据分析、政府及大客户用电数据分析、用电业务数据分析、用电量综合分析来促进用户改进用电模式。
2.如权利要求书1所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中供电企业用电数据分析是指对用电量、用户数装接容量、高耗能用电量、高耗能用户数装接容量,通过分地区历年、分地区直供、分地区各行业、各行业历年、历年直供、各行业直供、台账、分地市的报表来具体的展现企业用电。
3.如权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中政府及大客户用电数据分析是指通过能源消耗监控、能耗数据采集与设备检测系统来进行用能数据分析,具体包括能耗数据分析和用能单位能耗分析。
4.如权利要求3所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中能耗数据分析具体包括如下步骤:
第一步:综合计算和比较在线监测数据与在线填报数据,实现区域的能耗趋势分析、比较分析和异常判断,进行图标分析展示,形成区域能耗数据分析;
第二步,综合计算和比较在线监测数据与在线填报数据,实现各行业用能单位的能耗趋势分析、比较分析和异常判断,形成行业能耗数据分析;
第三步,基于区域能耗总量分析的结果,实现指定区域能耗总量排名,展示区域级能耗构成情况,形成区域能耗总量排名;
第四步,基于行业能耗总量分析的结果,实现各行业能耗总量排名,展示行业级能耗构成情况,形成行业能耗总量排名;
第五步,计算监测范围内用能单位的能源成本,与同比、环比、行业或区域数据比较并展示,形成能源成本数据分析。
5.如权利要求3所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中用能单位能耗分析具体包括如下步骤:
第一步,按工业用能单位和设备进行分类能源统计分析,计算能耗并排序输出,展示能源构成状况工,形成业企业和重点用能设备能耗分析;
第二步,按分类能效进行非工业与大型公建的能耗分析,计算分类能耗和人均能耗、单位面积能耗并按能耗排名展示,形成非工业和大型公建能耗分析;
第三步,对用电量数据进行分时统计和计费,统计用电峰值规律,形成电量、电费分时数据分析。
6.如权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中用电业务数据分析是指用电业务按单位业务数据处理,具体包括:
第一步,在地市公司统计系统中,将各区县上报的用电分类数据进行处理,形成本市各区县用电明细数据;地市公司将该表的数据报送到网省公司;考虑到该明细数据与汇总数据的一致性,需要在数据上报地市公司用电汇总数据时,同时上报各区县明细数据;
第二步,省公司包括直属单位接收各地市公司已推广上报的各区县明细数据,通过当前地市公司上报的用电汇总数据减去对应地市公司中各区县的明细数据,得到该地市公司的线损数据即虚拟单位的用电数据;将未推广的地市公司、各区县、各地市公司线损数据上报到电网公司;根据用电数据表的单位信息和省公司统计业务应用系统中的“单位基本信息表”生成“省公司单位维表信息”;
第三步,电网公司收到各省上报的“各区县/市用电明细数据”;电网公司根据各省上报的区县、地市明细、线损电量以及总部分地区用电情况表中的区域网损、跨区网损,最终形成的用电数据中包括:总部跨区下属单位、各区域下属单位、各省网损、推广的下属单位公司地市公司线损、推广的下属单位公司区县用电数据、未推广下属单位地市公司用电数据;通过各下属单位上报的单位维表,生成用电海量信息数据挖掘分析系统的单位维表。
7.如权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中用电业务数据分析是指按口径业务数据处理,具体包括:
第一步,地市公司根据区县公司趸售、直供情况,按照业务逻辑,处理区县公司用电明细数据,以统计口径的形式上报区县用电明细到区域直属省公司;
第二步,区域直属省公司根据地市公司趸售、直供情况,按照业务逻辑,处理地市公司用电汇总数据,得到不同口径的地市用电明细;根据地市用电汇总、区县用电明细,计算得到地市线损数据;根据省公司汇总数据、区县/市明细数据,计算得到省公司网损数据;将区县用电明细、地市用电明细、地市线损数据统一整合为区县/市明细数据,并上报到电网公司;
第三步,电网公司从分地区用电情况表中,得到跨区网损、区域网损数据;将跨区网损数据、区域内网损数据、省公司网损数据、区县/市明细数据作为用电海量信息数据挖掘明细数据。
8.如权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法,其特征在于:其中用电量综合分析具体包括:
第一步,ETL1实现从业务系统到ODS的数据抽取,在抽取之前,确定业务系统数据库中哪些数据需要被抽取以及抽取的频率、范围、时机,ETL平台通过数据库访问接口连接业务系统数据库,抽取业务数据并加载到ODS中;
第二步,ETL2实现从ODS到数据仓库的数据抽取,当数据成功地从业务系统加载到ODS后,ETL调度机制会启动从ODS到数据仓库的抽取流程,从ODS抽取数据并加载到数据仓库中;
第三步,ETL3实现从数据仓库到数据集市的数据抽取,当数据成功地从ODS加载到数据仓库后,ETL调度机制会启动从数据仓库到数据集市的抽取流程,从数据仓库抽取数据并加载到数据集市中;
第四步,BI模型设计,包含数据库对象、数据库对象关系和包与立方体;其中,数据库对象,创建元数据模型的DM层数据库对象包括:区域单位维表、省单位维表、地市单位维表、单位维表、行业分类维表、行业分类关系、统计口径维表、全社会用电明细情况;
数据库对象关系,多个省、区域和地市单位维表形成单位维表,多个单位维表和统计口径维表形成全社会明细情况指标数据,多个行业分类维表和全社会明细情况指标数据形成行业分类维表;
‘包’与‘立方体’,基于‘包’下对用电分析空间中的查询对象进行即席查询、即席多维分析、在‘立方体’上进行查询分析;用电量分析所用的立方体基于‘包’的即席多维分析和按年度时间分区进行设计;
第五步,BI展现,用电量综合分析BI展现的报表,包括分地区历年、月用电量分析、分地区各行业用电量分析、分地区直供用电量分析、各行业历年、月用电分析、历年直供用电量分析、各行业直供用电量分析、历年用电量台账、分地区用电全口径综合分析、分地区用电直供综合分析、分地市用电综合分析。
CN201510383691.2A 2015-07-03 2015-07-03 一种基于数据分析系统下的海量用电数据挖掘方法 Pending CN104915456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510383691.2A CN104915456A (zh) 2015-07-03 2015-07-03 一种基于数据分析系统下的海量用电数据挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510383691.2A CN104915456A (zh) 2015-07-03 2015-07-03 一种基于数据分析系统下的海量用电数据挖掘方法

Publications (1)

Publication Number Publication Date
CN104915456A true CN104915456A (zh) 2015-09-16

Family

ID=54084519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510383691.2A Pending CN104915456A (zh) 2015-07-03 2015-07-03 一种基于数据分析系统下的海量用电数据挖掘方法

Country Status (1)

Country Link
CN (1) CN104915456A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243473A (zh) * 2015-09-24 2016-01-13 南京华盾电力信息安全测评有限公司 一种基于bi分析的电力市场营销决策系统数据的展示方法
CN105843880A (zh) * 2016-03-21 2016-08-10 中国矿业大学 一种基于多数据集市的煤矿多维数据仓库系统
CN106354794A (zh) * 2016-08-26 2017-01-25 成都汉康信息产业有限公司 一种数据分析处理系统
CN106484520A (zh) * 2016-10-17 2017-03-08 北京集奥聚合科技有限公司 一种基于数据血缘关系的智能调度方法及系统
CN106570176A (zh) * 2016-11-10 2017-04-19 华能澜沧江新能源有限公司 发电企业电量统计报送的方法及电量管理系统
CN107491563A (zh) * 2017-09-28 2017-12-19 深圳市爱贝信息技术有限公司 面向账期结算的数据处理方法及系统
CN107657046A (zh) * 2017-09-30 2018-02-02 广东美的制冷设备有限公司 空调器bi报表系统、空调器bi报表的生成方法和存储介质
CN108920609A (zh) * 2018-06-28 2018-11-30 南方电网科学研究院有限责任公司 基于多维度分析的电力实验数据挖掘方法
CN109189764A (zh) * 2018-09-20 2019-01-11 北京桃花岛信息技术有限公司 一种基于Hive的高校数据仓库分层设计方法
CN109685370A (zh) * 2018-12-24 2019-04-26 国网上海市电力公司 一种基于电力大客户用电特征的能效诊断分析系统
CN109710616A (zh) * 2018-12-29 2019-05-03 郑州春泉节能股份有限公司 一种数据的存放方法
CN110212525A (zh) * 2019-06-13 2019-09-06 国网上海市电力公司 一种电网子区域全口径负荷计算方法和系统
CN110619003A (zh) * 2019-08-06 2019-12-27 南京南瑞信息通信科技有限公司 电力数据筛选系统
CN111104394A (zh) * 2019-12-31 2020-05-05 新奥数能科技有限公司 一种能源数据仓库系统构建方法及装置
CN111159154A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种能源数据仓库系统
CN111160865A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种工作流管理方法及装置
CN111861016A (zh) * 2020-07-24 2020-10-30 北京合众伟奇科技有限公司 电网预测售电量的汇总分析管理方法及管理系统
CN112084182A (zh) * 2020-09-10 2020-12-15 重庆富民银行股份有限公司 一种用于数据集市和数据仓库的数据建模方法
CN113064942A (zh) * 2020-11-03 2021-07-02 国网浙江省电力有限公司绍兴供电公司 一种基于电力大数据分析的环保监测系统及方法
CN113821540A (zh) * 2021-09-23 2021-12-21 江苏方天电力技术有限公司 一种基于规则引擎用电异常研判的实现方法和装置
CN117150348A (zh) * 2023-10-30 2023-12-01 宁德时代新能源科技股份有限公司 电池外损数据处理方法、系统、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295575A1 (en) * 2010-05-28 2011-12-01 Levine David A System and method for geomatic modeling of a diverse resource base across broad landscapes
CN104680313A (zh) * 2015-02-10 2015-06-03 北京国电通网络技术有限公司 城市高耗能企业监测筛选方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295575A1 (en) * 2010-05-28 2011-12-01 Levine David A System and method for geomatic modeling of a diverse resource base across broad landscapes
CN104680313A (zh) * 2015-02-10 2015-06-03 北京国电通网络技术有限公司 城市高耗能企业监测筛选方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩在兴: "电力行业营销数据的集成分析与Bl前端展现研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243473A (zh) * 2015-09-24 2016-01-13 南京华盾电力信息安全测评有限公司 一种基于bi分析的电力市场营销决策系统数据的展示方法
CN105843880A (zh) * 2016-03-21 2016-08-10 中国矿业大学 一种基于多数据集市的煤矿多维数据仓库系统
CN106354794A (zh) * 2016-08-26 2017-01-25 成都汉康信息产业有限公司 一种数据分析处理系统
CN106484520A (zh) * 2016-10-17 2017-03-08 北京集奥聚合科技有限公司 一种基于数据血缘关系的智能调度方法及系统
CN106570176A (zh) * 2016-11-10 2017-04-19 华能澜沧江新能源有限公司 发电企业电量统计报送的方法及电量管理系统
CN107491563A (zh) * 2017-09-28 2017-12-19 深圳市爱贝信息技术有限公司 面向账期结算的数据处理方法及系统
CN107657046A (zh) * 2017-09-30 2018-02-02 广东美的制冷设备有限公司 空调器bi报表系统、空调器bi报表的生成方法和存储介质
CN108920609A (zh) * 2018-06-28 2018-11-30 南方电网科学研究院有限责任公司 基于多维度分析的电力实验数据挖掘方法
CN109189764A (zh) * 2018-09-20 2019-01-11 北京桃花岛信息技术有限公司 一种基于Hive的高校数据仓库分层设计方法
CN109685370A (zh) * 2018-12-24 2019-04-26 国网上海市电力公司 一种基于电力大客户用电特征的能效诊断分析系统
CN109710616A (zh) * 2018-12-29 2019-05-03 郑州春泉节能股份有限公司 一种数据的存放方法
CN109710616B (zh) * 2018-12-29 2021-10-22 郑州春泉节能股份有限公司 一种数据的存放方法
CN110212525A (zh) * 2019-06-13 2019-09-06 国网上海市电力公司 一种电网子区域全口径负荷计算方法和系统
CN110619003A (zh) * 2019-08-06 2019-12-27 南京南瑞信息通信科技有限公司 电力数据筛选系统
CN111104394A (zh) * 2019-12-31 2020-05-05 新奥数能科技有限公司 一种能源数据仓库系统构建方法及装置
CN111159154A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种能源数据仓库系统
CN111160865A (zh) * 2019-12-31 2020-05-15 新奥数能科技有限公司 一种工作流管理方法及装置
CN111861016A (zh) * 2020-07-24 2020-10-30 北京合众伟奇科技有限公司 电网预测售电量的汇总分析管理方法及管理系统
CN111861016B (zh) * 2020-07-24 2024-03-29 北京合众伟奇科技股份有限公司 电网预测售电量的汇总分析管理方法及管理系统
CN112084182A (zh) * 2020-09-10 2020-12-15 重庆富民银行股份有限公司 一种用于数据集市和数据仓库的数据建模方法
CN113064942A (zh) * 2020-11-03 2021-07-02 国网浙江省电力有限公司绍兴供电公司 一种基于电力大数据分析的环保监测系统及方法
CN113821540A (zh) * 2021-09-23 2021-12-21 江苏方天电力技术有限公司 一种基于规则引擎用电异常研判的实现方法和装置
CN117150348A (zh) * 2023-10-30 2023-12-01 宁德时代新能源科技股份有限公司 电池外损数据处理方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN104915456A (zh) 一种基于数据分析系统下的海量用电数据挖掘方法
WO2022012285A1 (zh) 一种多源融合的多平台能源信息管理系统
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN107145586B (zh) 一种基于电力营销数据的标签产出方法和装置
CN110851667B (zh) 一种多源头大量数据的整合分析方法及工具
CN105023196A (zh) 充电站充电交易数据的分析方法及装置
CN113064866B (zh) 一种电力业务数据整合系统
CN113872813B (zh) 一种载波通信设备全生命周期管理方法及系统
Lv et al. Design of cloud data warehouse and its application in smart grid
CN103853838A (zh) 一种数据处理方法和装置
CN115423429A (zh) 基于图像和声音信息的多模态一体化配网运营系统
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN112948353B (zh) 一种应用于DAstudio的数据分析方法、系统及存储介质
CN113722564A (zh) 基于空间图卷积能源物资供应链的可视化方法及装置
Sutthichaimethee et al. Model of environmental problems priority arising from the use of environmental and natural resources in machinery sectors of Thailand
CN113743772A (zh) 基于KingMap GIS的智慧城市管理方法、系统及设备
CN110568855A (zh) 一种基于大数据计算引擎的无人机可视化飞行管理系统及方法
Escobedo et al. Business intelligence and data analytics (BI&DA) to support the operation of smart grid
CN106127602A (zh) 一种基于约简离群点算法的窃电辨识方法及装置
Baransel et al. Architecturing business intelligence for SMEs
Rumondor et al. Designing an Online Analytical Processing (OLAP) for Project Feasibility Study in Siau Tagulandang Biaro District
CN107292765A (zh) 一种基于聚类算法的用户用电行为监测方法
CN106021624A (zh) 一种etl模型生成方法及装置
Fang et al. Research on computer information processing technology in the “big data” era
Weiguo et al. Research on the application of smart logistics system based on big data: Taking jingdong logistics as an example

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication