CN105427184A - 一种基于Hadoop的用电反馈实现方法 - Google Patents

一种基于Hadoop的用电反馈实现方法 Download PDF

Info

Publication number
CN105427184A
CN105427184A CN201510749189.9A CN201510749189A CN105427184A CN 105427184 A CN105427184 A CN 105427184A CN 201510749189 A CN201510749189 A CN 201510749189A CN 105427184 A CN105427184 A CN 105427184A
Authority
CN
China
Prior art keywords
data
feedback
electricity consumption
cloud platform
hadoop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510749189.9A
Other languages
English (en)
Inventor
刘琦
蔡卫东
肖博
沈剑
付章杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201510749189.9A priority Critical patent/CN105427184A/zh
Publication of CN105427184A publication Critical patent/CN105427184A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P80/00—Climate change mitigation technologies for sector-wide applications
    • Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明所提供的一种基于Hadoop的用电反馈实现方法,结合云平台进行大数据分析等，主要通过电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤实现本方法。能够高效地处理数据，稳定地传输数据，及时地、人性化地反馈数据，高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况，并对自身的用电行为进行改善，节电的同时不仅给自身带来收益，也积极地为节能减排做出一定的贡献。

Description

一种基于Hadoop的用电反馈实现方法
技术领域
本发明涉及云计算技术、无线传感网技术，属于大数据处理领域，更具体地说，是一种基于Hadoop的用电反馈实现方法。
背景技术
目前国家修订了《中华人民共和国节约能源法》，并连续在“十一五”和“十二五”两个五年计划中提出节能减排规划，要求“到2015年底，单位工业增加值能耗比2010年下降21%左右”。根据2014年1月国家能源局发布的统计数据，2013年我国全社会用电量达到53223亿千瓦时，同比增长7.5%，工业产业用电量39143亿千瓦时，同比增长7.0%。而我国目前在节能减排这一块还是遇到了很多难题。
我国的政策以及在节能减排上所遇到的难题可以看出，节能减排是目前我国的当务之急，然而要从根本上解决这个问题，就要在企业、工厂以及个人层面形成节能减排的意识。除此意外还有诸多技术上的问题，如数据处理的效率，数据传输的稳定性，数据反馈及时性与数据预测的准确性。
发明内容
本发明的目的是提供一种基于Hadoop的用电反馈实现方法，解决了传统数据处理过程中效率低下，性能差的缺点。本方法注重考虑用电反馈过程中人的因素，利用个性化反馈手段激励用户节电行为。与现有的用电反馈方案仅强调反馈数据的采集粒度和准确度不同，同时也关注用户真正需要的反馈内容和用户倾向接受的反馈方式，从而从长期影响用户行为的转变，达到节约能源、提高能效这一根本目的.
技术方案：
本发明所提供的一种基于Hadoop的用电反馈实现方法,主要由电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤组成。
步骤1：电力数据采集
我们的采集工作通过自主研发的采集节点实现，该采集节点基于电磁感应原理，以非侵入式的方式，获取包括感应电压和感应电流在内的电力数据，相比智能电表，优势在于成本低，安装简易。其次，通过WIFI技术，进行数据的传输；
步骤2：数据的汇聚
数据的汇聚工作通过智能网关实现，所有的采集节点连接到智能网关，如果数据逐条的形式向服务器发送，会给服务器带来很大的压力，因此，采用智能网关将采集节点上传的数据传输到的智能网关；
步骤3：数据的转发
上传到网关的数据，先对对其进行存储，当数据量达到一定程度时，对数据统一编码，并上传到由Hadoop搭建的云平台；
步骤4：数据的存储
数据上传到云平台后，云平台接收数据，并且将数据存储在HadoopDistributedFileSystem(HDFS)中；
步骤5：数据的处理
将存储到HDFS中的数据，通过由MapReduce编写的程序，进行数据的处理，如：分类聚类等，并且将最终结果存储到数据库中；
步骤6：数据的展示与反馈
将存储到数据库的数据有选择的地读出来，以图形、表格等方式展示到相应的网站；同时定期向有需要的用户进行反馈；
步骤7：用电预测
通过一系列的技术手段，如：神经网络、支持向量回归等手段，对用户将来的用电量进行预测，同时可以通知告速用户哪些品牌的电器费电等。
有益效果
本方法能够高效地处理数据，稳定地传输数据，及时地、人性化地反馈数据，高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况，并对自身的用电行为进行改善，节电的同时不仅给自身带来收益，也积极地为节能减排做出一定的贡献。附图说明
图1为一种基于Hadoop的用电反馈实现方法结构图。
图2为一种基于Hadoop的用电反馈实现方法实现的流程图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。以下结合某实验室实际部署情况为例来说明本发明。
实验环境：如图1以所示，包含多个采集节点、一个智能网关、一个Web服务器、一个云平台、以及一个MySql数据库。
进一步的来说，所述的云平台由1个主节点和8个从节点组成，8个从节点实际是通过Oracl公司的OracleVMVirtualBox软件建立起来的8台虚拟机。
具体步骤为图2中所述的7个步骤：
（1）电力数据的采集
多个采集节点,自动连接智能网关，网关的IP地址为192.168.10.1，,采集节点的地址为192.168.10.X;具体来说如：192.168.10.2等。节点基于电磁感应原理，分别工作，具体原理为：将采集节点基本固定在电源线的表面，采集实时的感应电压和感应电流，通过WIFI的方式，与智能网关进行socket通信，节点自身作为发送端，将实时数据打包传输给网关；
（2）数据的汇聚
采集节点，按一个时间间隔向智能网关发送数据，网关通过socket接收端，实时接收数据，网关与各个采集节点的通信采用多线程的形式，提高了数据传输的效率。网关接收到数据后，进行本地存储，当前网关的存储空间为10M；
（3）数据的转发
当网关中，存储的数据量达到一定阈值时，如阈值为80%，也就是8M空间时，数据将自动通过互联网或者局域网发送到云平台。并且，数据在发送之前经过json编码，大大节约了网络带宽，很大程度避免了网络拥塞并且整个传输过程是可靠的，一旦传输出错，会触发出错重传机智，第二次向云平台发送给数据；
（4）数据的存储
云平台从网关接收数据，进行分布式的存储，实质上是自动的将数据传输到8个从节点，并且存储在节点拥有的Memcached数据库中，大大介绍了数据的延迟，同时又定时写入HDFS,并且形成备份，防止数据的丢失。
（5）数据的处理
数据的处理工作，主要是由多个基于MapReduce编写，大数据处理程序进行，分布式的运行在8个从节点上，大大节约了数据处理数据的时间，同时也提升了数据的可靠性，当有节点运行任务失败，其余节点，会再次运行该任务。处理结束，将有效数据写入到MySql数据库。
（6）数据的展示与反馈
数据的展示工作将由我们的网站完成，网站将MapReduce处理完的数据从数据库中读出，当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容，我们将以邮件、微博、微信公众号等方式，向用户定期反馈。
（7）数据的预测
数据的预测将基于云平台，通过数据预处理、数据分类、数据组合重构等手段，形成新的训练集，我们通过支持向量回归建模，用测试集进行训练，通过粒子群算法找个模型的适合参数，然后将数据的每天定时通过预测模型进行用户用电的预测，以及电器耗电量的预测。
工作将由我们的网站完成，网站将MapReduce处理完的数据从数据库中读出，当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容，我们将以邮件、微博、微信公众号等方式，向用户定期反馈。

Claims (1)

1.一种基于Hadoop的用电反馈实现方法，其特征在于，包括以下步骤：
步骤1：电力数据采集
通过采集节点实现，该采集节点基于电磁感应原理，以非侵入式的方式，获取包括感应电压和感应电流在内的电力数据，通过WIFI技术，进行数据的传输；
步骤2：数据的汇聚
数据的汇聚工作通过智能网关实现，所有的采集节点连接到智能网关，如果数据逐条的形式向服务器发送，会给服务器带来很大的压力，因此，采用智能网关将采集节点上传的数据传输到云平台；
步骤3：数据的转发
上传到网关的数据，先对其进行存储，当数据量达到一定程度时，对数据统一编码，并上传到由Hadoop搭建的云平台；
步骤4：数据的存储
数据上传到云平台后，云平台接收数据，并且将数据存储在HDPS中；
步骤5：数据的处理
将存储到HDFS中的数据，通过由MapReduce编写的程序，进行数据的处理，并且将最终结果存储到数据库中；
步骤6：数据的展示与反馈
将存储到数据库的数据有选择的地读出来，以图形、表格方式展示到相应的网站；同时定期向有需要的用户进行反馈；
步骤7：用电预测
通过神经网络、支持向量回归手段，对用户将来的用电量进行预测，同时可以通知告速用户哪些品牌的电器费电等。
CN201510749189.9A 2015-11-06 2015-11-06 一种基于Hadoop的用电反馈实现方法 Pending CN105427184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510749189.9A CN105427184A (zh) 2015-11-06 2015-11-06 一种基于Hadoop的用电反馈实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510749189.9A CN105427184A (zh) 2015-11-06 2015-11-06 一种基于Hadoop的用电反馈实现方法

Publications (1)

Publication Number Publication Date
CN105427184A true CN105427184A (zh) 2016-03-23

Family

ID=55505366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510749189.9A Pending CN105427184A (zh) 2015-11-06 2015-11-06 一种基于Hadoop的用电反馈实现方法

Country Status (1)

Country Link
CN (1) CN105427184A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022521A (zh) * 2016-05-19 2016-10-12 四川大学 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法
CN109688177A (zh) * 2017-10-18 2019-04-26 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN109873860A (zh) * 2018-12-31 2019-06-11 中国科学院软件研究所 一种卫星网络资源信息存储方法、发现方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955977A (zh) * 2012-11-16 2013-03-06 国家电气设备检测与工程能效测评中心（武汉） 一种基于云技术的能效服务方法及其能效服务平台
CN104361110A (zh) * 2014-12-01 2015-02-18 广东电网有限责任公司清远供电局 海量用电数据分析系统及其实时计算、数据挖掘方法
CN104408667A (zh) * 2014-11-20 2015-03-11 深圳供电局有限公司 一种电能质量综合评估的方法和系统
CN104468220A (zh) * 2014-12-11 2015-03-25 汤亿则 电力通信网预警管控平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955977A (zh) * 2012-11-16 2013-03-06 国家电气设备检测与工程能效测评中心（武汉） 一种基于云技术的能效服务方法及其能效服务平台
CN104408667A (zh) * 2014-11-20 2015-03-11 深圳供电局有限公司 一种电能质量综合评估的方法和系统
CN104361110A (zh) * 2014-12-01 2015-02-18 广东电网有限责任公司清远供电局 海量用电数据分析系统及其实时计算、数据挖掘方法
CN104468220A (zh) * 2014-12-11 2015-03-25 汤亿则 电力通信网预警管控平台

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022521A (zh) * 2016-05-19 2016-10-12 四川大学 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法
CN106022521B (zh) * 2016-05-19 2020-05-19 四川大学 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法
CN109688177A (zh) * 2017-10-18 2019-04-26 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN109688177B (zh) * 2017-10-18 2022-02-25 中国移动通信有限公司研究院 一种数据同步方法及装置、设备、存储介质
CN109873860A (zh) * 2018-12-31 2019-06-11 中国科学院软件研究所 一种卫星网络资源信息存储方法、发现方法及系统

Similar Documents

Publication Publication Date Title
Savi et al. Short-term energy consumption forecasting at the edge: A federated learning approach
US11438413B2 (en) Intelligent data storage and management for cloud computing
CN103824442B (zh) 一种基于电力物联网的用电信息实时查询系统
CN104361110B (zh) 海量用电数据分析系统及其实时计算、数据挖掘方法
Rusitschka et al. Smart grid data cloud: A model for utilizing cloud computing in the smart grid domain
Rotger-Griful et al. Implementation of a building energy management system for residential demand response
CN107078543A (zh) 用于远程电负载管理的方法和装置
CN103955509A (zh) 一种海量电力计量数据的快速检索方法
CN105939376A (zh) 一种基于云计算的智能电表管理系统及方法
CN106850249A (zh) 基于大数据分析的通信网络预警分析系统
CN105825462A (zh) 基于物联网和云计算的智慧城市信息系统
CN103955510A (zh) 基于etl云平台上传的海量电力营销数据整合方法
CN105427184A (zh) 一种基于Hadoop的用电反馈实现方法
CN109685377A (zh) 推荐方法及装置、电子设备及存储介质
Akrivopoulos et al. A fog computing-oriented, highly scalable iot framework for monitoring public educational buildings
CN105162414A (zh) 一种基于时序数据库平台的光伏电站功率预测系统
CN111091240A (zh) 一种公共机构电力能效监测系统及服务方法
CN114297290A (zh) 一种电力营销数据共享应用平台
Tripathi et al. Data-driven optimizations in IoT: A new frontier of challenges and opportunities
Lee et al. A big data management system for energy consumption prediction models
Kim et al. Development of the big data management system on national virtual power plant
Choi et al. Implementation of the big data management system for demand side energy management
CN204790999U (zh) 一种工业大数据收集和处理系统
Mor et al. EMPOWERING, a smart Big Data framework for sustainable electricity suppliers
CN116366692A (zh) 一种高性能智能边缘终端系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323