CN105427184A - 一种基于Hadoop的用电反馈实现方法 - Google Patents
一种基于Hadoop的用电反馈实现方法 Download PDFInfo
- Publication number
- CN105427184A CN105427184A CN201510749189.9A CN201510749189A CN105427184A CN 105427184 A CN105427184 A CN 105427184A CN 201510749189 A CN201510749189 A CN 201510749189A CN 105427184 A CN105427184 A CN 105427184A
- Authority
- CN
- China
- Prior art keywords
- data
- feedback
- electricity consumption
- cloud platform
- hadoop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000005611 electricity Effects 0.000 title claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000005674 electromagnetic induction Effects 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013500 data storage Methods 0.000 abstract description 2
- 230000002776 aggregation Effects 0.000 abstract 1
- 238000004220 aggregation Methods 0.000 abstract 1
- 230000006399 behavior Effects 0.000 abstract 1
- 238000007405 data analysis Methods 0.000 abstract 1
- 230000000737 periodic effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P80/00—Climate change mitigation technologies for sector-wide applications
- Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明所提供的一种基于Hadoop的用电反馈实现方法,结合云平台进行大数据分析等,主要通过电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤实现本方法。能够高效地处理数据,稳定地传输数据,及时地、人性化地反馈数据,高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况,并对自身的用电行为进行改善,节电的同时不仅给自身带来收益,也积极地为节能减排做出一定的贡献。
Description
技术领域
本发明涉及云计算技术、无线传感网技术,属于大数据处理领域,更具体地说,是一种基于Hadoop的用电反馈实现方法。
背景技术
目前国家修订了《中华人民共和国节约能源法》,并连续在“十一五”和“十二五”两个五年计划中提出节能减排规划,要求“到2015年底,单位工业增加值能耗比2010年下降21%左右”。根据2014年1月国家能源局发布的统计数据,2013年我国全社会用电量达到53223亿千瓦时,同比增长7.5%,工业产业用电量39143亿千瓦时,同比增长7.0%。而我国目前在节能减排这一块还是遇到了很多难题。
我国的政策以及在节能减排上所遇到的难题可以看出,节能减排是目前我国的当务之急,然而要从根本上解决这个问题,就要在企业、工厂以及个人层面形成节能减排的意识。除此意外还有诸多技术上的问题,如数据处理的效率,数据传输的稳定性,数据反馈及时性与数据预测的准确性。
发明内容
本发明的目的是提供一种基于Hadoop的用电反馈实现方法,解决了传统数据处理过程中效率低下,性能差的缺点。本方法注重考虑用电反馈过程中人的因素,利用个性化反馈手段激励用户节电行为。与现有的用电反馈方案仅强调反馈数据的采集粒度和准确度不同,同时也关注用户真正需要的反馈内容和用户倾向接受的反馈方式,从而从长期影响用户行为的转变,达到节约能源、提高能效这一根本目的.
技术方案:
本发明所提供的一种基于Hadoop的用电反馈实现方法,主要由电力数据采集、数据汇聚、数据转发、数据存储、数据处理、数据展示与反馈、用电预测等7个步骤组成。
步骤1:电力数据采集
我们的采集工作通过自主研发的采集节点实现,该采集节点基于电磁感应原理,以非侵入式的方式,获取包括感应电压和感应电流在内的电力数据,相比智能电表,优势在于成本低,安装简易。其次,通过WIFI技术,进行数据的传输;
步骤2:数据的汇聚
数据的汇聚工作通过智能网关实现,所有的采集节点连接到智能网关,如果数据逐条的形式向服务器发送,会给服务器带来很大的压力,因此,采用智能网关将采集节点上传的数据传输到的智能网关;
步骤3:数据的转发
上传到网关的数据,先对对其进行存储,当数据量达到一定程度时,对数据统一编码,并上传到由Hadoop搭建的云平台;
步骤4:数据的存储
数据上传到云平台后,云平台接收数据,并且将数据存储在HadoopDistributedFileSystem(HDFS)中;
步骤5:数据的处理
将存储到HDFS中的数据,通过由MapReduce编写的程序,进行数据的处理,如:分类聚类等,并且将最终结果存储到数据库中;
步骤6:数据的展示与反馈
将存储到数据库的数据有选择的地读出来,以图形、表格等方式展示到相应的网站;同时定期向有需要的用户进行反馈;
步骤7:用电预测
通过一系列的技术手段,如:神经网络、支持向量回归等手段,对用户将来的用电量进行预测,同时可以通知告速用户哪些品牌的电器费电等。
有益效果
本方法能够高效地处理数据,稳定地传输数据,及时地、人性化地反馈数据,高准确性地预测数据。够让企业用户或者个人清晰地了解到自身的用电情况,并对自身的用电行为进行改善,节电的同时不仅给自身带来收益,也积极地为节能减排做出一定的贡献。附图说明
图1为一种基于Hadoop的用电反馈实现方法结构图。
图2为一种基于Hadoop的用电反馈实现方法实现的流程图。
具体实施方式
下面将参考附图并结合实施例,来详细说明本发明。以下结合某实验室实际部署情况为例来说明本发明。
实验环境:如图1以所示,包含多个采集节点、一个智能网关、一个Web服务器、一个云平台、以及一个MySql数据库。
进一步的来说,所述的云平台由1个主节点和8个从节点组成,8个从节点实际是通过Oracl公司的OracleVMVirtualBox软件建立起来的8台虚拟机。
具体步骤为图2中所述的7个步骤:
(1)电力数据的采集
多个采集节点,自动连接智能网关,网关的IP地址为192.168.10.1,,采集节点的地址为192.168.10.X;具体来说如:192.168.10.2等。节点基于电磁感应原理,分别工作,具体原理为:将采集节点基本固定在电源线的表面,采集实时的感应电压和感应电流,通过WIFI的方式,与智能网关进行socket通信,节点自身作为发送端,将实时数据打包传输给网关;
(2)数据的汇聚
采集节点,按一个时间间隔向智能网关发送数据,网关通过socket接收端,实时接收数据,网关与各个采集节点的通信采用多线程的形式,提高了数据传输的效率。网关接收到数据后,进行本地存储,当前网关的存储空间为10M;
(3)数据的转发
当网关中,存储的数据量达到一定阈值时,如阈值为80%,也就是8M空间时,数据将自动通过互联网或者局域网发送到云平台。并且,数据在发送之前经过json编码,大大节约了网络带宽,很大程度避免了网络拥塞并且整个传输过程是可靠的,一旦传输出错,会触发出错重传机智,第二次向云平台发送给数据;
(4)数据的存储
云平台从网关接收数据,进行分布式的存储,实质上是自动的将数据传输到8个从节点,并且存储在节点拥有的Memcached数据库中,大大介绍了数据的延迟,同时又定时写入HDFS,并且形成备份,防止数据的丢失。
(5)数据的处理
数据的处理工作,主要是由多个基于MapReduce编写,大数据处理程序进行,分布式的运行在8个从节点上,大大节约了数据处理数据的时间,同时也提升了数据的可靠性,当有节点运行任务失败,其余节点,会再次运行该任务。处理结束,将有效数据写入到MySql数据库。
(6)数据的展示与反馈
数据的展示工作将由我们的网站完成,网站将MapReduce处理完的数据从数据库中读出,当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容,我们将以邮件、微博、微信公众号等方式,向用户定期反馈。
(7)数据的预测
数据的预测将基于云平台,通过数据预处理、数据分类、数据组合重构等手段,形成新的训练集,我们通过支持向量回归建模,用测试集进行训练,通过粒子群算法找个模型的适合参数,然后将数据的每天定时通过预测模型进行用户用电的预测,以及电器耗电量的预测。
工作将由我们的网站完成,网站将MapReduce处理完的数据从数据库中读出,当用户登陆网站时以图形、表格等形式展示该用户的用电量。用户可以定制反馈的内容,我们将以邮件、微博、微信公众号等方式,向用户定期反馈。
Claims (1)
1.一种基于Hadoop的用电反馈实现方法,其特征在于,包括以下步骤:
步骤1:电力数据采集
通过采集节点实现,该采集节点基于电磁感应原理,以非侵入式的方式,获取包括感应电压和感应电流在内的电力数据,通过WIFI技术,进行数据的传输;
步骤2:数据的汇聚
数据的汇聚工作通过智能网关实现,所有的采集节点连接到智能网关,如果数据逐条的形式向服务器发送,会给服务器带来很大的压力,因此,采用智能网关将采集节点上传的数据传输到云平台;
步骤3:数据的转发
上传到网关的数据,先对其进行存储,当数据量达到一定程度时,对数据统一编码,并上传到由Hadoop搭建的云平台;
步骤4:数据的存储
数据上传到云平台后,云平台接收数据,并且将数据存储在HDPS中;
步骤5:数据的处理
将存储到HDFS中的数据,通过由MapReduce编写的程序,进行数据的处理,并且将最终结果存储到数据库中;
步骤6:数据的展示与反馈
将存储到数据库的数据有选择的地读出来,以图形、表格方式展示到相应的网站;同时定期向有需要的用户进行反馈;
步骤7:用电预测
通过神经网络、支持向量回归手段,对用户将来的用电量进行预测,同时可以通知告速用户哪些品牌的电器费电等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510749189.9A CN105427184A (zh) | 2015-11-06 | 2015-11-06 | 一种基于Hadoop的用电反馈实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510749189.9A CN105427184A (zh) | 2015-11-06 | 2015-11-06 | 一种基于Hadoop的用电反馈实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105427184A true CN105427184A (zh) | 2016-03-23 |
Family
ID=55505366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510749189.9A Pending CN105427184A (zh) | 2015-11-06 | 2015-11-06 | 一种基于Hadoop的用电反馈实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105427184A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022521A (zh) * | 2016-05-19 | 2016-10-12 | 四川大学 | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 |
CN109688177A (zh) * | 2017-10-18 | 2019-04-26 | 中国移动通信有限公司研究院 | 一种数据同步方法及装置、设备、存储介质 |
CN109873860A (zh) * | 2018-12-31 | 2019-06-11 | 中国科学院软件研究所 | 一种卫星网络资源信息存储方法、发现方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102955977A (zh) * | 2012-11-16 | 2013-03-06 | 国家电气设备检测与工程能效测评中心(武汉) | 一种基于云技术的能效服务方法及其能效服务平台 |
CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
CN104408667A (zh) * | 2014-11-20 | 2015-03-11 | 深圳供电局有限公司 | 一种电能质量综合评估的方法和系统 |
CN104468220A (zh) * | 2014-12-11 | 2015-03-25 | 汤亿则 | 电力通信网预警管控平台 |
-
2015
- 2015-11-06 CN CN201510749189.9A patent/CN105427184A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102955977A (zh) * | 2012-11-16 | 2013-03-06 | 国家电气设备检测与工程能效测评中心(武汉) | 一种基于云技术的能效服务方法及其能效服务平台 |
CN104408667A (zh) * | 2014-11-20 | 2015-03-11 | 深圳供电局有限公司 | 一种电能质量综合评估的方法和系统 |
CN104361110A (zh) * | 2014-12-01 | 2015-02-18 | 广东电网有限责任公司清远供电局 | 海量用电数据分析系统及其实时计算、数据挖掘方法 |
CN104468220A (zh) * | 2014-12-11 | 2015-03-25 | 汤亿则 | 电力通信网预警管控平台 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022521A (zh) * | 2016-05-19 | 2016-10-12 | 四川大学 | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 |
CN106022521B (zh) * | 2016-05-19 | 2020-05-19 | 四川大学 | 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法 |
CN109688177A (zh) * | 2017-10-18 | 2019-04-26 | 中国移动通信有限公司研究院 | 一种数据同步方法及装置、设备、存储介质 |
CN109688177B (zh) * | 2017-10-18 | 2022-02-25 | 中国移动通信有限公司研究院 | 一种数据同步方法及装置、设备、存储介质 |
CN109873860A (zh) * | 2018-12-31 | 2019-06-11 | 中国科学院软件研究所 | 一种卫星网络资源信息存储方法、发现方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Savi et al. | Short-term energy consumption forecasting at the edge: A federated learning approach | |
US11438413B2 (en) | Intelligent data storage and management for cloud computing | |
CN103824442B (zh) | 一种基于电力物联网的用电信息实时查询系统 | |
CN104361110B (zh) | 海量用电数据分析系统及其实时计算、数据挖掘方法 | |
Rusitschka et al. | Smart grid data cloud: A model for utilizing cloud computing in the smart grid domain | |
Rotger-Griful et al. | Implementation of a building energy management system for residential demand response | |
CN103761309A (zh) | 一种运营数据处理方法及系统 | |
CN105939376A (zh) | 一种基于云计算的智能电表管理系统及方法 | |
CN102932447A (zh) | 配电室远程数据采集分析系统 | |
WO2016049369A1 (en) | Utilizing machine learning to identify non-technical loss | |
CN106850249A (zh) | 基于大数据分析的通信网络预警分析系统 | |
Akrivopoulos et al. | A fog computing-oriented, highly scalable iot framework for monitoring public educational buildings | |
CN108400589B (zh) | 一种基于石墨烯的云电源天然气生态系统 | |
CN105427184A (zh) | 一种基于Hadoop的用电反馈实现方法 | |
CN109245310A (zh) | 一种基于实时数据库的电力监控系统 | |
CN109697570A (zh) | 变电站二次设备状态评估方法、系统及设备 | |
CN113515514A (zh) | 基于云边协同的多级边缘计算体系架构及其实现方法 | |
CN105162414A (zh) | 一种基于时序数据库平台的光伏电站功率预测系统 | |
Tripathi et al. | Data-driven optimizations in IoT: A new frontier of challenges and opportunities | |
Papageorgas et al. | Wireless Sensor Networking architecture of Polytropon: An open source scalable platform for the smart grid | |
CN114297290A (zh) | 一种电力营销数据共享应用平台 | |
Lee et al. | A big data management system for energy consumption prediction models | |
Choi et al. | Implementation of the big data management system for demand side energy management | |
Kim et al. | Development of the big data management system on national virtual power plant | |
Mor et al. | EMPOWERING, a smart Big Data framework for sustainable electricity suppliers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160323 |