CN106022664A - 基于大数据分析的网络智慧节电监控方法 - Google Patents
基于大数据分析的网络智慧节电监控方法 Download PDFInfo
- Publication number
- CN106022664A CN106022664A CN201610538954.7A CN201610538954A CN106022664A CN 106022664 A CN106022664 A CN 106022664A CN 201610538954 A CN201610538954 A CN 201610538954A CN 106022664 A CN106022664 A CN 106022664A
- Authority
- CN
- China
- Prior art keywords
- data
- electricity consumption
- kmin
- user
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 238000007405 data analysis Methods 0.000 title claims abstract description 16
- 230000005611 electricity Effects 0.000 claims abstract description 123
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 19
- 230000002068 genetic effect Effects 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 238000013079 data visualisation Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 8
- 206010008190 Cerebrovascular accident Diseases 0.000 claims description 7
- 208000006011 Stroke Diseases 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 244000144992 flock Species 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract description 2
- 238000010219 correlation analysis Methods 0.000 abstract 1
- 238000005265 energy consumption Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000007418 data mining Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Signal Processing (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computer Networks & Wireless Communication (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
基于大数据分析的网络智慧节电监控方法，属于电表监控分析领域，用于解决对于电表数据监测，并实现关联分析的问题，技术要点是：云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map‑Reduce模型改进的k‑means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。效果是：该节电监控与分析方法实现了用户用电情况的可视化，并对用户用电情况的分析，给出用户用电策略，使用户高效智能用电，节约能耗。
Description
技术领域
本发明属于电表监控分析领域，涉及云计算技术，是一种基于Map-Reduce模型改进的k-means数据挖掘算法和遗传算法的智慧节电监控与用电行为分析方法。
背景技术
当前我国经济逐步从注重经济增长逐步向注重经济增长方式转变，节能减排和低碳经济逐步被人们所重视，大量节能产品顺势而生，但其节能效果并不能直观的体现给用户。
安装智慧电表是解决智慧节电监控的有效途径。
智慧电表对电力数据的计量是双向的，即用户可以参与到电能管理的工作范围之内，积极调控与自己相关电表的数据信息，实现用户做主计量调控电表数据，实现智慧节电监控。
但是，传统的智慧电表监控智慧用电仍然存在以下几点不足：
(1)智慧电表本身数据的展示有空间和时间的局限——必须由网线将数据采集器连至电脑才能展示，不便于人们随时随地的监控用电数据。
(2)智慧电表只能储存和监控用户数据，并不能根据用户用电行为来进行有效的分析，使用户高效智能用电，节约能耗。
发明内容
本发明的目的是提供一种基于云计算的智慧节电监控与分析系统，该节电监控与分析系统实现了用户用电情况的可视化，并对用户用电情况的分析，给出用户用电策略，使用户高效智能用电，节约能耗。
为实现上述目的，本发明的技术要点是：一种基于大数据分析的网络智慧节电监控方法，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
与现有技术相比，本发明的有益效果在于：
本发明的智慧节电监控与分析方法，由于采用电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。该技术方案，使得用户可以了解自己的用电行为间的关联规则，以及我们为用户设计的智能用电策略，可以有效的提高用户的用电效率，减少能耗，实现经济用电的目的。
附图说明
图1基于云计算的智慧节电监控与分析系统系统结构图；
图2基于云计算的用户用电行为分析流程；
图3数据采集流程图；
图4智慧电表的整体组成架构。
具体实施方式
下面将结合附图以及具体的实施例来详细说明本发明，为本发明的示意性实施及说明，用于解释本发明，但并不作为对本发明的限定。
实施例1：一种基于云计算的智慧节能电监控与分析系统，包括云端服务器，接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
如图1所示：采集器DLL通过USB接口与电脑连接，在电脑上进行相应配置，使DLL正常工作，通过设置DLL采集器，将采集到的数据定时存于PC上的指定目录中，之后利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中。利用PHP技术将服务器上数据库中的数据以图表形式在网页中呈现，达到数据可视化。
本实施例的数据分析技术实现如下：
如图2所示：用户根据自己的需要安装智慧电表，一个用户可以安装多个智慧电表，例如，一个大型用电工厂，由于机器电能消耗过大，可以在每个大型用电器上装一个智慧电表来监测耗能情况；一个家庭可以整体一家只装一个智慧电表，也可以选择他们需要具体监测的电器另外单独安装电表监测电器耗能情况。智慧电表采集相应的用电器的用电数据，将智慧电表采集到数据进行分布式储存，在云计算处理过程中采用基于Map-Reduce模型改进的k-means算法进行数据挖掘，k-means算法是一种属于划分方法的聚类算法，通常采用欧氏距离作为2个样本相似程度的评价指标，其基本思想是：随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
用电数据进行分析的方法是：
S1.智慧电表获取的用电数据以表格形式，csv文件类型传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式<ID，time，quantity>，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；
S2.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点；
S3.在Map任务点中，Map函数对标准用电数据格式<ID，time，quantity>进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，其中这个距离叫做欧式距离，最小距离记为Kmin；
S4.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式<Kmin，all>，其中最小距离Kmin是智慧电表聚类标志(在这里意思是指欧氏距离最小值是智慧代表的聚类标志)，all中包含智慧电表编号，数据采集时间，用电量；
S5.对产生的新数据集合按照最小距离Kmin(欧式距离最小值)，利用Partitioner函数进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
S6.利用Reduce函数不断计算最小距离Kmin(欧式距离最小值)的均值，从而获取最稳定的最小距离Kmin(欧式距离最小值)聚类均值中心点；
S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
而作为另一种实施例：
所述用电数据进行分析的方法是：
S1.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数；
S2.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，valuel>键值对，具体格式化为<UserlD，info>，其中：UserlD表示家庭用户ID，info为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量；
S3.Map函数对输入的家庭用户用电数据子集的每个记录<UserlD，info>进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin；Map函数生成并输出中间结果<key2，value2>对，其被定义为<kmin，info1>对，kmin表示该用户所属簇的标识，info1.包括家庭用户ID、房屋面积、家庭成员数、用电量信息；
S4.分区函数Partitioner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；
S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果<kmin，list<(inf01<userlD1…>)，(inf01<userlD2…>)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将<kmin，list>传递给Reduce函数，然后Reduce函数根据list值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；
S6.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据；
S7.对于第i个簇的数据集，重新进行格式化，产生key-value对<EC，list1>，其中EC为用户用电量，list1为用户其他信息，例如：用电时间，用电空间坐标信息，用户名等，划分数据集为数据子集，交由m个执行Map任务的节点处理：
S8.Map函数对输入的数据子集进行扫描，生成中间结果<EC，list1>，每个Map任务产生的中间结果将按照分区函数Partitioner按EC值划分为r个分区p1，p2，...，pr。同时Map任务分别对每个分区p1(1≤i≤r)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partitioner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
在该方法处理之后，可以进行挖掘，挖掘出该用户的用电行为关联规则，再对用户的行为规则进行分析，分析该家庭在用电过程中可能存在的潜在用电行为踪迹。通过使用遗传算法对家用电器的启动时间进行优化,达到经济用电的目标。
用户用电行为的启动时间看作遗传算法的决策变量。对用电时间问题的规划采用把1h划分为5个单位时段,每个单位时段时长为12min,即一天的24h划分为120个时间段,用u代表各时段,u∈U＝{1,2,3,…,120},因此遗传算法编码采用七位二进制数表示。在一天的时段区域U内以目标函数的倒数为适应度函数,如式f(u)＝1Σ120u＝1[Pday(u)prc(u)]中:Pday为日总电能消耗；prc(u)为u时段的电价。给定种群规模Ns,交叉率Pc和变异率Pm,代数T。遗传算法的实现过程如下。首先,在实际启动时间的范围随机产生一定数量的初始种群个体,将这些种群视为第一代。然后计算每个个体的适应度值,再依次完成选择、交叉、变异,然后得到实际启动时间的一种新的种群个体,然后判断是否达到循环结束要求,在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。综合以上两个算法,完成对家庭智能用户用电行为的数据挖掘,同时结合实时电价在合适的电价时段开启家用电器,以此生成智能用电策略达到高效用电的目的。
作为一种方案，用户可以随时随地的用电脑、手机、平板登录我们系统选择喜欢的用电数据展示形式查看，并查看推荐的用电策略。
如图3所示：根据日常用电情况，用户可以设置用电境界线，当通过对电力参数的实时分析，在实时监视过程中及时发现电能消耗异常现象如发生谐波问题或功率因数过低的问题，可以及时采取有效措施进行设备改造或补偿。以避免电能损耗和设备老化的问题。通过对电力参数的实时分析，可以及时发现潜在故障，如通过录波数据可以捕捉到一些严重的瞬态故障。使监控人员能够及时干预解决问题，避免严重故障的发生，从而减少设备维护费用，延长设备使用寿命。为减少不必要的电能花费，可以优化配电系统运行模式，如对定时用电设备进行集中控制。通过对各用电单位电能消耗数据分析(可按柱状图和饼状图等方式)，可对配电系统内部的各用电单位进行电能分配、计量和监控，以避免电能浪费。
电表数据超过平时水平急剧增长时，电表脉冲过大触发警报器，警报器发出警报，同时，监控系统也发出警报，提醒管理者用电器的不正常运作行为，及时发现潜在故障，可以及时采取有效措施进行设备改造或补偿使监控人员能够及时干预解决问题，避免严重故障的发生，从而减少设备维护费用，延长设备使用寿命。本发明的智慧电表监控系统，用户可以通过登录系统查看最及时有效准确的用电数据，通过图表的展示更清楚明了的掌握最新电量数据动态，并对数据进行自动的分析处理，给出优化方案和策略，使用户有效的采取节能措施，大大的提高了电能的利用率达到节能效果。
本实施例还设置了警报系统，及时的反馈紧急信息，使得用户减少损失，进一步的节能。或者设有用户互动论坛，发表评论和建议，使用户之间可以分享节能方法，通过交流使得节能更有乐趣。同时也可以针对我们的系统工作运行提出改进的建议，使得我们能更好的开发和改良用于需要的功能。
实施例2：本实施例提供一种基于云计算的智慧节电监控与分析系统，是对实施例1中技术方案的补充，该系统包括：
数据可视模块，所述的数据可视模块包括用户的用电统计、用户的用电趋势、用户的用电比较。数据分析模块，所述的数据分析模块包括用户的用电分析、用户的用电优化、用户的用电策略。
用户互动模块，所述的用户互动模块包括用户发布信息的上报、用户及其他用户发布评论的讨论。
用户管理模块，所述用户管理模块包括注册用户信息的管理、用户的认证、用户信息的储存与管理。
信息审核模块，所述内容审核模块用于判断其他用户发布的评论信息是否为有效信息，若不是有效信息则过滤该评论信息，若是有效信息则对讨论信息进一步判断该信息是否为广告信息，若不是则发布到用户互动平台。
用户通过浏览器直接访问智慧节电监控与分析系统中的数据可视模块、数据分析模块、用户互动模块；管理人员通过浏览器直接访问智慧节电监控与分析系统中的用户管理模块、信息审核模块；所述的智慧节电监控与分析系统均可在PC、手机、PAD上通过浏览器访问。
与现有技术相比，本实施例的有益效果在于：
本发明的智慧节电监控与分析系统，其中用户可以直接通过浏览器访问数据可视模块，可以直观的看到自己的用电数据、经过处理的用电数据柱形图、各用电设备的用电分布情况以及相同设备不同时间段的用电分布情况；
通过访问数据分析模块，用户可以了解自己的用电行为间的关联规则，以及我们为用户设计的智能用电策略，可以有效的提高用户的用电效率，减少能耗，实现经济用电的目的。
通过访问用户管理模块，可以使用户和用户之间得到更好的沟通，为了实现更好的用户体验，帮助用户系统使用及对不同节能电器的信息获取，本发明还设置有服务评价模块。
实施例3：一种基于云计算的智慧节能电监控与分析系统，包括云端服务器，接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。所述基于Map-Reduce模型改进的k-means算法是：随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
所述用电数据进行分析的方法是：
S1.智慧电表获取的数据以表格形式，csv文件类型传输到云服务器端，这些用电数据以分布式数据存储的形式按照行列一个个数据集合，对这些数据进行预处理，将其转换为标准数据格式<ID，time，quantity>，其中ID为智慧电表编号，time为数据采集时间，quantity为用电数量；
S2.从这些数据集合中，任意选出k个数据集合对象做为聚类中心，并将其发送到空闲的Map任务点；
S3.在Map任务点中，Map函数对标准用电数据格式<ID，time，quantity>进行逐一检测，计算出他们与k聚类中心点之间的距离，获得最小距离。其中这个距离叫做欧式距离，最小距离记为Kmin；
S4.获得Kmin后，重新对数据集合进行整体，Map函数产生新格式<Kmin，all>，其中Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电数量；
S5.对产生的新数据集合按照Kmin利用Partitioner函数进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
S6.利用Reduce函数不断的计算Kmin的均值，从而获取最稳定的Kmin聚类均值中心点；
S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把1h划分为5个单位时段，每个单位时段时长为12min，用u代表各时段,u∈U＝{1,2,3,…,120}；
遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数：
f(u)＝1Σ120u＝1[Pday(u)prc(u)]；
其中:Pday为日总电能消耗，prc(u)为u时段的电价；
给定种群规模Ns,交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下：
首先,在实际启动时间的范围随机产生一定数量的初始种群个体,将这些种群视为第一代，然后计算每个个体的适应度值,再依次完成选择、交叉、变异,然后得到实际启动时间的一种新的种群个体,再判断是否达到循环结束要求,在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。
作为一种实施例，使用采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，达到数据可视化。并且使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。
本实施例中的所述系统，用于收集和分析智慧电表采集的电量数据，将电表收集的数据保存至云端，移动端根据需要通过无线网络获取云端数据，并在移动端以数字和图形的方式呈现。利用基于Map-Reduce模型改进的k-means算法算法对数据进行分析挖掘出该用户的用电行为关联规则，对用户的行为规则进行分析，采用遗传算法对用电分布进行优化，从而根据用户的用电习惯设计出用户个性化的用电策略。并设有警报功能和用户互动平台。该远程监控系统还包括利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中。利用PHP技术将服务器上数据库中的数据以图表形式在网页中呈现，达到数据可视化。通过基于Map-Reduce模型改进的k-means算法进行数据挖掘对电力参数的实时分析，在实时监视过程中及时发现电能消耗异常现象，可以及时发现潜在故障，对配电系统内部的各用电单位进行电能分配、计量和监控，以避免电能浪费。作为一种实施例，可以设置电量警告线，当用电量超过警告线，或者当在实时监视过程中及时发现电能消耗异常现象，警报器及系统都将给出警报，提醒管理者采取节能措施，达到节能效果。此外，构建具有语义信息的移动电子商务应用模型以及典型应用开发。比如用户可以一起谈论某一厂家电器的耗电量、节能情况等，也可以上传自己的图片，将这儿的信息保留下来，方便别人到此能搜到信息而了解这里的一些情况，形成移动视觉检索软件。
实施例4：一种基于大数据分析的网络智慧节电监控方法，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
所述基于Map-Reduce模型改进的k-means算法是：随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
所述用电数据进行分析的方法是：
S1.智慧电表获取的用电数据以表格形式，传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式<ID，time，quantity>，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；
S2.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点；
S3.在Map任务点中，Map函数对标准用电数据格式<ID，time，quantity>进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，最小距离记为Kmin；
S4.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式<Kmin，all>，其中最小距离Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电量；
S5.对产生的新数据集合按照最小距离Kmin进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
S6.利用Reduce函数不断计算最小距离Kmin的均值，从而获取最稳定的最小距离Kmin聚类均值中心点；
S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把1h划分为5个单位时段，每个单位时段时长为12min，用u代表各时段,u∈U＝{1,2,3,…,120}；
遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数：
f(u)＝1Σ120u＝1[Pday(u)prc(u)]；
其中:Pday为日总电能消耗，prc(u)为u时段的电价；
给定种群规模Ns,交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下：
首先,在实际启动时间的范围随机产生一定数量的初始种群个体,将这些种群视为第一代，然后计算每个个体的适应度值,再依次完成选择、交叉、变异,然后得到实际启动时间的一种新的种群个体,再判断是否达到循环结束要求,在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。
采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，从而S达到数据可视化。
使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。
所述用电数据进行分析的方法是：
S1.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数；
S2.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，valuel>键值对，具体格式化为<UserlD，info>，其中：UserlD表示家庭用户ID，info为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量；
S3.Map函数对输入的家庭用户用电数据子集的每个记录<UserlD，info>进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin；Map函数生成并输出中间结果<key2，value2>对，其被定义为<kmin，info1>对，kmin表示该用户所属簇的标识，info1.包括家庭用户ID、房屋面积、家庭成员数、用电量信息；
S4.分区函数Partitioner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；
S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果<kmin，list<(inf01<userlD1…>)，(inf01<userlD2…>)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将<kmin，list>传递给Reduce函数，然后Reduce函数根据list值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；
S6.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据；
S7.对于第i个簇的数据集，重新进行格式化，产生key-value对<EC，list1>，其中EC为用户用电量，list1为用户其他信息，划分数据集为数据子集，交由m个执行Map任务的节点处理：
S8.Map函数对输入的数据子集进行扫描，生成中间结果<EC，list1>，每个Map任务产生的中间结果将按照分区函数Partitioner按EC值划分为r个分区p1，p2，...，pr。同时Map任务分别对每个分区p1(1≤i≤r)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partitioner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
本实施例中所述的方法，可以是对实施例1-3中各系统的方法实施。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。
Claims (7)
1.一种基于大数据分析的网络智慧节电监控方法，其特征在于，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
2.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述基于Map-Reduce模型改进的k-means算法是：随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
3.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述用电数据进行分析的方法是：
S1.智慧电表获取的用电数据以表格形式，传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式<ID，time，quantity>，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；
S2.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点；
S3.在Map任务点中，Map函数对标准用电数据格式<ID，time，quantity>进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，最小距离记为Kmin；
S4.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式<Kmin，all>，其中最小距离Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电量；
S5.对产生的新数据集合按照最小距离Kmin进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
S6.利用Reduce函数不断计算最小距离Kmin的均值，从而获取最稳定的最小距离Kmin聚类均值中心点；
S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
4.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把1h划分为5个单位时段，每个单位时段时长为12min，用u代表各时段,u∈U＝{1,2,3,…,120}；
遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数：
f(u)＝1Σ120u＝1[Pday(u)prc(u)]；
其中:Pday为日总电能消耗，prc(u)为u时段的电价；
给定种群规模Ns,交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下：
首先,在实际启动时间的范围随机产生一定数量的初始种群个体,将这些种群视为第一代，然后计算每个个体的适应度值,再依次完成选择、交叉、变异,然后得到实际启动时间的一种新的种群个体,再判断是否达到循环结束要求,在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。
5.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，从而S达到数据可视化。
6.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。
7.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述用电数据进行分析的方法是：
S1.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数；
S2.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，valuel>键值对，具体格式化为<UserlD，info>，其中：UserlD表示家庭用户ID，info为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量；
S3.Map函数对输入的家庭用户用电数据子集的每个记录<UserlD，info>进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin；Map函数生成并输出中间结果<key2，value2>对，其被定义为<kmin，info1>对，kmin表示该用户所属簇的标识，info1.包括家庭用户ID、房屋面积、家庭成员数、用电量信息；
S4.分区函数Partitioner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；
S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果<kmin，list<(inf01<userlD1…>)，(inf01<userlD2…>)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将<kmin，list>传递给Reduce函数，然后Reduce函数根据list值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；
S6.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据；
S7.对于第i个簇的数据集，重新进行格式化，产生key-value对<EC，list1>，其中EC为用户用电量，list1为用户其他信息，划分数据集为数据子集，交由m个执行Map任务的节点处理：
S8.Map函数对输入的数据子集进行扫描，生成中间结果<EC，list1>，每个Map任务产生的中间结果将按照分区函数Partitioner按EC值划分为r个分区p1，p2，...，pr。同时Map任务分别对每个分区p1(1≤i≤r)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partitioner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610538954.7A CN106022664A (zh) | 2016-07-08 | 2016-07-08 | 基于大数据分析的网络智慧节电监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610538954.7A CN106022664A (zh) | 2016-07-08 | 2016-07-08 | 基于大数据分析的网络智慧节电监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106022664A true CN106022664A (zh) | 2016-10-12 |
Family
ID=57108647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610538954.7A Pending CN106022664A (zh) | 2016-07-08 | 2016-07-08 | 基于大数据分析的网络智慧节电监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106022664A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220770A (zh) * | 2017-05-26 | 2017-09-29 | 国网山东省电力公司泰安供电公司 | 居民用电的需求侧管理方法、装置和系统 |
| CN109635950A (zh) * | 2018-11-30 | 2019-04-16 | 国网上海市电力公司 | 基于遗传算法和社团聚类的电能表运行状态监测方法 |
| CN109856984A (zh) * | 2019-03-04 | 2019-06-07 | 深圳供电局有限公司 | 用电管理方法、装置、计算机设备和存储介质 |
| CN110278279A (zh) * | 2019-06-27 | 2019-09-24 | 苏宁消费金融有限公司 | 一种动态资源调度机制的大数据离线调度开发平台及方法 |
| WO2020010569A1 (zh) * | 2018-07-12 | 2020-01-16 | 深圳齐心集团股份有限公司 | 大数据综合分析处理服务系统 |
| CN110909042A (zh) * | 2019-11-14 | 2020-03-24 | 国网山东省电力公司青岛市即墨区供电公司 | 一种基于云数据的智能家居供电服务系统 |
| CN111459926A (zh) * | 2020-03-26 | 2020-07-28 | 广西电网有限责任公司电力科学研究院 | 一种园区综合能源异常数据识别方法 |
| CN114422227A (zh) * | 2022-01-13 | 2022-04-29 | 北京信息职业技术学院 | 一种基于网络安全的数据采集分析系统 |
| CN115292393A (zh) * | 2022-10-10 | 2022-11-04 | 宁波高盛电气有限公司 | 一种用于智慧网关的数据管理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123395A (zh) * | 2014-08-13 | 2014-10-29 | 北京赛科世纪数码科技有限公司 | 一种基于大数据的决策方法和系统 |
| CN104616205A (zh) * | 2014-11-24 | 2015-05-13 | 北京科东电力控制系统有限责任公司 | 一种基于分布式日志分析的电力系统运行状态监视方法 |
| CN104850629A (zh) * | 2015-05-21 | 2015-08-19 | 杭州天宽科技有限公司 | 一种基于改进k-means算法的海量智能用电数据分析方法 |
-
2016
- 2016-07-08 CN CN201610538954.7A patent/CN106022664A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123395A (zh) * | 2014-08-13 | 2014-10-29 | 北京赛科世纪数码科技有限公司 | 一种基于大数据的决策方法和系统 |
| CN104616205A (zh) * | 2014-11-24 | 2015-05-13 | 北京科东电力控制系统有限责任公司 | 一种基于分布式日志分析的电力系统运行状态监视方法 |
| CN104850629A (zh) * | 2015-05-21 | 2015-08-19 | 杭州天宽科技有限公司 | 一种基于改进k-means算法的海量智能用电数据分析方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220770A (zh) * | 2017-05-26 | 2017-09-29 | 国网山东省电力公司泰安供电公司 | 居民用电的需求侧管理方法、装置和系统 |
| WO2020010569A1 (zh) * | 2018-07-12 | 2020-01-16 | 深圳齐心集团股份有限公司 | 大数据综合分析处理服务系统 |
| CN109635950A (zh) * | 2018-11-30 | 2019-04-16 | 国网上海市电力公司 | 基于遗传算法和社团聚类的电能表运行状态监测方法 |
| CN109856984A (zh) * | 2019-03-04 | 2019-06-07 | 深圳供电局有限公司 | 用电管理方法、装置、计算机设备和存储介质 |
| CN110278279A (zh) * | 2019-06-27 | 2019-09-24 | 苏宁消费金融有限公司 | 一种动态资源调度机制的大数据离线调度开发平台及方法 |
| CN110909042A (zh) * | 2019-11-14 | 2020-03-24 | 国网山东省电力公司青岛市即墨区供电公司 | 一种基于云数据的智能家居供电服务系统 |
| CN111459926A (zh) * | 2020-03-26 | 2020-07-28 | 广西电网有限责任公司电力科学研究院 | 一种园区综合能源异常数据识别方法 |
| CN114422227A (zh) * | 2022-01-13 | 2022-04-29 | 北京信息职业技术学院 | 一种基于网络安全的数据采集分析系统 |
| CN115292393A (zh) * | 2022-10-10 | 2022-11-04 | 宁波高盛电气有限公司 | 一种用于智慧网关的数据管理系统 |
| CN115292393B (zh) * | 2022-10-10 | 2023-01-17 | 宁波高盛电气有限公司 | 一种用于智慧网关的数据管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022664A (zh) | 基于大数据分析的网络智慧节电监控方法 | |
| CN106251034A (zh) | 基于云计算技术的智慧节能电表监控系统 | |
| CN107330056B (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| Pereira et al. | Sustdata: A public dataset for ict4s electric energy research | |
| CN105426980B (zh) | 一种配电网健康指数评估工程应用系统 | |
| CN109325545A (zh) | 低压配电网拓扑结构校验方法、装置、设备及存储介质 | |
| US20140249688A1 (en) | Decentralized controls and communications for autonomous distribution networks in smart grid | |
| CN109964383A (zh) | 使用相量测量单元数据的主电力网频率响应特性化 | |
| CN101763598A (zh) | 电能管理系统 | |
| CN107730394A (zh) | 基于大数据的全景电网多元异构数据融合方法 | |
| CN117036104B (zh) | 一种基于电力物联网的智慧用电方法和系统 | |
| CN107256442B (zh) | 基于移动客户端的线损计算方法 | |
| CN106570779A (zh) | 一种直流配电网可靠性分析的方法及系统 | |
| CN108898239A (zh) | 一种基于数据分析的配电变压器选址方法 | |
| CN103744386B (zh) | 海上石油平台能源管控系统 | |
| CN108475257A (zh) | 处理远程仪表读取数据以分析消耗量模式 | |
| CN106168766A (zh) | 一种智能家居的能源监控管理系统及碳资产管理方法 | |
| CN104268665A (zh) | 一种管理系统用户行为分析方法 | |
| CN107292759A (zh) | 基于供电可靠性的配电网规划计算分析系统 | |
| CN104636848A (zh) | 一种基于能量节点控制技术的项目合同能源管理系统 | |
| CN109245109A (zh) | 一种供电低电压预警系统及方法 | |
| CN108052637A (zh) | 电网时标量测数据接入全生命周期实时图文监控方法 | |
| CN108614173A (zh) | 一种低压侧综合能耗分析方法和低压侧综合能耗分析系统 | |
| CN113934795A (zh) | 一种基于分布式管理的电网预警系统 | |
| CN114662808A (zh) | 一种综合能源运维系统的管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |
|
| RJ01 | Rejection of invention patent application after publication |