CN111090643B - 一种基于数据分析系统下的海量用电数据挖掘方法 - Google Patents
一种基于数据分析系统下的海量用电数据挖掘方法 Download PDFInfo
- Publication number
- CN111090643B CN111090643B CN201911219561.XA CN201911219561A CN111090643B CN 111090643 B CN111090643 B CN 111090643B CN 201911219561 A CN201911219561 A CN 201911219561A CN 111090643 B CN111090643 B CN 111090643B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- mining
- electric energy
- electricity consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007418 data mining Methods 0.000 title claims abstract description 42
- 238000007405 data analysis Methods 0.000 title claims abstract description 16
- 238000005065 mining Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013523 data management Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000012546 transfer Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012552 review Methods 0.000 claims description 4
- 230000007474 system interaction Effects 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据分析系统下的海量用电数据挖掘方法，具体包括以下步骤：S1、用电信息采集：用电信息采集单元实现电能数据的采集、数据管理，S2、数据转存，S3、数据清洗，S4、分布式计算，S5、数据的挖掘，S6、系统后处理，本发明涉及电力数据处理技术领域。该基于数据分析系统下的海量用电数据挖掘方法，可实现通过采用关联性算法，来对多数据进行挖掘处理，很好的达到了将每个类型的数据进行关联挖掘的目的，大大扩展了电力数据挖掘信息利用的范围，丰富了数据挖掘的信息，不仅适用于一些较为常规的挖掘信息，而且对于一些多类关联性数据挖掘也适用，从而大大方便了电力监控人员的电力数据管理工作。
Description
技术领域
本发明涉及电力数据处理技术领域，具体为一种基于数据分析系统下的海量用电数据挖掘方法。
背景技术
随着智能电表的普及应用，用户用电信息采集频率更加频繁，15min甚至5min就需要采集一次数据，且数据呈现双向流动特征，规模和频率呈指数级增长，以天津生态城为例，用电信息采集系统目前已经覆盖1500万用户，数据年增长量约为12TB左右，因此，传统基于单机的分析模式已经无法满足对于海量用电数据的分析需求，对于海量数据进行分布式批处理计算是提高聚类计算效率的关键，批处理计算框架的理论基础是Google的MapReduce计算框架，MapReduce将复杂的并行计算过程高度抽象到两个函数，Map和Re-duce，并可运行于大规模计算集群上，利用MapRe-duce框架，可以将大规模计算任务分解成许多小的子任务由Map步骤处理，由于子任务之间是相互解耦的，因此可以并行处理，Map输出的结果将通过Re-duce函数合并生成最终结果，MapReduce的开源实现的代表就是Hadoop平台，Hadoop广泛被互联网企业用于大规模数据分析。
目前的数据挖掘方法大多是直接将采集的数据分类处理后，对每个类型的数据进行一一挖掘，然而，这样的数据挖掘方法较为单一，只能适用于一些较为常规的挖掘信息，而对于一些多类关联性数据挖掘不适用，不能实现通过采用关联性算法，来对多数据进行挖掘处理，无法达到将每个类型的数据进行关联挖掘的目的，大大限制了电力数据挖掘信息利用的范围，从而给电力监控人员的电力数据管理工作带来极大的不便。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于数据分析系统下的海量用电数据挖掘方法，解决了现有的数据挖掘方法较为单一，只能适用于一些较为常规的挖掘信息，而对于一些多类关联性数据挖掘不适用，不能实现通过采用关联性算法，来对多数据进行挖掘处理，无法达到将每个类型的数据进行关联挖掘的目的，大大限制了电力数据挖掘信息利用范围的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于数据分析系统下的海量用电数据挖掘方法，具体包括以下步骤：
S1、用电信息采集：通过用电信息采集单元实现电能数据的采集、数据管理、数据双向传输以及控制命令执行，采集模块从商业用户、专变用户、家庭用户和大用户四种不同类型的用电用户处以相应频率采集用电数据，包括电压电流、功率、电能质量和异常事件，并通过系统后台服务器、无线网络和数据通道保存在用电信息采集系统中，通过用电信息采集系统中的商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块对采集的数据进行分类存储，以作为用电行为分析的基础数据；
S2、数据转存：系统后台服务器会控制数据转存模块将数据从用电信息采集系统转移至HDFS存储器中，利用基于Hadoop平台的数据传输工具完成转存；
S3、数据清洗：系统后台服务器控制数据清洗模块对不完整数据、错误数据和重复数据进行补充修正和删除，包括忽略缺失数据、删除负值、用整体均值填充、用最可能值填充和回归方法填充；
S4、分布式计算：在分布式计算阶段，系统后台服务器控制分布聚类算法处理单元内的分类框架建模模块先创建分类框架模型，然后通过数据倒入模块将采集的数据导入至系统内，之后通过FCM聚类算法处理模块内的分布式FCM聚类算法完成对用电行为数据的聚类，从中获得的聚类中心可以用于刻画用电用户群体特征，而每-一个参与聚类的数据对象对于不同聚类的模糊隶属度关系，可用来判断用电用户所属的聚类，在完成聚类过程后，将结果以键值对的形式保存在非关系型数据库NoSQL；
S5、数据的挖掘：系统后台服务器控制数据挖掘单元对分布聚类处理后的数据进行挖掘处理，数据挖掘单元内的索检引导数据库创建模块能可先创建所需检索块，然后通过数据关联性识别模块进行每个聚类数据之间的关联性进行识别，之后通过数据对比分析模块与现有的数据进行对比分析，然后通过挖掘数据整合模块进行挖掘数据的整合处理；
S6、系统后处理：系统后台服务器会控制时间戳服务器对数据进行实时挖掘和传输处理，同时数据挖掘结果传送至系统交互终端进行数据显示，来供人们进行查阅，整个系统在运行时通过系统安全防护模块进行安全防护处理。
优选的，所述步骤S1中用电信息采集单元包括双向智能电表、转变采集终端、负荷控制终端和分布式能源监控终端。
优选的，所述步骤S2中利用Hadoop平台上的Apache和Sqoop，可用来在Hadoop和关系数据库中传递数据，通过Sqoop，可方便将数据从关系数据库导人到HDFS，或者将数据从HDFS导出到关系数据库。
优选的，所述步骤S1中用电信息采集系统包括商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块。
优选的，所述步骤S4中分布聚类算法处理单元包括分类框架建模模块、数据导入模块和FCM聚类算法处理模块，所述分类框架建模模块的输出端与数据导入模块的输入端连接，且数据导入模块的输出端与FCM聚类算法处理模块的输入端连接。
优选的，所述步骤S5中数据挖掘单元包括索检引导数据块创建模块、数据关联性识别模块、数据对比分析模块和挖掘数据整合模块，所述索检引导数据块创建模块的输出端与数据关联性识别模块的输入端连接，且数据关联性识别模块的输出端与数据对比分析模块的输入端连接，所述数据对比分析模块的输出端与挖掘数据整合模块的输入端连接。
(三)有益效果
本发明提供了一种基于数据分析系统下的海量用电数据挖掘方法。与现有技术相比具备以下有益效果：该基于数据分析系统下的海量用电数据挖掘方法，具体包括以下步骤：S1、用电信息采集：通过用电信息采集单元实现电能数据的采集、数据管理、数据双向传输以及控制命令执行，采集模块从商业用户、专变用户、家庭用户和大用户四种不同类型的用电用户处以相应频率采集用电数据，包括电压电流、功率、电能质量和异常事件，S2、数据转存：系统后台服务器会控制数据转存模块将数据从用电信息采集系统转移至HDFS存储器中，利用基于Hadoop平台的数据传输工具完成转存，S3、数据清洗：系统后台服务器控制数据清洗模块对不完整数据、错误数据和重复数据进行补充修正和删除，包括忽略缺失数据、删除负值、用整体均值填充、用最可能值填充和回归方法填充，S4、分布式计算：在分布式计算阶段，系统后台服务器控制分布聚类算法处理单元内的分类框架建模模块先创建分类框架模型，然后通过数据倒入模块将采集的数据导入至系统内，之后通过FCM聚类算法处理模块内的分布式FCM聚类算法完成对用电行为数据的聚类，从中获得的聚类中心可以用于刻画用电用户群体特征，S5、数据的挖掘：系统后台服务器控制数据挖掘单元对分布聚类处理后的数据进行挖掘处理，数据挖掘单元内的索检引导数据库创建模块能可先创建所需检索块，然后通过数据关联性识别模块进行每个聚类数据之间的关联性进行识别，S6、系统后处理：系统后台服务器会控制时间戳服务器对数据进行实时挖掘和传输处理，同时数据挖掘结果传送至系统交互终端进行数据显示，来供人们进行查阅，整个系统在运行时通过系统安全防护模块进行安全防护处理，可实现通过采用关联性算法，来对多数据进行挖掘处理，很好的达到了将每个类型的数据进行关联挖掘的目的，大大扩展了电力数据挖掘信息利用的范围，丰富了数据挖掘的信息，不仅适用于一些较为常规的挖掘信息，而且对于一些多类关联性数据挖掘也适用，从而大大方便了电力监控人员的电力数据管理工作。
附图说明
图1为本发明系统的结构原理框图；
图2为本发明用电信息采集单元、用电信息采集系统、数据转存模块、数据清洗单元和分布聚类算法处理单元的结构原理框图；
图3为本发明分类聚类算法处理单元的结构原理框图；
图4为本发明数据挖掘单元的结构原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明实施例提供一种技术方案：一种基于数据分析系统下的海量用电数据挖掘方法，具体包括以下步骤：
S1、用电信息采集：通过用电信息采集单元实现电能数据的采集、数据管理、数据双向传输以及控制命令执行，采集模块从商业用户、专变用户、家庭用户和大用户四种不同类型的用电用户处以相应频率采集用电数据，包括电压电流、功率、电能质量和异常事件，并通过系统后台服务器、无线网络和数据通道保存在用电信息采集系统中，通过用电信息采集系统中的商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块对采集的数据进行分类存储，以作为用电行为分析的基础数据，用电信息采集单元包括双向智能电表、转变采集终端、负荷控制终端和分布式能源监控终端，用电信息采集系统包括商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块；
S2、数据转存：系统后台服务器会控制数据转存模块将数据从用电信息采集系统转移至HDFS存储器中，利用基于Hadoop平台的数据传输工具完成转存，利用Hadoop平台上的Apache和Sqoop，可用来在Hadoop和关系数据库中传递数据，通过Sqoop，可方便将数据从关系数据库导人到HDFS，或者将数据从HDFS导出到关系数据库；
S3、数据清洗：系统后台服务器控制数据清洗模块对不完整数据、错误数据和重复数据进行补充修正和删除，包括忽略缺失数据、删除负值、用整体均值填充、用最可能值填充和回归方法填充；
S4、分布式计算：在分布式计算阶段，系统后台服务器控制分布聚类算法处理单元内的分类框架建模模块先创建分类框架模型，然后通过数据倒入模块将采集的数据导入至系统内，之后通过FCM聚类算法处理模块内的分布式FCM聚类算法完成对用电行为数据的聚类，从中获得的聚类中心可以用于刻画用电用户群体特征，而每-一个参与聚类的数据对象对于不同聚类的模糊隶属度关系，可用来判断用电用户所属的聚类，在完成聚类过程后，将结果以键值对的形式保存在非关系型数据库NoSQL，分布聚类算法处理单元包括分类框架建模模块、数据导入模块和FCM聚类算法处理模块，所述分类框架建模模块的输出端与数据导入模块的输入端连接，且数据导入模块的输出端与FCM聚类算法处理模块的输入端连接；
S5、数据的挖掘：系统后台服务器控制数据挖掘单元对分布聚类处理后的数据进行挖掘处理，数据挖掘单元内的索检引导数据库创建模块能可先创建所需检索块，然后通过数据关联性识别模块进行每个聚类数据之间的关联性进行识别，之后通过数据对比分析模块与现有的数据进行对比分析，然后通过挖掘数据整合模块进行挖掘数据的整合处理，数据挖掘单元包括索检引导数据块创建模块、数据关联性识别模块、数据对比分析模块和挖掘数据整合模块，所述索检引导数据块创建模块的输出端与数据关联性识别模块的输入端连接，且数据关联性识别模块的输出端与数据对比分析模块的输入端连接，所述数据对比分析模块的输出端与挖掘数据整合模块的输入端连接；
S6、系统后处理：系统后台服务器会控制时间戳服务器对数据进行实时挖掘和传输处理，同时数据挖掘结果传送至系统交互终端进行数据显示，来供人们进行查阅，整个系统在运行时通过系统安全防护模块进行安全防护处理。
综上所述
本发明可实现通过采用关联性算法，来对多数据进行挖掘处理，很好的达到了将每个类型的数据进行关联挖掘的目的，大大扩展了电力数据挖掘信息利用的范围，丰富了数据挖掘的信息，不仅适用于一些较为常规的挖掘信息，而且对于一些多类关联性数据挖掘也适用，从而大大方便了电力监控人员的电力数据管理工作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：具体包括以下步骤：
S1、用电信息采集：通过用电信息采集单元实现电能数据的采集、数据管理、数据双向传输以及控制命令执行，采集模块从商业用户、专变用户、家庭用户和大用户四种不同类型的用电用户处以相应频率采集用电数据，包括电压电流、功率、电能质量和异常事件，并通过系统后台服务器、无线网络和数据通道保存在用电信息采集系统中，通过用电信息采集系统中的商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块对采集的数据进行分类存储，以作为用电行为分析的基础数据；
S2、数据转存：系统后台服务器会控制数据转存模块将数据从用电信息采集系统转移至HDFS存储器中，利用基于Hadoop平台的数据传输工具完成转存；
S3、数据清洗：系统后台服务器控制数据清洗模块对不完整数据、错误数据和重复数据进行补充修正和删除，包括忽略缺失数据、删除负值、用整体均值填充、用最可能值填充和回归方法填充；
S4、分布式计算：在分布式计算阶段，系统后台服务器控制分布聚类算法处理单元内的分类框架建模模块先创建分类框架模型，然后通过数据倒入模块将采集的数据导入至系统内，之后通过FCM聚类算法处理模块内的分布式FCM聚类算法完成对用电行为数据的聚类，从中获得的聚类中心可以用于刻画用电用户群体特征，而每-一个参与聚类的数据对象对于不同聚类的模糊隶属度关系，可用来判断用电用户所属的聚类，在完成聚类过程后，将结果以键值对的形式保存在非关系型数据库NoSQL；
S5、数据的挖掘：系统后台服务器控制数据挖掘单元对分布聚类处理后的数据进行挖掘处理，数据挖掘单元内的索检引导数据库创建模块能可先创建所需检索块，然后通过数据关联性识别模块进行每个聚类数据之间的关联性进行识别，之后通过数据对比分析模块与现有的数据进行对比分析，然后通过挖掘数据整合模块进行挖掘数据的整合处理；
S6、系统后处理：系统后台服务器会控制时间戳服务器对数据进行实时挖掘和传输处理，同时数据挖掘结果传送至系统交互终端进行数据显示，来供人们进行查阅，整个系统在运行时通过系统安全防护模块进行安全防护处理。
2.根据权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：所述步骤S1中用电信息采集单元包括双向智能电表、转变采集终端、负荷控制终端和分布式能源监控终端。
3.根据权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：所述步骤S2中利用Hadoop平台上的Apache和Sqoop，可用来在Hadoop和关系数据库中传递数据，通过Sqoop，可方便将数据从关系数据库导人到HDFS，或者将数据从HDFS导出到关系数据库。
4.根据权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：所述步骤S1中用电信息采集系统包括商业用户用电数据存储模块、专变用户用电数据存储模块、家庭用户用电数据存储模块和大用户用电数据存储模块。
5.根据权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：所述步骤S4中分布聚类算法处理单元包括分类框架建模模块、数据导入模块和FCM聚类算法处理模块，所述分类框架建模模块的输出端与数据导入模块的输入端连接，且数据导入模块的输出端与FCM聚类算法处理模块的输入端连接。
6.根据权利要求1所述的一种基于数据分析系统下的海量用电数据挖掘方法，其特征在于：所述步骤S5中数据挖掘单元包括索检引导数据块创建模块、数据关联性识别模块、数据对比分析模块和挖掘数据整合模块，所述索检引导数据块创建模块的输出端与数据关联性识别模块的输入端连接，且数据关联性识别模块的输出端与数据对比分析模块的输入端连接，所述数据对比分析模块的输出端与挖掘数据整合模块的输入端连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219561.XA CN111090643B (zh) | 2019-11-30 | 2019-11-30 | 一种基于数据分析系统下的海量用电数据挖掘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219561.XA CN111090643B (zh) | 2019-11-30 | 2019-11-30 | 一种基于数据分析系统下的海量用电数据挖掘方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111090643A CN111090643A (zh) | 2020-05-01 |
| CN111090643B true CN111090643B (zh) | 2023-09-01 |
Family
ID=70393205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219561.XA Active CN111090643B (zh) | 2019-11-30 | 2019-11-30 | 一种基于数据分析系统下的海量用电数据挖掘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111090643B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881177A (zh) * | 2020-07-14 | 2020-11-03 | 国网河北省电力有限公司信息通信分公司 | 一种电力物联网数据流异常检测系统及方法 |
| CN112053100A (zh) * | 2020-10-15 | 2020-12-08 | 东北电力大学 | 一种基于大数据的用户用电行为的分析方法 |
| CN113377854A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据整合系统 |
| CN113676534B (zh) * | 2021-08-18 | 2022-05-27 | 中山政数大数据科技有限公司 | 基于边缘计算的桥梁数据上传方法 |
| CN116521753B (zh) * | 2023-03-29 | 2024-07-12 | 国网上海市电力公司 | 电能服务数据的挖掘方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881735A (zh) * | 2015-05-13 | 2015-09-02 | 国家电网公司 | 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法 |
| CN105005570A (zh) * | 2014-04-23 | 2015-10-28 | 国家电网公司 | 基于云计算的海量智能用电数据挖掘方法及装置 |
| CN105844294A (zh) * | 2016-03-21 | 2016-08-10 | 全球能源互联网研究院 | 一种基于fcm聚类算法的用电行为分析方法 |
-
2019
- 2019-11-30 CN CN201911219561.XA patent/CN111090643B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105005570A (zh) * | 2014-04-23 | 2015-10-28 | 国家电网公司 | 基于云计算的海量智能用电数据挖掘方法及装置 |
| CN104881735A (zh) * | 2015-05-13 | 2015-09-02 | 国家电网公司 | 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法 |
| CN105844294A (zh) * | 2016-03-21 | 2016-08-10 | 全球能源互联网研究院 | 一种基于fcm聚类算法的用电行为分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111090643A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111090643B (zh) | 一种基于数据分析系统下的海量用电数据挖掘方法 | |
| CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
| CN110287237B (zh) | 一种基于社会网络结构分析社团数据挖掘方法 | |
| CN117559443A (zh) | 尖峰负荷下大工业用户集群有序用电控制方法 | |
| Suo et al. | Computer assistance analysis of power grid relay protection based on data mining | |
| CN116361367A (zh) | 一种高效发布招聘信息的内容识别系统及方法 | |
| Zhang et al. | The power big data-based energy analysis for intelligent community in smart grid | |
| CN117540981A (zh) | 基于碳排放约束的建筑多能源调度方法及系统 | |
| CN111079809A (zh) | 电连接器智能统型方法 | |
| Shi et al. | Human resources balanced allocation method based on deep learning algorithm | |
| CN111292201A (zh) | 一种基于Apriori和RETE的电力通信网现场运维信息推送的方法 | |
| CN114004408B (zh) | 一种基于数据分析的用户电力负荷预测方法 | |
| CN115983582A (zh) | 一种数据分析方法和能耗管理系统 | |
| CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
| CN107248118A (zh) | 数据挖掘方法、装置和系统 | |
| CN110298585B (zh) | 一种变电站设备监控信息分层分级自动审核方法 | |
| Zhang et al. | Research on massive data analysis of power utilization based on improved K-means algorithm and cloud computing | |
| CN109976271B (zh) | 一种利用信息表征方法计算信息结构有序度的方法 | |
| CN112560908A (zh) | 一种云端协同的负荷辨识系统及方法 | |
| CN112395343A (zh) | 一种基于dsg的字段变更数据采集抽取方法 | |
| CN111428756A (zh) | 基于时间序列信息熵的规划数据融合实时态方法及装置 | |
| CN110895541A (zh) | 一种Timing云数据统计智能化平台 | |
| CN117591539B (zh) | 一种基于电力大数据的多数据整合运用一体化系统及方法 | |
| Wang | Utilization of Artificial Intelligence Technology in Higher Education Management | |
| CN113569904B (zh) | 母线接线类型辨识方法、系统、存储介质及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230802 Address after: Room 1-8, 27th Floor, CFD Times Wealth Center, No. 468 Xinhua Road, Jianghan District, Wuhan City, Hubei Province, 430015 Applicant after: Changxia Digital Energy Technology (Hubei) Co.,Ltd. Address before: Room 106, Building 1, No. 2 Chuangye West Road, Hongqi Town, Jinwan District, Zhuhai City, Guangdong Province, 519000 Applicant before: Guangdong Xinrui Century Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231007 Address after: 27th Floor, Times Wealth Center, No. 468 Xinhua Road, Jianghan District, Wuhan City, Hubei Province, 430000 Patentee after: Three Gorges Power Co.,Ltd. Patentee after: Changxia Digital Energy Technology (Hubei) Co.,Ltd. Address before: Room 1-8, 27th Floor, CFD Times Wealth Center, No. 468 Xinhua Road, Jianghan District, Wuhan City, Hubei Province, 430015 Patentee before: Changxia Digital Energy Technology (Hubei) Co.,Ltd. |
|
| TR01 | Transfer of patent right |