CN113723773A - 一种基于大数据分析的电能决策系统 - Google Patents
一种基于大数据分析的电能决策系统 Download PDFInfo
- Publication number
- CN113723773A CN113723773A CN202110934470.5A CN202110934470A CN113723773A CN 113723773 A CN113723773 A CN 113723773A CN 202110934470 A CN202110934470 A CN 202110934470A CN 113723773 A CN113723773 A CN 113723773A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- analysis
- data analysis
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 14
- 230000005611 electricity Effects 0.000 claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 4
- 238000005516 engineering process Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 19
- 238000013500 data storage Methods 0.000 claims description 15
- 238000013179 statistical model Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 12
- 238000005065 mining Methods 0.000 claims description 12
- 230000002068 genetic effect Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 230000011273 social behavior Effects 0.000 claims description 4
- 238000012098 association analyses Methods 0.000 claims description 3
- 238000012300 Sequence Analysis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract 1
- 230000001364 causal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010892 electric spark Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
- G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
- Y02P90/82—Energy audits or management systems therefor
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Biodiversity & Conservation Biology (AREA)
- Physiology (AREA)
Abstract
本发明公开了一种基于大数据分析的电能决策系统，所述系统包括信息采集模块；数据分析处理预测模块；用户用电负荷数据分析与修正模块；分析决策模块；存储服务器和操作平台，本系统主要由信息采集模块、数据分析处理预测模块、用户用电负荷数据分析与修正模块、分析决策模块和存储服务器构成，系统可根据设备情况、用户用电情况和配电系统运行情况，考虑不同类型应用场合、和不同类型项目情况，研究用户用电负荷数据分析与修正方法，大大方便了设计配电业务分析决策，用以进行新建项目的指导和既有项目的后期管理，且数据根据机密程度采用不同的存储方式进行存储，既保证了数据的处理速度又降低了机密数据外泄情况的发生，数据的安全性高。
Description
技术领域
本发明涉及供电分析技术领域，具体为一种基于大数据分析的电能决策系统。
背景技术
电力系统中各种电压的变电所及输配电线路组成的整体，称为电力网，简称电网。它包含变电、输电、配电三个单元，随着传感技术、自动化控制技术、通信网络技术、分布式存储技术、大数据分析和人工智能技术的发展，以及社会经济和环境需求的巨大推动，电网也将真正实现与互联网的深度融合，发展“智能电网”是电力行业的必然发展趋势；
电力系统规模日趋增大，电网结构日益复杂，系统故障引发后果越发严重国内外多次大停电事故造成了巨大的经济损失和恶劣的社会影响；电网设备地域分布广、管理要素多、信息数据量大，导致管理成本高，对突发事件的应急处置能力低，迫切需要研发高效可靠的配用电系统关键技术，解决电网事故问题决策的问题。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于大数据分析的电能决策系统。
本发明通过以下技术方案来实现上述目的，一种基于大数据分析的电能决策系统，所述系统包括信息采集模块；采集电力传输过程中电流、电压数据监测、用电量的统计、电力设备运行视频以及实时气象信息；
数据分析处理预测模块；分析和预测处理信息采集模块采集到的数据，进行分类存储和预测；
用户用电负荷数据分析与修正模块；用于分析用户用电负荷的数据，然后生成决策任务；
分析决策模块；将决策任务分解成多个细粒度的子任务进行分析决策，被数据分析处理预测模块进一步分析处理后，进行合并生成最终的决策结果；
存储服务器；存储服务器为本地服务器和多个云服务器，按数据的机密程度选择不同的服务器存储，监测系统运行、设备数据采用实时文件系统存储方式存储到本地存储设备；对结构化核心业务数据，以及用户隐私数据采用哈希算法分布式存储到不同的云服务器中；
操作平台；对多个云服务器内的数据进行提取、统计模型的生产和系统的操作。
优选的，所述信息采集模块包括电流传感器、电压传感器、风速传感器和摄像头，电流传感器以及电压传感器分别安装在用电区的主干线以及分支线上，按1km一个节点进行安装，风速传感器和摄像头安装在配电设备上，摄像头对准配电设备容易出问题的地方。
优选的，所述数据分析处理模块由数据缓存模块、数据分析模块、数据预测模块、数据存储模块和数据过滤模块，数据缓存模块用于缓存信息采集模块采集到的数据信息，数据分析模块将缓存后的数据信息进行分类，然后存储到数据存储模块中，不同的类型存放在数据存储模块的不同通道内。
优选的，数据过滤模块用于过滤删选数据分析处理模块内模糊无法识别的视频数据来降低数据存储所占的空间以及提升运算速度。
优选的，操作平台包含云端操作平台和控制室操作平台，云端操作平台和控制室操作平台均含有统计模型生成模块，统计模型生成模块含有共性技术分析算法、聚类分析算法、关联分析算法、主元素分析算法和多目标优化算法，和控制室操作平台为联网的计算机。
优选的，数据分析处理预测模块利用联合遗传算法和BP神经网络的数据预测技术，实现对实时采集数据的预测，验证实测数据是否为数据“坏点”，首先使用改进的遗传算法优化BP神经网络的初始连接权值和阈值，再使用数据中心保存的同类历史数据对优化后的BP神经网络进行训练，形成数据预测模型，一旦发现实测数据为数据“坏点”，决策系统将立刻使用预测数据来代替实测数据。
优选的，数据预测模块分析电力系统运行状态变化对电流电压测量精度的影响，采样频率失配条件下周期性信号的傅氏变换方法，设计基于FFT变换的频率跟踪算法。其中，每通道使用多达256点的采样数据，形成首尾连接的数据仓存储，采用了64位浮点FFT变换，同时加入滤波算法，保证电流电压的测量值与实际值之间的偏差小于0.2％。
优选的，用户用电负荷数据分析与修正模块利用奇异点探测技术、粒子滤波、结合统计模型对数据进行清洗、修正与过滤，采用高维时序基于时间序列分析的卡尔曼滤波方法修正用电负荷数据，通过分析用户用电数据关联性，对数据进行清洗、修正；采用哈希分布式索引提高数据分析速度，采用线性判别分析稳健主成分分析法对数据进行特征提取，在此基础上，设计多结构用电负荷数据和基于时间的用电负荷数据的聚类方法、面向用电负荷和用户关系的关联规则挖掘方法，进而对用户特征群组特征的数据关联关系行为分析和得出行为因果关系，指导空间经济特征与社会行为因素的结构与反馈，进行异常用电行为预测预警。
优选的，分析决策模块，采用云计算技术，在分布式并行环境中将数据分析决策任务分解成多份细粒度的子任务，各子任务在空闲的处理节点之间被调度和处理，通过特定规则进行合并生成最终的决策结果，将决策结果传输到操作平台上，以用HadoopMapReduce分布并行数据处理云计算开源平台为基础，采用基于WEB客户端日志数据关联规则挖掘算法、高效的负载均衡机制和优化的SPRINT并行处理方法，采用5000个节点的并行计算能力加速数据分析和处理速度，并根据实际需要的计算资源增加或减少硬件节点。
为了避免非工作人员或者黑客的恶意操作，优选的，登陆所述操作平台的云端操作平台和控制室操作平台时，均需要输入登陆密码以及对登陆者进行人脸识别来验证登陆者的身份。
本发明的有益效果是：
(1)本系统主要由信息采集模块、数据分析处理预测模块、用户用电负荷数据分析与修正模块、分析决策模块和存储服务器构成，系统可根据设备情况、用户用电情况和配电系统运行情况，考虑不同类型应用场合、和不同类型项目情况，研究用户用电负荷数据分析与修正方法，大大方便了设计配电业务分析决策，用以进行新建项目的指导和既有项目的后期管理；
(2)本系统数据根据机密程度采用不同的存储方式进行存储，既保证了数据的处理速度又降低了机密数据外泄情况的发生，数据的安全性高。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的数据分析处理预测模块意图示意图；
图3为本发明的信息采集模块示意图；
图4为本发明的统计模型生成模块示意图；
图5为本发明的数据分析与修正技术处理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种实施例，请参阅图1-5，一种基于大数据分析的电能决策系统，所述系统包括信息采集模块；采集电力传输过程中电流、电压数据监测、用电量的统计、电力设备运行视频以及实时气象信息，信息采集模块包括电流传感器、电压传感器、风速传感器和摄像头，电流传感器以及电压传感器分别安装在用电区的主干线以及分支线上，按1km一个节点进行安装，风速传感器和摄像头安装在配电设备上，摄像头对准配电设备容易出问题的地方，电流传感器和电压传感器用于实时监测主干线和分支线上的电流和电压，利于电流和电压数据的采集，风速传感器用于检测此风速传感器所在地区的风速，摄像头用于对电力设备进行监测，避免电力设备出现电火花、螺丝松动无法及时维修情况的发生，按1km一个节点进行安装，可以有效的保证数控的采集点，有利于电能系统的调控和决策；
电流传感器可采用AIT500-SG，电压传感器可采用LA58-P型电压传感器，风速传感器可采用ZRX-24191。
数据分析处理预测模块；分析和预测处理信息采集模块采集到的数据，进行分类存储和预测；数据分析处理预测模块内嵌入有数据缓存模块、数据分析模块、数据预测模块、数据存储模块和数据过滤模块，数据缓存模块用于缓存信息采集模块采集到的数据信息，数据分析模块将缓存后的数据信息进行分类，然后存储到数据存储模块中，不同的类型存放在数据存储模块的不同通道内，数据分析处理预测模块为逻辑数据模型结构型模块，数据分析处理预测模块内设有联合遗传算法合算法和BP神经网络的数据预测数据分析处理预测算法，模块利用联合遗传算法和BP神经网络的数据预测技术，实现对实时采集数据的预测，验证实测数据是否为数据“坏点”，首先使用改进的遗传算法优化BP神经网络的初始连接权值和阈值，再使用数据中心保存的同类历史数据对优化后的BP神经网络进行训练，形成数据预测模型，一旦发现实测数据为数据“坏点”，决策系统将立刻使用预测数据来代替实测数据；数据预测模块内设有，基于FFT变换的频率跟踪算法，数据预测模块分析电力系统运行状态变化对电流电压测量精度的影响，采样频率失配条件下周期性信号的傅氏变换方法，设计基于FFT变换的频率跟踪算法。其中，每通道使用多达256点的采样数据，形成首尾连接的数据仓存储，采用了64位浮点FFT变换，同时加入滤波算法，保证电流电压的测量值与实际值之间的偏差小于0.2％。
用户用电负荷数据分析与修正模块；用于分析用户用电负荷的数据，然后生成决策任务；用户用电负荷数据分析与修正模块内设有奇异点探测算法、粒子滤波和统计模型算法，利用奇异点探测技术、粒子滤波、结合统计模型对数据进行清洗、修正与过滤，同时用户用电负荷数据分析与修正模块内还设有采用基于时间序列分析的卡尔曼滤波高维时序算法、哈希分布式索引算法、聚类算法、关联规则挖掘算法和行为因果算法，用于修正用电负荷数据，通过分析用户用电数据关联性，对数据进行清洗、修正；采用哈希分布式索引提高数据分析速度，采用线性判别分析稳健主成分分析法对数据进行特征提取，在此基础上，设计多结构用电负荷数据和基于时间的用电负荷数据的聚类方法、面向用电负荷和用户关系的关联规则挖掘方法，进而对用户特征群组特征的数据关联关系行为分析和得出行为因果关系，指导空间经济特征与社会行为因素的结构与反馈，进行异常用电行为预测预警，指导空间经济特征与社会行为因素的结构与反馈，进行异常用电行为预测预警，有利于根据用户用电特性来预警以及做出最优的电能供电决策。
分析决策模块；将决策任务分解成多个细粒度的子任务进行分析决策，被数据分析处理预测模块进一步分析处理后，进行合并生成最终的决策结果，分析决策模块内设有云计算算法，采用云计算技术，在分布式并行环境中将数据分析决策任务分解成多份细粒度的子任务，各子任务在空闲的处理节点之间被调度和处理，通过特定规则进行合并生成最终的决策结果，将决策结果传输到操作平台上，以用HadoopMapReduce分布并行数据处理云计算开源平台为基础，采用基于WEB客户端日志数据关联规则挖掘算法、高效的负载均衡机制和优化的SPRINT并行处理方法，采用5000个节点的并行计算能力加速数据分析和处理速度，并根据实际需要的计算资源增加或减少硬件节点；
存储服务器；存储服务器为本地服务器和多个云服务器，本地服务器为机械硬盘、移动硬盘或者U盘中的一种，按数据的机密程度选择不同的服务器存储，有利于保证数据的安全性，避免了机密数据被人劫持窃取情况的发生；
操作平台；对多个云服务器内的数据进行提取、统计模型的生产和系统的操作；操作平台包含云端操作平台和控制室操作平台，云端操作平台和控制室操作平台均含有统计模型生成模块，云端操作平台为安装在移动设备上的APP，有利于控制人员在有网络的地方监测电网电能状态，便于随时随地了解电网电能状态，统计模型生成模块含有共性技术分析算法、聚类分析算法、关联分析算法、主元素分析算法和多目标优化算法，和控制室操作平台为联网的计算机，聚类分析算法包含演进聚类算法、协同聚类算法和半监督聚类算法，登陆所述操作平台的云端操作平台和控制室操作平台时，均需要输入登陆密码以及对登陆者进行人脸识别来验证登陆者的身份，避免非工作人员或者恐怖分子登陆操作平台更改电能策略，有利于保证系统的安全性，操作平台以HadoopMapReduce分布并行数据处理云计算开源平台为基础搭建而成，操作平台采用基于WEB客户端日志数据关联规则挖掘算法、高效的负载均衡机制和优化的SPRINT并行处理方法，采用5000个节点的并行计算能力加速数据分析和处理速度，并根据实际需要的计算资源增加或减少硬件节点，有利于保证数据的处理速度和降低数据处理时占用的资源，根据聚类挖掘、关联挖掘和行为分析可以对用户群组特征的数据关联关系份子以及用户群组特征的行为因果分析。
具体的，数据过滤模块内设有图像处理算法和过滤算法，用于过滤删选数据分析处理模块内模糊无法识别的视频数据，便于过滤掉无效数据，有利于减小数据的存储大小。
将信息采集模块的电流传感器以及电压传感器分别安装在用电区的主干线以及分支线上，按1km一个节点进行安装，风速传感器和摄像头安装在配电设备上，摄像头对准配电设备容易出问题的地方，信息采集模块采集到的信息传递到数据分析处理预测模块内，此时数据分析处理预测模块，将缓存后的数据信息进行分类，然后存储到数据存储模块中，不同的类型存放在数据存储模块的不同通道内，此过程中，数据分析处理预测模块分析电力系统运行状态变化对电流电压测量精度的影响，采样频率失配条件下周期性信号的傅氏变换方法，设计基于FFT变换的频率跟踪算法，其中，每通道使用多达256点的采样数据，形成首尾连接的数据仓存储，采用了64位浮点FFT变换，同时加入滤波算法，保证电流电压的测量值与实际值之间的偏差小于0.2％，利用联合遗传算法和BP神经网络的数据预测技术，实现对实时采集数据的预测，验证实测数据是否为数据“坏点”，首先使用改进的遗传算法优化BP神经网络的初始连接权值和阈值，再使用数据中心保存的同类历史数据对优化后的BP神经网络进行训练，形成数据预测模型，一旦发现实测数据为数据“坏点”，上位机监控系统将立刻使用预测数据来代替实测数据，避免传感器误发信号使系统出现误报警和误动作现象，从而保证系统的安全可靠运行，经数据分析处理预测模块处理的数据传递给用户用电负荷数据分析与修正模块，利用奇异点探测技术、粒子滤波、结合统计模型对数据进行清洗、修正与过滤，采用高维时序基于时间序列分析的卡尔曼滤波方法修正用电负荷数据，通过空间机计量分析，显示偏好以及陈述性分析法分析用户用电数据关联性，对数据进行清洗、修正；采用哈希分布式索引提高数据分析速度，采用线性判别分析稳健主成分分析法对数据进行特征提取，在此基础上，设计多结构用电负荷数据和基于时间的用电负荷数据的聚类方法、面向用电负荷和用户关系的关联规则挖掘方法，进而分析用户特征群组特征的数据关联关系和行为因果关系，指导空间经济特征与社会行为因素的结构与反馈，进行异常用电行为预测预警，在分析决策过程中，采用云计算技术，在分布式并行环境中将数据分析决策任务分解成多份细粒度的子任务，各子任务在空闲的处理节点之间被调度和处理，通过特定规则进行合并生成最终的决策结果，将决策结果传输到操作平台上，以用HadoopMapReduce分布并行数据处理云计算开源平台为基础，采用基于WEB客户端日志数据关联规则挖掘算法、高效的负载均衡机制和优化的SPRINT并行处理方法，采用5000个节点的并行计算能力加速数据分析和处理速度，并根据实际需要的计算资源增加或减少硬件节点，缩减设备维护和数据备份的成本，用以实现节电、用电预测、配用电网架优化和错峰调度的智能配用电典型业务大数据分析，此决策系统中最后的数据存储时，通过分析电力系统中类模拟量、组件运行和设备数据、视频监控数据、技术参数、业务数据等不同类型的数据结构、大小和特征，对不同的数据采用不同的存储方式，对性能要求非常高的实时数据，如监测系统运行、设备数据采用实时文件系统存储方式存储到本地存储设备；对结构化核心业务数据，以及用户隐私数据采用哈希算法分布式存储到不同的云服务器中，同时，引入多级缓存和预取技术提高存储系统的并发访问效率，系统可存储10年内上亿条数据，数据访问响应时间精确到秒，从而保障网络的承载能力以及移动终端的处理能力。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种基于大数据分析的电能决策系统，其特征在于：所述系统包括信息采集模块；采集电力传输过程中电流、电压数据监测、用电量的统计、电力设备运行视频以及实时气象信息；
数据分析处理预测模块；分析和预测处理信息采集模块采集到的数据，进行分类存储和预测；
用户用电负荷数据分析与修正模块；用于分析用户用电负荷的数据，然后生成决策任务；
分析决策模块；将决策任务分解成多个细粒度的子任务进行分析决策，被数据分析处理预测模块进一步分析处理后，进行合并生成最终的决策结果；
存储服务器；存储服务器为本地服务器和多个云服务器，按数据的机密程度选择不同的服务器存储；
操作平台；对多个云服务器内的数据进行提取、统计模型的生产和系统的操作。
2.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：所述信息采集模块包括电流传感器、电压传感器、风速传感器和摄像头，电流传感器以及电压传感器分别安装在用电区的主干线以及分支线上，按1km一个节点进行安装，风速传感器和摄像头安装在配电设备上，摄像头对准配电设备容易出问题的地方。
3.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：所述数据分析处理预测模块内嵌入有数据缓存模块、数据分析模块、数据预测模块、数据存储模块和数据过滤模块，数据缓存模块用于缓存信息采集模块采集到的数据信息，数据分析模块将缓存后的数据信息进行分类，然后存储到数据存储模块中，不同的类型存放在数据存储模块的不同通道内。
4.根据权利要求3所述的一种基于大数据分析的电能决策系统，其特征在于：数据过滤模块用于过滤删选数据分析处理模块内模糊无法识别的视频数据。
5.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：操作平台包含云端操作平台和控制室操作平台，云端操作平台和控制室操作平台均含有统计模型生成模块，统计模型生成模块含有共性技术分析算法、聚类分析算法、关联分析算法、主元素分析算法和多目标优化算法，和控制室操作平台为联网的计算机。
6.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：数据分析处理预测模块利用联合遗传算法和BP神经网络的数据预测技术，实现对实时采集数据的预测，验证实测数据是否为数据“坏点”，首先使用改进的遗传算法优化BP神经网络的初始连接权值和阈值，再使用数据中心保存的同类历史数据对优化后的BP神经网络进行训练，形成数据预测模型，一旦发现实测数据为数据“坏点”，决策系统将立刻使用预测数据来代替实测数据。
7.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：数据预测模块分析电力系统运行状态变化对电流电压测量精度的影响，采样频率失配条件下周期性信号的傅氏变换方法，设计基于FFT变换的频率跟踪算法。
8.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：用户用电负荷数据分析与修正模块利用奇异点探测技术、粒子滤波、结合统计模型对数据进行清洗、修正与过滤，采用高维时序基于时间序列分析的卡尔曼滤波方法修正用电负荷数据，通过分析用户用电数据关联性，对数据进行清洗、修正；采用哈希分布式索引提高数据分析速度，采用线性判别分析稳健主成分分析法对数据进行特征提取，在此基础上，设计多结构用电负荷数据和基于时间的用电负荷数据的聚类方法、面向用电负荷和用户关系的关联规则挖掘方法，进而分析用户特征群组特征的数据关联关系和行为因果关系，指导空间经济特征与社会行为因素的结构与反馈，进行异常用电行为预测预警。
9.根据权利要求1所述的一种基于大数据分析的电能决策系统，其特征在于：分析决策模块，采用云计算技术，在分布式并行环境中将数据分析决策任务分解成多份细粒度的子任务，各子任务在空闲的处理节点之间被调度和处理，通过特定规则进行合并生成最终的决策结果，将决策结果传输到操作平台上，以用HadoopMapReduce分布并行数据处理云计算开源平台为基础，采用基于WEB客户端日志数据关联规则挖掘算法、高效的负载均衡机制和优化的SPRINT并行处理方法，采用5000个节点的并行计算能力加速数据分析和处理速度，并根据实际需要的计算资源增加或减少硬件节点。
10.根据权利要求5所述的一种基于大数据分析的电能决策系统，其特征在于：登陆所述操作平台的云端操作平台和控制室操作平台时，均需要输入登陆密码以及对登陆者进行人脸识别来验证登陆者的身份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934470.5A CN113723773B (zh) | 2021-08-16 | 2021-08-16 | 一种基于大数据分析的电能决策系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934470.5A CN113723773B (zh) | 2021-08-16 | 2021-08-16 | 一种基于大数据分析的电能决策系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723773A true CN113723773A (zh) | 2021-11-30 |
| CN113723773B CN113723773B (zh) | 2024-03-19 |
Family
ID=78675936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110934470.5A Active CN113723773B (zh) | 2021-08-16 | 2021-08-16 | 一种基于大数据分析的电能决策系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723773B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063052A (zh) * | 2022-08-16 | 2022-09-16 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
| CN115311852A (zh) * | 2022-07-12 | 2022-11-08 | 重庆长安汽车股份有限公司 | 交通拥堵的预测方法、系统、车辆及存储介质 |
| CN115347679A (zh) * | 2022-10-17 | 2022-11-15 | 浙江万胜智能科技股份有限公司 | 一种用户用电的智能管理方法及系统 |
| CN117010932A (zh) * | 2023-08-01 | 2023-11-07 | 达州领投信息技术有限公司 | 一种基于大数据的信息智能处理系统及方法 |
| CN117788047A (zh) * | 2024-02-27 | 2024-03-29 | 深圳市亚飞电子商务有限公司 | 一种基于大数据的商品需求分析方法及系统 |
| CN118484432A (zh) * | 2024-07-16 | 2024-08-13 | 本溪钢铁（集团）信息自动化有限责任公司 | 基于云计算的分布式文件数据处理方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140351285A1 (en) * | 2011-12-29 | 2014-11-27 | State Grid Information & Telecommunication Branch | Platform and method for analyzing electric power system data |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| CN108876132A (zh) * | 2018-06-07 | 2018-11-23 | 合肥工业大学 | 基于云的工业企业能效服务推荐方法和系统 |
| CN109492002A (zh) * | 2018-10-19 | 2019-03-19 | 浙江大学华南工业技术研究院 | 一种智能电网大数据存储与分析系统及处理方法 |
| KR20190045530A (ko) * | 2017-10-24 | 2019-05-03 | 한국전력공사 | 전압 전류 분석 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| CN110601214A (zh) * | 2019-10-30 | 2019-12-20 | 国网浙江浦江县供电有限公司 | 一种配电网无功电压治理监控系统 |
| WO2020147349A1 (zh) * | 2019-01-14 | 2020-07-23 | 中国电力科学研究院有限公司 | 配电网运行辅助决策分析系统及方法 |
| CN112380399A (zh) * | 2020-11-18 | 2021-02-19 | 上海科技网络通信有限公司 | 基于云平台的用电大数据处理系统及其处理方法 |
| WO2021109515A1 (zh) * | 2019-12-03 | 2021-06-10 | 江苏智臻能源科技有限公司 | 基于关联分析与卡尔曼滤波法的短期负荷预测方法 |
| KR102283884B1 (ko) * | 2020-08-21 | 2021-08-03 | 주식회사 데카엔지니어링 | 인공지능 기반 전기화재 예측 및 예지보전 시스템 및 방법 |
-
2021
- 2021-08-16 CN CN202110934470.5A patent/CN113723773B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140351285A1 (en) * | 2011-12-29 | 2014-11-27 | State Grid Information & Telecommunication Branch | Platform and method for analyzing electric power system data |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| KR20190045530A (ko) * | 2017-10-24 | 2019-05-03 | 한국전력공사 | 전압 전류 분석 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| CN108876132A (zh) * | 2018-06-07 | 2018-11-23 | 合肥工业大学 | 基于云的工业企业能效服务推荐方法和系统 |
| CN109492002A (zh) * | 2018-10-19 | 2019-03-19 | 浙江大学华南工业技术研究院 | 一种智能电网大数据存储与分析系统及处理方法 |
| WO2020147349A1 (zh) * | 2019-01-14 | 2020-07-23 | 中国电力科学研究院有限公司 | 配电网运行辅助决策分析系统及方法 |
| CN110601214A (zh) * | 2019-10-30 | 2019-12-20 | 国网浙江浦江县供电有限公司 | 一种配电网无功电压治理监控系统 |
| WO2021109515A1 (zh) * | 2019-12-03 | 2021-06-10 | 江苏智臻能源科技有限公司 | 基于关联分析与卡尔曼滤波法的短期负荷预测方法 |
| KR102283884B1 (ko) * | 2020-08-21 | 2021-08-03 | 주식회사 데카엔지니어링 | 인공지능 기반 전기화재 예측 및 예지보전 시스템 및 방법 |
| CN112380399A (zh) * | 2020-11-18 | 2021-02-19 | 上海科技网络通信有限公司 | 基于云平台的用电大数据处理系统及其处理方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311852A (zh) * | 2022-07-12 | 2022-11-08 | 重庆长安汽车股份有限公司 | 交通拥堵的预测方法、系统、车辆及存储介质 |
| CN115063052A (zh) * | 2022-08-16 | 2022-09-16 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
| CN115063052B (zh) * | 2022-08-16 | 2022-11-25 | 南方电网数字电网研究院有限公司 | 一种基于电能计量芯片的电力数据处理方法和计算机设备 |
| CN115347679A (zh) * | 2022-10-17 | 2022-11-15 | 浙江万胜智能科技股份有限公司 | 一种用户用电的智能管理方法及系统 |
| CN117010932A (zh) * | 2023-08-01 | 2023-11-07 | 达州领投信息技术有限公司 | 一种基于大数据的信息智能处理系统及方法 |
| CN117788047A (zh) * | 2024-02-27 | 2024-03-29 | 深圳市亚飞电子商务有限公司 | 一种基于大数据的商品需求分析方法及系统 |
| CN118484432A (zh) * | 2024-07-16 | 2024-08-13 | 本溪钢铁（集团）信息自动化有限责任公司 | 基于云计算的分布式文件数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723773B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113723773B (zh) | 一种基于大数据分析的电能决策系统 | |
| CN108564254B (zh) | 基于大数据的配电设备状态可视化平台 | |
| CN107330056B (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN113708493B (zh) | 基于云边协同的配电终端运维方法、装置和计算机设备 | |
| CN104616205A (zh) | 一种基于分布式日志分析的电力系统运行状态监视方法 | |
| CN108153218A (zh) | 一种智能建筑能耗监管系统 | |
| CN113722303A (zh) | 一种基于可视化的电能设备与信息运维系统 | |
| CN113743246A (zh) | 一种基于深度学习的关键电能设备故障诊断方法 | |
| CN117610934A (zh) | 一种电网安全风险评估预警系统 | |
| CN113902164A (zh) | 一种基于大数据技术的配电网故障预测系统及方法 | |
| CN109002901A (zh) | 一种省地县一体化电网信息综合管理系统及装置 | |
| CN105958652A (zh) | 基于大数据分析的无人值守变电站预警系统及方法 | |
| CN118200118A (zh) | 变电站通信网络设备监测、故障预警方法及系统 | |
| CN118069456A (zh) | 一种基于神经网络的大数据集群资源智能监控方法 | |
| CN117851195A (zh) | 一种基于数据分析的电脑主机运行风险监测管控系统 | |
| Fu et al. | An edge computing framework for digital grid | |
| CN113988695A (zh) | 一种基于语义模型和多源数据的电网分层线损分析方法 | |
| Haque et al. | Smart grid concept and technologies for smart cities | |
| Yan et al. | Power Grid Adaptive Security Defense System Based on Artificial Intelligence | |
| Xu et al. | Enhancing power marketing audit through IoT and multi-sensor information fusion: A substation scenario analysis | |
| Chen et al. | Fault Diagnosis Method of Intelligent Substation Based on Improved Association Rule Mining Algorithms | |
| Zhao et al. | Operation and maintenance strategy of radio transmission equipment based on big data | |
| Zhang et al. | Research on Analysis Method of Information System Operation Discipline | |
| Wang et al. | Intelligent Network operation and maintenance based on deep learning technology | |
| Teng et al. | Adaptive Data Statistics Method Based on Fence Mechanism for Cloud-Edge Collaboration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |