CN115147242A - 一种基于数据挖掘的电网数据管理系统 - Google Patents
一种基于数据挖掘的电网数据管理系统 Download PDFInfo
- Publication number
- CN115147242A CN115147242A CN202210772783.XA CN202210772783A CN115147242A CN 115147242 A CN115147242 A CN 115147242A CN 202210772783 A CN202210772783 A CN 202210772783A CN 115147242 A CN115147242 A CN 115147242A
- Authority
- CN
- China
- Prior art keywords
- data
- power grid
- module
- mining
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007418 data mining Methods 0.000 title claims abstract description 61
- 238000013523 data management Methods 0.000 title claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000013079 data visualisation Methods 0.000 claims abstract description 10
- 238000007726 management method Methods 0.000 claims abstract description 9
- 210000002569 neuron Anatomy 0.000 claims description 18
- 238000005065 mining Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 238000004140 cleaning Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 10
- 238000013501 data transformation Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000005611 electricity Effects 0.000 description 14
- 230000006399 behavior Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据挖掘的电网数据管理系统，涉及电网数据管理技术领域，包括数据源接入模块、电网数据库、数据预处理单元、数据处理模块、数据挖掘单元、数据管理单元以及数据可视化模块，所述数据源接入模块的输出端信号连接在电网数据库的输入端，所述电网数据库的输出端信号连接在数据预处理单元的输入端。该基于数据挖掘的电网数据管理系统，通过对电网数据进行收集，并进行数据挖掘处理，从而对大量的电网数据进行有效管理，减少冗余数据量，提高电网数据的管理效率，以实现电网数据的快速整理和有效监测，从而可以及时的发现电网各系统运行过程中存在的异常参数，为电网各系统的安全运行提供保障。
Description
技术领域
本发明涉及电网数据管理技术领域，具体为一种基于数据挖掘的电网数据管理系统。
背景技术
在电力系统中，通常把由输电、变电、配电设备及相应的辅助系统组成的联系发电与用电的统一整体称为电力网。简称电网，电网各类系统在日常运作中均会产生大量的电网数据，目前，电网公司对于这类电网数据类资产的管理工作普遍采用传统的数据存储管理手段，仅能实现数据的采集和存储，这些数据并没有很好的呈现为可视化的关联，而关键数据的提取以及数据关联关系的建立等仍需依靠人工进行，费时费力的同时，电网数据是否存在异常不可知，一定程度上制约了电网数据的挖掘利用。
为了解决上述问题，我们提出了一种基于数据挖掘的电网数据管理系统。
发明内容
针对现有技术的不足，本发明提供了一种基于数据挖掘的电网数据管理系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于数据挖掘的电网数据管理系统，包括数据源接入模块、电网数据库、数据预处理单元、数据处理模块、数据挖掘单元、数据管理单元以及数据可视化模块，所述数据源接入模块的输出端信号连接在电网数据库的输入端，所述电网数据库的输出端信号连接在数据预处理单元的输入端，所述数据预处理单元的输出端信号连接在数据处理模块的输入端，所述数据处理模块的输出端信号连接在数据挖掘单元的输入端，所述数据挖掘单元的输出端信号连接在数据管理单元的输入端，所述数据管理单元的输出端信号连接在数据可视化模块的输入端；
所述数据源接入模块，基于电网服务器设置有数据访问接口，用于对数据源的数据进行接入，数据源来自各个电网系统的电网数据；
所述电网数据库，用于存储来自各个电网系统的电网数据，内置有数据仓库，并将高维数据整合成数据仓库中集成统一的数据格式；
所述数据预处理单元，包括数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，用于将数据经过数据预处理后形成具备挖掘能力的数据信息，并形成数据集；
所述数据处理模块，用于将数据预处理单元中数据集的结构化数据、半结构化数据以及非结构化数据进行数据提取；
所述数据挖掘单元，包括数据初始化模块、数据输入模块、数据挖掘模块以及数据输出模块，用于对电网数据进行聚类挖掘并输出挖掘结果；
所述数据管理单元，包括数据统计模块、数据分析模块以及数据标识模块，用于对电网数据进行数据安全分析，判断是否有异常数据；
所述数据可视化模块，用于将数据管理单元中的数据进行可视化的数据展示。
进一步优化本技术方案，所述电网数据库内置的数据仓库中整合后的数据，剔除了电网系统内部的业务逻辑以及异构环境，用于提高后续的数据预处理单元对数据的处理效率。
进一步优化本技术方案，所述数据预处理单元中的数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，进一步包括以下具体内容：
所述数据清洗模块，用于对数据进行噪声清除，并去除冗余，进行数据的添补；
所述数据集成模块，用于使各个电网系统的电网数据整合成一致的数据存储；
所述数据规约模块，用于将形成的数据集进行简化表示；
所述数据变换模块，用于将数据进行变换和统一成具备挖掘能力的数据形式。
进一步优化本技术方案，所述数据处理模块进行数据提取时，分别包括以下两个过程：
对结构化数据进行处理时，按照人工提供的数据与数据之间的硬性联系以及数据之间的聚类关系中提取出存在关联关系的数据；
对半结构化数据和非结构化数据进行处理时，包括结构化信息和底层/高层特征的提取，依赖于半结构化数据/非结构化数据存储来存储提取的元数据或者特征数据，依赖于并行计算框架来执行数据提取过程。
进一步优化本技术方案，所述数据挖掘单元中的数据初始化模块对数据集进行样本训练，基于神经元模型确定神经元数，所述神经元模型如下所示：
A＝N+0.7S0+σ
其中，A为神经元数，N为数据集样本的聚类类别数，S0为初始领域，σ为修正系数，0＜σ＜N。
进一步优化本技术方案，所述数据挖掘单元中的数据输入模块对输入的电网数据进行归一化处理，如下式所示：
基于上式最终确定输入模型，模型如下式所示：
Xt＝{[Xt1],[Xt2],...,[Xtk]}
其中，k为电网数据的样本向量维数，t为当前训练次数。
进一步优化本技术方案，所述数据挖掘单元中的数据挖掘模块，用于神经元获取对输入模型的响应，计算输入Xt与全部输出结点所连接权向量的距离，计算方式如下式所示：
其中，Wtij(t)为权向量，(i,j)为神经元的坐标，t为迭代次数，k为电网数据的样本向量维数；
经数据挖掘模块的数据按向量间的相似程度映射到输出空间中，数据按聚类特征形成若干簇。
进一步优化本技术方案，所述数据管理单元中还包括有数据存储库，用于将经数据挖掘后的电网数据进行存储，用于后期的数据分析。
进一步优化本技术方案，所述电网数据管理系统通过对电网用电负荷数据进行挖掘，用于分析包括线损、负荷率和电能质量在内的重要运行参数。
进一步优化本技术方案，所述电网数据管理系统通过对电网用电用户的客户数据进行挖掘，用于提取用户的历史用电行为趋势，辨识用户响应的模型特征参数，对用户进行组合聚类分析，实现对客户的归类管理。
与现有技术相比，本发明提供了一种基于数据挖掘的电网数据管理系统，具备以下有益效果：
该基于数据挖掘的电网数据管理系统，通过对电网数据进行收集，并进行数据挖掘处理，从而对大量的电网数据进行有效管理，减少冗余数据量，提高电网数据的管理效率，以实现电网数据的快速整理和有效监测，从而可以及时的发现电网各系统运行过程中存在的异常参数，为电网各系统的安全运行提供保障。
附图说明
图1为本发明提出的一种基于数据挖掘的电网数据管理系统的结构示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1，一种基于数据挖掘的电网数据管理系统，包括数据源接入模块、电网数据库、数据预处理单元、数据处理模块、数据挖掘单元、数据管理单元以及数据可视化模块，所述数据源接入模块的输出端信号连接在电网数据库的输入端，所述电网数据库的输出端信号连接在数据预处理单元的输入端，所述数据预处理单元的输出端信号连接在数据处理模块的输入端，所述数据处理模块的输出端信号连接在数据挖掘单元的输入端，所述数据挖掘单元的输出端信号连接在数据管理单元的输入端，所述数据管理单元的输出端信号连接在数据可视化模块的输入端。
所述数据源接入模块，基于电网服务器设置有数据访问接口，用于对数据源的数据进行接入，数据源来自各个电网系统的电网数据。所述电网系统包括CSGII系统、外部系统以及自建系统。
所述电网数据库，用于存储来自各个电网系统的电网数据，内置有数据仓库，并将高维数据整合成数据仓库中集成统一的数据格式。
其中，所述电网数据库内置的数据仓库中整合后的数据，剔除了电网系统内部的业务逻辑以及异构环境，用于提高后续的数据预处理单元对数据的处理效率。
所述数据预处理单元，包括数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，用于将数据经过数据预处理后形成具备挖掘能力的数据信息，并形成数据集。
其中，所述数据预处理单元中的数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，进一步包括以下具体内容：
所述数据清洗模块，用于对数据进行噪声清除，并去除冗余，进行数据的添补；
所述数据集成模块，用于使各个电网系统的电网数据整合成一致的数据存储；
所述数据规约模块，用于将形成的数据集进行简化表示；
所述数据变换模块，用于将数据进行变换和统一成具备挖掘能力的数据形式。
所述数据处理模块，用于将数据预处理单元中数据集的结构化数据、半结构化数据以及非结构化数据进行数据提取。
其中，所述数据处理模块进行数据提取时，分别包括以下两个过程：
对结构化数据进行处理时，按照人工提供的数据与数据之间的硬性联系以及数据之间的聚类关系中提取出存在关联关系的数据；
对半结构化数据和非结构化数据进行处理时，包括结构化信息和底层/高层特征的提取，依赖于半结构化数据/非结构化数据存储来存储提取的元数据或者特征数据，依赖于并行计算框架来执行数据提取过程。
所述数据挖掘单元，包括数据初始化模块、数据输入模块、数据挖掘模块以及数据输出模块，用于对电网数据进行聚类挖掘并输出挖掘结果。
其中，所述数据挖掘单元中的数据初始化模块对数据集进行样本训练，基于神经元模型确定神经元数，所述神经元模型如下所示：
A＝N+0.7S0+σ
其中，A为神经元数，N为数据集样本的聚类类别数，S0为初始领域，σ为修正系数，0＜σ＜N。
其中，所述数据挖掘单元中的数据输入模块对输入的电网数据进行归一化处理，如下式所示：
基于上式最终确定输入模型，模型如下式所示：
Xt＝{[Xt1],[Xt2],...,[Xtk]}
其中，k为电网数据的样本向量维数，t为当前训练次数。
其中，所述数据挖掘单元中的数据挖掘模块，用于神经元获取对输入模型的响应，计算输入Xt与全部输出结点所连接权向量的距离，计算方式如下式所示：
其中，Wtij(t)为权向量，(i,j)为神经元的坐标，t为迭代次数，k为电网数据的样本向量维数；
经数据挖掘模块的数据按向量间的相似程度映射到输出空间中，数据按聚类特征形成若干簇。
所述数据管理单元，包括数据统计模块、数据分析模块以及数据标识模块，用于对电网数据进行数据安全分析，判断是否有异常数据。
其中，所述数据管理单元中还包括有数据存储库，用于将经数据挖掘后的电网数据进行存储，用于后期的数据分析。
所述数据可视化模块，用于将数据管理单元中的数据进行可视化的数据展示，基于拼接LED大屏的数据展示，可以及时的发现电网各系统运行过程中存在的异常参数，为电网各系统的安全运行提供保障。
实施例二：
基于实施例一所述的基于数据挖掘的电网数据管理系统，采用数据挖掘技术，与电网用电负荷数据相结合，分析线损、负荷率和电能质量等重要运行参数，了解线损指标，实现异常分析自动化、异常甄别智能化、异常定位精准化。
结合营配集成的“站-线-变-户”电网拓扑关系、计量自动化系统电能量采集信息，对用电客户负荷特征及线损情况进行综合分析，查看异常线路的当期线损率，供售电量，环比线损率，环比供售电量，同比线损率，同比供售电量和指标值。
对综合电压合格率、主设备综合可用系数、电容器可用率等数据指标进行聚类，建立用电异常分析模型，测算指标理论波动区间，一方面可以进行指标相关性分析，查找存在于项目集合或对象集合之间的频繁模式、关联性或因果结构，检验指标之间的关联程度并探索其原因，找出线损指标和营销基础指标之间的特征关联，为线损异常查找和营销稽查提供可能的方向。另一方面可以进行指标趋势分析和指标贡献度分析，判断指标发展趋势，检验各指标对最终得分的贡献程度，为降损提供输入。
对于配电线路和低压台区中重点用户和电量较大的用户，可以通过其日常负荷变化数据拟合其日负荷变化曲线，对其由较大突变现象进行自动分析提示，标注完成后模型会自动对标识对象进行日监测计算和集中管理，以便在下一周期出现异常时进行告警、提示和深入分析。同时利用高维随机矩阵理论分析窃电位置及窃电容量与电气特征关联映射关系，结合评价指标体系以及用户用电特征密度分布分析用电行为，判断嫌疑用户，实现对线损异常从发现-分析-定位-处置-归档等全过程的管控，对电网的反窃电等工作带来积极推动作用。
实施例三：
基于实施例一所述的基于数据挖掘的电网数据管理系统，采用数据挖掘技术，有利于对客户细分、客户信用等级评估这两大主要的行为预测其变化趋势。
客户细分一般可以从自然特征和消费行为入手，主要是通过两种方式进行细分，第一种，用单一变量进行划段分组，比如，以消费高低进行变量细分，即将该变量划分为几个段，高消费客户，中消费客户和低消费客户，第二种，用多个变量交叉分组，比如用性别和收入两个变量进行交叉细分，实现根据不同客户的归类管理，按照客户优质等级、客户申报电量等级、客户合同电价等不同维度进行归类。客户细分总是和聚类分析联系在一起，提取用户的历史用电行为趋势，辨识用户响应的模型特征参数，对用户进行组合聚类分析。有助于辨别客户的经营增长价值、用电行为敏感性、用电风险等客户行为特征，包括缴费偏好、用电信用、业务特征、情感特征等标签分类，根据其行为特征描述用户画像，制定催费回收的服务策略，根据电费催收服务策略可以指导营业厅及客户经理为客户提供精准的服务，并实现每月电费结零的考核任务。
本发明的有益效果是：
该基于数据挖掘的电网数据管理系统，通过对电网数据进行收集，并进行数据挖掘处理，从而对大量的电网数据进行有效管理，减少冗余数据量，提高电网数据的管理效率，以实现电网数据的快速整理和有效监测，从而可以及时的发现电网各系统运行过程中存在的异常参数，为电网各系统的安全运行提供保障。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于数据挖掘的电网数据管理系统，其特征在于，包括数据源接入模块、电网数据库、数据预处理单元、数据处理模块、数据挖掘单元、数据管理单元以及数据可视化模块，所述数据源接入模块的输出端信号连接在电网数据库的输入端，所述电网数据库的输出端信号连接在数据预处理单元的输入端，所述数据预处理单元的输出端信号连接在数据处理模块的输入端，所述数据处理模块的输出端信号连接在数据挖掘单元的输入端，所述数据挖掘单元的输出端信号连接在数据管理单元的输入端，所述数据管理单元的输出端信号连接在数据可视化模块的输入端；
所述数据源接入模块，基于电网服务器设置有数据访问接口，用于对数据源的数据进行接入，数据源来自各个电网系统的电网数据；
所述电网数据库，用于存储来自各个电网系统的电网数据，内置有数据仓库，并将高维数据整合成数据仓库中集成统一的数据格式；
所述数据预处理单元，包括数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，用于将数据经过数据预处理后形成具备挖掘能力的数据信息，并形成数据集；
所述数据处理模块，用于将数据预处理单元中数据集的结构化数据、半结构化数据以及非结构化数据进行数据提取；
所述数据挖掘单元，包括数据初始化模块、数据输入模块、数据挖掘模块以及数据输出模块，用于对电网数据进行聚类挖掘并输出挖掘结果；
所述数据管理单元，包括数据统计模块、数据分析模块以及数据标识模块，用于对电网数据进行数据安全分析，判断是否有异常数据；
所述数据可视化模块，用于将数据管理单元中的数据进行可视化的数据展示。
2.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述电网数据库内置的数据仓库中整合后的数据，剔除了电网系统内部的业务逻辑以及异构环境，用于提高后续的数据预处理单元对数据的处理效率。
3.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据预处理单元中的数据清洗模块、数据集成模块、数据规约模块以及数据变换模块，进一步包括以下具体内容：
所述数据清洗模块，用于对数据进行噪声清除，并去除冗余，进行数据的添补；
所述数据集成模块，用于使各个电网系统的电网数据整合成一致的数据存储；
所述数据规约模块，用于将形成的数据集进行简化表示；
所述数据变换模块，用于将数据进行变换和统一成具备挖掘能力的数据形式。
4.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据处理模块进行数据提取时，分别包括以下两个过程：
对结构化数据进行处理时，按照人工提供的数据与数据之间的硬性联系以及数据之间的聚类关系中提取出存在关联关系的数据；
对半结构化数据和非结构化数据进行处理时，包括结构化信息和底层/高层特征的提取，依赖于半结构化数据/非结构化数据存储来存储提取的元数据或者特征数据，依赖于并行计算框架来执行数据提取过程。
5.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据挖掘单元中的数据初始化模块对数据集进行样本训练，基于神经元模型确定神经元数，所述神经元模型如下所示：
A＝N+0.7S0+σ
其中，A为神经元数，N为数据集样本的聚类类别数，S0为初始领域，σ为修正系数，0＜σ＜N。
6.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据挖掘单元中的数据输入模块对输入的电网数据进行归一化处理，如下式所示：
基于上式最终确定输入模型，模型如下式所示：
Xt＝{[Xt1],[Xt2],...,[Xtk]}
其中，k为电网数据的样本向量维数，t为当前训练次数。
7.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据挖掘单元中的数据挖掘模块，用于神经元获取对输入模型的响应，计算输入Xt与全部输出结点所连接权向量的距离，计算方式如下式所示：
其中，Wtij(t)为权向量，(i,j)为神经元的坐标，t为迭代次数，k为电网数据的样本向量维数；
经数据挖掘模块的数据按向量间的相似程度映射到输出空间中，数据按聚类特征形成若干簇。
8.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述数据管理单元中还包括有数据存储库，用于将经数据挖掘后的电网数据进行存储，用于后期的数据分析。
9.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述电网数据管理系统通过对电网用电负荷数据进行挖掘，用于分析包括线损、负荷率和电能质量在内的重要运行参数。
10.根据权利要求1所述的一种基于数据挖掘的电网数据管理系统，其特征在于，所述电网数据管理系统通过对电网用电用户的客户数据进行挖掘，用于提取用户的历史用电行为趋势，辨识用户响应的模型特征参数，对用户进行组合聚类分析，实现对客户的归类管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210772783.XA CN115147242A (zh) | 2022-06-30 | 2022-06-30 | 一种基于数据挖掘的电网数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210772783.XA CN115147242A (zh) | 2022-06-30 | 2022-06-30 | 一种基于数据挖掘的电网数据管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147242A true CN115147242A (zh) | 2022-10-04 |
Family
ID=83410971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210772783.XA Pending CN115147242A (zh) | 2022-06-30 | 2022-06-30 | 一种基于数据挖掘的电网数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147242A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756229A (zh) * | 2023-06-01 | 2023-09-15 | 广州盛成妈妈网络科技股份有限公司 | 一种数据挖掘与可视化的方法 |
-
2022
- 2022-06-30 CN CN202210772783.XA patent/CN115147242A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756229A (zh) * | 2023-06-01 | 2023-09-15 | 广州盛成妈妈网络科技股份有限公司 | 一种数据挖掘与可视化的方法 |
| CN116756229B (zh) * | 2023-06-01 | 2023-11-28 | 广州盛成妈妈网络科技股份有限公司 | 一种数据挖掘与可视化的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223196B (zh) | 基于典型行业特征库和反窃电样本库的反窃电分析方法 | |
| CN110097297B (zh) | 一种多维度窃电态势智能感知方法、系统、设备及介质 | |
| Zidi et al. | Theft detection dataset for benchmarking and machine learning based classification in a smart grid environment | |
| CN109918511B (zh) | 一种基于bfs和lpa的知识图谱反欺诈特征提取方法 | |
| Zhang et al. | Power consumption predicting and anomaly detection based on transformer and K-means | |
| CN105488628A (zh) | 一种面向电力大数据可视化的数据挖掘方法 | |
| CN114066196A (zh) | 一种电网投资策略优化系统 | |
| CN110675020A (zh) | 一种基于大数据的高价低接用户识别方法 | |
| Bhardwaj et al. | Review of text mining techniques | |
| CN112132210A (zh) | 一种基于客户用电行为的窃电概率预警分析方法 | |
| CN113392910A (zh) | 一种判断违约用电与窃电的多维度智能分析经验算法和分类算法 | |
| CN115564071A (zh) | 一种电力物联网设备数据标签生成方法及系统 | |
| CN115147242A (zh) | 一种基于数据挖掘的电网数据管理系统 | |
| CN115905319B (zh) | 一种海量用户电费异常的自动识别方法及系统 | |
| Jianyuan et al. | Anomaly electricity detection method based on entropy weight method and isolated forest algorithm | |
| CN114372835B (zh) | 综合能源服务潜力客户识别方法、系统及计算机设备 | |
| CN113935819A (zh) | 核算异常特征提取方法 | |
| CN113435494A (zh) | 低压居民用户异常用电识别方法及仿真模拟系统 | |
| CN115270223A (zh) | 配电台区状态获取与分析方法及系统 | |
| Lu et al. | Time series power anomaly detection based on Light Gradient Boosting Machine | |
| CN114626433A (zh) | 一种智能电能表故障预测并分类方法、装置及系统 | |
| CN114154617A (zh) | 一种基于vfl的低压居民用户异常用电识别方法及系统 | |
| CN114066219A (zh) | 一种关联矩阵下用电异常点智能识别的窃电分析方法 | |
| CN112100246A (zh) | 一种基于多维图码标签的客户用电价值挖掘方法 | |
| Yu et al. | Construction of User Electricity Behavior Portrait based on QFPAKmeans Clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |