CN108920609A - 基于多维度分析的电力实验数据挖掘方法 - Google Patents

基于多维度分析的电力实验数据挖掘方法 Download PDF

Info

Publication number
CN108920609A
CN108920609A CN201810685961.9A CN201810685961A CN108920609A CN 108920609 A CN108920609 A CN 108920609A CN 201810685961 A CN201810685961 A CN 201810685961A CN 108920609 A CN108920609 A CN 108920609A
Authority
CN
China
Prior art keywords
data
analysis
multidimensional
experimental
electric power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810685961.9A
Other languages
English (en)
Inventor
袁小凯
李果
许爱东
张福铮
张乾坤
黄世平
黄容生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
Original Assignee
China South Power Grid International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd filed Critical China South Power Grid International Co ltd
Priority to CN201810685961.9A priority Critical patent/CN108920609A/zh
Publication of CN108920609A publication Critical patent/CN108920609A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多维度分析的电力实验数据挖掘方法,具体包括以下步骤:采集实验业务数据,形成业务数据层;对实验业务数据进行处理,形成实体数据;建立是适应数据挖掘分析和多维分析技术的多维数据仓库;采用机器学习算法对多维数据仓库中的数据进行转换和挖掘,完成试验业务数据所需要的数据预测和关联分析;分析获得结果进行展现。本发明通过对多维数据分析和数据挖掘技术有机的整合在一起,形成基于多维分析的电网实验室数据决策系统平台,对多种类型的电网实验数据进行分析,从而达到利用这些实验数据实现为试验班组减负的目的。

Description

基于多维度分析的电力实验数据挖掘方法
技术领域
本发明涉及计算机软件技术领域,特别是一种数据分析挖掘方法。
背景技术
随着我国电网建设的不断发展,电网设备(装置)数量的逐渐增多,电网设备的调试与检修工作量逐渐加大。而在电网降本增效的经营理念指导下,只能选择提高试验检修工作效率来满足实际生产工作需要,而不是人员数据的增长。因此,南方电网科学研究院在2012年针对科研院管辖的一个检验中心和十个实验室研发的《实验室管理系统》上线使用,基本上固化了试验工作流程、规范试验人员行为、自动化数据采集和报告出具的过程,减少了误操作、提升了工作效率、保障数据安全。实现电网设备检修试验工作的规范化、标准化和信息化管理。
但伴随着《实验室管理系统》的推广,实验数据呈指数级增长,同时实验管理系统的试验任务也种类纷繁复杂,到目前为止,可以对南网科研院管辖的1个检验中心和10个实验室中的24种试验和检验任务的实验数据进行采集、出具电子试验报告、设备使用管理等等,未来随着南网科研院检验检测任务的扩展还会增加。面对如此庞大的数据量,如何进行有效数据的提取与分析成为目前亟待解决的问题之一。
多维数据分析技术是对数据的收集、管理和分析的过程,通过它使企业的数据分析人员获得知识,为公司做出决策提供重要的支持。其核心是“维”,即用户根据实验数据分析需求,从多个现实世界角度观察数据,并对数据进行相应处理,从而获得有用信息的方法。多维数据分析技术具有多维性和可析性特性;其中,多维性可以从实验数据的时间维度、环境维度、设备类别维度、地区维度、电压维度等多个维度面的分析。对于实验数据可以从时间维中的年、季、月、周、日时间层次上进行分析查看;还可以从环境维中的温度高低、污染环境严重程度进行分析查看。因此多维数据分析技术重点是从不同维度、不同方向查看实验数据历史情况,以及可以进行简单的预测分析。
多维分析技术的过程是经过数据抽取、转换、清洗、装载过程,汇总到供电系统的数据仓库中,或直接将多维分析所需数据迁移到平台数据库。数据迁移完成之后,由数据分析人员分析源数据结构,再根据电力检测试验的需求,确立多维数据分析目标,构建多维数据模型;然后根据具体应用要求,对度量对象进行逻辑、统计等方面的数据处理;最后运用直观易理解的图表进行数据展现,完成分析目标,实现多维数据分析。因此,多维分析技术就是直观的、实时的查看历史数据,当然也可以简单的使用多元线性回归法、时间序列法、多元回归分析法三种预测算法,进行数据预测分析。但是这种分析方法只是直观的展示了历史实验数据,不能准确对试验对象的设备做直观的预判,或直观的评价,或者根据试验数据判断设备未来会出什么问题,对相应的历史试验数据没有起到很高的价值利用。
数据挖掘技术主要指的是一种数据库技术与人工智能技术结合的技术,利用一定算法,可以从大量的数据信息中搜索到所需信息。在南网科研院实验室管理系统中的实验数据在应用数据挖掘分析技术可以体现在很多方面,首先,数据挖掘技术可以让试验人员对实验数据实时信息予以切实掌握,可以让数据受到中间人的干扰现象得到有效避免;其次,数据挖掘技术的应用可以让人力成本得到降低,可以让实验数据信息的提取更为自动化;然后,数据挖掘技术在《实验管理系统》中的应用可以让数据信息的掌握更具全面性,可以从不同方面定量、定性对其进行掌握,让实验管理与预测工作得到有力帮助;最后,数据挖掘技术的应用可以辅助分析实验报告工作、制订试验报告工作。
数据挖掘的过程可以概括为:逻辑数据库—>被选择的数据库—>预处理后的数据—>被转换的数据—>被抽取的数据—>被同化的数据;也就是选择、预处理、转换、挖掘、分析与同化,在确定业务对象之后,需要进行数据处理,在数据处理过程中,首先需要搜索和业务对象相关的数据信息,然后选择合适的数据,再需要对数据做出质量研究,对数据挖掘技术类型进行确认,最后需要对数据予以转化,让其成为一个可以进行算法挖掘的分析模型。数据挖掘引入了机器学习算法,对形成分析模型的数据进行预测、分类、聚类和关联等分析,其侧重在与发现数据分析结果,对数据的统计分析不是其所长。
在数据分析领域,不管使用多维分析还是数据挖掘分析,其数据处理过程都是要经过数据抽取、转换、清洗和装载的过程,都对数据的使用者提供辅助决策分析作用。两种分析技术的本质都是从数据里面发现关于业务的知识(有价值的信息),从而帮助业务运营、改进产品以及帮助企业做更好的决策,当两者都有各自的优缺点,如何使用一种方法把两种技术有机的结合,使多维分析技术和数据挖掘技术取长补短,充分体现数据分析的必要性,必将对实验室数据得到高效率的提取与分析带来不可估量的价值。
发明内容
本发明需要解决的技术问题是提供一种基于多维分析技术的电力实验数据挖掘方法,为减轻实验室人员工作量,提高数据分析效率的准确性和高效性提供基础。
为解决上述技术问题,本发明所采取的技术方案如下。
基于多维度分析的电力实验数据挖掘方法,具体包括以下步骤:
A.采集实验业务数据,形成业务数据层;
B.对实验业务数据进行处理,形成实体数据;
C.建立是适应数据挖掘分析和多维分析技术的多维数据仓库;
D.采用机器学习算法对多维数据仓库中的数据进行转换和挖掘,完成试验业务数据所需要的数据预测和关联分析;
E.对步骤D分析获得结果进行展现。
上述基于多维度分析的电力实验数据挖掘方法,步骤A中所述实验业务数据包括设备检测试验数据、电网仿真试验数据、特高压试验数据、噪音量测数据、其他试验数据以及设备参数铭牌值数据。
上述基于多维度分析的电力实验数据挖掘方法,步骤B中所述实验业务数据的处理方法为:数据依次经过抽取、过滤、清洗以及融合集成处理,形成实体数据。
上述基于多维度分析的电力实验数据挖掘方法,步骤C所述的多维数据仓库中设置有以实验数据、设备数据以及其他相关实验数据相关联的实体度量数据模型以及实验数据中的涉及到的天气、气温、环境污染、时间、地域和设备类别相关联的维度数据模型。
上述基于多维度分析的电力实验数据挖掘方法,步骤D中所述的机器学习算法包括:分类算法、聚类算法、降维算法和关联规则算法。
上述基于多维度分析的电力实验数据挖掘方法,步骤E中所述的数据展现形式有在线多维数据展示、挖掘数据的多维展示以及针对独立挖掘出来的数据进行展示。
上述基于多维度分析的电力实验数据挖掘方法,所述实验数据挖掘分析过程中采用的技术机构根据实验数据的体量和时效性进行选择;在时效性比较快和体量巨大的情况下,采用以hadoop为生态的大数据架构;在时效性要求不高和试验数据相对不是很巨大时,采用Oracle的传统数据仓技术架构。
由于采用了以上技术方案,本发明所取得技术进步如下。
本发明通过对多维数据分析和数据挖掘技术有机的整合在一起,形成基于多维分析的电网实验室数据决策系统平台,对多种类型的电网实验数据进行分析,既可以从宏观上多个维度去查看分析实验的统计分析数据,又可以从宏观上多维分析实验数据或分类、或聚类、或降维等等结果数据,还可以单个的实验过程中给试验人员提供挖掘帮助,从而达到利用这些实验数据实现为试验班组减负的目的。同时,本发明还可实现电网设备现场测试与试验结果评价的同时进行,实现对电网设备健康状况的评价,快速判断设备异常原因,及时发现设备缺陷,及时处理,有效地保证了电网设备安全运行,供电可靠性,提高了电力检修工作效率。
附图说明
图1为本发明所述挖掘方法的数据架构图。
具体实施方式
本发明采用多维分析技术和数据挖掘技术相结合的方法,通过构建实验室实验数据决策分析平台,建立多维度的数据仓库,对实验室数据进行数据挖掘建模。通过上述方法即可以通过多维技术直接统计分析实验室数据中的度量值,如:对电容器试验测试时,A、B、C相电容值的测量值和铭牌值,以及其中的误差;还能满足数据挖掘模型的需求,利用数据挖掘技术中的相关机器学习算法,如神经网络、决策树等算法可以去挖掘各类设备试验的最佳周期。
下面将结合附图和具体实施例对本发明进行进一步详细说明。
本实施例中,根据多维分析技术和数据挖掘分析技术提出一种基于多维度分析的电力实验数据挖掘方法,基于此方法构建成南网科研院实验数据决策分析平台。该决策分析平台主旨是为了南网科研院管辖的1个检验中心和10个实验室中的试验和检验任务,能够高效的、准确的、以及有预测性的去完成,达到给试验班组减负,快速判断设备异常、及时发现设备缺陷,及时处理。
一种基于多维度分析的电力实验数据挖掘方法,具体包括以下步骤。
A.采集实验业务数据,形成业务数据层。
本步骤中的实验业务数据包括设备检测试验数据、电网仿真试验数据、特高压试验数据、噪音量测数据、其他试验数据以及设备参数铭牌值数据等等,形成的业务数据层主要用于管理南网科研院实验业务数据,此层级的数据真实反映了实验管理系统的实际情况,包括数据的缺陷,多余的无用数据等,此层也可以说是三层数据架构中的OperationalData Store层(ODS层)。
B.对实验业务数据进行处理,形成实体数据,该步骤为本发明的数据接口层,是数据处理的过程层。
本步骤中,实验业务数据的处理方法为通过数据抽取技术、数据过滤技术、数据清洗技术以及数据融合和集成技术等数据处理技术,形成实体数据。
C.建立是适应数据挖掘分析和多维分析技术的多维数据仓库。多维数据仓库需要以业务为导向,建立两个域的数据模型,一是实体度量数据模型,实体度量数据模型以实验数据、设备数据以及其他相关实验数据相关联;二是维度数据模型,维度数据模型是以实验数据中涉及到的天气、气温、环境污染、时间、地域和设备类别相关联。多维数据仓库属于三层数据架构中的Data Warehouse层(DW层),用于提供给多维分析技术进行直接分析,以及对数据挖掘出来的结果进行多维的展示分析。
D.采用机器学习算法对多维数据仓库中的数据进行转换和挖掘,完成试验业务数据所需要的数据预测和关联分析,此步骤形成本发明的知识发现层。该层次中的机器学习算法包括:分类算法、聚类算法、降维算法和关联规则算法,采用到的语言技术有Matlab语言、R语言、大数据Spark的Scala语言或Java语言和Python语言,通过这些编程语言技术中的机器学习算法库来实现对数据进行挖掘转换,实现业务需要的数据预测和关联分析。
关联规则算法可以挖掘出正在试验的相关设备还有那些设备同样需要进行预防性试验检测等等。
E.对步骤D分析获得结果进行展现,形成本发明的数据展现层,此层属于三层数据架构中的Data Mining层(DM层)。
本步骤中的数据展现形式三种:一是在线多维数据展示,例如,查询实验设备数量的在线多维数据展示可以从多个维度角度(时间维度、地域维度、设备类别、试验结果、试验人员)去查看实验设备数量的情况 ,展现了各个维度范围实验设备数量的宏观统计;二是挖掘数据的多维展示,此类形式展示的数据结合了数据挖掘分析技术和多维数据仓库技术形成的结果,此类数据主要是从分类、聚类以及降维算法进行转换和挖掘的数据,例如:设备预防试验预测分析,此主题分析主要是通过机器学习算法,利用实验数据的数值规律,预测一下相类似的设备在什么时候需要做什么样的预防试验项目,以便对设备试验任务合理安排资源,对于预测出来的设备情况,可以通过多维(时间、地域、设备厂商、设备类别)的方式分析展现出来;三是针对独立挖掘出来的数据进行展示,例如:预防试验的相关性分析时,在进行试验的过程中,根据试验数据的变化,通过相关性分析,提醒试验人员需要变更试验方法、或增加删除试验项目更好的了解设备情况,此类挖掘数据是微观的、个体的挖掘数据,不适合从多个维度展示。
本发明在实验数据挖掘分析过程中采用的技术机构根据实验数据的体量和时效性进行选择。例如,在时效性比较快和体量巨大的情况下,采用以hadoop为生态的大数据架构;在时效性要求不高和试验数据相对不是很巨大时,采用Oracle的传统数据仓技术架构。不管使用什么样的技术架构,但是其数据架构层级是业务数据层、数据接口层、数据仓库层、知识发现层、数据展现层五层不变,通过五个层级设计方法来实现多维分析技术和数据挖掘分析技术的融合,取长补短,互补优势,来解决基于多维分析技术的电网实验数据挖掘分析。

Claims (7)

1.基于多维度分析的电力实验数据挖掘方法,其特征在于,具体包括以下步骤:
A.采集实验业务数据,形成业务数据层;
B.对实验业务数据进行处理,形成实体数据;
C.建立是适应数据挖掘分析和多维分析技术的多维数据仓库;
D.采用机器学习算法对多维数据仓库中的数据进行转换和挖掘,完成试验业务数据所需要的数据预测和关联分析;
E.对步骤D分析获得结果进行展现。
2.根据权利要求1所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,步骤A中所述实验业务数据包括设备检测试验数据、电网仿真试验数据、特高压试验数据、噪音量测数据、其他试验数据以及设备参数铭牌值数据。
3.根据权利要求1所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,步骤B中所述实验业务数据的处理方法为:数据依次经过抽取、过滤、清洗以及融合集成处理,形成实体数据。
4.根据权利要求1所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,步骤C所述的多维数据仓库中设置有以实验数据、设备数据以及其他相关实验数据相关联的实体度量数据模型以及实验数据中的涉及到的天气、气温、环境污染、时间、地域和设备类别相关联的维度数据模型。
5.根据权利要求1所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,步骤D中所述的机器学习算法包括:分类算法、聚类算法、降维算法和关联规则算法。
6.根据权利要求1所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,步骤E中所述的数据展现形式有在线多维数据展示、挖掘数据的多维展示以及针对独立挖掘出来的数据进行展示。
7.根据权利要求1至6任一项所述的基于多维度分析的电力实验数据挖掘方法,其特征在于,所述实验数据挖掘分析过程中采用的技术机构根据实验数据的体量和时效性进行选择;在时效性比较快和体量巨大的情况下,采用以hadoop为生态的大数据架构;在时效性要求不高和试验数据相对不是很巨大时,采用Oracle的传统数据仓技术架构。
CN201810685961.9A 2018-06-28 2018-06-28 基于多维度分析的电力实验数据挖掘方法 Pending CN108920609A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810685961.9A CN108920609A (zh) 2018-06-28 2018-06-28 基于多维度分析的电力实验数据挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810685961.9A CN108920609A (zh) 2018-06-28 2018-06-28 基于多维度分析的电力实验数据挖掘方法

Publications (1)

Publication Number Publication Date
CN108920609A true CN108920609A (zh) 2018-11-30

Family

ID=64423031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810685961.9A Pending CN108920609A (zh) 2018-06-28 2018-06-28 基于多维度分析的电力实验数据挖掘方法

Country Status (1)

Country Link
CN (1) CN108920609A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008273A (zh) * 2019-04-11 2019-07-12 宁夏隆基宁光仪表股份有限公司 一种智能电能表大数据模型处理系统及处理方法
CN110442623A (zh) * 2019-08-08 2019-11-12 厦门久凌创新科技有限公司 大数据挖掘方法、装置及数据挖掘服务器
CN112418802A (zh) * 2020-11-25 2021-02-26 珠海市呼呼网络科技有限责任公司 一种实现工程项目基础数据四维翻转的数据架构方法
CN112734276A (zh) * 2021-01-20 2021-04-30 杭州盈兴科技有限公司 一种智慧酒店运营管理方法、装置和电子设备
CN113378978A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种基于数据挖掘的试验数据智能分析方法
CN113377745A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种统一标准的试验数据结构体系的构建方法
CN113379313A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种具有智能化的预防性试验作业管控系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986333A (zh) * 2010-12-01 2011-03-16 福州维胜信息技术有限公司 一种医院辅助决策支持系统
CN104915456A (zh) * 2015-07-03 2015-09-16 宁夏隆基宁光仪表有限公司 一种基于数据分析系统下的海量用电数据挖掘方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986333A (zh) * 2010-12-01 2011-03-16 福州维胜信息技术有限公司 一种医院辅助决策支持系统
CN104915456A (zh) * 2015-07-03 2015-09-16 宁夏隆基宁光仪表有限公司 一种基于数据分析系统下的海量用电数据挖掘方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008273A (zh) * 2019-04-11 2019-07-12 宁夏隆基宁光仪表股份有限公司 一种智能电能表大数据模型处理系统及处理方法
CN110442623A (zh) * 2019-08-08 2019-11-12 厦门久凌创新科技有限公司 大数据挖掘方法、装置及数据挖掘服务器
CN110442623B (zh) * 2019-08-08 2021-08-27 厦门久凌创新科技有限公司 大数据挖掘方法、装置及数据挖掘服务器
CN112418802A (zh) * 2020-11-25 2021-02-26 珠海市呼呼网络科技有限责任公司 一种实现工程项目基础数据四维翻转的数据架构方法
CN112418802B (zh) * 2020-11-25 2024-02-09 珠海市呼呼网络科技有限责任公司 一种实现工程项目基础数据四维翻转的数据架构方法
CN112734276A (zh) * 2021-01-20 2021-04-30 杭州盈兴科技有限公司 一种智慧酒店运营管理方法、装置和电子设备
CN113378978A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种基于数据挖掘的试验数据智能分析方法
CN113377745A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种统一标准的试验数据结构体系的构建方法
CN113379313A (zh) * 2021-07-02 2021-09-10 贵州电网有限责任公司 一种具有智能化的预防性试验作业管控系统
CN113378978B (zh) * 2021-07-02 2023-11-24 贵州电网有限责任公司 一种基于数据挖掘的试验数据智能分析方法

Similar Documents

Publication Publication Date Title
CN108920609A (zh) 基于多维度分析的电力实验数据挖掘方法
CN104200288B (zh) 一种基于因素与事件间相关关系识别的设备故障预测方法
CN110703057B (zh) 基于数据增强和神经网络的电力设备局部放电诊断方法
CN105426980B (zh) 一种配电网健康指数评估工程应用系统
CN111738462B (zh) 电力计量装置故障抢修主动服务预警方法
CN111259947A (zh) 一种基于多模态学习的电力系统故障预警方法和系统
CN107832876B (zh) 基于MapReduce框架的分区最大负荷预测方法
CN106095639A (zh) 一种集群亚健康预警方法及系统
CN106909933A (zh) 一种三阶段多视角特征融合的窃电分类预测方法
CN108170769A (zh) 一种基于决策树算法的装配制造质量数据处理方法
CN112688431A (zh) 一种基于大数据的配电网负荷过载可视化方法及系统
CN110471965A (zh) 一种电网设备nqi一站式服务云平台系统
CN114118588B (zh) 聚类欠采样下基于博弈特征提取的迎峰度夏停电预测方法
CN113283602B (zh) 基于离线知识学习和在线动态修正电网系统故障诊断方法
CN115423429A (zh) 基于图像和声音信息的多模态一体化配网运营系统
CN112527572A (zh) 磁盘故障预测方法、装置、计算机可读存储介质及服务器
CN104281525A (zh) 一种缺陷数据分析方法及利用其缩减软件测试项目的方法
CN114118269A (zh) 基于典型业务场景下的能源大数据聚合分析方法
CN115496233A (zh) 一种基于马尔可夫模型的数据中台运行故障预测方法
CN107025293A (zh) 一种电力二次设备缺陷数据挖掘方法及系统
CN109165854B (zh) 空管运行效率等级评估方法及其装置
CN117764547A (zh) 一种光伏组串故障诊断方法及系统
Ya’An Application of artificial intelligence in computer network technology in the era of big data
CN111965995B (zh) 一种三库合一飞机航电系统健康评估与预测系统及其方法
CN110298585B (zh) 一种变电站设备监控信息分层分级自动审核方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130