CN105183911A - 一种基于数据来源二叉树的电力系统异常数据溯源方法 - Google Patents

一种基于数据来源二叉树的电力系统异常数据溯源方法 Download PDF

Info

Publication number
CN105183911A
CN105183911A CN201510656171.4A CN201510656171A CN105183911A CN 105183911 A CN105183911 A CN 105183911A CN 201510656171 A CN201510656171 A CN 201510656171A CN 105183911 A CN105183911 A CN 105183911A
Authority
CN
China
Prior art keywords
data
binary tree
node
source
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510656171.4A
Other languages
English (en)
Inventor
张斌
王成现
周红林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510656171.4A priority Critical patent/CN105183911A/zh
Publication of CN105183911A publication Critical patent/CN105183911A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于数据来源二叉树的电力系统异常数据溯源方法，该方法包括以下步骤：首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建节点；接着对构建的二叉树建立线索，方便进行数据的逆查询；最后完成对电力系统异常数据的反馈与整改。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给相应的业务部门、业务系统以完成异常数据反馈和修正，保证了企业实时数据的可靠性。

Description

一种基于数据来源二叉树的电力系统异常数据溯源方法
技术领域
本发明属于计算机技术领域，涉及一种数据异常溯源方法，特别是一种基于数据来源二叉树的数据异常溯源方法。
背景技术
以博客、社会网络、基于位置的服务为代表的新型信息发布方式的不断涌现，以及云计算、物联网、移动互联网等现代信息技术的迅猛发展，迅速增长的数据逐渐成为企业的核心资产。企业所需处理的数据大致来源于三个方面：（1）企业运营系统积累的数据；（2）Web2.0带来的用户原创数据；（3）由感知式系统获得的监控数据。企业无不希望通过这些海量多源异构数据的聚合发现知识，构建企业级智能化应用，以便更加贴近消费者最真实的需求，从而创造更多的商机，提升企业的竞争力。
数据作为企业运营管理的灵魂，其质量问题日益显现并逐渐突出，这些数据质量问题主要表现为数据不正确、不一致、不完整等方面，亟需一套方案对电力系统数据质量进行全程有效管理。
发明内容
鉴于数据质量问题日益突出得不到有效解决的问题，本发明的目的是提供一种基于数据来源二叉树的电力系统异常数据溯源方法，通过基于数据来源树的数据异常溯源方法来检测数据异常，实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给业务部门、业务系统以完成异常数据反馈和修正。
本发明的目的通过以下技术方案实现：
一种基于数据来源二叉树的电力系统异常数据溯源方法，该方法首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，并将二叉树转换成平衡二叉树；接着对构建的二叉树建立线索,方便进行数据的逆查询；最后完成对电力异常数据的反馈与整改；包括以下步骤：
1）实时获取电力数据，对数据进行标注；
2）构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点；
3）对构建的二叉树建立线索，方便进行数据的逆查询；
4）完成对电力系统异常数据的反馈与整改。
本发明步骤2）中，采用二叉树转平衡二叉树的算法，将数据来源二叉树转为平衡二叉树，该树满足任何一个节点的左右子树高度差的绝对值小于等于1。
步骤3）中，对二叉树添加线索，是针对每一个节点添加前驱和后继，当平台数据或目标数据被修改后，逆向快速地找到修改数据的原始来源表以及原始数据。
步骤4）中，对电力系统异常数据的反馈与整改过程如下：匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。
本发明主要针对企业异常数据进行追溯，从数据写入、数据抽取、数据清洗、数据转换、数据装载到数据整改再到应用展示，形成整个数据异常闭环监测管理。在上述过程中主要通过基于数据来源树的数据异常溯源方法来检测数据异常，实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给业务部门、业务系统以完成异常数据反馈和修正。
本发明的有有益效果在于：通过对数据的来源追踪，在数据共享时解决数据的可信度、质量、版本信息等问题。在更新数据过程中，根据数据异常溯源过程能清楚的反应出原始数据库中数据的变化。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理，将异常数据反馈给相应的业务部门、业务系统以完成异常数据反馈和修正，保证了企业实时数据的可靠性。
附图说明
图1为本发明的流程框架图。
具体实施方式
下面结合附图和具体实施方式对本发明所属方法进一步说明。
一种基于数据来源二叉树的电力系统异常数据溯源方法，包括：首先实时获取电力数据，对数据进行标注；然后构建数据来源二叉树，以创建叶节点；接着对构建的二叉树建立线索,方便进行数据的逆查询；最后完成对电力异常数据的反馈与整改。具体实施步骤如下：
1）实时获取电力数据，对数据进行标注。
2）构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点。
21）、在临时存储区中添加标注列，将底层电力系统抽取的数据临时存储在此列，作为树的最底层节点；
22）、当进入数据转换过程产生新的数据时，记录该新数据是由哪些叶节点产生，并将该数据视为节点保存在叶节点的上一层中；
23）、当数据进行增量更新时，若有效存储区的数据有变化，则将新的数据继续视为上一层节点保存在树中；
24）、当数据被平台或应用程序调用，将平台此数据作为树的上一层节点保存在树中；
25）、重复步骤22）、23）、24），直至数据不再被更新或调用，结束对树节点的建立，认为此数据来源树建立完成。
26）、在所有兄弟节点之间加一条连接线，只保留节点与其长子的连线，去掉该节点与其它孩子的连线，将树转化成二叉树。
3）对构建的二叉树建立线索，方便进行数据的逆查询。
31）、输入当前需要添加线索的节点；
32）、访问该节点，并判断该节点的左孩子是否为空；若不为空，则访问左孩子，并为当前节点添加线索，获取其左孩子节点，并压入栈；
33）、若该节点的左孩子为空，则继续判断其右孩子是否为空；若不为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压入栈；
34）、若该节点左右孩子均为空，则判断栈是否为空，若栈不为空，则栈顶元素出栈，获取其右孩子节点，判断其右孩子是否为空，若为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压栈；；
35）、若其右孩子不为空，重复执行步骤34）。
4）完成对电力系统异常数据的反馈与整改。
对电力系统异常数据的反馈与整改过程如下：匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。

Claims (4)

1.一种基于数据来源二叉树的电力系统异常数据溯源算法，其特征在于该方法包括以下步骤：
1）实时获取电力数据，对数据进行标注；
2）构建数据来源二叉树，并将二叉树转换成平衡二叉树，以创建数结点；
3）对构建的二叉树建立线索，方便进行数据的逆查询；
4）完成对电力系统异常数据的反馈与整改。
2.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于：所述的步骤2）中，采用二叉树转平衡二叉树的算法，将数据来源二叉树转为平衡二叉树，该树满足任何一个节点的左右子树高度差的绝对值小于等于1；具体如下：
21）在临时存储区中添加标注列，将底层电力系统抽取的数据临时存储在此列，作为树的最底层节点；
22）当进入数据转换过程产生新的数据时，记录该新数据是由哪些叶节点产生，并将该数据视为节点保存在叶节点的上一层中；
23）当数据进行增量更新时，若有效存储区的数据有变化，则将新的数据继续视为上一层节点保存在树中；
24）当数据被平台或应用程序调用，将平台此数据作为树的上一层节点保存在树中；
25）重复步骤22）、23）、24），直至数据不再被更新或调用，结束对树节点的建立，认为此数据来源树建立完成；
26）在所有兄弟节点之间加一条连接线，只保留节点与其长子的连线，去掉该节点与其它孩子的连线，将树转化成二叉树。
3.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于：所述步骤3）中，对二叉树添加线索，是针对每一个节点添加前驱和后继，当平台数据或目标数据被修改后，逆向快速地找到修改数据的原始来源表以及原始数据；具体如下：
31）输入当前需要添加线索的节点；
32）访问该节点，并判断该节点的左孩子是否为空；若不为空，则访问左孩子，并为当前节点添加线索，获取其左孩子节点，并压入栈；
33）若该节点的左孩子为空，则继续判断其右孩子是否为空；若不为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压入栈；
34）若该节点左右孩子均为空，则判断栈是否为空，若栈不为空，则栈顶元素出栈，获取其右孩子节点，判断其右孩子是否为空，若为空，则访问右孩子，并为当前节点添加线索，获取其右孩子节点，并压栈；；
35）若其右孩子不为空，重复执行步骤34）。
4.根据权利要求1中所述的基于数据来源二叉树的电力系统异常数据溯源方法，其特征在于：所述步骤4）中，对电力系统异常数据的反馈与整改过程如下：匹配二叉树顶点的有效数据和最底层的原始数据；如果不一致，则用顶点的数据对最底层的原始数据进行反馈和整改，并在展示层进行展示；如果最底层异常数据来源于源数据层系统，则将该整改需求分发给该异常数据源数据层系统进行修改，如果最底层异常数据来源于数据仓库的ETL处理异常，则将该错误发给数据仓库ETL编写人员。
CN201510656171.4A 2015-10-12 2015-10-12 一种基于数据来源二叉树的电力系统异常数据溯源方法 Pending CN105183911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510656171.4A CN105183911A (zh) 2015-10-12 2015-10-12 一种基于数据来源二叉树的电力系统异常数据溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510656171.4A CN105183911A (zh) 2015-10-12 2015-10-12 一种基于数据来源二叉树的电力系统异常数据溯源方法

Publications (1)

Publication Number Publication Date
CN105183911A true CN105183911A (zh) 2015-12-23

Family

ID=54905992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510656171.4A Pending CN105183911A (zh) 2015-10-12 2015-10-12 一种基于数据来源二叉树的电力系统异常数据溯源方法

Country Status (1)

Country Link
CN (1) CN105183911A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407429A (zh) * 2016-09-27 2017-02-15 国家电网公司 文件追踪方法、装置及系统
CN106546875A (zh) * 2016-10-13 2017-03-29 华北科技学院 电力线路报警方法
CN106646108A (zh) * 2016-10-14 2017-05-10 北京鼎科远图科技有限公司 电力架空线路报警方法
CN111553806A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 基于低功耗传感器和Boost模型的自适应作物管理系统及方法
CN111625694A (zh) * 2020-06-05 2020-09-04 中国银行股份有限公司 多级标签处理方法、装置及计算机设备
CN112100181A (zh) * 2020-09-22 2020-12-18 国网辽宁省电力有限公司电力科学研究院 一种基于沙盘的数据资源管理方法
CN112473129A (zh) * 2020-11-24 2021-03-12 杭州电魂网络科技股份有限公司 增量数据获取的方法、系统、电子装置和存储介质
CN113109642A (zh) * 2021-03-10 2021-07-13 中国电力科学研究院有限公司 一种用于对电能质量信号数据处理的方法及系统
CN114626532A (zh) * 2020-12-10 2022-06-14 合肥本源量子计算科技有限责任公司 基于地址读取数据的方法、装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722582A (zh) * 2012-06-07 2012-10-10 陈浩 基于逆向清理的数据整合系统及方法
CN103066689A (zh) * 2012-12-21 2013-04-24 上海市电力公司 一种10kV馈线负荷转供路径在线选择系统
CN103607291A (zh) * 2013-10-25 2014-02-26 北京科东电力控制系统有限责任公司 用于电力二次系统内网安全监视平台的告警解析归并方法
CN104601361A (zh) * 2014-09-30 2015-05-06 北京科东电力控制系统有限责任公司 用于不符合策略访问的电力二次系统安全事件分析方法
US9063976B1 (en) * 2008-08-28 2015-06-23 Amazon Technologies, Inc. Dynamic tree determination for data processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063976B1 (en) * 2008-08-28 2015-06-23 Amazon Technologies, Inc. Dynamic tree determination for data processing
CN102722582A (zh) * 2012-06-07 2012-10-10 陈浩 基于逆向清理的数据整合系统及方法
CN103066689A (zh) * 2012-12-21 2013-04-24 上海市电力公司 一种10kV馈线负荷转供路径在线选择系统
CN103607291A (zh) * 2013-10-25 2014-02-26 北京科东电力控制系统有限责任公司 用于电力二次系统内网安全监视平台的告警解析归并方法
CN104601361A (zh) * 2014-09-30 2015-05-06 北京科东电力控制系统有限责任公司 用于不符合策略访问的电力二次系统安全事件分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐钰: "基于逆向清理的实时数据整合及数据准确度评估", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
龚利: "基于数据血统追踪的物化视图更新技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
龚利等: "基于数据血统标注的物化视图精确更新技术", 《计算机研究与发展》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407429A (zh) * 2016-09-27 2017-02-15 国家电网公司 文件追踪方法、装置及系统
CN106546875A (zh) * 2016-10-13 2017-03-29 华北科技学院 电力线路报警方法
CN106546875B (zh) * 2016-10-13 2020-09-22 华北科技学院 电力线路报警方法
CN106646108A (zh) * 2016-10-14 2017-05-10 北京鼎科远图科技有限公司 电力架空线路报警方法
CN111553806B (zh) * 2020-05-08 2022-08-16 中国科学院合肥物质科学研究院 基于低功耗传感器和Boost模型的自适应作物管理系统及方法
CN111553806A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 基于低功耗传感器和Boost模型的自适应作物管理系统及方法
CN111625694A (zh) * 2020-06-05 2020-09-04 中国银行股份有限公司 多级标签处理方法、装置及计算机设备
CN111625694B (zh) * 2020-06-05 2023-04-07 中国银行股份有限公司 多级标签处理方法、装置及计算机设备
CN112100181A (zh) * 2020-09-22 2020-12-18 国网辽宁省电力有限公司电力科学研究院 一种基于沙盘的数据资源管理方法
CN112473129A (zh) * 2020-11-24 2021-03-12 杭州电魂网络科技股份有限公司 增量数据获取的方法、系统、电子装置和存储介质
CN112473129B (zh) * 2020-11-24 2024-03-26 杭州电魂网络科技股份有限公司 增量数据获取的方法、系统、电子装置和存储介质
CN114626532A (zh) * 2020-12-10 2022-06-14 合肥本源量子计算科技有限责任公司 基于地址读取数据的方法、装置、存储介质及电子装置
CN114626532B (zh) * 2020-12-10 2023-11-03 本源量子计算科技（合肥）股份有限公司 基于地址读取数据的方法、装置、存储介质及电子装置
CN113109642A (zh) * 2021-03-10 2021-07-13 中国电力科学研究院有限公司 一种用于对电能质量信号数据处理的方法及系统
CN113109642B (zh) * 2021-03-10 2023-12-05 中国电力科学研究院有限公司 一种用于对电能质量信号数据处理的方法及系统

Similar Documents

Publication Publication Date Title
CN105183911A (zh) 一种基于数据来源二叉树的电力系统异常数据溯源方法
CN102722582B (zh) 基于逆向清理的数据整合系统及方法
CN111177400B (zh) 基于知识图谱的设备、业务及数据的关联显示方法和装置
US9411867B2 (en) Method and apparatus for processing database data in distributed database system
CN103955510A (zh) 基于etl云平台上传的海量电力营销数据整合方法
CN104216961A (zh) 一种数据处理方法和装置
CN111708531A (zh) 数据处理方法和装置
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN104657387A (zh) 一种数据查询方法及装置
CN103914307A (zh) 一种基于可复用库的交互界面快速实现方法
CN105868196A (zh) 一种服务器端工业数据报表生成方法
CN105573774A (zh) 应用程序参数管理及配置方法
CN105574032A (zh) 规则匹配运算方法及装置
CN104699857A (zh) 基于知识工程的大数据存储方法
CN111666456A (zh) 一种基于多源配网网络的网架拓扑自动构建方法
CN112637263A (zh) 一种多数据中心资源优化提升方法、系统和存储介质
CN104268709A (zh) 一种采用分布式lsm树的rfid系统设计方法
CN105868170A (zh) 一种服务器端工业数据报表生成方法
CN112035466B (zh) 一种区块链查询外置索引开发框架
CN103729455B (zh) 一种基于主副本存储模式的主数据存储方法
Lee et al. A big data management system for energy consumption prediction models
CN112559514B (zh) 一种信息处理方法及系统
CN104636397A (zh) 用于分布式计算的资源分配方法、计算加速方法以及装置
CN103294878A (zh) 一种基于 dms 的多维电网模型统一建模方法
CN103164760A (zh) 一种电网增量规划方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151223

WD01 Invention patent application deemed withdrawn after publication