CN105574081B - 一种基于无回路有向图的数据溯源方法 - Google Patents

一种基于无回路有向图的数据溯源方法 Download PDF

Info

Publication number
CN105574081B
CN105574081B CN201510883205.3A CN201510883205A CN105574081B CN 105574081 B CN105574081 B CN 105574081B CN 201510883205 A CN201510883205 A CN 201510883205A CN 105574081 B CN105574081 B CN 105574081B
Authority
CN
China
Prior art keywords
node
source
index
data
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510883205.3A
Other languages
English (en)
Other versions
CN105574081A (zh
Inventor
刘夫新
周春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Anhui Jiyuan Software Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510883205.3A priority Critical patent/CN105574081B/zh
Publication of CN105574081A publication Critical patent/CN105574081A/zh
Application granted granted Critical
Publication of CN105574081B publication Critical patent/CN105574081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于无回路有向图的数据溯源建模方法，包括以下步骤：定位溯源指标；指标分解；数据溯源；结果验证；成果固化。本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。

Description

一种基于无回路有向图的数据溯源方法
技术领域
本发明涉及计算机应用技术领域，具体是一种基于无回路有向图的数据溯源方法。
背景技术
常见的数据溯源模型有流溯源信息模型、时间-值中心溯源模型、四维溯源模型等，但是这些模型的形成过程并不直接，难以理解，或者是针对不同角度、某种特性而建立的，大多数从业务数据层面出发，而无法真正实现数据的溯本追源。
发明内容
本发明的目的在于提供一种基于无回路有向图的数据溯源方法，针对无回路有向图完成数据溯源模型，面向结构化数据，以指标数据为基础，以回溯为手段，形成树状的数据溯源视图，实现数据资产的形成过程可控以有效提高数据资产质量。
本发明的技术方案为：
一种基于无回路有向图的数据溯源方法，包括以下步骤：
（1）定位溯源指标并获取其基本信息和逻辑规则信息；
（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；
（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；
（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；
（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；
（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；
（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；
（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；
（9）将溯源成果固化到数据资产溯源支撑工具中。
所述的基于无回路有向图的数据溯源方法，步骤（5）中，所述获取分解指标的对应数值，包括：
a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；
b、运行所述可执行脚本或程序获得分解指标的对应数值。
由上述技术方案可知，本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
如图1所示，一种基于无回路有向图的数据溯源方法，包括以下步骤：
S1、定位溯源指标
根据需求确定业务模型中需要溯源的指标，得到该指标的基本信息和逻辑规则信息；
S2、指标分解
根据溯源指标的逻辑规则，得到该溯源指标的分解指标，判断分解指标类型，并根据不同类型进行溯源，若分解指标的逻辑规则中不包含下一层次的分解指标，即该分解指标属于录入节点，则直接从该分解指标进行溯源，否则，若分解指标的逻辑规则中包含下一层次的分解指标，即该分解指标属于存储节点或处理节点，则依次按照该分解指标的逻辑规则逐层进行分解，以此类推，直至无法再分解。
（1）录入节点
手工录入节点规范化描述基本信息包括节点描述、录入内容、录入频度、录入规则、节点对应业务说明等信息；系统提取节点规范化描述基本信息包括节点描述、系统提取关联物理表/字段、系统提取规则、节点对应业务说明等信息。
（2）存储节点
存储节点规范化描述基本信息包括节点描述、数据更新频度、对应物理表/字段、节点对应业务说明、及时性验证规则、完备性验证规则、阈值验证规则、系统内关联验证规则、系统外关联验证规则、数据防篡改规则、关键监测点规则等信息。
（3）处理节点
处理节点规范化描述基本信息包括节点描述、处理逻辑、处理频度、处理逻辑详细描述附件、节点对应业务说明、主程序版本、本处理模块版本、最新版本发布日期、运行程序所在服务器、运行程序路径、抽查间隔、最后一次抽查日期等信息。
S3、数据溯源
将处于最下层即属于录入节点的分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序，运行可执行脚本或程序获得该分解指标的对应数值，从而依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值。
S4、结果验证
将得到的溯源指标的对应数值与业务系统中的对应数值进行对比验证，并根据业务规则反向验证业务逻辑的完整性。
上述验证若是通过，则继续“成果固化”步骤；若验证未通过，则需重新进行“数据溯源”步骤，对溯源指标的基本信息中的物理实现逻辑和业务溯源图进行修正完善。
S5、成果固化
溯源成果主要包含数据资产形成的全过程业务模型图、“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”、溯源指标可执行脚本或程序。全过程业务模型图和“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”一起构成业务溯源图。成果固化就是将上述溯源成果固化到数据资产溯源支撑工具中。
数据资产溯源支撑工具可多视角展示数据资产的全过程业务模型图，双击业务模型图中的节点，实时显示节点规范化描述基本信息。
本发明可应用于电力系统运营监测中心，通过对发行电量、发行电费、实收电费、售电量四个指标的资产溯源，建立、验证并完善数据资产溯源工作流程。
以发行电量指标为例，通过对溯源图的研究，可在电价协议、电表读码、调整电量、全减另发电量设置关键监控点：
（1）通过“电价协议”审查，配合地市运监中心现场抽查，发现民电商用等问题；
（2）通过监控“电表读码”是否连续，监督抄表问题；
（3）通过监控“调整电量”，防止电量流失；
（4）通过监控“全减另发电量”总次数和总电量，监督工作责任心并预防故意通过该功能冲减电量。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (2)

1.一种基于无回路有向图的数据溯源方法，其特征在于，包括以下步骤：
（1）定位溯源指标并获取其基本信息和逻辑规则信息；
（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；
（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；
所述存储节点的规范化描述基本信息包括节点描述、数据更新频度、对应物理表/字段、节点对应业务说明、及时性验证规则、完备性验证规则、阈值验证规则、系统内关联验证规则、系统外关联验证规则、数据防篡改规则以及关键监测点规则；
所述处理节点的规范化描述基本信息包括节点描述、处理逻辑、处理频度、处理逻辑详细描述附件、节点对应业务说明、主程序版本、本处理模块版本、最新版本发布日期、运行程序所在服务器、运行程序路径、抽查间隔以及最后一次抽查日期；
所述录入节点分为手工录入节点和系统提取节点，所述手工录入节点的规范化描述基本信息包括节点描述、录入内容、录入频度、录入规则以及节点对应业务说明，所述系统提取节点的规范化描述基本信息包括节点描述、系统提取关联物理表/字段、系统提取规则以及节点对应业务说明；
（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；
（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；
（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；
（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；
（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；
（9）将溯源成果固化到数据资产溯源支撑工具中。
2.根据权利要求1所述的基于无回路有向图的数据溯源方法，其特征在于，步骤（5）中，所述获取分解指标的对应数值，包括：
a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；
b、运行所述可执行脚本或程序获得分解指标的对应数值。
CN201510883205.3A 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法 Active CN105574081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510883205.3A CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510883205.3A CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Publications (2)

Publication Number Publication Date
CN105574081A CN105574081A (zh) 2016-05-11
CN105574081B true CN105574081B (zh) 2019-06-25

Family

ID=55884212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510883205.3A Active CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Country Status (1)

Country Link
CN (1) CN105574081B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669928A (zh) * 2018-12-11 2019-04-23 广东电网有限责任公司 策略配置方法及装置
CN111506552B (zh) * 2019-01-30 2023-10-31 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统
CN113762665B (zh) * 2020-06-29 2024-04-16 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621411A (zh) * 2012-03-02 2012-08-01 中国电力科学研究院 一种分布式电能质量远程诊断方法
CN104599139A (zh) * 2014-12-31 2015-05-06 康美药业股份有限公司 溯源交互系统及溯源系统交互方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621411A (zh) * 2012-03-02 2012-08-01 中国电力科学研究院 一种分布式电能质量远程诊断方法
CN104599139A (zh) * 2014-12-31 2015-05-06 康美药业股份有限公司 溯源交互系统及溯源系统交互方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Provenance-based Access Control Model for Dynamic Separation of Duties;Dang Nguyen等;《2013 Eleventh Annual International Conference on Privacy，Secutity and Trust(PST)》;20130912;第1-10页
Dependency Path Patterns as the Foundation of Access Control in Provenance-aware Systems;Dang Nguyen等;《Proceedings of the 4th USENIX conference on Theory and Practice of Provenance》;20120615;第1-4页
The Open Provenance Model core specification (v1.1);Luc Moreau等;《Future Generation Computer Systems》;20111231;第743-756页
基于数据血统追踪的物化视图更新技术研究;龚利;《中国优秀硕士学位论文全文数据库信息科技辑》;20111215(第12期);I138-690
基于溯源数据的业务流程合规性检测;李斌等;《清华大学学报（自然科学版）》;20131231;第53卷(第12期);第1768-1776页
基于逆向清理的实时数据整合及数据准确度评估;唐钰;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615(第6期);I138-841

Also Published As

Publication number Publication date
CN105574081A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
WO2021042521A1 (zh) 一种合同自动生成方法、计算机设备及计算机非易失性存储介质
CN105373472B (zh) 一种基于数据库的统计准确性的测试方法及测试系统
CN103473672A (zh) 企业级数据中心的元数据质量稽核系统、方法及平台
Kocaguneli et al. Distributed development considered harmful?
CN111368507A (zh) 一种产品编码生成方法、装置、计算机设备及存储介质
CN110677430B (zh) 基于网络安全设备日志数据的用户风险度评估方法和系统
CN105574081B (zh) 一种基于无回路有向图的数据溯源方法
CN104111073A (zh) 一种识别地图数据中不准确路段的方法和装置
CN108345670B (zh) 一种用于95598电力工单的服务热点发现方法
CN106528828A (zh) 一种基于多维度校验规则的数据质量检测方法
CN104699735A (zh) 企业级数据中心的数据处理方法及装置
CN109658050A (zh) 一种工资报告的管理方法及设备
CN107729258A (zh) 一种面向软件版本问题的程序故障定位方法
CN113656805A (zh) 一种面向多源漏洞信息的事件图谱自动构建方法及系统
CN114493255A (zh) 基于知识图谱的企业异常监控方法及其相关设备
CN116341986A (zh) 一种多源多时相传感器数据融合的碳汇项目审计与评级方法
CN116523284A (zh) 基于机器学习的业务操作流程自动化评估方法、系统
CN114968816A (zh) 基于数据模拟的策略测试方法、装置、设备及存储介质
CN110196849A (zh) 基于大数据治理技术实现用户画像构建处理的系统及其方法
CN112783989A (zh) 一种基于区块链的数据处理方法及装置
CN105577424B (zh) 一种基于数据溯源图的数据资产质量监测方法
CN109388804A (zh) 利用深度学习模型的证券研报核心观点提取方法及装置
CN105373473B (zh) 基于原始信令解码的cdr准确性测试方法及测试系统
CN115482075A (zh) 财务数据的异常分析方法、装置、电子设备及存储介质
CN103714440A (zh) 一种安全生产一体化信息管理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant