CN105574081A - 一种基于无回路有向图的数据溯源建模方法 - Google Patents

一种基于无回路有向图的数据溯源建模方法 Download PDF

Info

Publication number
CN105574081A
CN105574081A CN201510883205.3A CN201510883205A CN105574081A CN 105574081 A CN105574081 A CN 105574081A CN 201510883205 A CN201510883205 A CN 201510883205A CN 105574081 A CN105574081 A CN 105574081A
Authority
CN
China
Prior art keywords
traceability
index
data
decomposition
corresponding value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510883205.3A
Other languages
English (en)
Other versions
CN105574081B (zh
Inventor
刘夫新
周春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Anhui Jiyuan Software Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510883205.3A priority Critical patent/CN105574081B/zh
Publication of CN105574081A publication Critical patent/CN105574081A/zh
Application granted granted Critical
Publication of CN105574081B publication Critical patent/CN105574081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于无回路有向图的数据溯源建模方法，包括以下步骤：定位溯源指标；指标分解；数据溯源；结果验证；成果固化。本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。

Description

一种基于无回路有向图的数据溯源建模方法
技术领域
本发明涉及计算机应用技术领域，具体是一种基于无回路有向图的数据溯源建模方法。
背景技术
常见的数据溯源模型有流溯源信息模型、时间-值中心溯源模型、四维溯源模型等，但是这些模型的形成过程并不直接，难以理解，或者是针对不同角度、某种特性而建立的，大多数从业务数据层面出发，而无法真正实现数据的溯本追源。
发明内容
本发明的目的在于提供一种基于无回路有向图的数据溯源建模方法，针对无回路有向图完成数据溯源模型，面向结构化数据，以指标数据为基础，以回溯为手段，形成树状的数据溯源视图，实现数据资产的形成过程可控以有效提高数据资产质量。
本发明的技术方案为：
一种基于无回路有向图的数据溯源建模方法，包括以下步骤：
（1）定位溯源指标并获取其基本信息和逻辑规则信息；
（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；
（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；
（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；
（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；
（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；
（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；
（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；
（9）将溯源成果固化到数据资产溯源支撑工具中。
所述的基于无回路有向图的数据溯源建模方法，步骤（5）中，所述获取分解指标的对应数值，包括：
a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；
b、运行所述可执行脚本或程序获得分解指标的对应数值。
由上述技术方案可知，本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
如图1所示，一种基于无回路有向图的数据溯源建模方法，包括以下步骤：
S1、定位溯源指标
根据需求确定业务模型中需要溯源的指标，得到该指标的基本信息和逻辑规则信息；
S2、指标分解
根据溯源指标的逻辑规则，得到该溯源指标的分解指标，判断分解指标类型，并根据不同类型进行溯源，若分解指标的逻辑规则中不包含下一层次的分解指标，即该分解指标属于录入节点，则直接从该分解指标进行溯源，否则，若分解指标的逻辑规则中包含下一层次的分解指标，即该分解指标属于存储节点或处理节点，则依次按照该分解指标的逻辑规则逐层进行分解，以此类推，直至无法再分解。
（1）录入节点
手工录入节点规范化描述基本信息包括节点描述、录入内容、录入频度、录入规则、节点对应业务说明等信息；系统提取节点规范化描述基本信息包括节点描述、系统提取关联物理表/字段、系统提取规则、节点对应业务说明等信息。
（2）存储节点
存储节点规范化描述基本信息包括节点描述、数据更新频度、对应物理表/字段、节点对应业务说明、及时性验证规则、完备性验证规则、阈值验证规则、系统内关联验证规则、系统外关联验证规则、数据防篡改规则、关键监测点规则等信息。
（3）处理节点
处理节点规范化描述基本信息包括节点描述、处理逻辑、处理频度、处理逻辑详细描述附件、节点对应业务说明、主程序版本、本处理模块版本、最新版本发布日期、运行程序所在服务器、运行程序路径、抽查间隔、最后一次抽查日期等信息。
S3、数据溯源
将处于最下层即属于录入节点的分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序，运行可执行脚本或程序获得该分解指标的对应数值，从而依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值。
S4、结果验证
将得到的溯源指标的对应数值与业务系统中的对应数值进行对比验证，并根据业务规则反向验证业务逻辑的完整性。
上述验证若是通过，则继续“成果固化”步骤；若验证未通过，则需重新进行“数据溯源”步骤，对溯源指标的基本信息中的物理实现逻辑和业务溯源图进行修正完善。
S5、成果固化
溯源成果主要包含数据资产形成的全过程业务模型图、“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”、溯源指标可执行脚本或程序。全过程业务模型图和“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”一起构成业务溯源图。成果固化就是将上述溯源成果固化到数据资产溯源支撑工具中。
数据资产溯源支撑工具可多视角展示数据资产的全过程业务模型图，双击业务模型图中的节点，实时显示节点规范化描述基本信息。
本发明可应用于电力系统运营监测中心，通过对发行电量、发行电费、实收电费、售电量四个指标的资产溯源，建立、验证并完善数据资产溯源工作流程。
以发行电量指标为例，通过对溯源图的研究，可在电价协议、电表读码、调整电量、全减另发电量设置关键监控点：
（1）通过“电价协议”审查，配合地市运监中心现场抽查，发现民电商用等问题；
（2）通过监控“电表读码”是否连续，监督抄表问题；
（3）通过监控“调整电量”，防止电量流失；
（4）通过监控“全减另发电量”总次数和总电量，监督工作责任心并预防故意通过该功能冲减电量。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (2)

1.一种基于无回路有向图的数据溯源建模方法，其特征在于，包括以下步骤：
（1）定位溯源指标并获取其基本信息和逻辑规则信息；
（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；
（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；
（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；
（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；
（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；
（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；
（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；
（9）将溯源成果固化到数据资产溯源支撑工具中。
2.根据权利要求1所述的基于无回路有向图的数据溯源建模方法，其特征在于，步骤（5）中，所述获取分解指标的对应数值，包括：
a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；
b、运行所述可执行脚本或程序获得分解指标的对应数值。
CN201510883205.3A 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法 Active CN105574081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510883205.3A CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510883205.3A CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Publications (2)

Publication Number Publication Date
CN105574081A true CN105574081A (zh) 2016-05-11
CN105574081B CN105574081B (zh) 2019-06-25

Family

ID=55884212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510883205.3A Active CN105574081B (zh) 2015-12-07 2015-12-07 一种基于无回路有向图的数据溯源方法

Country Status (1)

Country Link
CN (1) CN105574081B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669928A (zh) * 2018-12-11 2019-04-23 广东电网有限责任公司 策略配置方法及装置
CN111506552A (zh) * 2019-01-30 2020-08-07 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统
CN113762665A (zh) * 2020-06-29 2021-12-07 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及系统
CN119130161A (zh) * 2024-11-14 2024-12-13 浙江中电远为科技有限公司 一种商业秘密保护泄密点分析的方法
CN119130161B (zh) * 2024-11-14 2025-02-18 浙江中电远为科技有限公司 一种商业秘密保护泄密点分析的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621411A (zh) * 2012-03-02 2012-08-01 中国电力科学研究院 一种分布式电能质量远程诊断方法
CN104599139A (zh) * 2014-12-31 2015-05-06 康美药业股份有限公司 溯源交互系统及溯源系统交互方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621411A (zh) * 2012-03-02 2012-08-01 中国电力科学研究院 一种分布式电能质量远程诊断方法
CN104599139A (zh) * 2014-12-31 2015-05-06 康美药业股份有限公司 溯源交互系统及溯源系统交互方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DANG NGUYEN等: "A Provenance-based Access Control Model for Dynamic Separation of Duties", 《2013 ELEVENTH ANNUAL INTERNATIONAL CONFERENCE ON PRIVACY，SECUTITY AND TRUST(PST)》 *
DANG NGUYEN等: "Dependency Path Patterns as the Foundation of Access Control in Provenance-aware Systems", 《PROCEEDINGS OF THE 4TH USENIX CONFERENCE ON THEORY AND PRACTICE OF PROVENANCE》 *
LUC MOREAU等: "The Open Provenance Model core specification (v1.1)", 《FUTURE GENERATION COMPUTER SYSTEMS》 *
唐钰: "基于逆向清理的实时数据整合及数据准确度评估", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
李斌等: "基于溯源数据的业务流程合规性检测", 《清华大学学报（自然科学版）》 *
龚利: "基于数据血统追踪的物化视图更新技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669928A (zh) * 2018-12-11 2019-04-23 广东电网有限责任公司 策略配置方法及装置
CN111506552A (zh) * 2019-01-30 2020-08-07 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统
CN111506552B (zh) * 2019-01-30 2023-10-31 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统
CN113762665A (zh) * 2020-06-29 2021-12-07 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及系统
CN113762665B (zh) * 2020-06-29 2024-04-16 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及系统
CN119130161A (zh) * 2024-11-14 2024-12-13 浙江中电远为科技有限公司 一种商业秘密保护泄密点分析的方法
CN119130161B (zh) * 2024-11-14 2025-02-18 浙江中电远为科技有限公司 一种商业秘密保护泄密点分析的方法

Also Published As

Publication number Publication date
CN105574081B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
Surasak et al. Thai agriculture products traceability system using blockchain and internet of things
CN104391934B (zh) 数据校验方法和装置
US20240354213A1 (en) Graph-based impact analysis of misconfigured or compromised cloud resources
US20140067836A1 (en) Visualizing reporting data using system models
US11570214B2 (en) Crowdsourced innovation laboratory and process implementation system
CN107251021B (zh) 过滤数据沿袭图
CN110019116B (zh) 数据追溯方法、装置、数据处理设备及计算机存储介质
US9170821B1 (en) Automating workflow validation
CN107430611A (zh) 过滤数据沿袭图
US10671061B2 (en) Devices, methods, and systems for a distributed rule based automated fault detection
CN105610819B (zh) 提供服务器信息的查询服务的方法和装置
US20170300844A1 (en) System and method for the monitoring and guiding of projects
CN106293891B (zh) 多维投资指标监督方法
US10380133B2 (en) Information landscape modeling, analysis and validation
CN105574081A (zh) 一种基于无回路有向图的数据溯源建模方法
Rosa-Bilbao et al. EDALoCo: enhancing the accessibility of blockchains through a low-code approach to the development of event-driven applications for smart contract management
Ni et al. Modeling dependability features for real-time embedded systems
Kaur et al. Systematic review of automatic test case generation by UML diagrams
CN105577424B (zh) 一种基于数据溯源图的数据资产质量监测方法
Aysolmaz et al. Modeling business processes to generate artifacts for software development: a methodology
Lee et al. Apply fuzzy decision tree to information security risk assessment.
CN114124977B (zh) 跨租户间的数据分享方法、装置和电子设备
Farah-Stapleton et al. Behavioral modeling of software intensive system architectures
JP6109766B2 (ja) ルールテーブル生成装置、生成方法および生成プログラム
Gehrer et al. EuProGigant: A decentralized Federated Learning Approach based on Compute-to-Data and Gaia-X

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant