CN105574081A - 一种基于无回路有向图的数据溯源建模方法 - Google Patents

Abstract

本发明提供一种基于无回路有向图的数据溯源建模方法，包括以下步骤：定位溯源指标；指标分解；数据溯源；结果验证；成果固化。本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。

Description

一种基于无回路有向图的数据溯源建模方法

技术领域

本发明涉及计算机应用技术领域，具体是一种基于无回路有向图的数据溯源建模方法。

背景技术

常见的数据溯源模型有流溯源信息模型、时间-值中心溯源模型、四维溯源模型等，但是这些模型的形成过程并不直接，难以理解，或者是针对不同角度、某种特性而建立的，大多数从业务数据层面出发，而无法真正实现数据的溯本追源。

发明内容

本发明的目的在于提供一种基于无回路有向图的数据溯源建模方法，针对无回路有向图完成数据溯源模型，面向结构化数据，以指标数据为基础，以回溯为手段，形成树状的数据溯源视图，实现数据资产的形成过程可控以有效提高数据资产质量。

本发明的技术方案为：

一种基于无回路有向图的数据溯源建模方法，包括以下步骤：

（1）定位溯源指标并获取其基本信息和逻辑规则信息；

（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；

（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；

（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；

（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；

（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；

（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；

（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；

（9）将溯源成果固化到数据资产溯源支撑工具中。

所述的基于无回路有向图的数据溯源建模方法，步骤（5）中，所述获取分解指标的对应数值，包括：

a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；

b、运行所述可执行脚本或程序获得分解指标的对应数值。

由上述技术方案可知，本发明通过对数据资产逐步溯源，明确关键监控点和风险点，构建出全局数据溯源视图，不仅可以快速分析定位错误数据，而且还可以实现数据流转过程中的跟踪，大大推进了数据的高效共享应用，为数据运监工作奠定了基础，从而实现了提高数据资产质量的目的。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例进一步说明本发明。

如图1所示，一种基于无回路有向图的数据溯源建模方法，包括以下步骤：

S1、定位溯源指标

根据需求确定业务模型中需要溯源的指标，得到该指标的基本信息和逻辑规则信息；

S2、指标分解

根据溯源指标的逻辑规则，得到该溯源指标的分解指标，判断分解指标类型，并根据不同类型进行溯源，若分解指标的逻辑规则中不包含下一层次的分解指标，即该分解指标属于录入节点，则直接从该分解指标进行溯源，否则，若分解指标的逻辑规则中包含下一层次的分解指标，即该分解指标属于存储节点或处理节点，则依次按照该分解指标的逻辑规则逐层进行分解，以此类推，直至无法再分解。

（1）录入节点

手工录入节点规范化描述基本信息包括节点描述、录入内容、录入频度、录入规则、节点对应业务说明等信息；系统提取节点规范化描述基本信息包括节点描述、系统提取关联物理表/字段、系统提取规则、节点对应业务说明等信息。

（2）存储节点

存储节点规范化描述基本信息包括节点描述、数据更新频度、对应物理表/字段、节点对应业务说明、及时性验证规则、完备性验证规则、阈值验证规则、系统内关联验证规则、系统外关联验证规则、数据防篡改规则、关键监测点规则等信息。

（3）处理节点

处理节点规范化描述基本信息包括节点描述、处理逻辑、处理频度、处理逻辑详细描述附件、节点对应业务说明、主程序版本、本处理模块版本、最新版本发布日期、运行程序所在服务器、运行程序路径、抽查间隔、最后一次抽查日期等信息。

S3、数据溯源

将处于最下层即属于录入节点的分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序，运行可执行脚本或程序获得该分解指标的对应数值，从而依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值。

S4、结果验证

将得到的溯源指标的对应数值与业务系统中的对应数值进行对比验证，并根据业务规则反向验证业务逻辑的完整性。

上述验证若是通过，则继续“成果固化”步骤；若验证未通过，则需重新进行“数据溯源”步骤，对溯源指标的基本信息中的物理实现逻辑和业务溯源图进行修正完善。

S5、成果固化

溯源成果主要包含数据资产形成的全过程业务模型图、“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”、溯源指标可执行脚本或程序。全过程业务模型图和“录入节点描述表卡”、“存储节点描述表卡”、“处理节点描述表卡”一起构成业务溯源图。成果固化就是将上述溯源成果固化到数据资产溯源支撑工具中。

数据资产溯源支撑工具可多视角展示数据资产的全过程业务模型图，双击业务模型图中的节点，实时显示节点规范化描述基本信息。

本发明可应用于电力系统运营监测中心，通过对发行电量、发行电费、实收电费、售电量四个指标的资产溯源，建立、验证并完善数据资产溯源工作流程。

以发行电量指标为例，通过对溯源图的研究，可在电价协议、电表读码、调整电量、全减另发电量设置关键监控点：

（1）通过“电价协议”审查，配合地市运监中心现场抽查，发现民电商用等问题；

（2）通过监控“电表读码”是否连续，监督抄表问题；

（3）通过监控“调整电量”，防止电量流失；

（4）通过监控“全减另发电量”总次数和总电量，监督工作责任心并预防故意通过该功能冲减电量。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (2)

1.一种基于无回路有向图的数据溯源建模方法，其特征在于，包括以下步骤：

（1）定位溯源指标并获取其基本信息和逻辑规则信息；

（2）根据所述溯源指标的逻辑规则对其进行分解，得到分解指标，并获取各个分解指标的基本信息和逻辑规则信息；

（3）判断分解指标的类型，若分解指标属于存储节点或处理节点，则执行步骤（4），若分解指标属于录入节点，则执行步骤（5）；

（4）根据分解指标的逻辑规则对其进行分解，得到下一层次的分解指标，并获取所述下一层次的分解指标的基本信息和逻辑规则信息，返回步骤（3）；

（5）获取分解指标的对应数值，然后依据逻辑规则依次逐层得到上一层次指标的对应数值，直至得到溯源指标的对应数值；

（6）将溯源指标的对应数值与业务系统中的对应数值进行对比，若两者不一致，则执行步骤（7），若两者一致，则执行步骤（8）；

（7）修正溯源指标的基本信息中的物理实现逻辑，完善业务溯源图，返回步骤（5）；

（8）根据业务规则反向验证业务逻辑的完整性，若验证通过，则执行步骤（9），若验证未通过，则返回步骤（7）；

（9）将溯源成果固化到数据资产溯源支撑工具中。

2.根据权利要求1所述的基于无回路有向图的数据溯源建模方法，其特征在于，步骤（5）中，所述获取分解指标的对应数值，包括：

a、将分解指标的基本信息中的物理实现逻辑转换为可执行脚本或程序；

b、运行所述可执行脚本或程序获得分解指标的对应数值。