CN112396349A - 一种基于业务实体的数据质量监控方法 - Google Patents

Abstract

本发明公开了一种基于业务实体的数据质量监控方法，包括：a)确定需要进行质量监控的数据范围；b)识别核心业务实体；c)构建数据质量监控的底图；d)制定数据监控规则，根据该规则监控数据质量。本发明提出了一种以核心业务实体统计指标为依据的、通用的数据质量监控方法，从业务全局视角检视数据质量、支撑数据治理。

Description

一种基于业务实体的数据质量监控方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于业务实体的数据质量监控方法。

背景技术

数据质量监控是对数据质量全局性、可视化展示。目前主流数据质量工具主要是通过数据剖析、基于SQL脚本的规则校验、基于算法的异常值分析等方法发现缺陷数据，结合及时性、完整性、合规性、一致性等数据质量指标进行多维度量化。其中，数据剖析是一种基于数据库结构原理的分析方法，主要用于了解数据结构、数值有效性、分布情况等信息，发现一般性数据问题；基于SQL脚本的规则校验需要人工将业务需求转换为数据核查脚本，定期执行发现数据内在逻辑问题；基于算法的异常值分析近年来广受关注，已有机构正在研究通过机器学习分类算法实现智能核查，但依然存在建模要求高、适应性不广等问题，同时基于传统多维数据质量指标的监控模式已越来越难以满足更高效、更精细的管理需要。

发明内容

本发明所要解决的技术问题是提出一种以核心业务实体统计指标为依据的、通用的数据质量监控方法，从业务全局视角检视数据质量、支撑数据治理。

为解决上述技术问题，本发明采用以下技术方案：

一种基于业务实体的数据质量监控方法，包括：

a)确定需要进行质量监控的数据范围；

b)识别核心业务实体；

c)构建数据质量监控的底图；

d)制定数据监控规则，根据该规则监控数据质量。

作为上述技术方案的进一步改进：

步骤a)中，

所述数据范围的确定方法包括以下步骤：

1)确定组织机构，分析、确定待监控数据相关组织机构，一般也是数据质量责任方；

2)分析业务能力，评估特定业务需求中涉及的基础业务能力，参考信息化架构依据业务能力确定待监控信息系统；

3)聚焦数据对象，参考各系统数据库设计确定待监控数据表范围；

4)届定时间范围，使用包括增量、全量或指定时段的方式，明确各数据表参与质量监控的数据范围。

步骤b)中，

所述识别核心业务实体包括组织类实体、人物类实体、地点类实体和事件类实体；

所述组织类实体为参与业务活动的组织机构单元，可以是组织机构层级中的任何一级，具有特定业务职能；

所述人物类实体为发起业务活动或被业务活动影响到的人和物；

所述地点类实体为描述业务活动或特定事件发生的地理位置；

所述事件类实体为用以描述业务活动、业务事件的数据，其关键属性包括人物、时间、地点和事件描述。

步骤c)中，

所述底图的构建过程包括以下步骤：

1)分析关键业务流程，依据步骤a)的数据范围绘制业务流程图，分析业务活动间关系以及业务信息流转情况；

2)映射核心业务实体，将识别的业务实体与业务流程中的业务环节进行匹配，明确各业务环节与业务实体间对应关系；

3)绘制数据质量监控的底图，所述底图以业务环节为横轴、组织单元为纵轴的方式绘制业务实体分布图，并使用箭头描述业务实体间数据产生的前后逻辑关系，形成箭线图；

4)匹配监控数据，分析底图中的各业务实体数据，与步骤a)确定的数据表进行匹配，建立业务实体与物理数据表之间的映射关系。

步骤d)中，

所述制定数据监控规则的过程包括以下步骤：

1)分析业务实体间逻辑依赖关系，在业务上相互关联的业务实体数据间具有确定的逻辑关系；

2)依据业务实体间逻辑依赖关系编制业务数据质量检验规则，不满足逻辑依赖关系的后续业务实体数据视为问题数据，问题发生环节为后续业务环节；

3)开发数据质量监控功能，将数据质量检验规则转换为数据监控检查脚本，构建数据监控规则库，研发信息化功能周期自动检查数据。

更进一步的，所述逻辑关系包括存在依赖关系、计数依赖关系和指标依赖关系；

所述存在依赖关系为后续业务实体中具有前导业务实体中的某些特征属性；

所述计数依赖关系为在一定限制条件下前导业务实体中业务实例数应大于、等于后续业务中某些业务实体的业务实例数；

所述指标依赖关系为在一定限制条件下前导业务实体关键统计指标应大于、等于后续业务中某些业务实体实例关键统计指标。

更进一步的，所述监控功能包括监控规则库管理、业务数据质量监控和异动数据分析展示；

所述监控规则库管理用于实现监控规则及脚本集中管理，可配置监控规则执行周期、执行参数，进行监控任务调度。

所述业务数据质量监控用于结合数据底图直观展示数据质量监控结果，发出异动告警信息，以高亮标示存在数据异动的数据实体，结合动态文字提示违反的监控规则，以及相关数据条目数；

所述异动数据分析展示用于通过点击异动告警信息，可关联查看违反规则的数据，该数据包括前导业务实体实例标识、实例数、关键统计指标，后续业务实体实例标识、实例数、关键统计指标，以及规则描述。

更进一步的，所述监控数据质量的过程包括：

1)根据质量检验规则，周期性检验业务实体数据间的逻辑依赖关系；

2)对于存在依赖关系，检测是否发现非依赖关系；对于计数依赖关系或指标依赖关系，检测是否发现统计数据差异；否时，重复步骤1)；是时，发出异常报警，进行异动数据查看分析。

本发明的有益效果为：

提出了一种适用于复杂数据架构环境下、基于业务实体的通用数据质量监控模式，具有面向业务内在逻辑、简单高效、直观易懂的特点，方便业务用户从业务视角全局掌控数据质量水平、直观显现数据质量问题产生的业务环节，与传统方法相比，本发明将数据治理工作与业务密切结合，使数据质量直观易懂、更易于定位数据问题的不利影响，赢得对数据治理工作认可和支持，可作为数据治理及数据资产运营管理的重要支撑手段。

附图说明

图1为优选实施例的流程框图。

图2为优选实施例中监控数据质量的逻辑框图。

图3为优选实施例中质量监控底图的展示图。

具体实施方式

本实施例的基于业务实体的数据质量监控方法，已在国家电网公司供应链运营中心系统建设工作中进行了实际应用，研发了数据监控管理功能，实现对计划、招标、合同、供应商、仓储等供应链全链数据的质量的准实时监控，系统用户覆盖国网总部及27家省市公司，有力支撑了国网公司供应链运营中心的日常运营。

参考图1-3，该实施例包括以下五个步骤：

(一)确定监控范围

运用功能分解法从特定业务需求中分析出需要进行质量监控的数据范围，分为如下步骤：

1.确定组织机构，分析、确定待监控数据相关组织机构，一般也是数据质量责任方。

2.分析业务能力，评估特定业务需求中涉及的基础业务能力，参考信息化架构依据业务能力确定待监控信息系统，可能会涉及多信息系统、数据仓库等复杂监控环境。

3.聚焦数据对象，参考各系统数据库设计确定待监控数据表范围。

4.届定时间范围，使用增量/全量/指定时段等方式，明确各数据表参与质量监控的数据范围。

(二)识别核心业务实体

实体是对业务要素的抽象描述，用以描述现实世界中客观存在、可相互区分的对象或事物。本发明运用信息建模法结合业务需求和监控范围识别核心业务实体，将业务实体作为数据质量监控的基础和依据，从业务视角监控数据质量：

1.组织类实体，参与业务活动的组织机构单元，可以是组织机构层级中的任何一级，具有特定业务职能。

2.人物类实体，发起业务活动或被业务活动影响到的人和物，一般归属于特定组织，是能够在业务过程中反复出现的核心要素。

3.地点类实体，描述业务活动或特定事件发生的地理位置，可采用逐级细化方式提供不同地理位置精度等级。

4.事件类实体，用以描述业务活动、业务事件的数据，一般包括人物、时间、地点、事件描述等关键属性，具有随时间持续增长的特性。

(三)构建数据监控底图

本发明提出一种基于业务视角的数据图示方法，直观呈现数据内在业务逻辑关系，可作为基于业务实体的数据质量监控的底图，构建过程分为如下步骤：

1.分析关键业务流程，依据“确定监控范围”步骤中确定的业务能力绘制业务流程图，分析业务活动间关系，以及业务信息流转情况。

2.映射核心业务实体，将“识别核心业务实体”步骤中识别的业务实体与业务流程中的业务环节进行匹配，明确各业务环节与业务实体间对应关系。

3.绘制数据底图，以业务环节为横轴(即图3中的“采购计划”“招标管理”……)、组织单元为纵轴(即图3中的“国家电网公司”“国网北京公司”……)，绘制业务实体分布图(即图3用箭线连接的小方框)，用以描述特定组织单元在指定业务环节与业务实体间联系，并使用箭头描述业务实体间数据产生的前后逻辑关系，形成箭线图。

4.匹配监控数据，分析数据底图中的各业务实体数据，与“确定监控范围”步骤中确定的系统数据表进行匹配，建立业务实体与物理数据表间映射关系。

(四)制定数据监控规则

基于数据底图分析各业务实体间逻辑依赖关系，依据逻辑依赖关系从全局视角提出业务数据核查规则，借助信息化手段开发数据质量监控功能，主要步骤如下：

1.分析业务实体间逻辑依赖关系，在业务上相互关联的业务实体数据间具有确定的逻辑关系，主要包括：

(1)存在依赖关系，即后续业务实体中具有前导业务实体中的某些特征属性，例如付款实体中的付款申请编号必然在付款申请实体中存在，即先有付款申请、再有付款行为。

(2)计数依赖关系，即在一定限制条件下(一般按组织机构、时间限制)前导业务实体中业务实例数应大于、等于后续业务中某些业务实体的业务实例数，例如在同等限制条件下，招标分标实体中的分包数量应大于等于中标结果实体中分包数量。

(3)指标依赖关系，即在一定限制条件下(一般按组织机构、时间限制)前导业务实体关键统计指标应大于、等于后续业务中某些业务实体实例关键统计指标，例如在同等限制条件下，投标实体中的投标总价合计应大于等于中标实体中中标金额合计。

2.制定业务数据核查规则，依据业务实体间逻辑依赖关系编制业务数据质量检验规则，不满足逻辑依赖关系的后续业务实体数据视为问题数据，问题发生环节为后续业务环节。

3.开发数据质量监控功能，将数据质量检验规则转换为数据监控检查脚本，构建数据监控规则库，研发信息化功能周期自动检查数据，主要功能如下：

(1)监控规则库管理，实现监控规则及脚本集中管理，可配置监控规则执行周期、执行参数，进行监控任务调度。

(2)业务数据质量监控，结合数据底图直观展示数据质量监控结果，发出异动告警信息，以高亮标示存在数据异动的数据实体，结合动态文字提示违反的监控规则，以及相关数据条目数。

(3)异动数据分析展示，点击异动告警信息，可关联查看违反规则的数据，包括前导业务实体实例标识、实例数、关键统计指标，后续业务实体实例标识、实例数、关键统计指标，规则描述等信息。

(五)监控数据质量

依托数据质量监控工具从业务全局周期性监控数据质量，发现可疑数据质量问题生成即时告警信息，提示管理人员及时检查、核实，推进问题数据治理。监控数据质量的过程包括：1)根据质量检验规则，周期性检验业务实体数据间的逻辑依赖关系；2)对于存在依赖关系，检测是否发现非依赖关系；对于计数依赖关系或指标依赖关系，检测是否发现统计数据差异；否时，重复步骤1)；是时，发出异常报警，进行异动数据查看分析。

Claims (8)

1.一种基于业务实体的数据质量监控方法，其特征在于，包括：

a)确定需要进行质量监控的数据范围；

b)识别核心业务实体；

c)构建数据质量监控的底图；

d)制定数据监控规则，根据该规则监控数据质量。

2.根据权利要求1所述的数据质量监控方法，其特征在于，所述数据范围的确定方法包括以下步骤：

1)确定组织机构，分析、确定待监控数据相关组织机构，一般也是数据质量责任方；

2)分析业务能力，评估特定业务需求中涉及的基础业务能力，参考信息化架构依据业务能力确定待监控信息系统；

3)聚焦数据对象，参考各系统数据库设计确定待监控数据表范围；

4)届定时间范围，使用包括增量、全量或指定时段的方式，明确各数据表参与质量监控的数据范围。

3.根据权利要求1所述的数据质量监控方法，其特征在于：所述识别核心业务实体包括组织类实体、人物类实体、地点类实体和事件类实体；

所述组织类实体为参与业务活动的组织机构单元，可以是组织机构层级中的任何一级，具有特定业务职能；

所述人物类实体为发起业务活动或被业务活动影响到的人和物；

所述地点类实体为描述业务活动或特定事件发生的地理位置；

所述事件类实体为用以描述业务活动、业务事件的数据，其关键属性包括人物、时间、地点和事件描述。

4.根据权利要求1所述的数据质量监控方法，其特征在于，所述底图的构建过程包括以下步骤：

1)分析关键业务流程，依据步骤a)的数据范围绘制业务流程图，分析业务活动间关系以及业务信息流转情况；

2)映射核心业务实体，将识别的业务实体与业务流程中的业务环节进行匹配，明确各业务环节与业务实体间对应关系；

3)绘制数据质量监控的底图，所述底图以业务环节为横轴、组织单元为纵轴的方式绘制业务实体分布图，并使用箭头描述业务实体间数据产生的前后逻辑关系，形成箭线图；

4)匹配监控数据，分析底图中的各业务实体数据，与步骤a)确定的数据表进行匹配，建立业务实体与物理数据表之间的映射关系。

5.根据权利要求1所述的数据质量监控方法，其特征在于，所述制定数据监控规则的过程包括以下步骤：

1)分析业务实体间逻辑依赖关系，在业务上相互关联的业务实体数据间具有确定的逻辑关系；

2)依据业务实体间逻辑依赖关系编制业务数据质量检验规则，不满足逻辑依赖关系的后续业务实体数据视为问题数据，问题发生环节为后续业务环节；

3)开发数据质量监控功能，将数据质量检验规则转换为数据监控检查脚本，构建数据监控规则库，研发信息化功能周期自动检查数据。

6.根据权利要求5所述的数据质量监控方法，其特征在于：

所述逻辑关系包括存在依赖关系、计数依赖关系和指标依赖关系；

所述存在依赖关系为后续业务实体中具有前导业务实体中的某些特征属性；

所述计数依赖关系为在一定限制条件下前导业务实体中业务实例数应大于、等于后续业务中某些业务实体的业务实例数；

所述指标依赖关系为在一定限制条件下前导业务实体关键统计指标应大于、等于后续业务中某些业务实体实例关键统计指标。

7.根据权利要求6所述的数据质量监控方法，其特征在于：

所述监控功能包括监控规则库管理、业务数据质量监控和异动数据分析展示；

所述监控规则库管理用于实现监控规则及脚本集中管理，可配置监控规则执行周期、执行参数，进行监控任务调度。

所述业务数据质量监控用于结合数据底图直观展示数据质量监控结果，发出异动告警信息，以高亮标示存在数据异动的数据实体，结合动态文字提示违反的监控规则，以及相关数据条目数；

所述异动数据分析展示用于通过点击异动告警信息，可关联查看违反规则的数据，该数据包括前导业务实体实例标识、实例数、关键统计指标，后续业务实体实例标识、实例数、关键统计指标，以及规则描述。

8.根据权利要求6或7所述的数据质量监控方法，其特征在于，所述监控数据质量的过程包括：

1)根据质量检验规则，周期性检验业务实体数据间的逻辑依赖关系；

2)对于存在依赖关系，检测是否发现非依赖关系；对于计数依赖关系或指标依赖关系，检测是否发现统计数据差异；否时，重复步骤1)；是时，发出异常报警，进行异动数据查看分析。

Images