CN112650744B - 一种防止数据二次污染的数据治理方法 - Google Patents

Abstract

本发明提供一种防止数据二次污染的数据治理方法，包括以下阶段：第一阶段，建立镜像库，针对每个生产系统建立镜像库；第二阶段，识别数据变化，生产系统采集的数据和镜像库的数据对比；第三阶段，数据融合处理，将第二阶段新增的部份和变化的部份，和数据仓库中的主题数据进行对比；第四阶段，发布数据仓库数据变动事件，将数据仓库的主题数据的变动部份，以数据事件方式发布到事件总线，采取数据一致性处理或丢弃处理。仅针对数据清理过程中，思路同样放在仅处理生产系统数据变化部份，对脏数据二次污染的过程进行治理，具有简单、易行、通用的特点，有效提升数据治理效率，降低数据融合成本。

Description

一种防止数据二次污染的数据治理方法

技术领域

本发明涉及信息技术技术领域，尤其涉及一种防止数据二次污染的数据治理方法。

背景技术

数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。

数据仓库主要用途包括：整合公司所有业务数据，建立统一的数据中心；产生业务报表，用于作出决策；为网站运营提供运营上的数据支持；可以作为各个业务的数据源，形成业务数据互相反馈的良性循环；分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；开发数据产品，直接或间接地为公司盈利等。

数据仓库建设中，很重要的一个工作单元就是ETL，ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。

数据转换(Transform)包含数据清洗,数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。现实中，在清洗环节，经常会面临脏数据的二次污染，典型的场景如下：

某个生产系统的数据，首次列入数据仓库采集的数据源，按数据仓库建设的用户主题标准规范，一次性将存量用户资料，通过ETL过程提交到数据仓库时；用户资料包括：账号、性别、身份信息、联系方式（手机号、邮箱、QQ号）、住址等，在ETL数据清洗环节中,这些用户资料和数据仓库已由资料进行对比，发现相当部份用户资料存在错误或者失效的情况，有效部份数据经过程序或者人工识别后，进入数据仓库，因为各种业务上/技术上的原因，生产系统无法针对这错误或者失效数据进行修订处理，为便于理解，称这部份数据为脏数据。

接入数据仓库后，当用户资料发生变更时，生产系统需要将变更的用户资料再次通过ETL提交到数据仓库。ETL按用户主题变更的业务逻辑，和数据仓库现有数据进行融合。

这个时候，ETL的用户主题逻辑就需要包含两个阶段：1、第一阶段，识别已标记的脏数据，如果脏数据发生变更，可认为这部份数据为有效部份，进入第2阶段处理。如果脏数据未发生变化，则需要将脏数据做为无效部份丢弃，不适合进入第2阶段处理。2、第二阶段，针对有效部份数据的进行处理，将有效部份和数据仓库现有的数据进行比对，并按业务规则采取吸纳变化或者丢弃变化。

相对而言第一阶段更难处理，处理难点在于，如何跟踪和标记用户资料的脏数据部份，每个用户资料可能因为形成时间和从事的业务不同，脏数据部份不相同。而这些脏数据在上次的清洗过程中，已经被程序或者人工定义为不采纳。如果还需要人工参与再次识别，将带来巨大的重复成本。

数据资产化已成为企业数据资产管理的最重要的环节，怎样识别数据资产、利用现有的数据资产创造价值，将是企业不得不面临的一个课题。而数据治理是确保数据质量，从而形成数据资产的有效方式。

发明内容

本发明的目的就在于为了解决上述问题而提供了一种防止数据二次污染的数据治理方法，执行变化识别处理过程放在ETL过程中，从而降低对生产系统的影响，更具有可执行性。

本发明解决其技术问题所采用的技术方案是：

一种防止数据二次污染的数据治理方法，包括以下阶段：

第一阶段，建立镜像库，

针对每个生产系统建立镜像库，生产系统每次提交的数据，都会保存在镜像库中；

第二阶段，识别数据变化，

生产系统采集的数据和镜像库的数据对比，识别该次采集的数据在镜像库为新增项目内容还是已有项目内容，若为已有项目内容，则和镜像库的记录进行比对，比对是否存在变化的部份，发现变化的部份，将新增的部份和变化的部份，交付给第三阶段进行处理，并将该次采集的数据覆写镜像库的数据；

第三阶段，数据融合处理，

将第二阶段新增的部份和变化的部份，和数据仓库中的主题数据进行对比，识别从第二阶段接收的数据在数据仓库为新增项目内容还是已有项目内容，若为已有项目内容，则和数据仓库的主题数据进行比对，比对是否存在变化的部份，发现变化的部份，根据业务数据融合规则，判断是否需要变动内容，若需要变化内容，则将从第二阶段接收的数据纳入数据仓库的主题数据；

第四阶段，发布数据仓库数据变动事件，

将数据仓库的主题数据的变动部份，以数据事件方式发布到事件总线，各生产系统可以监听事件总线，监听数据仓库的主题数据变化事件，并采取数据一致性处理或丢弃处理。

本发明的有益效果是：

通过采用上述技术方案，本发明仅针对数据清理过程中，思路同样放在仅处理生产系统数据变化部份，但执行变化识别处理过程是放在ETL过程中，从而降低对生产系统的影响，更具有可执行性，对脏数据二次污染的过程进行治理，具有简单、易行、通用的特点，有效提升数据治理效率，降低数据融合成本。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明防止数据二次污染的数据治理方法的系统结构图；

图2是本发明防止数据二次污染的数据治理方法的处理逻辑图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

面对这种场景，常见的处理模式主要包括：

不专门针对脏数据进行跟踪处理。

理由是，某种情况下，生产系统提交的数据，未被数据仓库采纳的，都可以认为是脏数据。数据仓库和生产系统在业务口径上的差异，会导致被数据仓库认定为无效或者过期的数据，但未毕是生产系统所认定为无效或者过期数据。根据数据语义的定义，由业务逻辑来裁决主题数据的某个部份，哪个生产系统更具有数据主导权更简单实用。

生产系统提交主题数据的变化部份。

建立由生产系统提交变化部份，而不是提交变化后的结果。只提交变化部份，自然就规避了脏数据的标记和跟踪问题。但这种处理模式，对生产系统而言改动比较大，如果生产系统是外部组织的系统，那么这种规范落地的可能性极低。

本发明提出的防止二次污染的处理方法，思路同样放在仅处理生产系统数据变化部份，但执行变化识别处理过程是放在ETL过程中，从而降低对生产系统的影响，更具有可执行性：

一种防止数据二次污染的数据治理方法，图1和图2分别展示了该方法的系统结构图和处理逻辑图，其中，包括以下阶段：

第一阶段，建立镜像库，

针对每个生产系统建立镜像库，生产系统每次提交的数据，都会保存在镜像库中；

第二阶段，识别数据变化，

生产系统采集的数据和镜像库的数据对比，识别该次采集的数据在本地镜像库为新增项目内容还是已有项目内容，若为已有项目内容，则和镜像库的记录进行比对，比对是否存在变化的部份，发现变化的部份，将新增的部份和变化的部份，交付给第三阶段进行处理，并将该次采集的数据覆写镜像库的数据；

第三阶段，数据融合处理，

将第二阶段新增的部份和变化的部份，和数据仓库中的主题数据进行对比，识别从第二阶段接收的数据在数据仓库为新增项目内容还是已有项目内容，若为已有项目内容，则和数据仓库的主题数据进行比对，比对是否存在变化的部份，发现变化的部份，根据业务数据融合规则，判断是否需要变动内容，若需要变化内容，则将从第二阶段接收的数据纳入数据仓库的主题数据；

第四阶段，发布数据仓库数据变动事件，

将数据仓库的主题数据的变动部份，以数据事件方式发布到事件总线，各生产系统可以监听事件总线，监听数据仓库的主题数据变化事件，并采取数据一致性处理或丢弃处理。

针对数据清理过程中，对脏数据二次污染的过程进行治理，具有简单、易行、通用的特点。有效提升数据治理效率，降低数据融合成本。

本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (1)

1.一种防止数据二次污染的数据治理方法，其特征在于，包括以下阶段：

第一阶段，建立镜像库，

针对每个生产系统建立镜像库，生产系统每次提交的数据，都会保存在镜像库中；

第二阶段，识别数据变化，

生产系统采集的数据和镜像库的数据对比，识别该次采集的数据在镜像库为新增项目内容还是已有项目内容，若为已有项目内容，则和镜像库的记录进行比对，比对是否存在变化的部份，发现变化的部份，将新增的部份和变化的部份，交付给第三阶段进行处理，并将该次采集的数据覆写镜像库的数据；

第三阶段，数据融合处理，

将第二阶段新增的部份和变化的部份，和数据仓库中的主题数据进行对比，识别从第二阶段接收的数据在数据仓库为新增项目内容还是已有项目内容，若为已有项目内容，则和数据仓库的主题数据进行比对，比对是否存在变化的部份，发现变化的部份，根据业务数据融合规则，判断是否需要变动内容，若需要变化内容，则将从第二阶段接收的数据纳入数据仓库的主题数据；

第四阶段，发布数据仓库数据变动事件，

将数据仓库的主题数据的变动部份，以数据事件方式发布到事件总线，各生产系统可以监听事件总线，监听数据仓库的主题数据变化事件，并采取数据一致性处理或丢弃处理。