CN110851464B - 数据质量治理方法及系统 - Google Patents

Abstract

本发明公开了一种数据质量治理方法及系统，包括如下步骤：在大数据开发平台对计算任务逻辑进行开发，使用计算机语言表示任务逻辑；在数据质量中心配置对应计算任务的数据质量，选择计算任务并编写数据质量表达式，将数据质量配置完毕；将计算任务提交至分布式计算运行引擎，在运行逻辑前进行数据质量检查治理；分布式计算任务在运行时实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求就将数据的具体情况存储到指定的存储介质中；通过数据质量中心收集数据具体情况，并由数据质量中心输出统一的数据质量报告。所述方法补充了数据质量治理场景，保证了分布式计算在运行时的数据质量。

Description

数据质量治理方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据质量治理方法及系统。

背景技术

前分布式计算组件与分布式存储组件都是分开的，在进行数据质量的评测时，基本上是直接对分布式存储组件进行数据质量评测，也就是在数据收集阶段，收集前或收集后进行数据质量评测，但这种评测方法并不能满足大数据分布式计算数据质量的所有场景，数据收集后是需要进行数据计算的，数据计算或应用对数据质量也有要求，而这又全然不同于数据收集阶段的质量要求。

数据收集阶段的数据质量并不能满足数据计算应用阶段的所有数据质量要求：例如同是用户点击事件这个数据中，A计算场景是不要求有用户地理位置的，B计算场景是需要用户的地理位置的，同一份数据在不同的计算使用场景中是不一样的数据评测标准的，那其实最终数据质量报告也将面向不同的数据场景进行输出，所以我们说数据质量是基于使用场景来说的，没有使用场景就没有质量的评测标准。用户点击事件数据收集阶段是不能认为没有地理位置是有问题的数据的，只有在特定数据计算应用场景才会认为是有问题的，所以我们认为数据收集阶段的数据质量体系是没办法完全解决数据质量需求场景的。

数据计算应用阶段的数据质量要求计算任务实时做出实时的响应与处理：上述的描述例子中同一份数据不同应用场景有不同的质量要求，那么直接面向分布式存储组件进行评测一般是离线的，不及时的评测，例如T+1输出T日的数据质量报告，但在实时计算场景中某些数据质量问题将导致严重的计算错误，需要实时感知并且实时做出相应的操作，这个就要求分布式的计算组件在计算时要能够感知数据质量是否触发了报警阈值。大部分需要实时感知数据质量并做出相应操作的都属于实时计算场景，数据质量一般由数据质量中心定义，相应的操作一般有跳过数据，停止计算任务这2种，具体行为可以由数据质量中心定义。

现有的非嵌入式的实时计算场景数据质量治理有以下几个缺点：

1)本质上是无法与实时计算组件的数据消费同步，例如实时计算场景A(计算存款总额)，实时计算组件消费到了第1000条数据，数据治理组件可能消费到了第999条也可能消费到了第1001条，无法达到真正的数据质量治理与数据计算同步。

2)由于无法达到数据质量治理与数据计算同步，数据治理是没办法对实时计算任务进行相应的操作的，如跳过错误数据，停止任务，这都是没法实现的。

3)其实它的成本也略高，因为需要另外的组件进行实时数据质量治理。

4)数据收集阶段的数据质量处理没办法解决数据应用的多场景要求。

发明内容

本发明所要解决的技术问题是如何提供一种可以保证分布式计算在运行时的数据质量并补充数据质量治理场景的数据质量治理方法。

为解决上述技术问题，本发明所采取的技术方案是：一种数据质量治理方法，其特征在于包括如下步骤：

在大数据开发平台对计算任务逻辑进行开发，使用计算机语言表示任务逻辑；

在数据质量中心配置对应计算任务的数据质量，选择计算任务并编写数据质量表达式，将数据质量配置完毕；

将计算任务提交至分布式计算运行引擎，在运行逻辑前进行数据质量检查治理；

分布式计算任务在运行时实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求就将数据的具体情况存储到指定的存储介质中；

通过数据质量中心收集数据具体情况，并由数据质量中心输出统一的数据质量报告。

优选的：使用SQL语言表示任务逻辑。

进一步的技术方案在于：离线计算或实时计算任务逻辑开发将计算任务用有向无环图DAG来表示其逻辑。

进一步的技术方案在于：数据质量中心定义数据质量，数据质量标准复合ISO-8000标准，核心的数据质量定义结构为{[计算场景Id]，[质量表达式]，[触发行为]，[是否启用]}，同一个计算场景可以有多条质量定义，支持用户对计算应用场景进行配置。

进一步的技术方案在于：所述质量定义结构中：质量表达式字段需要支持复杂条件表达式，里面的字段来自于计算场景中元数据的定义；触发行为字段可以定义为跳过数据或停止任务；是否启用字段用于控制这个质量定义是否使用。

进一步的技术方案在于：计算场景的运行逻辑，即结合的运行逻辑请求至实时计算或离线计算的运行引擎，将任务启动起来，此时任务中已经内嵌了数据质量逻辑，计算任务将有能力对数据质量问题进行实时行为的响应，用于根据配置的质量进行跳过数据与停止任务的操作，如果发现任意一条数据流入计算任务是触发数据质量配置条件，都将发送一条数据质量情况到统一的存储介质中。

进一步的技术方案在于：数据质量中心可以统一处理所有数据计算场景发送出来的数据质量情况，并统计成数据质量报告，数据质量报告的结构为{[计算场景Id]，[总数据条数]，[数据质量Id]，[数据质量表达式]，[违反条数]}。

本发明还公开了一种数据质量治理系统，其特征在于包括：

数据质量中心模块：用于配置对应计算任务的数据质量，选择计算任务并编写数据质量表达式，将数据质量配置完毕；

计算任务逻辑模块：用于对计算任务逻辑进行开发，使用计算机语言表示任务逻辑；

质量监控组件模块：进行数据质量检查治理，实时收集数据质量情况并协助输出聚合的数据质量报告；

分布式计算运行引擎模块：在运行时实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求就将数据的具体情况存储到指定的存储介质中；

存储模块：用于存储数据质量不符合配置要求的信息。

采用上述技术方案所产生的有益效果在于：所述方法可以实现分布式计算对于运行时的数据质量治理，保证了分布式计算在运行时的数据质量，补充了数据质量治理场景；实现了计算任务对于数据质量的自动控制，数据计算时数据质量不符将作出有效处理与反馈；实时的数据质量可以将计算任务的运行质量进行量化，面向数据场景输出数据质量报告。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的主流程图；

图2是本发明实施例所述方法的流程图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1-图2所示，本发明实施例公开了一种数据质量治理方法，包括如下步骤：

在大数据开发平台对计算任务逻辑进行开发，使用常规的SQL进行表示任务逻辑；

在数据质量中心配置对应计算任务的数据质量，可视化配置，选择计算任务并编写数据质量表达式，将数据质量配置完毕。

将计算任务提交至分布式计算运行引擎，最终提交的计算任务是具备了[dataquality check]步骤能力的，它将在核心运行逻辑前进行数据质量检查治理

分布式计算任务在运行时可以实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求将可以数据具体情况到指定的存储介质中(图中是异步队列)

数据具体情况就可以让数据质量中心进行收集，并由数据质量中心输出统一的数据质量报告。

大数据开发平台，可支持编写分布式计算组件Flink的执行逻辑，用SQL表示任务逻辑。并且这个平台可以编排任务逻辑，支持将数据质量逻辑进行整合成新逻辑，需要平台实现Flink官方可编排逻辑的组件；元数据管理平台，用于整体管理计算任务中的数据结构；数据质量中心，负责配置数据计算应用场景的数据质量与数据质量情况收集。核心结构与发明说明一致；分布式计算运行引擎组件，实施方式中采用了Flink，它负责接收开发平台提交的计算任务并运行任务。

离线计算或实时计算任务逻辑开发(例如：存款数据计算应用场景-【存款总额】统计)，统一将计算任务用有向无环图(DAG)来表示其逻辑，【存款总额】统计逻辑为{[datainput]->[sum amount]->[sum output]}，具体的实现与分布式计算组件有关，都可以使用统一的DAG表示。

数据质量中心定义了数据质量(例如，绑定【存款总额】计算场景中amount字段<0将进行跳过数据操作)，数据质量标准请参考ISO-8000标准，核心的数据质量定义结构为{[计算场景Id]，[质量表达式]，[触发行为]，[是否启用]}，例如{【存款总额】任务Id，amount<0，skip，true}，这个结构算作一条质量定义，同一个计算场景可以有多条质量定义，即【存款总额】任务可以有多个数据质量定义，这个结构将支持用户对计算应用场景进行配置。

上述质量定义结构中，[质量表达式]需要支持复杂条件表达式，里面的字段(如amount)来自于计算场景中元数据的定义，[触发行为]可以定义为跳过数据或停止任务，[是否启用]将控制这个质量定义是否使用。

【存款总额】计算场景的运行逻辑(开发逻辑与质量逻辑结合)，即结合的运行逻辑请求至实时计算或离线计算的运行引擎，将任务启动起来，此时任务中已经内嵌了数据质量逻辑，计算任务将有能力对数据质量问题进行实时行为的响应，它的DAG逻辑为{[datainput]->[data quality check]->[sum amount]->[sum output]}，[data qualitycheck]这个步骤将有能力根据配置的质量进行跳过数据与停止任务的操作，如果发现任意一条数据流入计算任务是触发数据质量配置条件，都将发送一条数据质量情况到统一的存储介质中。

数据质量中心可以统一消费所有数据计算场景发送出来的数据质量情况，并统计成数据质量报告，数据质量报告的结构为{[计算场景Id]，[总数据条数]，[数据质量Id]，[数据质量表达式]，[违反条数]}，这样可以统一输出数据计算场景的数据质量报告。

与所述方法相对应的，本发明还公开了一种数据质量治理系统，如图2所示包括：

数据质量中心模块：用于配置对应计算任务的数据质量，选择计算任务并编写数据质量表达式，将数据质量配置完毕；

计算任务逻辑模块：用于对计算任务逻辑进行开发，使用计算机语言表示任务逻辑；

质量监控组件模块：进行数据质量检查治理，实时收集数据质量情况并协助输出聚合的数据质量报告；

分布式计算运行引擎模块：在运行时实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求就将数据的具体情况存储到指定的存储介质中；

存储模块：用于存储数据质量不符合配置要求的信息。

所述方法可以实现分布式计算对于运行时的数据质量治理，保证了分布式计算在运行时的数据质量，补充了数据质量治理场景；实现了计算任务对于数据质量的自动控制，数据计算时数据质量不符将作出有效处理与反馈；实时的数据质量可以将计算任务的运行质量进行量化，面向数据场景输出数据质量报告。

Claims (3)

1.一种数据质量治理方法，其特征在于包括如下步骤：

在大数据开发平台对计算任务逻辑进行开发，使用计算机语言表示任务逻辑；

在数据质量中心配置对应计算任务的数据质量，选择计算任务并编写数据质量表达式，将数据质量配置完毕；

将计算任务提交至分布式计算运行引擎，在运行逻辑前进行数据质量检查治理；

分布式计算任务在运行时实时感知数据质量情况并做出相应操作，只要数据质量不符合配置要求就将数据的具体情况存储到指定的存储介质中；

通过数据质量中心收集数据具体情况，并由数据质量中心输出统一的数据质量报告；

数据质量中心定义数据质量，数据质量标准复合ISO-8000标准，核心的数据质量定义结构为{[计算场景Id]，[质量表达式]，[触发行为]，[是否启用]}，同一个计算场景有多条质量定义，支持用户对计算应用场景进行配置；

所述质量定义结构中：质量表达式字段需要支持复杂条件表达式，里面的字段来自于计算场景中元数据的定义；触发行为字段定义为跳过数据或停止任务；是否启用字段用于控制这个质量定义是否使用；

计算场景的运行逻辑，即结合的运行逻辑请求至实时计算或离线计算的运行引擎，将任务启动起来，此时任务中已经内嵌了数据质量逻辑，计算任务将有能力对数据质量问题进行实时行为的响应，用于根据配置的质量进行跳过数据与停止任务的操作，如果发现任意一条数据流入计算任务是触发数据质量配置条件，都将发送一条数据质量情况到统一的存储介质中；

数据质量中心统一处理所有数据计算场景发送出来的数据质量情况，并统计成数据质量报告，数据质量报告的结构为{[计算场景Id]，[总数据条数]，[数据质量Id]，[数据质量表达式]，[违反条数]}。

2.如权利要求1所述的数据质量治理方法，其特征在于：

使用SQL语言表示任务逻辑。

3.如权利要求1所述的数据质量治理方法，其特征在于：

离线计算或实时计算任务逻辑开发将计算任务用有向无环图DAG来表示其逻辑。