CN112540975A

CN112540975A - 一种基于petri网的多源异构数据质量检测方法

Info

Publication number: CN112540975A
Application number: CN202011592682.1A
Authority: CN
Inventors: 贵恒; 冯凯; 王元卓; 王洪显
Original assignee: Big Data Research Institute Institute Of Computing Technology Chinese Academy Of Sciences
Current assignee: Big Data Research Institute Institute Of Computing Technology Chinese Academy Of Sciences
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2021-03-23
Anticipated expiration: 2040-12-29
Also published as: CN112540975B

Abstract

本发明公开了一种基于petri网的多源异构数据质量检测方法,可以使用调度计划模块，配置数据质量作业，再利用petri网的消息反馈机制，针对每次质量作业，形成表格、图表形式的质量分析报告，最后，积累数据质量检测的问题，形成数据质量问题知识库，为后续的数据质量检测提供可持续发展的意见和建议，保证了各数据源相互独立，统一了SQL形式，解决了多源异构数据针对不同数据源需要特定查询方法的难题，为使用者提供一种图形化、可拖拽的质量任务、作业管理方法，可配置质量检测调度计划，生成数据质量分析结果供使用者查看，并建立数据质量知识库提升解决质量问题的能力。为系统数据质量提升提供有效支撑，从而提升数据价值。

Description

一种基于petri网的多源异构数据质量检测方法

技术领域

本发明属于大数据、数据治理、数据分析技术领域，具体涉及一种基于petri网的多源异构数据质量检测方法。

背景技术

信息时代在当今已经过渡到了大数据、人工智能与物联网的时代，在大数据分析、数仓构建、机器学习、神经网络、物联网数据传输领域，数据是这一切的基石。数据质量在数据的使用过程中至关重要，只有有质量保障的数据，算法才能得到更接近正确的答案。

在大数据的背景下，数据治理存在数据量庞大、数据来源多种、数据表述方式多样的问题。随着数据湖（Data Lake）概念的提出，大数据治理无需事先对数据进行结构化的处理，数据以关系型数据库、NoSQL数据库、非结构化数据和二进制数据进行存储。不同存储方式内容格式相互独立，无法有效的整合利用。

元数据（Metadata）是描述数据的数据，是对数据及信息资源的描述性信息。传统的关系型数据库（Oracle、MySQL、PostgreSQL、SQLServer等）会将元数据存在数据库自带的系统表当中，非关系型数据库（ElasticSearch、MongoDB等）也会在特定位置存放元数据信息。这使得通过制定元数据标准、共享元数据将复杂的、变化的分布式环境数据治理成为可能。

petri网自20世纪60年代被提出，通过严格的数据表述，直观的图形表达，在描述多模块、多任务的系统时有很大的优势。在云应用平台（Saas）中，数据质量检测往往也是包含多数据库，多检测任务的并发过程，在大数据、数据湖的环境下，不仅对质量检测的正确性有要求，对质量检测的效能有要求，对数据质量检测及时的信息反馈也有要求。多源异构数据质量检测可以通过petri网可视化配置的方式形成行之有效的工作流。

当前数据质量检测是数据分析的必要条件，是保证数据应用的基础。现有数据质量检测一般通过完整性、一致性、准确性、及时性四个方面判别数据是否达到预期的质量要求。往往只针对单一数据源，单一数据格式的质量检测，得到的结果也只是是否达到要求，缺乏全系统考量、结果可解释，显然在大数据的环境下无法胜任。本发明提供一种全局的、可配置的、可调度的、可分析的、包含知识库的数据质量检测方法解决上述难题。

发明内容

针对现有设备存在的缺陷和问题，本发明提供一种基于petri网的多源异构数据质量检测方法，有效的解决了现有数据质量检测往往只针对单一数据源，单一数据格式的质量检测，缺乏全系统考量、结果可解释，无法胜任现在的大数据的环境。

本发明解决其技术问题所采用的方案是：一种基于petri网的多源异构数据质量检测方法，包括如下步骤

步骤1、配置数据源

对系统所管理的数据湖中连接的异构数据源进行配置，使多个异构数据源与数据湖连接，将所有的异构数据源连接本地的多源异构数据处理服务器；

步骤2、元数据标准的制定

多源异构数据处理服务器的数据库采用自主扩展的PostgreSQL数据库，数据格式采用向大转型的原则，通过对多源异构数据库实行元数据采集任务得到元数据，元数据包括元数据表信息、字段信息、索引信息和约束信息；将采集来的元数据转为PostgreSQL的数据格式入库，从而使多源异构数据具有统一的数据标准；

步骤3，建立外部表连接

根据步骤1的数据源信息与步骤2的元数据信息，通过自主扩展的PostgreSQL数据库，建立外部表连接；通过配置外部表服务，建立查询用户，创建外部表到外部数据映射的方式实现多源异构数据的查询；

步骤4，制定数据质量规则

根据质量规则或者质量任务构建加入信息反馈的petri网模型，利用外部表查询获得检测数据源，petri网模型中一次质量任务中，起始为质量任务的检测数据源，以质量规则作为变迁，规则变迁之间为消息库所，产出规则检测结果，多个质量规则与消息库所组成一个质量任务，实现了单一数据源的质量任务检测；再以质量任务作为变迁，任务变迁之间为消息库所，产出任务检测结果，多个质量任务与消息库所组成一个质量作业，通过质量作业、质量任务、质量规则的三层结构，实现多源异构数据质量的检测；

步骤5，形成数据质量分析报告

根据步骤4消息库所的实时反馈，实现了实时监测数据质量检测过程，将每一次的数据质量作业形成数据质量分析报告，以表格和图表的形式帮助使用者分析管理的数据源中数据的完整性、一致性、准确性、及时性与有效性。

一种基于petri网的多源异构数据检测方法，包括数据质量规则库模块、数据质量任务管理模块、数据质量作业模块、调度计划管理模块、数据质量分析模块与数据质量知识库模块；所述数据质量规则库模块作为数据质量规则的集合，为质量检测提供质量规则；数据质量任务管理模块作为数据质量检测的执行单元，在执行时首先选择稽查对象，稽查对象为多源异构处理服务器管理的数据源，通过元数据选到外部数据源的数据表；然后，将想要检测的质量规则通过拖动、连线的方式进行串并联的图形化编排；数据质量作业管理模块以petri网模型为基础，在数据质量作业中配置质量任务，每一个质量任务对应一种多源异构数据源，利用petri网的可达图生成Oozie工作流串并联调度执行质量任务，从而通过质量作业、质量任务、质量规则的三层结构稽查多源异构数据源；调度计划管理模块通过选择调度作业、调度方式，执行计划来构建调度计划；数据质量分析模块用于接收并记录质量任务消息库所输出的质量规则检测信息和质量作业消息库所输出的质量任务检测信息，并对质量规则检测信息和质量任务检测信息进行统计和评分；数据质量知识库模块根据数据质量分析模块记录的质量规则检测信息和质量任务检测信息，通过前端接口的方式为使用者提供标记。

进一步的，步骤1中，异构数据源包括关系型数据库、NoSQL数据库和结构化数据文件。

进一步的，步骤4中，数据质量作业为自动执行，实现了针对被管理数据源的自动化数据质量检测。

进一步的，根据步骤5中的实时反馈内容，已存在的质量问题的产生原因、解决方案等进行记录，逐渐积累形成数据质量知识库。

进一步的，所述数据质量规则管理模块中数据质量判别规则包括完整性、一致性、准确性、及时性和有效性。

本发明的有益效果：

数据质量是数据分析、数据挖掘与数据应用的前提，针对当前单一的数据质量检测，本发明提供一种基于petri网的多源异构数据质量检测方法，利用数据湖形式的大数据治理思想，采用以多源异构数据处理服务器为中心，连接多端多边数据源的方式，充分结合了元数据标准构建，配置多源异构数据源外部表查询服务，通过中心服务器统一SQL下发至多源异构数据源进行质量规则的查询，以数据质量规则为变迁，通过petri网使用拖拽的方式形成可视化、可配置的数据质量任务工作流模型，再以数据质量任务为变迁，形成数据质量作业的工作流模型，实现多源异构数据的质量检测。

同时可以使用调度计划模块，配置数据质量作业，再利用petri网的消息反馈机制，针对每次质量作业，形成表格、图表形式的质量分析报告，最后，积累数据质量检测的问题，形成数据质量问题知识库，为后续的数据质量检测提供可持续发展的意见和建议，保证了各数据源相互独立，统一了SQL形式，解决了多源异构数据针对不同数据源需要特定查询方法的难题，为使用者提供一种图形化、可拖拽的质量任务、作业管理方法，可配置质量检测调度计划，生成数据质量分析结果供使用者查看，并建立数据质量知识库提升解决质量问题的能力。为系统数据质量提升提供有效支撑，从而提升数据价值。

附图说明

图1为本发明多源异构数据处理服务器架构图。

图2为本发明基于petri网的数据质量任务工作流。

图3为本发明基于petri网的数据质量作业工作流。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例1：本实施例旨在提供一种基于petri网的多源异构数据检测方法，针对现有数据质量检测往往只针对单一数据源，单一数据格式的质量检测，缺乏全系统考量、结果可解释，无法胜任现在的大数据的环境，本实施例一种以petri网模型为基础，适用于多源异构数据检测的系统。

本实施例中一种基于petri网的多源异构数据检测系统包括数据质量规则库模块、数据质量任务管理模块、数据质量作业模块、调度计划管理模块、数据质量分析模块与数据质量知识库模块；所述数据质量规则库模块作为数据质量规则的集合，为质量检测提供质量规则；数据质量任务管理模块作为数据质量检测的执行单元，在执行时首先选择稽查对象，稽查对象为多源异构处理服务器管理的数据源，通过元数据选到（前端选择）外部数据源的数据表；然后，将想要检测的质量规则通过拖动、连线的方式进行串并联的图形化编排；数据质量作业管理模块以petri网模型为基础，在数据质量作业中配置质量任务，每一个质量任务对应一种多源异构数据源，利用petri网的可达图生成Oozie工作流串并联调度执行质量任务，从而通过质量作业、质量任务、质量规则的三层结构稽查多源异构数据源；调度计划管理模块通过选择调度作业、调度方式，执行计划来构建调度计划；数据质量分析模块用于接收并记录质量任务消息库所输出的质量规则检测信息和质量作业消息库所输出的质量任务检测信息，并对质量规则检测信息和质量任务检测信息进行统计和评分；数据质量知识库模块根据数据质量分析模块记录的质量规则检测信息和质量任务检测信息，通过前端接口的方式为使用者提供标记。

其中数据质量规则管理模块的具体实施方式为：数据质量判别规则为完整性、一致性、准确性、及时性，在此基础上加入有效性，可以实现数据极值、特殊数据格式、数据枚举等数据质量的检测；在规则属性上，集成了现有通用数据质量规则检测方法，并允许使用者自定义质量规则，允许可配置的质量规则输出。采用统一SQL的形式进行查询，统一SQL依靠自主扩展的PostgreSQL数据库外部表服务（fdw）实现，多源异构处理服务器架构如图1所示，实现方式通过配置外部表服务-创建多源异构处理服务器的外部查询用户-创建外部表数据映射，在建立连接后，使用者可以直接在多源异构处理服务器上使用PostgreSQL这一传统关系型数据库实现对多源异构数据库的质量规则查询，值得一提的是，本发明实现了对MySQL、Oracle、PostgreSQL、MongoDB、ElasticSearch、数据文件等的聚合函数下推，将查询SQL传递到外部数据源执行，充分利用了各种不同数据库的优秀性能，在大数据的场景下，仅将查询结果返回，不仅大大减少了数据的传输，还显著提升了查询性能。自定义规则仅需要写关系型数据库的SQL语句就可以检测系统提供的所有类型的数据库与结构化数据文件的数据质量，降低了用户的使用难度。

数据质量任务管理模块的具体实施方式为：首先多源异构处理服务器对数据的管理采用元数据管理方式，指定统一的元数据标准，对多源异构的数据进行描述。元数据为数据质量任务的图形化编排数据质量规则奠定了基础。应用petri网构建数据质量任务工作流如图2所示。先选择稽查对象，稽查对象为多源异构处理服务器管理的数据源，通过元数据选到外部数据源的数据表。然后，将想要检测的质量规则通过拖动、连线的方式进行串并联的图形化编排。针对每一个质量规则，可以配置规则的元数据字段、参数配置，可多选质量检测的告警条件。为了给使用者更直观的图形显示，后台自动补充消息库所并在图形上隐藏了消息库所，这样，使用者只用关心质量任务所编排的质量规则。

petri网是由一个四元组（P，T，f，m₀）组成，分别代表了库所、变迁、流关系和初始标记。其中f：（P×T）∪（T×P）→N₀是流关系m₀：P→N₀是初始标记。petri网的引发规则：当m（p）≥f（p，t），∀p∈lt时，迁移t在标记m下被激活，记作m[t>，否则迁移不被激活，一个激活的迁移可以被引发，当t在m下被引发后，一个新的标记m’到达，记作m[t>m’，且有m’（p）=m（p）-f（p，t）+f（t，p），其中∀p∈P，petri网的引发过程，不消耗时间。

质量规则在变迁过程中发现问题，之后在消息库所对质量规则问题进行记录，实时反映数据质量规则检测的状态，每一个数据质量规则的执行通过Oozie进行调度，Oozie作为一个工作流调度框架，必须是一个有向无环图，将petri网的库所改为消息库所适应系统需求，实现了检测信息的实时发出与接收，这里再将petri网针对Oozie进行改造以适应本系统。用petri网的可达图（Reachability Graph）来表示有向无环图的工作流，则G=（V，E，R），其中V是节点的集合，v∈V表示一类可达的标识；E是有向弧的集合，e∈E标识从一类可达标识到另一类可达标识的有向弧；R是一个转换关系，R：E→V×V。Oozie调度系统的两大核心分别为依赖和触发，前端在通过拖拽构建图2、图3petri网工作流模型时，明确记录图关系的依赖和触发条件。触发即petri网变迁可达，依赖详细的记录了当前变迁可达所需依赖链。采用快慢指针法，若快指针走向末尾（next指向NULL）没追上慢指针，则说明依赖链无环，Oozie可调度经改造的petri网模型。这样就实现了Oozie调度执行数据质量规则的串并联工作流。

数据质量作业管理模块的具体实施方式为：根据数据质量任务管理模块已配置的数据质量任务，可以看出，一个质量任务对应一个稽查数据源，为解决多源异构数据源的质量检测，类似于数据质量任务配置质量规则，在数据质量作业中配置质量任务，每一个质量任务对应一种多源异构数据源，利用petri网的可达图生成Oozie工作流串并联调度执行质量任务，这样就可以稽查多源异构数据源。应用petri网构建数据质量作业工作流如图3所示。质量任务在变迁过程中发现问题，之后在消息库所对质量任务问题进行记录，实时反映数据质量任务检测的状态。完成数据质量作业的图形化构建，实际上形成了质量作业-质量任务-质量规则三层包含关系，以此完成多源异构数据质量的检测。

调度计划管理模块的具体实施方式为：在生产环境中，例如：有针对数据分析的一次性数据检测，也有针对数据开发的数据定期维护，还有数据挖掘得到流式或批量数据的及时验证。因此对数据质量作业提出了更具体的自动化要求，在本发明中，使用者可以自行配置调度计划。通过选择调度作业，调度方式（单次或周期），执行计划（立即执行或定时执行）来构建一个调度计划。还引入了订阅配置的模块，可以将数据质量检测的结果在消息系统显示，并发送至创建质量作业者的邮箱。

数据质量分析模块的具体实施方式为：数据质量分析接收并记录质量任务消息库所输出的质量规则检测信息与质量作业消息库所输出的质量任务检测信息。数据质量分析模块以列表的形式进行质量任务统计；以饼状图的形式展现问题数和问题数据量的质量问题分布；以折线图的形式展现问题数和问题数据量的质量问题趋势；最后，以有效性、准确性、完整性、唯一性、一致性与及时性作为维度，对各个维度进行计分，对数据质量检测存在的问题，以百分制的形式加权扣除，使用六芒星图展示数据质量评分模块。

数据质量知识库模块的具体实施方式为：根据数据质量分析模块记录的质量规则检测信息和质量任务检测信息，通过前端接口的方式，为使用者提供标记。自动提供问题来源规则、任务，允许使用者对记录的质量问题产生原因、解决方案进行记录，配置问题字典目录管理质量问题知识库。这为后续质量问题检测提供了参考，有效提升了使用者处理数据质量问题的能力。

本实施例具体实施时，包括如下步骤

步骤1、配置数据源

对系统所管理的数据湖中连接的异构数据源进行配置，使多个异构数据源与数据湖连接，将所有的异构数据源连接本地的多源异构数据处理服务器；异构数据源包括关系型数据库、NoSQL数据库和结构化数据文件。

步骤2、元数据标准的制定

多源异构数据处理服务器的数据库采用自主扩展的PostgreSQL数据库，数据格式采用向大转型的原则，通过对多源异构数据库实行元数据采集任务得到元数据，元数据包括元数据表信息、字段信息、索引信息和约束信息；将采集来的元数据转为PostgreSQL的数据格式入库，从而使多源异构数据具有统一的数据标准。

步骤3，建立外部表连接

根据步骤1的数据源信息与步骤2的元数据信息，通过自主扩展的PostgreSQL数据库，建立外部表连接；通过配置外部表服务，建立查询用户，创建外部表到外部数据映射的方式实现多源异构数据的查询。

步骤4，制定数据质量规则

根据质量规则或者质量任务构建加入信息反馈的petri网模型，利用外部表查询获得检测数据源，petri网模型中一次质量任务中，起始为质量任务的检测数据源，以质量规则作为变迁，规则变迁之间为消息库所，产出规则检测结果，多个质量规则与消息库所组成一个质量任务，实现了单一数据源的质量任务检测；再以质量任务作为变迁，任务变迁之间为消息库所，产出任务检测结果，多个质量任务与消息库所组成一个质量作业，通过质量作业、质量任务、质量规则的三层结构，实现多源异构数据质量的检测；本实施例中数据质量作业为自动执行，实现了针对被管理数据源的自动化数据质量检测。

步骤5，形成数据质量分析报告

根据步骤4消息库所的实时反馈，实现了实时监测数据质量检测过程，将每一次的数据质量作业形成数据质量分析报告，以表格和图表的形式帮助使用者分析管理的数据源中数据的完整性、一致性、准确性、及时性与有效性；同时根据实时反馈内容，已存在的质量问题的产生原因、解决方案等进行记录，逐渐积累形成数据质量知识库。

下面结合具体实例进行说明如图2所示，图2首先配置了稽查对象PostgreSQL数据源，并加入了字段最大值、字段最小值、字段平均值、字段汇总值与字段空值校验五个质量规则，构成了一个质量任务。

图3首先配置开始事件，并加入了自媒体库数据范围、舆情库名称空值、科技情报数据格式与分析库数据格式四个质量任务，最后加入结束事件，构成了一个质量作业。

由此，本发明提供了一种基于petri网的多源异构数据质量检测方法，利用数据湖形式的大数据治理思想，采用以多源异构数据处理服务器为中心，连接多端多边数据源的方式，充分结合了元数据标准构建，配置多源异构数据源外部表查询服务，通过中心服务器统一SQL下发至多源异构数据源进行质量规则的查询，以数据质量规则为变迁，通过petri网使用拖拽的方式形成可视化、可配置的数据质量任务工作流模型，再以数据质量任务为变迁，形成数据质量作业的工作流模型，实现多源异构数据的质量检测。可以使用调度计划模块，配置数据质量作业。再利用petri网的消息反馈机制，针对每次质量作业，形成表格、图表形式的质量分析报告。最后，积累数据质量检测的问题，形成数据质量问题知识库，为后续的数据质量检测提供可持续发展的意见和建议。

Claims

1.一种基于petri网的多源异构数据质量检测方法，其特征在于：包括如下步骤

步骤1、配置数据源

步骤2、元数据标准的制定

步骤3，建立外部表连接

步骤4，制定数据质量规则

步骤5，形成数据质量分析报告

2.一种基于petri网的多源异构数据检测方法，其特征在于：包括数据质量规则库模块、数据质量任务管理模块、数据质量作业模块、调度计划管理模块、数据质量分析模块与数据质量知识库模块；所述数据质量规则库模块作为数据质量规则的集合，为质量检测提供质量规则；数据质量任务管理模块作为数据质量检测的执行单元，在执行时首先选择稽查对象，稽查对象为多源异构处理服务器管理的数据源，通过元数据选到外部数据源的数据表；然后，将想要检测的质量规则通过拖动、连线的方式进行串并联的图形化编排；数据质量作业管理模块以petri网模型为基础，在数据质量作业中配置质量任务，每一个质量任务对应一种多源异构数据源，利用petri网的可达图生成Oozie工作流串并联调度执行质量任务，从而通过质量作业、质量任务、质量规则的三层结构稽查多源异构数据源；调度计划管理模块通过选择调度作业、调度方式，执行计划来构建调度计划；数据质量分析模块用于接收并记录质量任务消息库所输出的质量规则检测信息和质量作业消息库所输出的质量任务检测信息，并对质量规则检测信息和质量任务检测信息进行统计和评分；数据质量知识库模块根据数据质量分析模块记录的质量规则检测信息和质量任务检测信息，通过前端接口的方式为使用者提供标记。

3.根据权利要求1所述的基于petri网的多源异构数据质量检测方法，其特征在于：步骤1中，异构数据源包括关系型数据库、NoSQL数据库和结构化数据文件。

4.根据权利要求1所述的基于petri网的多源异构数据质量检测方法，其特征在于：步骤4中，数据质量作业为自动执行，实现了针对被管理数据源的自动化数据质量检测。

5.根据权利要求1所述的基于petri网的多源异构数据质量检测方法，其特征在于：根据步骤5中的实时反馈内容，已存在的质量问题的产生原因、解决方案等进行记录，逐渐积累形成数据质量知识库。

6.根据权利要求2所述的基于petri网的多源异构数据质量检测方法，其特征在于：所述数据质量规则管理模块中数据质量判别规则包括完整性、一致性、准确性、及时性和有效性。