CN114124743B - 一种数据应用全链路检查规则执行方法及系统 - Google Patents

Abstract

本发明公开了一种数据应用全链路检查规则执行方法及系统，其中，方法包括以下步骤：按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；读取并解析至少一个数据链路中所有节点对应的规则脚本；根据规则脚本对至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；对质量监控结果进行评价和实时记录；依据质量监控结果对至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；按照预设格式对数据质量指标进行绘制和可视化输出。本发明可根据规则脚本对数据链路各节点进行数据质量监控统计，并将监控结果可视化输出，实现数据应用的全链路管控。

Description

一种数据应用全链路检查规则执行方法及系统

技术领域

本发明涉及数据管控技术领域，更具体的说是涉及一种数据应用全链路检查规则执行方法及系统。

背景技术

数据是信息的基础和核心，对信息系统有着至关重要的作用，高质量的数据是统计分析工作的基本条件，而质量低劣的数据已经成为影响企业决策的重要因素。许多企业在信息化建设初期，通常低估了企业内部数据的复杂程度，不同系统之间数据交换的质量无法得到保证；在实施信息化项目时缺少对数据质量问题的统一考虑，不能对数据质量问题进行实时或阶段性的反馈或预警，使得大量数据质量问题累积，导致进行中以及后续的项目无法圆满实现目标。

数据管控是在运营过程中及时、有效地反馈出数据异常的一种手段，通过对数据的监控判断数据是否异常，通过各种数据维度的比对发现数据异常所在以及造成异常的原因，并对异常数据存在的风险进行分析、发出警示。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。

现有技术中有一些工具或者平台来追踪数据质量问题，但这些工具或者平台相对比较独立，呈现出点状化或分段化的特点，无法得知整体的数据质量情况。因此，如何提供一种对数据质量进行全程监控统计的方法及系统是本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种数据应用全链路检查规则执行方法及系统，可根据规则脚本对数据链路各节点进行数据质量监控统计，并将监控结果可视化输出，实现数据应用的全链路管控。

为了实现上述目的，本发明采用如下技术方案：

一种数据应用全链路检查规则执行方法，包括以下步骤：

S1、按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

S2、读取并解析所述至少一个数据链路中所有节点对应的预先定义好的规则脚本；

S3、根据所述规则脚本对所述至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

S4、对所述质量监控结果进行评价和实时记录；

S5、依据所述质量监控结果对所述至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；

S6、按照预设格式对所述数据质量指标进行绘制和可视化输出。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S1还包括：将所述至少一个数据链路中的各个节点和规则进行图形化配置，并通过点选方式完成逻辑运算编辑。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S5还包括：向所述至少一个数据链路中各节点分配对应的所述数据质量指标分类结果，并根据所述规则脚本中的质量位规则信息生成质量位结果。

S6还包括：将所述规则脚本执行结果传送至所述规则脚本配置入口处，并根据规则脚本执行结果，实时更新质量位的状态。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S2中，所述规则脚本中包含质量指标、规则执行时间、规则执行预期效果和规则级别中的一种或几种；所述质量指标包括完整性、规范性、一致性、准确性、唯一性和实效性中的一个或多个。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S3中的评价依据为：所述至少一个数据链路中所有节点对应的规则脚本中的质量指标判断规则、已解析的所述规则脚本中质量指标的定义以及所述规则脚本中质量指标所包含的数据作业过程中指定要素之间的逻辑关系。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S3中，所述质量监控结果至少包括：检测内容明细、检测结果、数据质量级别、作业情况和服务器资源情况。

进一步的，在上述一种数据应用全链路检查规则执行方法中，S5中，根据质量指标满足程度和规则级别以不同颜色对所述数据质量指标进行标记。

本发明还提供一种数据应用全链路检查规则执行系统，包括：

数据链路搭建模块，用于按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

规则脚本解析模块，用于读取并解析所述至少一个数据链路中所有节点对应的预先定义好的规则脚本；

质量监控模块，用于根据所述规则脚本对所述至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

结果记录模块，用于对所述质量监控结果进行评价和实时记录；

结果分类与标记模块，用于依据所述质量监控结果对所述至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；

可视化输出模块，用于按照预设格式对所述数据质量指标进行绘制和可视化输出。

进一步的，在上述一种数据应用全链路检查规则执行系统中，还包括：

质量位生成模块，用于向所述至少一个数据链路中各节点分配对应的所述数据质量指标分类结果，并根据所述规则脚本中的质量位规则信息生成质量位结果；

质量位更新模块，用于将所述质量位结果传送至所述规则脚本配置入口处，并根据规则脚本执行结果，实时更新质量位的状态。

进一步的，在上述一种数据应用全链路检查规则执行系统中，所述数据链路搭建模块还包括：

图形化操作模块，用于将所述至少一个数据链路中的各个节点和规则进行图形化配置，并通过点选方式完成逻辑运算编辑。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种数据应用全链路检查规则执行方法及系统，在数据链路各流程根据定义的质量规则对数据质量进行自动检测，通过在数据链路的节点间进行数据质量监控并对所有的监控结果进行输出，形成完整的流程管控，并进行监控结果的可视化输出，反映了检测内容明细、检测结果、数据质量级别、以及作业情况、服务器资源情况等数据质量问题。本发明根据当前业务系统中的数据资产，结合数据仓库特点与大数据技术，建立数据资产从源业务系统到数据中心再到数据的全链路过程，开展链路建立和过程监控，对数据采集、数据传输、数据加工、数据供给各环节复杂多类的作业调度任务进行采集、融合。同时，在前端开发统一组件图形模型，通过组件和规则的配置，形成统一的、图形化的、可维护的监控链路。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的数据应用全链路检查规则执行方法的流程图；

图2附图为本发明提供的数据链路生成示意图；

图3附图为本发明提供的数据链路的功能架构图；

图4附图为本发明提供的数据链路搭建流程图；

图5附图为本发明提供的对应用数据进行全链路管控的工作流程；

图6附图为本发明提供的数据应用全链路检查规则执行的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种数据应用全链路检查规则执行方法，包括以下步骤：

S1、搭建数据链路：按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

S2、解析规则脚本：读取并解析至少一个数据链路中所有节点对应的预先定义好的规则脚本；

S3、执行规则脚本：根据规则脚本对至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

S4、记录质量监控结果：对质量监控结果进行评价和实时记录；

S5、质量指标分类和标记：依据质量监控结果对至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；

S6、可视化结果输出：按照预设格式对数据质量指标进行绘制和可视化输出。

更有利的，S1还包括：将所述至少一个数据链路中的各个节点和规则进行图形化配置，并通过点选方式完成逻辑运算编辑。

下面对上述各步骤进行详细描述。

S1、搭建数据链路

解析数据传输的所有节点中的输出数据表与输入数据表，当节点A的输出数据表与节点B的输入数据表名称一致时，A和B为通一条数据链路上相邻的两个数据作业节点，输出数据链路。

如图2所示，根据输入输出的数据表名称生成的有“链路一”以及“链路二”组成的数据链路表。

S2、解析规则脚本

读取规则脚本，对规则脚本中的质量指标的进行解析。质量指标是对数据作业过程的一种评价，包含了数据作业过程中的完整性、规范性、一致性、准确性、唯一性、时效性中的一个或多个。其具体定义如下：

完整性：数据采集的完整程度，是否存在缺失字段或记录，是记录的数据和实际采集到数据之间的比例。

规范性：采集到的数据存储方式、方法，对预先定义的规则、规范的满足程度。

一致性：记录的数据和实际采集到数据的值是否一致，是否存在信息含义上的冲突，是否符合逻辑。

准确性：采集到的数据是否在取值范围内，作业流程是否按照定义的顺序进行。

唯一性：采集到的数据中意外重复的数据和采集到数据之间的比例。

时效性：从产生到可以查看的时间间隔，也叫数据的延时时长，用于检查数据处理的进程状态和时延。。

其次，规则脚本中还定义了规则执行时间、规则执行预期的效果、规则级别。

S3、执行规则脚本

加载数据链路，读取并解析每个数据链路中所有节点对应的质量规则以及已解析的规则脚本中质量指标的定义及规则脚本中质量指标所包含的数据作业过程中指定的要素的逻辑关系。依据规则脚本中对数据作业节点进行评价，评价结果包含了质量指标满足程度(满足时为1，不满足时为0)、执行的解结果(正常、相等、执行成功、是)以及规则级别(严重、提醒、告警)。

例如，当数据作业对数据表进行操作，源数据表记录为“数据x”，作业后数据复制或同步到了某一个平台或系统，结果数据表记录为“数据y”。

质量规则定义了a.完整性：数据x与数据y记录数是否相等；b.时效性：数据作业节点X作业时间是否为10号23点59分59秒前，预期结果为是(10号23点59分59秒前作业)。

(1)解析完规则脚本后，会对节点X的作业时间与质量规则脚本中的10号23点59分59秒进行比较，获得时效性指标的结果，如满足时效性(即b)时，评价结果为1，否则为0；同时会对“数据x”与“数据y”的数据记录数进行比较，相等时评价结果为1，否则为0。

(2)当节点X的作业时间为10号23点59分59秒以后时，执行结果为否，规则等级为注意。

S4、记录质量监控结果

记录数据链路上所有数据作业的质量监控结果，用于作为所有质量监控结果对应的指标满足程度的评价。

例如，将多个节点(如上述节点X)的数据质量指标的结果，“时效性：1，完整性：1，……”等进行记录。

S5、质量指标分类和标记

依据质量监控结果对数据质量指标进行分类，并对数据质量指标结果进行区分标记。其区分标准为数据质量指标满足程度与规则级别。

例如，当数据质量指标满足时，文本或icon标记为绿色；当数据质量指标不满足，且规则级别为注意时，文本或icon标记为黄色；当数据质量指标不满足，且规则级别为告警时，文本或icon标记为红色。

S6、可视化结果输出

将上述数据质量指标的分类和标记结果，包括质量指标、质量指标的定义、质量指标执行结果，文本或icon的标记颜色，进行绘制展示。

在一个更有利的实施例中，S5中还包括：向至少一个数据链路中各节点分配对应的数据质量指标分类结果，并根据规则脚本中的质量位规则信息生成质量位结果。

其具体步骤为“读取质量位名称→读取质量位规则信息→根据质量位规则信息生成质量位结果”。

当质量位规则信息中某一质量指标含有多个规则信息时，需要分别读取所有规则信息对应的该质量指标，并进行逻辑运算。

例如：当质量规则信息中的完整性，含有两个质量规则，则需分别读取这两个质量规则的完整性结果，再进行逻辑与运算(当两个完整性全为1时，该位次质量位结果为1，其余情况质量位结果为0)。

对应的，S6中，将规则脚本执行结果传送至规则脚本配置入口处，根据规则脚本执行结果，实时更新质量位的状态。

进行记录。

其中，质量位指：多个质量指标的组合，用于表示数据链路上的节点间传送的数据的质量，

在一个具体实施例中，如图3所示，数据链路的功能架构包括表示层、逻辑层和数据层，其中，最核心的功能为逻辑层的检查规则执行，执行结果分析和执行结果评估。该功能架构分解如下：

检查规则配置：用于业务规则的基本信息配置，可对业务规则进行新建，删除，更改，查询。

业务系统数据：数据应用全链路检查规则执行的源数据，为业务系统中的数据。

规则库：用于存储用户自定义的检查规则，包括了数据质量检查规则、资源占用检查、作业状态检查规则。

链路节点、血缘数据。

监控结果记录表：用于存储数据发送/同步的过程监控结果，以及最终分析结果，还用于对全链路管控过程中的每个工作流程监控结果的分析和评估进行记录。

执行结果分析：用于对全链路管控过程中的每个工作流程监控结果的分析。

执行结果评估：用于对全链路管控过程中的每个工作流程监控结果的评估。

规则执行：使用定义的质量规则对全链路管控工程的每个工作流程进行监控。

监控结果发布：将总的监控检查结果和问题分析进行融合，并输出分析结果与图形化分析界面。

其中，如图4所示，数据链路的具体搭建过程为：

1、梳理指标数据血缘关系链路，包括每一处理环节的输入输出表、数据作业工具等；

2、根据数据链路与作业工具实际情况，定义质量监控指标；

3、在数据运监系统中配置数据质量监控规则，进行数据质量监控指标采集，涉及数据作业工具改造或质量指标采集脚本开发，形成规则脚本；

4、在数据运监系统中进行监控对象的质量位定义，建立质量位与质量规则的映射关系；

5、在数据运监系统中进行数据监控链路配置。

在一个具体实施例中，如图5所示，应用数据全链路管控的工作流程分解如下：

获取数据：从源业务系统中获取数据。

OGG同步：使用OGG将业务数据进行复制备份并同步到数据仓库，并执行预先配置的质量监控规则(即规则脚本)，进行质量位分析和评估，记录质量监控执行结果1。

DATAX 1：使用DATAX将业务数据同步到大数据平台，并执行预先配置的质量监控规则，进行质量位分析和评估，记录质量监控执行结果2。

DATAX 2：使用DATAX将大数据平台的业务数据同步到待发送的数据中，并执行预先配置的质量监控规则，进行质量位分析和评估，记录质量监控执行结果3。

数据沙盒：使用数据沙盒将大数据平台的待发送的数据同步运监平台中，并执行预先配置的质量监控规则，进行质量位分析和评估，记录质量监控执行结果4。

监控检查结果与问题分析输出：结合质量监控执行结果1、质量监控执行结果2、质量监控执行结果3和质量监控执行结果4，将总的质量监控执行结果和问题分析进行合并，并输出分析结果与图形化分析界面。

其中，相关名词解释如下：

OGG：全称Oracle Golden Gate，是一种基于日志的结构化数据复制备份软件，提供异构环境下交易数据的实时捕捉、变换、投递。

DATAX：DATAX是一种在异构数据源之间交换数据的离线同步框架/工具，实现了在任意的数据处理系统之间的数据交换。

数据仓库：Data Warehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

源业务系统：企业中将产品推向市场并取得最大化收益的一个企业分系统，包含营销平台，销售系统。生产系统，客服系统，微信系统和网厅。

如图6所示本发明实施例还提供一种数据应用全链路检查规则执行系统，其特征在于，包括：

数据链路搭建模块，用于按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

规则脚本解析模块，用于读取并解析至少一个数据链路中所有节点对应的预先定义好的规则脚本；

质量评价模块，用于根据规则脚本对至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

结果记录模块，用于对质量监控结果进行评价和实时记录；

结果分类与标记模块，用于依据质量监控结果对至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；

可视化输出模块，用于按照预设格式对数据质量指标进行绘制和可视化输出。

在一个实施例中，还包括：质量位生成模块，用于向至少一个数据链路中各节点分配对应的数据质量指标分类结果，并根据规则脚本中的质量位规则信息生成质量位结果；

质量位更新模块，用于将所述质量位结果传送至所述规则脚本配置入口处，并根据规则脚本执行结果，实时更新质量位的状态。

在另一个实施例中，所述数据链路搭建模块还包括：

图形化操作模块，用于将至少一个数据链路中的各个节点配置和规则配置进行图形化，并通过点选方式完成逻辑运算编辑。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据应用全链路检查规则执行方法，其特征在于，包括以下步骤：

S1、按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

S2、读取并解析所述至少一个数据链路中所有节点对应的预先定义好的规则脚本；

S3、根据所述规则脚本对所述至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

S4、对所述质量监控结果进行评价和实时记录；

S5、依据所述质量监控结果对所述至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记，其区分标准为数据质量指标满足程度与规则级别；

S6、按照预设格式对所述数据质量指标进行绘制和可视化输出；

所述规则脚本中包含质量指标，质量指标包括完整性、规范性、一致性、准确性、唯一性和实效性；

所述S3中的评价依据为：所述至少一个数据链路中所有节点对应的规则脚本中的质量指标判断规则、已解析的所述规则脚本中质量指标的定义以及所述规则脚本中质量指标所包含的数据作业过程中指定要素之间的逻辑关系。

2.根据权利要求1所述的一种数据应用全链路检查规则执行方法，其特征在于，S1还包括：将所述至少一个数据链路中的各个节点和规则进行图形化配置，并通过点选方式完成逻辑运算编辑。

3.根据权利要求1所述的一种数据应用全链路检查规则执行方法，其特征在于，S5还包括：向所述至少一个数据链路中各节点分配对应的数据质量指标分类结果，并根据所述规则脚本中的质量位规则信息生成质量位结果；S6还包括：将规则脚本执行结果传送至所述规则脚本配置入口处，并根据规则脚本执行结果，实时更新质量位的状态。

4.根据权利要求1所述的一种数据应用全链路检查规则执行方法，其特征在于，S2中，所述规则脚本中还包含规则执行时间、规则执行预期效果和规则级别中的一种或几种。

5.根据权利要求1所述的一种数据应用全链路检查规则执行方法，其特征在于，S3中，所述质量监控结果至少包括：检测内容明细、检测结果、数据质量级别、作业情况和服务器资源情况。

6.根据权利要求1所述的一种数据应用全链路检查规则执行方法，其特征在于，S5中，根据质量指标满足程度和规则级别以不同颜色对所述数据质量指标进行标记。

7.一种数据应用全链路检查规则执行系统，其特征在于，包括：

数据链路搭建模块，用于按照数据传输过程中所有节点的输出数据表和输入数据表的名称，搭建至少一个数据链路；

规则脚本解析模块，用于读取并解析所述至少一个数据链路中所有节点对应的预先定义好的规则脚本；

质量监控模块，用于根据所述规则脚本对所述至少一个数据链路中各相应节点数据作业的指定要素进行监控，得到质量监控结果；

结果记录模块，用于对所述质量监控结果进行评价和实时记录；

结果分类与标记模块，用于依据所述质量监控结果对所述至少一个数据链路中所有节点数据作业的数据质量指标进行分类和区分标记；

可视化输出模块，用于按照预设格式对所述数据质量指标进行绘制和可视化输出。

8.根据权利要求7所述的一种数据应用全链路检查规则执行系统，其特征在于，还包括：

质量位生成模块，用于向所述至少一个数据链路中各节点分配对应的数据质量指标分类结果，并根据所述规则脚本中的质量位规则信息生成质量位结果；

质量位更新模块，用于将规则脚本执行结果传送至所述规则脚本配置入口处，并根据规则脚本执行结果，实时更新质量位的状态。

9.根据权利要求7所述的一种数据应用全链路检查规则执行系统，其特征在于，所述数据链路搭建模块还包括：

图形化操作模块，用于将所述至少一个数据链路中的各个节点配置和规则配置进行图形化，并通过点选方式完成逻辑运算编辑。