CN110109768B - 一种数据质量巡检方法及装置 - Google Patents

Abstract

本说明书提供一种数据质量巡检方法及装置，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。按照一定的频率对数据质量可视化视图中的数据节点进行质量巡检，当检测出有数据出现问题时，可以在数据质量可视化视图中快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因。将数据质量从全局进行把控，提高了数据质量问题检测定位的效率。

Description

一种数据质量巡检方法及装置

技术领域

本说明书属于计算机技术领域，尤其涉及一种数据质量巡检方法及装置。

背景技术

大数据应用包括数据采集、数据计算、数据建模、数据存储和数据展示等阶段，每一个步骤都会涉及到数据质量问题，数据质量的好坏直接影响整个软件生产的效率。另外，出现数据质量问题时，能够及时发现并进行分析做出应急止血处理措施也显示的非常重要。

现有技术中有一些工具或者平台来追踪数据质量问题，但这些工具或者平台相对比较独立，呈现出点状化的特点，无法得知整体的数据质量情况。并且在发生数据质量问题时，由于大数据量级庞大的原因使得质量问题很难被定位到，影响项目进度，同时，增加了应急止血数据质量问题的时间成本，从而造成不确定的损失。

发明内容

本说明书实施例的目的在于提供一种数据质量巡检方法及装置，实现了数据质量检测的可视化、全局化，提高了数据质量检测的准确性和效率。

一方面本说明书实施例提供了一种数据质量巡检方法，包括：

每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则；

若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

另一方面，本说明书提供了一种数据质量巡检装置，包括：

决策巡检模块，用于每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则；

问题定位模块，用于若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

再一方面，本说明书提供了数据质量巡检处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现本说明书实施例中的数据质量巡检方法。

又一方面，本说明书提供了一种数据质量巡检系统，包括：决策巡检模块、问题告警模块、定位分析模块、应急处理模块、数据质量可视化视图、质量核验引擎集合；

所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎集合中的质量核验引擎；

所述决策巡检模块，用于每隔预设时间利用质量核验引擎对构建的所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，数据质量巡检时，所述数据质量可视化视图中显示各个数据节点的运行状态；

所述问题告警模块，用于在巡检过程中检测出存在数据质量问题，则进行告警提示；

所述定位分析模块，用于在所述问题告警模块进行告警提示后，根据所述数据质量可视化视图中显示的各个数据节点的运行状态，定位出问题数据节点，并进行问题分析；

所述应急处理模块，用于根据所述定位分析模块分析出的数据质量问题，确定出应急处理方式。

本说明书提供的数据质量巡检方法、装置、处理设备、系统，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。按照一定的频率对数据质量可视化视图中的数据节点进行质量巡检，当检测出有数据出现问题时，可以在数据质量可视化视图中快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因。将数据质量从全局进行把控，提高了数据质量问题检测定位的效率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书一个实施例中数据质量巡检方法的流程示意图；

图2是本说明书一个实施例中数据质量可视化视图的结构示意图；

图3是本说明书一个实施例中数据质量巡检方案的原理框架示意图；

图4是本说明书提供的数据质量巡检装置一个实施例的模块结构示意图；

图5是本说明书又一实施例中提供的数据质量巡检装置结构示意图；

图6是本说明书又一实施例中提供的数据质量巡检装置结构示意图；

图7是本说明书又一实施例中提供的数据质量巡检装置结构示意图；

图8是本说明书实施例中一种数据质量巡检服务器的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

数据质量问题小到数据库一个字段信息为空，大到涉及到公司的资金安全问题，针对不同数据量级对应数据质量的关注侧重点也会不同，除了量级，包括在数据采集、数据计算、数据存储和数据建模阶段都有不同的数据质量核验规范。

本说明书实施例中提供了一种数据质量巡检方法，将整个数据链路进行前端可视化透出，用户可以利用数据质量可视化视图随时获得不同数据节点的数据质量信息，同时在某个节点发生数据质量问题时及时将告警信息透出，能够快速分析和定位问题，以及评估问题影响面，达到提高工作效率和降低损失的目的。

本说明书实施例中的数据质量的在线巡检方法，不局限于具体一种可视化展示平台，包括但不限于PC(personal computer，个人计算机)端、移动端和外接显示大屏等。本说明书中数据质量巡检方法可以应用在客户端或服务器中，客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)、智能车载设备等电子设备。

具体的，图1是本说明书一个实施例中数据质量巡检方法的流程示意图，如图1所示，本说明书一个实施例中提供的数据质量巡检方法可以包括：

步骤102、每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则。

本说明书实施例可以预先将数据链路通过构建的数据质量可视化视图进行展示，再按照一定的频率对数据质量可视化视图中的各个数据节点进行数据质量巡检。

在具体的实施过程中，可以预先构建出数据质量可视化视图，其中，数据质量可视化视图中可以包括数据链路中的数据节点以及数据节点之间的关联关系，并为每个数据节点配置质量核验引擎。数据节点之间的关联关系可以理解为数据节点之间的业务往来关系，或者数据链路中数据节点之间的连接关系等。质量核验引擎可以理解为数据质量核验规则的执行器，质量核验引擎具体可以理解为通过Java等编程语言实现的能够完成复杂规则判断逻辑的用户自定义的判断函数。不同的质量核验引擎可能包括不同的质量核验规则，具体可以根据实际需要进行设置，本说明书实施例不作具体限定。

本说明书一些实施例中，可以采用下述方法构建数据质量可视化视图：

预先根据业务场景，确定出业务场景对应的数据节点和数据节点之间的关联关系；

根据所述数据节点和数据节点之间的关联关系，构建出所述数据质量可视化视图，并为所述数据节点配置质量核验引擎，所述质量核验引擎中包括数据质量检测规则。

在具体的时候过程中，可以根据不同的业务场景确定出不同业务场景处理业务时的数据链路，进一步获得数据链路中的各个数据节点和数据节点之间的关联关系，每个数据节点可以代表一个业务含义，不同的业务节点关联在一起可以代表一个业务场景。如：一个网上下单购物的业务场景，可能需要下单节点、创建交易节点、交易支付节点、确认收货节点等，不同的数据节点可以进行不同的数据处理，将这些数据节点进行关联，可以完成一次下单购物流程。

按照业务场景对应的数据链路，确定出数据节点和数据节点之间的关联关系后，可以构建出数据质量可视化视图，再为数据质量可视化视图中的各个节点配置质量核验引擎，质量核验引擎包括数据质量检测规则，可以每隔预设时间利用质量核验引擎对各个节点进行数据质量检测。

本说明书实施例，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。当某个数据节点的数据出现问题时，还可以快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因，提高了数据质量问题检测定位的效率。

此外，本说明书一些实施例中，在为数据节点配置质量核验引擎时，可以为数据质量节点配置包括不同维度的数据质量检测规则的质量核验引擎，如：为数据节点配置针对数据字段检查的质量核验引擎，和针对上下游数据节点进行数据核对的质量核验引擎，可以实现从不同维度对数据节点的数据质量进行检测，提高数据质量检测的准确性。包括不同数据质量检测规则的质量核验引擎可以理解为从不同层面、不同角度设置数据质量检测规则，对数据进行数据质量检测。

其中，为数据质量节点配置包括不同数据质量检测规则的质量核验引擎，可以包括为同一个数据节点配置不同维度的数据质量检测规则的质量核验引擎，如：为创建交易节点配置2个维度的质量核验引擎。还可以包括为不同的数据节点配置不同维度的数据质量检测规则的质量核验引擎，如：数据质量可视化视图中包括多个数据节点，每个数据节点配置的质量核验引擎可以相同，如：都配置有相同的2个维度的质量核验引擎。也可以根据数据节点的业务需求，为不同的数据节点配置不同的质量核验引擎，如：为其中一个数据节点配置2个维度的质量核验引擎，为另一个数据节点配置另外2个维度的质量核验引擎。

此外，每个数据节点配置的质量核验引擎的数量也可以根据实际需要设置，可以相同也可以不同。不同维度的质量核验引擎对应的数据质量检测规则可能不同，可以预先定义质量核验引擎库或质量核验引擎集合，定义出不同维度、不同数据质量检测规则的质量核验引擎。创建好数据质量可视化视图后，根据数据质量可视化视图中各节点的业务需求，从质量核验引擎库或质量核验引擎集合中选择合适的质量核验引擎配置到数据节点上。

本说明书实施例，可以根据实际的业务需求，为数据节点配置不同维度的质量核验引擎，实现从不同维度对数据节点的数据质量进行检测，提高了数据质量检测的全面性和准确性。

步骤104、若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

通过对数据质量可视化视图按照一定的频率如每隔预设时间，进行一次质量巡检，即利用各个数据节点配置的质量核验引擎对数据质量可视化视图中各个数据节点进行质量检测。如：可以每隔预设时间触发数据节点中配置的质量核验引擎，利用各个数据节点上配置的质量核验引擎，对各个数据节点的数据质量进行检测。当检测到有数据出现质量问题时，可以在数据质量可视化视图中定位出现质量问题的问题数据节点，以便用户对问题数据节点进行定位分析，快速确定出问题原因。

本说明书实施例中提供了一种数据质量巡检方法，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。按照一定的频率对数据质量可视化视图中的数据节点进行质量巡检，当检测出有数据出现问题时，可以在数据质量可视化视图中快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因，提高了数据质量问题检测定位的效率。

图2是本说明书一个实施例中数据质量可视化视图的结构示意图，如图2所示，在上述实施例的基础上，本说明书一些实施例中，所述数据质量可视化视图包括：

业务场景展示区域和节点问题展示区域，所述业务场景展示区域用于展示数据节点和数据节点之间的关联关系，所述节点问题展示区域包括数据节点信息展示区域和质量核验引擎信息展示区域。

如图2所示，数据质量可视化视图中可以包括业务场景展示区域，用于展示数据链路中各个数据节点和数据节点之间的关联关系，从业务场景展示区域可以直观的看到数据链路中数据的流向。数据质量可视化视图中还可以包括节点问题展示区域，当在数据巡检过程中检测出有数据出现质量问题时，可以从业务场景展示区域定位出问题数据节点，并在节点问题展示区域展示问题数据节点的数据节点信息以及质量核验引擎信息。如图2所示，节点问题展示区域可以包括数据节点信息展示区域和质量核验引擎信息展示区域，数据节点信息展示区域可以用于展示数据节点信息如：节点属性，质量核验引擎信息展示区域可以用于展示质量核验引擎信息如：质量核验引擎的异常信息、质量核验引擎对应的数据质量检测规则、该数据节点对应的质量核验引擎数量等。

本说明书实施例，通过数据质量可视化视图不仅可以展示数据链路的数据流向，还可以展示出现质量问题的数据节点的节点信息、质量核验引擎等信息，直观的展示质量问题，方便后续数据质量定位分析，提高了数据质量检测、质量问题分析的速度。

在上述实施例的基础上，所述方法还可以包括：

定位出所述问题数据节点后，从所述数据节点信息展示区域获取所述问题数据节点的节点属性，从所述质量核验引擎信息展示区域获取所述问题数据节点对应的质量核验引擎的异常信息；

根据所述节点属性和所述异常信息，进行质量问题分析，确定出质量问题处理方案。

在具体的实施过程中，当定位出数据质量可视化视图中的问题数据节点后，可以从数据节点信息展示区域获取问题数据节点的节点属性，如：可以通过点击问题数据节点，在数据质量可视化视图中的数据节点信息展示区域可以查看到数据节点信息如：节点属性。其中，节点属性可以包括该数据节点的名称、数据节点配置的质量核验引擎的数量、数据节点进行数据处理的规则、数据节点进行数据更新的规则、数据节点的数据来源等。节点属性可以根据实际需要进行配置，本说明书实施例不作具体限定。同样的，可以从数据质量可视化视图中的质量核验引擎信息展示区域查看问题数据节点对应的质量核验引擎的异常信息，即质量核验引擎触发的异常信息，即：数据节点的数据中哪里不符合质量核验引擎中的数据质量检测规则，导致触发了异常信息，检测出数据出现质量问题。

根据确定出的节点属性和质量核验引擎对应的异常信息，可以对问题数据节点的数据进行质量问题分析，找出数据出现质量问题的原因，进一步确定出对应的应急处理方式即质量问题处理方案。质量问题处理方案可以理解为出现质量问题后的处理办法，具体可以根据实际的质量问题进行确定：如：若确定出质量问题为问题数据节点的上游数据节点的数据有误，即问题数据节点的数据来源有问题，则可以对有误的数据进行纠正；若确定出是质量核验引擎中的数据质量检测规则不符合业务需求，则可以对质量核验引擎中的数据质量检测规则进行调整。

本说明书实施例，通过数据质量可视化视图，可以实现问题数据节点的快速定位，同时，可以对问题数据节点的节点信息、质量核验引擎信息进行查看，方便质量问题的准确分析，提高了数据质量问题的应急处理效率。

在上述实施例的基础上，本说明书一些实施例中，所述对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，可以包括：

在对所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检时，在所述数据质量可视化视图中显示各个数据节点的运行状态，所述运行状态包括：正常、异常、未执行。

在具体的实施过程中，在对数据质量可视化视图中的各个数据节点的数据进行数据质量巡检时，可以在数据质量可视化视图中显示各个数据节点的运行状态，如：可以在数据节点上显示数据节点的运行状态；或采用不同的颜色表示不同的运行状态，当数据节点处于对应的运行状态时，将该数据节点显示为对应的颜色；或采用不同线条表示不同的运行状态，当数据节点处于对应的运行状态时，将该数据节点对应的边框显示为对应的线条等。具体展示数据节点不同的运行状态的方式可以根据实际需要进行设置，本说明书实施例不作具体限定。如图2所示，本说明书实施例中数据节点的运行状态可以包括：正常、异常、未执行，如图2所示，本说明书一个实施例中还可以采用不同的填充方式表示不同的运行状态，从图2的数据质量可视化视图可以清楚的看到哪些数据节点处于正常状态、哪些数据节点处于异常状态、哪些数据节点处于未执行状态，并且可以根据数据节点是否执行看出数据的流向。

本说明书实施例，在数据巡检过程中，在数据质量可视化视图直观的展示各个数据节点的运行状态，实现了数据在数据链路中的流动过程的直观展示，和数据节点的状态的直观展示。当数据节点运行状态为异常时，可以快速的定位出问题数据节点，提高数据质量检测问题定位的速度和效率。

在上述实施例的基础上，本说明书一个试实施例中，所述方法还包括：

对所述数据质量可视化视图和所述质量核验引擎进行更新。

在具体的实施过程中，可以根据业务扩展或业务需求，对数据质量可视化视图和质量核验引擎进行更新。如：可以更新数据质量可视化视图中的数据节点之间的关联关系，或者更新数据节点的数量、数据节点的节点属性等，具体可以根据实际需要对数据质量可视化视图进行更新。对质量核验引擎更新的方式可以包括：修改质量核验引擎中的数据质量检测规则、引入新的数据质量检测规则即可以对质量核验引擎进行扩展、更新质量核验引擎库等，具体可以根据实际需要对质量核验引擎进行更新。

此外，对数据质量可视化视图和质量核验引擎进行更新，可以根据业务扩展或业务需求进行，也可以根据进行数据质量巡检后的质量问题分析，对数据质量可视化视图和质量核验引擎进行评估，确定是否需要对数据质量可视化视图和质量核验引擎更新。

本说明书实施例提供的数据质量巡检方法，可以根据业务的扩展，对数据质量可视化视图和质量核验引擎更新。并且，本说明书实施例中的数据质量巡检方法，可以支持不同的质量核验引擎，具备可扩展性，提高了在大业务场景下定位数据质量问题的效率，提高数据质量巡检的适用范围。

图3是本说明书一个实施例中数据质量巡检方案的原理框架示意图，下面结合图3具体介绍本说明书一个示例中，数据质量巡检的原理：

本说明书实施例中的数据质量巡检方案主要可以包含三大部分：

1、数据质量可视化视图：

即图3中的底层部分，将数据节点的关联关系通过前端可视化技术展示出来，每个数据节点可以代表一个业务含义，节点状态可以包含正常、异常和未执行三种状态，不同的数据节点关联起来代表一个大的业务场景。同时数据节点上会配置不同维度的质量核验引擎，比如有针对数据字段的检查或者是针对上下游数据节点的数据核对。如图2所示，图2给出一个示例的数据质量可视化视图。

2、决策巡检：

如图3所示，决策巡检包括决策巡检、问题告警、定位分析、应急处理等流程。基于数据节点配置的质量核验引擎，决策巡检模型可以按照一定的频率进行巡检并及时发出数据质量问题的通知。宏观上通过数据质量可视化视图可以直观获得数据节点的运行状态，微观上可以获得异常节点的问题原因：具体是何种质量核验引擎发现的质量问题以及详细的质量问题原因，方便快速接入进行分析定位，从而采取对应的应急处理措施。

图2给出了具体的数据质量可视化视图展示页面方案，包含可视化视图、数据节点详情和质量引擎透出信息。图2中的可视化视图给出了电商购物下单业务场景的抽象视图，包含下单路径、创建交易、交易支付直至到确认收货从而完成整个购物下单场景，数据节点的填充方式可以代表不同的运行状态，通过可视化视图可以获得的信息是：用户采用移动端下单，已经成功完成了下单和创建交易，且没有发生数据质量问题，在执行到交易支付时发生了质量问题，确认收货处于未执行状态。用户可以点击交易支付数据节点可以查看该数据节点各个属性，在质量引擎透视信息模块可以看到引擎A触发的异常信息1和引擎B触发的异常信息2，便于快速入手进行排查分析。

3、数据质量可视化视图和质量核验引擎更新：

随着业务的扩展，数据质量可视化视图需要保持同步更新，同时也会引入新的质量检测规则引擎即质量核验引擎，也或者是单纯的质量检测规则引擎库即质量核验引擎库或质量核验引擎集合的升级。除了常规升级外，针对质量问题分析并进行评估是否需要完善数据质量可视化视图和质量核验引擎。

针对不同平台的数据可视化实现形式也会不太一样，本说明书实施例提供的数据质量循环可以针对于软件数据质量的在线巡检方案，不局限于具体一种可视化展示平台，包括但不限于PC端、移动端和外接显示大屏。

本说明书实施例基于支持数据可视化的工具或平台，避免人员在多个质量规则引擎之间获取数据质量信息，将数据质量的把控意识从全局出发进行状态透视，支持多种不同质量核验引擎，同时具备可扩展性，提高了在大业务场景下定位数据质量问题的效率。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参加即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参加方法实施例的部分说明即可。

基于上述所述的数据质量巡检方法，本说明书一个或多个实施例还提供一种数据质量巡检装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参加前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

具体地，图4是本说明书提供的数据质量巡检装置一个实施例的模块结构示意图，如图4所示，本说明书中提供的数据质量巡检装置可以包括：决策巡检模块41、问题定位模块42，其中：

决策巡检模块41，可以用于每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则；

问题定位模块42，可以用于若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

本说明书实施例提供的数据质量巡检装置，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。按照一定的频率对数据质量可视化视图中的数据节点进行质量巡检，当检测出有数据出现问题时，可以在数据质量可视化视图中快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因，提高了数据质量问题检测定位的效率。

图5是本说明书又一实施例中提供的数据质量巡检装置结构示意图，如图5所示，在上述实施例的基础上，所述装置还包括可视化视图构建模块51，用于：

预先根据业务场景，确定出业务场景对应的数据节点和数据节点之间的关联关系；

根据所述数据节点和数据节点之间的关联关系，构建出所述数据质量可视化视图，并为所述数据节点配置质量核验引擎。

本说明书实施例，通过将不同业务场景的数据链路通过数据质量可视化视图进行前端展示，用户可以直观的看到数据链路中数据的流向。还可以根据需要查看指定数据节点的数据质量信息，实现了数据质量巡检的可视化和透明化。当某个数据节点的数据出现问题时，还可以快速定位到问题数据节点，进一步进行数据质量分析，确定出现问题的原因，提高了数据质量问题检测定位的效率。

在上述实施例的基础上，所述可视化视图构建模块具体用于：

为所述数据节点配置包括不同数据质量检测规则的质量核验引擎。

本说明书实施例，可以根据实际的业务需求，为数据节点配置不同维度的质量核验引擎，实现从不同维度对数据节点的数据质量进行检测，提高了数据质量检测的全面性和准确性。

在上述实施例的基础上，所述数据质量可视化视图包括：

业务场景展示区域和节点问题展示区域，所述业务场景展示区域用于展示数据节点和数据节点之间的关联关系，所述节点问题展示区域包括数据节点信息展示区域和质量核验引擎信息展示区域。

本说明书实施例，通过数据质量可视化视图不仅可以展示数据链路的数据流向，还可以展示出现质量问题的数据节点的节点信息、质量核验引擎等信息，直观的展示质量问题，方便后续数据质量定位分析，提高了数据质量检测、分析的速度。

图6是本说明书又一实施例中提供的数据质量巡检装置结构示意图，如图6所示，在上述实施例的基础上，所述装置还包括定位分析模块61，用于：

定位出所述问题数据节点后，从所述数据节点信息展示区域获取所述问题数据节点的节点属性，从所述质量核验引擎信息展示区域获取所述问题数据节点对应的质量核验引擎的异常信息；

根据所述节点属性和所述异常信息，进行质量问题分析，确定出质量问题处理方案。

本说明书实施例，通过数据质量可视化视图，可以实现问题数据节点的快速定位，同时，可以对问题数据节点的节点信息、质量核验引擎信息进行查看，方便质量问题的准确分析，提高了数据质量问题的应急处理效率。

在上述实施例的基础上，所述决策巡检模块包括节点状态显示单元，用于：

在对所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检时，在所述数据质量可视化视图张中显示各个数据节点的运行状态，所述运行状态包括：正常、异常、未执行。

本说明书实施例，在数据巡检过程中，在数据质量可视化视图直观的展示各个数据节点的运行状态，实现了数据在数据链路中的流动过程的直观展示，和数据节点的状态的直观展示。当数据节点运行状态为异常时，可以快速的定位出问题数据节点，提高数据质量检测问题定位的速度和效率。

图7是本说明书又一实施例中提供的数据质量巡检装置结构示意图，如图7所示，在上述实施例的基础上，所述装置还包括更新扩展模块71，用于：

对所述数据质量可视化视图和所述质量核验引擎进行更新。

本说明书实施例，可以根据业务的扩展，对数据质量可视化视图和质量核验引擎更新。并且，本说明书实施例中的数据质量巡检方法，可以支持不同的质量核验引擎更，具备可扩展性，提高了在大业务场景下定位数据质量问题的效率。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述的方法实施例的描述，在此不作一一赘述。

本说明书实施例还提供一种数据质量巡检处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的数据质量巡检方法，如：

每隔预设时间对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有质量核验引擎；

若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

需要说明的，上述所述的处理设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书实施例还提供了一种数据质量巡检系统，包括：决策巡检模块、问题告警模块、定位分析模块、应急处理模块、数据质量可视化视图、质量核验引擎集合；

所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎集合中的质量核验引擎；

所述决策巡检模块，用于每隔预设时间利用质量核验引擎对构建的所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，数据质量巡检时，所述数据质量可视化视图中显示各个数据节点的运行状态；

所述问题告警模块，用于在巡检过程中检测出存在数据质量问题，则进行告警提示；

所述定位分析模块，用于在所述问题告警模块进行告警提示后，根据所述数据质量可视化视图中显示的各个数据节点的运行状态，定位出问题数据节点，并进行问题分析；

所述应急处理模块，用于根据所述定位分析模块分析出的数据质量问题，确定出应急处理方式。

本说明书提供的数据质量巡检系统，也可以应用在多种数据分析处理系统中。所述系统可以包括上述实施例中任意一个数据质量巡检装置。所述的系统可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。

本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本说明书实施例中一种数据质量巡检服务器的硬件结构框图，该服务器可以是上述实施例中的数据质量巡检装置或数据质量巡检系统。如图8所示，服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图8中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图8所示不同的配置。

存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的数据质量巡检方法对应的程序指令/模块，处理器100通过运行存储在存储器200内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

本说明书实施例提供的上述数据质量巡检方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。

需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参加即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参加方法实施例的部分说明即可。

本说明书实施例并不局限于必须是符合行业通信标准、标准计算机数据处理和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参加即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参加方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。

Claims (16)

1.一种数据质量巡检方法，包括：

每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则；

若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

2.如权利要求1所述的方法，所述方法还包括：

预先根据业务场景，确定出业务场景对应的数据节点和数据节点之间的关联关系；

根据所述数据节点和数据节点之间的关联关系，构建出所述数据质量可视化视图，并为所述数据节点配置质量核验引擎。

3.如权利要求2所述的方法，所述为所述数据节点配置质量核验引擎，包括：

为所述数据节点配置包括不同数据质量检测规则的质量核验引擎。

4.如权利要求1所述的方法，所述数据质量可视化视图包括：

业务场景展示区域和节点问题展示区域，所述业务场景展示区域用于展示数据节点和数据节点之间的关联关系，所述节点问题展示区域包括数据节点信息展示区域和质量核验引擎信息展示区域。

5.如权利要求4所述的方法，所述方法还包括：

定位出所述问题数据节点后，从所述数据节点信息展示区域获取所述问题数据节点的节点属性，从所述质量核验引擎信息展示区域获取所述问题数据节点对应的质量核验引擎的异常信息；

根据所述节点属性和所述异常信息，进行质量问题分析，确定出质量问题处理方案。

6.如权利要求1所述的方法，所述对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，包括：

在对所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检时，在所述数据质量可视化视图中显示各个数据节点的运行状态，所述运行状态包括：正常、异常、未执行。

7.如权利要求1所述的方法，所述方法还包括：

对所述数据质量可视化视图和所述质量核验引擎进行更新。

8.一种数据质量巡检装置，包括：

决策巡检模块，用于每隔预设时间利用质量核验引擎对构建的数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，其中，所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎，所述质量核验引擎中包括数据质量检测规则；

问题定位模块，用于若检测出数据出现质量问题，则在所述数据质量可视化视图中定位出现质量问题的问题数据节点。

9.如权利要求8所述的装置，所述装置还包括可视化视图构建模块，用于：

预先根据业务场景，确定出业务场景对应的数据节点和数据节点之间的关联关系；

根据所述数据节点和数据节点之间的关联关系，构建出所述数据质量可视化视图，并为所述数据节点配置质量核验引擎。

10.如权利要求9所述的装置，所述可视化视图构建模块具体用于：

为所述数据节点配置包括不同数据质量检测规则的质量核验引擎。

11.如权利要求8所述的装置，所述数据质量可视化视图包括：

业务场景展示区域和节点问题展示区域，所述业务场景展示区域用于展示数据节点和数据节点之间的关联关系，所述节点问题展示区域包括数据节点信息展示区域和质量核验引擎信息展示区域。

12.如权利要求11所述的装置，所述装置还包括定位分析模块，用于：

定位出所述问题数据节点后，从所述数据节点信息展示区域获取所述问题数据节点的节点属性，从所述质量核验引擎信息展示区域获取所述问题数据节点对应的质量核验引擎的异常信息；

根据所述节点属性和所述异常信息，进行质量问题分析，确定出质量问题处理方案。

13.如权利要求8所述的装置，所述决策巡检模块包括节点状态显示单元，用于：

在对所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检时，在所述数据质量可视化视图中显示各个数据节点的运行状态，所述运行状态包括：正常、异常、未执行。

14.如权利要求8所述的装置，所述装置还包括更新扩展模块，用于：

对所述数据质量可视化视图和所述质量核验引擎进行更新。

15.一种数据质量巡检处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。

16.一种数据质量巡检系统，包括：决策巡检模块、问题告警模块、定位分析模块、应急处理模块、数据质量可视化视图、质量核验引擎集合；

所述数据质量可视化视图中包括多个数据节点和所述数据节点之间的关联关系，所述数据节点上配置有所述质量核验引擎集合中的质量核验引擎；

所述决策巡检模块，用于每隔预设时间利用质量核验引擎对构建的所述数据质量可视化视图中的各个数据节点的数据进行数据质量巡检，数据质量巡检时，所述数据质量可视化视图中显示各个数据节点的运行状态；

所述问题告警模块，用于在巡检过程中检测出存在数据质量问题，则进行告警提示；

所述定位分析模块，用于在所述问题告警模块进行告警提示后，根据所述数据质量可视化视图中显示的各个数据节点的运行状态，定位出问题数据节点，并进行问题分析；

所述应急处理模块，用于根据所述定位分析模块分析出的数据质量问题，确定出应急处理方式。

Images