CN115237712A

CN115237712A - 一种数据质量监控方法、装置、电子设备及存储介质

Info

Publication number: CN115237712A
Application number: CN202210865204.6A
Authority: CN
Inventors: 孟恒
Original assignee: Jiangsu Yincheng Network Technology Co Ltd
Current assignee: Jiangsu Yincheng Network Technology Co Ltd
Priority date: 2022-07-21
Filing date: 2022-07-21
Publication date: 2022-10-25

Abstract

本申请提供了一种数据质量监控方法、装置、电子设备及存储介质，该方法包括：响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。本申请用户自行选择所需要监控的数据、监控规则和告警对象，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。

Description

一种数据质量监控方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据质量监控方法、装置、电子设备及存储介质。

背景技术

数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。在信息化和大数据时代，公司的经营和日常运营对数据的需求日益增多，尤其是对数据质量的要求越来越高。对于数据质量的把控能够直接影响到公司的经济效益，甚至是公司的生存。

在现有技术中，大部分公司使用的数据平台都是通过调度系统在完成任务的时候，提供任务完成情况的通知。通过该通知能够了解任务完成的结果，不能及时发现数据存在的问题，时效性差，不足以满足公司日益增长的数据质量的需求。

发明内容

有鉴于此，本申请的目的在于提供一种数据质量监控方法、装置、电子设备及存储介质，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。

第一方面，本申请实施例提供了一种数据质量监控方法，所述方法包括：

响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；

根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；

若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；

在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。

在本申请一些技术方案中，上述方法还包括：

若所述目标数据未按时生成，得到所述目标数据未按时生成的监控结果；

在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。

在本申请一些技术方案中，上述图形用户界面显示预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息；所述信息确认操作包括：信息输入操作和信息选择操作；

通过以下方式确定目标数据表格、目标监控规则和告警对象：

响应用户针对表格属性信息的信息输入操作，根据用户输入的所述表格属性信息确定所述目标数据表格；

和/或，响应用户针对待选数据表格信息的信息选择操作，从所述待选数据表格中确定所述目标数据表格；

响应用户针对监控规则的信息输入操作，获取用户输入的目标监控规则；

和/或，响应用户针对待选监控规则信息的信息选择操作，从所述待选监控规则中确定所述目标监控规则；

响应用户针对对象属性信息的信息输入操作，根据用户输入的所述对象属性信息确定所述告警对象；

和/或，响应用户针对待选对象信息的信息选择操作，从所述待选监控规则中确定所述告警对象。

在本申请一些技术方案中，在确定了所述目标数据表格之后，所述方法还包括：

根据预设的存储分区与数据表格的映射关系和所述目标数据表格，确定所述目标数据表格的目标分区；

所述根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成，包括：

针对所述目标分区进行监控，若所述目标分区已构建完成，所述目标数据表格按时生成；

针对按时生成的所述目标数据表格是否包含数据进行监控，若所述目标数据表格中包含有数据，则所述目标数据按时生成。

在本申请一些技术方案中，若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包括：唯一性规则、完整性规则和波动合理性规则；

若所述目标数据表格为多个且任意两个目标数据表格之间具有关联关系，所述目标监控规则包括一致性规则。

在本申请一些技术方案中，上述目标监控规则为所述唯一性规则时，通过以下方式进行监控：

对所述目标数据表格包含的表字段进行第一聚类操作，得到每个表字段的第一聚类结果；所述第一聚类结果中包含各个表字段和该表字段内容的数量；

根据所述每个表字段内容的数量与预设数量阈值进行对比，确定所述目标数据表格中各个目标数据的唯一性；

所述目标监控规则为所述完整性规则时，通过以下方式进行监控：

通过预设的完整性检测方法对所述目标数据表格中的各个目标数据进行检测，得到各个所述目标数据对应的结果标识；

根据各个所述目标数据对应的结果标识，确定所述目标数据表格中各个目标数据是否完整；

所述目标监控规则为所述波动合理性规则时，通过以下方式进行监控：

通过预设的波动检测方式对所述目标数据表格包含的表字段进行检测，得到所述目标数据表格包含的表字段对应的波动值；

根据所述目标数据表格包含的表字段对应的波动值和预设的合理波动区间，确定所述目标数据表格是否处于合理波动区间。

在本申请一些技术方案中，上述目标监控规则为所述一致性规则时，通过以下方式进行监控：

对每个所述目标数据表格分别进行第二聚类操作，得到所述目标数据表格的第二聚类结果；所述第二聚类结果包括所述目标数据表格中各个表字段的聚合值；

通过对比任意两个所述目标数据表格的所述第二聚类结果中的聚合值，确定两个所述目标数据表格之间是否具有一致性。

第二方面，本申请实施例提供了一种数据质量监控装置，终端设备提供图形用户界面，所述装置包括：

响应模块，用于响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；

检测模块，用于根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；

告警模块，用于在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据质量监控方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的数据质量监控方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请方法包括响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。本申请用户自行选择所需要监控的数据、监控规则和告警对象，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种数据质量监控方法的流程示意图；

图2示出了本申请实施例所提供的一种异常告警示意图；

图3示出了本申请实施例所提供的一种数据质量监控装置示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

在现有技术中，大部分公司使用的数据平台都是通过调度系统在完成任务的时候，提供通知服务。通过通知能够了解数据质量带来的结果，该中方式不能及时发现数据存在的问题，时效性差，不足以满足公司日益增长的数据质量的需求。

基于此，本申请实施例提供了一种数据质量监控方法、装置、电子设备及存储介质，下面通过实施例进行描述。

图1示出了本申请实施例所提供的一种数据质量监控方法的流程示意图，其中，该方法通过终端设备提供图形用户界面；该方法包括步骤S101-S104；具体的：

S101、响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；

S102、根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；

S103、若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；

S104、在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。

本申请用户自行选择所需要监控的数据、监控规则和告警对象，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。

下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

针对本申请的方法，先介绍一个本申请中的技术框架。本申请基于spark计算框架实现，具体的还包括UI界面、数据库和外部通讯软件。UI界面显示配置监控规则和监控结果，数据库存储配置规则和监控结果，spark计算框架读取配置规则并进行监控，将监控结果发送给外部通讯软件告警用户。

S101、响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象。

本申请的方法终端设备为用于呈现图形用户界面的设备，包括移动终端、电脑终端等设备。终端设备和服务器进行交互，根据用户在终端设备生成的不同的操作信息，将操作信息发送到服务器，服务器在接收到终端设备生成的操作信息之后，将该操作信息对应的响应信息发送给终端设备，以便终端设备基于该响应信息对用户在终端设备中的操作信息进行响应，并控制图形用户界面中显示内容的切换。

用户通过在图形用户界面进行信息确定操作，确定目标数据表格、目标监控规则和告警对象。这里的目标数据表格包含有待监控目标数据，也就是说，本申请是针对的目标数据表格包含的目标数据进行监控。为了对目标数据进行监控需要有对应的监控规则，本申请了目标监控规则也是用户在图形用户界面上确定出来的。同时，本申请用户还确定了告警对象，这里的告警对象表征监控结果发送的对象。

本申请中的信息确定操作包括了信息输入操作和信息选择操作。本申请中的图形用户界面显示有信息输入区域和信息选择区域。信息输入区域用于用户进行信息输入，信息选择区域用于用户进行信息选择。用户选择区域显示有预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息。所以本申请中的用户信息操作包括了表格属性信息的信息输入操作、监控规则的信息输入操作和对象属性信息的信息输入操作，以及待选数据表格信息的信息选择操作、待选监控规则信息的信息选择操作和待选对象信息的信息选择操作。即本申请通过以下方式确定目标数据表格、目标监控规则和告警对象：

也就是说，本申请中的目标数据表格、目标监控规则和告警对象可以是用户自行输入的也可以是用户从图形用户界面上显示内容中选择的。上述输入的表格属性信息包括表格名称、表格编号等能够起到区分作用的信息。上述输入的对象属性信息包括对象名称、职位、对象编号等能够起到区分作用的信息。例如，用户输入表格属性信息可以是表格名称(2022.7.15表1),通过该表格名称，找到名称为2022.7.15表1的表格作为目标数据表格。再例如，用户通过观察图形用户界面上显示的待选监控规则信息，没有能够满足本次监控需求待选监控规则，用户通过操作输入一个能够满足本次监控户需求的目标监控规则。再例如，图形用户界面上显示某公司各个部门的各个员工，用户通过点选，在该公司多个部门的员工中选择的了负责数据监控的员工(张三)，然后点击张三，将张三作为了告警对象，通过本申请方法得到了监控结果之后，就将监控结果发送给张三。

S102、根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成。

本申请中通过用户的信息确认操作，确定了目标数据表格、目标监控规则和告警对象之后，并没有直接使用监控规则进行信息监控。为了提高监控效率，节省监控资源，本申请先根据预设的时效监控规则对目标数据进行了时效性检测。

由于本申请是对目标数据表格包含的目标数据进行监控，所以在检测目标是否按时生成之前，本申请首先对包含该目标数据的目标数据表格进行了检测，只有在目标数据表格生成之后，才有目标数据生成的可能。如果目标数据表格都没有生成的话，那么目标数据表格包含的目标数据是肯定不会生成的。

本申请中要生成的数据表格和存放该数据表格的存储分区存在预设的映射关系。也就是说，即将生成的数据表格要存放的存储分区是预设先设置好的，在该数据表格即将生成的时候服务器会首先分配好生成该数据表格的存储分区，然后才生成数据表格，并将该数据表格存放在与该数据表格存在预设映射关系的存储分区内。所以，本申请在生成目标数据表格之前，先根据预设的存储分区和数据表格的映射关系，确定出目标数据表格的目标分区，然后对该目标分区进行监控。当该目标分区已经构建完成的时候，表征目标数据表格也按时生成。如果对目标分区进行监控，该目标分区没有构建完成的话，表征目标数据表格没有按时生成，直接生成数据表格没有按时生成的监控结果。在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。

在确定目标数据表格按时生成之后，在对目标数据表格中是否包含数据进行监控，若目标数据表格中包含有数据的话，表征目标数据按时生成，若目标数据表格中没有包含有数据的话，表征目标数据未能按时生成。如果目标数据没有按时生成的话，直接生成目标数据没有按时生成的监控结果。在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。

S103、若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果。

在目标数据按时生成的时候，按照用户确定的目标监控规则对目标数据进行监控。本申请中的目标数据包括来自一个目标数据表格的数据和来自多个目标数据表格的数据，本申请根据来自目标数据表格的数量和目标数据表格之间的关系，对目标数据施行的不同的监控规则。

当用户是从图形用户界面进行选择得到的目标监控规则的时候，若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包括：唯一性规则、完整性规则和波动合理性规则；若所述目标数据表格为多个且任意两个目标数据表格之间具有关联关系，所述目标监控规则包括一致性规则。也就是说，当目标数据表格为一个的时候，本申请对目标数据表格包含的目标数据进行唯一性、完整性和波动合理性检测；当目标数据表格为多个且各个数据表格之间没有关联关系的时候，本申请对目标数据表格包含的目标数据进行唯一性、完整性和波动合理性检测；当目标数据表格为多个且任意两个目标数据表格之间具有关联关系的时候，本申请对目标数据表格包含的目标数据进行一致性检测。这里的关联关系表征的是多个数据表格是否为根据同一数据表格生成。例如，数据表格A包含数据1、2、3、4，数据表格B和数据表格C是对数据表格A进行拆分得到，即数据表格B包含数据1、2，数据表格C包含数据3、4，则本申请认为数据表格B和数据表格C之间具有关联关系。或者，数据表格B包含数据3和数据表格C包含数据7，数据表格B和数据表格C是对数据表格A中的数据进行合并得到，则本申请认为数据表格B和数据表格C之间具有关联关系。

所述目标监控规则为所述唯一性规则时，通过以下方式进行监控：

所述目标监控规则为所述一致性规则时，通过以下方式进行监控：

当用户是从图形用户界面进行输入得到的目标监控规则的时候，按照用户输入的目标数据监控规则对目标数据监控。

在得到了监控结果之后，本申请不仅在图形用户界面上显示该监控结果，还将监控结果同构外发的方式将监控结果直接发送给告警对象。例如，直接将监控结果发送给钉钉用户或者微信用户等。

如图2所示的监控异常告警，针对目标数据的波动合理性监控，目标数据存储在目标数据表dm_user_grand_total_new_day中，目标数据具体为上月与上上月新增注册用户数，通过计算波动值为52％，波动区间为0％～50％，超出了阈值范围，进行告警。

图3示出了本申请实施例所提供的一种数据质量监控装置的结构示意图，所述装置包括：

检测模块，还用于若所述目标数据未按时生成，得到所述目标数据未按时生成的监控结果；

告警模块，还用于在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。

所述图形用户界面显示预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息；所述信息确认操作包括：信息输入操作和信息选择操作；

在确定了所述目标数据表格之后，检测模块，还用于：

若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包括：唯一性规则、完整性规则和波动合理性规则；

如图4所示，本申请实施例提供了一种电子设备，用于执行本申请中的数据质量监控方法，该设备包括存储器、处理器、总线及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的数据质量监控方法的步骤。

具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的数据质量监控方法。

对应于本申请中的数据质量监控方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的数据质量监控方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的数据质量监控方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种数据质量监控方法，其特征在于，通过终端设备提供图形用户界面；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述图形用户界面显示预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息；所述信息确认操作包括：信息输入操作和信息选择操作；

4.根据权利要求1所述的方法，其特征在于，在确定了所述目标数据表格之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包括：唯一性规则、完整性规则和波动合理性规则；

6.根据权利要求5所述的方法，其特征在于，所述目标监控规则为所述唯一性规则时，通过以下方式进行监控：

根据每个表字段内容的数量与预设数量阈值进行对比，确定所述目标数据表格中各个目标数据的唯一性；

7.根据权利要求5所述的方法，其特征在于，所述目标监控规则为所述一致性规则时，通过以下方式进行监控：

8.一种数据质量监控装置，其特征在于，终端设备提供图形用户界面，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据质量监控方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据质量监控方法的步骤。