CN114638935A - 维度监控任务的生成及数据质量的监控方法和装置 - Google Patents

Abstract

本公开提供了一种维度监控任务的生成及数据质量的监控方法和装置。实现方案为：获取维度表的标识信息以及与维度表属于同一数据仓库的事实表的标识信息，维度表与事实表中存在关联字段；获取关联字段在维度表中定义的字段名以及在事实表中定义的字段名；自动对维度监控任务模板执行以下修改操作，以生成对应的维度监控任务：根据维度表的标识信息，修改维度监控任务模板中的维度表参数；根据事实表的标识信息，修改维度监控任务模板中的事实表参数；根据关联字段在维度表中定义的字段名以及在事实表中定义的字段名，修改维度监控任务模板中的数据表关联条件；根据关联字段在维度表中定义的字段名，修改维度监控任务模板中的字段值筛选条件。

Description

维度监控任务的生成及数据质量的监控方法和装置

技术领域

本公开涉及计算机技术领域，尤其涉及大数据技术领域，可以用于数据仓库中数据质量的监控场景。

背景技术

数据仓库DW(Data Warehouse)是为企业所有级别的决策制定过程，提供所有类型数据支持的集合。数据仓库中的数据既是数据使用的基础，也是数据平台发展的前提，因而对数据仓库的数据质量不能掉以轻心。

数据质量的保障不仅包括数据准确性的保障，而且包括数据时效性的保障。用于传统数据仓库的数据质量监控方案，一般从源数据同步、数据分层和清洗等环节对数据进行质量监控。由于传统数据仓库中表的数量相对较少，因此在数据质量监控环节，多为人工对每一张表进行监控任务的配置。

但随着大数据时代的到来，数据仓库中表的数量都是数以万计的，因而继续采用传统的人工配置方案生成相应的监控任务已经很难满足大数据业务的发展变化和要求。并且，人工配置监控任务，还存在任务量大、效率低、容易出错、以及不易于后期维护及管理等缺陷。

发明内容

本公开提供了一种维度监控任务的生成方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的一方面，提供了一种维度监控任务的生成方法，包括：获取维度表的标识信息以及与所述维度表属于同一数据仓库的事实表的标识信息，其中，所述维度表与所述事实表中存在关联字段；获取所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名；自动对维度监控任务模板执行以下修改操作，以生成用于对所述维度表和所述事实表进行数据质量监控的维度监控任务：根据所述维度表的标识信息，修改所述维度监控任务模板中的维度表参数；根据所述事实表的标识信息，修改所述维度监控任务模板中的事实表参数；根据所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名，修改所述维度监控任务模板中的数据表关联条件；根据所述关联字段在所述维度表中定义的字段名，修改所述维度监控任务模板中的字段值筛选条件。

根据本公开的另一方面，提供了一种数据质量监控方法，包括：利用本公开实施例所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

根据本公开的另一方面，提供了一种维度监控任务的生成装置，包括：第一获取模块，用于获取维度表的标识信息以及与所述维度表属于同一数据仓库的事实表的标识信息，其中，所述维度表与所述事实表中存在关联字段；第二获取模块，用于获取所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名；任务生成模块，用于通过以下修改单元，自动对维度监控任务模板执行对应的修改操作，以生成用于对所述维度表的维度监控任务：维度表参数修改单元，用于根据所述维度表的标识信息，修改所述维度监控任务模板中的维度表参数；事实表参数修改单元，用于根据所述事实表的标识信息，修改所述维度监控任务模板中的事实表参数；关联条件修改单元，用于根据所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名，修改所述维度监控任务模板中的数据表关联条件；筛选条件修改单元，用于根据所述关联字段在所述维度表中定义的字段名，修改所述维度监控任务模板中的字段值筛选条件。

根据本公开的另一方面，提供了一种数据质量监控装置，包括：数据质量监控模块，用于利用本公开实施例所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示例性示出了适于本公开实施例的系统架构图；

图2示例性示出了根据本公开实施例的维度监控任务的生成方法的流程图；

图3示例性示出了根据本公开实施例的修改维度监控任务模板的示意图；

图4A示例性示出了根据本公开实施例的单进程修改维度监控任务模板的示意图；

图4B示例性示出了根据本公开实施例的多进程修改维度监控任务模板的示意图；

图5A示例性示出了根据本公开一实施例的数据质量监控方法的流程图；

图5B示例性示出了根据本公开另一实施例的数据质量监控方法的流程图；

图6示例性示出了根据本公开实施例的维度监控任务的生成装置的框图；

图7示例性示出了根据本公开实施例的数据质量监控装置的框图；

图8示例性示出了用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

针对基于传统的人工配置方案生成相应的监控任务无法适应大数据应用场景的问题，本公开实施例提供了一种维度监控任务的生成方案，可以根据数据仓库中事实表与维度表的关联字段自动生成对应的维度监控任务，因而可以克服采用人工配置方案难满足大数据业务的变化和要求的问题。并且，将本方案用于大数据业务的数据仓库，还可以提高维度监控任务的生成效率，减少出错率，同时易于后期维护及管理等。

以下将结合附图和具体实施例详细阐述本公开。

适于本公开实施例的系统架构介绍如下。

图1示例性示出了适于本公开实施例的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。

如图1所示，适于本公开实施例的系统架构100可以包括：数据源101、数据仓库102等。

在本公开实施例中，数据源101可以包括多个，如图所示可以包括数据源1～数据源3。这些数据源可以将数据同步给数据仓库102。在完成数据同步后，数据仓库102可以对数据源同步的数据进行分层和清洗等处理。分层是指将同步过来的数据分别录入事实表(如图所示的事实表1)和对应的维度表(可以包括多个，如图所示的维度表1～n)。清洗是指在生成事实表和对应的维度表时对数据进行格式转换或对脏数据进行滤除等。

对于已完成数据清洗的事实表(如事实表1)和维度表(如维度表x，其中维度表x可以是如图所示的维度表1～n中的任意一个维度表)，可以根据这两个表的关联字段，自动生成对应的维度监控任务。

示例性的，如图中虚线框103中示出的，自动生成维度监控任务可以包括：先找出事实表1和维度表x的关联字段；然后获取该关联字段在事实表1中使用的字段名以及在维度表x中使用的字段名，并分别获取事实表1的标识信息和维度表x的标识信息，由此可以得到图中虚线框104内的信息(即，包括：事实表1的标识信息和维度表x的标识信息，以及两个表的关联字段在事实表1中使用的字段名以及在维度表x中使用的字段名)；然后再基于虚线框104内的信息修改预先编写好的维度监控任务模板中的相关参数和条件即可自动生成并输出用于对事实表1和维度表x进行数据质量监控的维度监控任务。使用时，启动该维度监控任务即可实现对事实表1和维度表x的数据质量监控。

类似地，按照相同的方法，也可以针对事实表1和图中的其他维度表生成对应的维度监控任务，本公开实施例在此不再一一赘述。

应该理解，图1中虚线框103中的操作可以在客户端或服务端上实现，虚线框103之后的操作也可以在客户端或服务端上实现，并且虚线框103中的操作和虚线框103之后的操作可以在相同或不同的终端上实现，本公开实施例在此不做限定。

应该理解，图1中的数据源101中数据源的数目以及数据仓库102中维度表的数目仅仅是示意性的。根据实现需要，可以具有任意数目的数据源、维度表。

根据本公开的实施例，本公开提供了一种维度监控任务的生成方法。

图2示例性示出了根据本公开实施例的维度监控任务的生成方法的流程图。

如图2所示，方法200可以包括操作S210～S230，其中，操作S230进一步包括操作S231～S234。

在操作S210，获取维度表的标识信息以及与维度表属于同一数据仓库的事实表的标识信息，其中，维度表与事实表中存在关联字段。

在操作S220，获取关联字段在维度表中定义的字段名以及在事实表中定义的字段名。

在操作S230，自动对维度监控任务模板执行以下修改操作(即操作S231～S234)，以生成用于对维度表和事实表进行数据质量监控的维度监控任务。

在操作S231，根据维度表的标识信息，修改维度监控任务模板中的维度表参数。

在操作S232，根据事实表的标识信息，修改维度监控任务模板中的事实表参数。

在操作S233，根据关联字段在维度表中定义的字段名以及在事实表中定义的字段名，修改维度监控任务模板中的数据表关联条件。

在操作S234，根据关联字段在维度表中定义的字段名，修改维度监控任务模板中的字段值筛选条件。

作为一种可选的实施例，上述的维度表的标识信息可以包括：维度表的表名和/或维度表的表名的别名。同理，上述的事实表的标识信息也可以对应地包括：事实表的表名和/或事实表的表名的别名。

应该理解，事实表是数据仓库架构中的中央表，它包含联系事实表与维度表的键值和关联字段值。具体的，事实表可以包含描述业务(如银行事务或产品销售)内各事件的数据。维度表也是数据仓库中的表，其条目描述事实表中的数据，维度表还包含创建维度所基于的数据。因此，两者之间存在一定的关联关系，这种关联关系可以通过两者的关联字段表征。

还应该理解，在本公开实施例中，可以预先编写通用的维度监控任务模板，该模板包括通用的维度监控逻辑，且该维度监控逻辑中涉及监控对象如事实表的事实表参数以及监控对象如维度表的维度表参数，同时还包括事实表和维度表的关联条件，以及对应的关联字段值筛选条件和告警条件。在自动生成维度监控任务时，适应性修改维度监控任务模板中的上述参数和条件即可实现维度监控任务的自动生成。

在本实施例中，以银行对存款记账为例进行说明，假设A表的表名为factA，别名为fa，且其中存放实际数据，包括账号、所属机构号、存款金额等；B表的表名为dimA，别名为da，且其中存放机构号和机构名称之间的对应关系。则A表是事实表，B表是维度表。A表和B表两个表之间通过机构号进行关联，即，机构号对应的字段为两者之间的关联字段。其中，机构号这一关联字段在A表中定义的字段名为aid，其在B表中定义的字段名为id。则获取的A表的标识信息可以包括factA和/或fa；获取的B表的标识信息可以包括dimA和/或da；获取的机构号这一关联字段在A表中定义的字段名为aid；获取的机构号这一关联字段在B表中定义的字段名为id。

假设预先编写好的通用维度监控任务模板如下：

select count(1)from factX x

left join dimY y on x.n1＝y.n2

where y.n2 is null。

其中，Count是计数函数；factX表示事实表的表名，x表示factX的别名；dimY表示维度表的表名，y表示dimY的别名；left join dimY y on x.n1＝y.n2表示关联条件，该关联条件表示将事实表中的n1字段和维度表中的n2字段进行比较，以确定事实表中n1字段上的关联字段值是否都存在于维度表中的n2字段上；where y.n2 is null表示关联字段值筛选条件，该筛选条件表示获取满足y n2为空的值。

则，基于A表和B表获取的上述信息，自动修改该维度监控任务模板中的上述参数和上述条件，可以得到如下维度监控任务(以下简称任务1)：

select count(1)from factA fa

left join dimA da on fa.aid＝da.id

where da.id is null。

其中，Count是计数函数；factA是A表的表名，fa是factA的别名；dimA是B表的表名，da是dimA的别名；left join dimA da on fa.aid＝da.id是关联条件，该关联条件表示将A表中的aid字段和B表中的id字段进行比较，以确定A表中aid字段上的每个字段值是否都存在于B表中的id字段上；where da.id is null是关联字段值筛选条件，该筛选条件表示获取满足da id为空的值。

继续以银行对存款记账为例，由于上述两个表之间通过机构号进行关联，因而可以根据机构号这一关联字段自动生成对应的维度监控任务，以对这两个表中与机构号对应的关联字段的字段值进行监控。同时可以根据对应的监控任务设置报警条件。

举例来说，假设A表中存放的实际数据中与机构号对应的关联字段的字段值包括ID1、ID2、ID3以及ID4；B表中存放的机构号和机构名称的对应关系中只有ID1和ID3。因此，执行上述的任务1后发现A表中对应机构号字段的字段值ID2和ID4没有包含于B表中对应机构号的关联字段中，则表明A表(事实表)的关联字段中包含一些B表(维度表)的关联字段中不包含的数据，即违反了维度建模标准，因此可以根据维度监控结果触发报警条件进行报警，达到防止人为遗漏，确保数据质量准确的目的。

在另一个实施例中，预先编写的通用维度监控任务模板还可以如图3所示的那样，即如下：

select count(1)from factX x

left join dimY y on N1＝N2

where N2 is null。

其中，Count是计数函数；factX表示事实表的表名，x表示factX的别名；dimY表示维度表的表名，y表示dimY的别名；left join dimY y on N1＝N2表示关联条件，该关联条件表示将事实表中的N1字段和维度表中的N2字段进行比较，以确定事实表中N1字段上的关联字段值是否都存在于维度表中的N2字段上；where N2 is null表示关联字段值筛选条件，该筛选条件表示获取满足N2为空的值。

类似地，基于A表和B表获取的上述信息，自动修改该维度监控任务模板中的上述参数和上述条件(如图3中虚线框中所示的参数和条件)，可以得到如下维度监控任务(以下简称任务2)：

select count(1)from factA fa

left join dimA da on aid＝id

where id is null。

其中，Count是计数函数；factA是A表的表名，fa是factA的别名；dimA是B表的表名，da是dimA的别名；left join dimA da on aid＝id是关联条件，该关联条件表示将A表中的aid字段和B表中的id字段进行比较，以确定A表中关联字段即aid字段上的每个字段值是否都存在于B表中的关联字段即id字段上；where id is null是关联字段值筛选条件，该筛选条件表示获取满足id为空的值。

通过本公开实施例，可以根据数据仓库中事实表与维度表的关联字段自动生成对应的维度监控任务，因而可以克服采用人工配置方案难满足大数据业务的变化和要求的问题。并且，将本方案用于大数据业务的数据仓库，还可以提高维度监控任务的生成效率，减少出错率，同时易于后期维护及管理等。

作为一种可选的实施例，上述生成的维度监控任务的处理逻辑可以包括如下操作。

根据修改得到的字段值筛选条件，逐一遍历事实表中的每个关联字段值是否都包含于维度表的关联字段中，并在遍历过程中对事实表中所有不包含于维度表的关联字段中的关联字段值进行计数。

响应于遍历完成且计数值大于0，执行告警操作。

需要说明的是，该处理逻辑将在下属实施例中详细阐述，本公开在此不再赘述。

或者，作为另一种可选的实施例，上述生成的维度监控任务的处理逻辑可以包括如下操作。

根据修改得到的字段值筛选条件，遍历事实表中的关联字段值以确定其中的关联字段值是否都包含于维度表的关联字段中。

在遍历过程中，响应于遍历到事实表中有关联字段值不包含于维度表的关联字段中，执行告警操作。

需要说明的是，该处理逻辑将在下属实施例中详细阐述，本公开在此不再赘述。

作为一种可选的实施例，自动对维度监控任务模板执行以下修改操作，以生成针对所述维度表的维度监控任务，包括：以单进程或多进程方式自动对所述维度监控任务模板执行所述修改操作。

示例性的，单进程修改方案可以参考图4A。具体地，维度监控任务模板中涉及的所有需要修改的参数和条件(如图中虚线框内的信息)都可以使用同一个进程来修改。该单进程修改方案由于仅仅使用一个进程即可完成所有参数和条件的修改，因而修改逻辑比较简单，但是处理效率可能相对较低。

示例性的，多进程修改方案可以参考图4B。具体地，维度监控任务模板中涉及的所有需要修改的参数和条件(如图中虚线框内的信息)可以使用不同的进程来修改。比如，图4B中所示的模板中第一行和第二行中的“factX x”和“dimY y”可以使用进程1来修改；其中模板第二行中的“N1＝N2”可以使用进程2来修改；其中模板第三行中的“N2”可以使用进程3来修改。该多进程修改方案由于使用了多个进程来完成所有参数和条件的修改，因而修改逻辑比较复杂，但是处理效率可能相对较高。

根据本公开的实施例，本公开提供了一种数据质量监控方法。

在本公开实施例中，可以利用本公开上述实施例中任一项所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

作为一种可选的实施例，维度监控任务的处理逻辑可以包括如下操作。

根据修改得到的字段值筛选条件，逐一遍历所述事实表中的每个关联字段值是否都包含于所述维度表的关联字段中，并在遍历过程中对所述事实表中所有不包含于所述维度表的关联字段中的关联字段值进行计数。

响应于遍历操作完成且计数值大于0，执行告警操作。

示例性的，如图5A所示，维度监控任务的处理逻辑500A具体可以包括：

操作S510，遍历事实表中的关联字段值；

操作S520，判断当前是否遍历到了未经判断的关联字段值？如果是，执行操作S530；如果否，执行操作S550；

操作S530，判断该关联字段值是否包含于维度表的关联字段中？如果是，跳回执行操作S510；如果否，执行操作S540；

操作S540，计数加1，跳回执行操作S510；

操作S550，判断计数值＞0？如果是，执行操作S560；如果否，结束操作；

操作S560，告警。

应该理解，在本公开实施例中，需要遍历完事实表中关联字段上的所有字段值才能确定是否满足报警条件，因而报警可能不够及时，但是可以确定事实表的关联字段值中有几个在维度表中是缺失或错误的。

或者，作为另一种可选的实施例，维度监控任务的处理逻辑包括如下操作。

根据修改得到的字段值筛选条件，遍历事实表中的关联字段值以确定其中的关联字段值是否都包含于维度表的关联字段中。

在遍历过程中，响应于遍历到事实表中有关联字段值不包含于维度表的关联字段中，执行告警操作。

示例性的，如图5B所示，维度监控任务的处理逻辑具体可以包括：

操作S510，遍历事实表中的关联字段值；

操作S520，判断当前是否遍历到了未经判断的关联字段值？如果是，执行操作S530；如果否，结束操作；

操作S530，判断该关联字段值是否包含于维度表的关联字段中？如果是，跳回执行操作S510；如果否，执行操作S540；

操作S540，告警。

应该理解，在本公开实施例中，一旦发现事实表中的关联字段值在维度表中有缺失或错误即可立即报警，因而报警相对比较及时。但是，

进一步，执行操作S540后，在一个实施例中，可以直接结束操作。这种监控方案报警之后无需继续遍历事实表中的关联字段值，虽然报警相对及时，但是可能无法确定事实表的关联字段值中有几个在维度表中是缺失或错误的。

或者，执行操作S540后，在另一个实施例中，还可以跳回执行操作S510，直到事实表中所有的关联字段值都遍历完为止。这种监控方案报警之后需要继续遍历事实表中的关联字段值，不仅可以做到报警相对及时，而且还可以确定事实表的关联字段值中有几个在维度表中是缺失或错误的。

根据本公开的实施例，本公开还提供了一种维度监控任务的生成装置。

图6示例性示出了根据本公开实施例的维度监控任务的生成装置的框图。

如图6所示，装置600可以包括：第一获取模块610、第二获取模块620和任务生成模块630。其中，任务生成模块630包括：维度表参数修改单元631、事实表参数修改单元632、关联条件修改单元633和筛选条件修改单元634。

第一获取模块610，用于获取维度表的标识信息以及与所述维度表属于同一数据仓库的事实表的标识信息，其中，所述维度表与所述事实表中存在关联字段。

第二获取模块620，用于获取所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名。

任务生成模块630，用于通过以下修改单元，自动对维度监控任务模板执行对应的修改操作，以生成用于对所述维度表的维度监控任务。

维度表参数修改单元631，用于根据所述维度表的标识信息，修改所述维度监控任务模板中的维度表参数。

事实表参数修改单元632，用于根据所述事实表的标识信息，修改所述维度监控任务模板中的事实表参数。

关联条件修改单元633，用于根据所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名，修改所述维度监控任务模板中的数据表关联条件。

筛选条件修改单元634，用于根据所述关联字段在所述维度表中定义的字段名，修改所述维度监控任务模板中的字段值筛选条件。

作为一种可选的实施例，所述维度监控任务的处理逻辑包括如下操作：根据修改得到的字段值筛选条件，遍历所述事实表中的关联字段值以确定其中的关联字段值是否都包含于所述维度表的关联字段中；在遍历过程中，响应于遍历到所述事实表中有关联字段值不包含于所述维度表的关联字段中，执行告警操作。

或者，作为另一种可选的实施例，所述维度监控任务的处理逻辑包括如下操作：根据修改得到的字段值筛选条件，逐一遍历所述事实表中的每个关联字段值是否都包含于所述维度表的关联字段中，并在遍历过程中对所述事实表中所有不包含于所述维度表的关联字段中的关联字段值进行计数；响应于遍历完成且计数值大于0，执行告警操作。

作为一种可选的实施例，所述维度表的标识信息包括：所述维度表的表名和/或所述维度表的表名的别名；所述事实表的标识信息包括：所述事实表的表名和/或所述事实表的表名的别名。

作为一种可选的实施例，所述任务生成模块自动对维度监控任务模板执行以下修改操作，以生成针对所述维度表的维度监控任务，包括：以单进程或多进程方式自动对所述维度监控任务模板执行所述修改操作。

应该理解，本公开的装置实施例与本公开的方法实施例对应相同或类似，所解决的技术问题以及所达到的技术效果也对应相同或类似，本公开实施例在此不再赘述。

根据本公开的实施例，本公开还提供了一种数据质量监控装置。

图7示例性示出了根据本公开实施例的数据质量监控装置的框图。

如图7所示，装置700可以包括：数据质量监控模块710。

数据质量监控模块710，用于利用本公开实施例中任一项所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

应该理解，本公开的装置实施例与本公开的方法实施例对应相同或类似，所解决的技术问题以及所达到的技术效果也对应相同或类似，本公开实施例在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如维度监控任务的生成方法(或数据质量监控方法)。例如，在一些实施例中，维度监控任务的生成方法(或数据质量监控方法)可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的维度监控任务的生成方法(或数据质量监控方法)的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行维度监控任务的生成方法(或数据质量监控方法)。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种维度监控任务的生成方法，包括：

获取维度表的标识信息以及与所述维度表属于同一数据仓库的事实表的标识信息，其中，所述维度表与所述事实表中存在关联字段；

获取所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名；

自动对维度监控任务模板执行以下修改操作，以生成用于对所述维度表和所述事实表进行数据质量监控的维度监控任务：

根据所述维度表的标识信息，修改所述维度监控任务模板中的维度表参数；

根据所述事实表的标识信息，修改所述维度监控任务模板中的事实表参数；

根据所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名，修改所述维度监控任务模板中的数据表关联条件；

根据所述关联字段在所述维度表中定义的字段名，修改所述维度监控任务模板中的字段值筛选条件。

2.根据权利要求1所述的方法，其中，所述维度监控任务的处理逻辑包括：

根据修改得到的字段值筛选条件，遍历所述事实表中的关联字段值以确定其中的关联字段值是否都包含于所述维度表的关联字段中；

在遍历过程中，响应于遍历到所述事实表中有关联字段值不包含于所述维度表的关联字段中，执行告警操作。

3.根据权利要求1所述的方法，其中，所述维度监控任务的处理逻辑包括：

根据修改得到的字段值筛选条件，逐一遍历所述事实表中的每个关联字段值是否都包含于所述维度表的关联字段中，并在遍历过程中对所述事实表中所有不包含于所述维度表的关联字段中的关联字段值进行计数；

响应于遍历完成且计数值大于0，执行告警操作。

4.根据权利要求1所述的方法，其中：

所述维度表的标识信息包括：所述维度表的表名和/或所述维度表的表名的别名；

所述事实表的标识信息包括：所述事实表的表名和/或所述事实表的表名的别名。

5.根据权利要求1所述的方法，其中，自动对维度监控任务模板执行以下修改操作，以生成针对所述维度表的维度监控任务，包括：

以单进程或多进程方式自动对所述维度监控任务模板执行所述修改操作。

6.一种数据质量监控方法，包括：

利用权利要求1至5中任一项所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

7.一种维度监控任务的生成装置，包括：

第一获取模块，用于获取维度表的标识信息以及与所述维度表属于同一数据仓库的事实表的标识信息，其中，所述维度表与所述事实表中存在关联字段；

第二获取模块，用于获取所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名；

任务生成模块，用于通过以下修改单元，自动对维度监控任务模板执行对应的修改操作，以生成用于对所述维度表的维度监控任务：

维度表参数修改单元，用于根据所述维度表的标识信息，修改所述维度监控任务模板中的维度表参数；

事实表参数修改单元，用于根据所述事实表的标识信息，修改所述维度监控任务模板中的事实表参数；

关联条件修改单元，用于根据所述关联字段在所述维度表中定义的字段名以及在所述事实表中定义的字段名，修改所述维度监控任务模板中的数据表关联条件；

筛选条件修改单元，用于根据所述关联字段在所述维度表中定义的字段名，修改所述维度监控任务模板中的字段值筛选条件。

8.根据权利要求7所述的装置，其中，所述维度监控任务的处理逻辑包括：

根据修改得到的字段值筛选条件，遍历所述事实表中的关联字段值以确定其中的关联字段值是否都包含于所述维度表的关联字段中；

在遍历过程中，响应于遍历到所述事实表中有关联字段值不包含于所述维度表的关联字段中，执行告警操作。

9.根据权利要求7所述的装置，其中，所述维度监控任务的处理逻辑包括：

根据修改得到的字段值筛选条件，逐一遍历所述事实表中的每个关联字段值是否都包含于所述维度表的关联字段中，并在遍历过程中对所述事实表中所有不包含于所述维度表的关联字段中的关联字段值进行计数；

响应于遍历完成且计数值大于0，执行告警操作。

10.根据权利要求7所述的装置，其中：

所述维度表的标识信息包括：所述维度表的表名和/或所述维度表的表名的别名；

所述事实表的标识信息包括：所述事实表的表名和/或所述事实表的表名的别名。

11.根据权利要求7所述的装置，其中，所述任务生成模块自动对维度监控任务模板执行以下修改操作，以生成针对所述维度表的维度监控任务，包括：

以单进程或多进程方式自动对所述维度监控任务模板执行所述修改操作。

12.一种数据质量监控装置，包括：

数据质量监控模块，用于利用权利要求7至11中任一项所述的维度监控任务的生成方法生成的维度监控任务，对相应的维度表和事实表进行数据质量监控。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images