CN116521664A - 数据仓库的数据监控方法及装置、计算设备、存储介质 - Google Patents

Abstract

本公开的实施方式提供了一种数据仓库的数据监控方法及装置、计算设备、存储介质，属于计算机技术领域。该方法包括：实时获取数据仓库的源业务数据库的目标日志数据，将目标日志数据实时同步至消息队列中；在目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；在目标数据存量库中匹配第一表数据，目标数据存量库为基于所述源业务数据库的历史维度字段值构建的；响应于在目标数据存量库中匹配不到第一表数据，触发监控告警。本公开能够解决由于无法及时发现数据仓库中新的业务数据而造成下游使用方出现的数据质量问题。

Description

数据仓库的数据监控方法及装置、计算设备、存储介质

技术领域

本公开涉及计算机技术领域，更具体地，本公开的实施方式涉及一种数据仓库的数据监控方法及装置、计算设备、存储介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，用于作出分析性报告和决策支持。在数据仓库中进行数据查询，一般是从业务数据库中同步全表数据到数据仓库的贴源层，再编写查询语句进行统计查询的。但是该方式无法感知业务过程中产生的新业务数据(如新的枚举值)，进而可能造成下游使用方出现数据质量问题。

发明内容

本公开的实施方式提供一种数据仓库的数据监控方法及装置、计算设备、存储介质。

在本公开实施方式的第一方面中，提供了一种数据仓库的数据监控方法，方法包括：实时获取数据仓库的源业务数据库的目标日志数据，所述目标日志数据为与目标操作对应的日志数据；将所述目标日志数据实时同步至消息队列中；在所述目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；在目标数据存量库中匹配所述第一表数据，所述目标数据存量库为基于所述源业务数据库的历史维度字段值构建的；响应于在所述目标数据存量库中匹配不到所述第一表数据，触发监控告警。

可选地，所述获取源业务库的目标日志数据，包括：使用实时日志采集工具从所述源业务库采集所述目标日志数据。

可选地，所述将所述目标日志数据同步至消息队列中，包括：通过订阅第二表数据，将所述目标日志数据按数据类别实时同步至所述消息队列的各主题分区，所述第二表数据为基于所述目标监控字段配置的。

可选地，所述实时捕获与配置的目标监控字段对应的第一表数据，包括：从监控配置数据库中获取所述目标监控字段；根据所述目标监控字段，消费所述各主题分区的目标日志数据，以捕获所述第一表数据。

可选地，所述消费所述各主题分区的目标日志数据，包括：使用流处理工具，根据建表语句将所述各主题分区的目标日志数据映射成流表数据；调用所述流处理工具的应用程序接口，以消费所述流表数据。

可选地，所述第一表数据包括目标监控字段的值，所述在目标数据存量库中匹配所述第一表数据，包括：根据所述目标监控字段，在所述目标数据存量库中匹配所述目标监控字段的值。

可选地，所述方法还包括：响应于在所述目标数据存量库中匹配不到所述第一表数据，利用所述目标监控字段的值更新所述目标数据存量库。

可选地，所述方法还包括：响应于所述目标数据存量库更新成功，从数据血缘关系库中获取数据血缘关系，所述数据血缘关系库为根据所述数据仓库的各处理任务确定的任务关联对象、表和字段之间的上下游关联关系；在所述数据血缘关系中查找与所述目标监控字段的值关联的下游关联对象。所述触发监控告警包括：向该下游关联对象发送告警通知。

可选地，所述方法还包括：获取各所述处理任务的元数据，所述元数据包括任务关联对象信息；根据所述元数据，确定各所述处理任务关联的表信息、字段信息和任务上下游信息；根据所述表信息、字段信息、任务上下游信息及所述任务关联对象信息，构建所述数据血缘关系库。

可选地，所述元数据还包括各所述处理任务的任务代码和调度依赖关系，所述确定各所述处理任务关联的表信息、字段信息和任务上下游信息，包括：解析所述任务代码，确定各所述处理任务关联的表信息和字段信息；根据所述调度依赖关系，确定各所述处理任务之间的任务上下游信息。

可选地，将所述目标日志数据实时同步至消息队列中，包括：将所述目标日志数据解析成目标格式后，实时同步所述目标格式的目标日志数据至消息队列中。

在本发明实施方式的第二方面中，提供了一种数据仓库的数据监控装置，装置包括：获取模块、同步模块、捕获模块、匹配模块和告警模块，其中：获取模块，被配置为实时获取数据仓库的源业务数据库的目标日志数据，所述目标日志数据为与目标操作对应的日志数据；同步模块，被配置为将所述目标日志数据实时同步至消息队列中；捕获模块，被配置为在所述目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；匹配模块，被配置为在目标数据存量库中匹配所述第一表数据，所述目标数据存量库为基于所述源业务数据库的历史维度字段值构建的；告警模块，被配置为响应于在所述目标数据存量库中匹配不到所述第一表数据，触发监控告警。

可选地，所述获取模块还被配置为：使用实时日志采集工具从所述源业务库采集所述目标日志数据。

可选地，所述同步模块还被配置为：通过订阅第二表数据，将所述目标日志数据按数据类别实时同步至所述消息队列的各主题分区，所述第二表数据为基于所述目标监控字段配置的。

可选地，所述捕获模块还包括获取子模块，被配置为从监控配置数据库中获取所述目标监控字段；消费子模块，被配置为根据所述目标监控字段，消费所述各主题分区的目标日志数据，以捕获所述第一表数据。

可选地，所述消费子模块还被配置为：使用流处理工具，根据建表语句将所述各主题分区的目标日志数据映射成流表数据；调用所述流处理工具的应用程序接口，以消费所述流表数据。

可选地，所述第一表数据包括目标监控字段的值，所述匹配模块还被配置为：根据所述目标监控字段，在所述目标数据存量库中匹配所述目标监控字段的值。

可选地，所述装置还包括更新模块，所述更新模块被配置为响应于在所述目标数据存量库中匹配不到所述第一表数据，利用所述目标监控字段的值更新所述目标数据存量库。

可选地，所述装置还包括数据血缘关联模块，所述数据血缘关联模块被配置为：响应于所述目标数据存量库更新成功，从数据血缘关系库中获取数据血缘关系，所述数据血缘关系库为根据所述数据仓库的各处理任务确定的任务关联对象、表和字段之间的上下游关联关系；在所述数据血缘关系中查找与所述目标监控字段的值关联的下游关联对象。告警模块还被配置为向该下游关联对象发送告警通知。

可选地，所述装置还包括数据血缘构建模块，所述数据血缘构建模块被配置为：获取各所述处理任务的元数据，所述元数据包括任务关联对象信息；根据所述元数据，确定各所述处理任务关联的表信息、字段信息和任务上下游信息；根据所述表信息、字段信息、任务上下游信息及所述任务关联对象信息，构建所述数据血缘关系库。

可选地，所述元数据还包括各所述处理任务的任务代码和调度依赖关系，所述数据血缘构建模块还被配置为：解析所述任务代码，确定各所述处理任务关联的表信息和字段信息；根据所述调度依赖关系，确定各所述处理任务之间的任务上下游信息。

可选地，所述同步模块还被配置为：将所述目标日志数据解析成目标格式后，实时同步所述目标格式的目标日志数据至消息队列中。

在本发明实施方式的第三方面中，提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现如上述实施例中的数据仓库的数据监控方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括：处理器和存储器，存储器存储有可执行指令，处理器用于调用存储器存储的可执行指令执行如上述实施例中的数据仓库的数据监控方法。

根据本公开实施方式提供的数据仓库的数据监控方法，一方面，通过实时获取数据仓库的源业务数据库中与目标操作对应的目标日志数据，并将目标日志数据实时同步至消息队列中，实现了目标监控字段的实时监控，能够及时发现业务数据变化，提高数据监控的时效性。另一方面，通过实时捕获与配置的目标监控字段对应的第一表数据，并在目标数据存量库中匹配所述第一表数据，在目标数据存量库中匹配不到第一表数据的情况下，触发监控告警，能够使与第一表数据关联的下游使用方提前知晓数据变化，并进行相应数据兼容处理，避免数据质量问题的发生。此外，通过配置字段级监控方式，提高了数据仓库的数据监控过程的灵活性。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示意性示出了根据本公开的一个实施例的数据仓库的数据监控方法流程图之一。

图2示意性示出了根据本公开的一个实施例的目标日志数据同步的流程示意图。

图3示意性示出了根据本公开的一个实施例的数据仓库的下游关联对象的确定过程示意图。

图4示意性示出了根据本公开的一个实施例的数据血缘关系库构建过程示意图。

图5示意性示出了根据本公开的一个实施例的数据仓库的数据监控方法流程图之二。

图6示意性示出了根据本公开的一个实施例的数据仓库的数据监控装置结构框图。

图7示意性示出了适于用来实现本发明实施例的计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本公开的实施方式，提出了一种数据仓库的数据监控方法、数据仓库的数据监控装置、存储介质及计算设备。

发明概述

数据仓库中的数据是在对原有分散的数据库进行数据抽取、清理的基础上经过系统加工、汇总和整理得到的，消除了源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。相关技术中，对于业务维度产生的新的业务数据(如业务枚举值)，一般需要在数据仓库模型设计阶段进行数据探查，从业务数据库中同步全表数据到数据仓库的贴源层，再编写结构化查询语言(Structured Query Language，SQL)进行统计查询。或者在数据仓库模型上线后的调度阶段进行业务数据监控，每天统计当天同步数据中的业务数据情况。这两种方式都无法及时获知新业务数据(如新枚举值)的产生，数据监控时效性差，容易引起数据质量问题。

针对以上情况，本发明设计的技术思路是：一方面，通过打通源业务数据库的日志数据，实时获取数据仓库的源业务数据库的目标日志数据，并将目标日志数据实时同步至消息队列，通过该方式实现日志数据的秒级监控，提高监控时效性；另一方面，实时捕获消息队列中的特定字段表数据，通过与存量数据库匹配，确定是否出现新数据，在出现新数据的情况下，触发告警，使下游使用方可以提前进行兼容处理，避免出现数据质量问题。

本公开设计的数据仓库的数据监控方法及装置，可以应用在包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的计算设备中的至少一种。也可以应用于由终端和服务端组成的系统中，本示例对此不做限定。换言之，该数据仓库的数据监控方法可以由安装在终端设备或/和服务端设备的软件或硬件来执行，软件可以是区块链平台。服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。本公开以服务器为例进行说明。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

示例性方法

为了便于理解，下面对本公开实施例涉及的几个名词进行解释。

数据仓库：是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

维度：是指在数据仓库系统中定义的数据的观察角度。在数据库表中表现为一个字段，该字段的值是离散的值，即枚举值。

数据血缘：指数据仓库数据的全生命周期中，数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成的一种关系。

流计算：实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。可以对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

Flink：Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据处理引擎，属于一种流计算工具。

Kafka：由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。其目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

以下结合说明书附图对本公开的优选实施例进行说明，应当理解，此处所描述的优选实施例仅可以用于说明和解释本发明，并不可以用于限定本发明，并且在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

下面参考图1来描述根据本公开示例性实施方式的数据仓库的数据监控方法，可以应用于数据仓库的在线监控平台，可以包括步骤S110-S140。

步骤S110，实时获取数据仓库的源业务数据库的目标日志数据，目标日志数据为与目标操作对应的日志数据。

步骤S120，将目标日志数据实时同步至消息队列中。

步骤S130，在目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据。

步骤S140，在目标数据存量库中匹配第一表数据，目标数据存量库为基于源业务数据库的历史维度字段值构建的。

步骤S150，响应于在目标数据存量库中匹配不到第一表数据，触发监控告警。

本公开实施例提供的数据仓库的数据监控方法，一方面，通过实时获取数据仓库的源业务数据库中与目标操作对应的目标日志数据，并将目标日志数据实时同步至消息队列中，实现了目标监控字段的实时监控，能够及时发现业务数据变化，提高数据监控的时效性。另一方面，通过实时捕获与配置的目标监控字段对应的第一表数据，并在目标数据存量库中匹配第一表数据，在目标数据存量库中匹配不到第一表数据的情况下，触发监控告警，能够使与第一表数据关联的下游使用方提前知晓数据变化，并进行相应数据兼容处理，避免出现数据质量问题。此外，通过配置字段级监控方式，提高了数据仓库的数据监控过程的灵活性。

以下对上述各步骤进行详细说明。

在步骤S110中，实时获取数据仓库的源业务数据库的目标日志数据，目标日志数据为与目标操作对应的日志数据。

在本示例实施方式中，源业务数据库是指数据仓库的原始数据来源对应的数据库，可以包括多个数据库。目标操作是指能够使日志数据发生变化的操作，例如，增删改操作。目标日志数据可以是源业务数据库的服务维护的日志数据，示例性地，可以通过各种实时日志采集工具进行目标日志数据的采集。实时日志采集工具可以是各种数据采集系统，该系统可以是针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案，如Flume、Fluentd、Logstash等等，还可以是其他能够实现实时数据采集的工具，本示例对此不作限定。

在步骤S120中，将目标日志数据实时同步至消息队列中。

在本示例实施方式中，消息队列是分布式系统中重要的组件，消息在被处理和删除之前一直存储在队列上，每条消息仅可被一位用户处理一次。消息队列可以是RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等中的至少一种。例如将采集的数据同步至Kafka的消息队列中。

示例性地，可以将采集到的目标日志数据解析成目标格式后，再实时同步至消息队列中。例如，可以将增删改日志数据解析成json字符串之后，将json字符串同步至Kafka的消息队列中。

示例性地，参考图2，可以通过订阅第二表数据，将目标日志数据按数据类别实时同步至消息队列的各主题分区。

在本示例实施方式中，第二表数据为基于目标监控字段配置的，可以在监控字段与源表之间建立对应关系，通过订阅与监控字段对应的源表以将第二表数据同步至消息队列的各主题分区。如图2中，通过配置订阅与目标监控字段对应的第二表数据(如Table1，Table2，…，TableN，N为正整数)，将目标日志数据同步至各主题分区(如Kafka topic)，Kafka中的Topic相当于数据库中的表，可以按需构建，存储不同类别的消息数据。例如，可以根据第二表数据中的数据类别将相同类别的数据同步至同一主题分区，也可以按照其他规则进行同步，本示例对此不作限定。

在步骤S130中，在目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据。

在本示例实施方式中，第一表数据是基于消息队列形成的表数据，可以是将消息队列中的数据形成表数据。例如，第一表数据是基于消息队列的各主题分区形成的流表数据。

本示例中，可以根据实际需求配置需要监控的字段即目标监控字段。在数据仓库中可以根据数据观察角度自定义对应的维度，在数据库表中一个维度可以表现为一个字段，该字段的值是离散的值。例如，日期、地区、性别等分别表示一个维度。而维度字段的值就是枚举值，枚举值可以穷举，每个枚举值表示特定的业务含义。例如，地区是一个维度，则北京、广州等就是该维度中的具体枚举值。本示例可以通过配置目标监控字段来监控维度枚举值的变化。

在本示例实施方式中，可以通过配置监控配置表来获取目标监控字段，监控配置表中可以配置枚举值名称、枚举值对应字段、枚举值对应表等关键信息，还可以配置字段类型、表编码等其他信息，本示例对此不作限定。

示例性地，可以预先将监控配置表存储于监控配置数据库中，在实时监控过程中，从监控配置数据库中获取目标监控字段，并根据目标监控字段，消费各主题分区对应的目标日志数据，以捕获第一表数据。

在本示例实施方式中，监控配置数据库可以使用hbase、mysql或者其他数据库，本示例对此不作限定。示例性地，可以使用流处理工具，根据建表语句将各主题分区的目标日志数据映射成流表数据；再调用流处理工具的应用程序接口，以消费流表数据，即可完成消费各主题分区的目标日志数据。流处理工具可以是flink、sparkstream、storm等中的任一种，也可以是其他能够实现流处理的工具，本示例对此不作限定。

本发明在消费日志的时候，通过枚举值监控表可以获得需要监控的表和字段，从而识别出日志中需要被监控的数据(如枚举值)，过滤掉其他无效日志，降低处理数据量。

举例而言，可以通过第一表数据(增删改数据流表)构建语句，使用开源工具flink将Kafka Topic映射成流表数据(二维表)。例如可以通过设置映射前后的数据类型、数据来源及表映射的起止位置等信息的建表语句来构建数据流表(第一表数据)。构建的数据流表可以包括采集序列编号、采集时间、采集类型、日志数据标识、操作前数据(操作前监控字段值)、操作后数据(操作后监控字段值)等信息，还可以包括用户相关信息，本示例对此不作限定。本示例中，可以编写应用程序接口调用代码，以调用flink的应用程序接口进行枚举值的实时捕获。

在步骤S140中，在目标数据存量库中匹配第一表数据，目标数据存量库为基于源业务数据库的历史维度字段值构建的。

在本示例实施方式中，可以基于历史维度字段值构建存量枚举值表，即将源业务数据库出现过的各维度字段值形成存量枚举值表，可以使用hbase、mysql或者其他数据库存储存量枚举值表形成目标数据存量库。存量枚举值表可以包括枚举值对应字段、枚举值对应表、具体枚举值以及枚举值含义、枚举值新增时间、枚举值更新时间等信息中的一种或多种，本示例对此不作限定。

在本示例实施方式中，可以将实时监控的第一表数据与目标数据存量库中的存量枚举值表进行匹配，确定第一表数据中是否出现新的枚举值。

示例性地，第一表数据包括目标监控字段的值，可以根据目标监控字段，在目标数据存量库中匹配目标监控字段的值。通过监控到的第一表数据中目标监控字段的值，将在存量表中匹配实时监控到的字段值。

在步骤S150中，响应于在目标数据存量库中匹配不到第一表数据，触发监控告警。

在本示例实施方式中，若在目标数据存量库中匹配不到第一表数据，说明当前监控到新的业务数据(新枚举值)，可以触发监控告警，以通知相关对象进行处理。例如，触发告警到数据仓库值班人员，由值班人员进行枚举值含义的补充。监控告警的告警信息可以包括告警原因，告警时间、告警事件，匹配异常数据等信息，还可以包括其他信息，本示例对此不作限定。若在目标数据存量库中匹配到第一表数据，说明第一表数据的枚举值在存量库中已经存在，即当前未监控到新枚举值，则继续监控即可。

在一些实施例中，响应于在目标数据存量库中匹配不到第一表数据，利用目标监控字段的值更新目标数据存量库。可以在发出监控告警之后，将匹配失败的第一表数据中的字段值(枚举值)更新到枚举值存量表即目标数据存量库中，以便于后续监控。

在一些实施例中，在利用目标监控字段的值更新目标数据存量库之后，参考图3，方法还包括以下步骤：

第一步，响应于目标数据存量库更新成功，从数据血缘关系库中获取数据血缘关系。

在本示例实施方式中，数据血缘关系库为根据数据仓库的各处理任务确定的任务关联对象、表和字段之间的上下游关联关系。数据血缘关系库中可以包括处理任务、表、对象(如任务责任人)之间的关系。处理任务为数据仓库中的各种任务，基于任务进行数据的分析。

举例而言，数据血缘关系库的构建过程如图4所示，先获取各处理任务的元数据，元数据可以包括任务关联对象信息；根据元数据，确定各处理任务关联的表信息、字段信息和任务上下游信息；根据表信息、字段信息、任务上下游信息及任务关联对象信息，构建数据血缘关系库。

在本示例实施方式中，处理任务可以包括数据仓库的各种任务，如图4中的处理任务1，处理任务2，…处理任务M，M为正整数。元数据可以包括任务元数据和表元数据，其中，任务信息可以包括任务基础元数据和任务调度元数据，任务基础元数据可以包括任务责任人以及任务名称、任务类型、任务代码等中的至少一种。任务调度元数据可以包括调度依赖关系以及调度周期、调度时间、调度账号等中的至少一种。表元数据可以包括表字段、表责任人以及表名称、表注释等信息。元数据还可以包括其他与任务和表相关的信息，本示例对此不作限定。任务关联对象信息可以包括任务关联的各责任人信息，如表的责任人和任务的责任人等。

在本示例实施方式中，可以通过对元数据的解析，确定各处理任务关联的表信息、字段信息和任务上下游信息。示例性地，可以先解析任务代码，确定各处理任务关联的表信息和字段信息；例如通过解析任务代码得到任务依赖的表、字段和任务产出的表、字段。再根据调度依赖关系，确定各处理任务之间的任务上下游信息。最后，根据表信息、字段信息、任务上下游信息及任务关联对象信息，构建数据血缘关系库。具体地，可以根据任务上下游关系及任务中表和字段的依赖关系，确定表的上下游关系和字段的上下游关系，从而得到了任务、表、字段各自的上下游关系即血缘。再将表责任人和任务责任人的信息与对应的表、任务进行关联，获得数据血缘关系库。例如，任务B是任务A的下游任务，则与任务B关联的表2是与任务A关联的表的下游表，与任务B关联的责任人是与任务A关联的责任人的下游对象，与表2的责任人是表1责任人的下游对象。表、字段和责任人之间的上下游关联关系形成数据血缘关系。

第二步，在数据血缘关系中查找与目标监控字段的值关联的下游关联对象。

在本示例实施方式中，在数据血缘关系即表-字段-责任人之间的上下游关系中查找确定目标监控字段值对应的下游责任人信息(包括表责任人和任务责任人)。

第三步，向该下游关联对象发送告警通知。

在本示例实施方式中，可以通过系统通知、短信、邮件、电话等各种方式向各关联的下游责任人发送告警通知。告警通知可以包括告警原因、具体字段、字段值、告警时间等信息。

举例而言，如图5所示，本发明的数据仓库的数据监控方法可以通过以下步骤实现。

第一步，采集数据仓库的任务对应的元数据，并根据元数据构建数据血缘关系库。

第二步，通过日志采集工具从数据仓库的源业务数据库采集目标日志数据(增删改日志数据)。

第三步，将目标日志数据同步至消息队列的各主题分区。

第四步，将各主题分区的数据映射成第二表数据(数据流表)。

第五步，调用流处理工具的应用程序接口实时捕获与配置的目标监控字段对应的第一表数据。

第六步，在目标数据存量库中匹配第一表数据，若匹配成功，转至第二步，若匹配失败，转至第七步。

第七步，利用目标监控字段的值更新目标数据存量库。

第八步，从数据血缘关系库中获取数据血缘关系。

第九步，在数据血缘关系中查找与目标监控字段的值关联的下游关联对象。

第十步，向该下游关联对象发送告警通知。

本发明方案一方面可以对数据仓库中业务维度枚举值进行实时监控，对业务维度枚举值的变化做到实时感知，可以实现秒级监控，提高监控时效性，避免因枚举值变化产生的数据质量问题。在本发明中，可以通过自定义配置需要监控的表和维度字段即可实现该字段的枚举值监控，操作简便、易于推广，且增加了监控的灵活性。另一方面，本发明方案通过计算数据血缘关系，确定变化的枚举值关联的下游使用方，并通知下游使用方进行提前处理，避免因枚举值变化给下游使用方带来的数据问题。

示例性装置

需要说明的是，本公开实施例提供的数据仓库的数据监控方法，执行主体可以为数据仓库的数据监控装置，本公开实施例中以数据仓库的数据监控装置执行数据仓库的数据监控方法为例，说明本公开实施例提供的数据仓库的数据监控方法。接下来，参考图6对本公开示例性实施方式的数据仓库的数据监控装置进行描述。

图6示意性示出了根据本发明的一个实施例的数据仓库的数据监控装置的框图。

参照图6所示，根据本发明的一个实施例的数据仓库的数据监控装置600，装置600可以包括：获取模块610、同步模块620、捕获模块630、匹配模块640和告警模块650，其中：获取模块610，被配置为实时获取数据仓库的源业务数据库的目标日志数据，目标日志数据为与目标操作对应的日志数据；同步模块620，被配置为将目标日志数据实时同步至消息队列中；捕获模块630，被配置为在目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；匹配模块640，被配置为在目标数据存量库中匹配第一表数据，目标数据存量库为基于源业务数据库的历史维度字段值构建的；告警模块650，被配置为响应于在目标数据存量库中匹配不到第一表数据，触发监控告警。

在本公开的一些实施例中，基于前述方案，获取模块610还被配置为：使用实时日志采集工具从源业务库采集目标日志数据。

在本公开的一些实施例中，基于前述方案，同步模块620还被配置为：通过订阅第二表数据，将目标日志数据按数据类别实时同步至消息队列的各主题分区，第二表数据为基于目标监控字段配置的。

在本公开的一些实施例中，基于前述方案，捕获模块630还包括获取子模块，被配置为从监控配置数据库中获取目标监控字段；消费子模块，被配置为根据目标监控字段，消费各主题分区的目标日志数据，以捕获第一表数据。

在本公开的一些实施例中，基于前述方案，消费子模块还被配置为：使用流处理工具，根据建表语句将各主题分区的目标日志数据映射成流表数据；调用流处理工具的应用程序接口，以消费流表数据。

在本公开的一些实施例中，基于前述方案，第一表数据包括目标监控字段的值，匹配模块640还被配置为：根据目标监控字段，在目标数据存量库中匹配目标监控字段的值。

在本公开的一些实施例中，基于前述方案，装置600还包括更新模块，更新模块被配置为响应于在目标数据存量库中匹配不到第一表数据，利用目标监控字段的值更新目标数据存量库。

在本公开的一些实施例中，基于前述方案，装置600还包括数据血缘关联模块，数据血缘关联模块被配置为：响应于目标数据存量库更新成功，从数据血缘关系库中获取数据血缘关系，数据血缘关系库为根据数据仓库的各处理任务确定的任务关联对象、表和字段之间的上下游关联关系；在数据血缘关系中查找与目标监控字段的值关联的下游关联对象。告警模块650还被配置为向该下游关联对象发送告警通知。

在本公开的一些实施例中，基于前述方案，装置600还包括数据血缘构建模块，数据血缘构建模块被配置为：获取各处理任务的元数据，元数据包括任务关联对象信息；根据元数据，确定各处理任务关联的表信息、字段信息和任务上下游信息；根据表信息、字段信息、任务上下游信息及任务关联对象信息，构建数据血缘关系库。

在本公开的一些实施例中，基于前述方案，元数据还包括各处理任务的任务代码和调度依赖关系，数据血缘构建模块还被配置为：解析任务代码，确定各处理任务关联的表信息和字段信息；根据调度依赖关系，确定各处理任务之间的任务上下游信息。

在本公开的一些实施例中，基于前述方案，同步模块620还被配置为：将目标日志数据解析成目标格式后，实时同步目标格式的目标日志数据至消息队列中。

上述数据仓库的数据监控装置中各模块或单元的具体细节已经在对应的数据仓库的数据监控方法中进行了详细的描述，因此此处不再赘述。

示例性介质

在介绍了本发明示例性实施方式的方法之后，接下来，对本发明示例性实施方式的介质进行说明。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种存储介质，其上存储有程序代码，当程序代码被设备的处理器执行时可以用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的数据仓库的数据监控方法中的步骤。

具体地，设备的处理器执行程序代码时可以用于实现如下步骤：

实时获取数据仓库的源业务数据库的目标日志数据，目标日志数据为与目标操作对应的日志数据；将目标日志数据实时同步至消息队列中；在目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；在目标数据存量库中匹配第一表数据，目标数据存量库为基于源业务数据库的历史维度字段值构建的；响应于在目标数据存量库中匹配不到第一表数据，触发监控告警。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据仓库的数据监控方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据仓库的数据监控方法的技术方案的描述。

需要说明的是：上述的存储介质可以是可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写可以用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性计算设备

在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，介绍根据本公开的另一示例性实施方式的计算设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的计算设备700。图7显示的计算设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算设备700以通用计算设备的形式表现。计算设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。

其中，存储单元存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

计算设备700也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算设备700交互的设备通信，和/或与使得该计算设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过显示单元740和与显示单元740连接的输入/输出(I/O)接口750进行。并且，计算设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与计算设备700的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

上述为本实施例的一种计算设备700的示意性方案。需要说明的是，该计算设备700的技术方案与上述的数据仓库的数据监控方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据仓库的数据监控方法的技术方案的描述。

应当注意，尽管在上文详细描述中提及了数据仓库的数据监控装置的若干模块或子模块，但是这种划分仅仅是示例性的，并非是强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或单元的特征和功能可以在一个模块或单元中具体化。反之，上文描述的一个模块或单元的特征和功能可以进一步划分为由多个模块或单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所发明的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种数据仓库的数据监控方法，其特征在于，所述方法包括：

实时获取数据仓库的源业务数据库的目标日志数据，所述目标日志数据为与目标操作对应的日志数据；

将所述目标日志数据实时同步至消息队列中；

在所述目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；

在目标数据存量库中匹配所述第一表数据，所述目标数据存量库为基于所述源业务数据库的历史维度字段值构建的；

响应于在所述目标数据存量库中匹配不到所述第一表数据，触发监控告警。

2.根据权利要求1所述的方法，其特征在于，所述获取源业务库的目标日志数据，包括：

使用实时日志采集工具从所述源业务库采集所述目标日志数据。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标日志数据同步至消息队列中，包括：

通过订阅第二表数据，将所述目标日志数据按数据类别实时同步至所述消息队列的各主题分区，所述第二表数据为基于所述目标监控字段配置的。

4.根据权利要求3所述的方法，其特征在于，所述实时捕获与配置的目标监控字段对应的第一表数据，包括：

从监控配置数据库中获取所述目标监控字段；

根据所述目标监控字段，消费所述各主题分区的目标日志数据，以捕获所述第一表数据。

5.根据权利要求4所述的方法，其特征在于，所述消费所述各主题分区的目标日志数据，包括：

使用流处理工具，根据建表语句将所述各主题分区的目标日志数据映射成流表数据；

调用所述流处理工具的应用程序接口，以消费所述流表数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一表数据包括目标监控字段的值，所述在目标数据存量库中匹配所述第一表数据，包括：

根据所述目标监控字段，在所述目标数据存量库中匹配所述目标监控字段的值。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应于在所述目标数据存量库中匹配不到所述第一表数据，利用所述目标监控字段的值更新所述目标数据存量库。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

响应于所述目标数据存量库更新成功，从数据血缘关系库中获取数据血缘关系，所述数据血缘关系库为根据所述数据仓库的各处理任务确定的任务关联对象、表和字段之间的上下游关联关系；

在所述数据血缘关系中查找与所述目标监控字段的值关联的下游关联对象；

所述触发监控告警包括：

向该下游关联对象发送告警通知。

9.一种数据仓库的数据监控装置，其特征在于，所述装置包括：

获取模块，被配置为实时获取数据仓库的源业务数据库的目标日志数据，所述目标日志数据为与目标操作对应的日志数据；

同步模块，被配置为将所述目标日志数据实时同步至消息队列中；

捕获模块，被配置为在所述目标日志数据中，实时捕获与配置的目标监控字段对应的第一表数据；

匹配模块，被配置为在目标数据存量库中匹配所述第一表数据，所述目标数据存量库为基于所述源业务数据库的历史维度字段值构建的；

告警模块，被配置为响应于在所述目标数据存量库中匹配不到所述第一表数据，触发监控告警。

10.一种计算设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至8中任一项所述的方法。