CN108304413A - 分布式数据仓库监控方法、装置、电子设备和存储介质 - Google Patents

分布式数据仓库监控方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108304413A
CN108304413A CN201710025683.XA CN201710025683A CN108304413A CN 108304413 A CN108304413 A CN 108304413A CN 201710025683 A CN201710025683 A CN 201710025683A CN 108304413 A CN108304413 A CN 108304413A
Authority
CN
China
Prior art keywords
monitoring
data
abnormal
source
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710025683.XA
Other languages
English (en)
Inventor
孙冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710025683.XA priority Critical patent/CN108304413A/zh
Publication of CN108304413A publication Critical patent/CN108304413A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种分布式数据仓库监控方法，该方法包括：当监控周期开始时，按照配置的监控列表中的监控内容对分布式数据仓库进行监控；当任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。基于同样的发明构思，本申请还提出一种分布式数据仓库监控装置、电子设备和存储介质，在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。

Description

分布式数据仓库监控方法、装置、电子设备和存储介质
技术领域
本发明涉及数据库监控技术领域，特别涉及一种分布式数据仓库监控方法、装置、电子设备和存储介质。
背景技术
随着电子商务的发展，例如京东、淘宝、亚马逊等，日常运营中生成、累积的大量用户、商品、生产相关的数据，呈现爆发式增长，数据结构也开始多元化，数据含有的信息量越来越多，公司对数据化运营也越来越关注。
数据仓库用于对数据进行分处理工作，发挥着巨大的作用。然而，大数据时代的降临，数据仓库慢慢转成分布式架构，以满足爆发式增长的计算及存储的要求。
由于分布式数据一般都是使用列式存储，并以文件的形式保存，从而提高了大数据的存储及计算性能。分布式数据仓库建设的成功与否在很大程度上取决于是否有一个稳固、全面、一致的数据模型，数据模型集成了各种数据源系统的数据，是支撑各种应用分析、数据产品等的基础。所以，数据模型各层级间的数据一致性，显得尤其重要。
使用数据抽取工具将原始数据系统数据抽取到Hadoop本地服务器上，并抓取源系统的数据量(行数)，然后在分布式数据仓库中建立对应的表并根据仓库的数据模型，接着执行hive脚本将生产数据转换后装载到分布式数据仓库的目标表中，同时，比对目标表中的数据量与抓取到的源系统的数据量是否一致。
上述数据一致性确定方法中，由于数据量巨大，抓取源系统的数据量，对源系统的正常运行会有影响，并且通过hive对每一层的数据进行count操作，会无谓的消耗集群的资源，带来资源巨大的浪费。
发明内容
有鉴于此，本申请提供一种分布式数据仓库监控方法、装置、电子设备和存储介质，在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。
为解决上述技术问题，本申请的技术方案是这样实现的：
一种分布式数据仓库监控方法，该方法包括：
配置监控列表，所述监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控；
当监控周期开始时，按照配置的监控列表中的监控内容对分布式数据仓库进行监控；
当任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；
当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。
一种分布式数据仓库监控装置，该装置包括：配置单元、监控单元和确定单元；
所述配置单元，用于配置监控列表，所述监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控；
所述监控单元，用于当监控周期开始时，按照配置的监控列表中的监控内容对分布式数据仓库进行监控；
所述确定单元，用于当所述监控单元监控的任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。
一种电子设备，包括：至少一个中央处理器；以及，
与所述至少一个中央处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个中央处理器执行的指令，所述指令被所述至少一个中央处理器执行，以使所述至少一个中央处理器能够执行上述方法。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述方法。
由上面的技术方案可知，本申请中通过对数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控，确定分布式数据仓库中的数据是否异常，来判断分布式数据仓库中的数据与源系统中的数据是否一致。在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。
附图说明
图1为分布式数据仓库数据模型层级示意图；
图2为本申请实施例中分布式数据仓库监控流程示意图；
图3为本申请实施例中应用于上述技术的装置结构示意图；
图4为本申请实施例中电子设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供一种分布式数据仓库监控方法，通过对数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控，确定分布式数据仓库中的数据是否异常，来判断分布式数据仓库中的数据与源系统中的数据是否一致。在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。
基于电子商务的分布式数据仓库，通过Hadoop平台，利用Hive作为分布式数据仓库的工具，数据模型可以如图1所述示，图1为分布式数据仓库数据模型层级示意图。
图1中，分布式数据仓库的数据模型包括：缓冲数据层(BDM)、基础数据层(FDM)、通用数据层(GDM)、聚合数据层(ADM)、维度数据层(DIM)和临时数据层(TMP)；
其中，缓冲数据层，从源系统将数据抽取到缓冲数据层，数据以文件的形式入到Hadoop本地，使用数据库查询的方式获取源数据库的预设时间段内更新的数据；
将缓冲数据层的数据通过拉链的方式加工到基础层数据；
根据业务主题，将基础层数据通过业务逻辑加工成主题数据存储到通用数据层；
按照维度，将基础层或通用层数据通过汇总逻辑加工成聚合数据存储到聚合数据层；
从源系统中抽取维度相关数据，存到维度数据层；
临时数据加工、存储在临时数据层。
图1为一种分布式数据仓库模型示例，本申请适用的分布式数据仓库并不限于这种架构的存储方式，针对图1中的分布式数据仓库模型，本申请实施例中监控的是缓冲数据层的数据；如果是其它分布式数据仓库模型，只要在与缓冲数据层功能一样的数据层执行监控即可。
本申请实施例中，为了描述方便，将实现分布式数据仓库监控的设备称为监控设备。
在监控设备执行监控之前，预先配置监控列表，配置的监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控。
针对数据量监控，配置监控的数据名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间；在具体实现时，监控程序会根据需要监控配置的内容拼接成相应的SQL语句，待监控周期开始时，调度对应SQL语句执行监控；
针对数据库的数据源表结构监控，配置监控的数据库的类型、数据库连接方式、数据库表名、对应数据库名；监控程序会根据这些配置到相应数据库中查看表结构信息，并与之前(配置时间点，或者最近一次保存的结果)保存的相应业务数据库信息进行比较；
数据源的表字段取值，即认为需要监控的重点字段的取值，可以根据实际应用，确定需要监控哪些字段的取值，则配置哪些数据源的表字段取值需要监控；
针对数据源的表字段取值监控，配置监控的数据库名、字段名称、数据类型内容；待监控周期开始时，监控设备通过监控程序会根据相关配置到数据库仓库中查看配置的字段取值，并与之前(配置的时间点，或最近一次保存的结果)保存的对应字段取值信息进行比较。
下面结合附图，详细描述本申请实施例中实现分布式数据仓库监控的过程。
参见图2，图2为本申请实施例中分布式数据仓库监控流程示意图。具体步骤为：
步骤201，当监控周期开始时，监控设备按照配置的监控列表中的监控内容对分布式数据仓库进行监控。
步骤202，当任一监控内容出现异常时，监控设备确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示，结束本流程。
当监控到第一预设时间内数据量的增量为0，确定针对数据量监控时出现异常；当监控到第一预设时间内数据量的增量不为0，且确定当前数据量与同比数据量相比，数据量变化值大于预设阈值时，确定针对数据量监控时出现异常；这里的同比数据量，可以为与昨日的数据量，也可以是上周同日的数据量相比，还可以是根据实际应用配置具体时间的数据量相比。
当监控到数据源表的表结构发生变化时，确定针对数据库的数据源表结构监控时出现异常；表结构发生变化，包括下述任一字段，或任意组合发生变化：
新增字段、删除字段、修改字段类型、修改字段长度。具体实现时，还可以根据实际应用增加或减少相应字段是否变化的确定。
当监控到配置的数据库源表的字段取值变化时，确定针对数据源的表字段取值监控时出现异常。数据库源表的字段取值可以为维度表的取值，这些值的变化，表示业务出现了变化。
步骤203，当所有监控内容均未出现异常时，该监控设备确定分布式数据仓库中的数据与源系统中的数据一致。
本申请实施例中的监控周期根据分布式数据仓库运行的时间配置；若在配置的监控周期内，监控列表中的监控内容未执行完成，则等待第二预设时间，继续执行未完成的监控内容，确保监控及时性和完整性。
在以告警方式显示出现异常的监控内容时，告警方式可以为报表、邮件、短信等形式。
基于同样的发明构思，本申请实施例中还提出一种分布式数据仓库监控装置。参见图3，图3为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：配置单元301、监控单元302和确定单元303；
配置单元301，用于配置监控列表，所述监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控；
监控单元302，用于当监控周期开始时，按照配置单元302配置的监控列表中的监控内容对分布式数据仓库进行监控；
确定单元303，用于当监控单元302监控的任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。
较佳地，
确定单元303，具体用于当监控到第一预设时间内数据量的增量为0，确定针对数据量监控时出现异常；当监控到第一预设时间内数据量的增量不为0，且确定当前数据量与同比数据量相比，数据量变化值大于预设阈值时，确定针对数据量监控时出现异常；当监控到数据源表的表结构发生变化时，确定针对数据库的数据源表结构监控时出现异常；当监控到配置的数据库源表的字段取值变化时，确定针对数据源的表字段取值监控时出现异常。
较佳地，
所述数据源表的表结构发生变化，包括下述任一字段，或任意组合发生变化：新增字段、删除字段、修改字段类型、修改字段长度。
较佳地，
配置单元301，具体用于针对数据量监控，配置监控的数据名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间；针对数据库的数据源表结构监控，配置监控的数据库的类型、数据库连接方式、数据库表名、对应数据库名；针对数据源的表字段取值监控，配置监控的数据库名、字段名称、数据类型内容。
较佳地，
配置单元301，进一步用于根据分布式数据仓库运行的时间，配置监控周期；
监控单元302，进一步用于若在配置的监控周期内，监控列表中的监控内容未执行完成，则等待第二预设时间，继续执行未完成的监控内容。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
基于同样的发明构思，本申请还提出一种分布式数据仓库监控电子设备。参见图4，图4为本申请实施例中电子设备的硬件结构示意图。
图4中所示的电子设备包括至少一个中央处理器401、存储器402。所述存储器402和所述至少一个中央处理器401通过总线连接，所述存储器402用于存储计算机指令，当所述电子设备运行时，所述至少一个中央处理器401执行所述存储器402存储的计算机指令，使得所述电子设备执行如图2所示的方法流程。
基于同样的发明构思，本申请还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory RAM)等。
综上所述，本申请通过对数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控，确定分布式数据仓库中的数据是否异常，来判断分布式数据仓库中的数据与源系统中的数据是否一致。在不影响源系统的正常运行，且节省资源的情况下，实现分布式数据仓库中的数据与源系统中的数据的一致性判断。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种分布式数据仓库监控方法，其特征在于，该方法包括：
配置监控列表，所述监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控；
当监控周期开始时，按照配置的监控列表中的监控内容对分布式数据仓库进行监控；
当任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；
当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当监控到第一预设时间内数据量的增量为0，确定针对数据量监控时出现异常；当监控到第一预设时间内数据量的增量不为0，且确定当前数据量与同比数据量相比，数据量变化值大于预设阈值时，确定针对数据量监控时出现异常；
当监控到数据源表的表结构发生变化时，确定针对数据库的数据源表结构监控时出现异常；
当监控到配置的数据库源表的字段取值变化时，确定针对数据源的表字段取值监控时出现异常。
3.根据权利要求2所述的方法，其特征在于，所述数据源表的表结构发生变化，包括下述任一字段，或任意组合发生变化：
新增字段、删除字段、修改字段类型、修改字段长度。
4.根据权利要求1所述的方法，其特征在于，
针对数据量监控，配置监控的数据名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间；
针对数据库的数据源表结构监控，配置监控的数据库的类型、数据库连接方式、数据库表名、对应数据库名；
针对数据源的表字段取值监控，配置监控的数据库名、字段名称、数据类型内容。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法进一步包括：
根据分布式数据仓库运行的时间，配置监控周期；
若在配置的监控周期内，监控列表中的监控内容未执行完成，则等待第二预设时间，继续执行未完成的监控内容。
6.一种分布式数据仓库监控装置，其特征在于，该装置包括：配置单元、监控单元和确定单元；
所述配置单元，用于配置监控列表，所述监控列表包含的监控内容为：数据量监控、数据库的数据源表结构监控，以及数据源的表字段取值监控；
所述监控单元，用于当监控周期开始时，按照所述配置单元配置的监控列表中的监控内容对分布式数据仓库进行监控；
所述确定单元，用于当所述监控单元监控的任一监控内容出现异常时，确定分布式数据仓库中的数据与源系统中的数据不一致，并将出现的异常以告警方式显示；当所有监控内容均未出现异常时，确定分布式数据仓库中的数据与源系统中的数据一致。
7.根据权利要求6所述的装置，其特征在于，
所述确定单元，具体用于当监控到第一预设时间内数据量的增量为0，确定针对数据量监控时出现异常；当监控到第一预设时间内数据量的增量不为0，且确定当前数据量与同比数据量相比，数据量变化值大于预设阈值时，确定针对数据量监控时出现异常；当监控到数据源表的表结构发生变化时，确定针对数据库的数据源表结构监控时出现异常；当监控到配置的数据库源表的字段取值变化时，确定针对数据源的表字段取值监控时出现异常。
8.根据权利要求7所述的装置，其特征在于，所述数据源表的表结构发生变化，包括下述任一字段，或任意组合发生变化：新增字段、删除字段、修改字段类型、修改字段长度。
9.根据权利要求6所述的装置，其特征在于，
所述配置单元，具体用于针对数据量监控，配置监控的数据名称、表名、时间字段、时间字段类型、统计项目、统计条件、监控时间；针对数据库的数据源表结构监控，配置监控的数据库的类型、数据库连接方式、数据库表名、对应数据库名；针对数据源的表字段取值监控，配置监控的数据库名、字段名称、数据类型内容。
10.根据权利要求6-9任意一项所述的装置，其特征在于，
所述配置单元，进一步用于根据分布式数据仓库运行的时间，配置监控周期；
所述监控单元，进一步用于若在配置的监控周期内，监控列表中的监控内容未执行完成，则等待第二预设时间，继续执行未完成的监控内容。
11.一种电子设备，包括：
至少一个中央处理器；以及，
与所述至少一个中央处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个中央处理器执行的指令，所述指令被所述至少一个中央处理器执行，以使所述至少一个中央处理器能够执行权利要求1-5中任一项所述的方法。
12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN201710025683.XA 2017-01-13 2017-01-13 分布式数据仓库监控方法、装置、电子设备和存储介质 Pending CN108304413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710025683.XA CN108304413A (zh) 2017-01-13 2017-01-13 分布式数据仓库监控方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710025683.XA CN108304413A (zh) 2017-01-13 2017-01-13 分布式数据仓库监控方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN108304413A true CN108304413A (zh) 2018-07-20

Family

ID=62872111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710025683.XA Pending CN108304413A (zh) 2017-01-13 2017-01-13 分布式数据仓库监控方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN108304413A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828889A (zh) * 2019-01-31 2019-05-31 平安科技（深圳）有限公司 监控数据库的方法、装置、计算机设备和存储介质
CN110704417A (zh) * 2019-10-10 2020-01-17 南方电网数字电网研究院有限公司 一种元数据管理方法、设备及存储介质
CN110795302A (zh) * 2018-08-02 2020-02-14 北京嘀嘀无限科技发展有限公司 数据监控方法、数据监控系统、计算机设备和存储介质
CN110837458A (zh) * 2019-11-08 2020-02-25 深圳市彬讯科技有限公司 一种数据平衡验证的方法、设备、及存储介质
CN110888775A (zh) * 2019-11-08 2020-03-17 深圳市彬讯科技有限公司 利用数据平衡监控数据仓库的方法、装置及设备
CN111125101A (zh) * 2019-12-16 2020-05-08 杭州涂鸦信息技术有限公司 一种数据中心表结构一致性监控方法及系统
CN111198902A (zh) * 2018-11-16 2020-05-26 长鑫存储技术有限公司 元数据管理方法、装置、存储介质及电子设备
CN111290916A (zh) * 2020-02-18 2020-06-16 深圳前海微众银行股份有限公司 大数据监控方法、装置、设备及计算机可读存储介质
CN112052231A (zh) * 2019-06-06 2020-12-08 北京京东振世信息技术有限公司 回传记录的监控方法和监控装置
CN113051120A (zh) * 2019-12-26 2021-06-29 医渡云（北京）技术有限公司 一种数据监控方法、装置、可读介质及电子设备
CN116820892A (zh) * 2023-07-14 2023-09-29 佛山众陶联供应链服务有限公司 一种针对于数仓的数据处理监控系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034554A (zh) * 2012-12-30 2013-04-10 焦点科技股份有限公司 一种纠错重启以及自动判断启动的etl调度系统及方法
CN105095056A (zh) * 2015-08-14 2015-11-25 焦点科技股份有限公司 一种数据仓库数据监控的方法
CN105760383A (zh) * 2014-12-16 2016-07-13 阿里巴巴集团控股有限公司 一种etl任务中指标变更的检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034554A (zh) * 2012-12-30 2013-04-10 焦点科技股份有限公司 一种纠错重启以及自动判断启动的etl调度系统及方法
CN105760383A (zh) * 2014-12-16 2016-07-13 阿里巴巴集团控股有限公司 一种etl任务中指标变更的检测方法和装置
CN105095056A (zh) * 2015-08-14 2015-11-25 焦点科技股份有限公司 一种数据仓库数据监控的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795302A (zh) * 2018-08-02 2020-02-14 北京嘀嘀无限科技发展有限公司 数据监控方法、数据监控系统、计算机设备和存储介质
CN111198902A (zh) * 2018-11-16 2020-05-26 长鑫存储技术有限公司 元数据管理方法、装置、存储介质及电子设备
CN109828889A (zh) * 2019-01-31 2019-05-31 平安科技（深圳）有限公司 监控数据库的方法、装置、计算机设备和存储介质
CN112052231B (zh) * 2019-06-06 2023-09-26 北京京东振世信息技术有限公司 回传记录的监控方法和监控装置
CN112052231A (zh) * 2019-06-06 2020-12-08 北京京东振世信息技术有限公司 回传记录的监控方法和监控装置
CN110704417A (zh) * 2019-10-10 2020-01-17 南方电网数字电网研究院有限公司 一种元数据管理方法、设备及存储介质
CN110837458A (zh) * 2019-11-08 2020-02-25 深圳市彬讯科技有限公司 一种数据平衡验证的方法、设备、及存储介质
CN110888775A (zh) * 2019-11-08 2020-03-17 深圳市彬讯科技有限公司 利用数据平衡监控数据仓库的方法、装置及设备
CN110837458B (zh) * 2019-11-08 2024-03-29 土巴兔集团股份有限公司 一种数据平衡验证的方法、设备、及存储介质
CN110888775B (zh) * 2019-11-08 2024-04-09 土巴兔集团股份有限公司 利用数据平衡监控数据仓库的方法、装置及设备
CN111125101A (zh) * 2019-12-16 2020-05-08 杭州涂鸦信息技术有限公司 一种数据中心表结构一致性监控方法及系统
CN111125101B (zh) * 2019-12-16 2023-10-13 杭州涂鸦信息技术有限公司 一种数据中心表结构一致性监控方法及系统
CN113051120A (zh) * 2019-12-26 2021-06-29 医渡云（北京）技术有限公司 一种数据监控方法、装置、可读介质及电子设备
CN111290916A (zh) * 2020-02-18 2020-06-16 深圳前海微众银行股份有限公司 大数据监控方法、装置、设备及计算机可读存储介质
CN116820892A (zh) * 2023-07-14 2023-09-29 佛山众陶联供应链服务有限公司 一种针对于数仓的数据处理监控系统

Similar Documents

Publication Publication Date Title
CN108304413A (zh) 分布式数据仓库监控方法、装置、电子设备和存储介质
CN111049705B (zh) 一种监控分布式存储系统的方法及装置
US10972344B2 (en) Automated adjustment of subscriber policies
CN105095056B (zh) 一种数据仓库数据监控的方法
US20180225346A1 (en) Data processing method, device and system
CN106156355B (zh) 日志处理方法及装置
CN108549583B (zh) 大数据处理方法、装置、服务器及可读存储介质
US9218371B2 (en) Automatic table cleanup for relational databases
CN110472102A (zh) 一种数据处理方法、装置、设备和存储介质
CN105573840B (zh) 工作流运行期的事件处理方法和装置
CN111723079A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN104516794B (zh) 数据库文件的备份方法、装置及系统
CN103501237B (zh) 设备管理方法、管理平台、设备及系统
US20140297355A1 (en) Workflow control apparatus and method therefor
US20200242645A1 (en) System and method for minimizing latency in data consumption system
CN112650575B (zh) 资源调度方法、装置和云端服务系统
CN105989163A (zh) 数据实时处理方法及系统
CN112069266A (zh) 一种数据同步方法及服务节点
CN108268355A (zh) 用于数据中心的监控系统及方法
US20220222266A1 (en) Monitoring and alerting platform for extract, transform, and load jobs
CN105930178B (zh) 一种可配置的参数动态装载方法及系统
CN114490527A (zh) 元数据检索方法、系统、终端及存储介质
CN111026794A (zh) 一种基于数据源的数据管理方法、装置、设备及介质
CN113778650A (zh) 任务调度方法、装置、电子设备及存储介质
CN103475543A (zh) 一种检测系统业务异常调用的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720

RJ01 Rejection of invention patent application after publication