CN116610664A - 数据监控方法、装置、计算机设备、存储介质和产品 - Google Patents
数据监控方法、装置、计算机设备、存储介质和产品 Download PDFInfo
- Publication number
- CN116610664A CN116610664A CN202310884529.3A CN202310884529A CN116610664A CN 116610664 A CN116610664 A CN 116610664A CN 202310884529 A CN202310884529 A CN 202310884529A CN 116610664 A CN116610664 A CN 116610664A
- Authority
- CN
- China
- Prior art keywords
- quality
- field
- data
- condition
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 312
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007689 inspection Methods 0.000 claims abstract description 233
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 230000005856 abnormality Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000005192 partition Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000282813 Aepyceros melampus Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种数据监控方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：响应针对数据质量监控任务的质量监控触发事件，当对数据质量监控任务预配置的至少一个质量监控条件中存在字段质量检验条件、字段质量检验条件针对字段质量检验条件对应的检验字段指示有字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数；根据数据行数，确定字段检验结果；基于字段检验结果，确定数据质量监控任务的任务结果；当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端发送质量异常告警提示。采用本方法能够提高数据表的数据质量。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据监控方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着互联网技术的发展，互联网数据呈爆炸式增长，对数据的收集、处理和分析需求也日益增加，大数据技术应运而生。大数据技术是指的是用于处理、分析和管理大规模数据集的技术和工具。目前，各企业建立了大数据平台，在大数据平台中，常常以数据表为单位存储数据，且定期对数据表进行数据更新。通过使用大数据平台中的数据进行分析，可挖掘数据价值，帮助企业业务发展。
然而，大数据平台中存储的数据存在数据质量低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据表的数据质量的数据监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据监控方法。所述方法包括：
响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；
当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
第二方面，本申请还提供了一种数据监控装置。所述装置包括：
任务触发模块，用于响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
字段质量检验模块，用于当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
任务结果获取模块，用于基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
告警模块，用于当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；
当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；
当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；
当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
上述数据监控方法、装置、计算机设备、存储介质和计算机程序产品，数据质量监控任务预配置有至少一个质量监控条件，至少一个质量监控条件中可存在字段质量检验条件，字段质量检验条件可指示有针对检验字段的字段值检验条件，针对数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数，从而可获得目标数据表在所述字段质量检验条件下的字段检验结果，实现对目标数据表中检验字段的质量监控；而且基于字段检验结果确定数据质量监控任务的任务结果，在目标数据表处于表质量检验未通过时，向用户发送告警提示，使得用户可及时处理目标数据表的数据质量问题，可提高目标数据表的数据质量。
附图说明
图1为一个实施例中数据监控方法的应用环境图；
图2为一个实施例中数据监控方法的流程示意图；
图3为一个实施例中数据质量监控架构示意图；
图4为一个实施例中数据质量监控任务的信息表逻辑示意图；
图5为一个实施例中数据质量监控流程示意图；
图6为一个实施例中数据质量监控配置界面示意图；
图7为一个实施例中质量监控结果界面示意图；
图8为一个实施例中质量监控告警界面示意图；
图9为一个实施例中数据监控装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据监控方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。其中，终端102可以是台式计算机、笔记本电脑、智能手机或平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
基于如图1所示的应用环境图，服务器104可响应针对数据质量监控任务的质量监控触发事件，当对数据质量监控任务预配置的至少一个质量监控条件中存在字段质量检验条件，确定字段质量检验条件对应的预配置的检验字段；当字段质量检验条件针对检验字段指示有字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数；根据数据行数，确定目标数据表在字段质量检验条件下的字段检验结果；基于目标数据表在字段质量检验条件下的字段检验结果，确定数据质量监控任务的任务结果；当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端102发送质量异常告警提示。
在一个实施例中，如图2所示，提供了一种数据监控方法，本实施例以该方法应用于图1中的服务器104为例进行说明，该方法包括以下步骤：
步骤202，响应于针对数据质量监控任务的质量监控触发事件，获取对数据质量监控任务预配置的至少一个质量监控条件。
其中，数据质量监控任务是对数据表进行数据质量监控的任务。数据质量监控可以是对数据表采集表征数据质量的指标值，例如统计数据表的数据量。数据质量监控还可以是对数据表中数据的检验。数据表是数据库中存储数据的容器。数据表中可存在多个分区表，以分块地存储数据。数据库是按照数据结构来组织、存储和管理数据的仓库。数据库可以是数据源下的数据仓库。数据源是数据的来源。数据源可包括MySQL（关系型数据库管理系统）、Hive（基于Hadoop构建的一套数据仓库分析系统）、Impala（Cloudera公司主导开发的新型查询系统）或MongoDB（基于分布式文件存储的数据库）。Hadoop是一个提供分布式存储和计算的开源软件框架。同一数据源下可存在多个数据库，不同数据库间可通过数据库名区分。
质量监控触发事件是触发启动数据质量监控任务，以对数据质量监控任务所监控的数据表进行数据质量监控的事件。质量监控触发事件可以是自动触发事件，例如每隔预设间隔时长自动触发。质量监控触发事件也可以是手动触发操作，例如对数据监控中心的界面显示的任务启动触发按钮的触发操作，或者通过向服务器发送命令行以进行远程调用时触发。预配置的至少一个质量监控条件是预先配置的一个或一个以上的质量监控条件。质量监控条件是用于监控数据表的数据质量所采用的条件。
在一个实施例中，服务器可响应于针对数据质量监控任务的质量监控触发事件，获取与数据质量监控任务的任务标识对应的至少一个质量监控条件，获得对数据质量监控任务预配置的至少一个质量监控条件。其中，任务标识是区别不同数据质量监控任务的标识，如数据质量监控任务编号、数据质量监控任务ID（Identity document，身份标识号）。
步骤204，当至少一个质量监控条件中存在字段质量检验条件，确定字段质量检验条件对应的预配置的检验字段。
其中，字段质量检验条件是对字段进行质量检验时所采用的条件。预配置的检验字段是预先配置的采用字段质量检验条件进行质量检验所针对的字段。检验字段可通过字段名称、字段编号或字段ID标识。
在一个实施例中，服务器可获取至少一个质量监控条件中每个质量监控条件各自对应的条件类型标识，当获取的至少一个条件类型标识中存在表征字段级的条件类型标识，确定具有表征字段级的条件类型标识的质量监控条件为字段质量检验条件。
在一个实施例中，服务器可从字段质量检验条件对应条件属性信息中获取检验字段标识，将所获取的检验字段标识在数据质量监控任务所监控的目标数据表的多个字段中对应的字段确定为字段质量检验条件对应的预配置的检验字段。其中，条件属性信息是描述字段质量检验条件的属性的信息。检验字段标识是将检验字段与其他字段区分开的标识，该标识可以是字段名称、字段编号或字段ID。
步骤206，当字段质量检验条件针对检验字段指示有字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数。
其中，字段值检验条件是对检验字段下数据的字段值进行检验所采用的条件。字段值检验条件可以是从检验条件模板库中选择的模板条件，例如“字段值是日期”、“字段值是时间戳”、“字段值不是浮点数据值”或其它。字段值检验条件也可以是在配置数据质量监控任务时编写SQL（Structured Query Language，数据库语言）语句生成的自定义条件，例如“字段值大于预设数值”。条件模板库中可存储多个模板条件，存储的内容具体可以是分别用于实现多个模板条件的SQL语句。
字段质量检验条件可以是基于字段值检验条件对检验字段的数据的检验结果进行质量检验的条件，例如，在字段值检验条件是“字段值是数字”的情况下，字段质量检验条件可以是检验字段下的多行数据符合字段值是数字的数据行数大于零。字段质量检验条件也可以是针对检验字段直接进行质量检验的条件，例如字段质量检验条件可以是检验字段下的多行数据中字段值唯一。
数据表中的数据可按行存储的，每一行数据可包括对应有多个字段所在的列的数据。数据行数是数据行的数量。目标数据表是数据质量监控任务所需监控的数据表。多行数据可以是目标数据表中检验字段下所有数据，也可以是目标数据表中检验字段下指定范围的数据。指定范围例如指定时间范围、指定数据行范围，指定数据行范围例如第1行到第100行。
在一个实施例中，服务器可获取数据质量监控任务对应的任务信息，按照任务信息中记录的数据表标识，将数据表标识对应的数据表确定为数据质量监控任务所监控的目标数据表。其中，任务信息是描述数据监控任务的信息。任务信息中可指示目标数据源、目标数据库，目标数据表可以是目标数据源的目标数据库下的数据表。数据表是区分不同数据表的标识，例如数据表名称、数据表编号、数据表ID。
在一个实施例中，当字段质量检验条件针对检验字段指示有字段值检验条件，服务器可遍历数据质量监控任务所监控的目标数据表中检验字段下的多行数据，判断遍历的数据是否符合字段值检验条件，以对符合字段值检验条件的数据统计数据行数。
在一个实施例中，目标数据表可包括多个分区表，数据质量监控任务可指示有目标分区表。本实施例中，服务器可针对数据质量监控任务所监控的目标数据表内的目标分区表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数。其中，分区表是数据表中的子表。
在一个实施例中，服务器可在对符合字段值检验条件的数据统计到数据行数后，将数据行数插入预设数据库的结果数据表中。其中，预设数据库是预先设置的用于记录结果的数据库，可以是MySQL的数据库或MongoDB的数据库。结果数据表是预设数据库中用于记录结果的数据表。预设数据库可以是数据质量监控任务所监控的目标数据库。结果数据表可以是目标数据库中的目标数据表。结果数据表可以是在统计到数据行数后创建的，并在创建后存储数据行数。
步骤208，根据数据行数，确定目标数据表在字段质量检验条件下的字段检验结果。
其中，字段检验结果是按照字段质量检验条件对字段质量进行检验获得的结果。字段检验结果可包括表征字段质量检验通过的结果，或字段质量检验未通过的结果。
在一个实施例中，服务器可根据数据行数以及对字段质量检验条件所配置的预设行数指标值范围，确定目标数据表在字段质量检验条件下的字段检验结果。
在一个实施例中，服务器可在检测到结果数据表中存在目标数据表在字段质量检验条件下的数据行数时，按照对字段质量检验条件预配置的行数指标，确定目标数据表在字段质量检验条件下的行数指标值，根据行数指标值与预设行数指标值范围，确定目标数据表在字段质量检验条件下的字段检验结果。
在一个实施例中，服务器可针对字段质量检验条件，在结果数据表中以预设数据格式记录数据行数、行数指标值以及字段检验结果。其中，预设数据格式是预先设置的数据格式。预设数据格式可以是JSON（JavaScript Object Notation，JS对象简谱）。
在一个实施例中，服务器的第一进程可在数据质量监控任务启动后，定期地查询预设数据库的结果数据表，当查询到产出了具有统计的目标数据表在字段值检验条件下的数据行数的结果数据表时，向消息队列写入一条消息，以使得第二进程开启线程消费所写入的消息，根据消息所指示的结果数据表中的数据行数，确定目标数据表在字段质量检验条件下的字段检验结果。其中，第一进程与第二进程是不同的进程，第一进程是用于查询结果数据表的进程，第二进程是用于确定字段检验结果的进程。查询结果预设数据库的结果数据表，可通过从预设数据库的文件目录下查询表征结果数据表产出的标识文件实现，标识文件例如Hive的数据库中文件名包括“_SUCCESS”的文件。
步骤210，基于目标数据表在字段质量检验条件下的字段检验结果，确定数据质量监控任务的任务结果。
其中，任务结果是完成质量监控任务获得的结果。任务结果可包括表征表质量检验通过的结果，或表征表质量检验未通过的结果。
在一个实施例中，当至少一个质量监控条件中存在多个字段质量检验条件，根据目标数据表在多个字段质量检验条件中每个字段质量检验条件下的字段检验结果，确定数据质量监控任务的任务结果。
在一个实施例中，当对至少一个质量监控条件中存在多个字段质量检验条件中每个字段质量检验条件所配置的条件强度是第一强度，根据目标数据表在多个字段质量检验条件中每个字段质量检验条件下的字段检验结果，确定数据质量监控任务的任务结果。其中，条件强度是条件对任务的阻塞强度。第一强度表征低强度，对数据质量监控任务的阻塞强度低。在字段质量检验条件的条件强度是第一强度的情况下，当获得目标数据表在字段质量检验条件下的字段检验结果表征字段检验未通过时，继续执行数据质量监控任务，字段检验结果不会阻塞数据质量监控任务的执行。
在一个实施例中，当对至少一个质量监控条件中存在多个字段质量检验条件中任一字段质量检验条件所配置的条件强度是第二强度，当目标数据表在该任一字段质量检验条件下的字段检验结果表征字段检验未通过时，停止执行数据质量监控任务，根据停止执行数据质量监控任务时已获得的字段检验结果，确定数据质量监控任务的任务结果。其中，第二强度表征高强度，对数据质量监控任务的阻塞强度高。在一些场景中，第一强度的质量监控条件可称为弱规则，第二强度的质量监控条件可称为强规则。
步骤212，当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端发送质量异常告警提示。
其中，质量异常告警提示是提示数据质量监控任务所监控的目标数据表存在数据质量问题的提示信息。
在一个实施例中，当任务结果表征对目标数据表的表质量检验未通过，服务器可向订阅数据质量监控任务的用户对应的终端发送预设提示形式的质量异常告警提示。其中，预设提示形式是预先设置的提示形式。预设提示形式可以是通信软件中弹窗形式、短信形式、邮件形式、待处理异常列表形式或其它。
上述数据监控方法中，数据质量监控任务预配置有至少一个质量监控条件，至少一个质量监控条件中可存在字段质量检验条件，字段质量检验条件可指示有针对检验字段的字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数，从而可获得目标数据表在字段质量检验条件下的字段检验结果，实现对目标数据表中检验字段的质量监控；而且基于字段检验结果确定数据质量监控任务的任务结果，在目标数据表处于表质量检验未通过时，向用户发送告警提示，使得用户可及时处理目标数据表的数据质量问题，可提高目标数据表的数据质量。
在一个实施例中，步骤208包括：获取对字段质量检验条件配置的预设行数指标值范围；根据数据行数，确定目标数据表在字段质量检验条件下的行数指标值；当行数指标值在预设行数指标值范围内，确定目标数据表在字段质量检验条件下的字段检验结果表征字段质量检验通过；当行数指标值在预设行数指标值范围之外，确定目标数据表在字段质量检验条件下的字段检验结果表征字段质量检验未通过。
其中，预设行数指标值范围是预先设置的行数指标的指标值的范围。预设行数指标值范围具体可以是用户在配置数据质量监控任务、对数据质量监控任务中的质量监控条件进行配置时填写的。行数指标是按照字段质量检验条件进行字段质量检验时与行数相关的指标。行数指标可以是行数，也可以是行数比例。在行数指标是行数的情况下，预设行数指标值范围是预设行数范围；在行数指标是行数比例的情况下，预设行数指标值范围是预设行数比例值范围。行数指标值是按照行数指标以及数据行数对目标数据表在字段质量检验条件下确定的行数指标值。
本实施例中，根据数据行数确定目标数据表在字段质量检验条件下的行数指标值，可获知目标数据表在检验字段下的数据质量，而且通过将目标数据表在字段质量检验条件下的行数指标值与预设行数指标值范围进行比较，可确定字段检验结果，以实现对目标数据表的数据质量监控，可提高数据质量。
在一个实施例中，服务器可确定对字段质量检验条件预配置的行数指标，按照行数指标以及数据行数，确定目标数据表在字段质量检验条件下的行数指标值。举例说明，当行数指标是行数，则行数指标值是数据行数，即对目标数据表中检验字段下的多行数据中符合字段值检验条件的数据统计的数据行数。当行数指标是行数比例，则行数指标值是数据行数与目标数据表中检验字段下的多行数据的总行数的比值。
在一个实施例中，在行数指标是行数比例时，服务器可针对字段质量检验条件，在结果数据表中以JSON数据格式记录数据行数、行数指标值、总行数以及字段检验结果。
在一个实施例中，当至少一个质量监控条件中每个质量监控条件均是字段质量检验条件，步骤210包括：基于目标数据表在字段质量检验条件下的字段检验结果，确定目标数据表在至少一个质量监控条件中每个字段质量检验条件下的字段检验结果；当目标数据表在至少一个质量监控条件中每个字段质量检验条件下的字段检验结果均表征字段质量检验通过，确定数据质量监控任务的任务结果表征对目标数据表的表质量检验通过；当目标数据表在至少一个质量监控条件中任一字段质量检验条件下的字段检验结果表征字段质量检验未通过，确定数据质量监控任务的任务结果表征对目标数据表的表质量检验未通过。
其中，至少一个质量监控条件可仅包括一个质量监控条件，该仅包括的质量监控条件可以是字段质量检验条件，也可以是表级质量检验条件。至少一个质量监控条件也可以包括多个质量监控条件，该多个质量监控条件可以仅包括多个字段质量检验条件，可以仅包括多个表级质量检验条件，也可以包括字段质量检验条件和表级质量检验条件。
本实施例中，根据目标数据表在至少一个质量监控条件中各字段质量检验条件下的字段检验结果，可具体确定数据质量监控任务的任务结果，实现了对目标数据表的数据质量监控。
在一个实施例中，上述数据监控方法还包括下述步骤：当至少一个质量监控条件中存在表级质量检验条件，按照表级质量检验条件，对数据质量监控任务所监控的目标数据表进行表结构检验，获得目标数据表在表级质量检验条件下的表级检验结果。
其中，表结构可通过行结构信息或列结构信息表征。行结构信息例如数据表中行的数量、数据表中行的数量的波动率。列结构信息例如数据表中字段的数量、数据表中字段的数量的波动率。
表级质量检验条件可以是结构检验指标符合预设检验条件。结构检验指标是用于检验结构质量的指标，例如表的总行数、表的总行数波动率，表的总行数波动率可以是总行数环比上期所得波动率，具体可以是当前触发的数据质量监控任务所监控的目标数据表的总行数环比前次触发的数据质量任务所监控的目标数据表的总行数。预设检验条件是预先设置的检验条件。表级质量检验条件例如“总行数大于零”、“总行数波动率大于零”、“字段数量变化”或其它。预设检验条件如“大于零”、“发生变化”。
表结构检验是按照表级质量检验条件所指示的结构检验指标进行质量检验的处理。表级检验结果可包括表征表结构检验通过的结果和表结构检验未通过的结果。举例说明，当表级质量检验条件是“总行数大于零”，表结构检验可以是对数据质量监控任务所监控的目标数据表的多行数据统计总行数；当统计的总行数大于零，获得表征表结构检验通过的表级检验结果；当统计的总行数不大于零，获得表征表结构检验未通过的表级检验结果。
本实施例中，按照表级质量检验条件，可对数据质量监控任务所监控的目标数据表进行表结构检验，在字段质量检验的基础上，多维度检验数据表的质量，从而使得用户可获知数据表的多维度质量情况，从而能够更多维度地提升数据表的数据质量。
在一个实施例中，当至少一个质量监控条件中存在表级质量检验条件，服务器可基于目标数据表在表级质量检验条件下的表级检验结果，确定数据质量监控任务的任务结果。
在一个实施例中，上述数据监控方法还包括下述步骤：响应于针对数据质量监控任务的监控触发事件，确定针对数据质量监控任务预配置的监控期限；当直到监控期限未获取到数据质量监控任务的任务结果，向订阅数据质量监控任务的用户对应的终端发送任务超时告警提示。
其中，预配置的监控期限是预先配置的数据质量监控任务所耗费时间的最大时长。任务超时告警提示是表征数据质量监控任务超时未获得任务结果的告警提示信息。
本实施例中，对数据质量监控任务预配置了监控期限，当直到监控期限未获取到数据质量监控任务的任务结果，发送任务超时告警提示，可及时发送数据质量监控任务进行过程中可能存在异常导致的中断情况，还可以避免数据质量监控任务长时间执行占用大量资源，提高了资源利用率。
在一个实施例中，上述数据监控方法还包括下述步骤：响应于针对数据表新增监控任务的表新增监控触发事件，针对数据表新增监控任务预配置的数据源，获取预配置的数据源中新增的数据表；当获取到新增的数据表，向订阅数据表新增监控任务的用户对应的终端发送数据表新增提示。
其中，数据表新增监控任务是用于监控是否存在新增的数据表的任务。表新增监控触发事件是触发启动数据表新增监控任务，以监控是否存在新增的数据表。表新增监控触发事件可以是每隔预设间隔时长自动触发、对数据监控中心的界面显示的任务启动触发按钮触发操作时触发或向服务器发送命令行以进行远程调用时触发。
预配置的数据源是预先配置的数据表新增监控任务所监控的数据源。新增的数据表是预配置的数据源中新增的数据表。新增的数据表可以是数据源中相较于前次触发表新增监控触发事件时新增的数据表。数据表新增提示是表征新增了数据表的提示信息。
本实施例中，通过针对数据表新增监控任务的表新增监控触发事件，监控数据源中新增的数据表，可获知数据源中数据表的新增情况，多维度地监控数据源的数据情况，而且可通知用户，使得用户及时地对数据表配置相应的质量检验条件，对数据进行质量检验，提高数据质量。
在一个实施例中，在一个具体的应用场景中，数据监控可包括数据质量监控和数据表新增监控，数据质量监控架构示意图如图3所示，数据质量监控任务的信息表逻辑示意图如图4所示，数据质量监控任务的信息表可包括记录数据质量监控任务的任务信息的监控任务表、记录质量监控条件的条件属性信息的监控条件表（监控规则表）、记录监控条件表中的模板条件ID（规则模板ID）对应的模板条件的条件属性信息的模板条件表（规则模板表），基于图3以及图4，数据质量监控流程示意图如图5所示，基于图3、图4、图5，上述数据监控方法具体可包括下述步骤。
终端可显示如图6所示的数据监控中心的数据质量监控配置界面，获取用户通过数据质量监控配置界面配置的监控对象（目标数据源的目标数据库下的目标数据表）、配置的质量监控条件，根据配置的监控对象和配置的质量监控条件生成数据质量监控任务，并将数据质量监控任务发送至服务器。
服务器可响应于针对数据质量监控任务的质量监控触发事件，获取对数据质量监控任务预配置的至少一个质量监控条件。
当至少一个质量监控条件中存在字段质量检验条件，服务器可确定字段质量检验条件对应的预配置的检验字段；当字段质量检验条件针对检验字段指示有字段值检验条件，且字段值检验条件属于条件模板库中的一个模板条件，从条件模板库获取SQL语句形式的字段值检验条件，基于数据质量监控任务所监控的目标数据表的名称、检验字段的字段名称、目标数据表下的分区表的名称以及SQL语句形式的字段值检验条件，构建出用于字段质量检验的SQL语句，以通过SQL语句实现针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数。
服务器可按照对字段质量检验条件预配置的行数指标以及数据行数，确定目标数据表在字段质量检验条件下的行数指标值，根据行数指标值以及对字段质量检验条件所配置的预设行数指标值范围，确定目标数据表在字段质量检验条件下的字段检验结果。其中，预设行数指标值范围可以是基于如图4所示的数据质量监控任务的信息表逻辑示意图中监控条件表记录的期望值确定，预设行数指标值范围可以是大于期望值。
当至少一个质量监控条件中存在表级质量检验条件，服务器可按照表级质量检验条件，对数据质量监控任务所监控的目标数据表进行表结构检验，获得目标数据表在表级质量检验条件下的表级检验结果。
当目标数据表在至少一个质量监控条件中每个质量监控条件的检验结果均表征质量检验通过，服务器可确定数据质量监控任务的任务结果表征对目标数据表的表质量检验通过；当目标数据表在至少一个质量监控条件中任一质量监控条件下的检验结果表征质量检验未通过，服务器确定数据质量监控任务的任务结果表征对目标数据表的表质量检验未通过。其中，质量监控条件可以是字段质量检验条件和/或表级质量检验条件，字段质量检验条件的检验结果是字段检验结果，表级质量检验条件的检验结果是表级检验结果。
服务器可将数据质量监控任务的任务结果显示在如图7所示的质量监控结果界面示意图中；当任务结果表征对目标数据表的表质量检验通过，服务器可向订阅数据质量监控任务的用户对应的终端发送任务结果，以向用户播报任务结果；当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端发送质量异常告警提示，质量异常告警提示可显示在如图8所示的质量监控告警界面示意图。其中，用户在接收到质量异常告警提示后，针对存在异常的数据，通过BI（Business Intelligence，商业智能）报表进行分析。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据监控方法的数据监控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据监控装置实施例中的具体限定可以参见上文中对于数据监控方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种数据监控装置900，包括：任务触发模块910、字段质量检验模块920、任务结果获取模块930和告警模块940，其中：
任务触发模块910，用于响应于针对数据质量监控任务的质量监控触发事件，获取对数据质量监控任务预配置的至少一个质量监控条件；
字段质量检验模块920，用于当至少一个质量监控条件中存在字段质量检验条件，确定字段质量检验条件对应的预配置的检验字段；当字段质量检验条件针对检验字段指示有字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数；根据数据行数，确定目标数据表在字段质量检验条件下的字段检验结果；
任务结果获取模块930，用于基于目标数据表在字段质量检验条件下的字段检验结果，确定数据质量监控任务的任务结果；
告警模块940，用于当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端发送质量异常告警提示。
在一个实施例中，字段质量检验模块920还用于获取对字段质量检验条件配置的预设行数指标值范围；根据数据行数，确定目标数据表在字段质量检验条件下的行数指标值；当行数指标值在预设行数指标值范围内，确定目标数据表在字段质量检验条件下的字段检验结果表征字段质量检验通过；当行数指标值在预设行数指标值范围之外，确定目标数据表在字段质量检验条件下的字段检验结果表征字段质量检验未通过。
在一个实施例中，当至少一个质量监控条件中每个质量监控条件均是字段质量检验条件，任务结果获取模块930还用于基于目标数据表在字段质量检验条件下的字段检验结果，确定目标数据表在至少一个质量监控条件中每个字段质量检验条件下的字段检验结果；当目标数据表在至少一个质量监控条件中每个字段质量检验条件下的字段检验结果均表征字段质量检验通过，确定数据质量监控任务的任务结果表征对目标数据表的表质量检验通过；当目标数据表在至少一个质量监控条件中任一字段质量检验条件下的字段检验结果表征字段质量检验未通过，确定数据质量监控任务的任务结果表征对目标数据表的表质量检验未通过。
在一个实施例中，数据监控装置900还包括表级质量检验模块，表级质量检验模块用于当至少一个质量监控条件中存在表级质量检验条件，按照表级质量检验条件，对数据质量监控任务所监控的目标数据表进行表结构检验，获得目标数据表在表级质量检验条件下的表级检验结果。
在一个实施例中，告警模块940还用于响应于针对数据质量监控任务的监控触发事件，确定针对数据质量监控任务预配置的监控期限；当直到监控期限未获取到数据质量监控任务的任务结果，向订阅数据质量监控任务的用户对应的终端发送任务超时告警提示。
在一个实施例中，数据监控装置900还包括表新增监控模块和新增提示模块；表新增监控用于响应于针对数据表新增监控任务的表新增监控触发事件，针对数据表新增监控任务预配置的数据库，获取预配置的数据库中新增的数据表；新增提示模块用于当获取到新增的数据表，向订阅数据表新增监控任务的用户对应的终端发送数据表新增提示。
上述数据监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行上述数据监控方法时需存储的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据监控方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（MagnetoresistiveRandom Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据监控方法，其特征在于，所述方法包括：
响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；
当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果，包括：
获取对所述字段质量检验条件配置的预设行数指标值范围；
根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的行数指标值；
当所述行数指标值在所述预设行数指标值范围内，确定所述目标数据表在所述字段质量检验条件下的字段检验结果表征字段质量检验通过；
当所述行数指标值在所述预设行数指标值范围之外，确定所述目标数据表在所述字段质量检验条件下的字段检验结果表征字段质量检验未通过。
3.根据权利要求2所述的方法，其特征在于，当所述至少一个质量监控条件中每个质量监控条件均是字段质量检验条件，所述基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果，包括：
基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述目标数据表在所述至少一个质量监控条件中每个字段质量检验条件下的字段检验结果；
当所述目标数据表在所述至少一个质量监控条件中每个字段质量检验条件下的字段检验结果均表征字段质量检验通过，确定所述数据质量监控任务的任务结果表征对所述目标数据表的表质量检验通过；
当所述目标数据表在所述至少一个质量监控条件中任一字段质量检验条件下的字段检验结果表征字段质量检验未通过，确定所述数据质量监控任务的任务结果表征对所述目标数据表的表质量检验未通过。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述至少一个质量监控条件中存在表级质量检验条件，按照所述表级质量检验条件，对所述数据质量监控任务所监控的目标数据表进行表结构检验，获得所述目标数据表在所述表级质量检验条件下的表级检验结果。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于针对数据质量监控任务的监控触发事件，确定针对所述数据质量监控任务预配置的监控期限；
当直到所述监控期限未获取到所述数据质量监控任务的任务结果，向订阅所述数据质量监控任务的用户对应的终端发送任务超时告警提示。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
响应于针对数据表新增监控任务的表新增监控触发事件，针对所述数据表新增监控任务预配置的数据源，获取所述预配置的数据源中新增的数据表；
当获取到新增的数据表，向订阅所述数据表新增监控任务的用户对应的终端发送数据表新增提示。
7.一种数据监控装置，其特征在于，所述装置包括：
任务触发模块，用于响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
字段质量检验模块，用于当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；
任务结果获取模块，用于基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；
告警模块，用于当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884529.3A CN116610664B (zh) | 2023-07-19 | 2023-07-19 | 数据监控方法、装置、计算机设备、存储介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884529.3A CN116610664B (zh) | 2023-07-19 | 2023-07-19 | 数据监控方法、装置、计算机设备、存储介质和产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116610664A true CN116610664A (zh) | 2023-08-18 |
| CN116610664B CN116610664B (zh) | 2024-01-16 |
Family
ID=87678635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884529.3A Active CN116610664B (zh) | 2023-07-19 | 2023-07-19 | 数据监控方法、装置、计算机设备、存储介质和产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610664B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170059453A1 (en) * | 2015-09-01 | 2017-03-02 | Sap Se | Event-/Condition-Based Machine Monitoring for Quality Inspections |
| WO2021027363A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN112650762A (zh) * | 2021-03-15 | 2021-04-13 | 腾讯科技（深圳）有限公司 | 数据质量监控的方法、装置、电子设备以及存储介质 |
| WO2021174694A1 (zh) * | 2020-03-06 | 2021-09-10 | 平安科技（深圳）有限公司 | 基于数据中心的运维监控方法、装置、设备及存储介质 |
| CN113434490A (zh) * | 2020-03-23 | 2021-09-24 | 北京京东振世信息技术有限公司 | 线下导入数据的质量检测方法和装置 |
| CN116260702A (zh) * | 2023-01-04 | 2023-06-13 | 深圳市普渡科技有限公司 | 数据监控的方法、装置、计算机设备和存储介质 |
-
2023
- 2023-07-19 CN CN202310884529.3A patent/CN116610664B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170059453A1 (en) * | 2015-09-01 | 2017-03-02 | Sap Se | Event-/Condition-Based Machine Monitoring for Quality Inspections |
| WO2021027363A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| WO2021174694A1 (zh) * | 2020-03-06 | 2021-09-10 | 平安科技（深圳）有限公司 | 基于数据中心的运维监控方法、装置、设备及存储介质 |
| CN113434490A (zh) * | 2020-03-23 | 2021-09-24 | 北京京东振世信息技术有限公司 | 线下导入数据的质量检测方法和装置 |
| CN112650762A (zh) * | 2021-03-15 | 2021-04-13 | 腾讯科技（深圳）有限公司 | 数据质量监控的方法、装置、电子设备以及存储介质 |
| CN116260702A (zh) * | 2023-01-04 | 2023-06-13 | 深圳市普渡科技有限公司 | 数据监控的方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116610664B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102033971B1 (ko) | 데이터 품질 분석 | |
| CN106656536B (zh) | 一种用于处理服务调用信息的方法与设备 | |
| CN113965389B (zh) | 一种基于防火墙日志的网络安全管理方法、设备及介质 | |
| CN111046022A (zh) | 一种基于大数据技术的数据库审计方法 | |
| CN111314158B (zh) | 大数据平台监控方法、装置及设备、介质 | |
| EP3264291A1 (en) | Data block processing method and device | |
| CN113010494A (zh) | 一种数据库审计方法、装置及数据库代理服务器 | |
| CN110535686B (zh) | 异常事件处理方法和装置 | |
| CN114443437A (zh) | 告警根因输出方法、装置、设备、介质和程序产品 | |
| CN116610664B (zh) | 数据监控方法、装置、计算机设备、存储介质和产品 | |
| CN117194191A (zh) | 日志监控告警方法、装置、计算机设备和存储介质 | |
| CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
| CN116401238A (zh) | 偏离度监测方法、装置、设备、存储介质和程序产品 | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN112131291A (zh) | 基于json数据的结构化解析方法、装置、设备及存储介质 | |
| CN117234679A (zh) | 数据仓库任务的处理方法、装置、计算机设备 | |
| CN116880927A (zh) | 规则管理方法、装置、计算机设备和存储介质 | |
| CN118132535A (zh) | 数据仓库的数据处理方法、装置及计算机设备 | |
| CN118229395A (zh) | 监测指标异动分析方法、装置、计算机设备和存储介质 | |
| CN118484334A (zh) | 数据库故障信息生成方法、装置、计算机设备和存储介质 | |
| CN114461659A (zh) | 查杀方法、装置、计算机设备和存储介质 | |
| CN116578455A (zh) | 变更风险监控方法、装置、计算机设备和存储介质 | |
| CN117130880A (zh) | 数据处理方法、装置、设备、存储介质和程序产品 | |
| CN116577586A (zh) | 电力设备故障监测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |