CN111737233A - 数据监控方法及装置 - Google Patents

数据监控方法及装置 Download PDF

Info

Publication number
CN111737233A
CN111737233A CN202010589788.XA CN202010589788A CN111737233A CN 111737233 A CN111737233 A CN 111737233A CN 202010589788 A CN202010589788 A CN 202010589788A CN 111737233 A CN111737233 A CN 111737233A
Authority
CN
China
Prior art keywords
monitoring
parameter
logic
statement
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010589788.XA
Other languages
English (en)
Inventor
刘文之
何林强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010589788.XA priority Critical patent/CN111737233A/zh
Publication of CN111737233A publication Critical patent/CN111737233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种数据监控方法及装置，其中，所述方法包括在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。通过本发明，解决了在数据规则库中的维护成本较高、配置效率低以及监控告警时预测计算量大的问题，进而达到了提升数据规则配置效率、降低数据监控维护成本和降低数据监控告警时的预测计算量的效果。

Description

数据监控方法及装置
技术领域
本发明涉及数据质量管理领域，具体而言，涉及一种数据监控方法及装置。
背景技术
数据质量管理技术主要是针对于数据质量问题，进行识别、度量、监控、预警等一系列管理活动。
在一些数据监控场景中，需要给数据库或者数据仓库全部表的每一个字段都建立规则，配置规则运行周期，维护成本高配置效率不高。在另一些数据监控场景中，对于数据的监控报警需要以大量历史数据作为基础，进行大量拟合计算，预测计算量大。
相关技术中在数据规则库中的维护成本较高、配置效率低以及监控告警时预测计算量大的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据监控方法及装置，以至少解决相关技术中在数据规则库中的维护成本较高、配置效率低以及监控告警时预测计算量大的问题。
根据本发明的一个实施例，提供了一种数据监控方法，包括：在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控可选地，
可选地，所述在配置界面上获取监控逻辑参数，包括：在所述配置界面上获取监控周期参数，其中，所述监控逻辑参数包括所述监控周期参数，所述监控周期参数用于指示对所述监控对象参数进行监控的目标监控周期；根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句，其中，所述目标监控语句用于按照所述目标监控周期对所述数据对象进行监控。
可选地，所述根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句之前，还包括：对所述数据库中的一个数据表配置多个监控对象参数和多个监控逻辑参数；或对所述数据库中的多个数据表配置同时监控对象参数和监控逻辑参数。
可选地，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，包括：根据所述监控对象参数中的实际监控对象更新预置模板，其中，所述实际监控对象用于指示待监控的所述数据对象，所述预置模板用于指示预先配置的所述监控逻辑参数；根据对所述预置模板的更新结果，生成待执行的监控语句。
可选地，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，包括：根据所述监控周期参数中的实际监控周期更新预置模板，其中，所述监控周期用于指示待监控的所述目标监控周期，所述预置模板用于指示预先配置的所述监控逻辑参数；根据对所述预置模板的更新结果，生成待执行的监控语句。
可选地，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：获取实际监控对象，其中，所述实际监控对象至少包括以下之一：数据库表名、时间字段、字段名；
在所述实际监控对象属于表级的情况下时，根据所述实际监控逻辑生成待执行的监控语句；在所述实际监控对象属于字段级的情况下时，将所述监控逻辑参数更新为所述实际监控对象之后，根据所述实际监控逻辑生成待执行的监控语句。
可选地，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：获取实际监控逻辑，其中，所述实际监控逻辑至少包括以下之一：表行数，唯一值个数，唯一值率，空值个数，空值率，重复值个数，重复值率；在所述实际监控逻辑属于全表类型的情况下时，进行全表监控操作；在所述实际监控逻辑属于时间范围类型的情况下时，在预设时间范围内进行监控操作。
可选地，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控之后，还包括：根据所述数据对象的监控预警阈值，对数据对象的监控指标实际值超出所述监控预警阈值的数据对象进行报警，其中，所述监控预警阈值按照所述数据对象的历史数据预测得到，所述监控指标实际值按照所述监控逻辑对所述数据对象进行实际监控采集得到。
根据本发明的另一个实施例，提供了一种数据监控装置，包括：获取模块，用于在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；生成模块，用于根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；执行模块，用于执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
通过本发明，由于在配置界面上获取监控对象参数和监控逻辑参数，可以自动生成待执行的监控语句，当执行所述监控语句时即可按照监控逻辑对数据对象进行监控。因此，可以解决解决在数据规则库中的维护成本较高、配置效率低的问题，进而达到了提升数据规则配置效率、降低数据监控维护成本的效果。此外，由于采用灰色系统理论进行数学建模，通过最近几次采集指标对下一次采集指标进行预测时计算量小，有效避免了直接采用回归分析进行大量的拟合计算。从而可降低数据监控告警时的预测计算量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种数据监控方法的网络结构框图；
图2是根据本发明实施例的一种可选的数据监控方法的流程图；
图3是根据本发明实施例的一种可选的数据监控装置的结构框图；
图4为根据本发明优选实施例的一种可选的数据监控处理过程示意图；
图5为根据本发明优选实施例的一种可选的数据监控处理过程示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。
本申请实施例可以运行于图1所示的网络架构上，如图1所示，该网络架构包括：计算机10、服务器20、数据库30，其中，计算机10、服务器20基于B/S架构，待监控的数据库30是基于MPP架构的Greenplum分布式数据库。其中，数据库30中的数据为从Mysql、Oracle、Postgresql、Kafka消息队列、MQ消息队列源端采集的数据。在Greenplumn数据库中的数据以表的形式存在，为每一张表都单独建立一个创建时间列，日期时间格式统一，名称统一。在Greenplumn数据库中的表包括分区表和非分区表，分区表按照创建时间列进行分区。
在本实施例中提供了一种运行于网络架构的数据监控方法，图2是根据本发明实施例的数据监控方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
需要注意的是，配置界面是指面向用户的在前端界面配置的用户界面。
可选地，在前端配置界面，通过下拉列表方式选择具体监控对象参数和监控逻辑参数。
步骤S204，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
通过预先配置的监控逻辑对监控数据对象进行监控即执行待执行的监控语句。
步骤S206，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
监控逻辑中可以包括对表或者表中字段的质量监控的数据监控指标、数据监控周期。数据对象即是指待监控目标表或者待监控目标表中的字段。
通过上述步骤，由于在配置界面上获取监控对象参数和监控逻辑参数，可以自动生成待执行的监控语句，当执行所述监控语句时即可按照监控逻辑对数据对象进行监控。因此，可以解决在数据规则库中的维护成本较高、配置效率低的问题，达到提升数据规则配置效率、降低数据监控维护成本的效果。
为了确定执行监控语句的执行周期时间，所述在配置界面上获取监控逻辑参数，包括：在所述配置界面上获取监控周期参数，其中，所述监控逻辑参数包括所述监控周期参数，所述监控周期参数用于指示对所述监控对象参数进行监控的目标监控周期。为了得到目标监控语句，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句，其中，所述目标监控语句用于按照所述目标监控周期对所述数据对象进行监控。
进一步，所述根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句之前，还包括：对所述数据库中的一个数据表配置多个监控对象参数和多个监控逻辑参数；或对所述数据库中的多个数据表同时配置监控对象参数和监控逻辑参数。即根据实际需求配置针对于某张表的表级或字段级规则，并且对于同一张表可以根据实际需求配置多个监控对象参数和多个监控逻辑参数。在给表配置具体的多个监控对象参数和多个监控逻辑参数过程中，会根据表记录的实际信息替换按照预先配置的所述监控逻辑参数中可识别名称常量。根据实际需求配置针对于某张表的表级或字段级规则，同一张表可以根据实际需求配置多个监控逻辑。在给表配置具体的规则过程中，会根据表记录的实际信息替换待执行的目标监控语句中可识别名称常量。
进一步，所述根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句之后，还包括：在一个所述目标监控对象周期下配置多个监控逻辑参数。即管理具体监控对象周期时，在一个监控对象周期下可以配多个目标监控逻辑参数。监控对象周期可以包括全表范围和时间范围两种。
当需要确定具体的监控对象以及监控逻辑的时候，通过在配置界面获取的监控对象参数和监控逻辑参数之后，还需要：根据所述监控对象参数中的实际监控对象更新预置模板，其中，所述实际监控对象用于指示待监控的所述数据对象，所述预置模板用于指示预先配置的所述监控逻辑参数；根据对所述预置模板的更新结果，生成待执行的监控语句。即根据实际监控对象更新预置模板中的监控对象参数或监控逻辑参数。
需要说明的是，在所述监控对象参数中的表级监控逻辑或者字段级监控逻辑在创建时对获取到的预置模板进行替换。
当需要确定具体的监控对周期的时候，通过在配置界面获取的监控对象参数和监控逻辑参数之后，还需要：根据所述监控周期参数中的实际监控周期更新预置模板，其中，所述监控周期用于指示待监控的所述目标监控周期，所述预置模板用于指示预先配置的所述监控逻辑参数；根据对所述预置模板的更新结果，生成待执行的监控语句。即根据目标监控周期更新预置模板中的监控逻辑参数。
还需要说明的是，在所述监控对象参数中的监控周期需要判断是全表的还是时间范围的，如果是在全表类型的监控周期下可以配置表级和字段级规则多个。如果是在时间范围的监控逻辑参数下可以配置表级和字段级的多个逻辑参数。所以最终给每一个监控逻辑生成的质量规则SQL语句，是由周期表达式类型(全表或者时间范围)和规则类型(表级或者字段级)共同确认。
在进行实际数据监控的过程中，当在配置界面上获取监控对象参数和监控逻辑参数，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句包括，获取实际监控对象，其中，所述实际监控对象至少包括以下之一：数据库表名、时间字段、字段名；在所述实际监控对象属于表级的情况下时，根据所述实际监控逻辑生成待执行的监控语句；在所述实际监控对象属于字段级的情况下时，将所述监控逻辑参数更新为所述实际监控对象之后，根据所述实际监控逻辑生成待执行的监控语句。即判断要创建的监控对象是表级还是字段级，如果是字段级就是用实际要验证的字段替换掉待执行监控语句中的常量，最后生成并保存规则对象，如果是表级的情况下时，则根据所述实际监控逻辑生成待执行的监控语句。
在进行实际数据监控的过程中，当在配置界面上获取监控对象参数和监控逻辑参数，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：获取实际监控逻辑，其中，所述实际监控逻辑至少包括以下之一：表行数，唯一值个数，唯一值率，空值个数，空值率，重复值个数，重复值率；在所述实际监控逻辑属于全表类型的情况下时，进行全表监控操作；在所述实际监控逻辑属于时间范围类型的情况下时，在预设时间范围内进行监控操作。即使用真实监控的表名称替换掉表名变量；然后获取到当前规则所属的周期类型信息，判断是全表类型还是时间范围类型，如果是全表类型，直接把待执行监控语句的where条件替换为空字符串，进行全表操作。如果监控周期是时间范围类型，就是用表的实际日期时间字段替换掉待执行监控语句中的日期字段常量。
上述的实际监控逻辑主要包括表级和字段级，实际监控逻辑采用的模板可以包括：表行数，唯一值个数，唯一值率，空值个数，空值率，重复值个数，重复值率。其中，表行数是表级，其他规则是字段级。模板中存储的记录是执行规则的伪SQL语句，不包括具体的表名，字段名称，时间字段信息等，这些必要信息各自以可识别的常量名称代替。
比如，表行数模板是一个伪SQL语句，其中，$TABLE_NAME是要监控的具体表名称常量，$TIME_FIELD_NAME是Greenplum数据库中每张表统一的日期时间字段，$CHECK_TIME是具体的任务调度时间常量，$START_DAY和$END_DAY是周期表达式配置的相对于实际调度时间的起始和结束天数。
又比如，空值个数规则属于字段级的伪SQL语句，空值个数模板包括两部分SQL语句，with语句作为条件过滤，select语句基于with语句中过滤好的数据进行统计。在进行模板常量替换时，只针对with语句中的内容，其中：$CHECK_FIELD_NAME是要验证为空数的字段常量，$TABLE_NAME是要监控的具体表名称常量，$TIME_FIELD_NAME是Greenplum数据库中每张表统一的日期时间字段，$CHECK_TIME是具体的任务调度时间常量，$START_DAY和$END_DAY是周期表达式配置的相对于实际规则调度时间的起始和结束天数。
可选地，还可以进行监控告警管理，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控之后，还包括：根据所述数据对象的监控预警阈值，对数据对象的监控指标实际值超出所述监控预警阈值的数据对象进行报警，其中，所述监控预警阈值按照所述数据对象的历史数据预测得到，所述监控指标实际值按照所述监控逻辑对所述数据对象进行实际监控采集得到。即采集当前监控指标值最近N次执行的具体规则指标值,然后基于最近N次指标值进行建模计算预测本次采集指标值。通过比对本次实际采集指标值和预测指标值，确认本次采集指标值是否在预测值正常波动范围内，如果超出范围，则给出异常告警提示。
由于采用灰色系统理论进行数学建模，通过最近几次采集指标对下一次采集指标进行预测时计算量小，有效避免了直接采用回归分析进行大量的拟合计算。从而可降低数据监控告警时的预测计算量。
具体执行时，取最近四次监控指标值进行指标值预估为例：
记变量pij为当前采集指标范围内(最近四次指标)，为i第次，第j个指标的采集指标值；
记变量wij为当前采集指标范围内(最近四次指标)，第j个指标，前i次的指标值累加和，即wij为原始单独一类采集指标值经过一次累加生成的数据列，可用计算公式表示为(1)式：
Figure BDA0002555925400000091
在实际指标采集过程中，指标值一直是0的情况很少出现,因而每一类指标值经一次累加就可得到单调递增的非负数据列,呈现出某种规律性。这就可以采用微分拟合建模的方法，基于灰色系统理论，建立单变量一阶微分方程模型,其形式为(2)式：
Figure BDA0002555925400000092
基于灰色系统理论，微分方程(2)式的解为(3)式：
Figure BDA0002555925400000101
(3)式中bj和uj的解(向量形式)为
Figure BDA0002555925400000102
Figure BDA0002555925400000103
其中：
Figure BDA0002555925400000104
计算得到的wij是累加数据的模型计算值，通过该模型预测最新一次指标累加和之后，wij进行累减还原式(4)：
pij＝wij-w(i-1)j，i＝1,2,3,4,j＝1,2,... (4)
取i＝5,j＝1,2,..时，由(4)式便可对采集指标范围内，各个指标第5次的指标预测值。
在使用灰色系统理论进行指标值预测的过程中，可以通过对历史数据进行模拟预测，以确认预测值与实际值的波动范围。基于本例中最近四次记录预估下一次记录的方式，比如对过去一个月采集的指标进行模拟预测，以第i次，第i+1次，第i+2次，第i+3次采集的指标值预测第i+4次指标值(i≥1)，比对第i+4次预测的指标值和实际采集的指标值，计算该参数预测值和实际采集值的比值，如果在数据正常时，发现该比值在0.9到1.1之间，则使用预测值乘以0.9作为实际指标值下限值，预测值乘以1.1作为实际指标值上限值，下限值和上限值之间的集合(包括上限值和下限值)就是采集指标实际的波动范围，在超过这个波动范围的情况下，进行报警。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种数据监控装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的数据监控装置的结构框图，如图3所示，该装置包括：
获取模块30，用于在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
生成模块32，用于根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
执行模块34，用于执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
通过上述模块，由于在配置界面上获取监控对象参数和监控逻辑参数，可以自动生成待执行的监控语句，当执行所述监控语句时即可按照监控逻辑对数据对象进行监控。因此，可以解决在数据规则库中的维护成本较高、配置效率低的问题，达到提升数据规则配置效率、降低数据监控维护成本的效果。
上述数据监控装置中还包括，元数据管理模块用于维护数监控数据库中的表和字段信息。可以通过前端界面在数据库中创建表，通过前端查看具体的表和字段信息。对于已经存在的表，可以将表的名称和字段属性信息维护到系统中，并可以通过前端修改表结构，增加统一的时间信息列。
上述数据监控装置中还包括，周期表达式管理模块用于管理具体周期表达式信息，一张表可以配多个周期表达式，一个周期表达式下可以配多个规则。周期表达式包括全表和时间范围两种类型。全表类型的周期表达式执行规则的周期是整张表，时间范围周期表达式执行规则的周期是满足固定时间范围的数据，其中，时间范围字段是每张表统一的日期时间字段。时间范围类型的周期表达式配置的是一个规则运行的起始和结束相对日期，开始时间于实际调度时间前几天，结束时间于实际调度时间前几天。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了更好的理解上述数据监控处理流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本发明优选实施例可以单独建立规则模板表，给需要配置规则的表或者字段在前端界面上配置具体规则，然后动态生成规则可执行SQL。可以避免建立规则库的时间和人力成本，增加了规则配置的灵活性，提升规则配置效率。
图4为根据本发明优选实施例的一种可选的数据监控处理过程示意图，如图4所示，包括以下步骤：
步骤S402，开始。
步骤S404，创建周期表达式。
给具体的物理表创建周期表达式，如果不需要配置规则执行的时间范围，就配置全表类型的周期表达式，质量规则在调度执行的过程中针对于全表进行操作。配置时间范围类型的周期表达式，配置的是规则运行的相对时间范围，开始于实际调度时间前几天，记为变量start，结束于实际调度时间前几天，记为变量end，并且满足条件：start＞end≥0，具体的上限范围可以根据实际数据量定。举例来说，在配置周期表达式时，选择创建时间范围类型的表达式，start＝3，end＝1，该周期表达式实际调度日期为2019年9月6日，执行频率是每五分钟执行一次，那么该周期表达式下全部规则会在2019年9月6日零点零分去统计2019年9月3日零点零分至2019年9月5日零点零分该表的数据记录，等时间到达2019年9月6日零点五分时，该周期表达式下全部规则会去统计2019年9月3日零点五分至2019年9月5日零点五分该表的数据记录，一直到时间过了2019年9月6日，调度任务停止。
步骤S406，创建规则。
基于周期表达式创建规则。在前端界面配置表级或者字段级监控规则，如果是配置字段级规则可以在前端选择具体表字段名称，通过下拉列表方式选择具体规则模板，后端生成新的伪SQL规则语句。
步骤S408，批量调度执行规则。
具体执行时，调度任务以周期表达式为单位，批量执行规则。在调度规则模块配置具体的规则执行日期和执行频率，比如在前端配置调度时间为2019年9月6号零点到2019年9月8号零点，执行频率为每五分钟执行一次规则。如果周期表达式是全表类型，则直接在2019年9月6号零点至2019年9月8号零点时间周期内，每五分钟批量执行一次该周期表达式下全部规则。如果周期表达式类型为时间范围，则2019年9月6号零点到2019年9月8号零点时间范围内，每五分钟执行一次规则的过程中，先拉取一次当前时间，替换当前周期表达式下每个规则SQL中的$CHECK_TIME常量，得到一个新的可执行的SQL，然后去实际执行这个SQL规则。
步骤S410，拉取最近N次指标值生成预估值。
步骤S412，对比指标值超出预估范围。
监控告警管理。在每一次调度任务执行的过程中，对于批量执行的质量规则，获取每一个规则本次的指标值，然后采集每一个规则指标前n次执行记录的指标值，其中：8＞n≥4，使用灰色预测的方式建立预测数学模型，预估本次采集的指标值，然后将预测值和实际指标值进行比对。
步骤S414，记录指标执行记录。
步骤S416，发出告警
步骤S418，结束。
图5为根据本发明优选实施例的一种可选的数据监控处理过程示意图，如图5所示，包括以下步骤：
S502，开始。
S504，获取规则模板。
S506，更新模板表名。
S508，获取周期表达式类型。
S510，判断是否是全表类型。
S512，模板时间条件置空。
S514，更新模板时间字段。
S516，更新模板起始时间和结束时间。
S518，获取规则类型。
S520，判断是否时字段级。
S522，更新模板字段常量。
S524，保存规则。
S526，结束。
具体操作时，规则创建的主要参数信息在前端界面录入(规则名称、规则类型、规则模板、规则字段等)，后端首先获取到具体的规则SQL模板，使用真实监控的表名称替换掉表名变量$TABLE_NAME；然后获取到当前规则所属的周期表达式类型信息，判断是全表类型还是时间范围类型，如果是全表类型，直接把模板SQL的where条件替换为空字符串，进行全表操作；如果周期表达式是时间范围类型，就是用表的实际日期时间字段替换掉SQL模板中的日期字段常量$TIME_FIELD_NAME，用周期表达式的start和end变量替换掉SQL模板中的$START_DAY和$END_DAY常量；然后再判断下要创建的规则是表级还是字段级，如果是字段级就是用实际要验证的字段替换掉SQL模板中的常量$CHECK_FIELD_NAME；最后生成并保存规则对象。生成规则对象的SQL语句中，除了实际调度时间$CHECK_TIME之外，其他的变量均已经替换完成。$CHECK_TIME常量将不会在规则记录中进行替换，规则记录中只保存带有调度时间常量$CHECK_TIME的伪SQL语句。生成最终可实际执行的SQL语句在步骤3中进行。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
S2，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
S3，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
S2，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
S3，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据监控方法，其特征在于，包括：
在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
2.根据权利要求1所述的方法，其特征在于，
所述在配置界面上获取监控逻辑参数，包括：在所述配置界面上获取监控周期参数，其中，所述监控逻辑参数包括所述监控周期参数，所述监控周期参数用于指示对所述监控对象参数进行监控的目标监控周期；
根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句，其中，所述目标监控语句用于按照所述目标监控周期对所述数据对象进行监控。
3.根据权利要求2所述的方法，其特征在于，所述根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句之前，还包括：
对所述数据库中的一个数据表配置多个监控对象参数和多个监控逻辑参数；或
对所述数据库中的多个数据表同时配置监控对象参数和监控逻辑参数。
4.根据权利要求2所述的方法，其特征在于，所述根据所述监控对象参数和所述监控逻辑参数生成待执行的目标监控语句之后，还包括：
在一个所述目标监控对象周期下配置多个监控逻辑参数。
5.根据权利要求1所述的方法，其特征在于，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，包括：
根据所述监控对象参数中的实际监控对象更新预置模板，其中，所述实际监控对象用于指示待监控的所述数据对象，所述预置模板用于指示预先配置的所述监控逻辑参数；
根据对所述预置模板的更新结果，生成待执行的监控语句。
6.根据权利要求2所述的方法，其特征在于，根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，包括：
根据所述监控周期参数中的实际监控周期更新预置模板，其中，所述监控周期用于指示待监控的所述目标监控周期，所述预置模板用于指示预先配置的所述监控逻辑参数；
根据对所述预置模板的更新结果，生成待执行的监控语句。
7.根据权利要求1所述的方法，其特征在于，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：
获取实际监控对象，其中，所述实际监控对象至少包括以下之一：数据库表名、时间字段、字段名；
在所述实际监控对象属于表级的情况下时，根据所述实际监控逻辑生成待执行的监控语句；
在所述实际监控对象属于字段级的情况下时，将所述监控逻辑参数更新为所述实际监控对象之后，根据所述实际监控逻辑生成待执行的监控语句。
8.根据权利要求1所述的方法，其特征在于，根据所述监控对象参数和所述监控逻辑参数生成待执行的监控语句，包括：
获取实际监控逻辑，其中，所述实际监控逻辑至少包括以下之一：表行数，唯一值个数，唯一值率，空值个数，空值率，重复值个数，重复值率；
在所述实际监控逻辑属于全表类型的情况下时，进行全表监控操作；
在所述实际监控逻辑属于时间范围类型的情况下时，在预设时间范围内进行监控操作。
9.根据权利要求1所述的方法，其特征在于，执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控之后，还包括：
根据所述数据对象的监控预警阈值，对数据对象的监控指标实际值超出所述监控预警阈值的数据对象进行报警，其中，所述监控预警阈值按照所述数据对象的历史数据预测得到，所述监控指标实际值按照所述监控逻辑对所述数据对象进行实际监控采集得到。
10.一种数据监控装置，其特征在于，包括：
获取模块，用于在配置界面上获取监控对象参数和监控逻辑参数，其中，所述监控对象参数用于指示数据库中的数据对象，所述监控逻辑参数用于指示所述数据对象进行监控的监控逻辑；
生成模块，用于根据所述监控对象参数和监控逻辑参数生成待执行的监控语句，其中，所述监控语句用于按照预先配置的所述监控逻辑对所述监控数据对象进行监控；
执行模块，用于执行所述监控语句，以按照所述监控逻辑对所述数据对象进行监控。
CN202010589788.XA 2020-06-24 2020-06-24 数据监控方法及装置 Pending CN111737233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589788.XA CN111737233A (zh) 2020-06-24 2020-06-24 数据监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589788.XA CN111737233A (zh) 2020-06-24 2020-06-24 数据监控方法及装置

Publications (1)

Publication Number Publication Date
CN111737233A true CN111737233A (zh) 2020-10-02

Family

ID=72651005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589788.XA Pending CN111737233A (zh) 2020-06-24 2020-06-24 数据监控方法及装置

Country Status (1)

Country Link
CN (1) CN111737233A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579627A (zh) * 2020-12-28 2021-03-30 上海明略人工智能(集团)有限公司 Sql时间参数配置方法、系统、电子设备及存储介质
CN113672638A (zh) * 2021-08-06 2021-11-19 浙江大华技术股份有限公司 一种查询数据的方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209869A1 (en) * 2011-02-14 2012-08-16 International Business Machines Corporation Abstract data model extension through managed physical statement structures
CN104881256A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 用于对数据源的可用性进行监测的方法和装置
CN106844369A (zh) * 2015-12-03 2017-06-13 北京国双科技有限公司 对象化sql语句构造方法及装置
CN108717391A (zh) * 2018-05-16 2018-10-30 平安科技（深圳）有限公司 测试过程的监控装置、方法及计算机可读存储介质
CN109726073A (zh) * 2018-07-26 2019-05-07 平安科技（深圳）有限公司 数据库监控方法、装置、设备及可读存储介质
CN111177176A (zh) * 2019-11-18 2020-05-19 腾讯科技（深圳）有限公司 数据检测方法、装置及存储介质
CN111291990A (zh) * 2020-02-04 2020-06-16 浙江大华技术股份有限公司 一种质量监控处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209869A1 (en) * 2011-02-14 2012-08-16 International Business Machines Corporation Abstract data model extension through managed physical statement structures
CN104881256A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 用于对数据源的可用性进行监测的方法和装置
CN106844369A (zh) * 2015-12-03 2017-06-13 北京国双科技有限公司 对象化sql语句构造方法及装置
CN108717391A (zh) * 2018-05-16 2018-10-30 平安科技（深圳）有限公司 测试过程的监控装置、方法及计算机可读存储介质
CN109726073A (zh) * 2018-07-26 2019-05-07 平安科技（深圳）有限公司 数据库监控方法、装置、设备及可读存储介质
CN111177176A (zh) * 2019-11-18 2020-05-19 腾讯科技（深圳）有限公司 数据检测方法、装置及存储介质
CN111291990A (zh) * 2020-02-04 2020-06-16 浙江大华技术股份有限公司 一种质量监控处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579627A (zh) * 2020-12-28 2021-03-30 上海明略人工智能(集团)有限公司 Sql时间参数配置方法、系统、电子设备及存储介质
CN112579627B (zh) * 2020-12-28 2024-02-23 上海明略人工智能(集团)有限公司 Sql时间参数配置方法、系统、电子设备及存储介质
CN113672638A (zh) * 2021-08-06 2021-11-19 浙江大华技术股份有限公司 一种查询数据的方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN111158977B (zh) 一种异常事件根因定位方法及装置
CN105095056B (zh) 一种数据仓库数据监控的方法
JP4541364B2 (ja) 意味のある変動を明らかにする自動監視及び動的プロセスメトリクスの統計分析
US8489622B2 (en) Computer-implemented systems and methods for providing paginated search results from a database
US20150120263A1 (en) Computer-Implemented Systems and Methods for Testing Large Scale Automatic Forecast Combinations
CN105868373B (zh) 电力业务信息系统关键数据处理方法及装置
CN112231181B (zh) 数据异常更新检测方法、装置、计算机设备及存储介质
JP2018523195A (ja) データ品質分析
CN107885796A (zh) 信息推荐方法及装置、设备
CN103838818A (zh) 时间序列数据库的设定自动生成方法、系统及监视服务器
US11373199B2 (en) Method and system for generating ensemble demand forecasts
US9372734B2 (en) Outage window scheduler tool
CN103154904B (zh) 操作管理设备、操作管理方法和程序
US20200134642A1 (en) Method and system for validating ensemble demand forecasts
US20170300819A1 (en) Time-Series Prediction Apparatus and Time-Series Prediction Method
CN111402017A (zh) 一种基于大数据的信用评分方法和系统
JP2012226511A (ja) 歩留まり予測システムおよび歩留まり予測プログラム
CN112445690B (zh) 信息获取方法、装置及电子设备
CN111737233A (zh) 数据监控方法及装置
CN114546765A (zh) 一种集群监控方法、系统、设备以及介质
CN114416703A (zh) 数据完整性自动监控方法、装置、设备及介质
CN106560850A (zh) 计划生成装置以及计划生成方法
CN116562715B (zh) 指标数据监测方法、装置、计算机设备和存储介质
CN112686773A (zh) 一种基于融合业务拓扑的电力计量全链路关键业务异常定位模型构建方法
JP2020052451A (ja) 計算機システム及び業務フローのパターン生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination