CN110297742A - 数据监控系统、方法及服务器 - Google Patents
数据监控系统、方法及服务器 Download PDFInfo
- Publication number
- CN110297742A CN110297742A CN201910601905.7A CN201910601905A CN110297742A CN 110297742 A CN110297742 A CN 110297742A CN 201910601905 A CN201910601905 A CN 201910601905A CN 110297742 A CN110297742 A CN 110297742A
- Authority
- CN
- China
- Prior art keywords
- rule
- module
- monitored
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种数据监控系统、方法及服务器，涉及网络监控的技术领域，能够在执行引擎监控到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，可以无需人工调整数据监控阈值以实现对数据的自动监控，便于用户使用。
Description
技术领域
本发明涉及网络监控技术领域，尤其是涉及一种数据监控系统、方法及服务器。
背景技术
现有技术中，监控数据异常的具体过程一般是接收到数据后，通过执行部分SQL(Structured Query Language，结构化查询语言)模板，根据业务经验设定阈值，对于在阈值内部的被视为数据正常，否则就被视为数据异常，这种方式实现简单，而且因为SQL的通用性，扩展性较好可以满足大部分用户需求。
但是随着业务发展，开始设定的阈值可能不能满足当前业务需求，这就需要相关人员对阈值重新评估。一般不同来源的数据需要设置的阈值也不近相同，这样给业务人员带来很大的麻烦，不便于用户的使用。
发明内容
有鉴于此，本发明的目的在于提供一种数据监控系统、方法及服务器，以缓解上述的技术问题。
第一方面，本发明实施例提供了一种数据监控系统，其中，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；配置模块包括配置中心和规则数据库，配置中心用于接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块包括执行引擎，执行引擎用于在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还用于提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，执行模块还包括定时单元；定时单元与执行引擎通信；定时单元用于按照预设的定时周期定时向执行引擎发送启动指令，以便于定时启动执行引擎。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该系统还包括业务数据库；业务数据库与规则模块连接；业务数据库用于存储与待监控表的标识信息相匹配的表数据，以便于规则模块提取表数据对表数据进行数据异常判断。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，该系统还包括报警模块；报警模块与执行引擎连接；执行引擎还用于在判断结果为异常结果时触发报警模块推送报警信息至客户端。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，规则模块包括自定义规则单元；自定义规则单元用于存储规则模块中的自定义规则，其中，自定义规则为配置信息中包括的待监控表对应的规则信息。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，规则模块还包括规则生成单元；规则生成单元用于根据与待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成规则信息；其中，规则信息用于生成当前表数据的预测值。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，规则模块还包括计算单元和判断单元；计算单元用于对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元用于判断差值结果是否超过预先设定的阈值范围，以生成判断结果，并将判断结果发送至执行引擎。
第二方面，本发明实施例还提供一种数据监控方法，其中，该方法应用于上述的数据监控系统，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；该方法包括：配置模块包括配置中心和规则数据库，配置中心接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块包括执行引擎，执行引擎在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。
第三方面，本发明实施例还提供一种服务器，其中，该服务器包括处理器和存储器；其中，存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
第四方面，本发明实施例还提供一种计算机存储介质，用于存储计算机程序指令，当计算机执行计算机程序指令时，执行上述的方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种数据监控系统、方法及服务器，能够在执行引擎监控到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，可以无需人工调整数据监控阈值以实现对数据的自动监控，便于用户使用。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据监控系统的结构示意图；
图2为本发明实施例提供的另一种数据监控系统的结构示意图；
图3为本发明实施例提供的一种数据监控系统的处理流程图；
图4为本发明实施例提供的一种数据监控方法的流程图；
图5为本发明实施例提供的一种服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着网络技术的发展，越来越多的客户都在考虑或采纳业务集群化的方案。然而业务系统集群化后，不仅增加运行维护的工作强度，而且会使系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源的使用状况，及时发现可能导致系统故障的隐患，实现系统运营保障的关键。
另一方面，借助于集中监控解决方案，用户能够正确和及时地了解系统的运行状态，发现影响整体系统运行的瓶颈，帮助系统开发人员进行必要的系统优化和配置变更，甚至为系统的升级和扩容提供依据。强有力的监控和诊断工具还可以帮助运行维护人员快速地分析出应用故障原因，把工作人员从繁杂重复的劳动中解放出来。
目前，监控数据异常的具体过程一般是接收到数据后，通过执行部分SQL(Structured Query Language，结构化查询语言)模板，根据业务经验设定阈值，对于在阈值内部的被视为数据正常，否则就被视为数据异常，这种方式实现简单，而且因为SQL的通用性，扩展性较好可以满足大部分用户需求。
但是随着业务发展，开始设定的阈值可能不能满足当前业务需求，这就需要相关人员对阈值重新评估。一般不同来源的数据需要设置的阈值也不近相同，这样给业务人员带来很大的麻烦，不便于用户的使用基于此，本发明实施例提供的一种数据监控系统、方法及服务器，可以缓解上述技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据监控系统进行详细介绍。
实施例一：
本发明实施例提供了一种数据监控系统，如图1所示的一种数据监控系统的结构示意图，该系统包括：配置模块102、执行模块104以及规则模块106；配置模块和执行模块均与规则模块连接；
具体地，配置模块102包括配置中心108和规则数据库110，配置中心用于接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；执行模块104包括执行引擎112，执行引擎用于在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；规则模块还用于提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。
在实际使用时，由于待监控表的类型以及用户的需求不同，因此，用户可以通过配置中心将能够识别出待监控表的标识信息以及与待监控表对应的自定义的规则信息或者利用最小二乘法拟合生成的规则信息存储在规则数据库中，当执行引擎接收到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块在业务数据库中提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，以实现对待监控表中的数据进行自动监控。
本发明实施例提供的一种数据监控系统，能够在执行引擎监控到启动指令后，触发规则模块调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；以及，触发规则模块提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎，可以无需人工调整数据监控阈值以实现对数据的自动监控，便于用户使用。
在图1的基础上，图2示出了另一种数据监控系统的结构示意图，如图2所示，执行模块104还包括定时单元202；定时单元与执行引擎112通信；定时单元用于按照预设的定时周期定时向执行引擎发送启动指令，以便于定时启动执行引擎。具体实现时，定时单元按照预先人为设定的定时周期定时向执行引擎发送启动指令，使得执行引擎周期性的开启和关闭。
如图2所示，该系统还包括业务数据库204；业务数据库204与规则模块106连接；业务数据库用于存储与待监控表的标识信息相匹配的表数据，以便于规则模块提取表数据对表数据进行数据异常判断。并且，如图2所示，该系统还包括报警模块206；报警模块206与执行引擎112连接；执行引擎还用于在判断结果为异常结果时触发报警模块推送报警信息至客户端。
通常，用户可以将实际待监控表的表数据存储在业务数据库中使用，当执行引擎启动触发规则模块动作时，规则模块一方面到规则数据库中调用待监控表的标识信息和待监控表对应的规则信息，另一方面到业务数据库中提取与待监控表的标识信息相匹配的表数据，最后，将提取的与待监控表的标识信息相匹配的表数据利用上述自定义的规则信息或者利用最小二乘法拟合生成的规则信息判断表数据是否异常，并且，规则模块将判断结果返回至执行引擎，当表数据为正常时，则执行引擎不动作，当表数据为异常时，执行引擎触发报警模块推送报警信息至客户端，以提醒用户该待监控表的数据不符合当前用户的需求。
具体实现时，用户可以自定义判断待监控表的规则信息，其中，如图2所示，规则模块包括自定义规则单元208；自定义规则单元用于存储规则模块中的自定义规则，其中，自定义规则为配置信息中包括的待监控表对应的规则信息。
具体地，业务人员可以自定义自己的规则信息，例如，设置的自定义规则信息为表数据计算环比同比等，执行引擎执行规则完毕后，如果符合设置的规则信息，则认为数据正常，不需要做任何操作。如果不符合设置的规则信息，则认为数据异常，此时执行引擎会触发报警模块向相关负责人员发送报警。由相关人员进行二次确认数据是否异常。
如图2所示，规则模块还包括规则生成单元210；规则生成单元用于根据与待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成规则信息；其中，规则信息用于生成当前表数据的预测值。
具体地，当没有自定义规则信息时，可以调用规则生成单元的规则信息进行异常数据的判断，其中，在本实施例中规则生成单元的规则信息为根据与所述待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成所述规则信息，具体地，根据待监控表中的N-1天的数据利用最小二乘法拟合成一条增量数据与对应日期的直线y＝ax+b，其中，y表示增量数据，x表示日期，a、b为常数，在直线被拟合成之后，在依据平均绝对差算法，将前N-1天的表数据在对应直线的数据之上的做一个差值，将所有差值的绝对值取平均值，阈值的上限就以一个常数乘以平均值为准，同理，按照上面的方法将前N-1天的表数据和对应直线的数据之下的做一个差值，将所有差值的绝对值取平均值，阈值的下限就以一个常数乘以平均值为准，其中，上述阈值的上下限即为规则信息。
为了能够判断出数据是否异常，如图2所示，一般在规则模块还包括计算单元212和判断单元214；计算单元用于对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元用于判断差值结果是否超过预先设定的阈值范围，以生成判断结果，并将判断结果发送至执行引擎。
具体实现时，按照历史数据拟合好直线之后，当天的数据就可以预测出来了，将当天日期带入到直线ax+b中，得到当天的预测值y(预测，同时由于有当天的实际值y(实际)，因此，利用计算单元对当前表数据的真实值与预测值进行差值计算，以生成差值结果，并将差值结果发送至判断单元；判断单元根据差值结果以及从上述自定义规则单元或者规则生成单元获得的阈值上下限来判断当前表数据是否异常，如果该差值结果在上述阈值的上下限的范围内，则视为数据正常，否则，视为数据异常，这时执行引擎会触发报警模块向相关负责人员发送报警。
基于上述实施例，图3示出了一种数据监控系统的处理流程图，为了便于说明，图3中仅仅示出了配置中心、规则数据库、规则模块、业务数据库、执行引擎、定时单元和报警模块，以及各个结构之间在进行数据监控时的处理流程，如图3所示，数据监控系统的处理流程如下：
1、用户通过配置中心将待监控表的标识以及与该待监控表对应的自定义规则信息或者将默认的最小二乘法规则信息一并配置到规则数据库中；2、定时单元会按照预先设定的周期每隔一定时间启动一次，调用执行引擎，其中，执行引擎相当于各个组件的一个调度中心；3、当执行引擎被触发时它会调用规则模块；4、规则模块会遍历查询规则数据库并获取待监控表的标识以及具体的规则信息；5、由于业务数据即待监控表的数据全部存储在业务数据库中，当规则模块获取到待监控表的标识时，会到业务数据库中提取与待监测表的标识匹配的表数据，并根据规则信息去判断该表数据是否异常；6、规则模块并将判断结果返回给执行引擎；7、执行引擎在接收到判断结果后，根据结果去调用报警模块推送报警信息。
实施例二：
在上述实施例的基础上，本发明实施例还提供了一种数据监控方法，该方法应用于上述实施例提供的数据监控系统，该系统包括：配置模块、执行模块以及规则模块；配置模块和执行模块均与规则模块连接；如图4所示的一种数据监控方法的流程图，该方法包括以下步骤：
步骤S402，配置模块包括配置中心和规则数据库，配置中心接收用户输入的配置信息，并将配置信息存储在规则数据库，其中，配置信息包括待监控表的标识信息以及与待监控表对应的规则信息；
步骤S404，执行模块包括执行引擎，执行引擎在监控到启动指令后触发规则模块，以调用存储在规则数据库中待监控表的标识信息和待监控表对应的规则信息；
步骤S406，规则模块还提取与待监控表的标识信息相匹配的表数据，并利用规则信息判断表数据是否异常，以及，将判断结果发送至执行引擎。
本发明实施例提供的数据监控方法，与上述实施例提供的数据监控系统具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种服务器，其中，该服务器包括存储器以及处理器，存储器用于存储支持处理器执行上述方法的程序，处理器被配置为用于执行存储器中存储的程序。
参见图5所示的一种服务器的结构框图，包括：处理器500，存储器501，总线502和通信接口503，所述处理器500、通信接口503和存储器501通过总线502连接；处理器500用于执行存储器501中存储的可执行模块，例如计算机程序。
其中，存储器501可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线502可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器500可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器500读取存储器501中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机存储介质，其中，用于存储计算机程序指令，当计算机执行计算机程序指令时，执行上述的方法。
本发明实施例所提供的数据监控系统、方法及服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法和服务器的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据监控系统，其特征在于，所述系统包括：配置模块、执行模块以及规则模块；所述配置模块和所述执行模块均与所述规则模块连接；
所述配置模块包括配置中心和规则数据库，所述配置中心用于接收用户输入的配置信息，并将所述配置信息存储在所述规则数据库，其中，所述配置信息包括待监控表的标识信息以及与所述待监控表对应的规则信息；
所述执行模块包括执行引擎，所述执行引擎用于在监控到启动指令后触发所述规则模块，以调用存储在所述规则数据库中所述待监控表的标识信息和所述待监控表对应的规则信息；
所述规则模块还用于提取与所述待监控表的标识信息相匹配的表数据，并利用所述规则信息判断所述表数据是否异常，以及，将判断结果发送至所述执行引擎。
2.根据权利要求1所述的系统，其特征在于，所述执行模块还包括定时单元；所述定时单元与所述执行引擎通信；
所述定时单元用于按照预设的定时周期定时向所述执行引擎发送所述启动指令，以便于定时启动所述执行引擎。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括业务数据库；所述业务数据库与所述规则模块连接；
所述业务数据库用于存储与所述待监控表的标识信息相匹配的表数据，以便于所述规则模块提取所述表数据对所述表数据进行数据异常判断。
4.根据权利要求1所述的系统，其特征在于，所述系统还包括报警模块；所述报警模块与所述执行引擎连接；
所述执行引擎还用于在所述判断结果为异常结果时触发所述报警模块推送报警信息至客户端。
5.根据权利要求1所述的系统，其特征在于，所述规则模块包括自定义规则单元；
所述自定义规则单元用于存储所述规则模块中的自定义规则，其中，所述自定义规则为所述配置信息中包括的所述待监控表对应的规则信息。
6.根据权利要求5所述的系统，其特征在于，所述规则模块还包括规则生成单元；
所述规则生成单元用于根据与所述待监控表的标识信息相匹配的历史表数据利用最小二乘法拟合生成所述规则信息；
其中，所述规则信息用于生成当前所述表数据的预测值。
7.根据权利要求6所述的系统，其特征在于，所述规则模块还包括计算单元和判断单元；
所述计算单元用于对当前所述表数据的真实值与所述预测值进行差值计算，以生成差值结果，并将所述差值结果发送至所述判断单元；
所述判断单元用于判断所述差值结果是否超过预先设定的阈值范围，以生成所述判断结果，并将所述判断结果发送至所述执行引擎。
8.一种数据监控方法，其特征在于，所述方法应用于权利要求1～7任一项所述的数据监控系统，所述系统包括：配置模块、执行模块以及规则模块；所述配置模块和所述执行模块均与所述规则模块连接；所述方法包括：
所述配置模块包括配置中心和规则数据库，所述配置中心接收用户输入的配置信息，并将所述配置信息存储在所述规则数据库，其中，所述配置信息包括待监控表的标识信息以及与所述待监控表对应的规则信息；
所述执行模块包括执行引擎，所述执行引擎在监控到启动指令后触发所述规则模块，以调用存储在所述规则数据库中所述待监控表的标识信息和所述待监控表对应的规则信息；
所述规则模块还提取与所述待监控表的标识信息相匹配的表数据，并利用所述规则信息判断所述表数据是否异常，以及，将判断结果发送至所述执行引擎。
9.一种服务器，其特征在于，所述服务器包括处理器和存储器；其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求8所述的方法步骤。
10.一种计算机存储介质，其特征在于，用于存储计算机程序指令，当计算机执行所述计算机程序指令时，执行如权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601905.7A CN110297742B (zh) | 2019-07-04 | 2019-07-04 | 数据监控系统、方法及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601905.7A CN110297742B (zh) | 2019-07-04 | 2019-07-04 | 数据监控系统、方法及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110297742A true CN110297742A (zh) | 2019-10-01 |
| CN110297742B CN110297742B (zh) | 2023-12-19 |
Family
ID=68030468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910601905.7A Active CN110297742B (zh) | 2019-07-04 | 2019-07-04 | 数据监控系统、方法及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110297742B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324593A (zh) * | 2020-02-17 | 2020-06-23 | 广州虎牙科技有限公司 | 数据表检测方法、装置、电子设备和计算机可读存储介质 |
| CN111353714A (zh) * | 2020-03-03 | 2020-06-30 | 中国建设银行股份有限公司 | 数据监控方法、服务端、客户端和系统 |
| CN112348395A (zh) * | 2020-11-20 | 2021-02-09 | 浙江百应科技有限公司 | 一种数据质量可视化检测系统及方法 |
| CN113157555A (zh) * | 2021-03-05 | 2021-07-23 | 上海中通吉网络技术有限公司 | 用于线上压测数据漏库实时检测的系统、方法及设备 |
| CN115086147A (zh) * | 2022-06-14 | 2022-09-20 | 康键信息技术（深圳）有限公司 | 一种业务数据监控预警方法、装置、介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106126391A (zh) * | 2016-06-28 | 2016-11-16 | 北京百度网讯科技有限公司 | 系统监控方法和装置 |
| CN106371984A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据监控方法、设备和系统 |
| CN107220301A (zh) * | 2017-05-10 | 2017-09-29 | 北京小度信息科技有限公司 | 一种可配置化的数据监控方法及装置 |
| CN109102080A (zh) * | 2018-08-21 | 2018-12-28 | 广发证券股份有限公司 | 一种数值型金融数据质量监控系统及方法 |
| CN109344394A (zh) * | 2018-08-30 | 2019-02-15 | 广发证券股份有限公司 | 一种文本类数据质量监控方法与系统 |
-
2019
- 2019-07-04 CN CN201910601905.7A patent/CN110297742B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106126391A (zh) * | 2016-06-28 | 2016-11-16 | 北京百度网讯科技有限公司 | 系统监控方法和装置 |
| CN106371984A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据监控方法、设备和系统 |
| CN107220301A (zh) * | 2017-05-10 | 2017-09-29 | 北京小度信息科技有限公司 | 一种可配置化的数据监控方法及装置 |
| CN109102080A (zh) * | 2018-08-21 | 2018-12-28 | 广发证券股份有限公司 | 一种数值型金融数据质量监控系统及方法 |
| CN109344394A (zh) * | 2018-08-30 | 2019-02-15 | 广发证券股份有限公司 | 一种文本类数据质量监控方法与系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111324593A (zh) * | 2020-02-17 | 2020-06-23 | 广州虎牙科技有限公司 | 数据表检测方法、装置、电子设备和计算机可读存储介质 |
| CN111353714A (zh) * | 2020-03-03 | 2020-06-30 | 中国建设银行股份有限公司 | 数据监控方法、服务端、客户端和系统 |
| CN112348395A (zh) * | 2020-11-20 | 2021-02-09 | 浙江百应科技有限公司 | 一种数据质量可视化检测系统及方法 |
| CN113157555A (zh) * | 2021-03-05 | 2021-07-23 | 上海中通吉网络技术有限公司 | 用于线上压测数据漏库实时检测的系统、方法及设备 |
| CN115086147A (zh) * | 2022-06-14 | 2022-09-20 | 康键信息技术（深圳）有限公司 | 一种业务数据监控预警方法、装置、介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110297742B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297742A (zh) | 数据监控系统、方法及服务器 | |
| CN107943809A (zh) | 数据质量监控方法、装置及大数据计算平台 | |
| CN104285212B (zh) | 用于建模在线商务行为和检测异常值的自动化分析系统 | |
| JP5245211B2 (ja) | 監視システム | |
| CN108737182A (zh) | 系统异常的处理方法及系统 | |
| CN106844138A (zh) | 运维报警系统及方法 | |
| CN105323111A (zh) | 一种运维自动化系统及方法 | |
| CN106933956A (zh) | 数据挖掘方法和装置 | |
| KR20110115168A (ko) | 실제 제조 타겟을 모니터링하는데 있어 예측 데이터의 이용 | |
| CN111459763A (zh) | 跨kubernetes集群监控系统及方法 | |
| CN103106585A (zh) | 产品信息的实时去重方法和装置 | |
| CN110287316A (zh) | 一种告警分类方法、装置、电子设备及存储介质 | |
| CN112445854A (zh) | 多源业务数据实时处理方法、装置、终端及存储介质 | |
| CN102609789A (zh) | 图书馆信息监控与异常预测系统 | |
| CN111652280A (zh) | 基于行为的目标物数据分析方法、装置及存储介质 | |
| CN109389518A (zh) | 关联分析方法及装置 | |
| CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
| CN115423289A (zh) | 智能板材加工车间数据处理方法及终端 | |
| CN108537243A (zh) | 一种违规告警方法及装置 | |
| CN104616173A (zh) | 预测用户流失的方法以及设备 | |
| US20100036762A1 (en) | System and Method for Tracking a Billing Cycle | |
| CN109062769A (zh) | It系统性能风险趋势预测的方法、装置和设备 | |
| CN115314499A (zh) | 适用于电力领域的多终端协同工作方法及系统 | |
| CN112799868B (zh) | 一种根因确定方法、装置、计算机设备及存储介质 | |
| CN110182871A (zh) | 一种基于全自动加药系统的水处理方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |