CN113297039A - 数据监控方法及装置 - Google Patents
数据监控方法及装置 Download PDFInfo
- Publication number
- CN113297039A CN113297039A CN202010721957.0A CN202010721957A CN113297039A CN 113297039 A CN113297039 A CN 113297039A CN 202010721957 A CN202010721957 A CN 202010721957A CN 113297039 A CN113297039 A CN 113297039A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- rule
- monitored data
- monitored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供数据监控方法及装置,其中所述数据监控方法包括:根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据监控方法及装置。
背景技术
随着互联网技术的发展,以及互联网技术的快速普及,诸多场景、领域都会产生海量的数据,大数据平台的规模也随着用户、企业的需求逐渐扩大和增多,对于大数据平台来讲,运维体系是重中之重的一个环节。在运维体系中,数据监控报警是保证稳定性的重要一环,有助于运维人员或系统快速发现故障,及时进行干预,降低故障带来的影响。然而,用户或企业的需求千变万化,对报警的需求也各有不同,单独针对各个场景进行设定不同的报警项,将花费大量的物力,并且对资源的消耗也是一笔较大的开支,因此亟需一种有效的方案以解决该问题。
发明内容
有鉴于此,本申请实施例提供了一种数据监控方法。本申请同时涉及一种数据监控装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面,提供了一种数据监控方法,包括:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
可选的,所述根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测步骤执行之前,还包括:
获取所述被监控数据;
确定所述被监控数据的数据类型;
根据所述数据类型选择所述监控规则集群。
可选的,所述根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,包括:
提取所述被监控数据的时间信息;
根据所述监控规则集群中监控规则的优先级顺序对所述时间信息进行时间生效检测,作为对所述被监控数据的生效检测。
可选的,所述在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则,包括:
确定所述时间信息的时刻信息;
在所述时刻信息触发所述监控规则集群中监控规则的时间生效策略的情况下,将所述时间生效策略对应的监控规则作为所述初始监控规则。
可选的,所述将所述生效策略对应的监控规则确定为初始监控规则步骤执行之后,还包括:
确定所述被监控数据的属性数据,并判断所述属性数据是否满足所述初始监控规则中的匹配策略;
若是,执行所述确定所述被监控数据的数据异常等级步骤;
若否,选择优先级小于所述初始监控规则的监控规则组成子监控规则集群,并根据所述子监控规则集群中监控规则的优先级顺序对所述被监控数据进行生效检测。
可选的,所述确定所述被监控数据的数据异常等级,包括:
通过所述初始监控规则中的判定策略对所述被监控数据进行检测;
根据检测结果确定所述被监控数据的所述数据异常等级。
可选的,所述确定所述被监控数据的数据异常等级,包括:
确定所述被监控数据的记录次数,并判断所述记录次数是否大于所述判定策略中预设的记录次数阈值;
若是,确定所述被监控数据的历史记录时间和目标记录时间;
基于所述历史记录时间和所述目标记录时间计算所述被监控数据的记录时间差值;
判断所述记录时间差值是否大于预设时间差值;
在所述记录时间差值大于预设时间差值的情况下,基于所述初始监控规则的升级策略对所述被监控数据的初始数据异常等级进行升级处理,确定所述数据异常等级;
在所述记录时间差值不大于预设时间差值的情况下,基于所述初始监控规则的降级策略对所述被监控数据的初始数据异常等级进行降级处理,确定所述数据异常等级。
可选的,所述判断所述记录次数是否大于所述判定策略中预设的记录次数阈值步骤的判断结果为否,则执行如下操作:
根据所述初始监控规则在所述监控规则集群中的优先级位置,确定所述被监控数据的第一数据异常等级;
根据所述被监控数据的历史记录信息,确定所述被监控数据的第二数据异常等级;
基于所述第一数据异常等级和所述第二数据异常等级,计算所述被监控数据的所述数据异常等级。
可选的,所述基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息,包括:
根据所述初始监控规则的通知策略检测所述数据异常等级是否大于预设等级阈值;
若是,根据所述通知策略生成所述提醒信息,并将所述提醒信息发送至所述被监控数据的所述监管方。
可选的,所述基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息步骤执行之后,还包括:
接收所述监管方针对所述提醒信息返回的调整指令;
按照所述调整指令对所述被监控数据所属的资源节点进行资源调整,并根据资源调整结果生成验证数据;
通过所述初始监控规则对所述验证数据进行监控,并向所述监管方发送所述验证数据的监控结果。
可选的,所述被监控数据包括下述至少一项:
服务器资源数据、购物订单数据、数据库监测数据;
相应的,所述监控规则集群包括下述至少一项:
服务器资源规则集群、购物订单规则集群、数据库监测规则集群;
相应的,所述提醒信息包括下述至少一项:
服务器资源负载提醒、购物订单异常提醒、数据库异常提醒。
可选的,包括:
根据所述服务器资源规则集群中服务器资源规则的优先级顺序,对所述服务器资源数据进行生效检测;
在所述服务器资源数据触发所述服务器资源规则集群中服务器资源规则的生效策略的情况下,将所述生效策略对应的服务器资源规则确定为目标服务器资源规则;
在所述服务器资源数据满足所述目标服务器资源规则中的匹配策略的情况下,确定所述服务器资源数据的数据异常等级;
基于所述数据异常等级触发所述目标服务器资源规则中的通知策略,并根据触发结果向所述服务器资源数据的监管方发送服务器资源负载提醒。
根据本申请实施例的第二方面,提供了一种数据监控装置,包括:
生效检测模块,被配置为根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
确定规则模块,被配置为在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
确定等级模块,被配置为在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
发送信息模块,被配置为基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
根据本申请实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现任意所述数据监控方法的步骤。
本申请提供的数据监控方法,通过监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,并在被监控数据触发生效策略后,将生效策略所属的监控规则确定为被监控数据对应的初始监控规则,之后在被监控数据满足初始监控规则总的匹配策略的情况下,确定被监控数据的数据异常等级,并基于数据异常等级触发初始监控规则中的通知策略,并根据触发结果向被监控数据的监管方发送提醒信息,实现了通过多种策略的组合,灵活的对被监控数据进行监控,并且集群中集合了较多的监控规则,可以适配更多易于变化的场景,从而有效的提高了数据运维体系的数据监控准确性和高效性。
附图说明
图1是本申请一实施例提供的一种数据监控方法的流程图;
图2是本申请一实施例提供的一种数据监控方法的示意图;
图3是本申请一实施例提供的一种应用于计算机资源监控场景的数据监控方法的处理流程图;
图4是本申请一实施例提供的一种数据监控装置的结构示意图;
图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
报警项:用来描述某一个特定的服务监控报警项;例如集群的SLA(Service LevelAgreement,服务级别协议)报警。
报警规则:报警规则用来描述具体的报警策略,一个报警项可以包含多个报警规则,报警规则规定了对监控数据(Metric)的匹配策略,生效策略,判定策略,升级策略,通知策略等。
生效策略:用于判定报警规则是否生效。
匹配策略:报警规则是否匹配适用于某条被监控数据。
判定规则:判定某条被监控数据是否触发了报警,比如达到报警阈值,及触发的报警级别等。
升级策略:用于判断已触发的报警是否需要提升报警级别;降级策略:用于判断已触发的报警是否需要降低报警级别。
通知策略:用于判断已出发的报警是否需要发送通知,主要用于配置报警通知的静默策略。
target:用于唯一确定报警规则的监控对象,每条监控数据metric都会制定一个target;比如针对机器报警的监控数据target可用hostname或者ip设置,针对bucket报警可用bucket_name等。
在本申请中,提供了一种数据监控方法,本申请同时涉及一种数据监控装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种数据监控方法的流程图,图2示出了根据本申请一实施例提供的一种数据监控方法的示意图,其中图1具体包括以下步骤:
步骤S102,根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测。
实际应用中,在运维体系下,数据监控报警是保证稳定性的重要一环,不仅可以帮助运维人员快速发现故障,还可以及时对发生的故障进行干预,从而降低故障带来的影响,然而,由于用户或者企业的需求千变万化,并且不同的需求对应不同的报警需求,因此报警规则的灵活性至关重要,如果灵活性不高,可能造成故障无法及时排除,从而影响上下游服务的正常运行。
本申请提供的数据监控方法,为了能够实现提高报警规则的灵活性,以及提高运维场景下监控准确性,将通过监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,并在被监控数据触发生效策略后,将生效策略所属的监控规则确定为被监控数据对应的初始监控规则,之后在被监控数据满足初始监控规则总的匹配策略的情况下,确定被监控数据的数据异常等级,并基于数据异常等级触发初始监控规则中的通知策略,并根据触发结果向被监控数据的监管方发送提醒信息,实现了通过多种策略的组合,灵活的对被监控数据进行监控,并且集群中集合了较多的监控规则,可以适配更多易于变化的场景,从而有效的提高了数据运维体系的数据监控准确性和高效性。
具体实施时,所述监控规则具体是指对被监控数据进行监控的规则,所述监控规则集群具体是指由多个监控规则组成的集群,需要说明的是,所述监控规则中包含多个不同的策略,所述监控规则集群中包含多个不同的规则;相应的,所述被监控数据可以是服务器资源数据、购物订单数据或数据库监测数据;所述监控规则集群可以是服务器资源规则集群、购物订单规则集群或数据库监测规则集群;进一步的,所述提醒信息可以是服务器资源负载提醒、购物订单异常提醒或数据库异常提醒。
基于此,本申请提供的数据监控方法,一方面可以应用于服务器资源监控场景,具体是指通过服务器资源规则集群中的服务器资源规则对服务器资源数据进行监控,从而得出服务器资源数据所属的服务器存在的故障,以实现及时排除故障。例如,获取到计算机M的CPU利用率达到了98%,通过计算机资源规则集群中的CPU利用率规则对计算机M的CPU利用率数据进行监控,从而分析出计算机M是否存在故障,以确保及时对故障进行排除,保证计算机M的正常运行。
另一方面可以应用于购物订单监控场景,具体是指通过购物订单规则集群中的购物订单规则对购物订单数据进行监控,从而得出购物订单数据所属的购物订单存在的问题,以实现及时对购物订单进行排查和监管。例如,获取到购物订单S消费数额达到了1万元,通过购物订单规则集群中的购物订单规则对购物订单S的消费数额进行监控,从而分析出购物订单S是否存在消费异常,以确保及时对购物订单S进行监管,避免发生刷单等问题。
此外,本申请提供的数据监控方法,还可以应用于数据库监测场景、资金监测场景或天气数据检测场景,均可以实现对数据的监控,根据监控结果向监管方发起提醒,及时对存在异常或者不规范的数据所属的节点进行调整,从而降低故障带来的损失和异常影响。
本实施例将以所述被监控数据为购物订单数据,在购物订单数据监控场景中对所述数据监控方法进行描述,需要说明的是,其他应用场景中的实现方法均可参见本实施例中的描述内容,本实施例在此不作过多赘述。
进一步的,在对所述被监控数据进行生效检测之前,需要根据所述被监控数据的数据类型选择对应的监控规则集群,才能够实现准确的对所述被监控数据进行监控,本实施例中,具体实现方式如下所述:
获取所述被监控数据;
确定所述被监控数据的数据类型;
根据所述数据类型选择所述监控规则集群。
具体的,在获取到上游服务发来的被监控数据之后,将确定所述被监控数据的数据类型,之后根据所述数据类型选择与所述被监控数据匹配的监控规则集群,以用于后续对所述被监控数据进行监控。
基于此,由于服务平台需要监控的数据种类较多,并且不同的数据需要采用不同的监控规则进行监控,故为了能够提高对数据监控的准确性,可以根据不同的被监控数据的数据类型设置不同的监控规则,并将监控规则进行整合为监控规则集群,从而实现可以应对相同数据类型下不同被监控数据的监控过程。
例如,获取到购物订单数据,确定购物订单数据的数据类型是消费类型,则选择对消费类型的数据进行监控的购物订单规则集群进行后续的数据监控过程;或者获取到服务器资源数据,确定服务器资源数据的数据类型是资源消耗类型,则选择对资源消耗类型的数据进行监控的服务器资源规则集群进行后续的监控过程。
此外,在对所述被监控数据进行监控处理之前,还需要根据服务平台的服务范围建立监控规则集群,即针对服务器资源数据建立服务器资源规则集群,针对购物订单数据建立购物订单规则集群,针对数据库监测数据建立数据库监测规则集群等,从而实现针对不同场景的被监控数据,确定匹配的监控规则集群,从而提高对被监控数据的监控准确性,以及能够更准确的确定被监控数据存在的风险。
更进一步的,在确定所述被监控数据对应的监控规则集群的基础上,此时将开始对所述被监控数据进行监控处理,而在此过程中,为了能够选择监控规则集群中与被监控数据匹配的监控规则,从而准确的对所述被监控数据进行监控处理,本实施例中,具体实现方式如下所述:
提取所述被监控数据的时间信息;
根据所述监控规则集群中监控规则的优先级顺序对所述时间信息进行时间生效检测,作为对所述被监控数据的生效检测。
具体的,所述时间信息中包含被监控数据的生成时间、开始进行监控处理的时间(确定与所述被监控数据匹配的监控规则集群的时间)和/或传输监控规则集群的时间等,所述时间生效检测具体是指检测所述被监控数据是否满足监控规则集群中各个监控规则的时间区间;需要说明的是,所述监控规则集群中各个监控规则中包含不同的时间区间,从而实现对被监控数据按照检测所属时间区间的方式进行生效检测,以进行后续的监控过程。
并且,所述监控规则集群中的监控规则按照优先级顺序进行排序,优先级最高的监控规则表示监控风险最大的被监控数据,优先级最低的监控规则表示监控风险最低的被监控数据,按照风险程度对监控规则集群进行优先级排序,之后在获得被监控数据后,将选择优先级最高的监控规则对所述被监控数据进行生效检测,若未检测成功,则选择下一优先级的监控规则对所述被监控数据继续进行生效检测,以此类推,直至被监控数据被生效检测成功后,执行后续步骤即可。
基于此,时间生效检测的过程具体是指:监控规则集群中监控规则的优先级顺序是按照风险程度进行排序,即在日常上班时间若被监控数据表示故障,可能对上下游服务影响较大,则优先级较高的监控规则对应不同时间段的上班时间,而在午夜时间若被监控数据表示故障,虽然对上下游服务影响较大,但是对用户影响较小,则优先级较低的监控规则对应不同时间段的午夜时间。
例如购物订单规则集群中包含24个购物订单规则,分别是购物订单规则R1,购物订单R2,购物订单规则R3…购物订单规则R24;优先级顺序为R1,R2,R3…R24(按照数字大小顺序进行排序),确定购物订单规则R1优先级最高,对应的时间区间是9点至11点,其次是购物订单规则R2对应的时间区间是10点至12点,之后是购物订单规则R3对应的时间是11点至13点……最后是购物订单规则R24对应的时间是8点至10点。
在获取到购物订单数据后,将基于购物订单规则集群中购物订单规则的优先级顺序对购物订单数据进行时间生效检测,即检测购物订单数据符合集群中那个规则的时间区间,之后按照购物订单数据符合的规则进行后续的监控处理。
实际应用中,所述监控规则集群中监控规则的优先级顺序还可以是按照被监控数据的数据量的大小进行排序,即监控规则监控的数据量越大,优先级越高,反之监控规则监控的数据量越小,优先级越低;所述监控规则集群中监控规则的优先级顺序可以根据实际应用场景进行设定,本实施例在此不作过多限定。
综上,通过对所述被监控数据进行时间生效检测,可以有效的提高生效检测的准确性,并且通过时间生效检测可以避免其他维度的数据对检测结果的准确性造成影响,以实现后续准确的确定被监控数据对应的监控规则,以进行监控处理过程。
步骤S104,在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则。
具体的,在上述根据监控规则集群中监控规则的优先级顺序对所述被监控数据进行生效检测的基础上,进一步的,在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,说明所述被监控数据存在一定的风险,将需要进行后续的监控处理过程,则将所述生效策略所属的监控规则作为所述被监控数据的初始监控规则,后续将根据所述初始监控规则对所述被监控数据进行监控处理。
其中,所述生效策略具体是指检测所述被监控数据是否满足监控规则的设定条件,生效策略可以时间段生效策略、每日区间生效策略或者日期生效策略,即检测被监控数据是否满足监控规则设定的时间段、每日区间或者日期等;所述初始监控规则具体是指需要对所述被监控数据进行后续监控处理的监控规则,属于所述监控规则集群。
进一步的,在确定所述被监控数据的初始监控规则的过程中,由于是对所述被监控数据进行时间生效检测,则需要根据所述时间信息中的时刻信息进行检测是否触发所述时间生效策略,从而准确的确定所述初始监控规则,本实施例中,具体实现方式如下所述:
确定所述时间信息的时刻信息;
在所述时刻信息触发所述监控规则集群中监控规则的时间生效策略的情况下,将所述时间生效策略对应的监控规则作为所述初始监控规则。
具体的,所述时刻信息具体是指所述被监控数据的生成时刻对应的信息,所述时间生效策略具体是指检测所述时刻信息是否所属监控规则的时间区间,基于此,在确定所述被监控数据的时刻信息后,将根据所述时刻信息对所述被监控数据进行生效检测,在所述时刻信息触发所述监控规则集群中监控规则的时间生效策略的情况下,说明所述被监控数据存在一定的风险,需要进行进一步的监控处理,则将所述时刻信息触发的时间生效策略确定为目标时间生效策略,并确定所述目标时间生效策略所属的监控规则,将此监控规则确定为所述被监控数据对应的初始监控规则,以进行后续准确的监控处理过程。
沿用上例,购物订单数据的生成时间是16:03,通过购物订单规则集群中购物订单规则的优先级顺序对购物订单数据进行生效检测,确定购物订单数据的生成时间16:03满足购物订单规则R7的时间生效策略(对应时间区间15点至17点),则将购物订单规则R7确定为购物订单数据的目标购物订单规则,以用于后续对购物订单数据进行更深层次的监控处理。
具体实施时,在对购物订单数据进行时间生效检测的过程中,优先检测购物订单规则R1中的时间生效策略是否被购物订单数据所触发,若未触发,则检测购物订单规则R2中的时间生效策略是否被购物订单数据所触发,以此类推,直至确定购物订单数据触发购物订单规则R7中的时间生效策略的情况下,将购物订单规则R7确定为购物订单数据的初始监控规则。
此外,在确定所述被监控数据的初始监控规则的基础上,将需要更进一步的检测所述初始监控规则是否符合被监控数据,即检测初始监控规则是否能够准确的对所述被监控数据进行监控处理,本实施例中,具体实现方式如下所述:
确定所述被监控数据的属性数据,并判断所述属性数据是否满足所述初始监控规则中的匹配策略;
若是,执行下述步骤S106;若否,选择优先级小于所述初始监控规则的监控规则组成子监控规则集群,并根据所述子监控规则集群中监控规则的优先级顺序对所述被监控数据进行生效检测。
具体的,所述属性数据具体是指所述被监控数据的键值、被监控数据的精准类型或者被监控数据的发送节点等;所述匹配策略具体是指检测所述初始监控规则是否能够对所述被监控数据进行监控处理,所述匹配策略包括但不限于按照键值进行检测,按照类型进行检测或者按照发送节点进行检测。
基于此,在确定所述被监控数据的属性数据后,将根据所述属性数据判断所述被监控数据是否满足所述初始监控规则中的匹配策略,若是,说明初始监控规则能够准确的对所述被监控数据进行后续深层次的监控处理,则执行后续步骤S106即可;若否,说明初始监控规则不能够准确的对所述被监控数据进行后续深层次的监控处理,则需要重新对所述被监控数据进行生效检测,但是由于优先级大于初始监控规则的监控规则不会被所述被监控数据所触发,故直接将优先级小于初始监控规则的监控规则组成新的监控规则集群对所述被监控数据继续进行生效检测即可。
具体实施时,将选择优先级小于所述初始监控规则的监控规则组成子监控规则集群,并根据子监控规则集群中监控规则的优先级顺序对所述被监控数据继续进行生效检测,直至被监控数据触发生效策略,并满足生效策略所属的监控规则的匹配策略,将此监控规则作为所述被监控数据对应的目标监控规则,再进行后续的监控处理过程。
沿用上例,在确定购物订单数据触发购物订单规则R7的基础上,将购物订单数据的键值检测是否满足购物订单规则R7的匹配策略,即检测购物订单数据的键值是否与购物订单规则R7预设的键值匹配,若是,则确定购物订单规则R7可以对购物订单数据进行监控处理,若否,则说明购物订单规则R7无法对购物订单数据进行监控处理,则选择优先级小于购物订单规则R7的购物订单规则R8至R24组成子购物订单规则集群,按照购物订单规则R8至R24的优先级顺序对购物订单数据进行生效检测,直至确定购物订单数据满足购物订单规则的生效策略,以及确定匹配购物订单规则中的匹配策略,则将该购物订单规则确定为购物订单数据的目标购物订单规则,目标购物订单规则为R8,即购物订单数据的时间符合目标购物订单规则R8的生效策略(16点至18点时间区间),并且购物订单数据的键值与目标购物订单规则R8的预设键值匹配,后续通过目标购物订单规则R8对购物订单数据进行监控处理即可。
综上,在初始监控规则中的匹配策略不符合被监控数据的情况下,可以在所述监控规则集群中选择还未进行过生效检测的监控规则组成子监控规则集群,继续对所述被监控数据进行生效检测,直至获得生效且匹配的监控规则,再对被监控数据进行监控处理,进一步提高确定监控规则的准确性,有助于提高对被监控数据进行监控的准确性。
步骤S106,在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级。
具体的,在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,此时说明所述初始监控规则可以对所述被监控数据进行后续的监控处理,进一步将所述初始监控规则作为所述被监控数据对应的目标监控规则,进行后续的监控处理即可,并确定所述被监控数据的数据异常等级,以实现根据所述数据异常等级对所述被监控数据进行风险判断,所述数据异常等级越高,表明所述被监控数据的风险越大,反之所述数据异常等级越低,表明所述被监控数据的风险越低。
进一步的,在确定所述被监控数据的数据异常等级的过程中,为了能够准确的确定所述被监控数据的数据异常等级,以及后续可以随时向监管方发送提醒信息,本实施例中,将通过如下方式进行确定所述数据异常等级,具体实现方式如下所述:
(1)通过所述初始监控规则中的判定策略对所述被监控数据进行检测;
(2)根据检测结果确定所述被监控数据的所述数据异常等级。
具体的,所述判定策略具体是指对所述被监控数据进行检测,检测所述被监控数据是否超过预设的阈值,或者检测所述被监控数据是否未超过预设的阈值,再或者检测所述被监控数据是否连续波动等,本实施例中,所述判定策略包括但不限于判定是否大于,小于,波动大于,波动小于,包含,等于或者组合判定的策略。之后根据所述判定策略对所述被监控数据的检测结果,确定所述被监控数据的数据异常等级,以进行后续的处理。
进一步的,在确定所述被监控数据的数据异常等级的过程中,由于所述被监控数据可能连续被监控,即被监控数据可能持续出现故障,通过监控规则对所述被监控数据进行监控处理后,会向被监控数据的监管方发送提醒信息,而如果被监控数据持续出现故障,并且在未被排除的情况下,将持续发送提醒信息,可能会对正在排查或者处理中的监管方造成打扰,为了避免这一问题发生,以及实现更加智能化的监控处理,可以根据升/降数据异常等级的方式进行智能化通知,本实施例中,具体实现方式如下所述:
确定所述被监控数据的记录次数,并判断所述记录次数是否大于所述判定策略中预设的记录次数阈值;
若否,根据所述初始监控规则在所述监控规则集群中的优先级位置,确定所述被监控数据的第一数据异常等级;根据所述被监控数据的历史记录信息,确定所述被监控数据的第二数据异常等级;基于所述第一数据异常等级和所述第二数据异常等级,计算所述被监控数据的所述数据异常等级。
若是,确定所述被监控数据的历史记录时间和目标记录时间;基于所述历史记录时间和所述目标记录时间计算所述被监控数据的记录时间差值;判断所述记录时间差值是否大于预设时间差值;在所述记录时间差值大于预设时间差值的情况下,基于所述初始监控规则的升级策略对所述被监控数据的初始数据异常等级进行升级处理,确定所述数据异常等级;在所述记录时间差值不大于预设时间差值的情况下,基于所述初始监控规则的降级策略对所述被监控数据的初始数据异常等级进行降级处理,确定所述数据异常等级。
具体的,所述记录次数具体是指针对所述被监控数据进行通知的次数,需要说明的是,在进行记录的过程中,需要确定被监控数据除时间信息不同外,其他信息均相同,或相似,才能够记录次数,以避免记录错误的问题发生;通过判断所述记录次数是否大于判定策略中预设的记录次数阈值,来检测所述被监控数据是否需要进行后续的通知,若否,说明所述被监控数据还未被记录过或者被记录次数较少,则需要通过计算的方式确定所述被监控数据的数据异常等级;具体是指根据确定初始监控规则在监控规则集群中的优先级位置,确定所述被监控数据的第一数据异常等级,之后再根据所述被监控数据的历史记录信息,确定所述被监控数据的第二数据异常等级,最后基于所述第一数据异常等级和所述第二数据异常等级计算所述被监控数据的所述数据异常等级即可。
实际应用中,所述优先级位置越高,说明所述被监控数据的异常等级越高,所述历史记录信息具体表示所述被监控数据的记录频率,频率越高,说明所述被监控数据的异常等级越高;在基于所述第一数据异常等级和所述第二数据异常等级计算所述被监控数据的所述数据异常等级的过程中,可有根据所述优先级位置的位置权重和所述历史记录信息的信息权重,再结合所述第一数据异常等级和所述第二数据异常等级采用加权和的方式计算所述被监控数据的数据异常等级。
更进一步的,若所述记录次数大于所述判定策略中预设的记录次数阈值的情况下,说明所述被监控数据被记录次数较多,并且所述被监控数据已经存在初始数据异常等级,则此时需要进一步的判断所述被监控数据是否需要被通知,具体过程是指:确定所述被监控数据的历史记录时间和目标记录时间,所述历史记录时间是指所述被监控数据上一次被记录的时间,所述目标记录时间是指最新的被监控数据被记录的时间,之后计算二者的记录时间差值,通过判断记录时间差值是否大于预设时间差值的方式来检测所述被监控数据是否需要被通知。
在所述记录时间差值大于预设时间差值的情况下,说明被监控数据此时距离上一次发送提醒的时间较远,可能监管方并未进行故障的排查或者检测,故障依旧存在,则可以基于所述初始监控规则的升级策略对所述被监控数据的初始数据异常等级进行升级处理,将升级处理后的等级确定为所述被监控数据当前的数据异常等级。
在所述记录时间差值不大于预设时间差值的情况下,说明被监控数据此时距离上一次发送提醒的时间较近,还未达到继续发送提醒的时间,则可以基于所述初始监控规则的降级策略对所述被监控数据的初始数据异常等级进行降级处理,将降级处理后的等级确定为所述被监控数据当前的数据异常等级。
实际应用中,所述升级策略具体是指需要针对被监控数据进行提醒的情况下,对被监控数据的数据异常等级进行升级,使得被监控数据可以满足提醒要求;所述降级策略具体是指不需要针对被监控数据进行提醒的情况下,对被监控数据的数据异常等级进行降级,使得被监控数据不满足提醒要求,当需要提醒时再升级,从而避免连续提醒打扰到监管方。
沿用上例,在确定购物订单数据对应的购物订单规则R8的基础上,确定购物订单数据的记录次数,之后判断购物订单数据是否大于购物订单规则R8中判定策略预设的记录次数阈值1,若否,说明购物订单数据还未被记录过,则根据购物订单规则R8的优先级位置,确定购物订单数据的第一数据异常等级8,以及根据购物订单数据的历史记录信息确定购物订单数据的第二数据异常等级2,通过加权和的方式计算出购物订单数据的数据异常等级是6,以用于后续进行通知检测。
若是,说明购物订单数据已经被记录过,则确定购物订单数据的上一次记录时间是T1,当前记录时间是T2,并计算上一次记录时间是T1和当前记录时间是T2的记录时间差值Ts;在记录时间差值Ts大于预设时间差值的情况下,表明针对购物订单数据进行监管的一方还未对存在的故障进行排除,需要再次向监管方提醒,则基于购物订单规则R8中的升级策略对购物订单数据的初始数据异常等级4进行升级,确定此时购物订单数据的数据异常等级是5;在记录时间差值Ts不大于预设时间差值的情况下,表明还未达到进行提醒的时间,不需要进行连续提醒,则基于购物订单规则R8中的降级策略对购物订单数据的初始数据异常等级4进行降级,确定此时购物订单数据的数据异常等级是3,从而避免发生短时间内连续向监管方发送提醒信息。
综上,在确定所述被监控数据的数据异常等级的过程中,为了能够准确的确定所述被监控数据的数据异常等级,通过结合被监控数据的记录次数的方式进行确定,并且在确定数据异常等级的过程中,为了避免后续连续发出提醒,或者长时间未发出提醒,可以通过初始监控规则中的升/降策略进行数据异常等级的升/降处理,从而更加智能化的对被监控数据进行监控,以及更加智能化的对监管方发送提醒或者静默等待,进一步提高监管方的体验效果。
步骤S108,基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
具体的,在上述确定所述被监控数据的数据异常等级的基础上,进一步的,将根据所述数据异常等级检测是否需要针对所述被监控数据向监管方发出提醒,在所述数据异常等级触发所述初始监控规则中的通知策略的情况下,说明需要针对所述被监控数据发出提醒信息,则根据所述触发结果生成提醒信息,并将所述提醒信息发送至所述被监控数据的监管方,使得所述监管方可以及时对所述被监控数据进行调整,或者进行故障排除。
其中,所述监管方具体是指维护所述被监控数据的一方;所述通知策略具体是指被触发的情况下,可以向所述监管方发送提醒信息的策略,所述通知策略包括但不限于,每次发送提醒信息的时间间隔,规定单一发送目标的通知间隔等。
进一步的,为了能够及时向所述监管方发出提醒,以及避免造成过多的损失,可以通过判断数据异常等级的方式发送提醒,本实施例中,具体实现方式如下所述:
根据所述初始监控规则的通知策略检测所述数据异常等级是否大于预设等级阈值;若是,根据所述通知策略生成所述提醒信息,并将所述提醒信息发送至所述被监控数据的所述监管方;若否,不作任何处理即可。
具体的,在确定所述被监控数据的数据异常等级的情况下,将根据所述通知策略检测是否需要向监管方发起提醒,具体检测方式是检测所述数据异常等级是否大于预设等级阈值,若是,说明被监控数据的风险较高,则根据所述通知策略生成所述提醒信息,并将所述提醒信息发送至所述被监控数据的所述监管方即可,若否,说明被监控数据的风险较低,则静默不作任何处理即可。
沿用上例,第一方面在购物订单数据的数据异常等级为6的情况下,确定数据异常等级高于预设等级阈值5,则向购物订单数据的监管方(购物平台)发送提醒信息,提醒该购物订单数据存在较高的风险;第二方面在购物订单数据的数据异常等级为5的情况下,确定数据异常等级等于预设等级阈值5,则向购物订单数据的购物平台发送提醒信息,提醒该购物订单数据存在中等风险;第三方面在购物订单数据的数据异常等级为3的情况下,则不需要向购物平台发送提醒信息。
通过对数据异常等级进行大小检测的方式决定是否发起提醒信息,可以进一步的作到精准监控的目的,并且通过通知策略生成所述被监控数据的提醒信息,可以有效对监管方作出提醒,进一步保证数据运维场景的安全性。
此外,在向所述被监控数据的监管方发送提醒信息之后,为了能够更好的维护被监控数据的资源,可以根据监管方的指令进行资源调整,本实施例中,资源调整的具体过程如下所述:
接收所述监管方针对所述提醒信息返回的调整指令;
按照所述调整指令对所述被监控数据所属的资源节点进行资源调整,并根据资源调整结果生成验证数据;
通过所述初始监控规则对所述验证数据进行监控,并向所述监管方发送所述验证数据的监控结果。
具体的,接收到所述监管方针对所述提醒信息返回的调整指令,按照所述调整指令对对所述被监控数据所属的资源节点进行资源调整,在调整完成之后为了能够验证资源节点是否恢复正常运行,可以根据资源调整结果生成验证数据,之后通过所述初始监控规则对所述验证数据进行监控,最后向监管方发送验证数据的监控结果,若验证数据未触发初始监控规则中的通知策略,则说明资源节点已经恢复正常,若验证数据触发初始监控规则中的通知策略,则说明资源节点未被恢复正常,还需要监管方继续进行调整。
实际应用中,所述资源节点具体是指产生所述被监控数据的节点,通过对资源节点进行资源调整,可以使得被监控数据恢复为标准状态,从而避免对上下游服务的影响,所述资源节点的资源可以是计算机资源或者数据库资源等。
沿用上例,接收购物平台针对购物订单数据的提醒信息返回的调整指令,将按照调整指令对生成购物订单数据的计算机节点进行调整,使得计算机节点可以生成正常的购物订单数据,同时根据计算机节点调整结果生成验证数据,再通过购物订单规则R8对验证数据进行监控,并根据监控结果分析出计算机节点是否被恢复,最后将针对验证数据的监控结果发送给购物平台,提醒购物平台是否继续进行计算机节点的资源调整。
综上,在向所述监管方发送提醒信息之后,还可以根据所述监管方的调整指令,及时对所述被监控数据所属的资源节点进行资源调整,从而达到及时止损的效果,避免对上下游服务造成影响,可以有效的提高运维场景下数据传输的安全性。
此外,所述数据监控方法还可以应用于服务器资源数据监控场景,通过本实施例提供的监控方法可以有效的对服务器资源进行监控,从而及时对服务器资源进行故障排除,避免对服务器的上下游服务造成影响,具体实现如下:
步骤1,根据所述服务器资源规则集群中服务器资源规则的优先级顺序,对所述服务器资源数据进行生效检测。
步骤2,在所述服务器资源数据触发所述服务器资源规则集群中服务器资源规则的生效策略的情况下,将所述生效策略对应的服务器资源规则确定为目标服务器资源规则。
步骤3,在所述服务器资源数据满足所述目标服务器资源规则中的匹配策略的情况下,确定所述服务器资源数据的数据异常等级。
步骤4,基于所述数据异常等级触发所述目标服务器资源规则中的通知策略,并根据触发结果向所述服务器资源数据的监管方发送服务器资源负载提醒。
参见图2所示,在获取到服务器资源数据后,将根据服务器资源规则集群中服务器资源规则的优先级顺序,对服务器资源数据进行生效检测,在服务器资源数据触发所述服务器资源规则集群中服务器资源规则的生效策略的情况下,将生效策略所属的服务器资源规则2确定为目标服务器资源规则,并通过匹配策略检测出服务器资源数据与服务器资源规则2并不匹配,则继续按照优先级顺序进行生效检测,最终确定服务器资源规则3的生效策略被触发,并且服务器资源数据满足服务器资源规则3的匹配策略。
之后通过服务器资源规则3中的判定策略确定服务器资源数据的数据异常等级,若服务器资源数据不符合判定策略(数据异常等级较低),则不需要触发服务器资源负载提醒,若服务器资源数据符合判定策略(数据异常等级较高),则通过升级策略对数据异常等级进行升级处理,并判断是否满足通知策略,若满足,则触发通知,向服务器资源数据所属的监管方发送服务器资源负载提醒,若不满足,则不需要触发服务器资源负载提醒即可。
本申请提供的数据监控方法,将通过监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,并在被监控数据触发生效策略后,将生效策略所属的监控规则确定为被监控数据对应的初始监控规则,之后在被监控数据满足初始监控规则总的匹配策略的情况下,确定被监控数据的数据异常等级,并基于数据异常等级触发初始监控规则中的通知策略,并根据触发结果向被监控数据的监管方发送提醒信息,实现了通过多种策略的组合,灵活的对被监控数据进行监控,并且集群中集合了较多的监控规则,可以适配更多易于变化的场景,从而有效的提高了数据运维体系的数据监控准确性和高效性。
下述结合附图3,以本申请提供的数据监控方法在计算机资源监控场景的应用为例,对所述数据监控方法进行进一步说明。其中,图3示出了本申请一实施例提供的一种应用于计算机资源监控场景的数据监控方法的处理流程图,具体包括以下步骤:
步骤S302,获取计算机资源数据。
实际应用中,在获取到计算机资源数据的情况下,说明需要对计算机资源数据进行监控,从而分析出计算机资源是否发生故障,而为了提高对计算机资源数据监控的准确性,将需要选择与计算机资源数据匹配的报警规则进行监控处理。
步骤S304,确定计算机资源数据的数据类型,并选择与数据类型匹配的报警项。
具体的,计算机资源数据的数据类型是CPU利用数据类型,与计算机资源数据匹配的报警项是指对计算机的CPU利用率数据进行监控的报警规则集合而成。
步骤S306,根据报警项中报警规则的优先级顺序对计算机资源数据进行时间生效检测。
步骤S308,在计算机资源数据的时间信息触发报警项中报警规则的生效策略的情况下,将生效策略所属的报警规则确定为初始报警规则。
具体的,在计算机资源数据的时间信息触发报警项中报警规则的生效策略的情况下,说明报警项中有符合监控计算机资源数据的报警规则,该报警规则中的生效策略(时间区间)包含计算机资源数据的时间节点,则将该报警规则确定为初始报警规则。
步骤S310,判断计算机资源数据的键值是否满足初始报警规则的匹配策略;若否,返回执行步骤S306;若是,执行步骤S312。
具体的,若计算机资源数据的键值不满足初始报警规则的匹配策略,说明初始报警规则并不能够对计算机资源数据进行监控,需要继续进行时间生效检测,继续进行的时间生效检测过程是以初始报警规则作为起始节点,继续按照优先级顺序对计算机资源数据进行生效检测,避免重复检测的问题发生。
步骤S312,确定计算机资源数据的记录次数,并判断记录次数是否大于初始报警规则中判定策略的记录次数阈值;若否,执行步骤S314;若是,执行步骤S320。
步骤S314,根据初始报警规则在报警项中的优先级位置,确定计算机资源数据的第一数据异常等级。
步骤S316,根据计算机资源数据的历史记录信息,确定计算机资源数据的第二数据异常等级。
步骤S318,根据第一数据异常等级和第二数据异常等级,计算计算机资源数据的数据异常等级。
具体的,在计算机资源数据的记录次数小于等于初始报警规则中判定策略的记录次数阈值的情况下,说明计算机资源数据是第一次被记录,则需要根据第一数据异常等级和第二数据异常等级计算计算机资源数据的数据异常等级,以用于判断是否需要进行报警通知;基于此,在确定计算机资源数据的数据异常等级后,继续执行步骤S330即可。
步骤S320,确定计算机资源数据的历史记录时间和目标记录时间,并计算二者的时间差值。
步骤S322,判断时间差值是否大于预设的时间差值;若否,执行步骤S324;若是,执行步骤S326。
步骤S324,基于初始报警规则的降级策略对计算机资源数据的初始数据异常等级进行降级。
具体的,在时间差值小于等于预设的时间差值的情况下,说明上一次发起提醒的时间距离本次计算机资源数据触发初始报警规则的时间较短,不需要连续进行提醒,则将初始数据异常等级进行降级处理,直至超过预设的时间差值后,再进行后续的报警提醒。
步骤S326,基于初始报警规则的升级策略对计算机资源数据的初始数据异常等级进行升级。
具体的,在时间差值大于预设的时间差值的情况下,说明上一次发起提醒的时间距离本次计算机资源数据触发初始报警规则的时间较长,需要再次进行提醒,则将初始数据异常等级进行升级处理,再进行后续的报警提醒。
步骤S328,根据处理结果确定计算机资源数据的数据异常等级。
步骤S330,判断数据异常等级是否触发初始报警规则中的通知策略;若否,静默;若是,执行步骤S332。
步骤S332,向计算机资源数据所属的监管方发送资源利用率异常提醒。
具体的,在确定数据异常等级触发初始报警规则中的通知策略的情况下,说明计算机资源数据存在CPU利用率异常的问题,需要监管方对该计算机的CPU进行排查,则向监管方发送资源利用率异常提醒即可。
综上所述,本实施例通过多种策略的组合,实现了灵活的对被监控数据进行监控,并且集群中集合了较多的监控规则,可以适配更多易于变化的场景,从而有效的提高了数据运维体系的数据监控准确性和高效性。
与上述方法实施例相对应,本申请还提供了数据监控装置实施例,图4示出了本申请一实施例提供的一种数据监控装置的结构示意图。如图4所示,该装置包括:
生效检测模块402,被配置为根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
确定规则模块404,被配置为在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
确定等级模块406,被配置为在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
发送信息模块408,被配置为基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
一个可选的实施例中,所述数据监控装置,还包括:
获取数据模块,被配置为获取所述被监控数据;
确定类型模块,被配置为确定所述被监控数据的数据类型;
选择集群模块,被配置为根据所述数据类型选择所述监控规则集群。
一个可选的实施例中,所述生效检测模块402,包括:
提取信息单元,被配置为提取所述被监控数据的时间信息;
生效检测单元,被配置为根据所述监控规则集群中监控规则的优先级顺序对所述时间信息进行时间生效检测,作为对所述被监控数据的生效检测。
一个可选的实施例中,所述确定规则模块404,包括:
确定粒度单元,被配置为确定所述时间信息的时刻信息;
确定规则单元,被配置为在所述时刻信息触发所述监控规则集群中监控规则的时间生效策略的情况下,将所述时间生效策略对应的监控规则作为所述初始监控规则。
一个可选的实施例中,所述数据监控装置,还包括:
确定属性数据模块,被配置为确定所述被监控数据的属性数据,并判断所述属性数据是否满足所述初始监控规则中的匹配策略;
若是,运行确定等级模块406;
若否,运行组成集群模块,所述组成集群模块,被配置为选择优先级小于所述初始监控规则的监控规则组成子监控规则集群,并根据所述子监控规则集群中监控规则的优先级顺序对所述被监控数据进行生效检测。
一个可选的实施例中,所述确定等级模块406,包括:
规则检测单元,被配置为通过所述初始监控规则中的判定策略对所述被监控数据进行检测;
确定等级单元,被配置为根据检测结果确定所述被监控数据的所述数据异常等级。
一个可选的实施例中,所述确定等级模块406,包括:
判断次数单元,被配置为确定所述被监控数据的记录次数,并判断所述记录次数是否大于所述判定策略中预设的记录次数阈值;
若是,运行确定时间单元,所述确定时间单元,被配置为确定所述被监控数据的历史记录时间和目标记录时间;
计算时间差值单元,被配置为基于所述历史记录时间和所述目标记录时间计算所述被监控数据的记录时间差值;
判断时间差值单元,被配置为判断所述记录时间差值是否大于预设时间差值;
升级处理单元,被配置为在所述记录时间差值大于预设时间差值的情况下,基于所述初始监控规则的升级策略对所述被监控数据的初始数据异常等级进行升级处理,确定所述数据异常等级;
降级处理单元,被配置为在所述记录时间差值不大于预设时间差值的情况下,基于所述初始监控规则的降级策略对所述被监控数据的初始数据异常等级进行降级处理,确定所述数据异常等级。
一个可选的实施例中,所述判断次数单元的运行结果为否,则运行如下单元:
确定第一数据异常等级单元,被配置为根据所述初始监控规则在所述监控规则集群中的优先级位置,确定所述被监控数据的第一数据异常等级;
确定第二数据异常等级单元,被配置为根据所述被监控数据的历史记录信息,确定所述被监控数据的第二数据异常等级;
计算数据异常等级单元,被配置为基于所述第一数据异常等级和所述第二数据异常等级,计算所述被监控数据的所述数据异常等级。
一个可选的实施例中,所述发送信息模块408,包括:
判断异常等级单元,被配置为根据所述初始监控规则的通知策略检测所述数据异常等级是否大于预设等级阈值;
若是,运行发送信息单元,所述发送信息单元,被配置为根据所述通知策略生成所述提醒信息,并将所述提醒信息发送至所述被监控数据的所述监管方。
一个可选的实施例中,所述数据监控装置,还包括:
接收指令模块,被配置为接收所述监管方针对所述提醒信息返回的调整指令;
资源调整模块,被配置为按照所述调整指令对所述被监控数据所属的资源节点进行资源调整,并根据资源调整结果生成验证数据;
发送监控结果模块,被配置为通过所述初始监控规则对所述验证数据进行监控,并向所述监管方发送所述验证数据的监控结果。
一个可选的实施例中,所述被监控数据包括下述至少一项:
服务器资源数据、购物订单数据、数据库监测数据;
相应的,所述监控规则集群包括下述至少一项:
服务器资源规则集群、购物订单规则集群、数据库监测规则集群;
相应的,所述提醒信息包括下述至少一项:
服务器资源负载提醒、购物订单异常提醒、数据库异常提醒。
一个可选的实施例中,包括:
生效检测模块402,进一步被配置为根据所述服务器资源规则集群中服务器资源规则的优先级顺序,对所述服务器资源数据进行生效检测;
确定规则模块404,进一步被配置为在所述服务器资源数据触发所述服务器资源规则集群中服务器资源规则的生效策略的情况下,将所述生效策略对应的服务器资源规则确定为目标服务器资源规则;
确定等级模块406,进一步被配置为在所述服务器资源数据满足所述目标服务器资源规则中的匹配策略的情况下,确定所述服务器资源数据的数据异常等级;
发送信息模块408,进一步被配置为基于所述数据异常等级触发所述目标服务器资源规则中的通知策略,并根据触发结果向所述服务器资源数据的监管方发送服务器资源负载提醒。
本申请提供的数据监控装置,将通过监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,并在被监控数据触发生效策略后,将生效策略所属的监控规则确定为被监控数据对应的初始监控规则,之后在被监控数据满足初始监控规则总的匹配策略的情况下,确定被监控数据的数据异常等级,并基于数据异常等级触发初始监控规则中的通知策略,并根据触发结果向被监控数据的监管方发送提醒信息,实现了通过多种策略的组合,灵活的对被监控数据进行监控,并且集群中集合了较多的监控规则,可以适配更多易于变化的场景,从而有效的提高了数据运维体系的数据监控准确性和高效性。
上述为本实施例的一种数据监控装置的示意性方案。需要说明的是,该数据监控装置的技术方案与上述的数据监控方法的技术方案属于同一构思,数据监控装置的技术方案未详细描述的细节内容,均可以参见上述数据监控方法的技术方案的描述。
图5示出了根据本申请一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中,处理器520用于执行如下计算机可执行指令:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据监控方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据监控方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据监控方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据监控方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (15)
1.一种数据监控方法,包括:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
2.根据权利要求1所述的数据监控方法,所述根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测步骤执行之前,还包括:
获取所述被监控数据;
确定所述被监控数据的数据类型;
根据所述数据类型选择所述监控规则集群。
3.根据权利要求2所述的数据监控方法,所述根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测,包括:
提取所述被监控数据的时间信息;
根据所述监控规则集群中监控规则的优先级顺序对所述时间信息进行时间生效检测,作为对所述被监控数据的生效检测。
4.根据权利要求3所述的数据监控方法,所述在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则,包括:
确定所述时间信息的时刻信息;
在所述时刻信息触发所述监控规则集群中监控规则的时间生效策略的情况下,将所述时间生效策略对应的监控规则作为所述初始监控规则。
5.根据权利要求1所述的数据监控方法,所述将所述生效策略对应的监控规则确定为初始监控规则步骤执行之后,还包括:
确定所述被监控数据的属性数据,并判断所述属性数据是否满足所述初始监控规则中的匹配策略;
若是,执行所述确定所述被监控数据的数据异常等级步骤;
若否,选择优先级小于所述初始监控规则的监控规则组成子监控规则集群,并根据所述子监控规则集群中监控规则的优先级顺序对所述被监控数据进行生效检测。
6.根据权利要求1所述的数据监控方法,所述确定所述被监控数据的数据异常等级,包括:
通过所述初始监控规则中的判定策略对所述被监控数据进行检测;
根据检测结果确定所述被监控数据的所述数据异常等级。
7.根据权利要求6所述的数据监控方法,所述确定所述被监控数据的数据异常等级,包括:
确定所述被监控数据的记录次数,并判断所述记录次数是否大于所述判定策略中预设的记录次数阈值;
若是,确定所述被监控数据的历史记录时间和目标记录时间;
基于所述历史记录时间和所述目标记录时间计算所述被监控数据的记录时间差值;
判断所述记录时间差值是否大于预设时间差值;
在所述记录时间差值大于预设时间差值的情况下,基于所述初始监控规则的升级策略对所述被监控数据的初始数据异常等级进行升级处理,确定所述数据异常等级;
在所述记录时间差值不大于预设时间差值的情况下,基于所述初始监控规则的降级策略对所述被监控数据的初始数据异常等级进行降级处理,确定所述数据异常等级。
8.根据权利要求7所述的数据监控方法,所述判断所述记录次数是否大于所述判定策略中预设的记录次数阈值步骤的判断结果为否,则执行如下操作:
根据所述初始监控规则在所述监控规则集群中的优先级位置,确定所述被监控数据的第一数据异常等级;
根据所述被监控数据的历史记录信息,确定所述被监控数据的第二数据异常等级;
基于所述第一数据异常等级和所述第二数据异常等级,计算所述被监控数据的所述数据异常等级。
9.根据权利要求1所述的数据监控方法,所述基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息,包括:
根据所述初始监控规则的通知策略检测所述数据异常等级是否大于预设等级阈值;
若是,根据所述通知策略生成所述提醒信息,并将所述提醒信息发送至所述被监控数据的所述监管方。
10.根据权利要求1所述的数据监控方法,所述基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息步骤执行之后,还包括:
接收所述监管方针对所述提醒信息返回的调整指令;
按照所述调整指令对所述被监控数据所属的资源节点进行资源调整,并根据资源调整结果生成验证数据;
通过所述初始监控规则对所述验证数据进行监控,并向所述监管方发送所述验证数据的监控结果。
11.根据权利要求1所述的数据监控方法,所述被监控数据包括下述至少一项:
服务器资源数据、购物订单数据、数据库监测数据;
相应的,所述监控规则集群包括下述至少一项:
服务器资源规则集群、购物订单规则集群、数据库监测规则集群;
相应的,所述提醒信息包括下述至少一项:
服务器资源负载提醒、购物订单异常提醒、数据库异常提醒。
12.根据权利要求11所述的数据监控方法,包括:
根据所述服务器资源规则集群中服务器资源规则的优先级顺序,对所述服务器资源数据进行生效检测;
在所述服务器资源数据触发所述服务器资源规则集群中服务器资源规则的生效策略的情况下,将所述生效策略对应的服务器资源规则确定为目标服务器资源规则;
在所述服务器资源数据满足所述目标服务器资源规则中的匹配策略的情况下,确定所述服务器资源数据的数据异常等级;
基于所述数据异常等级触发所述目标服务器资源规则中的通知策略,并根据触发结果向所述服务器资源数据的监管方发送服务器资源负载提醒。
13.一种数据监控装置,包括:
生效检测模块,被配置为根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
确定规则模块,被配置为在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
确定等级模块,被配置为在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
发送信息模块,被配置为基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
14.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
根据监控规则集群中监控规则的优先级顺序对被监控数据进行生效检测;
在所述被监控数据触发所述监控规则集群中监控规则的生效策略的情况下,将所述生效策略对应的监控规则确定为初始监控规则;
在所述被监控数据满足所述初始监控规则中的匹配策略的情况下,确定所述被监控数据的数据异常等级;
基于所述数据异常等级触发所述初始监控规则中的通知策略,并根据触发结果向所述被监控数据的监管方发送提醒信息。
15.一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现权利要求1至12任意一项所述数据监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010721957.0A CN113297039A (zh) | 2020-07-24 | 2020-07-24 | 数据监控方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010721957.0A CN113297039A (zh) | 2020-07-24 | 2020-07-24 | 数据监控方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113297039A true CN113297039A (zh) | 2021-08-24 |
Family
ID=77318604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010721957.0A Pending CN113297039A (zh) | 2020-07-24 | 2020-07-24 | 数据监控方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297039A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115331440A (zh) * | 2022-08-09 | 2022-11-11 | 山东旗帜信息有限公司 | 一种基于监测阈值信息的高适配预警方法及系统 |
-
2020
- 2020-07-24 CN CN202010721957.0A patent/CN113297039A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115331440A (zh) * | 2022-08-09 | 2022-11-11 | 山东旗帜信息有限公司 | 一种基于监测阈值信息的高适配预警方法及系统 |
CN115331440B (zh) * | 2022-08-09 | 2023-08-18 | 山东旗帜信息有限公司 | 一种基于监测阈值信息的高适配预警方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11429506B2 (en) | Systems and methods for collecting, tracking, and storing system performance and event data for computing devices | |
JP6355683B2 (ja) | リスク早期警報方法、装置、記憶媒体およびコンピュータプログラム | |
CN106685750B (zh) | 系统异常检测方法和装置 | |
CN112712113B (zh) | 一种基于指标的告警方法、装置及计算机系统 | |
EP3314762B1 (en) | Adaptive filtering based network anomaly detection | |
CN109861856B (zh) | 系统故障信息的通知方法、装置、存储介质及计算机设备 | |
CN107871190A (zh) | 一种业务指标监控方法及装置 | |
US8862119B2 (en) | Method and apparatus for telecommunications network performance anomaly events detection and notification | |
CN110516971A (zh) | 异常检测的方法、装置、介质和计算设备 | |
CN104778111A (zh) | 一种进行报警的方法和装置 | |
EP3298817B1 (en) | First network node, method therein, computer program and computer-readable medium comprising the computer program for determining whether a performance of a cell is degraded or not | |
CN110955586A (zh) | 一种基于日志的系统故障预测方法、装置和设备 | |
US9860109B2 (en) | Automatic alert generation | |
CN105681128A (zh) | 一种用于大数据系统状态监控的方法和装置 | |
US10862738B2 (en) | System and method for alarm correlation and root cause determination | |
CN113297039A (zh) | 数据监控方法及装置 | |
CN108039971A (zh) | 一种告警方法及装置 | |
JP2013150083A (ja) | ネットワーク異常検出装置およびネットワーク異常検出方法 | |
JP2020102671A (ja) | 検知装置、検知方法、および、検知プログラム | |
CN101389112A (zh) | 告警处理方法、装置和系统 | |
CN111062503B (zh) | 一种电网监控告警处理方法、系统、终端及存储介质 | |
CN116483663A (zh) | 用于平台的异常告警方法和装置 | |
CN113123955A (zh) | 柱塞泵异常检测方法、装置、存储介质及电子设备 | |
CN108023741B (zh) | 一种监控资源使用方法及服务器 | |
CN115016976A (zh) | 一种根因定位方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40059133 Country of ref document: HK |