CN109388542A - 一种监控方法及装置、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种监控方法及装置、计算机可读存储介质，所述方法包括：当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；将生成的键值统计结果发送至汇总分析节点。本申请通过生成监控序列化对象，并根据监控序列化对象生成键值统计结果，降低了监控产生的数据量，分离了监控与业务流程，减少了监控对业务的性能影响。

Description

一种监控方法及装置、计算机可读存储介质

技术领域

本发明涉及但不限于计算机技术领域，尤其涉及一种监控方法及装置、计算机可读存储介质。

背景技术

大多数公司为了保证业务运行的准确性和及时性，需要在业务流程中增加多个监控点，将各监控点采集的数据进行汇总分析来判断业务的健康状态。

目前通用的方式是通过切面编程或硬编码的方式实现对多个监控点的数据提取，通过数据库或日志的方式将数据实时输出出来，由统一的分析程序针对不同监控点采集的数据进行汇总分析统计，来反映当前业务系统的健康状态。这样存在以下几点问题：

1、监控点发送的数据可能存在阻塞问题，导致整个业务流程收到影响；

2、监控产生的数据量过大，占用较多系统资源、降低了后续分析效率；

3、监控与业务流程捆绑，当临时调整指标(例如增加或删除监控项)时，可能会影响业务系统的稳定性。

发明内容

本发明实施例提供了一种监控方法及装置、计算机可读存储介质，能够降低监控产生的数据量、分离监控与业务流程并减少监控对业务的性能影响。

为了达到本发明目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种监控方法，包括：

当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

将生成的键值统计结果发送至汇总分析节点。

在一实施例中，所述将生成的监控序列化对象加入监控缓存队列之前，所述方法还包括：

检测所述监控缓存队列的剩余空间是否能够加入所述生成的监控序列化对象，当不能加入所述生成的监控序列化对象时，丢弃所述生成的监控序列化对象。

在一实施例中，所述将生成的键值统计结果发送至汇总分析节点，包括：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

在一实施例中，所述方法之前还包括：

在业务流程中加入监控点；

定义一种序列化方案，所述序列化方案用于在监控点，通过克隆和序列化的方式生成监控序列化对象，且所述生成的监控序列化对象和被监控的业务对象的属性相一致。

在一实施例中，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型关键变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号ID；

模型状态包括打开和关闭；

模型周期包括统计周期和发送周期；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系；

模型脚本用于通过脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型关键变量对应的键值统计结果，将所述键值统计结果存储在模型键值中。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的监控方法的步骤。

本发明实施例还提供了一种监控装置，包括处理器及存储器，其中：

所述处理器用于执行存储器中存储的监控程序，以实现如以上任一项所述的监控方法的步骤。

本发明实施例还提供了一种监控装置，包括监控模块、统计模块和发送模块，其中：

监控模块，用于当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

统计模块，用于调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

发送模块，用于将生成的键值统计结果发送至汇总分析节点。

在一实施例中，所述发送模块具体用于：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

在一实施例中，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型关键变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号ID；

模型状态包括打开和关闭；

模型周期包括统计周期和发送周期；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系；

模型脚本用于通过脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型关键变量对应的键值统计结果，将所述键值统计结果存储在模型键值中。

本发明实施例的技术方案，具有如下有益效果：

本发明实施例提供的监控方法及装置、计算机可读存储介质，通过生成监控序列化对象，并根据监控序列化对象生成键值统计结果，降低了监控产生的数据量，分离了监控与业务流程，减少了监控对业务的性能影响。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例的一种监控方法的流程示意图；

图2为本发明实施例的一种监控装置的结构示意图；

图3为本发明实施例的另一种监控装置的结构示意图；

图4为本发明实施例的又一种监控装置的结构示意图；

图5为本发明实施例的另一种监控方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，根据本发明实施例的一种监控方法，包括如下步骤：

步骤101：当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

在本发明的一实施例中，所述方法之前还包括：

在业务流程中加入监控点；

定义一种序列化方案，所述序列化方案用于在监控点，通过克隆和序列化的方式生成监控序列化对象，且所述生成的监控序列化对象和被监控的业务对象的属性相一致。

在本实施例的一示例中，在所述业务流程中通过面向切面编程(Aspect OrientedProgramming，AOP)的方式加入所述监控点。

需要说明的是，AOP是一种新的方法论，是对传统面向对象编程(Object-OrientedProgramming，OOP)的补充，AOP主要实现的目的是针对业务处理过程中的切面进行提取，它所面对的是处理过程中的某个步骤或阶段，以获得逻辑过程中各部分之间低耦合性的隔离效果。

序列化一般用在网络传输或者对象持久化中，通过将对象序列化为二进制数据在网络层传输或者保存。本发明所述的序列化方案可以是现有的Java、C++等程序语言提供的任意一种序列号方案。

在本发明的一实施例中，所述将生成的监控序列化对象加入监控缓存队列之前，所述方法还包括：

检测所述监控缓存队列的剩余空间是否能够加入所述生成的监控序列化对象，当不能加入所述生成的监控序列化对象时，丢弃所述生成的监控序列化对象。

步骤102：调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

在本发明的一实施例中，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型关键(Key)变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号(Identification，ID)，用于后续与其它模型产生的数据相关联；

模型状态包括打开和关闭，用于标识该模型是否生效，在业务高峰时可以关闭模型，以减低系统资源开销；

模型周期包括统计周期和发送周期，统计周期为生成键值统计结果的周期，发送周期为将所生成的键值统计结果发送至汇总分析节点的周期，统计周期和发送周期可以相同，也可以不同；对于非敏感数据可以设置较长的统计周期和/或发送周期，便于压缩数据量；对于敏感数据可以设置较短的统计周期和/或发送周期，便于快速触发监控事件；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系，避免因监控序列化对象调整导致模型脚本调整；

模型脚本用于通过一种非编译类的脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型Key变量对应的键值统计结果(所述键值统计结果通常为数值，也可以为其它的数据类型)，将所述键值统计结果存储在模型键值中；

模型Key变量包括一个或多个模型变量和/或各模型变量之间的顺序关系。

示例性地，一个针对特定短信业务资源用户数据的匹配模型的配置文件如下，其中使用的脚本语言为JavaScript引擎：

#on/off M1模块控制开关

Monitor.status.M1＝on

Monitor.condition.M1＝td_code！＝’7776’&&td_code！＝’624303’&&td_code！＝’HLN90cAL003MMKJ’；

Monitor.frequency.M1＝60000

Monitor.variable.M1＝td_code：td_code，user_sn：user_sn

Monitor.name.M1＝submit

Monitor.key.M1＝var v_key_value＝user_sn+’,\\”+td_code+’\\”；

步骤103：将生成的键值统计结果发送至汇总分析节点。

在本发明的一实施例中，所述将生成的键值统计结果发送至汇总分析节点，包括：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的监控方法的步骤。

如图2所示，根据本发明实施例的一种监控装置，包括处理器201及存储器202，其中：

所述处理器201用于执行存储器202中存储的监控程序，以实现如以上任一项所述的监控方法的步骤。

如图3所示，根据本发明实施例的一种监控装置，包括监控模块301、统计模块302和发送模块303，其中：

监控模块301，用于当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

统计模块302，用于调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

发送模块303，用于将生成的键值统计结果发送至汇总分析节点。

在本发明的一实施例中，所述将生成的监控序列化对象加入监控缓存队列之前，所述监控模块301还用于：

检测所述监控缓存队列的剩余空间是否能够加入所述生成的监控序列化对象，当不能加入所述生成的监控序列化对象时，丢弃所述生成的监控序列化对象。

所述将生成的键值统计结果发送至汇总分析节点，包括：

在本发明的一实施例中，如图4所示，所述监控装置还包括配置模块304，其中：

配置模块304，用于在业务流程中加入监控点，并定义一种序列化方案，所述序列化方案用于在监控点，通过克隆和序列化的方式生成监控序列化对象，且所述生成的监控序列化对象和被监控的业务对象的属性相一致。

在本实施例的一示例中，所述配置模块304在所述业务流程中通过面向切面编程(Aspect Oriented Programming，AOP)的方式加入所述监控点。

在本发明的一实施例中，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型Key变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号ID，用于后续与其它模型产生的数据相关联；

模型状态包括打开和关闭，用于标识该模型是否生效，在业务高峰时可以关闭模型，以减低系统资源开销；

模型周期包括统计周期和发送周期，统计周期为生成键值统计结果的周期，发送周期为将所生成的键值统计结果发送至汇总分析节点的周期，统计周期和发送周期可以相同，也可以不同；对于非敏感数据可以设置较长的统计周期和/或发送周期，便于压缩数据量；对于敏感数据可以设置较短的统计周期和/或发送周期，便于快速触发监控事件；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系，避免因监控序列化对象调整导致模型脚本调整；

模型脚本用于通过一种非编译类的脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型Key变量对应的键值统计结果(所述键值统计结果通常为数值，也可以为其它的数据类型)，将所述键值统计结果存储在模型键值中；

模型Key变量包括一个或多个模型变量和/或各模型变量之间的顺序关系。

在本发明的一实施例中，所述发送模块303具体用于：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

示例性地，如图5所示，根据本发明实施例的一种监控方法，包括如下步骤：

步骤501、定义一种序列化方案，此方案可以在监控点，通过克隆和序列化的方式生成基于业务对象的监控序列化对象，同时保障监控序列化对象与业务对象属性相一致。

步骤502、在业务流程中通过AOP的方式加入监控点。

步骤503、当业务发生时，基于业务对象通过序列化方案生成用于监控点使用的监控序列化对象，将生成的监控序列化对象加入监控缓存队列，当监控缓存队列空间不足时抛弃生成的监控序列化对象数据。

步骤504、寻找匹配模型，调用匹配模型，通过模型脚本对监控序列化对象数据进行逻辑判断，生成键值统计结果，匹配模型主要包括如下几部分：

模型名称：用于标识该模型，用于后续与其他模型产生的数据相关联。

模型状态：标识该模型是否生效，用于在业务高峰时可以关闭，减低系统资源开销。

模型变量：用于逻辑脚本中的变量与序列化对象中的变量映射关系建立，避免因序列化对象调整导致脚本调整。

模型Key变量：通过一个或多个模型变量生成计算后的模型Key变量，用于存储统计的Key。

模型键值(Key，Value)：通过模型脚本及存储的模型Key变量进行Value值的统计，通常为数值。

模型脚本：利用一种非编译类的脚本语言作为模型引擎，基于模型变量和业务需求编写数据采集的业务逻辑脚本，生成模型键值的统计数据结果。

模型统计周期：模型统计的监控数据输出周期，对于非敏感数据可以设置较长的统计周期，便于压缩数据量；对于敏感数据可以设置较短的统计周期，便于快速触发监控事件。

步骤505、定期根据模型发送周期触发不同模型的数据发送事件，将待发送的数据提交到发送缓存队列，当发送缓存队列满时进行丢弃处理。

步骤506、基于不同业务接口实现将监控产生的模型数据发送至汇总分析节点，由汇总分析节点针对不同监控点采集的数据进行汇总分析统计。

本发明实施例提供的监控方法及装置、计算机可读存储介质，通过生成监控序列化对象，并根据监控序列化对象生成键值统计结果，解决了监控数据量大的问题，要传输的数据量可压缩至几个数量级以上(这个数量级取决于业务数量，例如，假设监控序列化对象的数据量与被监控的业务对象的数据量相比，数据量可压缩一个数量级，又假设每秒发生1000次业务，模型发送周期为每秒触发一次数据发送事件，则每秒要传输的监控数据量可压缩至四个数量级)，有效降低了传输带宽及后续汇总的数据量，提升了采集数据的监控效果；

通过异步的数据传输和脚本统计，使监控与业务流程脱离，减少了对业务系统的性能影响，丢弃机制可以将同一时间段的数据统一丢弃，避免部分丢弃部分传输导致的监控噪音；

通过脚本式的数据采集，可以动态调整，有效满足不同时间的业务资源占用及监控数据优化采集，提升了处理效率。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控方法，其特征在于，包括：

当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

将生成的键值统计结果发送至汇总分析节点。

2.根据权利要求1所述的方法，其特征在于，所述将生成的监控序列化对象加入监控缓存队列之前，所述方法还包括：

检测所述监控缓存队列的剩余空间是否能够加入所述生成的监控序列化对象，当不能加入所述生成的监控序列化对象时，丢弃所述生成的监控序列化对象。

3.根据权利要求1所述的方法，其特征在于，所述将生成的键值统计结果发送至汇总分析节点，包括：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

4.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：

在业务流程中加入监控点；

定义一种序列化方案，所述序列化方案用于在监控点，通过克隆和序列化的方式生成监控序列化对象，且所述生成的监控序列化对象和被监控的业务对象的属性相一致。

5.根据权利要求1所述的方法，其特征在于，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型关键变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号ID；

模型状态包括打开和关闭；

模型周期包括统计周期和发送周期；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系；

模型脚本用于通过脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型关键变量对应的键值统计结果，将所述键值统计结果存储在模型键值中。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的监控方法的步骤。

7.一种监控装置，其特征在于，包括处理器及存储器，其中：

所述处理器用于执行存储器中存储的监控程序，以实现如权利要求1至5中任一项所述的监控方法的步骤。

8.一种监控装置，其特征在于，包括监控模块、统计模块和发送模块，其中：

监控模块，用于当业务发生时，生成监控序列化对象，将生成的监控序列化对象加入监控缓存队列；

统计模块，用于调用匹配模型，所述匹配模型用于对监控缓存队列中的监控序列化对象进行处理，生成键值统计结果；

发送模块，用于将生成的键值统计结果发送至汇总分析节点。

9.根据权利要求8所述的监控装置，其特征在于，所述发送模块具体用于：

检测发送缓存队列的剩余空间是否能够加入所述生成的键值统计结果，所述发送缓存队列用于缓存一个发送周期内生成的键值统计结果；

当能够加入所述生成的键值统计结果时，将所述生成的键值统计结果递交到发送缓存队列；当不能加入所述生成的键值统计结果时，丢弃所述生成的键值统计结果；

根据所述匹配模型的发送周期，定期将所述发送缓存队列内的所述键值统计结果发送至所述汇总分析节点。

10.根据权利要求8所述的监控装置，其特征在于，所述匹配模型包括：模型标识、模型状态、模型周期、模型变量、模型关键变量、模型键值、模型脚本，其中：

模型标识包括模型名称和/或模型序列号ID；

模型状态包括打开和关闭；

模型周期包括统计周期和发送周期；

模型变量用于存储模型脚本中的变量与监控序列化对象中的变量的映射关系；

模型脚本用于通过脚本语言对所述监控缓存队列中的监控序列化对象进行处理，生成与模型关键变量对应的键值统计结果，将所述键值统计结果存储在模型键值中。