CN112783716A - 一种监控方法和装置 - Google Patents
一种监控方法和装置 Download PDFInfo
- Publication number
- CN112783716A CN112783716A CN201911096730.5A CN201911096730A CN112783716A CN 112783716 A CN112783716 A CN 112783716A CN 201911096730 A CN201911096730 A CN 201911096730A CN 112783716 A CN112783716 A CN 112783716A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- type
- sampling
- index
- monitoring index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 412
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 133
- 238000007405 data analysis Methods 0.000 claims abstract description 15
- 238000012806 monitoring device Methods 0.000 claims abstract description 7
- 230000002776 aggregation Effects 0.000 claims description 47
- 238000004220 aggregation Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 17
- 239000000872 buffer Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种监控方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。该实施方式通过设定个性化的抽样策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种监控方法和装置。
背景技术
在大数据背景下,分布式集群系统的应用越来越多,但是往往又需要对这些集群所处理的业务进行有效的监控。由于数据量级别特别大,只能通过抽样的方式对监控指标进行统计上传。现有的抽样方案大多是采用日志埋点的方式,不同主机通过将日志写到公共目录下,并埋点一些监控指标,然后利用单独的进程分析日志中的监控数据。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:现有技术中通过配置采样比例,对日志中的数据进行采样,但是由于不同监控指标在集群中所采集到的数据量往往有很大差别,因此很难保证监控指标在时域上的连续性,尤其是一些本来数据量就少的监控指标,这种指标经过采样后在时域上的间断会更大。
发明内容
有鉴于此,本发明实施例提供一种监控方法和装置,通过为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
为实现上述目的,根据本发明实施例的一个方面,提供了一种监控方法,包括:
确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
在可选的实施例中,获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
确定各个监控指标的聚合周期;
对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中,当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;
根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样。
在可选的实施例中,所述监控指标的类型包括第一类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;
在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;
在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
在可选的实施例中,所述监控指标的类型包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种监控装置,包括:
确定模块,用于确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
监控聚合模块,用于获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
发送模块,用于将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
在可选的实施例中,所述监控聚合模块还用于:确定各个监控指标的聚合周期;对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中,当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样。
在可选的实施例中,所述监控指标的类型包括第一类型;
所述监控聚合模块还用于:当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
在可选的实施例中,所述监控指标的类型包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
所述监控聚合模块还用于:当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的监控方法。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的监控方法。
上述发明中的一个实施例具有如下优点或有益效果:通过设定个性化的抽样策略,即为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明实施例的监控方法的主要流程的示意图;
图2是本发明另一实施例的监控方法的主要流程的示意图;
图3是本发明实施例的监控方法的双缓存机制的示意图;
图4是本发明实施例的监控装置的主要模块的示意图;
图5是本发明另一实施例的监控装置的主要模块的示意图;
图6是本发明实施例的监控装置中的监控聚合模块的流程示意图;
图7是本发明另一实施例的监控装置的双缓存机制的示意图;
图8是本发明实施例可以应用于其中的示例性系统架构图;
图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是本发明实施例的监控方法的主要流程的示意图,如图1所示,该方法包括:
步骤S101:确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
步骤S102:获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
步骤S103:将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
对于步骤S101,作为示例,可以根据各个监控指标所对应的监控数据的类型或数量等对监控指标进行归类,然后对每一类监控指标设置个性化的抽样策略。在其他可选的实施例中,可以根据应用场景灵活设置监控指标的类型,本发明在此不做限制。
对于步骤S102,在本实施例中可以针对每一类型的监控指标设置不同的聚合周期,即在一个聚合周期内,先将采集的各个监控指标对应的监控数据进行缓存,在到达聚合周期之后,再将缓存中的监控数据按照不同的抽样策略进行抽样。
本发明实施例的监控方法,通过设定个性化的抽样策略,即为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
图2是本发明实施例的监控方法的主要流程的示意图,如图2所示,该方法包括:
步骤S201:确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
步骤S202:确定各个监控指标的聚合周期;
步骤S203:对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中;
步骤S204:当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;
步骤S205:根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样;
步骤S206:将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
在本实施例中,可以根据各个监控指标所对应的监控数据的类型或数量等对监控指标进行归类,然后对每一类监控指标设置个性化的抽样策略以及聚合周期。然后,在一个聚合周期内,先将采集的各个监控指标对应的监控数据进行缓存,具体的,可以将采集的监控数据保存在第一缓存单元中,在到达聚合周期之后,将采集的监控数据保存在第二缓存单元中,并将第一缓存单元中的监控数据按照不同的抽样策略进行抽样,并将抽样后的监控数据发送到数据分析平台进行分析。
在其他可选的实施例中,可以根据应用场景灵活设置监控指标的类型,本发明在此不做限制。
本实施例中的步骤S203-S206是通过双缓存机制保证监控数据读写分离(即,向缓存单元中写入监控数据和从缓存单元中读取监控数据发送至数据分析平台进行分离),提高了效率,还可以避免由于监控数据读写速度不一致引起的存储空间不足的问题。
为了使本发明实施例的双缓存机制更加清楚,以图3为例说明该双缓存机制的工作原理。如图3所示,在当前时间正在向Buffer1中写入监控数据,Buffer2中的监控数据就会被发送到数据分析平台,Buffer2中的监控数据发送完成之后,将Buffer2中的监控数据删除。当到达聚合周期之后,将监控数据写入Buffer2中,发送Buffer1中的监控数据。
在可选的实施例中,监控指标的类型包括第一类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;
在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;
在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
其中,第一抽样比例为1:1。即当该监控指标在一个聚合周期内采集的监控数据的数据量小于预设的抽样个数时,将不对该监控数据抽样,而是直接将该监控数据发送至数据分析平台。因此,本发明实施例的监控方法可以避免监控数据较少时还被抽样,从而保证了其时域上的连续性。
在其他可选的实施例中,所述监控指标的类型还包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。其中,所述第二抽样比例为1:1。因为对于第二类型的监控指标,在将监控数据写入缓存单元时,已经将采集的监控数据进行计数、求和或求解最值计算,即写入缓存单元的监控数据的数量只有一个。因此,对于第二类型的监控数据在抽样时按照1:1进行抽样,即对第二类型的监控数据不进行抽样,直接发送至数据分析平台。
本发明实施例的监控方法,通过设定个性化的抽样策略,即为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
图4是本发明实施例的监控装置400的主要模块的示意图,如图4所示,该监控装置400包括:
确定模块401,用于确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
监控聚合模块402,用于获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
发送模块403,用于将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
可选地,所述监控聚合模块402还用于:确定各个监控指标的聚合周期;对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中,当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;所述发送模块还用于:根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样。
可选地,所述监控指标的类型包括第一类型;
所述监控聚合模块402还用于:当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
可选地,所述监控指标的类型包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
所述监控聚合模块402还用于:当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。
本发明实施例的监控装置,通过设定个性化的抽样策略,即为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
本发明实施例的监控装置可用于分布式环境中。具体的,如图5所示,分布式环境中的每一台机器的每一个进程中都有一个对应的监控聚合模块,多台机器共享一个发送模块,所以一个由n台机器组成的分布式环境就有会有n个监控聚合模块和一个发送模块。
在可选的实施例中,监控聚合模块可以分为分桶收集器和定时发送器,分桶收集器负责收集各个监控指标的监控数据,定时发送器基于http协议将抽样后的监控数据发送到发送模块,发送模块将各个监控聚合模块上传的监控数据发送到数据分析平台。
其中,监控聚合模块的流程图如图6所示。在图6中,t1、t2用以标识两个独立的线程,两者之间是异步的,不会相互干扰。t1表示分桶收集器,t2表示定时发送器。两者之间共享的是采集数据的桶(bucket,用于存储对象的容器)。为了保证多线程情况下数据的安全性,使用了双缓存机制来保证两者之间的读写分离。
在一个聚合周期内,分桶收集器负责收集所有的监控数据。分桶收集器会为不同的监控指标分配一个自己的桶,例如为监控指标P分配的桶为bucket1,当到达聚合周期时,将采集的监控指标P的监控数据写入bucket2。对于bucket1中的数据,会根据监控指标P的类型判断是否需要抽样。例如,对于第一类型的监控指标,即对于监控类型是计数、求和、求最值的数据是不需要进行抽样,因为在采集的时候就会直接进行计数、加和以及求解最值,因而桶内就只有一个监控数据;对于第一类型的监控指标,则需要根据设定的抽样个数(假设为max_sample_num)进行随机抽样,当某个桶内的数据的数量小于max_sample_num时,会直接把桶的数据全部上报给发送模块,否则,对桶内数据进行随机抽样。
图7是本发明另一实施例的监控装置的双缓存机制的示意图,如图7所示,在本实施例中存在3个监控指标,分别是key1、key2和key3。假设初始状态是将key1对应的监控数据写入bucket 1,key 2对应的监控数据写入bucket2,key3对应的监控数据写入bucket3。当达到聚合周期后,key 1对应的监控数据写入bucket 11,key 2对应的监控数据写入bucket21,key 3对应的监控数据写入bucket31。bucket 1、bucket2、bucket 3一直到bucket n是一buffer(缓存单元)。Bucket11、bucket21、bucket31…bucket n1是另一个buffer。这样切换完成后,key1、key2、key3都是直接往空桶里写。bucket1、bucket2、bucket3的数据会被定时发送器所读取,然后会根据监控指标的类型做一些处理(比如有的可能需要抽样),处理完后就会发送这些处理过的数据给发送模块,之后会桶里的数据会被清空。这里的切换桶和切换缓存(buffer)是同时的,切换缓存(buffer)是所有监控指标的一个宏观概念。切桶这个动作仅仅是改变监控数据的写入地址。
上述装置可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
图8示出了可以应用本发明实施例的监控方法或监控装置的示例性系统架构800。
如图8所示,系统架构800可以包括终端设备801、802、803,网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器,例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是,本发明实施例所提供的监控方法一般由服务器805执行,相应地,监控装置一般设置于服务器805中。
应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图9,其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中,这些模块的名称在某种情况下并不构成对该单元本身的限定,例如,发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
本发明实施例的技术方案,通过设定个性化的抽样策略,即为不同类型的监控指标设定不同的监控策略,能够有效地对业务系统中的业务信息进行抽样监控,并且避免对监控数据少的监控指标做过多的抽样,能够有效保证监控指标的时域连续性,既能满足监控需求,又可以得到更好的监控效果。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种监控方法,其特征在于,包括:
确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样;
将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
2.根据权利要求1所述的方法,其特征在于,获取所述各个监控指标对应的监控数据,根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
确定各个监控指标的聚合周期;
对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中,当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;
根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样。
3.根据权利要求1所述的方法,其特征在于,所述监控指标的类型包括第一类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;
在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;
在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
4.根据权利要求1所述的方法,其特征在于,所述监控指标的类型包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样包括:
当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。
5.一种监控装置,其特征在于,包括:
确定模块,用于确定各个监控指标的类型以及每一类监控指标所对应的抽样策略;
监控聚合模块,用于获取所述各个监控指标对应的监控数据;
发送模块,用于根据所述各类型的监控指标所对应的抽样策略,对所述各个监控指标对应的监控数据进行抽样,将抽样后的监控数据发送到数据分析平台,以分析所述抽样后的监控数据。
6.根据权利要求5所述的装置,其特征在于,所述监控聚合模块还用于:
确定各个监控指标的聚合周期;
对于每一监控指标,在当前聚合周期内,将所述监控指标对应的监控数据保存到第一缓存单元中,当到达所述监控指标的聚合周期后,将所述监控指标对应的监控数据保存到第二缓存单元中;
根据所述监控指标所对应的抽样策略,对所述第一缓存单元中的监控数据进行抽样。
7.根据权利要求5所述的装置,其特征在于,所述监控指标的类型包括第一类型;
所述监控聚合模块还用于:
当监控指标的类型为第一类型时,确定所述监控指标对应的监控数据的数据量;
在所述监控指标对应的监控数据的数据量大于或等于预设的抽样个数时,将所述监控数据按照所述预设的抽样个数进行随机抽样;
在所述监控指标对应的监控数据的数据量小于预设的抽样个数时,则按照第一抽样比例对所述监控指标对应的监控数据进行抽样。
8.根据权利要求5所述的装置,其特征在于,所述监控指标的类型包括第二类型,所述第二类型包括以下一种或多种:求和类型、求最值类型和计数类型;
所述监控聚合模块还用于:当监控指标的类型为第二类型时,则按照第二抽样比例对所述监控指标对应的监控数据进行抽样。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911096730.5A CN112783716B (zh) | 2019-11-11 | 2019-11-11 | 一种监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911096730.5A CN112783716B (zh) | 2019-11-11 | 2019-11-11 | 一种监控方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112783716A true CN112783716A (zh) | 2021-05-11 |
CN112783716B CN112783716B (zh) | 2024-04-05 |
Family
ID=75749283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911096730.5A Active CN112783716B (zh) | 2019-11-11 | 2019-11-11 | 一种监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112783716B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104361517A (zh) * | 2014-10-29 | 2015-02-18 | 中国建设银行股份有限公司 | 一种金融系统监控方法、装置及相关系统 |
US20160203699A1 (en) * | 2014-01-06 | 2016-07-14 | Yyesit, Llc | Method and apparatus of surveillance system |
CN106570623A (zh) * | 2016-10-26 | 2017-04-19 | 中国农业科学院农业质量标准与检测技术研究所 | 风险监测信息系统中监测信息的获取方法及装置 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
CN109670690A (zh) * | 2018-12-07 | 2019-04-23 | 泰康保险集团股份有限公司 | 数据信息中心监控预警方法、系统及设备 |
CN110196790A (zh) * | 2018-02-24 | 2019-09-03 | 北京京东尚科信息技术有限公司 | 异常监控的方法和装置 |
-
2019
- 2019-11-11 CN CN201911096730.5A patent/CN112783716B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160203699A1 (en) * | 2014-01-06 | 2016-07-14 | Yyesit, Llc | Method and apparatus of surveillance system |
CN104361517A (zh) * | 2014-10-29 | 2015-02-18 | 中国建设银行股份有限公司 | 一种金融系统监控方法、装置及相关系统 |
CN106570623A (zh) * | 2016-10-26 | 2017-04-19 | 中国农业科学院农业质量标准与检测技术研究所 | 风险监测信息系统中监测信息的获取方法及装置 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
CN110196790A (zh) * | 2018-02-24 | 2019-09-03 | 北京京东尚科信息技术有限公司 | 异常监控的方法和装置 |
CN109670690A (zh) * | 2018-12-07 | 2019-04-23 | 泰康保险集团股份有限公司 | 数据信息中心监控预警方法、系统及设备 |
Non-Patent Citations (2)
Title |
---|
曹馨;李新虎;高丽玲;刑莉;: "多目标多测度数据空间抽样方法", 地球信息科学学报, no. 10 * |
胡鹤;赵毅;牛铁;曹荣强;: "面向集群服务器系统的监控平台综述", 科研信息化技术与应用, no. 01 * |
Also Published As
Publication number | Publication date |
---|---|
CN112783716B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147398B (zh) | 一种数据处理方法、装置、介质和电子设备 | |
CN111124819B (zh) | 全链路监控的方法和装置 | |
CN107729570B (zh) | 用于服务器的数据迁移方法和装置 | |
CN110598138A (zh) | 基于缓存的处理方法和装置 | |
CN113760982B (zh) | 一种数据处理方法和装置 | |
CN110928934A (zh) | 一种用于业务分析的数据处理方法和装置 | |
WO2024124789A1 (zh) | 文件处理方法、装置、服务器及介质 | |
CN115809119A (zh) | 容器编排引擎的监控方法、系统及装置 | |
CN118312076A (zh) | 地图图标处理方法、装置、电子设备及计算机可读介质 | |
CN108764866B (zh) | 用于分配资源、领取资源的方法和设备 | |
CN113364887A (zh) | 一种基于ftp的文件下载方法、代理服务器和系统 | |
CN109286532B (zh) | 云计算系统中告警信息的管理方法和装置 | |
CN111274104B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN110247847B (zh) | 节点之间回源选路的方法和装置 | |
CN111698109A (zh) | 监控日志的方法和装置 | |
CN112783716B (zh) | 一种监控方法和装置 | |
CN109213815B (zh) | 控制执行次数的方法、装置、服务器终端以及可读介质 | |
CN112688982B (zh) | 一种用户请求处理方法和装置 | |
CN113761433B (zh) | 业务处理方法和装置 | |
CN112910855B (zh) | 一种样例报文处理方法及装置 | |
CN112783754B (zh) | 一种对页面进行测试的方法和装置 | |
CN112711572B (zh) | 适用于分库分表的在线扩容方法和装置 | |
CN114064803A (zh) | 一种数据同步方法和装置 | |
CN113722193A (zh) | 检测页面异常的方法和装置 | |
CN112988857A (zh) | 一种业务数据的处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |