CN112416874A - 一种监控数据采集方法、系统、设备及存储介质 - Google Patents
一种监控数据采集方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112416874A CN112416874A CN202011319440.5A CN202011319440A CN112416874A CN 112416874 A CN112416874 A CN 112416874A CN 202011319440 A CN202011319440 A CN 202011319440A CN 112416874 A CN112416874 A CN 112416874A
- Authority
- CN
- China
- Prior art keywords
- monitoring data
- data acquisition
- acquisition terminal
- monitoring
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims 3
- 238000011160 research Methods 0.000 abstract description 10
- 238000011084 recovery Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种监控数据采集方法、系统、设备及存储介质，属于云平台技术领域，其中，监控数据采集方法包括：采集监控数据，并调用数据接口生成监控数据；将所述监控数据转换为预设的通用格式；将通用格式的所述监控数据存储至时序数据库。该监控数据采集方法，应用于云平台监控系统中的一种通用监控数据采集插件的方法，支持云平台自研模块统一、高效的集成监控数据采集功能，支持上报数据灾备和数据缓存，支持流速控制等，提高告警系统数据采集的通用性，提升开发效率。
Description
技术领域
本发明涉及云平台技术领域，尤其是涉及一种监控数据采集方法、系统、设备及存储介质。
背景技术
随着云平台规模的不断提升，如何实现对云平台中各模块(核心服务和功能组件)进行监控告警至关重要，尤其是对自研模块(自研模块是自研的，相对RabbitMQ集群、MySQL这样的通用核心服务而言的)进行监控告警更为迫切，难度更大。
自研模块进行数据采集存在如下亟需解决的问题：
(1)、数量多和开发人员不同导致数据采集相关功能实现不一致从而增加数据采集的难度，或者开发数据采集功能导致重复工作；
(2)、不同模块监控数据的数据格式不一致，需实现统一处理，即实现通用的数据采集插件。
发明内容
本发明的目的在于提供一种监控数据采集方法、系统、设备及存储介质，实现支持云平台中的各模块与监控系统进行交互，包括主动上报数据模式和数据被动采集模式两种方式；此监控数据采集插件支持云平台自研模块统一、高效的集成监控数据采集功能，支持上报数据灾备和数据缓存，支持流速控制等，提高告警系统数据采集的通用性，提升开发效率题。
第一方面，本发明提供的一种监控数据采集方法，应用于云平台，所述方法包括：
采集监控数据，并调用数据接口生成监控数据；
将所述监控数据转换为预设的通用格式；
将通用格式的所述监控数据存储至时序数据库。
进一步的，所述通用格式包括数据表名、索引字段和数据字段。
进一步的，将通用格式的所述监控数据存储至时序数据库的步骤，包括：
获取监控数据采集终端列表；其中，所述数据采集终端列表中记录有若干个可用的监控数据采集终端；
从所述监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
进一步的，所述监控数据采集方法，还包括：
探测所有监控数据采集终端的可用状态；
将异常状态的监控数据采集终端移出监控数据采集终端列表；
将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
进一步的，将通用格式的所述监控数据存储至时序数据库的步骤，包括：
接收来自监控数据采集终端的采集请求；
比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期；
若是，则将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
进一步的，比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期的步骤，包括：
获取监控数据采集终端的IP地址；
比较该IP地址上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期。
第二方面，本发明还提供了一种监控数据采集系统，应用于云平台，所述系统包括数据接口、数据缓存控制模块、数据发送控制模块、时序数据库和多个监控数据采集终端；
数据缓存控制模块采集监控数据，并调用数据接口生成监控数据；将所述监控数据转换为预设的通用格式并缓存；
数据发送控制模块获取监控数据采集终端列表；其中，所述数据采集终端列表中记录有若干个可用的监控数据采集终端；
数据发送控制模块从所述监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
进一步的，所述监控数据采集系统，还包括状态探测模块；
状态探测模块探测所有监控数据采集终端的可用状态，将异常状态的监控数据采集终端移出监控数据采集终端列表，将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述监控数据采集方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述监控数据采集方法。
本发明提供的一种监控数据采集方法，应用于云平台监控系统中的一种通用监控数据采集插件的方法，支持云平台自研模块统一、高效的集成监控数据采集功能，支持上报数据灾备和数据缓存，支持流速控制等，提高告警系统数据采集的通用性，提升开发效率。
相应地，本发明实施例提供的一种监控数据采集系统、设备及计算机可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的监控数据采集方法的流程图；
图2为本发明实施例提供的监控数据采集系统的结构图；
图3为本发明实施例提供的电子设备的模块组图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，本发明提供的一种监控数据采集方法，应用于云平台，方法包括：
S1、采集监控数据，并调用数据接口生成监控数据；
S2、将监控数据转换为预设的通用格式，通用格式包括数据表名、索引字段和数据字段；
S3、将通用格式的监控数据存储至时序数据库；
S4、探测所有监控数据采集终端的可用状态；
S5、将异常状态的监控数据采集终端移出监控数据采集终端列表；
S6、将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
同时，在上述将通用格式的监控数据存储至时序数据库的步骤中，包括：
A1、获取监控数据采集终端列表；其中，数据采集终端列表中记录有若干个可用的监控数据采集终端；
A2、从监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的监控数据上报至所选择的监控数据采集终端；
A3、监控数据采集终端将监控数据保存至时序数据库。
另外，在上述步骤将通用格式的监控数据存储至时序数据库的步骤中，包括：
B1、接收来自监控数据采集终端的采集请求；
B2、比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期；
B3、若是，则将通用格式的监控数据上报至所选择的监控数据采集终端；
B4、监控数据采集终端将监控数据保存至时序数据库。
上述比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期的步骤，包括：
C1、获取监控数据采集终端的IP地址；
C2、比较该IP地址上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期。
另外，本发明还提供了一种监控数据采集系统，应用于云平台，系统包括数据接口、数据缓存控制模块、数据发送控制模块、时序数据库和多个监控数据采集终端；
数据缓存控制模块采集监控数据，并调用数据接口生成监控数据；将监控数据转换为预设的通用格式并缓存；
数据发送控制模块获取监控数据采集终端列表；其中，数据采集终端列表中记录有若干个可用的监控数据采集终端；
数据发送控制模块从监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将监控数据保存至时序数据库。
另外，该监控数据采集系统，还包括状态探测模块，状态探测模块探测所有监控数据采集终端的可用状态，将异常状态的监控数据采集终端移出监控数据采集终端列表，将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
请参阅图2，本发明实施例提供的监控数据采集系统实现了支持云平台自研模块统一、高效的集成监控数据采集功能，支持上报数据灾备和数据缓存，支持流速控制,具体实施过程如下：
1)统一数据模板
包括数据模板的初始化(定义)、监控数据生成和数据格式转换。
a、数据模板的初始化(定义)，如表1所示，表1表示为一种数据模板示例；
表1
监控数据将存入监控系统中时序数据库InfluxDb中，InfluxDB一个开源的时间序列数据库InfluxDB是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及执行分析。数据库中数据包括数据表名，索引字段Tag，数据字段Filed。如表所示，数据模板包括表名字段、索引字段集合和数据字段集合。当自研模块初始化时同时初始化所有数据模板。
b、监控数据生成
自研模块业务代码中采集监控数据，调用插件中数据接口生成监控数据。数据接口格式如下：
Generate_data(string table_name，dict tags，dict fields)
Table_name＝“disk_info”
Tags＝{“host_name”：“node100”，“disk_name”：“vda”}
Fields＝{“read_rate”：10.45，“write_rate”：1003.25}
c、数据格式转换
往时序数据库InfluxDb发送的数据格式为：
数据表名tag1＝tag1value,tag2＝tag2value field1＝field1value,field2＝field2value
将(b)中格式转换为上述格式，实例如下：
disk_info host_name＝node100,disk_name＝vda read_rate＝10.45,write_rate＝1003.25
2)数据灾备和数据缓存
a、数据接口将数据放入数据缓存控制模块，每一种数据会设置最大缓存数据个数。如果数据个数超过最大缓存数据个数，将删除最早的数据。最大缓存数据个数根据系统内存情况和数据种类设置。
b、数据发送控制模块从数据缓存控制模块中读取数据，从状态探测模块中获取监控数据采集终端列表，并随机选择一个上报数据，最后在数据缓存控制模块中删除数据。如果监控数据采集终端列表为空，暂停上报数据；
c、状态探测模块探测所有监控数据采集终端的可用状态。如果异常从监控数据采集终端列表剔除。如果恢复正常则添加到监控数据采集终端列表，如果之前监控数据采集终端列表为空，则通知数据发送控制模块重新开始上报数据。
3)流速控制
a、支持简单模式和按IP限流模式二选一；
b、简单模式：设置最小采集周期；记录每次请求的时间；再次请求时计算与上次请求的时间差，如果小于最小采集周期则拒绝请求。
c、按IP限流模式：设置最小采集周期；记录每次请求的IP和时间；后续请求时计算与上次同一IP请求的时间差，如果小于最小采集周期则拒绝请求。
4)多语言软件开发工具包
支持Python、Java和Goland等多种开发语言，满足云平台中所有产品线所有模块的集成。
该监控数据采集方法，应用于云平台监控系统中的一种通用监控数据采集插件的方法，支持云平台自研模块统一、高效的集成监控数据采集功能，支持上报数据灾备和数据缓存，支持流速控制等，提高告警系统数据采集的通用性，提升开发效率。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种电子设备，如图3所示，电子设备800包括存储器801、处理器802，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的方法的步骤。
如图3所示，电子设备还包括：总线803和通信接口804，处理器802、通信接口804和存储器801通过总线803连接；处理器802用于执行存储器801中存储的可执行模块，例如计算机程序。
其中，存储器801可能包含高速随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口804(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线803可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器801用于存储程序，处理器802在接收到执行指令后，执行程序，前述本发明任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器802中，或者由处理器802实现。
处理器802可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器802可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成上述方法的步骤。
对应于上述方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。
本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
又例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，再例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种监控数据采集方法，其特征在于，应用于云平台，所述方法包括：
采集监控数据，并调用数据接口生成监控数据；
将所述监控数据转换为预设的通用格式；
将通用格式的所述监控数据存储至时序数据库。
2.根据权利要求1所述的监控数据采集方法，其特征在于，所述通用格式包括数据表名、索引字段和数据字段。
3.根据权利要求1所述的监控数据采集方法，其特征在于，将通用格式的所述监控数据存储至时序数据库的步骤，包括：
获取监控数据采集终端列表；其中，所述数据采集终端列表中记录有若干个可用的监控数据采集终端；
从所述监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
4.根据权利要求3所述的监控数据采集方法，其特征在于，还包括：
探测所有监控数据采集终端的可用状态；
将异常状态的监控数据采集终端移出监控数据采集终端列表；
将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
5.根据权利要求1所述的监控数据采集方法，其特征在于，将通用格式的所述监控数据存储至时序数据库的步骤，包括：
接收来自监控数据采集终端的采集请求；
比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期；
若是，则将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
6.根据权利要求5所述的监控数据采集方法，其特征在于，比较上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期的步骤，包括：
获取监控数据采集终端的IP地址；
比较该IP地址上次采集请求的时间与当前采集请求的时间的时间差是否超过预设的采集周期。
7.一种监控数据采集系统，其特征在于，应用于云平台，所述系统包括数据接口、数据缓存控制模块、数据发送控制模块、时序数据库和多个监控数据采集终端；
数据缓存控制模块采集监控数据，并调用数据接口生成监控数据；将所述监控数据转换为预设的通用格式并缓存；
数据发送控制模块获取监控数据采集终端列表；其中，所述数据采集终端列表中记录有若干个可用的监控数据采集终端；
数据发送控制模块从所述监控数据采集终端列表中随机选择一个监控数据采集终端，将通用格式的所述监控数据上报至所选择的监控数据采集终端；
监控数据采集终端将所述监控数据保存至时序数据库。
8.根据权利要求7所述的监控数据采集系统，其特征在于，还包括状态探测模块；
状态探测模块探测所有监控数据采集终端的可用状态，将异常状态的监控数据采集终端移出监控数据采集终端列表，将恢复正常状态的监控数据采集终端添加至监控数据采集终端列表。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319440.5A CN112416874A (zh) | 2020-11-23 | 2020-11-23 | 一种监控数据采集方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011319440.5A CN112416874A (zh) | 2020-11-23 | 2020-11-23 | 一种监控数据采集方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112416874A true CN112416874A (zh) | 2021-02-26 |
Family
ID=74777281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011319440.5A Withdrawn CN112416874A (zh) | 2020-11-23 | 2020-11-23 | 一种监控数据采集方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416874A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630060A (zh) * | 2022-09-09 | 2023-01-20 | 中国船舶重工集团公司第七一三研究所 | 一种监控数据处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103928983A (zh) * | 2014-03-26 | 2014-07-16 | 国家电网公司 | 一种用于电力通信网的电源监控系统 |
| CN109587264A (zh) * | 2018-12-20 | 2019-04-05 | 新华三技术有限公司 | 数据监控方法、装置及云平台服务器 |
| CN111352800A (zh) * | 2020-02-25 | 2020-06-30 | 京东数字科技控股有限公司 | 大数据集群监控方法及相关设备 |
-
2020
- 2020-11-23 CN CN202011319440.5A patent/CN112416874A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103928983A (zh) * | 2014-03-26 | 2014-07-16 | 国家电网公司 | 一种用于电力通信网的电源监控系统 |
| CN109587264A (zh) * | 2018-12-20 | 2019-04-05 | 新华三技术有限公司 | 数据监控方法、装置及云平台服务器 |
| CN111352800A (zh) * | 2020-02-25 | 2020-06-30 | 京东数字科技控股有限公司 | 大数据集群监控方法及相关设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630060A (zh) * | 2022-09-09 | 2023-01-20 | 中国船舶重工集团公司第七一三研究所 | 一种监控数据处理方法及系统 |
| CN115630060B (zh) * | 2022-09-09 | 2023-09-29 | 中国船舶重工集团公司第七一三研究所 | 一种监控数据处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110213068B (zh) | 一种消息中间件的监控方法及相关设备 | |
| CN111459782B (zh) | 监控业务系统的方法、装置、云平台系统和服务器 | |
| CN112965874B (zh) | 一种可配置的监控告警方法及系统 | |
| CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
| CN111240876B (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
| CN110677304A (zh) | 一种分布式问题追踪系统及设备 | |
| CN114548059A (zh) | 一种结构化数据的管理方法、装置、存储介质及电子设备 | |
| CN112416874A (zh) | 一种监控数据采集方法、系统、设备及存储介质 | |
| CN109818808B (zh) | 故障诊断方法、装置和电子设备 | |
| CN111694708A (zh) | 数据查询方法、装置及电子设备、存储介质 | |
| CN110717130B (zh) | 打点方法、装置、终端及存储介质 | |
| CN107798086B (zh) | 服务器信息更新方法、装置、系统及电子设备 | |
| CN113849330A (zh) | 一种监测、分析应用故障原因的方法、设备及存储介质 | |
| CN114880194B (zh) | 服务异常监控方法、装置、电子设备及计算机存储介质 | |
| CN112311577A (zh) | 一种监控指标数据管理方法、装置、电子设备及存储介质 | |
| CN112261139B (zh) | 业务数据采集方法、装置以及电子设备 | |
| CN112187543A (zh) | 一种云平台事件监控系统、方法及电子设备 | |
| CN112416699A (zh) | 指标数据收集方法及系统 | |
| CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
| CN112866029B (zh) | 基于云平台的日志数据处理方法、装置以及服务端设备 | |
| CN115604668B (zh) | 短信发送和推送监控方法、装置、设备及存储介质 | |
| CN115480978A (zh) | 性能监控方法、装置及电子设备 | |
| CN114064038A (zh) | 一种应用界面操作信息的获取方法和装置 | |
| CN114579314A (zh) | 设备数据采集配置的处理方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210226 |