CN112199249A - 监控数据的处理方法、装置、设备和介质 - Google Patents
监控数据的处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112199249A CN112199249A CN202010974498.7A CN202010974498A CN112199249A CN 112199249 A CN112199249 A CN 112199249A CN 202010974498 A CN202010974498 A CN 202010974498A CN 112199249 A CN112199249 A CN 112199249A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring data
- target
- service component
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 273
- 238000003672 processing method Methods 0.000 title description 11
- 238000013500 data storage Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000013480 data collection Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种监控数据的处理方法、装置、设备和介质。其中，该方法包括：通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将目标监控数据发送给数据存储服务组件；若检测到数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对目标监控数据进行监管处理。本发明实施例通过对数据库集群的实时监控，从而有效防止监控数据的丢失，进而提高对监控数据的高效监管。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种监控数据的处理方法、装置、设备和介质。
背景技术
InfluxDB是一个开源分布式时序、事件和指标数据库，使用Go语言编写，无需外部依赖，其设计目标是实现分布式和水平伸缩扩展；InfluxDB包括用于存储和查询数据，在后台处理ETL或监视和警报目的，用户仪表板以及可视化和探索数据等的API。目前对于主机或者系统的监控主要是通过Telegraf将采集到的数据传输给InfluxDB保存，并通过Chronograf进行展示。
上述方案的缺陷在于：难以实时检测InfluxDB在存储数据中出现的异常情况，例如主机处理器资源使用超过预设阈值；在InfluxDB出现异常时，会导致监控数据的丢失。
发明内容
本申请实施例提供一种监控数据的处理方法、装置、设备和介质，可以通过对数据库集群的实时监控，从而有效防止监控数据的丢失，进而提高对监控数据的高效监管。
第一方面，本发明实施例提供了一种监控数据的处理方法，包括：
通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将所述目标监控数据发送给数据存储服务组件；
若检测到所述数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对所述目标监控数据进行监管处理。
第二方面，本发明实施例提供了一种监控数据的处理装置，包括：
数据发送模块，用于通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将所述目标监控数据发送给数据存储服务组件；
告警提示生成模块，用于若检测到所述数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对所述目标监控数据进行监管处理。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中的任一种所述的监控数据的处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中的任一种所述的监控数据的处理方法。
本发明实施例通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将目标监控数据发送给数据存储服务组件；若检测到数据存储服务组件中的目标监控数据超过监控数据阈值，生成告警提示，用于对目标监控数据进行监管处理。本发明实施例通过对数据库集群的实时监控，从而有效防止监控数据的丢失，进而提高对监控数据的高效监管。
附图说明
图1是本发明实施例一中的监控数据的处理方法的流程示意图；
图2是本发明实施例二中的监控数据的处理方法的流程示意图；
图3是本发明实施例三中的监控数据的处理装置的结构示意图；
图4是本实施例四中的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的监控数据的处理方法的流程示意图。本实施例可适用于对时序数据库进行实时监控的情况。本实施例方法可由监控数据的处理装置来执行，该装置可采用硬件/或软件的方式来实现，并可配置于电子设备中。可实现本申请任意实施例所述的监控数据的处理方法。如图1所示，该方法具体包括如下：
S110、通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将目标监控数据发送给数据存储服务组件。
在本实施例中，目标数据库集群是由时序数据库组成的服务集群；其中，时序数据库是一个开源分布式时序、事件和指标数据库，可以用来存储监控或者采集到的数据，例如目标监控数据可以为被监控主机的写入速率、被监控传感器的存储数据、存储数据量以及被监控主机的其他性能数据等，本实施例中的时序数据库可以为InfluxDB。
数据采集服务组件可以用来采集时序数据库中存储的聚合数据，例如Prometheus；并可以采用Pull的方式获取时序数据库中存储的聚合数据(即目标监控数据)；待采集到目标监控数据后，数据采集服务组件需要将采集到的目标监控数据发送至数据存储服务组件中存储，以实现监控数据的高效存储。
具体的，本实施例中的数据存储服务组件可以采用Elasticsearch；其中，Elasticsearch可以提供存储服务，且其是一个开源的分布式、RESTful风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene；功能强大同时使用简单；RESTful是一种软件架构风格以及设计风格，可以提供一组设计原则和约束条件；主要用于客户端和服务器交互类的软件；基于RESTful风格设计的软件具有简洁、层次和易于实现缓存等功能。
S120、检测数据存储服务组件中的目标监控数据是否超过监控数据阈值；若是，则执行S130；若否，则执行S120。
在本实施例中，为了保证数据存储服务组件的存储效率，以及防止数据存储服务组件产生故障导致监控数据丢失的问题，需要实时检测数据存储服务组件中的目标监控数据是否超过预设的监控数据阈值，并根据检测结果，进行及时处理。
S130、生成告警提示，用于对目标监控数据进行监管处理。
在本实施例中，若检测出数据存储服务组件中的目标监控数据超过预设的监控数据阈值，则需要对相应的管理人员进行提示，以实现对监控数据的有效管理；其中，告警提示的展现形式可以通过以邮箱告知相关管理人员、在显示屏上轮训播放告警提示内容或者触发警报等方式实现。
在上述实施例的基础上，可选的，在通过数据采集服务组件采集目标数据库集群中的目标监控数据之前，本实施例方法还包括：
根据智能设备的性能数据，在智能设备上部署时序数据库服务组件；其中，性能数据包括内存资源利用率和/或处理器资源使用率；
根据时序数据库服务组件，创建目标数据库集群。
在本实施例中，为了提高数据采集服务组件的采集效率，可以同时采集多个时序数据库中的监控数据；其中，每个时序数据库服务组件均被部署在一个智能设备上，并将其作为一个集群节点，组成目标数据库集群；具体的，智能设备可以为计算机上的主机硬件、传感器以及其他可监控硬件等。
智能设备的性能数据能够有效反映出该智能设备的正常运行状态；根据智能设备的性能数据，在智能设备上部署时序数据库服务组件可包括：将性能数据超过性能数据阈值的智能设备作为候选智能设备，并依据监控需求在各候选智能设备上部署时序数据库服务组件；本实施例选择性能数据满足需求的智能设备进行时序数据库服务组件的部署，能够提高监控过程中的数据传输效率，从而有效避免智能设备出现宕机导致监控数据难以传输的问题。
本发明实施例通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将目标监控数据发送给数据存储服务组件；若检测到数据存储服务组件中的目标监控数据超过监控数据阈值，生成告警提示，用于对目标监控数据进行监管处理。本发明实施例通过对数据库集群的实时监控，从而有效防止监控数据的丢失，进而提高对监控数据的高效监管。
实施例二
图2是本发明实施例二中的监控数据的处理方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化，并可与上述技术方案中任意可选方案组合。如图2所示，该方法包括：
S210、从数据采集服务组件中，确定主数据采集服务组件和次数据采集服务组件。
在本实施例中，为了提高数据采集服务组件的采集效率，因此，本实施例中采用一个主数据采集服务组件结合多个次数据采集服务组件为一组采集服务实现监控数据的高效采集；且本实施例中采集服务的组数量可依据待采集的监控数据的数据容量进行适应性调整。
S220、根据主数据采集服务组件和次数据采集服务组件，采集目标数据库集群中的目标监控数据；并将目标监控数据发送给数据存储服务组件。
在本实施例中，通过主数据采集服务组件和多个次数据采集服务组件将采集到的监控数据进行接力式的传输；例如主要可以通过多个次数据采集服务组件在前端采集，主数据采集服务组件在后端进行收集汇总，最后由主数据采集服务组件将汇总好的监控数据传输给数据存储服务组件进行有效存储。
在本实施例中，可选的，根据主数据采集服务组件和次数据采集服务组件，采集目标数据库集群中的目标监控数据，包括：
通过次数据采集服务组件，从目标数据库集群中采集初始监控数据；
若检测到次数据采集服务组件中各初始监控数据之和超过预设阈值，则将各初始监控数据发送给主数据采集服务组件，并通过主数据采集服务组件将各初始监控数据进行整合，得到目标监控数据。
在本实施例中，为了实现数据采集服务组件的高可用，本实施例采用分层联邦制架构部署；其中，分层联邦制架构部署类似一个树形拓扑结构，上层的数据采集服务组件从大量的下层的数据采集服务组件中收集和汇聚采集到的监控数据；当时序数据库集群数量达到很大的规模时可以大大分散压力，确保监控系统稳定运行。
其中，次数据采集服务组件会同时采集多个初始监控数据并暂时存储，为了保证次数据采集服务组件的运行效率，因此，需要设置次数据采集服务组件中数据暂存阈值，若次数据采集服务组件中的当前暂存数据容量超过预设的数据暂存阈值，则需要对当前暂存数据进行及时清理，发送至关联的主数据采集服务组件。
若数据采集服务组件存在多组主数据采集服务组件和次数据采集服务组件的组合，则需要建立每组主数据采集服务组件和该组次数据采集服务组件的关联关系，以生成每组对应的组别标识，以保证次数据采集服务组件在传输监控数据时能够有效快速的根据组别标识查找到需要进行数据传输的主数据采集服务组件。
S230、检测数据存储服务组件中的目标监控数据是否超过监控数据阈值；若是，则执行S240；若否，则执行S230。
S240、生成告警提示，用于对目标监控数据进行监管处理。
在本实施例中，可选的，生成告警提示，包括：
根据目标监控数据与监控数据阈值的差值，确定目标监控数据的故障状态；
根据故障状态，生成告警提示。
在本实施例中，监控数据阈值可以为目标监控数据的数据总个数阈值，或者目标监控数据的数据总容量阈值；存储在数据存储服务组件中的目标监控数据的数据总数量和数据总个数能够影响到数据存储服务组件的运行效率，因此，需要根据目标监控数据与监控数据阈值的差值，确定目标监控数据的故障状态，以此确定生成的告警提示。
在本实施例中，可选的，根据目标监控数据与监控数据阈值的差值，确定目标监控数据的故障状态，包括：
若检测到目标监控数据与监控数据阈值的差值大于或等于第一差值，则确定目标监控数据的故障状态为严重故障；
若检测到目标监控数据与监控数据阈值的差值小于第一差值，则确定目标监控数据的故障状态为普通故障。
在本实施例中，设置第一差值是为了区分目标监控数据的故障状态的严重程度，以确保后续基于不同的故障状态生成相应的告警提示；其中，第一差值为技术管理人员基于数据存储服务组件的应用性能进行设置的，例如，存储空间较大时，则第一差值设置较大；后续也可基于不同数据存储服务组件的应用性能进行适应性调整。
在本实施例中，可选的，根据故障状态，生成告警提示，包括：
若故障状态为严重故障，则生成实时告警提示；
若故障状态为普通故障，则在预先设置的告警区间内，生成告警提示。
在本实施例中，数据存储服务组件中存储的目标监控数据是可以被定时处理的，例如，定时取出或者过期定时清理；因此，对于严重故障的情况，则需要生成实时告警提示，以避免数据量过大导致数据存储服务组件运行瘫痪的问题；对于普通故障的情况，本实施例采取先缓存处理，即先不处理，等到预先设置的告警区间内，数据量还是过大时，则生成告警提示，从而减少告警提示的次数，也能够有效缓解处理人员的人力消耗。
在上述实施例的基础上，可选的，在通过次数据采集服务组件，从目标数据库集群中采集初始监控数据之前，本实施例方法还包括：
根据智能设备标识和时序数据库服务组件的关联部署关系，建立监控配置文件。
在本实施例中，由于数据采集服务组件可能同时采集多台智能设备上时序数据库的监控数据，因此，需要建立智能设备标识和时序数据库服务组件的关联部署关系，建立监控配置文件，以使得数据采集服务组件在采集监控数据时，能够准确有序的进行采集。
在上述实施例的基础上，可选的，通过次数据采集服务组件，从目标数据库集群中采集初始监控数据，包括：
基于监控配置文件，通过次数据采集服务组件，从目标数据库集群中采集初始监控数据；其中，监控配置文件用于次数据采集服务组件识别目标数据库集群中待采集监控数据的时序数据库服务组件。
在本实施例中，数据采集服务组件通过监控配置文件中记录的数时序数据库和智能设备标识的关联关系，对智能设备的性能数据进行采集，得到初始监控数据，能够有效提高数据采集服务组件对采集得到的监控数据的有效管理。
在上述实施例的基础上，可选的，本实施例方法还包括：
在数据存储服务组件中，生成目标监控数据的目标备份数据。
在本实施例中，为了防止数据存储服务组件出现服务运行停止导致监控数据丢失的问题，因此本实施例在数据存储服务组件中，设置备份功能，将数据存储服务组件中存储的监控数据进行后台备份处理，能够有效保证监控数据的可还原性。
在上述实施例的基础上，可选的，在将目标监控数据发送给数据存储服务组件之后，本实施例方法还包括：
通过数据存储服务组件将目标监控数据进行整合，得到目标监控文档；其中，目标监控文档中包括监控数据描述信息与监控数据的关联关系；
响应于通过数据查询接口发送的数据查询请求，从目标监控文档中进行数据查询；其中，数据查询请求包括待查询的监控数据描述信息。
在本实施例中，为了方便数据存储服务组件对接收到的监控数据的有效管理，因此采用监控数据描述信息与监控数据的关联关系，将接收到的监控数据进行整合处理，并存储至文档中；例如可以存储在excel文档中。
其中，为了方便使用者对所需数据的有效查询，还设置了数据查询接口，可以通过调用数据查询接口发送数据查询请求，对所需数据进行查询。具体的，从目标监控文档中进行数据查询，包括：从目标监控文档中搜索待查询的监控数据描述信息，例如可以是监控数据的名称；并返回该监控数据描述信息所关联的监控数据。
在上述实施例的基础上，可选的，本实施例方法还包括：
采用数据展示服务组件中的展示模板，将目标监控数据展示在数据展示界面上。
在本实施例中，数据展示服务组件为可提供可视化界面，并可以直观的展示搜集到的监控数据，例如数据展示服务组件可以为Grafana；其中包括用户可以自定义的编辑仪表盘；其拥有灵活丰富的图形化选项，可以混合多种风格，支持白天和夜间模式以及多个数据源等，是网络架构和应用分析中的时序数据展示工具。
具体的，可以基于不同数据展示服务组件中的展示模板，将目标监控数据写入至展示模板中的预设位置，生成具有目标监控数据的目标展示文件，并显示在数据展示界面上；本实施例能够以不同的展示模板对监控数据进行展示，使其展现形式生动化，极大的提高了观看者的体验满意度。
数据存储服务组件生成的告警提示信息也可以在数据展示界面上进行实时展示，根据其生成告警提示信息的生成时间，将告警提示信息的内容展示在数据展示界面上；其中，对于告警提示信息也可以具有不同的展示模板，若为严重故障，则可以选择模板中色彩比较鲜艳的配色进行展示；若为普通故障，则选择模板中色彩较为单一的配色进行展示，以根据展示模板精准突出目标监控信息的故障的严重程度，有利于管理人员实时查验。
实施例三
图3是本发明实施例三中的监控数据的处理装置的结构示意图，本实施例可适用于对时序数据库进行实时监控的情况。该装置配置于电子设备中，可实现本申请任意实施例所述的监控数据的处理方法。该装置具体包括如下：
数据发送模块310，用于通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将所述目标监控数据发送给数据存储服务组件；
告警提示生成模块320，用于若检测到所述数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对所述目标监控数据进行监管处理。
在上述实施例的基础上，可选的，本实施例装置还包括：
组件部署模块，用于根据智能设备的性能数据，在所述智能设备上部署时序数据库服务组件；其中，所述性能数据包括内存资源利用率和/或处理器资源使用率。
集群创建模块，用于根据所述时序数据库服务组件，创建目标数据库集群。
在上述实施例的基础上，可选的，数据发送模块310，具体用于：
从数据采集服务组件中，确定主数据采集服务组件和次数据采集服务组件；
根据所述主数据采集服务组件和所述次数据采集服务组件，采集目标数据库集群中的目标监控数据。
在上述实施例的基础上，可选的，数据发送模块310，还具体用于：
通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据；
若检测到所述次数据采集服务组件中各初始监控数据之和超过预设阈值，则将各初始监控数据发送给所述主数据采集服务组件，并通过所述主数据采集服务组件将各所述初始监控数据进行整合，得到目标监控数据。
在上述实施例的基础上，可选的，本实施例装置还包括：
监控配置文件建立模块，用于根据智能设备标识和时序数据库服务组件的关联部署关系，建立监控配置文件。
在上述实施例的基础上，可选的，数据发送模块310，还具体用于：
基于监控配置文件，通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据；其中，所述监控配置文件用于所述次数据采集服务组件识别所述目标数据库集群中待采集监控数据的时序数据库服务组件。
在上述实施例的基础上，可选的，本实施例装置还包括：
备份数据生成模块，用于在数据存储服务组件中，生成目标监控数据的目标备份数据。
在上述实施例的基础上，可选的，本实施例装置还包括：
目标监控文档确定模块，用于通过数据存储服务组件将所述目标监控数据进行整合，得到目标监控文档；其中，所述目标监控文档中包括监控数据描述信息与监控数据的关联关系；
数据查询模块，用于响应于通过数据查询接口发送的数据查询请求，从所述目标监控文档中进行数据查询；其中，所述数据查询请求包括待查询的监控数据描述信息。
在上述实施例的基础上，可选的，告警提示生成模块320，具体用于：
根据所述目标监控数据与监控数据阈值的差值，确定所述目标监控数据的故障状态；
根据所述故障状态，生成告警提示。
在上述实施例的基础上，可选的，告警提示生成模块320，还具体用于：
若检测到所述目标监控数据与监控数据阈值的差值大于或等于第一差值，则确定所述目标监控数据的故障状态为严重故障；
若检测到所述目标监控数据与监控数据阈值的差值小于第一差值，则确定所述目标监控数据的故障状态为普通故障。
在上述实施例的基础上，可选的，告警提示生成模块320，还具体用于：
若所述故障状态为严重故障，则生成实时告警提示；
若所述故障状态为普通故障，则在预先设置的告警区间内，生成告警提示。
在上述实施例的基础上，可选的，本实施例装置还包括：
数据展示模块，用于采用数据展示服务组件中的展示模板，将所述目标监控数据展示在数据展示界面上。
通过本发明实施例三的监控数据的处理装置，通过对数据库集群的实时监控，从而有效防止监控数据的丢失，进而提高对监控数据的高效监管。
本发明实施例所提供的监控数据的处理装置可执行本发明任意实施例所提供的监控数据的处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四中的电子设备的结构示意图，如图4所示，该电子设备包括处理器410、存储器420、输入装置430和输出装置440；电子设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；电子设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的监控数据的处理方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现本发明实施例所提供的监控数据的处理方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，可以包括键盘、鼠标等。输出装置440可包括显示屏等显示设备。
实施例五
本实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现本发明实施例所提供的监控数据的处理方法。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的监控数据的处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种监控数据的处理方法，其特征在于，所述方法包括：
通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将所述目标监控数据发送给数据存储服务组件；
若检测到所述数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对所述目标监控数据进行监管处理。
2.根据权利要求1所述的方法，其特征在于，在通过数据采集服务组件采集目标数据库集群中的目标监控数据之前，所述方法还包括：
根据智能设备的性能数据，在所述智能设备上部署时序数据库服务组件；其中，所述性能数据包括内存资源利用率和/或处理器资源使用率；
根据所述时序数据库服务组件，创建目标数据库集群。
3.根据权利要求1所述的方法，其特征在于，通过数据采集服务组件采集目标数据库集群中的目标监控数据，包括：
从数据采集服务组件中，确定主数据采集服务组件和次数据采集服务组件；
根据所述主数据采集服务组件和所述次数据采集服务组件，采集目标数据库集群中的目标监控数据。
4.根据权利要求3所述的方法，其特征在于，根据所述主数据采集服务组件和所述次数据采集服务组件，采集目标数据库集群中的目标监控数据，包括：
通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据；
若检测到所述次数据采集服务组件中各初始监控数据之和超过预设阈值，则将各初始监控数据发送给所述主数据采集服务组件，并通过所述主数据采集服务组件将各所述初始监控数据进行整合，得到目标监控数据。
5.根据权利要求4所述的方法，其特征在于，在通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据之前，所述方法还包括：
根据智能设备标识和时序数据库服务组件的关联部署关系，建立监控配置文件。
6.根据权利要求5所述的方法，其特征在于，通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据，包括：
基于监控配置文件，通过所述次数据采集服务组件，从目标数据库集群中采集初始监控数据；其中，所述监控配置文件用于所述次数据采集服务组件识别所述目标数据库集群中待采集监控数据的时序数据库服务组件。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在数据存储服务组件中，生成目标监控数据的目标备份数据。
8.根据权利要求1所述的方法，其特征在于，在将所述目标监控数据发送给数据存储服务组件之后，所述方法还包括：
通过数据存储服务组件将所述目标监控数据进行整合，得到目标监控文档；其中，所述目标监控文档中包括监控数据描述信息与监控数据的关联关系；
响应于通过数据查询接口发送的数据查询请求，从所述目标监控文档中进行数据查询；其中，所述数据查询请求包括待查询的监控数据描述信息。
9.根据权利要求1所述的方法，其特征在于，生成告警提示，包括：
根据所述目标监控数据与监控数据阈值的差值，确定所述目标监控数据的故障状态；
根据所述故障状态，生成告警提示。
10.根据权利要求9所述的方法，其特征在于，根据所述目标监控数据与监控数据阈值的差值，确定所述目标监控数据的故障状态，包括：
若检测到所述目标监控数据与监控数据阈值的差值大于或等于第一差值，则确定所述目标监控数据的故障状态为严重故障；
若检测到所述目标监控数据与监控数据阈值的差值小于第一差值，则确定所述目标监控数据的故障状态为普通故障。
11.根据权利要求10所述的方法，其特征在于，根据所述故障状态，生成告警提示，包括：
若所述故障状态为严重故障，则生成实时告警提示；
若所述故障状态为普通故障，则在预先设置的告警区间内，生成告警提示。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用数据展示服务组件中的展示模板，将所述目标监控数据展示在数据展示界面上。
13.一种监控数据的处理装置，其特征在于，所述装置包括：
数据发送模块，用于通过数据采集服务组件采集目标数据库集群中的目标监控数据，并将所述目标监控数据发送给数据存储服务组件；
告警提示生成模块，用于若检测到所述数据存储服务组件中的目标监控数据超过监控数据阈值，则生成告警提示，用于对所述目标监控数据进行监管处理。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～12中任一所述的监控数据的处理方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～12中任一所述的监控数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010974498.7A CN112199249A (zh) | 2020-09-16 | 2020-09-16 | 监控数据的处理方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010974498.7A CN112199249A (zh) | 2020-09-16 | 2020-09-16 | 监控数据的处理方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112199249A true CN112199249A (zh) | 2021-01-08 |
Family
ID=74015029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010974498.7A Pending CN112199249A (zh) | 2020-09-16 | 2020-09-16 | 监控数据的处理方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112199249A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344454A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种压测数据的处理方法及装置 |
| CN113485934A (zh) * | 2021-07-23 | 2021-10-08 | 掌阅科技股份有限公司 | 分布式指标数据采集方法、电子设备及存储介质 |
| WO2023050705A1 (zh) * | 2021-09-30 | 2023-04-06 | 苏州浪潮智能科技有限公司 | 一种监控数据管理方法、装置及电子设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508699A (zh) * | 2011-09-30 | 2012-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 终端和数据处理方法 |
| CN106100938A (zh) * | 2016-08-19 | 2016-11-09 | 浪潮(北京)电子信息产业有限公司 | 一种分布式集群系统的监控和告警方法及系统 |
| WO2017181614A1 (zh) * | 2016-04-21 | 2017-10-26 | 乐视控股（北京）有限公司 | 流式数据定位方法、装置及电子设备 |
| CN108932184A (zh) * | 2018-06-21 | 2018-12-04 | 新华三云计算技术有限公司 | 监控装置及方法 |
| CN109558301A (zh) * | 2018-12-03 | 2019-04-02 | 郑州云海信息技术有限公司 | 一种分布式系统数据监测方法、装置及相关设备 |
| CN109709389A (zh) * | 2018-11-30 | 2019-05-03 | 珠海派诺科技股份有限公司 | 针对电力仪表分布式大容量实时数据采样告警方法和系统 |
| CN110519154A (zh) * | 2019-08-15 | 2019-11-29 | 中国平安财产保险股份有限公司 | 数据发送方法、装置、设备及计算机可读存储介质 |
| CN110543496A (zh) * | 2019-09-06 | 2019-12-06 | 中国联合网络通信集团有限公司 | 用于时序数据库集群的数据处理方法和装置 |
| CN111581060A (zh) * | 2020-05-11 | 2020-08-25 | 金蝶软件（中国）有限公司 | 基于Prometheus的日志告警系统、方法以及相关设备 |
-
2020
- 2020-09-16 CN CN202010974498.7A patent/CN112199249A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508699A (zh) * | 2011-09-30 | 2012-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 终端和数据处理方法 |
| WO2017181614A1 (zh) * | 2016-04-21 | 2017-10-26 | 乐视控股（北京）有限公司 | 流式数据定位方法、装置及电子设备 |
| CN106100938A (zh) * | 2016-08-19 | 2016-11-09 | 浪潮(北京)电子信息产业有限公司 | 一种分布式集群系统的监控和告警方法及系统 |
| CN108932184A (zh) * | 2018-06-21 | 2018-12-04 | 新华三云计算技术有限公司 | 监控装置及方法 |
| CN109709389A (zh) * | 2018-11-30 | 2019-05-03 | 珠海派诺科技股份有限公司 | 针对电力仪表分布式大容量实时数据采样告警方法和系统 |
| CN109558301A (zh) * | 2018-12-03 | 2019-04-02 | 郑州云海信息技术有限公司 | 一种分布式系统数据监测方法、装置及相关设备 |
| CN110519154A (zh) * | 2019-08-15 | 2019-11-29 | 中国平安财产保险股份有限公司 | 数据发送方法、装置、设备及计算机可读存储介质 |
| CN110543496A (zh) * | 2019-09-06 | 2019-12-06 | 中国联合网络通信集团有限公司 | 用于时序数据库集群的数据处理方法和装置 |
| CN111581060A (zh) * | 2020-05-11 | 2020-08-25 | 金蝶软件（中国）有限公司 | 基于Prometheus的日志告警系统、方法以及相关设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344454A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种压测数据的处理方法及装置 |
| CN113485934A (zh) * | 2021-07-23 | 2021-10-08 | 掌阅科技股份有限公司 | 分布式指标数据采集方法、电子设备及存储介质 |
| WO2023050705A1 (zh) * | 2021-09-30 | 2023-04-06 | 苏州浪潮智能科技有限公司 | 一种监控数据管理方法、装置及电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190324831A1 (en) | System and Method for Online Unsupervised Event Pattern Extraction and Holistic Root Cause Analysis for Distributed Systems | |
| US11614990B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| CN107729210B (zh) | 分布式服务集群的异常诊断方法和装置 | |
| CN110427299B (zh) | 微服务系统应用的日志处理方法、相关设备及系统 | |
| CN112199249A (zh) | 监控数据的处理方法、装置、设备和介质 | |
| CN109861878B (zh) | kafka集群的topic数据的监控方法及相关设备 | |
| US20170063762A1 (en) | Event log analyzer | |
| CN111046011B (zh) | 日志收集方法、系统、装置、电子设备及可读存储介质 | |
| CN104717094A (zh) | 管理服务器和管理服务器的控制方法 | |
| WO2016188100A1 (zh) | 信息系统故障场景信息收集方法及系统 | |
| EP2498186A1 (en) | Operation management device and operation management method | |
| CN111026621A (zh) | 面向Elasticsearch集群的监控报警方法、装置、设备、介质 | |
| KR102580916B1 (ko) | 5g 분산 클라우드 시스템의 빅 데이터를 이용하여 장애를 관리하는 장치 및 방법 | |
| US20220318319A1 (en) | Focus Events | |
| CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
| WO2015192664A1 (zh) | 设备监控方法及装置 | |
| CN109032904A (zh) | 被监控、管理服务器及数据获取、分析方法和管理系统 | |
| WO2021045719A1 (en) | System for online unsupervised event pattern extraction | |
| JP5779548B2 (ja) | 情報処理システム運用管理装置、運用管理方法及び運用管理プログラム | |
| CN109992476A (zh) | 一种日志的分析方法、服务器及存储介质 | |
| CN103823743A (zh) | 软件系统的监控方法和设备 | |
| CN105824848A (zh) | 获得消防综合信息的方法和消防信息系统 | |
| CN104123217A (zh) | 一种业务服务器执行命令的捕获方法及系统 | |
| CN105446707B (zh) | 一种数据转换方法 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |