CN110825581A - 一种数据监控方法与监控平台 - Google Patents
一种数据监控方法与监控平台 Download PDFInfo
- Publication number
- CN110825581A CN110825581A CN201910971650.3A CN201910971650A CN110825581A CN 110825581 A CN110825581 A CN 110825581A CN 201910971650 A CN201910971650 A CN 201910971650A CN 110825581 A CN110825581 A CN 110825581A
- Authority
- CN
- China
- Prior art keywords
- data
- hbase
- monitoring
- monitoring platform
- opentsdb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013500 data storage Methods 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 21
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 239000002699 waste material Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种数据监控方法与监控平台，涉及监控技术领域。该数据监控方法应用于监控平台，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase以及OpenTSDB，首先在接收到业务端发送的数据时，将数据存储至Hbase，然后周期性地利用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理，最后将处理后的数据发送至目标业务端。本申请提供的数据监控方法与监控平台具有通过一个独立的监控平台实现对多个业务端的监控，节省了资源的优点。
Description
技术领域
本申请涉及监控技术领域，具体而言，涉及一种数据监控方法与监控平台。
背景技术
目前，在企业的监控系统上，企业的每个部门均需要各自定制一套独立的监控系统，以进行各自部门的硬件及数据的监控。
由于每个部门的监控系统均独立开来，因此从数据源采集、监控规则配置、监控输出都需要定制开发，适用性差，资源浪费较大。
综上所述，目前企业没有一套独立的监控系统，导致资源浪费较大。
发明内容
本申请的目的在于提供一种数据监控方法与监控凭条，以解决现有技术中企业没有一套独立的监控系统，导致资源浪费较大的问题。
为了解决上述问题，本申请是这样实现的：
一方面，本发明实施例提供了一种数据监控方法，应用于监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据存储层，所述数据存储层包括Hbase以及OpenTSDB，所述方法包括：
接收到所述业务端发送的数据时，将所述数据存储至所述Hbase；
周期性地利用OpenTSDB对所述Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；
将处理后的数据发送至所述目标业务端。
进一步地，所述数据存储层还包括HDFS，所述将所述数据存储至所述Hbase的步骤包括：
利用所述HDFS所述数据分类存储至所述Hbase中；
在所述将所述数据存储至所述Hbase的步骤之后，所述方法还包括：
利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩。
进一步地，所述Hbase的存储空间包括多行与多列，所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤之前，所述方法包括：
将所述数据按不同列存储至所述Hbase；
所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤包括：
当经过一个时间周期时，利用HDFS将所述时间周期内所有列的数据进行压缩，并组成一行数据。
进一步地，在所述接收到所述业务端发送的数据的步骤之后，所述方法还包括：
通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出。
进一步地，所述通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出的步骤包括：
将所述数据与预设定的阈值进行比较，当所述数据的值大于所述阈值时，生成告警信息并输出。
进一步地，在所述将处理后的数据发送至所述目标业务端的步骤之前，所述方法还包括：
当接收到多个业务端发送的数据处理指令时，按消息队列解耦对所述多个业务端发送的数据处理指令进行处理。
另一方面，本发明实施例提供了一种监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据收发层与数据存储层，所述数据存储层包括Hbase组件以及OpenTSDB组件；
所述数据收发层用于接收所述业务端发送的数据；
所述Hbase组件用于存储所述数据；
所述OpenTSDB组件用于对所述Hbase组件中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；
所述数据收发层还用于将处理后的数据发送至所述目标业务端。
进一步地，数据存储层还包括HDFS组件；
所述HDFS组件用于将所述数据分类存储至所述Hbase中；
所述HDFS还用于按预设定的时间周期对所述Hbase中存储的数据进行压缩。
进一步地，所述HDFS组件用于将所述时间周期内所有列的数据进行压缩，并组成一行数据。
进一步地，所述数据收发层用于接收接口数据、文本日志数据、爬虫数据以及业务端及其性能数据。
相对于现有技术，本申请具有以下有益效果：
本发明实施例提供了一种数据监控方法与监控平台，该数据监控方法应用于监控平台，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase以及OpenTSDB，首先在接收到业务端发送的数据时，将数据存储至Hbase，然后周期性地利用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理，最后将处理后的数据发送至目标业务端。一方面，通过本申请提供的监控平台，能够实现对多个业务端的数据处理，通过一个独立的监控平台实现对多个业务端的监控，节省了资源。另一方面，利用Hbase及OpenTSDB进行数据表的存储，抛弃了传统关系型数据的存储架构，利用Hbase的可拓展性，实现了大量数据存储的效果。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供第一种数据监控方法的流程图。
图2为本申请实施例提供第二种数据监控方法的流程图。
图3为本申请实施例提供图2中S103-a1的子步骤的流程图。
图4为本申请实施例提供第三种数据监控方法的流程图。
图5为本申请实施例提供监控平台与业务端的交互示意图。
图6为本申请实施例提供监控平台的模块示意图。
图中：110-监控平台；120-业务端。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
第一实施例
正如背景技术中所述，现有的监控系统每个部门所定制化的监控系统，各个部门将对于监控系统的使用，不能互通，导致目前的监控系统的适用性差，并且各部门独立开发监控系统，造成了资源的浪费。同时由于监控系统本身的门槛较高，造成开发成本较大。
若将各部门的监控均通过一个监控平台实现，则监控平台需要的存储空间较大。有鉴于此，本申请提供了一种数据监控方法，以通过海量存储模块实现通过一个监控平台对所有部门的数据进行监控的效果。
下面以监控平台作为执行主体，对本申请提供的数据监控方法进行示例性说明。请参阅图1，该方法包括：
S102，当收到业务端发送的数据时，将数据存储至Hbase。
S104，用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理。
S106，将处理后的数据发送至目标业务端。
作为本申请一种可能的实现方式，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase（分布式列存数据库）以及OpenTSDB（时间序列数据库）。其中，Hbase以及OpenTSDB为基于Hadoop Ecosystem生态构建的存储模块。Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，具有可靠、高效、可伸缩的特点。 HBase是一个分布式的、面向列的开源数据库，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，并且HBase为基于列而不是基于行的存储模式。OpenTSDB用于收集大规模集群（包括网络设备、操作系统、应用程序）的监控数据并进行存储，查询。
因此，当OpenTSDB在收集到每个业务端的数据时，会将每个业务端的数据发送至HBase中进行存储。
并且，本申请中，监控平台会利用OpenTSDB按照时间周期对HBase中存储的数据进行调用，以用于对每个业务端的数据进行排序与整合处理。例如，时间周期设置为1个小时，则每经历过一个小时，监控平台则会对业务端的数据进行整合。例如，监控平台在获取业务端的数据中，包括但不限于业务端机器的温度数据，当经过一个时钟周期后，监控平台会对每个业务端的温度数据按照时间排序并进行整合，方便工作人员查查看。
并且，作为一种实现方式，监控平台会依次对每个业务端的数据进行处理，其中，监控平台会依次将每个的业务端作为的目标业务端，进而对该目标的业务端的数据按照时间进行排序，并进行统一的整合。
例如，当监控平台与5个业务端连接时，则监控平台在进行数据整合时，会先将5个业务端中的任意一个作为目标业务端，然后利用OpenTSDB从HBase调用相应目标业务端的数据进行处理。当其中一个业务端的数据处理完成后，继续处理另一个业务端的数据。
当数据处理完成后，监控平台还会将处理后的数据发送至目标业务端，进而使每个业务端均能收到周期性的数据反馈。
其中，作为本申请的一种实现方式，本申请提供的监控平台包含数据收发层，利用数据收发层实现的实现对数据源的获取。其中，数据收发层用于接收接口数据、文本日志数据、爬虫数据以及业务端及其性能数据。数据收发层支持主动上报与被动采集，且被动采集兼容普通文本、常用中间件、主流容器等。
通过上述实现方式，使得数据收发层的数据采集功能更加完善，能够进行不同业务端数据的采集。同时，该监控凭条也能够存储更多的数据，进而能够对多个业务端的数据进行采集以及处理的效果。
并且，在监控平台的数据存储层还包括HDFS（Hadoop Distributed File System，分布式文件系统），将数据存储至Hbase的步骤可以包括：
利用HDFS数据分类存储至Hbase中。
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。
即通过使用HDFS，能够将数据进行分类存储至Hbase中。例如，将不同业务端的数据分类地存储至Hbase中。
并且，请参阅图2，在S102步骤之后，该方法还包括：
S103-a，利用OpenTSDB按预设定的时间周期对Hbase中存储的数据进行压缩。
由于在Hbase存储具有一下特点：
1、大：一个表可以有上亿行，上百万列。
2、面向列:面向列(族)的存储和权限控制，列(族)独立检索。
3、稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。
即在Hbase的存储空间包括多行与多列，在将数据存储至Hbase中时，实际为将数据按不同列存储至Hbase。
为了减小数据存储的浪费以及提升历史区间的检索效率，在本申请中，引入了时序数据库，即按周期压缩时序数据，例如时间周期为1小时，则一小时压缩一次数据。
本申请中，请参阅图3，S103-a包括：
S103-a1，当经过一个时间周期时，利用OpenTSDB将时间周期内所有列的数据进行压缩，并组成一行数据。
即由于监控平台在接收数据后，将数据按不同列存储于Hbase中，可以，可以理解地，对于一个业务端的数据而言，其数据量较为庞大。例如，若监控平台每分钟获取一次业务端的机器温度信息，则一个小时内，其获取的信息量为60个，分别存储于Hbase的60列中。对于N个数据而言，即需要Hbase中60*N列进行存储，造成了数据存储的浪费，且在进行数据的检索时，由于涉及多列，其检索效率也较慢。
因此，本申请利用OpenTSDB在时间周期内对数据进行压缩。例如，在经过一个小时时，OpenTSDB会将该一个小时内Hbase中存储的多列数据压缩为一行数据，使得每一个小时均只会产生一行数据，进而减少了存储空间的浪费，同时在进行检索时，也能够实现快速检索的效果。
同时，请参阅图4，在S104之前，数据监控方法还包括:
S103-b，通过预设定的规则对数据进行筛选，当数据不满足预设定的规则时，生成告警信息并输出。
可以理解地，本申请提供的监控平台还包括规则引擎组件，通过该规则引擎组件，实现对接收到的数据，按预设定的规则进行筛选，以达到风险预警的效果。
作为本申请的一种可能的实现方式，S103-b包括：
S103-b1，将数据与预设定的阈值进行比较，当数据的值大于阈值时，生成告警信息并输出。
其中，规则引擎组件中设置有预设定的阈值，例如，对于业务端的机器温度数据而言，其预设定的阈值为50度，当在接收到数据后，监控平台会将接收到的机器温度数据与阈值比较，当机器温度数据大于阈值时，则其生成告警信息并输出。
当然地，对于其它的一些数据，其设置的阈值可能不同，本申请对此并不做任何限定。同时，规则引擎组件对于数据的筛选，也可以采用其它方式进行，例如，判断接收到的数据类型是否为预设定的数据类型等。
同时，当规则引擎组件筛选出不符合标准的数据时，其会生成告警信息并输出。作为本申请一种可能的实现方式，监控平台还包括监控展示层，当生成告警信息后，会通过监控展示层进行可视化展示。同时，监控平台还会将告警信息发送至业务端。从而达到通知工作人员的效果，例如，当进行可视化展示时，工作人员能够直接看到其告警信息，进而对相应的业务端进行维护。
同时，由于在实际处理过程中，工作人员可能需要执行一些需求，并通过业务端向监控平台发送数据处理指令，进而实现数据处理。
因此，本方法还包括：
当接收到多个业务端发送的数据处理指令时，按消息队列解耦对多个业务端发送的数据处理指令进行处理。
例如，当其中一个业务端向监控平台发送，计算一个小时内其及机器的平均温度，则监控平台在接收到指令后，调用Hbase中存储的数据，然后进行计算处理。
然而，由于业务端的个数较多，因此多个业务端可能同时发送指令。因此在本申请中，使用消息队列解耦的方式，当多个业务端发送的数据处理指令进行处理。即将其中一个业务端的指令执行完成后，再执行另一个业务端发送的指令。
通过上述方式，实现了通过一个监控平台，同时监控多个业务端数据的效果，避免了资源的浪费。
第二实施例
请参阅图5，本发明实施例还提供了一种监控平台110，该监控平台110与多个业务端120通信连接，且监控平台110包括数据收发层与数据存储层，数据存储层包括Hbase组件以及OpenTSDB组件。
其中，数据收发层用于接收业务端120发送的数据，Hbase组件用于存储数据，OpenTSDB组件用于对Hbase组件中存储的目标业务端120的数据进行的调用，并对调用的数据进行排序与整合处理，数据收发层还用于将处理后的数据发送至目标业务端120。
并且，数据存储层还包括HDFS组件，HDFS组件用于将数据分类存储至Hbase中，且OpenTSDB组件用于按预设定的时间周期对Hbase中存储的数据进行压缩。
其中，对于数据压缩的方式为，OpenTSDB组件用于将时间周期内所有列的数据进行压缩，并组成一行数据。
且数据收发层用于接收接口数据、文本日志数据、爬虫数据以及业务端120及其性能数据。
作为本申请一种可能的实现方式，监控平台110还能执行更多的功能。例如，请参阅图6，监控平台110从下到上可以分为数据源层、数据集成层、数据存储层、资源调度/计算引擎层、安全控制层以及监控展示层。
其中，数据源层负责监控数据的采集与接入；数据集成层做为数据传输链路的中转层，负责数据汇聚与数据队列缓存；数据存储层根据数据的量级与格式，提供不同的存储服务；资源调度层负责整个平台计算相关的资源调度；安全控制通过用户角色、数据权限控制、资源隔离机制，保障数据与资源安全；监控层提供可视化的数据看板、监控配置服务。
综上所述，本发明实施例提供了一种数据监控方法与监控平台，该数据监控方法应用于监控平台，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase以及OpenTSDB，首先在接收到业务端发送的数据时，将数据存储至Hbase，然后周期性地利用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理，最后将处理后的数据发送至目标业务端。一方面，通过本申请提供的监控平台，能够实现对多个业务端的数据处理，通过一个独立的监控平台实现对多个业务端的监控，节省了资源。另一方面，利用Hbase及OpenTSDB进行数据表的存储，抛弃了传统关系型数据的存储架构，利用Hbase的可拓展性，实现了大量数据存储的效果。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种数据监控方法，其特征在于，应用于监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据存储层，所述数据存储层包括Hbase以及OpenTSDB，所述方法包括：
接收到所述业务端发送的数据时，将所述数据存储至所述Hbase；
周期性地利用OpenTSDB对所述Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；
将处理后的数据发送至所述目标业务端。
2.如权利要求1所述的数据监控方法，其特征在于，所述数据存储层还包括HDFS，所述将所述数据存储至所述Hbase的步骤包括：
利用所述HDFS所述数据分类存储至所述Hbase中；
在所述将所述数据存储至所述Hbase的步骤之后，所述方法还包括：
利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩。
3.如权利要求2所述的数据监控方法，其特征在于，所述Hbase的存储空间包括多行与多列，所述利用所述HDFS按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤之前，所述方法包括：
将所述数据按不同列存储至所述Hbase；
所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤包括：
当经过一个时间周期时，利用OpenTSDB将所述时间周期内所有列的数据进行压缩，并组成一行数据。
4.如权利要求1所述的数据监控方法，其特征在于，在所述接收到所述业务端发送的数据的步骤之后，所述方法还包括：
通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出。
5.如权利要求4所述的数据监控方法，其特征在于，所述通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出的步骤包括：
将所述数据与预设定的阈值进行比较，当所述数据的值大于所述阈值时，生成告警信息并输出。
6.如权利要求1所述的数据监控方法，其特征在于，在所述将处理后的数据发送至所述目标业务端的步骤之前，所述方法还包括：
当接收到多个业务端发送的数据处理指令时，按消息队列解耦对所述多个业务端发送的数据处理指令进行处理。
7.一种监控平台，其特征在于，所述监控平台与多个业务端通信连接，且所述监控平台包括数据收发层与数据存储层，所述数据存储层包括Hbase组件以及OpenTSDB组件；
所述数据收发层用于接收所述业务端发送的数据；
所述Hbase组件用于存储所述数据；
所述OpenTSDB组件用于对所述Hbase组件中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；
所述数据收发层还用于将处理后的数据发送至所述目标业务端。
8.如权利要求7所述的监控平台，其特征在于，数据存储层还包括HDFS组件；
所述HDFS组件用于将所述数据分类存储至所述Hbase中；
所述HDFS还用于按预设定的时间周期对所述Hbase中存储的数据进行压缩。
9.如权利要求8所述的监控平台，其特征在于，
所述HDFS组件用于将所述时间周期内所有列的数据进行压缩，并组成一行数据。
10.如权利要求7所述的监控平台，其特征在于，所述数据收发层用于接收接口数据、文本日志数据、爬虫数据以及业务端及其性能数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971650.3A CN110825581A (zh) | 2019-10-14 | 2019-10-14 | 一种数据监控方法与监控平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910971650.3A CN110825581A (zh) | 2019-10-14 | 2019-10-14 | 一种数据监控方法与监控平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110825581A true CN110825581A (zh) | 2020-02-21 |
Family
ID=69549207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910971650.3A Pending CN110825581A (zh) | 2019-10-14 | 2019-10-14 | 一种数据监控方法与监控平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825581A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632347A (zh) * | 2021-01-14 | 2021-04-09 | 加和（北京）信息科技有限公司 | 数据筛选控制方法及装置、非易失性存储介质 |
| CN113138898A (zh) * | 2021-04-26 | 2021-07-20 | 上海淇玥信息技术有限公司 | 对业务系统异常进行识别预警的方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930380A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于hadoop的图表监控方法和装置 |
| CN106682077A (zh) * | 2016-11-18 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种基于Hadoop技术的海量时序数据存储实现方法 |
| CN108197181A (zh) * | 2017-12-25 | 2018-06-22 | 广州亦云信息技术股份有限公司 | 一种时序数据的压缩存储方法、电子设备及存储介质 |
| CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
| CN110134511A (zh) * | 2019-04-12 | 2019-08-16 | 浪潮软件集团有限公司 | 一种OpenTSDB共享存储优化方法 |
-
2019
- 2019-10-14 CN CN201910971650.3A patent/CN110825581A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930380A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于hadoop的图表监控方法和装置 |
| CN106682077A (zh) * | 2016-11-18 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种基于Hadoop技术的海量时序数据存储实现方法 |
| CN108197181A (zh) * | 2017-12-25 | 2018-06-22 | 广州亦云信息技术股份有限公司 | 一种时序数据的压缩存储方法、电子设备及存储介质 |
| CN108471366A (zh) * | 2018-02-02 | 2018-08-31 | 深圳市康拓普信息技术有限公司 | 一种面向云原生应用的立体监控系统 |
| CN110134511A (zh) * | 2019-04-12 | 2019-08-16 | 浪潮软件集团有限公司 | 一种OpenTSDB共享存储优化方法 |
Non-Patent Citations (3)
| Title |
|---|
| 杨帆: "基于opentsdb的分布式实时监控方案", 《福建电脑》 * |
| 杨帆: "基于opentsdb的分布式实时监控方案", 《福建电脑》, no. 11, 25 November 2016 (2016-11-25), pages 147 * |
| 杨帆;: "基于opentsdb的分布式实时监控方案", 福建电脑, no. 11, pages 147 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632347A (zh) * | 2021-01-14 | 2021-04-09 | 加和（北京）信息科技有限公司 | 数据筛选控制方法及装置、非易失性存储介质 |
| CN112632347B (zh) * | 2021-01-14 | 2024-01-23 | 加和（北京）信息科技有限公司 | 数据筛选控制方法及装置、非易失性存储介质 |
| CN113138898A (zh) * | 2021-04-26 | 2021-07-20 | 上海淇玥信息技术有限公司 | 对业务系统异常进行识别预警的方法、装置和电子设备 |
| CN113138898B (zh) * | 2021-04-26 | 2023-01-17 | 上海淇玥信息技术有限公司 | 对业务系统异常进行识别预警的方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109254982B (zh) | 一种流数据处理方法、系统、装置及计算机可读存储介质 | |
| US9990385B2 (en) | Method and system for collecting and analyzing time-series data | |
| CN105095056B (zh) | 一种数据仓库数据监控的方法 | |
| US9860229B2 (en) | Integrated data extraction and retrieval system | |
| US8601112B1 (en) | Method and system for collecting and analyzing time-series data | |
| US7979439B1 (en) | Method and system for collecting and analyzing time-series data | |
| CN110532322B (zh) | 运维交互方法、系统、计算机可读存储介质及设备 | |
| CN109039817B (zh) | 一种用于流量监控的信息处理方法、装置、设备及介质 | |
| WO2014191728A1 (en) | Method and apparatus for logging data records | |
| CN112199394A (zh) | 告警信息推送方法、系统、智能终端及存储介质 | |
| CN113779339A (zh) | 一种自动化监控和告警方法及系统 | |
| CN106777046A (zh) | 一种基于nginx日志的数据分析方法 | |
| CN112867989A (zh) | 基于流的组成以及监视服务器系统和方法 | |
| CN110825581A (zh) | 一种数据监控方法与监控平台 | |
| CN113452607A (zh) | 分布式链路采集的方法、装置、计算设备和存储介质 | |
| CN106331176A (zh) | 一种内外网交互平台 | |
| CN110908815A (zh) | 消息队列数据预警方法、装置和系统、存储介质 | |
| CN113806191A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN108390782A (zh) | 一种集中式应用系统性能问题综合分析方法 | |
| CN114125049A (zh) | 遥测消息处理方法、装置、设备及存储介质 | |
| CN107346270A (zh) | 基于实时计算的基数估计的方法和系统 | |
| CN115480748A (zh) | 业务编排方法、设备及存储介质 | |
| CN107104806A (zh) | 话单处理方法、装置及系统 | |
| CN109245309A (zh) | 一种电网告警信息标准化处理方法及装置 | |
| CN112307046A (zh) | 数据采集方法和装置、计算机可读存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |