CN111209270A - 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 - Google Patents
一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 Download PDFInfo
- Publication number
- CN111209270A CN111209270A CN201911341923.2A CN201911341923A CN111209270A CN 111209270 A CN111209270 A CN 111209270A CN 201911341923 A CN201911341923 A CN 201911341923A CN 111209270 A CN111209270 A CN 111209270A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster monitoring
- index
- sampling
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 126
- 238000005070 sampling Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004364 calculation method Methods 0.000 title claims abstract description 38
- 238000005516 engineering process Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，包括：S1.获取集群监控采集指标模板数据；S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中；S3.通过集群监控指标抽样表查询数据；本发明方法采用MapReduce计算模型，实现集群监控采集的大数据抽样计算，并使用HBase存储集群监控指标抽样数据，解决了在大数据平台下原始数据查询慢的问题。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，为一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法。
背景技术
随着互联网技术，大数据的快速发展，高性能计算机的应用领域越来越广泛，高性能服务器集群部署越来越多，集群监控的应用要求越来越高，同时产生了大量的集群监控采集指标数据。这些数据如何将其高效的存储与管理，已经成为一个迫切需要解决的问题。
Hadoop是由Apache基金会组织开发的一个开源的分布式大数据处理平台，它具有易扩展、高容错、可靠、高效等特点，成为近几年应用最广泛的开源大数据处理平台，其核心是HDFS，MapReduce(Hadoop平台分式计算海量数据计算模型)。HBase使用Hadoop的分布式文件系统HDFS作为底层存储，是一个分布式、面向列的NoSQL数据库，它适合于存储大数据，支持单条记录的快速查询，在任意指定位置单条或批量添加、删除数据，并且支持MapReduce框架做分布式计算操作。目前越来越多的科研和企业单位都在应用Hadoop和Hbase，并取得了一定的成果。但随着时间的推移，集群监控指标原始数据指数增长，根据原始数据做分析和应用，性能极其低下；且由于Hadoop环境硬件资源配置的限制(存储空间，内存大小，CPU处理核数等)，不能支持太大数据和计算，检索数据性能方面仍有很多不足。
有鉴于此，特提出本发明。
发明内容
针对现有技术中的缺陷，本发明提供一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，以利于提高集群监控数据的查询性能。
为了实现上述目的，本发明的技术方案为：
一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，包括：
S1.获取集群监控采集指标模板数据；
S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，其中，在Map阶段对获取到的集群监控采集指标原始数据进行：过滤掉错误数据，然后根据集群监控采集指标模板数据和集群监控采集指标原始数据做对比，把符合的数据筛选出来，分成若干个数据集，生成新的<Key，Value>数据，输出到Reduce阶段；
Reduce阶段：遍历Map阶段输出的若干数据集，对每一类指标值的数据集进行汇总总量，并计算平均值、最大值和最小值；
S3.将计算出的平均值、最大值和最小值，重新组装成<Key，Value>数据，输出到集群监控指标抽样表中，通过集群监控指标抽样表查询数据。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S1.获取集群监控采集指标模板数据中，从MySql关系型数据库获取集群监控采集指标模板数据。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，包括
S21.设置定时任务程序；
S22.调用MapReduce程序进行抽样、对比计算；
S23.计算结果重新组装成新的集群监控采集指标数据输出结果到Hbase数据库中。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S22.调用MapReduce程序进行抽样、对比计算，包括
编写一个分布式计算MapReduce程序，查询Hbase存储的集群监控采集指标原始数据。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，S3.通过集群监控指标抽样表查询数据，包括
对集群监控指标抽样数据明确指标名，指定时间点的查询：
对集群监控指标抽样数据明确指标名，指定时间段的查询；
对集群监控指标抽样数据指定时间段的查询。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，所述对集群监控指标抽样数据明确指标名，指定时间点的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用get方法根据RowKey获取一行数据。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，所述对集群监控指标抽样数据明确指标名，指定时间段的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据StartRow指定查询，获取符合目标要求的Hbase一批数据。
优选的，上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法中，所述对集群监控指标抽样数据指定时间段的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据TimeRange函数查询，获取获取目标要求的Hbase一批数据。
本发明还提供了一种用于实施上述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法的系统。
与现有技术相比，本发明的有益效果为：
本发明方法采用MapReduce计算模型，实现集群监控采集的大数据抽样计算，并使用HBase存储集群监控指标抽样数据，解决了在大数据平台下原始数据查询慢的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明基于MapReduce技术的集群监控原始数据抽样计算和存储方法的一个具体实施例中，集群监控采集指标模板数据图表；
图2为本发明方法的一个具体实施例中，Hbase存储的集群监控采集指标原始数据图表；
图3为本发明方法的一个具体实施例中，对集群监控指标原始数据抽样计算与存储的流程示意图；
图4为本发明方法的一个具体实施例中，集群监控指标抽样表结构图表。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，包括：
获取集群监控采集指标模板数据；
进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中；
通过集群监控指标抽样表查询数据。
具体的，本发明方法给出的一个具体实施例中：
S1.获取集群监控采集指标模板数据
集群监控指标模板数据是根据业务需求定制的一些指标值，指标值可以动态扩展，存储在关系型MySql数据库中，如图1所示的。
从关系型数据库把集群监控指标模板数据取出，将取出的指标模板数据分别放到各自的大数据平台计算节点上，可以用来和Hadoop平台下Hbase存储的集群监控采集指标原始数据(如图2所示的)做分析，对比，过滤等操作。
S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中；
参考图3所示，通过集群监控指标抽样表查询集群监控数据为了提高大数据环境下的Hadoop指标响应速度，降低资源使用量，满足大数据环境下集群监控采集的数据应用，需要实现一个定时任务，远程运行Hadoop平台下的MapReduce程序，启动作业调度，根据集群监控采集的指标模板数据和HBase存储的集群监控采集指标原始数据做对比，抽样计算，计算的结果重新组装成新的集群监控采集指标数据输出到Hbase抽样表中。具体的，包括：
S21.设置定时任务程序；
设置一个定时任务程序，其中包括定时任务执行时间(每小时执行一次抽样)，远程调用MapReduce程序。
S22.调用MapReduce程序进行抽样、对比计算；
编写一个分布式计算MapReduce程序以供调用，查询Hbase存储的集群监控采集指标原始数据，使用Hbase自带MapReduce的api接口实现数据组装，传递，调用等操作；
使用样例：protected void map(ImmutableBytesWritable key，Result value，Context context)；
运行所述MapReduce程序，启动作业调度后，在Map阶段把获取到的集群监控采集指标原始数据：
首先过滤掉错误数据，然后根据集群监控采集指标模板数据和集群监控采集指标原始数据做对比，把符合的数据筛选出来，按一小时两个数据点，分成若干个数据集，生成新的<Key，Value>数据，输出到Reduce阶段；
Reduce阶段：遍历Map阶段输出的若干数据集，对每一类指标值的数据集进行汇总总量，求平均，计算最大值，最小值等指标值。
S23.计算结果重新组装成新的集群监控采集指标数据输出结果到Hbase数据库中。
将S22.中计算出的平均值、最大值、最小值等指标值，组装成新的<Key，Value>数据，输出到Hbase的集群监控指标抽样表中，如图4所示的。
本发明方法将总体的采样数据按数据集排序成n个部分，再从每个部分取出指标值数据计算最大值，最小值，平均值组成新的监控指标样本数据、转换成适合分布式数据库HBase存储的格式，采用批量导入数据的方式将数据装载到分布式数据库Hbase中，再根据Hbase特性查询抽样数据响应到Web页面上，很好的解决了在大数据Hadoop平台下检索数据性能问题。
因而，本发明方法还包括步骤S3.从集群监控指标抽样表中查询集群监控指标抽样数据；
集群监控指标抽样数据查询可以归为四种:查询明确指标值指定时间点的集群监控抽样数据，查询明确指标的指定时间段的集群监控指标抽样数据，查询某一列簇的指定时间段的集群监控指标抽样数据，以及查询指定时间段的所有集群监控指标抽样数据。则本步骤包括
a)集群监控指标抽样数据明确指标名，指定时间点的查询：
通过Hbase自身索引结构及算法，使用Hbase api接口调用get方法根据RowKey获取一行数据，毫秒级响应数据。
b)集群监控指标抽样数据明确指标名，指定时间段查询
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据StartRow指定查询，获取目标要求的Hbase一批数据，数据毫秒级范围内响应。
c)集群监控指标抽样数据指定时间段的查询(用于对某一列簇或所有集群监控指标抽样数据的查询)
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据TimeRange函数查询，获取获取目标要求的Hbase一批数据，数据秒级范围内响应。
本发明方法通过使用HBase存储集群监控指标抽样数据，存储速度快；能够实现不影响监控指标查询业务场景的前提下，集群监控指标原始数据做迁移，从而减少存储空间；监控数据的查询可以通过集群监控指标抽样表中获取，大大提高查询性能。
本发明还提供了一种系统，用于实施上述基于MapReduce技术的集群监控原始数据抽样计算和存储方法的任一或全部实施例；该系统包括计算机以及在计算机可读介质上编写的计算机程序，以使得系统能够通过计算机程序实现本发明方法中的上述步骤和功能，计算机程序实现的原理请参见上述关于本发明方法的描述，此处不再赘述；其中计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何适合形式的编程语言(包括编译语言或解释语言)来编写，并且计算机程序可以用任何形式来部署，包括作为独立程序或者作为模块、部件、子例程或者适合在计算环境中使用的其他单元。计算机程序可以被部署成在一个计算机上来执行，或者在位于一个站点处或分布在多个站点处且通过通信网络互连的多个计算机上来执行。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (9)
1.一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，包括：
S1.获取集群监控采集指标模板数据；
S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，其中，在Map阶段对获取到的集群监控采集指标原始数据进行：过滤掉错误数据，然后根据集群监控采集指标模板数据和集群监控采集指标原始数据做对比，把符合的数据筛选出来，分成若干个数据集，生成新的<Key，Value>数据，输出到Reduce阶段；
Reduce阶段：遍历Map阶段输出的若干数据集，对每一类指标值的数据集进行汇总总量，并计算平均值、最大值和最小值；
S3.将计算出的所述平均值、最大值和最小值，重新组装成<Key，Value>数据，输出到集群监控指标抽样表中，通过集群监控指标抽样表查询数据。
2.根据权利要求1所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S1.获取集群监控采集指标模板数据中，从MySql关系型数据库获取集群监控采集指标模板数据。
3.根据权利要求2所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S2.进行集群监控采集指标模板数据与集群监控指标原始数据抽样计算，并将计算结果处理输出到集群监控指标抽样表中，包括
S21.设置定时任务程序；
S22.调用MapReduce程序进行抽样、对比计算；
S23.计算结果重新组装成新的集群监控采集指标数据输出结果到Hbase数据库中。
4.根据权利要求3所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S22.调用MapReduce程序进行抽样、对比计算，包括
编写一个分布式计算MapReduce程序，查询Hbase存储的集群监控采集指标原始数据。
5.根据权利要求4所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述S3.通过集群监控指标抽样表查询数据，包括
对集群监控指标抽样数据明确指标名，指定时间点的查询：
对集群监控指标抽样数据明确指标名，指定时间段的查询；
对集群监控指标抽样数据指定时间段的查询。
6.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据明确指标名，指定时间点的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用get方法根据RowKey获取一行数据。
7.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据明确指标名，指定时间段的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据StartRow指定查询，获取符合目标要求的Hbase一批数据。
8.根据权利要求5所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法，其特征在于，所述对集群监控指标抽样数据指定时间段的查询，包括
通过Hbase自身索引结构及算法，使用Hbase api接口调用Scan方法根据TimeRange函数查询，获取获取目标要求的Hbase一批数据。
9.一种系统，用于实施权利要求1-8任一项所述的基于MapReduce技术的集群监控原始数据抽样计算和存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911341923.2A CN111209270A (zh) | 2019-12-24 | 2019-12-24 | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911341923.2A CN111209270A (zh) | 2019-12-24 | 2019-12-24 | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111209270A true CN111209270A (zh) | 2020-05-29 |
Family
ID=70785057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911341923.2A Pending CN111209270A (zh) | 2019-12-24 | 2019-12-24 | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209270A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646135A (zh) * | 2009-08-28 | 2010-02-10 | 曙光信息产业(北京)有限公司 | 用于集群监控的告警通知方法及系统 |
| CN101694649A (zh) * | 2009-08-28 | 2010-04-14 | 曙光信息产业(北京)有限公司 | 集群监控的报表生成系统及方法 |
| CN102799486A (zh) * | 2012-06-18 | 2012-11-28 | 北京大学 | 一种MapReduce系统中的数据采样和划分方法 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
| CN104111996A (zh) * | 2014-07-07 | 2014-10-22 | 山大地纬软件股份有限公司 | 基于hadoop平台的医保门诊大数据抽取系统及方法 |
| CN104133143A (zh) * | 2014-07-31 | 2014-11-05 | 东北大学 | 一种基于Hadoop云计算平台的电网线路故障诊断系统及方法 |
| US20180146242A1 (en) * | 2013-09-06 | 2018-05-24 | Comcast Communications, Llc | System and method for using the hadoop mapreduce framework to measure linear, dvr, and vod video program viewing including measuring trick play activity on second-by-second level to understand behavior of viewers as they interact with video asset viewing devices delivering content through a network |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
-
2019
- 2019-12-24 CN CN201911341923.2A patent/CN111209270A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646135A (zh) * | 2009-08-28 | 2010-02-10 | 曙光信息产业(北京)有限公司 | 用于集群监控的告警通知方法及系统 |
| CN101694649A (zh) * | 2009-08-28 | 2010-04-14 | 曙光信息产业(北京)有限公司 | 集群监控的报表生成系统及方法 |
| CN102799486A (zh) * | 2012-06-18 | 2012-11-28 | 北京大学 | 一种MapReduce系统中的数据采样和划分方法 |
| CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
| US20180146242A1 (en) * | 2013-09-06 | 2018-05-24 | Comcast Communications, Llc | System and method for using the hadoop mapreduce framework to measure linear, dvr, and vod video program viewing including measuring trick play activity on second-by-second level to understand behavior of viewers as they interact with video asset viewing devices delivering content through a network |
| CN104111996A (zh) * | 2014-07-07 | 2014-10-22 | 山大地纬软件股份有限公司 | 基于hadoop平台的医保门诊大数据抽取系统及方法 |
| CN104133143A (zh) * | 2014-07-31 | 2014-11-05 | 东北大学 | 一种基于Hadoop云计算平台的电网线路故障诊断系统及方法 |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Taleb et al. | Big data pre-processing: A quality framework | |
| US9953071B2 (en) | Distributed storage of data | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| Lai et al. | Towards a framework for large-scale multimedia data storage and processing on Hadoop platform | |
| CN104090889A (zh) | 数据处理方法及系统 | |
| CN114417408B (zh) | 数据处理方法、装置、设备以及存储介质 | |
| CN103646073A (zh) | 一种基于HBase表的条件查询优化方法 | |
| US11429566B2 (en) | Approach for a controllable trade-off between cost and availability of indexed data in a cloud log aggregation solution such as splunk or sumo | |
| Dagade et al. | Big data weather analytics using hadoop | |
| CN111914010B (zh) | 业务处理的方法、装置、设备以及存储介质 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN111258978A (zh) | 一种数据存储的方法 | |
| CN112347071A (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| CN112860412B (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN107357919A (zh) | 行为日志查询系统及方法 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN105630997A (zh) | 一种数据并行处理方法、装置及设备 | |
| CN111209270A (zh) | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 | |
| Jiadi et al. | Research on Data Center Operation and Maintenance Management Based on Big Data | |
| CN114969083A (zh) | 一种实时数据分析方法及系统 | |
| Punn et al. | Testing big data application | |
| CN111125161B (zh) | 数据的实时处理方法、装置、设备及存储介质 | |
| CN109902067B (zh) | 文件处理方法、装置、存储介质及计算机设备 | |
| CN112308317A (zh) | 基于分布式架构的海量地震观测数据噪声功率谱计算方法及系统 | |
| CN112835932A (zh) | 业务表的批量处理方法及装置、非易失性存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |