CN107894942A - 数据表访问量的监控方法和装置 - Google Patents
数据表访问量的监控方法和装置 Download PDFInfo
- Publication number
- CN107894942A CN107894942A CN201711256489.9A CN201711256489A CN107894942A CN 107894942 A CN107894942 A CN 107894942A CN 201711256489 A CN201711256489 A CN 201711256489A CN 107894942 A CN107894942 A CN 107894942A
- Authority
- CN
- China
- Prior art keywords
- piecemeal
- visit capacity
- server
- data
- hbase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000903 blocking effect Effects 0.000 claims abstract description 25
- 241000270322 Lepidosauria Species 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种数据表访问量的监控方法和装置，该方法包括：访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；访问每个分块服务器，从分块服务器的监控记录中过滤出每个分块服务器存储的分块信息和针对每个分块的访问量；根据每个分块的访问量和表名称获取每张表的访问量。达到了以分钟级别对数据表的访问量进行监控的效果，有助于及时发现高访问量的数据表。
Description
技术领域
本申请涉及互联网数据存储技术，具体涉及一种数据表访问量的监控方法和装置。
背景技术
Hadoop数据库(Hadoop Database，HBase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的个人电脑服务器(PC Server)上搭建起大规模结构化存储集群。
当HBase中的表(Table)随着记录数不断增加而变大后，会逐渐分裂成多个分块(region)，一个分块由[startkey，endkey]表示，不同的分块会被主节点(Master)分配给相应的分块服务器(RegionServer)进行管理。
HBase0.96版本之后，“.META.”表记录了所有表的分块信息，而“.META.”本身也可以有多个分块；在HBase的Zookeeper集群中记录了“.META.”各分块的存储位置。客户端(Client)访问用户数据之前需要首先访问zookeeper集群，然后访问.META.表，最后才能找到该用户数据相应的分块所在的分块服务器去访问，中间需要多次网络操作，客户端会相应的进行缓存。
目前，通常是从集群级别来监控针对某个集群的访问量，或者从节点级别来监控针对某个节点的访问量，例如监控分块服务器或者数据服务器(Dataserver)的读、写访问量，而不能从表级别进行监控，无法监控具有多个分块的数据表的读、写访问量。
发明内容
有鉴于此，本申请实施例提供了一种数据表访问量的监控方法和装置，以解决Hbase无法从表级别对数据访问量进行监控的技术问题。
根据本申请实施例的一个方面，提供了一种数据表访问量的监控方法，所述方法包括：访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，所述数据表访问量的监控方法还包括：以分钟级别展示数据表的读访问量和写访问量。
在一个实施例中，所述数据表访问量的监控方法还包括：将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由所述MySQL数据库按照分钟级别对每张表的访问量进行聚合。
优选的，所述数据表访问量的监控方法进一步包括：针对表、节点和集群任意一种级别的访问量查询请求，由所述MySQL数据库根据所述查询请求的级别对访问量进行聚合从而形成查询结果；从所述MySQL数据库获取所述查询结果并进行展示。
在一个实施例中，根据每个分块的访问量和表名称获取每张表的访问量进一步包括：利用爬虫工具从Hbase服务页面抓取表名称；根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息包括：根据配置文件中的节点信息选取Hbase的主节点；访问所述主节点，根据配置文件中的集群名称从所述主节点的监控记录中获取对应集群的拓扑结构，所述拓扑结构包括所述集群的所有分块服务器信息。
优选的，所述配置文件中设置的监控项包括分块信息、读访问量和写访问量；
访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量进一步包括：访问每个分块服务器，根据设置的监控项从分块服务器的监控记录中过滤出分块信息、每个分块的读访问量和写访问量。
根据本申请实施例的另一个方面，提供了一种数据表访问量的监控装置，所述装置包括：分块服务器信息获取模块，用于访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；数据过滤模块，用于访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；表级别数据获取模块，用于根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，所述数据表访问量的监控装置还包括：访问量展示模块，用于以分钟级别展示数据表的读访问量和写访问量。
在一个实施例中，所述数据表访问量的监控装置还包括：存储模块，用于将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由所述MySQL数据库按照分钟级别对每张表的访问量进行聚合。
优选的，所述数据表访问量的监控装置进一步还包括：接收模块，用于接收针对表、节点和集群任意一种级别的访问量查询请求，由所述MySQl数据库根据所述查询请求的级别对访问量进行聚合从而形成查询结果；查询结果展示模块，用于从所述MySQL数据库获取所述查询结果并进行展示。
在一个实施例中，所述表级别数据获取模块包括：爬虫单元，用于利用爬虫工具从Hbase服务页面抓取表名称；获取单元，用于根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，所述分块服务器信息获取模块包括：主节点选取单元，用于根据配置文件中的节点信息确定Hbase的主节点；集群拓扑获取单元，用于访问所述主节点，根据配置文件中的集群名称从所述主节点的监控记录中获取对应集群的拓扑结构，所述拓扑结构包括所述集群的所有分块服务器信息。
优选的，所述配置文件中设置的监控项包括分块信息、读访问量和写访问量；所述数据过滤模块进一步用于：访问每个分块服务器，根据设置的监控项从分块服务器的监控记录中过滤出分块信息、每个分块的读访问量和写访问量。
根据本申请实施例的另一个方面，提供了一种电子设备，包括存储器和处理器；存储器用于存储一条或多条计算机指令，其中，一条或多条计算机被所述处理器执行以实现上述数据表访问量的监控方法。
根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述数据表访问量的监控方法。
本申请实施例的有益效果包括：从分块服务器的监控记录中提取表的各个分块的访问量数据，按照表名称进行聚合得到每张表的访问量，由于采用定时或周期性的获取方式，能够得到分钟级别的数据表访问量统计结果，达到了以分钟级别对数据表访问量的进行监控的效果，有助于及时发现高访问量的数据表。
附图说明
通过以下参照附图对本申请实施例的描述，本申请的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本申请实施例监控Hbase的表级别访问量的系统架构示意图；
图2是本申请实施例提供的数据采集方法的流程示意图；
图3是本申请实施例提供的数据表访问量的监控方法的流程图；
图4是本申请实施例提供的数据表访问量的监控装置的框图；
图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例通过并发访问Hbase的分块服务器，从分块服务器监控记录中提取表的各个分块的访问量数据，按照表名称进行聚合得到每张表的访问量，由于采用定时或周期性的获取方式，能够得到分钟级别的数据表访问量统计结果，达到了以分钟级别对数据表访问量的进行监控的效果，有助于及时发现高访问量数据表。
图1是本申请实施例监控Hbase的表级别访问量的系统架构示意图，该系统可采用Python语言进行设计，系统包括服务器10、Hbase11、浏览器(WEB)页面12和MySQL数据库13。
Hbase11包括主节点(Master)111和从节点(Slave)112，从数据表存储的角度，从节点112即为分块服务器，下文将从节点统称为分块服务器。主节点111将表的各个分块分配到不同的分块服务器112进行存储，并将分块信息记录在“.META.”表。
在服务器10的配置文件中，例如名称为“Hbase-metrics.properties”的配置文件，预设节点信息、集群名称和监控项。
其中，节点信息可以是需要监控访问量的Hbase的主节点的IP地址，或者是主节点及其备用节点的多个IP地址。例如，以两个主节点为例，节点信息和集群名称的格式为：IP(主节点)_集群名称_IP(备用节点)。
集群名称是指需要监控访问量的Hbase的名称。监控项(Metrics)是与对Hbase进行访问量监控相关的一个或多个监控项，例如，读访问量、写访问量等等。服务器10会根据预设的监控项访问Hbase的各个节点并获取对应的监控数据。
服务器10根据节点信息和集群名称访问主节点111，从主节点111的监控记录(MetricsContext)获取分块服务器信息。
服务器10先根据节点信息完成选取主节点的操作。如果配置信息中只存在一个节点的节点信息，则获取该节点的状态信息，判断其是否为当前的主节点，例如，在节点状态信息中字段isactivemaster的值为true，则代表该节点为当前的主节点。如果配置信息中存在多个节点(主节点及其备用节点)的节点信息，则获取这些节点的状态信息并选取当前的主节点，例如，在节点状态信息中字段isactivemaster的值为true的节点即为当前的主节点，该字段值为false的节点则为备用节点或者也可能是故障节点。确定Hbase集群当前的主节点，以该主节点作为获取整个Hbase集群监控数据的入口。
服务器10访问该主节点111，根据配置信息中的集群名称从主节点的监控记录中获取Hbase的拓扑结构。拓扑结构包括主节点下的所有分块服务器112及备用服务器的节点信息，例如，分块服务器112及其备用节点的IP地址、端口号、主机名等信息。
服务器10获取到分块服务器信息后，并发访问所有的分块服务器112，根据配置文件中设置的监控项从每个分块服务器112中过滤出对应的监控数据。在Hbase的分块服务器112的web页面中，将监控项数据解析为key-value形式，每个键值由表名称和region名称来标识读访问量，还是写访问量，例如：
recommdata_region_1434736f10d836659f120362ba89411b_metric_readRequestCount":29500035。
服务器10对来自不同分块服务器112的监控数据按照预设规则进行聚合。可根据表名称将对应的数据表的每个分块的访问量进行聚合，得到该数据表的总访问量；进一步的，可根据统计周期对该数据表的访问量按照时间段做更精细的统计，统计时间段可达到分钟级别。
聚合后的访问量数据，服务器10通过浏览器页面12进行展示，可按照分钟级别展示每张表读访问量和写访问量。
本申请实施例提供的表级别访问量监控过程的示例如图2所示，服务器10先从主节点111获取分块服务器信息，再并发访问每个分块服务器112获取与配置文件中的监控项对应的针对各个分块的监控数据，然后按照对数据表的各个分块的访问量进行聚合，得到表级别的访问量，例如表A在Hbase中共有5个分块(A1-A5)，分别存储在不同的分块服务器112，服务器10从各个分块服务器112获取访问量数据后，按照表A的名称将来自不同分块服务器112的5个分块(A1-A5)的访问量进行聚合，最终得到表A整体的访问量。
在对来自不同分块服务器112的监控数据进行聚合时，关于表名称可以从分块服务器101的监控数据中获取，例如从分块的标识中提取表名称；或者，利用爬虫工具直接从Hbase服务页面抓取表名称，在聚合时使用抓取到的表名称将所有分块的访问量进行聚合。
服务器10还可以将从分块服务器112获取的监控数据保存到MySQL数据库13，将获取到的各项监控数据以结构化的数据形式保存。在MySQL数据库中还可以对每张表的数据按照预设级别进行聚合，可以达到分钟级别，以便于用户的查询。服务器10接收到用户通过浏览器页面12输入的查询请求时，则访问MySQl数据库以获取查询结果。查询请求可以是集群级别、节点级别和表级别中的任意一种，根据不同的级别，MySQL对相应的数据经过聚合运算后生成查询结果，返回至服务器10，由服务器10通过浏览器页面12进行展示查询结果。
基于以上说明，本申请实施例提供了一种数据表访问量的监控方法，适用于服务器10，如图3所示，该方法包括以下步骤。
S30，访问Hbase主节点，从主节点的监控记录中获取Hbase分块服务器信息；
S31，访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；
S32，根据每个分块的访问量和表名称获取每张表的访问量。
本实施例通过并发访问每个分块服务器，从分块服务器的监控数据中过滤出数据表的分块信息以及针对每个分块的访问量，进而得到每张表的访问量，实现了表级别的数据监控，便于发现热点数据。
在一个实施例中，该数据表访问量的监控方法可进一步包括：
S33，以分钟级别展示数据表的读访问量和写访问量。
本实施例中，对获取到的访问量数据进一步按照分钟级别进行聚合，实现以分钟级别来监控每张表的读、写访问，提升访问量监控的精度，便于发现突发的、短期的热点数据。
在一个实施例中，该数据表访问量的监控方法可进一步包括：
S34，将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由MySQL数据库按照分钟级别对每张表的访问量进行聚合。
本实施例中，使用MySQL数据库对获取到的分块信息和针对每个分块的访问量进行去重排序，便于对上述数据进行各种级别的聚合，并且通过简单的SQL查询语句即可完成查询，简单、实用、高效。因此，本实施例的数据表访问量的监控方法可进一步包括以下步骤。
S35，接收针对表、节点和集群任意一种级别的访问量查询请求，由MySQl数据库根据查询请求的级别对访问量进行聚合从而形成查询结果；
S36，从MySQL数据库获取查询结果并进行展示。
上述步骤S34至S36，与步骤S33也可以同时在同一个实施例中分别执行并达到对应的技术效果。
在一个实施例中，S30可以进一步包括：
S301，根据配置文件中的节点信息选取Hbase的主节点；
S302，访问主节点，根据配置文件中的集群名称从主节点的监控记录中获取对应集群的拓扑结构，拓扑结构包括集群的所有分块服务器信息。
该配置文件还可以进一步包括监控项，监控项可以被配置为分块信息、读访问量和写访问量；相应的S31则执行以下操作：访问每个分块服务器，根据设置的监控项从分块服务器的监控记录中过滤出分块信息、每个分块的读访问量和写访问量。
本实施例中，通过Hbase的监控项从各个分块服务器获取每个分块的访问量数据，避免了传统的埋点采集方式，使表级别访问量的采集和监控效率更高，开发和维护成本更低。
在一个实施例中，步骤S32可进一步包括以下步骤：
S321，利用爬虫工具从Hbase服务页面抓取表名称；
S322，根据每个分块的访问量和表名称获取每张表的访问量。
本实施例中，利用爬虫工具抓取用户实时查询或者写入操作的数据表名称，实现对该数据表访问量的同步实时监控。
对应上述数据表访问量的监控方法，本申请实施例还提供了一种数据表访问量的监控装置，如图4所示，该装置包括：
分块服务器信息获取模块40，用于访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；
数据过滤模块41，用于访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；
表级别数据获取模块42，用于根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，该数据表访问量的监控装置还包括：
访问量展示模块，用于以分钟级别展示数据表的读访问量和写访问量。
在一个实施例中，该数据表访问量的监控装置还包括：
存储模块，用于将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由MySQL数据库按照分钟级别对每张表的访问量进行聚合。
进一步的，该数据表访问量的监控装置还包括：
接收模块，用于接收针对表、节点和集群任意一种级别的访问量查询请求，由MySQl数据库根据查询请求的级别对访问量进行聚合从而形成查询结果；
查询结果展示模块，用于从MySQL数据库获取查询结果并进行展示。
在一个实施例中，表级别数据获取模块42包括：
爬虫单元，用于利用爬虫工具从Hbase服务页面抓取表名称；
获取单元，用于根据每个分块的访问量和表名称获取每张表的访问量。
在一个实施例中，分块服务器信息获取模块40包括：
主节点选取单元，用于根据配置文件中的节点信息确定Hbase的主节点；
集群拓扑获取单元，用于访问主节点，根据配置文件中的集群名称从主节点的监控记录中获取对应集群的拓扑结构，拓扑结构包括集群的所有分块服务器信息。
进一步的，配置文件中设置的监控项包括分块信息、读访问量和写访问量；数据过滤模块41进一步用于：
访问每个分块服务器，根据设置的监控项从分块服务器的监控记录中过滤出分块信息、每个分块的读访问量和写访问量。
此外，该数据表访问量的监控装置还可以通过硬件处理器(hardware processor)来实现上述各个程序步骤。下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括分块服务器信息获取模块、数据过滤模块、表级别数据获取模块。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入电子设备中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所存储的一个或者多个程序被一个设备执行时，使得所述设备：访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；根据每个分块的访问量和表名称获取每张表的访问量。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域技术人员而言，本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据表访问量的监控方法，其特征在于，所述方法包括：
访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；
访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；
根据每个分块的访问量和表名称获取每张表的访问量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
以分钟级别展示数据表的读访问量和写访问量。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将过滤出的分块信息和针对每个分块的访问量存储至MySQL数据库，由所述MySQL数据库按照分钟级别对每张表的访问量进行聚合。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收针对表、节点和集群任意一种级别的访问量查询请求，由所述MySQL数据库根据所述查询请求的级别对访问量进行聚合从而形成查询结果；
从所述MySQL数据库获取所述查询结果并进行展示。
5.根据权利要求1所述的方法，其特征在于，根据每个分块的访问量和表名称获取每张表的访问量包括：
利用爬虫工具从Hbase服务页面抓取表名称；
根据每个分块的访问量和表名称获取每张表的访问量。
6.根据权利要求1所述的方法，其特征在于，访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息包括：
根据配置文件中的节点信息选取Hbase的主节点；
访问所述主节点，根据配置文件中的集群名称从所述主节点的监控记录中获取对应集群的拓扑结构，所述拓扑结构包括所述集群的所有分块服务器信息。
7.根据权利要求6所述的方法，其特征在于，所述配置文件中设置的监控项包括分块信息、读访问量和写访问量；
访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量包括：
访问每个分块服务器，根据设置的监控项从分块服务器的监控记录中过滤出分块信息、每个分块的读访问量和写访问量。
8.一种数据表访问量的监控装置，其特征在于，所述装置包括：
分块服务器信息获取模块，用于访问Hbase主节点，从所述主节点的监控记录中获取Hbase分块服务器信息；
数据过滤模块，用于访问每个分块服务器，从分块服务器的监控记录中过滤出分块信息和针对每个分块的访问量；
表级别数据获取模块，用于根据每个分块的访问量和表名称获取每张表的访问量。
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机被所述处理器执行以实现权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711256489.9A CN107894942B (zh) | 2017-12-04 | 2017-12-04 | 数据表访问量的监控方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711256489.9A CN107894942B (zh) | 2017-12-04 | 2017-12-04 | 数据表访问量的监控方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107894942A true CN107894942A (zh) | 2018-04-10 |
| CN107894942B CN107894942B (zh) | 2020-06-02 |
Family
ID=61806876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711256489.9A Expired - Fee Related CN107894942B (zh) | 2017-12-04 | 2017-12-04 | 数据表访问量的监控方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107894942B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897748A (zh) * | 2018-04-18 | 2018-11-27 | 顺丰科技有限公司 | 一种HBase系统监控方法及HBase系统 |
| CN113806614A (zh) * | 2021-10-10 | 2021-12-17 | 北京亚鸿世纪科技发展有限公司 | 一种基于分析Http请求的网络爬虫快速识别装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259688A (zh) * | 2013-06-04 | 2013-08-21 | 北京搜狐新媒体信息技术有限公司 | 一种分布式存储系统的故障诊断方法与装置 |
| CN103853826A (zh) * | 2014-03-05 | 2014-06-11 | 浪潮通信信息系统有限公司 | 一种分布式性能数据处理方法 |
| CN104243621A (zh) * | 2014-10-17 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种改进的hbase负载均衡策略 |
| CN105589910A (zh) * | 2014-12-31 | 2016-05-18 | 中国银联股份有限公司 | 基于HBase的海量交易数据检索及系统 |
| CN105868370A (zh) * | 2016-03-31 | 2016-08-17 | 南京烽火软件科技有限公司 | 读写分离的HBase入库装置及方法 |
| CN106407075A (zh) * | 2016-09-19 | 2017-02-15 | 广州视源电子科技股份有限公司 | 一种用于大数据平台的管理方法及系统 |
-
2017
- 2017-12-04 CN CN201711256489.9A patent/CN107894942B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103259688A (zh) * | 2013-06-04 | 2013-08-21 | 北京搜狐新媒体信息技术有限公司 | 一种分布式存储系统的故障诊断方法与装置 |
| CN103853826A (zh) * | 2014-03-05 | 2014-06-11 | 浪潮通信信息系统有限公司 | 一种分布式性能数据处理方法 |
| CN104243621A (zh) * | 2014-10-17 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种改进的hbase负载均衡策略 |
| CN105589910A (zh) * | 2014-12-31 | 2016-05-18 | 中国银联股份有限公司 | 基于HBase的海量交易数据检索及系统 |
| CN105868370A (zh) * | 2016-03-31 | 2016-08-17 | 南京烽火软件科技有限公司 | 读写分离的HBase入库装置及方法 |
| CN106407075A (zh) * | 2016-09-19 | 2017-02-15 | 广州视源电子科技股份有限公司 | 一种用于大数据平台的管理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 全能程序猿: "Hbase集群监控", 《HTTPS://WWW.JIANSHU.COM/P/2CB6AC4B5F12?UTM_CAMPAIGN=MALESKINE&UTM_CONTENT=NOTE&UTM_MEDIUM=SEO_NOTES&UTM_SOURCE=RECOMMENDATION》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897748A (zh) * | 2018-04-18 | 2018-11-27 | 顺丰科技有限公司 | 一种HBase系统监控方法及HBase系统 |
| CN113806614A (zh) * | 2021-10-10 | 2021-12-17 | 北京亚鸿世纪科技发展有限公司 | 一种基于分析Http请求的网络爬虫快速识别装置 |
| CN113806614B (zh) * | 2021-10-10 | 2024-05-17 | 北京亚鸿世纪科技发展有限公司 | 一种基于分析Http请求的网络爬虫快速识别装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107894942B (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10776220B2 (en) | Systems and methods for monitoring distributed database deployments | |
| US11196756B2 (en) | Identifying notable events based on execution of correlation searches | |
| US11093501B2 (en) | Searching in a database | |
| US10452992B2 (en) | Interactive interfaces for machine learning model evaluations | |
| CN105786808B (zh) | 一种用于分布式执行关系型计算指令的方法与设备 | |
| US8412735B2 (en) | Data quality enhancement for smart grid applications | |
| Gürcan et al. | Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges | |
| CN103973810B (zh) | 基于互联网协议ip盘的数据处理方法和装置 | |
| US8468146B2 (en) | System and method for creating search index on cloud database | |
| CN102968374B (zh) | 一种数据仓库测试方法 | |
| CN106844089B (zh) | 一种用于恢复树形数据存储的方法与设备 | |
| US20140270550A1 (en) | Presentation and organization of content | |
| US20130173655A1 (en) | Selective fetching of search results | |
| CN107528872A (zh) | 一种数据恢复方法、装置及云存储系统 | |
| WO2018095299A1 (zh) | 一种时序数据管理方法、设备和装置 | |
| CN104636130B (zh) | 用于生成事件树的方法和系统 | |
| US11321318B2 (en) | Dynamic access paths | |
| CN111414410B (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN110727664A (zh) | 用于对公有云数据执行目标操作的方法与设备 | |
| CN108776678A (zh) | 基于移动端NoSQL数据库的索引创建方法及装置 | |
| CN109213824A (zh) | 数据抓取系统、方法和装置 | |
| CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| CA3060800C (en) | Single view presentation of multiple queries in a data visualization application | |
| CN108810144A (zh) | 一种数据传输方法、服务器及存储介质 | |
| CN107894942A (zh) | 数据表访问量的监控方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202 Applicant after: Beijing Xingxuan Technology Co.,Ltd. Address before: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202 Applicant before: Beijing Xiaodu Information Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200602 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |