CN112527595A - Greenplum集群数据库监控方法、装置和计算机设备 - Google Patents

Greenplum集群数据库监控方法、装置和计算机设备 Download PDF

Info

Publication number
CN112527595A
CN112527595A CN202011401516.9A CN202011401516A CN112527595A CN 112527595 A CN112527595 A CN 112527595A CN 202011401516 A CN202011401516 A CN 202011401516A CN 112527595 A CN112527595 A CN 112527595A
Authority
CN
China
Prior art keywords
monitoring
monitoring data
data
database
greenplus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011401516.9A
Other languages
English (en)
Inventor
何佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Medical Health Technology Service Co Ltd
Original Assignee
Ping An Medical and Healthcare Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Medical and Healthcare Management Co Ltd filed Critical Ping An Medical and Healthcare Management Co Ltd
Priority to CN202011401516.9A priority Critical patent/CN112527595A/zh
Publication of CN112527595A publication Critical patent/CN112527595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请揭示了一种Greenplum集群数据库监控方法、装置和计算机设备，其中方法包括：通过所述Master‑Agent端采集数据库层面的监控信息，得到第一监控数据；通过所述Segment‑Agent端采集主机层面的监控信息，得到第二监控数据；通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。本申请的Greenplum集群数据库监控方法、装置和计算机设备，为GreenPlum数据库提供了统一监控解决方案，将监控工具采集的数据从被监控数据库中剥离出来，在被监控对象宕机时，仍然可以使用监控工具分析数据和宕机原因，同时通过不同的进程在不同服务器上采集不同的监控数据，可以提高数据采集效率，提高监控系统的稳定性。

Description

Greenplum集群数据库监控方法、装置和计算机设备
技术领域
本申请涉及到计算机技术领域，特别是涉及到一种Greenplum集群数据库监控方法、装置和计算机设备。
背景技术
Greenplum数据库作为一个分布式并行处理数据库，广泛应用于大规模数据仓库分析、商业智能挖掘场景中。Greenplum数据库包括了多个节点，本身采用sharednoting(一种分布式计算架构)的大规模并行处理架构，并具有完全可伸缩性、高可用、高性能、性价比高和资源共享等优点。一个Greenplum数据库集群的机器数量多达几十台至上百台，日常运维过程中，需要关注的地方非常多，主机层面包括CPU、内存、磁盘、网络流量、系统参数等，数据库层面包括配置参数、连接参数、统计信息、错误日志、锁阻塞、表数据分布情况、SQL执行性能(查询数量和时间)、资源队列等待情况等。目前针对开源的Greenplum数据库，没有成熟的监控产品。
发明内容
本申请的主要目的为提供一种Greenplum集群数据库监控方法、装置和计算机设备，旨在解决如何实现Greenplum集群数据库监控的技术问题。
为了实现上述发明目的，本申请提出一种Greenplum集群数据库监控方法，应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控方法包括：
通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
进一步地，所述通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据的步骤，包括：
在所述数据库端获取第一配置文件；
获取所述第一配置文件中的第一配置信息；
对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
进一步地，所述通过所述Segment-Agent端采集数据库层面的监控信息，得到第二监控数据的步骤，包括：
在所述数据库端获取第二配置文件；
获取所述第二配置文件中的第二配置信息；
通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二据信息，并记录第二采样时间；
根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
进一步地，所述根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据的步骤包括：
根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
进一步地，所述对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样的步骤之前包括：
利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
将所述查询结果保存到所述数据表中。
进一步地，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
对所述第一监控数据和所述第二监控数据进行状态分析；
当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
进一步地，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
接收来自Web页面的监控数据获取指令；
对所述监控数据获取指令进行权限鉴定；
若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
本申请实施例还提供一种Greenplum集群数据库监控装置，应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控装置包括：
第一监控数据采集模块，用于通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
第二监控数据采集模块，用于通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
监控数据储存模块，用于通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的Greenplum集群数据库监控方法、装置和计算机设备，通过部署在Greenplum集群数据库的Master服务器上的Master-Agent端来采集数据库层面的监控信息，通过部署在Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上的Segment-Agent端来采集主机层面的监控信息，可以实现数据库层面监控信息和主机层面监控信息的同时采集，提高监控信息采集效率，最后将采集到的监控信息通过Server端保存在数据库端，可以提高监控数据的安全性，将监控工具采集的数据从被监控数据库中剥离出来，在被监控对象宕机时，仍然可以使用监控工具分析数据和宕机原因。
附图说明
图1为本申请一实施例的Greenplum集群数据库监控方法的流程示意图；
图2为本申请一实施例的Greenplum集群数据库监控装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种Greenplum集群数据库监控方法，应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控方法包括：
S1、通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
S2、通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、StandbyMaster服务器和Segment服务器上；
S3、通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
如上述步骤S1所述，一个Greenplum集群数据库的机器数量多达几十台至上百台，日常运维过程中，需要关注的地方非常多，主机层面包括CPU、内存、磁盘、网络流量、系统参数等，数据库层面包括配置参数、连接参数、统计信息、错误日志、锁阻塞、表数据分布情况、SQL(Structured Query Language，结构化语言查询)执行性能(查询数量和时间)、资源队列等待情况等。Greenplum架构主要包括Master服务器和Segment服务器，其中Master服务器是Greenplum集群数据库的访问入口，也称为“Master节点(Master Host，主节点)”负责处理所有用户连接和建立查询计划，提供系统目录表，但本身不存储任何用户数据。Segment服务器负责业务数据的储存和读取，也称为“Segment节点(Segment Host，数据节点)”用于执行Master分发的SQL语句，分为Primary(主要)和Mirror(镜像)两种，一般交错的存放在子节点上，其中Mirror Segment是Primary Segment的镜像节点，用于备份数据，Primary和Mirror之间的数据可以互相备份和恢复。在本方案中，在Greenplum集群的Master服务器上安装有Master-Agent端，用于执行Master-Agent数据采集进程。Master服务器负责建立与客户端的连接和管理，对SQL解析并形成执行计划，向Segment服务器分发执行计划并收集Segment服务器的执行结果。通过Master-Agent端可以采集Greenplum集群数据库中数据库层面的监控信息。
如上述步骤S2所述，在所述Greenplum集群数据库的Master服务器、StandbyMaster服务器(备用主服务器)和Segment服务器上部署有Segment-Agent端，用于执行Segment-Agent数据采集进程，负责采集主机层面的监控数据，如CPU使用情况、SWAP使用情况、内存使用情况、磁盘IO情况、Network状态等。
如上述步骤S3所述，将采集到的所述第一监控数据和所述第二监控数据通过Server端发送给数据库端进行储存，并在Server端生成Web GUI(Graphical UserInterface，图形用户接口)，所述Web GUI用于在Web页面展示监控数据。其中所述数据库端独立于所述Greenplum集群服务器，可以在被监控宕机时，仍能够提供监控数据以备运维人员进行数据分析和查找宕机原因。具体地，可以按ClusterName(集群名)展示集群监控信息，以使展示结果条理有序。
在一个实施例中，所述通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据的步骤，包括：
S11、在所述数据库端获取第一配置文件；
S12、获取所述第一配置文件中的第一配置信息；
S13、对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
S14、根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
如上所述，在本方案中，数据库端储存有Greenplum集群的基础配置信息，如ClusterID(集群ID)、ClusterName和Host信息等，这些信息是集群和节点的标识信息，可以方便监控数据的查询与整理，在本实施例中，所述第一配置文件为名为Master_Agent.conf的配置文件。Greenplum数据库提供了一个名为gp_tooikit的管理schema(模式)，该schema下有关于查询系统目录、日志文件、用户创建等信息，也可以查询资源队列、表的膨胀、表的倾斜、系统自己维护的ID等相关信息。在本实施例中，所述第一数据信息包括运行的SQL、session信息、集群内每个数据库实例的状态、Primary和Mirror的数据同步状态等。然后根据所述配置信息、所述第一数据信息和所述采样时间得到所述第一监控数据。
在一个实施例中，所述通过所述Segment-Agent端采集数据库层面的监控信息，得到第二监控数据的步骤，包括：
S21、在所述数据库端获取第二配置文件；
S22、获取所述第二配置文件中的第二配置信息；
S23、通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二数据信息，并记录第二采样时间；
S24、根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
如上所述，类似地，通过在数据库端获取名为Segment_Agent.conf的第二配置文件，读取其配置信息，然后按照配置信息和采集到的主机层面的监控数据信息可以生成对应于主机层面的所述第二监控数据。
在一个具体的实施例中，所述根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据的步骤包括：
S141、根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
S142、创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
如上所述，一个数据库中可以存储多套集群的监控信息，搭建集群的时候首先定义集群标志信息：集群ID(ClusterID)、集群名(ClusterName)。所有的表结构中增加ClusterID列和SampleTime(采样时间)列，并以按ClusterID列设置list分区表、按SampleTime列按月设置时间范围分区表，每个集群的监控信息在物理层面是一个独立的表，有助于加速实时和历史数据的查询。
在一个实施例中，所述对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样的步骤之前包括：
S1301、利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
S1302、将所述查询结果保存到所述数据表中。
如上所述，gp_toolkit是Greenplum的一个功能schema，包含了大量实用的函数，可以对集群数据进行相关查询，并保存查询结果。例如gp_toolkit.gp_log_system用于查询所有日志，gp_toolkit.gp_disk_free可以查询segment节点的磁盘情况，gp_toolkit.gp_bloat_diag可以用于找出膨胀较厉害的表等。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
S31、对所述第一监控数据和所述第二监控数据进行状态分析；
S32、当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
如上所述，在本实施例中，增加了自动告警的步骤，在第一监控数据和第二监控数据的状态满足预设的条件如SQL查询响应时间超时、Primary和Mirror的数据同步失败、内存使用率超过指定值等条件下自动发出告警信息。其中所述告警信息可以是与指定运维人员进行通讯联系，如发送邮件或信息、拨打电话等。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
S33、接收来自Web页面的监控数据获取指令；
S34、对所述监控数据获取指令进行权限鉴定；
S35、若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
如上所述，Server负责接收Segment-Agent端和Master-Agent端发送过来的监控数据，将数据入库。同时提供一个Web GUI接口，用于前台Web页面展示监控数据，可以按ClusterName展示集群监控信息。权限鉴定的过程可以使用数字密码、指纹识别、声纹识别、面容识别、虹膜识别等技术。
本申请的Greenplum集群数据库监控方法，为GreenPlum数据库提供了统一监控解决方案，将监控工具采集的数据从被监控数据库中剥离出来，在被监控对象宕机时，仍然可以使用监控工具分析数据和宕机原因，同时通过不同的进程在不同服务器上采集不同的监控数据，可以提高数据采集效率，提高监控系统的稳定性。
参照图2，本申请实施例中还提供一种Greenplum集群数据库监控装置，包括：
应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控装置包括：
第一监控数据采集模块1，用于通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
第二监控数据采集模块2，用于通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
监控数据储存模块3，用于通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
在一个实施例中，所述第一监控数据采集模块1包括：
第一配置文件获取单元，用于在所述数据库端获取第一配置文件；
第一配置信息获取单元，用于获取所述第一配置文件中的第一配置信息；
第一采样单元，用于对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
第一监控数据处理单元，根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
在一个实施例中，所述第二监控数据采集模块2包括：
第二配置文件获取单元，用于在所述数据库端获取第二配置文件；
第二配置信息获取单元，用于获取所述第二配置文件中的第二配置信息；
第二采样单元，用于通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二数据信息，并记录第二采样时间；
第二监控数据处理单元，用于根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
在一个实施例中，第一监控数据处理单元包括：
信息确定单元，用于根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
第一监控数据获取单元，用于创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
在一个实施例中，所述第一监控数据采集模块1还包括：
查询单元，用于利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
保存单元，用于将所述查询结果保存到所述数据表中。
在一个实施例中，所述Greenplum集群数据库监控还包括：
状态分析模块，用于对所述第一监控数据和所述第二监控数据进行状态分析；
告警模块，用于当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
在一个实施例中，所述Greenplum集群数据库监控还包括：
指令接收模块，用于接收来自Web页面的监控数据获取指令；
权限鉴定模块，用于对所述监控数据获取指令进行权限鉴定；
数据发送模块，用于若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
如上所述，可以理解地，本申请中提出的所述Greenplum集群数据库监控装置的各组成部分可以实现如上所述Greenplum集群数据库监控方法任一项的功能，具体结构不再赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存监控数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种Greenplum集群数据库监控方法。
上述处理器执行上述的Greenplum集群数据库监控方法，包括：
通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
在一个实施例中，所述通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据的步骤，包括：
在所述数据库端获取第一配置文件；
获取所述第一配置文件中的第一配置信息；
对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
在一个实施例中，所述通过所述Segment-Agent端采集数据库层面的监控信息，得到第二监控数据的步骤，包括：
在所述数据库端获取第二配置文件；
获取所述第二配置文件中的第二配置信息；
通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二数据信息，并记录第二采样时间；
根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
在一个实施例中，所述根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据的步骤包括：
根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
在一个实施例中，所述对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样的步骤之前包括：
利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
将所述查询结果保存到所述数据表中。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
对所述第一监控数据和所述第二监控数据进行状态分析；
当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
接收来自Web页面的监控数据获取指令；
对所述监控数据获取指令进行权限鉴定；
若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种Greenplum集群数据库监控方法，包括步骤：
通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
上述的Greenplum集群数据库监控方法，通过部署在Greenplum集群数据库的Master服务器上的Master-Agent端来采集数据库层面的监控信息，通过部署在Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上的Segment-Agent端来采集主机层面的监控信息，可以实现数据库层面监控信息和主机层面监控信息的同时采集，提高监控信息采集效率，最后将采集到的监控信息通过Server端保存在数据库端，可以提高监控数据的安全性，将监控工具采集的数据从被监控数据库中剥离出来，在被监控对象宕机时，仍然可以使用监控工具分析数据和宕机原因。
在一个实施例中，所述通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据的步骤，包括：
在所述数据库端获取第一配置文件；
获取所述第二配置文件中的第一配置信息；
对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
在一个实施例中，所述通过所述Segment-Agent端采集数据库层面的监控信息，得到第二监控数据的步骤，包括：
在所述数据库端获取Segment_Agent.conf配置文件；
获取所述Segment_Agent.conf配置文件中的第二配置信息；
通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二数据信息，并记录第二采样时间；
根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
在一个实施例中，所述根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据的步骤包括：
根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
在一个实施例中，所述对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样的步骤之前包括：
利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
将所述查询结果保存到所述数据表中。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
对所述第一监控数据和所述第二监控数据进行状态分析；
当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
在一个实施例中，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
接收来自Web页面的监控数据获取指令；
对所述监控数据获取指令进行权限鉴定；
若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种Greenplum集群数据库监控方法，其特征在于，应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控方法包括：
通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
2.根据权利要求1所述的Greenplum集群数据库监控方法，其特征在于，所述通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据的步骤，包括：
在所述数据库端获取第一配置文件；
获取所述第一配置文件中的第一配置信息；
对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样，得到第一数据信息，并记录第一采样时间；
根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据。
3.根据权利要求1所述的Greenplum集群数据库监控方法，其特征在于，所述通过所述Segment-Agent端采集数据库层面的监控信息，得到第二监控数据的步骤，包括：
在所述数据库端获取第二配置文件；
获取所述第二配置文件中的第二配置信息；
通过Segment-Agent数据采集进程对主机层间监控数据进行采样，得到第二数据信息，并记录第二采样时间；
根据所述第二配置信息、所述第二数据信息和所述第二采样时间得到所述第二监控数据。
4.根据权利要求2所述的Greenplum集群数据库监控方法，其特征在于，所述根据所述第一配置信息、所述第一数据信息和所述第一采样时间得到所述第一监控数据的步骤包括：
根据所述配置信息确定集群的ClusterID，根据采样时间确定SampleTime；
创建表，在所述表中增加ClusterID列和SampleTime列，将所述ClusterID和所述SampleTime与所述第一数据信息填入所述表中，得到所述第一监控数据。
5.根据权利要求2所述的Greenplum集群数据库监控方法，其特征在于，所述对Greenplum集群数据库的gp_tooikit管理模式下的数据表中的信息进行数据采样的步骤之前包括：
利用gp_toolkit函数对Greenpulm集群数据进行数据查询，得到查询结果；
将所述查询结果保存到所述数据表中。
6.根据权利要求1所述的Greenplum集群数据库监控方法，其特征在于，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
对所述第一监控数据和所述第二监控数据进行状态分析；
当所述第一监控数据和所述第二监控数据状态的满足预设的告警条件时，发出告警信息。
7.根据权利要求1所述的Greenplum集群数据库监控方法，其特征在于，所述通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存的步骤之后还包括：
接收来自Web页面的监控数据获取指令；
对所述监控数据获取指令进行权限鉴定；
若通过权限鉴定，则通过所述Server端的Web GUI接口将所述第一监控数据和所述第二监控数据发送给所述Web页面。
8.一种Greenplum集群数据库监控装置，其特征在于，应用于Greenplum集群数据库监控系统，所述Greenplum集群数据库监控系统包括Server端、Master-Agent端、Segment-Agent端和数据库端，其中所述Greenplum集群数据库监控装置包括：
第一监控数据采集模块，用于通过所述Master-Agent端采集数据库层面的监控信息，得到第一监控数据，其中所述Master-Agent端部署在所述Greenplum集群数据库的Master服务器上；
第二监控数据采集模块，用于通过所述Segment-Agent端采集主机层面的监控信息，得到第二监控数据，其中所述Segment-Agent端部署在所述Greenplum集群数据库的Master服务器、Standby Master服务器和Segment服务器上；
监控数据储存模块，用于通过所述Server端接收所述第一监控数据和所述第二监控数据，并将所述第一监控数据和所述第二监控数据发送到数据库端进行储存。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202011401516.9A 2020-12-02 2020-12-02 Greenplum集群数据库监控方法、装置和计算机设备 Pending CN112527595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011401516.9A CN112527595A (zh) 2020-12-02 2020-12-02 Greenplum集群数据库监控方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011401516.9A CN112527595A (zh) 2020-12-02 2020-12-02 Greenplum集群数据库监控方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN112527595A true CN112527595A (zh) 2021-03-19

Family

ID=74997983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011401516.9A Pending CN112527595A (zh) 2020-12-02 2020-12-02 Greenplum集群数据库监控方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN112527595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567526A (zh) * 2022-09-21 2023-01-03 中国平安人寿保险股份有限公司 数据监控方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567531A (zh) * 2011-12-30 2012-07-11 互动在线（北京）科技有限公司 一种通用的轻量级数据库状态监控方法
CN105843904A (zh) * 2016-03-23 2016-08-10 江苏太湖云计算信息技术股份有限公司 针对数据库运行性能的监控告警系统
CN106528341A (zh) * 2016-11-09 2017-03-22 上海新炬网络信息技术有限公司 基于Greenplum数据库的自动化容灾系统
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理系统
CN109471759A (zh) * 2018-11-21 2019-03-15 北京谷数科技有限公司 一种基于sas双控设备的数据库故障切换方法及设备
CN111338901A (zh) * 2020-02-26 2020-06-26 平安壹钱包电子商务有限公司 一种Redis监控方法、Redis监控装置及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567531A (zh) * 2011-12-30 2012-07-11 互动在线（北京）科技有限公司 一种通用的轻量级数据库状态监控方法
CN105843904A (zh) * 2016-03-23 2016-08-10 江苏太湖云计算信息技术股份有限公司 针对数据库运行性能的监控告警系统
CN106528341A (zh) * 2016-11-09 2017-03-22 上海新炬网络信息技术有限公司 基于Greenplum数据库的自动化容灾系统
CN109218109A (zh) * 2018-10-17 2019-01-15 北京京航计算通讯研究所 面向大数据平台的Ceph分布式存储监控与调优管理系统
CN109471759A (zh) * 2018-11-21 2019-03-15 北京谷数科技有限公司 一种基于sas双控设备的数据库故障切换方法及设备
CN111338901A (zh) * 2020-02-26 2020-06-26 平安壹钱包电子商务有限公司 一种Redis监控方法、Redis监控装置及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GREENPLUM: "GPCC-400-guide-02", 《HTTP://CN.GREENPLUM.ORG/GREENPLUM-GPCC/》 *
小雁子: "一种基于GreenPlum数据库的状态检查及性能监控工具", 《原创力文档，HTTPS://MAX.BOOK118.COM/HTML/2016/1003/56710787.SHTM 2016.10.3》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567526A (zh) * 2022-09-21 2023-01-03 中国平安人寿保险股份有限公司 数据监控方法、装置、设备及介质
CN115567526B (zh) * 2022-09-21 2024-05-14 中国平安人寿保险股份有限公司 数据监控方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US10747591B2 (en) Endpoint process state collector
CN108768728B (zh) 运维任务处理方法、装置、计算机设备和存储介质
CN108234170B (zh) 一种服务器集群的监控方法和装置
US6327550B1 (en) Method and apparatus for system state monitoring using pattern recognition and neural networks
CN105556499B (zh) 智能自动缩放
CN108833137A (zh) 一种柔性微服务监控框架架构
CN112910945A (zh) 请求链路跟踪方法和业务请求处理方法
CN108959385B (zh) 数据库部署方法、装置、计算机设备和存储介质
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN115248826B (zh) 一种大规模分布式图数据库集群运维管理的方法和系统
CN111669295A (zh) 业务管理方法和装置
CN114780335A (zh) 监测数据的关联方法、装置、计算机设备和存储介质
CN111026606A (zh) 基于hystrix熔断器监控的报警方法、装置及计算机设备
CN112527595A (zh) Greenplum集群数据库监控方法、装置和计算机设备
CN110363381B (zh) 一种信息处理方法和装置
CN112866319A (zh) 日志数据处理方法、系统和存储介质
CN112149975B (zh) 一种基于人工智能的apm监控系统及监控方法
CN113946491A (zh) 微服务数据处理方法、装置、计算机设备及存储介质
CN113239327A (zh) 监控软件许可证的方法、装置、计算机设备和存储介质
CN115729727A (zh) 故障修复方法、装置、设备及介质
CN113342806A (zh) 大数据处理方法、装置、存储介质及处理器
KR101770066B1 (ko) 분산시스템에서 애플리케이션 호출 로그를 이용한 비즈니스 트랜잭션의 실시간 추적 및 분석 방법, 그리고 그 시스템
CN112612679A (zh) 系统运行状态监控方法、装置、计算机设备和存储介质
CN113360313B (zh) 一种基于海量系统日志的行为分析方法
CN116192616A (zh) 基于微服务的电力备调系统处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220602

Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd.

Address before: Room 12G, Block H, 666 Beijing East Road, Huangpu District, Shanghai 200000

Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319