CN113542068A - 一种Redis多实例的监控系统及方法 - Google Patents

一种Redis多实例的监控系统及方法 Download PDF

Info

Publication number
CN113542068A
CN113542068A CN202110799499.7A CN202110799499A CN113542068A CN 113542068 A CN113542068 A CN 113542068A CN 202110799499 A CN202110799499 A CN 202110799499A CN 113542068 A CN113542068 A CN 113542068A
Authority
CN
China
Prior art keywords
module
monitoring
redis
state
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110799499.7A
Other languages
English (en)
Other versions
CN113542068B (zh
Inventor
郭赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202110799499.7A priority Critical patent/CN113542068B/zh
Publication of CN113542068A publication Critical patent/CN113542068A/zh
Application granted granted Critical
Publication of CN113542068B publication Critical patent/CN113542068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提出了一种Redis多实例的监控系统及方法,涉及集群运行状态监控技术领域,该系统包括:状态采集模块,集成在Redis实例中,用于采集性能指标;采集模式处理模块,用于根据不同监控场景调节状态采集模块的模式;监控核心模块,用于调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;数据存储模块,用于持久化数据;告警管理模块,用于获取告警信息,根据告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;服务发现模块,用于监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;可视化模块,用于通过可视化界面显示监控数据报表。

Description

一种Redis多实例的监控系统及方法
技术领域
本发明涉及集群运行状态监控技术领域,尤指一种Redis多实例的监控系统及方法。
背景技术
目前监控系统多采用基于Nagios或Zabbix框架的技术架构,该些技术框架往往存在配置复杂,弹性差,效率低等问题;例如,Nagios:存在无自发现功能,需频繁修改配置文件;配置局限于终端,扩展性差;性能指标处理性能低;无历史数据,难追查故障等问题。Zabbix:存在明显性能瓶颈;成本高,需通过增加proxy解决数据库写入瓶颈问题,效率低;使用需要二次开发,增加人员成本,降低项目实施速度,内置housekeeping在执行过程中会对数据库持续产生增加压力。
综上所述,亟需一种可以克服上述缺陷的Redis多实例监控技术方案,解决现有系统存在的扩展性差,性能低,难追溯历史数据,存在性能瓶颈,使用成本高,无可视化监控界面等技术问题。
发明内容
为解决现有技术存在的问题,本发明提出了一种Redis多实例的监控系统及方法。本发明可以有效降低监控体系复杂度,通过配置采集模式,周期性抓取组件状态,有效提高系统水平扩展性;结合本地数据库存储方案,可以对历史数据溯源分析;使用可视化监控工具,实时监控Redis集群的实例的状态。
在本发明实施例的第一方面,提出了一种Redis多实例的监控系统,该系统包括:状态采集模块、采集模式处理模块、监控核心模块、数据存储模块、告警管理模块、服务发现模块及可视化模块;其中,
所述状态采集模块,集成在Redis实例中,用于采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
所述采集模式处理模块,用于配置采集模式,根据不同监控场景调节状态采集模块的采集模式;
所述监控核心模块,用于调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
所述数据存储模块,用于持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
所述告警管理模块,用于获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;
所述服务发现模块,用于监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
所述可视化模块,用于接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
进一步的,所述性能指标包括:CPU、内存、磁盘及I/O接口的运行参数。
进一步的,所述状态采集模块的架构采用Prometheus监控服务器,设置Nodeexporter组件进行Redis实例的性能指标的采集,将采集到的性能指标转换为HTTP请求发送至监控核心模块。
进一步的,所述采集模式处理模块内置推/拉双模式,根据不同监控场景,驱动状态采集模块进行采集模式切换。
进一步的,所述监控核心模块包括:定时推取单元、存储处理单元及监控处理单元;其中,
定时推取单元,用于根据设置的定时器模式,定时获取Redis实例的性能指标;
存储处理单元,用于调取数据存储模块的数据库存储性能指标,并将性能指标持久化到本地,向监控处理单元提供性能指标;
监控处理单元,用于配置不同场景下的监控阀值,按照监控阈值对性能指标进行状态分析及告警分析,生成状态分析结果及告警信息。
进一步的,所述数据存储模块具体用于:
定期清理和整理数据,将性能指标、状态分析结果及告警信息按照时序保存在数据库;
设置数据调取接口,根据其它模块的查询指令或调取指令,进行数据查询或数据调取。
进一步的,所述告警管理模块具体用于:
在获取到告警信息后,根据所述告警信息将状态序列转换成状态调整指令。
进一步的,所述服务发现模块具体用于:
基于Kubernetes框架结合自动发现组件,进行容器状态的监控与运维管理。
进一步的,所述所述可视化模块通过Grafana数据可视化工具搭建,通过可视化界面展示查询结果。
在本发明实施例的第二方面,提出了一种Redis多实例的监控方法,所述Redis多实例的监控基于状态采集模块、采集模式处理模块、监控核心模块、数据存储模块、告警管理模块、服务发现模块及可视化模块实现;其中,
所述状态采集模块集成在Redis实例中,采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
所述采集模式处理模块配置采集模式,根据不同监控场景调节状态采集模块的采集模式;
所述监控核心模块调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
所述数据存储模块持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
所述告警管理模块获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;
所述服务发现模块监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
所述可视化模块接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
在本发明实施例的第三方面,提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现Redis多实例的监控方法。
在本发明实施例的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现Redis多实例的监控方法。
本发明提出的Redis多实例的监控系统及方法可以将系统解耦为多个主要组件,有效降低监控体系复杂度,通过设置采集模式,周期性抓取组件状态,有效提高系统水平扩展性;利用可视化界面,简洁直观的显示显示监控状态;构建实现了基于Prometheus技术框架下的Redis实例全流程自动化监控方案,使得项目整体开发、测试、运维各阶段效率大幅度提升,有效降低各产品耦合性,提高敏捷效率,降低维护成本及学习成本。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例的Redis多实例的监控系统架构示意图。
图2是本发明一实施例的监控核心模块架构示意图。
图3是本发明一具体实施例的Redis多实例的监控系统架构关系示意图。
图4是本发明一实施例的Redis多实例的监控方法流程示意图。
图5是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种Redis多实例的监控系统及方法,涉及集群运行状态监控技术领域。本发明可以克服现有Redis多实例监控系统下,存在的扩展性差,性能低,难追溯历史数据,存在性能瓶颈,使用成本高,无可视化监控界面等技术问题。本发明通过搭建基于Prometheus技术框架,整合使用Grafana可视化工具的整体架构,对整体系统解耦为七大主要组件,有效降低监控体系复杂度;通过Pull/Push双模式支持,基于HTTP协议周期性抓取组件状态,有效提高系统水平扩展性;结合本地时序数据库存储方案,解决过去监控无法对历史数据溯源分析的限制;整合使用Grafana监控工具,为Redis集群实例状态监控,提供简洁直观界面显示功能,从而解决了过去系统存在的难扩展,难操作,存在性能瓶颈等问题,构建实现了基于Prometheus技术框架下的Redis实例全流程自动化监控系统,使得项目整体开发、测试、运维各阶段效率大幅度提升,有效降低各产品耦合性,提高敏捷效率,降低维护成本及学习成本。
在本实施例中,需要说明的术语有:
Redis:Redis是可基于内存,支持持久化的日志型、Key-Value数据库,并提供多种语言的API。
Redis多实例:在同一个Redis集群环境运行多个Redis实例,把Redis部署在不同的端口中。
Node exporter:部署在实例上,主要用于暴露metrics给Prometheus,其中metrics包括:cpu的负载,内存的使用情况,网络等。
Kubernetes:简称K8s,是为容器服务而生的一个可移植容器的编排管理工具,当前K8s已经主导了云业务流程,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。
Prometheus:开源的监控告警系统,Prometheus存储的是时序数据,即按相同时序(相同名称和标签),以时间维度存储连续的数据的集合。时序(time series)是由指标(metrics)以及一组key-value标签定义的,具有相同的名字以及标签属于相同时序。
Grafana:前端展示工具,将数据以非常美观直接的图形展示出来。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
图1是本发明一实施例的Redis多实例的监控系统架构示意图。如图1所示,该系统包括:状态采集模块110、采集模式处理模块120、监控核心模块130、数据存储模块140、告警管理模块150、服务发现模块160及可视化模块170;其中,
所述状态采集模块110,集成在Redis实例中,用于采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
所述采集模式处理模块120,用于配置采集模式,根据不同监控场景调节状态采集模块110的采集模式;
所述监控核心模块130,用于调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
所述数据存储模块140,用于持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
所述告警管理模块150,用于获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块160对Redis容器中发生异常的节点进行处理;
所述服务发现模块160,用于监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
所述可视化模块170,用于接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
为了对上述Redis多实例的监控系统进行更为清楚的解释,下面结合系统中的每一模块来进行详细说明。
状态采集模块110:
采用Prometheus监控服务器,设置Node exporter组件进行Redis实例的性能指标的采集,将采集到的性能指标转换为HTTP请求发送至监控核心模块。
其中,性能指标包括:CPU、内存、磁盘及I/O接口的运行参数。
采集模式处理模块120:
内置推/拉双模式,根据不同监控场景,驱动状态采集模块进行采集模式切换。
监控核心模块130:
参考图2,为本发明一实施例的监控核心模块架构示意图。如图2所示,监控核心模块130包括:定时推取单元131、存储处理单元132及监控处理单元133;其中,
定时推取单元131,用于根据设置的定时器模式,定时获取Redis实例的性能指标;
存储处理单元132,用于调取数据存储模块的数据库存储性能指标,并将性能指标持久化到本地,向监控处理单元提供性能指标;
监控处理单元133,用于配置不同场景下的监控阀值,按照监控阈值对性能指标进行状态分析及告警分析,生成状态分析结果及告警信息。
数据存储模块140:
定期清理和整理数据,将性能指标、状态分析结果及告警信息按照时序保存在数据库;
设置数据调取接口(Rest API),根据其它模块的查询指令或调取指令,进行数据查询或数据调取。
告警管理模块150:
在获取到告警信息后,根据所述告警信息将状态序列转换成状态调整指令。
服务发现模块160:
基于Kubernetes框架结合自动发现组件,进行容器状态的监控与运维管理。
可视化模块170:
通过Grafana数据可视化工具搭建,通过可视化界面展示查询结果。
应当注意,尽管在上文详细描述中提及了Redis多实例的监控系统的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
为了对上述Redis多实例的监控系统进行更为清楚的解释,下面结合一个具体的实施例来进行说明。
参考图3,为本发明一具体实施例的Redis多实例的监控系统架构关系示意图。
如图3所示,具体架构包括:
状态采集模块:
主要集成在Redis实例中,负责采集Redis实例性能指标,包括CPU、内存、磁盘、I/O等信息,将指标参数转换为HTTP请求,并与采集模式处理模块通讯,可以切换推/拉双模式。
采集模式处理模块:
内置推/拉双模式,根据不同监控场景,直接驱动状态采集模块进行采集模式的切换。
支持定时拉取模式:
从状态采集模块直接拉取状态数据;同样支持通路模式,状态采集器主动向监控核心模块推送各个Redis实例的状态,通过采集模式处理模块向监控中心发送状态数据矩阵。
服务发现模块:
该模块基于Kubernetes框架结合file_sd文件进行实现,负责监控Redis容器环境与运维管理,纵向管理容器可用性与扩展性,该模块与核心监控模块通讯,向其目前可用在运行Redis实例所在容器数据。
监控核心模块:
监控系统中最重要的功能组件,具有以下三个单元:
定时推取单元,负责与采集模式处理模块与服务发现模块进行通信,获取可用容器中Redis实例实时状态数据,并调取存储处理单元完成数据持久化。
存储处理单元,负责将状态数据持久化到本地,调取数据存储模块API进行数据读写,并配合监控处理单元完成数据调用分析。
监控处理单元,通过存储处理单元调取实时状态数据,运行已定义好的alert.rules(告警规则),记录新的时间序列并向告警管理模块推送告警。
数据存储模块:
负责持久化数据,通过预先配置规则清理和整理数据,把得到的结果放进时序数据库里;
对外提供API接口,供其他组件调用查询数据。
告警管理模块:
该模块接收监控处理模块发送的告警指令,并依据接收到的状态序列,转换成状态调整指令,发送到服务发现模块,对容器节点异常及时处理。
可视化模块:
接收监控数据生成报表,支持多种类型报表可视化展示;支持监控人员进行多维度数据查询,及时发现系统异常与性能瓶颈。
可以使用Grafana工具实现,为监控系统提供了友好简洁界面,提升监控人员操作效率,有效提升运维效率。
本发明的Redis多实例的监控基于Prometheus技术框架,整合使用Grafana可视化工具,搭建针对Redis多实例状态实施监控系统。基本原理是通过HTTP周期性抓取被监控组件的状态,任意组件只要提供对应的HTTP接口并且符合数据格式规则,就可以接入本监控系统。
相较于现有技术,至少存在以下优点:
本发明中监控系统核心组件落地成一个独立的二进制文件,可直接在本地工作,同样兼容云原生容器环境;
采用Pull(拉)的方式获取数据,不仅降低客户端的复杂度,客户端只需要采集数据,无需了解服务端情况,也让服务端可以更加方便地水平扩展,具备强扩展性,解决原有监控系统性能瓶颈、弹性低等问题;
结合使用本地存储方案,通过内置整理与清理规则,将历史数据持久化到时序数据库中,解决过去监控无法对历史数据溯源分析的限制;
整合使用Grafana监控工具,为Redis集群实例状态监控,提供简洁直观界面显示功能,配合运维人员配置数据处理模式,实时展示各实例状态并完成分析处理,提供警告提醒、报表生成等功能,解决过去监控系统数据分散,无可视化界面,强依赖于人工排查日志等问题。
在介绍了本发明示例性实施方式的系统之后,接下来,参考图4对本发明示例性实施方式的Redis多实例的监控方法进行介绍。
Redis多实例的监控方法的实施可以参见上述方法的实施,重复之处不再赘述。
基于同一发明构思,本发明还提出了一种Redis多实例的监控方法,所述Redis多实例的监控基于状态采集模块、采集模式处理模块、监控核心模块、数据存储模块、告警管理模块、服务发现模块及可视化模块实现;其中,如图4所示,该方法包括:
步骤S1,所述状态采集模块集成在Redis实例中,采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
步骤S2,所述采集模式处理模块配置采集模式,根据不同监控场景调节状态采集模块的采集模式;
步骤S3,所述监控核心模块调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
步骤S4,所述数据存储模块持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
步骤S5,所述告警管理模块获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;
步骤S6,所述服务发现模块监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
步骤S7,所述可视化模块接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
需要说明的是,尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
基于前述发明构思,如图5所示,本发明还提出了一种计算机设备500,包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530,所述处理器520执行所述计算机程序530时实现前述Redis多实例的监控方法。
基于前述发明构思,本发明提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前述Redis多实例的监控方法。
本发明提出的Redis多实例的监控系统及方法可以将系统解耦为多个主要组件,有效降低监控体系复杂度,通过设置采集模式,周期性抓取组件状态,有效提高系统水平扩展性;利用可视化界面,简洁直观的显示显示监控状态;构建实现了基于Prometheus技术框架下的Redis实例全流程自动化监控方案,使得项目整体开发、测试、运维各阶段效率大幅度提升,有效降低各产品耦合性,提高敏捷效率,降低维护成本及学习成本。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种Redis多实例的监控系统,其特征在于,该系统包括:状态采集模块、采集模式处理模块、监控核心模块、数据存储模块、告警管理模块、服务发现模块及可视化模块;其中,
所述状态采集模块,集成在Redis实例中,用于采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
所述采集模式处理模块,用于配置采集模式,根据不同监控场景调节状态采集模块的采集模式;
所述监控核心模块,用于调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
所述数据存储模块,用于持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
所述告警管理模块,用于获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;
所述服务发现模块,用于监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
所述可视化模块,用于接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
2.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述性能指标包括:CPU、内存、磁盘及I/O接口的运行参数。
3.根据权利要求2所述的Redis多实例的监控系统,其特征在于,所述状态采集模块的架构采用Prometheus监控服务器,设置Node exporter组件进行Redis实例的性能指标的采集,将采集到的性能指标转换为HTTP请求发送至监控核心模块。
4.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述采集模式处理模块内置推/拉双模式,根据不同监控场景,驱动状态采集模块进行采集模式切换。
5.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述监控核心模块包括:定时推取单元、存储处理单元及监控处理单元;其中,
定时推取单元,用于根据设置的定时器模式,定时获取Redis实例的性能指标;
存储处理单元,用于调取数据存储模块的数据库存储性能指标,并将性能指标持久化到本地,向监控处理单元提供性能指标;
监控处理单元,用于配置不同场景下的监控阀值,按照监控阈值对性能指标进行状态分析及告警分析,生成状态分析结果及告警信息。
6.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述数据存储模块具体用于:
定期清理和整理数据,将性能指标、状态分析结果及告警信息按照时序保存在数据库;
设置数据调取接口,根据其它模块的查询指令或调取指令,进行数据查询或数据调取。
7.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述告警管理模块具体用于:
在获取到告警信息后,根据所述告警信息将状态序列转换成状态调整指令。
8.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述服务发现模块具体用于:
基于Kubernetes框架结合自动发现组件,进行容器状态的监控与运维管理。
9.根据权利要求1所述的Redis多实例的监控系统,其特征在于,所述所述可视化模块通过Grafana数据可视化工具搭建,通过可视化界面展示查询结果。
10.一种Redis多实例的监控方法,其特征在于,所述Redis多实例的监控基于状态采集模块、采集模式处理模块、监控核心模块、数据存储模块、告警管理模块、服务发现模块及可视化模块实现;其中,
所述状态采集模块集成在Redis实例中,采集Redis实例的性能指标;其中,Redis容器包含多个Redis实例;
所述采集模式处理模块配置采集模式,根据不同监控场景调节状态采集模块的采集模式;
所述监控核心模块调取性能指标,并根据配置的监控规则进行状态分析及告警分析,生成状态分析结果及告警信息;
所述数据存储模块持久化数据,将性能指标、状态分析结果及告警信息保存在数据库;
所述告警管理模块获取告警信息,根据所述告警信息生成状态调整指令,驱动服务发现模块对Redis容器中发生异常的节点进行处理;
所述服务发现模块监控Redis实例所在的容器环境,对Redis容器的节点进行运维管理;
所述可视化模块接收状态分析结果,根据所述状态分析结果生成监控数据报表,并通过可视化界面进行显示。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求10所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求10所述的方法。
CN202110799499.7A 2021-07-15 2021-07-15 一种Redis多实例的监控系统及方法 Active CN113542068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110799499.7A CN113542068B (zh) 2021-07-15 2021-07-15 一种Redis多实例的监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799499.7A CN113542068B (zh) 2021-07-15 2021-07-15 一种Redis多实例的监控系统及方法

Publications (2)

Publication Number Publication Date
CN113542068A true CN113542068A (zh) 2021-10-22
CN113542068B CN113542068B (zh) 2022-12-23

Family

ID=78099374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799499.7A Active CN113542068B (zh) 2021-07-15 2021-07-15 一种Redis多实例的监控系统及方法

Country Status (1)

Country Link
CN (1) CN113542068B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992833A (zh) * 2021-11-16 2022-01-28 浙江黄氏建设工程有限公司 一种应用于未来社区的摄像头数据采集系统
CN114584589A (zh) * 2022-03-04 2022-06-03 杭州智麒科技有限公司 一种快速扫描发现资源并快速监控的实现方法
CN114637656A (zh) * 2022-05-13 2022-06-17 飞狐信息技术(天津)有限公司 基于Redis的监控方法、装置、存储介质和设备
CN114780569A (zh) * 2022-06-22 2022-07-22 之江实验室 一种拟态redis数据库的输入输出代理方法和装置
CN114880158A (zh) * 2022-07-11 2022-08-09 飞狐信息技术(天津)有限公司 一种Redis实例诊断方法及装置
CN117453150A (zh) * 2023-12-25 2024-01-26 杭州阿启视科技有限公司 录像存储调度服务多实例的实现方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043389A (zh) * 2007-04-20 2007-09-26 北京航空航天大学 网格服务容器的控制系统
US20140201357A1 (en) * 2011-05-27 2014-07-17 Transoft (Shanghai), Inc. Framework and method for monitoring performance of virtualized systems based on hardware base tool
CN107302577A (zh) * 2017-06-21 2017-10-27 山东浪潮云服务信息科技有限公司 一种推拉结合的分布式云端并发采集方法
CN110532152A (zh) * 2019-08-05 2019-12-03 北明云智(武汉)网软有限公司 一种基于Kapacitor计算引擎的监控告警处理方法及系统
CN111338901A (zh) * 2020-02-26 2020-06-26 平安壹钱包电子商务有限公司 一种Redis监控方法、Redis监控装置及终端
CN112084098A (zh) * 2020-10-21 2020-12-15 中国银行股份有限公司 资源监控系统及工作方法
CN112486634A (zh) * 2020-12-09 2021-03-12 浪潮云信息技术股份公司 一种实现容器云平台整体监控的方法
CN112511339A (zh) * 2020-11-09 2021-03-16 宝付网络科技(上海)有限公司 基于多集群的容器监控告警方法、系统、设备及存储介质
CN113037734A (zh) * 2021-03-02 2021-06-25 上海德易车信息科技有限公司 一种隔离网络的业务状态监控方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043389A (zh) * 2007-04-20 2007-09-26 北京航空航天大学 网格服务容器的控制系统
US20140201357A1 (en) * 2011-05-27 2014-07-17 Transoft (Shanghai), Inc. Framework and method for monitoring performance of virtualized systems based on hardware base tool
CN107302577A (zh) * 2017-06-21 2017-10-27 山东浪潮云服务信息科技有限公司 一种推拉结合的分布式云端并发采集方法
CN110532152A (zh) * 2019-08-05 2019-12-03 北明云智(武汉)网软有限公司 一种基于Kapacitor计算引擎的监控告警处理方法及系统
CN111338901A (zh) * 2020-02-26 2020-06-26 平安壹钱包电子商务有限公司 一种Redis监控方法、Redis监控装置及终端
CN112084098A (zh) * 2020-10-21 2020-12-15 中国银行股份有限公司 资源监控系统及工作方法
CN112511339A (zh) * 2020-11-09 2021-03-16 宝付网络科技(上海)有限公司 基于多集群的容器监控告警方法、系统、设备及存储介质
CN112486634A (zh) * 2020-12-09 2021-03-12 浪潮云信息技术股份公司 一种实现容器云平台整体监控的方法
CN113037734A (zh) * 2021-03-02 2021-06-25 上海德易车信息科技有限公司 一种隔离网络的业务状态监控方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992833A (zh) * 2021-11-16 2022-01-28 浙江黄氏建设工程有限公司 一种应用于未来社区的摄像头数据采集系统
CN114584589A (zh) * 2022-03-04 2022-06-03 杭州智麒科技有限公司 一种快速扫描发现资源并快速监控的实现方法
CN114637656A (zh) * 2022-05-13 2022-06-17 飞狐信息技术(天津)有限公司 基于Redis的监控方法、装置、存储介质和设备
CN114637656B (zh) * 2022-05-13 2022-09-20 飞狐信息技术(天津)有限公司 基于Redis的监控方法、装置、存储介质和设备
CN114780569A (zh) * 2022-06-22 2022-07-22 之江实验室 一种拟态redis数据库的输入输出代理方法和装置
CN114780569B (zh) * 2022-06-22 2022-09-16 之江实验室 一种拟态redis数据库的输入输出代理方法和装置
WO2023093184A1 (zh) * 2022-06-22 2023-06-01 之江实验室 一种拟态redis数据库的输入输出代理方法和装置
CN114880158A (zh) * 2022-07-11 2022-08-09 飞狐信息技术(天津)有限公司 一种Redis实例诊断方法及装置
CN117453150A (zh) * 2023-12-25 2024-01-26 杭州阿启视科技有限公司 录像存储调度服务多实例的实现方法
CN117453150B (zh) * 2023-12-25 2024-04-05 杭州阿启视科技有限公司 录像存储调度服务多实例的实现方法

Also Published As

Publication number Publication date
CN113542068B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN113542068B (zh) 一种Redis多实例的监控系统及方法
US10944628B2 (en) Network operation support system and network device management method
CN110309130A (zh) 一种用于主机性能监控的方法及装置
CN112328456B (zh) 一种基于服务发现的集群资源监控系统
CN104731580A (zh) 基于Karaf与ActiveMQ的自动化运维系统及其实现方法
CN104331780A (zh) 业务流程监测系统
CN110795503A (zh) 分布式存储系统的多集群数据同步方法及相关装置
CN104022904A (zh) 分布式机房it设备统一管理平台
CN108737170A (zh) 一种批量日志异常数据告警方法及装置
CN111614483A (zh) 链路监控方法、装置、存储介质及计算机设备
CN114356499A (zh) Kubernetes集群告警根因分析方法及装置
CN110795332A (zh) 一种自动化测试方法和装置
CN111427749B (zh) 一种openstack环境下针对ironic服务的监控工具及方法
CN112506738A (zh) 数据可视化处理方法及装置
CN111162938A (zh) 数据处理系统及方法
CN109324892B (zh) 分布式管理方法、分布式管理系统及装置
CN115981950A (zh) 监控告警方法、装置、设备及计算机可读存储介质
CN113810457A (zh) 业务访问异常上报方法、装置及可读存储介质和电子设备
CN112214374A (zh) 一种日志数据的处理方法及装置
CN111930590A (zh) 计算机软硬件资源的实时监控系统
CN112416719A (zh) 针对数据库容器的监控处理方法、系统、设备和存储介质
CN110798352A (zh) 一种移动应用支撑系统中全景监控系统
CN111258964A (zh) 日志处理方法及装置、存储介质、电子设备
CN113900898A (zh) 一种数据处理系统、设备及介质
CN116167556A (zh) 作业监控方法及装置、系统、设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant