CN109800136A - 一种远程redis性能数据采样方法及其系统 - Google Patents

Abstract

本发明的技术方案包括一种远程redis性能数据采样方法及其系统，用于实现：包括查监测机器以及待监测机器，其中监测机器包括询模块、通信模块以及数据处理模块，待监测机器包括收发模块，通过调用数据库管理员权限，通过前台添加redis监控；指定待监测机器的IP地址和虚拟端口；利用互联网通过IP地址查询到待监测机器；通过虚拟端口接入待检测机器获取性能数据并返回报告。本发明的有益效果为：redis性能数据是十分有助于分析新服务性能问题的，既不需要安装额外服务，也不需要单独分析数据，一键即可获取各类数据趋势，极大方便远程查看redis服务的性能数据，且不受环境、机器、服务的影响。可以做到页面直观，配置方便，操作简单。

Description

一种远程redis性能数据采样方法及其系统

技术领域

本发明涉及一种远程redis性能数据采样方法及其系统，属于计算机技术领域。

背景技术

分布式环境下，随着redis的广泛使用，对于redis的监控也越来越多，其性能指标有很多，最关键的是连接个数、连接数使用率、被阻塞的连接个数、内存大小、请求键的命中率等指标。

跟进redis性能问题，难免要获取这些参量的变化趋势。有很多监控是长期存在且监控这一数据的变化的，但是定点采样的工具却很少。很多场景下，我们需要10分钟的redis性能数据变化，仅仅需要当前机器10分钟的数据即可，这期间我们可以启动服务，并监控机器和该服务进程的相关性能数据。

另一种场景是，远程操作或者协程操作，该机器没有部署相关监控服务，如何便捷高效获取该机器redis服务的性能数据，就需要简单工具的直接输出，而不用安装庞大的监控服务。

这里我们期望可以看到一段时间采样的redis整体数据及其变化趋势，同时希望直观的看到数据的变化，也就是要有报表，可以一眼看出变化趋势，并方便给第三方参考，避免后端数据的不可见。同时，要求分布式监控，即远程获取多台机器的数据，而不是单点获取。

发明内容

为解决上述问题，本发明的目的在于提供一种远程redis性能数据采样方法及其系统，包括查监测机器以及待监测机器，其中监测机器包括询模块、通信模块以及数据处理模块，待监测机器包括收发模块，通过调用数据库管理员权限，通过前台添加redis监控；指定待监测机器的IP地址和虚拟端口；利用互联网通过IP地址查询到待监测机器；通过虚拟端口接入待检测机器获取性能数据并返回报告。

本发明解决其问题所采用的技术方案一方面是：一种远程redis性能数据采样方法，其特征在于，包括以下步骤：调用数据库管理员权限，通过前台添加redis监控；指定待监测机器的IP地址和虚拟端口；利用互联网通过IP地址查询到待监测机器；通过虚拟端口接入待检测机器获取性能数据并返回报告。

进一步的，所述虚拟端口可自定义设置。

进一步的，所述调用数据库管理员权限，通过前台添加redis监控还包括设置采样时间以及采样频率。

进一步的，所述通过虚拟端口接入待检测机器获取数据并返回报告中，使用redis消息拉取的方法获取性能数据。

进一步的，所述性能数据包括但不限于客户端连接数、客户端连接数占比、redis当前占用内存、redis消耗内存占比、redis命中率以及redis每秒执行的命令数。

进一步的，所述通过虚拟端口接入待检测机器获取性能数据并返回报告中，所述返回报告还包括性能数据图表。

本发明解决其问题所采用的技术方案另一方面是：一种远程redis性能数据采样系统，其特征在于，包括：查询模块，用于生成查询请求；通信模块，用于通过互联网向待监测机器发送查询请求并接收返回的性能数据；收发模块，用于将待监测机器的性能数据通过互联网发送给监测机器；数据处理模块，用于对接收到的性能数据进行处理；其中查询模块、通信模块以及数据处理模块包含于监测机器中，收发模块包含于待监测机器中。

进一步的，所述数据处理模块还包括报表生成模块，用于根据处理后的性能数据，生成性能数据图表。

进一步的，还包括虚拟端口设置模块，用于自动或自定义设置虚拟端口地址，所述虚拟端口设置模块包含于待监测机器中。

进一步的，还包括采样策略设置模块，用于设置性能数据获取时的采样时间和采样频率，所述括采样策略设置模块包含于监测机器中。

本发明的有益效果是：本发明采用的一种远程redis性能数据采样方法及其系统，获取一段时间的远程redis监控数据，得到连接数、内存、命中率等趋势，是十分有助于分析新服务性能问题的，既不需要安装额外服务，也不需要单独分析数据，一键即可获取各类数据趋势，极大方便远程查看redis服务的性能数据，且不受环境、机器、服务的影响。可以做到页面直观，配置方便，操作简单。

附图说明

图1所示为根据本发明较佳实施例的方法流程示意图；

图2所示为根据本发明较佳实施例的系统模块框图；

图3所示为根据本发明较佳实施例一；

图4所示为根据本发明较佳实施例二；

图5所示为根据本发明较佳实施例三；

图6所示为根据本发明较佳实施例四；

图7所示为根据本发明较佳实施例五；

图8所示为根据本发明较佳实施例六。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。

本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1所示为根据本发明较佳实施例的方法流程示意图，调用数据库管理员权限，通过前台添加redis监控；指定待监测机器的IP地址和虚拟端口；利用互联网通过IP地址查询到待监测机器；通过虚拟端口接入待检测机器获取性能数据并返回报告。所述虚拟端口可自定义设置，调用数据库管理员权限，通过前台添加redis监控还包括设置采样时间以及采样频率，通过虚拟端口接入待检测机器获取数据并返回报告中，使用redis消息拉取的方法获取性能数据，性能数据包括但不限于客户端连接数、客户端连接数占比、redis当前占用内存、redis消耗内存占比、redis命中率以及redis每秒执行的命令数。过虚拟端口接入待检测机器获取性能数据并返回报告中，所述返回报告还包括性能数据图表。

需要说明的是在redis下，通信手段有两种

消息拉取

两个或多个客户端在互相发送和接受消息的时候，通常会使用以下两种方法来传递消息。第一种方法被称为消息推送(push messaging)，也就是由发送者来确保所有接收者已经成功接受到了消息。Redis内置了用于进行消息推送的PUBLISH命令和SUBSCRIBE命令。以前我们说过了这两个命令的缺陷。

第二种方法被称为消息拉取(pull messaging)，这种方法要求接收者自己去获取存储在某种邮箱(mailbox)里面的消息。

尽管消息推送非常有用，但是当客户端因为某些原因而没办法一直保持在线的时候，采用这一消息传递方法的程序就会出现各种各样的问题。为了解决这个问题，我们将编写两个不同的消息拉取方法，并使用它们来代替PUBLISH命令和SUBSCRIBE命令。

Redis的其中一种常见用法，就是让不同种类的客户端(如服务器进程、聊天室用户等)去监听或者等待他们各自独有的频道，并作为频道消息的唯一接收者，从频道那里接收传来的消息。很多程序员都选择了使用Redis的PUBLISH命令和SUBSCRIBE命令来发送和等待消息，但是当我们需要在遇到连接故障的情况下仍然不丢失任何消息的时候，PUBLISH命令和SUBSCRIBE命令就派不上用场了。

获取消息

为了获取用户的所有未读消息，程序需要对记录用户数据的有序集合执行zrange命令，以此来获取群组ID以及已读消息ID，然后根据这两个ID，对用户参与的所有群组的消息有序集合执行zrangebyscore命令，以此来取得用户在各个群组中的未读消息。在取得聊天消息之后，程序将根据消息ID对已读有序集合以及群组有序集合里面的用户记录进行更新。最后，程序会查找并清楚那些已经被所有人收到的消息。

下面是一个使用redis拉取待测机器性能数据的过程，

edis监控系统逻辑

1、DBA通过前台页面添加redis监控，填写ip和端口，配置阈值、负责人等信息

2、前台调用自动调度平台接口将redis监控采集Agent发送到目标机器上的固定文件夹，并添加crond，每分钟运行(采集Agent包含采集程序和ip端口信息文件)

3、redis监控Agent采集相关指标通过http接口上报到mysql服务器(目标机器无法直接连接mysql)

4、前台读取mysql数据进行展示

5、解析程序每分钟通过读取配置信息和Agent上报的数据进行解析并发送告警(Rtx/Wechat/Sms)给指定负责人

二、采集指标和命令

1、redis服务进程ip-port

约定所有redis服务都必须以ip1(内网ip)来绑定，每个机器只有一个ip1，可以有多个端口，即多个redis实例。采集程序读取ip端口信息文件来判断有多少个实例

ps aux|grep-E"redis-server.*$port"

约定所有redis客户端安装标准路径是

REDISPATH_CLI＝"/usr/local/redis/bin/redis-cli"

如果发现不是标准路径会有No such file or directory的提示，则采集程序会在每天早上10点发送Rtx弹窗给DBA(DBA也可以根据前台页面图表展示来判断该采集器有无上报数据，无上报数据则可以上机查看采集器日志)

采集器使用下面的命令来采集redis实例的所有信息，然后根据信息筛选出需要的指标上报到mysql

$REDISPATH_CLI-h${agentIp}-p${port}info>${tmpFile}2>&1

如果redis实例没有绑定在ip1或者127.0.0.1上面则会提示Connection refused

2、连接客户数

grep"connected_clients:"${tmpFile}|awk-F":"'{print$2}'

3、阻塞连接数

grep"blocked_clients:"${tmpFile}|awk-F":"'{print$2}'

4、redis占用内存，单位Byte转成MB

grep"used_memory:"${tmpFile}|awk-F":"'{print$2}'|awk'{printf"％.2f",$1/1024/1024}'

5、内存峰值，单位Byte转成MB

grep"used_memory_peak:"${tmpFile}|awk-F":"'{print$2}'|awk'{printf"％.2f",$1/1024/1024}'

6、主从角色

grep"role:"${tmpFile}|awk-F":"'{print$2}'#master(主)，slave(从)

7、master_link_status

grep"master_link_status:"${tmpFile}|awk-F":"'{print$2}'#up downdown:Master已经不可访问了，Slave依然运行良好，并且保留有AOF与RDB文件

8、执行命令总数和qps

grep"total_commands_processed:"${tmpFile}|awk-F":"'{print$2}'

计算qps需要计算两次total_commands_processed，然后除以时间差。逻辑是第一分钟将total_commands_processed的值和当时采集该值的时间保存到last.cache中，第二分钟采集的时候获取值和时间，和上次相减得到两个差值相除即可。

9、上报时间

reportTime＝`date+'％Y-％m-％d％H:％M:00'`

时间的秒数是0，方便前台画图展示

三、解析告警

分析上报的指标是否异常，根据reportTime判断Agent心跳情况，将状态和异常信息存入mysql，发送告警给相关负责人。数据库分表如下：

redisMonitor库：配置表redisConf、当前状态redisCurrentStatus、异常信息表redisDisplay

历史库按月分库，按照ip分表，保存redis采集器上报数据，Ex:redisStatus167872716

参照图2所示为根据本发明较佳实施例的系统模块框图，包括：

查询模块，用于生成查询请求；

通信模块，用于通过互联网向待监测机器发送查询请求并接收返回的性能数据；

收发模块，用于将待监测机器的性能数据通过互联网发送给监测机器；

数据处理模块，用于对接收到的性能数据进行处理；

其中查询模块、通信模块以及数据处理模块包含于监测机器中，收发模块包含于待监测机器中。

所述数据处理模块还包括报表生成模块，用于根据处理后的性能数据，生成性能数据图表。

还包括虚拟端口设置模块，用于自动或自定义设置虚拟端口地址，所述虚拟端口设置模块包含于待监测机器中。

还包括采样策略设置模块，用于设置性能数据获取时的采样时间和采样频率，所述括采样策略设置模块包含于监测机器中。

该方案主要为后端运行工具，其主要采用redis-py+plotly+python实现

整体流程：

1、运行程序，指定远程机器ip与端口指定采样时间和采样频率

2、程序远程采集数据并记录

3、绘图

4、生成报告

5、需要的话，指定邮箱，发送报告

通过上边的几个步骤，就可以方便简洁的看到指定时间段内的远程redis服务的性能采样数据，及其变化趋势。

举个简单的例子：

某个临时机器，部署了一个新redis服务，需要分析其1个小时的稳定数据趋势，每隔指定时间采样，最终分析数据成报表，这样就可以看出新redis服务部署后，性能指标的变化趋势了

使用：

1、一键执行

./redis_monitor_report-t 100-i 1-a 10.11.81.67-p 6379

monitor_sample_report：python脚本打包后的可执行工具

-t：采样的时间，这里是100s，即持续采样100s

-i：采样的频率，这里是1s，即每隔1s采样一次

-a：监控的远程redis机器ip

-p：监控的远程redis机器端口

2、等待数据生成报告

上边命令执行结束后，会在执行命令目录产生报告文件：monitor.html

报告文件采用一个报表展示redis几个关键数据

参照图3至图8，为报告展示的性能数据图表，图3所示为客户端连接数，图4所示为客户端连接数占比，图5所示为redis当前占用内存，单位为M，图6所示为redis消耗内存占比，图7所示为redis命中率以及图8所示为redis每秒执行的命令数。

客户端连接数占比为当前连接数与允许的最大连接数的比值；

redis消耗内存占比为当前占用内存与允许占用的最大内存的比值；

redis命中率：在获取数据的时候,会判断key是否存在,如果存在keyspace_hits++,如果不存在keyspace_misses,命中率用这两个数就可以算出来。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种远程redis性能数据采样方法，其特征在于，包括以下步骤：

调用数据库管理员权限，通过前台添加redis监控；

指定待监测机器的IP地址和虚拟端口；

利用互联网通过IP地址查询到待监测机器；

通过虚拟端口接入待检测机器获取性能数据并返回报告。

2.根据权利要求1所述的远程redis性能数据采样方法，其特征在于，所述虚拟端口可自定义设置。

3.根据权利要求1所述的远程redis性能数据采样方法，其特征在于，所述调用数据库管理员权限，通过前台添加redis监控还包括设置采样时间以及采样频率。

4.根据权利要求1所述的远程redis性能数据采样方法，其特征在于，所述通过虚拟端口接入待检测机器获取数据并返回报告中，使用redis消息拉取的方法获取性能数据。

5.根据权利要求1或4所述的远程redis性能数据采样方法，其特征在于，所述性能数据包括但不限于客户端连接数、客户端连接数占比、redis当前占用内存、redis消耗内存占比、redis命中率以及redis每秒执行的命令数。

6.根据权利要求1所述的远程redis性能数据采样方法，其特征在于，所述通过虚拟端口接入待检测机器获取性能数据并返回报告中，所述返回报告还包括性能数据图表。

7.一种应用权利要求1-6任一所述的远程redis性能数据采样系统，其特征在于，包括：

查询模块，用于生成查询请求；

通信模块，用于通过互联网向待监测机器发送查询请求并接收返回的性能数据；

收发模块，用于将待监测机器的性能数据通过互联网发送给监测机器；

数据处理模块，用于对接收到的性能数据进行处理；

其中查询模块、通信模块以及数据处理模块包含于监测机器中，收发模块包含于待监测机器中。

8.根据权利要去7所述的远程redis性能数据采样系统，其特征在于，所述数据处理模块还包括报表生成模块，用于根据处理后的性能数据，生成性能数据图表。

9.根据权利要求7所述的远程redis性能数据采样系统，其特征在于，还包括虚拟端口设置模块，用于自动或自定义设置虚拟端口地址，所述虚拟端口设置模块包含于待监测机器中。

10.根据权利要求7所述的远程redis性能数据采样系统，其特征在于，还包括采样策略设置模块，用于设置性能数据获取时的采样时间和采样频率，所述括采样策略设置模块包含于监测机器中。