CN110806963A

CN110806963A - 一种基于浪潮云数据库的实例信息监控及可视化展示方法

Info

Publication number: CN110806963A
Application number: CN201911105160.1A
Authority: CN
Inventors: 王阳; 赵山; 厉颖; 赵建昌; 杨超
Original assignee: Inspur Cloud Information Technology Co Ltd
Current assignee: Inspur Cloud Information Technology Co Ltd
Priority date: 2019-11-13
Filing date: 2019-11-13
Publication date: 2020-02-18

Abstract

本发明公开了一种基于浪潮云数据库的实例信息监控及可视化展示方法，属于Python、ECharts、Redis技术领域，本发明要解决的技术问题为如何利用Python和ECharts技术实现对云数据实例信息自动化监控，避免信息采集及展示的缺失，采用的技术方案为：该方法具体步骤如下：S1、通过Python脚本采集实例监控信息；S2、通过Python脚本中的pymyql工具连接需要监控的MySQL数据库并计算得出目标值；S3、通过Python脚本的redis连接池并将数据以时间为primary key存入到Redis集群；S4、后端应用程序通过redis template连接redis集群，获取相应数据，并将数据按要求返回给前端应用；S5、前端应用获取数据，通过ECharts实现数据的图形化展示。

Description

一种基于浪潮云数据库的实例信息监控及可视化展示方法

技术领域

本发明涉及Python、ECharts、Redis等技术领域，具体地说是一种基于浪潮云数据库的实例信息监控及可视化展示方法。

背景技术

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。Python拥有一个强大的标准库。Python语言的核心只包含数字、字符串、列表、字典、文件等常见类型和函数，而由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python标准库命名接口清晰、文档良好，很容易学习和使用。Python社区提供了大量的第三方模块，使用方式与标准库类似。它们的功能无所不包，覆盖科学计算、Web开发、数据库接口、图形系统多个领域，并且大多成熟而稳定。第三方模块可以使用Python或者C语言编写。SWIG、SIP常用于将C语言编写的程序库转化为Python模块。Boost C++Libraries包含了一组库，Boost.Python，使得以Python或C++编写的程序能互相调用。借助于拥有基于标准库的大量工具、能够使用低级语言如C和可以作为其他库接口的C++，Python已成为一种强大的应用于其他语言与工具之间的胶水语言。

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。不同的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java、C/C++、C#、PHP、JavaScript、Perl、Object-C、Python、Ruby、Erlang等客户端，使用很方便。

ECharts，一个使用JavaScript实现的开源可视化库，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器，底层依赖矢量图形库ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。ECharts提供了常规的折线图、柱状图、散点图、饼图、K线图，用于统计的盒形图，用于地理数据可视化的地图、热力图、线图，用于关系数据可视化的关系图、treemap、旭日图，多维数据可视化的平行坐标，还有用于BI的漏斗图，仪表盘，并且支持图与图之间的混搭。ECharts内置的dataset属性支持直接传入包括二维表，key-value等多种格式的数据源，通过简单的设置encode属性就可以完成从数据到图形的映射，这种方式更符合可视化的直觉，省去了大部分场景下数据转换的步骤，而且多个组件能够共享一份数据而不用克隆。为了配合大数据量的展现，ECharts还支持输入TypedArray格式的数据，TypedArray在大数据量的存储中可以占用更少的内存，对GC友好等特性也可以大幅度提升可视化应用的性能。通过增量渲染技术，配合各种细致的优化，ECharts能够展现千万级的数据量，并且在这个数据量级依然能够进行流畅的缩放平移等交互。

故如何利用Python和ECharts技术实现对云数据实例信息自动化监控，避免信息采集及展示的缺失是目前现有技术中急需解决的问题。

专利号为CN109710485A的专利文献公开了一种用Python语言采集Mysql数据库监控数据的方法，通过Python获取本主机的机器名称；将多台Mysql数据库的连接信息放入一个字符串数组中；连接每一个Mysql数据库，并查询数据库的各个指标，放入一个Python字典中；获取Mysql的监控指标，从中提取需要搜集的几个重要监控指标的值，主要包括每秒查询率、系统吞吐量、慢查询数/秒、创建总的连接数目、运行中的连接数、拒绝的连接数、缓冲池指标；计算出需要的监控指标值；将计算出的各个监控项的值整理为时序数据库的存储格式转发给监控系统即可。但是该技术方案采集机器为固定值，局限性很大，不能实现对云数据实例信息自动化监控，避免信息采集及展示的缺失，同时不能对信息进行可视化展示。

发明内容

本发明的技术任务是提供一种基于浪潮云数据库的实例信息监控及可视化展示方法，来解决如何利用Python和ECharts技术实现对云数据实例信息自动化监控，避免信息采集及展示的缺失的问题。

本发明的技术任务是按以下方式实现的，一种基于浪潮云数据库的实例信息监控及可视化展示方法，该方法是通过Python技术完成对云数据库实例信息的采集工作，并将采集信息发送到Redis集群中，实现对实例监控信息的采集和存储工作；通过ECharts技术实现可视化界面，实现云数据库信息监控的同时完全脱离庞大繁琐的信息采集系统且具备友好交互的可视化页面，完成通用于市面上各类云平台的实例信息采集需求；具体步骤如下：

S1、通过Python脚本采集实例监控信息；

S2、通过Python脚本中的pymyql工具连接需要监控的MySQL数据库并计算得出目标值；

S3、通过Python脚本的redis连接池并将数据以时间为primary key存入到Redis集群；

S4、后端应用程序通过redis template连接redis集群，获取相应数据，并将数据按要求返回给前端应用；

S5、前端应用获取数据，通过ECharts实现数据的图形化展示。

作为优选，所述步骤S1中的通过Python脚本采集实例监控信息具体是通过Python的第三方库实现对虚拟机的环境信息的采集和计算。

更优地，所述虚拟机的环境信息包括CPU使用率、内存使用量、磁盘使用量、网络流入量及网络流出量。

更优地，所述通过Python的第三方库实现对虚拟机的环境信息的采集和计算具体步骤如下：

(1)、计算虚拟机CPU使用率；

(2)、计算虚拟机内存使用量；

(3)、计算虚拟机网络使用率；

(4)、格式化qps值，保留两位小数；

(5)、计算虚拟机磁盘使用率；

(6)、获取虚拟机ip；

(7)、获取监控信息的具体值。

更优地，所述步骤(7)中获取监控信息的具体值包括如下内容：

①、获取CPU使用率；

②、获取内存使用率；

③、获取磁盘使用量；

④、获取虚拟机eth1网卡ip；

⑤、获取网络流入量；

⑥、获取网络流出量。

作为优选，所述步骤S2中的通过Python的pymyql工具连接需要监控的MySQL数据库并计算得出目标值具体步骤如下：

S201、连接MySQL数据库并查询连接数，计算QPS、TPS；

S202、进行异常处理，保证MySQL数据库连接异常时，监控信息依然上报。

作为优选，所述步骤S3中的数据保存时长为10分钟，采集周期为10秒，数据的时效性可以有效的缓解Redis集群的压力。

更优地，所述步骤S3中的Python脚本预制MySQL数据库和Redis集群自动重连及连接异常处理，保证数据的不间断上报及有效性。

本发明的基于浪潮云数据库的实例信息监控及可视化展示方法具有以下优点：

(一)本发明能很好的接入并兼容市面上各类云平台及需要采集MySQL实例信息的系统，对实例信息监控实现自主可控，解决平台庞大且配置繁琐的信息采集问题；

(二)通过本发明的实施，使云平台拥有可视化的云数据库的实例信息监控系统，将复杂的信息采集配置自动化、简单化、可视化且不用担心采集系统复杂的文件配置等问题，大大节省了云平台开发的成本，操作简单，易用性，通用性都得到保证；

(三)Python脚本具有跨平台运行的优势，因此，通过本发明可以有效的实现数据库实例运行环境信息及数据库特有监控信息的采集及计算工作，同时，本发明使用Redis做数据存储，并针对每个实例信息都有10分钟的时效性设置，存储集群压力骤减，保证数据读取写入的快速性，因此，极具推广价值；

(四)办发明通过python脚本不仅可以实现数据库指标的获取，更可以获取数据库实例运行环境信息，同时，数据库指标存在redis数据库中，且设置过期时间，对数据存储节点的压力非常低；同时提供了可视化的监控页面，监控脚本随浪潮云数据库实例创建，在本地启动监控本地数据库信息及运行环境信息，并将指标采集模式进行了优化；

(五)本发明采用Python和Redis技术实现对实例监控信息的采集和存储工作，可视化界面通过ECharts等技术实现，实现云数据库信息监控的同时，可以完全脱离庞大繁琐的信息采集系统且具备友好交互的可视化页面；

(六)本发明实现云数据库的实例信息监控，在大大节省开发成本的同时，可以接入并兼容市面上各类云平台及需要采集MySQL实例信息的系统，对实例信息监控实现自主可控，解决平台庞大且配置繁琐的信息采集问题，并通过可视化的展示方式，将复杂的信息采集简单化，系统化，规范化，进而实现云平台的实例信息监控功能。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于浪潮云数据库的实例信息监控及可视化展示方法的流程框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于浪潮云数据库的实例信息监控及可视化展示方法作以下详细地说明。

实施例：

如附图1所示，本发明的基于浪潮云数据库的实例信息监控及可视化展示方法,该方法是通过Python技术完成对云数据库实例信息的采集工作，并将采集信息发送到Redis集群中，实现对实例监控信息的采集和存储工作；通过ECharts技术实现可视化界面，实现云数据库信息监控的同时完全脱离庞大繁琐的信息采集系统且具备友好交互的可视化页面，完成通用于市面上各类云平台的实例信息采集需求；具体步骤如下：

S1、通过Python脚本采集实例监控信息；

S3、通过Python脚本的redis连接池并将数据以时间为primary key存入到Redis集群；数据保存时长为10分钟，采集周期为10秒，数据的时效性可以有效的缓解Redis集群的压力；Python脚本预制MySQL数据库和Redis集群自动重连及连接异常处理，保证数据的不间断上报及有效性。关键代码如下：

S5、前端应用获取数据，通过ECharts实现数据的图形化展示；关键代码如下：

其中，步骤S1中的通过Python脚本采集实例监控信息具体是通过Python的第三方库实现对虚拟机CPU使用率、内存使用量、磁盘使用量、网络流入量及网络流出量的环境信息的采集和计算；具体步骤如下：

(1)、计算虚拟机CPU使用率；关键代码如下：

defget_cpu_state(self):

return(str(psutil.cpu_percent(1)))。

(2)、计算虚拟机内存使用量；关键代码如下：

(3)、计算虚拟机网络使用率；关键代码如下：

(4)、格式化qps值，保留两位小数；关键代码如下：

(5)、计算虚拟机磁盘使用率；关键代码如下：

(6)、获取虚拟机ip；关键代码如下：

(7)、获取监控信息的具体值，主方法的关键代码如下：

调用上述主方法，获取监控信息具体值，包括如下内容：

①、获取CPU使用率；关键代码如下：

#get cpu stats

cpu_state＝self.get_cpu_state()。

②、获取内存使用率；关键代码如下：

#get memory

memory_state＝self.get_memory_state()。

③、获取磁盘使用量；关键代码如下：

memory_state＝self.get_memory_state()

#get disk。

④、获取虚拟机eth1网卡ip；关键代码如下：

disk＝self.get_disk_state(disk_name)

#get eth1 ip。

⑤、获取网络流入量；关键代码如下：

ip＝self.get_ip(network_card)

#get net_sent。

⑥、获取网络流出量；关键代码如下：

步骤S2中的通过Python的pymyql工具连接需要监控的MySQL数据库并计算得出目标值具体步骤如下：

S201、连接MySQL数据库并查询连接数，计算QPS、TPS；关键代码如下：

S202、进行异常处理，保证MySQL数据库连接异常时，监控信息依然上报；关键代码如下：

except Exception:

qps＝0

tps＝0

mysql_connect＝0。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，该方法是通过Python技术完成对云数据库实例信息的采集工作，并将采集信息发送到Redis集群中，实现对实例监控信息的采集和存储工作；通过ECharts技术实现可视化界面，完成通用于市面上各类云平台的实例信息采集需求；具体步骤如下：

S1、通过Python脚本采集实例监控信息；

S5、前端应用获取数据，通过ECharts实现数据的图形化展示。

2.根据权利要求1所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述步骤S1中的通过Python脚本采集实例监控信息具体是通过Python的第三方库实现对虚拟机的环境信息的采集和计算。

3.根据权利要求2所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述虚拟机的环境信息包括CPU使用率、内存使用量、磁盘使用量、网络流入量及网络流出量。

4.根据权利要求2所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述通过Python的第三方库实现对虚拟机的环境信息的采集和计算具体步骤如下：

(1)、计算虚拟机CPU使用率；

(2)、计算虚拟机内存使用量；

(3)、计算虚拟机网络使用率；

(4)、格式化qps值，保留两位小数；

(5)、计算虚拟机磁盘使用率；

(6)、获取虚拟机ip；

(7)、获取监控信息的具体值。

5.根据权利要求4所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述步骤(7)中获取监控信息的具体值包括如下内容：

①、获取CPU使用率；

②、获取内存使用率；

③、获取磁盘使用量；

④、获取虚拟机eth1网卡ip；

⑤、获取网络流入量；

⑥、获取网络流出量。

6.根据权利要求1所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述步骤S2中的通过Python的pymyql工具连接需要监控的MySQL数据库并计算得出目标值具体步骤如下：

S201、连接MySQL数据库并查询连接数，计算QPS、TPS；

7.根据权利要求1所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述步骤S3中的数据保存时长为10分钟，采集周期为10秒。

8.根据权利要求1或7所述的基于浪潮云数据库的实例信息监控及可视化展示方法，其特征在于，所述步骤S3中的Python脚本预制MySQL数据库和Redis集群自动重连及连接异常处理。