CN109241154A - 一种分布式数据库监控分析方法及系统 - Google Patents
一种分布式数据库监控分析方法及系统 Download PDFInfo
- Publication number
- CN109241154A CN109241154A CN201810729055.4A CN201810729055A CN109241154A CN 109241154 A CN109241154 A CN 109241154A CN 201810729055 A CN201810729055 A CN 201810729055A CN 109241154 A CN109241154 A CN 109241154A
- Authority
- CN
- China
- Prior art keywords
- data
- distributed
- analysis
- base
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
Abstract
本发明公开一种分布式数据库监控分析方法,包括以下步骤:步骤S1、搭建测试用分布式数据库以及数据库集群,通过所述测试用分布式数据库测试并存储待测试分布式数据库的基础数据,并将所述基础数据传输至所述数据库集群;步骤S2、利用所述数据库集群中的数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。本发明可以实现分布式数据库的基础数据监控以及分析。
Description
技术领域
本发明涉及分布式数据库监控技术领域,具体涉及一种分布式数据库监控分析方法及系统。
背景技术
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足:系统通信开销大、可靠性不高、系统的规模和配置都不够灵活、系统的可扩充性差等。因此以分布式为主要特征的分布式数据库系统的研究与开发越来越受到人们的注意。分布式数据库解决了大数据存储运算的问题,并不代表其没有缺点。例如,分布式数据库存在通信开销较大,故障率高、数据的存取结构复杂、数据的安全性和保密性较难控制等问题。因此需要对分布式数据库进行监控。
现有的分布式数据库监控软件主要目的是监管开发商自身软件及其环境运行状态,为发现问题提供辅助,缺少针对分布式数据库中大数据资源的有效监管,对数据本身的重视程度不够。
发明内容
本发明的目的在于克服上述技术不足,提供一种分布式数据库监控分析方法及系统,解决现有技术中分布式数据库中大数据资源监管难的技术问题。
为达到上述技术目的,本发明的技术方案提供一种分布式数据库监控分析方法,包括以下步骤:
步骤S1、搭建测试用分布式数据库以及数据库集群,通过所述测试用分布式数据库测试并存储待测试分布式数据库的基础数据,并将所述基础数据传输至所述数据库集群;
步骤S2、利用所述数据库集群中的数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
同时本发明还提供一种分布式数据库监控分析系统,包括测试用分布式数据库服务器、数据库集群服务器、代理服务器以及网络设备,所述测试用分布式数据库服务器、数据库集群服务器以及待测试分布式数据库服务器分别通过所述代理服务器与所述网络设备连接;
所述测试用分布式数据库服务器用于测试并存储待测试分布式数据库服务器的基础数据,并将所述基础数据传输至所述数据库集群服务器;
所述数据库集群服务器通过数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
与现有技术相比,本发明的有益效果包括:本发明提供的分布式数据库监控分析方法及系统,不仅能对分布式数据库的基础数据进行监控,还可以对基础数据进行智能分析,实现分布式数据库大数据平台的数据使用分析、数据出入口监管分析、数据处理分析、数据活跃度分析以及数据标准化程度分析,进而实现分布式数据库大数据平台的的全面监控和智能分析。
附图说明
图1是本发明提供的分布式数据库监控分析方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1:
如图1所示,本发明的实施例1提供了一种分布式数据库监控分析方法,包括以下步骤:
步骤S1、搭建测试用分布式数据库以及数据库集群,通过所述测试用分布式数据库测试并存储待测试分布式数据库的基础数据,并将所述基础数据传输至所述数据库集群;
步骤S2、利用所述数据库集群中的数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
具体地,本发明采用MVC传统架构模式,测试用分布式数据库以及数据库集群采用现有技术中分布式数据库实现即可,例如底层的数据库集群可通过MySQL数据库集群实现;针对大规模基础数据的检测存储,测试用分布式数据库采用Hadoop大数据平台实现,通过Hadoop大数据平台实现大量基础数据的检测以及存储。
本发明提供的分布式数据库监控分析方法及系统通过数据分析模型对基础数据进行分析,实现对分布式数据库的数据使用分析、数据出入口监管分析、数据处理分析、数据活跃度分析以及数据标准化程度分析,进而实现了分布式数据库中大数据资源的有效、全面监管。
优选的,所述步骤S1具体为:
采用Zabbix插件获取所述基础数据;
采用分布式数据采集插件将所述基础数据传输至所述数据库集群。
Zabbix插件为数据采集插件,Zabbix插件通过对预定义的监控场景设置,按一定频率采集数据,实现对分布式数据库的性能监控。
分布式数据采集插件为数据传输插件,分布式数据采集插件采用现有技术实现即可。为保证尽可能的减小对待测试分布式数据库系统的性能的影响,采用分布式数据采集插件进行数据传输,分布式数据采集插件通过作业调度平台,不定期采集Zabbix插件所监控的基础数据,可实现手动采集和自动采集双模式操作。
优选的,所述基础数据包括硬件性能数据、IO流量监控数据、操作日志数据、标准数据以及大数据平台测评数据。
具体地,基础数据可根据客户需求进行设置选择,本实施例中基础数据主要包括硬件性能数据、IO流量监控数据、操作日志数据、标准数据以及大数据平台测评数据,具体如下表所示:
优选的,所述数据分析模型包括数据使用分析模块,所述数据使用分析模块的分析过程具体为:
根据所述硬件性能数据计算磁盘使用率、内存使用率以及CPU使用率;
分别判断所述磁盘使用率、内存使用率以及CPU使用率是否位于对应的达标范围内,如果所述磁盘使用率、内存使用率以及CPU使用率均位于对应的达标范围内则判定数据充分使用,否则判定数据未充分使用。
分析分配给各个开发商的服务器、磁盘、内存、网络带宽等硬件资源是否被有效使用,是否存在部分使用的情况,同时分析分布式数据库中各个节点的使用频率以及数据存储占比,分析是否存在数据分配不合理的情况。
优选的,所述数据分析模型包括数据接口监管分析模块,所述数据接口监管分析模块的分析过程具体为:
根据所述IO流量监控数据计算网络发送数据总量以及网络接收数据总量;
分别判断所述网络发送数据总量以及网络接收数据总量是否位于对应的达标范围内,如果所述网络发送数据总量以及网络接收数据总量均位于对应的达标范围内则判定数据有效监管,否则判定数据未有效监管。
判断所述网络发送数据总量是否位于对应的网络发送数据总量达标范围内,判断网络接收数据总量是否位于对应的网络接收数据总量达标范围内,从而判断分布式数据库中大数据平台的数据接口是否按照白名单执行,是否存在超出监管的数据接口,从而实现对分布式数据库数据接口的分析监控。
优选的,所述数据分析模型包括数据处理分析模块,所述数据处理分析模块的分析过程具体为:
根据所述IO流量监控数据计算网络接收数据总量,根据所述硬件性能数据计算磁盘存储增长量,计算所述磁盘存储增长量与所述网络接收数据总量的比值得到数据处理率;
判断所述数据处理率是否位于达标范围内,如果是则判定数据及时处理,否则判定为数据未及时处理。
分布式数据库中每天都有大规模数据进出,计算数据处理率,判断数据是否完全处理,作为分析分布式数据库数据处理能力的判断指标。
优选的,所述数据分析模型包括数据活跃度分析模块,所述数据活跃度分析模块的分析过程具体为:
根据所述硬件性能数据计算网卡流入总流量、网卡流出总流量以及磁盘存储增长量;
分别判断所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量是否位于对应的达标范围内,如果所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量均位于对应的达标范围内则判定数据活跃度正常,否则判定数据活跃度异常。
分析分布式数据库中数据的使用情况,是否存在占用大量资源却从未被使用的数据,从而合理释放硬件资源,节约成本。
优选的,所述数据分析模型包括数据标准化程度分析模块,所述数据标准化程度分析模块的分析过程具体为:
获取待测试分布式数据库对应的国家标准数据以及行业标准数据;将所述标准数据分别与国家标准数据以及行业标准数据进行对比,符合国家标准以及行业标准则判定为数据标准化程度合格,否则判定为数据标准化程度不合格。
判断待测试分布式数据库是否符合国家标准GB以及行业标准。
实施例2:
本发明实施例提供一种分布式数据库监控分析系统,包括测试用分布式数据库服务器以及数据库集群服务器;
所述测试用分布式数据库服务器用于测试并存储待测试分布式数据库服务器的基础数据,并将所述基础数据传输至所述数据库集群服务器;
所述数据库集群服务器通过数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
具体地,所述测试用分布式数据库服务器、数据库集群服务器以及待测试分布式数据库服务器分别通过代理服务器与网络设备连接,以实现网络连接,进而实现测试用分布式数据库服务器对待测试分布式数据库服务器的测试,以及测试用分布式数据库服务器与数据库集群服务器之间的数据传输。网络设备可采用交换机实现,例如以太网交换机或光纤交换机。
本发明提供的分布式数据库监控分析系统基于分布式数据库监控分析方法,因此上述分布式数据库监控分析方法所具备的有益效果,分布式数据库监控分析系统同样具备再次不再赘述。
优选的,所述测试用分布式数据库服务器以及数据库集群服务器2均为刀片服务器。
刀片服务器具有运行管理费用低、处理能力高、占地面积小、功耗低以及可靠性高等优点。
具体地,测试用分布式数据库服务器以及待测试分布式数据库服务器中均安装有Zabbix插件,Zabbix插件用于获取所述基础数据;
测试用分布式数据库服务器中安装有分布式数据采集插件,分布式数据采集插件用于将所述基础数据传输至所述数据库集群服务器。
具体地,所述基础数据包括硬件性能数据、IO流量监控数据、操作日志数据、标准数据以及大数据平台测评数据。
具体地,所述数据库集群服务器还用于:
根据所述硬件性能数据计算磁盘使用率、内存使用率以及CPU使用率;
分别判断所述磁盘使用率、内存使用率以及CPU使用率是否位于对应的达标范围内,如果所述磁盘使用率、内存使用率以及CPU使用率均位于对应的达标范围内则判定数据充分使用,否则判定数据未充分使用。
具体地,所述数据库集群服务器还用于:
根据所述IO流量监控数据计算网络发送数据总量以及网络接收数据总量;
分别判断所述网络发送数据总量以及网络接收数据总量是否位于对应的达标范围内,如果所述网络发送数据总量以及网络接收数据总量均位于对应的达标范围内则判定数据有效监管,否则判定数据未有效监管。
具体地,所述数据库集群服务器还用于:
根据所述IO流量监控数据计算网络接收数据总量,根据所述硬件性能数据计算磁盘存储增长量,计算所述磁盘存储增长量与所述网络接收数据总量的比值得到数据处理率;
判断所述数据处理率是否位于达标范围内,如果是则判定数据及时处理,否则判定为数据未及时处理。
具体地,所述数据库集群服务器还用于:
根据所述硬件性能数据计算网卡流入总流量、网卡流出总流量以及磁盘存储增长量;
分别判断所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量是否位于对应的达标范围内,如果所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量均位于对应的达标范围内则判定数据活跃度正常,否则判定数据活跃度异常。
具体地,所述数据库集群服务器还用于:
获取待测试分布式数据库对应的国家标准数据以及行业标准数据;将所述标准数据分别与国家标准数据以及行业标准数据进行对比,符合国家标准以及行业标准则判定为数据标准化程度合格,否则判定为数据标准化程度不合格。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种分布式数据库监控分析方法,其特征在于,包括以下步骤:
步骤S1、搭建测试用分布式数据库以及数据库集群,通过所述测试用分布式数据库测试并存储待测试分布式数据库的基础数据,并将所述基础数据传输至所述数据库集群;
步骤S2、利用所述数据库集群中的数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
2.根据权利要求1所述的分布式数据库监控分析方法,其特征在于,所述步骤S1具体为:
采用Zabbix插件获取所述基础数据;
采用分布式数据采集插件将所述基础数据传输至所述数据库集群。
3.根据权利要求1所述的分布式数据库监控分析方法,其特征在于,所述基础数据包括硬件性能数据、IO流量监控数据、操作日志数据、标准数据以及大数据平台测评数据。
4.根据权利要求3所述的分布式数据库监控分析方法,其特征在于,所述数据分析模型包括数据使用分析模块,所述数据使用分析模块的分析过程具体为:
根据所述硬件性能数据计算磁盘使用率、内存使用率以及CPU使用率;
分别判断所述磁盘使用率、内存使用率以及CPU使用率是否位于对应的达标范围内,如果所述磁盘使用率、内存使用率以及CPU使用率均位于对应的达标范围内则判定数据充分使用,否则判定数据未充分使用。
5.根据权利要求3所述的分布式数据库监控分析方法,其特征在于,所述数据分析模型包括数据接口监管分析模块,所述数据接口监管分析模块的分析过程具体为:
根据所述IO流量监控数据计算网络发送数据总量以及网络接收数据总量;
分别判断所述网络发送数据总量以及网络接收数据总量是否位于对应的达标范围内,如果所述网络发送数据总量以及网络接收数据总量均位于对应的达标范围内则判定数据有效监管,否则判定数据未有效监管。
6.根据权利要求3所述的分布式数据库监控分析方法,其特征在于,所述数据分析模型包括数据处理分析模块,所述数据处理分析模块的分析过程具体为:
根据所述IO流量监控数据计算网络接收数据总量,根据所述硬件性能数据计算磁盘存储增长量,计算所述磁盘存储增长量与所述网络接收数据总量的比值得到数据处理率;
判断所述数据处理率是否位于达标范围内,如果是则判定数据及时处理,否则判定为数据未及时处理。
7.根据权利要求3所述的分布式数据库监控分析方法,其特征在于,所述数据分析模型包括数据活跃度分析模块,所述数据活跃度分析模块的分析过程具体为:
根据所述硬件性能数据计算网卡流入总流量、网卡流出总流量以及磁盘存储增长量;
分别判断所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量是否位于对应的达标范围内,如果所述网卡流入总流量、网卡流出总流量以及磁盘存储增长量均位于对应的达标范围内则判定数据活跃度正常,否则判定数据活跃度异常。
8.根据权利要求3所述的分布式数据库监控分析方法,其特征在于,所述数据分析模型包括数据标准化程度分析模块,所述数据标准化程度分析模块的分析过程具体为:
获取待测试分布式数据库对应的国家标准数据以及行业标准数据;将所述标准数据分别与国家标准数据以及行业标准数据进行对比,符合国家标准以及行业标准则判定为数据标准化程度合格,否则判定为数据标准化程度不合格。
9.一种分布式数据库监控分析系统,其特征在于,包括测试用分布式数据库服务器以及数据库集群服务器;
所述测试用分布式数据库服务器用于测试并存储待测试分布式数据库服务器的基础数据,并将所述基础数据传输至所述数据库集群服务器;
所述数据库集群服务器通过数据分析模型对所述基础数据进行分析,得到数据使用分析信息、数据出入口监管分析信息、数据处理分析信息、数据活跃度分析信息以及数据标准化程度分析信息。
10.根据权利要求9所述的分布式数据库监控分析系统,其特征在于,所述测试用分布式数据库服务器以及数据库集群服务器均为刀片服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810729055.4A CN109241154A (zh) | 2018-07-05 | 2018-07-05 | 一种分布式数据库监控分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810729055.4A CN109241154A (zh) | 2018-07-05 | 2018-07-05 | 一种分布式数据库监控分析方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109241154A true CN109241154A (zh) | 2019-01-18 |
Family
ID=65071686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810729055.4A Pending CN109241154A (zh) | 2018-07-05 | 2018-07-05 | 一种分布式数据库监控分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109241154A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502581A (zh) * | 2019-08-27 | 2019-11-26 | 中国联合网络通信集团有限公司 | 分布式数据库系统监测方法及装置 |
CN111290916A (zh) * | 2020-02-18 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 大数据监控方法、装置、设备及计算机可读存储介质 |
CN112445674A (zh) * | 2019-08-30 | 2021-03-05 | 中国石油化工股份有限公司 | 一种计算机集群的数据处理方法和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101989283A (zh) * | 2009-08-04 | 2011-03-23 | 中兴通讯股份有限公司 | 一种数据库性能的监控方法和装置 |
CN103338252A (zh) * | 2013-06-27 | 2013-10-02 | 南京邮电大学 | 一种分布式数据库并发存储虚拟请求机制 |
CN103729361A (zh) * | 2012-10-12 | 2014-04-16 | 百度在线网络技术(北京)有限公司 | 一种数据库性能测试方法及装置 |
CN103823881A (zh) * | 2014-03-04 | 2014-05-28 | 北京京东尚科信息技术有限公司 | 分布式数据库的性能优化的方法及装置 |
CN107229628A (zh) * | 2016-03-23 | 2017-10-03 | 中兴通讯股份有限公司 | 分布式数据库预处理的方法及装置 |
-
2018
- 2018-07-05 CN CN201810729055.4A patent/CN109241154A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101989283A (zh) * | 2009-08-04 | 2011-03-23 | 中兴通讯股份有限公司 | 一种数据库性能的监控方法和装置 |
CN103729361A (zh) * | 2012-10-12 | 2014-04-16 | 百度在线网络技术(北京)有限公司 | 一种数据库性能测试方法及装置 |
CN103338252A (zh) * | 2013-06-27 | 2013-10-02 | 南京邮电大学 | 一种分布式数据库并发存储虚拟请求机制 |
CN103823881A (zh) * | 2014-03-04 | 2014-05-28 | 北京京东尚科信息技术有限公司 | 分布式数据库的性能优化的方法及装置 |
CN107229628A (zh) * | 2016-03-23 | 2017-10-03 | 中兴通讯股份有限公司 | 分布式数据库预处理的方法及装置 |
Non-Patent Citations (1)
Title |
---|
张月朋: "基于CORBA的分布式数据库监控系统研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502581A (zh) * | 2019-08-27 | 2019-11-26 | 中国联合网络通信集团有限公司 | 分布式数据库系统监测方法及装置 |
CN112445674A (zh) * | 2019-08-30 | 2021-03-05 | 中国石油化工股份有限公司 | 一种计算机集群的数据处理方法和存储介质 |
CN111290916A (zh) * | 2020-02-18 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 大数据监控方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943668A (zh) | 计算机服务器集群日志监控方法及监控平台 | |
CN109756364A (zh) | 一种基于日志分析的微服务性能优化系统和分析方法 | |
CN109597014A (zh) | 一种基于人工智能技术的电能表误差诊断方法 | |
CN108092813A (zh) | 数据中心综合管理系统服务器硬件管理框架及实现方法 | |
CN109241154A (zh) | 一种分布式数据库监控分析方法及系统 | |
CN110912737A (zh) | 一种基于混合模型的动态感知性能预告警方法 | |
CN109241096A (zh) | 数据处理方法、装置和系统 | |
CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
CN109088747A (zh) | 云计算系统中资源的管理方法和装置 | |
CN106354616A (zh) | 监测应用执行性能的方法、装置及高性能计算系统 | |
CN107527121A (zh) | 一种电网的信息系统运行状态诊断预测的方法 | |
CN103914482B (zh) | 基于cmdb的集中监控事件影响性确定方法 | |
CN108696371B (zh) | 网络故障确定方法及系统 | |
CN110389873A (zh) | 一种判定服务器资源使用情况的方法和装置 | |
CN112116205B (zh) | 针对台区用电特征的画像方法、装置和存储介质 | |
CN116594782A (zh) | 基于智能运维系统的勘探数据中心的资源管理方法及装置 | |
CN104038388A (zh) | 基于分布式的物联网自动测试系统及测试方法 | |
CN117097026A (zh) | 一种基于源网荷储新型电力系统运维监控平台的操作方法 | |
CN110415136B (zh) | 一种电力调度自动化系统服务能力评估系统与方法 | |
CN111626896A (zh) | 一种建筑工程质量检测数据自动采集和信息管理系统 | |
CN106649034A (zh) | 一种可视化智能运维方法及平台 | |
CN110647070A (zh) | 一种用于超大规模数据中心的动力环境监控系统 | |
Zhou et al. | Optimization Control Strategy of Electricity Information Acquisition System Based on Edge-Cloud Computing Collaboration | |
CN115473343B (zh) | 一种智能网关多主站并行接入测试方法 | |
CN115495231B (zh) | 一种高并发任务复杂场景下的动态资源调度方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190118 |
|
RJ01 | Rejection of invention patent application after publication |