CN111177116A - 一种数据库智能管理平台及其管理方法 - Google Patents

一种数据库智能管理平台及其管理方法 Download PDF

Info

Publication number
CN111177116A
CN111177116A CN201911273664.4A CN201911273664A CN111177116A CN 111177116 A CN111177116 A CN 111177116A CN 201911273664 A CN201911273664 A CN 201911273664A CN 111177116 A CN111177116 A CN 111177116A
Authority
CN
China
Prior art keywords
mysql
database
host
backup
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911273664.4A
Other languages
English (en)
Other versions
CN111177116B (zh
Inventor
陈旋
王冲
郝大松
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Aijia Household Products Co Ltd
Original Assignee
Jiangsu Aijia Household Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Aijia Household Products Co Ltd filed Critical Jiangsu Aijia Household Products Co Ltd
Priority to CN201911273664.4A priority Critical patent/CN111177116B/zh
Publication of CN111177116A publication Critical patent/CN111177116A/zh
Application granted granted Critical
Publication of CN111177116B publication Critical patent/CN111177116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据库智能管理平台及其管理方法，涉及涉及数据库智能管理技术领域，具体包含以下模块：主机管理模块，mysql集群安装模块，元数据管理模块，主机性能监控模块，监控数据图标显示模块，告警管理模块，mysql备份管理模块，慢查管理模块。本发明为了提升数据库管理能力，设计了此套智能管理平台，通过平台，简化数据库日常管理工作降低人工参与，提升效率，降低成本提高准确性，提升机器使用率及时检测并处理故障，一些常见故障平台自动处理。

Description

一种数据库智能管理平台及其管理方法
技术领域
本发明涉及数据库智能管理技术领域，尤其涉及一种数据库智能管理平台及其管理方法。
背景技术
目前互联网行业，普遍都在使用mysql数据库，但是相比于商业数据库oracle、db2、sqlserver等，mysql还存在很多不足的地方，单机性能比较低下，所以我们会采用大量的mysql数据库，同时由于微服务架构，也是需要做数据库拆分，导致数据库实例越来越多，管理上带来很大的难度，所以急需一种数据库管理平台，能对公司的数据库做智能管理。
发明内容
本发明所要解决的技术问题是针对背景技术的不足提供为了提升数据库管理能力，发明了一种数据库智能管理平台及其管理方法，通过平台，简化数据库日常管理工作。
本发明为解决上述技术问题采用以下技术方案：
一种数据库智能管理平台，具体包含以下模块：
主机管理模块，用于将新的机器加入系统中，方便后面安装数据库；
mysql集群安装模块，用于选择集群需要的从库的数量，可自动找寻机器，安装mysql，并自动搭建主从集群；
元数据管理模块，用于将数据库的信息都保存在系统中，方便检索和查找数
据，为后面自动化运维提供支撑；
主机性能监控模块，用于采集主机的磁盘、cpu、内存的使用情况，搭
建新集群的时候，选择在机器资源比较空闲，以及磁盘足够的机器上安装mysql集群；
监控数据图标显示模块，用于展示每个主机的资源使用情况，以及mysql的
性能图表数据；
告警管理模块，用于设置主机CPU、内存、磁盘、数据库活动会话的告警阈值管理，以及通过短信、钉钉发送告警信息，严重的告警还可打电话给相关人员，及时处理问题，避免损失；
mysql备份管理模块，用于设置在哪些mysql实例上做数据库备份，以及备
份的本机目录和远程主机的目录，同时设置每次全备以后，自动做恢复测试，确保备份的有效性；
慢查管理模块：用于通过ssh连接主机，去获取实例上的mysql的慢查日志，并保存到系统中。
一种基于数据库智能管理平台的管理方法，具体包含如下步骤；
步骤1，新购买的机器，通过主机管理页面，将主机的ip地址、用户、密码，配置信息录入到数据库中；
步骤2，机器初始化：做一些服务器安全加固的初始动作，修改 /etc/ssh/sshd_config文件，将#PermitRootLogin yes改为PermitRootLogin no禁止root远程登录，只能通过密钥登录服务器；
步骤3，配置主机监控，可采用zabbix；
步骤4，自动安装mysql：这里可以采用两种方式：
步骤5，搭建mysql 集群：指定哪几台新的mysql搭建集群，选择好主机以后，用程序自动配置主从集群。
步骤6，备份配置：建议的mysql集群的模式为 主库+只读从库+备份从库的方式，指定在集群的哪个实例上做备份，管理平台每晚定时去备份服务器上执行备份的命令，然后将备份再拷贝到远程备份服务器上，并每周执行一次备份的恢复测试，确保备份是有效备份。
步骤7，mysql 监控数据采集：利用golang的超高并发特性，对每个实例开启一个协程，抓取mysql的性能数据保存到智能管理平台的数据库中；
步骤8，监控图表展示：利用echart图形库，分别从zabbix的数据库中抓取主机的监控数据，再从智能管理平台的数据库中抓取数据库的监控数据，将两者的监控数据，展示在一个页面上，方便查看。
作为本发明一种基于数据库智能管理平台的管理方法的进一步优选方案，在步骤4中，自动安装mysql：可采用两种方式：
a)从内部的服务器下载mysql源码编译；
b)从内部服务器下载编译好的mysql的二进制版本。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明降低人工参与，提升效率，降低成本；
2、本发明提高准确性；
3、本发明提升机器使用率；
4、本发明能够及时检测并处理故障，一些常见故障平台自动处理。
附图说明
图1是本发明数据库智能管理平台的管理方法流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种数据库智能管理平台，具体包含以下模块：
一种数据库智能管理平台，具体包含以下模块：
主机管理模块，用于将新的机器加入系统中，方便后面安装数据库；
mysql集群安装模块，用于选择集群需要的从库的数量，可自动找寻机器，安装mysql，并自动搭建主从集群；
元数据管理模块，用于将数据库的信息都保存在系统中，方便检索和查找数
据，为后面自动化运维提供支撑；
主机性能监控模块，用于采集主机的磁盘、cpu、内存的使用情况，方便搭
建新集群的时候，选择在机器资源比较空闲，以及磁盘足够的机器上安装mysql集群；
监控数据图标显示模块，用于展示每个主机的资源使用情况，以及mysql的
性能图表数据；
告警管理模块，用于设置主机CPU、内存、磁盘、数据库活动会话的告警阈值管理，以及通过短信、钉钉发送告警信息，严重的告警还可打电话给相关人员，及时处理问题，避免损失；
mysql备份管理模块，用于设置在哪些mysql实例上做数据库备份，以及备
份的本机目录和远程主机的目录，同时设置每次全备以后，自动做恢复测试，确保备份的有效性；
慢查管理模块，用于通过ssh连接主机，去获取实例上的mysql的慢查日志，并保存到系统中。
一种基于数据库智能管理平台的管理方法，如图1所示，具体包含如下步骤，
步骤1，新购买的机器，通过主机管理页面，将主机的ip地址、用户、密码，配置信息录入到数据库中。
步骤2，机器初始化：主要做一些服务器安全加固的初始动作，修改 /etc/ssh/sshd_config文件，将#PermitRootLogin yes改为PermitRootLogin no禁止root远程登录，只能通过密钥登录服务器。
步骤3，配置主机监控，这块可以采用目前比较成熟的方案，比如zabbix等。
步骤4，自动安装mysql：这里可以采用两种方式：
a)从内部的服务器下载mysql源码编译
b)从内部服务器下载编译好的mysql的二进制版本；
步骤5，搭建mysql 集群：指定哪几台新的mysql搭建集群，选择好主机以后，用程序自动配置主从集群。
步骤6，备份配置：建议的mysql集群的模式为 主库+只读从库+备份从库的方式，指定在集群的哪个实例上做备份，管理平台每晚定时去备份服务器上执行备份的命令，然后将备份再拷贝到远程备份服务器上，并每周执行一次备份的恢复测试，确保备份是有效备份。
步骤7，mysql 监控数据采集：利用golang的超高并发特性，对每个实例开启一个协程，抓取mysql的性能数据保存到智能管理平台的数据库中
步骤8，监控图表展示：利用echart图形库，分别从zabbix的数据库中抓取主机的监控数据，再从智能管理平台的数据库中抓取数据库的监控数据，将两者的监控数据，展示在一个页面上，方便查看。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种数据库智能管理平台，其特征在于：具体包含以下模块：
主机管理模块，用于将新的机器加入系统中，方便后面安装数据库；
mysql集群安装模块，用于选择集群需要的从库的数量，可自动找寻机器，安装mysql，并自动搭建主从集群；
元数据管理模块，用于将数据库的信息都保存在系统中，方便检索和查找数
据，为后面自动化运维提供支撑；
主机性能监控模块，用于采集主机的磁盘、cpu、内存的使用情况，搭建新
集群的时候，选择在机器资源比较空闲，以及磁盘足够的机器上安装mysql集群；
监控数据图标显示模块，用于展示每个主机的资源使用情况，以及mysql的
性能图表数据；
告警管理模块，用于设置主机CPU、内存、磁盘、数据库活动会话的告警阈值管理，以及通过短信、钉钉发送告警信息，严重的告警还可打电话给相关人员，及时处理问题，避免损失；
mysql备份管理模块，用于设置在哪些mysql实例上做数据库备份，以及备
份的本机目录和远程主机的目录，同时设置每次全备以后，自动做恢复测试，确保备份的有效性；
慢查管理模块，用于通过ssh连接主机，去获取实例上的mysql的慢查日志，并保存到系统中。
2.一种基于权利要求1所述的数据库智能管理平台的管理方法，其特征在于：在一个实施方式中，具体包含如下步骤；
步骤1，新购买的机器，通过主机管理页面，将主机的ip地址、用户、密码，配置信息录入到数据库中；
步骤2，机器初始化：做一些服务器安全加固的初始动作，修改 /etc/ssh/sshd_config文件，将#PermitRootLogin yes改为PermitRootLogin no禁止root远程登录，只能通过密钥登录服务器；
步骤3，配置主机监控，可采用zabbix；
步骤4，自动安装mysql：这里可以采用两种方式：
步骤5，搭建mysql 集群：指定哪几台新的mysql搭建集群，选择好主机以后，用程序自动配置主从集群；
步骤6，备份配置：建议的mysql集群的模式为 主库+只读从库+备份从库的方式，指定在集群的哪个实例上做备份，管理平台每晚定时去备份服务器上执行备份的命令，然后将备份再拷贝到远程备份服务器上，并每周执行一次备份的恢复测试，确保备份是有效备份；
步骤7，mysql 监控数据采集：利用golang的超高并发特性，对每个实例开启一个协程，抓取mysql的性能数据保存到智能管理平台的数据库中；
步骤8，监控图表展示：利用echart图形库，分别从zabbix的数据库中抓取主机的监控数据，再从智能管理平台的数据库中抓取数据库的监控数据，将两者的监控数据，展示在一个页面上，方便查看。
3.根据权利要求2所述的一种基于数据库智能管理平台的管理方法，其特征在于：在一个实施方式中，在步骤4中，自动安装mysql：可采用两种方式：
a)从内部的服务器下载mysql源码编译；
b)从内部服务器下载编译好的mysql的二进制版本。
CN201911273664.4A 2019-12-12 2019-12-12 一种数据库智能管理平台及其管理方法 Active CN111177116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273664.4A CN111177116B (zh) 2019-12-12 2019-12-12 一种数据库智能管理平台及其管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273664.4A CN111177116B (zh) 2019-12-12 2019-12-12 一种数据库智能管理平台及其管理方法

Publications (2)

Publication Number Publication Date
CN111177116A true CN111177116A (zh) 2020-05-19
CN111177116B CN111177116B (zh) 2022-07-08

Family

ID=70653866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273664.4A Active CN111177116B (zh) 2019-12-12 2019-12-12 一种数据库智能管理平台及其管理方法

Country Status (1)

Country Link
CN (1) CN111177116B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224637A (zh) * 2015-09-24 2016-01-06 珠海许继芝电网自动化有限公司 一种基于PostgreSQL数据库的主备/集群应用的综合性方法
CN108491422A (zh) * 2018-02-07 2018-09-04 平安健康互联网股份有限公司 数据库自动化运维管理方法、服务器及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224637A (zh) * 2015-09-24 2016-01-06 珠海许继芝电网自动化有限公司 一种基于PostgreSQL数据库的主备/集群应用的综合性方法
CN108491422A (zh) * 2018-02-07 2018-09-04 平安健康互联网股份有限公司 数据库自动化运维管理方法、服务器及存储介质

Also Published As

Publication number Publication date
CN111177116B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US11914486B2 (en) Cloning and recovery of data volumes
CN108491422B (zh) 数据库自动化运维管理方法、服务器及存储介质
US5805897A (en) System and method for remote software configuration and distribution
CN112328456B (zh) 一种基于服务发现的集群资源监控系统
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
CN112667362B (zh) Kubernetes上部署Kubernetes虚拟机集群的方法与系统
CN108710684B (zh) Etl任务数据源切换方法、系统、计算机设备和存储介质
CN111416821A (zh) 物联网设备信息采集方法、系统和装置
CN102999400A (zh) 一种云存储系统数据备份方法及装置
CN110019138B (zh) 一种基于Zabbix的传输表空间自动迁移方法和系统
CN106569920B (zh) 数据库备份方法及装置
CN108681598B (zh) 任务自动重跑方法、系统、计算机设备和存储介质
CN105656698A (zh) 一种网络应用系统智能监控结构与方法
CN106777126B (zh) 一种支持异构时序数据库的数据在线迁移方法
WO2017005126A1 (zh) 一种面向多硬件平台的应用程序管理方法
WO2020015116A1 (zh) 数据库监控方法及终端设备
CN105550056A (zh) 一种基于系统重构的故障自愈系统及其实现方法
CN110063042A (zh) 一种数据库故障的响应方法及其终端
CN103178994A (zh) 自动检测多台服务器的方法
WO2020224236A1 (zh) 区块链数据处理的装置、方法、系统及存储介质
CN105426544B (zh) 监控数据库状态的方法及装置
CN111158952B (zh) 一种利用外接存储设备自动备份配置文件的方法
CN101631042A (zh) 一种实现异构网管系统的数据备份恢复的方法及系统
CN111177116B (zh) 一种数据库智能管理平台及其管理方法
CN104063294A (zh) 一种Linux系统备份和恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area)

Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant