CN103970907A - 一种动态扩展数据库集群的方法 - Google Patents

一种动态扩展数据库集群的方法 Download PDF

Info

Publication number
CN103970907A
CN103970907A CN201410228562.1A CN201410228562A CN103970907A CN 103970907 A CN103970907 A CN 103970907A CN 201410228562 A CN201410228562 A CN 201410228562A CN 103970907 A CN103970907 A CN 103970907A
Authority
CN
China
Prior art keywords
node
module
cluster
resource
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410228562.1A
Other languages
English (en)
Inventor
刘粉粉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410228562.1A priority Critical patent/CN103970907A/zh
Publication of CN103970907A publication Critical patent/CN103970907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种动态扩展数据库集群的方法，适用于具有可动态扩展的数据库集群在资源包括：内存、CPU、磁盘等快接近满载时，自动触发式的增加服务器节点到集群，实现无人工操作干预的实时扩展。该系统提供了一种数据库集群的实时自动扩展途径，使得具有动态横向扩展能力的数据库集群自动增加资源，实现实时的扩展；解决当资源匮乏时带来的性能下降、功能出错和系统崩溃等影响正常业务的异常问题，提高系统的可用性和稳定性。

Description

一种动态扩展数据库集群的方法
技术领域
本发明涉及一种数据库技术领域, 具体地说是一种动态扩展数据库集群的方法。
背景技术
目前，较为成熟的可横向扩展的数据库集群均可动态扩展，即可在线不停业务状态下新增节点。但是动态扩展的过程需要人工干预，当资源不足时，如果无人员监控采取对应的解决措施，依然会引发业务的处理能力下降，甚至引发系统崩溃。本发明就是实现实时扩展，能够自动解决资源不足带来的问题。
发明内容
本发明的目的是提供一种动态扩展数据库集群的方法。
本发明的目的是按以下方式实现的，系统包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4），其中：
资源监控模块（1）负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警；
待添加节点管理模块（2）负责管理当集群需要扩展时可用的数据库节点；
触发自动横向扩展模块（3）负责触发扩展事件，执行可用数据库节点添加工作；
已扩展集群任务负载均衡模块（4）负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务；
具体步骤如下：
1）资源监控模块（1）进行数据库集群的总体资源包括内存、CPU、磁盘的监控，对资源使用量进行周期性报告，然后资源使用量进行判断是否已接近满载，即是否达到了设定的限额；
2）资源监控模块（1）判断如果资源已接近满载，则发出告警信息触发扩展事件；
3）然后，待添加节点管理模块（2）查找可添加节点的信息列表，查找是否有可用的节点，如果有节点可添加，则触发自动横向扩展模块（3）执行新节点的添加工作；
4）如果新节点没有添加成功，则再次的到添加节点管理模块（2）尝试查找另一个可用节点；
5）触发自动横向扩展模块（3）如果新节点添加成功，则由待添加节点管理模块（2）负责将已添加的节点标记为已使用，并且触发集群进行负载均衡操作；
6）已扩展集群任务负载均衡模块（4）来完成新增节点后的集群负载均衡，使新节点承担相应的任务，包括数据存储、读写操作。
本发明的一种动态扩展数据库集群方法的优异效果是，适用于具有可动态扩展的数据库集群在资源（内存、CPU、磁盘等）快接近满载时，自动触发式的增加服务器节点到集群，实现无人工操作干预的实时扩展。该方法提供了一种数据库集群的实时自动扩展途径，使得具有动态横向扩展能力的数据库集群自动增加资源，实现实时的扩展；解决当资源匮乏时带来的性能下降、功能出错和系统崩溃等影响正常业务的异常问题，提高系统的可用性和稳定性。
附图说明
图1是数据库集群实时横向扩展实现流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
实施例:
该方法的适用的体系结构包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4）。
资源监控模块（1）主要负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警。
待添加节点管理模块（2）主要负责管理当集群需要扩展时可用的数据库节点。
触发自动横向扩展模块（3）主要负责触发扩展事件，执行可用数据库节点添加工作。
已扩展集群任务负载均衡模块（4）主要负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务。
1、所述的待添加节点管理模块（2），是将自动添加的节点信息预先进行配置，当需要时通过此列表查询可用节点，并对节点状态进行标记。
所述的触发自动横向扩展模块（3），是对于资源监控模块（1）的资源监测报告进行分析，当资源接近满载时，即到达设定的某个标准线时，实时触发新增节点事件。
按说明书附图所示，具体步骤如下：
（1） 待添加节点管理模块（2）管理一个当实时扩展时要新增节点的信息（一般为主机IP）列表，如果列表中的节点已经添加成功，将其标记为被使用状态。这个列表的维护是全局的，在集群启动后就加载完毕，一般服务运行在全局控制节点上。
（2）资源监控模块（1）发出的资源不足告警，作为触发事件，使待添加节点管理模块（2）进行判断是否有可增加的有效节点；如果有可用的节点，则交付给触发自动横向扩展模块（3）进行新节点的添加；否则如果没有可用的节点，则返回错误。
触发自动横向扩展模块（3）执行新节点的添加工作，启动或唤醒新节点，然后启动数据库服务。如果新增节点失败则将返回到查询可添加节点列表步骤，进行再次的节点添加尝试；如果新增成功，则使集群进行任务负载均衡，使新节点负载相应的任务（数据存储、读写操作等）。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种动态扩展数据库集群的方法, 其特征在于系统包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4），其中：
资源监控模块（1）负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警；
待添加节点管理模块（2）负责管理当集群需要扩展时可用的数据库节点；
触发自动横向扩展模块（3）负责触发扩展事件，执行可用数据库节点添加工作；
已扩展集群任务负载均衡模块（4）负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务；
具体步骤如下：
1）资源监控模块（1）进行数据库集群的总体资源包括内存、CPU、磁盘的监控，对资源使用量进行周期性报告，然后资源使用量进行判断是否已接近满载，即是否达到了设定的限额；
2）资源监控模块（1）判断如果资源已接近满载，则发出告警信息触发扩展事件；
3）然后，待添加节点管理模块（2）查找可添加节点的信息列表，查找是否有可用的节点，如果有节点可添加，则触发自动横向扩展模块（3）执行新节点的添加工作；
4）如果新节点没有添加成功，则再次的到添加节点管理模块（2）尝试查找另一个可用节点；
5）触发自动横向扩展模块（3）如果新节点添加成功，则由待添加节点管理模块（2）负责将已添加的节点标记为已使用，并且触发集群进行负载均衡操作；
6）已扩展集群任务负载均衡模块（4）来完成新增节点后的集群负载均衡，使新节点承担相应的任务，包括数据存储、读写操作。
CN201410228562.1A 2014-05-28 2014-05-28 一种动态扩展数据库集群的方法 Pending CN103970907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410228562.1A CN103970907A (zh) 2014-05-28 2014-05-28 一种动态扩展数据库集群的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410228562.1A CN103970907A (zh) 2014-05-28 2014-05-28 一种动态扩展数据库集群的方法

Publications (1)

Publication Number Publication Date
CN103970907A true CN103970907A (zh) 2014-08-06

Family

ID=51240405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410228562.1A Pending CN103970907A (zh) 2014-05-28 2014-05-28 一种动态扩展数据库集群的方法

Country Status (1)

Country Link
CN (1) CN103970907A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760510A (zh) * 2016-02-24 2016-07-13 浪潮通用软件有限公司 一种软件业务系统的数据库横向扩展方法
CN106446268A (zh) * 2016-10-19 2017-02-22 中国工商银行股份有限公司 一种数据库横向扩展系统及方法
CN106603631A (zh) * 2016-11-17 2017-04-26 北京奇艺世纪科技有限公司 分布式消息系统及扩容方法
CN106682199A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 一种实现Mongos集群自动化扩容的方法和装置
CN109669642A (zh) * 2018-12-24 2019-04-23 广东浪潮大数据研究有限公司 存储系统的节点加入方法、系统、装置及可读存储介质
CN109783391A (zh) * 2019-01-28 2019-05-21 浪潮软件集团有限公司 一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统
CN110995856A (zh) * 2019-12-16 2020-04-10 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN114615277A (zh) * 2022-03-04 2022-06-10 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统
CN115417025A (zh) * 2022-08-12 2022-12-02 广州大学 分布式处理的智能垃圾分类方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6832236B1 (en) * 1999-07-08 2004-12-14 International Business Machines Corporation Method and system for implementing automatic filesystem growth monitor for production UNIX computer system
CN101140594A (zh) * 2007-10-12 2008-03-12 中兴通讯股份有限公司 一种数据库空间自动扩展的方法及管理模块
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及系统
CN103095804A (zh) * 2011-12-13 2013-05-08 微软公司 集群存储系统中的负载平衡

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6832236B1 (en) * 1999-07-08 2004-12-14 International Business Machines Corporation Method and system for implementing automatic filesystem growth monitor for production UNIX computer system
CN101140594A (zh) * 2007-10-12 2008-03-12 中兴通讯股份有限公司 一种数据库空间自动扩展的方法及管理模块
CN102244685A (zh) * 2011-08-11 2011-11-16 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及系统
CN103095804A (zh) * 2011-12-13 2013-05-08 微软公司 集群存储系统中的负载平衡

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760510A (zh) * 2016-02-24 2016-07-13 浪潮通用软件有限公司 一种软件业务系统的数据库横向扩展方法
CN106446268A (zh) * 2016-10-19 2017-02-22 中国工商银行股份有限公司 一种数据库横向扩展系统及方法
CN106603631B (zh) * 2016-11-17 2020-07-03 北京奇艺世纪科技有限公司 分布式消息系统及扩容方法
CN106603631A (zh) * 2016-11-17 2017-04-26 北京奇艺世纪科技有限公司 分布式消息系统及扩容方法
CN106682199A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 一种实现Mongos集群自动化扩容的方法和装置
CN106682199B (zh) * 2016-12-29 2020-09-01 北京奇虎科技有限公司 一种实现Mongos集群自动化扩容的方法和装置
CN109669642B (zh) * 2018-12-24 2022-06-10 广东浪潮大数据研究有限公司 存储系统的节点加入方法、系统、装置及可读存储介质
CN109669642A (zh) * 2018-12-24 2019-04-23 广东浪潮大数据研究有限公司 存储系统的节点加入方法、系统、装置及可读存储介质
CN109783391A (zh) * 2019-01-28 2019-05-21 浪潮软件集团有限公司 一种基于用户大数据行为反馈数据的分布式数据库测试方法和系统
CN110995856A (zh) * 2019-12-16 2020-04-10 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN110995856B (zh) * 2019-12-16 2022-09-13 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN114615277A (zh) * 2022-03-04 2022-06-10 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统
CN114615277B (zh) * 2022-03-04 2024-01-16 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统
CN115417025A (zh) * 2022-08-12 2022-12-02 广州大学 分布式处理的智能垃圾分类方法、装置及存储介质
CN115417025B (zh) * 2022-08-12 2024-01-12 广州大学 分布式处理的智能垃圾分类方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN103970907A (zh) 一种动态扩展数据库集群的方法
CN102546256B (zh) 用于对云计算服务进行监控的系统及方法
CN102882909B (zh) 云计算服务监控系统及方法
TWI669620B (zh) Database switching method, server, storage medium, electronic device and product
US9600487B1 (en) Self healing and restartable multi-steam data backup
CN102917025B (zh) 一种云计算平台的业务迁移方法
US10228977B2 (en) Managing distributed analytics on device groups
CN103618627B (zh) 一种管理虚拟机的方法、装置及系统
CN103383689A (zh) 一种服务进程故障检测方法、装置及服务节点
CN106777126B (zh) 一种支持异构时序数据库的数据在线迁移方法
US20150215426A1 (en) Non-transitory computer-readable recording medium having stored therein control program, control apparatus and control method
CN103502942A (zh) 虚拟机管理设备、虚拟机管理方法及其程序
US9225586B2 (en) Automatic expansion method, management device, management system
WO2016169166A1 (zh) 虚拟机调度方法和装置
CN107656705B (zh) 一种计算机存储介质和一种数据迁移方法、装置及系统
CN104679579A (zh) 一种集群系统中的虚拟机迁移方法和装置
CN104753992A (zh) 一种数据存储、虚拟平台故障恢复的方法、设备和系统
CN103973516A (zh) 一种数据处理系统中实现监控功能的方法及装置
CN104516744A (zh) 软件更新方法及系统
CN104461757A (zh) 一种恢复虚拟机的方法及装置
CN107943615B (zh) 基于分布式集群的数据处理方法与系统
CN101207518B (zh) 一种面向分布式资源节点的异步维护系统
CN107644035B (zh) 一种数据库系统及其部署方法
US20160006635A1 (en) Monitoring method and monitoring system
CN105511952A (zh) 基于云计算平台的资源自迁移方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140806

WD01 Invention patent application deemed withdrawn after publication