CN108881411A - 一种大规模节点下ctdb集群分组的方法 - Google Patents

一种大规模节点下ctdb集群分组的方法 Download PDF

Info

Publication number
CN108881411A
CN108881411A CN201810549272.5A CN201810549272A CN108881411A CN 108881411 A CN108881411 A CN 108881411A CN 201810549272 A CN201810549272 A CN 201810549272A CN 108881411 A CN108881411 A CN 108881411A
Authority
CN
China
Prior art keywords
ctdb
group
node
database
configuration file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810549272.5A
Other languages
English (en)
Inventor
窦本君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810549272.5A priority Critical patent/CN108881411A/zh
Publication of CN108881411A publication Critical patent/CN108881411A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大规模节点下CTDB集群分组的方法，包括以下步骤：将大规模节点分为多组；每组的节点下CTDB配置文件相同，且该CTDB配置文件中IP数量与该组的节点数量相同；启动CTDB服务，每个组选举出一个主节点，该主节点负责数据库的恢复和虚拟IP的漂移；当某一节点CTDB服务出现故障，那么该组内的主节点开始进行数据恢复，首先冻结组内节点的数据库，中断业务，然后进行数据库的拉取和推送，然后再进行虚拟IP的漂移，完成整个恢复过程后，再恢复业务。本发明公开的方法，通过将大规模节点分成多组，使得在某一节点故障的情况下只进行该组内的CTDB恢复，不影响别的组，同时CTDB的恢复也会加快。

Description

一种大规模节点下CTDB集群分组的方法
技术领域
本发明涉及存储技术领域，尤其涉及一种大规模节点下CTDB集群分组的方法。
背景技术
在进入数据时代、信息时代以后，随着数据量的增多，普通计算机的存储空间已经不能满足人们的需求，我们需要存储空间更大的存储服务器来存储数据。存储服务器的系统大多数都是linux系统，通过多个存储节点组成一个集群，对外提供以PB为存储单位甚至以EB为存储单位的容量。Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件，由服务器及客户端程序构成，通过samba挂载，可以实现windows访问linux的存储空间。通过开启集群管理模式，CTDB可以管理Samba服务，包括Samba的数据库，这些数据库保存着一些Samba用户信息以及存储记录等。CTDB对外提供虚拟IP访问，每当有一个节点服务出现故障，所有数据库会被冻结，然后同步剩余所有节点的数据库信息，同时将该节点虚拟IP漂移到别的节点，从而通过该IP仍然可以访问linux存储空间。目前在大规模节点的情况下，一旦某一个节点出现问题，主节点则负责CTDB恢复，但是CTDB恢复过程比较慢，会严重影响业务的正常进行。
基于上述问题，本发明提出了一种在大规模节点情况下CTDB集群分组的方法，可以加快CTDB的恢复速度，减少业务中断时间。
发明内容
基于背景技术存在的技术问题，本发明提出了一种大规模节点下CTDB集群分组的方法，通过将大规模节点分成多组，使得在某一节点故障的情况下只进行该组内的CTDB恢复，不影响别的组，同时CTDB的恢复也会加快。
为了便于理解，对本文中技术名词解释如下：
CTDB Cluster Temporary database临时数据库集群。
本发明提出的一种大规模节点下CTDB集群分组的方法，包括以下步骤：
将大规模节点分为多组；
每组的节点下CTDB配置文件相同，且该CTDB配置文件中IP数量与该组的节点数量相同；
启动CTDB服务，每个组选举出一个主节点，该主节点负责数据库的恢复和虚拟IP的漂移；
当某一节点CTDB服务出现故障，那么该组内的主节点开始进行数据恢复，首先冻结组内节点的数据库，中断业务，然后进行数据库的拉取和推送，然后再进行虚拟IP的漂移，完成整个恢复过程后，再恢复业务。
优选地，每个组内节点数相同。
优选地，各组的CTDB配置文件不存在重复IP。
优选地，各组的CTDB配置文件均不相同。
本发明中提供的一种大规模节点下CTDB集群分组的方法，采用分组的方法，当某一节点CTDB服务发生故障，那么只会在该组内进行数据库的恢复和虚拟IP的漂移，不影响别组的CTDB服务，同时由于组内节点数量减少，可以加快CTDB的恢复过程，减少业务中断时间。
附图说明
图1为本发明提出的一种大规模节点下CTDB集群分组的方法的流程图。
具体实施方式
如图1所示，图1为本发明提出的一种大规模节点下CTDB集群分组的方法的流程图。
下面结合附图和实施例对本发明进行详细的描述。本实施例以100个节点为例。
一种大规模节点下CTDB集群分组的方法，包括以下步骤：
S1：将100个节点平均分为10组，每10个节点组成一个CTDB集群，每组的节点下CTDB配置文件中都有十个IP，这10个IP对应组内十个节点的IP，同一组内的CTDB配置文件一样，并且和别的组不存在重复IP；
S2：启动CTDB服务，每个组内都会选举出一个主节点，负责数据库的恢复和虚拟IP的漂移；
S3：当某一节点CTDB服务出现故障，那么该组内的主节点开始进行数据恢复，首先冻结组内节点的数据库，中断业务，然后进行数据库的拉取和推送，然后再进行虚拟IP的漂移，完成整个恢复过程后，再恢复业务。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种大规模节点下CTDB集群分组的方法，其特征在于，包括以下步骤：
将大规模节点分为多组；
每组的节点下CTDB配置文件相同，且该CTDB配置文件中IP数量与该组的节点数量相同；
启动CTDB服务，每个组选举出一个主节点，该主节点负责数据库的恢复和虚拟IP的漂移；
当某一节点CTDB服务出现故障，那么该组内的主节点开始进行数据恢复，首先冻结组内节点的数据库，中断业务，然后进行数据库的拉取和推送，然后再进行虚拟IP的漂移，完成整个恢复过程后，再恢复业务。
2.根据权利要求1所述的大规模节点下CTDB集群分组的方法，其特征在于，每个组内节点数相同。
3.根据权利要求1所述的大规模节点下CTDB集群分组的方法，其特征在于，各组的CTDB配置文件不存在重复IP。
4.根据权利要求1所述的大规模节点下CTDB集群分组的方法，其特征在于，各组的CTDB配置文件均不相同。
CN201810549272.5A 2018-05-31 2018-05-31 一种大规模节点下ctdb集群分组的方法 Pending CN108881411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810549272.5A CN108881411A (zh) 2018-05-31 2018-05-31 一种大规模节点下ctdb集群分组的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810549272.5A CN108881411A (zh) 2018-05-31 2018-05-31 一种大规模节点下ctdb集群分组的方法

Publications (1)

Publication Number Publication Date
CN108881411A true CN108881411A (zh) 2018-11-23

Family

ID=64335964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810549272.5A Pending CN108881411A (zh) 2018-05-31 2018-05-31 一种大规模节点下ctdb集群分组的方法

Country Status (1)

Country Link
CN (1) CN108881411A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493060A (zh) * 2019-08-28 2019-11-22 北京浪潮数据技术有限公司 一种虚拟ip分配方法及相关装置
CN111198756A (zh) * 2019-12-28 2020-05-26 北京浪潮数据技术有限公司 一种kubernetes集群的应用调度方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158882A1 (en) * 2010-12-17 2012-06-21 International Business Machines Corporation Highly scalable and distributed data sharing and storage
CN106776151A (zh) * 2017-01-14 2017-05-31 郑州云海信息技术有限公司 Samba集群tdb数据库记录备份方法、装置及系统
CN107465562A (zh) * 2017-09-25 2017-12-12 郑州云海信息技术有限公司 一种ctdb自定义分配虚拟ip的方法、装置、设备
CN107562547A (zh) * 2017-08-30 2018-01-09 郑州云海信息技术有限公司 一种ctdb集群系统及创建方法、创建系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120158882A1 (en) * 2010-12-17 2012-06-21 International Business Machines Corporation Highly scalable and distributed data sharing and storage
CN106776151A (zh) * 2017-01-14 2017-05-31 郑州云海信息技术有限公司 Samba集群tdb数据库记录备份方法、装置及系统
CN107562547A (zh) * 2017-08-30 2018-01-09 郑州云海信息技术有限公司 一种ctdb集群系统及创建方法、创建系统
CN107465562A (zh) * 2017-09-25 2017-12-12 郑州云海信息技术有限公司 一种ctdb自定义分配虚拟ip的方法、装置、设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佚名: "ctdb", 《百度快照》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493060A (zh) * 2019-08-28 2019-11-22 北京浪潮数据技术有限公司 一种虚拟ip分配方法及相关装置
CN111198756A (zh) * 2019-12-28 2020-05-26 北京浪潮数据技术有限公司 一种kubernetes集群的应用调度方法及装置

Similar Documents

Publication Publication Date Title
US10496627B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US9773015B2 (en) Dynamically varying the number of database replicas
CN102521269B (zh) 一种基于索引的计算机连续数据保护方法
US7685459B1 (en) Parallel backup
US10565071B2 (en) Smart data replication recoverer
CN113111129B (zh) 数据同步方法、装置、设备及存储介质
US20140281215A1 (en) Storage method and storage apparatus
CN104462389A (zh) 基于分级存储的分布式文件系统实现方法
CN111596868B (zh) 基于段单元的分布式存储系统的负载均衡方法和系统
CN106407224A (zh) 一种键值存储系统中文件压实的方法和装置
CN109710586B (zh) 一种集群节点配置文件同步方法及装置
CN103581626A (zh) 一种视频监控系统及其视频存储信息记录方法
CN103902410A (zh) 云存储系统的数据备份加速方法
CN105630919A (zh) 存储方法及系统
CN107040576A (zh) 信息推送方法及装置、通讯系统
CN107153512A (zh) 一种数据迁移方法和装置
CN108881411A (zh) 一种大规模节点下ctdb集群分组的方法
CN113377292A (zh) 一种单机存储引擎
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN107104844A (zh) 一种ctdb迁移公共ip地址的方法及装置
CN110858168B (zh) 集群节点故障处理方法、装置及集群节点
CN110442645A (zh) 数据索引方法及装置
CN107908713B (zh) 一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法
CN107943615B (zh) 基于分布式集群的数据处理方法与系统
CN103699681B (zh) 数据回滚的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123