CN108924202B - 一种分布式集群的数据容灾方法以及相关装置 - Google Patents

一种分布式集群的数据容灾方法以及相关装置 Download PDF

Info

Publication number
CN108924202B
CN108924202B CN201810661869.9A CN201810661869A CN108924202B CN 108924202 B CN108924202 B CN 108924202B CN 201810661869 A CN201810661869 A CN 201810661869A CN 108924202 B CN108924202 B CN 108924202B
Authority
CN
China
Prior art keywords
data
node
utilization rate
storage space
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810661869.9A
Other languages
English (en)
Other versions
CN108924202A (zh
Inventor
张大帅
袁鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810661869.9A priority Critical patent/CN108924202B/zh
Publication of CN108924202A publication Critical patent/CN108924202A/zh
Application granted granted Critical
Publication of CN108924202B publication Critical patent/CN108924202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式集群的数据容灾方法，包括：管理节点获取分布式集群的集群存储空间利用率；判断集群存储空间利用率是否大于第一预设利用率；若是，则向分布式集群的目标数据节点发送数据迁移指令，以使目标数据节点将待迁移数据迁移至管理节点。通过当集群存储空间利用率超过预设利用率时，将数据节点的部分数据迁移至管理节点，降低数据节点的存储压力，避免集群存储数据过多的情况。本申请还公开了一种管理节点、数据节点、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种分布式集群的数据容灾方法以及相关装置
技术领域
本申请涉及计算机技术领域，特别涉及一种分布式集群的数据容灾方法、管理节点、数据节点、服务器以及计算机可读存储介质。
背景技术
随着信息技术的发展，在数据存储领域发展出了分布式集群，用于存储服务器的数据。分布式集群系统一般包含多台服务器(Server)，这些服务器组成一个集群对外提供服务。分布式集群系统中一般都会部署集群管理系统，该系统提供一个公共的管理平台，用户登录此管理平台后可通过管理界面查看和管理集群性能、硬件及服务。分布式集群管理系统的主进程(server)会专门部署于一台管理服务器节点上(简称管理节点)，该节点在集群中一般不提供数据业务服务，只用来部署管理系统，对集群进行管理，其他服务器节点为数据节点，提供数据业务和数据存储。集群其他的数据节点中均部署管理系统代理进程(agent)，管理节点通过server进程与数据节点agent进程通信(一般采用http协议通过千兆网络通信)，获取数据节点的状态以及管理其相关服务等。
通过分布式集群系统在网络中提供了安全可靠的存储服务，但是对于实体的分布式集群系统中的服务器的存储空间有限，也就是说分布式集群系统整体的存储空间存在上限，并非可以无限存储进去。一般的，当分布式集群的存储空间利用率达到阈值后，会立即通知维护人员进行维护，但是人员进行维护并非立即执行，当数据存储空间利用率到达安全利用后，出现数据存储出错，分布式集群系统紊乱的严重后果。
因此，如何避免分布式集群出现存储空间利用率超过阈值的情况，是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种分布式集群的数据容灾方法、管理节点、数据节点、服务器以及计算机可读存储介质，通过当集群存储空间利用率超过预设利用率时，将数据节点的部分数据迁移至管理节点，降低数据节点的存储压力，避免集群存储数据过多的情况。
为解决上述技术问题，本申请提供一种分布式集群的数据容灾方法，包括：
管理节点获取分布式集群的集群存储空间利用率；
判断所述集群存储空间利用率是否大于第一预设利用率；
若是，则向所述分布式集群的目标数据节点发送数据迁移指令，以使所述目标数据节点将待迁移数据迁移至所述管理节点。
可选的，管理节点获取分布式集群的集群存储空间利用率，包括：
所述管理节点接收所有数据节点发送的存储空间利用率信息；其中，所述存储空间利用率信息包括节点标识和节点存储空间利用率；
对所有所述节点存储空间利用率进行集群利用率计算处理，得到所述集群存储空间利用率。
可选的，向所述分布式集群的目标数据节点发送数据迁移指令，包括：
将所述节点存储空间利用率最大的数据节点作为目标数据节点，根据对应的节点标识向所述目标数据节点发送所述数据迁移指令。
可选的，向所述分布式集群的目标数据节点发送数据迁移指令，包括：
将所述节点存储空间利用率大于第二预设利用率的数据节点均作为目标数据节点，根据对应的节点标识向所有目标数据节点发送所述数据迁移指令。
可选的，还包括：
当所述集群存储空间利用率大于第三预设利用率，所述管理节点按照预设路径发送告警信息。
本申请还提供一种分布式集群的数据容灾方法，包括：
数据节点按照预设周期向管理节点发送存储空间利用率信息，以使所述管理节点计算得到集群存储空间利用率，并判断所述集群存储空间利用率是否大于第一预设利用率，当所述集群存储空间利用率大于所述第一预设利用率时，向目标数据节点发送数据迁移指令；
当接收到所述数据迁移指令，将待迁移数据保存至所述管理节点，并删除所述待迁移数据。
本申请还提供一种管理节点，包括：
存储利用率获取模块，用于获取分布式集群的集群存储空间利用率；
存储利用率判断模块，用于判断所述集群存储空间利用率是否大于第一预设利用率；
数据迁移模块，用于当所述集群存储空间利用率大于所述第一预设利用率，向所述分布式集群的目标数据节点发送数据迁移指令，以使所述目标数据节点将待迁移数据迁移至所述管理节点。
本申请还提供一种数据节点，包括：
存储利用率信息发送模块，用于按照预设周期向管理节点发送存储空间利用率信息，以使所述管理节点计算得到集群存储空间利用率，并判断所述集群存储空间利用率是否大于第一预设利用率，当所述集群存储空间利用率大于所述第一预设利用率时，向目标数据节点发送数据迁移指令；
数据迁移模块，用于当接收到所述数据迁移指令，将待迁移数据保存至所述管理节点，并删除所述待迁移数据。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的数据容灾方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据容灾方法的步骤。
本申请所提供的一种分布式集群的数据容灾方法，包括：管理节点获取分布式集群的集群存储空间利用率；判断所述集群存储空间利用率是否大于第一预设利用率；若是，则向所述分布式集群的目标数据节点发送数据迁移指令，以使所述目标数据节点将待迁移数据迁移至所述管理节点。
通过当集群空间利用率超过预设利用率时，将数据节点中的数据迁移至管理节点中，也就是管理节点辅助存储集群中的数据，降低分布式集群的存储空间利用率，以便维护人员有充分的时间对分布式集群进行相关的维护操作，避免因数据过多而出现的数据存储出错，集群运行出错等严重问题。
本申请还提供一种管理节点、数据节点、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种分布式集群的数据容灾方法的流程图；
图2为本申请实施例所提供的一种分布式集群的数据容灾方法的流程图；
图3为本申请实施例所提供的一种管理节点的结构示意图；
图4为本申请实施例所提供的一种数据节点的结构示意图。
具体实施方式
本申请的核心是提供一种分布式集群的数据容灾方法、管理节点、数据节点、服务器以及计算机可读存储介质，通过当集群存储空间利用率超过预设利用率时，将数据节点的部分数据迁移至管理节点，降低数据节点的存储压力，避免集群存储数据过多的情况。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
分布式集群系统通常由多台服务器组成，虽然分布式系统可以存储大数据，但是对于每个集群中的节点来说，其单独的存储空间是受限的，因此分布式集群系统存储数据也具有一定的上限。一般的当分布式集群系统存储空间利用超过安全阈值后，需要人工对分布式集群系统的数据进行维护，或者是对分布式集群系统进行扩容等操作。而此时分布式集群一般不会停止进行运行，集群中的数据会一直增加，如果集群中数据超过了极限存储容量，会导致数据丢失，集群运行出错等严重的后果。
因此，本实施例提供一种分布式集群的数据容灾方法，通过当集群空间利用率超过预设利用率时，将数据节点中的数据迁移至管理节点中，也就是管理节点辅助存储集群中的数据，降低分布式集群的存储空间利用率，以便维护人员有充分的时间对分布式集群进行相关的维护操作，避免因数据过多而出现的数据存储出错，集群运行出错等严重问题。
具体的，请参考图1，图1为本申请实施例所提供的一种分布式集群的数据容灾方法的流程图。
该方法可以包括：
S101，管理节点获取分布式集群的集群存储空间利用率；
本步骤旨在获取到分布式集群的集群存储空间的存储状态，也即集群存储空间利用率。一般的，现有技术中管理节点也可以获取到集群存储空间利用率，用于判断集群整体的存储空间利用率的情况，以确定是否通知维护人员对分布式集群进行维护。
其中，获取集群存储空间利用率的方法可以采用现有技术提供的任意一种方法，也可以按照以下方法进行：
管理节点接收所有数据节点发送的存储空间利用率信息；其中，存储空间利用率信息包括节点标识和节点存储空间利用率；
对所有节点存储空间利用率进行集群利用率计算处理，得到集群存储空间利用率。
也就是先接收集群中每个数据节点的存储空间利用率，再根据所有的存储空间利用率进行计算得到集群整体的集群存储空间利用率。其中，可以进行平均值计算，也可以是加权平均值计算，还可以根据实际需要选择其他的计算方法得到集群存储空间利用，在此不做具体限定。
S102，判断集群存储空间利用率是否大于第一预设利用率；若是，则执行S103；
在步骤S101的基础上，本步骤旨在判断得到的集群存储空间利用率是否大于第一预设利用率，也就是本步骤判断此时的集群利用率是否超过一定值。其中，第一预设利用率就是触发是否将数据迁移至管理节点的阈值。第一预设利用率的具体大小可以与告警阈值相同，还可以大于告警阈值，也可以根据实际情况选择合适的利用率大小作为第一预设利用率，在此不做具体限定。
S103，向分布式集群的目标数据节点发送数据迁移指令，以使目标数据节点将待迁移数据迁移至管理节点。
在步骤S102的基础上，本步骤旨在向目标数据节点发送数据迁移指令，以使该目标数据节点将待迁移数据迁移至管理节点。也就是将目标数据节点中的数据先保存在管理节点中，降低目标数据节点的存储空间利用率，降低分布式集群整体的存储空间利用率。避免在维护人员对分布式集群维护前出现数据出错等不良情况。
其中，待迁移数据可以是数据节点所保存的预设比例的最旧的数据，可以将数据以时间进行判断，选择其中预设比例的数据作为待迁移数据，将其进行迁移。目的是不影响新的数据，分布式集群系统可以正常运行，不受数据迁移的影响。
需要说明的是，当集群存储空间利用率大于第一预设利用率时，此时并非所有数据节点的数据都需要迁移至管理节点，因此，需要在所有数据节点中选出目标数据节点，再将目标数据节点的待迁移数据迁移至管理节点。
具体的，本步骤可以在管理节点获取到所有数据节点的节点存储空间利用率的基础上，根据每个数据节点的节点存储空间利用率选出目标数据节点。
可选的，步骤S103可以包括：
将节点存储空间利用率最大的数据节点作为目标数据节点，根据对应的节点标识向目标数据节点发送数据迁移指令。
也就是判断出节点存储空间利用率最大的数据节点，作为目标数据节点，向该数据节点发送数据迁移指令，以使目标数据节点进行数据迁移。可以最直接的降低存储压力最大的数据节点的存储空间利用率，目标数据节点来说降低存储压力的效果最明显。
可选的，步骤S103可以包括：
将节点存储空间利用率大于第二预设利用率的数据节点均作为目标数据节点，根据对应的节点标识向所有目标数据节点发送数据迁移指令。
本可选方案也就是将部分符合要求的数据节点的数据迁移至管理节点，将部分数据节点的存储压力进行缓解，以降低分布式集群整体的存储空间利用率。其中，第二预设利用率可以根据实际情况进行设定，在此不做具体限定。
可选的，本实施例还可以包括：当集群存储空间利用率大于第三预设利用率，管理节点按照预设路径发送告警信息。
当集群存储空间利用率大于第三预设利用率时，管理节点通过预设路径发送告警信息。其主要目的是通知维护人员，此时集群存储空间利用率超过第三预设利用率，需要进行相应的维护操作。具体的，第三预设利用率可以小于第一预设利用率，或是等于第一预设利用率，还可以根据实际情况选择合适的利用率大小，在此不做具体限定。
综上，通过当集群空间利用率超过预设利用率时，将数据节点中的数据迁移至管理节点中，也就是管理节点辅助存储集群中的数据，降低分布式集群的存储空间利用率，以便维护人员有充分的时间对分布式集群进行相关的维护操作，避免因数据过多而出现的数据存储出错，集群运行出错等严重问题。
本申请实施例还提供另一种分布式集群的数据容灾方法，上一实施例是在管理节点进行说明，本实施例主要是在数据节点对本方法进行介绍。
具体的，请参考图2，图2为本申请实施例所提供的一种分布式集群的数据容灾方法的流程图。
该方法可以包括：
S201，数据节点按照预设周期向管理节点发送存储空间利用率信息，以使管理节点计算得到集群存储空间利用率，并判断集群存储空间利用率是否大于第一预设利用率，当集群存储空间利用率大于第一预设利用率时，向目标数据节点发送数据迁移指令；
本步骤中数据节点可以通过查询自身的各个磁盘总容量和使用容量，然后进行平均值计算，得到节点存储空间利用率，再将得到节点存储空间利用率和节点标识通过网络协议发送至管理节点。再次说明，本步骤中的存储空间利用率信息包括存储空间利用率和节点标识。
S202，当接收到数据迁移指令，将待迁移数据保存至管理节点，并删除待迁移数据。
本步骤旨当数据节点接收到数据迁移指令时，把待迁移数据迁移至管理节点。具体的，将待迁移数据保存至管理节点，并删除本地保存的待迁移数据。
本实施例通过当集群空间利用率超过预设利用率时，将数据节点中的数据迁移至管理节点中，也就是管理节点辅助存储集群中的数据，降低分布式集群的存储空间利用率，以便维护人员有充分的时间对分布式集群进行相关的维护操作，避免因数据过多而出现的数据存储出错，集群运行出错等严重问题。
在以上所有实施例的基础上，以下提供一种更具体的实施例。
该实施例可以包括：
集群初始化部署时，在各数据节点上安装存储空间监控进程(space_monitor)，该进程作用是实时的(每隔15s)检测当前节点存储空间利用率，检测手段通过系统命令查询各个数据磁盘总容量和使用容量，然后进行平均计算处理得出当前节点存储空间使用率；将检测查询出来的利用率数值和节点标识通过TCP协议发送给管理节点的集群存储空间统计进程(space_statistics)；
管理系统初始化部署时，在管理节点上安装集群存储空间统计进程(space_statistics)，该进程接收各节点space_monitor进程发送过来的节点标识和存储空间利用率信息，并存储在数据库中，然后通过对各个节点存储空间利用率进行加权平均计算处理得到当前集群存储空间利用率，当集群存储空间利用率大于80％时，该模块会通过snmp、mail、短信等方式提示管理员集群存储容量不足告警，提醒管理员及时清理数据或换盘操作；
当该模块统计到集群存储空间利用率大于90％时，为了避免存储空间不足管理员又没有进行及时清理的情况下数据读写失败，此时该模块一方面会向管理员发送存储容量不足紧急告警，另一方面会通知当前集群中存储空间压力最大的数据节点space_monitor进程，开始调度最旧的数据迁移至管理节点数据盘中，这样可以腾出数据节点存储空间，进行数据业务持续读写，防止该节点磁盘被写满，并给管理员足够的在线换盘或清理数据时间。
当该模块检测到集群数据空间利用率低于50％时，并且管理节点数据盘保留有之前迁移的数据信息时，会自动将这些数据回迁至原来的数据节点上。
上述过程中，进程之间使用万兆网络TCP协议通信所占系统开销很小，提高了节点资源利用率，在集群数据节点存储空间不足情况下，一方面会及时向管理员发出告警，另一方面，若管理员未能及时处理告警，则会自动将最旧的数据节点信息远程迁移至管理节点数据盘中暂时存储起来，缓解数据节点空间压力，延长数据节点被写满的时间，在这期间保障数据业务不中断，增加数据灾备保护时间，为管理员处理存储空间提供方便。
本申请实施例提供了一种分布式集群的数据容灾方法，可以通过当集群空间利用率超过预设利用率时，将数据节点中的数据迁移至管理节点中，也就是管理节点辅助存储集群中的数据，降低分布式集群的存储空间利用率，以便维护人员有充分的时间对分布式集群进行相关的维护操作，避免因数据过多而出现的数据存储出错，集群运行出错等严重问题。
下面对本申请实施例提供的一种管理节点进行介绍，下文描述的一种管理节点与上文描述的一种分布式集群的数据容灾方法可相互对应参照。
请参考图3，图3为本申请实施例所提供的一种管理节点的结构示意图。
该节点可以包括：
存储利用率获取模块110，用于获取分布式集群的集群存储空间利用率；
存储利用率判断模块120，用于判断集群存储空间利用率是否大于第一预设利用率；
数据迁移模块130，用于当集群存储空间利用率大于第一预设利用率，向分布式集群的目标数据节点发送数据迁移指令，以使目标数据节点将待迁移数据迁移至管理节点。
下面对本申请实施例提供的一种数据节点进行介绍，下文描述的一种数据节点与上文描述的一种分布式集群的数据容灾方法可相互对应参照。
请参考图4，图4为本申请实施例所提供的一种数据节点的结构示意图。
该节点可以包括：
存储利用率信息发送模块210，用于按照预设周期向管理节点发送存储空间利用率信息，以使管理节点计算得到集群存储空间利用率，并判断集群存储空间利用率是否大于第一预设利用率，当集群存储空间利用率大于第一预设利用率时，向目标数据节点发送数据迁移指令；
数据迁移模块220，用于当接收到数据迁移指令，将待迁移数据保存至管理节点，并删除待迁移数据。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如以上实施例的数据容灾方法的步骤。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上实施例的数据容灾方法的步骤。
其中，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种分布式集群的数据容灾方法、管理节点、数据节点、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (9)

1.一种分布式集群的数据容灾方法，其特征在于，包括：
管理节点接收所有数据节点发送的存储空间利用率信息；其中，所述存储空间利用率信息包括节点标识和节点存储空间利用率；对所有所述节点存储空间利用率进行集群利用率计算处理，得到集群存储空间利用率；
判断所述集群存储空间利用率是否大于第一预设利用率；
若是，则向所述分布式集群的目标数据节点发送数据迁移指令，以使所述目标数据节点将待迁移数据迁移至所述管理节点；其中，所述待迁移数据是数据节点所保存的预设比例的最旧的数据。
2.根据权利要求1所述的数据容灾方法，其特征在于，向所述分布式集群的目标数据节点发送数据迁移指令，包括：
将所述节点存储空间利用率最大的数据节点作为目标数据节点，根据对应的节点标识向所述目标数据节点发送所述数据迁移指令。
3.根据权利要求1所述的数据容灾方法，其特征在于，向所述分布式集群的目标数据节点发送数据迁移指令，包括：
将所述节点存储空间利用率大于第二预设利用率的数据节点均作为目标数据节点，根据对应的节点标识向所有目标数据节点发送所述数据迁移指令。
4.根据权利要求1至3任一项所述的数据容灾方法，其特征在于，还包括：
当所述集群存储空间利用率大于第三预设利用率，所述管理节点按照预设路径发送告警信息。
5.一种分布式集群的数据容灾方法，其特征在于，包括：
数据节点按照预设周期向管理节点发送存储空间利用率信息，以使所述管理节点接收所有数据节点发送的存储空间利用率信息；其中，所述存储空间利用率信息包括节点标识和节点存储空间利用率；对所有所述节点存储空间利用率进行集群利用率计算处理，得到集群存储空间利用率；并判断所述集群存储空间利用率是否大于第一预设利用率，当所述集群存储空间利用率大于所述第一预设利用率时，向目标数据节点发送数据迁移指令；
当接收到所述数据迁移指令，将待迁移数据保存至所述管理节点，并删除所述待迁移数据；其中，所述待迁移数据是数据节点所保存的预设比例的最旧的数据。
6.一种管理节点，其特征在于，包括：
存储利用率获取模块，用于接收所有数据节点发送的存储空间利用率信息；其中，所述存储空间利用率信息包括节点标识和节点存储空间利用率；对所有所述节点存储空间利用率进行集群利用率计算处理，得到集群存储空间利用率；
存储利用率判断模块，用于判断所述集群存储空间利用率是否大于第一预设利用率；
数据迁移模块，用于当所述集群存储空间利用率大于所述第一预设利用率，向分布式集群的目标数据节点发送数据迁移指令，以使所述目标数据节点将待迁移数据迁移至所述管理节点；其中，所述待迁移数据是数据节点所保存的预设比例的最旧的数据。
7.一种数据节点，其特征在于，包括：
存储利用率信息发送模块，用于按照预设周期向管理节点发送存储空间利用率信息，以使所述管理节点接收所有数据节点发送的存储空间利用率信息；其中，所述存储空间利用率信息包括节点标识和节点存储空间利用率；对所有所述节点存储空间利用率进行集群利用率计算处理，得到集群存储空间利用率；并判断所述集群存储空间利用率是否大于第一预设利用率，当所述集群存储空间利用率大于所述第一预设利用率时，向目标数据节点发送数据迁移指令；
数据迁移模块，用于当接收到所述数据迁移指令，将待迁移数据保存至所述管理节点，并删除所述待迁移数据；其中，所述待迁移数据是数据节点所保存的预设比例的最旧的数据。
8.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的数据容灾方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据容灾方法的步骤。
CN201810661869.9A 2018-06-25 2018-06-25 一种分布式集群的数据容灾方法以及相关装置 Active CN108924202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810661869.9A CN108924202B (zh) 2018-06-25 2018-06-25 一种分布式集群的数据容灾方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810661869.9A CN108924202B (zh) 2018-06-25 2018-06-25 一种分布式集群的数据容灾方法以及相关装置

Publications (2)

Publication Number Publication Date
CN108924202A CN108924202A (zh) 2018-11-30
CN108924202B true CN108924202B (zh) 2021-12-03

Family

ID=64422344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810661869.9A Active CN108924202B (zh) 2018-06-25 2018-06-25 一种分布式集群的数据容灾方法以及相关装置

Country Status (1)

Country Link
CN (1) CN108924202B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563069B (zh) * 2020-05-06 2023-09-19 杭州安恒信息技术股份有限公司 一种工控设备的探针配置方法和系统
CN111694517B (zh) * 2020-05-28 2024-02-13 新浪技术（中国）有限公司 分布式数据迁移方法、系统和电子设备
CN112799912A (zh) * 2021-01-27 2021-05-14 苏州浪潮智能科技有限公司 一种ams系统的数据监控方法、装置及系统
CN113297168B (zh) * 2021-02-22 2023-12-19 阿里巴巴集团控股有限公司 分布式系统中数据迁移方法及装置
CN113535087B (zh) * 2021-07-13 2023-10-17 咪咕互动娱乐有限公司 数据迁移过程中的数据处理方法、服务器及存储系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148871A (zh) * 2011-03-18 2011-08-10 浪潮(北京)电子信息产业有限公司 存储资源调度方法和装置
CN102968281A (zh) * 2012-11-26 2013-03-13 华为技术有限公司 一种数据迁移的方法及装置
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561428B (zh) * 2013-10-10 2017-02-01 东软集团股份有限公司 短信网关集群系统中的节点弹性分配方法及系统
CN104270416B (zh) * 2014-09-12 2018-03-13 杭州华为数字技术有限公司 负载均衡控制方法及管理节点
CN104461685B (zh) * 2014-11-19 2017-09-29 华为技术有限公司 虚拟机处理方法和虚拟计算机系统
US9979656B2 (en) * 2015-12-07 2018-05-22 Oracle International Corporation Methods, systems, and computer readable media for implementing load balancer traffic policies
CN107623732A (zh) * 2017-09-15 2018-01-23 郑州云海信息技术有限公司 一种基于云平台的数据存储方法、装置、设备及存储介质
CN107656847A (zh) * 2017-09-19 2018-02-02 郑州云海信息技术有限公司 基于分布式集群的节点管理方法、系统、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148871A (zh) * 2011-03-18 2011-08-10 浪潮(北京)电子信息产业有限公司 存储资源调度方法和装置
CN102968281A (zh) * 2012-11-26 2013-03-13 华为技术有限公司 一种数据迁移的方法及装置
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置

Also Published As

Publication number Publication date
CN108924202A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108924202B (zh) 一种分布式集群的数据容灾方法以及相关装置
CN108712309A (zh) 一种微服务架构下的微服务节点防护方法和系统
CN110830283B (zh) 故障检测方法、装置、设备和系统
CN108572898B (zh) 一种控制接口的方法、装置、设备、以及存储介质
CN109921942B (zh) 云平台切换控制方法、装置、系统及电子设备
CN107729185B (zh) 一种故障处理方法及装置
CN110677480B (zh) 一种节点健康管理方法、装置和计算机可读存储介质
CN110650060A (zh) 流量告警的处理方法、设备及存储介质
CN109391691A (zh) 一种单节点故障下nas服务的恢复方法及相关装置
CN112069237B (zh) 一种集群数据库连接池的管理系统
CN115632706B (zh) 一种fc链路管理方法、装置、设备及可读存储介质
CN112783792A (zh) 分布式数据库系统的故障检测方法、装置及电子设备
CN110740064A (zh) 分布式集群节点故障处理方法、装置、设备及存储介质
CN115150460A (zh) 一种节点安全注册方法、装置、设备及可读存储介质
CN110545197B (zh) 节点状态监控方法及装置
CN109510730B (zh) 分布式系统及其监控方法、装置、电子设备及存储介质
US20150195174A1 (en) Traffic data collection apparatus, traffic data collection method and program
CN110224872B (zh) 一种通信方法、装置及存储介质
US9514003B2 (en) Executing a file backup process
JP2023530996A (ja) クラスタの容量縮小・拡張方法及びシステム、容量縮小・拡張制御端末、及び媒体
CN108089917A (zh) 一种应用进程控制方法及装置
CN114374697B (zh) 道路过车信息的推送系统、方法、电子设备及存储介质
CN115174356B (zh) 一种集群告警上报方法、装置、设备及介质
CN109474694A (zh) 一种基于san存储阵列的nas集群的管控方法及装置
CN116582618B (zh) 电销高可用的实现方法、装置、机房管理平台和计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant