CN112073518A - 云存储系统、云存储系统管理方法及中心管理节点 - Google Patents

云存储系统、云存储系统管理方法及中心管理节点 Download PDF

Info

Publication number
CN112073518A
CN112073518A CN202010942187.2A CN202010942187A CN112073518A CN 112073518 A CN112073518 A CN 112073518A CN 202010942187 A CN202010942187 A CN 202010942187A CN 112073518 A CN112073518 A CN 112073518A
Authority
CN
China
Prior art keywords
gateway node
available
heterogeneous
virtual storage
heterogeneous gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010942187.2A
Other languages
English (en)
Other versions
CN112073518B (zh
Inventor
吴小鹏
夏伟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202010942187.2A priority Critical patent/CN112073518B/zh
Publication of CN112073518A publication Critical patent/CN112073518A/zh
Application granted granted Critical
Publication of CN112073518B publication Critical patent/CN112073518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例提供了云存储系统、云存储系统管理方法及中心管理节点，接收各异构网关节点发送卷维护信息；根据各卷加载信息，更新本地存储；将连接状态异常的异构网关节点作为异常异构网关节点；根据本地存储的记录，确定异常异构网关节点当前加载的待迁移虚拟存储卷；选取作为待迁移虚拟存储卷的迁移目标的目标可用异构网关节点；向目标可用异构网关节点发送表示加载待迁移虚拟存储卷的迁移消息，以使目标异构网关节点根据迁移消息加载迁移消息对应的待迁移虚拟存储卷。实现了自动将异常异构网关节点加载的虚拟存储卷迁移到可用异构网关节点上，减少因异构网关节点故障导致的异构存储设备处于脱管状态的情况。

Description

云存储系统、云存储系统管理方法及中心管理节点
技术领域
本申请涉及云存储技术领域，特别是涉及云存储系统、云存储系统管理方法及中心管理节点。
背景技术
随着互联网技术的发展，设备本地存储的短板逐步显现，云存储技术的出现很好的弥补了设备本地存储的不足。云存储系统能够为海量数据提供存储空间，数据分散到整个云存储系统的各存储节点中。当存在数据写入时，需要根据当前数据对象的EC(ErasureCode，纠删码)模式，选择足够的存储节点提供存储资源。
在云存储系统中，异构存储设备通常为具备高容量、高效能、高可靠特点的独立存储设备。相关技术中，云存储系统架构如图1所示，异构存储设备作为独立存储个体连接到异构网关节点进行加载管理，当异构网关节点因为硬件故障、软件故障、掉电等原因造成异构网关节点宕机时，会造成该节点上加载的异构存储设备处于脱管状态，无法针对该异常异构网关节点加载的异构存储设备进行IO(Input/Output，输入/输出)操作。
发明内容
本申请实施例的目的在于提供一种云存储系统、云存储系统管理方法及中心管理节点，以减少因异构网关节点故障导致的异构存储设备处于脱管状态的情况。具体技术方案如下：
第一方面，本申请实施例提供了一种云存储系统，所述系统包括：
中心管理节点、多个异构网关节点、多个异构存储设备；所述多个异构存储设备的存储空间划分为多个虚拟存储卷；
每个所述异构网关节点，用于管理自身加载的虚拟存储卷的IO操作；将自身的卷加载信息发送给所述中心管理节点，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识；
所述中心管理节点，用于接收各所述异构网关节点发送的卷加载信息，根据各所述卷加载信息，更新所述中心管理节点本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；检测各所述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向所述目标可用异构网关节点发送表示加载所述待迁移虚拟存储卷的迁移消息；其中，所述可用异构网关节点为连接状态正常的异构网关节点；
每个所述异构网关节点，还用于当接收到所述迁移消息后，加载所述迁移消息对应的待迁移虚拟存储卷。
在一种可能的实施方式中，每个所述异构网关节点，具体用于按照预设间隔时长向所述中心管理节点发送表示自身可用的心跳信息；
所述中心管理节点，具体用于接收各所述心跳信息；根据所述心跳信息更新相应的异构网关节点的连接状态；其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；所述异常异构网关节点为连接状态异常的异构网关节点；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；所述第二预设时长不小于所述预设间隔时长，所述第一预设时长不小于所述第二预设时长。
在一种可能的实施方式中，所述中心管理节点具体用于：在检测到连接状态异常的异常异构网关节点的情况下，判断所述异常异构网关节点是否处于维护状态；若所述异常异构网关节点不处于维护状态，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
在一种可能的实施方式中，所述中心管理节点具体用于：
在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷；
判断是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，所述容量均值为各所述可用异构网关节点的加载容量的均值，所述数量均值为各所述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量；
若存在所述第一可用异构网关节点，选取一个所述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，所述第二可用异构网关节点为加载的虚拟存储卷的总容量小于所述容量均值、且加载的虚拟存储卷的数量不小于所述数量均值的可用异构网关节点；
若存在所述第二可用异构网关节点，选取一个所述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息；
在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷；
在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移；
返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
在一种可能的实施方式中，所述中心管理节点还用于：
依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点；
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，所述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点；
若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷；
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于所述容量均值；
若不小于所述容量均值，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息；
若小于所述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点；
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新所述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，直至各所述可用异构网关节点均检测完成。
在一种可能的实施方式中，所述中心管理节点还用于：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，所述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于所述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点；
若存在所述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点；
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
第二方面，本申请实施例提供了一种云存储系统，所述系统包括：
中心管理节点、多个异构网关节点、多个异构存储设备；所述中心管理节点与各个异构网关节点通信连接；每个所述异构网关节点加载至少一个异构存储设备；
每个所述异构网关节点，用于管理自身加载的异构存储设备的IO操作；将自身的设备加载信息发送给所述中心管理节点，其中，针对任一异构网关节点该异构网关节点的设备加载信息包括：该异构网关节点所加载的各个异构存储设备的标识；
所述中心管理节点，用于接收各所述异构网关节点发送的设备加载信息，根据各所述设备加载信息，更新所述中心管理节点本地存储中相应的异构网关节点当前加载的异构存储设备的记录；检测各所述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的异构存储设备，得到待迁移存储设备；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向所述目标可用异构网关节点发送表示加载所述待迁移存储设备的迁移消息；其中，所述可用异构网关节点为连接状态正常的异构网关节点；
每个所述异构网关节点，还用于当接收到所述迁移消息后，加载所述迁移消息对应的待迁移存储设备。
第三方面，本申请实施例提供了一种云存储系统管理方法，应用于中心管理节点，所述方法包括：
接收各异构网关节点发送卷维护信息，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识；
根据各所述卷加载信息，更新本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；
检测各所述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点；
根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；
在各可用异构网关节点中选取作为所述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，其中，所述可用异构网关节点为连接状态正常的异构网关节点；
向所述目标可用异构网关节点发送表示加载所述待迁移虚拟存储卷的迁移消息，以使所述目标异构网关节点根据所述迁移消息加载所述迁移消息对应的待迁移虚拟存储卷。
在一种可能的实施方式中，所述方法还包括：
接收各所述异构网关节点按照预设间隔时长发送的表示自身可用的心跳信息；
根据所述心跳信息更新相应的异构网关节点的连接状态，其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；所述第二预设时长不小于所述预设间隔时长，所述第一预设时长不小于所述第二预设时长。
在一种可能的实施方式中，在所述检测各所述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点之后，所述方法还包括：
判断所述异常异构网关节点是否处于维护状态；
所述根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷，包括：
若所述异常异构网关节点不处于维护状态，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
在一种可能的实施方式中，所述在各可用异构网关节点中选取作为所述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，包括：
在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷；
判断是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，所述容量均值为各所述可用异构网关节点的加载容量的均值，所述数量均值为各所述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量；
若存在所述第一可用异构网关节点，选取一个所述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，所述第二可用异构网关节点为加载的虚拟存储卷的总容量小于所述容量均值、且加载的虚拟存储卷的数量不小于所述数量均值的可用异构网关节点；
若存在所述第二可用异构网关节点，选取一个所述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息；
在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷；
在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移；
返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
在一种可能的实施方式中，所述方法还包括：
依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点；
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，所述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点；
若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷；
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于所述容量均值；
若不小于所述容量均值，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息；
若小于所述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点；
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新所述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，直至各所述可用异构网关节点均检测完成。
在一种可能的实施方式中，所述方法还包括：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，所述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于所述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点；
若存在所述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点；
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
第四方面，本申请实施例提供了一种中心管理节点，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器存放的计算机程序时，实现上述任一所述的云存储系统管理方法。
本申请实施例提供的云存储系统、云存储系统管理方法及中心管理节点，接收各异构网关节点发送卷维护信息，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识；根据各卷加载信息，更新本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；检测各异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点；根据本地存储的记录，确定异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；在各可用异构网关节点中选取作为待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，其中，可用异构网关节点为连接状态正常的异构网关节点；向目标可用异构网关节点发送表示加载待迁移虚拟存储卷的迁移消息，以使目标异构网关节点根据迁移消息加载迁移消息对应的待迁移虚拟存储卷。实现了自动将异常异构网关节点加载的虚拟存储卷迁移到可用异构网关节点上，减少因异构网关节点故障导致的异构存储设备处于脱管状态的情况。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术中云存储系统的一种示意图；
图2为本申请实施例的云存储系统的一种示意图；
图3为本申请实施例的云存储系统管理方法的第一种示意图；
图4为本申请实施例的云存储系统管理方法的第二种示意图；
图5为本申请实施例的云存储系统管理方法的第三种示意图；
图6为本申请实施例的步骤S35的一种可能的实现方式的流程示意图；
图7为本申请实施例的中心管理节点的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请中的术语进行解释：
对象存储：一种以对象的形式管理数据的存储技术。对象包括对象ID、对象数据、对象元数据。其中对象ID是对象的全局唯一标识符；对象数据是指存储的具体业务数据，如视频、图片等；元数据是指用于描述对象数据的数据，如数据的时间、大小、索引、拥有者等描述性信息。
中心管理节点：指用于管理异构网关节点和异构存储设备的的服务器主机，元数据管理服务由管理节点提供。
分布式存储：将数据分布式存储于多个位于不同物理位置的存储节点中，各个存储节点保存了数据的全部或部分拷贝。各存储节点之间通过网络互相连接，组成一个完整的、整体逻辑上集中而物理上分散的存储系统。
异构网关节点：异构存储系统中的专用存储节点，负责对异构存储设备进行加载、卸载、状态上报、读写操作。
异构存储设备：基于标准网络协议实现数据传输实现数据存储的NAS(NetworkAttached Storage，网络附属存储)设备。
虚拟存储卷：异构存储设备容量空间切分后独立的存储单元，可像普通硬件存储卷进行数据读写、状态检测。
域：分布式存储系统根据应用需要，将不同的OSD划分到不同的域中。域之间数据读写互相独立。
异构存储：采用新型水平层叠模式，在线接管各种品牌、型号、接口的存储设备，打通存储设备间的容量壁垒，实现跨设备存储资源集中调度，保证存储资源的高效利用与可靠管理
虚拟存储卷/异构存储设备加载：通过异构网关节点创建或者链接到一个读写目录，通过该目录实现虚拟存储卷/异构存储设备中数据的IO操作。
为了减少因异构网关节点故障导致的异构存储设备处于脱管状态的情况，本申请实施例提供了一种云存储系统，参见图2，该系统包括：
中心管理节点11、多个异构网关节点12、多个异构存储设备；上述多个异构存储设备的存储空间划分为多个虚拟存储卷13；
每个上述异构网关节点12，用于管理自身加载的虚拟存储卷的IO操作；将自身的卷加载信息发送给上述中心管理节点11，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识。
上述中心管理节点11，用于接收各上述异构网关节点12发送的卷加载信息，根据各上述卷加载信息，更新上述中心管理节点本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；检测各上述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据上述本地存储的记录，确定上述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向上述目标可用异构网关节点发送表示加载上述待迁移虚拟存储卷的迁移消息；其中，上述可用异构网关节点为连接状态正常的异构网关节点。
每个上述异构网关节点12，还用于当接收到上述迁移消息后，加载上述迁移消息对应的待迁移虚拟存储卷。
在本申请实施例中，实现了自动将异常异构网关节点加载的虚拟存储卷迁移到可用异构网关节点上，减少因异构网关节点故障导致的异构存储设备处于脱管状态的情况。
一个异构存储设备可以划分为一个或多个虚拟存储卷13，根据异构存储设备的实际容量进行确定，当异构存储设备的容量较小时，也可以将多个异构存储设备划分为一个虚拟存储卷13。各虚拟存储卷13的容量可以相同也可以不同，可选的，为了方便虚拟存储卷13的管理，各虚拟存储卷13的容量相同。
异构网关节点12可以加载有虚拟存储卷13，各异构网关节点12分别管理自身加载的虚拟存储卷的IO操作。每个异构网关节点12均需要向中心管理节点11发送自身的卷加载信息，可以为周期性发送，也可以为异构网关节点12检测到自身加载的虚拟存储卷发生变更时，向中心管理节点11发送卷加载信息，均在本申请的保护范围内。
中心管理节点11的本地存储中分别记录有各异构网关节点12当前加载的虚拟存储卷，中心管理节点11根据各异构网关节点12发送的卷加载信息，维护本地存储中的记录。卷加载信息中还可以包括发送该卷加载信息的异构网关节点的标识，从而便于区分异构网关节点与虚拟存储卷的加载关系。
中心管理节点11可以周期性的检测各异构网关节点12的连接状态，该检测周期可以按照实际情况自定义设置，例如设置为30秒、60秒或5分钟等。具体的，中心管理节点11可以分别向各异构网关节点12发送探测包，针对任一异构网关节点1，当规定时长内该接收到异构网关节点12根据探测包返回的应答消息时，判定该异构网关节点12连接状态正常，当规定时长内未接收到该接收到异构网关节点12根据探测包返回的应答消息时，判定该异构网关节点12连接状态异常。当然，在其他可能的实施方式中，也可以由异构网关节点12主动向中心管理节点11发送信息上报自身的连接状态。
将连接状态异常的异构网关节点称为异常异构网关节点，将连接状态正常的异构网关节点称为可用异构网关节点。在一种可能的实施方式中，每个上述异构网关节点12，具体用于按照预设间隔时长向上述中心管理节点11发送表示自身可用的心跳信息；上述中心管理节点11，具体用于接收各上述心跳信息；根据上述心跳信息更新相应的异构网关节点的连接状态；其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；上述异常异构网关节点为连接状态异常的异构网关节点；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；上述第二预设时长不小于上述预设间隔时长，上述第一预设时长不小于上述第二预设时长。
预设间隔时长可以按照实际情况自定义设置，例如可以设置为5秒、15秒或1分钟等。第二预设时长可以按照实际情况自定义设置，例如可以设置为30秒、60秒或3分钟等。第一预设时长可以按照实际情况自定义设置，例如可以设置为10分钟、15分钟或30分钟等。
在中心管理节点11检测到异常异构网关节点的情况下，中心管理节点11根据本地存储的记录，确定该异常异构网关节点当前加载的虚拟存储卷，作为待迁移虚拟存储卷。若异常异构网关节点处于维护状态，例如，系统升级等维护操作，则维护过后该异常异构网关节点加载的虚拟存储卷便可再用，因此可以不对处于维护状态的异常异构网关节点的虚拟存储卷进行迁移。在一种可能的实施方式中，上述中心管理节点11具体用于：在检测到连接状态异常的异常异构网关节点的情况下，判断上述异常异构网关节点是否处于维护状态；若上述异常异构网关节点不处于维护状态，根据上述本地存储的记录，确定上述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。若异常异构网关节点处于维护状态，以不对处于维护状态的异常异构网关节点的虚拟存储卷进行迁移。
中心管理节点11选取至少一个可用异构网关节点，作为目标可用异构网关节点；例如，可以选取加载的虚拟存储卷的总容量最小的可用异构网关节点，作为目标可用异构网关节点；或可以在加载的虚拟存储卷的总容量小于容量门限的可用异构网关节点中，随机选取多个可用异构网关节点，作为目标可用异构网关节点等。
中心管理节点11向目标可用异构网关节点发送表示加载上述待迁移虚拟存储卷的迁移消息；目标可用异构网关节点接收到迁移消息后，加载迁移消息表示的待迁移虚拟存储卷，从而完成待迁移虚拟存储卷的迁移。可选的，中心管理节点11还可以向异常异构网关节点发送只读切换信息，其中，只读切换信息表示将加载的移虚拟存储卷设置为只读状态，无论异常异构网关节点是否接收到只读切换信息，异常异构网关节点是否将自身加载的待迁移虚拟存储卷设置为只读状态，均会执行待迁移虚拟存储卷的迁移。
在一种可能的实施方式中，每一个上述异构网关节点12，还用于当加载上述迁移消息对应的待迁移虚拟存储卷成功时，向上述中心管理节点发送表示迁移成功的消息；当加载上述迁移消息对应的待迁移虚拟存储卷失败时，向上述中心管理节点发送表示迁移失败的消息。无论待迁移虚拟存储卷是否迁移成功，异构网关节点12均可以上报给中心管理节点11，以使中心管理节点11更新本地存储中的记录，从而提高中心管理节点11本地存储中记录的准确性。
待迁移虚拟存储卷可以逐个进行迁移，在一种可能的实施方式中，上述中心管理节点11具体用于：
在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷。
判断是否存在第一可用异构网关节点，其中，上述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，上述容量均值为各上述可用异构网关节点的加载容量的均值，上述数量均值为各上述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量。具体的，容量均值＝云存储系统域内所有可用异构网关节点加载的虚拟存储卷的总容量÷云存储系统域内所有可用异构网关节点的数量；数量均值＝存储系统域内所有可用异构网关节点加载的虚拟存储卷的总数量÷云存储系统域内所有可用异构网关节点的数量。
若存在上述第一可用异构网关节点，选取一个上述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；例如，可以随机选取一个第一可用异构网关节点，或选取加载的虚拟存储卷的总容量最小的第一可用异构网关节点，或选取加载的虚拟存储卷的数量最小的第一可用异构网关节点等。
若不存在上述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，上述第二可用异构网关节点为加载的虚拟存储卷的总容量小于上述容量均值、且加载的虚拟存储卷的数量不小于上述数量均值的可用异构网关节点。
若存在上述第二可用异构网关节点，选取一个上述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；例如，可以随机选取一个第二可用异构网关节点，或选取加载的虚拟存储卷的总容量最小的第二可用异构网关节点，或选取加载的虚拟存储卷的数量最小的第二可用异构网关节点等。
若不存在上述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；例如，可以随机选取一个可用异构网关节点，或选取加载的虚拟存储卷的总容量最小的可用异构网关节点，或选取加载的虚拟存储卷的数量最小的可用异构网关节点等。
向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息。
在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷。
在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移。
返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
在本申请实施例中，首先选取第一可用异构网关节点作为目标可用异构网关节点，在不存在第一可用异构网关节点时，选取第二可用异构网关节点作为目标可用异构网关节点，能够减小各可用异构网关节点的负载差距，尽量保持各可用异构网关节点的负载均衡。
除了对异常异构网关节点加载的虚拟存储卷进行迁移外，还可以针对云存储系统中新增的异构网关节点或已存在的异构网关节点进行虚拟存储卷的负载均衡。在一种可能的实施方式中，上述中心管理节点11还用于：
依次检测各上述可用异构网关节点中是否存在第一可用异构网关节点，其中，上述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点。
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，上述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点。
若存在上述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；例如，可以在未选取过的第三可用异构网关节点中随机选取一个第三可用异构网关节点，或选取加载的虚拟存储卷的总容量最大的第三可用异构网关节点，或选取加载的虚拟存储卷的数量最大的第三可用异构网关节点等。
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷；例如，可以在未选取过的虚拟存储卷中随机选取一个虚拟存储卷，或选取容量最大的虚拟存储卷等。
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于上述容量均值。
若不小于上述容量均值，向上述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
若小于上述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点。
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在上述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点。
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新上述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各上述可用异构网关节点中是否存在第一可用异构网关节点，直至各上述可用异构网关节点均检测完成。
在一种可能的实施方式中，上述中心管理节点11还用于：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，上述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于上述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点。
若存在上述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点；例如，可以在未选取过的第四可用异构网关节点中随机选取一个第四可用异构网关节点，或选取加载的虚拟存储卷的总容量最大的第四可用异构网关节点，或选取加载的虚拟存储卷的数量最大的第四可用异构网关节点等。
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向上述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。例如，可以在未选取过的虚拟存储卷中随机选取一个虚拟存储卷，或选取容量最大的虚拟存储卷等。
在本申请实施例中通过中心管理节点对异构网关节点进行监测，当检测到异构网关节点连接状态异常后启动虚拟存储卷迁移，将异常异构网关节点中加载的虚拟存储卷迁移到域内目标可用异构网关节点进行加载，目标可用异构网关节点的选取以加载容量均衡、加载数量均衡为原则选取。当新增异构网关节点时，新增异构网关节点加载的虚拟存储卷为空，在云存储系统域内以加载容量均衡、加载数量均衡为原则选择已经被异构网关节点加载的虚拟存储卷迁移到新增异构网关节点进行加载。当云存储系统域内异构网关节点因为新接入异构存储设备等原因造成加载不均衡时，会以加载容量均衡、加载数量均衡为原则，对云存储系统域内异构网关节点加载的虚拟存储卷进行迁移，调整加载均衡性。可实现异构存储设备在云存储系统中的高可用性、读写压力负载均衡、异构存储设备分散管理。
本申请实施例还提供了一种云存储系统，该系统包括：
中心管理节点、多个异构网关节点、多个异构存储设备；上述中心管理节点与各个异构网关节点通信连接；每个上述异构网关节点加载至少一个异构存储设备。
每个上述异构网关节点，用于管理自身加载的异构存储设备的IO操作；将自身的设备加载信息发送给上述中心管理节点，其中，针对任一异构网关节点该异构网关节点的设备加载信息包括：该异构网关节点所加载的各个异构存储设备的标识。
上述中心管理节点，用于接收各上述异构网关节点发送的设备加载信息，根据各上述设备加载信息，更新上述中心管理节点本地存储中相应的异构网关节点当前加载的异构存储设备的记录；检测各上述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据上述本地存储的记录，确定上述异常异构网关节点当前加载的异构存储设备，得到待迁移存储设备；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向上述目标可用异构网关节点发送表示加载上述待迁移存储设备的迁移消息；其中，上述可用异构网关节点为连接状态正常的异构网关节点。
每个上述异构网关节点，还用于当接收到上述迁移消息后，加载上述迁移消息对应的待迁移存储设备。
本申请实施例中异构网关节点以异构存储设备为迁移及管理单位，针对待异构存储设备的迁移及加载具体操作可以参见上述实施例中针对虚拟存储卷的迁移及加载操作，此处不再赘述。
本申请实施例还提供了一种云存储系统管理方法，应用于中心管理节点，参见图3，该方法包括：
S31，接收各异构网关节点发送卷维护信息，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识。
S32，根据各上述卷加载信息，更新本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录。
S33，检测各上述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点。
S34，根据上述本地存储的记录，确定上述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
S35，在各可用异构网关节点中选取作为上述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，其中，上述可用异构网关节点为连接状态正常的异构网关节点。
S36，向上述目标可用异构网关节点发送表示加载上述待迁移虚拟存储卷的迁移消息，以使上述目标异构网关节点根据上述迁移消息加载上述迁移消息对应的待迁移虚拟存储卷。
在一种可能的实施方式中，参见图4，上述方法还包括：
S37，接收各上述异构网关节点按照预设间隔时长发送的表示自身可用的心跳信息。
S38，根据上述心跳信息更新相应的异构网关节点的连接状态。
其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；上述第二预设时长不小于上述预设间隔时长，上述第一预设时长不小于上述第二预设时长。
在一种可能的实施方式中，参见图5，在上述检测各上述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点之后，上述方法还包括：
S39，判断上述异常异构网关节点是否处于维护状态；
上述根据上述本地存储的记录，确定上述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷，包括：
S341，若上述异常异构网关节点不处于维护状态，根据上述本地存储的记录，确定上述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
在一种可能的实施方式中，参见图6，上述在各可用异构网关节点中选取作为上述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，包括：
S3501，在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷。
S3502，判断是否存在第一可用异构网关节点，其中，上述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，上述容量均值为各上述可用异构网关节点的加载容量的均值，上述数量均值为各上述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量。
S3503，若存在上述第一可用异构网关节点，选取一个上述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点。
S3504，若不存在上述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，上述第二可用异构网关节点为加载的虚拟存储卷的总容量小于上述容量均值、且加载的虚拟存储卷的数量不小于上述数量均值的可用异构网关节点。
S3505，若存在上述第二可用异构网关节点，选取一个上述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点。
S3506，若不存在上述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点。
S3507，向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息。
S3508，在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷。
S3509，在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移。
S3510，返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
在一种可能的实施方式中，上述方法还包括：
依次检测各上述可用异构网关节点中是否存在第一可用异构网关节点，其中，上述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点。
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，上述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点。
若存在上述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点。
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷。
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于上述容量均值。
若不小于上述容量均值，向上述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
若小于上述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点。
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在上述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点。
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新上述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各上述可用异构网关节点中是否存在第一可用异构网关节点，直至各上述可用异构网关节点均检测完成。
在一种可能的实施方式中，上述方法还包括：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，上述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于上述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点。
若存在上述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点。
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向上述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
本申请实施例还提供了一种中心管理节点，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现上述实施例中任一云存储系统管理方法方法。
可选的，参见图7，本申请实施例的中心管理节点还包括通信接口902和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
上述中心管理节点提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述中心管理节点与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述实施例中任一云存储系统管理方法方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一云存储系统管理方法方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种云存储系统，其特征在于，所述系统包括：
中心管理节点、多个异构网关节点、多个异构存储设备；所述多个异构存储设备的存储空间划分为多个虚拟存储卷；
每个所述异构网关节点，用于管理自身加载的虚拟存储卷的IO操作；将自身的卷加载信息发送给所述中心管理节点，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识；
所述中心管理节点，用于接收各所述异构网关节点发送的卷加载信息，根据各所述卷加载信息，更新所述中心管理节点本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；检测各所述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向所述目标可用异构网关节点发送表示加载所述待迁移虚拟存储卷的迁移消息；其中，所述可用异构网关节点为连接状态正常的异构网关节点；
每个所述异构网关节点，还用于当接收到所述迁移消息后，加载所述迁移消息对应的待迁移虚拟存储卷。
2.根据权利要求1所述的系统，其特征在于，每个所述异构网关节点，具体用于按照预设间隔时长向所述中心管理节点发送表示自身可用的心跳信息；
所述中心管理节点，具体用于接收各所述心跳信息；根据所述心跳信息更新相应的异构网关节点的连接状态；其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；所述异常异构网关节点为连接状态异常的异构网关节点；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；所述第二预设时长不小于所述预设间隔时长，所述第一预设时长不小于所述第二预设时长。
3.根据权利要求1所述的系统，其特征在于，所述中心管理节点具体用于：在检测到连接状态异常的异常异构网关节点的情况下，判断所述异常异构网关节点是否处于维护状态；若所述异常异构网关节点不处于维护状态，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
4.根据权利要求1所述的系统，其特征在于，所述中心管理节点具体用于：
在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷；
判断是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，所述容量均值为各所述可用异构网关节点的加载容量的均值，所述数量均值为各所述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量；
若存在所述第一可用异构网关节点，选取一个所述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，所述第二可用异构网关节点为加载的虚拟存储卷的总容量小于所述容量均值、且加载的虚拟存储卷的数量不小于所述数量均值的可用异构网关节点；
若存在所述第二可用异构网关节点，选取一个所述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息；
在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷；
在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移；
返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
5.根据权利要求1所述的系统，其特征在于，所述中心管理节点还用于：
依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点；
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，所述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点；
若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷；
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于所述容量均值；
若不小于所述容量均值，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息；
若小于所述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点；
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新所述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，直至各所述可用异构网关节点均检测完成。
6.根据权利要求5所述的系统，其特征在于，所述中心管理节点还用于：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，所述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于所述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点；
若存在所述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点；
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
7.一种云存储系统，其特征在于，所述系统包括：
中心管理节点、多个异构网关节点、多个异构存储设备；所述中心管理节点与各个异构网关节点通信连接；每个所述异构网关节点加载至少一个异构存储设备；
每个所述异构网关节点，用于管理自身加载的异构存储设备的IO操作；将自身的设备加载信息发送给所述中心管理节点，其中，针对任一异构网关节点该异构网关节点的设备加载信息包括：该异构网关节点所加载的各个异构存储设备的标识；
所述中心管理节点，用于接收各所述异构网关节点发送的设备加载信息，根据各所述设备加载信息，更新所述中心管理节点本地存储中相应的异构网关节点当前加载的异构存储设备的记录；检测各所述异构网关节点的连接状态；在检测到连接状态异常的异常异构网关节点的情况下，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的异构存储设备，得到待迁移存储设备；在各可用异构网关节点中选取至少一个可用异构网关节点，得到目标可用异构网关节点；向所述目标可用异构网关节点发送表示加载所述待迁移存储设备的迁移消息；其中，所述可用异构网关节点为连接状态正常的异构网关节点；
每个所述异构网关节点，还用于当接收到所述迁移消息后，加载所述迁移消息对应的待迁移存储设备。
8.一种云存储系统管理方法，其特征在于，应用于中心管理节点，所述方法包括：
接收各异构网关节点发送卷维护信息，其中，针对任一异构网关节点该异构网关节点的卷加载信息包括：该异构网关节点所加载的各个虚拟存储卷的标识；
根据各所述卷加载信息，更新本地存储中相应的异构网关节点当前加载的虚拟存储卷的记录；
检测各所述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点；
根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷；
在各可用异构网关节点中选取作为所述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，其中，所述可用异构网关节点为连接状态正常的异构网关节点；
向所述目标可用异构网关节点发送表示加载所述待迁移虚拟存储卷的迁移消息，以使所述目标异构网关节点根据所述迁移消息加载所述迁移消息对应的待迁移虚拟存储卷。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
接收各所述异构网关节点按照预设间隔时长发送的表示自身可用的心跳信息；
根据所述心跳信息更新相应的异构网关节点的连接状态，其中，针对任一异构网关节点，当该异构网关节点的连接状态在第一预设时长内未更新过时，判定该异构网关节点的连接状态异常；针对任一异构网关节点，当该异构网关节点的连接状态在第二预设时长内更新过时，判定该异构网关节点的连接状态正常；所述第二预设时长不小于所述预设间隔时长，所述第一预设时长不小于所述第二预设时长。
10.根据权利要求8所述的方法，其特征在于，在所述检测各所述异构网关节点的连接状态，将连接状态异常的异构网关节点作为异常异构网关节点之后，所述方法还包括：
判断所述异常异构网关节点是否处于维护状态；
所述根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷，包括：
若所述异常异构网关节点不处于维护状态，根据所述本地存储的记录，确定所述异常异构网关节点当前加载的虚拟存储卷，得到待迁移虚拟存储卷。
11.根据权利要求8所述的方法，其特征在于，所述在各可用异构网关节点中选取作为所述待迁移虚拟存储卷的迁移目标的可用异构网关节点，得到目标可用异构网关节点，包括：
在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷；
判断是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点，所述容量均值为各所述可用异构网关节点的加载容量的均值，所述数量均值为各所述可用异构网关节点的加载数量的均值；针对任一可用异构网关节点，该可用异构网关节点的加载容量为该可用异构网关节点加载的虚拟存储卷的总容量，该可用异构网关节点的加载数量为该可用异构网关节点加载的虚拟存储卷的数量；
若存在所述第一可用异构网关节点，选取一个所述第一可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第一可用异构网关节点，判断是否存在第二可用异构网关节点，其中，所述第二可用异构网关节点为加载的虚拟存储卷的总容量小于所述容量均值、且加载的虚拟存储卷的数量不小于所述数量均值的可用异构网关节点；
若存在所述第二可用异构网关节点，选取一个所述第二可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
若不存在所述第二可用异构网关节点，选取一个可用异构网关节点作为当前选取的待迁移虚拟存储卷的迁移目标，得到目标可用异构网关节点；
向当前选取的目标可用异构网关节点发送表示加载当前选取的待迁移虚拟存储卷的迁移消息；
在收到当前选取的目标可用异构网关节点发送的表示迁移成功的消息后，更新当前选取的目标可用异构网关节点当前加载的虚拟存储卷；
在收到当前选取的目标可用异构网关节点发送的表示迁移失败的消息后，结束当前选取的待迁移虚拟存储卷的迁移；
返回执行上述步骤：在未选取迁移目标的待迁移虚拟存储卷中，选取一个待迁移虚拟存储卷，直至不存在未选取迁移目标的待迁移虚拟存储卷。
12.根据权利要求8所述的方法，其特征在于，所述方法还包括：
依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，其中，所述第一可用异构网关节点为加载的虚拟存储卷的总容量小于容量均值、且加载的虚拟存储卷的数量小于数量均值的可用异构网关节点；
当检测到第一可用异构网关节点，判断是否存在第三可用异构网关节点，其中，所述第三可用异构网关节点为加载的虚拟存储卷的总容量大于容量均值的可用异构网关节点；
若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷；
判断当前选取的第三可用异构网关节点迁移走当前选取的虚拟存储卷后，当前选取的第三可用异构网关节点加载的虚拟存储卷的总容量是否小于所述容量均值；
若不小于所述容量均值，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息；
若小于所述容量均值，判断当前选取的第三可用异构网关节点加载的虚拟存储卷是否均被选取过，若是则返回执行上述步骤：在当前选取的第三可用异构网关节点加载的未选取过的虚拟存储卷中选取一个虚拟存储卷，若否则判断是否存在未选取过的第三可用异构网关节点；
若存在未选取过的第三可用异构网关节点，返回执行上述步骤：若存在所述第三可用异构网关节点，在未选取过的第三可用异构网关节点中选取一个第三可用异构网关节点；
在接收到当前检测到的第一可用异构网关节点发送的表示迁移成功的消息后，更新所述本地存储中当前检测到的第一可用异构网关节点加载的虚拟存储卷；在接收到当前检测到的第一可用异构网关节点发送的表示迁移失败的消息后，结束针对当前检测到的第一可用异构网关节点的迁移操作；返回执行上述步骤：依次检测各所述可用异构网关节点中是否存在第一可用异构网关节点，直至各所述可用异构网关节点均检测完成。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
若不存在未选取过的第三可用异构网关节点，判断是否存在第四可用异构网关节点，其中，所述第四可用异构网关节点为加载的虚拟存储卷的总容量不大于所述容量均值、且加载的虚拟存储卷的数量大于数量均值的可用异构网关节点；
若存在所述第四可用异构网关节点，在未选取过的第四可用异构网关节点中选取一个第四可用异构网关节点；
在当前选取的第四可用异构网关节点加载的虚拟存储卷中选取一个虚拟存储卷，向所述第一可用异构网关节点发送表示加载当前选取的虚拟存储卷的迁移消息。
14.一种中心管理节点，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器存放的计算机程序时，实现权利要求8-13任一所述的方法。
CN202010942187.2A 2020-09-09 2020-09-09 云存储系统、云存储系统管理方法及中心管理节点 Active CN112073518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010942187.2A CN112073518B (zh) 2020-09-09 2020-09-09 云存储系统、云存储系统管理方法及中心管理节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010942187.2A CN112073518B (zh) 2020-09-09 2020-09-09 云存储系统、云存储系统管理方法及中心管理节点

Publications (2)

Publication Number Publication Date
CN112073518A true CN112073518A (zh) 2020-12-11
CN112073518B CN112073518B (zh) 2023-06-02

Family

ID=73664551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010942187.2A Active CN112073518B (zh) 2020-09-09 2020-09-09 云存储系统、云存储系统管理方法及中心管理节点

Country Status (1)

Country Link
CN (1) CN112073518B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328581A (zh) * 2020-12-30 2021-02-05 望海康信(北京)科技股份公司 ProxySQL自动运维系统、方法及相应设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544839A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 虚拟机迁移系统、方法及装置
CN109783196A (zh) * 2019-01-17 2019-05-21 新华三信息安全技术有限公司 一种虚拟机的迁移方法及装置
CN111209108A (zh) * 2019-12-26 2020-05-29 天津中科曙光存储科技有限公司 一种iSCSI的存储设备端负载均衡方法和装置
CN111339059A (zh) * 2020-03-25 2020-06-26 星辰天合（北京）数据科技有限公司 基于分布式存储系统Ceph的NAS存储系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544839A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 虚拟机迁移系统、方法及装置
CN109783196A (zh) * 2019-01-17 2019-05-21 新华三信息安全技术有限公司 一种虚拟机的迁移方法及装置
CN111209108A (zh) * 2019-12-26 2020-05-29 天津中科曙光存储科技有限公司 一种iSCSI的存储设备端负载均衡方法和装置
CN111339059A (zh) * 2020-03-25 2020-06-26 星辰天合（北京）数据科技有限公司 基于分布式存储系统Ceph的NAS存储系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328581A (zh) * 2020-12-30 2021-02-05 望海康信(北京)科技股份公司 ProxySQL自动运维系统、方法及相应设备和存储介质

Also Published As

Publication number Publication date
CN112073518B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN108683516B (zh) 一种应用实例的升级方法、装置和系统
JP4462969B2 (ja) フェイルオーバクラスタシステム及びフェイルオーバ方法
CN108023967B (zh) 一种数据平衡方法、装置及分布式存储系统中的管理设备
CN108696581B (zh) 分布式信息的缓存方法、装置、计算机设备以及存储介质
KR20120102664A (ko) 미래 사용 추정에 기반한 저장 메모리 할당
US8473676B2 (en) Controlling replication of data among storage devices
WO2018173164A1 (ja) データ処理システム
CN106095483A (zh) 服务的自动化部署方法及装置
US20090024768A1 (en) Connection management program, connection management method and information processing apparatus
CN110618889A (zh) 服务可用性的探测方法、装置、计算机设备和存储介质
CN112839076A (zh) 数据存储、读取方法、网关、电子设备及存储介质
CN112073518B (zh) 云存储系统、云存储系统管理方法及中心管理节点
CN111562884A (zh) 一种数据存储方法、装置及电子设备
CN108509296B (zh) 一种处理设备故障的方法和系统
CN113810216A (zh) 一种集群的故障切换方法、装置及电子设备
CN111291021A (zh) 一种数据库管理方法、装置、电子设备及存储介质
CN108156203B (zh) 一种存储系统及存储节点管理方法
CN106792843B (zh) 一种设备管理方法及装置
CN105657014A (zh) 一种负载均衡方法、系统及装置
CN111629054B (zh) 消息处理方法、装置、系统、电子设备及可读存储介质
CN115604294A (zh) 一种管理存储资源的方法及装置
CN112367412B (zh) 一种基于物联网的设备连接管理方法及装置
CN112468590B (zh) 一种存储资源挂载方法和装置
EP3884648B1 (en) Geo-replicated iot hub
CN114296909A (zh) 一种根据kubernetes事件的节点自动扩容缩容方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant