CN112087517B - 存储集群的处理方法及处理装置、电子设备 - Google Patents
存储集群的处理方法及处理装置、电子设备 Download PDFInfo
- Publication number
- CN112087517B CN112087517B CN202010948806.9A CN202010948806A CN112087517B CN 112087517 B CN112087517 B CN 112087517B CN 202010948806 A CN202010948806 A CN 202010948806A CN 112087517 B CN112087517 B CN 112087517B
- Authority
- CN
- China
- Prior art keywords
- cluster
- storage
- preset
- monitoring
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 title claims description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 39
- 239000003818 cinder Substances 0.000 description 6
- 238000013500 data storage Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013212 metal-organic material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种存储集群的处理方法及处理装置、电子设备。其中，该方法包括：获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；将集群标识和监控节点信息发送至预设平台插件；控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群；控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。本发明解决了大规模存储集群下由于管理中心设置数量较多，无法保证管理稳定性的技术问题。
Description
技术领域
本发明涉及数据存储领域，具体而言，涉及一种存储集群的处理方法及处理装置、电子设备。
背景技术
相关技术中，在数据存储方面，云计算平台和存储集群的应用越来越广泛，存储集群的规模越来越大，比如超过1000个OSD以上的数据存储集群，为了监控各个存储集群，设置了MON（提供集群存储数据的监控服务）来进行监控，当存储集群数量较多时，MON压力是非常大的，MOM之间同步数据量也非常大，对集群性能和稳定性带来了巨大的挑战。
如果把云计算平台拆分成多个集群，各个集群要分别设置一个管理中心和监控中心，实现集群分别管理，但是这种方式大大增加了运维的复杂性，且管理中心较多，管理不便利，有的客户端应用没法同时支持多个计算集群。
另外，大规模集群对性能和稳定性带来巨大挑战，如果拆分成多个计算平台，增加了运维的复杂性以及有的应用没法支持。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种存储集群的处理方法及处理装置、电子设备，以至少解决大规模存储集群下由于管理中心设置数量较多，无法保证管理稳定性的技术问题。
根据本发明实施例的一个方面，提供了一种存储集群的处理方法，应用于云计算管理平台OpenStack，所述云计算管理平台OpenStack支持多套存储集群，在所述云计算管理平台OpenStack客户端设置预设平台插件，所述处理方法包括：获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；将所述集群标识和所述监控节点信息发送至所述预设平台插件；控制所述预设平台插件基于所述集群标识和监控节点信息，查询目标存储集群；控制所述预设平台插件将目标IO文件下发至所述目标存储集群，其中，所述目标IO文件为预设存储集群转发至所述目标存储集群的文件。
可选地，获取集群标识和监控节点信息的步骤，包括：确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，所述预设存储块为所述云计算管理平台OpenStack调用的存储块；调用所述预设接口函数获取所述存储集群的集群标识和数据监控字段，其中，所述数据监控字段至少包括：监控IP地址和监控接口；基于所述数据监控字段，从预设监控信息表中提取所述监控节点信息。
可选地，所述处理方法还包括：根据每个所述存储集群的集群配置文件生成集群参数表，其中，所述集群参数表包括多个集群数组，每个所述集群数组至少包括：集群标识和监控节点信息。
可选地，在将所述集群标识和所述监控节点信息发送至所述预设平台插件之后，所述处理方法还包括：若基于所述集群标识和监控节点信息未查询出目标存储集群，则新建一个存储集群，得到新建集群；将所述集群标识与所述新建集群建立关联关系。
可选地，在将所述集群标识与所述新建集群建立关联关系之后，所述处理方法还包括：基于所述新建集群、所述集群标识和所述关联关系更新集群参数表。
根据本发明实施例的另一方面，还提供了一种存储集群的处理装置，应用于云计算管理平台OpenStack，所述云计算管理平台OpenStack支持多套存储集群，在所述云计算管理平台OpenStack客户端设置预设平台插件，所述处理装置包括：获取单元，用于获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；发送单元，用于将所述集群标识和所述监控节点信息发送至所述预设平台插件；第一控制单元，用于控制所述预设平台插件基于所述集群标识和监控节点信息，查询目标存储集群；第二控制单元，用于控制所述预设平台插件将目标IO文件下发至所述目标存储集群，其中，所述目标IO文件为预设存储集群转发至所述目标存储集群的文件。
可选地，所述获取单元包括：第一确定模块，用于确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，所述预设存储块为所述云计算管理平台OpenStack调用的存储块；第一调用模块，用于调用所述预设接口函数获取所述存储集群的集群标识和数据监控字段，其中，所述数据监控字段至少包括：监控IP地址和监控接口；提取模块，用于基于所述数据监控字段，从预设监控信息表中提取所述监控节点信息。
可选地，所述处理装置还包括：生成单元，用于根据每个所述存储集群的集群配置文件生成集群参数表，其中，所述集群参数表包括多个集群数组，每个所述集群数组至少包括：集群标识和监控节点信息。
可选地，在将所述集群标识和所述监控节点信息发送至所述预设平台插件之后，所述处理方法还包括：若基于所述集群标识和监控节点信息未查询出目标存储集群，则新建一个存储集群，得到新建集群；将所述集群标识与所述新建集群建立关联关系。
可选地，在将所述集群标识与所述新建集群建立关联关系之后，还包括：基于所述新建集群、所述集群标识和所述关联关系更新集群参数表。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的存储集群的处理方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的存储集群的处理方法。
本发明实施例中，获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控，将集群标识和监控节点信息发送至预设平台插件，控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群，控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。在该实施例中，云计算管理平台OpenStack支持多套存储集群，通过平台插件实现所有的文件下发功能和状态更新功能，能够实现一套OpenStack集群下同时支持多套存储集群，无需为每个存储集群单独设置管理中心，降低监控服务MON的压力，保证管理稳定性，从而解决大规模存储集群下由于管理中心设置数量较多，无法保证管理稳定性的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的存储集群的处理方法的流程图；
图2是根据本发明实施例的一种可选的存储集群的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或者名词做出解释：
OpenStack，是一个开源的云计算管理平台项目，是一系列软件开源项目的组合。OpenStack为私有云和公有云提供可扩展的弹性的云计算服务。
OpenStack多集群，在一套OpenStack集群中，同时支持多套存储集群。
FSID，File system ID，可理解为文件系统ID或者集群ID。
Cinder，OpenStack的存储服务，通过调用不同存储后端类型的驱动接口来管理相对应的后端存储，为用户提供统一的卷相关操作的存储接口。提供包括卷的创建、删除、快照、克隆、备份等管理服务。
Nova，OpenStack的计算服务，提供包括虚机实例（instances）生命周期的所有活动的管理接口，包括虚机创建、删除、挂载磁盘、迁移等操作。
Glance，OpenStack的镜像管理服务，提供包括镜像上传、下载、创建、删除等接口，后端支持ceph、cinder、s3、sheepdog等系统作为后端存储。
MON，是指用于提供集群存储数据的监控服务，为保证集群数据监控功能高可用，可设置多个监控节点，并且保证至少一半（不含）以上（即n+1）的MON服务可用。
XDC，内置于Openstack计算端的平台插件，主要用于IO转发和集群数据更新。
实施例一
根据本发明实施例，提供了一种存储集群的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施提供的存储集群的处理方法，可应用于云计算管理平台OpenStack，云计算管理平台OpenStack支持多套存储集群，在云计算管理平台OpenStack客户端设置预设平台插件。
图1是根据本发明实施例的一种可选的存储集群的处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；
步骤S104，将集群标识和监控节点信息发送至预设平台插件；
步骤S106，控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群；
步骤S108，控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。
通过上述步骤，可以获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控，将集群标识和监控节点信息发送至预设平台插件，控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群，控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。在该实施例中，云计算管理平台OpenStack支持多套存储集群，通过平台插件实现所有的文件下发功能和状态更新功能，能够实现一套OpenStack集群下同时支持多套存储集群，无需为每个存储集群单独设置管理中心，降低监控服务MON的压力，保证管理稳定性，从而解决大规模存储集群下由于管理中心设置数量较多，无法保证管理稳定性的技术问题。
本发明实施例中，OpenStack存储组件Cinder支持多后端存储，对接存储集群系统时（例如，Ceph系统）时可以配置多个不同的存储集群/存储池pool，同时可以指定该pool的配置文件，这样Cinder在操作卷的时候根据配置文件连接到不同的存储集群，操作多个存储集群中的卷。Nova的多后端，可以使用cinder创建的卷实现后端多集群。
本发明实施例中，设置Openstack的计算服务Nova、存储服务Cinder、镜像管理服务Glance与librbd（存储块的端口库）对接，该librbd能够在接收到与平台插件XDC连接，平台插件XDC可以对接多个存储集群（例如，XCBS集群、Ceph集群，集群类型在此并不限定），平台插件XDC可以根据查询到集群标识下发IO文件至对应的存储集群。
下面结合上述各步骤来详细说明本发明。
步骤S102，获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控。
可选的，获取集群标识和监控节点信息的步骤，包括：确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，预设存储块为云计算管理平台OpenStack调用的存储块；调用预设接口函数获取存储集群的集群标识和数据监控字段，其中，数据监控字段至少包括：监控IP地址和监控接口；基于数据监控字段，从预设监控信息表中提取监控节点信息。
在确定预设接口函数时，可以通过Openstack调用librbd下发的目标IO文件的上下文的预设接口函数。该预设接口函数可以依据平台插件、云计算管理平台Openstack、客户端类型自行设置，例如，预设接口函数为IoCtx，实现对IO文件的函数控制，并确定控制结构。
通过Openstack调用librbd下发的io上下文IoCtx获取存储集群的集群标识和监控节点。本发明实施例中，可以使用fsid指示集群标识，使用mon_hosts指示监控节点。
在具体获取集群标识和监控节点时，可以先转化IoCtx的类型，调用radosClient接口（存储集群系统的接口函数）的mon_command方法获取监控IP和监控接口mon.ip/port。IoCtx是类，通过to_rados_ioctx_t方法转成rados_ioctx_t，再调用mon_command()方法，执行mon dump方法，以从监控信息表中提取出监控节点，解析结果获取fsid和mon_hosts。
步骤S104，将集群标识和监控节点信息发送至预设平台插件。
可选的，librbd proxy的命令接口参数在xdc_rbd_proxy文件中以json形式字符串通过socket下发给预设平台插件XDC，通过命令接口参数字段需要增加集群标识fsid和监控节点mon_hosts两个字段参数，要求mon_hosts参数可以改变传递的参数的个数。两个字段参数的数据结构可以如下所示：
步骤S106，控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群。
步骤S108，控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。
通过预设平台插件实现IO文件的集群下发功能，无需设置多个管理中心，通过该插件能够查询集群标识对应的存储集群在哪儿，从而准确下发IO文件给对应的目标存储集群。
另外，本发明实施例中的预设平台插件还可以实现集群标识、监控节点和集群参数表的维护和更新。
在预设平台插件的内部，可以根据默认的系统配置文件（例如，/etc/ceph/ceph.conf）调用rados接口生成一个集群参数表cluster，cluster中包含了mon_host、fsid等集群参数，g_cluster在预设平台插件XDC内部是一个全局变量,在xdcd启动时时候初始化，大部分需要cluster的接口都会复用g_cluster，避免每一个需要cluster的命令都新建cluster。
可选的，处理方法还包括：根据每个存储集群的集群配置文件生成集群参数表，其中，集群参数表包括多个集群数组，每个集群数组至少包括：集群标识和监控节点信息。
在本发明实施例中，在将集群标识和监控节点信息发送至预设平台插件之后，处理方法还包括：若基于集群标识和监控节点信息未查询出目标存储集群，则新建一个存储集群，得到新建集群；将集群标识与新建集群建立关联关系。
另一种可选的，在将集群标识与新建集群建立关联关系之后，处理方法还包括：基于新建集群、集群标识和关联关系更新集群参数表。
在维护预设平台插件XDC中的fsid/mon_hosts/g_clusters时，可以在所用使用gcluster的地方，函数参数中需要出入由librbd传递的cluster_info参数，该参数中包含fsid均需要遍历glusters数组，从中根据fsid选出合适的gcluster，如果该gcluster不存在，则需要新加gcluster到gclusters数组中。
通过本发明实施例，可以通过在OpenStack的客户端装一个预设平台插件XDC，劫持客户端发给不同存储集群的IO文件，预设平台插件XDC获取并维护不同集群的集群标识和监控节点，以支持多个存储集群。通过拆分多个集群，降低MON压力，提升存储集群性能和稳定性，支持多个集群，可异构不同的ceph集群，无缝新增其他集群，无需改动现有集群。
实施例
图2是根据本发明实施例的一种可选的存储集群的处理装置的示意图，应用于云计算管理平台OpenStack，云计算管理平台OpenStack支持多套存储集群，在云计算管理平台OpenStack客户端设置预设平台插件，如图2所示，该处理装置包括：获取单元21，发送单元23，第一控制单元25，第二控制单元27，其中，
获取单元21，用于获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；
发送单元23，用于将集群标识和监控节点信息发送至预设平台插件；
第一控制单元25，用于控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群；
第二控制单元27，用于控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。
上述存储集群的处理装置，可以通过获取单元21获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控，通过发送单元23将集群标识和监控节点信息发送至预设平台插件，通过第一控制单元25控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群，通过第二控制单元27控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。在该实施例中，云计算管理平台OpenStack支持多套存储集群，通过平台插件实现所有的文件下发功能和状态更新功能，能够实现一套OpenStack集群下同时支持多套存储集群，无需为每个存储集群单独设置管理中心，降低监控服务MON的压力，保证管理稳定性，从而解决大规模存储集群下由于管理中心设置数量较多，无法保证管理稳定性的技术问题。
可选的，获取单元包括：第一确定模块，用于确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，预设存储块为云计算管理平台OpenStack调用的存储块；第一调用模块，用于调用预设接口函数获取存储集群的集群标识和数据监控字段，其中，数据监控字段至少包括：监控IP地址和监控接口；提取模块，用于基于数据监控字段，从预设监控信息表中提取监控节点信息。
另一种可选的，处理装置还包括：生成单元，用于根据每个存储集群的集群配置文件生成集群参数表，其中，集群参数表包括多个集群数组，每个集群数组至少包括：集群标识和监控节点信息。
可选的，在将集群标识和监控节点信息发送至预设平台插件之后，处理方法还包括：若基于集群标识和监控节点信息未查询出目标存储集群，则新建一个存储集群，得到新建集群；将集群标识与新建集群建立关联关系。
在本发明实施例中，在将集群标识与新建集群建立关联关系之后，处理方法还包括：基于新建集群、集群标识和关联关系更新集群参数表。
上述的存储集群的处理装置还可以包括处理器和存储器，上述获取单元21，发送单元23，第一控制单元25，第二控制单元27等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来控制预设平台插件将目标IO文件下发至目标存储集群。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的存储集群的处理方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的存储集群的处理方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；将集群标识和监控节点信息发送至预设平台插件；控制预设平台插件基于集群标识和监控节点信息，查询目标存储集群；控制预设平台插件将目标IO文件下发至目标存储集群，其中，目标IO文件为预设存储集群转发至目标存储集群的文件。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种存储集群的处理方法，其特征在于，应用于云计算管理平台OpenStack，所述云计算管理平台OpenStack支持多套存储集群，在所述云计算管理平台OpenStack客户端设置预设平台插件，所述处理方法包括：
获取集群标识和监控节点信息, 包括：确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，所述预设存储块为所述云计算管理平台OpenStack调用的存储块；调用所述预设接口函数获取所述存储集群的集群标识和数据监控字段，其中，所述数据监控字段至少包括：监控IP地址和监控接口；基于所述数据监控字段，从预设监控信息表中提取所述监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；
将所述集群标识和所述监控节点信息发送至所述预设平台插件；
控制所述预设平台插件基于所述集群标识和监控节点信息，查询目标存储集群；
控制所述预设平台插件将目标IO文件下发至所述目标存储集群，其中，所述目标IO文件为预设存储集群转发至所述目标存储集群的文件;
若基于所述集群标识和监控节点信息未查询出目标存储集群，则新建一个存储集群，得到新建集群；将所述集群标识与所述新建集群建立关联关系;基于所述新建集群、所述集群标识和所述关联关系更新集群参数表。
2.根据权利要求1所述的处理方法，其特征在于，所述处理方法还包括：
根据每个所述存储集群的集群配置文件生成集群参数表，其中，所述集群参数表包括多个集群数组，每个所述集群数组至少包括：集群标识和监控节点信息。
3.一种存储集群的处理装置，其特征在于，应用于云计算管理平台OpenStack，所述云计算管理平台OpenStack支持多套存储集群，在所述云计算管理平台OpenStack客户端设置预设平台插件，所述处理装置包括：
获取单元，用于获取集群标识和监控节点信息，其中，监控节点用于对存储集群的存储数据进行状态监控；所述获取单元包括：第一确定模块，用于确定预设存储块在下发目标IO文件时使用的预设接口函数，其中，所述预设存储块为所述云计算管理平台OpenStack调用的存储块；第一调用模块，用于调用所述预设接口函数获取所述存储集群的集群标识和数据监控字段，其中，所述数据监控字段至少包括：监控IP地址和监控接口；提取模块，用于基于所述数据监控字段，从预设监控信息表中提取所述监控节点信息;
发送单元，用于将所述集群标识和所述监控节点信息发送至所述预设平台插件；
第一控制单元，用于控制所述预设平台插件基于所述集群标识和监控节点信息，查询目标存储集群；
第二控制单元，用于控制所述预设平台插件将目标IO文件下发至所述目标存储集群，其中，所述目标IO文件为预设存储集群转发至所述目标存储集群的文件;
若基于所述集群标识和监控节点未查询出目标存储集群，则新建一个存储集群，得到新建集群；将所述集群标识与所述新建集群建立关联关系;基于所述新建集群、所述集群标识和所述关联关系更新集群参数表。
4.根据权利要求3所述的处理装置，其特征在于，所述处理装置还包括：
生成单元，用于根据每个所述存储集群的集群配置文件生成集群参数表，其中，所述集群参数表包括多个集群数组，每个所述集群数组至少包括：集群标识和监控节点信息。
5.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至2中任意一项所述的存储集群的处理方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至2中任意一项所述的存储集群的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010948806.9A CN112087517B (zh) | 2020-09-10 | 2020-09-10 | 存储集群的处理方法及处理装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010948806.9A CN112087517B (zh) | 2020-09-10 | 2020-09-10 | 存储集群的处理方法及处理装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112087517A CN112087517A (zh) | 2020-12-15 |
| CN112087517B true CN112087517B (zh) | 2023-10-27 |
Family
ID=73736901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010948806.9A Active CN112087517B (zh) | 2020-09-10 | 2020-09-10 | 存储集群的处理方法及处理装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112087517B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156359A (zh) * | 2016-07-28 | 2016-11-23 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据同步更新方法 |
| CN111464622A (zh) * | 2020-03-30 | 2020-07-28 | 星辰天合（北京）数据科技有限公司 | 分布式存储系统中的卷映射处理方法及装置 |
| CN112291367A (zh) * | 2020-11-17 | 2021-01-29 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10333784B2 (en) * | 2015-06-30 | 2019-06-25 | International Business Machines Corporation | Cloud system order and configuration using customized templates |
-
2020
- 2020-09-10 CN CN202010948806.9A patent/CN112087517B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106156359A (zh) * | 2016-07-28 | 2016-11-23 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据同步更新方法 |
| CN111464622A (zh) * | 2020-03-30 | 2020-07-28 | 星辰天合（北京）数据科技有限公司 | 分布式存储系统中的卷映射处理方法及装置 |
| CN112291367A (zh) * | 2020-11-17 | 2021-01-29 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112087517A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11310122B2 (en) | Portable and flexible deployment of servers | |
| CN107800565B (zh) | 巡检方法、装置、系统、计算机设备和存储介质 | |
| US11886707B2 (en) | Dataset space reclamation | |
| CN102591679B (zh) | 一种集群系统应用软件快速部署方法 | |
| US11575592B2 (en) | Message processing method and apparatus, control-plane device, and computer storage medium | |
| CN109714188B (zh) | 基于Zookeeper的配置数据管理方法、设备和存储介质 | |
| CN109085999B (zh) | 数据处理方法及处理系统 | |
| CN112860479A (zh) | 存储数据的方法及云数据中心 | |
| CN106713493B (zh) | 一种在计算机集群环境中构建分布式文件系统及方法 | |
| CN111538625B (zh) | 基于Docker技术的Ambari集群部署、数据备份方法及电子设备 | |
| CN108809733B (zh) | 一种多节点部署对接OpenStack云管理平台的系统 | |
| JP2009237826A (ja) | ストレージシステム及びそのボリューム管理方法 | |
| CN111124603A (zh) | 一种cd-rom挂载方法、装置以及相关设备 | |
| US11474910B2 (en) | Method, device and computer program product to backup data | |
| CN106686117B (zh) | 一种分布式计算集群的数据存储处理系统及方法 | |
| CN104601666A (zh) | 日志服务方法及云平台 | |
| CN111786810A (zh) | 一种大规模测试床节点的自动化部署方法及系统 | |
| US9898273B1 (en) | Dynamically updating APIS based on updated configuration file of a computing system | |
| CN111371891A (zh) | 业务处理方法、装置、设备及存储介质 | |
| CN112087517B (zh) | 存储集群的处理方法及处理装置、电子设备 | |
| US10592221B2 (en) | Parallel distribution of application services to virtual nodes | |
| CN110798358B (zh) | 分布式服务标识方法、装置、计算机可读介质及电子设备 | |
| US20150227537A1 (en) | Non-uniform file access in a distributed file system | |
| US20050234961A1 (en) | Systems and Methods for providing a proxy for a shared file system | |
| CN106789198B (zh) | 一种计算节点管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd. Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing Applicant before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |