CN114697325A - 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置 - Google Patents

一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置 Download PDF

Info

Publication number
CN114697325A
CN114697325A CN202210251524.2A CN202210251524A CN114697325A CN 114697325 A CN114697325 A CN 114697325A CN 202210251524 A CN202210251524 A CN 202210251524A CN 114697325 A CN114697325 A CN 114697325A
Authority
CN
China
Prior art keywords
cache
equipment
information
file
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210251524.2A
Other languages
English (en)
Inventor
冯建奎
李凯
李超
高传集
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202210251524.2A priority Critical patent/CN114697325A/zh
Publication of CN114697325A publication Critical patent/CN114697325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Abstract

本发明提供了一种集群虚拟化资源管理平台缓存设备的自动化部署方法，包括以下步骤：定时检索设备信息，存储设备信息文件中包含存储设备列表，查询configMap文件获取各工作节点的存储设备信息，控制组件根据diskCacheCluster创建缓存，实时监控节点的设备信息，接收来自控制组件的执行命令。本发明提出的集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置由控制模块、设备检索模块、执行模块及监控告警模块组成，各模块的主要功能及模块之间的交互实现了存储设备缓存的自动部署及运维功能，提高集群虚拟化资源管理平台缓存设备的管理效率。

Description

一种集群虚拟化资源管理平台缓存设备的自动化部署方法及 运维装置
技术领域
本发明涉及云计算缓存设备技术领域，具体为一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置。
背景技术
集群虚拟化资源管理平台，是一种基于虚拟化技术及容器技术统一管理数据中心内所有的存储资源、计算资源、网络资源等的开源平台，具有可移植、易扩展等特点。用户可借助集群虚拟化资源管理平台获取存储资源、计算力以及各种软件服务。存储资源是集群虚拟化管理系统不可或缺的一部分，其提供的存储性能对用户业务有着极大地影响。
存储设备的性能主要受存储介质的影响，存储介质如SATA、SSD 等。SATA的存储效率相较于SSD较低，但成本低，适用于大容量存储，但是其较低的存储性能往往不能被用户接受。SSD拥有较高的存储性能，但是市场价格较高，给用户带来了较高的成本。如何以较低的成本提供高效的存储方案是存储方案提供商面临的重要问题。目前，缓存技术是一种提高低性能存储介质存储性能的主流方式。缓存技术主要包括内存缓存、硬盘缓存、数据库缓存等，内存缓存使用服务器的内存作为存储设备的缓存，用户的数据会优先存储到内存中，当内存使用量达到阈值时，内存中的数据将会刷新到目标存储设备中，此时内存被释放。这种技术具有较高的存储性能，但是服务器的内存容量较少，且不具有持久性，大大限制了内存技术的推广。硬盘缓存是将高性能存储介质作为低性能存储介质的缓存，用户数据会优先存储到高性能存储介质中，再根据数据迁移策略将高性能存储介质中的数据迁移至低性能存储介质。硬盘缓存可持久性、高存取性能的特点使其被存储方案提供商广泛使用。
目前，虚拟化资源管理平台的存储设备创建缓存需要人工干预，尤其是存储集群较大时，人工管理缓存设备将带来较大的人工成本和较低的管理效率。
发明内容
本发明的目的在于提供一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置，包括以下步骤：
定时检索设备信息，并生成/更新存储设备信息文件，使用 configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息；
查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件；
控制组件根据diskCacheCluster创建缓存的流程如下：
1)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
②、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
②、如否，则跳转至步骤5)；
5)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
6)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
②、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
②、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
②、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
②、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
②、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)；
实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件；
接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
优选的，设备信息中主要包含存储设备的盘符、是否存在子设备，容量、设备类型等。
优选的，配置文件以自定义资源的形式进行配置，CRD指CustomResourceDefinitions,用户资源自定义，是kubernetes功能扩展的一种机制，用户通过创建CRD向kubernetes API中增加新资源类型，不再需要通过修改kubernetes的源码来创建自定义的API server，控制组件将会基于CRD创建自定义资源，即CR指CustomResource,用户资源,名称为diskCacheCluster，用来对设备增加/删除缓存，作为控制器的配置文件，其主要包括节点名称、节点中的盘符、设备容量、缓存设备盘符、执行命令、告警信息等；执行命令包括创建缓存、删除缓存等。
优选的，告警信息的处理流程为：
1)查询本节点相关的告警文件的状态，若状态不为处理中，则跳转至步骤2)，否则等待；
2)查询diskCacheCluster，获取其中的节点列表中本节点的设备列表；
3)遍历设备列表；
4)查询目标设备是否存在：
①、若是，则执行步骤4)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
5)查询缓存设备是否存在：
①、若是，则执行步骤5)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
6)查询缓存设备是否绑定在目标设备上
①、若是，则执行步骤2)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
7)监控组件获取到告警信息，更新告警文件的状态为处理中；
8)解析告警信息，查询策略列表；
9)根据策略查询结果修改diskCacheCluster中对应目标设备的执行命令；
10)获取节点详情，发送执行命令；
11)执行组件根据执行命令为目标设备创建或清除缓存；
12)更新告警文件为完成。
一种集群虚拟化资源管理平台缓存设备的自动化运维装置，包括：设备检索模块、设备信息存储模块、控制模块、缓存创建模块、监控告警模块以及执行模块；
设备检索模块定时检索节点上的设备信息存储模块信息，并将设备信息存储模块信息以配置文件的形式发送至控制模块；控制模块接收到设备信息存储模块信息后，向执行模块件发送创建缓存命令；监控告警模块定时检测缓存状态，并将异常信息发送至控制模块；控制模块接收到告警信息后，查询策略列表，将查询结果发送至执行模块；执行模块收到执行命令后，创建/删除缓存
优选的，所述设备检索模块用于定时检索设备信息，并生成/更新存储设备信息文件，使用configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
设备信息存储模块用于存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息。
优选的，所述控制模块用于查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件。
优选的，所述缓存创建模块用于控制组件根据diskCacheCluster 创建缓存的流程如下：
2)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
③、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
③、如否，则跳转至步骤5)；
7)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
8)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
③、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
③、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
③、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
③、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
③、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
③、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
③、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)。
优选的，所述监控告警模块用于实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为 monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件。
优选的，所述执行模块用于接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
与现有技术相比，本发明的有益效果是：
本发明提出的集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置由控制模块、设备检索模块、执行模块及监控告警模块组成，各模块的主要功能及模块之间的交互实现了存储设备缓存的自动部署及运维功能，提高集群虚拟化资源管理平台缓存设备的管理效率。
附图说明
图1为本发明系统框图；
图2为本发明控制模块创建缓存的流程图；
图3为本发明控制模块处理告警信息的流程图；
图4为本发明策略列表图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“中”、“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是，对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。
请参阅图1至图4，本发明提供一种技术方案：一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置，包括以下步骤：
定时检索设备信息，并生成/更新存储设备信息文件，使用 configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息；设备信息中主要包含存储设备的盘符、是否存在子设备，容量、设备类型等；
查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件；配置文件以自定义资源的形式进行配置，CRD指 CustomResourceDefinitions,用户资源自定义，是kubernetes功能扩展的一种机制，用户通过创建CRD向kubernetes API中增加新资源类型，不再需要通过修改kubernetes的源码来创建自定义的API server，控制组件将会基于CRD创建自定义资源，即CR指CustomResource,用户资源,名称为diskCacheCluster，用来对设备增加/删除缓存，作为控制器的配置文件，其主要包括节点名称、节点中的盘符、设备容量、缓存设备盘符、执行命令、告警信息等；执行命令包括创建缓存、删除缓存等；
控制组件根据diskCacheCluster创建缓存的流程如下：
1)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
②、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
②、如否，则跳转至步骤5)；
5)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
6)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
②、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
②、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
②、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
②、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
②、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)；
实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件；告警信息的处理流程为：
1)查询本节点相关的告警文件的状态，若状态不为处理中，则跳转至步骤2)，否则等待；
2)查询diskCacheCluster，获取其中的节点列表中本节点的设备列表；
3)遍历设备列表；
4)查询目标设备是否存在：
①、若是，则执行步骤4)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
5)查询缓存设备是否存在：
①、若是，则执行步骤5)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
6)查询缓存设备是否绑定在目标设备上
①、若是，则执行步骤2)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
7)监控组件获取到告警信息，更新告警文件的状态为处理中；
8)解析告警信息，查询策略列表；
9)根据策略查询结果修改diskCacheCluster中对应目标设备的执行命令；
10)获取节点详情，发送执行命令；
11)执行组件根据执行命令为目标设备创建或清除缓存；
12)更新告警文件为完成；
接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
一种集群虚拟化资源管理平台缓存设备的自动化运维装置，包括：设备检索模块、设备信息存储模块、控制模块、缓存创建模块、监控告警模块以及执行模块；
设备检索模块定时检索节点上的设备信息存储模块信息，并将设备信息存储模块信息以配置文件的形式发送至控制模块；控制模块接收到设备信息存储模块信息后，向执行模块件发送创建缓存命令；监控告警模块定时检测缓存状态，并将异常信息发送至控制模块；控制模块接收到告警信息后，查询策略列表，将查询结果发送至执行模块；执行模块收到执行命令后，创建/删除缓存
设备检索模块用于定时检索设备信息，并生成/更新存储设备信息文件，使用configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
设备信息存储模块用于存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息。
所述控制模块用于查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件。
所述缓存创建模块用于控制组件根据diskCacheCluster创建缓存的流程如下：
3)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
④、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
④、如否，则跳转至步骤5)；
9)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
10)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
④、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
④、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
④、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
④、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
④、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
④、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
④、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)。
监控告警模块用于实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件。
执行模块用于接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置，其特征在于，包括以下步骤：
定时检索设备信息，并生成/更新存储设备信息文件，使用configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息；
查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件；
控制组件根据diskCacheCluster创建缓存的流程如下：
1)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
②、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
②、如否，则跳转至步骤5)；
5)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
6)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
②、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
②、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
②、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
②、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
②、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)；
实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件；
接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
2.根据权利要求1所述的一种集群虚拟化资源管理平台缓存设备的自动化部署方法，其特征在于：设备信息中主要包含存储设备的盘符、是否存在子设备，容量、设备类型等。
3.根据权利要求1所述的一种集群虚拟化资源管理平台缓存设备的自动化部署方法，其特征在于：配置文件以自定义资源的形式进行配置，CRD指CustomResourceDefinitions,用户资源自定义，是kubernetes功能扩展的一种机制，用户通过创建CRD向kubernetes API中增加新资源类型，不再需要通过修改kubernetes的源码来创建自定义的API server，控制组件将会基于CRD创建自定义资源，即CR指CustomResource,用户资源,名称为diskCacheCluster，用来对设备增加/删除缓存，作为控制器的配置文件，其主要包括节点名称、节点中的盘符、设备容量、缓存设备盘符、执行命令、告警信息等；执行命令包括创建缓存、删除缓存等。
4.根据权利要求1所述的一种集群虚拟化资源管理平台缓存设备的自动化部署方法，其特征在于：告警信息的处理流程为：
1)查询本节点相关的告警文件的状态，若状态不为处理中，则跳转至步骤2)，否则等待；
2)查询diskCacheCluster，获取其中的节点列表中本节点的设备列表；
3)遍历设备列表；
4)查询目标设备是否存在：
①、若是，则执行步骤4)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
5)查询缓存设备是否存在：
①、若是，则执行步骤5)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
6)查询缓存设备是否绑定在目标设备上
①、若是，则执行步骤2)；
②、如否，产生告警信息，更新告警文件，跳转至步骤6)；
7)监控组件获取到告警信息，更新告警文件的状态为处理中；
8)解析告警信息，查询策略列表；
9)根据策略查询结果修改diskCacheCluster中对应目标设备的执行命令；
10)获取节点详情，发送执行命令；
11)执行组件根据执行命令为目标设备创建或清除缓存；
12)更新告警文件为完成。
5.一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：包括：设备检索模块、设备信息存储模块、控制模块、缓存创建模块、监控告警模块以及执行模块；
设备检索模块定时检索节点上的设备信息存储模块信息，并将设备信息存储模块信息以配置文件的形式发送至控制模块；控制模块接收到设备信息存储模块信息后，向执行模块件发送创建缓存命令；监控告警模块定时检测缓存状态，并将异常信息发送至控制模块；控制模块接收到告警信息后，查询策略列表，将查询结果发送至执行模块；执行模块收到执行命令后，创建/删除缓存。
6.根据权利要求5所述的一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：所述设备检索模块用于定时检索设备信息，并生成/更新存储设备信息文件，使用configMap存储设备信息文件，工作节点名称和设备检索组件名称的组合可以用来作为configMap的名称；
设备信息存储模块用于存储设备信息文件中包含存储设备列表，列表中的每个元素使用字典格式，对应一个存储设备的设备信息。
7.根据权利要求5所述的一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：所述控制模块用于查询configMap文件获取各工作节点的存储设备信息，并且与配置文件中的存储设备信息相比较，过滤掉配置文件中不存在或不满足要求的存储设备，将满足要求的存储设备信息及相关的执行命令发送到执行组件。
8.根据权利要求5所述的一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：所述缓存创建模块用于控制组件根据diskCacheCluster创建缓存的流程如下：
1)查询diskCacheCluster，获取其中的节点列表；
2)获取有效节点，节点状态为ready，生成有效节点列表；
3)遍历diskCacheCluster的节点列表，遍历是否结束：
①、若是，结束；
②、若否，则跳转至步骤4)；
4)有效节点中是否存在目标节点：
①、若是，则执行步骤6)；
②、如否，则跳转至步骤5)；
5)删除diskCacheCluster中目标节点信息，跳转至步骤3)；
6)获取设备检索组件生成的配置文件；
7)遍历diskCacheCluster中目标节点的设备列表，遍历是否结束；
①、若是，则执行步骤15)；
②、如否，则跳转至步骤8)；
8)遍历配置文件中的设备列表，遍历是否结束：
①、若是，则执行步骤7)；
②、如否，则跳转至步骤9)；
9)目标设备是否存在：
①、若是，则执行步骤10)；
②、如否，则跳转至步骤14)；
10)目标设备是否存在分区；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤11)；
11)目标设备容量是否符合要求；
①、若是，则执行步骤12)；
②、如否，则跳转至步骤14)；
12)缓存设备是否存在；
①、若是，则执行步骤13)；
②、如否，则跳转至步骤14)；
13)缓存设备类型是否与目标设备一致；
①、若是，则执行步骤14)；
②、如否，则跳转至步骤8)；
14)删除diskCacheCluster中目标设备信息，跳转至步骤8)；
15)获取目标节点详情，创建执行器；执行器根据执行命令为目标设备创建缓存，跳转至步骤3)。
9.根据权利要求5所述的一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：所述监控告警模块用于实时监控节点的设备信息，若目标存储设备或其缓存设备丢失，则产生告警信息，并将告警信息添加至告警文件中；告警文件使用自定义资源的形式进行配置，名称为monitorAlter与节点名称的组合，如monitorAlterNode01；控制组件监测到告警文件发生变化，获取到告警文件中的告警信息，查询策略列表，根据策略列表的查询结果修改diskCacheCluster的执行命令，并将执行命令发送至执行组件。
10.根据权利要求5所述的一种集群虚拟化资源管理平台缓存设备的自动化运维装置，其特征在于：所述执行模块用于接收来自控制组件的执行命令，检索本地设备，若设备满足执行条件，则执行命令，否则执行失败；执行组件创建缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点是否已经存在缓存设备；
3)若不存在，指定缓存设备创建缓存文件或缓存分区；
4)创建缓存文件或缓存分区与目标设备的映射关系；
执行组件删除缓存的步骤如下：
1)检查目标节点是否存在目标设备及缓存设备；
2)若存在，检查目标节点与缓存设备是否存映射关系；
3)删除缓存文件或缓存分区与目标设备的映射关系；
4)删除缓存文件或缓存分区。
CN202210251524.2A 2022-03-15 2022-03-15 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置 Pending CN114697325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210251524.2A CN114697325A (zh) 2022-03-15 2022-03-15 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210251524.2A CN114697325A (zh) 2022-03-15 2022-03-15 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置

Publications (1)

Publication Number Publication Date
CN114697325A true CN114697325A (zh) 2022-07-01

Family

ID=82139436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210251524.2A Pending CN114697325A (zh) 2022-03-15 2022-03-15 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置

Country Status (1)

Country Link
CN (1) CN114697325A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170341A (zh) * 2022-12-23 2023-05-26 中国联合网络通信集团有限公司 虚拟化平台监控方法、设备、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6073129A (en) * 1997-12-29 2000-06-06 Bull Hn Information Systems Inc. Method and apparatus for improving the performance of a database management system through a central cache mechanism
US20080140937A1 (en) * 2006-12-12 2008-06-12 Sybase, Inc. System and Methodology Providing Multiple Heterogeneous Buffer Caches
CN101763226A (zh) * 2010-01-19 2010-06-30 北京航空航天大学 一种虚拟存储设备的缓存方法
CN102638378A (zh) * 2012-02-22 2012-08-15 中国人民解放军国防科学技术大学 一种集成异构存储设备的海量存储系统监控方法
CN103136121A (zh) * 2013-03-25 2013-06-05 中国人民解放军国防科学技术大学 一种固态盘的缓存管理方法
CN111324415A (zh) * 2019-10-28 2020-06-23 烽火通信科技股份有限公司 一种虚拟机镜像缓存创建方法、系统及计算机可读介质
US10754696B1 (en) * 2017-07-20 2020-08-25 EMC IP Holding Company LLC Scale out capacity load-balancing for backup appliances
CN113961346A (zh) * 2021-10-26 2022-01-21 云知声智能科技股份有限公司 数据缓存的管理与调度方法、装置、电子设备和存储介质
CN114090623A (zh) * 2021-12-08 2022-02-25 云知声智能科技股份有限公司 一种缓存资源的创建方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6073129A (en) * 1997-12-29 2000-06-06 Bull Hn Information Systems Inc. Method and apparatus for improving the performance of a database management system through a central cache mechanism
US20080140937A1 (en) * 2006-12-12 2008-06-12 Sybase, Inc. System and Methodology Providing Multiple Heterogeneous Buffer Caches
CN101763226A (zh) * 2010-01-19 2010-06-30 北京航空航天大学 一种虚拟存储设备的缓存方法
CN102638378A (zh) * 2012-02-22 2012-08-15 中国人民解放军国防科学技术大学 一种集成异构存储设备的海量存储系统监控方法
CN103136121A (zh) * 2013-03-25 2013-06-05 中国人民解放军国防科学技术大学 一种固态盘的缓存管理方法
US10754696B1 (en) * 2017-07-20 2020-08-25 EMC IP Holding Company LLC Scale out capacity load-balancing for backup appliances
CN111324415A (zh) * 2019-10-28 2020-06-23 烽火通信科技股份有限公司 一种虚拟机镜像缓存创建方法、系统及计算机可读介质
CN113961346A (zh) * 2021-10-26 2022-01-21 云知声智能科技股份有限公司 数据缓存的管理与调度方法、装置、电子设备和存储介质
CN114090623A (zh) * 2021-12-08 2022-02-25 云知声智能科技股份有限公司 一种缓存资源的创建方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CJ. BERNARDOS;UC3M;A. MOURAD;INTERDIGITAL;: "IPv6-based discovery and association of Virtualization Infrastructure Manager (VIM) and Network Function Virtualization Orchestrator (NFVO) draft-bernardos-intarea-vim-discovery-04", IETF *
张悠慧, 汪东升, 郑纬民: "统一缓存:基于用户层通信的合作缓存技术", 计算机研究与发展, no. 07 *
谢慧;: "虚拟化环境中的内存资源动态管理技术研究", 科技创新导报, no. 24 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170341A (zh) * 2022-12-23 2023-05-26 中国联合网络通信集团有限公司 虚拟化平台监控方法、设备、系统及存储介质
CN116170341B (zh) * 2022-12-23 2024-04-09 中国联合网络通信集团有限公司 虚拟化平台监控方法、设备、系统及存储介质

Similar Documents

Publication Publication Date Title
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
US11243922B2 (en) Method, apparatus, and storage medium for migrating data node in database cluster
US10013317B1 (en) Restoring a volume in a storage system
US10275177B2 (en) Data layout schemas for seamless data migration
US10235065B1 (en) Datasheet replication in a cloud computing environment
CN103150394B (zh) 面向高性能计算的分布式文件系统元数据管理方法
US7685165B2 (en) Policy based resource management for legacy data
US9430330B1 (en) System and method for managing environment metadata during data backups to a storage system
US20060212495A1 (en) Method and system for storing data into a database
US10956051B2 (en) Data-packed storage containers for streamlined access and migration
CN111949629B (zh) 一种面向边缘云的文件存储方法及终端
CN112740198A (zh) 用于在数据库中提早移除墓碑记录的系统和方法
US11507277B2 (en) Key value store using progress verification
US20210165573A1 (en) Managing Replication State for Deleted Objects
US11347647B2 (en) Adaptive cache commit delay for write aggregation
CN109327332A (zh) 一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法
CN114697325A (zh) 一种集群虚拟化资源管理平台缓存设备的自动化部署方法及运维装置
EP3633519A1 (en) Method for storing objects, and object store gateway
CN109241004A (zh) 元数据文件大小恢复方法、系统、装置及可读存储介质
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
US20200311029A1 (en) Key value store using generation markers
CN104205730A (zh) 网元数据访问方法、装置以及网络管理系统
CN108306780B (zh) 一种基于云环境的虚拟机通信质量自优化的系统和方法
US9223822B1 (en) Techniques for performing indication management
US20220405248A1 (en) Methods for ensuring correctness of file system analytics and devices thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination