CN112181317B - 一种基于容器云的业务数据分级存储方法及装置 - Google Patents

一种基于容器云的业务数据分级存储方法及装置 Download PDF

Info

Publication number
CN112181317B
CN112181317B CN202011244480.8A CN202011244480A CN112181317B CN 112181317 B CN112181317 B CN 112181317B CN 202011244480 A CN202011244480 A CN 202011244480A CN 112181317 B CN112181317 B CN 112181317B
Authority
CN
China
Prior art keywords
shared
interface
container cluster
storage
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011244480.8A
Other languages
English (en)
Other versions
CN112181317A (zh
Inventor
陈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011244480.8A priority Critical patent/CN112181317B/zh
Publication of CN112181317A publication Critical patent/CN112181317A/zh
Application granted granted Critical
Publication of CN112181317B publication Critical patent/CN112181317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种基于容器云的业务数据分级存储方法及装置，建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与容器集群的共享存储接口的关联；当容器集群运行写数据业务时，通过本地卷接口将业务数据写入本地硬盘，并通过共享存储接口将共享业务数据写入共享云存储块。从而为业务提供较好的IOPS性能，无需外挂昂贵的全闪存设备，且为集群提供了数据共享保障。

Description

一种基于容器云的业务数据分级存储方法及装置
技术领域
本发明涉及云存储技术领域，特别是涉及一种基于容器云的业务数据分级存储方法及装置。
背景技术
随着智能化视频监控时代的到来，城市中遍布的视频监控系统每天产生海量的视频监控数据，如何对这些实时产生的视频、图片进行高效解析、存储、检索成为了视频监控系统必须解决的首要问题。
大型视频监控系统，如公安视频云，对视频监控系统的性能、稳定性要求非常高。以一个省会中心城市为例，每天产生的视频、图片的特征数据能够达到数亿条，这些特征数据需要存入存储中，在业务需要的时候被检索出来。
针对一些特殊场景，例如公安应用场景，视频监控系统对每秒查询率(Queries-per-second，QPS)的要求非常高，通常QPS＝50，即需要视频监控系统能满足50个用户同时并发访问，这对存储设备的每秒读写次数(Input/Output Operations Per Second，IOPS)性能要求非常高。
为了满足针对海量业务数据的高效检索的需求，现有的方案是采用独立全闪存设备，即通过配置大量固态硬盘的单体存储设备，提供较高的存储性能。
然而，由于存储设备为单体设备，存在单点故障情况，数据易丢失，且全闪存设备的硬件配置高，价格昂贵。
发明内容
本发明实施例的目的在于提供一种基于容器云的业务数据分级存储方法及装置，以实现为业务提供高IOPS性能和数据共享保障。
具体技术方案如下：
为实现上述目的，本发明实施例提供了一种基于容器云的业务数据分级存储方法，应用于容器云平台，所述方法包括：
建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块。
可选的，所述方法还包括：
当所述容器集群运行读数据业务时，通过所述本地卷接口从所述本地硬盘读取第二业务数据。
可选的，所述容器集群为多个，所述方法还包括：
当其中一个容器集群出现异常，创建新的副本容器集群，并建立所述副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立所述共享云存储块与该副本容器集群的共享存储接口的关联；
通过所述副本容器集群的共享存储接口从所述共享云存储块读取所述共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
可选的，所述本地硬盘为NVME硬盘，所述本地卷接口为LocalPV接口，所述共享云存储块为ceph云存储平台的RBD存储块，所述共享存储接口为RBD共享存储接口。
为实现上述目的，本发明实施例还提供了一种基于容器云的业务数据分级存储装置，应用于容器云平台，所述装置包括：
关联模块，用于建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
写入模块，用于当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块。
可选的，所述装置还包括：读取模块，
所述读取模块，用于当所述容器集群运行读数据业务时，通过所述本地卷接口从所述本地硬盘读取第二业务数据。
可选的，所述容器集群为多个，所述装置还包括：异常处理模块，
所述异常处理模块，用于：
当其中一个容器集群出现异常，创建新的副本容器集群，并建立所述副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立所述共享云存储块与该副本容器集群的共享存储接口的关联；
通过所述副本容器集群的共享存储接口从所述共享云存储块读取所述共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
可选的，所述本地硬盘为NVME硬盘，所述本地卷接口为LocalPV接口，所述共享云存储块为ceph云存储平台的RBD存储块，所述共享存储接口为RBD共享存储接口。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本发明实施例有益效果：
采用本发明实施例提供的基于容器云的业务数据分级存储方法及装置，通过容器集群的本地卷接口挂载本地硬盘，从而为业务提供较好的IOPS性能，无需外挂昂贵的全闪存设备；此外，通过共享存储接口挂载共享云存储块，为集群提供了数据共享保障，防止容器集群出现异常导致业务数据丢失。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的基于容器云的业务数据分级存储方法的一种流程示意图；
图2为本发明实施例提供的基于容器云的业务数据分级存储方法的一种示意图；
图3为本发明实施例提供的基于容器云的业务数据分级存储方法的另一种示意图；
图4为本发明实施例提供的基于容器云的业务数据分级存储装置的一种结构示意图；
图5为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决采用全闪存设备数据易丢失且成本高的技术问题，本发明实施例提供了一种基于容器云的业务数据分级存储方法及装置。
本发明实施例提供的基于容器云的业务数据分级存储方法可以应用于容器云平台，例如kubernets，也可称为k8s，是一个可移植的，可扩展的开源平台，用于管理容器化的工作负载和服务，便于声明式配置和自动化。
参见图1，图1为本发明实施例提供的基于容器云的业务数据分级存储方法的一种流程示意图，方法可以包括以下步骤：
S101：建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与容器集群的共享存储接口的关联。
为了便于理解，下面对本发明实施例的可应用场景进行简要介绍。
本发明实施例中，用户需要采用容器化技术运行业务时，可以在本地的服务器或电子设备中安装k8s平台，进而可以利用k8s平台提供的容器运行业务，例如，在k8s平台提供的容器中运行视频、图片的解析业务，以及基于图片特征数据的人脸识别业务等。
本发明实施例提供的基于容器云的业务数据分级存储方法可以应用于容器云平台，例如k8s平台，也可以理解为应用于安装有容器云平台的服务器或电子设备。
k8s平台提供有容器集群和各种数据接口，其中容器集群表示为POD，每一个POD可以包含多个容器，业务程序可以在容器集群中运行。
k8s提供的数据接口包括本地卷接口和共享存储接口，其中本地卷接口可以是本地卷LocalPV接口，用于对接本地存储；共享存储接口可以是RBD共享存储接口，用于对接共享云存储。其中RBD全称是RADOS Block Device，是一种构建在RADOS集群之上为客户端提供的块存储服务，其中RADOS的全称是Reliable，Autonomous，Distributed Object Store，是ceph提供的一种可靠、自治、分布式对象存储的存储系统，ceph是一种分布式文件系统。
本发明实施例中，可以采用k8s平台提供的statefulset控制器管理POD的创建和运行。具体的，statefulset控制器可以通过定义配置文件的方式建立本地硬盘与POD的本地卷接口的关联。建立本地硬盘和POD的本地卷接口的关联，也可以理解为POD以本地卷接口挂载本地硬盘，也可以理解为本地硬盘挂载到POD的本地卷接口。
建立本地硬盘与POD的本地卷接口的关联的具体方法可以是：
通过在本地卷yam文件中的storageclassname参数指定本地卷关联的storageclass名称，实现和POD声明的存储完成绑定；同时，通过local:path参数指定存储所在的节点及存储目录，k8s调度器会根据节点信息调度POD到指定节点运行，保证POD使用可以在本地节点使用本地存储卷。
此外，statefulset控制器还可以通过定义配置文件的方式建立共享云存储块与POD的共享存储接口的关联。建立共享云存储块与POD的共享存储接口的关联，也可以理解为POD以共享存储接口挂载共享云存储块，也可以理解为共享云存储块挂载到POD的共享存储接口。
建立共享云存储块与POD的共享存储接口的关联的具体方法可以是：
将statefulset配置文件中的storageClassName参数配置成系统中预先配置好的RBD存储块类名，如系统中已经定义好一个RBD类型的storageclass，名称为RBD_st,则配置storageClassName＝RBD_st，则实现RBD存储块与共享存储接口的关联，则POD运行时就会通过共享存储接口，从RBD存储块中读取业务数据或将业务数据写入RBD存储块。
作为一个示例，参见图2，图2为本发明实施例提供的基于容器云的业务数据分级存储方法的一种示意图，如图2所示，通过本地卷LocalPV接口挂载本地服务器节点上的本地硬盘，本地硬盘可以是NVME硬盘；此外，通过RBD共享存储接口，挂载外置ceph云存储平台的RBD存储块。
本发明实施例中，根据实际环境测算，本地卷LocalPV接口挂载NVME数据盘的方式相较于共享存储方式，IOPS性能提升80％左右，可见，能够达到高IOPS性能。
S102：当容器集群运行写数据业务时，通过本地卷接口将第一业务数据写入本地硬盘，并通过共享存储接口将共享业务数据写入共享云存储块。
本发明实施例中，业务程序在POD中运行，当POD中运行写数据业务时，可以通过本地卷接口将第一业务数据写入本地硬盘，并通过共享存储接口将共享业务数据写入共享云存储块。
其中，写数据业务表示需要向存储中写入业务数据的业务，例如视频、图片的解析业务，该业务在运行过程中，需要将解析得到的特征数据写入存储中。本发明实施例中，当POD运行写数据业务时，可以通过本地卷接口将业务数据写入本地硬盘。
此外，为了提供数据共享保障，可以通过共享存储接口将共享业务数据写入共享云存储块。其中，共享业务数据可以与上述第一业务数据完全相同，也可以有所区别，例如，将第一业务数据中较为重要的数据作为共享业务数据，并写入共享云存储块。具体可以根据需求进行设定。
可见，采用本发明实施例提供的基于容器云的业务数据分级存储方法，采用本地硬盘和共享云存储块分级存储的机制。通过容器集群的本地卷接口挂载本地硬盘，从而为业务提供较好的IOPS性能，无需外挂昂贵的全闪存设备；此外，通过共享存储接口挂载共享云存储块，为容器集群提供了数据共享保障，防止容器集群出现异常导致业务数据丢失。
在本发明的一种实施例中，当容器集群运行读数据业务时，通过本地卷接口从本地硬盘读取第二业务数据。
具体的，读数据业务表示需要从存储中读取业务数据的业务，例如人脸特征比对业务，该业务在运行过程中，需要从存储中读取大量的人脸特征数据以进行比对。由于本地卷接口挂载NVME数据盘的方式，能够提供远高于共享存储的的IOPS性能，因此运行读数据业务时，可以通过本地卷接口从本地硬盘，例如NVME数据盘中读取相应的业务数据。
在本发明的一种实施例中，容器集群POD可以为多个，当其中一个容器集群出现异常，可以创建新的副本容器集群，并建立副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立共享云存储块与该副本容器集群的共享存储接口的关联；通过所述副本容器集群的共享存储接口从所述共享云存储块读取共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
由于业务运行时，POD通过共享存储接口不断向共享云存储块写入共享业务数据，且statefulset控制器能够保证POD异常销毁后，挂载的存储卷不销毁。因此，当容器集群出现异常时，可以创建新的副本容器集群，并建立共享云存储块与该副本容器集群的共享存储接口的关联，进而从共享云存储块中读取共享业务数据；并建立副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，将读取到的共享业务数据写入本地卷接口，即可实现数据恢复，防止容器集群出现异常导致业务数据丢失。
下面结合具体实例，对本发明实施例提供的基于容器云的业务数据分级存储方法进行进一步详细介绍。
作为一个示例，参见图3，图3为本发明实施例提供的基于容器云的业务数据分级存储方法的另一种示意图，图3中实线曲线表示控制流，虚线曲线表示数据流。
如图3所示，本发明实施例提供的基于容器云的业务数据分级存储方法可以包括以下步骤：
S1：定义2个PVC：PVC_LocalPV、PVC_RBD，分别绑定本地卷LocalPV和RBD卷。
其中，PVC是k8s中用户对存储资源的需求申请，包括存储空间请求、访问模式、PV选择条件、存储类别。PV是k8s中存储资源，包括存储能力、访问模式、存储类型、后端存储类型、回收策略等。
S2：statefulset控制器关联上述2个PVC。
S3：按照statefulset控制器副本参数创建预设副本数量个POD。
图3所示实施例中，预设副本数量为2，则创建两个POD，分别为POD-1和POD-2，每个POD可以创建在一个服务器节点上，图中POD-1创建在服务器节点1上，POD-2创建在服务器节点2上。
S4：按照statefulset控制器PVC参数，POD以LocalPV、RBD接口分别挂载本地卷和共享卷并写入数据，本地卷用于高速数据读写，共享卷写入共享数据，即备份数据。
如图3所示，POD-1以LocalPV接口挂载本地卷，以RBD接口挂载共享卷，即RBD卷，则POD-1可以通过本地卷实现高速数据读写，并将共享数据写入共享卷。容易理解的，POD-2同样以LocalPV接口挂载本地卷，以RBD接口挂载共享卷，但图3中未示出。
S5：当POD-1异常挂起后，按statefulset控制器副本参数在新的服务器节点重新创建新的POD。
当POD-1出现异常时，可以在新的服务器节点重新创建一个新的POD。图3所示实施例中，在服务器节点3中创建新的POD-3。
S6：按照statefulset控制器PVC参数，POD-3以LocalPV、RBD接口分别挂载本地卷和共享卷，POD-3通过RBD接口从共享云存储块读取共享业务数据。
S7：通过本地卷接口将共享业务数据写入POD-3所处服务器节点的本地硬盘。
具体的，新创建的POD-3同样挂载本地卷和共享卷，则可以通过共享卷读取共享业务数据，并将共享业务数据写入POD-3所处服务器节点的本地硬盘，从而实现数据恢复。
在后续的业务运行过程中，POD-3可以起到与之前的POD-1相同的作用。具体的，POD-3中运行写数据业务时，向本地卷写入业务数据，向共享卷写入备份业务数据；POD-3中运行读数据业务时，从本地卷读取业务数据，
可见，采用本发明实施例提供的基于容器云的业务数据分级存储方法，能够通过本地卷LocalPV接口挂载NVME数据盘的方式，为业务提供高IOPS性能，且即使出现POD异常，也可以通过共享卷恢复业务数据，为集群提供了数据共享保障，防止容器集群出现异常导致业务数据丢失。
相应于本发明实施例提供的基于容器云的业务数据分级存储方法实施例，本发明实施例还提供了一种基于容器云的业务数据分级存储装置，参见图4，装置可以包括以下模块：
关联模块401，用于建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
写入模块402，用于当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块。
采用本发明实施例提供的基于容器云的业务数据分级存储装置，通过容器集群的本地卷接口挂载本地硬盘，从而为业务提供较好的IOPS性能，无需外挂昂贵的全闪存设备；此外，通过共享存储接口挂载共享云存储块，为集群提供了数据共享保障，防止容器集群出现异常导致业务数据丢失。
在本发明的一种实施例中，在图4所示装置基础上，还可以包括读取模块，
所述读取模块，用于当所述容器集群运行读数据业务时，通过所述本地卷接口从所述本地硬盘读取第二业务数据。
在本发明的一种实施例中，所述容器集群为多个，在图4所示装置基础上，所述装置还可以包括：异常处理模块，
所述异常处理模块，用于：
当其中一个容器集群出现异常，创建新的副本容器集群，并建立所述副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立所述共享云存储块与该副本容器集群的共享存储接口的关联；
通过所述副本容器集群的共享存储接口从所述共享云存储块读取共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
在本发明的一种实施例中，所述本地硬盘为NVME硬盘，所述本地卷接口为LocalPV接口，所述共享云存储块为ceph云存储平台的RBD存储块，所述共享存储接口为RBD共享存储接口。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
采用本发明实施例提供的电子设备，通过容器集群的本地卷接口挂载本地硬盘，从而为业务提供较好的IOPS性能，无需外挂昂贵的全闪存设备；此外，通过共享存储接口挂载共享云存储块，为集群提供了数据共享保障，防止容器集群出现异常导致业务数据丢失。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一基于容器云的业务数据分级存储方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于容器云的业务数据分级存储方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于基于容器云的业务数据分级存储装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于基于容器云的业务数据分级存储方法实施例，所以描述的比较简单，相关之处参见基于容器云的业务数据分级存储方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于容器云的业务数据分级存储方法，其特征在于，应用于容器云平台，所述方法包括：
建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块；
所述容器集群为多个，所述方法还包括：当其中一个容器集群出现异常，创建新的副本容器集群，并建立所述副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立所述共享云存储块与该副本容器集群的共享存储接口的关联；
通过所述副本容器集群的共享存储接口从所述共享云存储块读取所述共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述容器集群运行读数据业务时，通过所述本地卷接口从所述本地硬盘读取第二业务数据。
3.根据权利要求1或2任一项所述的方法，其特征在于，
所述本地硬盘为NVME硬盘，所述本地卷接口为LocalPV接口，所述共享云存储块为ceph云存储平台的RBD存储块，所述共享存储接口为RBD共享存储接口。
4.一种基于容器云的业务数据分级存储装置，其特征在于，应用于容器云平台，所述装置包括：
关联模块，用于建立本地硬盘与容器集群的本地卷接口的关联，并建立共享云存储块与所述容器集群的共享存储接口的关联；
写入模块，用于当所述容器集群运行写数据业务时，通过所述本地卷接口将第一业务数据写入所述本地硬盘，并通过所述共享存储接口将共享业务数据写入所述共享云存储块；
所述容器集群为多个，所述装置还包括：异常处理模块，
所述异常处理模块，用于：
当其中一个容器集群出现异常，创建新的副本容器集群，并建立所述副本容器集群所处服务器节点的本地硬盘与该副本容器集群的本地卷接口的关联，建立所述共享云存储块与该副本容器集群的共享存储接口的关联；
通过所述副本容器集群的共享存储接口从所述共享云存储块读取所述共享业务数据，并通过所述副本容器集群的本地卷接口将所述共享业务数据写入所述副本容器集群所处服务器节点的本地硬盘。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：读取模块，
所述读取模块，用于当所述容器集群运行读数据业务时，通过所述本地卷接口从所述本地硬盘读取第二业务数据。
6.根据权利要求4或5任一项所述的装置，其特征在于，
所述本地硬盘为NVME硬盘，所述本地卷接口为LocalPV接口，所述共享云存储块为ceph云存储平台的RBD存储块，所述共享存储接口为RBD共享存储接口。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN202011244480.8A 2020-11-10 2020-11-10 一种基于容器云的业务数据分级存储方法及装置 Active CN112181317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011244480.8A CN112181317B (zh) 2020-11-10 2020-11-10 一种基于容器云的业务数据分级存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011244480.8A CN112181317B (zh) 2020-11-10 2020-11-10 一种基于容器云的业务数据分级存储方法及装置

Publications (2)

Publication Number Publication Date
CN112181317A CN112181317A (zh) 2021-01-05
CN112181317B true CN112181317B (zh) 2022-08-19

Family

ID=73916558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011244480.8A Active CN112181317B (zh) 2020-11-10 2020-11-10 一种基于容器云的业务数据分级存储方法及装置

Country Status (1)

Country Link
CN (1) CN112181317B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115794363A (zh) * 2021-09-10 2023-03-14 西门子（中国）有限公司 部署模型的方法、平台和计算机可读介质
CN115834608B (zh) * 2022-11-03 2024-06-14 中国人民解放军国防科技大学 一种实现有状态服务存储数据共享的系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268299A (zh) * 2016-12-29 2018-07-10 航天信息股份有限公司 一种基于OpenStack云平台的Docker共享存储解决方法
CN108848136A (zh) * 2018-05-30 2018-11-20 安徽四创电子股份有限公司 一种云服务集群的共享存储方法
CN109165206A (zh) * 2018-08-27 2019-01-08 中科曙光国际信息产业有限公司 基于容器的hdfs高可用实现方法
CN111506391A (zh) * 2020-03-31 2020-08-07 新华三大数据技术有限公司 一种容器部署方法及装置
CN111752759A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 Kafka集群故障恢复方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712396B2 (en) * 2018-05-29 2020-07-14 NDSL, Inc. Methods, systems, and devices for monitoring state-of-health of a battery system operating over an extended temperature range
US11163728B2 (en) * 2018-09-28 2021-11-02 International Business Machines Corporation Sharing container images utilizing a shared storage system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268299A (zh) * 2016-12-29 2018-07-10 航天信息股份有限公司 一种基于OpenStack云平台的Docker共享存储解决方法
CN108848136A (zh) * 2018-05-30 2018-11-20 安徽四创电子股份有限公司 一种云服务集群的共享存储方法
CN109165206A (zh) * 2018-08-27 2019-01-08 中科曙光国际信息产业有限公司 基于容器的hdfs高可用实现方法
CN111506391A (zh) * 2020-03-31 2020-08-07 新华三大数据技术有限公司 一种容器部署方法及装置
CN111752759A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 Kafka集群故障恢复方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Local and Remote Recovery of Cloud Services Using Backward Atomic Backup Recovery Technique for High Availability in Strongly Consistent Cloud Service: Recovery of Cloud Service for High Availability;Praveen Shivashankrappa Challagidad等;《International Journal of Advanced Pervasive and Ubiquitous Computing》;20201001;第16-33页 *
基于云原生环境的云存储在线应用系统;邹理贤;《电子技术与软件工程》;20200430(第08期);第190-192页 *

Also Published As

Publication number Publication date
CN112181317A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US9304815B1 (en) Dynamic replica failure detection and healing
US10067692B2 (en) Method and apparatus for backing up and restoring cross-virtual machine application
US11150816B2 (en) Immutable storage for cloud service providers
CN112181317B (zh) 一种基于容器云的业务数据分级存储方法及装置
US20190310791A1 (en) Systems and methods for data management of multiple cloud services
US9916102B1 (en) Managing data storage reservations on a per-family basis
US11294866B2 (en) Lazy optimistic concurrency control
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN109639791A (zh) 一种容器环境下云工作流调度方法及系统
US10581668B2 (en) Identifying performance-degrading hardware components in computer storage systems
US9213618B2 (en) Storage management systems and methods in hierarchical storage systems
US11474728B2 (en) Data storage volume record management for application-level recovery
CN114356504A (zh) 集群中数据迁移方法、装置、电子设备和存储介质
CN111949441A (zh) 用于可扩展备份搜索的系统和方法
CN110489392A (zh) 多租户间的数据访问方法、装置、系统、存储介质及设备
CN110837428A (zh) 存储设备管理方法及装置
CN115469807A (zh) 磁盘功能配置方法、装置、设备及存储介质
US11262932B2 (en) Host-aware discovery and backup configuration for storage assets within a data protection environment
US11048523B2 (en) Enabling software sensor power operation requests via baseboard management controller (BMC)
US20200133369A1 (en) Managing power request during cluster operations
US20240061909A1 (en) Systems and methods for managing software provisioning based on adjusted usage conditions of software items
US20240062221A1 (en) Systems and methods for managing software provisioning based on contracts
CN114816276B (zh) 在Kubernetes下基于逻辑卷管理提供磁盘限速的方法
US12007982B2 (en) Method and system for identifying and deleting records on hosts
CN117519613B (zh) 一种跨k8s集群的存储卷共享方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant