CN112835527A - 基于minio云存储的扩容方法、装置及电子设备 - Google Patents

基于minio云存储的扩容方法、装置及电子设备 Download PDF

Info

Publication number
CN112835527A
CN112835527A CN202110170223.2A CN202110170223A CN112835527A CN 112835527 A CN112835527 A CN 112835527A CN 202110170223 A CN202110170223 A CN 202110170223A CN 112835527 A CN112835527 A CN 112835527A
Authority
CN
China
Prior art keywords
cloud storage
minio
storage
bucket
target file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110170223.2A
Other languages
English (en)
Inventor
余嘉
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tibet Ningsuan Technology Group Co ltd
Original Assignee
Tibet Ningsuan Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tibet Ningsuan Technology Group Co ltd filed Critical Tibet Ningsuan Technology Group Co ltd
Priority to CN202110170223.2A priority Critical patent/CN112835527A/zh
Publication of CN112835527A publication Critical patent/CN112835527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于MINIO云存储的扩容方法、装置及电子设备，该方法包括以下步骤：计算第一云存储的剩余可用空间，所述第一云存储的编号为n；判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；若是，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；修改目标文件的云存储编号为n+1；将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket。本发明解决了MINIO存储无法动态扩容的问题，有利于其使用和推广。

Description

基于MINIO云存储的扩容方法、装置及电子设备
技术领域
本发明属于云存储技术领域，具体涉及一种基于MINIO云存储的扩容方法、装置及电子设备。
背景技术
AWS S3全称：(Amazon Simple Storage Service)，是一种面向网络的存储服务，可以支持用户随时在Web的任何位置，存储和检索任意大小的数据，本身也提供了简单而直观的管理控制台来处理这些任务。
MINIO提供基于AWS S3存储协议的对象存储服务，适用于云侧部署，用于非结构化的数据存储。非结构化对象，比如图像，音、视频，日志文件，备份镜像…等等，其存在管理不方便、不定长、大小变化大、类型多以及云端的访问复杂等问题，MINIO就是来解决这些问题的。然而，MINIO并不支持动态扩容，不利于其使用和推广。
发明内容
为了解决上述问题，本发明提供一种基于MINIO云存储的扩容方法、装置及电子设备，解决了MINIO不支持动态扩容的问题，有利于其使用和推广。
本发明所采用的技术方案为：一种基于MINIO云存储的扩容方法，包括以下步骤：
计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
若是，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改目标文件的云存储编号为n+1；
将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
作为一种可选的技术方案，所述方法还包括以下步骤：访问所述服务数据库中的所述目标文件，使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
作为一种可选的技术方案，所述方法还包括以下步骤：当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
作为一种可选的技术方案，所述预定阈值的取值为4％-6％。
本发明还公开了一种基于MINIO云存储的扩容装置，包括：
计算模块，用于计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定模块，用于判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
启动模块，配置为在所述占比小于所述预定阈值时，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改模块，用于修改目标文件的云存储编号为n+1；
第一上传保存模块，用于将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
作为一种可选的技术方案，所述装置还包括：数据访问模块，用于访问所述服务数据库中的所述目标文件，访问时使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
作为一种可选的技术方案，所述装置还包括：第二上传保存模块，配置为当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
作为一种可选的技术方案，所述预定阈值的取值为4％-6％。
本发明还公开了一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如上述的基于MINIO云存储的扩容方法。
本发明还公开了一种计算机可读介质，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如上述的基于MINIO云存储的扩容方法。
本发明的有益效果为：本发明中，在已有云存储的存储空间达报警值时，使用MINIO再启动一个新的存储服务，待上传的目标文件通过新的存储服务保存，以此实现动态扩容，解决了MINIO存储无法动态扩容的问题，有利于其使用和推广。
附图说明
图1为实施例中基于MINIO云存储的扩容方法的流程示意图。
图2是网络拓扑图。
图3是实施例中基于MINIO云存储的扩容装置的原理框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图及具体实施例对本发明作进一步阐述。
实施例
如图1所示，一种基于MINIO云存储的扩容方法，包括以下步骤：
计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
若是，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改目标文件的云存储编号为n+1；
将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
作为一种可选的实施方式，所述方法还包括以下步骤：访问所述服务数据库中的所述目标文件，使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
作为一种可选的实施方式，所述方法还包括以下步骤：当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
作为一种可选的实施方式，所述预定阈值的取值为4％-6％，优选地，本实施例中预定阈值取5％。
下面结合附图2对上述方法过程进行更为详细的说明。
假定目前已有云存储，编号为1(即上述n取1)，且存储空间已到达报警值95％，即上述预定阈值为1-95％＝5％；假定目前有业务A使用编号为1的云存储作为存储服务提供者，并在配置文件内配置，便于修改。
扩容方式为：
步骤一，使用MINIO再启动一个存储，编号为2(即上述n+1为2)，即当旧存储空间即将满的时候，在存储主机或新磁盘上启动一个新的存储，key和secret与旧存储相同。
步骤二，修改待上传的目标文件的云存储编号为2，将目标文件上传至新启动的储存服务中保存。
其中，存储的访问地址与旧存储类似，如果旧存储为a1.b.c.com，那么新存储则为a2.b.c.com，这样.b.c.com则为通用部分，便于用存储编号去对接新旧存储服务。并将业务服务中的目标文件的存储服务由旧的a1改为新的存储服务a2。这样上传文件时目标文件存储的地址将为存储服务a2，并将a2作为cluster和其它信息保存在服务数据库中。
其中，使用MINIO云存储服务的应用，在保存文件信息至服务数据库中时，需要保存MINIO相关的几个关键元素，包含：cluster-存储编号，bucket-桶名称，path In Bucket-文件在桶内的路径。
步骤三，访问被储存的目标文件时，使用服务数据库中存储的MINIO关键元素连接对应编号的存储，进行目标文件的访问下载。
上述方法中，在已有云存储的存储空间达报警值时，使用MINIO再启动一个新的存储服务，待上传的目标文件通过新的存储服务保存，以此实现动态扩容，解决了MINIO存储无法动态扩容的问题，有利于其使用和推广。
如图3所示，本发明还公开了一种基于MINIO云存储的扩容装置，包括：
计算模块，用于计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定模块，用于判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
启动模块，配置为在所述占比小于所述预定阈值时，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改模块，用于修改目标文件的云存储编号为n+1；
第一上传保存模块，用于将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
作为一种可选的实施方式，所述装置还包括：数据访问模块，用于访问所述服务数据库中的所述目标文件，访问时使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
作为一种可选的实施方式，所述装置还包括：第二上传保存模块，配置为当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
作为一种可选的实施方式，所述预定阈值的取值为4％-6％，优选地，本实施例中预定阈值取5％。
本发明还公开了一种电子设备，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如上述的基于MINIO云存储的扩容方法。
本发明还公开了一种计算机可读介质，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如上述的基于MINIO云存储的扩容方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、电子设备和计算机可读介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块(单元)。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在可读介质中或网络上，包括若干指令以使得一台电子设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施例的方法。
上述可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种基于MINIO云存储的扩容方法，其特征在于，包括以下步骤：
计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
若是，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改目标文件的云存储编号为n+1；
将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
2.根据权利要求1所述的基于MINIO云存储的扩容方法，其特征在于，还包括以下步骤：访问所述服务数据库中的所述目标文件，使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
3.根据权利要求1所述的基于MINIO云存储的扩容方法，其特征在于，所述方法还包括以下步骤：当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
4.根据权利要求1所述的基于MINIO云存储的扩容方法，其特征在于，所述预定阈值的取值为4％-6％。
5.一种基于MINIO云存储的扩容装置，其特征在于，包括：
计算模块，用于计算第一云存储的剩余可用空间，所述第一云存储的编号为n；
判定模块，用于判定所述剩余可用空间占所述第一云存储总空间的占比是否小于预定阈值；
启动模块，配置为在所述占比小于所述预定阈值时，利用MINIO在存储主机或新磁盘上启动第二云存储，所述第二云存储编号为n+1；
修改模块，用于修改目标文件的云存储编号为n+1；
第一上传保存模块，用于将所述目标文件上传至所述第二云存储的服务数据库中保存，保存的文件信息包括MINIO关键元素，所述MINIO关键元素包括存储编号cluster、桶名称bucket以及文件在桶内的路径path In Bucket；
其中，n∈N+。
6.根据权利要求4所述的基于MINIO云存储的扩容装置，其特征在于，还包括：数据访问模块，用于访问所述服务数据库中的所述目标文件，访问时使用所述服务数据库中存储的MINIO关键元素连接对应编号的存储，进行所述目标文件的访问下载。
7.根据权利要求4所述的基于MINIO云存储的扩容装置，其特征在于，所述装置还包括：第二上传保存模块，配置为当所述剩余可用空间占所述第一云存储总空间的占比不小于所述预定阈值时，将目标文件上传至所述第一云存储的服务数据库中保存。
8.根据权利要求4所述的基于MINIO云存储的扩容装置，其特征在于，所述预定阈值的取值为4％-6％。
9.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1至4中任一项所述的方法。
10.一种计算机可读介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至4中任一项所述的方法。
CN202110170223.2A 2021-02-05 2021-02-05 基于minio云存储的扩容方法、装置及电子设备 Pending CN112835527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170223.2A CN112835527A (zh) 2021-02-05 2021-02-05 基于minio云存储的扩容方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170223.2A CN112835527A (zh) 2021-02-05 2021-02-05 基于minio云存储的扩容方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112835527A true CN112835527A (zh) 2021-05-25

Family

ID=75930978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170223.2A Pending CN112835527A (zh) 2021-02-05 2021-02-05 基于minio云存储的扩容方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112835527A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153218A1 (zh) * 2017-02-27 2018-08-30 腾讯科技（深圳）有限公司 一种资源处理方法、相关装置以及通信系统
CN109407976A (zh) * 2018-09-21 2019-03-01 联想(北京)有限公司 一种分布式存储方法及分布式存储装置
CN111782150A (zh) * 2020-07-02 2020-10-16 深圳市瑞驰信息技术有限公司 一种基于对象存储的多桶存储系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153218A1 (zh) * 2017-02-27 2018-08-30 腾讯科技（深圳）有限公司 一种资源处理方法、相关装置以及通信系统
CN109407976A (zh) * 2018-09-21 2019-03-01 联想(北京)有限公司 一种分布式存储方法及分布式存储装置
CN111782150A (zh) * 2020-07-02 2020-10-16 深圳市瑞驰信息技术有限公司 一种基于对象存储的多桶存储系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADMIN: "《MINIO白皮书》", 《IT LAB SERVICE-BING哥的博客》 *

Similar Documents

Publication Publication Date Title
CN107832100B (zh) 一种apk插件的加载方法及其终端
US9519654B2 (en) Method, device, processing center and system for desktop synchronization
CN110166523B (zh) 内容更新方法、装置、设备和计算机可读存储介质
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN106202082B (zh) 组装基础数据缓存的方法及装置
CN113961510B (zh) 一种文件处理方法、装置、设备及存储介质
CN113760610A (zh) 基于OpenStack的裸机高可用性的实现方法、装置及电子设备
CN110740155A (zh) 分布式系统中的请求处理方法及装置
CN111694639A (zh) 进程容器地址的更新方法、装置和电子设备
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN107797758B (zh) 数据存储方法、数据访问方法及装置
CN110020290B (zh) 网页资源缓存方法、装置、存储介质及电子装置
CN112835527A (zh) 基于minio云存储的扩容方法、装置及电子设备
CN114116656B (zh) 数据处理方法及相关装置
CN113986134B (zh) 存储数据的方法、读取数据的方法和装置
CN111680014B (zh) 共享文件的获取方法、装置、电子设备及存储介质
CN114157663A (zh) 一种云数据访问方法及云服务器
US20150379548A1 (en) Method and System for Data Processing
CN112506574A (zh) ARM服务器中基于CentOS带内修改BIOS配置选项的方法
CN113051143A (zh) 服务负载均衡服务器的探测方法、装置、设备和存储介质
CN111124275A (zh) 一种分布式块存储系统的监控服务优化方法及装置
CN112804335B (zh) 数据处理方法、装置、计算机可读存储介质和处理器
CN111104381A (zh) 一种日志管理方法、装置、设备及计算机可读存储介质
CN112650723B (zh) 一种文件共享方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210525

RJ01 Rejection of invention patent application after publication