CN117591475A - 分布式对象处理方法及装置 - Google Patents
分布式对象处理方法及装置 Download PDFInfo
- Publication number
- CN117591475A CN117591475A CN202311589257.0A CN202311589257A CN117591475A CN 117591475 A CN117591475 A CN 117591475A CN 202311589257 A CN202311589257 A CN 202311589257A CN 117591475 A CN117591475 A CN 117591475A
- Authority
- CN
- China
- Prior art keywords
- target
- read
- file system
- distributed file
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 16
- 230000009977 dual effect Effects 0.000 claims description 7
- 230000005012 migration Effects 0.000 description 17
- 238000013508 migration Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书涉及分布式存储技术领域，具体地公开了一种分布式对象处理方法及装置，其中，该方法包括：接收用户客户端发送的业务请求；业务请求中包括目标对象标识；响应于业务请求，从分布式数据库获取目标对象标识对应的目标索引的被访问数据；基于目标索引的被访问数据，确定目标对象标识对应的目标类型；从目标类型对应的读写服务集群中筛选出目标读写服务；将目标读写服务的服务标识返回给用户客户端，使得用户客户端向目标读写服务发送对象处理请求，目标读写服务用于响应于对象处理请求在目标类型对应的分布式文件系统中执行对象处理操作。上述方法能够提高分布式存储系统的存储效率。
Description
技术领域
本说明书涉及分布式存储技术领域，特别涉及一种分布式对象处理方法及装置。
背景技术
对象存储是互联网中经常使用的技术，对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。在对象存储中，一般是采用扁平的数据组织结构抛弃了嵌套的文件夹，从而可以避免维护庞大的目录树。
在数据量急剧增加的今天，分布式对象存储系统的存储成本也是需要考虑的。不同数据的业务价值和访问频率会有不同，所以将所有数据存储在同一个集群中，不仅容易造成集群规模过大，后续扩容不便，也比较容易增加硬件成本。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本说明书实施例提供了一种分布式对象处理方法及装置，以解决现有技术中分布式对象存储系统的存储成本高的问题。
本说明书实施例提供了一种分布式对象处理方法，包括：
接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识；
响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型；
从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作；
其中，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
在一个实施例中，响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据，包括：
响应于所述业务请求，确定所述业务请求中是否携带有目标类型标识；
在确定所述业务请求中未携带目标类型标识的情况下，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据。
在一个实施例中，所述方法还包括：
在确定所述业务请求中携带有目标类型标识的情况下，从所述目标类型标识对应的读写服务集群中筛选出目标读写服务。
在一个实施例中，所述目标类型包括第一类型、第二类型和第三类型；
相应的，基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型，包括：
基于所述目标索引的被访问数据确定所述目标索引的访问频率；
在所述目标索引的访问频率大于第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第一类型；
在所述目标索引的访问频率大于第二频率且不大于所述第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第二类型；
在所述目标索引的访问频率不大于所述第二频率的情况下，确定所述目标对象标识对应的目标类型为所述第三类型；
其中，所述第一频率大于所述第二频率。
在一个实施例中，所述分布式文件系统包括：第一分布式文件系统、第二分布式文件系统和第三分布式文件系统；所述读写服务集群包括：第一读写服务集群、第二读写服务集群和第三读写服务集群；
所述第一分布式文件系统用于存储所述第一类型的对象；所述第一读写服务集群用于对所述第一分布式文件系统中的第一类型的对象执行读写操作；
所述第二分布式文件系统用于存储所述第二类型的对象；所述第二读写服务集群用于对所述第二分布式文件系统中的第二类型的对象执行读写操作；
所述第三分布式文件系统用于存储所述第三类型的对象；所述第三读写服务集群用于对所述第三分布式文件系统中的第三类型的对象执行读写操作。
在一个实施例中，所述方法还包括：
从所述分布式数据库读取多个对象中各对象的索引的被访问数据；
根据所述各对象的索引的被访问数据确定出需要从所述第一分布式文件系统迁移至所述第二分布式文件系统的第一对象；
从所述第一读写服务集群中确定出第一读写服务，向所述第一读写服务发送读取请求，所述读取请求中携带有所述第一对象的标识；所述第一读写服务用于从所述第一分布式文件系统中读取所述第一对象；
从所述第二读写服务集群中确定出第二读写服务，向所述第二读写服务发送写入请求，所述写入请求中携带有所述第一对象；所述第二读写服务用于在所述第二分布式文件系统中写入所述第一对象。
在一个实施例中，所述第一分布式文件系统采用双园区部署，包括第一主园区分布式文件系统和第一备园区分布式文件系统；
相应的，所述第一读写服务集群包括主园区读写服务集群和备园区读写服务集群；所述主园区读写服务集群用于向第一主园区分布式文件系统执行读写操作；所述备园区读写服务集群用于向第一备园区分布式文件系统执行读写操作。
在一个实施例中，所述第一分布式文件系统和/或所述第二分布式文件系统采用三副本方式进行存储；和/或，
所述第一分布式文件系统和/或所述第二分布式文件系统通过磁带备份的方式进行数据备份。
在一个实施例中，所述第三分布式文件系统采用纠删码方式进行冗余存储。
本说明书实施例还提供了一种分布式对象处理装置，包括：
接收模块，用于接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识；
确定模块，用于响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型；
处理模块，用于从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作；
其中，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
本说明书实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的分布式对象处理方法的步骤。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的分布式对象处理方法的步骤。
在本说明书实施例中，提供了一种分布式对象处理方法，可以接收用户客户端发送的业务请求，响应于业务请求，从分布式数据库获取目标对象标识对应的目标索引的被访问数据，基于目标索引的被访问数据，确定目标对象标识对应的目标类型，从目标类型对应的读写服务集群中筛选出目标读写服务，将目标读写服务的服务标识返回给用户客户端，使得用户客户端向目标读写服务发送对象处理请求，目标读写服务用于响应于对象处理请求在目标类型对应的分布式文件系统中执行对象处理操作。上述方案中，根据待处理的目标对象对应的被访问数据确定目标对象的目标类型，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统可以采用不同的规格进行配置，对于被访问较多的数据可以存储在高性能的分布式文件系统中，对于被访问较少的数据可以存储在低成本的分布式文件系统中，从而可以节约分布式存储系统的存储成本。此外，对于不同的分布式文件系统，可以设置对应的读写服务集群，可以减少网络延迟，提高对象处理效率，改善用户体验。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：
图1示出了本说明书一实施例中分布式对象处理方法的应用场景的示意图；
图2示出了本说明书一实施例中的分布式对象处理方法的流程图；
图3示出了本说明书一实施例中的分布式对象处理装置的示意图；
图4示出了本说明书一实施例中的分布式对象存储系统的示意图；
图5示出了本说明书一实施例中的计算机设备的示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
本说明书实施例提供了一种分布式对象处理方法。图1示出了本说明书一实施例中分布式对象处理方法的应用场景的示意图。如图1所示，用户客户端可以向协调服务求发送业务请求。业务请求中可以包括目标对象标识。协调服务可以向分布式数据库查询目标对象标识对应的目标索引。分布式数据库中可以存储有多个分布式文件系统(至少包括图1中所示的第一分布式文件系统、第二分布式文件系统和第三分布式文件系统)中存储的对象的索引以及索引的被访问数据。协调服务器可以从分布式数据库中获取目标索引的被访问数据。目标索引的被访问数据可以包括目标索引的被访问次数、被访问频率、被访问时长等数据。协调服务器可以根据目标索引的被访问数据确定目标对象的目标类型。不同类型的对象存储在不同的分布式文件系统中。不同的分布式文件系统可以设置对应的读写服务集群。如图1所示，第一分布式文件系统与第一读写服务集群对应，第二分布式文件系统与第二读写服务集群对应，第三分布式文件系统与第三读写服务集群对应。协调服务可以从目标类型对应的读写服务集群中确定出用于处理该业务请求的目标读写服务，并将该目标读写服务标识返回给用户客户端。用户客户端可以向目标读写服务标识对应的目标读写服务发送对象处理请求。对象处理请求中可以包括目标对象标识。目标读写服务可以响应于读写处理请求对目标类型对应的分布式文件系统执行对象处理操作。
图2示出了本说明书一实施例中分布式对象处理方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
具体地，如图2所示，本说明书一种实施例提供的分布式对象处理方法可以包括以下步骤：
步骤S201，接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识。
本实施例中的方法可以应用于服务器或者服务器中的服务进程。服务器可以是单个服务器、服务器集群或者云服务器。
可以接收用户客户端发送的业务请求。业务请求中可以包括目标对象标识。目标对象标识可以是目标对象的对象名或者其他可以用于唯一标识对象的信息。
步骤S202，响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型。
响应于业务请求，可以从分布式数据库获取目标对象标识对应的目标索引的访问数据。分布式数据库中可以存储有多个分布式文件系统中存储的对象的索引以及索引的被访问数据。其中，被访问数据可以包括历史时间段内的被访问频率、被访问次数、被访问时长等数据。具体的，可以向分布式数据库发送获取请求，获取请求中可以包括目标对象标识。分布式数据库可以响应于获取请求返回目标对象标识的目标索引对应的被访问数据。
在获得目标索引的被访问数据之后，可以基于该被访问数据，确定目标对象标识对应的目标类型。
在一个实施例中，可以根据对象索引的被访问频率或被访问次数确定对象的类型。可以将被访问频率大于第一频率的对象的类型确定为第一类型。可以将被访问频率大于第二频率并且不大于第一频率的对象的类型确定为第二类型。可以将被访问频率大于第三频率并且不大于第二频率的对象的类型确定为第三类型。可以将被访问频率不大于第三频率的对象的类型确定为第四类型。第一频率大于第二频率大于第三频率。
步骤S203，从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作。
不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
在确定目标对象的目标类型之后，可以从目标类型对应的读写服务集群中筛选出目标读写服务。可以针对不同类型的对象设置不同的读写服务集群以及不同的分布式文件系统。可以从目标类型对应的读写服务器集群中筛选出空闲或者负载较小的读写访问作为目标读写服务。读写服务集群可以是服务器集群或者服务进程集群，即读写服务可以是读写服务器或者读写服务器进程。
在筛选出目标读写服务之后，可以将目标读写服务的服务标识返回给用户客户端。用户客户端可以根据目标读写服务的服务标识向目标读写服务发送对象处理请求。对象处理请求中可以包括目标对象标识。目标读写服务可以响应于对象处理请求在目标类型对应的分布式文件系统中执行对象处理操作。在一个实施例中，目标读写服务可以在目标类型的分布式文件系统中对目标对象标识对应的目标对象执行读取操作或者写入操作。
上述实施例中，根据待处理的目标对象对应的被访问数据确定目标对象的目标类型，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统可以采用不同的规格进行配置，对于被访问较多的数据可以存储在高性能的分布式文件系统中，对于被访问较少的数据可以存储在低成本的分布式文件系统中，从而可以节约分布式存储系统的存储成本。此外，对于不同的分布式文件系统，可以设置对应的读写服务集群，可以减少网络延迟，提高对象处理效率，改善用户体验。
在本说明书一些实施例中，响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据，可以包括：响应于所述业务请求，确定所述业务请求中是否携带有目标类型标识；在确定所述业务请求中未携带目标类型标识的情况下，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据。
本实施例中，可以根据用户需求确定是否在业务请求中携带目标类型标识。在业务请求中未携带目标类型标识的情况下，可以从分布式数据库获取目标对象标识的目标索引的被访问数据，以根据被访问数据确定目标对象标识对应的目标类型。
在本说明书一些实施例中，所述方法还可以包括：在确定所述业务请求中携带有目标类型标识的情况下，从所述目标类型标识对应的读写服务集群中筛选出目标读写服务。
在用户客户端发送的业务请求中携带有目标类型标识的情况下，可以直接从目标类型标识对应的读写服务集群中筛选出目标读写服务，而无需从分布式数据库获取木索引的被访问数据。本实施例中，通过在业务请求中携带目标类型标识，可以根据用户需求分配读写服务集群给用户来执行对象处理操作。
在本说明书一些实施例中，所述目标类型可以包括第一类型、第二类型和第三类型；相应的，基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型，包括：基于所述目标索引的被访问数据确定所述目标索引的访问频率；在所述目标索引的访问频率大于第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第一类型；在所述目标索引的访问频率大于第二频率且不大于所述第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第二类型；在所述目标索引的访问频率不大于所述第二频率的情况下，确定所述目标对象标识对应的目标类型为所述第三类型；其中，所述第一频率大于所述第二频率。本实施例中，通过将对象按照访问频率划分为三种不同类型的对象，针对不同对象可以采用不同的分布式文件系统进行存储。
在本说明书一些实施例中，所述分布式文件系统可以包括：第一分布式文件系统、第二分布式文件系统和第三分布式文件系统；所述读写服务集群可以包括：第一读写服务集群、第二读写服务集群和第三读写服务集群；所述第一分布式文件系统用于存储所述第一类型的对象；所述第一读写服务集群用于对所述第一分布式文件系统中的第一类型的对象执行读写操作；所述第二分布式文件系统用于存储所述第二类型的对象；所述第二读写服务集群用于对所述第二分布式文件系统中的第二类型的对象执行读写操作；所述第三分布式文件系统用于存储所述第三类型的对象；所述第三读写服务集群用于对所述第三分布式文件系统中的第三类型的对象执行读写操作。第一分布式文件系统的性能可以优于第二分布式文件系统的性能，第二分布式文件系统的性能可以优于第三分布式文件系统的性能。同样的，第三分布式文件系统的存储成本可以低于第二分布式文件系统的存储成本，第二分布式文件系统的存储成本可以低于第一分布式文件系统的存储成本。本实施例中，针对不同类型的对象，采用不同类型的分布式文件系统存储不同类型的对象，针对不同的分布式文件系统设置对应的读写服务集群进行读写操作，可以节约存储成本，提高存储效率，改善用户体验。
在本说明书一些实施例中，所述方法还可以包括：从所述分布式数据库读取多个对象中各对象的索引的被访问数据；根据所述各对象的索引的被访问数据确定出需要从所述第一分布式文件系统迁移至所述第二分布式文件系统的第一对象；从所述第一读写服务集群中确定出第一读写服务，向所述第一读写服务发送读取请求，所述读取请求中携带有所述第一对象的标识；所述第一读写服务用于从所述第一分布式文件系统中读取所述第一对象；从所述第二读写服务集群中确定出第二读写服务，向所述第二读写服务发送写入请求，所述写入请求中携带有所述第一对象；所述第二读写服务用于在所述第二分布式文件系统中写入所述第一对象。
本实施例中，由于所有对象的索引均存储在分布式数据库中，因而可以从分布式数据库读取多个对象中个对象的索引的被访问数据。根据各对象的索引的被访问数据，可以确定出需要从第一分布式文件系统迁移至第二分布式文件系统的第一对象。在一个实施例中，可以根据上一个时间段内对象的被访问频率以及当前时间段内的访问频率，确定出需要从第一分布式文件系统迁移至第二分布式文件系统的第一对象。在确定出第一对象之后，可以利用第一分布式文件系统对应的第一读写服务集群中确定出第一读写服务，并向第一读写服务发送读取请求，以从第一分布式文件系统中读取第一对象。可以从第二读写服务集群中确定出第二读写服务，向第二读写访问发送写入请求，以从第二分布式文件系统中写入第一对象。通过上述方式，可以根据对象的访问频率的变化对对象进行迁移，以进一步节约存储成本问，改善存储效果。
在本说明书一些实施例中，所述第一分布式文件系统采用双园区部署，包括第一主园区分布式文件系统和第一备园区分布式文件系统。通过采用双园区部署第一分布式文件系统，可以提高第一分布式文件系统的可靠性和安全行。
相应的，所述第一读写服务集群包括主园区读写服务集群和备园区读写服务集群。所述主园区读写服务集群用于向第一主园区分布式文件系统执行读写操作。所述备园区读写服务集群用于向第一备园区分布式文件系统执行读写操作。通过对第一分布式文件系统对应的读写服务集群进行双园区部署，可以进一步提高第一分布式文件系统的读写效率，改善用户体验。
在本说明书一些实施例中，所述第一分布式文件系统和/或所述第二分布式文件系统采用三副本方式进行存储。通过三副本方式进行存储，可以在保证存储可靠性和安全性的前提下，节约第一分布式文件系统和第二分布式文件系统的存储成本。
在本说明书一些实施例中，所述第一分布式文件系统和/或所述第二分布式文件系统通过磁带备份的方式进行数据备份。通过磁带备份可以进一步提高存储的可靠性和安全行。
在本说明书一些实施例中，所述第三分布式文件系统采用纠删码方式进行冗余存储。通过纠删码的方式进行冗余存储，可以进一步节约存储成本。
上述实施例中仅示意性地说明需要从第一分布式文件系统迁移至第二分布式文件系统的情况。可以理解的是，可以根据各对象的被访问数据确定出需要从第二分布式文件系统迁移至第三分布式文件系统的对象并执行对应的迁移操作。
同样的，可以根据各对象的被访问数据确定出需要从第二分布式文件系统迁移至第一分布式文件系统的对象并执行对应的迁移操作。还可以根据各对象的被访问数据确定出需要从第三分布式文件系统迁移至第二分布式文件系统的对象并执行对应的迁移操作。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，本说明书实施例中还提供了一种分布式对象处理装置，如下面的实施例所述。由于分布式对象处理装置解决问题的原理与分布式对象处理方法相似，因此分布式对象处理装置的实施可以参见分布式对象处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图3是本说明书实施例的分布式对象处理装置的一种结构框图，如图3所示，包括：接收模块301、确定模块302和处理模块303，下面对该结构进行说明。
接收模块301用于接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识。
确定模块302用于响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型。
处理模块303用于从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作。
其中，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
基于同一发明构思，本说明书实施例中还提供了一种分布式对象存储系统，如下面的实施例所述。由于分布式对象存储系统解决问题的原理与分布式对象处理方法相似，因此分布式对象存储系统的实施可以参见分布式对象处理方法的实施，重复之处不再赘述。本说明书实施例还提供了一种分布式对象存储系统。分布式对象存储系统可以包括：用户客户端、协调服务、分布式数据库、读写服务集群、分布式文件系统。
所述用户客户端可以用于向所述协调服务发送业务请求。所述业务请求中包括目标对象标识。
所述协调服务可以用于响应于所述业务请求，从所述分布式数据库获取所述目标对象标识对应的目标索引的被访问数据。所示协调服务还可以用于基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型。所述协调服务还可以用于从所述目标类型对应的读写服务集群中筛选出目标读写服务，并将所述目标读写服务的服务标识返回给所述用户客户端。
所述用户客户端还可以用于向所述目标读写服务发送对象处理请求，对象处理请求中可以包括目标对象标识。
所述目标读写服务可以用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作。
在本说明书一些实施例中，所述协调服务可以具体用于响应于所述业务请求，确定所述业务请求中是否携带有目标类型标识。在确定所述业务请求中未携带目标类型标识的情况下，所述协调服务具体用于从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据。
在本说明书一些实施例中，在确定所述业务请求中携带有目标类型标识的情况下，所述协调服务还可以具体用于从所述目标类型标识对应的读写服务集群中筛选出目标读写服务。
在本说明书一些实施例中，所述目标类型可以包括第一类型、第二类型和第三类型。所述协调服务可以具体用于：基于所述目标索引的被访问数据确定所述目标索引的访问频率；在所述目标索引的访问频率大于第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第一类型；在所述目标索引的访问频率大于第二频率且不大于所述第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第二类型；在所述目标索引的访问频率不大于所述第二频率的情况下，确定所述目标对象标识对应的目标类型为所述第三类型；其中，所述第一频率大于所述第二频率。
在本说明书一些实施例中，所述分布式文件系统可以包括：第一分布式文件系统、第二分布式文件系统和第三分布式文件系统；所述读写服务集群可以包括：第一读写服务集群、第二读写服务集群和第三读写服务集群。
所述第一分布式文件系统可以用于存储所述第一类型的对象。所述第一读写服务集群可以用于对所述第一分布式文件系统中的第一类型的对象执行读写操作。
所述第二分布式文件系统可以用于存储所述第二类型的对象。所述第二读写服务集群可以用于对所述第二分布式文件系统中的第二类型的对象执行读写操作。
所述第三分布式文件系统可以用于存储所述第三类型的对象。所述第三读写服务集群可以用于对所述第三分布式文件系统中的第三类型的对象执行读写操作。
在本说明书一些实施例中，所述系统还可以包括：扫描服务和迁移服务集群；所述迁移服务集群中包括第一迁移服务集群、第二迁移服务集群和第三迁移服务集群。
所述扫描服务可以用于从所述分布式数据库读取多个对象中各对象的索引的被访问数据；还可以用于根据所述各对象的索引的被访问数据确定出需要从所述第一分布式文件系统迁移至所述第二分布式文件系统的第一对象；还可以用于从所述第一迁移服务集群中确定出第一迁移服务，向所述第一迁移服务发送读取请求，所述读取请求中携带有所述第一对象的标识。
所述第一迁移服务可以用于从所述第一分布式文件系统中读取所述第一对象。
所述扫描服务还可以用于从所述第二迁移服务集群中确定出第二迁移服务，向所述第二迁移服务发送写入请求，所述写入请求中携带有所述第一对象。
所述第二迁移服务用于在所述第二分布式文件系统中写入所述第一对象。
在本说明书一些实施例中，所述第一分布式文件系统采用双园区部署，包括第一主园区分布式文件系统和第一备园区分布式文件系统。通过采用双园区部署第一分布式文件系统，可以提高第一分布式文件系统的可靠性和安全行。
相应的，所述第一读写服务集群包括主园区读写服务集群和备园区读写服务集群。所述主园区读写服务集群用于向第一主园区分布式文件系统执行读写操作。所述备园区读写服务集群用于向第一备园区分布式文件系统执行读写操作。通过对第一分布式文件系统对应的读写服务集群进行双园区部署，可以进一步提高第一分布式文件系统的读写效率，改善用户体验。
在本说明书一些实施例中，所述第一分布式文件系统和/或所述第二分布式文件系统采用三副本方式进行存储。通过三副本方式进行存储，可以在保证存储可靠性和安全性的前提下，节约第一分布式文件系统和第二分布式文件系统的存储成本。
在本说明书一些实施例中，所述第一分布式文件系统和/或所述第二分布式文件系统通过磁带备份的方式进行数据备份。通过磁带备份可以进一步提高存储的可靠性和安全行。
在本说明书一些实施例中，所述第三分布式文件系统采用纠删码方式进行冗余存储。通过纠删码的方式进行冗余存储，可以进一步节约存储成本。
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。
本具体实施例中提供了一种分布式存储系统，请参考图4，示出了本具体实施例中的分布式存储系统的整体架构。如图4所示，可以包括读写客户端Client、读写服务协调者Coordinator、读写服务Worker、数据复制者Replicator以及消息队列Kafka和hadoop集群。
Hadoop A及Hadoop B是热集群，双园区互为备份。每个园区内文件双副本存储，一共四副本，保障数据可靠性。用户可将访问频率最高或对读取性能有要求的数据存储在热集群。
Hadoop WARM是温集群，用户可将访问频率次之的数据存储在温集群。
Hadoop COLD是冷集群，用户可将不常访问的数据放在冷集群。
温冷集群只使用HDFS存储数据，索引信息都存储在热集群的HBase中。
读写客户端Client：部署在用户侧，用户通过Client发起读写请求。
协调者Coordinator：用于给Client分配读写服务Worker，将读写请求的负载均衡到每个读写服务进程上。
读写服务Worker：双园区部署，负责响应Client的读写请求。Worker的部署有主备园区之分，客户只能向主园区写数据，可以从双边园区读取数据。如果启用服务端加密，则写服务Worker会将数据加密后在写入HDFS，读服务Worker会将数据解密后再发送给client。Worker WARM用于对Hadoop WARM执行读写操作。Worker COLD用于对Hadoop COLD执行读写操作。
数据复制者Replicator：负责双园区的数据同步。
本具体实施例中的分布式存储系统的存储流程可以包括以下内容。
客户端Client发起业务请求(读/写/删/改)，然后协调者Coordinator负责分配读写服务Worker给Client，Client拿到Worker的信息后，向Worker发送读写请求，然后Worker负责将数据写入HDFS和HBase，并将消息写入Kafka，等待复制者Replicator进行复制。
Coordinator分配Worker时，还可以根据用户的请求分配不同集群的Worker给Client。
Worker实例启动之后，会定期向Coordinator发送心跳，表示自己处于正常工作状态。Coordinator收到心跳信息之后，将其存储在Redis内存数据库中，并定期删除过期的心跳信息，保证Redis中存储的都是处于正常工作状态的Worker。
Coordinator会定期从数据库中读取Worker的部署信息。
Worker的工作流程如下。
写：温集群冷集群的Worker，仅向温冷集群HDFS中写入用户数据，索引信息需要写入热集群的HBase，同时索引信息也需要写入KAFKA。
读：Worker收到Client的读请求，根据请求中的信息，找到HBase记录的索引信息，确定数据存储在哪个集群中，并根据索引信息读取到对象并返回给Client。
删除：Worker收到Client的删除请求，将HBase中存储的索引信息删除。
修改：Worker收到Client的修改请求，将新对象写入HDFS文件当中，更新HBase中的索引信息，并将索引信息写入Kafka消息队列中。
Replicator的工作流程可以对写入温冷集群对象的索引信息进行复制。
温集群HDFS可以采用三副本，比热集群双园区四副本节约了存储空间，并且温集群定时通过磁带备份进行数据备份，保障单个集群下的数据可靠性。
冷集群的HDFS可以采用纠删码方式进行冗余存储，比温集群单园区三副本节约大概50％的存储空间。冷集群同样通过定时任务进行磁带备份，保障数据可靠性。
热温集群、温冷集群之间都可以由清理程序进行数据转移及清理。
热至温、温至冷集群的数据转移，可以按照对象类型的生命周期与对象访问频率来迁移，如果数据访问频率过低，无论数据是否进行生命周期配置，都会将其进行转移操作。
本说明书实施方式还提供了一种计算机设备，具体可以参阅图5所示的基于本说明书实施例提供的分布式对象处理方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备51、处理器52、存储器53。其中，所述存储器53用于存储处理器可执行指令。所述处理器52执行所述指令时实现上述任意实施例中所述的分布式对象处理方法的步骤。
在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本说明书实施方式中还提供了一种基于分布式对象处理方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述分布式对象处理方法的步骤。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。
以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
Claims (12)
1.一种分布式对象处理方法，其特征在于，包括：
接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识；
响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型；
从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作；
其中，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
2.根据权利要求1所述的分布式对象处理方法，其特征在于，响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据，包括：
响应于所述业务请求，确定所述业务请求中是否携带有目标类型标识；
在确定所述业务请求中未携带目标类型标识的情况下，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据。
3.根据权利要求1所述的分布式对象处理方法，其特征在于，所述方法还包括：
在确定所述业务请求中携带有目标类型标识的情况下，从所述目标类型标识对应的读写服务集群中筛选出目标读写服务。
4.根据权利要求1所述的分布式对象处理方法，其特征在于，所述目标类型包括第一类型、第二类型和第三类型；
相应的，基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型，包括：
基于所述目标索引的被访问数据确定所述目标索引的访问频率；
在所述目标索引的访问频率大于第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第一类型；
在所述目标索引的访问频率大于第二频率且不大于所述第一频率的情况下，确定所述目标对象标识对应的目标类型为所述第二类型；
在所述目标索引的访问频率不大于所述第二频率的情况下，确定所述目标对象标识对应的目标类型为所述第三类型；
其中，所述第一频率大于所述第二频率。
5.根据权利要求4所述的分布式对象处理方法，其特征在于，所述分布式文件系统包括：第一分布式文件系统、第二分布式文件系统和第三分布式文件系统；所述分布式数据用于存储所述第一分布式文件系统、所述第二分布式文件系统和所述第三分布式文件系统中存储的对象的索引；所述读写服务集群包括：第一读写服务集群、第二读写服务集群和第三读写服务集群；
所述第一分布式文件系统用于存储所述第一类型的对象；所述第一读写服务集群用于对所述第一分布式文件系统中的第一类型的对象执行读写操作；
所述第二分布式文件系统用于存储所述第二类型的对象；所述第二读写服务集群用于对所述第二分布式文件系统中的第二类型的对象执行读写操作；
所述第三分布式文件系统用于存储所述第三类型的对象；所述第三读写服务集群用于对所述第三分布式文件系统中的第三类型的对象执行读写操作。
6.根据权利要求5所述的分布式对象处理方法，其特征在于，所述方法还包括：
从所述分布式数据库读取多个对象中各对象的索引的被访问数据；
根据所述各对象的索引的被访问数据确定出需要从所述第一分布式文件系统迁移至所述第二分布式文件系统的第一对象；
从所述第一读写服务集群中确定出第一读写服务，向所述第一读写服务发送读取请求，所述读取请求中携带有所述第一对象的标识；所述第一读写服务用于从所述第一分布式文件系统中读取所述第一对象；
从所述第二读写服务集群中确定出第二读写服务，向所述第二读写服务发送写入请求，所述写入请求中携带有所述第一对象；所述第二读写服务用于在所述第二分布式文件系统中写入所述第一对象。
7.根据权利要求5所述的分布式对象处理方法，其特征在于，所述第一分布式文件系统采用双园区部署，包括第一主园区分布式文件系统和第一备园区分布式文件系统；
相应的，所述第一读写服务集群包括主园区读写服务集群和备园区读写服务集群；所述主园区读写服务集群用于向第一主园区分布式文件系统执行读写操作；所述备园区读写服务集群用于向第一备园区分布式文件系统执行读写操作。
8.根据权利要求5所述的分布式对象处理方法，其特征在于，所述第一分布式文件系统和/或所述第二分布式文件系统采用三副本方式进行存储；和/或，
所述第一分布式文件系统和/或所述第二分布式文件系统通过磁带备份的方式进行数据备份。
9.根据权利要求5所述的分布式对象处理方法，其特征在于，所述第三分布式文件系统采用纠删码方式进行冗余存储。
10.一种分布式对象处理装置，其特征在于，包括：
接收模块，用于接收用户客户端发送的业务请求；所述业务请求中包括目标对象标识；
确定模块，用于响应于所述业务请求，从分布式数据库获取所述目标对象标识对应的目标索引的被访问数据；基于所述目标索引的被访问数据，确定所述目标对象标识对应的目标类型；
处理模块，用于从所述目标类型对应的读写服务集群中筛选出目标读写服务；将所述目标读写服务的服务标识返回给所述用户客户端，使得所述用户客户端向所述目标读写服务发送对象处理请求，所述目标读写服务用于响应于所述对象处理请求在所述目标类型对应的分布式文件系统中执行对象处理操作；
其中，不同目标类型的目标对象存储在不同的分布式文件系统中，不同的分布式文件系统设置有对应的读写服务集群。
11.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311589257.0A CN117591475A (zh) | 2023-11-24 | 2023-11-24 | 分布式对象处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311589257.0A CN117591475A (zh) | 2023-11-24 | 2023-11-24 | 分布式对象处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117591475A true CN117591475A (zh) | 2024-02-23 |
Family
ID=89909553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311589257.0A Pending CN117591475A (zh) | 2023-11-24 | 2023-11-24 | 分布式对象处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117591475A (zh) |
-
2023
- 2023-11-24 CN CN202311589257.0A patent/CN117591475A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11153380B2 (en) | Continuous backup of data in a distributed data store | |
| US10956601B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
| US10198356B2 (en) | Distributed cache nodes to send redo log records and receive acknowledgments to satisfy a write quorum requirement | |
| US10764045B2 (en) | Encrypting object index in a distributed storage environment | |
| CN107807794B (zh) | 一种数据存储方法和装置 | |
| US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
| KR101827239B1 (ko) | 분산 데이터 시스템들을 위한 전 시스템에 미치는 체크포인트 회피 | |
| KR101833114B1 (ko) | 분산 데이터베이스 시스템들을 위한 고속 장애 복구 | |
| US11249834B2 (en) | Storage system with coordinated recovery across multiple input-output journals of different types | |
| US9552242B1 (en) | Log-structured distributed storage using a single log sequence number space | |
| US8473462B1 (en) | Change tracking for shared disks | |
| US8578096B2 (en) | Policy for storing data objects in a multi-tier storage system | |
| US10725666B2 (en) | Memory-based on-demand data page generation | |
| CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
| US10628298B1 (en) | Resumable garbage collection | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| US9984139B1 (en) | Publish session framework for datastore operation records | |
| CN107423301B (zh) | 一种数据处理的方法、相关设备及存储系统 | |
| US9557938B2 (en) | Data retrieval based on storage device activation schedules | |
| US11188229B2 (en) | Adaptive storage reclamation | |
| CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储系统 | |
| CN109684270A (zh) | 数据库归档方法、装置、系统、设备及可读存储介质 | |
| CN111435286B (zh) | 一种数据存储方法、装置和系统 | |
| CN109726211B (zh) | 一种分布式时序数据库 | |
| CN107948229B (zh) | 分布式存储的方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |