CN117407361B - 数据管理方法、装置、系统、服务器及存储介质 - Google Patents
数据管理方法、装置、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN117407361B CN117407361B CN202311704727.3A CN202311704727A CN117407361B CN 117407361 B CN117407361 B CN 117407361B CN 202311704727 A CN202311704727 A CN 202311704727A CN 117407361 B CN117407361 B CN 117407361B
- Authority
- CN
- China
- Prior art keywords
- file
- storage
- bucket
- volume
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013523 data management Methods 0.000 title claims abstract description 30
- 238000012217 deletion Methods 0.000 claims abstract description 5
- 230000037430 deletion Effects 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
- G06F16/125—File system administration, e.g. details of archiving or snapshots using management policies characterised by the use of retention policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据存储技术领域，提供了一种数据管理方法、装置、系统、服务器及存储介质，该方法通过服务器根据待存储数据的存储期限创建存储桶，以及在存储桶中创建文件卷，并将客户端上传的待存储数据存储至文件卷中；其中，存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围；按照预设的查询规则查询所述存储桶，存储桶中每个文件卷对应的文件卷属性信息包括存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
Description
技术领域
本发明涉及数据存储技术领域，尤其是涉及一种数据管理方法、装置、系统、服务器及存储介质。
背景技术
在现有分布式对象存储系统中，服务器需要每天遍历存储的文件，并根据文件的上传时间以及当前时间的差值来确定是否删除这些对象。遍历对象是一个非常消耗CPU、输入输出接口IO和内存的操作，也会影响对象存储的查询和存取效率。并且当存储桶的生命周期设置为较长的到期时间时，每天都需要遍历桶内的对象，包含了大量无效操作。目前的TTL(Time to live)处理方式会给服务器带来较大的压力，尤其在包含大量文件时，可能会出现一些文件因为没有及时被遍历到而未被删除的问题，此外，存储系统中会删除TTL过期的数据，而留下TTL未过期的数据，这会造成数据的碎片化，碎片化会造成存储资源的浪费，并且严重影响查询的效率。
发明内容
本申请实施例提供了一种数据管理方法、装置、系统、服务器及存储介质，能够降低文件删除的复杂度，提升数据管理效率。
本申请实施例第一方面提供了一种数据管理方法，该方法包括：
根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围；
按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
本申请实施例第二方面提供了一种数据管理装置，所述数据管理装置包括：
创建模块，用于根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围；
查询模块，用于按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
删除模块，用于根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
本申请实施例第三方面提供了一种数据管理系统，所述系统包括客户端和服务器；其中，
所述客户端，用于向所述服务器发送文件上传请求，所述文件上传请求包括待存储数据的存储期限；
所述服务器用于，根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围；
按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
本申请实施例第四方面提供了一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现第一方面所述方法的步骤。
第五方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
第六方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具有如下有益效果：
可以看出，通过本申请实施例所描述的数据管理方法、装置、系统、服务器及存储介质，通过根据待存储数据的存储期限创建存储桶，以及在存储桶中创建文件卷，并将客户端上传的待存储数据存储至文件卷中；其中，存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围；按照预设的查询规则查询所述存储桶，存储桶中每个文件卷对应的文件卷属性信息包括存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，通过本方案的存储桶和文件卷的创建方式，可以在同一个存储桶中创建存储期限相同或处于同一时间范围的多个文件卷，使得存储桶中的文件卷的过期时间相同或相近，进而可以根据包括文件卷属性信息对存储桶中过期的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案不会造成数据的碎片化，查询效率更高，能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据管理系统的系统示意图；
图2为本发明实施例提供的一种数据管理方法的流程示意图；
图3为本发明实施例提供的另一种数据管理方法的流程示意图；
图4本发明实施例提供的一种数据管理装置的结构示意图；
图5为本发明实施例提供的一种服务器的分布式存储系统中创建的存储桶和文件卷的演示示意图；
图6为本发明实施例提供的一种文件卷的索引文件结构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置显示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1为本发明实施例提供的一种数据管理系统的系统示意图，数据管理系统100包括客户端10和服务器20，其中，
客户端10，用于向所述服务器20发送文件上传请求，所述文件上传请求包括待存储数据的存储期限；
所述服务器20用于，根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将客户端10上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围；按照预设的遍历规则遍历所述存储桶中的文件卷，每个文件卷对应的文件卷属性信息包括所述存储期限；根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
其中，服务器20接收客户端10的文件上传请求，所述文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限；若已经存在与所述存储期限对应的存储桶，则服务器20向客户端10发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；若不存在与所述存储期限对应的存储桶，则服务器20根据所述文件上传请求创建新的存储桶和文件卷。
存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围，这样，根据多个文件卷的存储期限可以判断多个文件卷在同一时间过期或过期时间接近，从而可以减少遍历文件卷中多个文件的次数，在文件卷过期时，将文件卷的文件进行批量删除，或者将存储桶中多个文件卷进行批量删除。
每个文件卷可以包含大量的文件。每个文件卷可以理解为一个单独的大文件，包括多个文件。每个文件通过在单独的卷索引中的偏移量进行索引。因此，每个文件读取请求只需读取内存中的卷索引以获取偏移量和大小，然后通过一次磁盘查找读取文件，存储桶中包括多个文件卷，具有不同的TTL设置。
当一个存储桶可以被删除时，我们只需删除存储桶中的所有文件卷来清除文件数据。一个存储桶可以拥有多种文件卷类型，例如不同的复制方式、不同的磁盘类型。
本申请实施例所描述的数据管理系统，通过客户端向服务器发送文件上传请求，文件上传请求包括待存储数据的存储期限；服务器根据待存储数据的存储期限创建存储桶，以及在述存储桶中创建文件卷，并将客户端上传的待存储数据存储至文件卷中；存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围；按照预设的遍历规则遍历存储桶中的文件卷，每个文件卷对应的文件卷属性信息包括所述存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，通过本方案的存储桶和文件卷的创建方式，可以在同一个存储桶中存储期限相同或处于同一时间范围多个文件卷，使得存储桶中的文件卷的过期时间相同或相近，进而可以根据包括存储期限的文件卷属性信息对存储桶中过期的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案不会造成数据的碎片化，查询效率更高，能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
客户端10，还用于向所述服务器发送文件标识信息请求；
服务器20接收所述客户端10的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；
根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则服务器20检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；
若所述存储桶中有所述文件标识信息请求对应的文件卷，则服务器20返回文件标识信息和文件存储地址。
若检索到不存在桶名称对应的存储桶，则服务器20向所述客户端10发送反馈信息，所述反馈信息用于指示所述客户端10创建新的存储桶。
用户可通过客户端向服务器发送文件标识信息请求，用户可设置指定存储桶的桶名称，服务器根据存储桶的桶名称检索对应的存储桶，若存储桶存在，则进一步检查是否有可用的文件卷，若有可用的文件卷，则返回文件标识信息和文件存储地址，文件标识信息可包括有数据模块ID、文件卷ID及文件标识，文件标识例如为Needle ID，Needle ID用于标识文件卷中的文件，文件存储地址可以是数据模块的IP地址，数据模块的IP地址发送给客户端后，可以使客户端根据该数据模块的IP地址上传待存储数据。
客户端10，还用于向服务器20发送上传文件，所述上传文件携带待存储数据和对应的文件标识信息，用于将待存储数据上传到服务器；
服务器20，用于接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；
根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；
若是，则将所述待存储数据合并至对应的文件卷中。
用户通过客户端向服务器发送上传文件，客户端可根据数据模块的IP地址向服务器发送上传文件。上传文件携带文件卷标识，例如Needle ID。如果文件卷中已经有相应的文件，标记相应的Needle为不可用状态，同时把上传的文件添加在文件卷后面。
在多个所述文件卷的存储期限相同，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除方面，服务器20具体用于：
根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
服务器可以遍历存储桶的文件卷对应的文件卷属性信息，根据文件卷属性信息和当前时间判断文件卷是否过期，若是，则删除存储桶中的所有文件卷进行删除，这样，当存储桶的文件卷都过期，可以一次IO操作就可以删除存储桶中的所有文件，假定存储桶中有n个文件，采用本方案，可以删除过期文件的时间复杂度为O(1), 而现有的分布式对象存储系统中，删除过期文件的时间复杂度通常为O(n)。
多个所述文件卷的存储期限处于同一时间范围，在所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除方面，服务器20具体用于：
根据各个所述文件卷的文件卷属性信息和当前时间判断各个文件卷是否超过对应的存储期限，所述文件卷属性信息包括存储期限、创建时间和修改时间；
将所述存储桶中超过对应存储期限的文件卷进行删除；或者，若所述存储桶中所有文件卷均超过对应的存储期限，则将所述存储桶的所有文件卷进行删除。
本申请中，可以遍历存储桶中的文件卷属性信息和当前时间判断各个文件卷是否超过对应的存储期限，当判断文件卷过期，可以将过期的文件卷进行删除，从而，不需要遍历文件卷中多个文件，可以将文件卷进行删除；或者，可以在存储桶中所有文件卷均过期时，将存储桶的所有文件卷进行删除，这种方式也不需要遍历文件卷中多个文件，从而降低文件删除复杂度。
下面针对应用于上述服务器实施的数据管理方法进行详细介绍。
请参阅图2，图2本发明实施例提供的一种数据管理方法的流程示意图。本实施例中所描述的数据管理方法，应用于服务器，该方法包括以下步骤：
S201、根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围。
其中，创建存储桶，存储桶对应有桶名称及存储期限，存储期限可以包括TTL的值，该存储期限是存储桶中多个文件卷的存储期限。
存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围，这样，根据多个文件卷的存储期限可以判断多个文件卷在同一时间过期或过期时间接近，从而可以减少遍历文件卷中多个文件的次数，在文件卷过期时，将文件卷的文件进行批量删除，或者将存储桶中多个文件卷进行批量删除，不需要遍历文件卷中的文件来清除文件数据。
每个文件卷可以包含大量的文件。每个文件卷可以理解为一个单独的大文件，包括多个文件。每个文件通过在单独的卷索引中的偏移量进行索引。因此，每个文件读取请求只需读取内存中的卷索引以获取偏移量和大小，然后通过一次磁盘查找读取文件，存储桶中包括多个文件卷，具有不同的TTL设置。
一个存储桶可以拥有多种文件卷类型，例如不同的复制方式、不同的磁盘类型。
S202、按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限。
其中，文件卷属性信息可包括版本信息、存储期限、创建时间、修改时间。
具体地，可按照预设的遍历规则遍历所述存储桶中的文件卷，每个文件卷对应的文件卷属性信息包括所述存储期限，按照预设的遍历规则遍历存储桶中的文件卷，可以是按照预设的遍历周期、或者预设的遍历频次来遍历存储桶中的文件卷，例如，每天遍历存储桶中的文件卷，或者用户可以在需要清除文件时，通过客户端向服务器发送预设控制指令，服务器接收预设控制指令后，遍历存储桶中的文件卷。
一种实施例中，存储桶中的文件卷的存储期限相同，则不需要遍历存储桶中的文件卷，可以查询存储桶中的文件卷属性信息，根据文件卷属性信息判断存储桶是否可以删除。
S203、根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
本方案中，可以根据存储期限判断存储桶中的文件卷是否达到过期时间，若是，则将文件卷进行删除，具体地，可以一次删除存储桶的所有文件卷，或者可以删除已过期的部分文件卷。当一个存储桶可以被删除时，我们只需删除存储桶中的所有文件卷来清除文件数据。
可以看出，通过根据待存储数据的存储期限创建存储桶，以及在存储桶中创建文件卷，并将客户端上传的待存储数据存储至文件卷中；其中，存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围；按照预设的查询规则查询所述存储桶，每个文件卷对应的文件卷属性信息包括存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，通过本方案的存储桶和文件卷的创建方式，可以在同一个存储桶中存储期限相同或处于同一时间范围多个文件卷，使得存储桶中的文件卷的过期时间相同或相近，进而可以根据包括存储期限的文件卷属性信息对存储桶中过期的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
可选地，上述步骤S201中，根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，包括：
接收客户端的文件上传请求，所述文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限；
若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；
若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷。
用户可通过客户端向服务器发起文件上传请求，用户可以设置存储桶的桶名称和待存储数据的存储期限，文件上传请求可以携带该桶名称和待存储数据的存储期限，服务器接收到文件上传请求后，可以判断服务器中是否已经存在文件上传请求包括的存储期限对应的存储桶，如果服务器判断不存在该存储期限对应的存储桶，则创建新的存储桶，将文件上传请求包括的桶名称作为新的存储桶的桶名称，在新的存储桶中创建新的文件卷，将文件上传请求包括的存储期限作为新的文件卷的存储期限。如果存在存储期限对应的存储桶，检查创建时间起T时间内的文件卷是否存在，如果创建时间起T时间内的文件卷不存在，则创建新的文件卷，以将待存储数据存储到新的文件卷。如果创建时间起T时间内的文件卷已经存在，则添加文件到文件卷后面，以将待存储数据存储到已存在的文件卷，其中，假定文件卷的创建时间为t0，创建时间起T时间内是指创建时间t0至当前时间的时间长度小于或等于T，T用于表示时间长度，如图5所示，图5为一种服务器的分布式存储系统中创建的存储桶和文件卷的演示示意图。
可选地，所述方法还包括：
接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；
根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；
若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址。
用户可通过客户端向服务器发送文件标识信息请求，用户可设置指定存储桶的桶名称，服务器根据存储桶的桶名称检索对应的存储桶，若存储桶存在，则进一步检查是否有可用的文件卷，若有可用的文件卷，则返回文件标识信息和文件存储地址，文件标识信息可包括有数据模块ID、文件卷ID及文件标识，文件标识例如为Needle ID，Needle ID用于标识文件卷中的文件，文件存储地址可以是数据模块的IP地址，数据模块的IP地址发送给客户端后，可以使客户端根据该数据模块的IP地址上传待存储数据，如图6所示，图6为一种文件卷的索引文件结构的示意图。
可选地，所述方法还包括：
若检索到不存在桶名称对应的存储桶，则向所述客户端发送反馈信息，所述反馈信息用于指示所述客户端创建新的存储桶。
服务器可向客户端发送反馈信息，例如报错信息，从而提示用户通过客户端创建新的存储桶。
可选地，所述将客户端上传的待存储数据存储至所述文件卷中，包括：
接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；
根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；
若是，则将所述待存储数据合并至对应的文件卷中。
用户通过客户端向服务器发送上传文件，客户端可根据数据模块的IP地址向服务器发送上传文件。上传文件携带文件卷标识，例如Needle ID。如果文件卷中已经有相应的文件，标记相应的Needle为不可用状态，同时把上传的文件添加在文件卷后面。
可选地，多个所述文件卷的存储期限相同，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，包括：
根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
其中，服务器可以遍历存储桶的文件卷对应的文件卷属性信息，根据文件卷属性信息和当前时间判断文件卷是否过期，若是，则删除存储桶中的所有文件卷进行删除，这样，当存储桶的文件卷都过期，可以一次IO操作就可以删除存储桶中的所有文件，假定存储桶中有n个文件，采用本方案，可以删除过期文件的时间复杂度为O(1), 而现有的分布式对象存储系统中，删除过期文件的时间复杂度通常为O(n)。
可选地，多个所述文件卷的存储期限处于同一时间范围，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，包括：
根据各个所述文件卷的文件卷属性信息和当前时间判断各个文件卷是否超过对应的存储期限，所述文件卷属性信息包括存储期限、创建时间和修改时间；
将所述存储桶中超过对应存储期限的文件卷进行删除；或者，若所述存储桶中所有文件卷均超过对应的存储期限，则将所述存储桶的所有文件卷进行删除。
本申请中，可以遍历存储桶中的文件卷属性信息和当前时间判断各个文件卷是否超过对应的存储期限，当判断文件卷过期，可以将过期的文件卷进行删除，从而，不需要遍历文件卷中多个文件，可以将文件卷进行删除；或者，可以在存储桶中所有文件卷均过期时，将存储桶的所有文件卷进行删除，这种方式也不需要遍历文件卷中多个文件，从而降低文件删除复杂度。
与所述图2所示的实施例一致的，请参阅图3，图3为本发明实施例提供的另一种实施例的数据管理方法的流程示意图，如图3所示，本数据管理方法包括：
S301、接收客户端的文件上传请求。
文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限。
S302、若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息；在所述存储桶中创建与所述待存储数据对应的文件卷。
所述桶信息包括桶名称和存储期限。
S303、若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷。
S304、接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称。
S305、根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷。
S306、若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址。
S307、若检索到不存在桶名称对应的存储桶，则向所述客户端发送反馈信息。
反馈信息用于指示所述客户端创建新的存储桶。
S308、接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息。
S309、根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件。
S310、若是，则将所述待存储数据合并至对应的文件卷中。
S311、按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限。
S312、根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限。
S313、若是，则将所述存储桶中的所有文件卷进行删除。
上述步骤的具体实施细节可参考上述实施例的具体细节，此处不再赘述。
可以看出，本申请实施例中，通过根据文件上传请求创建新的存储桶和文件卷，在存储桶中创建与待存储数据对应的文件卷，根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；若是，则将所述待存储数据合并至对应的文件卷中；按照预设的查询规则查询所述存储桶，每个文件卷对应的文件卷属性信息包括存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，通过本方案的存储桶和文件卷的创建方式，可以在同一个存储桶中存储期限相同的多个文件卷，使得存储桶中的文件卷的过期时间相同，进而可以根据包括存储期限的文件卷属性信息对存储桶中过期的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
与所述图1-图4所示的实施例一致的，请参阅图4，图4为本发明实施例提供的一种数据管理装置的结构示意图，数据管理装置400包括：
创建模块401，用于根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，并将所述客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同或处于同一时间范围；
查询模块402，用于按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
删除模块403，用于根据所述文件卷属性信息将所述存储桶中的文件卷进行删除。
可选地，在所述根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷方面，上述创建模块401具体用于：
接收客户端的文件上传请求，所述文件上传请求包括所述待存储数据待存储的存储桶的桶名称和存储期限；
若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；
若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷。
可选地，上述创建模块401还用于：
接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；
根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；
若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址。
可选地，上述创建模块401还用于：
若检索到不存在桶名称对应的存储桶，则向所述客户端发送反馈信息，所述反馈信息用于指示所述客户端创建新的存储桶。
可选地，在所述将客户端上传的待存储数据存储至所述文件卷中方面，上述创建模块401具体用于：
接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；
根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；
若是，则将所述待存储数据合并至对应的文件卷中。
可选地，多个所述文件卷的存储期限相同，在所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除方面，上述删除模块403具体用于：
根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
可选地，多个所述文件卷的存储期限处于同一时间范围，在所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除方面，上述删除模块403具体用于：
根据各个所述文件卷的文件卷属性信息和当前时间判断各个文件卷是否超过对应的存储期限，所述文件卷属性信息包括存储期限、创建时间和修改时间；
将所述存储桶中超过对应存储期限的文件卷进行删除；或者，若所述存储桶中所有文件卷均超过对应的存储期限，则将所述存储桶的所有文件卷进行删除。
可以看出，通过根据待存储数据的存储期限创建存储桶，以及在存储桶中创建文件卷，并将客户端上传的待存储数据存储至文件卷中；其中，存储桶为多个文件卷的集合，多个文件卷的存储期限相同或处于同一时间范围；按照预设的查询规则查询所述存储桶，存储桶中每个文件卷对应的文件卷属性信息包括存储期限；根据文件卷属性信息将存储桶中的文件卷进行删除，通过本方案的存储桶和文件卷的创建方式，可以在同一个存储桶中存储期限相同或处于同一时间范围多个文件卷，使得存储桶中的文件卷的过期时间相同或相近，进而可以根据包括存储期限的文件卷属性信息对存储桶中过期的文件卷进行删除，相比于现有技术中遍历单个文件，对过期的文件进行单个删除，本方案能够提升文件查询的效率，降低文件删除的复杂度，提升数据管理效率。
本申请实施例还提供一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种数据管理方法，其特征在于，所述方法包括：
根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，所述根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，包括：接收客户端的文件上传请求，所述文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限；若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷；
接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址；
将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同，每个文件卷包括多个文件，每个文件通过在单独的卷索引中的偏移量进行索引；所述将客户端上传的待存储数据存储至所述文件卷中，包括：接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；若是，则将所述待存储数据合并至对应的文件卷中；
按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，其中，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，包括：根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
2.如权利要求1所述的数据管理方法，其特征在于，所述方法还包括：
若检索到不存在桶名称对应的存储桶，则向所述客户端发送反馈信息，所述反馈信息用于指示所述客户端创建新的存储桶。
3.一种数据管理装置，其特征在于，所述装置包括：
创建模块，用于根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，所述根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，包括：接收客户端的文件上传请求，所述文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限；若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷；
接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址；
将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同，每个文件卷包括多个文件，每个文件通过在单独的卷索引中的偏移量进行索引；所述将客户端上传的待存储数据存储至所述文件卷中，包括：接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；若是，则将所述待存储数据合并至对应的文件卷中；
查询模块，用于按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
删除模块，用于根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，其中，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，包括：根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
4.一种数据管理系统，其特征在于，所述系统包括客户端和服务器；其中，
所述客户端，用于向所述服务器发送文件上传请求，所述文件上传请求包括待存储数据的存储期限；
所述服务器用于，根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，所述根据待存储数据的存储期限创建存储桶，以及在所述存储桶中创建文件卷，包括：接收客户端的文件上传请求，所述文件上传请求包括所述待存储数据对应的存储桶的桶名称和存储期限；若已经存在与所述存储期限对应的存储桶，则向所述客户端发送所述存储期限对应的存储桶的桶信息，所述桶信息包括桶名称和存储期限；在所述存储桶中创建与所述待存储数据对应的文件卷；若不存在与所述存储期限对应的存储桶，则根据所述文件上传请求创建新的存储桶和文件卷；
接收所述客户端的文件标识信息请求，所述文件标识信息请求携带存储桶的桶名称；根据所述存储桶的桶名称检索对应的存储桶，若检索到存在桶名称对应的存储桶，则检测所述存储桶中是否有所述文件标识信息请求对应的文件卷；若所述存储桶中有所述文件标识信息请求对应的文件卷，则返回文件标识信息和文件存储地址；
将客户端上传的待存储数据存储至所述文件卷中；其中，所述存储桶为多个文件卷的集合，多个所述文件卷的存储期限相同，每个文件卷包括多个文件，每个文件通过在单独的卷索引中的偏移量进行索引；所述将客户端上传的待存储数据存储至所述文件卷中，包括：接收所述客户端发送的上传文件，所述上传文件携带待存储数据和对应的文件标识信息，所述上传文件是由所述客户端根据所述文件存储地址发送得到的，所述文件标识信息包括文件卷标识和文件标识；根据所述文件卷标识和文件标识检索所述存储桶中是否有与所述文件卷标识和文件标识对应的文件；若是，则将所述待存储数据合并至对应的文件卷中；
按照预设的查询规则查询所述存储桶，所述存储桶中每个文件卷对应的文件卷属性信息包括所述存储期限；
根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，其中，所述根据所述文件卷属性信息将所述存储桶中的文件卷进行删除，包括：根据任一所述文件卷的文件卷属性信息和当前时间判断是否超过所述存储期限，若是，则将所述存储桶中的所有文件卷进行删除，所述文件卷属性信息包括存储期限、创建时间和修改时间。
5.一种服务器，其特征在于，所述服务器包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现权利要求1或2所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述数据管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704727.3A CN117407361B (zh) | 2023-12-13 | 2023-12-13 | 数据管理方法、装置、系统、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704727.3A CN117407361B (zh) | 2023-12-13 | 2023-12-13 | 数据管理方法、装置、系统、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117407361A CN117407361A (zh) | 2024-01-16 |
| CN117407361B true CN117407361B (zh) | 2024-03-22 |
Family
ID=89492871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311704727.3A Active CN117407361B (zh) | 2023-12-13 | 2023-12-13 | 数据管理方法、装置、系统、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117407361B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9122614B1 (en) * | 2011-12-22 | 2015-09-01 | Netapp, Inc. | Modular block-allocator for data storage systems |
| CN111966649A (zh) * | 2020-10-21 | 2020-11-20 | 中国人民解放军国防科技大学 | 一种高效去重的轻量级在线文件存储方法及装置 |
| CN112565356A (zh) * | 2020-11-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 数据存储方法、装置以及电子设备 |
| CN113703678A (zh) * | 2021-08-20 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种存储桶索引重分裂的方法、装置、设备和介质 |
| CN114556304A (zh) * | 2019-09-27 | 2022-05-27 | 亚马逊技术有限公司 | 网络可访问块级快照 |
| CN114968851A (zh) * | 2022-05-23 | 2022-08-30 | 北京星辰天合科技股份有限公司 | 基于存储桶的数据处理方法及装置、电子设备、存储介质 |
| CN115129250A (zh) * | 2022-07-01 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 一种对象存储方法、装置及可读存储介质 |
| CN115221119A (zh) * | 2021-04-20 | 2022-10-21 | 北京金山云网络技术有限公司 | 文件的查找方法及装置、存储介质、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11112986B2 (en) * | 2018-12-10 | 2021-09-07 | Veritas Technologies Llc | Systems and methods for storing information within hybrid storage with local and cloud-based storage devices |
-
2023
- 2023-12-13 CN CN202311704727.3A patent/CN117407361B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9122614B1 (en) * | 2011-12-22 | 2015-09-01 | Netapp, Inc. | Modular block-allocator for data storage systems |
| CN114556304A (zh) * | 2019-09-27 | 2022-05-27 | 亚马逊技术有限公司 | 网络可访问块级快照 |
| CN111966649A (zh) * | 2020-10-21 | 2020-11-20 | 中国人民解放军国防科技大学 | 一种高效去重的轻量级在线文件存储方法及装置 |
| CN112565356A (zh) * | 2020-11-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 数据存储方法、装置以及电子设备 |
| CN115221119A (zh) * | 2021-04-20 | 2022-10-21 | 北京金山云网络技术有限公司 | 文件的查找方法及装置、存储介质、电子设备 |
| CN113703678A (zh) * | 2021-08-20 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种存储桶索引重分裂的方法、装置、设备和介质 |
| CN114968851A (zh) * | 2022-05-23 | 2022-08-30 | 北京星辰天合科技股份有限公司 | 基于存储桶的数据处理方法及装置、电子设备、存储介质 |
| CN115129250A (zh) * | 2022-07-01 | 2022-09-30 | 苏州浪潮智能科技有限公司 | 一种对象存储方法、装置及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Towards Preserving Results Confidentiality in Cloud-based Scientific Workflows;Rosseti, Isabel 等;PROCEEDINGS OF WORKS 2017: 12TH WORKSHOP ON WORKFLOWS IN SUPPORT OF LARGE-SCALE SCIENCE;20171112;第1-9页 * |
| 一种实时大数据查询技术-对象分布式查询;杨志;;计算机与数字工程;20151020(10);第1487-1496页 * |
| 矢量瓦片并行构建与分布式存储模型研究;聂沛;陈广胜;景维鹏;;地球信息科学学报;20200721(07);第1487-1496页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117407361A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107786638B (zh) | 一种数据处理方法、装置及系统 | |
| CN107911249B (zh) | 一种网络设备的命令行发送方法、装置和设备 | |
| CN103019960B (zh) | 分布式缓存方法及系统 | |
| CN110427368A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| EP3495981B1 (en) | Directory deletion method and device, and storage server | |
| CN112632375B (zh) | 会话信息处理方法、服务器及存储介质 | |
| CN110046133A (zh) | 一种存储文件系统的元数据管理方法、装置及系统 | |
| CN110958300B (zh) | 一种数据的上传方法、系统、装置、电子设备和计算机可读介质 | |
| CN111708743A (zh) | 文件存储管理方法、文件管理客户端及文件存储管理系统 | |
| CN109766318B (zh) | 文件读取方法及装置 | |
| CN110413845B (zh) | 基于物联网操作系统的资源存储方法及装置 | |
| CN109240607B (zh) | 一种文件读取方法和装置 | |
| US20060112083A1 (en) | Object relation information management program, method, and apparatus | |
| CN104239353B (zh) | 一种web分类控制和日志审计的方法 | |
| US11455117B2 (en) | Data reading method, apparatus, and system, avoiding version rollback issues in distributed system | |
| WO2020215580A1 (zh) | 一种分布式全局数据去重方法和装置 | |
| CN102810108A (zh) | 重复数据的处理方法 | |
| CN104348859A (zh) | 文件同步方法、装置、服务器、终端及系统 | |
| CN111782707A (zh) | 一种数据查询方法及系统 | |
| CN117407361B (zh) | 数据管理方法、装置、系统、服务器及存储介质 | |
| CN111190861A (zh) | 热点文件管理方法、服务器及计算机可读存储介质 | |
| CN114884883A (zh) | 一种流量转发方法、装置、设备及存储介质 | |
| US20110029587A1 (en) | Updating Retrieval Codes In Response To File Transfers | |
| CN106446080B (zh) | 数据查询的方法、查询服务设备、客户端设备和数据系统 | |
| CN115080504A (zh) | 文件管理方法、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |