CN116150093B - 一种对象存储列举对象的实现方法及电子设备 - Google Patents
一种对象存储列举对象的实现方法及电子设备 Download PDFInfo
- Publication number
- CN116150093B CN116150093B CN202310199704.5A CN202310199704A CN116150093B CN 116150093 B CN116150093 B CN 116150093B CN 202310199704 A CN202310199704 A CN 202310199704A CN 116150093 B CN116150093 B CN 116150093B
- Authority
- CN
- China
- Prior art keywords
- file
- marker
- name
- files
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000003550 marker Substances 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 2
- 238000002620 method output Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及对象存储技术领域，具体涉及一种对象存储列举对象的实现方法及电子设备，本发明依据对文件名建立快速检索索引，依据索引每次读盘时可以批量读取多个文件元数据，以此实现对文件的快速列举，同时可以快速列举目录和目录下的子目录。对于带目录参数(delimiter)的请求，支持跳跃检索功能，检索出目录后，下次检索对于目录下的文件或子目录都可以跳跃，节省了大量时间，实现快速返回结果，在单桶文件数量巨大情况下有优良的检索效率。同时该算法对目录参数(delimiter)的支持为任意utf8字符串，完全实现了s3协议对该参数的要求。
Description
技术领域
本发明涉及对象存储技术领域，具体涉及一种对象存储列举对象的实现方法及电子设备。
背景技术
随着对象存储的使用范围日益扩大，作为对象存储的重要功能之一，针对存储桶进行文件列举是对象存储的核心功能之一，使用者通过文件列举获得桶内文件信息，据此进行删除，修改配置等操作。
同时，文件列举涉及的s3接口较多，包括ListObjectV1(列举文件V1)，ListObjectV2(列举文件V2)，ListObjectVersions(列举桶内文件多版本信息)，这几个接口有一些共有参数，如prefix(前缀限制)，delimiter(分隔符，通常用来实现目录功能)，maxkey(单次列举最大文件数)，object-marker(表示列举从此文件后开始)。这些接口有共同的行为，皆需要扫描和列举文件，也有一部分共同的参数。
根据对一些开源存储软件(如minio等)的调研，由于存储文件元数据采用worktree模式，列举文件时需要读取每个文件的元数据，并且读取元数据后才能进行参数过滤。
现有技术的客观缺点：
由于work tree模式下，列举文件时需要从硬盘中依次读取单个文件元数据，并且读取元数据后才能进行参数过滤，列举效率和筛选较低，且无法根据参数优化。
且大部分现有技术对目录参数(delimiter)的支持仅限于"/"符号，无法做到真正兼容s3协议要求。
发明内容
针对现有技术的不足，本发明公开了一种对象存储列举对象的实现方法及电子设备，用于解决上述问题。
本发明通过以下技术方案予以实现：
第一方面，本发明提供了一种对象存储列举对象的实现方法，所述方法包括以下步骤：
S1输入桶ID，prefix，marker，delimiter和maxkey；并判断prefix后缀是否为目录，若是则进行文件跳跃查询，若否则进入S3；
S2将prefix进行跳跃查询，并将获得的skip_marker赋给marker，将GE置为真；
S3根据桶ID，prefix，marker，maxkey，offset，GE进行元数据查询，并输出查询集合和eof；
S4将查询集合放入文件分类器，通过经过文件筛选器处理后放入结果集合；
S5判断结果集中的文件数量是否满maxkey条或已查询已eof，若否则设置相应的marker，offset，GE并返回S3，若是则输出结果合集；
其中，桶ID：表述桶的唯一标识，由英文小写字母以及数字构成；
Prefix：前缀，类型为字符串，表示查找时直接查找带此前缀字符串的对象；
Marker：标签，类型为字符串，表示查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Delimiter：分隔符，类型为字符串，表示查找时，对象名中若包含此分隔符，将按照分隔符截断；
Maxkey：最大查找值，类型为整数类型，表示单次查找返回的最大条目数；
Skip_marker：跳跃标签，类型为字符串，在下一次查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Offset：偏移量，类型为整数类型；
GE：GreaterEqual简写，类型为布尔值，表示比较大小时符合大于等于的语义；
Eof：End Of File简写，表示本次查找在全局查找中已结束，不会再有其他数据能返回。
更进一步的，所述方法中，查询时会输出当前参数条件下，下一次元数据查询是否还有数据。
更进一步的，所述方法中，查询出来的文件放入文件分类器，文件分类器可按照同名文件进行分类批次输出，一批输出包含一个文件名的所有历史版本。
更进一步的，所述方法中，文件分类器依据自己储存的文件，输出一批同名文件集。
更进一步的，所述方法中，分类器会保留当前存储的最后一批同名文件不会输出，除非元数据服务已无额外数据可查，分类器将按名字为一批，输出自己存储的所有文件。
更进一步的，所述方法中，文件分类器输出的每一批同名文件，交给文件筛选器选择哪些文件可以放入结果集中，其中文件分类器具体筛选逻辑是依据列举接口的具体要求而定。
更进一步的，所述方法中，对下一次查询的marker进行更新，如果结果集的最后一个文件以及文件分类器保留的最后一个文件名根据prefix和delimiter截断后为同名，则进行跳跃查询，marker更新为跳跃查询的名字，GE置真；如果不进行跳跃查询，marker更新为查询集合最后一个文件名，offset更新为查询集合最后一批同名文件的数量。
更进一步的，所述方法中，进行文件跳跃查询时使用算法，依据输入参数，输出skip_marker，下次检索时将skip_marker作为marker，GE置为真，下次进行元数据检索时即可跳跃所有该前缀的文件。
更进一步的，所述方法中，进行文件跳跃查询时使用算法包括：
将文件名从prefix到delimiter第一次出现为止进行截断；
将截断后字符串最后一个字符的utf8值加一；
将处理后的字符串返回，作为下一次查询的文件名marker，执行元数据查询时，应该写为大于等于该文件名marker。
第二方面，本发明提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现第一方面所述的对象存储列举对象的实现方法。
本发明的有益效果为：
本发明依据对文件名建立快速检索索引，依据索引每次读盘时可以批量读取多个文件元数据，以此实现对文件的快速列举，同时可以快速列举目录和目录下的子目录。
本发明对于带目录参数(delimiter)的请求，支持跳跃检索功能，检索出目录后，下次检索对于目录下的文件或子目录都可以跳跃，节省了大量时间，实现快速返回结果，在单桶文件数量巨大情况下有优良的检索效率。
本发明同时该算法对目录参数(delimiter)的支持为任意utf8字符串，完全实现了s3协议对该参数的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是对象存储列举对象的实现方法原理框图；
图2是本发明实施例文件跳跃maker算法图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1所示，本实施例提供一种对象存储列举对象的实现方法，所述方法包括以下步骤：
S1输入桶ID，prefix，marker，delimiter和maxkey；并判断prefix后缀是否为目录，若是则进行文件跳跃查询，若否则进入S3；
S2将prefix进行跳跃查询，并将获得的skip_marker赋给marker，将GE置为真；
S3根据桶ID，prefix，marker，maxkey，offset，GE进行元数据查询，并输出查询集合和eof；
S4将查询集合放入文件分类器，通过经过文件筛选器处理后放入结果集合；
S5判断结果集中的文件数量是否满maxkey条或已查询已eof，若否则设置相应的marker，offset，GE并返回S3，若是则输出结果合集；
其中，桶ID：表述桶的唯一标识，由英文小写字母以及数字构成；
Prefix：前缀，类型为字符串，表示查找时直接查找带此前缀字符串的对象；
Marker：标签，类型为字符串，表示查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Delimiter：分隔符，类型为字符串，表示查找时，对象名中若包含此分隔符，将按照分隔符截断；
Maxkey：最大查找值，类型为整数类型，表示单次查找返回的最大条目数；
Skip_marker：跳跃标签，类型为字符串，在下一次查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Offset：偏移量，类型为整数类型；
GE：GreaterEqual简写，类型为布尔值，表示比较大小时符合大于等于的语义；
Eof：End Of File简写，表示本次查找在全局查找中已结束，不会再有其他数据能返回。
本实施例中，查询时会输出当前参数条件下，下一次元数据查询是否还有数据。查询出来的文件放入文件分类器，文件分类器可按照同名文件进行分类批次输出，一批输出包含一个文件名的所有历史版本。
本实施例中，文件分类器依据自己储存的文件，输出一批同名文件集。分类器会保留当前存储的最后一批同名文件不会输出，除非元数据服务已无额外数据可查，分类器将按名字为一批，输出自己存储的所有文件。
本实施例文件分类器输出的每一批同名文件，交给文件筛选器选择哪些文件可以放入结果集中，其中文件分类器具体筛选逻辑是依据列举接口的具体要求而定。
本实施例中，对下一次查询的marker进行更新，如果结果集的最后一个文件以及文件分类器保留的最后一个文件名根据prefix和delimiter截断后为同名，则进行跳跃查询，marker更新为跳跃查询的名字，GE置真；如果不进行跳跃查询，marker更新为查询集合最后一个文件名，offset更新为查询集合最后一批同名文件的数量。
本实施例对于带目录参数(delimiter)的请求，支持跳跃检索功能，检索出目录后，下次检索对于目录下的文件或子目录都可以跳跃，节省了大量时间，实现快速返回结果，在单桶文件数量巨大情况下有优良的检索效率。
实施例2
在实施例1的基础上，本实施例公开一种实施方案，具体如下：
1)判断prefix后缀是否为目录(delimiter)，如果是的话，进行文件跳跃查询，即将查询用的marker改成经过跳跃查询处理后的字符串，GE(greater equal，表示是查询时文件名marker否大于等于)置为真。
2)根据prefix，marker，maxkey，offset参数进行一次元数据服务文件查询，输出查询集合。查询时会输出当前参数条件下，下一次元数据查询是否还有数据。
3)查询出来的文件放入文件分类器，文件分类器可按照同名文件进行分类批次输出，一批输出包含一个文件名的所有历史版本。
4)文件分类器依据自己储存的文件，输出一批同名文件集，分类器会保留当前存储的最后一批同名文件不会输出，除非元数据服务已无额外数据可查，分类器将按名字为一批，输出自己存储的所有文件。
5)文件分类器输出的每一批同名文件，交给文件筛选器选择哪些文件可以放入结果集中。具体筛选逻辑，依据列举接口的具体要求而定，比如，ListObjectsVersion会将一个文件所有有效版本放入结果集，而ListObjectsV1/2只会提取每个文件当前版本信息。
6)判断结果集中的文件数量是否已经满maxkey条，满的话跳出循环。如果元数据服务数据已经查询完毕，也跳出循环。
7)对下一次查询的marker进行更新，如果结果集的最后一个文件以及文件分类器保留的最后一个文件名根据prefix和delimiter截断后为同名，则进行跳跃查询，marker更新为跳跃查询的名字，GE置真。如果不进行跳跃查询，marker更新为查询集合最后一个文件名，offset更新为查询集合最后一批同名文件的数量。回到步骤2)进行下一次查询。
8)跳出循环后，最后输出结果集合即可。
实施例3
在实施例1的基础上，本实施例公开一种元数据服务查询方案
以下查询方案以类sql语义为例进行阐述。
需要输入参数：prefix(前缀)，marker(从什么文件名开始查询)，GE(表示查询语句中对于marker参数的比较运算符是否为大于等于，否则为大于)，offset(偏移)，num(要查询多少条)。输出参数除了输出查询出的结果集，还要输出该参数条件下，元数据服务是否已经查询完毕(没有多余数据可查)，用eof表示。
查询语句，具体为：
如果带prefix，查询语句中增加“like${prefix}”的语句。
如果带marker，根据GE，如果GE为真，增加“name>＝${marker}”的条件，否则，增加“name>${marker}”的语句。
如果offset大于0，增加“limit${offset},${num}”的条件，否则，增加“limit${num}”的条件。
随后按查询语句进行查询，查询出的结果数量低于maxkey时，eof置为true。
实施例4
在实施例1的基础上，参照图2所示，本实施例公开一种进行文件跳跃查询的算法
该算法依据输入参数，输出skip_marker，下次检索时将skip_marker作为marker，GE置为真，下次进行元数据检索时即可跳跃所有该前缀的文件。
1)将文件名从prefix到delimiter第一次出现为止进行截断。
2)将截断后字符串最后一个字符的utf8值加一。
3)将2)处理后的字符串返回，作为下一次查询的文件名marker，执行元数据查询时，应该写为大于等于该文件名marker。
实施例5
本实施例提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现对象存储列举对象的实现方法。
综上，本发明依据对文件名建立快速检索索引，依据索引每次读盘时可以批量读取多个文件元数据，以此实现对文件的快速列举，同时可以快速列举目录和目录下的子目录。本发明对于带目录参数(delimiter)的请求，支持跳跃检索功能，检索出目录后，下次检索对于目录下的文件或子目录都可以跳跃，节省了大量时间，实现快速返回结果，在单桶文件数量巨大情况下有优良的检索效率。本发明同时该算法对目录参数(delimiter)的支持为任意utf8字符串，完全实现了s3协议对该参数的要求。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种对象存储列举对象的实现方法，其特征在于，所述方法包括以下步骤：
S1输入桶ID，prefix，marker，delimiter和maxkey；并判断prefix后缀是否为目录，若是则进行文件跳跃查询，若否则进入S3；
S2将prefix进行跳跃查询，并将获得的skip_marker赋给marker，将GE置为真；
S3根据桶ID，prefix，marker，maxkey，offset，GE进行元数据查询，并输出查询集合和eof；
S4将查询集合放入文件分类器，通过文件筛选器处理后放入结果集合；
S5判断结果集中的文件数量是否满maxkey条或已查询eof，若否则设置相应的marker，offset，GE并返回S3，若是则输出结果合集；
其中，桶ID：表述桶的唯一标识，由英文小写字母以及数字构成；
Prefix：前缀，类型为字符串，表示查找时直接查找带此前缀字符串的对象；
Marker：标签，类型为字符串，表示查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Delimiter：分隔符，类型为字符串，表示查找时，对象名中若包含此分隔符，将按照分隔符截断；
Maxkey：最大查找值，类型为整数类型，表示单次查找返回的最大条目数；
Skip_marker：跳跃标签，类型为字符串，在下一次查找时，按对象名字符排序，直接查找对象名在marker之后的对象；
Offset：偏移量，类型为整数类型；
GE：GreaterEqual简写，类型为布尔值，表示比较大小时符合大于等于的语义；
Eof：End Of File简写，表示本次查找在全局查找中已结束，不会再有其他数据能返回；
对下一次查询的marker进行更新，如果结果集的最后一个文件以及文件分类器保留的最后一个文件名根据prefix和delimiter截断后为同名，则进行跳跃查询，marker更新为跳跃查询的名字，GE置为真；如果不进行跳跃查询，marker更新为查询集合最后一个文件名，offset更新为查询集合最后一批同名文件的数量；
进行文件跳跃查询时使用算法包括：
将文件名从prefix到delimiter第一次出现为止进行截断；
将截断后字符串最后一个字符的utf8值加一；
将处理后的字符串返回，作为下一次查询的文件名marker，执行元数据查询时，应该写为大于等于该文件名marker。
2.根据权利要求1所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，查询时会输出当前参数条件下，下一次元数据查询是否还有数据。
3.根据权利要求1所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，查询出来的文件放入文件分类器，文件分类器可按照同名文件进行分类批次输出，一批输出包含一个文件名的所有历史版本。
4.根据权利要求1所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，文件分类器依据自己储存的文件，输出一批同名文件集。
5.根据权利要求4所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，分类器会保留当前存储的最后一批同名文件不会输出，除非元数据服务已无额外数据可查，分类器将按名字为一批，输出自己存储的所有文件。
6.根据权利要求1所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，文件分类器输出的每一批同名文件，交给文件筛选器选择哪些文件可以放入结果集中，其中文件分类器具体筛选逻辑是依据列举接口的具体要求而定。
7.根据权利要求1所述的一种对象存储列举对象的实现方法，其特征在于，所述方法中，进行文件跳跃查询时使用算法，依据输入参数，输出skip_marker，下次检索时将skip_marker作为marker，GE置为真，下次进行元数据检索时即可跳跃GE置为真的所有前缀的文件。
8.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的对象存储列举对象的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310199704.5A CN116150093B (zh) | 2023-03-04 | 2023-03-04 | 一种对象存储列举对象的实现方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310199704.5A CN116150093B (zh) | 2023-03-04 | 2023-03-04 | 一种对象存储列举对象的实现方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116150093A CN116150093A (zh) | 2023-05-23 |
| CN116150093B true CN116150093B (zh) | 2023-11-03 |
Family
ID=86354335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310199704.5A Active CN116150093B (zh) | 2023-03-04 | 2023-03-04 | 一种对象存储列举对象的实现方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116150093B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821437B (zh) * | 2023-08-30 | 2023-11-07 | 英诺达(成都)电子科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123359A (zh) * | 2014-07-17 | 2014-10-29 | 江苏省邮电规划设计院有限责任公司 | 一种分布式对象存储系统的资源管理方法 |
| CN107229713A (zh) * | 2017-05-27 | 2017-10-03 | 灵犀智数（北京）科技发展有限公司 | 一种对象存储方法及装置 |
| CN108628951A (zh) * | 2018-04-03 | 2018-10-09 | 苏州舆图数据科技有限公司 | 基于文档模型的空间数据块状组织存储与化简压缩方法 |
| CN109408571A (zh) * | 2018-09-28 | 2019-03-01 | 华为技术有限公司 | 对象列举方法、设备及计算机存储介质 |
| CN111966633A (zh) * | 2020-08-14 | 2020-11-20 | 北京百度网讯科技有限公司 | 用于查询目录下子节点的方法、装置、电子设备及介质 |
| CN112597114A (zh) * | 2020-12-23 | 2021-04-02 | 跬云(上海)信息科技有限公司 | 一种基于对象存储的olap预计算引擎优化方法及应用 |
| CN112905535A (zh) * | 2019-12-03 | 2021-06-04 | 上海宝信软件股份有限公司 | 基于hbase的分布式对象存储方法 |
| CN113688139A (zh) * | 2021-08-30 | 2021-11-23 | 重庆紫光华山智安科技有限公司 | 对象存储方法、网关、设备及介质 |
| CN114153797A (zh) * | 2021-12-02 | 2022-03-08 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种基于Ceph分布式对象存储检索方法及装置 |
| CN114490562A (zh) * | 2022-02-16 | 2022-05-13 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种Ceph分布式对象存储目录检索方法及装置 |
| CN114861003A (zh) * | 2022-04-26 | 2022-08-05 | 济南浪潮数据技术有限公司 | 一种指定目录下的对象列举方法、装置及其介质 |
| CN115114232A (zh) * | 2022-07-15 | 2022-09-27 | 济南浪潮数据技术有限公司 | 一种历史版本对象列举方法、装置及其介质 |
| CN115221119A (zh) * | 2021-04-20 | 2022-10-21 | 北京金山云网络技术有限公司 | 文件的查找方法及装置、存储介质、电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665633B2 (en) * | 2014-02-19 | 2017-05-30 | Snowflake Computing, Inc. | Data management systems and methods |
| US20160026712A1 (en) * | 2014-07-22 | 2016-01-28 | Netapp, Inc. | Prefix matching using distributed tables for storage services compatibility |
| US10409781B2 (en) * | 2015-04-29 | 2019-09-10 | Box, Inc. | Multi-regime caching in a virtual file system for cloud-based shared content |
| US9830233B2 (en) * | 2016-01-29 | 2017-11-28 | Netapp, Inc. | Online backup to an object service using bulk export |
-
2023
- 2023-03-04 CN CN202310199704.5A patent/CN116150093B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123359A (zh) * | 2014-07-17 | 2014-10-29 | 江苏省邮电规划设计院有限责任公司 | 一种分布式对象存储系统的资源管理方法 |
| CN107229713A (zh) * | 2017-05-27 | 2017-10-03 | 灵犀智数（北京）科技发展有限公司 | 一种对象存储方法及装置 |
| CN108628951A (zh) * | 2018-04-03 | 2018-10-09 | 苏州舆图数据科技有限公司 | 基于文档模型的空间数据块状组织存储与化简压缩方法 |
| CN109408571A (zh) * | 2018-09-28 | 2019-03-01 | 华为技术有限公司 | 对象列举方法、设备及计算机存储介质 |
| CN112905535A (zh) * | 2019-12-03 | 2021-06-04 | 上海宝信软件股份有限公司 | 基于hbase的分布式对象存储方法 |
| CN111966633A (zh) * | 2020-08-14 | 2020-11-20 | 北京百度网讯科技有限公司 | 用于查询目录下子节点的方法、装置、电子设备及介质 |
| CN112597114A (zh) * | 2020-12-23 | 2021-04-02 | 跬云(上海)信息科技有限公司 | 一种基于对象存储的olap预计算引擎优化方法及应用 |
| CN115221119A (zh) * | 2021-04-20 | 2022-10-21 | 北京金山云网络技术有限公司 | 文件的查找方法及装置、存储介质、电子设备 |
| CN113688139A (zh) * | 2021-08-30 | 2021-11-23 | 重庆紫光华山智安科技有限公司 | 对象存储方法、网关、设备及介质 |
| CN114153797A (zh) * | 2021-12-02 | 2022-03-08 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种基于Ceph分布式对象存储检索方法及装置 |
| CN114490562A (zh) * | 2022-02-16 | 2022-05-13 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种Ceph分布式对象存储目录检索方法及装置 |
| CN114861003A (zh) * | 2022-04-26 | 2022-08-05 | 济南浪潮数据技术有限公司 | 一种指定目录下的对象列举方法、装置及其介质 |
| CN115114232A (zh) * | 2022-07-15 | 2022-09-27 | 济南浪潮数据技术有限公司 | 一种历史版本对象列举方法、装置及其介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116150093A (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8301437B2 (en) | Tokenization platform | |
| US9405784B2 (en) | Ordered index | |
| JP4698738B2 (ja) | 複数セグメント文字列の検索 | |
| US7526497B2 (en) | Database retrieval apparatus, retrieval method, storage medium, and program | |
| US20070208733A1 (en) | Query Correction Using Indexed Content on a Desktop Indexer Program | |
| CN116150093B (zh) | 一种对象存储列举对象的实现方法及电子设备 | |
| US20080294597A1 (en) | Computer-implemented method, computer program product and system for creating an index of a subset of data | |
| US8914377B2 (en) | Methods for prefix indexing | |
| EP3098726A1 (en) | Method for extracting useful content from setup files of mobile applications | |
| CN110413724B (zh) | 一种数据检索方法和装置 | |
| CN110659344B (zh) | 一种基于区块法的全文搜索方法 | |
| KR100811838B1 (ko) | 정보 검색 장치 및 그 제어 방법 | |
| US20100228771A1 (en) | Query result iteration | |
| RU2656721C1 (ru) | Способ организации хранения частично совпадающих больших объектов | |
| KR101076655B1 (ko) | 임베디드 단말기에 탑재된 디비엠에스의 특정 데이터 동기화방법 | |
| US9323753B2 (en) | Method and device for representing digital documents for search applications | |
| CN116955286B (zh) | 一种文件搜索与分类管理方法、系统及装置 | |
| CN116340270B (zh) | 并发遍历枚举方法、装置、设备及存储介质 | |
| CN113254500A (zh) | 一种分页查询方法、装置、电子设备及存储介质 | |
| JP2010128889A (ja) | 携帯端末向けのウェブページの検索に用いられるインデックスを作成する検索制御装置及びインデックス作成方法 | |
| KR100981317B1 (ko) | 소형 무선단말기용 디비엠에스의 그룹핑 분류된 트리구조인덱스 제공방법과 이를 이용한 정보검색방법 | |
| CN112699253A (zh) | 源代码定位方法、系统、介质及装置 | |
| WO2006048729A1 (en) | System and method for localization of electronic devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |