CN113687783B - 一种对象聚合方法、系统、装置及计算机存储介质 - Google Patents
一种对象聚合方法、系统、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN113687783B CN113687783B CN202110876875.8A CN202110876875A CN113687783B CN 113687783 B CN113687783 B CN 113687783B CN 202110876875 A CN202110876875 A CN 202110876875A CN 113687783 B CN113687783 B CN 113687783B
- Authority
- CN
- China
- Prior art keywords
- small
- aggregation
- old
- module
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 107
- 238000004220 aggregation Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004048 modification Effects 0.000 claims abstract description 14
- 238000012986 modification Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 230000001680 brushing effect Effects 0.000 claims description 6
- 238000004064 recycling Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002567 autonomic effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种对象聚合方法、系统、装置及计算机存储介质，应用于分布式对象存储系统，包括：S11：接收小对象至存储池；S12：判断小对象是否为覆盖写；S13：若是，则判断与小对象的OID相同的旧对象是否已经聚合；S14：若已经聚合，则将旧对象的位图信息设置为无效，执行S16；S15：若未聚合，则对旧对象直接覆盖写，执行S16；S16：在存储池中利用小对象的OID和修改时间，生成与小对象对应的对象标记；S17：聚合线程利用对象标记获取小对象，并对小对象进行聚合。本申请在新对象聚合后，生成与小对象对应的对象标记，以使聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。
Description
技术领域
本发明涉及分布式存储系统领域，特别涉及一种对象聚合方法、系统、装置及计算机存储介质。
背景技术
当前的分布式对象存储系统中，已经实现同桶同名对象覆盖上传的功能。客户端在上传同名对象到同一个桶时，新对象数据覆盖原有同桶同名对象数据。下载对象时，获取新上传的对象数据，返回给客户端。
当前的分布式对象存储系统中，针对普通海量小对象已经实现了小对象聚合的功能，把多个小对象聚合为一个大对象，减少了Rados(Reliable,Autonomic DistributedObject Store)的对象数量，可以大大加快集群的重构速度，并提高系统的性能。
但现有技术中新对象一旦对旧对象覆盖写，在之后聚合过程中，就会因无法查找到新对象而不能进行聚合，因此，当前小对象聚合功能并不支持对覆盖写对象进行聚合。
为此，需要一种能够支持覆盖写的对象聚合方法。
发明内容
有鉴于此，本发明的目的在于提供一种对象聚合方法、系统、装置及计算机存储介质，能够在覆盖写之后继续聚合。其具体方案如下：
一种对象聚合方法，应用于分布式对象存储系统，包括：
S11：接收小对象至存储池；所述小对象为大小满足聚合条件的对象；
S12：判断所述小对象是否为覆盖写；
S13：若是，则判断与所述小对象的OID相同的旧对象是否已经聚合；
S14：若已经聚合，则将所述旧对象的位图信息设置为无效，执行S16；
S15：若未聚合，则对所述旧对象直接覆盖写，执行S16；
S16：在所述存储池中利用所述小对象的OID和修改时间，生成与所述小对象对应的对象标记；
S17：聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。
可选的，所述聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合的过程，包括：
聚合线程利用所述对象标记获取所述小对象对应的数据，并对所述小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当所述聚合大对象达到刷盘条件后，将所述聚合大对象写入OSD磁盘。
可选的，还包括：
删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；
删除所述存储池中所述对象标记。
可选的，所述将所述旧对象的位图信息设置为无效之后，还包括：
对位图信息无效的所述旧对象进行垃圾回收操作。
本发明还公开了一种对象聚合系统，应用于分布式对象存储系统，包括：
对象接收模块，用于接收小对象至存储池；所述小对象为大小满足聚合条件的对象；
覆盖写判断模块，用于判断所述小对象是否为覆盖写；
旧对象判断模块，用于若是，则判断与所述小对象的OID相同的旧对象是否已经聚合；
位图无效模块，用于若已经聚合，则将所述旧对象的位图信息设置为无效，调用对象标记生成模块；
覆盖写模块，用于若未聚合，则对所述旧对象直接覆盖写，调用所述对象标记生成模块；
所述对象标记生成模块，用于在所述存储池中利用所述小对象的OID和修改时间生成与所述小对象对应的对象标记；
聚合模块，用于聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。
可选的，所述聚合模块，具体用于聚合线程利用所述对象标记获取所述小对象对应的数据，并对所述小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当所述聚合大对象达到刷盘条件后，将所述聚合大对象写入OSD磁盘。
可选的，还包括：
扩展属性添加模块，用于删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；
对象标记删除模块，用于删除所述存储池中所述对象标记。
可选的，还包括：
回收模块，用于对位图信息无效的所述旧对象进行垃圾回收操作。
本发明还公开了一种对象聚合装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如前述的对象聚合方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的对象聚合方法。
本发明中，对象聚合方法，应用于分布式对象存储系统，包括：S11：接收小对象至存储池；所述小对象为大小满足聚合条件的对象；S12：判断所述小对象是否为覆盖写；S13：若是，则判断与所述小对象的OID相同的旧对象是否已经聚合；S14：若已经聚合，则将所述旧对象的位图信息设置为无效，执行S16；S15：若未聚合，则对所述旧对象直接覆盖写，执行S16；S16：在所述存储池中利用所述小对象的OID和修改时间，生成与所述小对象对应的对象标记；S17：聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。
本发明在新对象聚合后，利用新的小对象的OID和修改时间，生成与小对象对应的对象标记，以至于在小对象的OID被删除时，聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种对象聚合方法流程示意图；
图2为本发明实施例公开的另一种对象聚合方法流程示意图；
图3为本发明实施例公开的一种对象聚合系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种对象聚合方法，参见图1所示，应用于分布式对象存储系统，包括：
S11：接收小对象至存储池；
S12：判断小对象是否为覆盖写。
具体的，在新的小对象进入存储池后，判断小对象是否为覆盖写，如果不是覆盖写，则与现有技术中的聚合过程无区别，正常等待聚合便可，如果是覆盖写，则需要执行本发明实施例的S13以便进入后续特殊的聚合过程。
其中，小对象为大小满足聚合条件的对象。S13：若是，则判断与小对象的OID相同的旧对象是否已经聚合。
具体的，如果小对象为覆盖写，则需要进一步判断与小对象的OID(ObjectIdentifier，对象标识符)相同的旧对象是否已经聚合，根据是否聚合选择当先小对象的覆盖方式。
S14：若已经聚合，则将旧对象的位图信息设置为无效，执行S16。
具体的，如果已经聚合，说明旧对象已经写入硬盘，此时只需将旧对象的位图信息设置无效，让旧对象不可用，今后让系统指向当前小对象便可。
S15：若未聚合，则对旧对象直接覆盖写，执行S16。
具体的，若旧对象还在存储池中，则直接对旧对象进行覆盖写，完成覆盖写操作。
S16：在存储池中利用小对象的OID和修改时间，生成与小对象对应的对象标记。
具体的，为了避免现有技术中因存在旧对象而导致新对象的OID被删除，在聚合前利用小对象的OID和修改时间，生成与小对象对应的对象标记，由于每个对象的修改时间不同，因此，生成的对象标记都将是唯一的，这样即使小对象与旧对象的OID被移除，聚合程序仍能够通过新生成的对象标记查找到小对象，从而确保了在覆盖写之后还能够对新的小对象进行聚合操作。
S17：聚合线程利用对象标记获取小对象，并对小对象进行聚合。
具体的，在聚合线程利用对象标记查找到小对象后，便可以对小对象进行聚合。
可见，本发明实施例在新对象聚合后，利用新的小对象的OID和修改时间，生成与小对象对应的对象标记，以至于在小对象的OID被删除时，聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。
本发明实施例公开了一种具体的对象聚合方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
S201：接收小对象至存储池；
S202：判断小对象是否为覆盖写；
S203：若是，则判断与小对象的OID相同的旧对象是否已经聚合；
S204：若已经聚合，则将旧对象的位图信息设置为无效，执行S26；
S205：若未聚合，则对旧对象直接覆盖写，执行S206；
S206：在存储池中利用小对象的OID和修改时间，生成与小对象对应的对象标记；
S207：聚合线程利用对象标记获取小对象，并对小对象进行聚合。
具体的，上聚合线程利用对象标记获取小对象，并对小对象进行聚合的过程，可以为聚合线程利用对象标记获取小对象对应的数据，并对小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当聚合大对象达到刷盘条件后，将聚合大对象写入OSD磁盘(OSD，Object Storage Device，对象存储资源)。
具体的，聚合线程会不断获取满足聚合条件的小文件和小对象进行聚合，得到聚合后的聚合大对象，聚合的过程可以是持续聚合的过程，，例如，先由几个小文件或小对象聚合为一个聚合大对象，后续聚合线程再不断的将后续接收到的小文件或小对象持续聚合到已经聚合的聚合大对象中，直至当聚合大对象达到刷盘条件后，停止继续聚合，将最终得到的聚合大对象写入OSD磁盘中。
S208：删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性。
具体的，聚合覆盖写对象，将与小对象对应的数据从热池子迁往冷池子中，把聚合好的新的聚合大对象下刷到rados存储池中，并删除小对象中的数据，写入新的聚合扩展属性到小对象的头对象中存储的元数据中，以用来索引到数据实际存储的位置，进行数据的读取。S209：删除存储池中对象标记。
具体的，在完成聚合后，为了聚合而新建的对象标记就失去了作用，因此，聚合完成后可以删除相应的对象标记。
S210：对位图信息无效的旧对象进行垃圾回收操作。
具体的，在对已经聚合完成下刷过的旧对象位图信息无效后，就可以利用垃圾回收操作，将位图信息无效的旧对象删除，减少空间占用。
可以理解的是，S210与S205至S209之间并无执行先后顺序，在S204设置旧对象的位图信息无效后，垃圾回收操作可随时执行，在此不对S210与S205至S209之间的执行顺序做限定。
相应的，本发明实施例还公开了一种对象聚合系统，参见图3所示，应用于分布式对象存储系统，包括：
对象接收模块11，用于接收小对象至存储池；
覆盖写判断模块12，用于判断小对象是否为覆盖写；
旧对象判断模块13，用于若是，则判断与小对象的OID相同的旧对象是否已经聚合；
位图无效模块14，用于若已经聚合，则将旧对象的位图信息设置为无效，调用对象标记生成模块；
覆盖写模块15，用于若未聚合，则对旧对象直接覆盖写，调用对象标记生成模块；
对象标记生成模块16，用于在存储池中利用小对象的OID和修改时间生成与小对象对应的对象标记；
聚合模块17，用于聚合线程利用对象标记获取小对象，并对小对象进行聚合。
可见，本发明实施例在新对象聚合后，利用新的小对象的OID和修改时间，生成与小对象对应的对象标记，以至于在小对象的OID被删除时，聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。
具体的，上述聚合模块17，具体用于聚合线程利用对象标记获取小对象对应的数据，并对小对象和其它小于512K的小文件进行聚合，达到刷盘条件后将聚合大对象写入OSD磁盘(OSD，Object-based Storage Device，对象存储设备)。
具体的，还可以包括扩展属性添加模块和对象标记删除模块；其中，
扩展属性添加模块，用于删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；
对象标记删除模块，用于删除存储池中对象标记。
具体的，还可以包括回收模块；其中，
回收模块，用于对位图信息无效的旧对象进行垃圾回收操作。
本发明实施例还公开了一种对象下载过程，具体过程包括：服务器端收到客户端发出的下载对象的请求后，先从小对象的头对象中读取聚合属性；若该属性不存在，则走原有下载流程，若该属性存在，则需要根据聚合信息获取该对象数据所保存的聚合大对象；从聚合大对象中获取该小对象对应的数据；将读取的数据返回给客户端。
此外，本发明实施例还公开了一种对象聚合装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如前述的对象聚合方法。
另外，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述的对象聚合方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的技术内容进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种对象聚合方法，其特征在于，应用于分布式对象存储系统，包括：
S11：接收小对象至存储池；所述小对象为大小满足聚合条件的对象；
S12：判断所述小对象是否为覆盖写；
S13：若是，则判断与所述小对象的对象标识符相同的旧对象是否已经聚合；
S14：若已经聚合，则将所述旧对象的位图信息设置为无效，执行S16；
S15：若未聚合，则对所述旧对象直接覆盖写，执行S16；
S16：在所述存储池中利用所述小对象的对象标识符和修改时间，生成与所述小对象对应的对象标记；
S17：聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。
2.根据权利要求1所述的对象聚合方法，其特征在于，所述聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合的过程，包括：
聚合线程利用所述对象标记获取所述小对象对应的数据，并对所述小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当所述聚合大对象达到刷盘条件后，将所述聚合大对象写入OSD磁盘。
3.根据权利要求1所述的对象聚合方法，其特征在于，在所述聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合之后，还包括：
删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；
删除所述存储池中所述对象标记。
4.根据权利要求1至3任一项所述的对象聚合方法，其特征在于，所述将所述旧对象的位图信息设置为无效之后，还包括：
对位图信息无效的所述旧对象进行垃圾回收操作。
5.一种对象聚合系统，其特征在于，应用于分布式对象存储系统，包括：
对象接收模块，用于接收小对象至存储池；所述小对象为大小满足聚合条件的对象；
覆盖写判断模块，用于判断所述小对象是否为覆盖写；
旧对象判断模块，用于若是，则判断与所述小对象的对象标识符相同的旧对象是否已经聚合；
位图无效模块，用于若已经聚合，则将所述旧对象的位图信息设置为无效，调用对象标记生成模块；
覆盖写模块，用于若未聚合，则对所述旧对象直接覆盖写，调用所述对象标记生成模块；
所述对象标记生成模块，用于在所述存储池中利用所述小对象的对象标识符和修改时间生成与所述小对象对应的对象标记；
聚合模块，用于聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。
6.根据权利要求5所述的对象聚合系统，其特征在于，所述聚合模块，具体用于聚合线程利用所述对象标记获取所述小对象对应的数据，并对所述小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当所述聚合大对象达到刷盘条件后，将所述聚合大对象写入OSD磁盘。
7.根据权利要求6所述的对象聚合系统，其特征在于，在所述聚合模块之后，还包括：
扩展属性添加模块，用于删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；
对象标记删除模块，用于删除所述存储池中所述对象标记。
8.根据权利要求5至7任一项所述的对象聚合系统，其特征在于，还包括：
回收模块，用于对位图信息无效的所述旧对象进行垃圾回收操作。
9.一种对象聚合装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的对象聚合方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的对象聚合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876875.8A CN113687783B (zh) | 2021-07-31 | 2021-07-31 | 一种对象聚合方法、系统、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876875.8A CN113687783B (zh) | 2021-07-31 | 2021-07-31 | 一种对象聚合方法、系统、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113687783A CN113687783A (zh) | 2021-11-23 |
| CN113687783B true CN113687783B (zh) | 2024-02-13 |
Family
ID=78578715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110876875.8A Active CN113687783B (zh) | 2021-07-31 | 2021-07-31 | 一种对象聚合方法、系统、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113687783B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114546273B (zh) * | 2022-02-22 | 2023-08-04 | 苏州浪潮智能科技有限公司 | 聚合特性兼容多站点同步的方法、系统、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677236A (zh) * | 2015-12-29 | 2016-06-15 | 华为技术有限公司 | 一种存储设备及其存储数据的方法 |
| US9690886B1 (en) * | 2016-06-30 | 2017-06-27 | Zerto Ltd. | System and method for a simulation of a block storage system on an object storage system |
| CN111309687A (zh) * | 2020-01-21 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种对象存储小文件处理方法、装置、设备及存储介质 |
| CN111445284A (zh) * | 2020-03-26 | 2020-07-24 | 北京达佳互联信息技术有限公司 | 一种定向标签的确定方法、装置、计算设备及存储介质 |
| CN111610936A (zh) * | 2020-05-25 | 2020-09-01 | 广州市百果园信息技术有限公司 | 一种对象存储平台以及对象聚合方法、装置和服务器 |
| CN112307263A (zh) * | 2020-10-29 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种文件存储方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11275719B2 (en) * | 2019-06-03 | 2022-03-15 | EMC IP Holding Company LLC | Incremental metadata aggregation for a file storage system |
-
2021
- 2021-07-31 CN CN202110876875.8A patent/CN113687783B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677236A (zh) * | 2015-12-29 | 2016-06-15 | 华为技术有限公司 | 一种存储设备及其存储数据的方法 |
| US9690886B1 (en) * | 2016-06-30 | 2017-06-27 | Zerto Ltd. | System and method for a simulation of a block storage system on an object storage system |
| CN111309687A (zh) * | 2020-01-21 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种对象存储小文件处理方法、装置、设备及存储介质 |
| CN111445284A (zh) * | 2020-03-26 | 2020-07-24 | 北京达佳互联信息技术有限公司 | 一种定向标签的确定方法、装置、计算设备及存储介质 |
| CN111610936A (zh) * | 2020-05-25 | 2020-09-01 | 广州市百果园信息技术有限公司 | 一种对象存储平台以及对象聚合方法、装置和服务器 |
| CN112307263A (zh) * | 2020-10-29 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种文件存储方法、装置、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| SMDFS分布式海量小文件系统的大空间聚合存储技术;严巍巍;何连跃;李三霞;成颖佼;;计算机研究与发展(S2);全文 * |
| ZFS文件系统中双容错编码性能的研究;张斌;眭聚磊;童健聪;王刚;刘晓光;;计算机工程与科学(09);全文 * |
| 基于新型非易失内存的远程零拷贝文件系统;韩文炳;陈小刚;李顺芬;李大刚;陈诗雁;段有康;宋志棠;;国防科技大学学报(03);全文 * |
| 海量小文件系统中基于聚合单元的空间回收机制;徐俊;何连跃;严巍巍;陈博;徐照淼;;计算机应用(S1);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113687783A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101994021B1 (ko) | 파일 조작 방법 및 장치 | |
| CN109739815B (zh) | 文件处理方法、系统、装置、设备及存储介质 | |
| CN106951375B (zh) | 在存储系统中删除快照卷的方法及装置 | |
| CN109241004B (zh) | 元数据文件大小恢复方法、系统、装置及可读存储介质 | |
| US20140222761A1 (en) | Terminal Backup and Recovery Method | |
| CN106649721A (zh) | 一种文件排重方法和装置 | |
| CN111078464A (zh) | 一种备份数据的方法、装置和系统 | |
| CN113687783B (zh) | 一种对象聚合方法、系统、装置及计算机存储介质 | |
| CN105357307A (zh) | 一种文件在线编辑方法、装置及系统 | |
| CN104965835A (zh) | 一种分布式文件系统的文件读写方法及装置 | |
| CN112817962B (zh) | 基于对象存储的数据存储方法、装置和计算机设备 | |
| CN105260266B (zh) | 一种快照卷写方法及依赖快照系统 | |
| CN107665224B (zh) | 扫描hdfs冷数据的方法、系统和装置 | |
| CN110750566A (zh) | 数据处理方法、装置、缓存系统及缓存管理平台 | |
| CN104572943A (zh) | 免安装程序清理方法及装置 | |
| CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
| CN113542326B (zh) | 分布式系统的数据缓存方法及装置、服务器、存储介质 | |
| KR101780236B1 (ko) | 파일 복구 기능을 갖는 파일 관리 장치 및 파일 관리 장치의 파일 복구 방법 | |
| CN109828720B (zh) | 数据存储方法、装置、服务器和存储介质 | |
| CN114675783A (zh) | 一种数据存储方法、系统、设备以及介质 | |
| CN104375781B (zh) | 数据存取方法及装置 | |
| CN114675776A (zh) | 资源存储方法和装置、存储介质和电子设备 | |
| JP2004152239A (ja) | ファイル管理装置、ファイル管理方法及びプログラム | |
| CN111221985B (zh) | 一种基于操作系统的数据处理方法和装置 | |
| EP4195068B1 (en) | Storing and retrieving media recordings in an object store |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |