CN113704200A - 数据存储方法、装置、设备及存储介质 - Google Patents

数据存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113704200A
CN113704200A CN202111282663.3A CN202111282663A CN113704200A CN 113704200 A CN113704200 A CN 113704200A CN 202111282663 A CN202111282663 A CN 202111282663A CN 113704200 A CN113704200 A CN 113704200A
Authority
CN
China
Prior art keywords
file object
gateway node
node
data
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111282663.3A
Other languages
English (en)
Inventor
季豪
刘志立
张善从
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ucas Technology Co ltd
Original Assignee
Beijing Ucas Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ucas Technology Co ltd filed Critical Beijing Ucas Technology Co ltd
Priority to CN202111282663.3A priority Critical patent/CN113704200A/zh
Publication of CN113704200A publication Critical patent/CN113704200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种数据存储方法、装置、设备及存储介质，其中，方法包括：获取待存储的文件对象，并将文件对象存储到至少一个网关节点；对文件对象进行编码分片处理，生成文件对象的数据块和校验块；将数据块存储至数据块节点，并将校验块存储至校验块节点；获取文件对象的被访问频率，并根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象。根据本公开的技术方案保证了存储持久性和可靠性，同时保证了文件对象的存储读写效率，兼顾存储开销和读写性能。

Description

数据存储方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种数据存储方法、装置、设备及存储介质。
背景技术
IPFS（InterPlanetary File System，星际文件系统）是一种去中心化的文件存储系统，在IPFS系统中，文件可以副本方式被网关节点缓存。
然而，存在着由于节点下线等原因，导致文件不可获取甚至丢失，无法保证文件的存储可靠性。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据存储方法、装置、设备及存储介质。
第一方面，本公开实施例提供了一种数据存储方法，包括：
获取待存储的文件对象，并将所述文件对象存储到至少一个网关节点；
对所述文件对象进行编码分片处理，生成所述文件对象的数据块和校验块；
将所述数据块存储至数据块节点，并将所述校验块存储至校验块节点；
获取所述文件对象的被访问频率，并根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象。
可选地，所述根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象包括：在所述文件对象的被访问频率小于预设频率阈值的情况下，从所述至少一个网关节点中删除所述文件对象。
可选地，所述根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象包括：在所述文件对象的被访问频率大于等于预设频率阈值的情况下，根据所述被访问频率确定所述文件对象的副本数量；确定与所述副本数量匹配的目标网关节点，以将所述文件对象存储至所述目标网关节点。
可选地，在从所述至少一个网关节点中删除所述文件对象之后，所述方法还包括：响应于针对所述文件对象的访问请求，从所述数据块节点获取所述文件对象的数据块，以及从所述校验块节点获取所述文件对象的校验块；基于所述文件对象的数据块和校验块进行解码，生成所述文件对象。
可选地，在生成所述文件对象之后，所述方法还包括：将所述文件对象存储到所述至少一个网关节点。
第二方面，本公开实施例提供了一种数据存储装置，包括：
第一存储模块，用于获取待存储的文件对象，并将所述文件对象存储到至少一个网关节点；
生成模块，用于对所述文件对象进行编码分片处理，生成所述文件对象的数据块和校验块；
第二存储模块，用于将所述数据块存储至数据块节点，并将所述校验块存储至校验块节点；
更新模块，用于获取所述文件对象的被访问频率，并根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象。
可选地，所述更新模块具体用于：在所述文件对象的被访问频率小于预设频率阈值的情况下，从所述至少一个网关节点中删除所述文件对象。
可选地，所述更新模块具体用于：在所述文件对象的被访问频率大于等于预设频率阈值的情况下，根据所述被访问频率确定所述文件对象的副本数量；确定与所述副本数量匹配的目标网关节点，以将所述文件对象存储至所述目标网关节点。
可选地，所述装置还包括：获取模块，用于响应于针对所述文件对象的访问请求，从所述数据块节点获取所述文件对象的数据块，以及从所述校验块节点获取所述文件对象的校验块；解码模块，用于基于所述文件对象的数据块和校验块进行解码，生成所述文件对象。
可选地，所述装置还包括：第三存储模块，用于将所述文件对象存储到所述至少一个网关节点。
第三方面，本公开实施例提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第一方面所述的数据存储方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数据存储方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：通过将文件对象存储到网关节点，对文件对象进行编码分片处理，生成文件对象的数据块和校验块，将数据块存储至数据块节点并将校验块存储至校验块节点，以及根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象，保证了存储持久性和可靠性，同时保证了文件对象的存储读写效率，兼顾存储开销和读写性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所提供的一种数据存储方法的流程示意图；
图2为本公开实施例所提供的另一种数据存储方法的流程示意图；
图3为本公开实施例所提供的一种数据存储装置的结构示意图；
图4为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例所提供的一种数据存储方法的流程示意图，本公开实施例提供的方法可以由数据存储装置来执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑等用户终端。
如图1所示，本公开实施例提供的数据存储方法可包括：
步骤101，获取待存储的文件对象，并将文件对象存储到至少一个网关节点。
本公开实施例中，获取文件对象，并将文件对象上传至网关节点，以在网关节点中存储该文件对象，以作为该文件对象的副本。
其中，网关节点的数量可以是一个，也可以是多个。例如，以上传至一个网关节点为例，对于网关节点一、网关节点二和网关节点三，将文件对象上传至网关节点一，在网关节点一中缓存该文件对象，作为该文件对象的一个副本。
步骤102，对文件对象进行编码分片处理，生成文件对象的数据块和校验块。
本实施例中，可以在将文件对象上传至网关节点后，对文件对象进行编码分片处理，生成文件对象的k个数据块和m个校验块。其中，编码分片采用纠删码技术实现，纠删码技术通过纠删码算法将数据进行编码得到冗余，并将数据和冗余存储在不同的位置，以达到容错的目的。RS（Reed-Solomon，里德所罗门码）码是一种纠删码，通过将k个数据块的向量与生成矩阵（GT）相乘得到一个码字向量RS（k，m），该码字向量由k个数据块和m个校验块构成，k和m为正整数，若一个数据块丢失，可以采用（GT）-1乘以码字向量的方式恢复丢失的数据块。
步骤103，将数据块存储至数据块节点，并将校验块存储至校验块节点。
本实施例中，设置数据块节点和校验块节点，在对文件对象进行编码分片处理，生成文件对象的k个数据块和m个校验块后，将文件对象的k个数据块发送至数据块节点，将文件对象的m个校验块发送至校验块节点。作为一种示例，网关节点一中存储该文件对象，数据块节点和校验块节点分别存储文件对象的k个数据块和m个校验块，以形成（1，k，m）结构。
步骤104，获取文件对象的被访问频率，并根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象。
本公开实施例中，可以监控文件对象的被访问频率，以根据文件对象的被访问频率和预设频率阈值，更新网关节点中存储的文件对象。被访问频率可以根据预设时间内文件对象的被访问次数确定。
在本公开的一个实施例中，根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象包括：在文件对象的被访问频率小于预设频率阈值的情况下，从至少一个网关节点中删除文件对象。
作为一种示例，网关节点一中存储有文件对象，监控该文件对象的被访问频率，若该文件对象的被访问频率小于预设频率阈值，则从网关节点一的缓存中删除该文件对象，（1，k，m）结构变为（0，k，m）结构，即RS（k，m）结构。
作为另一种示例，多个网关节点中存储有文件对象，对于每个存储有文件对象的网关节点，参照上述示例中的网关节点一，监控该文件对象的被访问频率，若该文件对象的被访问频率小于预设频率阈值，则从该网关节点的缓存中删除该文件对象。由此，实现了动态副本策略，根据文件访问热度动态调整网关节点存储的文件对象的副本数量，提高磁盘利用率。
在本公开的一个实施例中，根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象包括：在文件对象的被访问频率大于等于预设频率阈值的情况下，根据被访问频率确定文件对象的副本数量，确定与副本数量匹配的目标网关节点，以将文件对象存储至目标网关节点。
作为一种示例，网关节点一中存储有文件对象，监控该文件对象的被访问频率，若该文件对象的被访问频率大于等于预设频率阈值，则可以根据预设的被访问频率与副本数量之间的映射关系，确定该文件对象的副本数量，例如确定副本数量为N-1，则确定匹配的N-1个目标网关节点，目标网关节点可以是未存储文件对象的网关节点，以将文件对象存储至目标网关节点，以形成（N，k，m）结构，其中，N为大于等于2的整数，表示N个副本与k个数据块与m个校验块，实现了动态副本策略，根据文件访问热度动态调整网关节点存储的文件对象的副本数量，提高热点文件的响应性能，多个副本保证了高可用性能和高读写性能。
根据本公开实施例的技术方案，通过将文件对象存储到网关节点，对文件对象进行编码分片处理，生成文件对象的数据块和校验块，将数据块存储至数据块节点并将校验块存储至校验块节点，降低存储成本，且保证了存储持久性，并且可以通过数据块和校验块生成文件对象，保证存储可靠性；以及根据文件对象的被访问频率，更新至少一个网关节点中存储的文件对象，能够动态调整网关节点中存储的文件对象的副本数量，提高磁盘利用率和文件对象的存储读写效率，通过副本机制与纠删码结合应用于IPFS系统，解决了IPFS存储可靠性不足的问题，且保留了IPFS热点文件的高可用性，兼顾存储开销和读写性能。
基于上述实施例，在从至少一个网关节点中删除文件对象之后，若接收到针对文件对象的访问请求，为保证文件对象的存储可靠性，实现文件对象的访问，可以根据数据块和校验块生成文件对象。
图2为本公开实施例所提供的另一种数据存储方法的流程示意图，如图2所示，该方法包括：
步骤201，响应于针对文件对象的访问请求，从数据块节点获取文件对象的数据块，以及从校验块节点获取文件对象的校验块。
本实施例中，对于以（0，k，m）结构存储的文件对象，此时对于针对文件对象的访问请求，可以从数据块节点获取文件对象的数据块，以及从校验块节点获取文件对象的校验块。文件对象以数据块和校验块的形式存储，存储开销低，降低文件对象的存储成本。
作为一种示例，在从至少一个网关节点中删除文件对象之后，若访问该文件对象，可以从数据块节点获取该文件对象的数据块，以及从校验块节点获取该文件对象的校验块。
作为另一种示例，文件对象存储在网关节点一，网关节点一下线后，该文件对象以（0，k，m）结构存储，若访问该文件对象，可以从数据块节点获取该文件对象的数据块，以及从校验块节点获取该文件对象的校验块。
步骤202，基于文件对象的数据块和校验块进行解码，生成文件对象。
本实施例中，可以在网关节点中基于文件对象的数据块和校验块进行解码，以生成该文件对象，进而，根据生成的文件对象响应访问请求。
在本公开的一个实施例中，在生成文件对象之后，将文件对象存储到至少一个网关节点。例如，通过网关节点一访问文件对象，在网关节点一中根据文件对象的k个数据块和m个校验块组合生成文件对象，并在网关节点一中存储该文件对象，以形成（1，k，m）结构。
在本公开的一个实施例中，在生成文件对象之后，监测文件对象的当前被访问频率，在当前被访问频率大于等于预设频率阈值的情况下，将文件对象存储到网关节点。
本实施例中，通过从网关节点中删除被访问频率低于频率阈值的文件对象，实现了文件对象副本数量的动态变化，将冷门文件副本从网关节点中清理，降低存储开销和文件对象的存储成本，提高磁盘利用率，进一步，基于数据块和校验块生成文件对象，提高存储可靠性。
基于上述实施例，在本公开的一个实施例中，可以通过不同的网关节点访问文件对象，在访问文件对象后，可以将文件对象存储到该网关节点，由此，可以形成（N，k，m）结构，即N个副本加上k个数据块、m个校验块。
作为一种示例，在将文件对象存储到网关节点一，以作为该文件对象的一个副本，以及将文件对象的数据块存储至数据块节点、将文件对象的校验块存储至校验块节点之后，形成（1，k，m）结构。若通过网关节点二访问该文件对象，获取该文件对象以响应访问请求，并在网关节点二中存储该文件对象，以作为该文件对象的另一个副本，形成（2，k，m）结构。
由此，实现了动态副本策略，根据文件访问情况动态调整网关节点存储的文件对象的副本数量，提高热点文件的响应性能，多个副本保证了高可用性能和高读写性能。
图3为本公开实施例所提供的一种数据存储装置的结构示意图，如图3所示，该数据存储装置包括：第一存储模块31，生成模块32，第二存储模块33，更新模块34。
其中，第一存储模块31，用于获取待存储的文件对象，并将所述文件对象存储到至少一个网关节点。
生成模块32，用于对所述文件对象进行编码分片处理，生成所述文件对象的数据块和校验块。
第二存储模块33，用于将所述数据块存储至数据块节点，并将所述校验块存储至校验块节点。
更新模块34，用于获取所述文件对象的被访问频率，并根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象。
在本公开的一个实施例中，更新模块34具体用于：在所述文件对象的被访问频率小于预设频率阈值的情况下，从所述至少一个网关节点中删除所述文件对象。
在本公开的一个实施例中，更新模块34具体用于：在所述文件对象的被访问频率大于等于预设频率阈值的情况下，根据所述被访问频率确定所述文件对象的副本数量；确定与所述副本数量匹配的目标网关节点，以将所述文件对象存储至所述目标网关节点。
在本公开的一个实施例中，数据存储装置还包括：获取模块，用于响应于针对所述文件对象的访问请求，从所述数据块节点获取所述文件对象的数据块，以及从所述校验块节点获取所述文件对象的校验块；解码模块，用于基于所述文件对象的数据块和校验块进行解码，生成所述文件对象。
在本公开的一个实施例中，数据存储装置还包括：第三存储模块，用于将所述文件对象存储到所述至少一个网关节点。
本公开实施例所提供的数据存储装置可执行本公开实施例所提供的任意数据存储方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备600 包括一个或多个处理器 601 和存储器 602。
处理器 601 可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600 中的其他组件以执行期望的功能。
存储器 602 可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器 601 可以运行程序指令，以实现上文的本公开的实施例的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备 600 还可以包括：输入装置 603 和输出装置 604，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。此外，该输入装置 603 还可以包括例如键盘、鼠标等等。该输出装置 604 可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置 604 可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备 600 中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600 还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的任意方法。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如 Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的任意方法。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM 或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
获取待存储的文件对象，并将所述文件对象存储到至少一个网关节点；
对所述文件对象进行编码分片处理，生成所述文件对象的数据块和校验块；
将所述数据块存储至数据块节点，并将所述校验块存储至校验块节点；
获取所述文件对象的被访问频率，并根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象。
2.如权利要求1所述的数据存储方法，其特征在于，所述根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象包括：
在所述文件对象的被访问频率小于预设频率阈值的情况下，从所述至少一个网关节点中删除所述文件对象。
3.如权利要求1所述的数据存储方法，其特征在于，所述根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象包括：
在所述文件对象的被访问频率大于等于预设频率阈值的情况下，根据所述被访问频率确定所述文件对象的副本数量；
确定与所述副本数量匹配的目标网关节点，以将所述文件对象存储至所述目标网关节点。
4.如权利要求2所述的数据存储方法，其特征在于，在从所述至少一个网关节点中删除所述文件对象之后，所述方法还包括：
响应于针对所述文件对象的访问请求，从所述数据块节点获取所述文件对象的数据块，以及从所述校验块节点获取所述文件对象的校验块；
基于所述文件对象的数据块和校验块进行解码，生成所述文件对象。
5.如权利要求4所述的数据存储方法，其特征在于，在生成所述文件对象之后，还包括：
将所述文件对象存储到所述至少一个网关节点。
6.一种数据存储装置，其特征在于，包括：
第一存储模块，用于获取待存储的文件对象，并将所述文件对象存储到至少一个网关节点；
生成模块，用于对所述文件对象进行编码分片处理，生成所述文件对象的数据块和校验块；
第二存储模块，用于将所述数据块存储至数据块节点，并将所述校验块存储至校验块节点；
更新模块，用于获取所述文件对象的被访问频率，并根据所述文件对象的被访问频率，更新所述至少一个网关节点中存储的所述文件对象。
7.如权利要求6所述的数据存储装置，其特征在于，所述更新模块具体用于：
在所述文件对象的被访问频率小于预设频率阈值的情况下，从所述至少一个网关节点中删除所述文件对象。
8.如权利要求7所述的数据存储装置，其特征在于，还包括：
获取模块，用于响应于针对所述文件对象的访问请求，从所述数据块节点获取所述文件对象的数据块，以及从所述校验块节点获取所述文件对象的校验块；
解码模块，用于基于所述文件对象的数据块和校验块进行解码，生成所述文件对象。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5中任一所述的数据存储方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-5中任一所述的数据存储方法。
CN202111282663.3A 2021-11-01 2021-11-01 数据存储方法、装置、设备及存储介质 Pending CN113704200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111282663.3A CN113704200A (zh) 2021-11-01 2021-11-01 数据存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111282663.3A CN113704200A (zh) 2021-11-01 2021-11-01 数据存储方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113704200A true CN113704200A (zh) 2021-11-26

Family

ID=78647590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111282663.3A Pending CN113704200A (zh) 2021-11-01 2021-11-01 数据存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113704200A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265563A (zh) * 2021-12-31 2022-04-01 北京瑞莱智慧科技有限公司 基于云计算的对象存储方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111930555A (zh) * 2020-09-02 2020-11-13 平安国际智慧城市科技股份有限公司 基于纠删码的文件处理方法、装置及计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111930555A (zh) * 2020-09-02 2020-11-13 平安国际智慧城市科技股份有限公司 基于纠删码的文件处理方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄东升: "IPFS文件系统中动态副本管理策略研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265563A (zh) * 2021-12-31 2022-04-01 北京瑞莱智慧科技有限公司 基于云计算的对象存储方法、装置及存储介质
CN114265563B (zh) * 2021-12-31 2023-03-28 北京瑞莱智慧科技有限公司 基于云计算的对象存储方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US11409703B2 (en) File versions within content addressable storage
US11360938B2 (en) Files having unallocated portions within content addressable storage
CN110928904A (zh) 一种数据查询方法、装置及相关组件
US20170353575A1 (en) Caching for unique combination reads in a dispersed storage network
JP7058132B2 (ja) 最大化された重複除去メモリのためのシステム及び方法
CN111046310A (zh) 页面处理方法、装置、服务器及计算机可读存储介质
CN114138687A (zh) 一种数据预取方法、装置、电子设备及存储介质
US11288237B2 (en) Distributed file system with thin arbiter node
CN114385409A (zh) 基于纠删码的编码方法、分布式系统、设备及存储介质
CN113704200A (zh) 数据存储方法、装置、设备及存储介质
CN117270794B (zh) 一种基于Redis的数据存储方法、介质及设备
AU2021238984B2 (en) Predictive provisioning of remotely-stored files
CN111522879A (zh) 一种基于缓存的数据分发方法和电子设备
US20190354455A1 (en) Skew detector for data storage system
CN115543690A (zh) 一种冷热数据冗余方法、装置、设备及存储介质
CN114444440A (zh) 一种标识符生成方法、装置、存储介质及系统
CN114138543A (zh) 数据条带编码方法、系统、设备及介质
CN110716692B (zh) 读取性能提升方法、装置、存储节点及数据读取方法
CN113612869A (zh) 一种短网址生成方法、终端及存储介质
CN110209679B (zh) 一种用于提升访问效率的数据存储方法、终端设备
US11809709B2 (en) Metadata size reduction for data objects in cloud storage systems
CN116483312A (zh) 流水号生成方法、电子设备及存储介质
US10776018B2 (en) Efficient discovery of silent read failures on underlying media of storage systems
CN108241684B (zh) 一种数据更新方法和集群系统
CN114356332A (zh) 页面确定方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211126