CN112799584A - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN112799584A
CN112799584A CN201911108377.8A CN201911108377A CN112799584A CN 112799584 A CN112799584 A CN 112799584A CN 201911108377 A CN201911108377 A CN 201911108377A CN 112799584 A CN112799584 A CN 112799584A
Authority
CN
China
Prior art keywords
storage
storage pool
stored
data
pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911108377.8A
Other languages
English (en)
Other versions
CN112799584B (zh
Inventor
向阳
杨州
苏海洲
严杰
张斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911108377.8A priority Critical patent/CN112799584B/zh
Publication of CN112799584A publication Critical patent/CN112799584A/zh
Application granted granted Critical
Publication of CN112799584B publication Critical patent/CN112799584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Abstract

本发明实施例提供了一种数据存储方法和装置，应用于分布式文件存储系统，分布式文件存储系统中每个磁盘包括多个预设存储空间，每个存储池由多个预设存储空间组成，该方法包括：获取待存储数据；将待存储数据分割为多个可读取的待存储对象；从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；针对每个待存储对象，从待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至目标存储池中。这样，分布式文件存储系统可将任一满足第一有效性条件的存储池作为待存储数据对应的目标存储池，即使各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间，也不会中断数据存储，从而减少存储资源浪费。

Description

一种数据存储方法及装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据存储方法及装置。
背景技术
分布式存储系统可以将大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储服务。在分布式存储系统中，通常利用RAID(Redundant Array ofIndependent Disks，独立磁盘冗余阵列)技术进行数据存储。
相关技术中，利用RAID技术进行数据存储的方案可以包括：首先，根据分布式存储系统的冗余度，对待存储数据进行冗余处理，得到多份冗余数据，然后，确定待存储数据对应的存储池，其中，分布式存储系统中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个预设存储空间组成，进而，可以将待存储数据及冗余数据分别存储在该待存储数据对应的存储池的不同的预设存储空间中。
举例而言，若分布式存储系统的冗余度为16+4，那么，对待存储数据进行冗余处理，可以得到4份冗余数据，待存储数据及4份冗余数据分别存储在该待存储数据对应的存储池的各个预设存储空间中。
在这种情况下，只要该存储池中损坏的预设存储空间的数量不超过4个，就可以利用存储在该存储池中其他预设存储空间中的数据，对存储在损坏的预设存储空间中的数据进行修复，分布式存储系统仍然可以正常工作。
但是，一些情况下，该存储池中损坏的预设存储空间的数量可能会超过存储冗余数据的预设存储空间的数量。比如，在分布式存储系统的冗余度为16+4的情况下，如果损坏的预设存储空间的数量大于4个，那么，存储在该存储池的其他预设存储空间中的数据无法对存储在损坏的预设存储空间中的数据进行修复，这时，分布式存储系统将中断数据存储业务，导致其他未损坏的预设存储空间也无法得以利用，从而造成存储资源浪费。
发明内容
本发明实施例的目的在于提供一种数据存储和读取方法及装置，以减少存储资源浪费。具体技术方案如下：
本发明实施例公开了一种数据存储方法，应用于分布式文件存储系统中的任一存储节点，所述分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个所述预设存储空间组成，所述方法包括：
获取待存储数据；
将所述待存储数据分割为多个可读取的待存储对象；
从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
针对每个待存储对象，从所述待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
可选的，所述将所述待存储数据分割为多个可读取的待存储对象，包括：
将所述待存储数据分割为多个预设数据量的可读取的待存储对象。
可选的，在所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池之前，所述方法还包括：
判断是否存在所包括的预设存储空间均未损坏的存储池；
若存在，则将所包括的预设存储空间未损坏的存储池作为待分配存储池；
若不存在，则执行所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池的步骤。
可选的，所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池，包括：
针对每个存储池，判断该存储池包括的损坏的预设存储空间的数量是否不大于预设第一阈值，若是，则将该存储池作为待分配存储池；或，
针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则将该存储池作为待分配存储池。
可选的，在不存在满足所述第一有效性条件的存储池的情况下，所述方法还包括：
发送报警信息。
可选的，所述将该待存储对象存储至所述目标存储池中，包括：
获取所分配的存储池对应的原始片段份数M及冗余片段份数N，所述M及所述N均为正整数；
对所述待存储对象进行分片处理，得到M个可读取的原始片段；
对所述M个原始片段进行冗余处理，得到N个冗余片段；
将所述M个原始片段及所述N个冗余片段分别存储至所述目标存储池的不同预设存储空间中。
可选的，在所述将该待存储对象存储至所述目标存储池中之后，所述方法还包括：
生成所述待存储数据的索引信息，所述索引信息中包括所述待存储数据与存储所述多个待存储对象对应的目标存储池之间的对应关系；
将所述索引信息存储至索引信息库中。
可选的，所述方法还包括：
获取待读取数据的标识信息；
根据所述标识信息，从所述索引信息库中查询所述待读取数据对应的存储池，作为候选存储池；
从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池；
从所述待读取存储池中读取所述待读取数据。
可选的，所述从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池，包括：
针对每个候选存储池，判断该候选存储池包括的损坏的预设存储空间的数量是否不大于预设第二阈值，若是，则将该候选存储池作为待读取存储池；或，
针对每个候选存储池，判断该候选存储池是否包括未损坏的预设存储空间，若包括，则将该候选存储池作为待读取存储池。
本发明实施例还提供了一种数据存储装置，应用于分布式文件存储系统中的任一存储节点，所述分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个所述预设存储空间组成，所述装置包括：
获取模块，用于获取待存储数据；
分割模块，用于将所述待存储数据分割为多个可读取的待存储对象；
选择模块，用于从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
存储模块，用于针对每个待存储对象，从所述待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
可选的，所述分割模块，具体用于：
将所述待存储数据分割为多个预设数据量的可读取的待存储对象。
可选的，所述选择模块，还用于：
判断是否存在所包括的预设存储空间均未损坏的存储池；
若存在，则将所包括的预设存储空间未损坏的存储池作为待分配存储池；
若不存在，则执行所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池的步骤。
可选的，所述选择模块，具体用于：
针对每个存储池，判断该存储池包括的损坏的预设存储空间的数量是否不大于预设第一阈值，若是，则将该存储池作为待分配存储池；或，
针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则将该存储池作为待分配存储池。
可选的，所述选择模块，还用于：
在不存在满足所述第一有效性条件的存储池的情况下，发送报警信息。
可选的，所述存储模块，具体用于：
获取所分配的存储池对应的原始片段份数M及冗余片段份数N，所述M及所述N均为正整数；
对所述待存储对象进行分片处理，得到M个可读取的原始片段；
对所述M个原始片段进行冗余处理，得到N个冗余片段；
将所述M个原始片段及所述N个冗余片段分别存储至所述目标存储池的不同预设存储空间中。
可选的，所述装置还包括：
索引模块，用于生成所述待存储数据的索引信息，所述索引信息中包括所述待存储数据与存储所述多个待存储对象对应的目标存储池之间的对应关系；将所述索引信息存储至索引信息库中。
可选的，所述装置还包括：
查询模块，用于获取待读取数据的标识信息；根据所述标识信息，从所述索引信息库中查询所述待读取数据对应的存储池，作为候选存储池；从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池；从所述待读取存储池中读取所述待读取数据。
可选的，所述查询模块，具体用于：
针对每个候选存储池，判断该候选存储池包括的损坏的预设存储空间的数量是否不大于预设第二阈值，若是，则将该候选存储池作为待读取存储池；或，针对每个候选存储池，判断该候选存储池是否包括未损坏的预设存储空间，若包括，则将该候选存储池作为待读取存储池。
本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一数据存储方法。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据存储方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一数据存储方法。
本发明实施例提供的数据存储方法及装置，应用于分布式文件存储系统，分布式文件存储系统中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个预设存储空间组成，该方法包括：获取待存储数据；将待存储数据分割为多个可读取的待存储对象；从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；针对每个待存储对象，从待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至目标存储池中。这样，任一存储池只要满足第一有效性条件，分布式文件存储系统就可以将该存储池作为待存储数据对应的目标存储池，将待存储数据存储至该目标存储池中，即使在分布式文件存储系统中各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间的情况下，分布式文件存储系统也不会中断数据存储，从而可以减少存储资源浪费。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据存储方法的一种流程示意图；
图2为基于本发明实施例提供的数据存储方法对数据进行读取的一种流程示意图；
图3为本发明实施例提供的数据存储装置的一种结构示意图；
图4为本发明实施例还提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，利用RAID技术进行数据存储时，若分布式存储系统的冗余度为16+4，那么，对待存储数据进行冗余处理，可以得到4份冗余数据，待存储数据及4份冗余数据分别存储在该待存储数据对应的存储池的各个预设存储空间中。也就是说，只要该存储池中损坏的预设存储空间的数量不超过4个，就可以利用存储在该存储池中其他预设存储空间中的数据，对存储在损坏的预设存储空间中的数据进行修复，分布式存储系统仍然可以正常工作。
但是，一些情况下，该存储池中损坏的预设存储空间的数量可能会超过存储冗余数据的预设存储空间的数量。那么，存储在该存储池的其他预设存储空间中的数据无法对存储在损坏的预设存储空间中的数据进行修复，这时，分布式存储系统将中断数据存储业务，导致其他未损坏的预设存储空间也无法得以利用，从而造成存储资源浪费。
为了解决上述技术问题，本发明实施例提供了一种数据存储方法及装置。
该数据存储方法及装置应用于分布式文件存储系统中的任一存储节点，其中，分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个预设存储空间组成。
换句话说，在分布式文件存储系统中，每个存储节点中的磁盘被划为多个预设存储空间，其中，一定数量的预设存储空间可以组成一个存储池，这样，就得到了分布式文件存储系统中的多个存储池。对于每个存储池而言，组成该存储池的预设存储空间可以属于同一个磁盘，也可以属于不同的磁盘，这些磁盘可以属于同一个存储节点，也可以属于不同的存储节点，具体不做限定。
下面从总体上对本发明实施例提供的数据存储方法进行说明，该数据存储方法包括：
获取待存储数据；
将所述待存储数据分割为多个可读取的待存储对象；
从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
针对每个待存储对象，从待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
由以上可见，本发明实施例提供的数据存储方法，任一存储池只要满足第一有效性条件，分布式文件存储系统就可以将该存储池作为待存储数据对应的目标存储池，将待存储数据存储至该目标存储池中，这样，即使在分布式文件存储系统中各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间的情况下，分布式文件存储系统也不会中断数据存储，从而可以减少存储资源浪费。
下面将通过具体的实施例，对本发明实施例提供的数据存储方法进行详细描述。
如图1所示，为本发明实施例提供的数据存储方法的一种流程示意图，该方法应用于分布式文件存储系统中的任一存储节点，其中，分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个预设存储空间组成，该方法包括如下步骤：
S101：获取待存储数据。
在本发明实施例中，待存储数据可以是流数据，流数据是指实时的、不断获取的数据，比如，可以是视频流数据或音频流数据，等等。
其中，在分布式文件存储系统中，本存储节点可以通过多种不同的采集设备获取待存储数据，例如，待存储数据可以为网络摄像机、智能手机采集的视频流数据，等等，具体不做限定。
在一种实现方式中，可以先由本存储节点向采集设备发送数据获取指令，再由采集设备向本存储节点返回待存储数据。或者，也可以是由采集设备定期向本存储节点主动发送待存储数据，具体不做限定。
S102：将待存储数据分割为多个可读取的待存储对象。
在获取待存储数据之后，可以对待存储数据进行分割，将待存储数据分割为多个待存储对象，其中，每个待存储对象都是可以单独进行读取的。
举例而言，在待存储数据为视频流数据的情况下，视频流数据由连续的视频帧组成，在获取到视频流数据之后，可以将视频流数据分割为多个可以播放的视频数据，也就是说，分割得到的每个视频数据都是一段连续的视频帧，只需获取任一视频数据，都可以对该视频数据进行播放。
一种实现方式中，可以将待存储数据分割为多个预设数据量的可读取的待存储对象。
比如，若预设数据量为4M(兆)，待存储数据为100M的视频数据，那么，可以将待存储数据分割为25个4M的待存储对象。若预设数据量为4M，待存储数据为实时采集的视频数据，那么，可以每当采集到的视频数据达到4M时，将该4M视频数据作为一个待存储对象，后续采集到的视频数据则作为另一个待存储对象。
其中，预设数据量可以是根据用户的输入参数确定的，也可以是根据分布式文件存储系统中各个存储池的存储空间大小确定的，本发明实施例对此不做限定。
S103：从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池。
一种实现方式中，在在从多个存储池中选择待分配存储池之前，还可以判断是否存在所包括的预设存储空间均未损坏的存储池，若存在，则将所包括的预设存储空间未损坏的存储池作为待分配存储池，若不存在，再从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池。
也就是说，可以优先选择不包含损坏预设存储空间的存储池，相比于包含已损坏预设存储空间的存储池，这些不包含损坏预设存储空间的存储池性能更高，数据存储效果更好。当不存在不包含损坏预设存储空间的存储池的情况下，从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池，而不中断对待存储数据的存储，这样，可以提高分布式文件存储系统的资源利用率。
一种实现方式中，可以针对每个存储池，判断该存储池包括的损坏的预设存储空间的数量是否不大于预设第一阈值，若是，则判定该存储池满足第一有效性条件，可以将该存储池作为待分配存储池。也就是说，在这种实现方式中，对于任一存储池而言，只要该存储池包括的损坏的预设存储空间的数量不大于预设第一阈值，那么，该存储池就可以继续用于存储待存储数据。
举例而言，若分布式文件存储系统中存储池的冗余度为16+4，预设第一阈值设定为5，那么，可以将分布式文件存储系统中损坏预设存储空间不大于5的存储池作为满足第一有效性条件的存储池。这样，对于任一存储池而言，即使当前该存储池的损坏预设存储空间的数量大于存储冗余数据的预设存储空间的数量，也就是大于4，只要损坏预设存储空间的数量不超过5，该存储池就仍然可以作为待分配存储池，用于存储待存储数据。
其中，预设第一阈值可以是用户设定的值，比如，对于存储池冗余度为16+4的分布式文件存储系统，可以直接设定预设第一阈值为任一大于4的数字。或者，预设第一阈值也可以是在预设范围内根据当前分布式文件存储系统中存储池的损坏情况确定的值，比如，对于存储池冗余度为16+4的分布式文件存储系统，若不存在不包含损坏预设存储空间的存储池，那么，可以将5确定为预设第一阈值，若不存在损坏预设存储空间的数量为5的存储池，则将6确定为预设第一阈值，以此类推，直至预设第一阈值达到预设范围内的最大值。
或者，在一种实现方式中，还可以针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则判定该存储池满足第一有效性条件，可以将该存储池作为待分配存储池。也就是说，在这种实现方式中，对于任一存储池而言，只要该存储池包括任一未损坏的预设存储空间，那么，该存储池就可以继续用于存储待存储数据。
举例而言，若分布式文件存储系统中存储池的冗余度为16+4，对于任一存储池而言，即使其中包括的一些预设存储空间损坏了，只要包括一个可工作的预设存储空间，就可以选择该存储池存储待存储数据。
另外，一种实现方式中，若不存在满足第一有效性条件的存储池，即不存在可分配的存储池，那么，可以发送报警信息。其中，报警信息用于提示用户分布式文件存储系统发生存储故障，以便用户及时对分布式文件存储系统进行维护。
S104：针对每个待存储对象，从待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至目标存储池中。
在确定待分配存储池之后，可以从待分配存储池中，为每个待存储对象分配对应的目标存储池。
一种实现方式中，为待存储对象分配对应的目标存储池时，可以随机进行分配，每个待存储对象所分配的目标存储池可以是不同的存储池。这样，可以将待存储对象分别分散存储到不同的存储池中，当某一存储池由于损坏预设存储空间的数量过多，导致该存储池中的待存储对象无法读取后，其他存储池中的待存储对象仍然可以读取，从而尽最大程度保证了待存储数据的完整性。
或者，也可以可以根据待存储对象不同的性能要求，选择具有不同性能能力的存储池。比如，若待存储对象为视频数据中的关键帧，那么，可以选择冗余度较高或所包含的预设存储空间数量较多的存储池，而对于视频数据中的P帧，则可以存储至冗余度较低或所包含的预设存储空间数量较少的存储池，从而有针对性的提高重要程度较高的待存储对象的安全性。
另外，也可以为待存储对象优先分配损坏预设存储空间的数量较少的存储池，从而进一步提高数据存储的安全性。
在为待存储对象分配对应的目标存储池之后，可以将待存储对象存储至目标存储池中。其中，将待存储对象存储至目标存储池中的步骤，可以包括：首先，获取所分配的存储池对应的原始片段份数M及冗余片段份数N，其中，M及N均为正整数，两者的取值可以相同，也可以不同，具体不做限定；然后，对待存储对象进行分片处理，得到M个可读取的原始片段，对M个原始片段进行冗余处理，得到N个冗余片段；进而，将M个原始片段及N个冗余片段分别存储至目标存储池的不同预设存储空间中。
或者，也可以在对待存储对象进行分片处理后，直接将得到的多个原始片段存储至目标存储池的不同预设存储空间中，而不对原始片段进行冗余处理，从而进一步扩大分布式文件存储系统中的存储空间。
换句话说，本发明实施例可以应用于有冗余功能的RAID，如RAID1、RAID5、RAID6、RAID10、EC(Erasure Code，纠删码)-RAID等，也可以应用于不具有冗余功能的RAID，比如RAID0。
在本发明实施例中，分布式文件存储系统中存储池的冗余度可以进行调整，以使得更多的预设存储空间可以为待存储对象提供更大的存储空间，进而，延长分布式文件存储系统的数据存储业务的持续时间。在待存储数据为流数据的存储业务而言，更大的存储空间和更长的持续时间可以带来更好的效果，比如，对于监控行业而言，近期发生事故，需要获取最近录像，最近录像的价值大于较长时间之前的录像的价值，而更大的存储空间和更长的持续时间意味着更长的监控周期，可以提高产品的竞争力。
举例而言，若初始状态下，分布式文件存储系统中某一存储池的冗余度为16+4，在该存储池中的一些预设存储空间损坏之后，可以降低该存储池的冗余度，将其冗余度变成16+1，也就是说，更多的未损坏预设存储空间用来来存储待存储对象，减少了任冗余数据所占的存储空间，从而尽可能增大了待存储对象的存储空间，使得待存储数据可以继续存储在该分布式文件存储系统。
一种实现方式中，在将各个待存储对象存储至对应的目标存储池中之后，可以生成待存储数据的索引信息，并将索引信息存储至索引信息库中，其中，索引信息中包括待存储数据与存储多个待存储对象对应的目标存储池之间的对应关系。这样，通过索引信息库，可以查询分布式文件存储系统中存储的待存储数据对应的多个目标存储池，从而提高分布式文件存储系统的数据查询效率。
其中，通常以待存储数据的标识信息与多个目标存储池的地址信息对应的形式，存储待存储数据与存储多个待存储对象对应的目标存储池之间的对应关系。其中，待存储数据的标识信息可以为待存储数据的名称、编号等等，具体不做限定。也就是说，在索引信息库中存储着分布式文件存储系统中存储的数据的标识信息及其对应的多个存储池的地址信息。
由以上可见，本发明实施例提供的数据存储方法，任一存储池只要满足第一有效性条件，分布式文件存储系统就可以将该存储池作为待存储数据对应的目标存储池，将待存储数据存储至该目标存储池中，这样，即使在分布式文件存储系统中各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间的情况下，分布式文件存储系统也不会中断数据存储，从而可以减少存储资源浪费。
在上述实施例的S104中，将待存储对象存储至对应的目标存储池中之后，可以生成待存储数据的索引信息，并将索引信息存储至索引信息库中。基于此，可以通过索引信息库，可以对分布式文件存储系统中存储的数据进行读取，如图2所示，为基于本发明实施例提供的数据存储方法对数据进行读取的一种流程示意图，包括如下步骤：
S201：获取待读取数据的标识信息。
其中，待读取数据可以是存储在分布式文件存储系统中的任一数据，具体不做限定。分布式文件存储系统中的每一数据都具有唯一对应的标识信息，该标识信息可以是数据的名称、序号等等，具体不做限定。
S202：根据标识信息，从索引信息库中查询待读取数据对应的存储池，作为候选存储池。
当待存储数据分割得到的各个待存储对象存储至对应的目标存储池中之后，生成待存储数据的索引信息，并将索引信息存储至索引信息库中，其中，索引信息中包括待存储数据与存储多个待存储对象对应的目标存储池之间的对应关系。与此相对应的，当获取到待读取数据的标识信息之后，可以从索引信息库中查询待读取数据对应的多个存储池。
S203：从候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池。
一种实现方式中，判断查询到的存储池是否满足第二有效性条件的方式，可以为针对每个候选存储池，判断该候选存储池中损坏的预设存储空间的数量是否不大于预设第二阈值，若是，则判定该存储池满足第二有效性条件，可以将该存储池作为待读取存储池。
举例而言，若分布式文件存储系统中存储池的冗余度为16+4，预设第二阈值设定为5，那么，可以将分布式文件存储系统中损坏预设存储空间不大于5的存储池作为满足第二有效性条件的存储池。这样，对于任一存储池而言，即使当前该存储池的损坏预设存储空间的数量大于存储冗余数据的预设存储空间的数量，也就是大于4，只要损坏预设存储空间的数量不超过5，该存储池就仍然可以作为待读取存储池。
其中，预设第二阈值可以是用户设定的值，比如，对于存储池冗余度为16+4的分布式文件存储系统，可以直接设定预设第二阈值为任一大于4的数字。或者，预设第二阈值也可以是在预设范围内根据当前分布式文件存储系统中存储池的损坏情况确定的值，比如，对于存储池冗余度为16+4的分布式文件存储系统，若不存在不包含损坏预设存储空间的存储池，那么，可以将5确定为预设第二阈值，若不存在损坏预设存储空间的数量为5的存储池，则将6确定为预设第二阈值，以此类推，直至预设第二阈值达到预设范围内的最大值。
或者，在一种实现方式中，还可以针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则判定该存储池满足第二有效性条件，可以将该存储池作为待分配存储池。也就是说，在这种实现方式中，对于任一存储池而言，只要该存储池包括任一未损坏的预设存储空间，那么，该存储池中存储的数据就可以继续读取。
举例而言，若分布式文件存储系统中存储池的冗余度为16+4，对于任一存储池而言，即使其中包括的一些预设存储空间损坏了，只要包括一个可工作的预设存储空间，就可以从该存储池读取待读取数据。
S204：从待读取存储池中读取待读取数据。
在本发明实施例中，待存储数据分割为多个可读取的待存储对象，每个待读取数据都可以单独进行读取。进一步的，将待存储对象存储至目标存储池时，对待存储对象进行分片处理，得到多个可读取的原始片段，也就是说，待读取存储池的每个预设存储空间中的原始片段或冗余片段，也都可以单独进行读取。
由以上可见，由于分布式文件存储系统中，每个存储池的每个预设存储空间内存储的数据都是可读取的，因此，只要待读取数据对应的候选存储池满足第二有效性条件，分布式文件存储系统就可以将该候选存储池作为待读取存储池，进而，可以从待读取存储池读取待读取数据，即使候选存储池的损坏的预设存储空间数量超过存储冗余数据的预设存储空间，分布式文件存储系统也可以从中读取部分未损坏的数据，从而可以提高分布式文件存储系统的性能。
如图3所示，本发明实施例还提供了一种数据存储装置，应用于分布式文件存储系统中的任一存储节点，所述分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个所述预设存储空间组成，所述装置包括：
获取模块301，用于获取待存储数据；
分割模块302，用于将所述待存储数据分割为多个可读取的待存储对象；
选择模块303，用于从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
存储模块304，用于针对每个待存储对象，从所述待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
一种实现方式中，所述分割模块302，具体用于：
将所述待存储数据分割为多个预设数据量的可读取的待存储对象。
一种实现方式中，所述选择模块303，还用于：
判断是否存在所包括的预设存储空间均未损坏的存储池；
若存在，则将所包括的预设存储空间未损坏的存储池作为待分配存储池；
若不存在，则执行所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池的步骤。
一种实现方式中，所述选择模块303，具体用于：
针对每个存储池，判断该存储池包括的损坏的预设存储空间的数量是否不大于预设第一阈值，若是，则将该存储池作为待分配存储池；或，
针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则将该存储池作为待分配存储池。
一种实现方式中，所述选择模块303，还用于：
在不存在满足所述第一有效性条件的存储池的情况下，发送报警信息。
可选的，所述存储模块，具体用于：
获取所分配的存储池对应的原始片段份数M及冗余片段份数N，M和N均为正整数；
对所述待存储对象进行分片处理，得到M个可读取的原始片段；
对所述M个原始片段进行冗余处理，得到N个冗余片段；
将所述M个原始片段及所述N个冗余片段分别存储至所述目标存储池的不同预设存储空间中。
一种实现方式中，所述装置还包括：
索引模块(图中未示出)，用于生成所述待存储数据的索引信息，所述索引信息中包括所述待存储数据与存储所述多个待存储对象对应的目标存储池之间的对应关系；将所述索引信息存储至索引信息库中。
一种实现方式中，所述装置还包括：
查询模块(图中未示出)，用于获取待读取数据的标识信息；根据所述标识信息，从所述索引信息库中查询所述待读取数据对应的存储池，作为候选存储池；从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池；从所述待读取存储池中读取所述待读取数据。
一种实现方式中，所述查询模块，具体用于：
针对每个候选存储池，判断该候选存储池包括的损坏的预设存储空间的数量是否不大于预设第二阈值，若是，则将该候选存储池作为待读取存储池；或，针对每个候选存储池，判断该候选存储池是否包括未损坏的预设存储空间，若包括，则将该候选存储池作为待读取存储池。
由以上可见，本发明实施例提供的数据存储装置，任一存储池只要满足第一有效性条件，分布式文件存储系统就可以将该存储池作为待存储数据对应的目标存储池，将待存储数据存储至该目标存储池中，这样，即使在分布式文件存储系统中各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间的情况下，分布式文件存储系统也不会中断数据存储，从而可以减少存储资源浪费。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
获取待存储数据；
将所述待存储数据分割为多个可读取的待存储对象；
从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
针对每个待存储对象，从待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可见，本发明实施例提供的电子设备，任一存储池只要满足第一有效性条件，分布式文件存储系统就可以将该存储池作为待存储数据对应的目标存储池，将待存储数据存储至该目标存储池中，这样，即使在分布式文件存储系统中各个存储池的损坏的预设存储空间数量均超过存储冗余数据的预设存储空间的情况下，分布式文件存储系统也不会中断数据存储，从而可以减少存储资源浪费。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述实施例中任一所述的数据存储方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、存储介质实施例和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种数据存储方法，其特征在于，应用于分布式文件存储系统中的任一存储节点，所述分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个所述预设存储空间组成，所述方法包括：
获取待存储数据；
将所述待存储数据分割为多个可读取的待存储对象；
从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
针对每个待存储对象，从所述待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
2.根据权利要求1所述的方法，其特征在于，所述将所述待存储数据分割为多个可读取的待存储对象，包括：
将所述待存储数据分割为多个预设数据量的可读取的待存储对象。
3.根据权利要求1所述的方法，其特征在于，在所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池之前，所述方法还包括：
判断是否存在所包括的预设存储空间均未损坏的存储池；
若存在，则将所包括的预设存储空间未损坏的存储池作为待分配存储池；
若不存在，则执行所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池的步骤。
4.根据权利要求1所述的方法，其特征在于，所述从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池，包括：
针对每个存储池，判断该存储池包括的损坏的预设存储空间的数量是否不大于预设第一阈值，若是，则将该存储池作为待分配存储池；或，
针对每个存储池，判断该存储池是否包括未损坏的预设存储空间，若包括，则将该存储池作为待分配存储池。
5.根据权利要求1所述的方法，其特征在于，在不存在满足所述第一有效性条件的存储池的情况下，所述方法还包括：
发送报警信息。
6.根据权利要求1所述的方法，其特征在于，所述将该待存储对象存储至所述目标存储池中，包括：
获取所分配的存储池对应的原始片段份数M及冗余片段份数N，所述M及所述N均为正整数；
对所述待存储对象进行分片处理，得到M个可读取的原始片段；
对所述M个原始片段进行冗余处理，得到N个冗余片段；
将所述M个原始片段及所述N个冗余片段分别存储至所述目标存储池的不同预设存储空间中。
7.根据权利要求1-6任一所述的方法，其特征在于，在所述将该待存储对象存储至所述目标存储池中之后，所述方法还包括：
生成所述待存储数据的索引信息，所述索引信息中包括所述待存储数据与存储所述多个待存储对象对应的目标存储池之间的对应关系；
将所述索引信息存储至索引信息库中。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取待读取数据的标识信息；
根据所述标识信息，从所述索引信息库中查询所述待读取数据对应的存储池，作为候选存储池；
从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池；
从所述待读取存储池中读取所述待读取数据。
9.根据权利要求8所述的方法，其特征在于，所述从所述候选存储池中，选择满足第二有效性条件的存储池，作为待读取存储池，包括：
针对每个候选存储池，判断该候选存储池包括的损坏的预设存储空间的数量是否不大于预设第二阈值，若是，则将该候选存储池作为待读取存储池；或，
针对每个候选存储池，判断该候选存储池是否包括未损坏的预设存储空间，若包括，则将该候选存储池作为待读取存储池。
10.一种数据存储装置，其特征在于，应用于分布式文件存储系统中的任一存储节点，所述分布式文件存储系统中包括多个存储节点，每个存储节点中包括多个磁盘，每个磁盘包括多个预设存储空间，每个存储池由多个所述预设存储空间组成，所述装置包括：
获取模块，用于获取待存储数据；
分割模块，用于将所述待存储数据分割为多个可读取的待存储对象；
选择模块，用于从多个存储池中，选择满足第一有效性条件的存储池，作为待分配存储池；
存储模块，用于针对每个待存储对象，从所述待分配存储池中，为该待存储对象分配对应的目标存储池，将该待存储对象存储至所述目标存储池中。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
CN201911108377.8A 2019-11-13 2019-11-13 一种数据存储方法及装置 Active CN112799584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911108377.8A CN112799584B (zh) 2019-11-13 2019-11-13 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911108377.8A CN112799584B (zh) 2019-11-13 2019-11-13 一种数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN112799584A true CN112799584A (zh) 2021-05-14
CN112799584B CN112799584B (zh) 2023-04-07

Family

ID=75803340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911108377.8A Active CN112799584B (zh) 2019-11-13 2019-11-13 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN112799584B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835630A (zh) * 2021-09-15 2021-12-24 联泰集群（北京）科技有限责任公司 一种数据存储方法、装置、数据服务器、存储介质及系统
CN114500567A (zh) * 2022-01-13 2022-05-13 骤雨湾(武汉)技术服务有限公司 远程附件多冗余存储方法、装置、设备及存储介质
CN115291812A (zh) * 2022-09-30 2022-11-04 北京紫光青藤微系统有限公司 一种通信芯片的数据存储方法及装置
CN117472799A (zh) * 2023-12-28 2024-01-30 柏科数据技术（深圳）股份有限公司 一种缓存资源的弹性分配方法、装置、终端及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
CN102282545A (zh) * 2009-01-27 2011-12-14 日本电气株式会社 存储系统
CN103559102A (zh) * 2013-10-22 2014-02-05 北京航空航天大学 数据冗余处理方法、装置和分布式存储系统
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统
CN106961569A (zh) * 2017-03-21 2017-07-18 深圳英飞拓科技股份有限公司 一种录像覆盖方法、装置及网络硬盘录像机
CN108073363A (zh) * 2017-12-28 2018-05-25 深圳市得微电子有限责任公司 数据存储方法、存储设备及计算机可读存储介质
CN108958973A (zh) * 2018-06-27 2018-12-07 清华大学 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN109241023A (zh) * 2018-09-21 2019-01-18 郑州云海信息技术有限公司 分布式存储系统数据存储方法、装置、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282545A (zh) * 2009-01-27 2011-12-14 日本电气株式会社 存储系统
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
CN103559102A (zh) * 2013-10-22 2014-02-05 北京航空航天大学 数据冗余处理方法、装置和分布式存储系统
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统
CN106961569A (zh) * 2017-03-21 2017-07-18 深圳英飞拓科技股份有限公司 一种录像覆盖方法、装置及网络硬盘录像机
CN108073363A (zh) * 2017-12-28 2018-05-25 深圳市得微电子有限责任公司 数据存储方法、存储设备及计算机可读存储介质
CN108958973A (zh) * 2018-06-27 2018-12-07 清华大学 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN109241023A (zh) * 2018-09-21 2019-01-18 郑州云海信息技术有限公司 分布式存储系统数据存储方法、装置、系统及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835630A (zh) * 2021-09-15 2021-12-24 联泰集群（北京）科技有限责任公司 一种数据存储方法、装置、数据服务器、存储介质及系统
CN114500567A (zh) * 2022-01-13 2022-05-13 骤雨湾(武汉)技术服务有限公司 远程附件多冗余存储方法、装置、设备及存储介质
CN115291812A (zh) * 2022-09-30 2022-11-04 北京紫光青藤微系统有限公司 一种通信芯片的数据存储方法及装置
CN115291812B (zh) * 2022-09-30 2023-01-13 北京紫光青藤微系统有限公司 一种通信芯片的数据存储方法及装置
CN117472799A (zh) * 2023-12-28 2024-01-30 柏科数据技术（深圳）股份有限公司 一种缓存资源的弹性分配方法、装置、终端及存储介质
CN117472799B (zh) * 2023-12-28 2024-04-02 柏科数据技术（深圳）股份有限公司 一种缓存资源的弹性分配方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112799584B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112799584B (zh) 一种数据存储方法及装置
CN110209348B (zh) 数据存储方法、装置、电子设备及存储介质
EP3809708B1 (en) Video data storage method and device in cloud storage system
EP2919120B1 (en) Memory monitoring method and related device
KR20180064198A (ko) 데이터 저장 장치 및 그것의 동작 방법
CN114138687A (zh) 一种数据预取方法、装置、电子设备及存储介质
CN103747276A (zh) 一种cdn数据删除方法及cdn服务器
CN111562884A (zh) 一种数据存储方法、装置及电子设备
US9715455B1 (en) Hint selection of a cache policy
CN114996173A (zh) 一种管理存储设备写操作的方法和装置
EP3641260B1 (en) Method and device for improving data storage security
CN112463058A (zh) 一种碎片数据整理方法、装置及存储节点
CN113568877A (zh) 一种文件合并方法、装置、电子设备及存储介质
CN111897819A (zh) 数据存储方法、装置、电子设备及存储介质
CN110955587A (zh) 一种待更换设备确定方法及装置
CN110333968B (zh) 应用于数据库的数据管理方法、装置及计算机设备
CN110955682A (zh) 缓存数据的删除、数据缓存及缓存数据的读取方法及装置
CN114936187A (zh) 数据文件的处理方法、装置、设备及存储介质
CN114513469A (zh) 分布式系统的流量整形方法、装置和存储介质
CN112394876B (zh) 大文件存储/读取方法、存储/读取装置和计算机设备
CN111858497A (zh) 一种存储类型转换方法、装置及设备
CN111754117A (zh) 任务下发方法、装置、电子设备及存储介质
CN105468603A (zh) 数据选择方法及装置
CN112799978B (zh) 缓存设计管理方法、装置、设备和计算机可读存储介质
CN112543213B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant