CN110737389A - 存储数据的方法和装置 - Google Patents
存储数据的方法和装置 Download PDFInfo
- Publication number
- CN110737389A CN110737389A CN201810796762.5A CN201810796762A CN110737389A CN 110737389 A CN110737389 A CN 110737389A CN 201810796762 A CN201810796762 A CN 201810796762A CN 110737389 A CN110737389 A CN 110737389A
- Authority
- CN
- China
- Prior art keywords
- data
- object blocks
- data units
- stored
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开是关于一种存储数据的方法和装置，属于数据存储技术领域。所述方法包括：接收待存储数据，基于预设的单元数据量，对待存储数据进行预处理，得到多个数据单元；确定存储系统的多个硬盘中空闲对象块的数目，如果空闲对象块的数目小于多个数据单元的数目，则确定空闲对象块的数目与多个数据单元的数目的差值；在各硬盘中存储已过期的数据单元的对象块中，选取数目等于差值的对象块；将多个数据单元中的部分数据单元存入空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。采用本公开，可以减少操作磁头的次数，降低磁头损坏的概率，提高硬盘的使用寿命。
Description
技术领域
本公开是关于数据存储技术领域，尤其是关于一种存储数据的方法和装置。
背景技术
随着信息化时代的来临，人们对存储系统的存储容量的要求越来越高。可以在存储系统中，部署大量的硬盘，来获得较大的存储空间。在相关技术中，可以对每个硬盘的存储空间按照固定数据量进行划分，得到多个用于存储数据的对象块。在进行数据存储时，可以同样将数据按照固定数据量进行切分，得到多个数据单元。这样，就可以以对象块为单位进行数据单元的存储了。
如果存储的数据单元是对流式数据进行切分得到的数据单元，则在存储固定一段时长之后，数据单元会过期。例如，流式数据是监控视频数据，监控视频数据的有效期是30天，在6月1日拍摄的监控视频数据会在7月1日过期。流式数据是源源不断的，存储系统的存储空间又是有限的，这就需要在数据单元过期之后，将过期的数据单元删除。
对于硬盘来说，在空闲状态下，用于读写硬盘中的数据单元的磁头会处于预设的初始位置。在存储对流式数据进行切分得到的任一数据单元时，首先需要为任一数据单元分配目标对象块，确定目标对象块在硬盘中对应的磁道位置。接着，需要将磁头移动至对应的磁道位置上，通过对磁头的操作将任一数据单元写入目标对象块中。在将任一数据单元写入目标对象块之后，磁头会移动至初始位置。在存储系统中，会记录任一数据单元对应的数据采集时间点，每当预设的周期到达时，会检测都有哪些数据单元过期。当检测到任一数据单元过期时，会确定存储过期的数据单元的目标对象块在硬盘中对应的磁道位置。将磁头移动至对应的磁道位置上，通过对磁头的操作将任一数据单元删除。在将任一数据单元删除之后，磁头还会移动至初始位置。
在实现本公开的过程中，发明人发现至少存在以下问题：
在删除数据单元将对象块空出来之后，因为流式数据是源源不断的，存储系统中马上又会有新的数据单元需要进行存储，因此新的数据单元很快又要占用空出来的对象块。这样，又要将磁头移动至空出来的对象块在硬盘中对应的磁道位置上，通过对磁头的操作将新的数据单元写入空出来的对象块中。如此以往需要反复移动磁头，对磁头的操作太频繁，容易造成磁头的损坏，从而降低硬盘的使用寿命。
发明内容
为了克服相关技术中存在的问题，本公开提供了以下技术方案：
根据本公开实施例的第一方面，提供一种存储数据的方法，所述方法包括：
接收待存储数据，基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元；
确定存储系统的多个硬盘中空闲对象块的数目，如果所述空闲对象块的数目小于所述多个数据单元的数目，则确定所述空闲对象块的数目与所述多个数据单元的数目的差值；
在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块；
将所述多个数据单元中的部分数据单元存入所述空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
可选地，所述在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块，包括：
确定当前时间点，将所述当前时间点减去预设的数据单元有效时长，得到过期参考时间点；
根据预先存储的各数据单元组分别对应的数据采集时间点、以及所述过期参考时间点，在各数据采集时间点中选取先于所述过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组，其中，每个数据单元组中包括预设数目的数据单元，所述数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块。
可选地，所述在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块，包括：
在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于所述差值的对象块。
可选地，所述在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块，包括：
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值且处于不同硬盘上的对象块。
可选地，所述基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元，包括：
基于预设的单元数据量，将所述待存储数据切分为多个原始数据单元；
生成所述待存储数据对应的预设数据量的校验数据；
如果所述预设数据量大于单个数据单元的数据量，则基于所述预设的单元数据量，将所述校验数据切分为至少两个校验数据单元，如果所述预设数据量等于单个数据单元的数据量，则将所述校验数据确定为单个校验数据单元；
将所述原始数据单元以及所述校验数据单元，确定为对所述待存储数据进行预处理得到的多个数据单元。
根据本公开实施例的第二方面，提供一种存储数据的装置，所述装置包括：
预处理模块，用于接收待存储数据，基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元；
确定模块，用于确定存储装置的多个硬盘中空闲对象块的数目，如果所述空闲对象块的数目小于所述多个数据单元的数目，则确定所述空闲对象块的数目与所述多个数据单元的数目的差值；
存储模块，用于在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块；将所述多个数据单元中的部分数据单元存入所述空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
可选地，所述确定模块，用于：
确定当前时间点，将所述当前时间点减去预设的数据单元有效时长，得到过期参考时间点；
根据预先存储的各数据单元组分别对应的数据采集时间点、以及所述过期参考时间点，在各数据采集时间点中选取先于所述过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组，其中，每个数据单元组中包括预设数目的数据单元，所述数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块。
可选地，所述确定模块，用于：
在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于所述差值的对象块。
可选地，所述确定模块，用于：
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值且处于不同硬盘上的对象块。
可选地，所述预处理模块，用于：
基于预设的单元数据量，将所述待存储数据切分为多个原始数据单元；
生成所述待存储数据对应的预设数据量的校验数据；
如果所述预设数据量大于单个数据单元的数据量，则基于所述预设的单元数据量，将所述校验数据切分为至少两个校验数据单元，如果所述预设数据量等于单个数据单元的数据量，则将所述校验数据确定为单个校验数据单元；
将所述原始数据单元以及所述校验数据单元，确定为对所述待存储数据进行预处理得到的多个数据单元。
根据本公开实施例的第三方面，提供一种服务器，所述服务器包括处理器、通信接口、存储器和通信总线，其中：
所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，以实现上述存储数据的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述存储数据的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过本公开实施例提供的方法，在数据单元过期之后可以不及时删除这些过期的数据单元。流式数据会源源不断地到达存储系统，可以对新到达的流式数据进行预处理，得到多个数据单元。通过用多个数据单元或者多个数据单元的部分数据单元去覆盖过期的数据单元的方式，只需将硬盘中的磁头移动一次，就可以完成对过期的数据单元进行删除处理、以及将新到达的流式数据对应的数据单元进行存储处理。进而可以减少操作磁头的次数，降低磁头损坏的概率，提高硬盘的使用寿命。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。在附图中：
图1是根据一示例性实施例示出的一种存储数据的系统的结构示意图；
图2是根据一示例性实施例示出的一种存储数据的方法的流程示意图；
图3是根据一示例性实施例示出的一种存储数据的方法的流程示意图；
图4是根据一示例性实施例示出的一种硬盘的结构示意图；
图5是根据一示例性实施例示出的一种对象块组的结构示意图；
图6是根据一示例性实施例示出的一种时间索引的示意图；
图7是根据一示例性实施例示出的一种存储数据的方法的流程示意图；
图8是根据一示例性实施例示出的一种存储数据的装置的结构示意图；
图9是根据一示例性实施例示出的一种服务器的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供了一种存储数据的方法，该方法可以由单个服务器实现，或者可以由存储系统实现，存储系统中可以包括多个具有不同功能的服务器。
服务器可以包括处理器、存储器等部件。处理器，可以为CPU(Central ProcessingUnit，中央处理单元)等，可以用于接收待存储数据，基于预设的单元数据量，对待存储数据进行预处理，得到多个数据单元，等处理。存储器，可以为RAM(Random Access Memory，随机存取存储器)，Flash(闪存)等，可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等，如预设的单元数据量、空闲对象块的数目与多个数据单元的数目的差值等。
服务器还可以包括收发器等。收发器，可以用于与存储系统中的其他服务器进行数据传输，收发器可以包括蓝牙部件、WiFi(Wireless-Fidelity，无线高保真技术)部件、天线、匹配电路、调制解调器等。
如图1所示，存储系统可以由元数据管理服务器(Metadata Controller，简写为MDS)、切片服务器(Slice Server，简写为SS)、对象存储服务器(Object-based StorageDevice，简写为OSD)、审计服务器(AUDITOR)构成。
其中，元数据管理服务器可以进行为待存储数据分配条带、存储条带的相关信息等处理。切片服务器可以进行接收待存储数据、将待存储数据切分为多个数据单元等处理。可以在存储系统中部署多个对象存储服务器，每台对象存储服务器中部署多个硬盘，对象存储服务器可以进行存储数据单元等处理。审计服务器可以进行根据待存储数据对应的校验数据，对待存储数据中丢失的个别数据单元进行恢复等处理。
本公开一示例性实施例提供了一种存储数据的方法，如图2所示，该方法的处理流程可以包括如下的步骤：
步骤S210，接收待存储数据，基于预设的单元数据量，对待存储数据进行预处理，得到多个数据单元。
其中，待存储数据可以是流式数据，即具有较强的时间属性，在一段时间过后，流式数据中的数据单元会过期。流式数据可以包括视频数据、图像数据、音频数据等数据。视频数据可以包括监控视频数据。
在实施中，如图3所示，步骤S210可以包括以下处理：
步骤S311，向元数据管理服务器发送数据写入请求，元数据服务器确定用于接收待存储数据的目标切片服务器。
在向存储系统写入待存储数据之前，需要向元数据管理服务器发送数据写入请求。元数据管理服务器在接收到数据写入请求之后，可以根据已维护的各切片服务器的状态，选择一个目标切片服务器用于接收待存储数据。
步骤S312，目标切片服务器接收待存储数据。
步骤S313，目标切片服务器根据待存储数据的数据量，向元数据管理服务器申请条带。
步骤S314，元数据管理服务器分配条带。
在初始使用存储系统时，可以在存储系统中创建多个虚拟存储容器。可以为创建的虚拟存储容器设置唯一的标识，还可以为创建的虚拟存储容器配置条带属性。例如条带属性是“4+2”，表示每个条带包括6个对象块，6个对象块中的4个对象块用于存储数据单元，剩下的2个对象块用于存储校验数据。再例如条带属性是“5+1”，表示每个条带包括6个对象块，6个对象块中的5个对象块用于存储数据单元，剩下的1个对象块用于存储校验数据。需要说明的是，虚拟存储容器在创建时，不占用实际存储空间，只有当存入数据时才真正占用存储空间。
可选地，在获取待存储数据之后，可以生成待存储数据对应的预设数据量的校验数据。如果预设数据量大于单个数据单元的数据量，则基于预设的单元数据量，将校验数据切分为至少两个校验数据单元，如果预设数据量等于单个数据单元的数据量，则将校验数据确定为单个校验数据单元。
在实施中，当条带中的一个或者少量的对象块发生故障时，还可以利用条带中未发生故障的对象块以及校验数据对发送故障的一个或者少量的对象块中存储的数据单元进行恢复。其中，校验数据可以是待存储数据对应的异或运算的结果。当校验数据的数据量越大时，越容易恢复发送故障的对象块中存储的数据单元。
元数据管理服务器在接收到申请之后，可以根据之前接收到的数据写入请求中携带的指定虚拟存储容器、以及预先存储的虚拟存储容器和条带属性的对应关系，确定与指定虚拟存储容器对应的条带属性。例如，在数据写入请求中携带有指定虚拟存储容器为容器BUCKET_TEST，容器BUCKET_TEST的条带属性为“4+2”。
在元数据管理服务器确定出虚拟存储容器对应的条带属性之后，可以根据条带属性、以及存储系统中各硬盘当前的状态，组织用于存储待存储数据的至少一个条带，元数据管理服务器可以为每个条带分配唯一的条带标识。
在对存储系统进行硬件部署时，可以在单个对象存储服务器中设置多个硬盘。当需要存储待存储数据时，可以在多个对象存储服务器中，申请用于存储这些数据的至少一个条带。其中，一个条带可以包括多个对象块。
由于需要对待存储数据对应的多个数据单元进行分散存储，因此在元数据管理服务器组织至少一个条带时，要尽量将单个条带中的多个对象块分散在不同的对象存储服务器中。当然，这样做的前提是，对象存储服务器足够多且对象存储服务器中的硬盘的剩余空间足够多。如果不能达到上述要求，还可以尽量将单个条带中的多个对象块均匀分散在几个可用的对象存储服务器中，且需要保障单个条带中的多个对象块分散在这几个可用的对象存储服务器中的不同硬盘中。如果还是不能达到上述要求，最后还是要尽量将单个条带中的多个对象块均匀分散在几个可用的对象存储服务器中，且需要均匀分散在这几个可用的对象存储服务器中的可用硬盘中。
通过上面介绍的方式，最终元数据管理服务器可以组织好至少一个条带，每个条带中的对象块是尽量分散开的。
可以通过下面的第一五元组信息描述组织起来的一个条带：
{<stripe_id,OSD_1,wwn_1>,<stripe_id,OSD_2,wwn_2>,<stripe_id,OSD_3,wwn_3>,<stripe_id,OSD_4,wwn_4>,<stripe_id,OSD_5,wwn_5>}。
其中，stripe_id可以表示条带标识，OSD_n可以表示对象存储服务器标识，wwn_n可以表示硬盘标识。需要说明的是，对于元数据管理服务器来说，它只给数据单元要存储在哪个对象存储服务器中的哪个硬盘中，不关心具体存储在硬盘中的哪个对象块中，具体存储在硬盘中的哪个对象块是由对象存储服务器确定的。
步骤S315，切片服务器基于预设的单元数据量，将待存储数据切分为多个数据单元。
在申请好至少一个条带之后，切片服务器可以基于预设的单元数据量如1M，将待存储数据切分为多个数据单元。例如，如果待存储数据为12M的数据，则可以将其切分为12个数据单元。
通过对待存储数据进行切分得到的数据单元可以作为原始数据单元，通过对待存储数据对应的校验数据进行切分得到的数据单元可以作为校验数据单元。最后，可以将原始数据单元以及校验数据单元，都确定为对待存储数据进行预处理得到的多个数据单元。
步骤S220，确定存储系统的多个硬盘中空闲对象块的数目，如果空闲对象块的数目小于多个数据单元的数目，则确定空闲对象块的数目与多个数据单元的数目的差值。
在实施中，在存储系统中可以设置这样的规则，即每当预设的周期到达时，不再检测都有哪些数据单元过期。过期的数据单元一直存储在存储系统中等着被覆盖。
如果当前存储系统中的多个硬盘中还有剩余存储空间，则可以用这部分剩余存储空间存储多个数据单元或者多个数据单元中的部分数据单元。如果剩余存储空间不够，则可以将多个数据单元或者多个数据单元中的另一部分数据单元重新写入已存储有数据的对象块中。
步骤S230，在各硬盘中存储已过期的数据单元的对象块中，选取数目等于差值的对象块。
在实施中，元数据管理服务器可以根据空闲对象块的数目与多个数据单元的数目的差值，确定数目等于差值的对象存储服务器，让确定出的数目等于差值的对象存储服务器找出存储已过期的数据单元的对象块。对象存储服务器可以在属于该对象存储服务器的硬盘中，确定存储已过期的数据单元的对象块，在其中选取一个对象块。这样，有数目等于差值的对象存储服务器都选取一个对象块，就可以最终选取出数目等于差值的对象块。可选地，可以在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于差值且处于不同硬盘上的对象块。
可选地，步骤S230可以包括：确定当前时间点，将当前时间点减去预设的数据单元有效时长，得到过期参考时间点；根据预先存储的各数据单元组分别对应的数据采集时间点、以及过期参考时间点，在各数据采集时间点中选取先于过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组。
其中，每个数据单元组中包括预设数目的数据单元，数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于差值的对象块。
在实施中，对象存储服务器可以确定过期参考时间点。例如，当前时间点为2018.7.7-20:35，如果预设的数据单元有效时长为24小时，则过期参考时间点为2018.7.6-20:35，即在2018.7.6这一天的20:35之前采集的数据单元都是过期的。
接着，对象存储服务器可以根据预先存储的各数据单元组分别对应的数据采集时间点、以及过期参考时间点，在各数据采集时间点中选取先于过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组。在具体介绍如果确定已过期的数据单元组之前，先介绍一下硬盘的结构。
如图4所示，示出的是硬盘的结构示意图。对于单个硬盘本身，可以由主启动块、备启动块、保留块、对象块组构成。可以对硬盘按照指定的块数据量进行初始化，当硬盘被格式化之后，每个块的块数据量不变。
主启动块或者备启动块的数据量为一个块数据量，主启动块占用硬盘的物理存储空间中起始位置上的一个块，备启动块占用硬盘的物理存储空间中最后位置上的一个块，备启动块之前的那个不足一个块大小的存储空间作为保留块，主启动块和备启动块中存储的数据是一样的。主启动块或备启动块中存储有关键信息，包括硬盘是否能作为对象文件系统的关键信息。
硬盘中有多个对象块组，每个对象块组包括多个主索引块、多个备索引块以及多个对象块，主索引块、备索引块互为备份。如图5所示，对象块组包括多个对象块，每个对象块都有对应的索引，索引包括切片服务器中为对象块分配的唯一的key标识、校验值。key标识用于唯一标记单独的一个对象块，这样在搜索存储系统中的存储于对象块中的数据单元时，可以通过key标识进行搜索。校验值可以用于验证存储于对象块中的数据单元是否是正确的。假如每个块的块数据量为1M，每个索引块的数据量也是1M，每个对象块对应的索引的数据量为4KB，则每个索引块可以存储256个对象块对应的索引。
保留块是对象文件系统中未使用的块，当索引块、启动块损坏时，可以用保留块替换损坏的索引块、启动块。
在本公开实施例提供的方法中，如图6所示，可以以索引块对应的对象块组中的N个对象块为单位，建立时间索引，时间索引包括N个对象块中存储的最早采集的数据单元的数据采集时间点(在图中表示为Start_time_n)以及N个对象块中存储的最晚采集的数据单元的数据采集时间点(在图中表示为End_time_n)。可以将在这N个对象块中确定出的存储的最晚采集的数据单元的数据采集时间点，确定为N个对象块中存储的数据单元组对应的数据采集时间点。这样，数据单元组中的所有数据单元的数据采集时间点，都要早于或者等于数据单元组对应的数据采集时间点。进而，当数据单元组对应的数据采集时间点发生过期时，这一数据单元组中的所有数据单元必然都是过期的。故而，可以确定该数据单元组是过期的。
如果不建立时间索引，则需要遍历每个数据单元对应的数据采集时间点，才能确定出都有哪些数据单元过期。如果建立了时间索引，可以大大缩小遍历的范围，大大加快遍历处理的速度，提高遍历处理的效率。如果每个索引块对应256个对象块，则遍历处理的范围被缩小了256倍。可以粗略确定过期的数据单元的范围，再在过期的数据单元中选取需要被覆盖的数据单元。
可选地，可以在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于差值的对象块。
由于确定出的是过期的数据单元组，单个过期的数据单元组中包括多个过期的数据单元，由于分散存储的需要，现在只需覆盖掉一个过期的数据单元，因此，可以在多个过期的数据单元中，选取数据单元对应的数据采集时间点最早的数据单元。
步骤S240，将多个数据单元中的部分数据单元存入空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
在实施中，如图7所示，步骤S240可以包括以下处理：
步骤S741，切片服务器确定每个数据单元对应的第二五元组信息。
在切片服务器中，可以为单个条带中的每个对象块分配唯一的key标识。这样，每个对象块都可以由一个第二五元组信息表示，形如<stripe_id,OSD,wwn,key,value>。其中，value表示数据单元中具体的数据。
如果一个条带中有5个对象块，则该条带的第二五元组信息可以通过下面的形式进行表示：
{<stripe_id,OSD_1,wwn_1,key_1,value_1>,<stripe_id,OSD_2,wwn_2,key_2,va lue_2>,<stripe_id,OSD_3,wwn_3,key_3,value_3>,<stripe_id,OSD_4,wwn_4,key_4,value_4>,<stripe_id,OSD_5,wwn_5,key_5,value_5>}。
步骤S742，切片服务器将每个数据单元对应的第二五元组信息转换为第一三元组信息，将每个数据单元对应的第一三元组信息发送至每个数据单元对应的对象存储服务器。
假如上述5个对象块分布在不同的对象存储服务器中，切片服务器则需要对条带信息进行处理，将处理后得到的不同对象块的信息分别发送至对应的对象存储服务器。
步骤S743，对象存储服务器基于数据单元对应的第一三元组信息，对数据单元进行存储处理，并向切片服务器返回写入成功信息。
对象存储服务器接收到的是第一三元组信息，形如<wwn_n,key_n,value_n>。对象存储服务器在接收到第一三元组信息之后，可以确定过期的数据单元组，在过期的数据单元组中选取一个过期的数据单元，确定该数据单元对应的对象块，将<key_n,value_n>写入到wwn_n对应的硬盘中的确定出的对象块中。对象存储服务器在进行写入处理成功后，会向切片服务器返回写入成功信息。
步骤S744，对象存储服务器对存储的数据单元对应的索引进行更新。
在写入处理成功后，由于对象块中的数据单元变化了，因此需要重新写入对应的索引。在重新写入索引的过程中，首先可以计算对象块对应的主索引块、备索引块的地址，接着可以根据主索引块、备索引块的地址，对索引进行重新写入。此外，由于对象块中的数据单元变化了，因此需要对数据单元所属的数据单元组对应的数据采集时间点进行更新，以便于下次进行时间索引处理。
步骤S745，切片服务器接收到每个数据单元分别对应的写入成功信息之后，向元数据管理服务器返回每个数据单元对应的第二三元组信息。
当切片服务器接收到整个条带中的不同对象块对应的写入成功信息之后，会将不同对象块对应的第二三元组信息<stripe_id,wwn_n,key_n>返回至元数据管理服务器。
步骤S746，元数据管理服务器对每个数据单元对应的第二三元组信息进行存储。
元数据管理服务器会将接收到的不同对象块对应的第二三元组信息进行存储。这样，才算作处理完一个条带，接着元数据管理服务器会指示切片服务器继续处理下一个条带。
在元数据管理服务器中记录的同一条带中不同对象块对应的第二三元组信息可以以下面的形式进行表示：
{<stripe_id,wwn_1,key_1>,<stripe_id,wwn_2,key_2>,<stripe_id,wwn_3,key_3>,<stripe_id,wwn_4,key_4>,<stripe_id,wwn_5,key_5>}。
元数据管理服务器可以不记录硬盘所属的对象存储服务器标识，因为wwn在整个存储系统中是唯一的。在同一时刻，一个硬盘只能属于一个对象存储服务器，但是随着时间的经过，该硬盘在逻辑上可以漂移到另外一个对象存储服务器。
通过本公开实施例提供的方法，在数据单元过期之后可以不及时删除这些过期的数据单元。流式数据会源源不断地到达存储系统，可以对新到达的流式数据进行预处理，得到多个数据单元。通过用多个数据单元或者多个数据单元的部分数据单元去覆盖过期的数据单元的方式，只需将硬盘中的磁头移动一次，就可以完成对过期的数据单元进行删除处理、以及将新到达的流式数据对应的数据单元进行存储处理。进而可以减少操作磁头的次数，降低磁头损坏的概率，提高硬盘的使用寿命。
本公开又一示例性实施例提供了一种存储数据的装置，如图8所示，所述装置包括：
预处理模块810，用于接收待存储数据，基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元；
确定模块820，用于确定存储装置的多个硬盘中空闲对象块的数目，如果所述空闲对象块的数目小于所述多个数据单元的数目，则确定所述空闲对象块的数目与所述多个数据单元的数目的差值；
存储模块830，用于在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块；将所述多个数据单元中的部分数据单元存入所述空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
可选地，所述确定模块820，用于：
确定当前时间点，将所述当前时间点减去预设的数据单元有效时长，得到过期参考时间点；
根据预先存储的各数据单元组分别对应的数据采集时间点、以及所述过期参考时间点，在各数据采集时间点中选取先于所述过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组，其中，每个数据单元组中包括预设数目的数据单元，所述数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块。
可选地，所述确定模块820，用于：
在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于所述差值的对象块。
可选地，所述确定模块820，用于：
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值且处于不同硬盘上的对象块。
可选地，所述预处理模块810，用于：
基于预设的单元数据量，将所述待存储数据切分为多个原始数据单元；
生成所述待存储数据对应的预设数据量的校验数据；
如果所述预设数据量大于单个数据单元的数据量，则基于所述预设的单元数据量，将所述校验数据切分为至少两个校验数据单元，如果所述预设数据量等于单个数据单元的数据量，则将所述校验数据确定为单个校验数据单元；
将所述原始数据单元以及所述校验数据单元，确定为对所述待存储数据进行预处理得到的多个数据单元。
关于上述实施例中的装置，其中各个设备执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过本公开实施例提供的装置，在数据单元过期之后可以不及时删除这些过期的数据单元。流式数据会源源不断地到达存储系统，可以对新到达的流式数据进行预处理，得到多个数据单元。通过用多个数据单元或者多个数据单元的部分数据单元去覆盖过期的数据单元的方式，只需将硬盘中的磁头移动一次，就可以完成对过期的数据单元进行删除处理、以及将新到达的流式数据对应的数据单元进行存储处理。进而可以减少操作磁头的次数，降低磁头损坏的概率，提高硬盘的使用寿命。
需要说明的是：上述实施例提供的存储数据的装置在存储数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。或者，可以将不同的功能模块设置在存储系统中不同的服务器上。另外，上述实施例提供的存储数据的装置与存储数据的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9示出了本公开一个示例性实施例提供的服务器1900的结构示意图。其中，服务器1900可以是上述实施例中的元数据管理服务器、切片服务器或者对象存储服务器。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1910和一个或一个以上的存储器1920。其中，所述存储器1920中存储有至少一条指令，所述至少一条指令由所述处理器1910加载并执行以实现上述实施例所述的存储数据的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种存储数据的方法，其特征在于，所述方法包括：
接收待存储数据，基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元；
确定存储系统的多个硬盘中空闲对象块的数目，如果所述空闲对象块的数目小于所述多个数据单元的数目，则确定所述空闲对象块的数目与所述多个数据单元的数目的差值；
在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块；
将所述多个数据单元中的部分数据单元存入所述空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
2.根据权利要求1所述的方法，其特征在于，所述在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块，包括：
确定当前时间点，将所述当前时间点减去预设的数据单元有效时长，得到过期参考时间点；
根据预先存储的各数据单元组分别对应的数据采集时间点、以及所述过期参考时间点，在各数据采集时间点中选取先于所述过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组，其中，每个数据单元组中包括预设数目的数据单元，所述数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块。
3.根据权利要求2所述的方法，其特征在于，所述在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块，包括：
在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于所述差值的对象块。
4.根据权利要求2所述的方法，其特征在于，所述在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块，包括：
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值且处于不同硬盘上的对象块。
5.根据权利要求1所述的方法，其特征在于，所述基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元，包括：
基于预设的单元数据量，将所述待存储数据切分为多个原始数据单元；
生成所述待存储数据对应的预设数据量的校验数据；
如果所述预设数据量大于单个数据单元的数据量，则基于所述预设的单元数据量，将所述校验数据切分为至少两个校验数据单元，如果所述预设数据量等于单个数据单元的数据量，则将所述校验数据确定为单个校验数据单元；
将所述原始数据单元以及所述校验数据单元，确定为对所述待存储数据进行预处理得到的多个数据单元。
6.一种存储数据的装置，其特征在于，所述装置包括：
预处理模块，用于接收待存储数据，基于预设的单元数据量，对所述待存储数据进行预处理，得到多个数据单元；
确定模块，用于确定存储装置的多个硬盘中空闲对象块的数目，如果所述空闲对象块的数目小于所述多个数据单元的数目，则确定所述空闲对象块的数目与所述多个数据单元的数目的差值；
存储模块，用于在各硬盘中存储已过期的数据单元的对象块中，选取数目等于所述差值的对象块；将所述多个数据单元中的部分数据单元存入所述空闲对象块中，将另一部分数据单元存入选取的对象块中，覆盖选取的对象块中的已过期的数据单元。
7.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：
确定当前时间点，将所述当前时间点减去预设的数据单元有效时长，得到过期参考时间点；
根据预先存储的各数据单元组分别对应的数据采集时间点、以及所述过期参考时间点，在各数据采集时间点中选取先于所述过期参考时间点的数据采集时间点，确定选取出的数据采集时间点对应的数据单元组为已过期的数据单元组，其中，每个数据单元组中包括预设数目的数据单元，所述数据采集时间点为对应的数据单元组中最后获取的数据单元的数据采集时间点；在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值的对象块。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：
在各硬盘中存储已过期的数据单元组的对象块中，按照数据单元采集的时间由先到后的顺序，选取数目等于所述差值的对象块。
9.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：
在各硬盘中存储已过期的数据单元组的对象块中，选取数目等于所述差值且处于不同硬盘上的对象块。
10.根据权利要求6所述的装置，其特征在于，所述预处理模块，用于：
基于预设的单元数据量，将所述待存储数据切分为多个原始数据单元；
生成所述待存储数据对应的预设数据量的校验数据；
如果所述预设数据量大于单个数据单元的数据量，则基于所述预设的单元数据量，将所述校验数据切分为至少两个校验数据单元，如果所述预设数据量等于单个数据单元的数据量，则将所述校验数据确定为单个校验数据单元；
将所述原始数据单元以及所述校验数据单元，确定为对所述待存储数据进行预处理得到的多个数据单元。
11.一种服务器，其特征在于，所述服务器包括处理器、通信接口、存储器和通信总线，其中：
所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，以实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796762.5A CN110737389B (zh) | 2018-07-19 | 2018-07-19 | 存储数据的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810796762.5A CN110737389B (zh) | 2018-07-19 | 2018-07-19 | 存储数据的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110737389A true CN110737389A (zh) | 2020-01-31 |
| CN110737389B CN110737389B (zh) | 2023-05-16 |
Family
ID=69233756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810796762.5A Active CN110737389B (zh) | 2018-07-19 | 2018-07-19 | 存储数据的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110737389B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813813A (zh) * | 2020-07-08 | 2020-10-23 | 杭州海康威视系统技术有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN112035068A (zh) * | 2020-09-08 | 2020-12-04 | 广州图普网络科技有限公司 | 一种数据写入方法、装置、电子设备和存储介质 |
| CN113032414A (zh) * | 2021-04-21 | 2021-06-25 | 杭州海康威视系统技术有限公司 | 数据管理方法、装置、系统、计算设备及存储介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050198450A1 (en) * | 2003-12-29 | 2005-09-08 | Corrado Francis R. | Method, system, and program for managing data migration |
| CN101419828A (zh) * | 2008-11-20 | 2009-04-29 | 杭州海康威视数字技术股份有限公司 | 一种模拟磁带串行模式的硬盘视频记录及检索方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
| CN102117297A (zh) * | 2009-12-31 | 2011-07-06 | 华为技术有限公司 | 流媒体文件处理方法、装置和系统 |
| CN102136290A (zh) * | 2011-04-21 | 2011-07-27 | 北京联合大学 | 一种嵌入式实时视频文件存储方法 |
| CN102801946A (zh) * | 2012-08-29 | 2012-11-28 | 青岛海信网络科技股份有限公司 | 高可靠性的车载视频存储装置及其视频存储方法 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104065906A (zh) * | 2014-07-09 | 2014-09-24 | 珠海全志科技股份有限公司 | 数字录像设备的录像方法及装置 |
| CN104598551A (zh) * | 2014-12-31 | 2015-05-06 | 华为软件技术有限公司 | 一种数据统计方法及装置 |
| CN104700037A (zh) * | 2013-12-10 | 2015-06-10 | 杭州海康威视系统技术有限公司 | 保护云存储视频数据的方法及其系统 |
| CN104731534A (zh) * | 2015-04-22 | 2015-06-24 | 浪潮电子信息产业股份有限公司 | 一种视频数据管理方法及装置 |
| CN105389126A (zh) * | 2015-10-29 | 2016-03-09 | 南京秦杜明视信息技术有限公司 | 一种视频监控数据的分块存储系统 |
| CN105653385A (zh) * | 2015-12-31 | 2016-06-08 | 深圳市蓝泰源信息技术股份有限公司 | 一种车载录像方法 |
| WO2016116020A1 (zh) * | 2015-01-22 | 2016-07-28 | 阿里巴巴集团控股有限公司 | 一种实现对象过期操作的方法、装置和设备 |
| CN105868071A (zh) * | 2016-03-23 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 监测数据的处理方法及装置 |
| CN106060442A (zh) * | 2016-05-20 | 2016-10-26 | 浙江宇视科技有限公司 | 一种录像存储方法、装置及系统 |
| CN106162069A (zh) * | 2015-04-22 | 2016-11-23 | 杭州海康威视系统技术有限公司 | 一种获取、提供视频资源的方法、客户端和服务器 |
| CN106599292A (zh) * | 2016-12-26 | 2017-04-26 | 东方网力科技股份有限公司 | 针对实时视频数据和图像数据进行存储的方法及系统 |
| CN106961569A (zh) * | 2017-03-21 | 2017-07-18 | 深圳英飞拓科技股份有限公司 | 一种录像覆盖方法、装置及网络硬盘录像机 |
| CN106993147A (zh) * | 2017-03-21 | 2017-07-28 | 深圳英飞拓科技股份有限公司 | 一种录像覆盖方法、装置及网络硬盘录像机 |
| CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
-
2018
- 2018-07-19 CN CN201810796762.5A patent/CN110737389B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050198450A1 (en) * | 2003-12-29 | 2005-09-08 | Corrado Francis R. | Method, system, and program for managing data migration |
| CN101419828A (zh) * | 2008-11-20 | 2009-04-29 | 杭州海康威视数字技术股份有限公司 | 一种模拟磁带串行模式的硬盘视频记录及检索方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
| CN102117297A (zh) * | 2009-12-31 | 2011-07-06 | 华为技术有限公司 | 流媒体文件处理方法、装置和系统 |
| CN102136290A (zh) * | 2011-04-21 | 2011-07-27 | 北京联合大学 | 一种嵌入式实时视频文件存储方法 |
| CN102801946A (zh) * | 2012-08-29 | 2012-11-28 | 青岛海信网络科技股份有限公司 | 高可靠性的车载视频存储装置及其视频存储方法 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104700037A (zh) * | 2013-12-10 | 2015-06-10 | 杭州海康威视系统技术有限公司 | 保护云存储视频数据的方法及其系统 |
| CN104065906A (zh) * | 2014-07-09 | 2014-09-24 | 珠海全志科技股份有限公司 | 数字录像设备的录像方法及装置 |
| CN104598551A (zh) * | 2014-12-31 | 2015-05-06 | 华为软件技术有限公司 | 一种数据统计方法及装置 |
| WO2016116020A1 (zh) * | 2015-01-22 | 2016-07-28 | 阿里巴巴集团控股有限公司 | 一种实现对象过期操作的方法、装置和设备 |
| CN104731534A (zh) * | 2015-04-22 | 2015-06-24 | 浪潮电子信息产业股份有限公司 | 一种视频数据管理方法及装置 |
| CN106162069A (zh) * | 2015-04-22 | 2016-11-23 | 杭州海康威视系统技术有限公司 | 一种获取、提供视频资源的方法、客户端和服务器 |
| CN105389126A (zh) * | 2015-10-29 | 2016-03-09 | 南京秦杜明视信息技术有限公司 | 一种视频监控数据的分块存储系统 |
| CN105653385A (zh) * | 2015-12-31 | 2016-06-08 | 深圳市蓝泰源信息技术股份有限公司 | 一种车载录像方法 |
| CN105868071A (zh) * | 2016-03-23 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 监测数据的处理方法及装置 |
| CN106060442A (zh) * | 2016-05-20 | 2016-10-26 | 浙江宇视科技有限公司 | 一种录像存储方法、装置及系统 |
| CN106599292A (zh) * | 2016-12-26 | 2017-04-26 | 东方网力科技股份有限公司 | 针对实时视频数据和图像数据进行存储的方法及系统 |
| CN106961569A (zh) * | 2017-03-21 | 2017-07-18 | 深圳英飞拓科技股份有限公司 | 一种录像覆盖方法、装置及网络硬盘录像机 |
| CN106993147A (zh) * | 2017-03-21 | 2017-07-28 | 深圳英飞拓科技股份有限公司 | 一种录像覆盖方法、装置及网络硬盘录像机 |
| CN107273048A (zh) * | 2017-06-08 | 2017-10-20 | 浙江大华技术股份有限公司 | 一种数据写入方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813813A (zh) * | 2020-07-08 | 2020-10-23 | 杭州海康威视系统技术有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN111813813B (zh) * | 2020-07-08 | 2024-02-20 | 杭州海康威视系统技术有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN112035068A (zh) * | 2020-09-08 | 2020-12-04 | 广州图普网络科技有限公司 | 一种数据写入方法、装置、电子设备和存储介质 |
| CN113032414A (zh) * | 2021-04-21 | 2021-06-25 | 杭州海康威视系统技术有限公司 | 数据管理方法、装置、系统、计算设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110737389B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110554834B (zh) | 文件系统数据访问方法和文件系统 | |
| JP2020038623A (ja) | データを記憶するための方法、装置及びシステム | |
| CN107229420B (zh) | 数据存储方法、读取方法、删除方法和数据操作系统 | |
| US20140279958A1 (en) | Representing de-duplicated file data | |
| US7577808B1 (en) | Efficient backup data retrieval | |
| US9940331B1 (en) | Proactive scavenging of file system snaps | |
| CN109213738B (zh) | 一种云存储文件级重复数据删除检索系统及方法 | |
| KR20130108298A (ko) | 폐기가능 파일들의 카드-기반 관리 | |
| CN107193503B (zh) | 一种数据重删方法及存储设备 | |
| CN110737389A (zh) | 存储数据的方法和装置 | |
| CN108614837B (zh) | 文件存储和检索的方法及装置 | |
| CN110245129B (zh) | 一种分布式全局数据去重方法和装置 | |
| CN111427855A (zh) | 一种存储系统中重复数据删除方法、存储系统及控制器 | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN112463026A (zh) | 分布式对象存储系统中追加数据的重复删除的方法和设备 | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN112817962B (zh) | 基于对象存储的数据存储方法、装置和计算机设备 | |
| CN113544635A (zh) | 存储系统中数据处理方法、装置以及存储系统 | |
| CN111158606B (zh) | 存储方法、装置、计算机设备和存储介质 | |
| CN109165305B (zh) | 一种特征值存储、检索方法及装置 | |
| CN110896408B (zh) | 一种数据处理方法及服务器集群 | |
| US8028011B1 (en) | Global UNIX file system cylinder group cache | |
| CN111752913A (zh) | 分布式系统的数据恢复方法、介质、计算机设备、装置 | |
| CN113835613B (zh) | 一种文件读取方法、装置、电子设备和存储介质 | |
| CN110737635A (zh) | 一种数据分块方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |