CN109960458A - 一种基于块存储的数据存储方法、装置及可读存储介质 - Google Patents

一种基于块存储的数据存储方法、装置及可读存储介质 Download PDF

Info

Publication number
CN109960458A
CN109960458A CN201711340264.1A CN201711340264A CN109960458A CN 109960458 A CN109960458 A CN 109960458A CN 201711340264 A CN201711340264 A CN 201711340264A CN 109960458 A CN109960458 A CN 109960458A
Authority
CN
China
Prior art keywords
stick
data
storage
metadata
management node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711340264.1A
Other languages
English (en)
Other versions
CN109960458B (zh
Inventor
沈佐兵
王鑫
郭添叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201711340264.1A priority Critical patent/CN109960458B/zh
Publication of CN109960458A publication Critical patent/CN109960458A/zh
Application granted granted Critical
Publication of CN109960458B publication Critical patent/CN109960458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于块存储的数据存储方法、装置及可读存储介质，在接收待存储的数据对应的元数据后，查看所述元数据对应的管理节点是否在元数据缓存链表中，如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点加入到元数据缓存链表；如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列。本发明大大减少了阵列对各实际硬盘的随机读、写，增强了阵列的整体性能。

Description

一种基于块存储的数据存储方法、装置及可读存储介质
技术领域
本发明属于数据存储技术领域，尤其涉及一种基于块存储的数据存储方法、装置及可读存储介质。
背景技术
在视频监控应用中，音视频数据通常可以按文件的方式存储在文件系统中，也可以直接存储在块设备上。存储在块设备上时，需要额外存储一些管理元素，以便更方便的检索、回放相关的音视频。块存储方案中，音视频数据一般按照帧组来组织，每个帧组的数据对应一条管理元素(下文称元数据)，存储时一般是先存储音视频数据，再存储对应的元数据，通常一个帧组的音视频数据比较大(几十KB到几百KB不等)，元数据只有十几B到几十B。
RAID5是一种独立磁盘冗余阵列技术，可将若干块硬盘(大于等于三块)组合成一块硬盘使用，当其中一块硬盘被拔出时，RAID5阵列仍可以正常使用。RAID5阵列的数据是按条带来组织的，如下图1所示，如A1、A2、A3构成一个条带的数据，Ap则为校验数据，A1、A2、A3写即为满条带写。一段视频数据通常被划分成多份，分别存储在不同的硬盘上。
对RAID5阵列进行写操作时，有三种情况：满条带写、重构写以及读改写。满条带写，是直接将数据分别写到各磁盘上，这种情况校验数据重新计算，不存在多余的磁盘操作；重构写，通常要先将条带中无需更新的数据读出，然后与更新的数据一起计算出新的校验数据，再将新数据及校验数据写入磁盘，这种方式多余了不更新数据的读取及校验数据计算的开销，重构写适用于写入的数据量较大，但未达到满条带的应用；读改写，通常先将阵列中需更新的数据及校验数据读出，用旧数据、旧校验值和新数据计算出新的校验，再将新数据及新校验值写入硬盘，读改写适用于新数据较小的情况，与重构写类似，产生了额外的开销。
在RAID5上存储音视频数据，多数音视频数据的读写都可以达到满条带，但元数据通常很小，很难达到满条带，元数据每次的更新，必然引起阵列的非满条带写，产生无必要的更新。
目前，在音视频数据存储模块及RAID5之间，增加了Cache缓存模块，Cache模块将上层的写请求缓存起来，待后续若干写请求到来，若组成满条带，则优先写到磁盘；若未组成满条带，则等待一段时间后，再写入磁盘。然而，缓存至满条带才写到阵列的方案，会占用较多的内存，且可能会导致元数据更新不及时。但不经过缓存的方案，元数据不能按照满条带的方式写入阵列，通常元数据的更新，会触发RAID5阵列的读改写，需要额外读取部分数据条块和校验条块，增加RAID5阵列的IO操作及校验计算开销。
发明内容
本发明的目的是提供一种基于块存储的数据存储方法、装置及可读存储介质，用于解决现有技术元数据存储所导致的增加RAID阵列的IO操作及校验计算开销问题。
为了实现上述目的，本发明技术方案如下：
一种基于块存储的数据存储方法，用于将待存储的数据及其对应的元数据存储到存储阵列，所述基于块存储的数据存储方法，包括：
接收待存储的数据对应的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列。
进一步地，所述管理节点包括元数据所属条带信息、所在数据条块及校验条块地址信息。
进一步地，所述管理节点还包括数据条块的热度、校验条块的热度信息。
进一步地，所述基于块存储的数据存储方法，还包括：
接收待存储的数据对应的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点中数据条块和校验条块的热度置为初始值，加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列，并增加管理节点中数据条块和校验条块的热度。
进一步地，所述基于块存储的数据存储方法，还包括：
周期性的监测缓存中各条块的热度，若条块在一定周期内没有发生更新，则降低其在管理节点中的热度；
对于热度降低到最低值的条块，释放掉其对应的缓存。
进一步地，所述基于块存储的数据存储方法，还包括：
若数据条块对应的热度达到设定的阈值，释放掉其对应的缓存。
进一步地，所述管理节点还包括节点热度和存留时间，所述节点热度为各条块热度之和，所述存留时间为数据条块和校验条块对应的条带首次加入缓存的时间。
进一步地，所述基于块存储的数据存储方法，还包括：
根据节点热度和存留时间建立管理节点的优先级；
根据优先级，在缓存不够时，释放掉优先级低的管理节点对应的缓存。
本发明还提出了一种基于块存储的数据存储装置，应用于存储阵列，所述基于块存储的数据存储装置包括处理器以及存储有若干计算机指令的非易失性存储器，所述计算机指令被处理器执行时实现上述任意一项所述方法的步骤。
本发明还提出了一种可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行，以实现上述任意一项所述方法的步骤。
本发明提出的一种基于块存储的数据存储方法、装置及可读存储介质，利用元数据周期性更新、且请求范围较小的特点，缓存了部分条块及校验块数据，避免了阵列从各硬盘读取数据条块、校验条块，而直接利用缓存中的数据条块和校验条块，计算出新的数据条块和校验条块，之后只需将发生变化的条块写入相应的硬盘即可，大大减少了阵列对各实际硬盘的随机读、写，增强了阵列的整体性能。
附图说明
图1为RAID5存储阵列条带示意图；
图2为本发明一种基于块存储的数据存储方法流程图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
在音视频数据的块存储方案中，对写到阵列的数据，进行按类型区分，分为音视频数据及其管理元数据。音视频数据通常比较连续、数据量大，元数据则存在周期性更新、且逻辑位置在很小范围的特点。针对上述两类数据的特点，本技术方案制定了不同的处理策略，但不限于音视频数据及其管理元数据，同样适合其他数据的存储，本实施例以视频监控系统的音视频数据及其元数据为例进行说明。
本技术方案基于块存储的数据存储方法的总体思路是：在音视频数据存储模块及存储阵列之间设置缓存(Cache)，将音视频数据提交至Cache，待组成满条带或滞留超期后，才写到阵列(音视频数据组成满条带的概率很大，且部分不满条带的情况，也不存在多次重复读取的情况)；元数据则直接写到阵列，不经过Cache(基于前面描述的元数据及RAID5的特点，元数据停留在Cache中的作用比较小，故元数据不经过Cache)。
需要说明的是，本技术方案适用于采用条带存储的存储阵列，例如RAID3、RAID5和RAID6，在RAID3、RAID5中都是采用单块的奇偶校验，而在RAID6上是采用两个独立的奇偶校验信息块，本技术方案同样适用。以下，在不注明的情况下，以RAID5为例进行说明。
如图2所示，本实施例一种基于块存储的数据存储方法，用于将待存储的数据及其对应的元数据存储到存储阵列，所述基于块存储的数据存储方法，包括：
接收待存储的数据对应的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列。
具体地，对于待存储的数据，将待存储的数据提交至缓存，待组成满条带或滞留超期后，才写到存储阵列。例如音视频数据，存储阵列接收到后，将其提交至缓存，待组成满条带或滞留超期后，才写到存储阵列。其中满条带的情况，是直接按照条带写入存储阵列；而对于非满条带，则通过重构写的方式写入存储阵列。重构写，通常要先将条带中无需更新的数据读出，然后与更新的数据一起计算出新的校验数据，再将新数据及校验数据写入磁盘，这种方式多余了不更新数据的读取及校验数据计算的开销，重构写适用于写入的数据量较大，但未达到满条带的应用。
需要说明的是，元数据与音视频数据的区分无法严格做到条带区分，即元数据与音视频数据在某种情况下，必然会出现在一个条带中，这时会出现非满条带写入的情况。此时，在条带处理完成后，将校验条块缓存下来，减少后续短时间内元数据更新时的读取操作，提高元数据的处理效率。
而对于待存储的数据对应的元数据，在第一次处理时，元数据缓存链表中没有对应的管理节点，此时会采用读改写的方式来进行处理。读改写，通常先将阵列中需更新的数据及校验数据读出，用旧数据、旧校验值和新数据计算出新的校验，再将新数据及新校验值写入存储阵列，读改写适用于新数据较小的情况。本实施例对于元数据的第一次处理，是采用读改写的方式，从存储阵列读取条带的其余部分数据，将新数据更新到对应的条块中，再将各条块数据写到存储阵列上，在数据存储到存储阵列后，不释放该部分数据条块和校验条块的缓存，而是将其管理起来，以便后续元数据更新使用。
本实施例在元数据第一次处理后，还建立元数据对应的管理节点，将管理节点加入到元数据缓存链表。元数据对应的管理节点包括元数据所属条带信息、所在数据条块及校验条块地址信息。在元数据存储到存储阵列后，将该部分元数据对应的数据条块及校验条块缓存下来，将管理节点加入到该存储阵列的元数据缓存链表，等待下次的元数据写入请求。
当下一次对该条块的元数据请求到来时，如果其管理节点在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列。即直接利用旧数据、旧校验值和新数据计算出新的校验，由于旧数据条块、校验条块都在缓存中，不需要从存储阵列再读取，加快了存储的处理速度。通过缓存中的校验条块与新、旧数据条块计算出新的校验条块后，将新的校验条块及数据条块写入存储阵列即可，同时将新的数据条块和校验条块继续保持在缓存中。
需要注意的是，缓存的空间有限，元数据在缓存中需要进行有效的管理。为此本实施例在元数据对应的管理节点中，还进一步包括元数据对应的数据条块和检验条块的热度。
例如，在第一次建立元数据对应的管理节点时，标记各条块热度为1。以后在每次对同一数据条块和校验条块进行操作时，对应条块热度加1。
即对于接收的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点中数据条块和校验条块的热度置为初始值，加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列，并增加管理节点中数据条块和校验条块的热度。
可见，其中，数据条块和校验条块的热度的初始值可以置为1，而如果在元数据缓存链表中，对数据条块和校验条块进行操作后，增加管理节点中数据条块和校验条块的热度，则在原来的基础上将热度加1。
本实施例在存储阵列原有线程中增加对元数据缓存链表的管理流程，周期性的监测缓存中各条块的热度，若条块在一定周期内没有发生更新，则将其热度减1，该周期的长度设置要大于元数据的最小更新周期。
本实施例对于对热度降低到最低值的条块，会释放掉其对应的缓存，以增加缓存的利用率。
例如数据条块的热度降低为0，则释放掉其对应的缓存。
优选地，若连续几个周期内，条块的热度都没有增加，则按一定比例加快其热度值的降低。例如连续三个周期，缓存中数据条块的热度都没有增加，则后续每个周期监测时，每次将其热度减2，使其热度更快地降低，以释放缓存。
本实施例一个数据条块可存储多条元数据，当一个数据条块发生第一次写数据时，接下来的若干次元数据写请求都会发生在该条块上，结合上述阵列条块缓存管理策略，会出现条块缓存中，仅有1个数据条块和1个校验条块的情况。元数据继续更新，会写入到相同条带中的下一个条块，或者需同时写入两个条块中，这种情况会触发1次读额外条块的操作，此时会将该条块加入按条带划分的缓存中，并置该条块热度为1。
此外，本实施例根据元数据存在长度固定的特点，若数据条块对应的热度达到设定的阈值，释放掉其对应的缓存。即一个数据条块中可存储的元数据条数固定，因此一个数据条块的热度会存在一个最大值，当达到该最大值后，即可释放该条块缓存。
此外，由于元数据也基本是按照顺序的方式进行存储，不会出现地址往返的情况。所以，当缓存中的其他条块发生更新，且缓存中逻辑地址较小的数据条块未发生更新时，不管其热度为多少，都可直接将该部分缓存释放掉。
本实施例，还对整个管理节点进行管理，管理节点还包括节点热度和存留时间。通过设置节点热度及存留时间两个维度进行管理，节点热度为各条块热度之和，存留时间为数据条块和校验条块对应的条带首次加入缓存的时间。
本实施例基于块存储的数据存储方法，还包括：
根据节点热度和存留时间建立管理节点的优先级；
根据优先级，在缓存不够时，释放掉优先级低的管理节点。
具体地，本实施例通过优先级来进行管理。若中间出现写的元数据对应的数据条块不在缓存中，但条带在缓存中的情况，会触发少量的硬盘读操作，这种情况会更新条带的存留时间，需要增加其优先级(对于从存储阵列读上来的元数据，其后续被再次写入的概率会比较高)。管理节点的优先级算法如下：对刚加入的管理节点(存留时间在设定的范围内)，比如在元数据更新周期范围内，优先级很高，保证不会被立即踢出缓存；其次为节点热度值高的管理节点；最次为节点热度低且存留时间超出元数据更新周期的管理节点。从而，在缓存不够时，先释放优先级低的管理节点对应的缓存。
与上述方法对应地，本发明一种实施例，提出了一种基于块存储的数据存储装置，应用于存储阵列，所述基于块存储的数据存储装置包括处理器以及存储有若干计算机指令的非易失性存储器，所述计算机指令被处理器执行时实现上述基于块存储的数据存储方法的步骤。该装置可以是存储阵列本身，也可以是存储阵列中的一个模块，或者其他智能硬件设备，用于执行上述基于块存储的数据存储方法。
与上述方法对应地，本发明的另一种实施例，提出了一种可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行，以实现上述基于块存储的数据存储方法的步骤。上述可读存储介质可以是存储有计算机指令的磁盘、U盘或其他可以被计算及读取的存储设备，其中的计算机指令以软件形式存储在可读存储介质中，在需要执行上述基于块存储的数据存储方法时，用存储阵列中的处理读取执行。
其中，所述非易失性存储器可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，非易失性存储器用于存储计算机指令，所述处理器执行所述计算机指令。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于块存储的数据存储方法，用于将待存储的数据及其对应的元数据存储到存储阵列，其特征在于，所述基于块存储的数据存储方法，包括：
接收待存储的数据对应的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列。
2.如权利要求1所述的基于块存储的数据存储方法，其特征在于，所述管理节点包括元数据所属条带信息、所在数据条块及校验条块地址信息。
3.如权利要求2所述的基于块存储的数据存储方法，其特征在于，所述管理节点还包括数据条块的热度、校验条块的热度信息。
4.如权利要求3所述的基于块存储的数据存储方法，其特征在于，所述基于块存储的数据存储方法，还包括：
接收待存储的数据对应的元数据，查看所述元数据对应的管理节点是否在元数据缓存链表中，分别进行如下处理：
如果不在元数据缓存链表中，通过读改写的方式将元数据写入存储阵列，并将对应数据条块和检验条块保存在缓存中，建立元数据对应的管理节点，将管理节点中数据条块和校验条块的热度置为初始值，加入到元数据缓存链表；
如果在元数据缓存链表中，根据缓存的数据条块和校验条块计算出新的检验条块，将新的校验条块和数据条块保存在缓存中并写入存储阵列，并增加管理节点中数据条块和校验条块的热度。
5.如权利要求4所述的基于块存储的数据存储方法，其特征在于，所述基于块存储的数据存储方法，还包括：
周期性的监测缓存中各条块的热度，若条块在一定周期内没有发生更新，则降低其在管理节点中的热度；
对于热度降低到最低值的条块，释放掉其对应的缓存。
6.如权利要求4所述的基于块存储的数据存储方法，其特征在于，所述基于块存储的数据存储方法，还包括：
若数据条块对应的热度达到设定的阈值，释放掉其对应的缓存。
7.如权利要求3所述的基于块存储的数据存储方法，其特征在于，所述管理节点还包括节点热度和存留时间，所述节点热度为各条块热度之和，所述存留时间为数据条块和校验条块对应的条带首次加入缓存的时间。
8.如权利要求7所述的基于块存储的数据存储方法，其特征在于，所述基于块存储的数据存储方法，还包括：
根据节点热度和存留时间建立管理节点的优先级；
根据优先级，在缓存不够时，释放掉优先级低的管理节点对应的缓存。
9.一种基于块存储的数据存储装置，应用于存储阵列，其特征在于，所述基于块存储的数据存储装置包括处理器以及存储有若干计算机指令的非易失性存储器，所述计算机指令被处理器执行时实现权利要求1至权利要求8中任意一项所述方法的步骤。
10.一种可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行，以实现权利要求1至权利要求8中任意一项所述方法的步骤。
CN201711340264.1A 2017-12-14 2017-12-14 一种基于块存储的数据存储方法、装置及可读存储介质 Active CN109960458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711340264.1A CN109960458B (zh) 2017-12-14 2017-12-14 一种基于块存储的数据存储方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711340264.1A CN109960458B (zh) 2017-12-14 2017-12-14 一种基于块存储的数据存储方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN109960458A true CN109960458A (zh) 2019-07-02
CN109960458B CN109960458B (zh) 2022-07-19

Family

ID=67018183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711340264.1A Active CN109960458B (zh) 2017-12-14 2017-12-14 一种基于块存储的数据存储方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN109960458B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471619A (zh) * 2019-07-05 2019-11-19 深圳市金泰克半导体有限公司 固态硬盘的数据处理方法、固态硬盘及主机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606629B1 (en) * 2000-05-17 2003-08-12 Lsi Logic Corporation Data structures containing sequence and revision number metadata used in mass storage data integrity-assuring technique
US20110029728A1 (en) * 2009-07-28 2011-02-03 Lsi Corporation Methods and apparatus for reducing input/output operations in a raid storage system
US20120221809A1 (en) * 2011-02-28 2012-08-30 Hitachi, Ltd. Storage apparatus and data processing method of the same
US8862818B1 (en) * 2012-09-27 2014-10-14 Emc Corporation Handling partial stripe writes in log-structured storage
CN105404469A (zh) * 2015-10-22 2016-03-16 浙江宇视科技有限公司 一种视频数据的存储方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606629B1 (en) * 2000-05-17 2003-08-12 Lsi Logic Corporation Data structures containing sequence and revision number metadata used in mass storage data integrity-assuring technique
US20110029728A1 (en) * 2009-07-28 2011-02-03 Lsi Corporation Methods and apparatus for reducing input/output operations in a raid storage system
US20120221809A1 (en) * 2011-02-28 2012-08-30 Hitachi, Ltd. Storage apparatus and data processing method of the same
US8862818B1 (en) * 2012-09-27 2014-10-14 Emc Corporation Handling partial stripe writes in log-structured storage
CN105404469A (zh) * 2015-10-22 2016-03-16 浙江宇视科技有限公司 一种视频数据的存储方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471619A (zh) * 2019-07-05 2019-11-19 深圳市金泰克半导体有限公司 固态硬盘的数据处理方法、固态硬盘及主机

Also Published As

Publication number Publication date
CN109960458B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
EP3210121B1 (en) Cache optimization technique for large working data sets
US9639280B2 (en) Ordering memory commands in a computer system
US20170364448A1 (en) Selective space reclamation of data storage memory employing heat and relocation metrics
US8151012B2 (en) Virtual row buffers for use with random access memory
CN104115133B (zh) 用于复合非易失性存储设备的数据迁移的方法、系统和设备
US20130138867A1 (en) Storing Multi-Stream Non-Linear Access Patterns in a Flash Based File-System
US20140258628A1 (en) System, method and computer-readable medium for managing a cache store to achieve improved cache ramp-up across system reboots
US20160140054A1 (en) Method and system for determining fifo cache size
US20140173211A1 (en) Partitioning Caches for Sub-Entities in Computing Devices
CN111344684A (zh) 多层缓存安置机制
WO2012030900A1 (en) Method and system for removing cache blocks
Laga et al. Lynx: A learning linux prefetching mechanism for ssd performance model
US11360892B2 (en) Cache hit ratio simulation using a partial data set
US20150212744A1 (en) Method and system of eviction stage population of a flash memory cache of a multilayer cache system
US8380962B2 (en) Systems and methods for efficient sequential logging on caching-enabled storage devices
US8732404B2 (en) Method and apparatus for managing buffer cache to perform page replacement by using reference time information regarding time at which page is referred to
US20140115255A1 (en) Storage system and method for controlling storage system
US11301395B2 (en) Method and apparatus for characterizing workload sequentiality for cache policy optimization
CN109960458A (zh) 一种基于块存储的数据存储方法、装置及可读存储介质
US10621096B2 (en) Read ahead management in a multi-stream workload
US11347645B2 (en) Lifetime adaptive efficient pre-fetching on a storage system
US10482019B2 (en) Storage apparatus and control method thereof
US9384135B2 (en) System and method of caching hinted data
US10949359B2 (en) Optimizing cache performance with probabilistic model
CN108052296B (zh) 一种数据读取方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant