CN113608681B - 一种数据存储方法、系统、设备以及介质 - Google Patents
一种数据存储方法、系统、设备以及介质 Download PDFInfo
- Publication number
- CN113608681B CN113608681B CN202110738010.5A CN202110738010A CN113608681B CN 113608681 B CN113608681 B CN 113608681B CN 202110738010 A CN202110738010 A CN 202110738010A CN 113608681 B CN113608681 B CN 113608681B
- Authority
- CN
- China
- Prior art keywords
- data
- block
- thread
- physical
- physical block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013500 data storage Methods 0.000 title claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 34
- 238000012423 maintenance Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 abstract description 9
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012005 ligant binding assay Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5018—Thread allocation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储方法，包括以下步骤：响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；判断所述对应的逻辑block是否有线程维护；响应于对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；响应于当前所有线程的数量未达到阈值，创建新的线程；将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够减小写放大。
Description
技术领域
本发明涉及存储领域，具体涉及一种数据存储方法、系统、设备以及存储介质。
背景技术
目前大数据的存储装置大多将NAND FLASH作为存储介质，而NAND FLASH的特点是只有擦除数据后才能重新写入数据。NAND FLASH的擦除单位为BLOCK，写数据和读数据单位为PAGE，但是存储系统中HOST维护数据的基本单位通常是LBA，所以需要有FTL算法来维护。
目前FTL算法通常有4K MAP、PAGE MAP、BLOCK MAP三种。4K MAP是指FTL维护算法的基本逻辑单位是4K，将HOST的LBA都转换为以4K为单位的映射。同理PAGE MAP和BLOCKMAP是指FTL维护算法的基本逻辑单位是NAND FLASH的PAGE和BLOCK大小。
BLOCK MAP算法适合应用于硬件资源不是很丰富，产品成本比较低的存储产品中，因为BLOCK MAP用的存储映射表需要的空间比较小。目前BLOCK MAP算法中通常只用了一个线程去记录当前的写现场，如果下一条命令是跨LBA的时候，由于当前内存中只有一个线程去记录写现场，所以需要结束这个线程，结束线程的方法是REBUILD数据，即将所有这个逻辑BLOCK内有效的数据搬移到一个物理BLOCK中，才能释放线程，但是这样会增加写放大。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据存储方法，包括以下步骤：
响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
判断所述对应的逻辑block是否有线程维护；
响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
响应于当前所有线程的数量未达到阈值，创建新的线程；
将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
在一些实施例中，将所述线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
在一些实施例中，还包括：
将所述所有的物理block中的数据清空。
在一些实施例中，还包括：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
在一些实施例中，将所述待释放线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据存储系统，包括：
确定模块，配置为响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
第一判断模块，配置为判断所述对应的逻辑block是否有线程维护；
第二判断模块，配置为响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
创建模块，配置为响应于当前所有线程的数量未达到阈值，创建新的线程；
记录模块，将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种数据存储方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据存储方法的步骤。
本发明具有以下有益技术效果之一：本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程，从而减小写放大。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的数据存储方法的流程示意图；
图2为本发明的实施例提供的数据存储系统的结构示意图；
图3为本发明的实施例提供的计算机设备的结构示意图；
图4为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
在本发明的实施例中，BLOCK：NANDFLASH的最小擦除单位。PAGE：NANDFLASH的最小写入和读取单位。FTL算法：由于HOST发送的是LBA，NANDFLASH只有PAGE和BLOCK这些概念，所以需要FTL算法中间层来转换。跨LBA区域顺序写：HOST写数据时先按顺序写一段LBA，然后跳转一段LBA顺序写另外一段LBA。OP BLOCK：物理NAND FLASH的容量通常比上报给HOST的逻辑容量要大，物理NANDFLASH的实际容量去掉HOST容量部分剩余的物理BLOCK，称之为OP BLOCK。写放大：写放大是指写入NAND FLASH的数据量与HOST数据的写入量的比值。
根据本发明的一个方面，本发明的实施例提出一种数据存储方法，如图1所示，其可以包括步骤：
S1，响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
S2，判断所述对应的逻辑block是否有线程维护；
S3，响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
S4，响应于当前所有线程的数量未达到阈值，创建新的线程；
S5，将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程从而减小写放大。
在一些实施例中，步骤S1中，响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block，具体的，每一个逻辑block均有对应的逻辑地址且每一个逻辑block的大小相同，这样，当接收到写请求后，可以根据写请求中携带的逻辑地址确定对应的逻辑block。若写请求中携带的逻辑地址是跨逻辑block，后续需要根据确定出的多个逻辑block进行相同的处理流程。也即当确定出逻辑block后，则需要对每一个逻辑block执行步骤S2-S5。
在一些实施例中，步骤S2中，判断所述对应的逻辑block是否有线程维护，具体的，一个线程可以维护一个逻辑block，利用线程可以记录该逻辑block中已经被占用的位置，以及逻辑block对应的物理block。
例如，一个逻辑block的大小为1M，并且其0.9M到1M的位置对应有数据，并且该数据实际存储在物理block1中，这时即可通过线程记录该逻辑block的第0.9M到1M的位置已经存在对应的数据，并且该数据存储在物理block1中。
在一些实施例中，步骤S3中，响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值，具体的，由于每个线程需要耗费一定的内存资源去记录一些维护信息，同时还会占用一定的物理BLOCK，所以最大线程个数也不能太大，因为每个线程都会占用一定的OP BLOCK，所以具体可以最大设置几个线程可以根据内存大小等其他情况来决定。
在一些实施例中，还包括：
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
具体的，若根据写请求中携带的逻辑地址确定的逻辑block判断有对应的线程在维护，则可以将写请求对应的数据写入新的物理block中，并利用线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
在一些实施例中，将所述线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
在一些实施例中，还包括：
将所述所有的物理block中的数据清空。
具体的，当根据线程记录的逻辑block的每一个位置均有对应的数据，则需要将该逻辑block对应的所有的物理block进行合并处理。
在进行合并处理时，若逻辑block相同的位置对应若干个物理block，即若干个物理block中均存储有该位置的数据，则需要根据线程记录的该位置最新存储的数据作为需要合并的数据，然后获取其他位置的数据后合并到一个物理block上，最后记录相应的映射关系并释放线程。
例如，若线程记录的一个逻辑block上的0-0.9M的位置上对应的数据存储在物理block d上，而0.9M到1M的位置上分别在物理block a、物理block b、物理block c上均有对应的数据，且物理block b上的数据为0.9M到1M的位置对应的最新数据。则将物理block b上的数据以及物理block d上的数据合并到同一个物理block e上，然后清空block a、物理block b、物理block c、物理block d上的数据，并释放线程。
需要说明的是，逻辑block的大小和物理block的大小相同，并且若逻辑block的上每一个位置上均有对应的数据时，则无需线程进行维护，只需要建立该逻辑block与存储有所有数据的物理block的映射关系即可。并且如果写请求中携带的逻辑地址确定的逻辑block是之前已经将所有位置均有对应数据的逻辑block，并且该逻辑block没有线程维护，仍为该逻辑block创建一个线程进行维护。
在一些实施例中，还包括：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
在一些实施例中，将所述待释放线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
具体的，若当前所有的线程均在进行维护相应的逻辑block，则需要选择其中一个线程释放掉，并且为了减少搬移的数据，需要选择一个搬移数据量最小的线程释放。在释放线程前，需要将该线程维护的逻辑block对应的所有物理block中的数据进行合并。同样的，若存在若干个物理block中的数据在所述维护的逻辑block中位置相同，选择最新的物理block存储的数据进行合并，并且从其他物理block中获取与逻辑block中尚未有对应的数据的位置的大小相同数据作为该位置对应的数据合并到同一个物理block中。
例如，若线程记录的一个逻辑block上的0-0.8M的位置上对应的数据存储在物理block d上，0.8M-0.9M的位置没有数据，而0.9M到1M的位置上分别在物理block a、物理block b、物理block c上均有对应的数据，且物理block b上的数据为0.9M到1M的位置对应的最新数据。则将物理block b上的数据以及物理block d上的数据合并到同一个物理block e上，然后从物理block a或物理block c上获取0.1M大小的数据作为0.8M-0.9M的位置的对应数据，合并到物理block e上。并且物理block b上的数据同样的为物理block e上0-0.8M位置的数据，从物理block a或物理block c上获取0.1M大小的数据为物理block e上0.8-0.9M位置的数据，物理block b上的数据为物理block e上0.9M-1M位置的数据。然后清空block a、物理block b、物理block c、物理block d上的数据，并释放线程。
本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程从而减小写放大。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据存储系统400，如图2所示，包括：
确定模块401，配置为响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
第一判断模块402，配置为判断所述对应的逻辑block是否有线程维护；
第二判断模块403，配置为响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
创建模块404，配置为响应于当前所有线程的数量未达到阈值，创建新的线程；
记录模块405，将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括第一响应模块，配置为：
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括第二响应模块，配置为：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
在一些实施例中，第二响应模块还配置为：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
在一些实施例中，第二响应模块还配置为：
将所述所有的物理block中的数据清空。
在一些实施例中，还包括第三响应模块，配置为：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
在一些实施例中，第三响应模块还配置为：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程，从而减小写放大。
基于同一发明构思，根据本发明的另一个方面，如图3所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行以下步骤：
S1，响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
S2，判断所述对应的逻辑block是否有线程维护；
S3，响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
S4，响应于当前所有线程的数量未达到阈值，创建新的线程；
S5，将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
在一些实施例中，将所述线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
在一些实施例中，还包括：
将所述所有的物理block中的数据清空。
在一些实施例中，还包括：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
在一些实施例中，将所述待释放线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程，从而减小写放大。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行以下步骤：
S1，响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
S2，判断所述对应的逻辑block是否有线程维护；
S3，响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
S4，响应于当前所有线程的数量未达到阈值，创建新的线程；
S5，将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置。
在一些实施例中，还包括：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
在一些实施例中，将所述线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
在一些实施例中，还包括：
将所述所有的物理block中的数据清空。
在一些实施例中，还包括：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
在一些实施例中，将所述待释放线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
本发明提出的方案在接收到写请求后，首先根据写请求中携带的LBA(逻辑地址)确定对应的逻辑block，若该逻辑block没有线程在维护，同时当前线程的总数量则没有超过阈值，则创建一个新的线程，利用新的线程维护该逻辑block，这样不需要REBUILD当前线程，从而减小写放大。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (8)
1.一种数据存储方法，其特征在于，包括以下步骤：
响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
判断所述对应的逻辑block是否有线程维护；
响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
响应于当前所有线程的数量未达到阈值，创建新的线程；
将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置；
响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置；
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
2.如权利要求1所述的方法，其特征在于，将所述线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述线程记录的若干个物理block中的数据在所述对应的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block。
3.如权利要求1所述的方法，其特征在于，还包括：
将所述所有的物理block中的数据清空。
4.如权利要求1所述的方法，其特征在于，还包括：
响应于当前所有线程的数量达到阈值，选择其中一个线程作为待释放线程；
将所述待释放线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述待释放线程维护的逻辑block与所述同一个物理block的映射关系；
释放所述待释放线程。
5.如权利要求4所述的方法，其特征在于，将所述待释放线程中记录的所有的物理block中的数据进行合并，进一步包括：
响应于所述待释放线程记录的若干个物理block中的数据在所述维护的逻辑block中位置相同，将若干个物理block中的最新的物理block存储的数据合并到所述同一个物理block；
确定所述维护的逻辑block中尚未有对应的数据的位置的大小；
从其他物理block中获取与所述位置的大小相同的数据合并到所述同一个物理block。
6.一种数据存储系统，其特征在于，包括：
确定模块，配置为响应于接收到写请求，根据所述写请求中携带的逻辑地址确定对应的逻辑block；
第一判断模块，配置为判断所述对应的逻辑block是否有线程维护；
第二判断模块，配置为响应于所述对应的逻辑block没有所述线程维护，判断当前所有线程的数量是否达到阈值；
创建模块，配置为响应于当前所有线程的数量未达到阈值，创建新的线程；
记录模块，配置为将所述写请求中待写入的数据写入空白的物理block中，并利用所述新的线程记录所述空白的物理block以及所述待写入的数据在所述对应的逻辑block中的位置；
第一响应模块，配置为响应于所述对应的逻辑block有线程维护，将所述待写入的数据写入新的物理block中，并利用所述线程记录所述新的物理block以及所述待写入的数据在所述对应的逻辑block中的位置；
第二响应模块，配置为：
响应于所述对应的逻辑block中所有位置均有对应的数据，将所述线程中记录的所有的物理block中的数据进行合并；
将合并后的数据存储到同一个物理block中并记录所述对应的逻辑block与所述同一个物理block的映射关系；
释放所述线程。
7.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-5任意一项所述的方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-5任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738010.5A CN113608681B (zh) | 2021-06-30 | 2021-06-30 | 一种数据存储方法、系统、设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738010.5A CN113608681B (zh) | 2021-06-30 | 2021-06-30 | 一种数据存储方法、系统、设备以及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113608681A CN113608681A (zh) | 2021-11-05 |
| CN113608681B true CN113608681B (zh) | 2023-03-21 |
Family
ID=78337035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110738010.5A Active CN113608681B (zh) | 2021-06-30 | 2021-06-30 | 一种数据存储方法、系统、设备以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113608681B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376768B1 (en) * | 2003-12-19 | 2008-05-20 | Sonic Solutions, Inc. | Dynamic memory allocation for multiple targets |
| CN105426252A (zh) * | 2015-12-17 | 2016-03-23 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统的线程分配方法及系统 |
| CN106055281A (zh) * | 2016-06-29 | 2016-10-26 | 广州华多网络科技有限公司 | 数据写入方法和装置 |
| CN106569739A (zh) * | 2016-10-09 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种数据写入优化的方法 |
| CN109375876A (zh) * | 2018-10-17 | 2019-02-22 | 郑州云海信息技术有限公司 | 基于ssd的raid存储方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8868487B2 (en) * | 2010-04-12 | 2014-10-21 | Sandisk Enterprise Ip Llc | Event processing in a flash memory-based object store |
-
2021
- 2021-06-30 CN CN202110738010.5A patent/CN113608681B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376768B1 (en) * | 2003-12-19 | 2008-05-20 | Sonic Solutions, Inc. | Dynamic memory allocation for multiple targets |
| CN105426252A (zh) * | 2015-12-17 | 2016-03-23 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统的线程分配方法及系统 |
| CN106055281A (zh) * | 2016-06-29 | 2016-10-26 | 广州华多网络科技有限公司 | 数据写入方法和装置 |
| CN106569739A (zh) * | 2016-10-09 | 2017-04-19 | 南京中新赛克科技有限责任公司 | 一种数据写入优化的方法 |
| CN109375876A (zh) * | 2018-10-17 | 2019-02-22 | 郑州云海信息技术有限公司 | 基于ssd的raid存储方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113608681A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2642349C1 (ru) | Способ для сохранения данных посредством устройства хранения данных и устройство хранения данных | |
| US8219764B2 (en) | System and apparatus for enhancing data storage efficiency of a flash memory by reducing time for reorganizing data | |
| CN102156738A (zh) | 数据块处理方法、数据块存储设备及系统 | |
| CN108959118B (zh) | 一种数据写入的方法及装置 | |
| US20130145078A1 (en) | Method for controlling memory array of flash memory, and flash memory using the same | |
| CN107957852B (zh) | 一种提升固态硬盘性能一致性的方法 | |
| CN113495889B (zh) | 一种分布式对象存储方法、装置、电子设备及存储介质 | |
| CN113282249B (zh) | 一种数据处理方法、系统、设备以及介质 | |
| CN115639970B (zh) | 基于磁盘阵列卡的存储虚拟化方法、系统、装置及设备 | |
| CN105808378A (zh) | 元数据修复方法及装置 | |
| CN113419686A (zh) | 一种raid重构方法及装置 | |
| CN103092849A (zh) | 文件系统簇管理方法 | |
| CN110504002B (zh) | 一种硬盘数据一致性测试方法与装置 | |
| CN116501259A (zh) | 磁盘组双活同步方法、装置、计算机设备及存储介质 | |
| CN111324549B (zh) | 一种存储器及其控制方法和装置 | |
| CN113608681B (zh) | 一种数据存储方法、系统、设备以及介质 | |
| US20110107056A1 (en) | Method for determining data correlation and a data processing method for a memory | |
| CN105242985B (zh) | 数据修复方法及装置 | |
| CN109992527B (zh) | 一种全闪存储系统的位图管理方法 | |
| JP5541194B2 (ja) | フラッシュメモリに対してデータの読み出しおよび書き込みを行う制御装置 | |
| TWI514136B (zh) | 快閃記憶裝置及其資料寫入方法 | |
| CN114138176B (zh) | Nor Flash的擦除、升级方法及装置、计算机设备和存储介质 | |
| CN105830067A (zh) | 一种文件信息处理方法、装置及文件处理设备、系统 | |
| CN108614664A (zh) | 基于NANDflash的读错误处理方法和装置 | |
| CN111949558B (zh) | 一种垃圾数据回收方法、装置和存储设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |