CN113282249A - 一种数据处理方法、系统、设备以及介质 - Google Patents
一种数据处理方法、系统、设备以及介质 Download PDFInfo
- Publication number
- CN113282249A CN113282249A CN202110811435.4A CN202110811435A CN113282249A CN 113282249 A CN113282249 A CN 113282249A CN 202110811435 A CN202110811435 A CN 202110811435A CN 113282249 A CN113282249 A CN 113282249A
- Authority
- CN
- China
- Prior art keywords
- data
- logical address
- address range
- data block
- logical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 54
- 235000019580 granularity Nutrition 0.000 claims abstract description 41
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1009—Address translation using page tables, e.g. page table structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7201—Logical to physical mapping or translation of blocks or pages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/72—Details relating to flash memory management
- G06F2212/7207—Details relating to flash memory management management of metadata or control data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法，包括以下步骤：响应于逻辑卷接收到写请求，判断写请求中携带的逻辑地址是否已被逻辑卷中的数据单元占用；响应于未被占用，确定预先设置的多个数据粒度中与写请求对应的数据块的大小最接近且大于数据块的大小的数据粒度；将逻辑地址作为起始地址和将最接近的数据粒度作为长度在逻辑卷中创建新数据单元并记录数据块在新数据单元中占用的逻辑地址范围；将数据块写入底层存储并返回写入的物理地址；建立并保存新数据单元对应的起始地址与物理地址之间的映射关系。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够尽最大可能减少元数据的数量。
Description
技术领域
本发明涉及存储领域，具体涉及一种数据处理方法、系统、设备以及存储介质。
背景技术
元数据（Mete data）是指描述数据的数据（data about data），可以理解为比一般意义的数据范畴更加广泛的数据，不仅仅是表示数据的类型、名称、值等信息，也进一步提供了数据的上下文信息，比如数据所属域、数据来源等等。在数据存储系统中，数据Grain是数据信息存储的基础，是数据的最小单元。近年来，随着信息技术的发展，产生了海量的数据，但是如何有效地管理和组织这些海量数据已经成为一个突出的问题。对于存储的大量数据，查询分析其中的数据内容和数据含义，才能更加有效的利用数据。在存储系统中元数据的高效组织和管理是解决这一问题的有效手段，能支持系统对数据的管理和维护。
在全闪存数据存储中，必然涉及到大量且高并发的数据访问和查询问题，有效的管理数据和元数据，才能增加并发访问量和访问效率。全闪存储系统逻辑块划分越小，产生的逻辑地址到物理地址的映射关系就越多，从而产生的元数据量就越多，元数据的管理、插入、镜像、刷盘等就消耗越多，管理成本非常大，会直接影响主机的性能和时延，因此全闪存中数据的多并发读、写有效管理方法至关重要，元数据的量越少，元数据管理越高效可使大规模并发随机访问数据有更高的吞吐量和更小的时延。
因此，急需一种能够减小元数据数量的数据存储方法。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据处理方法，包括以下步骤：
响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
将所述逻辑地址作为起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
将所述数据块写入底层存储并返回写入的物理地址；
建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
在一些实施例中，还包括：
响应于写请求中携带的逻辑地址被所述逻辑卷中的数据单元占用，根据所述写请求中携带的逻辑地址和所述数据块的大小确定所述数据块对应的逻辑地址范围；
确定所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围的关系；
响应于所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同，将所述数据块写入底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述数据块对应的逻辑地址范围是否被其他数据块占用；
响应于所述数据块对应的逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述一部分逻辑地址范围是否被其他数据块占用；
响应于所述一部分逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述一部分逻辑地址范围对应的一部分数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系；
响应于所述一部分逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述一部分数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
针对所述数据块对应的逻辑地址范围中在所述数据单元的逻辑地址范围之外的另一部分逻辑地址范围，确定预先设置的多个数据粒度中与所述另一部分逻辑地址范围对应的另一部分数据块的大小最接近且大于所述另一部分数据块的大小的数据粒度；
将所述另一部分逻辑地址范围的起始地址作为待创建数据单元的起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建所述待创建数据单元并记录所述另一部分数据块在所述待创建数据单元中占用的逻辑地址范围；
将所述另一部分数据块写入底层存储并返回写入的物理地址，以建立并保存所述待创建数据单元对应的起始地址与返回的物理地址之间的映射关系。
在一些实施例中，还包括：
响应于所述逻辑卷接收到读请求，根据所述读请求中携带的待读取数据对应的逻辑地址范围判断对应的数据单元的数量；
响应于对应一个数据单元，根据该数据单元对应的起始地址获取对应的物理地址，以根据所述物理地址在底层存储中读取所述待读取数据；
响应于对应多个数据单元，将所述读请求拆分成多个子读请求，其中每一个子读请求读取一个数据单元对应的数据；
根据每一个数据单元对应的起始地址获取对应的物理地址；
判断获取的多个对应的物理地址是否是连续的；
响应于是连续的，将所述多个子读请求构造为一个IO后下发给底层存储以返回多个连续的物理地址对应的数据；
响应于不是连续的，将多个子请求根据对应的物理地址构造成若干个IO，依次下发给底层存储，进而返回相应的数据。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统，包括：
判断模块，配置为响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
第一确定模块，配置为响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
创建模块，配置为将所述逻辑地址作为起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
写入模块，配置为将所述数据块写入底层存储并返回写入的物理地址；
元数据模块，配置为建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种数据处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据处理方法的步骤。
本发明具有以下有益技术效果之一：本发明提出的方案能够对下发来的大块IO采用自适应数据粒度直接大块数据写盘，并只产生一个元数据映射关系，即将变长的逻辑Grain只产生一个对应的元数据，这样可以尽最大可能减少元数据的数量，进而减少元数据的插入、镜像、刷盘，减少元数据对IO的时延影响，提高了吞吐量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的数据处理方法的流程示意图；
图2为本发明的实施例提供的数据写入和读取的流程框图；
图3为本发明的实施例提供的数据处理系统的结构示意图；
图4为本发明的实施例提供的计算机设备的结构示意图；
图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
在本发明的实施例中，Grain为数据粒度，是最小数据单元。
根据本发明的一个方面，本发明的实施例提出一种数据处理方法，如图1所示，其可以包括步骤：
S1，响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
S2，响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
S3，将所述逻辑地址作为起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
S4，将所述数据块写入底层存储并返回写入的物理地址；
S5，建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
本发明提出的方案能够对下发来的大块IO采用自适应数据粒度直接大块数据写盘，并只产生一个元数据映射关系，即将变长的逻辑Grain只产生一个对应的元数据，这样可以尽最大可能减少元数据的数量，进而减少元数据的插入、镜像、刷盘，减少元数据对IO的时延影响，提高了吞吐量。
在一些实施例中，如图2所示，当写数据时，写请求先将数据写入磁盘或SSD盘，即写1；从磁盘或SSD盘返回后将返给的PBA值写入元数据，即写2。当读数据时，读请求首先去访问元数据，获取LBA对应的PBA值，即读1；从元数据获取PBA值后，向磁盘或SSD盘获取数据，即读2。
在本发明的实施例中，逻辑卷可以按照[8k、32k、64k、128k、256k、512k]等的Grain集合，可变长Grain Size组织数据单元，逻辑卷会维护一个逻辑地址范围和Grain Size大小的位图表，当一个逻辑地址首次写入时根据主机下发的块大小选择合适的Grain Size，并记录在位图表中，主机下发的大块数据这样尽最大可能大块写盘，同时产生较少的元数据量。
在一些实施例中，步骤S1中，响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用，具体的，当逻辑卷接收到写请求时，可以根据写请求中携带的逻辑地址在位图表进行查找，判断该逻辑地址是否被占用，若没有被占用，说明是首次写，则可以进行步骤S2，即响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度。然后进行步骤S3，创建新的数据单元以及记录数据块在新的数据单元中占用的逻辑地址范围。例如，当数据块的大小为104k，则可以从[8k、32k、64k、128k、256k、512k]中选择128k作为数据粒度，并以该数据块对应的逻辑地址为起始地址创建一个128k大小新的数据单元。最后将所述数据块写入底层存储并返回写入的物理地址，建立并将所述新数据单元对应的起始地址与所述物理地址之间的映射关系保存到元数据，元数据保存成功后，该主机IO请求完成，返回主机。
这样，根据IO请求中数据块的大小自适应生成相应大小的数据单元，在数据落盘后，只需要生成一个逻辑地址和物理地址的映射关系即可，减少了元数据的数量，从而减少元数据对IO的时延影响，提高了吞吐量。
在一些实施例中，还包括：
响应于写请求中携带的逻辑地址被所述逻辑卷中的数据单元占用，根据所述写请求中携带的逻辑地址和所述数据块的大小确定所述数据块对应的逻辑地址范围；
确定所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围的关系；
响应于所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同，将所述数据块写入底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
具体的，若写请求中携带的逻辑地址被所述逻辑卷中的数据单元占用，则说明非首次写，这时可以根据写请求中携带的逻辑地址和所述数据块的大小确定所述数据块对应的逻辑地址范围，根据逻辑地址范围即可确定数据单元的逻辑地址范围之间的关系。
所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围的关系可以是所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同、所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内、所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内。
若所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同，则说明此时进行覆盖写，即将该逻辑地址对应的上一次写入的数据被本次写入的数据全覆盖。接着可以将所述数据块写入底层存储并返回写入的物理地址，重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，若所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内时，方法还包括：
响应于所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述数据块对应的逻辑地址范围是否被其他数据块占用；
响应于所述数据块对应的逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
具体的，若数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内，首先需要根据所述数据单元对应的映射关系（即该数据单元的起始地址与物理地址的映射关系）在所述底层存储中获取对应的其他数据块。然后判断本次要写入的数据块的逻辑地址是否被当前数据单元中的其他数据块占用。
如果本次要写入的数据块对应的逻辑地址没有被其他数据块占用，则将获取到的其他数据块与本次要写入的数据块进行合并后，再将合并后的数据块写入所述底层存储并返回写入的物理地址，然后重新建立并保存该所述数据单元对应的起始地址与返回的物理地址的映射关系。
若本次要写入的数据块对应的逻辑地址被其他数据块占用，先确定重复的逻辑地址范围，即本次写入的数据块对应的逻辑地址中与其他数据块对应的逻辑地址相同的部分。接着将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围，并将子逻辑地址范围对应的子数据块与本次写入的数据块进行合并，最后将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，若所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内时，方法还包括：
响应于所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述一部分逻辑地址范围是否被其他数据块占用；
响应于所述一部分逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述一部分逻辑地址范围对应的一部分数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系；
响应于所述一部分逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述一部分数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
具体的，若本次要写入的数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内，首先也是根据该数据单元的对应的映射关系获取到其他数据块，并判断本次要写入的数据块对应的逻辑地址范围中的一部分逻辑地址范围是否被其他数据块占用。
如果该一部分逻辑地址范围没有被其他数据块占用，同样的，将获取到所述其他数据块与所述一部分逻辑地址范围对应的一部分数据块进行合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
如果该一部分逻辑地址范围被其他数据块占用，同样的，先确定与其他数据块相同的逻辑地址范围，然后将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围，再将子逻辑地址范围对应的子数据块和所述一部分数据块合并，将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
针对所述数据块对应的逻辑地址范围中在所述数据单元的逻辑地址范围之外的另一部分逻辑地址范围，确定预先设置的多个数据粒度中与所述另一部分逻辑地址范围对应的另一部分数据块的大小最接近且大于所述另一部分数据块的大小的数据粒度；
将所述另一部分逻辑地址范围的起始地址作为待创建数据单元的起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建所述待创建数据单元并记录所述另一部分数据块在所述待创建数据单元中占用的逻辑地址范围；
将所述另一部分数据块写入底层存储并返回写入的物理地址，以建立并保存所述待创建数据单元对应的起始地址与返回的物理地址之间的映射关系。
具体的，当所述数据块对应的逻辑地址范围中的另一部分逻辑地址范围在所述数据单元的逻辑地址之外时，需要首先确定预先设置的多个数据粒度中与所述另一部分逻辑地址范围对应的另一部分数据块的大小最接近且大于所述另一部分数据块的大小的数据粒度，然后创建新的数据单元，并记录另一部分数据块在新的数据单元中占用的逻辑地址范围，接着将数据块写入底层并接收返回的物理地址，最后建立并保存该数据单元对应的起始地址与返回的物理地址之间的映射关系。
在一些实施例中，还包括：
响应于所述逻辑卷接收到读请求，根据所述读请求中携带的待读取数据对应的逻辑地址范围判断对应的数据单元的数量；
响应于对应一个数据单元，根据该数据单元对应的起始地址获取对应的物理地址，以根据所述物理地址在底层存储中读取所述待读取数据；
响应于对应多个数据单元，将所述读请求拆分成多个子读请求，其中每一个子读请求读取一个数据单元对应的数据；
根据每一个数据单元对应的起始地址获取对应的物理地址；
判断获取的多个对应的物理地址是否是连续的；
响应于是连续的，将所述多个子读请求构造为一个IO后下发给底层存储以返回多个连续的物理地址对应的数据；
响应于不是连续的，将多个子请求根据对应的物理地址构造成若干个IO，依次下发给底层存储，进而返回相应的数据。
具体的，若逻辑卷接收到读请求，则可以根据读请求中携带的待读取数据对应的逻辑地址范围在位图表中查找对应的数据单元，以确定逻辑地址范围对应的数据单元的数量。
若对应一个数据单元，根据该数据单元对应的起始地址获取对应的物理地址，以根据所述物理地址在底层存储中读取所述待读取数据。
若对应多个数据单元，则先将所述读请求拆分成多个子读请求，其中每一个子读请求读取一个数据单元对应的数据，然后根据每一个数据单元对应的起始地址获取对应的物理地址，接着判断物理地址是否是连续的，如果不是连续的，则可以将连续的物理地址进行合并下发，即将多个子请求根据对应的物理地址构造成若干个IO，依次下发给底层存储。例如，所述读请求拆分成为5个子读请求，其中子请求1和子请求2、子请求3对应的物理地址是连续的，子请求4和子请求5对应的物理地址是连续的，则可以将子请求1和子请求2、子请求3构造成一个IO去获取数据，将子请求4和子请求5构造成另一个IO去获取数据。
本发明提出的方案能够对下发来的大块IO采用自适应数据粒度直接大块数据写盘，并只产生一个元数据映射关系，即将变长的逻辑Grain只产生一个对应的元数据，这样可以尽最大可能减少元数据的数量，进而减少元数据的插入、镜像、刷盘，减少元数据对IO的时延影响，提高了吞吐量。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据处理系统400，如图3所示，包括：
判断模块401，配置为响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
第一确定模块402，配置为响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
创建模块403，配置为将所述逻辑地址作为起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
写入模块404，配置为将所述数据块写入底层存储并返回写入的物理地址；
元数据模块405，配置为建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
在一些实施例中，还包括：
响应于写请求中携带的逻辑地址被所述逻辑卷中的数据单元占用，根据所述写请求中携带的逻辑地址和所述数据块的大小确定所述数据块对应的逻辑地址范围；
确定所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围的关系；
响应于所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同，将所述数据块写入底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述数据块对应的逻辑地址范围是否被其他数据块占用；
响应于所述数据块对应的逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
响应于所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取所述其他数据块；
判断所述一部分逻辑地址范围是否被其他数据块占用；
响应于所述一部分逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述一部分逻辑地址范围对应的一部分数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系；
响应于所述一部分逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述一部分数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
在一些实施例中，还包括：
针对所述数据块对应的逻辑地址范围中在所述数据单元的逻辑地址范围之外的另一部分逻辑地址范围，确定预先设置的多个数据粒度中与所述另一部分逻辑地址范围对应的另一部分数据块的大小最接近且大于所述另一部分数据块的大小的数据粒度；
将所述另一部分逻辑地址范围的起始地址作为待创建数据单元的起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建所述待创建数据单元并记录所述另一部分数据块在所述待创建数据单元中占用的逻辑地址范围；
将所述另一部分数据块写入底层存储并返回写入的物理地址，以建立并保存所述待创建数据单元对应的起始地址与返回的物理地址之间的映射关系。
在一些实施例中，还包括：
响应于所述逻辑卷接收到读请求，根据所述读请求中携带的待读取数据对应的逻辑地址范围判断对应的数据单元的数量；
响应于对应一个数据单元，根据该数据单元对应的起始地址获取对应的物理地址，以根据所述物理地址在底层存储中读取所述待读取数据；
响应于对应多个数据单元，将所述读请求拆分成多个子读请求，其中每一个子读请求读取一个数据单元对应的数据；
根据每一个数据单元对应的起始地址获取对应的物理地址；
判断获取的多个对应的物理地址是否是连续的；
响应于是连续的，将所述多个子读请求构造为一个IO后下发给底层存储以返回多个连续的物理地址对应的数据；
响应于不是连续的，将多个子请求根据对应的物理地址构造成若干个IO，依次下发给底层存储，进而返回相应的数据。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种数据处理方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种数据处理方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质（例如，存储器）可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括以下步骤：
响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
将所述逻辑地址作为起始地址和将所述最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
将所述数据块写入底层存储并返回写入的物理地址；
建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
2.如权利要求1所述的方法，其特征在于，还包括：
响应于所述写请求中携带的逻辑地址被所述逻辑卷中的数据单元占用，根据所述写请求中携带的逻辑地址和所述数据块的大小确定所述数据块对应的逻辑地址范围；
确定所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围的关系；
响应于所述数据块对应的逻辑地址范围与所述数据单元的逻辑地址范围相同，将所述数据块写入底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
3.如权利要求2所述的方法，其特征在于，还包括：
响应于所述数据块对应的逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取其他数据块；
判断所述数据块对应的逻辑地址范围是否被其他数据块占用；
响应于所述数据块对应的逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址；
重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
4.如权利要求3所述的方法，其特征在于，还包括：
响应于所述数据块对应的逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
5.如权利要求2所述的方法，其特征在于，还包括：
响应于所述数据块对应的逻辑地址范围中的一部分逻辑地址范围在所述数据单元的逻辑地址范围之内，根据所述数据单元对应的映射关系在所述底层存储中获取其他数据块；
判断所述一部分逻辑地址范围是否被其他数据块占用；
响应于所述一部分逻辑地址范围未被其他数据块占用，将获取到的所述其他数据块与所述一部分逻辑地址范围对应的一部分数据块合并，并将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系；
响应于所述一部分逻辑地址范围被其他数据块占用，确定与其他数据块相同的逻辑地址范围；
将所述其他数据块对应的逻辑地址范围去除所述相同的逻辑地址范围后得到子逻辑地址范围；
确定所述其他数据块中与所述子逻辑地址范围对应的子数据块，并将所述子数据块和所述一部分数据块合并；
将合并后的数据块写入所述底层存储并返回写入的物理地址，以重新建立并保存所述数据单元对应的起始地址与返回的物理地址的映射关系。
6.如权利要求5所述的方法，其特征在于，还包括：
针对所述数据块对应的逻辑地址范围中在所述数据单元的逻辑地址范围之外的另一部分逻辑地址范围，确定预先设置的多个数据粒度中与所述另一部分逻辑地址范围对应的另一部分数据块的大小最接近且大于所述另一部分数据块的大小的数据粒度；
将所述另一部分逻辑地址范围的起始地址作为待创建数据单元的起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建所述待创建数据单元并记录所述另一部分数据块在所述待创建数据单元中占用的逻辑地址范围；
将所述另一部分数据块写入底层存储并返回写入的物理地址，以建立并保存所述待创建数据单元对应的起始地址与返回的物理地址之间的映射关系。
7.如权利要求1所述的方法，其特征在于，还包括：
响应于所述逻辑卷接收到读请求，根据所述读请求中携带的待读取数据对应的逻辑地址范围判断对应的数据单元的数量；
响应于对应一个数据单元，根据该数据单元对应的起始地址获取对应的物理地址，以根据所述物理地址在底层存储中读取所述待读取数据；
响应于对应多个数据单元，将所述读请求拆分成多个子读请求，其中每一个子读请求读取一个数据单元对应的数据；
根据每一个数据单元对应的起始地址获取对应的物理地址；
判断获取的多个对应的物理地址是否是连续的；
响应于是连续的，将所述多个子读请求构造为一个IO后下发给底层存储以返回多个连续的物理地址对应的数据；
响应于不是连续的，将多个子请求根据对应的物理地址构造成若干个IO，依次下发给底层存储，进而返回相应的数据。
8.一种数据处理系统，其特征在于，包括：
判断模块，配置为响应于逻辑卷接收到写请求，判断所述写请求中携带的逻辑地址是否已被所述逻辑卷中的数据单元占用；
第一确定模块，配置为响应于未被占用，确定预先设置的多个数据粒度中与所述写请求对应的数据块的大小最接近且大于所述数据块的大小的数据粒度；
创建模块，配置为将所述逻辑地址作为起始地址和将最接近的数据粒度作为长度在所述逻辑卷中创建新数据单元并记录所述数据块在所述新数据单元中占用的逻辑地址范围；
写入模块，配置为将所述数据块写入底层存储并返回写入的物理地址；
元数据模块，配置为建立并保存所述新数据单元对应的起始地址与所述物理地址之间的映射关系。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110811435.4A CN113282249B (zh) | 2021-07-19 | 2021-07-19 | 一种数据处理方法、系统、设备以及介质 |
| US18/261,075 US20240086332A1 (en) | 2021-07-19 | 2021-10-29 | Data processing method and system, device, and medium |
| PCT/CN2021/127509 WO2023000536A1 (zh) | 2021-07-19 | 2021-10-29 | 一种数据处理方法、系统、设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110811435.4A CN113282249B (zh) | 2021-07-19 | 2021-07-19 | 一种数据处理方法、系统、设备以及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113282249A true CN113282249A (zh) | 2021-08-20 |
| CN113282249B CN113282249B (zh) | 2021-10-29 |
Family
ID=77286692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110811435.4A Active CN113282249B (zh) | 2021-07-19 | 2021-07-19 | 一种数据处理方法、系统、设备以及介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240086332A1 (zh) |
| CN (1) | CN113282249B (zh) |
| WO (1) | WO2023000536A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114063915A (zh) * | 2021-11-10 | 2022-02-18 | 上海航天计算机技术研究所 | 一种用于深空探测的高可靠遥测延时数据管理方法及系统 |
| WO2023000536A1 (zh) * | 2021-07-19 | 2023-01-26 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及介质 |
| CN116069685A (zh) * | 2023-03-07 | 2023-05-05 | 浪潮电子信息产业股份有限公司 | 一种存储系统写控制方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049390A (zh) * | 2012-12-14 | 2013-04-17 | 华为技术有限公司 | 应用元数据的数据处理方法及存储系统 |
| CN107122131A (zh) * | 2017-04-18 | 2017-09-01 | 杭州宏杉科技股份有限公司 | 自动精简配置的方法及装置 |
| US20180088815A1 (en) * | 2016-09-23 | 2018-03-29 | EMC IP Holding Company LLC | Method and device for storing data |
| CN108459826A (zh) * | 2018-02-01 | 2018-08-28 | 杭州宏杉科技股份有限公司 | 一种处理io请求的方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8019925B1 (en) * | 2004-05-06 | 2011-09-13 | Seagate Technology Llc | Methods and structure for dynamically mapped mass storage device |
| US9069657B2 (en) * | 2011-12-12 | 2015-06-30 | Apple Inc. | LBA bitmap usage |
| CN104461914A (zh) * | 2014-11-10 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种自动精简配置的自适应优化方法 |
| CN108268380A (zh) * | 2016-12-30 | 2018-07-10 | 北京兆易创新科技股份有限公司 | 一种读写数据的方法和装置 |
| CN110471861B (zh) * | 2019-07-10 | 2022-02-11 | 华为技术有限公司 | 一种闪存设备中的数据存储方法及闪存设备 |
| CN113282249B (zh) * | 2021-07-19 | 2021-10-29 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及介质 |
-
2021
- 2021-07-19 CN CN202110811435.4A patent/CN113282249B/zh active Active
- 2021-10-29 US US18/261,075 patent/US20240086332A1/en active Pending
- 2021-10-29 WO PCT/CN2021/127509 patent/WO2023000536A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049390A (zh) * | 2012-12-14 | 2013-04-17 | 华为技术有限公司 | 应用元数据的数据处理方法及存储系统 |
| US20180088815A1 (en) * | 2016-09-23 | 2018-03-29 | EMC IP Holding Company LLC | Method and device for storing data |
| CN107122131A (zh) * | 2017-04-18 | 2017-09-01 | 杭州宏杉科技股份有限公司 | 自动精简配置的方法及装置 |
| CN108459826A (zh) * | 2018-02-01 | 2018-08-28 | 杭州宏杉科技股份有限公司 | 一种处理io请求的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023000536A1 (zh) * | 2021-07-19 | 2023-01-26 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及介质 |
| CN114063915A (zh) * | 2021-11-10 | 2022-02-18 | 上海航天计算机技术研究所 | 一种用于深空探测的高可靠遥测延时数据管理方法及系统 |
| CN114063915B (zh) * | 2021-11-10 | 2023-08-29 | 上海航天计算机技术研究所 | 一种用于深空探测的高可靠遥测延时数据管理方法及系统 |
| CN116069685A (zh) * | 2023-03-07 | 2023-05-05 | 浪潮电子信息产业股份有限公司 | 一种存储系统写控制方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113282249B (zh) | 2021-10-29 |
| US20240086332A1 (en) | 2024-03-14 |
| WO2023000536A1 (zh) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113282249B (zh) | 一种数据处理方法、系统、设备以及介质 | |
| US10303596B2 (en) | Read-write control method for memory, and corresponding memory and server | |
| US7533230B2 (en) | Transparent migration of files among various types of storage volumes based on file access properties | |
| CN108459826B (zh) | 一种处理io请求的方法及装置 | |
| US20140223089A1 (en) | Method and device for storing data in a flash memory using address mapping for supporting various block sizes | |
| CN111125447A (zh) | 一种元数据访问方法、装置、设备及可读存储介质 | |
| CN111581126B (zh) | 一种基于ssd的日志数据保存方法、装置、设备和介质 | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| US20120117297A1 (en) | Storage tiering with minimal use of dram memory for header overhead | |
| CN110109873B (zh) | 一种用于消息队列的文件管理方法 | |
| CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
| CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
| CN115794669A (zh) | 一种扩展内存的方法、装置及相关设备 | |
| CN110347338B (zh) | 混合内存数据交换处理方法、系统及可读存储介质 | |
| CN111857572A (zh) | Tlc固态硬盘的数据写入方法、装置、设备及存储介质 | |
| CN113434470B (zh) | 数据分布方法、装置及电子设备 | |
| CN114816240A (zh) | 一种数据写入方法及一种数据读取方法 | |
| CN112463880B (zh) | 一种区块链数据存储方法及相关装置 | |
| CN113608695A (zh) | 一种数据处理方法、系统、设备以及介质 | |
| CN115437579B (zh) | 一种元数据管理方法、装置、计算机设备及可读存储介质 | |
| CN109508140B (zh) | 存储资源管理方法、装置、电子设备及电子设备、系统 | |
| US8595412B2 (en) | Data storage device and data storage system including the same | |
| CN115373608A (zh) | 数据存储方法及装置 | |
| CN112000629B (zh) | 存储系统的日志记录方法、装置、设备及可读存储介质 | |
| KR101102754B1 (ko) | 낸드 플래시 메모리 파일 시스템 및 낸드 플래시 메모리 시스템에서 파일 엑세스 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |