CN108196795A - 一种数据存储方法、设备及计算机存储介质 - Google Patents

一种数据存储方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN108196795A
CN108196795A CN201711490599.1A CN201711490599A CN108196795A CN 108196795 A CN108196795 A CN 108196795A CN 201711490599 A CN201711490599 A CN 201711490599A CN 108196795 A CN108196795 A CN 108196795A
Authority
CN
China
Prior art keywords
data block
data
nvram
mark
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711490599.1A
Other languages
English (en)
Other versions
CN108196795B (zh
Inventor
施文进
施俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WELLONG ETOWN INTERNATIONAL LOGISTICS Co Ltd
Original Assignee
WELLONG ETOWN INTERNATIONAL LOGISTICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WELLONG ETOWN INTERNATIONAL LOGISTICS Co Ltd filed Critical WELLONG ETOWN INTERNATIONAL LOGISTICS Co Ltd
Priority to CN201711490599.1A priority Critical patent/CN108196795B/zh
Publication of CN108196795A publication Critical patent/CN108196795A/zh
Application granted granted Critical
Publication of CN108196795B publication Critical patent/CN108196795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Abstract

本发明的实施方式提供了一种数据存储方法、设备以及计算机存储介质，其中，所述方法应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；其中：在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识，用于解决磁盘低速的I0性能对数据库系统带来的影响，从而提升数据库的整体性能。

Description

一种数据存储方法、设备及计算机存储介质
技术领域
本发明涉及数据处理技术领域，更具体地，本发明的涉及一种数据存储方法、设备及计算机存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
传统数据库大部分采用小机和盘阵方式，但是随着互联网技术的发展，数据量和数据分析需求剧增，传统IOE架构不论性能和成本都难以为继。分布式架构、云计算等新技术，逐渐在新一代的数据库系统中得到应用，解决了计算性能需求，能够实现横向线性扩展，但是IO访问性能由于外围存储速度受限，一直是数据库系统的性能瓶颈，特别是针对OLTP在线交易型数据库，对IO时延要求很高，直接影响用户的最终体验。
在现有的数据库系统中，采用的存储系统有两种方式：磁盘整列和分布式存储。磁盘整列存在机头性能瓶颈，不发线性扩展，需要一次为未来3-5年IT投资买单。分布式存储，采用基于x86服务器，在上面部署分布式存储软件，性能线性增长，在线灵活扩容。而目前分布式存储多采用全闪存或混合存储架构，对于性能最好的全闪存架构，IO延时是几百us，针对IO时延要求很高的应用，也会影响用户体验。因此，如何能够提高数据库的性能，解决磁盘低速的I0性能对数据库系统带来的影响，成为现有技术亟需解决的问题。
发明内容
本发明提出了一种数据存储方法、设备以及计算机存储介质，解决磁盘低速的I0性能对数据库系统带来的影响，从而提升数据库的整体性能。
一种数据存储方法，所述方法应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；其中：在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
在接收到IO请求之前，还包括：将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，所述数据块标识初始值为设定值。
将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识，包括：在所述NVRAM中存储的写请求对应的数据块，若所述数据块是所述NVRAM中的缓存队列中最后一个数据块，且所述NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
还包括：获取NVMe SSD中存储的数据；将所述NVMe SSD中存储的数据写入到所述NVRAM中的缓存队列中的数据块中，并修改所述数据块的标识。
一种数据存储设备，所述设备应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；包括：接收模块，用于接收IO请求；处理模块，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
所述处理模块，还用于将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，所述数据块标识初始值为设定值。
所述处理模块，具体用于在所述NVRAM中存储的写请求对应的数据块，若所述数据块是所述NVRAM中的缓存队列中最后一个数据块，且所述NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
所述接收模块，还用于获取NVMe SSD中存储的数据；所述处理模块，还用于将所述NVMe SSD中存储的数据写入到所述NVRAM中的缓存队列中的数据块中，并修改所述数据块的标识。
一种数据存储装置，包括：接收单元，用于接收IO请求；执行单元，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
一种计算机存储介质，包括存储器和处理器，其中存储器用于存储计算机程序，所述处理器用于按照存储器中存储的计算机程序，执行上述数据存储方法。
通过采用上述技术方案，对接收到的IO请求的类型进行判断，在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。在进行数据存储时，通过对数据块增加数据块的标识，并在存储时修改该数据块的标识，提升数据块的访问热度，从而解决磁盘低速的I0性能对数据库系统带来的影响，从而提升数据库的整体性能。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明实施例提出的分布式数据库存储系统结构组成示意图；
图2为本发明实施例提出的数据存储方法流程图；
图3为本发明实施例提出的数据存储设备结构组成示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种数据存储方法、设备以及一种计算机存储介质。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的电商平台，数据存储无论是通过云平台实现，还是通过服务器集群实现，目前分布式存储多采用全闪存或混合存储架构，对于性能最好的全闪存架构，IO延时是几百us，针对IO时延要求很高的应用，也会影响用户体验。因此，如何能够提高数据库的性能，解决磁盘低速的I0性能对数据库系统带来的影响，成为现有技术亟需解决的问题
有鉴于此，本发明实施例提供了一种数据存储方法，应用于采用分布式架构的存储节点中，存储节点包含非易失性随机访问存储器(NVRAM，Non-Volati le Random AccessMemory)和NVMe SSD组成的二级存储架构；其中：在确定出接收到IO请求的类型是写请求时，将写请求对应的数据写入到NVRAM中的数据块中，并修改数据块的标识。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
在本发明提出的技术方案中，可以应用在各种不同场景中实现数据库性能提升，例如电商平台、银联平台、证券平台以及移动通信平台等，在此并不做具体的限定。
如图1所示的系统架构，系统包括至少一个计算节点、Infiniband网络集群和若干存储节点。其中：
计算节点包括至少两台计算服务器，用于数据库计算，安装有集群软件、数据库软件和操作系统。
Infiniband网络集群至少两台Infiniband交换机，冗余部署，用于实现数据高速互联，支持RDMA协议，具有高带宽、低延时特性。
存储节点包括至少两台存储服务器，采用分布式架构，每台服务器配置NVRAM和NVMe SSD硬盘组成二级存储架构，解决IO瓶颈，提升数据库性能。
示例性方法
下面参考图1所示的系统架构，来描述根据本发明示例性实施方式。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
如图2所示，本发明实施例提出一种数据存储方法，其具体处理流程如下述：
步骤21，在存储节点启动存储应用程序，用于处理接收到的IO请求。
步骤22，在确定出接收到IO请求的类型是写请求时，将写请求对应的数据写入到NVRAM中的数据块中，并修改数据块的标识。
在本发明实施例提出的技术方案中，进行数据存储时，将数据存储至NVRAM中的数据块时，同时为该数据块设置数据块的标识，该数据快的标识可以用于表示本数据块中存储的数据的访问热度。
其中，在NVRAM中存储的写请求对应的数据块，若数据块是NVRAM中的缓存队列中最后一个数据块，且NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
可选地，在上述步骤21之前，还包括：
将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，数据块标识初始值为设定值。
可选地，在上述步骤22之后，还可以包括：
获取NVMe SSD中存储的数据，将NVMe SSD中存储的数据写入到NVRAM中的缓存队列中的数据块中，并修改数据块的标识。
通过上述步骤，在进行数据存储时，NVRAM中的缓存队列中既可以存储外部数据，也可以存储NVMe SSD中获取的数据，并只要是NVRAM中的缓存队列中的数据块，均设置数据块的标识。
基于图1所示的系统架构，以一实例进行详细阐述：
首先，存储节点启动存储应用程序，用于处理接收到的IO请求。
NVRAM作为一级缓存。当CPU发出写IO请求，应用程序直接写入NVRAM一级缓存中，同时向CPU发出数据写完成信号，当写入的数据积累到一定程度，将数据顺序的写入到后端的NVMe SSD存储中，因此采用NVRAM后，整个系统的写数据速度得到提高。
当CPU发出读IO请求，如果NVRAM中有数据时，应用程序直接从NVRAM中读取相应的数据块。如果NVRAM中没有要读的数据块时，应用程序去NVMe SSD加载数据，然后加入到NVRAM中，同时把后续数据读到NVRAM中，CPU随后访问这些数据时可以直接在NVRAM中命中。
在本发明实施例提出的技术方案中，NVRAM读写缓存分离，读缓存满不影响写缓存，确保写性能均衡，同样，写缓存满不影响度缓存，确保读缓存性能均衡。写缓存镜像，保证可靠性。
NVRAM缓存大小是一定的，为了保证热点数据在NVRAM缓存命中率，缓存中的内容应该按一定的算法替换。本发明实施例提出的技术方案中，对NVRAM缓存改进。
NVRAM缓存组成一个缓存队列，对缓存队列进行初始化，每个数据块包括两部分：有效数据和一位标识符(即上文阐述的数据块标识)。初始化缓存队列，标识符初始值为0，数据块为空。
当接收到读请求为查询数据A时，查询缓存队列没有数据，于是数据从磁盘读取数据顺序写入队列，然后再从缓存队列中读取数据，并将标识符设置为1。同理对于查询数据B，数据C。
当缓存队列缓存最后一个数据N时，且之前缓存的所有数据块标识都为1时，为了防止产生死锁，将之前所有的缓存数据标识符置为0，数据N标识符设置为1。
当查询数据N+1，此时N+1不在缓存队列中且缓存队列满，随机寻找标识符为0的数据块，将其替代，同时设置标识符为1。
在队列扫描时，首先扫描标识符为1的数据块，然后在扫描标识符为0的数据块。标识符为1的数据块表示最近命中过的数据，这样可以增加热点数据的命中率。
通过本发明实施例提出的数据读取方法，能够保证热点数据命中率，且不需要遍历全表，不需要每次将命中数据移动到队列头部，实现简单。
相应地，本发明实施例还提出一种数据存储设备，如图3所示，设备应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；包括：
接收模块301，用于接收IO请求；
处理模块302，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
所述处理模块302，还用于将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，所述数据块标识初始值为设定值。
所述处理模块302，具体用于在所述NVRAM中存储的写请求对应的数据块，若所述数据块是所述NVRAM中的缓存队列中最后一个数据块，且所述NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
所述接收模块301，还用于获取NVMe SSD中存储的数据；所述处理模块302，还用于将所述NVMe SSD中存储的数据写入到所述NVRAM中的缓存队列中的数据块中，并修改所述数据块的标识。
具体地，本发明还提出一种数据存储装置，包括：接收单元，用于接收IO请求；执行单元，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
相应地，本发明还提出一种计算机存储介质，包括存储器和处理器，其中存储器用于存储计算机程序，所述处理器用于按照存储器中存储的计算机程序，执行数据存储方法的任一步骤。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；其中：
在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
2.如权利要求1所述的方法，其特征在于，在接收到IO请求之前，还包括：
将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，所述数据块标识初始值为设定值。
3.如权利要求1所述的方法，其特征在于，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识，包括：
在所述NVRAM中存储的写请求对应的数据块，若所述数据块是所述NVRAM中的缓存队列中最后一个数据块，且所述NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
4.如权利要求1所述的方法，其特征在于，还包括：
获取NVMe SSD中存储的数据；
将所述NVMe SSD中存储的数据写入到所述NVRAM中的缓存队列中的数据块中，并修改所述数据块的标识。
5.一种数据存储设备，所述设备应用于采用分布式架构的存储节点中，所述存储节点包含非易失性随机访问存储器NVRAM和NVMe SSD组成的二级存储架构；包括：
接收模块，用于接收IO请求；
处理模块，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
6.如权利要求5所述的设备，其特征在于，所述处理模块，还用于将NVRAM中用于存储数据的缓存队列划分至少一个数据块，其中每个数据块包含有效数据部分和数据块的标识，所述数据块标识初始值为设定值。
7.如权利要求5所述的设备，其特征在于，所述处理模块，具体用于在所述NVRAM中存储的写请求对应的数据块，若所述数据块是所述NVRAM中的缓存队列中最后一个数据块，且所述NVRAM中的缓存队列中所有数据块的标识均为相同时，将除最后一个数据块的其它数据块的标识设置为初始值，修改最后一个数据块的标识为设定值。
8.如权利要求5所述的设备，其特征在于，所述接收模块，还用于获取NVMe SSD中存储的数据；
所述处理模块，还用于将所述NVMe SSD中存储的数据写入到所述NVRAM中的缓存队列中的数据块中，并修改所述数据块的标识。
9.一种数据存储装置，其特征在于，包括：
接收单元，用于接收IO请求；
执行单元，用于在确定出接收到IO请求的类型是写请求时，将所述写请求对应的数据写入到所述NVRAM中的数据块中，并修改所述数据块的标识。
10.一种计算机存储介质，其特征在于包括存储器和处理器，其中存储器用于存储计算机程序，所述处理器用于按照存储器中存储的计算机程序，执行上述权利要求1～4任一所述的数据存储方法。
CN201711490599.1A 2017-12-30 2017-12-30 一种数据存储方法、设备及计算机存储介质 Active CN108196795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711490599.1A CN108196795B (zh) 2017-12-30 2017-12-30 一种数据存储方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711490599.1A CN108196795B (zh) 2017-12-30 2017-12-30 一种数据存储方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108196795A true CN108196795A (zh) 2018-06-22
CN108196795B CN108196795B (zh) 2020-09-04

Family

ID=62587196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711490599.1A Active CN108196795B (zh) 2017-12-30 2017-12-30 一种数据存储方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108196795B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144516A1 (en) * 2003-12-30 2005-06-30 Gonzalez Carlos J. Adaptive deterministic grouping of blocks into multi-block units
CN101751225A (zh) * 2008-12-04 2010-06-23 上海华虹Nec电子有限公司 一种混合硬盘的数据存取方法
CN101794259A (zh) * 2010-03-26 2010-08-04 成都市华为赛门铁克科技有限公司 数据存储方法和装置
US20110213921A1 (en) * 2003-12-02 2011-09-01 Super Talent Electronics Inc. Command Queuing Smart Storage Transfer Manager for Striping Data to Raw-NAND Flash Modules
CN103049407A (zh) * 2012-12-27 2013-04-17 华为技术有限公司 数据存储方法、装置及系统
US20140122781A1 (en) * 2012-10-30 2014-05-01 Mangstor, Inc. Hierarchical flash translation layer
CN103902669A (zh) * 2014-03-17 2014-07-02 华中科技大学 一种基于不同存储介质的分离式文件系统
CN104281533A (zh) * 2014-09-18 2015-01-14 深圳市中博科创信息技术有限公司 一种存储数据的方法及装置
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN105159622A (zh) * 2015-10-22 2015-12-16 湖南国科微电子股份有限公司 一种减小ssd读写io时延的方法与系统
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
CN106095922A (zh) * 2016-06-12 2016-11-09 惠龙易通国际物流股份有限公司 一种车船位置数据存储方法及系统
CN106445409A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种分布式块存储的数据写入方法及装置
CN106527988A (zh) * 2016-11-04 2017-03-22 郑州云海信息技术有限公司 一种固态硬盘数据迁移的方法及装置
CN107148622A (zh) * 2014-09-23 2017-09-08 甲骨文国际公司 智能闪存高速缓存记录器
CN107220185A (zh) * 2017-05-23 2017-09-29 建荣半导体（深圳）有限公司 基于闪存的数据存储方法、装置以及闪存芯片
CN107423229A (zh) * 2017-03-16 2017-12-01 杭州电子科技大学 一种面向页级ftl的缓冲区改进方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213921A1 (en) * 2003-12-02 2011-09-01 Super Talent Electronics Inc. Command Queuing Smart Storage Transfer Manager for Striping Data to Raw-NAND Flash Modules
US20050144516A1 (en) * 2003-12-30 2005-06-30 Gonzalez Carlos J. Adaptive deterministic grouping of blocks into multi-block units
CN101751225A (zh) * 2008-12-04 2010-06-23 上海华虹Nec电子有限公司 一种混合硬盘的数据存取方法
CN101794259A (zh) * 2010-03-26 2010-08-04 成都市华为赛门铁克科技有限公司 数据存储方法和装置
US20140122781A1 (en) * 2012-10-30 2014-05-01 Mangstor, Inc. Hierarchical flash translation layer
CN103049407A (zh) * 2012-12-27 2013-04-17 华为技术有限公司 数据存储方法、装置及系统
CN103902669A (zh) * 2014-03-17 2014-07-02 华中科技大学 一种基于不同存储介质的分离式文件系统
CN104281533A (zh) * 2014-09-18 2015-01-14 深圳市中博科创信息技术有限公司 一种存储数据的方法及装置
CN107148622A (zh) * 2014-09-23 2017-09-08 甲骨文国际公司 智能闪存高速缓存记录器
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
CN105159622A (zh) * 2015-10-22 2015-12-16 湖南国科微电子股份有限公司 一种减小ssd读写io时延的方法与系统
CN106095922A (zh) * 2016-06-12 2016-11-09 惠龙易通国际物流股份有限公司 一种车船位置数据存储方法及系统
CN106445409A (zh) * 2016-09-13 2017-02-22 郑州云海信息技术有限公司 一种分布式块存储的数据写入方法及装置
CN106527988A (zh) * 2016-11-04 2017-03-22 郑州云海信息技术有限公司 一种固态硬盘数据迁移的方法及装置
CN107423229A (zh) * 2017-03-16 2017-12-01 杭州电子科技大学 一种面向页级ftl的缓冲区改进方法
CN107220185A (zh) * 2017-05-23 2017-09-29 建荣半导体（深圳）有限公司 基于闪存的数据存储方法、装置以及闪存芯片

Also Published As

Publication number Publication date
CN108196795B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN108459826B (zh) 一种处理io请求的方法及装置
CN108810041A (zh) 一种分布式缓存系统的数据写入及扩容方法、装置
CN106648464B (zh) 基于云存储的多节点混合块缓存数据读写方法及系统
CN103399823B (zh) 业务数据的存储方法、设备和系统
US11169927B2 (en) Efficient cache management
CN103116552A (zh) 用于在分布式存储系统中分配存储空间的方法和装置
CN111708719B (zh) 计算机存储加速方法、电子设备及存储介质
Fu et al. Performance optimization for managing massive numbers of small files in distributed file systems
US20160301753A1 (en) Distributed Shared Log For Modern Storage Servers
Canim et al. Buffered Bloom Filters on Solid State Storage.
WO2023207492A1 (zh) 一种数据处理方法、装置、设备及可读存储介质
CN103970875A (zh) 一种并行重复数据删除方法
CN105516313A (zh) 一种用于大数据的分布式存储系统
CN104899161A (zh) 一种基于云存储环境的连续数据保护的缓存方法
US7725654B2 (en) Affecting a caching algorithm used by a cache of storage system
CN114844846A (zh) 一种基于可编程交换机的多级缓存分布式键值存储系统
CN110018879B (zh) 应用于分布式系统的延迟加载方法及装置
CN108052296A (zh) 一种数据读取方法、设备及计算机存储介质
CN106599301A (zh) 多客户端并发数据读写加速方法及装置
CN109844723B (zh) 使用基于服务的统计信息进行主控建立的方法和系统
CN113031876A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN114785662B (zh) 一种存储管理方法、装置、设备及机器可读存储介质
US10503409B2 (en) Low-latency lightweight distributed storage system
CN108196795A (zh) 一种数据存储方法、设备及计算机存储介质
CN115934583A (zh) 分级缓存方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant