CN105786410A - 一种提高数据存储系统处理速度的方法及数据存储系统 - Google Patents

一种提高数据存储系统处理速度的方法及数据存储系统 Download PDF

Info

Publication number
CN105786410A
CN105786410A CN201610113359.9A CN201610113359A CN105786410A CN 105786410 A CN105786410 A CN 105786410A CN 201610113359 A CN201610113359 A CN 201610113359A CN 105786410 A CN105786410 A CN 105786410A
Authority
CN
China
Prior art keywords
data
space
storage
metadata
memory space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610113359.9A
Other languages
English (en)
Inventor
李俊宗
周枫
林鹏程
崔登荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Virtual Clusters Information Technology Co Ltd
Original Assignee
Shenzhen Virtual Clusters Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Virtual Clusters Information Technology Co Ltd filed Critical Shenzhen Virtual Clusters Information Technology Co Ltd
Priority to CN201610113359.9A priority Critical patent/CN105786410A/zh
Publication of CN105786410A publication Critical patent/CN105786410A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种提高数据存储系统的处理速度的方法及数据存储系统，存储系统包括日志存储空间、元数据存储空间、数据存储空间和数据缓存空间，日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，方法包括：接收待存储数据；判断数据存储空间的空闲空间是否大于预设阈值；若大于，将待存储数据写入数据缓存空间,并生成针写入实务记录，以及将待存储数据在数据缓存空间的存储地址写入待存储数据的元数据中；将写入实务记录写入日志存储空间，以及将待存储数据的元数据写入元数据存储空间。通过上述方式，本发明能够提高数据存储系统的处理速度，优化数据存储系统的处理性能。

Description

一种提高数据存储系统处理速度的方法及数据存储系统
技术领域
本发明涉及数据存储技术领域，特别是涉及一种提高数据存储系统处理速度的方法及数据存储系统。
背景技术
数据存储系统是指由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备和处理算法所组成的系统。随着存储数据越来越多，存储系统的存储空间也越来越大，对数据存储系统的处理性能要求也越来越高。
数据存储系统在处理数据时主要包括数据读写、元数据读写和日志记录，而在现有技术的数据存储系统中，大多数采集机械硬盘或者串口硬盘存储数据、元数据和日志记录。而机械硬盘和串口硬盘的读写速度不高，在数据存储系统存在大量热点数据时，机械硬盘和串口硬盘自身的读写速度会成数据存储系统的瓶颈。
发明内容
本发明主要解决的技术问题是提供一种提高数据存储系统处理速度的方法及数据存储系统，能够提高数据存储系统的处理速度，优化数据存储系统的处理性能。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种一种提高数据存储系统的处理速度的方法，所述存储系统包括日志存储空间、元数据存储空间、数据存储空间和数据缓存空间，所述日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，所述方法包括：接收待存储数据；判断所述数据存储空间的空闲空间是否大于预设阈值；若大于，将所述待存储数据写入数据缓存空间,并生成针写入实务记录，以及将所述待存储数据在数据缓存空间的存储地址写入待存储数据的元数据中；将所述写入实务记录写入日志存储空间，以及将所述待存储数据的元数据写入元数据存储空间。
其中，所述方法还包括：在客户端访问所述数据缓存空间存储的数据时，记录访问所述数据缓存空间内的各个数据的访问时间和访问次数；在所述数据存储空间的空闲空间小于或和等于预设阈值时，根据最近最少使用算法，并结合所述数据缓存空间内的各个数据的访问时间和访问次数，从所述数据缓存空间提取冷点数据；将所述冷点数据移动至数据存储空间，并生成第一移动实务记录，将所述第一移动实务记录写入日志存储空间，以及将在所述冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间的存储地址，再返回判断所述数据存储空间的空闲空间是否大于预设阈值的步骤；
其中，所述方法还包括：在所述客户端访问所述数据存储空间存储的数据时，记录访问所述数据存储空间内的各个数据的访问时间和访问次数；根据所述数据存储空间内的各个的访问时间和访问次数，从所述数据存储空间提取热点数据，并将所述热点数据移动至数据缓存空间，并生成第二移动实务记录，将所述第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间的存储地址。
其中，所述数据存储空间和数据缓存空间的容量比为预设值。
其中，所述日志存储空间、元数据存储空间和数据缓存空间均为固态硬盘；所述数据存储空间为串口硬盘或者机械硬盘。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种数据存储系统，包括：元数据存储空间、数据缓存空间、数据存储空间、日志存储空间和处理器，所述元数据存储空间、数据缓存空间、数据存储空间和日志存储空间均与处理器连接，并且所述日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能；所述处理器用于：接收待存储数据；判断所述数据存储空间的空闲空间是否大于预设阈值；若大于，将所述待存储数据写入数据缓存空间,并生成针写入实务记录，以及将所述待存储数据在数据缓存空间的存储地址写入待存储数据的元数据；将所述写入实务记录写入日志存储空间，以及将所述待存储数据的元数据写入元数据存储空间。
其中，所述处理器还用于：在客户端访问所述数据缓存空间存储的数据时，记录访问所述数据缓存空间内的各个数据的访问时间和访问次数；在所述数据存储空间的空闲空间小于或和等于预设阈值时，根据最近最少使用算法，并结合所述数据缓存空间内的各个数据的访问时间和访问次数，从所述数据缓存空间提取冷点数据；将所述冷点数据移动至数据存储空间，并生成第一移动实务记录，将所述第一移动实务记录写入日志存储空间，以及将在所述元数据存储空间内的冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间的存储地址。
其中，所述处理器还用于：在所述客户端访问所述数据存储空间存储的数据时，记录访问所述数据存储空间内的各个数据的访问时间和访问次数；根据所述数据存储空间内的各个的访问时间和访问次数，从所述数据存储空间提取热点数据，并将所述热点数据移动至数据缓存空间，并生成第二移动实务记录，将所述第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间的存储地址。
其中，所述数据存储空间和数据缓存空间的容量比为预设值。
其中，所述日志存储空间、元数据存储空间和数据缓存空间均为固态硬盘；所述数据存储空间为串口硬盘或者机械硬盘。
本发明的有益效果是：区别于现有技术的情况，本发明将向数据存储系统写入待存储数据所生成的写入实务记录，和，在数据存储系统中移动数据时所生成的移动实务记录存储至日志存储空间，数据存储系统内所存储的数据的元数据存储至元数据存储空间，在数据存储系统刚写入的数据存储至数据缓存空间，或者，数据存储空间内的数据变成热点数据时，将热点数据移动至数据缓存空间，而日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，进而提高数据存储系统的处理速度，优化数据存储系统的处理性能。
附图说明
图1是本发明提高数据存储系统处理速度的方法实施方式的流程图；
图2是本发明提高数据存储系统处理速度的方法实施方式中将数据存储空间的热点数据移至数据缓存空间的流程图；
图3是本发明数据存储系统实施方式的示意图。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1，数据存储系统包括日志存储空间、元数据存储空间、数据存储空间和数据缓存空间，日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，提高数据存储系统处理速度的方法包括：
步骤S201：接收待存储数据；
步骤S202：据缓存空间的空闲空间是否大于预设阈值；若大于，进入步骤S203，否则进入步骤S206；
数据缓存空间的空闲空间是指数据缓存空间内剩余的可用空间，而预设阈值可以根据实际设定，此处不再具体限定，当然，在其它替代实施方施中，预设阈值可以直接在数据存储系统设置成可调的，以使用户根据需要设置成不同的数据值。
步骤S203：将待存储数据写入数据缓存空间,并生成针写入实务记录，以及将待存储数据在数据缓存空间的存储地址写入待存储数据的元数据中；
数据存储系统中任何操作均生成对应的实务记录，例如：在写入数据时，生成写入实务记录；在删除数据时，生成删除实务记录，以方便后续在数据存储系统的各种操作进行跟踪，以及方便数据存储系统进行数据灾难回滚。
步骤S204：将写入实务记录写入日志存储空间，以及将待存储数据的元数据写入元数据存储空间。
元数据用于标记数据在数据存储系统上位置，其包括与其对应的数据的标识以及数据在数据存储系统中的存储地址。
由于日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，将在数据存储系统中执行的各个操作时生成的实务记录以及在数据存储系统中的数据的元数据分别写入读写性能更优的日志存储空间和元数据存储空间内，可以提高对实务记录和元数据的处理速度，进而提高数据存储系统的处理速度。另外，在数据存储系统中存在最近被访问的数据最近被再次访问的可能性越高的原理，因此，在向数据存储系统写入待存储数据时，先待存储数据直接存储数据缓存空间，优化数据存储系统。
在数据缓存空间不足时，可以先将数据缓存空间中的部分数据移动至数据存储空间，以增加数据缓存空间的剩余空间，而在数据缓存空间的空间时，可以根据最近最少使用算法进行释放，以使热点数据保留数据缓存空间内，而冷点数据移动至数据存储空间内，则方法还包括：
步骤S205：在客户端访问数据缓存空间存储的数据时，记录访问数据缓存空间内的各个数据的访问时间和访问次数；
步骤S206：根据最近最少使用算法，并结合所据缓存空间内的各个数据的访问时间和访问次数，从数据缓存空间提取冷点数据；
最近最少使用算法的具体模型不作限定，也可以根据实际设定，例如：以当前时间向前推1个小时内，数据缓存空间内被访问过的并且访问次数小于5次作为冷点数据，或者，以当前时间向前推3个小时内，数据缓存空间内被访问过的并且访问次数小于10次作为冷点数据。
步骤S207：将冷点数据移动至数据存储空间，并生成第一移动实务记录，将第一移动实务记录写入日志存储空间，以及将在冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间的存储地址，再返回步骤S202，直至数据存储空间的空闲空间大于预设阈值；
当然，在其它替代实施方式中，除了在接收到待存储数据才判断数据存储空间的空闲空间是否大于预设阈值之外，也可以实时监控数据缓存空间的空闲空间，当数据缓存空间的空闲空间小于或等于预设阈值时，从数据缓存空间中提取冷点数据，并移动至数据存储空间内。
另外，当数据存储空间内的数据变成热点数据时，也可以把热点数据移动至数据缓存空间，优化数据存储系统的处理性能，则如图2所示，方法还包括：
步骤S208：在客户端访问所述数据存储空间存储的数据时，记录访问数据存储空间内的各个数据的访问时间和访问次数；
步骤S209：根据数据存储空间内的各个的访问时间和访问次数，从数据存储空间提取热点数据，并将热点数据移动至数据缓存空间，并生成第二移动实务记录，将第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间的存储地址；
需要说明的是：数据存储空间和数据缓存空间的容量比为预设值，用户可以根据实际情况设定，而在数据缓存空间的容量远小数据存储空间时，当数据存储空间出现大量热点数据时，则命中并移动至数据缓存空间的热点数据就会有所限制，还会有大部分的热点数据存在于数据存储空间，大大影响了数据存储系统的处理速度，因此，数据存储空间和数据缓存空间的容量比不宜过低，在本实施方施中，优选的，数据存储空间和数据缓存空间的容量比为4:1，4:1的容量比可以大大提高热点数据的命中并移动至数据缓存空间的概率；另外，所述日志存储空间、元数据存储空间和数据缓存空间均为固态硬盘；数据存储空间为串口硬盘或者机械硬盘。
在本发明实施方式中，将向数据存储系统写入待存储数据所生成的写入实务记录，和，在数据存储系统中移动数据时所生成的移动实务记录存储至日志存储空间，数据存储系统内所存储的数据的元数据存储至元数据存储空间，在数据存储系统刚写入的数据存储至数据缓存空间，或者，数据存储空间内的数据变成热点数据时，将热点数据移动至数据缓存空间，而日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，进而提高数据存储系统的处理速度，优化数据存储系统的处理性能。
本发明又提供数据存储系统实施方施。请参阅图2，数据存储系统30包括元数据存储空间301、数据缓存空间302、数据存储空间303、日志存储空间304和处理器305，元数据存储空间301、数据缓存空间302、数据存储空间303和日志存储空间均与处理器连接，并且日志存储空间、元数据存储空间301和数据缓存空间302的读写性能均优于数据存储空间303的读写性能。
处理器用于：接收待存储数据；判断数据存储空间303的空闲空间是否大于预设阈值；若大于，将待存储数据写入数据缓存空间302,并生成针写入实务记录，以及将待存储数据在数据缓存空间302的存储地址写入待存储数据的元数据；将写入实务记录写入日志存储空间，以及将待存储数据的元数据写入元数据存储空间301。
由于日志存储空间、元数据存储空间301和数据缓存空间302的读写性能均优于数据存储空间303的读写性能，将在数据存储系统30中执行的各个操作时生成的实务记录以及在数据存储系统30中的数据的元数据分别写入读写性能更优的日志存储空间和元数据存储空间301内，可以提高对实务记录和元数据的处理速度，进而提高数据存储系统30的处理速度。另外，将向数据存储系统30则写入待存储数据，也先待存储数据直接存储数据缓存空间302，优化数据存储系统30的处理性能。
在数据缓存空间302不足时，也可以对数据缓存空间302进行释放处理，则处理器还用于：在客户端访问所述数据缓存空间302存储的数据时，记录访问所述数据缓存空间302内的各个数据的访问时间和访问次数；在所述数据存储空间303的空闲空间小于或和等于预设阈值时，根据最近最少使用算法，并结合所述数据缓存空间302内的各个数据的访问时间和访问次数，从所述数据缓存空间302提取冷点数据；将所述冷点数据移动至数据存储空间303，并生成第一移动实务记录，将所述第一移动实务记录写入日志存储空间，以及将在所述元数据存储空间301内的冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间303的存储地址。
当然，当数据存储空间303存在热点数据时，也可以把热点数据移动至数据缓存空间302内，则处理器还用于在所述客户端访问所述数据存储空间303存储的数据时，记录访问所述数据存储空间303内的各个数据的访问时间和访问次数；根据所述数据存储空间303内的各个的访问时间和访问次数，从所述数据存储空间303提取热点数据，并将所述热点数据移动至数据缓存空间302，并生成第二移动实务记录，将所述第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间301内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间302的存储地址。
需要说明的是：在将数据存储空间303内的热点数据移动至数据缓存空间302，也需要判断数据缓存空间302的空闲空间是否满足，若不满足，需要先释放数据缓存空间302的空间。另外，本发明的数据存储系统30也可以集群式的存储系统，是由多个分布式的存储节点组成的。
数据存储空间和数据缓存空间的容量比为预设值，用户可以根据实际情况设定预设值的具体数据，为了提高命中数据存储空间303内的热点数据并将热点数据移动至缓存空间的概率，在本实施方施中，优选的，数据存储空间303和数据缓存空间302的容量比为4:1；另外，日志存储空间、元数据存储空间301和数据缓存空间302均优选为固态硬盘；数据存储空间303优选为串口硬盘或者机械硬盘。
在本发明实施方式中，将向数据存储系统30写入待存储数据所生成的写入实务记录，和，在数据存储系统30中移动数据时所生成的移动实务记录存储至日志存储空间，数据存储系统30内所存储的数据的元数据存储至元数据存储空间301，在数据存储系统30刚写入的数据存储至数据缓存空间302，或者，数据存储空间303内的数据变成热点数据时，将热点数据移动至数据缓存空间302，而日志存储空间、元数据存储空间301和数据缓存空间302的读写性能均优于数据存储空间303的读写性能，进而提高数据存储系统30的处理速度，优化数据存储系统30的处理性能。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种提高数据存储系统的处理速度的方法，其特征在于，所述存储系统包括日志存储空间、元数据存储空间、数据存储空间和数据缓存空间，所述日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能，所述方法包括：
接收待存储数据；
判断所述数据存储空间的空闲空间是否大于预设阈值；
若大于，将所述待存储数据写入数据缓存空间,并生成针写入实务记录，以及将所述待存储数据在数据缓存空间的存储地址写入待存储数据的元数据中；
将所述写入实务记录写入日志存储空间，以及将所述待存储数据的元数据写入元数据存储空间。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在客户端访问所述数据缓存空间存储的数据时，记录访问所述数据缓存空间内的各个数据的访问时间和访问次数；
在所述数据存储空间的空闲空间小于或和等于预设阈值时，根据最近最少使用算法，并结合所述数据缓存空间内的各个数据的访问时间和访问次数，从所述数据缓存空间提取冷点数据；
将所述冷点数据移动至数据存储空间，并生成第一移动实务记录，将所述第一移动实务记录写入日志存储空间，以及将在所述冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间的存储地址，再返回判断所述数据存储空间的空闲空间是否大于预设阈值的步骤。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述客户端访问所述数据存储空间存储的数据时，记录访问所述数据存储空间内的各个数据的访问时间和访问次数；
根据所述数据存储空间内的各个的访问时间和访问次数，从所述数据存储空间提取热点数据，并将所述热点数据移动至数据缓存空间，并生成第二移动实务记录，将所述第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间的存储地址。
4.根据权利要求3所述的方法，其特征在于，
所述数据存储空间和数据缓存空间的容量比为预设值。
5.根据权利要求1至4所述任意一项的方法，其特征在于，
所述日志存储空间、元数据存储空间和数据缓存空间均为固态硬盘；
所述数据存储空间为串口硬盘或者机械硬盘。
6.一种数据存储系统，其特征在于，包括：元数据存储空间、数据缓存空间、数据存储空间、日志存储空间和处理器，所述元数据存储空间、数据缓存空间、数据存储空间和日志存储空间均与处理器连接，并且所述日志存储空间、元数据存储空间和数据缓存空间的读写性能均优于数据存储空间的读写性能；
所述处理器用于：
接收待存储数据；
判断所述数据存储空间的空闲空间是否大于预设阈值；
若大于，将所述待存储数据写入数据缓存空间,并生成针写入实务记录，以及将所述待存储数据在数据缓存空间的存储地址写入待存储数据的元数据；
将所述写入实务记录写入日志存储空间，以及将所述待存储数据的元数据写入元数据存储空间。
7.根据权利要求6所述的数据存储系统，其特征在于，
所述处理器还用于：
在客户端访问所述数据缓存空间存储的数据时，记录访问所述数据缓存空间内的各个数据的访问时间和访问次数；
在所述数据存储空间的空闲空间小于或和等于预设阈值时，根据最近最少使用算法，并结合所述数据缓存空间内的各个数据的访问时间和访问次数，从所述数据缓存空间提取冷点数据；
将所述冷点数据移动至数据存储空间，并生成第一移动实务记录，将所述第一移动实务记录写入日志存储空间，以及将在所述元数据存储空间内的冷点数据的元数据内存储的存储地址替换为冷点数据在数据存储空间的存储地址。
8.根据权利要求7所述的数据存储系统，其特征在于，
所述处理器还用于：
在所述客户端访问所述数据存储空间存储的数据时，记录访问所述数据存储空间内的各个数据的访问时间和访问次数；
根据所述数据存储空间内的各个的访问时间和访问次数，从所述数据存储空间提取热点数据，并将所述热点数据移动至数据缓存空间，并生成第二移动实务记录，将所述第二移动实务记录写入日志存储空间，以及将存储于元数据存储空间内的热点数据的元数据内存储的存储地址替换为热点数据在数据缓存空间的存储地址。
9.根据权利要求3所述的数据存储系统，其特征在于，
所述数据存储空间和数据缓存空间的容量比为预设值。
10.根据权利要求1所述的数据存储系统，其特征在于，
所述日志存储空间、元数据存储空间和数据缓存空间均为固态硬盘；所述数据存储空间为串口硬盘或者机械硬盘。
CN201610113359.9A 2016-03-01 2016-03-01 一种提高数据存储系统处理速度的方法及数据存储系统 Pending CN105786410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610113359.9A CN105786410A (zh) 2016-03-01 2016-03-01 一种提高数据存储系统处理速度的方法及数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610113359.9A CN105786410A (zh) 2016-03-01 2016-03-01 一种提高数据存储系统处理速度的方法及数据存储系统

Publications (1)

Publication Number Publication Date
CN105786410A true CN105786410A (zh) 2016-07-20

Family

ID=56387656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610113359.9A Pending CN105786410A (zh) 2016-03-01 2016-03-01 一种提高数据存储系统处理速度的方法及数据存储系统

Country Status (1)

Country Link
CN (1) CN105786410A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168652A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种提升SSD Cache读性能的方法
CN107168643A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN107168648A (zh) * 2017-05-04 2017-09-15 广东欧珀移动通信有限公司 文件存储方法、装置及终端
CN108073636A (zh) * 2016-11-15 2018-05-25 中国移动通信集团公司 一种数据管理的方法及装置、数据库一体机
CN109508143A (zh) * 2018-08-17 2019-03-22 郑州云海信息技术有限公司 一种数据存储方法及装置
CN109992212A (zh) * 2019-04-10 2019-07-09 苏州浪潮智能科技有限公司 一种数据写入方法和一种数据读取方法
CN114063883A (zh) * 2020-07-31 2022-02-18 伊姆西Ip控股有限责任公司 存储数据方法、电子设备和计算机程序产品
CN114265560A (zh) * 2021-12-24 2022-04-01 金锐软件技术(杭州)有限公司 一种亿级合规指标业务数据的自规范存储系统
CN116521090A (zh) * 2023-06-25 2023-08-01 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110320733A1 (en) * 2010-06-04 2011-12-29 Steven Ted Sanford Cache management and acceleration of storage media
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN105335098A (zh) * 2015-09-25 2016-02-17 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110320733A1 (en) * 2010-06-04 2011-12-29 Steven Ted Sanford Cache management and acceleration of storage media
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN105335098A (zh) * 2015-09-25 2016-02-17 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073636A (zh) * 2016-11-15 2018-05-25 中国移动通信集团公司 一种数据管理的方法及装置、数据库一体机
CN107168643A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN107168643B (zh) * 2017-03-31 2020-04-03 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN107168648A (zh) * 2017-05-04 2017-09-15 广东欧珀移动通信有限公司 文件存储方法、装置及终端
CN107168652A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种提升SSD Cache读性能的方法
CN109508143A (zh) * 2018-08-17 2019-03-22 郑州云海信息技术有限公司 一种数据存储方法及装置
CN109992212A (zh) * 2019-04-10 2019-07-09 苏州浪潮智能科技有限公司 一种数据写入方法和一种数据读取方法
CN114063883A (zh) * 2020-07-31 2022-02-18 伊姆西Ip控股有限责任公司 存储数据方法、电子设备和计算机程序产品
CN114265560A (zh) * 2021-12-24 2022-04-01 金锐软件技术(杭州)有限公司 一种亿级合规指标业务数据的自规范存储系统
CN116521090A (zh) * 2023-06-25 2023-08-01 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质
CN116521090B (zh) * 2023-06-25 2023-09-12 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105786410A (zh) 一种提高数据存储系统处理速度的方法及数据存储系统
CN102541927B (zh) 一种实现数据缓存的方法和装置
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN113821171B (zh) 一种基于哈希表与lsm树的键值存储方法
CN102591790B (zh) 基于固态硬盘的数据存储快照实现方法及固态硬盘
CN103246696A (zh) 高并发数据库的访问方法及应用于多服务器系统的方法
CN109542358A (zh) 一种固态硬盘冷热数据分离方法、装置及设备
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN101673192B (zh) 时序化的数据处理方法、装置及系统
US20140068216A1 (en) Storage system for supporting copy command and move command and operation method of storage system
CN103678166A (zh) 一种采用固态硬盘作为计算机高速缓存的实现方法及系统
CN103049224B (zh) 将数据导入物理磁带的方法、装置和系统
CN107608625B (zh) 一种提升固存储设备读性能的方法
CN104092670A (zh) 网络缓存服务器处理文件的方法及处理缓存文件的设备
CN105787012A (zh) 一种提高存储系统处理小文件的方法以及存储系统
CN102981979B (zh) 一种提高存储系统数据访问速度的方法
CN107273046A (zh) 一种基于固态盘阵列的数据处理方法及系统
CN103034592A (zh) 数据处理方法和装置
CN106095332A (zh) 一种数据重删方法及装置
CN113377690A (zh) 一种适应不同大小的用户请求的固态硬盘处理方法
CN106527987A (zh) 一种不带dram的ssd主控可靠性提升系统及方法
CN112346659A (zh) 一种分布式对象存储元数据的存储方法、设备及存储介质
CN105915595B (zh) 一种集群存储系统存取数据的方法以及集群存储系统
CN111752905A (zh) 一种基于对象存储的大文件分布式缓存系统
CN108647157A (zh) 一种基于相变存储器的映射管理方法及固态硬盘

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720

RJ01 Rejection of invention patent application after publication