CN111124281B - 全闪存储系统的数据存储方法、装置、设备及存储介质 - Google Patents

全闪存储系统的数据存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111124281B
CN111124281B CN201911204981.0A CN201911204981A CN111124281B CN 111124281 B CN111124281 B CN 111124281B CN 201911204981 A CN201911204981 A CN 201911204981A CN 111124281 B CN111124281 B CN 111124281B
Authority
CN
China
Prior art keywords
solid state
state disk
disk layer
data block
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911204981.0A
Other languages
English (en)
Other versions
CN111124281A (zh
Inventor
郭平加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201911204981.0A priority Critical patent/CN111124281B/zh
Publication of CN111124281A publication Critical patent/CN111124281A/zh
Application granted granted Critical
Publication of CN111124281B publication Critical patent/CN111124281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全闪存储系统的数据存储方法，该方法包括以下步骤：当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。应用本发明实施例所提供的技术方案，实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能。本发明还公开了一种全闪存储系统的数据存储装置、设备及存储介质，具有相应技术效果。

Description

全闪存储系统的数据存储方法、装置、设备及存储介质
技术领域
本发明涉及存储技术领域，特别是涉及一种全闪存储系统的数据存储方法、装置、设备及计算机可读存储介质。
背景技术
在存储行业中，由于固态硬盘SSD价格不断降低，在一些性能要求较高的环境中，现在有很多设备配送全闪存环境。固态硬盘的种类越来越多，性能有高低之分。现在市面上比较流行的几种固态硬盘：NVME固态硬盘、普通固态硬盘、RI固态硬盘。NVME固态硬盘的每秒进行读写操作的次数IOPS最高；普通固态硬盘次之；RI固态硬盘最低。
现有的利用全闪存系统对数据进行存储的方式是对数据进行统一存储，不能充分利用各种固态硬盘的自身优势，系统对数据的存储管理性能低。
综上所述，如何有效地解决现有的利用全闪存系统对数据进行存储的方式，不能充分利用各种固态硬盘的自身优势，系统对数据的存储管理性能低等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种全闪存储系统的数据存储方法，该方法实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能；本发明的另一目的是提供一种全闪存储系统的数据存储装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种全闪存储系统的数据存储方法，包括：
当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；
从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，所述数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；
分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，分别将各所述待迁移数据块迁移到对应的固态硬盘层，包括：
分别获取前端主机的IOPS值和预置的系统IOPS极值；
计算前端主机的IOPS值占所述系统IOPS极值的比例值；
从迁移线程对照表中查找所述比例值所属比例范围对应的目标线程数；其中，所述迁移线程对照表预存有各比例范围与各线程数之间的对应关系；
调取所述目标线程数的线程分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，分别将各所述待迁移数据块迁移到对应的固态硬盘层，包括：
分别确定各所述待迁移数据块对应的迁移优先级；
按照各所述待迁移数据块对应的迁移优先级，分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，分别确定各所述待迁移数据块对应的迁移优先级，包括：
分别获取所述NVME固态硬盘层、所述普通固态硬盘层、以及所述RI固态硬盘层的存储空间占用状态信息；
分别根据各所述固态硬盘层的存储空间占用状态信息确定各所述待迁移数据块对应的迁移优先级。
一种全闪存储系统的数据存储装置，包括：
热度值获取模块，用于当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；
待迁移数据块确定模块，用于从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，所述数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；
数据块迁移模块，用于分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，所述数据块迁移模块包括：
IOPS值获取子模块，用于分别获取前端主机的IOPS值和预置的系统IOPS极值；
比例值计算子模块，用于计算前端主机的IOPS值占所述系统IOPS极值的比例值；
线程数查找子模块，用于从迁移线程对照表中查找所述比例值所属比例范围对应的目标线程数；其中，所述迁移线程对照表预存有各比例范围与各线程数之间的对应关系；
数据块迁移子模块，用于调取所述目标线程数的线程分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，数据块迁移子模块包括：
优先级确定单元，用于分别确定各所述待迁移数据块对应的迁移优先级；
数据块迁移单元，用于按照各所述待迁移数据块对应的迁移优先级，分别将各所述待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，优先级确定单元包括：
空间占用状态获取子单元，用于分别获取所述NVME固态硬盘层、所述普通固态硬盘层、以及所述RI固态硬盘层的存储空间占用状态信息；
优先级确定子单元，用于分别根据各所述固态硬盘层的存储空间占用状态信息确定各所述待迁移数据块对应的迁移优先级。
一种全闪存储系统的数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述全闪存储系统的数据存储方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述全闪存储系统的数据存储方法的步骤。
应用本发明实施例所提供的方法，当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。通过对全闪存系统根据各种固态硬盘的自身优势进行分层，并预先设置存储有各访问热度范围与各固态硬盘层之间的对应关系的数据存储对照表，从而根据各数据块的访问热度值，将各数据块迁移到对应的固态硬盘层，实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能。
相应的，本发明实施例还提供了与上述全闪存储系统的数据存储方法相对应的全闪存储系统的数据存储装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中全闪存储系统的数据存储方法的一种实施流程图；
图2为本发明实施例中全闪存储系统的数据存储方法的另一种实施流程图；
图3为本发明实施例中一种全闪存储系统的数据存储装置的结构框图；
图4为本发明实施例中一种全闪存储系统的数据存储设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图1，图1为本发明实施例中全闪存储系统的数据存储方法的一种实施流程图，该方法可以包括以下步骤：
S101：当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值。
可以预先根据固态硬盘的种类对全闪存系统进行分层，从而得到NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层，可以设置主存为普通固态硬盘层，热点数据存储在NVME固态硬盘层中，不经常访问的数据存储在RI固态硬盘层，还可以将NVME固态硬盘层设置在tier0层，普通固态硬盘层设置在tier1层，RI固态硬盘层设置在tier2层。并可以设置获取各固态硬盘层中各数据块的访问热度值的触发条件，如可以将预设的时间间隔作为获取各固态硬盘层中各数据块的访问热度值的触发条件，也可以将当某一固态硬盘层的存储空间的占用比例达到一定值作为获取各固态硬盘层中各数据块的访问热度值的触发条件，可以根据实际情况进行设定和调整，本发明实施例对获取各固态硬盘层中各数据块的访问热度值的触发条件不做限定。
当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值。
普通固态硬盘层可以包括SAS固态硬盘。
S102：从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块。
其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系。
可以预先设置数据存储对照表，在数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系。当分别获取到NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值之后，可以从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块。即加入某数据块存储在普通固态硬盘层中，但是获取到的该数据块的访问热度值已高于普通固态硬盘对应的热度范围的最大值，在这种情况下，可以将确定该数据块为待迁移到NVME固态硬盘层的数据块。
S103：分别将各待迁移数据块迁移到对应的固态硬盘层。
在从数据存储对照表中分别查找到各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定出待迁移数据块之后，可以分别将各待迁移数据块迁移到对应的固态硬盘层。从而兼顾了普通固态硬盘层和NVME固态硬盘层性能和容量，实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能。
应用本发明实施例所提供的方法，当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。通过对全闪存系统根据各种固态硬盘的自身优势进行分层，并预先设置存储有各访问热度范围与各固态硬盘层之间的对应关系的数据存储对照表，从而根据各数据块的访问热度值，将各数据块迁移到对应的固态硬盘层，实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图2，图2为本发明实施例中全闪存储系统的数据存储方法的另一种实施流程图，该方法可以包括以下步骤：
S201：当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值。
S202：从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块。
其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系。
S203：分别获取前端主机的IOPS值和预置的系统IOPS极值。
可以根据系统的自身性能预先设置系统IOPS极值，在确定出待迁移数据块之后，可以分别获取前端主机的IOPS值和预置的系统IOPS极值。前端主机的IOPS值即前端主机正常处理其他IO数据的IOPS值。
S204：计算前端主机的IOPS值占系统IOPS极值的比例值。
在分别获取前端主机的IOPS值和预置的系统IOPS极值之后，可以计算前端主机的IOPS值占系统IOPS极值的比例值，从而可以得到前端主机的IO忙闲状态。如可以每五分钟统计一次前端主机的IOPS值，以一个小时为一个周期，计算平均值，根据这个平均来计算前端主机的IOPS值占系统IOPS极值的比例值。当然具体的统计周期可以根据实际情况进行设定和调整，本发明实施例对此不做限定。
S205：从迁移线程对照表中查找比例值所属比例范围对应的目标线程数。
其中，迁移线程对照表预存有各比例范围与各线程数之间的对应关系。
由于系统的总数一定，处理前端主机的IO需要占用相应的线程数，进行数据块迁移也需要相应的线程数，可以预先设置迁移线程对照表，迁移线程对照表中预存有各比例范围与各线程数之间的对应关系，即设置为各比例范围与各线程数呈反比的对应关系，如可以设置为如果比例值还没有达到系统IOPS极值的25％，这个时候可以使用4个线程来执行迁移任务；如果还没有达到系统IOPS极值的50％，这个时候可以使用3个线程来执行迁移任务；如果还没有达到系统IOPS极值的75％，这个时候可以使用2个线程来执行迁移任务；如果还没有达到系统IOPS极值的100％，这个时候可以使用1个线程来执行迁移任务。
在计算前端主机的IOPS值占系统IOPS极值的比例值之后，可以从迁移线程对照表中查找比例值所属比例范围对应的目标线程数。通过设置迁移线程对照表，避免了由于数据块迁移与前端主机的IO争夺线程，造成前端主机IO处理异常的现象，保证了前端主机IO处理的正常进行。
S206：分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层的存储空间占用状态信息。
在确定出待迁移数据块之后，可以分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层的存储空间占用状态信息，从而可以根据各固态硬盘层的存储空间占用状态信息预先安排后续的数据块迁移任务。
S207：分别根据各固态硬盘层的存储空间占用状态信息确定各待迁移数据块对应的迁移优先级。
在分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层的存储空间占用状态信息之后，可以分别根据各固态硬盘层的存储空间占用状态信息确定各待迁移数据块对应的迁移优先级。如当前获取到NVME固态硬盘层已占用了较大部分的存储空间，且当前确定出需要迁移到NVME固态硬盘层的数据块较多，普通固态硬盘层和RI固态硬盘层存储空间相对较空闲时，可以优先确定优先将NVME固态硬盘层中不经常访问的数据迁移到对应的普通固态硬盘层或RI固态硬盘层，从而促进了数据块迁移任务的顺利进行。
S208：按照各待迁移数据块对应的迁移优先级，调取目标线程数的线程分别将各待迁移数据块迁移到对应的固态硬盘层。
在查找到比例值所属比例范围对应的目标线程数，并确定出各待迁移数据块对应的迁移优先级之后，可以按照各待迁移数据块对应的迁移优先级，调取目标线程数的线程分别将各待迁移数据块迁移到对应的固态硬盘层。
相应于上面的方法实施例，本发明实施例还提供了一种全闪存储系统的数据存储装置，下文描述的全闪存储系统的数据存储装置与上文描述的全闪存储系统的数据存储方法可相互对应参照。
参见图3，图3为本发明实施例中一种全闪存储系统的数据存储装置的结构框图，该装置可以包括：
热度值获取模块31，用于当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；
待迁移数据块确定模块32，用于从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；
数据块迁移模块33，用于分别将各待迁移数据块迁移到对应的固态硬盘层。
应用本发明实施例所提供的装置，当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。通过对全闪存系统根据各种固态硬盘的自身优势进行分层，并预先设置存储有各访问热度范围与各固态硬盘层之间的对应关系的数据存储对照表，从而根据各数据块的访问热度值，将各数据块迁移到对应的固态硬盘层，实现对各类固态硬盘自身优势的充分利用，较大地提高了系统对数据的存储管理性能。
在本发明的一种具体实施方式中，数据块迁移模块33包括：
IOPS值获取子模块，用于分别获取前端主机的IOPS值和预置的系统IOPS极值；
比例值计算子模块，用于计算前端主机的IOPS值占系统IOPS极值的比例值；
线程数查找子模块，用于从迁移线程对照表中查找比例值所属比例范围对应的目标线程数；其中，迁移线程对照表预存有各比例范围与各线程数之间的对应关系；
数据块迁移子模块，用于调取目标线程数的线程分别将各待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，数据块迁移子模块包括：
优先级确定单元，用于分别确定各待迁移数据块对应的迁移优先级；
数据块迁移单元，用于按照各待迁移数据块对应的迁移优先级，分别将各待迁移数据块迁移到对应的固态硬盘层。
在本发明的一种具体实施方式中，优先级确定单元包括：
空间占用状态获取子单元，用于分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层的存储空间占用状态信息；
优先级确定子单元，用于分别根据各固态硬盘层的存储空间占用状态信息确定各待迁移数据块对应的迁移优先级。
相应于上面的方法实施例，参见图4，图4为本发明所提供的全闪存储系统的数据存储设备的示意图，该设备可以包括：
存储器41，用于存储计算机程序；
处理器42，用于执行上述存储器41存储的计算机程序时可实现如下步骤：
当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；分别将各待迁移数据块迁移到对应的固态硬盘层。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种全闪存储系统的数据存储方法，其特征在于，包括：
预先根据固态硬盘的种类对全闪存系统进行分层，得到NVME固态硬盘层、普通固态硬盘层和RI固态硬盘层；
设置主存为所述普通固态硬盘层，热点数据存储在所述NVME固态硬盘层中，不经常访问的数据存储在所述RI固态硬盘层；
将所述NVME固态硬盘层设置在tier0层，所述普通固态硬盘层设置在tier1层，所述RI固态硬盘层设置在tier2层；
当达到预设触发条件时，分别获取所述NVME固态硬盘层、所述普通固态硬盘层、以及所述RI固态硬盘层中各数据块的访问热度值；
从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，所述数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；
分别将各所述待迁移数据块迁移到对应的固态硬盘层；
其中，所述分别将各所述待迁移数据块迁移到对应的固态硬盘层，包括：
分别获取前端主机的IOPS值和预置的系统IOPS极值；
计算前端主机的IOPS值占所述系统IOPS极值的比例值；
从迁移线程对照表中查找所述比例值所属比例范围对应的目标线程数；其中，所述迁移线程对照表预存有各比例范围与各线程数之间呈反比的对应关系；
调取所述目标线程数的线程分别将各所述待迁移数据块迁移到对应的固态硬盘层。
2.根据权利要求1所述的全闪存储系统的数据存储方法，其特征在于，分别将各所述待迁移数据块迁移到对应的固态硬盘层，包括：
分别确定各所述待迁移数据块对应的迁移优先级；
按照各所述待迁移数据块对应的迁移优先级，分别将各所述待迁移数据块迁移到对应的固态硬盘层。
3.根据权利要求2所述的全闪存储系统的数据存储方法，其特征在于，分别确定各所述待迁移数据块对应的迁移优先级，包括：
分别获取所述NVME固态硬盘层、所述普通固态硬盘层、以及所述RI固态硬盘层的存储空间占用状态信息；
分别根据各所述固态硬盘层的存储空间占用状态信息确定各所述待迁移数据块对应的迁移优先级。
4.一种全闪存储系统的数据存储装置，其特征在于，包括：
热度值获取模块，用于当达到预设触发条件时，分别获取NVME固态硬盘层、普通固态硬盘层、以及RI固态硬盘层中各数据块的访问热度值；
待迁移数据块确定模块，用于从数据存储对照表中分别查找各数据块的访问热度值所属热度范围对应的固态硬盘层，并确定待迁移数据块；其中，所述数据存储对照表中预存有各访问热度范围与各固态硬盘层之间的对应关系；
数据块迁移模块，用于分别将各所述待迁移数据块迁移到对应的固态硬盘层；
其中，所述数据块迁移模块包括：
IOPS值获取子模块，用于分别获取前端主机的IOPS值和预置的系统IOPS极值；
比例值计算子模块，用于计算前端主机的IOPS值占所述系统IOPS极值的比例值；
线程数查找子模块，用于从迁移线程对照表中查找所述比例值所属比例范围对应的目标线程数；其中，所述迁移线程对照表预存有各比例范围与各线程数之间呈反比的对应关系；
数据块迁移子模块，用于调取所述目标线程数的线程分别将各所述待迁移数据块迁移到对应的固态硬盘层；
还包括：预先根据固态硬盘的种类对全闪存系统进行分层，得到NVME固态硬盘层、普通固态硬盘层和RI固态硬盘层；设置主存为所述普通固态硬盘层，热点数据存储在所述NVME固态硬盘层中，不经常访问的数据存储在所述RI固态硬盘层；将所述NVME固态硬盘层设置在tier0层，所述普通固态硬盘层设置在tier1层，所述RI固态硬盘层设置在tier2层。
5.根据权利要求4所述的全闪存储系统的数据存储装置，其特征在于，数据块迁移子模块包括：
优先级确定单元，用于分别确定各所述待迁移数据块对应的迁移优先级；
数据块迁移单元，用于按照各所述待迁移数据块对应的迁移优先级，分别将各所述待迁移数据块迁移到对应的固态硬盘层。
6.根据权利要求5所述的全闪存储系统的数据存储装置，其特征在于，优先级确定单元包括：
空间占用状态获取子单元，用于分别获取所述NVME固态硬盘层、所述普通固态硬盘层、以及所述RI固态硬盘层的存储空间占用状态信息；
优先级确定子单元，用于分别根据各所述固态硬盘层的存储空间占用状态信息确定各所述待迁移数据块对应的迁移优先级。
7.一种全闪存储系统的数据存储设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述全闪存储系统的数据存储方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述全闪存储系统的数据存储方法的步骤。
CN201911204981.0A 2019-11-29 2019-11-29 全闪存储系统的数据存储方法、装置、设备及存储介质 Active CN111124281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911204981.0A CN111124281B (zh) 2019-11-29 2019-11-29 全闪存储系统的数据存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911204981.0A CN111124281B (zh) 2019-11-29 2019-11-29 全闪存储系统的数据存储方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111124281A CN111124281A (zh) 2020-05-08
CN111124281B true CN111124281B (zh) 2023-11-03

Family

ID=70496324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911204981.0A Active CN111124281B (zh) 2019-11-29 2019-11-29 全闪存储系统的数据存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111124281B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN106886485A (zh) * 2017-02-28 2017-06-23 深圳市华傲数据技术有限公司 系统容量分析预测方法及装置
CN108121597A (zh) * 2016-11-29 2018-06-05 迈普通信技术股份有限公司 一种大数据导出装置及方法
WO2018113317A1 (zh) * 2016-12-22 2018-06-28 华为技术有限公司 数据的迁移方法、装置和系统
CN108874550A (zh) * 2018-07-18 2018-11-23 郑州云海信息技术有限公司 一种调整线程池的方法、装置、存储介质和计算机设备
CN109828890A (zh) * 2019-03-01 2019-05-31 浪潮商用机器有限公司 一种硬盘的测试数据整理方法、装置、设备及存储介质
CN109976680A (zh) * 2019-04-11 2019-07-05 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110096238A (zh) * 2019-05-07 2019-08-06 苏州浪潮智能科技有限公司 一种数据存储方法、系统及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383405B2 (en) * 2004-06-30 2008-06-03 Microsoft Corporation Systems and methods for voluntary migration of a virtual machine between hosts with common storage connectivity
WO2013124876A1 (en) * 2012-02-20 2013-08-29 Hitachi, Ltd. Storage apparatus and method thereof for performance control based on usage cases of snapshots

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN108121597A (zh) * 2016-11-29 2018-06-05 迈普通信技术股份有限公司 一种大数据导出装置及方法
WO2018113317A1 (zh) * 2016-12-22 2018-06-28 华为技术有限公司 数据的迁移方法、装置和系统
CN106886485A (zh) * 2017-02-28 2017-06-23 深圳市华傲数据技术有限公司 系统容量分析预测方法及装置
CN108874550A (zh) * 2018-07-18 2018-11-23 郑州云海信息技术有限公司 一种调整线程池的方法、装置、存储介质和计算机设备
CN109828890A (zh) * 2019-03-01 2019-05-31 浪潮商用机器有限公司 一种硬盘的测试数据整理方法、装置、设备及存储介质
CN109976680A (zh) * 2019-04-11 2019-07-05 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110096238A (zh) * 2019-05-07 2019-08-06 苏州浪潮智能科技有限公司 一种数据存储方法、系统及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ONFS:面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统（英文）;Xin LIU;Yu-tong LU;Jie YU;Peng-fei WANG;Jie-ting WU;Ying LU;;Frontiers of Information Technology & Electronic Engineering(第12期);全文 *
SPDK Vhost-NVMe: Accelerating I/Os in Virtual Machines on NVMe SSDs via User Space Vhost Target;Ziye Yang等;2018 IEEE 8th International Symposium on Cloud and Service Computing (SC2);全文 *
具有磨损均衡意识的混合固态硬盘FTL算法;姚英彪;王发宽;;计算机学报(第10期);全文 *
基于OpenSSD的闪存转换算法优化;陆政;范长军;江云飞;;计算机系统应用(第05期);全文 *
混合存储数据迁移策略研究;罗保山;张鑫;王栩;谭支鹏;;计算机技术与发展(第06期);全文 *

Also Published As

Publication number Publication date
CN111124281A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN109154917B (zh) 存储系统和固态硬盘
US20140254042A1 (en) Dynamic allocation of lba to un-shingled media partition
US20160253091A1 (en) Methods and systems to reduce ssd io latency
EP2921963A1 (en) Memory recycling method and device
EP2784683B1 (en) Storage control program, storage control method, storage system and hierarchy control apparatus thereof
US9223373B2 (en) Power arbitration for storage devices
EP3537281B1 (en) Storage controller and io request processing method
CN111124643A (zh) 一种分布式存储中的删除任务调度方法、系统及相关装置
CN107291399B (zh) 一种基于spdk的后端存储方法、装置及系统
CN109492024A (zh) 数据处理方法、装置、计算机设备以及存储介质
CN105701029A (zh) 一种异构存储优化方法及装置
US10007434B1 (en) Proactive release of high performance data storage resources when exceeding a service level objective
CN117725035B (zh) 一种针对lsm树的文件合并方法及相关设备
CN104899157A (zh) 一种内存溢出检测方法和系统
CN108932112B (zh) 一种固态颗粒的数据读写方法、装置、设备及介质
CN111124281B (zh) 全闪存储系统的数据存储方法、装置、设备及存储介质
US20140059557A1 (en) Queue with segments for task management
WO2021227789A1 (zh) 存储空间的分配方法、装置、终端及计算机可读存储介质
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN106202262B (zh) 一种信息处理方法及电子设备
CN109213422B (zh) 分层存储方法、分层存储装置及计算机可读存储介质
CN116204311A (zh) Pod集群扩缩容方法、装置、计算机设备和存储介质
CN113805812B (zh) 一种缓存管理方法、装置、设备及存储介质
CN113778821A (zh) 固态硬盘的介质访问管理方法及固态硬盘
CN114327259A (zh) 一种闪存通道控制器运行方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant