CN110007870A - 一种存储设备写请求处理方法及相关装置 - Google Patents

一种存储设备写请求处理方法及相关装置 Download PDF

Info

Publication number
CN110007870A
CN110007870A CN201910294480.XA CN201910294480A CN110007870A CN 110007870 A CN110007870 A CN 110007870A CN 201910294480 A CN201910294480 A CN 201910294480A CN 110007870 A CN110007870 A CN 110007870A
Authority
CN
China
Prior art keywords
write request
storage medium
size
written
object type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910294480.XA
Other languages
English (en)
Inventor
冯龙
康运风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910294480.XA priority Critical patent/CN110007870A/zh
Publication of CN110007870A publication Critical patent/CN110007870A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种存储设备写请求处理方法，包括：当写请求下发时，存储设备获取所述写请求的IO大小；当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。通过设置中间等级IO的处理方式，避免出现只对一种存储介质进行操作而导致的寿命降低，提高了存储设备的性能利用率。本申请还公开了一种存储设备、存储装置以及计算机可读存储介质，具有以上有益效果。

Description

一种存储设备写请求处理方法及相关装置
技术领域
本申请涉及数据存储技术领域，特别涉及一种存储设备写请求处理方法、存储设备、存储装置以及计算机可读存储介质。
背景技术
随着信息技术的不断发展出现了分布式分层存储系统，分布式分层存储系统主要是指使用SSD(Solid State Disk固态硬盘)或NVMe(NVM Express非易失性内存)等存储介质作为缓存，数据先写入到这些缓存中，再按照一定策略将数据下刷到普通机械硬盘中，从而实现数据读写性能和存储成本之间的平衡。
现有技术中的分布式分层存储系统的数据刷写策略一般是以IO大小作为判断标准，当出现写请求时，判断该写请求的IO是否大于阈值，如果是将数据全部写入普通硬盘，如果否将数据全部写入SSD中。但是，现有技术中只通过阈值将写请求的IO进行区分，当所有写请求都小于阈值时，SSD的业务压力较高，而HDD(Hard Disk Drive机械硬盘)基本没有业务，当写请求的IO都大于阈值时，所有HDD的写请求都要HDD进行处理，而SSD可能处于完全空闲的状态。也就是当写请求的IO大小无论位于阈值前后，都会使得存储系统中要不只写SSD，要不只写HDD。这些情况中都不能使系统运行在最大系统利用率下，降低了分布式存储系统的性能利用率。
因此，如何提高分布式存储系统的性能利用率是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种存储设备写请求处理方法、存储设备、存储装置以及计算机可读存储介质，通过设置中间等级IO的处理方式，避免出现只对一种存储介质进行操作而导致的寿命降低，提高了存储设备的性能利用率。
为解决上述技术问题，本申请提供一种存储设备写请求处理方法，包括：
当写请求下发时，存储设备获取所述写请求的IO大小；
当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；
当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；
当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。
可选的，当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质，包括：
当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象；
当所述对象类型为主副本对象时，将所述第一存储介质作为所述目标存储介质；
当所述对象类型不为主副本对象时，将所述第二存储介质作为所述目标存储介质；
将所述写请求对应的数据写入所述目标存储介质。
可选的，当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象，包括：
当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述存储设备的分发信息判断所述写请求的对象类型是否为主副本对象。
可选的，还包括：
当所述写请求对应的数据写入所述第一存储介质之后，按照预设规则将所述第一存储介质中的数据写入所述第二存储介质。
本申请还提供一种存储设备，包括：
IO大小获取模块，用于当写请求下发时，获取所述写请求的IO大小；
小IO处理模块，用于当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；
大IO处理模块，用于当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；
中IO处理模块，用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。
可选的，所述中IO处理模块，包括：
对象类型判断单元，用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象；
主副本对象处理单元，用于当所述对象类型为主副本对象时，将所述第一存储介质作为所述目标存储介质；
从副本对象处理单元，用于当所述对象类型不为主副本对象时，将所述第二存储介质作为所述目标存储介质；
数据处理单元，用于将所述写请求对应的数据写入所述目标存储介质。
可选的，所述对象类型判断单元，具体用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述存储设备的分发信息判断所述写请求的对象类型是否为主副本对象。
可选的，还包括：
数据下刷模块，用于当所述写请求对应的数据写入所述第一存储介质之后，按照预设规则将所述第一存储介质中的数据写入所述第二存储介质。
本申请还提供一种存储装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的存储设备写请求处理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的存储设备写请求处理方法的步骤。
本申请所提供的一种存储设备写请求处理方法，包括：当写请求下发时，存储设备获取所述写请求的IO大小；当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。
通过下限阈值和上限阈值进行判断，将IO大小分为三种等级，最上的等级和最下的等级，分别对应不同的硬盘操作方式，也就是不同的存储介质，当IO大小为中间的等级时，根据写请求的对象类型选择对应的目标存储介质，换句话说当写请求的对象类型为不同对象时，可以操作不同类型的硬盘，从而缓解了只对一种硬盘进行操作的方式，提高了系统利用率，充分利用了分布式系统的性能。
本申请还提供一种存储设备、存储装置以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种存储设备写请求处理方法的流程图；
图2为本申请实施例所提供的一种存储设备的结构示意图。
具体实施方式
本申请的核心是提供一种存储设备写请求处理方法、存储设备、存储装置以及计算机可读存储介质，通过设置中间等级IO的处理方式，避免出现只对一种存储介质进行操作而导致的寿命降低，提高了存储设备的性能利用率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中的分布式分层存储系统的数据刷写策略一般是以IO大小作为判断标准，当出现写请求时，判断该写请求的IO是否大于阈值，如果是将数据全部写入普通硬盘，如果否将数据全部写入SSD中。但是，现有技术中只通过阈值将写请求的IO进行区分，当所有写请求都小于阈值时，SSD的业务压力较高，而HDD基本没有业务，当写请求的IO都大于阈值时，所有HDD的写请求都要HDD进行处理，而SSD可能处于完全空闲的状态。也就是当写请求的IO大小无论位于阈值前后，都会使得存储系统中要不只写SSD，要不只写HDD。这些情况中都不能使系统运行在最大系统利用率下，降低了分布式存储系统的性能利用率。
因此，本申请提供一种存储设备写请求处理方法，通过对下限阈值和上限阈值进行判断，将IO大小分为三种等级，最上的等级和最下的等级，分别对应不同的硬盘操作方式，也就是不同的存储介质，当IO大小为中间的等级时，根据写请求的对象类型选择对应的目标存储介质，换句话说当写请求的对象类型为不同对象时，可以操作不同类型的硬盘，从而缓解了只对一种硬盘进行操作的方式，提高了系统利用率，充分利用了分布式系统的性能。
请参考图1，图1为本申请实施例所提供的一种存储设备写请求处理方法的流程图。
本实施例中，该方法可以包括：
S101，当写请求下发时，存储设备获取写请求的IO大小；
本步骤旨在当下发写请求时，获取该写请求的IO大小，以便根据该IO大小选择合适的写请求处理方式。
其中，本实施例中的IO大小是指单个IO操作的大小(IO Chunk Size)，并且，IO是指计算机系统的输入输出(Input/Output)。
进一步的，本步骤中获取写请求的IO大小可以采用现有技术中的任意一种IO大小的获取方法，可以根据实际的应用环境选择合适的IO大小获取方法，在此不做具体限定。
S102，当IO大小小于下限阈值时，将写请求对应的数据写入第一存储介质；
在S101的基础上，本步骤旨在当IO大小小于下限阈值时，也就是此时IO大小为小等级IO，此时就将该写请求对应的数据写入第一存储介质。
其中，第一存储介质主要是快速存储介质，例如固态硬盘，具体的可以是SSD，也可以是NVMe。
可见，本步骤就是将小等级IO在速度比较快的存储介质中进行处理，通过快速存储介质较快的存储速度提升小等级IO的处理性能。
S103，当IO大小大于上限阈值时，将写请求对应的数据写入第二存储介质；
在S101的基础上，本步骤旨在当IO大小大于上限阈值时，此时IO大小即为大等级IO，此时就将该写请求对应的数据写入第二存储介质。
其中，第二存储介质主要是至一般的机械硬盘，可以降低大等级IO对SSD的寿命的影响，并且通过机械硬盘对大等级IO进行处理，可以降低数据存储的成本。
可见，本实施例中的第一存储介质的处理速度比第二存储介质快。
S104，当IO大小介于下限阈值和上限阈值之间时，根据写请求的对象类型确定目标存储介质，将写请求对应的数据写入目标存储介质。
在S101的基础上，本步骤旨在当IO大小介于下限阈值和上限阈值之间时，也就是判定IO大小为中等级IO，此时根据写请求的对象类型确定需要操作的目标存储介质。
可见，应当确定的是本实施例中的下限阈值小于上限阈值。并且，本实施例中上限阈值和下限阈值具体如何进行设置，在此不做限定，可以选用现有技术中提供的任意一种设置方式。
通过S102至S104避免了只存在两种判断等级，导致只对其中一种存储介质进行操作的方式，提高了存储设备的硬件资源利用率。
因此，可以想到时是还会存在当IO大小等于上限阈值或IO大小等于下限阈值的情况，此时可以将IO大小划分到不同的等级中，可以是小等级IO，也可以是中等级IO，还可以是大等级IO。本实施例中，当IO大小等于下限阈值或上限阈值时，则判断该IO大小为中等级IO，执行S104的步骤。
可选的，本实施例可以包括：
步骤1，当IO大小介于下限阈值和上限阈值之间时，判断写请求的对象类型是否为主副本对象；
步骤2，当对象类型为主副本对象时，将第一存储介质作为目标存储介质；
步骤3，当对象类型不为主副本对象时，将第二存储介质作为目标存储介质；
步骤4，将写请求对应的数据写入目标存储介质。
可见，本实施例主要是通过该写请求的对象类型是否为主副本或是否为从副本，选择对应的目标存储介质。
需要说明的是，本可选方案中对象类型如果不是主副本对象时，其对象类型就是从副本对象。
具体的，如果是主副本对象那么目标存储介质指的就是第一存储介质，如果是从副本对象那么目标存储介质指的就是第二存储介质。
当处于中等级IO时，可以保持第一存储介质和第二存储介质的性能资源均可以利用到。同时，可以使得主副本数据更多的保存在SSD中，当读取对应的数据时，直接从SSD中读取数据，从而提高数据读取的性能。
可选的，上一可选方案中的步骤1可以包括：
当IO大小介于下限阈值和上限阈值之间时，根据存储设备的分发信息判断写请求的对象类型是否为主副本对象。
本可选方案主要是通过存储设备对主从副本数据进行分发管理的分发信息，判断该写请求的对象类型是否为主副本对象。
可选的，本实施例还可以包括：
当写请求对应的数据写入第一存储介质之后，按照预设规则将第一存储介质中的数据写入第二存储介质。
一般的在分布式存储系统中，当第一存储介质的数据保存一段时间后，可以按照一定规则将写入到第一存储介质中的数据再刷写到第二存储介质中。也就是将SSD中的数据按照一定规则刷写到HDD中。
综上，本实施例通过下限阈值和上限阈值进行判断，将IO大小分为三种等级，最上的等级和最下的等级，分别对应不同的硬盘操作方式，也就是不同的存储介质，当IO大小为中间的等级时，根据写请求的对象类型选择对应的目标存储介质，换句话说当写请求的对象类型为不同对象时，可以操作不同类型的硬盘，从而缓解了只对一种硬盘进行操作的方式，提高了系统利用率，充分利用了分布式系统的性能。
在上一实施例的基础上，本实施例提供一种更加具体的存储设备写请求处理方法。
本实施例将客户端业务的IO大小设定为三个档位：0到小IO上限的写请求称为小IO，小IO上限到大IO下限之间的写请求称为中等IO，大于大IO上限的写请求称为大IO；其中，小IO上限为Size_min，大IO下限为Size_max，且Size_min<Size_max。出于性能和SSD寿命考虑，小IO和大IO的策略与原有方案一致，即小IO写入SSD，之后再下刷至HDD，大IO直接写入HDD。为了对中等IO业务进行调优，本实施例在分布式存储系统的数据存储层引入了上层逻辑中主从的概念，即将数据分为主副本数据和从副本数据。通常情况下，客户端的读请求只会下发至主副本，通过读取主副本来获取期望的数据。为此，当客户端业务请求为中等IO的写请求时，将主副本数据写入到SSD上，而从副本数据写入到HDD上。通过本发明，实现了出现中等IO时SSD和HDD的性能资源都能得到利用的目的。
因此，分布式存储系统中，通常包括多个存储引擎，客户端数据以对象的形式存储到多个存储引擎上，例如三副本的分布式存储系统，三份相同的数据分别以对象的形式存储在三个不同的存储引擎上，其中，根据数据对象的名称进行哈希计算，选出三个存储引擎上的其中一个作为主副本数据。因此，当数据量足够大时，主本数据将均分于各个存储引擎上。
当有写请求下发时，执行如下步骤：
步骤1，写请求大小判断；若写请求小于小IO上限Size_min，则将数据写入SSD；若写请求大于大IO下限Size_max，则将数据写入HDD；若写请求的大小介于小IO上限和大IO下限之间，则进行下一步判断；
步骤2，中等IO的写请求主从判断；若写请求对应的对象为主副本对象，则将该IO写入SSD；若写请求对应的对象为从副本对象，则将该IO写入HDD。
根据上述判断，可以确定本次IO写入的位置，从而实现出现中等IO时，充分利用SSD和HDD性能资源的目的。
本申请实施例提供了一种存储设备写请求处理方法，可以通过下限阈值和上限阈值进行判断，将IO大小分为三种等级，最上的等级和最下的等级，分别对应不同的硬盘操作方式，也就是不同的存储介质，当IO大小为中间的等级时，根据写请求的对象类型选择对应的目标存储介质，换句话说当写请求的对象类型为不同对象时，可以操作不同类型的硬盘，从而缓解了只对一种硬盘进行操作的方式，提高了系统利用率，充分利用了分布式系统的性能。
下面对本申请实施例提供的一种存储设备进行介绍，下文描述的一种存储设备与上文描述的一种存储设备写请求处理方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种存储设备的结构示意图。
本实施例中，该设备可以包括：
IO大小获取模块100，用于当写请求下发时，获取写请求的IO大小；
小IO处理模块200，用于当IO大小小于下限阈值时，将写请求对应的数据写入第一存储介质；
大IO处理模块300，用于当IO大小大于上限阈值时，将写请求对应的数据写入第二存储介质；
中IO处理模块400，用于当IO大小介于下限阈值和上限阈值之间时，根据写请求的对象类型确定目标存储介质，将写请求对应的数据写入目标存储介质。
可选的，该中IO处理模块400，可以包括：
对象类型判断单元，用于当IO大小介于下限阈值和上限阈值之间时，判断写请求的对象类型是否为主副本对象；
主副本对象处理单元，用于当对象类型为主副本对象时，将第一存储介质作为目标存储介质；
从副本对象处理单元，用于当对象类型不为主副本对象时，将第二存储介质作为目标存储介质；
数据处理单元，用于将写请求对应的数据写入目标存储介质。
可选的，该对象类型判断单元，具体可以用于当IO大小介于下限阈值和上限阈值之间时，根据存储设备的分发信息判断写请求的对象类型是否为主副本对象。
本申请实施例还提供一种存储装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的存储设备写请求处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的存储设备写请求处理方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种存储设备写请求处理方法、存储设备、存储装置以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种存储设备写请求处理方法，其特征在于，包括：
当写请求下发时，存储设备获取所述写请求的IO大小；
当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；
当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；
当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。
2.根据权利要求1所述的存储设备写请求处理方法，其特征在于，当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质，包括：
当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象；
当所述对象类型为主副本对象时，将所述第一存储介质作为所述目标存储介质；
当所述对象类型不为主副本对象时，将所述第二存储介质作为所述目标存储介质；
将所述写请求对应的数据写入所述目标存储介质。
3.根据权利要求2所述的存储设备写请求处理方法，其特征在于，当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象，包括：
当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述存储设备的分发信息判断所述写请求的对象类型是否为主副本对象。
4.根据权利要求1至3任一项所述的存储设备写请求处理方法，其特征在于，还包括：
当所述写请求对应的数据写入所述第一存储介质之后，按照预设规则将所述第一存储介质中的数据写入所述第二存储介质。
5.一种存储设备，其特征在于，包括：
IO大小获取模块，用于当写请求下发时，获取所述写请求的IO大小；
小IO处理模块，用于当所述IO大小小于下限阈值时，将所述写请求对应的数据写入第一存储介质；
大IO处理模块，用于当所述IO大小大于上限阈值时，将所述写请求对应的数据写入第二存储介质；
中IO处理模块，用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述写请求的对象类型确定目标存储介质，将所述写请求对应的数据写入所述目标存储介质。
6.根据权利要求5所述的存储设备，其特征在于，所述中IO处理模块，包括：
对象类型判断单元，用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，判断所述写请求的对象类型是否为主副本对象；
主副本对象处理单元，用于当所述对象类型为主副本对象时，将所述第一存储介质作为所述目标存储介质；
从副本对象处理单元，用于当所述对象类型不为主副本对象时，将所述第二存储介质作为所述目标存储介质；
数据处理单元，用于将所述写请求对应的数据写入所述目标存储介质。
7.根据权利要求6所述的存储设备，其特征在于，所述对象类型判断单元，具体用于当所述IO大小介于所述下限阈值和所述上限阈值之间时，根据所述存储设备的分发信息判断所述写请求的对象类型是否为主副本对象。
8.根据权利要求5至7任一项所述的存储设备，其特征在于，还包括：
数据下刷模块，用于当所述写请求对应的数据写入所述第一存储介质之后，按照预设规则将所述第一存储介质中的数据写入所述第二存储介质。
9.一种存储装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的存储设备写请求处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的存储设备写请求处理方法的步骤。
CN201910294480.XA 2019-04-12 2019-04-12 一种存储设备写请求处理方法及相关装置 Withdrawn CN110007870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294480.XA CN110007870A (zh) 2019-04-12 2019-04-12 一种存储设备写请求处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294480.XA CN110007870A (zh) 2019-04-12 2019-04-12 一种存储设备写请求处理方法及相关装置

Publications (1)

Publication Number Publication Date
CN110007870A true CN110007870A (zh) 2019-07-12

Family

ID=67171447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294480.XA Withdrawn CN110007870A (zh) 2019-04-12 2019-04-12 一种存储设备写请求处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN110007870A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475112A (zh) * 2020-04-01 2020-07-31 苏州浪潮智能科技有限公司 一种提升Oracle数据库性能的装置及数据读写方法
CN112379841A (zh) * 2020-11-16 2021-02-19 北京金山云网络技术有限公司 数据处理方法、装置和电子设备
CN112463079A (zh) * 2020-12-17 2021-03-09 北京浪潮数据技术有限公司 一种数据存储控制方法、装置、设备及可读存储介质
CN112612415A (zh) * 2020-12-22 2021-04-06 新华三大数据技术有限公司 一种数据处理方法、装置、电子设备及存储介质
WO2021120789A1 (zh) * 2019-12-17 2021-06-24 腾讯科技（深圳）有限公司 数据写入方法、装置及存储服务器和计算机可读存储介质
CN114442934A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 数据处理方法、装置及存储引擎

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120789A1 (zh) * 2019-12-17 2021-06-24 腾讯科技（深圳）有限公司 数据写入方法、装置及存储服务器和计算机可读存储介质
US11947829B2 (en) 2019-12-17 2024-04-02 Tencent Technology (Shenzhen) Company Limited Data writing method, device, storage server, and computer readable storage medium
CN111475112A (zh) * 2020-04-01 2020-07-31 苏州浪潮智能科技有限公司 一种提升Oracle数据库性能的装置及数据读写方法
CN111475112B (zh) * 2020-04-01 2023-03-14 苏州浪潮智能科技有限公司 一种提升Oracle数据库性能的装置及数据读写方法
CN112379841A (zh) * 2020-11-16 2021-02-19 北京金山云网络技术有限公司 数据处理方法、装置和电子设备
CN112463079A (zh) * 2020-12-17 2021-03-09 北京浪潮数据技术有限公司 一种数据存储控制方法、装置、设备及可读存储介质
CN112463079B (zh) * 2020-12-17 2023-12-22 北京浪潮数据技术有限公司 一种数据存储控制方法、装置、设备及可读存储介质
CN112612415A (zh) * 2020-12-22 2021-04-06 新华三大数据技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN112612415B (zh) * 2020-12-22 2022-08-30 新华三大数据技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN114442934A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 数据处理方法、装置及存储引擎
CN114442934B (zh) * 2021-12-27 2024-01-02 天翼云科技有限公司 数据处理方法、装置及存储引擎

Similar Documents

Publication Publication Date Title
CN110007870A (zh) 一种存储设备写请求处理方法及相关装置
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN102945201B (zh) 已验证数据集合的非易失性介质日志记录
TWI506421B (zh) 增加記憶體中之備用空間以延長記憶體之生命週期之系統、方法及電腦程式產品
CN103473150B (zh) 一种用于数据去重系统中的碎片重写方法
CN112130768B (zh) 磁盘阵列在线扩容方法、装置及计算机可读存储介质
CN102404399B (zh) 一种云存储资源模糊动态分配方法
CN103631538A (zh) 冷热数据识别门限值计算方法、装置和系统
CN106445409A (zh) 一种分布式块存储的数据写入方法及装置
CN105095116A (zh) 缓存替换的方法、缓存控制器和处理器
US20120203809A1 (en) Apparatus and method for managing a file in a distributed storage system
CN109558457A (zh) 一种数据写入方法、装置、设备及存储介质
CN107908367A (zh) 存储系统中数据存储的方法、装置、设备及存储介质
CN106407224A (zh) 一种键值存储系统中文件压实的方法和装置
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN109582213A (zh) 数据重构方法及装置、数据存储系统
CN104657366A (zh) 海量日志写入数据库的方法、装置和日志容灾系统
CN110377529A (zh) 一种全闪存储系统数据管理的方法、装置以及设备
CN104199784A (zh) 一种基于分级存储的数据迁移方法及装置
CN103699429A (zh) 虚拟机迁移方法及装置
CN103412929A (zh) 一种海量数据的存储方法
CN107506466A (zh) 一种小文件存储方法及系统
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN107193693A (zh) 一种基于存储系统的在线数据存储优化方法
CN104281545B (zh) 一种数据读取方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190712

WW01 Invention patent application withdrawn after publication