CN114706532A - 一种磁盘配置方法、设备、服务器及电子设备、存储介质 - Google Patents

一种磁盘配置方法、设备、服务器及电子设备、存储介质 Download PDF

Info

Publication number
CN114706532A
CN114706532A CN202210457485.1A CN202210457485A CN114706532A CN 114706532 A CN114706532 A CN 114706532A CN 202210457485 A CN202210457485 A CN 202210457485A CN 114706532 A CN114706532 A CN 114706532A
Authority
CN
China
Prior art keywords
disk
type
available
space
cache region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210457485.1A
Other languages
English (en)
Inventor
孙吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing IQIYI Science and Technology Co Ltd
Original Assignee
Beijing IQIYI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing IQIYI Science and Technology Co Ltd filed Critical Beijing IQIYI Science and Technology Co Ltd
Priority to CN202210457485.1A priority Critical patent/CN114706532A/zh
Publication of CN114706532A publication Critical patent/CN114706532A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请涉及一种磁盘配置方法、设备、服务器及电子设备、存储介质，方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘的数据传输速度，包括：确定所述第一类磁盘的可用磁盘空间；将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，在进行数据传输时，首先将数据缓存到至少一个第二类磁盘的缓存区，然后该第二类磁盘再进行数据传输，使得该第二类磁盘的缓存速度变快，进而提升了该第二类磁盘的数据写入速度，进而避免了第二类磁盘的硬件限制数据传输速度，执行数据传输任务时，第二类磁盘数据传输效率低下，影响数据传输效率的问题。

Description

一种磁盘配置方法、设备、服务器及电子设备、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种磁盘配置方法、设备、服务器及电子设备、存储介质。
背景技术
随着互联网的发展，各个互联网公司转码集群的服务器数量也随之增加，每台服务器有多块磁盘，且每台服务器采用了逻辑卷管理(Logical Volume Manager，LVM)磁盘的方式对硬盘进行管理，具体的，将多块第二类磁盘合并为一块大磁盘作为数据盘使用，将第一类磁盘单独一块作为系统盘使用，采用这种方式会导致第一类磁盘利用率不足，无论是空间(最多用到30％)大小还是性能(10％不到)；第二类磁盘的这种使用方式，不需要做数据备份和考虑磁盘可靠性问题，但是受限于硬件条件盘速有上限，导致第二类磁盘存在着性能问题，执行数据传输任务时运行缓慢；且第二类磁盘在高负载情况下，数据传输运行更加缓慢，影响数据传输的效率，因此，如何提升第二类磁盘的数据传输速度成了亟需解决的问题；
发明内容
本申请提供了一种磁盘配置方法、设备、服务器及电子设备、存储介质，以解决相关技术中，执行数据传输任务时，第二类磁盘数据传输效率低下，影响数据传输效率的问题。
第一方面，本申请提供了一种磁盘配置方法，所述方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘的数据传输速度，包括：确定所述第一类磁盘的可用磁盘空间；将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区，包括：确定所述第一类磁盘的读取速度和写入速度；根据所述读取速度和写入速度确定所述读缓存区和所述写缓存区的大小比；根据确定的大小比，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之前，所述方法还包括：根据所述第二类磁盘的数量，确定所述第一类磁盘的磁盘分配策略；根据所述磁盘分配策略，对所述第一类磁盘的可用磁盘空间进行分区，以将所述第一类磁盘的可用磁盘空间配置成与所述第二类磁盘的数量对应的缓存区。
可选地，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之后，所述方法还包括：将所述第一类磁盘的可用磁盘空间配置而成的缓存区与对应的所述第二类磁盘一一进行关联，组成至少一个存储单元。
可选地，当所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区时，将所述第一类磁盘的可用磁盘空间配置而成的缓存区与对应的所述第二类磁盘一一进行关联，组成至少一个存储单元之后，所述方法还包括:根据至少一个所述存储单元创建第一物理卷，根据写缓存区创建第二物理卷；将所述第一物理卷添加到第一卷组中，将所述第二物理卷添加到第二卷组中；根据所述第一卷组创建条带卷，根据所述第二卷组创建固态硬盘卷，将所述条带卷和所述固态硬盘卷关联形成缓存卷。
第二方面，本申请提供了一种磁盘配置设备，所述磁盘配置设备与磁盘阵列连接，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述磁盘配置设备包括：第一确定模块，所述第一确定模块用于确定所述第一类磁盘的可用磁盘空间；第一配置模块，所述第一配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
第三方面，本申请提供了一种服务器，所述服务器包括磁盘阵列和配置端，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述配置端包括：第二确定模块，所述第二确定模块用于确定所述第一类磁盘的可用磁盘空间；第二配置模块，所述第二配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
第四方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的磁盘配置方法的步骤。
第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的磁盘配置方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘的数据传输速度，包括：确定所述第一类磁盘的可用磁盘空间；将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，在进行数据传输时，首先将数据缓存到至少一个第二类磁盘的缓存区，然后该第二类磁盘再进行数据传输，使得该第二类磁盘的缓存速度变快，进而提升了该第二类磁盘的数据写入速度，进而避免了第二类磁盘的硬件限制数据传输速度，执行数据传输任务时，第二类磁盘数据传输效率低下，影响数据传输效率的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种磁盘配置方法的流程示意图；
图2为本申请实施例提供的一种缓存卷设置完成的基本结构示意图；
图3为本申请实施例提供的一种缓存控制器的基本机构示意图；
图4为本申请实施例提供的一种磁盘配置设备的基本结构示意图；
图5为本申请实施例提供的一种服务器的基本结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种磁盘配置方法，所述方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，包括：
S101、确定所述第一类磁盘的可用磁盘空间；
S102、将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
可以理解的是，本实施例并不限制第一类磁盘或第二类磁盘的种类，第一类磁盘的数据传输速度大于第二类磁盘即可，且本实施例并不限制第一类磁盘和第二类磁盘的存储空间大小，可以由相关使用对象灵活设置。
其中，磁盘阵列中包括至少一个第一类磁盘，当磁盘阵列中仅存在一个第一类磁盘时，则确定所述第一类磁盘的可用磁盘空间为直接获取的该第一类磁盘的可用磁盘空间；当磁盘阵列中存在多个第一类磁盘时，则定所述第一类磁盘的可用磁盘空间为获取所有第一类磁盘可用空间的总和；
在本实施例的一些示例中，确定所述第一类磁盘的可用磁盘空间包括：确定所述第一类磁盘的总磁盘空间；判断所述第一类磁盘中是否存在预留空间；当所述第一类磁盘中存在预留空间时，获取该预留空间，并根据该预留空间和所述总磁盘空间确定第一类磁盘的可用磁盘空间；当所述第一类磁盘中不存在预留空间时，直接将所述第一类磁盘的总磁盘空间作为所述第一类磁盘的可用磁盘空间。其中，该预留空间为存放指定类型的文件数据的空间；例如，该预留空间为存放操作系统的空间。
承接上例，具体的，例如，获取到第一类磁盘的总磁盘空间的容量为M，第一类磁盘的预留空间的容量为N，则第一类磁盘的可用磁盘空间的容量为M-N，当第一类磁盘的预留空间的容量N为零时，则第一类磁盘的可用磁盘空间直接为M-0＝M。
可以理解的是，本实施例中提供的磁盘配置方法适用于磁盘阵列的配置端，该磁盘阵列中包括至少一个第二类磁盘，当磁盘阵列汇中包括多个第二类磁盘时，各个第二类磁盘的数据传输数据均低于第一类磁盘的数据传输速度，且在一些示例中，当磁盘阵列汇中包括多个第二类磁盘时，至少两个第二类磁盘的数据传输速度不同，在一些示例中，当磁盘阵列汇中包括多个第二类磁盘时，至少两个第二类磁盘的数据传输速度相同。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之前，所述方法还包括：根据所述第二类磁盘的数量，确定所述第一类磁盘的磁盘分配策略；根据所述磁盘分配策略，对所述第一类磁盘的可用磁盘空间进行分区，以将所述第一类磁盘的可用磁盘空间配置成与所述第二类磁盘的数量对应的缓存区。其中所述磁盘分配策略包括但不限于：第一种方式：根据第二类磁盘的数量，将所述第一类磁盘的所有可用磁盘空间配置成所述第二类磁盘的缓存区；第二种方式：根据第二类磁盘的数量，将所述第一类磁盘的部分可用磁盘空间配置成所述第二类磁盘的缓存区。
承接上例，在磁盘分配策略为第一种方式时，则在获取到第一类磁盘的可用磁盘空间后，直接将所有的可用磁盘空间全都配置为第二类磁盘的缓存区；例如，当磁盘阵列中包括一个第二类磁盘时，则将获取到的第一类磁盘的所有可用磁盘空间全都配置为该第二类磁盘的缓存区；当磁盘阵列中包括多个第二磁盘，且将第一类磁盘的可用磁盘空间配置成N个所述第二类磁盘的缓存区时，获取第一类磁盘的可用磁盘空间的容量M，然后将第一类磁盘的可用磁盘空间的容量M划分为N个缓存区，以将所述第一类磁盘的可用磁盘空间配置成N个所述第二类磁盘的缓存区。
承接上例，将第一类磁盘的可用磁盘空间划分为N个缓存区包括但不限于以下方式中的一个：
第一种方式：将第一类磁盘的可用磁盘空间平均划分为N个缓存区，也即，每个缓存区的容量相同，每个缓存区的容量均为可用磁盘空间的容量M/N；
第二种方式：将第一类磁盘的可用磁盘空间随机划分为N个缓存区，也即，每个缓存区的容量随机，且所有缓存区的容量之和等于第一类磁盘的可用磁盘空间的容量M；
第三种方式：根据每个第二类磁盘的参数对第一类磁盘的可用磁盘空间进行划分，其中第二类磁盘的参数包括但不限于：第二类磁盘的总磁盘空间量、数据传输速度、待取数据的容量等。例如，当存在多个第二类磁盘时，则获取每个第二类磁盘的总磁盘空间量，分别为每一个第二类磁盘分配一个磁盘空间量作为缓存区。
应当理解的是，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区还包括：将所述第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。在一些示例中，第一类磁盘的可用磁盘空间较大，若将所有的第一类磁盘的可用磁盘空间作为第二类磁盘的缓存区，则会导致部分第一类磁盘的可用磁盘空间浪费，因此，可以仅将第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，例如，第一类磁盘的可用磁盘空间的容量为1T，第二类磁盘的容量为500G，若将第一类磁盘所有的可用磁盘空间均作为第二类磁盘的缓存区，则必然会导致第一类磁盘的可用磁盘空间浪费，因此，可以基于第二类磁盘的容量，将第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的缓存区；其中，将第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的缓存区的方式，与上述将第一类磁盘的所有可用磁盘空间配置成至少一个所述第二类磁盘的缓存区的方式相同，在此不在赘述。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区。
应当理解的是，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区包括：将所述第一类磁盘的所有可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区；或将所述第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区；其中具体的配置方式参见上述磁盘分配策略，在此不在赘述。
在一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区还可以是将第一类的磁盘的可用磁盘空间配置为固定数量的读缓存区，各个第二类硬盘共用所有的读缓存区，例如，将第一类磁盘的可用磁盘空间配置成一个读缓存区，各个第二类磁盘共用该读缓存区。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区。
应当理解的是，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区包括：将所述第一类磁盘的所有可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区；或将所述第一类磁盘的部分可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区；其中具体的配置方式参见上述磁盘分配策略，在此不在赘述。
在一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区还可以是将第一类的磁盘的可用磁盘空间配置为固定数量的写缓存区，各个第二类硬盘共用所有的写缓存区，例如，将第一类磁盘的可用磁盘空间配置成一个写缓存区，各个第二类磁盘共用该写缓存区。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。其中，读缓存区的容量和写缓存区的容量之和为第一类磁盘的可用磁盘空间；在一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区包括：将第一类磁盘的可用磁盘空间配置成一个写缓存区和N个读缓存区，也即，读缓存区的数量与第二类磁盘的数量相等，所有的第二类磁盘共用该写缓存区，每个第二类磁盘分别对应一个读缓存区；或，将第一类磁盘的可用磁盘空间配置成N个写缓存区，N个读缓存区，每个第二类磁盘分别对应一个读缓存区和一个写缓存区。
可以理解的是，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区时，可以是将第一类磁盘所有的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区，也可以是将第一类磁盘部分的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区，本实施例并不对此进行限制。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区，包括：确定所述第一类磁盘的读取速度和写入速度；根据所述读取速度和写入速度确定所述读缓存区和所述写缓存区的大小比；根据确定的大小比，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。应当理解的是，通过确定的大小比，可以确定第一类磁盘的可用磁盘空间配置而成的读缓存区和写缓存区的容量，进而将第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区；
承接上例，例如，确定第一类磁盘的读取速度和写入速度的比值为1:4，则此时，确定第一类磁盘的可用磁盘空间配置而成的读缓存区的容量和写入缓存区的容量比值为1:4，在第一类磁盘的可用磁盘空间的容量为500G，且将第一类磁盘的所有可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存时，则第一类磁盘的可用磁盘空间配置而成的读缓存区总的容量为100G，写缓存区总的容量为400G。
应当理解的是，在确定第一类磁盘的可用磁盘空间配置而成的读缓存区总的容量和写缓存区总的容量后，根据确定的磁盘分配策略，对所述第一类磁盘的可用磁盘空间进行分区，以将所述第一类磁盘的可用磁盘空间配置成与所述第二类磁盘的数量对应的缓存区；具体的，例如，则第一类磁盘的可用磁盘空间配置而成的读缓存区总的容量为100G，写缓存区总的容量为400G，具有N个第二类磁盘，且此时磁盘分配策略为：平均分配读缓存区，所有的第二类磁盘共用一个写缓存区，则最后，将第一类磁盘的可用磁盘空间配置为一个400G的写缓存区，和N个读缓存区，每个读缓存区的容量为100G/N个G。
在本实施例的一些示例中，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之后，所述方法还包括：将所述第一类磁盘的可用磁盘空间配置而成的缓存区与对应的所述第二类磁盘一一进行关联，组成至少一个存储单元。
承接上例，例如，存在4个第二类磁盘，4个磁盘盘符分别为/dev/sda、/dev/sdb、/dev/sdc、/dev/sdd，将第一类磁盘分区得到的4个读缓存区分别为/dev/nvmenp1、/dev/nvmenp2、/dev/nvmenp3、/dev/nvmenp4，在关联绑定和添加别名后组成4个新的存储单元，四个新的存储单元分别为/dev/sda-bcache、/dev/sdb-bcache、/dev/sdc-bcache、/dev/sdd-bcache。
在本实施例的一些示例中，对所述存储单元和所述写缓存区进行配置，以组成缓存卷，包括：根据至少一个所述存储单元创建第一物理卷，根据写缓存区创建第二物理卷；将所述第一物理卷添加到第一卷组中，将所述第二物理卷添加到第二卷组中；根据所述第一卷组创建条带卷，根据所述第二卷组创建固态硬盘卷，将所述条带卷和所述固态硬盘卷关联形成缓存卷。
具体的，根据存储单元和写缓存区分别创建物理卷(physical volume，PV)，然后根据创建完成的PV创建卷组(logical volume，LV)，最后在根据卷组创建缓存卷，其中物理卷在逻辑卷管理系统最底层，可为整个物理硬盘或实际物理硬盘上的分区，卷组建立在物理卷上，一卷组中至少要包括一物理卷，卷组建立后可动态的添加卷到卷组中，一个逻辑卷管理系统工程中可有多个卷组；具体的，如，存在四个第二类磁盘，且四个第二类磁盘关联绑定四个读缓存区得到四个存储单元：/dev/sda-bcache、/dev/sdb-bcache、/dev/sdc-bcache、/dev/sdd-bcache，首先配置逻辑卷管理(Logical Volume Manager，LVM)PV，也即根据四个存储单元创建多个第一PV，在根据第一类磁盘分区得到的写缓存区创建第二PV；然后配置LVMVG，也即将多个第一PV添加到第一卷组中，然后将第二PV添加到第二卷组中；最后组合LVM缓存卷，也即根据第一卷组创建一个LVM条带卷，再根据第二卷组创建LVM固态硬盘卷(LVMssd卷)，关联LVM条带卷和LVM固态硬盘卷做成一个LVM缓存卷，并设置为写缓存。
在本实施例的一些示例中，对所述存储单元和所述写缓存区进行配置，以组成缓存卷之后，所述方法还包括：设置控制所述缓存卷的缓存控制器，所述缓存控制器用于动态调整所述缓存卷内写缓存落盘操作。具体的，主要涉及到的操作有开始回写上限、停止回写下限、回写块大小、回写任务个数、立即强制回写，该缓存控制器会根据当前写缓存区大小、当前任务磁盘空间需求情况触发控制操作。
在本实施例的一些示例中，动态调整所述缓存卷内写缓存落盘操作，包括：获取当前运行转码任务信息，所述转码任务信息用于获取目标时间内需要使用的目标存储空间；根据所述目标存储空间与所述写缓存区的大小确定所述写缓存区的执行状态；根据所述执行状态对所述写缓存区的写入速度进行调整，以调整所述缓存卷内写缓存落盘操作。
承接上例，通过获取当前运行转码任务信息，通过所述转码任务信息用于获取目标时间内需要使用的目标存储空间，然后将目标存储空间的大小占写缓存区的大小来决定写缓存区的执行状态，最后在根据所述执行状态对所述写缓存区的写入速度进行调整，以调整所述缓存卷内写缓存落盘操作，具体的，首先，基础判断依据在Ttask目标时间内，依据写缓存区的存储空间大小和写缓存区的写入速度有如下条件：
Figure BDA0003619282940000071
Figure BDA0003619282940000072
DiskWriteBend＝VWriteBend*T2
其中，Ttask为业务数据表示目标任务时长中位数，
Figure BDA0003619282940000073
表示LVMSSD写缓存区最大容量，Diskrelease表示预留容量(预留容量由相关使用对象灵活设置)，
Figure BDA0003619282940000074
表示Ttask目标时间内所需写入容量，DiskWriteBend表示Ttask时间内所需落盘的时间，VWriteBend表示向LVM条带卷落盘的速度，VLVMSSD表示LVMSSD写入速度，T1表示LVMSSD写缓存区写入时间，T2表示向LVM条带卷写入的时间，并有如下期望：
VMax_WriteBend≥Sblock*Njob
Sblock表示回写块大小；Njob表示回写任务个数；该公式可以保证LVM条带卷写入不过载；
依据上述公式可以得出目标时间Ttask所需的存储空间大小，然后根据该所需的存储空间大小占写缓存区的大小来决定写缓存区的执行状态，具体如下：
状态一，空载状态，Ttask时间内写缓存区的存储空间大小使用需求
Figure BDA0003619282940000075
小于50％
Figure BDA0003619282940000076
此时T2＝Ttask，则需要保证
Figure BDA0003619282940000077
Figure BDA0003619282940000078
即
Figure BDA0003619282940000079
无需额外触发调节；
状态二，满载状态：Ttask时间内缓存区的存储空间大小使用需求
Figure BDA00036192829400000710
在50％-75％
Figure BDA00036192829400000711
之间，此时
Figure BDA00036192829400000712
则有
Figure BDA00036192829400000713
Figure BDA00036192829400000714
那么有
Figure BDA00036192829400000715
因此当判断取值超过50％时，会触发调节操作，Njob取值
Figure BDA00036192829400000716
此时Njob已经达到期望最大值；
状态三，过载状态：Ttask时间内缓存区的存储空间大小使用需求
Figure BDA00036192829400000717
在75％-100％
Figure BDA00036192829400000718
此时
Figure BDA00036192829400000719
并有
Figure BDA00036192829400000720
Figure BDA00036192829400000721
当超过75％时会立即触发强制回写操作，并触发ssd写缓存盘降速操作为原来的50％。
本示例提供的缓存控制器通过上述三个状态来对缓存卷进行控制，能够根据不同状态对缓存卷进行调节，进而精准控制缓存卷，持续保持缓存卷写入为可用状态，整体上提升了缓存卷的IO读写速率。
本实施例提供的磁盘配置方法，所述方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘的数据传输速度，包括：确定所述第一类磁盘的可用磁盘空间；将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，在进行数据传输时，首先将数据缓存到至少一个第二类磁盘的缓存区，然后该第二类磁盘再进行数据传输，使得该第二类磁盘的缓存速度变快，进而提升了该第二类磁盘的数据写入速度，进而避免了第二类磁盘的硬件限制数据传输速度，执行数据传输任务时，第二类磁盘数据传输效率低下，影响数据传输效率的问题。
为了更好的理解本发明，本示例提出一种更为具体的示例对本发明进行说明；
首先，提供一磁盘阵列，该磁盘阵列中包括：第一类磁盘：快速盘(SSD系统盘)；第二类磁盘：慢速盘(HDD数据盘)，第一类磁盘的数据传输速度大于第二类磁盘，且快速盘和慢速盘相互独立，且各自的IO分离，并且快读盘多次分区也不影响IO速率。
首先，根据快速盘的可用磁盘空间、快速盘的数据传输速度以及第二类磁盘的数量，确定快速盘配置而成的读缓存区和写缓存区大小，来分配快速盘。根据转码场景，判断快速盘的IO瓶颈，本示例中，转码场景下写入造成的性能瓶颈为80％的情况，因此写缓存区和读缓存区的大小比可控制在4:1；具体可参考如下公式：
Disk_ssdtotal＝NumberDisk_HDD*Disk_ssdreadcache+Disk_ssdwritecache+Disk_ssdsys
NumberDisk_HDD*Disk_ssdreadcache：Disk_ssdwritecache＝1:4
其中Disk_ssdtotal为SSD盘整个磁盘大小为800G；Disk_ssdsys为根分区占用空间为300G，根据Disk_ssdtotal以及Disk_ssdsys可以得出SSD盘的可用磁盘空间为500G；NumberDisk_HDD表示HDD盘个数，示例性的为4块4T的HDD；Disk_ssdreadcache表示为每块HDD盘划分用于读缓存区的大小，Disk_ssdwritecache为LVM缓存盘用于写缓存区的大小，结合上述示例性转码环境，整体写缓存区和读缓存区大小比为4:1，因此得出Disk_ssdreadcache为25G，Disk_ssdwritecache为400G；
承接上例，根据上一步确认的读写缓存区比例，按照4:1的比例对剩余SSD盘两个分区进行分区，在示例性的转码环境中为，单独分区400G的写缓存区(写缓存)和4个25G的读缓存区(读缓存)；
然后将HDD盘与上述读缓存区进行绑定，为HDD盘配置读缓存区，使用bcache将提前分区好用于读缓存区和每块HDD盘关联绑定，并将缓存设置为读缓存，同时添加别名；在示例性的转码环境中HDD磁盘盘符分别为/dev/sda、/dev/sdb、/dev/sdc、/dev/sdd，读缓存区的盘符为/dev/nvmenp1、/dev/nvmenp2、/dev/nvmenp3、/dev/nvmenp4，在关联绑定和添加别名后组成新的存储单位/dev/sda-bcache、/dev/sdb-bcache、/dev/sdc-bcache、/dev/sdd-bcache；
应当理解的是，在组成新的存储单位后，执行配置LVM PV，将Disk_HDD+Disk_ssdreadcache和Disk_ssdwritecache分别创建PV；创建PV完成后，配置LVM VG，将所有Disk_HDD+Disk_ssdreadcache添加到一个VG中，Disk_ssdwritecache单独作为一个VG_fast；组合LVM缓存卷，使用VG创建一个LVM条带卷，VG-fast单独盘创建一个LVMssd卷，关联LVMssd和LVM条带卷做成一个LVM缓存卷，并设置为写缓存；
在完成缓存卷设置后，部署和配置LVM缓存控制器，如图2所示，LVM缓存控制器用于动态调整LVM写缓存落盘操作，主要涉及到的操作有(开始回写上限、停止回写下限、回写块大小、回写任务个数、立即强制回写)，该控制器会根据当前写缓存盘大小、当前任务磁盘空间需求情况触发控制器操作；
如图3所示，缓存控制器的结构，分为三个模块：
任务信息收集模块：该模块用于收集正在运行得转码任务信息，计算未来Ttask时间内，需要使用得磁盘空间
Figure BDA0003619282940000091
缓存盘信息收集模块：实时收集缓存盘使用状态；
指令调用模块：预存写缓存操作配置参数，收到控制模块指令时，直接对缓存卷进行调用操作；
状态控制模块：根据任务对磁盘得写需求和写缓存盘实时状态，判定写缓存盘状态，再争对不同状态调用相应指令进行写缓存盘得调控；
状态控制模块在进行状态判断时，基础判断依据在Ttask时间内，依据磁盘容量和写入速度有如下条件：
Figure BDA0003619282940000092
Figure BDA0003619282940000093
DiskWriteBend＝VWriteBend*T2
其中，Ttask为业务数据表示任务时长中位数，
Figure BDA0003619282940000094
表示LVMSSD盘最大容量，Diskrelease表示预留容量，
Figure BDA0003619282940000095
表示Ttask时间内所需写入容量，DiskWriteBend表示Ttask时间内所需落盘的时间，VWriteBend表示向LVM条带卷落盘的速度，VLVMSSD表示LVMSSD写入速度，T1表示LVMSSD盘写入时间，T2表示向LVM条带卷写入的时间，并有如下期望：
VMax_WriteBend≥Sblock*Njob
Sblock表示回写块大小；Njob表示回写任务个数；该公式可以保证LVM条带卷写入不过载；
状态一，空载状态，Ttask时间内磁盘使用需求
Figure BDA0003619282940000096
小于50％
Figure BDA0003619282940000097
此时T2＝Ttask，则需要保证
Figure BDA0003619282940000098
Figure BDA0003619282940000099
即
Figure BDA00036192829400000910
无需额外触发调节；
状态二，满载状态：Ttask时间内磁盘使用需求
Figure BDA00036192829400000911
在50％-75％
Figure BDA00036192829400000912
之间，此时
Figure BDA00036192829400000913
则有
Figure BDA00036192829400000914
Figure BDA00036192829400000915
那么有
Figure BDA00036192829400000916
因此当判断取值超过50％时，会触发调节操作，Njob取值
Figure BDA00036192829400000917
此时Njob已经达到期望最大值；
状态三，过载状态：Ttask时间内磁盘使用需求
Figure BDA00036192829400000918
在75％-100％
Figure BDA00036192829400000919
此时
Figure BDA00036192829400000920
并有
Figure BDA00036192829400000921
Figure BDA00036192829400000922
当超过75％时会立即触发强制回写操作，并触发ssd缓存盘降速操作为原来的50％；
本实施例提供的缓存卷设置方法，通过将LVM缓存卷的一层缓存改进为两层缓存，并实现读写分离；快速盘部分空间作为慢速盘缓存，并封装为常规盘支持使用LVM；LVM缓存盘只作为写缓存，HDD盘缓存只作为读缓存；同时加入LVM缓存控制器，精准控制写缓存落盘；整体上消除了转码集群IO速率降速的问题，缓存卷读写分离，精准控制持续保持缓存卷可用状态，整体上提升了数据盘的IO读写速率。
基于相同的构思，本实施例提供一种磁盘配置设备，如图4所示，所述磁盘配置设备与磁盘阵列连接，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述磁盘配置设备包括：
第一确定模块，所述第一确定模块用于确定所述第一类磁盘的可用磁盘空间；
第一配置模块，所述第一配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
应当理解的是，本实施例提供的磁盘配置设备能够组合实现上述磁盘配置方法的各个步骤，达到与上述磁盘配置方法各个步骤相同的效果，因此在此不再赘述。
基于相同的构思，本实施例提供一种服务器，如图5所示，所述服务器包括磁盘阵列和配置端，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述配置端包括：
第二确定模块，所述第二确定模块用于确定所述第一类磁盘的可用磁盘空间；
第二配置模块，所述第二配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
应当理解的是，本实施例提供的服务器内的配置端能够组合实现上述磁盘配置方法的各个步骤，达到与上述磁盘配置方法各个步骤相同的效果，因此在此不再赘述。
如图6所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的磁盘配置方法，包括：确定所述第一类磁盘的可用磁盘空间；将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的磁盘配置方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种磁盘配置方法，其特征在于，所述方法适用于磁盘阵列的配置端，所述磁盘阵列包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘的数据传输速度，包括：
确定所述第一类磁盘的可用磁盘空间；
将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
2.根据权利要求1所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：
将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区。
3.根据权利要求1所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：
将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的写缓存区。
4.根据权利要求1所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区，包括：
将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。
5.根据权利要求4所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区，包括：
确定所述第一类磁盘的读取速度和写入速度；
根据所述读取速度和写入速度确定所述读缓存区和所述写缓存区的大小比；
根据确定的大小比，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区。
6.根据权利要求1-4任一项所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之前，所述方法还包括：
根据所述第二类磁盘的数量，确定所述第一类磁盘的磁盘分配策略；
根据所述磁盘分配策略，对所述第一类磁盘的可用磁盘空间进行分区，以将所述第一类磁盘的可用磁盘空间配置成与所述第二类磁盘的数量对应的缓存区。
7.根据权利要求6所述的方法，其特征在于，将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区之后，所述方法还包括：
将所述第一类磁盘的可用磁盘空间配置而成的缓存区与对应的所述第二类磁盘一一进行关联，组成至少一个存储单元。
8.根据权利要求7所述的方法，其特征在于，当所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的读缓存区和写缓存区时，将所述第一类磁盘的可用磁盘空间配置而成的缓存区与对应的所述第二类磁盘一一进行关联，组成至少一个存储单元之后，所述方法还包括:
根据至少一个所述存储单元创建第一物理卷，根据写缓存区创建第二物理卷；
将所述第一物理卷添加到第一卷组中，将所述第二物理卷添加到第二卷组中；
根据所述第一卷组创建条带卷，根据所述第二卷组创建固态硬盘卷，将所述条带卷和所述固态硬盘卷关联形成缓存卷。
9.一种磁盘配置设备，其特征在于，所述磁盘配置设备与磁盘阵列连接，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述磁盘配置设备包括：
第一确定模块，所述第一确定模块用于确定所述第一类磁盘的可用磁盘空间；
第一配置模块，所述第一配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
10.一种服务器，其特征在于，所述服务器包括磁盘阵列和配置端，所述磁盘阵列内包括至少一个第一类磁盘以及至少一个第二类磁盘，所述第一类磁盘的数据传输速度大于所述第二类磁盘，所述配置端包括：
第二确定模块，所述第二确定模块用于确定所述第一类磁盘的可用磁盘空间；
第二配置模块，所述第二配置模块用于将所述第一类磁盘的可用磁盘空间配置成至少一个所述第二类磁盘的缓存区。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的磁盘配置方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的磁盘配置方法的步骤。
CN202210457485.1A 2022-04-27 2022-04-27 一种磁盘配置方法、设备、服务器及电子设备、存储介质 Pending CN114706532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210457485.1A CN114706532A (zh) 2022-04-27 2022-04-27 一种磁盘配置方法、设备、服务器及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210457485.1A CN114706532A (zh) 2022-04-27 2022-04-27 一种磁盘配置方法、设备、服务器及电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114706532A true CN114706532A (zh) 2022-07-05

Family

ID=82177253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210457485.1A Pending CN114706532A (zh) 2022-04-27 2022-04-27 一种磁盘配置方法、设备、服务器及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114706532A (zh)

Similar Documents

Publication Publication Date Title
US10387202B2 (en) Quality of service implementation in a networked storage system with hierarchical schedulers
US20220091739A1 (en) Write type based crediting for block level write throttling to control impact to read input/output operations
US8688932B2 (en) Virtual computer system and method of controlling the same
JP5439581B2 (ja) ストレージシステム、ストレージ装置、ストレージシステムの記憶領域の最適化方法
US8190795B2 (en) Memory buffer allocation device and computer readable medium having stored thereon memory buffer allocation program
US10241909B2 (en) Non-volatile memory device
US7590816B2 (en) Computer system, management computer and storage system, and storage area allocation amount controlling method
US20160139855A1 (en) Storage apparatus and data management method
CN102207830B (zh) 一种缓存动态分配管理方法及装置
US9823875B2 (en) Transparent hybrid data storage
US9354989B1 (en) Region based admission/eviction control in hybrid aggregates
JP6459644B2 (ja) ストレージ制御装置、制御システム及び制御プログラム
US8190843B1 (en) Methods, systems, and computer program products for dynamically allocating memory among a plurality of processes
JP5840594B2 (ja) ストレージシステムによるメモリ管理の方法および装置
TW202215248A (zh) 操作儲存系統的方法、以及對儲存資源的層級進行分區的方法
CN117806989A (zh) 基于持久化内存的高速数据处理方法、装置、设备及介质
US20050144389A1 (en) Method, system, and apparatus for explicit control over a disk cache memory
EP3293625B1 (en) Method and device for accessing file, and storage system
CN114706532A (zh) 一种磁盘配置方法、设备、服务器及电子设备、存储介质
CN114518962A (zh) 内存的管理方法及装置
WO2014136263A1 (ja) ストレージシステム、ストレージ装置の制御方法及びプログラム
CN117389485B (zh) 存储性能优化方法、装置、存储系统、电子设备和介质
KR102334237B1 (ko) 다중 포그라운드 어플리케이션을 위한 페이지 캐쉬 관리 방법 및 장치
JP7050540B2 (ja) 論理記憶領域の配置制御装置、論理記憶領域の配置制御システム、論理記憶領域の配置制御方法、及び、論理記憶領域の配置制御プログラム
CN115543601A (zh) 一种流量控制方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination