CN108733326A - 一种磁盘处理方法及装置 - Google Patents

一种磁盘处理方法及装置 Download PDF

Info

Publication number
CN108733326A
CN108733326A CN201810517260.4A CN201810517260A CN108733326A CN 108733326 A CN108733326 A CN 108733326A CN 201810517260 A CN201810517260 A CN 201810517260A CN 108733326 A CN108733326 A CN 108733326A
Authority
CN
China
Prior art keywords
disk
type
hdd
group
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810517260.4A
Other languages
English (en)
Other versions
CN108733326B (zh
Inventor
阎秀忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810517260.4A priority Critical patent/CN108733326B/zh
Publication of CN108733326A publication Critical patent/CN108733326A/zh
Application granted granted Critical
Publication of CN108733326B publication Critical patent/CN108733326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明实施例公开了一种磁盘处理方法及装置，包括：获取集群中每一个节点上磁盘的类型；根据获得的磁盘的类型和预先获得的磁盘阵列(RAID)级别对每一个节点上的磁盘进行分组；如果得到的磁盘组的类型是硬盘驱动器(HDD)，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。从本发明实施例可见，由于类型为HDD的磁盘主要是用作储存数据的，因此在混合配备模式下，当将类型为HDD的磁盘组的读策略设置为预读策略后，在同时面临读任务和写任务时会优先处理读任务，从而发挥了类型为HDD的磁盘的优势，提高了磁盘的读写效率。

Description

一种磁盘处理方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种磁盘处理方法及装置。
背景技术
集群是由若干个节点组成的用于实现特定功能的集合。
组成集群的每一个节点上都配备有若干块磁盘，磁盘的类型主要分为硬盘驱动器(Hard Disk Drive，HDD)和固态硬盘(Solid State Drives，SSD)，而由于SSD价格相对较高，因此节点上常常采用混合配备模式，即HDD+SSD的模式来进行磁盘配备。
但是，这种磁盘配备方式当所配备的磁盘数量过多时，会造成磁盘的读写效率低下。
发明内容
为了解决上述技术问题，本发明提供一种磁盘处理方法，能够在混合配备模式下提高磁盘的读写效率。
为了达到本发明目的，本发明提供了一种磁盘处理方法，包括：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的磁盘阵列(Redundant Arrays ofIndependent Disks，RAID)级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
述设置类型为HDD的磁盘组的读策略为预读策略之后，还包括：
设置所述类型为HDD的磁盘组的写策略为直写策略。
如果得到的磁盘组的类型为SSD，还包括：
设置所述类型为SSD的磁盘组的写策略为直写策略。
如果所述预先获得的RAID级别为RAID 0，所述根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
将每一个节点上每一个所述类型为HDD的磁盘分为一个组；
将每一个节点上每一个所述类型为SSD的磁盘分为一个组。
如果所述预先获得的RAID级别为RAID 1，所述根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，将获得的个数记为M；
根据所述待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N；其中，M≥2，N≥2；
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组；
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
本发明还提供了一种磁盘处理装置，包括：
获取模块，用于获取集群中每一个节点上磁盘的类型；
分组模块，用于根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
设置模块，用于如果分组后得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
所述设置模块，还用于设置所述类型为HDD的磁盘组的写策略为直写策略。
如果得到的磁盘组的类型为SSD；
所述设置模块，还用于设置所述类型为SSD的磁盘组的写策略为直写策略。
本发明还提供了一种磁盘处理装置，包括：处理器和存储器，其中，存储器中存储有以下可被处理器执行的指令：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可执行指令，所述计算机可执行指令用于执行以下步骤：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
与现有技术相比，本发明至少获取集群中每一个节点上磁盘的类型；根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。从本发明提供的技术方案可见，由于类型为HDD的磁盘主要是用作储存数据的，因此在混合配备模式下，当将类型为HDD的磁盘组的读策略设置为预读策略后，在同时面临读任务和写任务时会优先处理读任务，从而发挥了类型为HDD的磁盘的优势，提高了磁盘的读写效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种磁盘处理方法的流程示意图；
图2为本发明实施例提供的测试环境的结构示意图；
图3为本发明实施例提供的VSAN认证测试过程中选项设置的示意图；
图4为本发明实施例提供的VSAN认证测试过程中策略设置的示意图；
图5为本发明实施例提供的一种磁盘处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供一种磁盘处理方法，如图1所示，该方法包括：
步骤101、获取集群中每一个节点上磁盘的类型。
需要说明的是，节点可以是服务器，但节点是服务器时，集群就是服务器集群。集群可以用于进行虚拟存储区域网络(Virtual Storage Area Network，VSAN)认证测试，当集群用于VSAN认证测试时，集群包含三个节点。
步骤102、根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组。
需要说明的是，分组是在每一个节点上进行的，而不是垮节点进行的。
需要说明的是，RAID卡是一种把多块独立的物理硬盘按不同方式组合起来形成一个逻辑硬盘，以用于协调集群中所有节点上的磁盘的读写。RAID包括RAID模式和直通模式，其中，直通模式是比RAID模式的读写效率高的模式，但很多RAID卡并不具备直通模式，对于RAID模式来说，具体存在多种不同级别以满足应用程序的需求，其中，多种级别包括：RAID0、RAID 1、RAID 0+1、RAID 1+0、RAID 3、RAID 4，RAID 5以及RAID 6。
RAID 0的特点：磁盘在两个以上的磁盘驱动器中传送数据，与输入输出(Input/Output，I/O)同时运行，提高I/O性能。若n代表磁盘数量，则每个磁盘驱动器中有n分之一的数据。RAID 0的应用：读写性能较高，但是没有数据冗余。RAID 0本身仅适用于对数据访问具有容错能力的应用程序，以及能通过其它途径重新形成的数据。
RAID 1的特点：具有磁盘镜像，能够保护数据，读性能有所提高。RAID 1将数据在两个以上的磁盘中形成镜像，所以磁盘之间非常相似。RAID 1利用n+n的保护模式，从而需要两倍的驱动器数量。RAID 1的应用：读操作密集型的联机事务处理过程(On-LineTransaction Processing，OLTP)和其它事务数据具有较高性能和可靠性。其它应用程序也能从RAID 1中获益，包括邮件、操作系统、应用程序文件和随机读取环境。
RAID 0+1的特点：对数据进行分条和镜像，使用n+n个驱动器，性能(分条)和可靠性(镜像)较高。一个磁盘驱动器发生故障，不会影响性能和可靠性，而在RAID 0中，驱动器故障会影响性能和可靠性。另外，磁盘分条技术可以提高性能。RAID 0+1的应用：OLTP和I/O密集型应用程序需要很高的性能和可靠性。这些性能包括事务日志、日志文件、数据索引等，其成本以每个I/O的花费来计算，而不是以每个存储单元的花费计算。
RAID 1+0(RAID 10)的特点：与RAID 0+1相似，对数据进行分条和镜像，使用n+n个驱动器，性能(分条)和可靠性(镜像)较高。不同之处在于RAID 10对所有磁盘进行集体分条，然后实现镜像功能。RAID 1+0的应用：OLTP和I/O密集型应用程序需要很高的性能和可靠性。这些性能包括事务日志、日志文件、数据索引等，其成本以每个I/O的花费来计算，而不是以每个存储单元的花费计算。
RAID 3的特点：在字节层面进行奇偶校验和分条，具有独立的专用磁盘驱动器，根据所需的驱动器数量，利用n+1的方式存储校验信息。RAID 3的应用：为视频图像、地球物理学、生命科学和其它顺序处理的应用程序提供良好性能。但是，RAID 3不能很好地适用于那些对多用户或I/O流进行并发操作的应用程序。
RAID 4的特点：与RAID 3相同，但是提供块级的奇偶校验保护模式。RAID 4的应用：利用读写缓存，能很好地适应文件服务环境。
RAID 5的特点：利用n+1的模式提供磁盘分条和旋转奇偶校验保护模式，为多用户和I/O流并发操作提供良好的可靠性，具有很好的读操作性能。利用空闲的磁盘驱动器，重新构建(磁盘重建)数据，防止重建后数据再次遭破坏。RAID 5的应用：减少所需的磁盘数量，提供良好的可靠性和读操作性能，如果不利用写入缓存，写操作性能受到一定影响。RAID 5适用的应用程序包括关系型数据、读密集型数据库表格、文件共享和全球广域网(WorldWide Web，Web)应用程序。
RAID 6的特点：利用双奇偶校验模式，对磁盘进行分条和旋转校验，旨在降低磁盘重建过程对数据可靠性的影响，尤其是使用大容量光纤通道和串行高级技术附件(SerialAdvanced Technology Attachment，SATA)磁盘驱动器时更是如此。RAID 6和其它多驱动器校验模式的问题在于，在写入数据或重建出现故障的磁盘驱动器时，需要校验奇偶，这时性能会受到影响。RAID 6的应用：总体来说，如果想实现高性能的读写操作，就要利用小型磁盘驱动器，避免使用RAID 6。另一方面，如果你想存储大量数据，而存储点有可能需要重建，正确配置RAID 5和RAID 6，就能满足应用程序的需求
步骤103、如果得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。
本发明实施例所提供的磁盘处理方法，获取集群中每一个节点上磁盘的类型；根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；如果得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。从本发明提供的技术方案可见，由于类型为HDD的磁盘主要是用作储存数据的，因此在混合配备模式下，当将类型为HDD的磁盘组的读策略设置为预读策略后，在同时面临读任务和写任务时会优先处理读任务，从而发挥了类型为HDD的磁盘的优势，提高了磁盘的读写效率。
可选地，设置类型为HDD的磁盘组的读策略为预读策略之后，还包括：
设置类型为HDD的磁盘组的写策略为直写策略。
需要说明的是，常规策略是先把数据写在内存里，然后待空闲时再将数据写在磁盘里，而直写策略是直接将数据写在磁盘里，从而简化了磁盘对于写数据过程涉及的步骤，提高了磁盘的读写效率。
可选地，如果得到的磁盘组的类型为SSD，还包括：
设置类型为SSD的磁盘组的写策略为直写策略。
可选地，如果预先获得的RAID级别为RAID 0，根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
将每一个节点上每一个类型为HDD的磁盘分为一个组。
将每一个节点上每一个类型为SSD的磁盘分为一个组。
具体的，如果集群用于进行VSAN认证测试，则RAID的级别为RAID 0，HDD盘作为VSAN存储的容量(capacity)层，SSD盘作为VSAN存储的缓存(cache)层，HDD和SSD通过RAID卡连接到机器主板上，测试环境包括三台机器，测试环境的结构示意图可以如图2所示，其中的两台作为被测试机和辅助测试机，被测试机上的HDD和SSD搭配的数量比为7:1，辅助测试机上的HDD和SSD搭配的数量比为6:2，RAID卡通过设置RAID-0模式来使用所有的磁盘。按照拓扑图完成测试环境的搭建。打开测试机后进入RAID卡的配置界面，将每块磁盘新建为一个RAID-0分组(即8块磁盘的话新建为8个分组，每个分组内一块磁盘)，图3为本发明实施例提供的VSAN认证测试过程中选项设置的示意图，图4为本发明实施例提供的VSAN认证测试过程中策略设置的示意图，如图3和图4所示，每个分组新建完成后在advanced选项中设置磁盘组的读写策略，SSD磁盘组和HDD磁盘组的读写策略设置如表1所示：
表1
完成RAID卡的参数修改后，进入测试系统，启动VSAN测试环境开始进行测试，观察和磁盘有关的short_iolong_io以及7day_stress_test等测试项。
可选地，如果预先获得的RAID级别为RAID 1，根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，获得的个数记为M。
根据待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N；其中，M≥2，N≥2。
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组。
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
本发明实施例还提供一种磁盘处理装置，如图5所示，该磁盘处理装置2包括：
获取模块21，用于获取集群中每一个节点上磁盘的类型。
分组模块22，用于根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组。
设置模块23，用于如果分组后得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。
需要说明的是，磁盘处理装置可以是RAID卡。
可选地，设置模块23，还用于设置类型为HDD的磁盘组的写策略为直写策略。
可选地，如果得到的磁盘组的类型为SSD，设置模块23，还用于设置类型为SSD的磁盘组的写策略为直写策略。
可选地，如果预先获得的RAID级别为RAID 0，分组模块22具体用于：
将每一个节点上每一个类型为HDD的磁盘分为一个组。
将每一个节点上每一个类型为SSD的磁盘分为一个组。
可选地，如果预先获得的RAID级别为RAID 1，分组模块22具体用于：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，将获得的个数记为M。
根据待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N。其中，M≥2，N≥2。
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组。
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
本发明实施例所提供的磁盘处理装置，获取集群中每一个节点上磁盘的类型。根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组。如果得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。从本发明提供的技术方案可见，由于类型为HDD的磁盘主要是用作储存数据的，因此在混合配备模式下，当将类型为HDD的磁盘组的读策略设置为预读策略后，在同时面临读任务和写任务时会优先处理读任务，从而发挥了类型为HDD的磁盘的优势，提高了磁盘的读写效率。
在实际应用中，获取模块21、分组模块22和设置模块23均可由位于磁盘处理装置中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等实现。
本发明实施例还提供一种用于升级数据库的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：
获取集群中每一个节点上磁盘的类型。
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组。
如果得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。
进一步，存储器中还存储有以下可被处理器执行的指令：
设置类型为HDD的磁盘组的写策略为直写策略。
进一步，如果得到的磁盘组的类型为SSD，存储器中还存储有以下可被处理器执行的指令：
设置类型为SSD的磁盘组的写策略为直写策略。
可选地，如果预先获得的RAID级别为RAID 0，存储器中具体存储有以下可被处理器执行的指令：
将每一个节点上每一个类型为HDD的磁盘分为一个组。
将每一个节点上每一个类型为SSD的磁盘分为一个组。
可选地，如果预先获得的RAID级别为RAID 1，存储器中具体存储有以下可被处理器执行的指令：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，将获得的个数记为M。
根据待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N。其中，M≥2，N≥2。
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组。
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
本发明实施例还提供一种计算机可读存储介质，存储介质上存储有计算机可执行指令，计算机可执行指令用于执行以下步骤：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给类型为HDD的磁盘组进行处理。
可选地，计算机可执行指令还用于执行以下步骤：
设置类型为HDD的磁盘组的写策略为直写策略。
可选地，计算机可执行指令还用于执行以下步骤：
设置类型为SSD的磁盘组的写策略为直写策略。
可选地，如果预先获得的RAID级别为RAID 0，计算机可执行指令具体用于执行以下步骤：
将每一个节点上每一个类型为HDD的磁盘分为一个组；
将每一个节点上每一个类型为SSD的磁盘分为一个组。
可选地，如果预先获得的RAID级别为RAID 1，计算机可执行指令具体用于执行以下步骤：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，将获得的个数记为M。
根据待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N。其中，M≥2，N≥2。
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组。
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
虽然本发明所揭露的实施方式如上，但的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种磁盘处理方法，其特征在于，包括：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的磁盘阵列RAID级别对每一个节点上的磁盘进行分组，得到磁盘组；
如果得到的磁盘组的类型是硬盘驱动器HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
2.根据权利要求1所述的磁盘处理方法，其特征在于，所述设置类型为HDD的磁盘组的读策略为预读策略之后，所述方法还包括：
设置所述类型为HDD的磁盘组的写策略为直写策略。
3.根据权利要求1或2所述的磁盘处理方法，其特征在于，所述方法还包括：如果得到的磁盘组的类型为固态硬盘SSD，设置所述类型为SSD的磁盘组的写策略为直写策略。
4.根据权利要求1所述的磁盘处理方法，其特征在于，如果所述预先获得的RAID级别为RAID 0，所述根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
将每一个节点上每一个所述类型为HDD的磁盘分为一个组；
将每一个节点上每一个所述类型为SSD的磁盘分为一个组。
5.根据权利要求1所述的磁盘处理方法，其特征在于，如果所述预先获得的RAID级别为RAID 1，所述根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组，包括：
根据待处理业务的数据量确定类型为HDD的磁盘组包含的磁盘个数，将获得的个数记为M；
根据所述待处理业务的数据量确定类型为SSD的磁盘组包含的磁盘个数，将获得的个数记为N；其中，M≥2，N≥2；
从每一个节点上获取M个类型为HDD的磁盘，并将获得的磁盘分为一个组；
从每一个节点上获取N个类型为SSD的磁盘，并将获得的磁盘分为一个组。
6.一种磁盘处理装置，其特征在于，包括：
获取模块，用于获取集群中每一个节点上磁盘的类型；
分组模块，用于根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
设置模块，用于如果分组后得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
7.根据权利要求6所述的磁盘处理装置，其特征在于，
所述设置模块，还用于设置所述类型为HDD的磁盘组的写策略为直写策略。
8.根据权利要求5或6所述的磁盘处理装置，其特征在于，如果得到的磁盘组的类型为SSD，
所述设置模块，还用于设置所述类型为SSD的磁盘组的写策略为直写策略。
9.一种磁盘处理装置，其特征在于，包括：处理器和存储器，其中，存储器中存储有以下可被处理器执行的指令：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机可执行指令，所述计算机可执行指令用于执行以下步骤：
获取集群中每一个节点上磁盘的类型；
根据获得的磁盘的类型和预先获得的RAID级别对每一个节点上的磁盘进行分组；
如果得到的磁盘组的类型是HDD，设置所述类型为HDD的磁盘组的读策略为预读策略，当接收到读写任务时，将读任务优先分配给所述类型为HDD的磁盘组进行处理。
CN201810517260.4A 2018-05-25 2018-05-25 一种磁盘处理方法及装置 Active CN108733326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810517260.4A CN108733326B (zh) 2018-05-25 2018-05-25 一种磁盘处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810517260.4A CN108733326B (zh) 2018-05-25 2018-05-25 一种磁盘处理方法及装置

Publications (2)

Publication Number Publication Date
CN108733326A true CN108733326A (zh) 2018-11-02
CN108733326B CN108733326B (zh) 2021-10-01

Family

ID=63935357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810517260.4A Active CN108733326B (zh) 2018-05-25 2018-05-25 一种磁盘处理方法及装置

Country Status (1)

Country Link
CN (1) CN108733326B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491613A (zh) * 2018-11-13 2019-03-19 深圳龙岗智能视听研究院 一种持续数据保护存储系统及其使用该系统的存储方法
CN109597579A (zh) * 2018-12-03 2019-04-09 郑州云海信息技术有限公司 对板卡上扩展芯片及后端磁盘进行策略配置的方法
CN111338580A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种磁盘性能优化的方法和设备
CN114840148A (zh) * 2022-06-30 2022-08-02 江苏博云科技股份有限公司 在Kubernetes中基于linux内核bcache技术实现磁盘加速的方法
CN117762529A (zh) * 2023-12-26 2024-03-26 合芯科技有限公司 一种服务器批量组磁盘阵列的方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128887A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 記憶装置，記憶システム及び制御方法
CN101976174A (zh) * 2010-08-19 2011-02-16 北京同有飞骥科技有限公司 一种垂直排布分布校验的节能型磁盘阵列的构建方法
CN102326141A (zh) * 2011-08-08 2012-01-18 华为技术有限公司 Raid配置信息的处理方法及装置、raid控制器
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128887A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 記憶装置，記憶システム及び制御方法
CN101976174A (zh) * 2010-08-19 2011-02-16 北京同有飞骥科技有限公司 一种垂直排布分布校验的节能型磁盘阵列的构建方法
CN102326141A (zh) * 2011-08-08 2012-01-18 华为技术有限公司 Raid配置信息的处理方法及装置、raid控制器
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491613A (zh) * 2018-11-13 2019-03-19 深圳龙岗智能视听研究院 一种持续数据保护存储系统及其使用该系统的存储方法
CN109491613B (zh) * 2018-11-13 2021-11-02 深圳龙岗智能视听研究院 一种持续数据保护存储系统及其使用该系统的存储方法
CN109597579A (zh) * 2018-12-03 2019-04-09 郑州云海信息技术有限公司 对板卡上扩展芯片及后端磁盘进行策略配置的方法
CN111338580A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种磁盘性能优化的方法和设备
CN111338580B (zh) * 2020-02-29 2021-12-21 苏州浪潮智能科技有限公司 一种磁盘性能优化的方法和设备
CN114840148A (zh) * 2022-06-30 2022-08-02 江苏博云科技股份有限公司 在Kubernetes中基于linux内核bcache技术实现磁盘加速的方法
CN114840148B (zh) * 2022-06-30 2022-09-06 江苏博云科技股份有限公司 在Kubernetes中基于linux内核bcache技术实现磁盘加速的方法
CN117762529A (zh) * 2023-12-26 2024-03-26 合芯科技有限公司 一种服务器批量组磁盘阵列的方法、装置、设备及介质

Also Published As

Publication number Publication date
CN108733326B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US20240220364A1 (en) Data Reconstruction in Distributed Storage Systems
CN108733326A (zh) 一种磁盘处理方法及装置
US6647460B2 (en) Storage device with I/O counter for partial data reallocation
Jin et al. HiSMRfs: A high performance file system for shingled storage array
CN1965298B (zh) 用于管理奇偶raid数据重建的方法、系统和设备
CN103064765A (zh) 数据恢复方法、装置及集群存储系统
CN106716375A (zh) 具有每区段校验和的文件系统
US20100262752A1 (en) Storage virtual containers
CN101510145B (zh) 一种存储系统管理方法和装置
US11379326B2 (en) Data access method, apparatus and computer program product
CN102147713B (zh) 一种网络存储系统的管理方法及装置
CN109542342A (zh) 元数据管理与数据重构方法、设备及存储介质
CN101770413B (zh) 冗余磁盘阵列重建的方法及设备
CN103617006A (zh) 存储资源的管理方法与装置
US20080091916A1 (en) Methods for data capacity expansion and data storage systems
US11748241B2 (en) Method and apparatus for generating simulated test IO operations
US11762572B2 (en) Method of operating storage device and method of operating storage system using the same
O'reilly Network storage: Tools and technologies for storing your company’s data
CN107562377A (zh) 一种存储系统硬盘扩容实现方法
CN107957850A (zh) 具虚拟区块及磁盘阵列结构的数据存储系统及其管理方法
CN101997919B (zh) 一种存储资源的管理方法及管理装置
US9665581B1 (en) Managing file system checking
US11256428B2 (en) Scaling raid-based storage by redistributing splits
Zhang et al. Determining data distribution for large disk enclosures with 3-d data templates
Chai et al. A case study on large-scale disk system concatenating free space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant