CN110347497B

CN110347497B - 一种将多个存储设备划分设备组的方法及装置

Info

Publication number: CN110347497B
Application number: CN201910475974.8A
Authority: CN
Inventors: 杨新颖
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2019-06-03
Filing date: 2019-06-03
Publication date: 2020-07-21
Anticipated expiration: 2039-06-03
Also published as: WO2020244243A1; CN110347497A

Abstract

公开了一种将多个存储设备划分设备组的方法及装置。为业务系统下的每个业务子系统分配专用的设备组(包括至少一个存储设备)，并且，基于每个业务子系统执行数据读写操作的频繁程度，确定每个业务子系统对应的设备组中以固态硬盘为存储介质的存储设备的数量。其中，执行数据读写操作越频繁的业务子系统所对应的目标设备数量越大；针对任一业务子系统，该业务子系统对应的目标设备数量为，该业务子系统对应的设备组中以固态硬盘为存储介质的存储设备的数量。

Description

一种将多个存储设备划分设备组的方法及装置

技术领域

本说明书实施例涉及信息技术领域，尤其涉及一种将多个存储设备划分设备组的方法及装置。

背景技术

在涉及海量的业务数据存储的相关场景下，为了克服传统的中心化存储方式存在的性能瓶颈，往往采用分布式存储方式对产生的业务数据进行存储。分布式存储方式是指将数据分散存储在多台存储设备上，利用多台存储设备分担存储负荷。

具体而言，如图1所示，业务系统包括多个业务子系统，同时，也部署有多个存储设备。每个业务子系统产生的业务数据都需要被分散到上述多个存储设备上进行分担存储。

在部署的多个存储设备中，有些存储设备的存储介质是机械硬盘(Hard DiskDrive，HDD)，而另一些存储设备的存储介质是固态硬盘(Solid State Drives，SSD)。采用HDD的成本较低，但是数据读写速度也较慢；采用SSD的成本较高，但是数据读写速度也较快。

然而，出于成本考虑，在部署的多个存储设备中，存储介质为固态硬盘的存储设备的数量是有限的。

发明内容

为了提升对以固态硬盘为存储介质的存储设备的性能利用率，本说明书实施例提供一种将多个存储设备划分设备组的方法及装置，技术方案如下：

根据本说明书实施例的第1方面，提供一种将多个存储设备划分设备组的方法，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备；所述业务系统包括N个业务子系统，N>1；

所述方法包括：

针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度；

根据该业务子系统执行数据读写操作的频繁程度，将所述多个存储设备划分为N个包括至少一个存储设备的设备组，并建立所述N个业务子系统与所述N个设备组之间的一一对应关系，以便每个业务子系统将产生的业务数据存储于自身对应的设备组；

其中，执行数据读写操作越频繁的业务子系统所对应的目标设备数量越大；针对任一业务子系统，该业务子系统对应的目标设备数量为，该业务子系统对应的设备组中以固态硬盘为存储介质的存储设备的数量。

根据本说明书实施例的第2方面，提供一种将多个存储设备划分设备组的装置，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备；所述业务系统包括N个业务子系统，N>1；

所述装置包括：

分析模块，针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度；

分组模块，根据该业务子系统执行数据读写操作的频繁程度，将所述多个存储设备划分为N个包括至少一个存储设备的设备组，并建立所述N个业务子系统与所述N个设备组之间的一一对应关系，以便每个业务子系统将产生的业务数据存储于自身对应的设备组；

本说明书实施例所提供的技术方案，为业务系统下的每个业务子系统分配专用的设备组(包括至少一个存储设备)，并且，基于每个业务子系统执行数据读写操作的频繁程度，确定每个业务子系统对应的设备组中以固态硬盘为存储介质的存储设备的数量。其中，执行数据读写操作越频繁的业务子系统所对应的目标设备数量越大；针对任一业务子系统，该业务子系统对应的目标设备数量为，该业务子系统对应的设备组中以固态硬盘为存储介质的存储设备的数量。

通过本说明书实施例，将数量有限的固态硬盘存储设备进行合理分配，执行数据读写操作越频繁的业务子系统分配到的固态硬盘存储设备越多，如此，可以提升对有限的固态硬盘存储设备的性能利用率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要通过的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是现有的业务数据存储模式的示意图；

图2是本说明书实施例提供的业务数据存储模式的示意图；

图3是本说明书实施例提供的一种将多个存储设备划分设备组的方法的流程示意图；

图4是本说明书实施例提供的一种将多个存储设备划分设备组的装置的结构示意图；

图5是用于配置本说明书实施例装置的一种计算机设备的结构示意图。

具体实施方式

为了描述的方便，本文将以固态硬盘为存储介质的存储设备称为SSD存储设备，将以机械硬盘为存储介质的存储设备称为HDD存储设备。

在实际应用中，业务系统下的不同业务子系统往往负责不同的业务部分，实现不同的业务功能。对于有的业务功能而言，负责该业务功能的业务子系统需要频繁进行数据读写操作；而对于有的业务功能而言，负责该业务功能的业务子系统进行数据读写操作的频率并不高。

而在现有技术中，如图1所示，部署的多个存储设备为所有业务子系统提供数据存储服务，每个业务子系统产生的业务数据都会分片存储于这多个存储设备中。对于不频繁进行数据读写操作的业务子系统(如图1中的业务子系统3)而言，其产生的业务数据也会分片存储于所有SSD存储设备上，然而，由于这部分业务数据较少涉及数据读写(如数据修改、数据读取等)，因此，这部分业务数据所占的固态硬盘的存储空间事实上被浪费掉了(不能发挥固态硬盘读写速度快的优势)。可见，现有的业务数据存储方式对固态硬盘的性能利用率不高。

为此，想要提升固态硬盘的性能利用率，就意味着需要将固态硬盘尽可能用于频繁的数据读写场景。因此，本发明的主要目的是，不再使得部署的多个存储设备无差别地为每个业务子系统提供数据存储服务，而是对多个存储设备进行分组，不同的设备组分配给不同的业务子系统。其中，某个业务子系统执行数据读写操作越频繁，则为该业务子系统分配的设备组中包括越多的SSD存储设备。如此，可以充分利用SSD的性能，避免性能闲置。

图2是本说明书实施例提供的业务数据存储模式的示意图。如图2所示，将部署的多个存储设备分组，业务子系统1执行数据读写操作较频繁且产生的数据量较大，因此，其对应的设备组中包括一个HDD存储设备与一个SSD存储设备。具体地，业务子系统1产生的业务数据可以直接存入设备组1中的SSD存储设备中，以提升数据存储速度，后续随着业务子系统1产生的业务数据增多，可以将设备组1中的SSD存储设备所存储的业务数据迁移到设备组1中的HDD存储设备进行存储。

业务子系统2与业务子系统1类似，因此，业务子系统2对应的设备组中包括1个SSD存储设备。业务子系统3执行数据读写操作不频繁，因此，业务子系统3对应的设备组中可以不包括SSD存储设备。

此外还需要说明的是，本文中的“数据读写操作”，是指数据写入和/或数据读取。其中，数据写入操作进一步包括数据存储操作、数据更新操作或数据删除操作。

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图3是本说明书实施例提供的一种将多个存储设备划分设备组的方法的流程示意图，包括如下步骤：

S300：针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度。

在本说明书实施例中，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备。在本文中，为了描述的方便，假设所述业务系统包括N个业务子系统，N>1。

本方法的执行主体可以是所述业务系统，也可以是负责管理所述业务系统的业务管理系统。

在本说明书实施例中，某个业务子系统执行数据读写操作的越频繁，意味着该业务子系统需要越频繁地针对存储设备进行数据存储、数据更新或数据读写。对于执行数据读写操作较频繁的业务子系统，需要尽可能为其分配SSD存储设备，以充分发挥SSD的高速读写性能。

在本说明书实施例中，针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度的方式可以有多种。

例如，可以针对每个业务子系统，统计在指定时段内该业务子系统执行数据读写操作的次数，用于表征该业务子系统执行数据读写操作的频繁程度；其中，统计得到的次数与该业务子系统执行数据读写操作的频繁程度正相关。

又如，可以针对每个业务子系统，统计在连续多个指定时间间隔内该业务子系统执行数据读写操作的次数，然后计算多个指定时间间隔内统计得到的次数的平均值，用于表征该业务子系统执行数据读写操作的频繁程度；其中，计算的平均值与该业务子系统执行数据读写操作的频繁程度正相关。

S302：根据该业务子系统执行数据读写操作的频繁程度，将所述多个存储设备划分为N个包括至少一个存储设备的设备组。

本说明书实施例的主要目的是，为数据读写操作较频繁的业务子系统分配较多的SSD存储设备，为数据读写操作较不频繁的业务子系统分配较少的SSD存储设备(或不分配SSD存储设备)。

因此，将多个存储设备划分为与N个业务子系统一一对应的N个设备组的方式所需要遵守的原则为：执行数据读写操作越频繁的业务子系统所对应的目标设备数量越大；针对任一业务子系统，该业务子系统对应的目标设备数量为，该业务子系统对应的设备组中SSD存储设备的数量。

需要说明的是，在本说明书实施例中，可以灵活确定每个设备组中HDD存储设备的数量。例如，如果有的业务子系统产生的业务数据的数据量较大，那么可以为该业务子系统对应的设备组中多分配HDD存储设备；并且，如果该业务子系统执行数据存储操作比较频繁，那么可以只由该业务子系统对应的设备组中的SSD存储设备负责存储新产生的业务数据，而SSD存储设备存储时间较长的业务数据可以后续迁移至同组的HDD存储设备上进行存储，以腾出宝贵的SSD空间用于新产生的业务数据的高速写入。

S304：建立所述N个业务子系统与所述N个设备组之间的一一对应关系。

通过步骤S304，可以使得每个业务子系统将产生的业务数据存储于自身对应的设备组。

此外，在本说明书实施例中，所述业务系统具体可以为区块链业务系统，所述业务系统包括用于向区块链写入业务数据的第一业务子系统与用于读取已写入区块链的时长大于指定时长的业务数据的第二业务子系统。

区块链数据具有时序性，一般而言，新产生的区块链数据会涉及频繁的数据读写操作，而已经存储了一段时间(已写入区块链的时长大于指定时长)的区块链数据不会涉及数据写入操作，数据读取操作也并不频繁。因此，在分组策略上，所述第一业务子系统对应的设备组中每个存储设备可以皆以固态硬盘为存储介质，所述第二业务子系统对应的设备组中每个存储设备可以皆以机械硬盘为存储介质。

另外，在本说明书实施例中，可以当满足预设的重分组条件时，重新针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度。也即，当满足预设的充分组条件时，重新通过图3所示的方法对多个存储设备进行分组。

例如，在实践中，每个业务子系统执行数据读写操作的频繁程度可能发生变化，因此，可以定期进行重分组，重新分析每个业务子系统执行数据读写操作的频繁程度。这种情况下，所述重分组条件可以为经过指定周期。

又如，在实践中，任一业务子系统都可能发生功能变动，甚至，每个业务子系统的功能都发生变化。这种情况下，所述重分组条件具体可以是至少一个业务子系统的功能被更新。

图4是本说明书实施例提供的一种将多个存储设备划分设备组的装置的结构示意图，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备；所述业务系统包括N个业务子系统，N>1；

所述装置包括：

分析模块401，针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度；

分组模块402，根据该业务子系统执行数据读写操作的频繁程度，将所述多个存储设备划分为N个包括至少一个存储设备的设备组，并建立所述N个业务子系统与所述N个设备组之间的一一对应关系，以便每个业务子系统将产生的业务数据存储于自身对应的设备组；

所述分析模块401，针对每个业务子系统，统计在指定时段内该业务子系统执行数据读写操作的次数，用于表征该业务子系统执行数据读写操作的频繁程度；统计得到的次数与该业务子系统执行数据读写操作的频繁程度正相关。

所述装置还包括：

重分析模块403，当满足预设的重分组条件时，重新针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度。

所述重分组条件，具体包括：

至少一个业务子系统的功能被更新。

所述业务系统为区块链业务系统，所述业务系统包括用于向区块链写入业务数据的第一业务子系统与用于读取已写入区块链的时长大于指定时长的业务数据的第二业务子系统；

所述第一业务子系统对应的设备组中每个存储设备皆以固态硬盘为存储介质，所述第二业务子系统对应的设备组中每个存储设备皆以机械硬盘为存储介质。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现图3所示方法的功能。

图5示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1410、存储器1420、输入/输出接口1430、通信接口1440和总线1450。其中处理器1410、存储器1420、输入/输出接口1430和通信接口1440通过总线1450实现彼此之间在设备内部的通信连接。

处理器1410可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1420可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1420可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1420中，并由处理器1410来调用执行。

输入/输出接口1430用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1440用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1450包括一通路，在设备的各个组件(例如处理器1410、存储器1420、输入/输出接口1430和通信接口1440)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1410、存储器1420、输入/输出接口1430、通信接口1440以及总线1450，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图3所示方法的功能。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、方法、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法和设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims

1.一种将多个存储设备划分设备组的方法，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备；所述业务系统包括N个业务子系统，N>1；

所述方法包括：

2.如权利要求1所述的方法，针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度，具体包括：

针对每个业务子系统，统计在指定时段内该业务子系统执行数据读写操作的次数，用于表征该业务子系统执行数据读写操作的频繁程度；统计得到的次数与该业务子系统执行数据读写操作的频繁程度正相关。

3.如权利要求1所述的方法，所述方法还包括：

当满足预设的重分组条件时，重新针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度。

4.如权利要求3所述的方法，所述重分组条件，具体包括：

至少一个业务子系统的功能被更新。

5.如权利要求1所述的方法，所述业务系统为区块链业务系统，所述业务系统包括用于向区块链写入业务数据的第一业务子系统与用于读取已写入区块链的时长大于指定时长的业务数据的第二业务子系统；

6.一种将多个存储设备划分设备组的装置，预先部署用于对业务系统产生的业务数据进行分布式存储的多个存储设备；所述业务系统包括N个业务子系统，N>1；

所述装置包括：

7.如权利要求6所述的装置，所述分析模块，针对每个业务子系统，统计在指定时段内该业务子系统执行数据读写操作的次数，用于表征该业务子系统执行数据读写操作的频繁程度；统计得到的次数与该业务子系统执行数据读写操作的频繁程度正相关。

8.如权利要求6所述的装置，所述装置还包括：

重分析模块，当满足预设的重分组条件时，重新针对每个业务子系统，分析该业务子系统执行数据读写操作的频繁程度。

9.如权利要求8所述的装置，所述重分组条件，具体包括：

至少一个业务子系统的功能被更新。

10.如权利要求6所述的装置，所述业务系统为区块链业务系统，所述业务系统包括用于向区块链写入业务数据的第一业务子系统与用于读取已写入区块链的时长大于指定时长的业务数据的第二业务子系统；

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1～5任一项所述的方法。