CN112988066A - 一种数据处理方法及装置 - Google Patents

Abstract

本申请涉及分布式存储技术领域，特别涉及一种数据处理方法及装置。该方法应用于分布式存储系统，该分布式存储系统包括HDD组成的一级存储池，HDD和SSD组成的二级存储池和SSD组成的三级存储池，任一存储池配置有对应业务使用的存储卷，该方法包括：接收目标业务的IO流；对该目标业务的IO流进行解析处理，统计该目标业务的IO流随机读写和/或顺序读写的比例；基于该目标业务的IO流随机读写和/或顺序读写的比例，将该目标业务使用的目标存储卷迁移至对应级别的目标存储池，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

Description

一种数据处理方法及装置

技术领域

本申请涉及分布式存储技术领域，特别涉及一种数据处理方法及装置。

背景技术

IPSAN是在存储局域网络(Storage Area Network，SAN)后产生的，SAN默认指FCSAN，以光纤通道构建存储网络，IPSAN(基于IP的网络存储系统)则以IP网络构建存储网络，较FCSAN，具有更经济、自由扩展等特点。

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

目前，分布式存储也已提供IPSAN的服务能力。在既定的存储介质的形态下，由用户(管理员)配置存储池，如存储池1配置1块nvme+8块hdd，存储池2配置8块hdd。对于配置不同的存储池，划分lun，lun的性能取决于硬件能力，那么，如何配置各存储池；又如存储池1的lun1比存储池2的lun2性能要好，但某个应用，是使用存储池1的lun还是使用存储池2的lun，这两个问题，专业性很强，给用户使用带来难度。

进一步地，对同一存储池下的lun，常见做法是以lun为粒度配置Qos，但配置什么样的Qos的参数是合理的，也会给用户带来困难；对同一存储池下的lun，没有物理隔离效果，因为即使配置了Qos，处于同一存储池下，对磁盘的访问，天然是抢占的，在系统繁忙时，高Qos的lun也保证不了性能。

发明内容

本申请提供了一种数据处理方法及装置，用以解决现有技术中存在的无法自适应地根据业务需求向各业务提供对应IO性能的存储服务的问题。

第一方面，本申请提供了一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述方法包括：

接收目标业务的IO流；

对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；

基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

可选地，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；

若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；

若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；

若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；

将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；

在确定迁移完成之后，删除所述目标存储卷。

可选地，所述方法还包括：

监控各级存储池的资源利用率；

若确定任一级别的存储池的利用率小于设定阈值，则将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。

第二方面，本申请提供了一种数据处理装置，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述装置包括：

接收单元，用于接收目标业务的IO流；

解析单元，用于对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；

迁移单元，用于基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

可选地，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；

若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；

若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；

若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；

将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；

在确定迁移完成之后，删除所述目标存储卷。

可选地，所述装置还包括：

监控单元，用于监控各级存储池的资源利用率；

调整单元，若所述监控单元确定任一级别的存储池的利用率小于设定阈值，则所述调整单元用于将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。

第三方面，本申请实施例提供一种数据处理装置，该数据处理装置包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。

综上可知，本申请实施例提供的数据处理方法，应用于分布式存储系统，该分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，任一存储池中配置有对应业务使用的存储卷，该方法包括：接收目标业务的IO流；对该目标业务的IO流进行解析处理，统计该目标业务的IO流随机读写和/或顺序读写的比例；基于该目标业务的IO流随机读写和/或顺序读写的比例，将该目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

采用本申请实施例提供的数据处理方法，分布式存储系统可以根据业务的IO流的随机读写/顺序得写的比例对业务进行分类，并根据业务类型将其存储在分布式存储系统中的数据迁移至对应级别的存储池中，分布式存储系统动态调整对应IO性能存储池为该业务提供存储服务，这样，就实现了智能动态调整各业务的存储卷所在的存储池，满足业务存储性能需求，提升分布式存储系统的性能，提升用户体验度。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1为本申请实施例提供的一种分布式存储系统的结构示意图；

图2为本申请实施例提供的一种数据处理方法的详细流程图；

图3为本申请实施例提供的一种数据处理装置的结构示意图；

图4为本申请实施例提供的另一种数据处理装置的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

示例性的，参阅图1所示，为本申请实施例提供的一种分布式存储系统的结构示意图，该分布式存储系统包括3个节点(如，主机1，主机2和主机3)，假设每个节点配置有n块nvme SSD和m块HDD，该分布式存储系统为IPSAN，是以IP网络构建的存储网络，IPSAN可以对mirror以太网存储协议报文进行解析处理，得到报文内容。该分布式存储系统中各节点配置的磁盘组成一个大的资源池，为各业务提供存储服务。

示例性的，参阅图2所示，为本申请实施例提供的一种数据处理方法的详细流程图，该方法应用于分布式存储系统，上述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，该方法包括以下步骤：

步骤200：接收目标业务的IO流。

本申请实施例中，预先将分布式存储系统中各节点的磁盘组成的大存储资源池划分为多级存储池，如，划分为仅由HDD组成的一级存储池，由HDD何SSD组成的二级存储池和仅由SSD组成的三级存储池，例如，假设分布式存储系统包括主机1，主机2和主机3，各主机均配置有10块HDD和3块SSD，那么，主机1的5块HDD，主机2的5块HDD和主机3的5块HDD组成一级存储池，即一级存储池包括15块HDD；主机1的1块SSD，5块HDD，主机2的1块SSD，5块HDD和主机3的1块SSD，5块HDD组成二级存储池，即二级存储池包括3块SSD和15块HDD，主机1的2块SSD，主机2的2块SSD和主机3的2块SSD组成三级存储池，即三级存储池包括6块SSD。

当然，本申请实施例中，各主机配置的磁盘数量可以相同，也可以不同，在进行存储池划分时，并不限定上述划分方法，本申请实施例中，在此不做具体限定。

进一步地，由于分布式存储系统要给各业务提供存储服务，那么，假设业务包括视频，虚拟机和数据库，那么，即可在各级存储池中配置有供各业务使用的存储卷(lun)，各业务对应的业务数据预先存储在其对应的存储卷中。例如，假设视频，虚拟机和数据库对应的存储卷均配置在二级存储池。二级存储池配置有存储卷1，存储卷2和存储卷3，初始化阶段，配置存储卷1供视频使用，配置存储卷2供虚拟机使用，配置存储卷3供数据库使用。当然，在配置存储卷时，存储卷可以配置在任一级别的存储池(如，存储卷1配置在存储池1，存储卷2配置在存储池2，存储卷3配置在存储池3)，关于存储卷的配置方式，本申请实施例中，在此不做具体限定。

各业务运行时，运行各业务的客户端会从分布式系统读写数据，此时，各客户端会向分布式系统发送IO读写请求，分布式存储系统接收目标业务的IO流。该目标业务可以是试用该分布式存储系统的任一业务。

步骤210：对上述目标业务的IO流进行解析处理，统计上述目标业务的IO流随机读写和/或顺序读写的比例。

本申请实施例中，分布式存储对接收到的各业务的IO请求后，对其进行解析处理，获取所要访问的存储卷名称，IO请求的地址和请求数据的大小，根据各IO请求所要访问的存储卷的名称，确定该IO请求所属的业务，进一步地，统计各业务的IO流的随机读写和/或顺序读写的比例。

例如，假设统计出的业务1在预设周期内发送的IO流的随机读写比例为90％，则其顺序读写比例为1-90％＝10％。

实际应用中，不同业务在运行时，其IO大小，读写比例，及随机读写与顺序读写比例大都是固定在某个范围内，如下所示，为本申请实施例列出的几种常见业务的IO特征：

步骤220：基于上述目标业务的IO流随机读写和/或顺序读写的比例，将上述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

需要说明的是，由于顺序读写要求的存储性能较低，随机读写要求的存储性能较高，那么，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储性能越低，如，视频流；一个业务的IO流随机读写越多/顺序读写越少，该业务所需的存储性能越高，如，数据库。

本申请实施例中，基于上述目标业务的IO流随机读写和/或顺序读写的比例，将上述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，一种较佳地实现方式为：

若上述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将上述目标业务使用的目标存储卷迁移至三级存储池；

若上述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将上述目标业务使用的目标存储卷迁移至一级存储池；

若上述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将上述目标业务使用的目标存储卷迁移至二级存储池。

其中，第一阈值远大于第三阈值，第二阈值远小于第四阈值。如，第一阈值设置为99％，第二阈值则为1％。

也就是说，以业务的IO流的随机读写比例参数为例进行说明，一个业务的IO流随机读写的比例大于等于99％，则确定该一个业务所需的存储性能较高，那么，就需要采用三级存储池来为该一个业务提供存储服务。也就是说，需要将该一个业务当前使用的目标存储卷(目标存储卷中存储的数据)迁移至三级存储池中。

若该一个业务的IO流随机读写的比例小于等于1％，则确定该一个业务所需的存储性能较低，那么，就只需采用一级存储池来为该一个业务提供存储服务。也就是说，需要将该一个业务当前使用的目标存储卷(目标存储卷中存储的数据)迁移至一级存储池中。

若该一个业务的IO流随机读写的比例大于1％，且小于99％，则确定该一个业务所需的存储性能适中，那么，就只需采用二级存储池来为该一个业务提供存储服务。也就是说，需要将该一个业务当前使用的目标存储卷(目标存储卷中存储的数据)迁移至二级存储池中。

本申请实施例中，上述第一阈值，第二阈值，第三阈值和第四阈值可以根据不同用户需求和/或不同应用场景需求进行不同的配置，本申请实施例中，在此不做具体限定。

进一步地，本申请实施例中，将上述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，一种较佳地实现方式为，确定上述目标业务使用的目标存储卷所在的资源池与上述目标存储池是否为同一存储池；若不是，则将上述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

也就是说，若一个业务当前使用的存储卷在存储池2中，若根据该一个业务对应的目标存储卷也是存储池2，则无需执行后续迁移步骤。

更进一步地，将上述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，一种较佳地实现方式为，创建一个存储卷，上述一个存储卷包括由上述目标存储区域的目标地址组成的存储卷和上述目标存储卷；将迁移期间上述目标业务产生的数据写入由上述目标存储区域的目标地址组成的存储卷，并将上述目标存储卷中存储的数据迁移至由上述目标存储区域的目标地址组成的存储卷；在确定迁移完成之后，删除上述目标存储卷。

例如，假设目标业务当前使用的目标存储卷在存储池2中，经统计确定目标业务对应的目标存储池为存储池1，此时，就需要创建一个新的存储卷，该存储卷由存储池1和存储池2的地址组成，其中，该新的存储卷包括由存储池1的目标地址组成的的存储卷和存储池2的目标存储卷，在目标存储卷迁移过程中，该一个业务产生的新数据就直接存储在由存储池1的目标地址组成的存储卷上即可，在系统不繁忙时，还需要将存储池2上的目标存储卷中存储的该一个业务的老数据迁移至由存储池1的目标地址组成的存储卷上，并在确定老数据迁移完成后，删除该目标存储卷，以使得新的存储卷只包括由存储池1的目标地址组成的存储卷。存储池1的IO性能即可满足目标存储的要求。这样，就可以将存储池2的存储资源提供给其它业务使用。

进一步地，分布式存储系统还可以基于预设规则，监控各级存储池的资源利用率；若确定任一级别的存储池的利用率小于设定阈值，则将该存储池的目标磁盘从上述任一级别的存储池删除，并将上述目标磁盘添加至除上述任一级别的存储池之外的其它存储池。

例如，当检测到任一存储池(如，全由HDD组成的一级存储池)长时间利用率低时，执行存储池变化过程：

将一级存储池的全部或部分硬盘从存储池踢出，加入到二级存储池，需要说明的是，在将一个磁盘踢出存储池之前，需确保该磁盘中存储的数据已迁移至该存储池的其它磁盘中。

进一步地，当检测到一级存储池的利用率提升时，也可反向从其他低利用率的存储池把磁盘加回。

这样，提高了分布式存储系统整个存储资源的利用效率。

基于与上述应用于备份服务器的方法实施例同样的发明构思，示例性的，参阅图3所示，为本申请实施例提供的一种数据处理装置的结构示意图，该装置应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述装置包括：

接收单元30，用于接收目标业务的IO流；

解析单元31，用于对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；

迁移单元32，用于基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

可选地，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元32具体用于：

若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；

若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；

若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元32具体用于：

确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；

若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

可选地，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元32具体用于：

创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；

将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；

在确定迁移完成之后，删除所述目标存储卷。

可选地，所述装置还包括：

监控单元，用于监控各级存储池的资源利用率；

调整单元，若所述监控单元确定任一级别的存储池的利用率小于设定阈值，则所述调整单元用于将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。

以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个单元通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

进一步地，本申请实施例提供的数据处理装置，从硬件层面而言，所述数据处理装置的硬件架构示意图可以参见图4所示，所述数据处理装置可以包括：存储器40和处理器41，

存储器40用于存储程序指令；处理器41调用存储器60中存储的程序指令，按照获得的程序指令执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种数据处理装置，包括用于执行上述应用于分布式存储系统的方法实施例的至少一个处理元件(或芯片)。

可选地，本申请还提供一种程序产品，例如计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使该计算机执行上述应用于分布式存储系统的的方法实施例。

这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述方法包括：

接收目标业务的IO流；

对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；

基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

2.如权利要求1所述的方法，其特征在于，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；

若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；

若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。

3.如权利要求1所述的方法，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；

若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

4.如权利要求3所述的方法，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池的步骤包括：

创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；

将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；

在确定迁移完成之后，删除所述目标存储卷。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

监控各级存储池的资源利用率；

若确定任一级别的存储池的利用率小于设定阈值，则将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。

6.一种数据处理装置，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的一级存储池，由HDD和SSD组成的二级存储池和由SSD组成的三级存储池，其中，任一存储池中配置有对应业务使用的存储卷，所述装置包括：

接收单元，用于接收目标业务的IO流；

解析单元，用于对所述目标业务的IO流进行解析处理，统计所述目标业务的IO流随机读写和/或顺序读写的比例；

迁移单元，用于基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池，其中，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。

7.如权利要求6所述的装置，其特征在于，基于所述目标业务的IO流随机读写和/或顺序读写的比例，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

若所述目标业务的IO流随机读写的比例大于等于第一阈值/顺序读写的比例小于等于第二阈值，则将所述目标业务使用的目标存储卷迁移至三级存储池；

若所述目标业务的IO流随机读写的比例小于等于第三阈值/顺序读写的比例大于等于第四阈值，则将所述目标业务使用的目标存储卷迁移至一级存储池；

若所述目标业务的IO流随机读写的比例大于第三阈值、且小于第一阈值/顺序读写的比例大于第二阈值、且小于第四阈值，则将所述目标业务使用的目标存储卷迁移至二级存储池。

8.如权利要求6所述的装置，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

确定所述目标业务使用的目标存储卷所在的资源池与所述目标存储池是否为同一存储池；

若不是，则将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池。

9.如权利要求8所述的装置，其特征在于，将所述目标业务使用的目标存储卷迁移至对应级别的目标存储池时，所述迁移单元具体用于：

创建一个存储卷，所述一个存储卷包括由所述目标存储区域的目标地址组成的存储卷和所述目标存储卷；

将迁移期间所述目标业务产生的数据写入由所述目标存储区域的目标地址组成的存储卷，并将所述目标存储卷中存储的数据迁移至由所述目标存储区域的目标地址组成的存储卷；

在确定迁移完成之后，删除所述目标存储卷。

10.如权利要求6所述的装置，其特征在于，所述装置还包括：

监控单元，用于监控各级存储池的资源利用率；

调整单元，若所述监控单元确定任一级别的存储池的利用率小于设定阈值，则所述调整单元用于将该存储池的目标磁盘从所述任一级别的存储池删除，并将所述目标磁盘添加至除所述任一级别的存储池之外的其它存储池。

Images