CN113568570B - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN113568570B
CN113568570B CN202110693555.9A CN202110693555A CN113568570B CN 113568570 B CN113568570 B CN 113568570B CN 202110693555 A CN202110693555 A CN 202110693555A CN 113568570 B CN113568570 B CN 113568570B
Authority
CN
China
Prior art keywords
data
read
reading
disk group
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110693555.9A
Other languages
English (en)
Other versions
CN113568570A (zh
Inventor
朱兆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Innovation Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Innovation Co filed Critical Alibaba Innovation Co
Priority to CN202110693555.9A priority Critical patent/CN113568570B/zh
Publication of CN113568570A publication Critical patent/CN113568570A/zh
Application granted granted Critical
Publication of CN113568570B publication Critical patent/CN113568570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Power Sources (AREA)

Abstract

本说明书实施例提供数据处理方法及装置，其中，所述数据处理方法应用于服务器，包括：接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电；将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。

Description

数据处理方法及装置
技术领域
本说明书实施例涉及计算机技术领域，特别涉及两种数据处理方法。本说明书一个或者多个实施例同时涉及两种数据处理装置，一种数据处理系统，一种计算设备，以及一种计算机可读存储介质。
背景技术
实际应用中，数据按照访问频率可以分为热数据、温数据以及冷数据。其中，冷数据的访问频率最低，而冷数据的应用场景有很多，比如典型场景包括数据备份、灾难恢复、社交媒体以及各种影音记录等。那么随着冷数据的规模日益增大，为了降低成本，目前会根据冷数据访问频次低的特点，将利用周期上下电磁盘的技术应用到归档存储系统来节省能源。但是采用这种技术，用户读取数据时需要等到一定周期磁盘上电的时候才可以进行数据读取，数据吞吐量较低，同时磁盘周期性上电也会造成数据的读取时间SLA较长，用户的数据读取体验较差。
发明内容
有鉴于此，本说明书施例提供了计算机技术领域，特别涉及两种数据处理方法。本说明书一个或者多个实施例同时涉及两种数据处理装置，一种数据处理系统，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于服务器，包括：
接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电；
将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
根据本说明书实施例的第二方面，提供了一种数据处理方法，应用于客户端，包括：
向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组；
基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
根据本说明书实施例的第三方面，提供了一种数据处理系统，包括客户端和服务器，其中，
所述客户端，被配置为向所述服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
所述服务器，被配置为接收所述客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
所述服务器，还被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电，将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
所述客户端，还被配置为接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组，基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求；
所述服务器，还被配置为接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
根据本说明书实施例的第四方面，提供了一种数据处理装置，应用于服务器，包括：
方案接收模块，被配置为接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
磁盘组上电模块，被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电；
返回模块，被配置为将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
数据处理模块，被配置为接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
根据本说明书实施例的第五方面，提供了一种数据处理装置，应用于客户端，包括：
方案发送模块，被配置为向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
接收模块，被配置为接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组；
请求发送模块，被配置为基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
根据本说明书实施例的第六方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
本说明书一个实施例实现了数据处理方法及装置，其中，所述数据处理方法应用于服务器，包括：接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电；将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。具体的，所述数据处理方法可以根据客户端发送的数据读取方案中每个待读取的数据的读取时间，先调度截止日期靠前的待读取的数据所在的磁盘组上电，以实现后续用户可以对截止日期靠前的数据的优先读取，提高其数据读取的吞吐量，并且采用所述数据处理方法满足用户的数据读取SLA限制，为用户提供高性能的数据读取体验。
附图说明
图1是本说明书一个实施例提供的一种数据处理方法应用于节能型归档存储系统的架构图；
图2是本说明书一个实施例提供的一种数据处理方法应用的节能型归档存储系统中JBOD的示意图；
图3是本说明书一个实施例提供的一种数据处理方法的流程图；
图4是本说明书一个实施例提供的另一种数据处理方法的流程图；
图5是本说明书一个实施例提供的一种数据处理系统的结构示意图；
图6是本说明书一个实施例提供的一种数据处理装置的结构示意图；
图7是本说明书一个实施例提供的另一种数据处理装置的结构示意图；
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
DiskGroup(DG)：磁盘组，多个磁盘组合起来，形成一个磁盘组,也是最小上电单元。约束文件不会跨磁盘组存储。文件只有在磁盘组上电时才可以读取。
JBOD：Just a Bunch Of Disks，磁盘簇，也为磁盘扩展柜，是在一个底板上安装的带有多个磁盘驱动器的存储设备。
节能型归档系统：将多组JBOD中的磁盘按照磁盘组划分成逻辑单元，并以磁盘组为单位进行上下电调度，达到节省能源的目标。
SLA：Service Level Agreement,服务级别协议。
实际应用中，数据按照访问频率可以分为热数据、温数据以及冷数据。其中，冷数据的访问频率最低，而冷数据的应用场景有很多，比如典型场景包括数据备份、灾难恢复、社交媒体以及各种影音记录等。那么随着冷数据的规模日益增大，为了降低成本，目前会根据冷数据访问频次低的特点，将利用周期上下电磁盘的技术应用到归档存储系统来节省能源，但是可能会存在当用户访问某个文件时，该文件所在磁盘组在下电状态，导致用户不能直接从归档存储系统中读取数据。
而如果利用临时中转存储系统来将数据异步导出，会增加额外成本，并且数据读取性能也会受制于中转存储系统的性能。另外，用户对不同优先级的数据的读取时间也有SLA的限制(小时级别)。
基于此，本说明书实施例提供了一种新的数据处理方法，可以在不用中转存储系统的情况下，让用户感知后端上下电调度逻辑，可以从节能型存储系统中直接读取数据，并配合上下电调度达到SLA，达到高效读取数据的效果。
在本说明书中，提供了两种数据处理方法。本说明书一个或者多个实施例同时涉及两种数据处理装置，一种数据处理系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种数据处理方法应用于节能型归档存储系统的架构图。
图1中包括用户和节能型归档存储系统。具体实施时，首先将节能型归档存储系统中的JBOD里面的磁盘划分成若干个逻辑单元磁盘组，由上下电调度器按照磁盘组为单位对划分后的磁盘组进行上下电调度。
举例说明，参见图2，图2示出了根据本说明书一个实施例提供的一种数据处理方法应用的节能型归档存储系统中JBOD的示意图。
由图2可知，图2中的节能型归档存储系统中存在8个JBOD，每个JBOD里面有36个DG，那么则可以将8个JBOD里面的磁盘划分成36个逻辑单元磁盘组，后续由上下电调度器按照磁盘组为单位对划分后的磁盘组进行上下电调度。
在确定了磁盘组之后，用户向节能型归档存储系统发送文件存储请求，节能型归档存储系统在文件待存储的磁盘组上电的情况下，将该文件写入相应的磁盘组中。
那么在用户将文件写入节能型归档存储系统之后，在有文件读取计划的时候，会依照下述方法配合后端上下电调度器达到文件的高效读取的目标。具体如下所述：
首先，用户将读取计划中的一批文件根据需要的SLA转换成时间的Deadline(最终期限)，也即在某个时间点之前必须完成；其中，读取计划中的文件数可达*(百)万级别。转换之后，用户将整个读取计划发送至节能型归档存储系统。
节能型归档存储系统周期性接收用户发送的读取计划，将读取计划中的文件按照磁盘组划分，即确定读取计划中的每个文件位于哪个磁盘组上，并将划分结果返回给用户。同时，也会首先调度最早Deadline的文件所在的磁盘组上电，并根据其他磁盘组上最早的Deadline的文件的时间确定其他磁盘组的上电周期以达到SLA。
用户收到节能型归档存储系统返回的读取文件的划分结果后，会周期性地询问节能型归档存储系统对于磁盘组的上电状态，之后用户可以只查询处于上电状态的磁盘组中的文件，而无需对每个文件进行查询，以达到高效查询的目的。此外，用户在对上电的磁盘组中的文件发起读取时，读取顺序同样也按照贪心算法，即对最早的Deadline的文件进行读取，以配合节能型归档存储系统达到满足SLA的目标。
参见图3，图3示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，所述数据处理方法应用于服务器，具体包括以下步骤。
步骤302：接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识。
其中，服务器可以理解为上述实施例的节能型归档存储系统的后端，客户端可以理解为节能型归档存储系统的前端。实际应用中，本说明书实施例的数据处理方法可以应用于任意一种节能型归档存储系统，或者是任意一种采用本方案可以实现数据高效读取的数据系统等，本说明书对此不做任何限定。
具体的，数据可以理解为任意类型、任意长度的数据，例如日志文件、文本文件、系统文件等等。那么待读取的数据可以理解等待被读取的数据、等待被读取的文件等，每个数据读取方案中至少包括两个待读取的数据，一般为多个待读取的数据。其中，待读取的数据可以理解为上述实施例的文件，待读取的数据的读取时间可以理解为上述实施例的待读取的数据的Deadline。待读取的数据的数据标识可以理解为由字母、数字和/或字符等组成的，唯一确定待读取的数据的字符串等。
具体实施时，基于数据读取方案获取每个待读取的数据的读取时间的实现方式包括至少两种，一种为客户端在发送数据读取方案时，已经为每个待读取的数据设置了对应的读取时间；另一种为客户端在发送数据读取方案时，仅确定了每个待读取的数据的读取等级，需要服务器在接收到该数据读取方案后，基于该数据读取方案中每个待读取的数据的读取等级，确定每个待读取的数据的读取时间。具体实施方式如下所述：
所述基于所述数据读取方案获取每个待读取的数据的读取时间，包括：
从携带有每个待读取的数据的读取时间的所述数据读取方案中，获取每个待读取的数据的读取时间；或者
从所述数据读取方案中获取每个待读取的数据的读取等级，基于读取等级与时间对应表中读取时间的对应关系，确定每个待读取的数据的读取时间，并将每个待读取的数据的读取时间返回至所述客户端；
其中，所述时间对应表中预先存储读取等级与读取时间的映射关系。
具体的，第一种方案为从携带有每个待读取的数据的读取时间的数据读取方案中，获取每个待读取的数据的读取时间；第二种方案为从数据读取方案中获取每个待读取的数据的读取等级，基于读取等级与时间对应表中读取时间的对应关系，确定每个待读取的数据的读取时间，其中，时间对应表为预先设置的读取等级与读取时间的映射关系表，比如读取等级为一级，对应的读取时间为1小时，读取时间为二级，对应的读取时间为3小时，读取时间为三级，对应的读取时间为6小时等。
举例说明，若数据读取方案中包括两个待读取的数据：待读取的数据a和待读取的数据b，若待读取的数据a的读取时间为1小时，待读取的数据b的读取时间为2小时，则可以理解为待读取的数据a要在1小时内读取，待读取的数据b要在2小时内读取。
本说明书实施例中，基于数据读取方案确定每个待读取的数据的读取时间，后续可以基于每个待读取的数据的读取时间，确定每个待读取的数据所在的磁盘组的上电时间，保证最终期限较早的待读取的数据所在的磁盘组可以优先上电，使得用户可以对其待读取的数据进行尽早读取，实现读取数据的高效性。
此外，实际应用中，客户端并不会实时的向服务器发送数据读取方案，因此为了避免资源浪费，服务器可以每隔预设周期接收一次客户端发送的数据读取方案，其中，预设周期可以根据实际需要进行设置，例如2分钟或者3分钟等等，本说明书对此不作任何限定。
步骤304：基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电。
具体的，在确定每个待读取的数据的读取时间之后，基于每个待读取的数据的数据标识确定每个待读取的数据对应的磁盘组，即每个待读取的数据所在的磁盘组(每个待读取的数据存储在哪个磁盘组上)。同时，基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电。
具体实施时，为了保证数据读取的高效性，可以按照每个待读取的数据的读取时间的先后顺序对每个待读取的数据对应的磁盘组进行上电，具体实施方式如下所述：
所述基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电，包括：
将每个待读取的数据对应的磁盘组，按照每个待读取的数据的读取时间从小到大的顺序进行上电。
实际应用中，首先确定每个待读取的数据的读取时间，然后按照读取时间从小到大的顺序对每个待读取的数据进行排序，再确定排序后的每个待读取的数据对应的磁盘组，最后按照从上到下的顺序对磁盘组上电，即按照最终期限的先后顺序对磁盘组上电，将最终期限最短的磁盘组最先上电。
沿用上例，若待读取的数据a的读取时间为1小时，待读取的数据b的读取时间为2小时，则按照每个待读取的数据的读取时间从小到大的顺序，对每个待读取的数据对应的磁盘组上电时，先对待读取的数据a对应的磁盘组上电，再对待读取的数据b对应的磁盘组上电。由于待读取的数据a的最终期限最短，先对该待读取的数据a对应的磁盘组上电，可以使得用户可以更加快速的读取到待读取的数据a，提升用户的数据读取体验。
步骤306：将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端。
其中，根据每个待读取的数据与磁盘组的对应关系，客户端可以确定每个待读取的数据存储在哪个磁盘组，后续可以向哪个磁盘组发送数据读取请求进行数据读取。
具体的，在将每个待读取的数据与磁盘组的对应关系返回至客户端后，客户端可以向服务器询问磁盘组的上电状态，以确保需要读取的数据所在的磁盘组上电的情况下，向其发送数据读取请求，避免造成空读。具体实施方式如下所述：
所述将处于上电状态的磁盘组返回至所述客户端，包括：
接收所述客户端根据预设时间周期发送的磁盘组上电状态查询请求，基于所述磁盘组上电状态查询请求将当前处于上电状态的磁盘组返回至所述客户端。
其中，预设时间周期可以根据实际应用进行设置，例如预设时间周期可以为10分钟、20分钟等。
具体的，服务器在接收客户端根据预设时间周期发送的磁盘组上电状态查询请求后，基于该磁盘组上电状态查询请求将当前处于上电状态的磁盘组信息返回至客户端，以使得客户端在收到上电的磁盘组信息之后，可以对上电的磁盘组上的待读取的数据发起读取请求，实现快速的数据读取。
步骤308：接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
具体的，在将当前处于上电状态的磁盘组返回至客户端之后，接收客户端基于每个待读取的数据与磁盘组的对应关系以及当前处于上电状态的磁盘组的信息发送的数据读取请求，对该数据读取请求进行处理后，将处理结果返回至客户端。
具体实施时，所述接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端，包括：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求；
基于所述数据读取请求从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
其中，目标待读取的数据为客户端基于每个待读取的数据与磁盘组的对应关系，以及磁盘组的上电状态确定的。
例如待读取的数据包括待读取的数据a、待读取的数据b、待读取的数据c。若待读取的数据a对应磁盘组a、待读取的数据b对应磁盘组b、待读取的数据c对应磁盘组c；处于上电状态的磁盘组为磁盘组a和磁盘组b；则接收的客户端基于每个待读取的数据与磁盘组的对应关系以及上电状态的磁盘组发送的、与上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求，可以理解为待读取的数据a的数据读取请求和待读取的数据b的数据读取请求。
而在接收目标待读取的数据：待读取的数据a的数据读取请求和待读取的数据b的数据读取请求之后，基于该待读取的数据a的数据读取请求和待读取的数据b的数据读取请求，从待读取的数据a对应的磁盘组a中读取该待读取的数据a，从待读取的数据b对应的磁盘组b中读取该待读取的数据a，并将该从磁盘组a和磁盘组b读取的该待读取的数据a和该待读取的数据a返回至客户端。
本说明书实施例中，服务器在接收到客户端发送的目标待读取的数据的数据读取请求之后，基于该数据读取请求从每个目标待读取的数据对应的、处于上电状态的磁盘组中读取目标待读取的数据，并将其返回至客户端，实现对数据的高效读取。
实际应用中，服务器接收的数据读取请求有两种，一种是客户端发送数据读取请求的时候，就是按照目标待读取的数据的读取时间，有顺序的进行数据读取请求的发送；这种情况下，服务器在接收到客户端发送的目标待读取的数据的数据读取请求之后，按照数据读取请求来的先后顺序进行数据处理即可。具体实现方式如下所述：
所述接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求，包括：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的读取时间发送的数据读取请求。
另一种是处于上电状态的磁盘组较多，因此处于上电状态的磁盘组对应的目标待读取的数据较多，那么服务器就可能会接收到客户端发送的针对多个目标待读取的数据的数据读取请求；这种情况下，若多个数据读取请求没有先后顺序，服务器为了保证对最终期限较短的目标待读取的数据进行先读取，先返回客户端，则需要按照每个目标待读取的数据的读取时间对多个数据读取请求进行排序后，再进行数据处理。具体实现方式如下所述：
所述基于所述数据读取请求从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端，包括：
确定所述目标待读取的数据的读取时间，基于所述数据读取请求以及所述目标待读取的数据的读取时间，从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
即服务器在接收到目标待读取的数据的数据读取请求之后，可以先按照目标待读取的数据的读取时间对数据读取请求进行排序，将读取时间较短的排在前面，以实现对读取时间较短的目标待读取的数据的数据读取请求进行预先处理，保证数据的时效性。
本说明书实施例提供的所述数据处理方法，可以根据客户端发送的数据读取方案中每个待读取的数据的读取时间，对截止日期靠前的待读取的数据所在的磁盘组进行先上电，后续实现用户可以对截止日期靠前的数据的快速读取，为用户提供了高效的数据读取体验。
参见图4，图4示出了本说明书一个实施例提供的另一种数据处理方法的流程图，所述数据处理方法应用于客户端，具体包括以下步骤。
步骤402：向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识。
其中，待读取的数据、数据读取方案以及每个待读取的数据的数据标识的详细介绍可以参见上述实施例，在此不再赘述。
步骤404：接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组。
具体的，服务器返回的每个待读取的数据与磁盘组的对应关系，可以理解为服务器首先基于数据标识确定每个待读取的数据对应的磁盘组，再将每个待读取的数据与磁盘组的对应关系返回至客户端。而服务器返回的基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组，可以理解为服务器首先基于数据读取方案获取每个待读取的数据的读取时间，然后基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电，再将处于上电状态的磁盘组返回至客户端。
其中，基于数据读取方案获取每个待读取的数据的读取时间的具体实施方式，可以参见上述实施例的介绍，在此不再赘述。
步骤406：基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
具体的，所述基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果，包括：
基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，确定与所述上电状态的磁盘组存在对应关系的目标待读取的数据；
向所述服务器发送针对所述目标待读取的数据的数据读取请求，并接收所述服务器从与所述目标待读取的数据对应的磁盘组中读取并返回的所述目标待读取的数据。
具体的，客户端首先基于每个待读取的数据与磁盘组的对应关系，确定处于上电状态的磁盘组对应的待读取的数据，将该待读取的数据作为目标待读取的数据；然后向服务器发送针对该目标待读取的数据的数据读取请求，并接收服务器从与该目标待读取的数据对应的磁盘组中读取并返回的目标待读取的数据。
本说明书实施例中，客户端在确定哪些磁盘组为上电状态的磁盘组之后，可以对上电状态的磁盘组对应的待读取的数据进行数据读取，向服务器发送针对目标待读取的数据的数据读取请求，以实现对目标待读取的数据的高效读取。
实际应用中，所述向服务器发送针对至少两个待读取的数据的数据读取方案之后，还包括：
从所述数据读取方案中确定每个待读取的数据的读取时间；或者
接收所述服务器返回的每个待读取的数据的读取时间。
即客户端在向服务器发送数据读取方案之后，会从数据读取方案中获取之前为每个待读取的数据预设的读取时间，或者是接收服务器基于每个待读取的数据的读取等级转换后返回的读取时间。
具体实施时，为了节省服务器对数据处理请求的处理时间，客户端可以在向服务器发送数据处理请求时，就按照每个目标待读取的数据的读取时间的先后顺序，向服务器发送每个目标待读取的数据的数据读取请求，以使得服务器可以对最终期限较短的待读取的数据进行预先处理和返回，提升用户的数据读取体验。具体实现方式如下所述：
所述向所述服务器发送针对所述目标待读取的数据的数据读取请求，包括：
确定所述目标待读取的数据的读取时间，基于所述目标待读取的数据的读取时间依次向所述服务器发送针对所述目标待读取的数据的数据读取请求。
本说明书实施例提供的所述数据处理方法应用于客户端，客户端在接收服务器返回的磁盘组的上电状态的情况下，对上电状态的磁盘组对应的待读取的数据进行数据读取，并且为了保证数据读取效率，还会按照贪心算法，对最终期限最早的待读取的数据进行数据读取，以达到配合节能型归档存储系统达到满足SLA的目标，提升用户的数据读取体验。
参见图5，图5示出了本说明书一个实施例提供的一种数据处理系统的结构示意图，包括客户端502和服务器504，其中，
所述客户端502，被配置为向所述服务器504发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
所述服务器504，被配置为接收所述客户端502发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
所述服务器504，还被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电，将每个待读取的数据与磁盘组的对应关系返回至所述客户端502，以及将处于上电状态的磁盘组返回至所述客户端502；
所述客户端502，还被配置为接收所述服务器504返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组，基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器504发送数据读取请求；
所述服务器504，还被配置为接收所述客户端502基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端502。
具体实施时，客户端502和服务器504在具体交互过程中的细节介绍，可以参见上述应用于服务器的数据处理方法和应用于客户端的数据处理方法，在此不再赘述。
实际应用中，用户在基于本说明书实施例提供的数据处理系统进行数据读取的时候，会直接和服务器的上下电调度器联动配合，在感知服务器相应磁盘上电的时候发起数据读取，避免使用上述实施例介绍的中转存储服务器，以达到高效数据读取的目的。并且用户在数据读取前，会将所有的读取计划发送至服务器的上下电调度器，上下电调度器根据读取计划中的待读取的数据按照磁盘组分类，并且按照贪心算法进行调度以满足用户的读取延时的SLA。而用户在发起数据读取的时候，也会同样按照贪心算法依照待读取的数据的Deadline，配合服务器的上下电调度器调度完成读取。
与上述方法实施例相对应，本说明书还提供了一种数据处理装置实施例，图6示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图6所示，该装置包括：
方案接收模块602，被配置为接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
磁盘组上电模块604，被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并基于每个待读取的数据的读取时间对每个待读取的数据对应的磁盘组上电；
返回模块606，被配置为将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
数据处理模块608，被配置为接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
可选地，所述方案接收模块602，进一步被配置为：
从携带有每个待读取的数据的读取时间的所述数据读取方案中，获取每个待读取的数据的读取时间；或者
从所述数据读取方案中获取每个待读取的数据的读取等级，基于读取等级与时间对应表中读取时间的对应关系，确定每个待读取的数据的读取时间，并将每个待读取的数据的读取时间返回至所述客户端；
其中，所述时间对应表中预先存储读取等级与读取时间的映射关系。
可选地，所述磁盘组上电模块604，进一步被配置为：
将每个待读取的数据对应的磁盘组，按照每个待读取的数据的读取时间从小到大的顺序进行上电。
可选地，所述返回模块606，进一步被配置为：
接收所述客户端根据预设时间周期发送的磁盘组上电状态查询请求，基于所述磁盘组上电状态查询请求将当前处于上电状态的磁盘组返回至所述客户端。
可选地，所述数据处理模块608，进一步被配置为：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求；
基于所述数据读取请求从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
可选地，所述数据处理模块608，进一步被配置为：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的读取时间发送的数据读取请求。
可选地，所述数据处理模块608，进一步被配置为：
确定所述目标待读取的数据的读取时间，基于所述数据读取请求以及所述目标待读取的数据的读取时间，从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
本说明书实施例提供的所述数据处理装置，可以根据客户端发送的数据读取方案中每个待读取的数据的读取时间，对截止日期靠前的待读取的数据所在的磁盘组进行先上电，后续实现用户可以对截止日期靠前的数据的快速读取，为用户提供了高效的数据读取体验。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的一种数据处理方法的技术方案属于同一构思，一种数据处理装置的技术方案未详细描述的细节内容，均可以参见上述一种数据处理方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了另一种数据处理装置实施例，图7示出了本说明书一个实施例提供的另一种数据处理装置的结构示意图。如图7所示，该装置包括：
方案发送模块702，被配置为向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
接收模块704，被配置为接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组；
请求发送模块706，被配置为基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
可选地，所述请求发送模块706，进一步被配置为：
基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，确定与所述上电状态的磁盘组存在对应关系的目标待读取的数据；
向所述服务器发送针对所述目标待读取的数据的数据读取请求，并接收所述服务器从与所述目标待读取的数据对应的磁盘组中读取并返回的所述目标待读取的数据。
可选地，所述装置，还包括：
时间确定模块，被配置为：
从所述数据读取方案中确定每个待读取的数据的读取时间；或者
接收所述服务器返回的每个待读取的数据的读取时间。
可选地，所述请求发送模块706，进一步被配置为：
确定所述目标待读取的数据的读取时间，基于所述目标待读取的数据的读取时间依次向所述服务器发送针对所述目标待读取的数据的数据读取请求
本说明书实施例提供的所述数据处理装置应用于客户端，客户端在接收服务器返回的磁盘组的上电状态的情况下，对上电状态的磁盘组对应的待读取的数据进行数据读取，并且为了保证数据读取效率，还会按照贪心算法，对最终期限最早的待读取的数据进行数据读取，以达到配合节能型归档存储系统达到满足SLA的目标，提升用户的数据读取体验。
上述为本实施例的另一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的另一种数据处理方法的技术方案属于同一构思，另一种数据处理装置的技术方案未详细描述的细节内容，均可以参见上述另一种数据处理方法的技术方案的描述。
图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。
计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中，处理器820用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的任意一种数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述任意一种数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的任意一种数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述任意一种数据处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种数据处理方法，应用于服务器，包括：
接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
基于所述数据标识确定每个待读取的数据对应的磁盘组，并将所述每个待读取的数据对应的磁盘组，按照所述每个待读取的数据的读取时间从小到大的顺序进行上电，其中，所述待读取的数据的读取时间为所述待读取的数据的最终期限；
将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
2.根据权利要求1所述的数据处理方法，所述基于所述数据读取方案获取每个待读取的数据的读取时间，包括：
从携带有每个待读取的数据的读取时间的所述数据读取方案中，获取每个待读取的数据的读取时间；或者
从所述数据读取方案中获取每个待读取的数据的读取等级，基于读取等级与时间对应表中读取时间的对应关系，确定每个待读取的数据的读取时间，并将每个待读取的数据的读取时间返回至所述客户端；
其中，所述时间对应表中预先存储读取等级与读取时间的映射关系。
3.根据权利要求1所述的数据处理方法，所述将处于上电状态的磁盘组返回至所述客户端，包括：
接收所述客户端根据预设时间周期发送的磁盘组上电状态查询请求，基于所述磁盘组上电状态查询请求将当前处于上电状态的磁盘组返回至所述客户端。
4.根据权利要求1或3所述的数据处理方法，所述接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端，包括：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求；
基于所述数据读取请求从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
5.根据权利要求4所述的数据处理方法，所述接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的数据读取请求，包括：
接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的、与所述上电状态的磁盘组存在对应关系的目标待读取的数据的读取时间发送的数据读取请求。
6.根据权利要求4所述的数据处理方法，所述基于所述数据读取请求从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端，包括：
确定所述目标待读取的数据的读取时间，基于所述数据读取请求以及所述目标待读取的数据的读取时间，从与所述目标待读取的数据对应的磁盘组中读取所述目标待读取的数据，并将所述目标待读取的数据返回至所述客户端。
7.一种数据处理方法，应用于客户端，包括：
向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及将每个待读取的数据对应的磁盘组，基于所述数据读取方案获取的每个待读取的数据的读取时间从小到大的顺序进行上电，确定的处于上电状态的磁盘组，其中，所述待读取的数据的读取时间为所述待读取的数据的最终期限；
基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
8.根据权利要求7所述的数据处理方法，所述基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果，包括：
基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，确定与所述上电状态的磁盘组存在对应关系的目标待读取的数据；
向所述服务器发送针对所述目标待读取的数据的数据读取请求，并接收所述服务器从与所述目标待读取的数据对应的磁盘组中读取并返回的所述目标待读取的数据。
9.根据权利要求8所述的数据处理方法，所述向服务器发送针对至少两个待读取的数据的数据读取方案之后，还包括：
从所述数据读取方案中确定每个待读取的数据的读取时间；或者
接收所述服务器返回的每个待读取的数据的读取时间。
10.根据权利要求9所述的数据处理方法，所述向所述服务器发送针对所述目标待读取的数据的数据读取请求，包括：
确定所述目标待读取的数据的读取时间，基于所述目标待读取的数据的读取时间依次向所述服务器发送针对所述目标待读取的数据的数据读取请求。
11.一种数据处理系统，包括客户端和服务器，其中，
所述客户端，被配置为向所述服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
所述服务器，被配置为接收所述客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识，其中，所述待读取的数据的读取时间为所述待读取的数据的最终期限；
所述服务器，还被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并将所述每个待读取的数据对应的磁盘组，按照所述每个待读取的数据的读取时间从小到大的顺序进行上电，将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
所述客户端，还被配置为接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及基于所述数据读取方案获取的每个待读取的数据的读取时间，确定的处于上电状态的磁盘组，基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求；
所述服务器，还被配置为接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
12.一种数据处理装置，应用于服务器，包括：
方案接收模块，被配置为接收客户端发送的针对至少两个待读取的数据的数据读取方案，并基于所述数据读取方案获取每个待读取的数据的读取时间，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
磁盘组上电模块，被配置为基于所述数据标识确定每个待读取的数据对应的磁盘组，并将所述每个待读取的数据对应的磁盘组，按照所述每个待读取的数据的读取时间从小到大的顺序进行上电，其中，所述待读取的数据的读取时间为所述待读取的数据的最终期限；
返回模块，被配置为将每个待读取的数据与磁盘组的对应关系返回至所述客户端，以及将处于上电状态的磁盘组返回至所述客户端；
数据处理模块，被配置为接收所述客户端基于每个待读取的数据与磁盘组的对应关系以及所述上电状态的磁盘组发送的数据读取请求，对所述数据读取请求进行处理，并将处理结果返回至所述客户端。
13.一种数据处理装置，应用于客户端，包括：
方案发送模块，被配置为向服务器发送针对至少两个待读取的数据的数据读取方案，其中，所述数据读取方案中携带有每个待读取的数据的数据标识；
接收模块，被配置为接收所述服务器返回的基于所述数据标识确定的每个待读取的数据与磁盘组的对应关系，以及将每个待读取的数据对应的磁盘组，基于所述数据读取方案获取的每个待读取的数据的读取时间从小到大的顺序进行上电，确定的处于上电状态的磁盘组，其中，所述待读取的数据的读取时间为所述待读取的数据的最终期限；
请求发送模块，被配置为基于每个待读取的数据与磁盘组的对应关系以及所述处于上电状态的磁盘组，向所述服务器发送数据读取请求，并接收所述服务器返回的对所述数据读取请求的处理结果。
CN202110693555.9A 2021-06-22 2021-06-22 数据处理方法及装置 Active CN113568570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693555.9A CN113568570B (zh) 2021-06-22 2021-06-22 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693555.9A CN113568570B (zh) 2021-06-22 2021-06-22 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113568570A CN113568570A (zh) 2021-10-29
CN113568570B true CN113568570B (zh) 2024-04-12

Family

ID=78162526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693555.9A Active CN113568570B (zh) 2021-06-22 2021-06-22 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113568570B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027716A (ko) * 1999-09-15 2001-04-06 정선종 초기 대기시간을 감소시키는 비디오 저장서버 및 그의 운용방법
US7734867B1 (en) * 2002-05-17 2010-06-08 Hewlett-Packard Development Company, L.P. Data storage using disk drives in accordance with a schedule of operations
CN103069380A (zh) * 2012-04-27 2013-04-24 华为技术有限公司 存储控制设备、数据归档存储系统和数据存取方法
CN103765370A (zh) * 2011-08-26 2014-04-30 威睿公司 访问对象存储系统的计算机系统
US9983812B1 (en) * 2016-06-13 2018-05-29 EMC IP Holding Company LLC Automated node failure detection in an active/hot-standby storage cluster
CN109154883A (zh) * 2017-03-22 2019-01-04 波利伍德有限责任公司 驱动级内部服务质量
CN109788053A (zh) * 2019-01-04 2019-05-21 深圳壹账通智能科技有限公司 数据同步方法和系统
WO2019141134A1 (zh) * 2018-01-19 2019-07-25 阿里巴巴集团控股有限公司 一种数据查询方法、装置及设备
US10592137B1 (en) * 2017-04-24 2020-03-17 EMC IP Holding Company LLC Method, apparatus and computer program product for determining response times of data storage systems
CN111104048A (zh) * 2018-10-26 2020-05-05 华为技术有限公司 一种数据处理方法及分布式存储系统
CN111258745A (zh) * 2018-11-30 2020-06-09 华为终端有限公司 一种任务处理方法及设备
CN112148206A (zh) * 2019-06-28 2020-12-29 北京金山云网络技术有限公司 一种数据读写方法、装置、电子设备及介质
CN112269544A (zh) * 2020-10-22 2021-01-26 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及可读存储介质
CN112579551A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 数据存储和读取方法、装置、客户端、管理服务器及系统
CN112732169A (zh) * 2019-10-28 2021-04-30 中兴通讯股份有限公司 数据的写入或读取方法、装置、存储介质及电子装置
CN112839067A (zh) * 2019-11-22 2021-05-25 腾讯科技（深圳）有限公司 一种数据同步方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10554753B2 (en) * 2017-07-06 2020-02-04 Acronis International Gmbh System and method for service level agreement based data storage and verification

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027716A (ko) * 1999-09-15 2001-04-06 정선종 초기 대기시간을 감소시키는 비디오 저장서버 및 그의 운용방법
US7734867B1 (en) * 2002-05-17 2010-06-08 Hewlett-Packard Development Company, L.P. Data storage using disk drives in accordance with a schedule of operations
CN103765370A (zh) * 2011-08-26 2014-04-30 威睿公司 访问对象存储系统的计算机系统
CN103069380A (zh) * 2012-04-27 2013-04-24 华为技术有限公司 存储控制设备、数据归档存储系统和数据存取方法
US9983812B1 (en) * 2016-06-13 2018-05-29 EMC IP Holding Company LLC Automated node failure detection in an active/hot-standby storage cluster
CN109154883A (zh) * 2017-03-22 2019-01-04 波利伍德有限责任公司 驱动级内部服务质量
US10592137B1 (en) * 2017-04-24 2020-03-17 EMC IP Holding Company LLC Method, apparatus and computer program product for determining response times of data storage systems
WO2019141134A1 (zh) * 2018-01-19 2019-07-25 阿里巴巴集团控股有限公司 一种数据查询方法、装置及设备
CN111104048A (zh) * 2018-10-26 2020-05-05 华为技术有限公司 一种数据处理方法及分布式存储系统
CN111258745A (zh) * 2018-11-30 2020-06-09 华为终端有限公司 一种任务处理方法及设备
CN109788053A (zh) * 2019-01-04 2019-05-21 深圳壹账通智能科技有限公司 数据同步方法和系统
CN112148206A (zh) * 2019-06-28 2020-12-29 北京金山云网络技术有限公司 一种数据读写方法、装置、电子设备及介质
CN112579551A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 数据存储和读取方法、装置、客户端、管理服务器及系统
CN112732169A (zh) * 2019-10-28 2021-04-30 中兴通讯股份有限公司 数据的写入或读取方法、装置、存储介质及电子装置
CN112839067A (zh) * 2019-11-22 2021-05-25 腾讯科技（深圳）有限公司 一种数据同步方法及装置
CN112269544A (zh) * 2020-10-22 2021-01-26 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN113568570A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN103888547A (zh) 一种账单处理方法和服务器
CN102479223A (zh) 数据查询方法及系统
US8508772B2 (en) Print job management based on energy pricing and load
CN105847447A (zh) 消息推送方法和装置
CN102185801A (zh) 一种即时通讯中的信息处理方法和即时通讯工具
CN104092555A (zh) 一种更新参数值的方法、装置和系统
CN102811260A (zh) 文件云同步系统及方法
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN103685517A (zh) 一种基于业务类别特征的存储分级调度方法及系统
CN112163001A (zh) 高并发查询方法、智能终端及存储介质
CN105761057A (zh) 一种基于电子的人力资源档案查询及调取的管理系统
CN112214465A (zh) 日志存储系统及方法
CN113204387A (zh) 实时计算中数据超时的处理方法及装置
CN113297269A (zh) 数据查询方法及装置
CN113568570B (zh) 数据处理方法及装置
CN102325098B (zh) 群信息获取方法和系统
CN113553306B (zh) 数据处理方法及数据存储管理系统
CN101644994B (zh) 控制磁盘休眠方法与系统及启用磁盘的方法与服务器
CN112306406A (zh) 智能存储自动分级的方法、装置、存储介质及电子设备
CN112181302A (zh) 一种数据多级存储和访问方法及系统
CN111625600A (zh) 数据存储的处理方法、系统、计算机设备及存储介质
CN109739340B (zh) 一种节能省电的数据处理方法及终端
CN106453581B (zh) 一种基于企业erp系统接入社交平台通讯录的实现方法
CN109783440A (zh) 数据存储方法及数据检索方法、装置、介质、电子设备
CN114683908B (zh) 换电站的换电能力评估方法、系统、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40069943

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20240307

Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant