CN114647363A - 用于数据处理的方法、电子设备和计算机程序产品 - Google Patents

用于数据处理的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN114647363A
CN114647363A CN202011496988.7A CN202011496988A CN114647363A CN 114647363 A CN114647363 A CN 114647363A CN 202011496988 A CN202011496988 A CN 202011496988A CN 114647363 A CN114647363 A CN 114647363A
Authority
CN
China
Prior art keywords
type
data
access
mode
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011496988.7A
Other languages
English (en)
Inventor
宫曙光
刘冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202011496988.7A priority Critical patent/CN114647363A/zh
Priority to US17/146,819 priority patent/US11500577B2/en
Publication of CN114647363A publication Critical patent/CN114647363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于数据处理的方法、电子设备和计算机程序产品。根据本公开的示例性实现，一种用于数据处理的方法，包括：确定与访问请求相关联的目标数据的类型，类型包括以下至少一项：计算数据类型、恢复数据类型、和热数据类型；基于类型，从直接访问模式和块设备模式中选择与目标数据相关联的存储设备的目标访问模式；以及使存储设备在目标访问模式下访问目标数据。由此，可以对存储设备实现良好的服务质量管理。

Description

用于数据处理的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据处理，具体涉及用于数据处理的方法、电子设备和计算机程序产品。
背景技术
持久性存储器(Persistent Memory，PMEM)，也被称为永久内存，是一种非易失性、低延迟和高带宽的存储设备。其具有在系统损坏或电源故障期间保护数据的能力。持久性存储器通常位于存储器总线中，并且靠近中央处理单元(CPU)。凭借低延迟和高带宽，持久性存储器可以作为存储器/存储设备层级的补充，以减少动态随机存取存储器(DRAM)和磁盘之间的性能差距，从而提高系统性能。持久性存储器非常适合需要高性能和数据一致性以允许频繁访问大型数据集的应用，诸如，大数据分析、独立硬盘冗余阵列(RAID)高速缓存、存储器内数据库和在线事务处理等。然而，对持久性存储器进行的服务质量管理较差。
发明内容
本公开的实施例提供了用于数据处理的方法、电子设备和计算机程序产品。
在本公开的第一方面，提供了一种用于数据处理的方法。该方法包括：确定与访问请求相关联的目标数据的类型，类型包括以下至少一项：计算数据类型、恢复数据类型、和热数据类型；基于类型，从直接访问模式和块设备模式中选择与目标数据相关联的存储设备的目标访问模式；以及使存储设备在目标访问模式下访问目标数据。
在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：确定与访问请求相关联的目标数据的类型，类型包括以下至少一项：计算数据类型、恢复数据类型、和热数据类型；基于类型，从直接访问模式和块设备模式中选择与目标数据相关联的存储设备的目标访问模式；以及使存储设备在目标访问模式下访问目标数据。
在本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了本公开的一些实施例能够在其中实现的数据处理环境的示例的示意图；
图2示出了根据本公开的一些实施例的用于数据处理的方法的示例的流程图；
图3示出了根据本公开的一些实施例的用于在块设备模式下进行服务质量控制的方法的示例的流程图；以及
图4示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，持久性存储器允许使用新的存储层级来优化数据管理和提高系统性能。然而，传统上，对持久性存储器的使用存在若干问题。例如，随着持久性存储器的广泛应用，其成为系统中的关键资源，但是如何高效并均匀地利用持久性存储器仍然是一个新的研究领域。此外，对于不同的平台和服务等级，所需要的服务质量可能不同。然而，传统上，无法对持久性存储器进行服务质量管理，来满足针对不同平台和服务等级的不同要求。进一步地，传统上，对持久性存储器的研究更多地集中在提高持久性存储器的性能上，但是并未关注在持久性存储器驱动器中实现基于优先级的输入输出(IO)调度。
根据本公开的示例实施例，提出了一种用于数据处理的改进方案。在该方案中，可以确定与访问请求相关联的目标数据的类型。目标数据的类型包括计算数据类型、恢复数据类型、和热数据类型。可以基于目标数据的类型，从直接访问模式和块设备模式中选择与目标数据相关联的存储设备的目标访问模式。从而，可以使存储设备在目标访问模式下访问目标数据。
以此方式，本方案可以通过对不同类型的数据提供不同的访问模式，来对存储设备进行服务质量管理，从而优化数据管理和提高系统性能。以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的一些实施例能够在其中实现的数据处理环境100的示例的示意图。数据处理环境100包括计算设备110。例如，计算设备110可以是具有计算能力的任何计算设备。作为示例，计算设备110可以是个人计算机、平板计算机、可穿戴设备、云服务器、大型机、分布式计算系统等。
在数据处理环境100中，计算设备110被配置为对存储设备150进行服务质量管理。存储设备150可以是具有低延迟和高带宽的任何存储设备，诸如持久性存储器。如上所述，持久性存储器允许使用新的存储层级来优化数据管理和提高系统性能。例如，在重复数据删除系统中，持久性存储器可以用于键值存储、用作下一代非易失随机存取存储器(NVRAM)以及用于快速存储热数据。
在持久性存储器用于键值存储时，诸如寄存器值、元数据和索引表等的一些计算数据可以被存储在持久性存储器中，以加快计算速度。此外，在持久性存储器用作重复数据删除系统中的下一代NVRAM时，其可以通过保管(vault)和还原功能实现数据保护。这有助于在系统损坏或电源故障之后恢复被中断的任务。进一步地，在持久性存储器用于快速存储热数据时，持久性存储器驱动器使持久性存储器作为快速块存储设备呈现给应用和操作系统。这样，一些固态硬盘(SSD)任务可以迁移到持久性存储器。这意味着应用、文件系统、卷管理器和其他存储中间件层可以像使用传统存储设备一样使用持久性存储器，而无需进行任何修改。
持久性存储器驱动器还提供灵活的IO访问模式以满足不同的IO要求。其所提供的访问模式主要包括直接访问(Direct Access，DAX)模式和块设备模式。在直接访问模式中，可以使用直接访问文件系统或存储器加载/存储来直接访问持久性存储器，从而实现低访问延迟，而无需页面缓存。在块设备模式中，通过标准文件系统经由块层访问用作标准块设备的持久性存储器。此外，在低级持久性存储器驱动器中，CPU存储器复制和直接存储器访问(Direct Memory Access，DMA)两者都可以用于数据存储，以实现CPU工作负载和IO吞吐量之间的折衷。
鉴于诸如持久性存储器的存储设备150的上述特性，计算设备110可以对存储设备150进行服务质量管理。具体地，计算设备110实现了一种新的动态服务质量管理机制，以提高在诸如重复数据删除系统中持久性存储器的使用效率和服务质量。该服务质量管理机制中所使用的策略是根据诸如数据类型、服务等级和平台等的特性而设计的。例如，计算设备110可以实现应用感知的IO路径决策。针对不同的数据类型、服务等级和平台，持久性存储器可以采用不同的IO路径，例如用作高速缓存或块存储设备，以提供快速和一致的数据访问，和适应对性能和容量的不同要求。
为此，在某些实施例中，计算设备110获取访问请求120，并且确定与访问请求相关联的目标数据的类型。目标数据的类型包括计算数据类型132、恢复数据类型134、和热数据类型136。计算设备110基于目标数据的类型，从直接访问模式142和块设备模式144中选择与目标数据相关联的存储设备150的目标访问模式。从而，计算设备110使存储设备150在目标访问模式下访问目标数据。在下文中，将参考图2和图3对计算设备110所进行的服务质量管理进行详细描述。
图2示出了根据本公开的一些实施例的用于数据处理的方法200的流程图。方法200可以由如图1所示的计算设备110来实现。备选地，方法200也可以由除了计算设备110之外的其他主体实现。应当理解的是，方法200还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。
在210，计算设备110确定与访问请求120相关联的目标数据的类型。如上所述，目标数据的类型包括计算数据类型132、恢复数据类型134、和热数据类型136。计算数据类型132是影响正在执行的任务的计算速度的数据的类型。例如，寄存器值、元数据、索引表等都可以被归属于计算数据类型132。在这种情况下，计算数据类型包括寄存器数据类型、元数据类型、和/或索引表类型。恢复数据类型是用于恢复被中断的任务的数据的类型。此外，热数据类型是访问频率超过阈值频率的数据的类型。
在220，计算设备110基于目标数据的类型，从直接访问模式142和块设备模式144中选择与目标数据相关联的存储设备150的目标访问模式。在某些实施例中，如果目标数据的类型是计算数据类型132，则计算设备110可以选择直接访问模式142作为目标访问模式。计算数据有助于加速系统中的计算任务。系统性能对计算数据的访问延迟更加敏感。此外，每个访问请求所涉及计算数据的大小通常较小，但是访问频率较高。因此，对于计算数据，应将IO路径设计为简单和快速的。而直接访问模式142能够为进行中的任务提供快速的数据访问。
如果目标数据的类型是恢复数据类型134和热数据类型136，则计算设备110可以选择块设备模式144作为目标访问模式。具体地，如果目标数据的类型是恢复数据类型134，则计算设备110可以将同步的结合直接存储器访问的块设备模式确定为目标访问模式。
例如，意外的电源故障或其他故障可能导致数据损坏。为了实现数据无损架构，在诸如重复数据删除过程中的中间关键数据需要存储在持久性存储器中。这可以帮助在意外的系统崩溃和重启期间通过数据保管和还原功能恢复被中断的任务。恢复数据包括大量的块数据，例如每个访问请求所涉及的数据通常大于32KB。然而，恢复数据的重要性低于计算数据。为此，恢复数据的IO路径仅需要被设计为满足重复数据删除过程所需的带宽上限，并且确保不会成为瓶颈。因此，针对恢复数据，可以采用块设备模式144。此外，块设备模式144还可以结合直接存储器访问模式和同步模式。由此，能够分担CPU的负担，以及能够以高吞吐量传输大量数据。
如果目标数据的类型是热数据类型136，则计算设备110可以将异步的结合直接存储器访问的块设备模式确定为目标访问模式。例如，可以使用持久性存储器作为中间存储设备，来缓解快速的DRAM和慢速的磁盘之间速度差异带来的影响，从而提高系统性能。在这种情况下，持久性存储器还允许为用户提供不同的服务质量。例如，可以将热数据或高优先级用户的数据存储到具有低访问延迟和高带宽的持久性存储器中，而将冷数据或低优先级用户的数据存储到磁盘中。由于热数据通常大小较大，因此类似于恢复数据，对于热数据可以采用块设备模式144。然而，由于热数据的重要性低于恢复数据，因此相对于恢复数据所采用的同步模式，热数据可以采用异步模式。综上，热数据可以采用结合直接存储器访问模式和异步模式的块设备模式。
在230，计算设备110使存储设备150在目标访问模式下访问目标数据。如上所述，对于计算数据类型132，计算设备110使存储设备150在直接访问模式142下访问目标数据。由此，可以实现快速且可字节寻址的访问。对于恢复数据类型134和热数据类型136，计算设备110使存储设备150在块设备模式144下访问目标数据。
在块设备模式144下，计算设备110还将进行服务质量控制。对存储设备150的要求可能根据数据类型、服务等级和平台的不同而不同。此外，存储设备150还可以被配置为共享存储资源。在这种情况下，更准确地共享存储设备150的带宽是适当的。为此，可以确定访问请求的优先级并且采用适当的调度策略来满足对存储设备150的可变要求。
图3示出了根据本公开的一些实施例的用于在块设备模式144下进行服务质量控制的方法300的示例的流程图。方法300可以由如图1所示的计算设备110来实现。备选地，方法300也可以由除了计算设备110之外的其他主体实现。应当理解的是，方法300还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。
在310，计算设备110可以基于目标数据的类型、与发起访问请求120的用户相关联的服务等级、和发起访问请求120的平台中的至少一项，确定访问请求120的优先级。在某些实施例中，优先级的确定规则可以由管理员灵活地定义。例如，在访问请求120涉及恢复数据类型134，并且相关联的服务等级为高的情况下，可以确定访问请求120的优先级为高优先级。而在访问请求120涉及热数据类型136，并且相关联的服务等级为低的情况下，可以确定访问请求120的优先级为低优先级。此外，在某些实施例中，计算设备110可以使用优先值来表示优先级，以方便后续计算。例如，优先值0可以表示高优先级，优先值1可以表示中等优先级，并且优先值2可以表示低优先级。
在320，计算设备110可以基于优先级，确定与访问请求120对应的队列。在330，计算设备110可以将访问请求120放入所确定的队列中。例如，计算设备110可以将具有高优先级的访问请求放入高优先级队列中，并且将具有低优先级的访问请求放入低优先级队列中。
计算设备110可以访问这些队列，例如对这些队列进行轮询。在某些实施例中，计算设备110可以确定一个队列是否为空，即队列中是否存在访问请求。如果队列为空，则计算设备110将轮询下一队列。如果队列不为空，则计算设备110可以对队列进行轮询。针对正在轮询的队列，计算设备110可以基于优先级或优先值，来确定分配给队列的带宽和时间片。例如，对于高优先级或优先值0的队列，可以确定带宽为最大带宽的50％，并且时间片为100ms。对于低优先级或优先值2的队列，可以确定带宽为最大带宽的10％，并且时间片为20ms。
计算设备110访问队列的方式以及确定带宽和时间片的方式仅是示例。事实上，计算设备110可以提供灵活的、管理员可配置的任何方式。例如，计算设备110可以随机访问队列。作为另一示例，对于高优先级或优先值0，可以确定带宽为最大带宽的40％，并且时间片为80ms。对于低优先级或优先值2，可以确定带宽为最大带宽的20％，并且时间片为40ms。
在340，计算设备110可以在队列被轮询期间，从队列获取访问请求。在350，计算设备110可以使存储设备150在目标访问模式下在预定时间片期间以预定带宽访问目标数据。如上所述，预定时间片和预定带宽基于优先级被确定。例如，在计算设备110从队列获取针对恢复数据的访问请求的情况下，计算设备110可以使存储设备150在同步的结合直接存储器访问的块设备模式下以最大带宽的40％在80ms的时间片内传输目标数据。进一步地，计算设备110还可以确定时间片是否到期。如果时间片到期，则计算设备110将继续轮询下一队列。
以此方式，可以对访问请求所涉及的不同类型的数据应用适当的访问模式，以满足访问延迟、数据大小和带宽等方面的要求。此外，还可以基于访问请求的优先级，为访问请求分配带宽，从而满足用户的不同要求，并且提高存储设备的使用效率。
图4示出了可以用来实施本公开内容的实施例的示例设备400的示意性框图。例如，如图1所示的计算设备110可以由设备400来实施。如图所示，设备400包括中央处理单元(CPU)410，其可以根据存储在只读存储器(ROM)420中的计算机程序指令或者从存储单元480加载到随机访问存储器(RAM)430中的计算机程序指令，来执行各种适当的动作和处理。在RAM 430中，还可存储设备400操作所需的各种程序和数据。CPU 410、ROM 420以及RAM430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。
设备400中的多个部件连接至I/O接口450，包括：输入单元460，例如键盘、鼠标等；输出单元470，例如各种类型的显示器、扬声器等；存储单元480，例如磁盘、光盘等；以及通信单元490，例如网卡、调制解调器、无线通信收发机等。通信单元490允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程200和300，可由处理单元410执行。例如，在一些实施例中，过程200和300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元480。在一些实施例中，计算机程序的部分或者全部可以经由ROM 420和/或通信单元490而被载入和/或安装到设备400上。当计算机程序被加载到RAM 430并由CPU 410执行时，可以执行上文描述的过程200和300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于数据处理的方法，包括：
确定与访问请求相关联的目标数据的类型，所述类型包括以下至少一项：计算数据类型、恢复数据类型、和热数据类型；
基于所述类型，从直接访问模式和块设备模式中选择与所述目标数据相关联的存储设备的目标访问模式；以及
使所述存储设备在所述目标访问模式下访问所述目标数据。
2.根据权利要求1所述的方法，其中：
所述计算数据类型是影响正在执行的任务的计算速度的数据的类型，
所述恢复数据类型是用于恢复被中断的任务的数据的类型，和
所述热数据类型是访问频率超过阈值频率的数据的类型。
3.根据权利要求1所述的方法，其中所述计算数据类型包括以下至少一项：
寄存器数据类型，
元数据类型，和
索引表类型。
4.根据权利要求1所述的方法，其中选择所述访问模式包括：
如果所述类型是所述计算数据类型，选择所述直接访问模式作为所述目标访问模式；以及
如果所述类型是所述恢复数据类型和所述热数据类型，选择所述块设备模式作为所述目标访问模式。
5.根据权利要求4所述的方法，其中选择所述块设备模式作为所述目标访问模式包括：
如果所述类型是所述恢复数据类型，将同步的结合直接存储器访问的块设备模式确定为所述目标访问模式；以及
如果所述类型是所述热数据类型，将异步的结合直接存储器访问的块设备模式确定为所述目标访问模式。
6.根据权利要求1所述的方法，其中所述目标访问模式是所述块设备模式，并且所述方法还包括：
基于所述类型、与发起所述访问请求的用户相关联的服务等级、和发起所述访问请求的平台中的至少一项，确定所述访问请求的优先级；
基于所述优先级，确定与所述访问请求对应的队列；
将所述访问请求放入所述队列中。
7.根据权利要求6所述的方法，其中使所述存储设备在所述目标访问模式下访问所述目标数据包括：
在所述队列被轮询期间，从所述队列获取所述访问请求；以及
使所述存储设备在所述目标访问模式下在预定时间片期间以预定带宽访问所述目标数据，所述预定时间片和所述预定带宽基于所述优先级被确定。
8.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
确定与访问请求相关联的目标数据的类型，所述类型包括以下至少一项：计算数据类型、恢复数据类型、和热数据类型；
基于所述类型，从直接访问模式和块设备模式中选择与所述目标数据相关联的存储设备的目标访问模式；以及
使所述存储设备在所述目标访问模式下访问所述目标数据。
9.根据权利要求8所述的设备，其中：
所述计算数据类型是影响正在执行的任务的计算速度的数据的类型，
所述恢复数据类型是用于恢复被中断的任务的数据的类型，和
所述热数据类型是访问频率超过阈值频率的数据的类型。
10.根据权利要求8所述的设备，其中所述计算数据类型包括以下至少一项：
寄存器数据类型，
元数据类型，和
索引表类型。
11.根据权利要求8所述的设备，其中选择所述访问模式包括：
如果所述类型是所述计算数据类型，选择所述直接访问模式作为所述目标访问模式；以及
如果所述类型是所述恢复数据类型和所述热数据类型，选择所述块设备模式作为所述目标访问模式。
12.根据权利要求11所述的设备，其中选择所述块设备模式作为所述目标访问模式包括：
如果所述类型是所述恢复数据类型，将同步的结合直接存储器访问的块设备模式确定为所述目标访问模式；以及
如果所述类型是所述热数据类型，将异步的结合直接存储器访问的块设备模式确定为所述目标访问模式。
13.根据权利要求8所述的设备，其中所述目标访问模式是所述块设备模式，并且所述方法还包括：
基于所述类型、与发起所述访问请求的用户相关联的服务等级、和发起所述访问请求的平台中的至少一项，确定所述访问请求的优先级；
基于所述优先级，确定与所述访问请求对应的队列；
将所述访问请求放入所述队列中。
14.根据权利要求13所述的设备，其中使所述存储设备在所述目标访问模式下访问所述目标数据包括：
在所述队列被轮询期间，从所述队列获取所述访问请求；以及
使所述存储设备在所述目标访问模式下在预定时间片期间以预定带宽访问所述目标数据，所述预定时间片和所述预定带宽基于所述优先级被确定。
15.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至7任一项所述的方法的步骤。
CN202011496988.7A 2020-12-17 2020-12-17 用于数据处理的方法、电子设备和计算机程序产品 Pending CN114647363A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011496988.7A CN114647363A (zh) 2020-12-17 2020-12-17 用于数据处理的方法、电子设备和计算机程序产品
US17/146,819 US11500577B2 (en) 2020-12-17 2021-01-12 Method, electronic device, and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496988.7A CN114647363A (zh) 2020-12-17 2020-12-17 用于数据处理的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114647363A true CN114647363A (zh) 2022-06-21

Family

ID=81990909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496988.7A Pending CN114647363A (zh) 2020-12-17 2020-12-17 用于数据处理的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11500577B2 (zh)
CN (1) CN114647363A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116820344A (zh) * 2023-07-03 2023-09-29 摩尔线程智能科技(北京)有限责任公司 存储器访问电路及存储器访问方法、集成电路和电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11960735B2 (en) * 2021-09-01 2024-04-16 Micron Technology, Inc. Memory channel controller operation based on data types
CN115086438B (zh) * 2022-08-19 2022-11-11 南京芯驰半导体科技有限公司 任务处理方法、视频处理单元、部件及交通设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8769049B2 (en) * 2009-04-24 2014-07-01 Microsoft Corporation Intelligent tiers of backup data
US9692706B2 (en) * 2013-04-15 2017-06-27 International Business Machines Corporation Virtual enhanced transmission selection (VETS) for lossless ethernet
US20170039142A1 (en) * 2015-08-03 2017-02-09 Sandisk Technologies Llc Persistent Memory Manager
US10409739B2 (en) * 2017-10-24 2019-09-10 Micron Technology, Inc. Command selection policy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116820344A (zh) * 2023-07-03 2023-09-29 摩尔线程智能科技(北京)有限责任公司 存储器访问电路及存储器访问方法、集成电路和电子设备
CN116820344B (zh) * 2023-07-03 2024-04-26 摩尔线程智能科技(北京)有限责任公司 存储器访问电路及存储器访问方法、集成电路和电子设备

Also Published As

Publication number Publication date
US20220197539A1 (en) 2022-06-23
US11500577B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
US11729073B2 (en) Dynamic scaling of storage volumes for storage client file systems
US11868617B2 (en) Virtualizing non-volatile storage at a peripheral device
US9792060B2 (en) Optimized write performance at block-based storage during volume snapshot operations
US10489422B2 (en) Reducing data volume durability state for block-based storage
US10169068B2 (en) Live migration for virtual computing resources utilizing network-based storage
CN114647363A (zh) 用于数据处理的方法、电子设备和计算机程序产品
WO2018234941A1 (en) USE OF RESOURCES IN COMPUTER ENVIRONMENTS DISTRIBUTED BY DYNAMICALLY ADJUSTING THE SIZE OF A RESOURCE UNIT
US9836327B1 (en) Network-based storage access control for migrating live storage clients
WO2016116377A1 (en) Multiple erasure codes for distributed storage
US10540238B2 (en) Adjusting replication operations in a distributed environment
CN112148644B (zh) 处理输入/输出请求的方法、装置和计算机程序产品
CN110795230A (zh) 用以支持统一的分布式实时配额限制的智能解决方案
WO2022199204A1 (zh) 用于确定资源的方法和装置
US10776173B1 (en) Local placement of resource instances in a distributed system
US10044556B2 (en) Identifying performance-degrading hardware components in computer storage systems
US10936425B2 (en) Method of tracking and analyzing data integrity issues by leveraging cloud services
US10929424B1 (en) Cloud replication based on adaptive quality of service
CN107852370B (zh) 用于可扩展网络缓冲器管理的系统和方法
US11070654B2 (en) Sockets for shared link applications
US9857979B2 (en) Optimizing page boundary crossing in system memory using a reference bit and a change bit
CN114063891B (zh) 管理数据传输的方法、设备和计算机程序产品
KR101887741B1 (ko) 적응적 블록 캐시 운용 방법 및 이를 적용한 dbms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination