CN114371811A - 用于存储管理的方法、电子设备和计算机程序产品 - Google Patents

用于存储管理的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN114371811A
CN114371811A CN202011105937.7A CN202011105937A CN114371811A CN 114371811 A CN114371811 A CN 114371811A CN 202011105937 A CN202011105937 A CN 202011105937A CN 114371811 A CN114371811 A CN 114371811A
Authority
CN
China
Prior art keywords
target file
connection
storage
client
system call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011105937.7A
Other languages
English (en)
Inventor
刘金鹏
李锦�
廖梦泽
杨文彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202011105937.7A priority Critical patent/CN114371811A/zh
Priority to US17/094,430 priority patent/US11422698B2/en
Publication of CN114371811A publication Critical patent/CN114371811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及用于存储管理的方法、电子设备和计算机程序产品。根据本公开的示例性实现，一种用于存储管理的方法，包括：在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在存储服务器中执行的线程发起，目标文件是客户端对存储设备执行的访问操作所针对的文件；如果第一系统调用被发起，确定与目标文件相关联的第一连接和第二连接，第一连接是客户端与存储服务器之间的连接，第二连接是存储服务器与存储设备之间的连接；以及使客户端经由第一连接和第二连接访问目标文件。由此，可以提高存储性能。

Description

用于存储管理的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及存储管理，具体涉及用于存储管理的方法、电子设备和计算机程序产品。
背景技术
随着信息技术的发展，越来越多的数据被存储到存储系统中，导致对存储系统的访问性能的要求越来越高。此外，与本地存储系统相比，出现了基于网络的存储系统，例如，NVMEoF(Non-Volatile Memory Express over Fabrics)存储系统、SAN(Storage AreaNetwork)存储系统等。基于网络的存储系统允许使用网络连接而非本地总线连接(例如，PCIe(Peripheral Component Interface Express)总线连接)将更多的存储设备连接到存储服务器，从而无需受到物理本地总线连接插槽数目的限制。然而，在访问数据时，在基于网络的存储系统中会发生数据在用户空间和内核空间之间的上下文切换，这将导致存储系统的访问性能下降。
发明内容
本公开的实施例提供了用于存储管理的方法、电子设备和计算机程序产品。
在本公开的第一方面，提供了一种用于存储管理的方法。该方法包括：在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在存储服务器中执行的线程发起，目标文件是客户端对存储设备执行的访问操作所针对的文件；如果第一系统调用被发起，确定与目标文件相关联的第一连接和第二连接，第一连接是客户端与存储服务器之间的连接，第二连接是存储服务器与存储设备之间的连接；以及使客户端经由第一连接和第二连接访问目标文件。
在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在存储服务器中执行的线程发起，目标文件是客户端对存储设备执行的访问操作所针对的文件；如果第一系统调用被发起，确定与目标文件相关联的第一连接和第二连接，第一连接是客户端与存储服务器之间的连接，第二连接是存储服务器与存储设备之间的连接；以及使客户端经由第一连接和第二连接访问目标文件。
在本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了传统存储系统的示例的示意图；
图2示出了传统存储服务器中的数据流的示例的示意图；
图3示出了理想的数据流的示例的示意图；
图4示出了本公开的一些实施例能够在其中实现的存储系统的示例的示意图；
图5示出了根据本公开的一些实施例的用于存储管理的方法的示例的流程图；
图6示出了根据本公开的一些实施例的用于数据访问的过程的示例的泳道图；
图7示出了根据本公开的一些实施例的、使用持久性存储器的存储系统的示例的示意图；
图8示出了根据本公开的一些实施例的用于数据移动的过程的示例的示意图；以及
图9示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，在访问数据时，在传统的基于网络的存储系统中会发生数据在用户空间和内核空间之间的上下文切换。在下文中，将结合图1详细描述这种上下文切换。
图1示出了传统存储系统100的示例的示意图。存储系统100可以是基于网络的存储系统，例如，NVMEoF存储系统、SAN存储系统等。存储系统100包括存储服务器110和目的地设备150。在传统的数据访问过程中，客户端115可以向存储服务器110发送用于访问(例如，读/写)目标文件的请求。存储服务器110中的客户端接口管理器120(例如，客户端访问局域网接口卡)可以接收该读/写请求，并且将该读/写请求发送到用户空间中的用于管理存储服务器110的存储管理模块125。
存储管理模块125可以分析该读/写请求，并且通过查询目标文件的元数据来找到目标文件。在某些实施例中，存储管理模块125还可以更新元数据，并且通过直接写入方式将更新后的元数据同步到存储设备中，例如，存储设备170或180。
存储管理模块125可以向内核空间中的虚拟文件系统130发送对目标文件进行读/写的系统调用。虚拟文件系统130可以将该系统调用转换为虚拟存储设备读/写命令，并且将该读/写命令发送到虚拟存储设备驱动器135。虚拟存储设备驱动器135可以将该读/写命令封装到遵循网络协议(例如，RDMA(Remote Direct Memory Access)协议、TCP/IP协议等)的发送/接收命令中，并且较低层的网络驱动器140可以将该发送/接收命令放入待处理队列中，从而由网络接口管理器145(例如，RDMA网络接口卡、TCP/IP网络接口卡等)经由网络发送到目的地设备150。
目的地设备150的网络接口管理器155可以接收该发送/接收命令。网络驱动器160可以从该发送/接收命令中提取读/写命令，并且将所提取的读/写命令发送到目标文件所存储于的存储设备的存储设备控制器，例如，存储设备170的存储设备控制器165，或存储设备180的存储设备控制器175。存储设备控制器165可以对存储设备170执行该读/写命令。应理解，虽然图1中仅示出了两个存储设备控制器及其控制的对应存储设备，但是目的地设备150可以具有更多或更少的存储设备控制器及其控制的对应存储设备。然后，目的地设备150可以将答复(例如，该答复可以包括所读取的目标文件或写入目标文件的确认)以相反的方式发送回存储服务器110和客户端115(在此省略其描述)。
通常，目的地设备150由高效的、针对特定领域的硬件实现。然而，存储服务器110通常通过软件进行存储管理，从而成为存储系统100的瓶颈。在下文中，将结合图2对形成瓶颈的原因进行描述。
图2示出了传统存储服务器110中的数据流200的示例的示意图。如图2所示，为了将数据230从客户端接口管理器120移动到网络接口管理器145，数据230需要从客户端接口管理器120通过内核空间到达用户空间中的存储应用220，然后从用户空间中的存储应用220通过内核空间(通过虚拟文件系统130、虚拟存储设备驱动器135和网络驱动器140)到达网络接口管理器145。
在此过程中，对于每个数据230，在用户空间和内核空间之间存在两次上下文切换和两个数据副本。这将增加成本，并且显著降低存储系统的性能。
图3示出了理想的数据流300的示例的示意图。如图3所示，在将数据230从客户端接口管理器120移动到网络接口管理器145的过程中，数据仅通过内核空间，而无需进入用户空间。在这种情况下，对于每个数据230，避免了在用户空间和内核空间之间的两次上下文切换和两个数据副本。
根据本公开的示例实施例，提出了一种用于存储管理的改进方案。在该方案中，在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在存储服务器中执行的线程发起，目标文件是客户端对存储设备执行的访问操作所针对的文件；如果第一系统调用被发起，确定与目标文件相关联的第一连接和第二连接，第一连接是客户端与存储服务器之间的连接，第二连接是存储服务器与存储设备之间的连接；以及使客户端经由第一连接和第二连接访问目标文件。
以此方式，在本方案中，由于所有数据副本都在内核空间中，因此可以避免用户空间中的数据副本的额外开销，以及内核空间和用户空间之间的上下文切换。
在下文中，将结合图3-图8更详细地描述本方案的具体示例，其中图3-6与应用数据相关联，图7与元数据相关联，并且图8与数据移动相关联。
应用数据
图4示出了本公开的一些实施例能够在其中实现的存储系统400的示例的示意图。与图1中的存储系统100相比，存储服务器410包括控制器490。控制器490可以将各种操作与内核空间中的内核函数相关联(可互换地称为“挂钩(hook)”)。例如，控制器490可以将各种操作与针对客户端接口管理器420、虚拟文件系统430和网络驱动器440的内核函数挂钩，以协调内核空间内的整个数据流，从而减少用户空间中的数据副本和在内核空间和用户空间之间的上下文切换。在某些实施例中，用户可以编写各种操作的代码，经编译的代码可以通过系统调用与内核函数挂钩，与内核函数挂钩的操作在内核函数被执行时将在内核空间中的虚拟机中执行。为了确保内核的安全性，在执行这些操作之前，可以预先验证这些操作是否会损害内核，例如是否会进入死循环等。
此外，存储服务器410的存储管理模块425中还可以具有用于管理存储服务器410的主线程426和包括多个空闲线程的线程池427。可以从这些空闲线程中选择一个线程作为工作线程来处理来自客户端115的数据访问请求。应理解，虽然图4中仅示出了线程428，但是线程池427可以具有更多或更少数目的线程。
进一步地，还可以使用映射表来协调与数据访问相关联的操作。在某些实施例中，映射表可以是键值表，其键为所选择的工作线程的标识(例如，PID(ProcessIdentification))，并且值可以包括诸如以下各项的各种信息：客户端115与存储服务器410之间的连接的标识，目标文件的标识(例如，描述符和/或文件名)，存储服务器410与目的地设备150(从而与目的地设备150中的存储设备)之间的连接的标识。此外，在新文件被打开以进行读取或写入或者文件被关闭的情况下，还可以动态更新映射表。
作为示例，控制器490可以通过增强ExtFUSE(Extended Filesystem inUserspace)来实现。然而，增强ExtFUSE仅是示例，控制器490可以通过任何适当的方式来实现。为了理解增强ExtFUSE，将首先介绍FUSE(Filesystem in Userspace)。FUSE是用户空间程序将文件系统导出到Linux内核的接口。然而，即使FUSE是用户空间文件系统，对于每个文件系统调用仍然存在上下文切换。ExtFuse是基于Fuse实现的，但是通过在内核空间内的系统调用中注册一些挂钩来提供扩展，以在文件I/O(Input/Output)期间提高性能。
挂钩可以通过eBPF(Extended Berkeley Packet Filter)的机制来实现。最初，BPF是用于过滤网络分组的专用虚拟机(基于寄存器的过滤器评估器)。而对BPF进行扩展的eBPF已经成为通用内核扩展框架，其可以对各种内核函数进行挂钩。eBPF是Linux内核的虚拟机，可以进行内核内部的高级的、低成本的跟踪，从而洞悉I/O和文件系统延迟，进程的CPU(Central Processing Unit)使用率，堆栈跟踪以及用于调试的其他指标。eBPF还可以在系统安全性中发挥作用，其潜在地提供一种阻止DDOS(Distributed Denial OfService)攻击、监视入侵检测、甚至替换IP表作为实施防火墙的方法。eBPF还可以用于安装驱动器。
以此方式，存储系统400可以使处理逻辑更接近内核空间中的数据，从而可以在内核空间中高效地处理应用数据，避免用户空间中的数据复制和在用户空间和内核空间之间的上下文切换。
图5示出了根据本公开的一些实施例的用于存储管理的方法500的示例的流程图。例如，方法500可以由如图4所示的控制器490来执行。注意，虽然控制器490被示出为在用户空间中，然而控制器490所执行的与系统调用挂钩的预定操作都是在内核空间中执行的。应当理解的是，方法500还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本公开的范围在此方面不受限制。
在510，控制器490在存储服务器410的内核(可互换地称为“内核空间”)处确定与目标文件(例如，应用数据)有关的第一系统调用是否被在存储服务器410中执行的线程发起。目标文件是客户端115对存储设备(例如，存储设备170)执行的访问操作所针对的文件。
在520，如果第一系统调用(例如，用于访问(读/写)目标文件的系统调用)被发起，则控制器490确定与目标文件相关联的第一连接和第二连接。第一连接是客户端115与存储服务器410之间的连接，而第二连接是存储服务器410与目的地设备150(从而与目的地设备150中的存储设备)之间的连接。在530，控制器490使客户端115经由第一连接和第二连接访问目标文件。详细的数据访问过程将结合图6进行描述。
图6示出了根据本公开的一些实施例的用于数据访问的过程600的示例的泳道图。客户端115可以向存储服务器410发送630建立第一连接的请求。如上所述，第一连接是客户端115与存储服务器410之间的连接。存储服务器410在经由客户端接口管理器420接收到建立第一连接的请求之后，可以接受该请求。
在这种情况下，用于管理存储服务器410的主线程426可以从多个空闲线程中选择635一个空闲线程(例如，线程428)作为工作线程，并且启动该线程428。在某些实施例中，主线程426可以经由第二系统调用(例如，用于创建线程的系统调用)使用第一连接的标识(例如，描述符)来启动该线程428。
控制器490可以确定640与启动线程428有关的第二系统调用是否被主线程426发起。如果第二系统调用被发起，由于与该第二系统调用相关联的内核函数已经与预定操作挂钩，因此控制器490可以执行该预定操作。具体地，控制器490可以将第一连接的标识和线程428的标识(例如，描述符)存储642到内核的存储区域中。在某些实施例中，存储区域可以是用于协调与数据访问相关联的操作的映射表。
随后，客户端115可以向存储服务器410发送645访问目标文件的请求。访问目标文件的请求可以包括与目标文件相关联的各种信息，例如目标文件的标识、目标文件的大小和目标文件的位置(例如，存储位置的偏移量)。
由于来自客户端115的访问目标文件的请求是经由第一连接传输的，因此存储服务器410中的线程428将负责处理该请求。在某些实施例中，线程428可以650查询目标文件的元数据，并且打开655目标文件。在某些实施例中，线程428可以使用第三系统调用(例如，用于打开文件的系统调用)在虚拟文件系统430中打开虚拟存储设备驱动器135上的目标文件。
控制器490可以确定660与打开目标文件有关的第三系统调用是否被线程428发起。如果第三系统调用被发起，由于与该第三系统调用相关联的内核函数已经与预定操作挂钩，因此控制器490可以执行该预定操作。具体地，控制器490可以将目标文件的标识(例如，描述符)存储662到内核的存储区域中。
然后，线程428可以发起665与目标文件有关的第一系统调用(例如，用于访问(读/写)目标文件的系统调用)。在某些实施例中，线程428可以利用与目标文件相关联的各种信息(例如目标文件的标识、目标文件的大小和/或目标文件的位置)，来发起第一系统调用。
控制器490可以确定670第一系统调用是否被线程428发起。如果第一系统调用被发起，由于与该第一系统调用相关联的内核函数已经与预定操作挂钩，因此控制器490可以执行该预定操作。具体地，控制器490可以基于第一系统调用，确定第二连接的标识，并且将第二连接的标识(例如，描述符)存储到内核的存储区域中。随后，控制器490可以基于存储区域中存储的第一连接的标识和第二连接的标识，确定第一连接和第二连接。
以此方式，控制器490可以使客户端115经由第一连接和第二连接访问目标文件。例如，在访问请求是读请求的情况下，控制器490可以确定是否经由第二连接从存储设备接收到目标文件。如果接收到目标文件，则控制器490可以经由第一连接向客户端115发送目标文件。
具体地，第一系统调用将通过虚拟存储设备读命令到达虚拟存储设备驱动器135，并且该虚拟存储设备读命令将被发送到下层的网络驱动器440，从而建立第二连接以将该虚拟存储设备读命令发送到目的地设备150。目的地设备150执行该虚拟存储设备读命令之后，读取的目标文件将经由第二连接被发送回存储服务器410中的网络驱动器440。与网络驱动器440接收到目标文件相关联的内核函数已经与预定操作挂钩，以从所接收的分组中提取目标文件，并将其经由第一连接发送到客户端115。
另外，在访问请求是写请求的情况下，控制器490可以确定是否经由第一连接从客户端115接收到目标文件。如果接收到目标文件，则控制器490可以经由第二连接向目的地设备150(从而与目的地设备150中的存储设备)发送目标文件。
通常，客户端115将向存储服务器410发送读请求和写请求两者，并且客户端115不会仅访问单个文件。为此，可以利用在上文中关于读请求和写请求分别描述的操作来处理混合请求。例如，可以混合针对读请求和写请求的处理，关闭旧文件或打开新文件，并且将相关信息从存储区域中删除或添加到存储区域中，从而实现这些混合请求。
在客户端115完成访问请求之后，客户端115可以关闭连接，例如关闭第一连接和第二连接。存储服务器410中的线程428还可以调用关闭系统调用。与该关闭系统调用相关联的内核函数已经与预定操作挂钩，以将针对第一连接和第二连接的信息从存储区域中删除。
在某些实施例中，在进行上述数据访问操作之前，还可以预先进行存储系统400的初始化。例如，在重新启动或初次启动存储系统400之后，存储系统400可以进行如下初始化。存储系统400可以读取配置信息以确定客户端接口管理器420和网络接口管理器145，并且设置标志以指示客户端接口管理器420和网络接口管理器之间是否允许直接存取。存储系统400还可以启动控制器490(如果尚未启动)。然后，控制器490可以将上述各种系统调用与预定操作挂钩。备选地，如果允许直接存取，则控制器490也可以将客户端接口管理器420和网络驱动器440的发送/接收队列与预定操作挂钩。然后，存储系统400可以调用套接字、绑定和监听函数以等待客户端115的请求，而这些系统调用并未与预定操作挂钩。
以此方式，在本方案中，由于与内核函数挂钩的预定操作都在内核空间中执行，因此所有数据副本都在内核空间中，从而可以避免用户空间中的数据副本的额外开销，以及内核空间和用户空间之间的上下文切换。
元数据
在上文中描述了存储系统中的应用数据的近内核处理，在下文中将描述存储系统中的元数据的近内核处理。在存储系统中，仅高效地处理应用数据是不够的，并且还需要高效地处理元数据。
然而，传统存储系统存在关于效率的两个问题。一方面，存储系统需要不时更新元数据，并且需要以直接写入方式将更新后的元数据从存储器(例如，主内存)同步到存储设备(例如，备份文件系统)。在直接写入方式中，即使仅更新了单个字节，也需要将整个存储块(例如，4KB大小)移动到存储设备中，这是非常低效的。
另一方面，在重新启动存储系统时，需要将元数据从存储设备读回存储器。由于存储器和存储设备之间的存储格式存在差异，因此需要重构元数据，这种重构将花费很长时间。
为了至少解决上述问题，可以使用持久性存储器(Persistent Memory，PM)来存储元数据。图7示出了本公开的一些实施例能够在其中实现的、使用持久性存储器的存储系统700的示例的示意图。
在存储系统700中，可以使控制器490成为持久性存储器780感知的文件系统。可以在冷重启期间对齐元数据结构。此外，还可以自动将对元数据进行的操作挂钩到内核函数，以实现元数据的近内核处理。
持久性存储器的大小和访问速度可以填补存储器(例如，采用DRAM)和存储设备(例如，采用NVME)之间的空白。持久性存储器可以提供两组访问接口：作为块存储设备或作为随机访问存储器区域。然而，在持久性存储器感知的文件系统中，应用可以使用直接访问(Direct Access，DAX)模式访问持久性存储器中托管的文件(在这种情况下，持久性存储器作为块存储设备)，然后对该文件的内容进行存储器映射以映射到应用的存储器空间。然后，应用可以使用存储器应用编程接口(API)访问该存储器映射后的文件，就好像持久性存储器是存储器的一个区域一样，而没有用于文件系统访问的页面缓存。也就是说，应用可以直接访问文件，就好像文件已经在存储器中一样。因此，这种模式也被称为直接访问模式。
使用持久性存储器和直接访问模式来存储元数据的目的在于，一方面，在更新元数据时，与访问存储设备相比，访问持久性存储器的速度更快，并且无需采用直接写入方式。另一方面，在读取文件并将其映射到存储器时，可以直接在应用中使用元数据，而无需从存储设备读取文件的内容并重建元数据。
当存储系统启动或重新启动时，其可以打开包含元数据的文件，然后将文件的内容映射到持久性存储器中。然后，与内核函数挂钩的各种操作可以访问元数据。
此外，如上所述，可以使控制器490成为持久性存储器780感知的文件系统，以便可以使用直接访问模式访问元数据。但是，仍然存在另一个问题：在直接访问模式下，在冷重启期间，如果元数据被映射到与上次映射不同的存储器地址，则指向元数据的上次映射的地址的指针的值将是错误的。例如，元数据的前一次映射的指针值为“0x8080aa00”，而元数据的后一次映射的指针值为“0x80800000”。然而，在冷重启期间将元数据重新映射到存储器中，其值仍然是“0x8080aa00”，这将导致系统崩溃，甚至破坏其他数据结构。
为此，存在三种解决方案。在第一种方案中，当对元数据进行存储器映射时，可以将地址设置为固定值，以便每次元数据都可以映射到同一地址。但是，如果该地址已经被占用，则该解决方案无法保证成功。在第二种方案中，可以使用地址的偏移量而非地址的绝对值。例如，可以通过Microsoft C++提供的语法扩展功能实现。但是，该解决方案可能存在可移植性问题。在第三种方案中，可以将元数据定义为对象(例如，使用NVML libmemobj库)，然后可以使用宏或函数来进行访问。这些宏或函数将处理地址的偏移量和地址的绝对值之间的转换。
这样，如果控制器490确定客户端115经由第一连接和第二连接访问目标文件，则控制器490可以更新持久性存储器中的与目标文件相关联的元数据。元数据可以包括与目标文件相关联的各种信息。例如，元数据可以包括客户端的标识、访问目标文件的时间、目标文件的标识、目标文件的大小、目标文件的位置和/或用于检索目标文件的索引节点。
这可以通过将与访问目标文件相关联的内核函数与更新元数据的预定操作挂钩来实现。例如，如果访问请求用于访问新文件，则创建一个新的元数据。如果访问请求用于访问现有文件，则更新现有的元数据。
由于可以直接或间接获取与访问(例如，发起者，时间戳等)和文件(目录、文件名、索引节点、大小等)有关的各种信息，因此可以自动维护元数据。例如，可以从相关联的文件描述符间接获取文件名和索引节点等。此外，由于所有这些处理都在内核空间内，因此可以以与处理应用数据类似的方式在内核空间内处理元数据，而无需额外的元数据副本和在内核空间和用户空间之间的上下文切换。
以此方式，在本方案中，可以将持久性存储器用作块存储介质，从而无需在冷重启后以直接写入方式来持久地存储元数据的更新和重构。此外，可以将控制器490扩展为持久性存储器感知的文件系统，以便可以使用直接访问模式访问元数据。另外，可以将元数据定义为对象，以使用宏或函数来进行访问，这样的元数据管理方式可以在冷重启后，仍然有效地使用持久地存储的元数据的指针。进一步地，通过将预定操作与访问目标文件相关联的内核函数挂钩，可以在每次发生应用数据访问时自动在内核空间内维护元数据，以便应用数据和元数据都在内核空间内进行处理，从而以提高访问性能。
数据的移动
以上描述了针对应用数据和元数据的处理，在下文中将详细描述如何移动这些数据。
当前，当存储系统将数据从目的地设备150中的一个存储设备(例如，存储设备170)移动(例如，写时复制、快照、克隆)到另一个存储设备(例如，存储设备180)时，需要首先将数据从远程存储设备170复制回用户空间，然后再将数据写入到另一远程存储设备180。数据的接收/发送和用户空间/内核空间的上下文切换将会占用大量资源，例如CPU周期。此外，由于存储设备(例如，NVMe存储设备)和网络传输(例如，遵循RDMA协议)的速度很快，因此上下文切换所带来的问题将更为严重。
例如，随着NVMe存储设备的快速发展，越来越多的存储系统采用其作为基本存储介质。此外，随着PCIe带宽的大幅增加和RDMA网络接口卡的发展，通过RDMA网络接口卡将存储服务器与NVMe存储设备连接成为一种流行且高效的拓扑结构。这种NVMeoF技术极大地提高了单个存储系统的容量和密度，而不受限于主板上的PCIe插槽数目和随之而来的散热问题。同时，NVMeoF技术为硬件设计和部署提供了极大的灵活性。
但是，由于容量大且密度高，存储系统软件需要处理越来越多的来自/去往大量NVMe存储设备的I/O请求。除了传统的SCSI(Small Computer System Interface)存储驱动器之外，如何高效地处理大量增加的I/O请求变得重要。然而，从存储系统中的管理路径触发的数据移动操作(例如，写时复制、快照、克隆)将创建突发的大量I/O请求，并且消耗大部分系统资源，这尤其会导致CPU使用率峰值并影响数据路径上的I/O。因此，将CPU从这种非计算密集型操作中解放出来将显著提高整个存储系统的性能。
为此，在本方案中，可以实现近内核数据移动。图8示出了根据本公开的一些实施例的用于数据移动的过程800的示例的示意图。为了实现近内核数据移动，可以首先对存储系统进行初始化。在某些实施例中，在初始化过程中，如果控制器490尚未启动，则存储系统可以启动控制器490。控制器490可以将预定操作与针对虚拟文件系统430的系统调用挂钩，以用于管理数据移动。此外，控制器490还可以将预定操作与虚拟存储设备驱动器135和网络驱动器440的读取完成队列和写入完成队列挂钩。
以下将描述数据移动的过程。在某些实施例中，假设要被移动的目标文件被存储在存储设备170中，并且存储设备包括多个存储块。在这种情况下，控制器490可以确定与将目标文件从存储设备170移动到另一存储设备(例如，存储设备180)有关的第四系统调用(例如，用于移动目标文件的系统调用)是否被发起。第四系统调用包括与目标文件的移动有关的各种信息，例如，移动类型(例如，复制或迁移)、存储设备的标识、第一组存储块中的存储块的位置、另一存储设备的标识、第二组存储块中的存储块的位置、和/或目标文件的大小等。
如果确定第四系统调用被发起，则控制器490可以从存储设备170中的、用于存储目标文件的第一组存储块读取目标文件，并且将目标文件移动到另一存储设备180中的第二组存储块。
此外，还可以在持久性存储器780中创建和管理用于数据移动事务的元数据的源-目的地映射表。由于该映射表存储在持久性存储器780中，因此可以在断电后恢复数据移动事务。
为此，控制器490可以生成与目标文件相关联的一组记录。该一组记录可以被存储在例如源-目的地映射表中。一组记录中的每个记录包括：第一组存储块中的第一存储块的位置、第二组存储块中与第一存储块相对应的第二存储块的位置、和/或移动状态指示符。
移动状态指示符可以指示目标文件的移动状态。例如，在目标文件在第一存储块上的部分尚未被移动到第二存储块时，移动状态指示符可以指示尚未移动。而如果目标文件在第一存储块上的部分已经被移动到第二存储块，则控制器490可以将移动状态指示符改变为指示目标文件在第一存储块上的部分已经被移动到第二存储块。进一步地，在目标文件被移动到第二组存储块后，控制器490还可以释放第一组存储块。
具体地，控制器490使用迁移或复制命令以及各种参数(例如，存储设备的标识、第一组存储块中的存储块的位置、另一存储设备的标识、第二组存储块中的存储块的位置、和/或目标文件的大小等)来调用第四系统调用。
由于第四系统调用与预定操作挂钩，控制器490将创建一组记录，以指示所有的存储块尚未移动。此外，控制器490还将构造读取I/O请求并将其发送到虚拟存储设备驱动器135，以根据第一组存储块中的存储块的位置读取目标文件。
然后，由于读取I/O请求的完成与预定操作挂钩，因此控制器490将执行该预定操作，以使用所读取的目标文件构造写入I/O请求并将其发送到目的地设备150的存储设备控制器175。在写入I/O请求完成之后，由于写入I/O请求的完成与预定操作挂钩，因此控制器490将执行该预定操作，以将写入完成的存储块的移动状态指示符标记为已经被移动。进一步地，在移动完整个目标文件之后，控制器490还经执行与第四系统调用挂钩的预定操作，以释放初始存储目标文件的第一组存储块。
以此方式，通过使用持久性存储器存储元数据，并且将预定操作与I/O请求的处理挂钩。通过协调挂钩，可以直接在内核中移动数据。在这种情况下，没有额外的数据副本或用户空间与内核空间之间的上下文切换，因此可以提高整个存储系统的性能。
图9示出了可以用来实施本公开内容的实施例的示例设备900的示意性框图。例如，如图4所示的控制器490可以由设备900来实施。如图所示，设备900包括中央处理单元(CPU)910，其可以根据存储在只读存储器(ROM)920中的计算机程序指令或者从存储单元980加载到随机访问存储器(RAM)930中的计算机程序指令，来执行各种适当的动作和处理。在RAM 930中，还可存储设备900操作所需的各种程序和数据。CPU 910、ROM 920以及RAM930通过总线940彼此相连。输入/输出(I/O)接口950也连接至总线940。
设备900中的多个部件连接至I/O接口950，包括：输入单元960，例如键盘、鼠标等；输出单元970，例如各种类型的显示器、扬声器等；存储单元980，例如磁盘、光盘等；以及通信单元990，例如网卡、调制解调器、无线通信收发机等。通信单元990允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程500-800，可由处理单元910执行。例如，在一些实施例中，过程500-800可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元980。在一些实施例中，计算机程序的部分或者全部可以经由ROM 920和/或通信单元990而被载入和/或安装到设备900上。当计算机程序被加载到RAM 930并由CPU910执行时，可以执行上文描述的过程500-800的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Java、Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (31)

1.一种用于存储管理的方法，包括：
在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在所述存储服务器中执行的线程发起，所述目标文件是客户端对存储设备执行的访问操作所针对的文件；
如果所述第一系统调用被发起，确定与所述目标文件相关联的第一连接和第二连接，所述第一连接是所述客户端与所述存储服务器之间的连接，所述第二连接是所述存储服务器与所述存储设备之间的连接；以及
使所述客户端经由所述第一连接和所述第二连接访问所述目标文件。
2.根据权利要求1所述的方法，还包括：
确定与启动所述线程有关的第二系统调用是否被用于管理所述存储服务器的主线程发起；以及
如果所述第二系统调用被发起，将所述第一连接的标识和所述线程的标识存储到所述内核的存储区域中。
3.根据权利要求2所述的方法，其中所述第二系统调用是所述主线程响应于从所述客户端接收到建立所述第一连接的请求而从多个空闲线程中选择并发起的。
4.根据权利要求1所述的方法，还包括：
确定与打开所述目标文件有关的第三系统调用是否被所述线程发起；以及
如果所述第三系统调用被发起，将所述目标文件的标识存储到所述内核的存储区域中。
5.根据权利要求4所述的方法，其中所述第三系统调用是所述线程响应于从所述客户端接收到访问所述目标文件的请求而发起的，所述请求包括所述目标文件的标识、所述目标文件的大小和所述目标文件的位置。
6.根据权利要求1所述的方法，其中确定所述第一连接和所述第二连接包括：
基于所述第一系统调用，确定所述第二连接的标识；
将所述第二连接的标识存储到所述内核的存储区域中；以及
基于所述存储区域中存储的所述第一连接的标识和所述第二连接的标识，确定所述第一连接和所述第二连接。
7.根据权利要求1所述的方法，其中使所述客户端经由所述第一连接和所述第二连接访问所述目标文件包括：
确定是否经由所述第二连接从所述存储设备接收到所述目标文件；以及
如果确定接收到所述目标文件，经由所述第一连接向所述客户端发送所述目标文件。
8.根据权利要求1所述的方法，其中使所述客户端经由所述第一连接和所述第二连接访问所述目标文件包括：
确定是否经由所述第一连接从所述客户端接收到所述目标文件；以及
如果确定接收到所述目标文件，经由所述第二连接向所述存储设备发送所述目标文件。
9.根据权利要求1所述的方法，还包括：
如果确定所述客户端经由所述第一连接和所述第二连接访问所述目标文件，更新持久性存储器中的与所述目标文件相关联的元数据。
10.根据权利要求9所述的方法，其中所述元数据包括以下中的至少一项：
所述客户端的标识，
访问所述目标文件的时间，
所述目标文件的标识，
所述目标文件的大小，
所述目标文件的位置，以及
用于检索所述目标文件的索引节点。
11.根据权利要求1所述的方法，其中所述目标文件被存储在所述存储设备中，并且所述方法还包括：
确定与将所述目标文件从所述存储设备移动到另一存储设备有关的第四系统调用是否被发起；
如果确定所述第四系统调用被发起，从所述存储设备中的、用于存储所述目标文件的第一组存储块读取所述目标文件；以及
将所述目标文件移动到所述另一存储设备中的第二组存储块。
12.根据权利要求11所述的方法，其中所述第四系统调用包括：
移动类型，
所述存储设备的标识，
所述第一组存储块中的存储块的位置，
所述另一存储设备的标识，
所述第二组存储块中的存储块的位置，以及
所述目标文件的大小。
13.根据权利要求11所述的方法，还包括：
生成与所述目标文件相关联的一组记录，所述一组记录中的一个记录包括：所述第一组存储块中的第一存储块的位置，所述第二组存储块中与所述第一存储块相对应的第二存储块的位置，以及移动状态指示符，所述移动状态指示符指示所述目标文件在所述第一存储块上的部分尚未被移动到所述第二存储块。
14.根据权利要求13所述的方法，还包括：
如果确定所述目标文件在所述第一存储块上的部分已经被移动到所述第二存储块，将所述移动状态指示符改变为指示所述目标文件在所述第一存储块上的部分已经被移动到所述第二存储块。
15.根据权利要求11所述的方法，还包括：
在所述目标文件被移动到所述第二组存储块后，释放所述第一组存储块。
16.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
在存储服务器的内核处确定与目标文件有关的第一系统调用是否被在所述存储服务器中执行的线程发起，所述目标文件是客户端对存储设备执行的访问操作所针对的文件；
如果所述第一系统调用被发起，确定与所述目标文件相关联的第一连接和第二连接，所述第一连接是所述客户端与所述存储服务器之间的连接，所述第二连接是所述存储服务器与所述存储设备之间的连接；以及
使所述客户端经由所述第一连接和所述第二连接访问所述目标文件。
17.根据权利要求16所述的设备，所述动作还包括：
确定与启动所述线程有关的第二系统调用是否被用于管理所述存储服务器的主线程发起；以及
如果所述第二系统调用被发起，将所述第一连接的标识和所述线程的标识存储到所述内核的存储区域中。
18.根据权利要求17所述的设备，其中所述第二系统调用是所述主线程响应于从所述客户端接收到建立所述第一连接的请求而从多个空闲线程中选择并发起的。
19.根据权利要求16所述的设备，所述动作还包括：
确定与打开所述目标文件有关的第三系统调用是否被所述线程发起；以及
如果所述第三系统调用被发起，将所述目标文件的标识存储到所述内核的存储区域中。
20.根据权利要求19所述的设备，其中所述第三系统调用是所述线程响应于从所述客户端接收到访问所述目标文件的请求而发起的，所述请求包括所述目标文件的标识、所述目标文件的大小和所述目标文件的位置。
21.根据权利要求16所述的设备，其中确定所述第一连接和所述第二连接包括：
基于所述第一系统调用，确定所述第二连接的标识；
将所述第二连接的标识存储到所述内核的存储区域中；以及
基于所述存储区域中存储的所述第一连接的标识和所述第二连接的标识，确定所述第一连接和所述第二连接。
22.根据权利要求16所述的设备，其中使所述客户端经由所述第一连接和所述第二连接访问所述目标文件包括：
确定是否经由所述第二连接从所述存储设备接收到所述目标文件；以及
如果确定接收到所述目标文件，经由所述第一连接向所述客户端发送所述目标文件。
23.根据权利要求16所述的设备，其中使所述客户端经由所述第一连接和所述第二连接访问所述目标文件包括：
确定是否经由所述第一连接从所述客户端接收到所述目标文件；以及
如果确定接收到所述目标文件，经由所述第二连接向所述存储设备发送所述目标文件。
24.根据权利要求16所述的设备，所述动作还包括：
如果确定所述客户端经由所述第一连接和所述第二连接访问所述目标文件，更新持久性存储器中的与所述目标文件相关联的元数据。
25.根据权利要求24所述的设备，其中所述元数据包括以下中的至少一项：
所述客户端的标识，
访问所述目标文件的时间，
所述目标文件的标识，
所述目标文件的大小，
所述目标文件的位置，以及
用于检索所述目标文件的索引节点。
26.根据权利要求16所述的设备，其中所述目标文件被存储在所述存储设备中，并且所述动作还包括：
确定与将所述目标文件从所述存储设备移动到另一存储设备有关的第四系统调用是否被发起；
如果确定所述第四系统调用被发起，从所述存储设备中的、用于存储所述目标文件的第一组存储块读取所述目标文件；以及
将所述目标文件移动到所述另一存储设备中的第二组存储块。
27.根据权利要求26所述的设备，其中所述第四系统调用包括：
移动类型，
所述存储设备的标识，
所述第一组存储块中的存储块的位置，
所述另一存储设备的标识，
所述第二组存储块中的存储块的位置，以及
所述目标文件的大小。
28.根据权利要求26所述的设备，所述动作还包括：
生成与所述目标文件相关联的一组记录，所述一组记录中的一个记录包括：所述第一组存储块中的第一存储块的位置，所述第二组存储块中与所述第一存储块相对应的第二存储块的位置，以及移动状态指示符，所述移动状态指示符指示所述目标文件在所述第一存储块上的部分尚未被移动到所述第二存储块。
29.根据权利要求28所述的设备，所述动作还包括：
如果确定所述目标文件在所述第一存储块上的部分已经被移动到所述第二存储块，将所述移动状态指示符改变为指示所述目标文件在所述第一存储块上的部分已经被移动到所述第二存储块。
30.根据权利要求26所述的设备，所述动作还包括：
在所述目标文件被移动到所述第二组存储块后，释放所述第一组存储块。
31.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至15任一项所述的方法的步骤。
CN202011105937.7A 2020-10-15 2020-10-15 用于存储管理的方法、电子设备和计算机程序产品 Pending CN114371811A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011105937.7A CN114371811A (zh) 2020-10-15 2020-10-15 用于存储管理的方法、电子设备和计算机程序产品
US17/094,430 US11422698B2 (en) 2020-10-15 2020-11-10 Method, electronic device, and computer program product for storage management

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011105937.7A CN114371811A (zh) 2020-10-15 2020-10-15 用于存储管理的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114371811A true CN114371811A (zh) 2022-04-19

Family

ID=81138080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011105937.7A Pending CN114371811A (zh) 2020-10-15 2020-10-15 用于存储管理的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11422698B2 (zh)
CN (1) CN114371811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225311A (zh) * 2022-12-12 2023-06-06 荣耀终端有限公司 终端设备存储系统参数的配置方法、装置和服务器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743108B1 (en) * 2022-03-15 2023-08-29 Cisco Technology, Inc. Dynamic customization of network controller data path based on controller internal state awareness
US20230367713A1 (en) * 2022-05-10 2023-11-16 Western Digital Technologies, Inc. In-kernel cache request queuing for distributed cache
CN115766438B (zh) * 2023-01-05 2023-04-18 北京锐服信科技有限公司 一种基于dpdk的接口管理方法及系统
CN117215502B (zh) * 2023-11-09 2024-03-26 深圳市活力天汇科技股份有限公司 一种存储方法及存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2471505A1 (en) * 2003-06-19 2004-12-19 Yaron Mayer System and method for comprehensive general generic protection for computers against malicious programs that may steal information and/or cause damages
JP2006164211A (ja) * 2004-11-12 2006-06-22 Nec Corp ストレージ管理システムと方法並びにプログラム
US20110219122A1 (en) * 2010-03-08 2011-09-08 Microsoft Corpoation Remote content classification and transmission using multiple transport channels
CA2770789A1 (en) * 2011-03-11 2012-09-11 Desktopsites Inc. System and method for lauching a resource in a network
WO2015081308A2 (en) * 2013-11-26 2015-06-04 Dynavisor, Inc. Dynamic i/o virtualization
CN110008187A (zh) * 2018-12-18 2019-07-12 阿里巴巴集团控股有限公司 文件传输调度方法、装置、设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454758B2 (en) 2004-02-05 2008-11-18 Aol Llc, A Delaware Limited Liability Company Inter-process communication on a computer
US7716647B2 (en) 2004-10-01 2010-05-11 Microsoft Corporation Method and system for a system call profiler
CN100405304C (zh) * 2006-07-27 2008-07-23 清华大学 基于存储区域网络的高速固态存储设备的实现方法
US9712847B2 (en) * 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2471505A1 (en) * 2003-06-19 2004-12-19 Yaron Mayer System and method for comprehensive general generic protection for computers against malicious programs that may steal information and/or cause damages
JP2006164211A (ja) * 2004-11-12 2006-06-22 Nec Corp ストレージ管理システムと方法並びにプログラム
US20110219122A1 (en) * 2010-03-08 2011-09-08 Microsoft Corpoation Remote content classification and transmission using multiple transport channels
CA2770789A1 (en) * 2011-03-11 2012-09-11 Desktopsites Inc. System and method for lauching a resource in a network
WO2015081308A2 (en) * 2013-11-26 2015-06-04 Dynavisor, Inc. Dynamic i/o virtualization
CN110008187A (zh) * 2018-12-18 2019-07-12 阿里巴巴集团控股有限公司 文件传输调度方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATHISH K, ET AL: "Efficient Data Transfer through Zero Copy", 《IBM DEVELOPERWORKS》, pages 1 - 10 *
汪毅，等: "基于消息总线的测量船测控软件系统设计", 《遥测遥控》, pages 15 - 20 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225311A (zh) * 2022-12-12 2023-06-06 荣耀终端有限公司 终端设备存储系统参数的配置方法、装置和服务器
CN116225311B (zh) * 2022-12-12 2023-11-21 荣耀终端有限公司 终端设备存储系统参数的配置方法、装置和服务器

Also Published As

Publication number Publication date
US11422698B2 (en) 2022-08-23
US20220121362A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US20240220442A1 (en) High level instructions with lower-level assembly code style primitives within a memory appliance for accessing memory
Guo et al. Clio: A hardware-software co-designed disaggregated memory system
US20240264979A1 (en) Providing scalable and concurrent file systems
CN114371811A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN112422615B (zh) 一种通信的方法及装置
US9934064B2 (en) Storing and resuming application runtime state
Peter et al. Arrakis: The operating system is the control plane
US10540279B2 (en) Server-based persistence management in user space
US7908656B1 (en) Customized data generating data storage system filter for data security
US9942323B2 (en) Workload migration across a hybrid network
US11392497B1 (en) Low latency access to data sets using shared data set portions
US9880941B2 (en) Sharing an accelerator context across multiple processes
US11243899B2 (en) Forced detaching of applications from DMA-capable PCI mapped devices
US20200319944A1 (en) User-space parallel access channel for traditional filesystem using capi technology
CN115129625A (zh) 外围设备中的增强的存储协议仿真
CN113342422A (zh) 一种Linux兼容Android的多应用访问摄像头方法及装置
WO2023155694A1 (zh) 内存换页方法、系统及存储介质
US10303562B2 (en) Using metadata extracted from proxy files to access data stored in secondary storage
WO2024124912A1 (zh) 冗余固件的数据同步方法、装置及非易失性可读存储介质
CN114365109A (zh) 启用rdma的键-值存储库
US11620198B2 (en) Exchanging extended attributes between different cluster sites in a clustered filesystem environment
WO2024174877A1 (zh) 虚拟机迁移加速方法、系统、迁移设备及介质
US20240028513A1 (en) Method to improve copy performance of client drive redirection with per-thread merged input/output
US20210303161A1 (en) Fast recovery in recoverpoint using direct storage access
Noronha Designing High-Performance And Scalable Clustered Network Attached Storage With Infiniband

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220419

WD01 Invention patent application deemed withdrawn after publication