CN116301610A - 一种数据处理方法以及相关设备 - Google Patents

一种数据处理方法以及相关设备 Download PDF

Info

Publication number
CN116301610A
CN116301610A CN202310175002.3A CN202310175002A CN116301610A CN 116301610 A CN116301610 A CN 116301610A CN 202310175002 A CN202310175002 A CN 202310175002A CN 116301610 A CN116301610 A CN 116301610A
Authority
CN
China
Prior art keywords
instruction
storage node
storage
data
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310175002.3A
Other languages
English (en)
Inventor
刘强
冯浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huawei Cloud Computing Technology Co ltd
Original Assignee
Shenzhen Huawei Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huawei Cloud Computing Technology Co ltd filed Critical Shenzhen Huawei Cloud Computing Technology Co ltd
Priority to CN202310175002.3A priority Critical patent/CN116301610A/zh
Publication of CN116301610A publication Critical patent/CN116301610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法以及相关设备，应用于存储场景。该方法包括：存储节点接收第一指令，存储节点的中央处理器CPU基于第一指令创建存储空间，该存储空间用于存储数据。存储节点接收第二指令，存储节点的卸载模块基于第二指令对存储空间中存储的数据进行处理，其中，卸载模块功耗低于CPU。本申请中，对存储节点的控制面操作和数据面操作进行了分离，由存储节点的CPU执行控制面操作，而将数据面操作卸载到卸载模块中执行。由于卸载模块功耗低于CPU，因此与当前控制面操作和数据面操作都由CPU执行相比，由卸载模块执行数据面操作可以大大降低存储系统的功耗。

Description

一种数据处理方法以及相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法以及相关设备。
背景技术
目前，常见的分布式存储系统的持久化层都是基于append only进行搭建。Appendonly是计算机数据存储的一种属性，append only分布式存储系统中数据结构只能追加，从而可以确保数据一致性。Append only简单可靠，可扩展性强，被广泛使用到各个开源和商用存储系统中，是云存储的底层技术，是各类数据服务的底座。微软的Azure、阿里云的盘古文件系统、谷歌的谷歌文件系统(google File System，GFS)以及开源的Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)都是基于append only语义实现的分布式存储系统。
append only分布式存储系统包括客户端(Client)、管理主机(manager)和存储节点。其中，客户端用于处理应用(Application，APP)的请求，并实现请求的路由功能。管理主机存储有元数据，负责管理整个存储系统的拓扑信息和后台任务信息，以及监控客户端和存储节点的状态。存储节点则用于存储数据，保证数据的可用性和完整性。
当前，在存储节点中，各项功能都通过中央处理器(central processing unit，CPU)实现，成本和功耗较高。因此，亟需一种可以降低系统功耗的方法。
发明内容
本申请提供了一种数据处理方法以及相关设备，可以分离存储节点的数据面操作和控制面操作，由存储节点的中央处理器执行控制面操作，由功耗较低的卸载模块执行数据面操作，从而可以降低存储系统的功耗。
本申请第一方面提供一种数据处理方法，该方法包括：存储节点接收第一指令；存储节点的中央处理器CPU基于第一指令创建存储空间，存储空间用于存储数据；存储节点接收第二指令；存储节点的卸载模块基于第二指令对存储空间中存储的数据进行处理，其中，卸载模块功耗低于CPU。
存储节点接收客户端的第一指令，该第一指令用于请求创建存储空间。具体的，客户端可以是向存储节点的CPU发送第一指令，存储节点的CPU负责处理存储空间的创建流程，包括分配存储容量、存储地址、创建和持久化存储空间的元数据等。可以理解的是，CPU创建存储空间即为控制面操作。
客户端收到应用请求后，例如应用的数据读取请求或写入请求，向存储节点发送第二指令，第二指令用于指示存储节点对相应数据进行处理。具体的，客户端可以是向该存储节点的卸载模块发送第二指令，由卸载模块对数据进行处理。当然，客户端也可以不是直接向卸载模块发送第二指令，而是向该存储节点的CPU发送第二指令，再由CPU向卸载模块转发第二指令，对于存储节点接收第二指令的具体模块此处不做限定。
存储节点的卸载模块负责数据的处理流程，例如追加写append乱序处理、写入数据到磁盘或者从磁盘上读取数据。可以理解的是，卸载模块对数据进行处理即为数据面操作。卸载模块由于只执行数据面操作，因此卸载模块的功耗远低于CPU。
本申请第一方面中，对存储节点的控制面操作和数据面操作进行了分离，由存储节点的CPU执行控制面操作，而将数据面操作卸载到卸载模块中执行。并且，卸载模块功耗低于CPU，因此与当前控制面操作和数据面操作都由CPU执行相比，由卸载模块执行数据面操作可以大大降低存储系统的功耗。
在第一方面的一种可能的实现方式中，卸载模块为数据处理器(Data ProcessingUnit，DPU)、智能网卡(smart network interface card，smart NIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者专用集成电路(Application SpecificIntegrated Circuit，ASIC)。
存储节点的卸载模块支持对CPU进行硬件卸载，也就是将原本在CPU上运行的应用，转移到卸载模块上来完成，从而实现对CPU的卸载，为CPU减负。
其中，DPU是可以编程的具有高速处理能力的芯片，主要作用是为CPU减负，就是把计算资源的负荷从CPU中卸载下来，使得CPU可以发挥出最大的计算能力，而减少数据搬运的工作。DPU是可以编程的具有高速处理能力的芯片。
智能网卡，除了能完成标准网卡所具有的网络传输功能之外，还提供内置的可编程、可配置的硬件加速引擎，可以将数据处理工作从CPU中卸载，从而释放CPU宝贵的处理能力，使CPU能够专注于运行关键的应用和系统，大幅降低CPU在通信中的消耗，提升系统性能。
ASIC是一种应特定用户要求和特定电子系统的需要而设计、制造的集成电路。FPGA则是在可编程阵列逻辑、通用阵列逻辑等可编程器件的基础上进一步发展的产物，作为ASIC领域中的一种半定制电路。
该种可能的实现方式中，限定了CPU和卸载模块的具体形式，并且说明了卸载模块支持对CPU进行硬件卸载，提升了方案的可实现性。
在第一方面的一种可能的实现方式中，第二指令为追加写入append指令或者读取read指令。
存储节点的卸载模块接收第二指令后，执行append指令或read指令，包括append乱序处理、写入数据到磁盘或者从磁盘上读取数据。
在第一方面的一种可能的实现方式中，存储空间为数据块chunk。
Chunk是一个数据结构，用来存储数据。Chunk限制了存储量的大小，一般为几十MB至几GB。使用chunk可以减小存储设备的分配开销、降低存储设备的占用以及实现存储使用量统计和控制。
当然，存储空间除了可以是数据块chunk，还可以是数据页page等，对于存储空间的具体形式此处不做限定。
在第一方面的一种可能的实现方式中，该方法还包括：存储节点接收第三指令；存储节点的CPU基于第三指令删除存储空间。
当客户端不再使用存储空间时，可以向管理主机申请删除该存储空间。管理主机收到客户端删除存储空间的请求后，将该存储空间对应的元数据删除，并向存储节点发送第三指令，第三指令用于指示存储节点删除该存储空间。
存储节点接收第三指令后，存储节点的CPU负责处理该chunk的删除流程，例如删除该chunk的元数据，并释放存储空间等。
本申请第二方面提供一种存储节点，包括接收单元、创建单元和处理单元。接收单元，用于接收第一指令；创建单元，用于中央处理器CPU基于第一指令创建存储空间，存储空间用于存储数据；接收单元，还用于接收第二指令；处理单元，用于卸载模块基于第二指令对存储空间中存储的数据进行处理，其中，卸载模块功耗低于CPU。
在第二方面的一种可能的实现方式中，卸载模块为数据处理器DPU、智能网卡smart NIC、现场可编程门阵列FPGA或者专用集成电路ASIC。
在第二方面的一种可能的实现方式中，第二指令为追加写入append指令或者读取read指令。
在第二方面的一种可能的实现方式中，存储空间为数据块chunk。
在第二方面的一种可能的实现方式中，接收单元还用于接收第三指令；存储节点还包括删除单元，用于CPU基于第三指令删除存储空间。
本申请第二方面提供的存储节点用于执行第一方面或者第一方面的任意一种可能的实现方式中所述的方法。
本申请第三方面提供一种通存储节点，包括处理器和存储器。所述存储器用于存储指令，所述处理器用于获取所述存储器存储的指令，以执行第一方面或者第一方面的任意一种可能的实现方式中所述的方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行第一方面或者第一方面的任意一种可能的实现方式中所述的方法。
本申请第五方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或者第一方面的任意一种可能的实现方式中所述的方法。
本申请第六方面提供一种芯片系统，所述芯片系统包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行第一方面或者第一方面的任意一种可能的实现方式中所述的方法。
附图说明
图1为本申请实施例应用的存储系统的一个架构示意图；
图2为本申请实施例应用的存储系统的另一架构示意图；
图3为本申请实施例提供的数据处理方法的一个实施例示意图；
图4为本申请实施例中存储节点控制面操作的一个实施例示意图；
图5为本申请实施例中存储节点数据面操作的一个实施例示意图；
图6为本申请实施例提供的存储节点的一个结构示意图；
图7为本申请实施例提供的存储节点的另一结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“系统”和“网络”可被互换使用。除非有特别说明，“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供了一种数据处理方法以及相关设备，用于降低存储系统功耗。本申请实施例还提供了相应的计算机可读存储介质，以及计算机程序产品等，以下进行详细说明。
下面请参阅图1，图1为本申请实施例应用的存储系统的一个架构示意图。
如图1所示，该存储系统包括客户端(client)、管理主机(manager)和存储节点。其中，客户端也称为用户端,用于实现对应用(Application，APP)请求的路由功能，例如读取数据请求和写入数据请求。客户端部署在通用服务器上，例如物理机、虚拟机和容器。管理主机也部署在通用服务器上，管理主机存储有元数据(metadata)和任务(task)，负责管理整个存储系统的拓扑信息和任务信息，例如处理客户端发送的应用请求，并且负责监控客户端和存储节点的状态。存储节点包括服务器(server)和磁盘(disk)，用于存储数据，保证数据的可用性和完整性。
客户端需要先向管理主机申请存储空间，例如Chunk，用于存放数据。管理主机收到请求后，向客户端分配存储节点中的存储资源，并将映射关系存储到元数据中。客户端根据管理节点的分配，向存储节点发送创建请求，存储节点创建对应的存储空间，用于存储客户端写入的数据。
当客户端收到应用读取数据请求或者写入数据请求后，客户端将请求发送给存储节点，存储节点从相应的存储空间中读取数据或者写入数据。
当客户端不需要该存储空间时，向管理主机申请删除存储空间。管理主机向对应的存储节点发送删除指令，存储节点将存储空间删除。
当前，存储节点创建存储空间、删除存储空间以及对数据进行处理都是由存储节点的中央处理器(central processing unit，CPU)完成，成本和功耗较高。并且，CPU在对数据进行处理时，需要经过层层软件转换，时延高，限制了存储系统的性能，例如每秒进行读写操作的次数(Input/Output Operations Per Second，IOPS)。
鉴于此，本申请实施例提供了一种数据处理方法，可以分离存储节点的数据面操作和控制面操作，由存储节点的中央处理器执行控制面操作，由功耗较低的卸载模块执行数据面操作，从而降低存储系统的功耗。
下面结合图2和图3，对本申请实施例提供的数据处理方法进行说明。图2为本申请实施例应用的存储系统的另一架构示意图，图3为本申请实施例提供的数据处理方法的一个实施例示意图。
如图2所示，该存储系统包括计算节点、管理节点和存储节点。其中，计算节点包括客户端(client)，客户端和应用(APP)部署在一个节点中，客户端用于实现对应用请求的路由。管理节点包括管理主机(manager)，存储有元数据和任务，用于对客户端发送的请求进行处理。存储节点包括中央处理器(CPU)、卸载模块和磁盘等物理组件。图2所示各模块间的数据传输关系与图1类似，只是图2所示存储节点中CPU负责控制面相关操作，例如创建存储空间和删除存储空间，而数据面相关操作由卸载模块负责，例如处理数据读写操作，具体此处不再赘述。
管理节点中存储的元数据又称中介数据、中继数据，为描述数据的数据(dataabout data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。
图2所示的存储系统可以是append only分布式存储系统，当然也可以是其他的存储系统，具体此处不做限定。
结合图2所示存储系统，下面以图3所示流程为例对本申请实施例提供的数据处理方法进行说明。如图3所示，该实施例包括步骤301至309。
301、客户端向管理主机申请存储空间。
客户端先向管理主机申请存储空间，该存储空间用于存储应用的相关数据。存储空间可以是数据块chunk、数据页page等。为了使方案更直观明了，本实施例中以数据块chunk为例进行说明。Chunk是一个数据结构，用来存储数据。Chunk限制了存储量的大小，一般为几十MB至几GB。使用chunk可以减小存储设备的分配开销、降低存储设备的占用以及实现存储使用量统计和控制。Chunk有如下特点：只读、不支持随机写、只支持追加写(append)、同一列的数据连续存放。
302、管理主机向客户端分配存储节点中的存储资源。
管理主机收到请求后，按照容量均衡和需要的冗余方式向客户端分配相应的存储资源。例如，对于三个副本的chunk，管理主机分配三个存储节点。容量均衡即三个存储节点中分配的存储资源相当，需要的冗余方式则是依据应用自身要求确定，不同的应用可以有不同的冗余方式。
管理主机分配好存储资源后，将存储数据的chunk和存储节点的映射关系更新到元数据中。后续根据元数据存储的映射关系，即可快速确定数据所在chunk对应的存储节点的信息。
303、客户端向存储节点发送第一指令。
客户端依据管理主机分配的存储资源，向对应的存储节点发送第一指令，该第一指令用于请求创建chunk。具体的，客户端可以是向对应存储节点的CPU发送第一指令，存储节点的CPU负责处理chunk的创建流程。
客户端发送第一指令可以结合图4进行理解。如图4所示，客户端根据管理主机分配的存储资源，向相应的存储节点发送第一指令，计算节点与存储节点间的实线即表示客户端向存储节点的CPU发送第一指令。并且，在chunk创建好后，客户端会向管理主机更新信息。
304、存储节点的CPU基于第一指令创建存储空间。
存储节点的CPU负责chunk的创建流程。存储节点接收客户端发送的第一指令后，CPU基于第一指令创建chunk，具体的，包括分配存储容量、存储地址、创建和持久化chunk的元数据等。持久化即为将数据保存到可永久保存的设备中，持久化的主要应用是将对象存储在数据库中，或者存储在磁盘文件中、可扩展标记语言(Extensible Markup Language,XML)数据文件中等。
存储节点的CPU创建chunk后，客户端向管理主机更新chunk所在的存储节点信息。可以理解的是，存储节点的CPU创建chunk即为控制面操作。
305、客户端向存储节点发送第二指令。
客户端收到应用请求后，例如应用的数据读取请求或写入请求，先从管理主机获取数据所在chunk对应的存储节点的信息。客户端向该存储节点发送第二指令，第二指令用于指示存储节点对相应数据进行处理。具体的，客户端可以是向该存储节点的卸载模块发送第二指令，由卸载模块对数据进行处理。当然，客户端也可以不是直接向卸载模块发送第二指令，而是先向该存储节点的CPU发送第二指令，再由CPU向卸载模块转发第二指令，对于存储节点接收第二指令的具体模块此处不做限定。
客户端向存储节点发送第二指令可以结合图5进行理解。如图5所示，客户端先从管理节点获取数据所在chunk对应的存储节点的信息，客户端再向相应的存储节点发送第二指令，计算节点与存储节点间的实线即表示客户端向存储节点的卸载模块发送第二指令。
306、存储节点的卸载模块基于第二指令对数据进行处理。
存储节点接收第二指令后，存储节点的卸载模块基于第二指令对数据进行处理。卸载模块可以是数据处理器(Data Processing Unit，DPU)、智能网卡(smart networkinterface card，smart NIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者专用集成电路(Application Specific Integrated Circuit，ASIC)等。
其中，DPU是可以编程的具有高速处理能力的芯片，主要作用是为CPU减负，就是把计算资源的负荷从CPU中卸载下来，使得CPU可以发挥出最大的计算能力，而减少数据搬运的工作。DPU是可以编程的具有高速处理能力的芯片。
智能网卡，除了能完成标准网卡所具有的网络传输功能之外，还提供内置的可编程、可配置的硬件加速引擎，可以将数据处理工作从CPU中卸载，从而释放CPU宝贵的处理能力，使CPU能够专注于运行关键的应用和系统，大幅降低CPU在通信中的消耗，提升系统性能。
ASIC是一种应特定用户要求和特定电子系统的需要而设计、制造的集成电路。FPGA则是在可编程阵列逻辑、通用阵列逻辑等可编程器件的基础上进一步发展的产物，作为ASIC领域中的一种半定制电路。
存储节点的卸载模块支持对CPU进行硬件卸载，也就是将原本CPU执行的操作(即处理数据)，转移到卸载模块上来完成，从而实现对CPU的卸载，释放CPU的处理能力，为CPU减负。
由于卸载模块只需执行数据面操作，因此卸载模块的功耗和成本远低于CPU。
客户端发送的第二指令可以是追加写(append)指令或者是读取(read)指令。存储节点的卸载模块接收第二指令后，执行append指令或read指令，包括append乱序处理、写入数据到磁盘或者从磁盘上读取数据。可以理解的是，存储节点的卸载模块对数据进行处理即为数据面操作。
307、客户端向管理主机发送删除存储空间的请求。
当客户端不再使用某个chunk存储数据时，可以向管理主机申请删除该chunk。
308、管理主机向存储节点发送第三指令。
管理主机收到客户端删除chunk的请求后，将该chunk对应的元数据删除，启动一个后台删除该chunk对应存储节点中相应数据的任务，并向存储节点发送第三指令，第三指令用于指示存储节点删除该chunk。具体的，删除chunk为控制面操作，管理主机可以是向存储节点的CPU发送第三指令。管理主机指示存储节点删除chunk可以结合图4进行理解，图4中管理节点与存储节点间的虚线即表示管理主机指示存储节点的CPU删除该chunk。
309、存储节点的CPU基于第三指令删除存储空间。
存储节点接收第三指令后，存储节点的CPU负责处理该chunk的删除流程，例如删除该chunk的元数据，并释放存储空间等。
本实施例中，对存储节点的控制面操作和数据面操作进行了分离，由存储节点的CPU执行控制面操作，而将数据面操作卸载到卸载模块中执行，例如由DPU执行数据面操作。卸载模块因为只需处理数据，功耗和成本远低于CPU，因此与当前控制面操作和数据面操作都由CPU执行相比，由卸载模块执行数据面操作可以大大降低存储系统的功耗和成本。并且，由于卸载模块专门处理数据，数据处理流程不需要经过层层软件转换，降低了数据的处理时延，提升了存储系统的性能，例如提升了IOPS。
上面从方法的角度对本申请实施例进行了说明，下面从具体装置实现的角度对本申请实施例中的存储节点进行介绍。
请参阅图6，本申请实施例提供了一种存储节点600的示意图，其中，该存储节点600包括接接收单元601、创建单元602和处理单元603。
接收单元601，用于接收第一指令；
创建单元602，用于中央处理器CPU基于第一指令创建存储空间，存储空间用于存储数据。
接收单元601，还用于接收第二指令。
处理单元603，用于卸载模块基于第二指令对存储空间中存储的数据进行处理，其中，卸载模块功耗低于CPU。
可选的，卸载模块为数据处理器DPU、智能网卡smart NIC、现场可编程门阵列FPGA或者专用集成电路ASIC。
可选的，第二指令为追加写入append指令或者读取read指令。
可选的，存储空间为数据块Chunk。
可选的，接收单元601还用于接收第三指令；该存储节点600还包括删除单元604，用于CPU基于第三指令删除存储空间。
存储节点600中的各单元执行如前述图3所示实施例中存储节点的操作，具体此处不再赘述。
下面请参阅图7，为本申请实施例提供的存储节点700的一种可能的结构示意图，包括处理器701、通信接口702、存储器703以及总线704。处理器701、通信接口702以及存储器703通过总线704相互连接。在本申请的实施例中，处理器701用于对存储节点的动作进行控制管理，例如，处理器701用于执行图3方法实施例中存储节点执行的步骤。通信接口702用于支持存储节点进行通信。存储器703，用于存储存储节点的程序代码和数据。
其中，处理器701可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。总线704可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行前述图3所示实施例中的方法。
本申请实施例还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行前述图3所示实施例中的方法。
本申请实施例还提供一种芯片系统，所述芯片系统包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行前述图3所示实施例中的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种数据处理方法，其特征在于，包括：
存储节点接收第一指令；
所述存储节点的中央处理器CPU基于所述第一指令创建存储空间，所述存储空间用于存储数据；
所述存储节点接收第二指令；
所述存储节点的卸载模块基于所述第二指令对所述存储空间中存储的数据进行处理，其中，所述卸载模块功耗低于所述CPU。
2.根据权利要求1所述的方法，其特征在于，所述卸载模块为数据处理器DPU、智能网卡smart NIC、现场可编程门阵列FPGA或者专用集成电路ASIC。
3.根据权利要求1或2所述的方法，其特征在于，所述第二指令为追加写append指令或者读取read指令。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述存储空间为数据块chunk。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
所述存储节点接收第三指令；
所述存储节点的CPU基于所述第三指令删除所述存储空间。
6.一种存储节点，其特征在于，包括：
接收单元，用于接收第一指令；
创建单元，用于中央处理器CPU基于所述第一指令创建存储空间，所述存储空间用于存储数据；
接收单元，还用于接收第二指令；
处理单元，用于卸载模块基于所述第二指令对所述存储空间中存储的数据进行处理，其中，所述卸载模块功耗低于所述CPU。
7.根据权利要求6所述的存储节点，其特征在于，所述卸载模块为数据处理器DPU、智能网卡smart NIC、现场可编程门阵列FPGA或者专用集成电路ASIC。
8.根据权利要求6或7所述的存储节点，其特征在于，所述第二指令为追加写入append指令或者读取read指令。
9.根据权利要求6至8任一项所述的存储节点，其特征在于，所述存储空间为数据块chunk。
10.根据权利要求6至9任一项所述的存储节点，其特征在于，所述接收单元还用于：
接收第三指令；
所述存储节点还包括：
删除单元，用于CPU基于所述第三指令删除所述存储空间。
11.一种存储节点，其特征在于，包括：处理器以及存储器；
所述存储器用于存储指令；
所述处理器用于执行所述存储器所存储的指令，以实现权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时实现如权利要求1至5任一项所述的方法。
13.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至5任一项所述的方法。
CN202310175002.3A 2023-02-17 2023-02-17 一种数据处理方法以及相关设备 Pending CN116301610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310175002.3A CN116301610A (zh) 2023-02-17 2023-02-17 一种数据处理方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310175002.3A CN116301610A (zh) 2023-02-17 2023-02-17 一种数据处理方法以及相关设备

Publications (1)

Publication Number Publication Date
CN116301610A true CN116301610A (zh) 2023-06-23

Family

ID=86816158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310175002.3A Pending CN116301610A (zh) 2023-02-17 2023-02-17 一种数据处理方法以及相关设备

Country Status (1)

Country Link
CN (1) CN116301610A (zh)

Similar Documents

Publication Publication Date Title
US11301154B2 (en) Distributed storage method and device
CN107690622B (zh) 实现硬件加速处理的方法、设备和系统
US10374792B1 (en) Layout-independent cryptographic stamp of a distributed dataset
KR101930117B1 (ko) 비휘발성 스토리지 장치 세트의 휘발성 메모리 표현 기법
US9959074B1 (en) Asynchronous in-memory data backup system
US20160132541A1 (en) Efficient implementations for mapreduce systems
US9329792B2 (en) Storage thin provisioning and space reclamation
US9432484B1 (en) CIM-based data storage management system having a restful front-end
US9881018B2 (en) File management in thin provisioning storage environments
CN103312624A (zh) 一种消息队列服务系统和方法
CN106648462B (zh) 数据存储方法及装置
US20170153909A1 (en) Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine
CN110119304B (zh) 一种中断处理方法、装置及服务器
CN113032099B (zh) 云计算节点、文件管理方法及装置
US11347413B2 (en) Opportunistic storage service
CN115129621B (zh) 一种内存管理方法、设备、介质及内存管理模块
CN111881476A (zh) 对象存储控制方法、装置、计算机设备及存储介质
CN113946291A (zh) 数据访问方法、装置、存储节点及可读存储介质
CN111225003B (zh) 一种nfs节点配置方法和装置
US10061725B2 (en) Scanning memory for de-duplication using RDMA
CN112596669A (zh) 一种基于分布式存储的数据处理方法及装置
CN111404828A (zh) 实现全局流控的方法及装置
CN116301610A (zh) 一种数据处理方法以及相关设备
CN113268356B (zh) 基于LINUX系统的多GPU板卡bounding的系统、方法及介质
CN113051244A (zh) 数据访问方法和装置、数据获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination