CN117453117A - 一种网络存储处理设备、存储服务器、数据存储及读取方法 - Google Patents

一种网络存储处理设备、存储服务器、数据存储及读取方法 Download PDF

Info

Publication number
CN117453117A
CN117453117A CN202210988560.7A CN202210988560A CN117453117A CN 117453117 A CN117453117 A CN 117453117A CN 202210988560 A CN202210988560 A CN 202210988560A CN 117453117 A CN117453117 A CN 117453117A
Authority
CN
China
Prior art keywords
storage
data
network
stored
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210988560.7A
Other languages
English (en)
Inventor
戴瑾
张云森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Superstring Academy of Memory Technology
Original Assignee
Beijing Superstring Academy of Memory Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Superstring Academy of Memory Technology filed Critical Beijing Superstring Academy of Memory Technology
Priority to CN202210988560.7A priority Critical patent/CN117453117A/zh
Priority to PCT/CN2023/102875 priority patent/WO2024037193A1/zh
Publication of CN117453117A publication Critical patent/CN117453117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供的一种网络存储处理设备、存储服务器、数据存储及读取方法，本申请实施例存储管理系统设置在网络存储处理设备中，并由网络存储处理设备运行存储管理系统以对待存储数据分配存储地址或对待读取数据分配读地址；中央处理器和/或数据转运电路将从网络接口接收的待存储数据依次经数据转运电路、通信总线接口和通信总线按照待存储数据的存储地址发送到所述存储设备进行存储，或中央处理器和/或数据转移电路将从所述存储设备按待读取数据的读地址读取待读取数据，读取的所述数据依次通过所述通信总线、通信总线接口、数据转运电路和网络接口发送至目标地址。本申请实施例由于减少了待存储数据或待读取数据的搬运次数，所以降低了待存储数据的存储时延或待读取数据的读取时延。

Description

一种网络存储处理设备、存储服务器、数据存储及读取方法
技术领域
本申请实施例涉及存储技术领域，具体涉及一种网络存储处理设备、存储服务器、数据存储及读取方法。
背景技术
现有数据中心的存储架构中的存储服务器部署在单独机柜中。示例性的，每一存储服务器包含多个存储设备(如，固态硬盘或内存DRAM)和一个网络存储处理设备(如，网卡)，其中，存储设备用于存储数据，网络存储处理设备用于进行网络协议解码、执行网络协议以及数据存储和读取。
现有数据中心还设置有存储管理系统，存储管理系统由网络存储处理设备的远程服务器或存储服务器中的中央处理器进行运行，存储管理系统用于对待存储数据分配存储地址或对待读取数据分配读地址，存储管理系统未设置在网络存储处理设备中，同时由于现有的网络存储处理设备的结构限制，待存储数据或待读取数据必须经过存储服务器中的中央处理器和与中央处理器连接的内存DRAM后，待存储数据才会分配存储到某个存储设备，或待读取数据必须经过存储服务器中的中央处理器和与中央处理器连接的内存DRAM后，待读取数据才能从某个存储设备读取。
现有数据中心待存储数据或待读取数据的过程经过存储服务器中的中央处理器和与中央处理器连接的内存DRAM进行处理，所以待存储数据和读取数据经历了多次数据搬运，这样导致数据存储和读取过程需要消耗更多的能量和待存储数据的存储过程时延较长及待读取数据的读取过程时延较长。
发明内容
本申请实施例的目的在于提供了一种网络存储处理设备、存储服务器、数据存储及读取方法，本申请实施例可以减少待存储数据或待读取数据的搬运次数，以至于缩短了待存储数据的存储过程的时延和待读取数据的读取过程时延。
第一方面，本申请实施例提供了一种网络存储处理设备，所述网络存储处理设备设置在存储服务器中，所述存储服务器中还设置有通信总线和多个存储设备，多个所述存储设备通过所述通信总线与所述网络存储处理设备交换信息，其特征在于，所述网络存储处理设备包括：
内存；
网络接口，被配置为接收待存储数据、第一存储指令、第一读取指令或转发待读取数据至目标地址；
通信总线接口，与所述通信总线连接，被配置为实现所述网络存储处理设备与所述通信总线的连接；
数据转运电路，分别与所述网络接口和通信总线接口连接，被配置为将所述网络接口接收的待存储数据转运至所述通信总线接口或将经所述通信总线接口接收的待读取数据转运至网络接口；
存储管理系统，被配置为设置在网络存储处理设备中进行运行以对待存储数据分配存储地址或待读取数据分配读取地址；
中央处理器，分别与所述网络接口和内存连接，被配置为接收来自所述网络接口第一存储指令或第一读取指令，并根据所述第一存储指令或第一读取指令运行所述存储管理系统以对待存储数据的分配存储地址或待读取数据的分配读取地址；被配置为将所述网络接口接收的待存储数据依次经数据转运电路、通信总线接口和通信总线按照待存储数据的存储地址发送到所述存储设备进行存储，或被配置为将从所述存储设备按待读取数据的读地址读取数据，读取的所述数据依次通过所述通信总线、通信总线接口、数据转运电路和网络接口发送至目标地址。
通过第一方面本申请实施例将存储管理系统设置在网络存储处理设备中，并由网络存储处理设备运行存储管理系统以对待存储数据的分配存储地址或对待读取数据的分配读地址；中央处理器和/或数据转运电路将从网络接口接收的待存储数据依次经数据转运电路、通信总线接口和通信总线按照待存储数据的存储地址发送到所述存储设备进行存储，或中央处理器和/或数据转移电路将从所述存储设备按待读取数据的读地址读取待读取数据，读取的所述数据依次通过所述通信总线、通信总线接口、数据转运电路和网络接口发送至目标地址。本申请实施例相比于现有技术中的存储管理系统由存储服务器中的中央处理器或远程服务器进行运行，减少了待存储数据或待读取数据的搬运次数，以至于缩短了待存储数据的存储时延和待读取数据的读取时延。
第二方面，本申请实施例还提供了一种存储服务器，所述存储服务器包括第一方面所述的网络存储处理设备。
第三方面，本申请实施例还提供了一种数据存储方法，所述数据存储方法通过第一方面任一项所述的一种网络存储处理设备进行实现，所述数据存储方法包括以下步骤：
网络存储处理设备通过网络接口接收第一存储指令，所述第一存储指令包括存标识，待存储数据长度和待存储对象ID，或所述第一存储指令包括存标识，待存储数据长度、待存储对象ID和待存储数据的来源地址；
网络存储处理设备中的中央处理器运行存储管理系统以对待存储数据分配存储地址；
网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二存储指令，所述第二存储指令包括待存储数据的来源地址；
网络存储处理设备中的中央处理器接收一个或多个所述存储设备发送的取数据请求，所述取数据请求包括待存储数据的来源地址；
网络存储处理设备中的数据转运电路经网络接口获取所述待存储数据，所述待存储数据依次经所述通信总线接口和通信总线直接存储至一个或多个所述存储设备中。
第四方面，本申请实施例还提供了一种数据读取方法，所述数据存储方法通过第一方面任一项所述的一种网络存储处理设备进行实现，所述数据读取方法包括以下步骤：
网络存储处理设备通过网络接口接收第一读数据指令，所述第一读数据指令包括读数据标识和待读取对象ID；
网络存储处理设备中的中央处理器运行存储管理系统以对待读取数据的分配读地址；
网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二读数据指令；
网络存储处理设备中的中央处理器根据所述待读取数据的读地址通过所述通信总线向所述存储设备发送读取数据请求；
网络存储处理设备中的数据转移电路将从一个或多个所述存储设备读取的数据依次通过通信总线和通信总线接口接收并通过网络接口发送至目标地址。
与现有技术相比，本申请第二至第四方面提供的技术方案的有益效果与第一方面提供的技术方案的有益效果相同，在此不再赘述。
附图说明
以示例的方式参考以下附图描述本申请的非限制性且非穷举性实施方案，其中：
图1示出了现有技术中的存储服务器的结构示意图；
图2示出了本申请实施例提供的一种存储服务器的结构示意图；
图3示出了本申请实施例提供的另一种存储服务器的结构示意图；
图4示出了本申请实施例提供的一种数据存储方法的流程示意图；
图5示出了本申请实施例提供的一种数据读取方法的流程示意图。
具体实施方式
为了使本申请的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本申请。应当理解，本文给出的具体实施方案是出于向本领域技术人员解释的目的，是示例性的，而非限制性的。
为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请有限的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出足够的创造性劳动的前提下所获得的其他实施例，都应当属于本申请保护的范围。
需要说明的是，一般的，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必须用于描述特定的顺序、先后次序或上下左右等位置关系，除非有特别的说明。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，现有技术中，网络存储处理设备15中未设置有存储管理系统17，主要由远程服务器16中的存储管理系统17或存储服务器1中的中央处理器12运行以对待存储数据分配存储地址或对待读取数据分配读地址，所以现有技术中的待存储数据的存储地址或对待读取数据的读地址不能在网络存储处理设备15内部进行分配，待存储数据的存储地址/待读取数据的读地址必须要经远程服务器或存储服务器1中的中央处理器12运行的存储管理系统17分配，同时待存储数据/待读取数据需要转运到中央处理器12进行处理，数据处理后在与中央处理器12连接的第一内存11中进行暂存，现有的网络存储处理设备15中也无法实现的数据转运。现有的网络存储处理设备15在接收存储指令或者读取指令后，待存储数据必须经过存储服务器1中的中央处理器12和与中央处理器12连接的第一内存11后，待存储数据才会通过通信总线13分配到某个存储设备14；或待读取数据必须经过存储服务器1中的中央处理器12和与中央处理器12连接的第一内存11后，待读取数据才能被网络存储处理设备15从某个存储设备14中读取。可以看出，上述待存储数据经历了由远程服务器16或存储服务器1中的中央处理器12运行存储管理系统17以对待存储数据分配存储地址，然后待存储数据转运到中央处理器12进行处理，数据处理后在与中央处理器12连接的第一内存11进行暂存后，待存储数据才会通过通信总线13分配到某个存储设备14；上述待读取数据经历了由远程服务器17或存储服务器1中的中央处理器12运行的存储管理系统17对待读取数据分配读取地址，然后将待读取数据转运到中央处理器12进行处理，数据处理后在与中央处理器12连接的第一内存11进行暂存后，待读取数据才会通过通信总线13读取，所述待存储数据或待读取数据经历了多次数据搬运，导致数据存储或读取过程需要消耗更多的能量和待存储数据的存储过程时延较长和待读取数据的读取过程时延较长。
为了解决现有技术中的问题，如图2所示，本申请实施例提供了一种存储服务器2的架构，所述存储服务器2包括网络存储处理设备21、通信总线23、多个存储设备22、中央处理器25和第一内存24；
所述中央处理器25与所述通信总线23连接，所述第一内存24与所述中央处理器25连接，网络存储处理设备21与每个所述存储设备22分别与所述通信总线23连接，多个所述存储设备22通过所述通信总线23与网络存储处理设备21交换信息。在本申请实施例中，所述网络存储处理设备21与外界之间通过含存储指令的网络协议进行信号传输，其中，外界可以为移动终端或远程服务器26等等，数据总线23为PCIE总线。
在本申请实施例中，所述网络存储处理设备21包括：
第二内存21-6，用于存储运行的程序，也可以将待存储数据或者待读取数据暂存至第二内存21-6中；
网络接口21-1，用于接收外部客户端发送的待存储数据、第一存储指令、第一读取指令或转发待读取数据至目标地址，在本申请实施例中，客户端为移动终端或远程服务器26等等。
通信总线接口21-5，与所述通信总线23连接，被配置为实现所述网络存储处理设备21与所述通信总线23的连接；
数据转运电路21-3，分别与所述网络接口21-1和通信总线接口21-5连接，被配置为将所述网络接口21-1接收的待存储数据转运至所述通信总线接口21-5或将经所述通信总线接口21-5接收的待读取数据转运至网络接口21-1；
存储管理系统21-2，设置在网络存储处理设备21中进行运行，用于对待存储数据分配存储地址或待读取数据分配读取地址；
中央处理器21-4，分别与所述网络接口和内存连接，用于接收来自所述网络接口第一存储指令或第一读取指令，并根据所述第一存储指令或第一读取指令运行所述存储管理系统21-2以对待存储数据分配存储地址或待读取数据分配读取地址；用于将所述网络接口21-1接收的待存储数据依次经数据转运电路21-3、通信总线接口21-5和通信总线23按照待存储数据的存储地址发送到所述存储设备21进行存储，或用于将从所述存储设备22按照待读取数据的读地址读取数据，读取的所述数据依次通过所述通信总线23、通信总线接口21-5、数据转运电路21-3和网络接口21-1发送至目标地址。
在一些实施例中，所述网络存储处理器21可以是网卡，该网卡不仅具备网络接口和数据处理等功能，还具备存储管理功能。待存储数据将所述网络接口21-1接收的待存储数据依次经数据转运电路21-3、通信总线接口21-5和通信总线23按照待存储数据的存储地址直接发送到所述存储设备21进行存储，待存储数据不需要经过存储服务器2中的中央处理器25，然后在经通信总线23到存储设备22中进行存储；待读取数据通过存储管理系统21-2分配的读地址读取数据，读取的所述数据依次通过所述通信总线23、通信总线接口21-5、数据转运电路21-3和网络接口21-1发送至目标地址。可见待存储数据或待读取数据不需要经过存储服务器中的中央处理器25，可以避免了待存储数据由存储服务器2中的中央处理器到存储设备22的搬运过程，或待读取数据由存储设备22到存储服务器2中的中央处理器25的搬运过程。本申请实施例相比于现有技术中的存储管理系统由存储服务器中的中央处理器或远程服务器进行运行，减少了待存储数据或待读取数据的搬运次数，以至于待存储数据的存储时延和待读取数据的读取时延缩短。
本申请实施例中的网络存储处理设备21可以应用在数据中心或者其它具有数据存储需求的场景。具体的，网络存储处理设备21(如网卡)具有可以接收第一存储指令或第一读取指令的网络接口21-1，用于与外界可以直接进行网络通信，此处网络通信的网络协议可以为网络文件系统(简称：NFS)协议，也可以为其它网络传输协议。网络存储处理设备21接收到第一存储指令或第一读取指令后，将第一存储指令或第一读取指令发送至位于网络存储处理设备21中的中央处理器21-4。中央处理器21-4接收到第一存储指令或第一读取指令后，通过运行位于网络存储处理设备21中的存储管理系统21-2以对待存储数据分配存储地址或待读取数据分配读地址。所述中央处理器21-4和/或所述数据转运电路21-3将所述网络接口21-1接收的待存储数据依次经数据转运电路21-3、通信总线接口21-5和通信总线23按照待存储数据的存储地址发送到所述存储设备21进行存储，并按确定待存储数据的存储地址进行存储。或所述中央处理器21-4和/或所述数据转移电路21-3将从所述存储设备22按照待读取数据的读地址读取数据，读取的所述数据依次通过所述通信总线23、通信总线接口21-5、数据转运电路21-3和网络接口21-1发送至目标地址。
在本申请一些实施例中，所述通信总线接口21-5为PCIe接口，PCIe接口属于高速串行点对点双通道高带宽传输，存储设备22为固态硬盘，所述通信总线23的协议可以为PCIE协议或CXL协议。
如图3所示，在本申请一些实施例中，所述网络存储处理设备21还包括存储加速电路21-7，所述存储加速电路21-7与所述中央处理器21-4连接，用于将所述待存储至存储设备22中的待存储数据进行处理。
所述存储加速电路21-7通过现场可编程门阵列实现存储至存储设备中的待存储数据进行处理，具体的，可以对待存储数据的处理通过现场可编程门阵列的可编程逻辑进行实现，并通过与存储管理系统21-2进行配合可以进一步提高存储速度，降低功耗。
所述存储加速电路21-7也可以通过应用型专用集成电路(简称ASIC)实现将所述待存储数据进行处理。具体的，可以通过在中央处理器21-4中增加存储加速逻辑电路，通过与存储管理系统21-2进行配合可以进一步提高存储速度，降低功耗。
在本申请一些实施例中，为了实现对待存储数据进行不同类型的存储，所述存储管理系统21-2为键值存储管理系统或文件存储管理系统，其中，键值存储管理系统可以实现对待存储数据根据键值进行存储，文件存储管理系统实现对待存储数据根据数据类型进行存储。
本申请实施例相比于如图1所示的存储处理器，本申请实施例提供的存储管理系统不是由存储服务器中的中央处理器和远程服务器进行运行，而是通过存储服务器内部的网络存储处理设备进行运行存储管理系统，所以减少了待存储数据或待读取数据的搬运次数，以至于待存储数据的存储时延和待读取数据的读取时延缩短。
如图4所示，本申请实施例还提供了一种数据存储方法，所述数据存储方法通过上述实施例介绍的网络存储处理设备执行，所述数据存储方法包括以下步骤：
步骤S41，网络存储处理设备通过自身的网络接口接收的第一存储指令，所述第一存储指令包括存标识，待存储数据长度和待存储对象ID；或所述第一存储指令包括存标识，待存储对象ID、待存储数据长度和待存储数据的来源地址；
步骤S42，网络存储处理设备中的中央处理器运行存储管理系统以对待存储数据的分配存储地址；
在本步骤中，网络存储处理设备中的中央处理器接收来自移动终端或者远程服务器的存储指令后，网络存储处理设备中的中央处理器运行存储管理系统，存储管理系统主要用于根据目前所有存储设备可以存储待存储数据的存储地址对待存储数据进行分配存储地址。
步骤S43，网络存储处理设备中的中央处理器通过通信总线接口向一个或多个存储设备发送一条或多条第二存储指令，所述第二存储指令包括待存储数据的来源地址；
步骤S44，网络存储处理设备的中央处理器接收存储设备发送的取数据请求，所述取数据请求包括待存储数据的来源地址；
步骤S45，网络存储处理设备中的数据转运电路经网络接口获取所述待存储数据，所述待存储数据依次经所述通信总线接口和通信总线直接存储至一个或多个所述存储设备中。
在本申请实施例中数据存储方法通过客户端通过向网络存储处理设备发送存储指令包括两种情况：
一种情况是向网络存储处理设备发送存标识，待存储数据长度和待存储对象ID。其中，数据长度可以用比特表示。这种方式可以存一些数据量不是很大的数据。另外一种情况是向网络存储处理设备发送存标识，待存储对象ID、待存储数据长度和待存储数据的来源地址。这种方式可以存一些数据量相对较大或者较小的数据，获取的数据可以暂时存储在网络存储处理设备的第二内存中随后转运至存储设备中，也可以直接将待存储数据从直接转运至存储设备中。
本申请实施例通过网络存储处理设备中的中央处理器运行存储管理系统以对待存储数据分配存储地址，网络存储处理设备中的中央处理器通过通信总线接口向一个或多个存储设备发送一条或多条第二存储指令，网络存储处理设备的中央处理器接收存储设备发送的取数据请求，网络存储处理设备中的数据转运电路经网络接口获取所述待存储数据，所述待存储数据依次经所述通信总线接口和通信总线直接存储至一个或多个所述存储设备中。可见待存储数据不需要经过存储服务器中的中央处理器，可以避免了待存储数据由存储服务器中的中央处理器到存储设备的搬运过程，减少了待存储数据的搬运次数，并降低了待存储数据的存储时延和待读取数据的读取时延。
如图5所示，本申请实施例还提供了一种数据读取方法，所述数据读取方法通过上述的网络存储处理设备执行，所述数据读取方法包括以下步骤：
步骤S51，网络存储处理设备通过网络接口接收第一读数据指令，所述第一读数据指令包括读数据标识和待读取对象ID；
步骤S52，网络存储处理设备中的中央处理器运行存储管理系统以对待读取数据的分配读地址；
在本步骤中，网络存储处理设备中的中央处理器接收来自移动终端或者远程服务器的读取指令后，网络存储处理设备中的中央处理器运行存储管理系统，存储管理系统主要用于根据目前待读取对象ID所在的位置进行分配读地址。
步骤S53，网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二读数据指令；
步骤S54，网络存储处理设备中的中央处理器根据所述待读取数据的读地址通过所述通信总线向所述存储设备发送读取数据指令，
步骤S55，网络存储处理设备中的数据转移电路将从一个或多个所述存储设备读取的数据依次通过通信总线和通信总线接口接收并通过网络接口发送至目标地址。
本申请实施例通过网络存储处理设备中的中央处理器运行存储管理系统以对待读取的分配读取地址，网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二读数据指令；网络存储处理设备中的中央处理器根据所述待读取数据的读地址通过所述通信总线向所述存储设备发送读取数据指令；网络存储处理设备中的数据转移电路将从一个或多个所述存储设备读取的数据依次通过通信总线和通信总线接口接收并通过网络接口发送至目标地址。可见待读取数据不需要经过存储服务器中的中央处理器，可以避免了待读取数据由存储服务器中的中央处理器到存储设备的搬运过程，减少了待存储数据的搬运次数，以至于缩短了待存储数据的存储时延和待读取数据的读取时延。
以上实施方案的各个技术特征可以进行任意的组合，为使描述简洁，未对上述实施方案中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
尽管结合实施方案对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施方案。在不偏离本发明的精神的情况下，各种改型和变体是可能的。

Claims (10)

1.一种网络存储处理设备，所述网络存储处理设备设置在存储服务器中，所述存储服务器中还设置有通信总线和多个存储设备，多个所述存储设备通过所述通信总线与所述网络存储处理设备交换信息，其特征在于，所述网络存储处理设备包括：
内存；
网络接口，被配置为接收待存储数据、第一存储指令、第一读取指令或发送读取数据至目标地址；
通信总线接口，与所述通信总线连接，被配置为实现所述网络存储处理设备与所述通信总线的连接；
数据转运电路，分别与所述网络接口和通信总线接口连接，被配置为将所述网络接口接收的待存储数据转运至所述通信总线接口或将经所述通信总线接口接收的待读取数据转运至网络接口；
存储管理系统，被配置为设置在网络存储处理设备中进行运行以对存储数据分配存储地址或对读取数据分配读取地址；
中央处理器，分别与所述网络接口和内存连接，被配置为接收来自所述网络接口第一存储指令或第一读取指令，并根据所述第一存储指令或第一读取指令运行所述存储管理系统以对待存储数据分配存储地址或待读取数据分配读取地址；被配置为将所述网络接口接收的待存储数据依次经数据转运电路、通信总线接口和通信总线按照待存储数据的存储地址发送到所述存储设备进行存储，或被配置为将从所述存储设备按照待读取数据的读地址读取数据，读取的所述数据依次通过所述通信总线、通信总线接口、数据转运电路和网络接口发送至目标地址。
2.如权利要求1所述的一种网络存储处理设备，其特征在于，所述网络存储处理设备还包括存储加速电路，所述存储加速电路与所述中央处理器连接，用于将存储至所述存储设备中的待存储数据进行处理。
3.如权利要求2所述的一种网络存储处理设备，其特征在于，所述存储加速电路通过现场可编程门阵列实现存储至存储设备中的待存储数据进行处理。
4.如权利要求2所述的一种网络存储处理设备，其特征在于，所述存储加速电路通过应用型专用集成电路实现存储至存储设备中的待存储数据进行处理。
5.如权利要求1至4任一项所述的一种网络存储处理设备，其特征在于，所述存储管理系统为键值存储管理系统或文件存储管理系统。
6.如权利要求5所述的一种网络存储处理设备，其特征在于，所述通信总线协议采用PCIE协议或CXL协议。
7.如权利要求5所述的一种网络存储处理设备，其特征在于，所述存储设备为固态硬盘。
8.一种存储服务器，其特征在于，所述存储服务器包括如权利要求1至7任一项所述的网络存储处理设备。
9.一种数据存储方法，其特征在于，所述数据存储方法通过如权利要求1-7任一项所述的一种网络存储处理设备进行实现，所述数据存储方法包括以下步骤：
网络存储处理设备通过网络接口接收第一存储指令，所述第一存储指令包括存标识，待存储数据长度和待存储对象ID，或所述第一存储指令包括存标识，待存储数据长度、待存储对象ID和待存储数据的来源地址；
网络存储处理设备中的中央处理器运行存储管理系统以对待存储数据分配存储地址；
网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二存储指令，所述第二存储指令包括待存储数据的来源地址；
网络存储处理设备中的中央处理器接收一个或多个所述存储设备发送的取数据请求，所述取数据请求包括待存储数据的来源地址；
网络存储处理设备中的数据转运电路经网络接口获取所述待存储数据，所述待存储数据依次经所述通信总线接口和通信总线直接存储至一个或多个所述存储设备中。
10.一种数据读取方法，其特征在于，所述数据读取方法通过如权利要求1-7任一项所述的一种网络存储处理设备进行实现，所述数据读取方法包括以下步骤：
网络存储处理设备通过网络接口接收第一读数据指令，所述第一读数据指令包括读数据标识和待读取对象ID；
网络存储处理设备中的中央处理器运行存储管理系统以对待读取数据分配读地址；
网络存储处理设备中的中央处理器通过通信总线向一个或多个存储设备发送一条或多条第二读数据指令；
网络存储处理设备中的中央处理器根据所述待读取数据的读地址通过所述通信总线向所述存储设备发送读取数据请求；
网络存储处理设备中的数据转移电路将从一个或多个所述存储设备读取的数据依次通过通信总线和通信总线接口接收并通过网络接口发送至目标地址。
CN202210988560.7A 2022-08-17 2022-08-17 一种网络存储处理设备、存储服务器、数据存储及读取方法 Pending CN117453117A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210988560.7A CN117453117A (zh) 2022-08-17 2022-08-17 一种网络存储处理设备、存储服务器、数据存储及读取方法
PCT/CN2023/102875 WO2024037193A1 (zh) 2022-08-17 2023-06-27 网络存储处理设备、存储服务器、数据存储及读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210988560.7A CN117453117A (zh) 2022-08-17 2022-08-17 一种网络存储处理设备、存储服务器、数据存储及读取方法

Publications (1)

Publication Number Publication Date
CN117453117A true CN117453117A (zh) 2024-01-26

Family

ID=89584218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210988560.7A Pending CN117453117A (zh) 2022-08-17 2022-08-17 一种网络存储处理设备、存储服务器、数据存储及读取方法

Country Status (2)

Country Link
CN (1) CN117453117A (zh)
WO (1) WO2024037193A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946828B (zh) * 2013-10-29 2017-02-22 华为技术有限公司 数据处理系统和数据处理的方法
CN111752480A (zh) * 2016-03-24 2020-10-09 华为技术有限公司 一种数据写方法、数据读方法及相关设备、系统
US20180188974A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Computer program product, system, and method to allow a host and a storage device to communicate using different fabric, transport, and direct memory access protocols
CN113971138A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 一种数据访问方法及相关设备

Also Published As

Publication number Publication date
WO2024037193A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
US10469252B2 (en) Technologies for efficiently managing allocation of memory in a shared memory pool
CN103092798B (zh) 片上系统及总线下的访问设备的方法
CN101894092B (zh) 多核cpu及其核间通信方法
CN103828332B (zh) 数据处理方法、装置、存储控制器和机柜
CN114706531A (zh) 数据处理方法、装置、芯片、设备及介质
CN113535319A (zh) 一种实现多rdma网卡虚拟化的方法、设备及存储介质
KR102303424B1 (ko) 랜덤 액세스 메모리를 포함하는 하나 이상의 처리 유닛을 위한 직접 메모리 액세스 제어 장치
CN116185499B (zh) 寄存器数据传输方法、寄存器缓存模块、智能设备和介质
CN105630727A (zh) 多SoC节点之间的访问方法、装置和系统
CN111679918B (zh) 一种消息传输方法及装置
CN116719764A (zh) 数据同步方法、系统以及相关装置
CN117453117A (zh) 一种网络存储处理设备、存储服务器、数据存储及读取方法
CN101547209B (zh) 一种信息表项的更新方法和设备
CN108140005B (zh) 在存储器系统协议中提供文件信息的系统及方法
US7266614B1 (en) Embedded channel adapter having link layer configured for concurrent retrieval of payload data during packet transmission
CN111651282B (zh) 报文处理方法、报文处理装置及电子设备
CN116260887A (zh) 数据传输方法、数据发送装置、数据接收装置和存储介质
CN114238156A (zh) 处理系统以及操作处理系统的方法
CN107241404B (zh) 一种消息收发的方法、装置及系统
CN101441661A (zh) 一种在多个嵌入式系统之间共享文件资源的系统及方法
CN111092817A (zh) 一种数据传输方法及装置
CN115442239B (zh) 带宽资源分配方法、PCIe通道切换器及电子设备
US20230153239A1 (en) Method and apparatus for allocating memory addresses in resource-centric networks
CN117201518B (zh) 数据的传输方法、系统、装置、存储介质和电子设备
CN111200594B (zh) 接收数据的方法、装置、数据接收设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination