CN114968127B - 对象计算存储系统、数据处理方法、客户端及存储介质 - Google Patents

对象计算存储系统、数据处理方法、客户端及存储介质 Download PDF

Info

Publication number
CN114968127B
CN114968127B CN202210888039.6A CN202210888039A CN114968127B CN 114968127 B CN114968127 B CN 114968127B CN 202210888039 A CN202210888039 A CN 202210888039A CN 114968127 B CN114968127 B CN 114968127B
Authority
CN
China
Prior art keywords
storage
specified
data
computing
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210888039.6A
Other languages
English (en)
Other versions
CN114968127A (zh
Inventor
戴瑾
张云森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Superstring Academy of Memory Technology
Original Assignee
Beijing Superstring Academy of Memory Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Superstring Academy of Memory Technology filed Critical Beijing Superstring Academy of Memory Technology
Priority to CN202210888039.6A priority Critical patent/CN114968127B/zh
Publication of CN114968127A publication Critical patent/CN114968127A/zh
Application granted granted Critical
Publication of CN114968127B publication Critical patent/CN114968127B/zh
Priority to EP22952885.6A priority patent/EP4375823A1/en
Priority to PCT/CN2022/140177 priority patent/WO2024021453A1/zh
Priority to US18/304,247 priority patent/US11822797B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种对象计算存储系统、数据处理方法、客户端及存储介质，属于电数字数据处理领域，包括存储控制设备，以及与其连接的存储芯片或存储盘，存储控制设备为计算存储管理系统，执行以下处理：接收外部的数据处理请求，解析数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；确定支持为指定存储对象调用指定函数的情况下，根据输入数据调用指定函数对指定存储对象的数据进行计算；向数据处理请求的发送方返回计算结果。本发明实施例公开的对象计算存储系统、数据处理方法、客户端及存储介质，把对象存储系统扩展成计算存储管理系统，实现计算和存储一体的架构，有效减少因数据搬运带来的较多的计算能耗。

Description

对象计算存储系统、数据处理方法、客户端及存储介质
技术领域
本发明涉及但不仅限于存储技术，尤指一种对象计算存储系统、数据处理方法、客户端及存储介质。
背景技术
云计算流行计算/存储分离的架构，数据存储服务器和计算服务器通过网络连接。在大数据时代，很多计算能耗用在了数据搬运，这种架构带来了能耗大，计算能力不随数据量增长的问题。
发明内容
第一方面，本申请实施例提供了一种对象计算存储系统，包括存储控制设备，以及与所述存储控制设备连接的存储芯片或存储盘，所述存储控制设备为计算存储管理系统，配置为至少执行以下处理：
接收外部的数据处理请求，解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；
确定支持为所述指定存储对象调用所述指定函数的情况下，根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算；
向所述数据处理请求的发送方返回计算结果。
第二方面，本申请实施例提供了一种数据处理方法，应用于具有计算能力的对象计算存储系统，所述方法包括：
接收数据处理请求，解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；
确定支持为所述指定存储对象调用所述指定函数的情况下，根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算；
向所述数据处理请求的发送方返回计算结果。
第三方面，本申请实施例提供了一种数据处理方法，应用于客户端，所述方法包括：
向具有计算能力的对象计算存储系统发送数据处理请求，携带数据需要计算的指定存储对象的信息、指定函数的信息和输入数据的信息；
接收所述对象计算存储系统返回的计算结果，所述计算结果是根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算得到的。
第四方面，本申请实施例提供了一种对象计算存储系统中的CSP，包括：总线接口，及与所述总线接口耦合的逻辑电路组件；所述逻辑电路组件被配置为计算存储管理系统以执行第二方面任一实施例所述的数据处理方法。
第五方面，本申请实施例提供了一种SSD的主控芯片，包括：总线接口，及与所述总线接口耦合的逻辑电路组件；所述逻辑电路组件被配置为计算存储管理系统以执行第二方面任一实施例所述的数据处理方法。
第六方面，本申请实施例提供了一种客户端，包括：通信接口，及与所述通信接口耦合的逻辑电路组件；所述逻辑电路组件被配置为计算存储管理系统以执行第三方面任一实施例所述的数据处理方法。
第七方面，本申请实施例提供了一种非易失性存储介质，其上存储有计算机指令，所述指令被处理器执行时实现任一实施例所述的方法的步骤。
本申请至少一个实施例提供的对象计算存储系统、数据处理方法、客户端及存储介质，与现有技术相比，具有以下有益效果：把对象计算存储系统扩展成计算存储管理系统，使得更多的大数据处理可以在存储端进行，实现计算和存储一体的架构，有效减少因数据搬运带来的较多的计算能耗。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明一示例实施例提供的对象计算存储系统的结构框图；
图2为本发明一示例实施例提供的数据处理方法的流程图；
图3为本发明另一示例实施例提供的数据处理方法的流程图；
图4为本发明一示例实施例提供的对象计算存储系统中的CSP的结构框图；
图5为本发明一示例实施例提供的SSD的主控芯片的结构框图；
图6为本发明一示例实施例提供的客户端的结构框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请针对靠近数据的计算场景，特别是把存储管理系统（如键值存储系统或对象存储系统）放在数据服务器一端。对象存储系统是目前数据中心和云计算系统普遍采用的存储管理系统。支持数据的Get（取）、Put（存）以及Delete（删）等操作。然而，作为存储管理系统，并不支持或有效支持数据处理功能。
图1为本发明一示例实施例提供的对象计算存储系统的结构框图，对象计算存储系统是具有计算能力的对象存储系统，如图1所示，对象计算存储系统可以包括存储控制设备，以及与存储控制设备连接的存储芯片或存储盘，存储控制设备为计算存储管理系统，配置为以至少执行以下处理：
接收外部的数据处理请求，解析数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；确定支持为指定存储对象调用指定函数的情况下，根据输入数据调用指定函数对指定存储对象的数据进行计算；向数据处理请求的发送方返回计算结果。
本实施例提供的架构和接口，计算和存储一体的架构，把对象计算存储系统扩展成计算存储管理系统，使得更多的大数据处理可以在存储端进行。如图1所示，对象计算存储系统可以与外部系统（可称为外部请求方）连接，外部系统可作为请求计算的一端，向存储端的对象计算存储系统发送数据处理请求。其中，外部系统可以包括客户端。
外部请求方可以通过指定存储对象的信息（比如指定存储对象的标识）和指定函数的信息（比如指定函数的名称或编号），调用相应的指定函数。对象计算存储系统在自身内部中找到请求中的指定函数，确定支持为指定存储对象调用指定函数，将该指定函数在存储设备内部运行，以及将调用该指定函数得到的数据计算和处理的结果返回外部请求方。
在一示例中，计算存储管理系统可以通过以下方式对指定存储对象的数据进行计算，比如，加载指定函数，根据指定存储对象的信息取出指定存储对象的数据；及，将指定存储对象的数据和输入数据作为指定函数的输入，运行指定函数得到计算结果数据。
在找到请求中的指定函数，计算存储管理系统加载指定函数，输入指定存储对象的数据和请求中的输入数据的信息（输入数据本身或输入数据的存放地址），进行计算得到计算结果数据，把计算结果数据（计算结果数据本身或计算结果数据的存储地址）返回给外部请求者。
本发明实施例提供的对象计算存储系统，把对象计算存储系统扩展成计算存储管理系统，使得更多的大数据处理可以在存储端进行，实现计算和存储一体的架构，至少可有效减少因数据搬运带来的较大的计算能耗。
在本发明一示例实施例中，计算存储管理系统可以包括类型图书馆，类型图书馆存储有支持的所有函数，并根据存储对象的类型配置有存储对象能够调用的函数。
计算存储管理系统可以包括一个类型图书馆（library），针对每一个对象类型，保存一个或多个函数，用于同类数据的处理和计算。为某个对象指定的函数不局限于一个，有多个函数时，每个函数可以有各自的输入数据。
计算存储管理系统通过以下方式确定是否支持为指定存储对象调用指定函数：根据指定存储对象的类型信息查找类型图书馆；及，根据查找结果确定对象计算存储系统能够调用指定函数的情况下，确定支持为指定存储对象调用指定函数。
收到外部请求方发送的数据处理请求后，计算存储管理系统根据请求中的指定存储对象的信息在存储中搜索该对象，找到该对象的数据以及确定该对象的类型。计算存储管理系统根据该对象的类型查找类型图书馆，如果找到请求中的指定函数序号或名称，加载该指定函数，输入该对象的数据和请求中的输入数据，进行计算。如果找不到求中的指定函数序号或名称，返回出错信息。
在本发明一示例实施例中，指定存储对象的信息可以包括指定存储对象的标识，计算存储管理系统是根据指定存储对象的标识查找指定存储对象的元数据以确定指定存储对象的类型。
每一个存储对象可以包括元数据，元数据包含类型（Class）信息。计算存储管理系统可以根据指定存储对象的标识在存储中搜索该对象，找到该对象的元数据和数据，计算存储管理系统检查元数据，确定该对象的类型。
在一可替代实施例中，指定存储对象的信息可以包括指定存储对象的类型和用于从该类型的对象中筛选出指定存储对象的筛选条件。
本实施例中，外部请求方发送的数据处理请求可携带指定存储对象的类型，计算存储管理系统可直接根据该对象的类型查找类型图书馆，如果找到请求中的指定函数序号或名称，加载该指定函数，输入该对象的数据和请求中的输入数据，进行计算。如果找不到求中的指定函数序号或名称，返回出错信息。
在本发明一示例实施例中，输入数据的信息可以包括输入数据本身。
本实施例中，外部请求方发送的数据处理请求可携带输入数据本身，计算存储管理系统可直接将输入数据作为指定函数的一个输入，运行指定函数得到计算结果数据。
在一可替代实施例中，输入数据的信息可以包括输入数据的存放地址；计算存储管理系统执行的处理还可以包括：根据输入数据的存放地址，利用直接读取内存的通讯协议从该存放地址取回输入数据。
本实施例中，外部请求方发送的数据处理请求中不包括输入数据，而是携带输入数据所存放的地址，计算存储管理系统可以直接读取内存的通讯协议（如PCIe或RDMA），读取输入数据，进行计算，RDMA是远程直接数据存取（Remote Direct Memory Access）的缩写。
在本发明一示例实施例中，计算存储管理系统向数据处理请求的发送方返回的计算结果可以为计算结果数据。本实施例中，计算存储管理系统直接把计算结果数据返回该外部请求方。
在一可替代实施例中，计算存储管理系统向数据处理请求的发送方返回的计算结果可以为计算结果数据的存放地址，计算存储管理系统利用直接读取内存的通讯协议把计算结果数据存入该存放地址。
本实施例中，计算存储管理系统向外部请求方返回计算结果数据的存放地址，计算存储管理系统可以直接读取内存的通讯协议（如PCIe或RDMA），把计算结果数据写入到该存放地址。
在本发明一示例实施例中，指定存储对象可以包括指定的数据库，指定函数可以包括查询，输入数据可以包括查询指令。
对象类型可以是关系数据库（Relational Database），请求函数可以是SQL查询，输入数据可以是SQL查询指令。计算存储管理系统根据指定的数据库的标识（ID）找到相应的数据库，输入SQL指令进行数据查询，把查询结果直接返回，这样可以避免大量的数据被送到计算服务器进行简单比对。
在本发明一示例实施例中，指定存储对象可以包括指定的图片或视频，指定函数可以包括图片或视频的处理，输入数据可以包括图片或视频的处理指令。
对象类型可以是图片或视频，请求函数可以是图片或视频的处理（比如，图片的人脸识别），输入数据可以是图片或视频的处理指令（比如人脸识别指令）。计算存储管理系统根据指定的图片的标识（ID）找到相应的图片，输入人脸识别指令进行人脸识别，把人脸识别结果直接返回。
在本发明一示例实施例中，如图1所示，存储控制设备可以包括连接在系统高速串行计算机扩展总线标准（Peripheral Component Interconnect Express，简称PCIe）总线上的计算存储处理器（Compute Storage Processor，简称CSP）板卡，计算存储管理系统为CSP板卡，CSP板卡与对象计算存储系统内包括闪存芯片的SDD或包括存储盘的机械硬盘（HDD）协同工作。
可以把计算存储管理系统及相关的支持硬件做成一张CSP板卡插在系统的PCIe总线上（比如插入主机），通过该CSP板卡接收和处理存储计算管理系统的指令，控制一个或多个SSD或HDD进行存储和计算工作。CSP和SSD都插在系统的PCIe总线上，CSP和SSD之间使用PCIe点对点协议通讯。
在一可替代实施例中，存储芯片可以为SSD的闪存芯片，存储控制设备可以为SSD的主控芯片。
传统的存储设备只支持按块地址的读写，没有智能计算处理功能。可以把计算存储管理系统和相关的硬件增加到SSD控制芯片上，SSD控制芯片和一组闪存芯片组成能够执行计算任务的SSD。
在本发明一示例实施例中，如图1所示，计算存储管理模块可以包括：接口模块、业务控制模块、存储管理模块和计算模块。
接口模块，被配置为与外部系统通信。
业务控制模块，被配置为通过接口模块接收外部的数据处理请求，解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息，以及将计算模块计算得到的计算结果通过接口模块返回给外部系统。
计算模块，被配置为确定支持为所述指定存储对象调用所述指定函数的情况下，根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算。
存储管理模块，被配置为对相关数据的读取和存储，比如可存储数据处理请求携带的输入数据的信息。
图2为本发明一示例实施例提供的数据处理方法的流程图，可以应用于具有计算能力的任一实施例所示的对象计算存储系统，如图2所示，数据处理方法可以包括：
S201：接收数据处理请求，解析数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息。
S202：确定支持为指定存储对象调用指定函数的情况下，根据输入数据调用指定函数对指定存储对象的数据进行计算。
S203：向数据处理请求的发送方返回计算结果。
本实施例中，可以把对象计算存储系统扩展成计算存储管理系统，使得更多的大数据处理可以在存储端进行。
外部请求方可以通过指定存储对象的信息（比如指定存储对象的标识）和指定函数的信息（比如指定函数的名称或编号），调用相应的指定函数。对象计算存储系统在自身内部中找到请求中的指定函数，确定支持为指定存储对象调用指定函数，将该指定函数在存储设备内部运行，以及将调用该指定函数得到的数据计算和处理的结果返回外部请求方。
本发明实施例提供的数据处理方法的执行主体为任一实施例所示的对象计算存储系统，其实现原理和实现效果相类似，此处不再赘述。
在本发明一示例实施例中，计算存储管理系统可以包括类型图书馆，类型图书馆存储有支持的所有函数，并根据存储对象的类型配置有存储对象能够调用的函数；确定是否支持为指定存储对象调用指定函数，可以包括：
根据指定存储对象的类型信息查找类型图书馆；及，根据查找结果确定对象计算存储系统能够调用指定函数的情况下，确定支持为指定存储对象调用指定函数。
在本发明一示例实施例中，指定存储对象的信息可以包括指定存储对象的标识，根据指定存储对象的类型信息查找类型图书馆之前，还可以包括：根据指定存储对象的标识查找指定存储对象的元数据以确定指定存储对象的类型。
在本发明一示例实施例中，输入数据的信息可以包括输入数据本身。
在本发明一示例实施例中，输入数据的信息可以包括输入数据的存放地址，根据输入数据调用指定函数之前，还可以包括：根据输入数据的存放地址，利用直接读取内存的通讯协议从该存放地址取回输入数据。
在本发明一示例实施例中，根据输入数据调用指定函数对指定存储对象的数据进行计算，可以包括：
加载指定函数，根据指定存储对象的信息取出指定存储对象的数据；将指定存储对象的数据和输入数据作为指定函数的输入，运行指定函数得到计算结果数据。
在本发明一示例实施例中，计算结果可以包括计算结果数据。
在本发明一示例实施例中，指定函数得到计算结果数据之后，还可以包括：将计算结果数据保存在指定的存储位置；计算结果包括计算结果数据的存放地址。
在本发明一示例实施例中，指定存储对象可以包括指定的数据库，指定函数可以包括查询，输入数据可以包括查询指令。
在本发明一示例实施例中，指定存储对象可以包括指定的图片或视频，指定函数可以包括图片或视频的处理，输入数据可以包括图片或视频的处理指令。
图3为本发明另一示例实施例提供的数据处理方法的流程图，可以应用于客户端，客户端为请求计算的一端。如图3所示，数据处理方法可以包括：
S301：向具有计算能力的对象计算存储系统发送数据处理请求，携带数据需要计算的指定存储对象的信息、指定函数的信息和输入数据的信息。
S302：接收对象计算存储系统返回的计算结果，计算结果是根据输入数据调用指定函数对指定存储对象的数据进行计算得到的。
数据处理请求方可以为请求计算的客户端（可称为外部请求方 ）， 通过指定存储对象的信息（比如指定存储对象的标识）和指定函数的信息（比如指定函数的名称或编号），调用相应的指定函数。对象计算存储系统在自身内部中找到请求中的指定函数，确定支持为指定存储对象调用指定函数，将该指定函数在存储设备内部运行，以及将调用该指定函数得到的数据计算和处理的结果返回外部请求方。
本实施例中，请求计算的一端仅需向存储端的对象计算存储系统发送数据处理请求，即可接收到存储端的对象计算存储系统计算完成的计算结果，而无需请求计算的一端从存储端搬移数据后进行计算处理，实现计算和存储一体的架构，有效减少因数据搬运带来的较多的计算能耗。
本发明实施例提供的数据处理方法与存储端的对象计算存储系统的数据处理方法相对应，其实现原理和实现效果相同，此处不再赘述。
在本发明一示例实施例中，输入数据的信息可以包括输入数据本身；或者，输入数据的信息可以包括输入数据的存放地址。
在本发明一示例实施例中，计算结果可以包括计算结果数据。
在一示例中，计算结果可以包括计算结果数据的存放地址；数据处理方法还可以包括：根据计算结果数据的存放地址信息取回计算结果数据。
在本发明一示例实施例中，指定存储对象的信息可以包括指定存储对象的标识。
在本发明一示例实施例中，数据处理方法还可以包括：向对象计算存储系统或对象计算存储系统的管理中心查询以下信息的至少之一：
对象计算存储系统是否支持计算；
对象计算存储系统支持进行计算的对象的类型；
对象计算存储系统对支持进行计算的一种或多种类型的对象，所提供的函数。
图4为本发明一示例实施例提供的对象计算存储系统中的CSP的结构框图，如图4所示，对象计算存储系统中的CSP可以包括：总线接口41，及与总线接口耦合的逻辑电路组件42；逻辑电路组件被配置为计算存储管理系统以执行如对象计算存储系统端任一实施例所示的数据处理方法。
在一示例中，CSP的总线接口可以包括PCIe接口。
图5为本发明一示例实施例提供的SSD的主控芯片的结构框图，如图5所示，固态硬盘（Solid State Drives，简称SSD）的主控芯片可以包括：总线接口51，及与总线接口耦合的逻辑电路组件52；逻辑电路组件被配置为计算存储管理系统以执行如对象计算存储系统端任一实施例所示的数据处理方法。
在一示例中，SSD的主控芯片的总线接口可以包括PCIe接口。
在一示例中，如图5所示，SSD的主控芯片还可以包括闪存接口53，被配置为与闪存芯片连接。
图6为本发明一示例实施例提供的客户端的结构框图，如图6所示，客户端可以包括：通信接口61，及与通信接口耦合的逻辑电路组件62；逻辑电路组件被配置为计算存储管理系统以执行如客户端任一实施例所示的数据处理方法。
本发明实施例还提供一种非易失性存储介质，其上存储有计算机指令，所述指令被处理器执行时实现任一实施例所示的数据处理方法的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (22)

1.一种对象计算存储系统，其特征在于，所述对象计算存储系统位于存储端，可与客户端进行交互，包括存储控制设备，以及与所述存储控制设备连接的存储芯片或存储盘，所述存储控制设备为计算存储管理系统，配置为至少执行以下处理：
接收客户端向所述对象计算存储系统发送的数据处理请求，解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；
确定支持为所述指定存储对象调用所述指定函数的情况下，根据所述指定存储对象的信息取出所述指定存储对象的数据，根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算，向所述客户端返回计算结果；
其中，所述计算存储管理系统包括类型图书馆，所述类型图书馆存储有支持的所有函数，并根据存储对象的类型配置有存储对象能够调用的函数；
所述计算存储管理系统通过以下方式确定是否支持为所述指定存储对象调用所述指定函数：根据所述指定存储对象的类型信息查找所述类型图书馆；及，根据查找结果确定所述对象计算存储系统能够调用所述指定函数的情况下，确定支持为所述指定存储对象调用所述指定函数。
2.如权利要求1所述的对象计算存储系统，其特征在于：
所述存储芯片为SSD的闪存芯片，所述存储控制设备为SSD的主控芯片。
3.如权利要求1所述的对象计算存储系统，其特征在于：
所述存储控制设备包括连接在系统PCIe总线上的CSP板卡，所述计算存储管理系统为所述CSP板卡，所述CSP板卡与所述对象计算存储系统内包括闪存芯片的SSD或包括存储盘的HDD协同工作。
4.如权利要求1所述的对象计算存储系统，其特征在于：
所述计算存储管理系统通过以下方式对所述指定存储对象的数据进行计算：加载所述指定函数，将所述指定存储对象的数据和所述输入数据作为所述指定函数的输入，运行所述指定函数得到计算结果数据。
5. 如权利要求1所述的对象计算存储系统，其特征在于：
所述指定存储对象包括指定的数据库，所述指定函数包括查询，所述输入数据包括查询指令；或者
所述指定存储对象包括指定的图片或视频，所述指定函数包括图片或视频的处理，所述输入数据包括图片或视频的处理指令。
6.如权利要求5所述的对象计算存储系统，其特征在于：
所述指定存储对象的信息包括所述指定存储对象的标识，所述计算存储管理系统是根据所述指定存储对象的标识查找所述指定存储对象的元数据以确定所述指定存储对象的类型。
7. 如权利要求1所述的对象计算存储系统，其特征在于：
所述输入数据的信息包括输入数据本身；或者
所述输入数据的信息包括所述输入数据的存放地址；所述计算存储管理系统执行的处理还包括：根据所述输入数据的存放地址，利用直接读取内存的通讯协议从该存放地址取回所述输入数据。
8.如权利要求1所述的对象计算存储系统，其特征在于：
所述计算存储管理系统向所述数据处理请求的发送方返回的计算结果为计算结果数据，或者为计算结果数据的存放地址，所述计算存储管理系统利用直接读取内存的通讯协议把计算结果数据存入该存放地址。
9.一种数据处理方法，应用于具有计算能力的对象计算存储系统，所述方法包括：
接收客户端向所述对象计算存储系统发送的数据处理请求，解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息；
确定支持为所述指定存储对象调用所述指定函数的情况下，根据所述指定存储对象的信息取出所述指定存储对象的数据，根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算；向所述客户端返回计算结果；
其中，计算存储管理系统包括类型图书馆，所述类型图书馆存储有支持的所有函数，并根据存储对象的类型配置有存储对象能够调用的函数；
所述计算存储管理系统通过以下方式确定是否支持为所述指定存储对象调用所述指定函数：根据所述指定存储对象的类型信息查找所述类型图书馆；及，根据查找结果确定所述对象计算存储系统能够调用所述指定函数的情况下，确定支持为所述指定存储对象调用所述指定函数。
10.如权利要求9所述的方法，其特征在于：
所述指定存储对象的信息包括所述指定存储对象的标识，根据所述指定存储对象的类型信息查找所述类型图书馆之前，所述方法还包括：根据所述指定存储对象的标识查找所述指定存储对象的元数据以确定所述指定存储对象的类型。
11. 如权利要求9所述的方法，其特征在于：
所述输入数据的信息包括输入数据本身；或者
所述输入数据的信息包括所述输入数据的存放地址，根据所述输入数据调用所述指定函数之前，所述方法还包括：根据所述输入数据的存放地址，利用直接读取内存的通讯协议从该存放地址取回所述输入数据。
12.如权利要求9或11所述的方法，其特征在于：
根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算，包括：
加载所述指定函数；
将所述指定存储对象的数据和所述输入数据作为所述指定函数的输入，运行所述指定函数得到计算结果数据。
13. 如权利要求12所述的方法，其特征在于：
所述计算结果包括计算结果数据；或者
运行所述指定函数得到计算结果数据之后，所述方法还包括：将所述计算结果数据保存在指定的存储位置；所述计算结果包括所述计算结果数据的存放地址。
14. 如权利要求9所述的方法，其特征在于：
所述指定存储对象包括指定的数据库，所述指定函数包括查询，所述输入数据包括查询指令；或者
所述指定存储对象包括指定的图片或视频，所述指定函数包括图片或视频的处理，所述输入数据包括图片或视频的处理指令。
15.一种数据处理方法，应用于如权利要求1所述的对象计算存储系统中的客户端，所述方法包括：
向具有计算能力的对象计算存储系统发送数据处理请求，携带数据需要计算的指定存储对象的信息、指定函数的信息和输入数据的信息；
接收所述对象计算存储系统返回的计算结果，所述计算结果是根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算得到的。
16.如权利要求15所述的方法，其特征在于：
所述输入数据的信息包括输入数据本身；或者，所述输入数据的信息包括所述输入数据的存放地址。
17. 如权利要求15所述的方法，其特征在于：
所述计算结果包括计算结果数据：或者
所述计算结果包括计算结果数据的存放地址；所述方法还包括：根据所述计算结果数据的存放地址信息取回所述计算结果数据。
18.如权利要求15所述的方法，其特征在于：
所述指定存储对象的信息包括所述指定存储对象的标识。
19.如权利要求15所述的方法，其特征在于：
所述方法还包括：向所述对象计算存储系统或所述对象计算存储系统的管理中心查询以下信息的至少之一：
所述对象计算存储系统是否支持计算；
所述对象计算存储系统支持进行计算的对象的类型；
所述对象计算存储系统对支持进行计算的一种或多种类型的对象，所提供的函数。
20.一种存储控制设备，其特征在于，包括：总线接口，及与所述总线接口耦合的逻辑电路组件；所述逻辑电路组件被配置为计算存储管理系统以执行如权利要求9至14中任一所述的数据处理方法；
其中，所述存储控制设备为对象计算存储系统中的计算存储处理器CSP，或者，所述存储控制设备为固态硬盘SSD的主控芯片。
21.一种客户端，其特征在于，包括：通信接口，及与所述通信接口耦合的逻辑电路组件；所述逻辑电路组件被配置为计算存储管理系统以执行如权利要求15至19中任一所述的数据处理方法。
22.一种非易失性存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求9至19任一所述的方法的步骤。
CN202210888039.6A 2022-07-27 2022-07-27 对象计算存储系统、数据处理方法、客户端及存储介质 Active CN114968127B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210888039.6A CN114968127B (zh) 2022-07-27 2022-07-27 对象计算存储系统、数据处理方法、客户端及存储介质
EP22952885.6A EP4375823A1 (en) 2022-07-27 2022-12-19 Object computing and storage system, data processing method, and client and storage medium
PCT/CN2022/140177 WO2024021453A1 (zh) 2022-07-27 2022-12-19 对象计算存储系统、数据处理方法、客户端及存储介质
US18/304,247 US11822797B1 (en) 2022-07-27 2023-04-20 Object computational storage system, data processing method, client and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888039.6A CN114968127B (zh) 2022-07-27 2022-07-27 对象计算存储系统、数据处理方法、客户端及存储介质

Publications (2)

Publication Number Publication Date
CN114968127A CN114968127A (zh) 2022-08-30
CN114968127B true CN114968127B (zh) 2022-10-21

Family

ID=82970188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888039.6A Active CN114968127B (zh) 2022-07-27 2022-07-27 对象计算存储系统、数据处理方法、客户端及存储介质

Country Status (2)

Country Link
CN (1) CN114968127B (zh)
WO (1) WO2024021453A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968127B (zh) * 2022-07-27 2022-10-21 北京超弦存储器研究院 对象计算存储系统、数据处理方法、客户端及存储介质
EP4375823A1 (en) 2022-07-27 2024-05-29 Beijing Superstring Academy of Memory Technology Object computing and storage system, data processing method, and client and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885577A (zh) * 2019-03-11 2019-06-14 Oppo广东移动通信有限公司 数据处理方法、装置、终端及存储介质
CN113424144A (zh) * 2019-03-12 2021-09-21 英特尔公司 计算数据存储系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9003109B1 (en) * 2014-05-29 2015-04-07 SanDisk Technologies, Inc. System and method for distributed computing in non-volatile memory
US11340815B2 (en) * 2019-10-25 2022-05-24 EMC IP Holding Company, LLC Storage management system and method
CN113177045A (zh) * 2021-04-12 2021-07-27 锐掣(杭州)科技有限公司 数据提取方法、装置、可计算存储设备及数据请求设备
CN114490023B (zh) * 2021-12-20 2024-05-07 中国科学院高能物理研究所 一种基于arm和fpga的高能物理可计算存储设备
CN114968127B (zh) * 2022-07-27 2022-10-21 北京超弦存储器研究院 对象计算存储系统、数据处理方法、客户端及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885577A (zh) * 2019-03-11 2019-06-14 Oppo广东移动通信有限公司 数据处理方法、装置、终端及存储介质
CN113424144A (zh) * 2019-03-12 2021-09-21 英特尔公司 计算数据存储系统

Also Published As

Publication number Publication date
CN114968127A (zh) 2022-08-30
WO2024021453A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN114968127B (zh) 对象计算存储系统、数据处理方法、客户端及存储介质
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN111309732B (zh) 数据处理方法、装置、介质和计算设备
CN112287182A (zh) 图数据存储、处理方法、装置及计算机存储介质
CN111737564B (zh) 一种信息查询方法、装置、设备及介质
EP4016276A1 (en) Data deduplication method and apparatus
CN104598161A (zh) 数据读取、写入方法和装置及数据存储结构
CN111352899B (zh) 路径聚合方法、访问方法及通信设备、存储介质
CN109388651B (zh) 一种数据处理方法和装置
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN113177015B (zh) 基于帧头的串口通讯方法和串口芯片
CN110162395B (zh) 一种内存分配的方法及装置
CN111857600B (zh) 一种数据读写方法及装置
CN104572638A (zh) 数据读写方法及装置
US11822797B1 (en) Object computational storage system, data processing method, client and storage medium
CN109740027B (zh) 数据交换方法、装置、服务器和存储介质
CN113867626A (zh) 一种存储系统性能优化方法、系统、设备和存储介质
CN113419792A (zh) 一种事件处理方法、装置、终端设备和存储介质
CN111241099A (zh) 一种工业大数据存储方法及装置
CN117421266A (zh) 一种计算存储系统、计算存储卡及存储服务器
CN112650445B (zh) 一种固态硬盘执行Trim的方法和设备
CN113986134B (zh) 存储数据的方法、读取数据的方法和装置
CN113434508B (zh) 用于存储信息的方法和装置
CN111274320B (zh) 分布式存储系统的控制方法、装置及分布式存储系统
CN117492647A (zh) 一种带外磁盘管理方法、装置、设备及机器可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant