CN111435943B - 数据处理方法、设备、系统及存储介质 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、设备、系统及存储介质。在本申请实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。

Description

数据处理方法、设备、系统及存储介质

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据处理方法、设备、系统及存储介质。

背景技术

随着大数据和云计算的兴起，应用环境中需要处理大数据的场景越来越多，因此以计算存储分离为代表的分布式存储逐渐成为了云计算的一个底层基础设施。存储资源和计算资源解耦，方便存储资源扩容，有利于实现存储资源池化的目的。

但是存储资源和计算资源的分离，造成的一个弊端是计算节点访问存储资源的代价变大了，访问时延更高，相比本地存储资源的访问，可能增加一倍或者更多的延迟开销。

发明内容

本申请的多个方面提供一种数据处理方法、设备、系统及存储介质，用以降低计算节点访问存储资源的代价，降低延迟开销。

本申请实施例提供一种存储节点，通过网络与计算节点通信，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储数据和计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及通过所述通信组件将计算结果返回给所述计算节点。

本申请实施例提供一种计算节点，通过网络与存储节点通信，所述计算节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；通过所述通信组件将所述数据访问请求传输给所述存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果。

本申请实施例提供一种数据处理系统，包括：计算节点和存储节点，所述计算节点与所述存储节点通过网络进行通信；

所述计算节点，用于根据应用的计算需求，生成数据访问请求，将所述数据访问请求传输给所述存储节点，以及接收所述存储节点返回的计算结果；其中，所述数据访问请求包括数据地址信息和计算任务信息；

所述存储节点，用于接收所述数据访问请求，根据所述数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据所述数据访问请求中的计算任务信息对所读取的数据进行计算处理，并将计算结果返回给所述计算节点。

本申请实施例提供一种数据处理方法，适用于计算节点，该方法包括：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；将所述数据访问请求传输给存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果；其中，所述计算节点与所述存储节点通过网络进行通信。

本申请实施例还提供一种数据处理方法，适用于存储节点，该方法包括：接收计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及将计算结果返回给所述计算节点；其中，所述存储节点与所述计算节点通过网络进行通信。

本申请实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，可实现本申请实施例提供的可由计算节点执行的方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，可实现本申请实施例提供的可由存储节点执行的方法中的步骤。

在本申请实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种数据处理系统的结构示意图；

图2为本申请示例性实施例提供的数据处理系统对应的部分软件架构图；

图3a和图3b分别为本申请示例性实施例提供的新的存储协议下的封装格式的示例图；

图4为本申请示例性实施例提供的一种数据处理方法的流程示意图；

图5为本申请示例性实施例提供的一种计算节点的结构示意图；

图6为本申请示例性实施例提供的一种存储节点的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有存储资源和计算资源分离场景中存在的访问时延更高等技术问题，在本申请一些实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请示例性实施例提供的一种数据处理系统的结构示意图。如图1所示，该数据处理系统100包括：计算节点101和存储节点102。计算节点101和存储节点102通过网络进行通信，该网络可以是有线或无线网络。或者说，存储节点102与计算节点101是分离的，即对计算节点101来说，存储节点102是远端存储(需要通过网络访问的存储)，而为本地存储。

其中，存储节点102的主要功能是为其它节点，例如计算节点101提供存储服务。从设备形态上来看，存储节点102可以是任何具有一定存储能力和通信能力的计算机设备，例如可以是存储型服务器、存储型终端设备等。

如图1所示，存储节点102包括存储介质。存储节点102的存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。

另外，存储节点102的存储介质可以进一步划分为：缓存(如SRAM)，内存(如SDRAM)和硬盘，所述硬盘可以包括U盘(如NAND FLASH)、固态硬盘(Solid State Disk，SSD)、机械硬盘(HDD)、混合硬盘(HHD)等中的至少一种。存储节点102的存储介质可被配置为存储各种数据以支持在存储节点102上的操作，这些数据的示例包括但不限于：用于在存储节点102上操作的任何应用程序、操作系统(OS)或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。除此之外，存储节点102的存储介质还可被配置为存储其它节点，例如计算节点101的日志数据、用户数据等各种数据，从而为计算节点101提供存储服务。值得说明的是，存储节点102的存储介质一般是本地的。

进一步，如图1所示，存储节点102除了具有存储介质之外，还包括一个或多个处理器以及通信组件等。其中，一个或多个处理器可以看作是存储节点102的控制系统，可用于执行存储节点102的存储介质中的计算机程序(例如包括应用程序、OS或方法的指令)以使存储节点102实现相应功能；通信组件可被配置为便于存储节点102和其他节点(如计算节点101)之间有线或无线方式的通信。

其中，计算节点101是数据处理系统100中的计算核心，它的主要功能是执行计算。当然，计算节点101也有其它功能，例如接收其它节点(如服务器)发送的计算任务，与存储节点102以及其它节点进行通信等。从设备形态来看，计算节点101可以是任何具有一定计算能力和通信能力的计算机设备，例如可以是计算型服务器、计算型终端设备等。

如图1所示，计算节点101包括存储介质、一个或多个处理器以及通信组件等。其中，计算节点101中的存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如SRAM，EEPROM，EPROM，PROM，ROM，磁存储器，快闪存储器，磁盘或光盘等。另外，计算节点101的存储介质可以进一步划分为：缓存(如SRAM)，内存(如SDRAM)和硬盘，所述硬盘可以包括U盘(如NAND FLASH)、固态硬盘(Solid State Disk，SSD)、机械硬盘(HDD)、混合硬盘(HHD)等中的至少一种。计算节点101的存储介质可被配置为存储各种数据以支持在计算节点101上的操作。这些数据的示例包括用于在计算节点101上操作的任何应用程序、操作系统(OS)或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。值得说明的是，在本实施例的数据处理系统100中，由于计算存储分离，因此计算节点101的存储介质包含远端的存储介质，所谓远端的存储介质是指为计算节点101提供存储服务的存储节点102上的存储介质。当然，计算节点101也可以包含本地的存储介质。

计算节点101中的一个或多个处理器，可以看作是计算节点101的控制系统，可执行其存储介质中存储的计算机程序，以使得计算节点101实现相应功能。计算节点101中的通信组件可被配置为便于计算节点101和其他节点(如存储节点102)之间有线或无线方式的通信。

不论是存储节点102还是计算节点101，其通信组件均可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件可以支持近场通信(NFC)技术，射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术、光纤(FC)通信技术等。在一个示例性实施例中，所述通信组件可以支持但不限于TCP、RDMA等通信协议，以便与存储节点102建立TCP连接或RDMA连接。

在本实施例中，计算节点101和存储节点102分离，计算节点101通过网络互连的方式连接远端的存储节点102，实现向外扩展(scale out)，使得计算资源和存储资源更好地解耦，方便存储资源更好的扩容，实现存储资源池化的目的。

对计算节点101来说，可在其存储介质中存储相关计算机程序，其处理器执行该计算机程序实现下述操作：计算节点101可以与存储节点102建立通信连接，例如计算节点101与存储节点102之间可以建立传输控制协议(Transmission Control Protocol，TCP)连接、远程直接数据存取(Remote Direct Memory Access，RDMA)连接或光纤(FC)连接等；以及当计算节点101需要执行计算任务时，可以根据应用的计算需求生成数据访问请求，在该数据访问请求中携带数据地址信息和计算任务信息，并基于两者之间的通信连接将数据访问请求传输给存储节点102，以便于将该计算任务卸载到存储节点102。其中，数据地址信息用于描述计算任务所需的数据在存储节点102上的存储位置；计算任务信息用于描述计算任务的是谁以及该计算任务的计算逻辑等，以指导存储节点102完成该计算任务信息所描述的计算任务。

值得说明的是，本申请实施例并不限定计算节点101可以与存储节点102建立通信连接的执行顺序，可以在生成数据访问请求之前预先与存储节点102建立通信连接，也可以在需要向存储节点102发送数据访问请求时才与存储节点102建立通信连接。

对存储节点102来说，可在其存储介质中存储相关计算机程序，其处理器执行该计算机程序实现下述操作：通过其通信组件接收计算节点101发送的数据访问请求，根据数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据数据访问请求中的计算任务信息对所读取的数据进行计算处理，并通过其通信组件将计算结果返回给计算节点101。计算节点101在发送数据访问请求之后，还会等待并接收存储节点102返回的计算结果。

值得说明的是，计算节点101的数量可以是一个或多个，同理，存储节点102的数量也可以是一个或多个。不论计算节点101和存储节点102的数量如何，凡是一个计算节点101需要使用一个存储节点102上的数据完成计算任务的过程均相同或相似，故在本实施例中以一个计算节点101与一个存储节点102相互配合完成计算任务的过程为例进行说明，该过程可参见上文。

在本实施例中，采用计算存储分离的拓扑结构，充分发挥计算存储分离的优势，并且针对计算存储分离的拓扑结构，通过利用存储节点的计算资源(即处理器)，将计算节点的部分计算逻辑卸载到存储节点进行处理，从而在最靠近数据的地方进行计算，只需将计算结果返回给计算节点，无需将计算任务所需的数据从存储节点搬移到计算节点进行搬移，大大减少了不必要的数据搬移，在联机分析处理(Online Analytical Processing，OLAP)以及其它类似场景中，能极大的提升数据处理的效率，减少访问时延。另外，由于减少了不必要的数据搬移，有利于减少占用的网络带宽，降低网络拥塞的概率，节约计算节点的功耗，还可以提高IO访问的Qos的稳定性，等等。

值得说明的是，在本申请各实施例中，计算节点101可以将部分计算逻辑比较简单、计算逻辑相对固定的计算任务和/或涉及数据量较大的计算任务卸载到存储节点102。

例如，若计算节点101上存在一部分涉及大量数据的计算任务，无论该计算任务的计算逻辑是否复杂，为了减少大量数据搬移造成的时延和网络拥堵，则在存储节点102的计算能力足够的情况下，可以采用本申请实施例提供的方案将这类计算任务卸载到存储节点102，利用存储节点102的计算能力进行处理，从而在靠近数据的地方进行计算。

又例如，若计算节点101上存在一部分计算逻辑相对固定，而且涉及数据量不大的计算任务，例如循环冗余校验(Cyclic Redundancy Check,CRC)任务，则可以采用本申请实施例提供的方案将这类计算任务卸载到存储节点102，利用存储节点102的计算能力进行处理，从而在靠近数据的地方进行计算，提高计算效率，减少时延。

又例如，若计算节点101上存在一部分计算逻辑简单且相对固定，而且涉及大量数据的计算任务，例如报表类任务，则可以采用本申请实施例提供的方案将这类计算任务卸载到存储节点102，利用存储节点102的计算能力进行处理，从而在靠近数据的地方进行计算，提高计算效率，减少时延。

在本申请各实施例中，计算节点101和存储节点102之间既要传输数据地址信息，也要传输计算任务信息。但是，对于计算节点101和存储节点102之间的传统IO读写接口，例如读/写(read/write)接口，可支持数据地址信息的传输用以实现数据的读写，但并不支持计算任务信息的传输。为此，本申请下述实施例中提供一些实现方式，但不限于此，凡是能够让计算节点101和存储节点102之间同时支持数据地址信息和计算任务信息的传输的实现方式均适用于本申请实施例。

在本申请一种可选实施例中，如图2所示，计算节点101的部分软件架构自上而下包括应用层(如APP1)、文件系统(File System，FS)以及存储节点102对应的远端驱动程序。可选地，FS可以是系统态文件系统(例如ext4)或用户态文件系统。假设存储节点102中的存储介质采用支持NVMe存储协议的SSD，则计算节点101上的驱动程序可以是NVMe驱动程序。针对图2所示计算节点101的软件架构，本实施例提供一种应用程序编程接口(ApplicationProgramming Interface，API)，将该API集成在计算节点101的系统态文件系统(例如ext4)或用户态文件系统中。该API主要负责根据应用的计算需求(如APP1的计算需求)，生成数据地址信息和计算任务信息。

进一步地，API负责将应用(如APP1)的计算需求转换成对文件的特定操作。该API需要将应用的计算需求解析成下述参数：文件名，数据起始地址和数据长度，以及计算任务编码和计算任务描述信息，甚至还可以包括额外的flag控制数据处理逻辑和异常处理等所需的参数。进而，该API一方面根据文件名、数据起始地址和数据长度生成数据地址信息，另一方面根据计算任务编码和计算逻辑描述信息生成计算任务信息。

其中，数据起始地址是指计算任务所需的数据在文件名所标识的文件中的起始地址；数据长度是指计算任务所需的数据的长度。其中，文件名、数据起始地址和数据长度可唯一确定计算任务所需的数据在存储节点102中的存储位置。计算任务编码是一种可以唯一标识计算任务的信息。例如，计算任务编码可以是0001，表示报表任务，或者是0010，表示CRC任务，或者是0011，表示数据库的projection任务，或者是1000，表示数据库的filter任务等。这里的编码样式仅为示例，并不限于此，同理，这里列举的计算任务也仅为示例，也不限于此。计算逻辑描述信息主要描述计算任务的执行逻辑，用于指导存储节点102完成对相关数据的计算处理。

结合图2所示的软件框架，API在生成数据地址信息和计算任务信息之后，将数据地址信息和计算任务信息传输给驱动程序。驱动程序需要将数据地址信息和计算任务信息封装成数据访问请求，并最终通过计算节点101与存储节点102之间的TCP连接、RDMA连接或FC连接发送给存储节点102。

在该可选实施例中，在已有存储协议的基础上扩展一种新的存储协议，该存储协议主要约定对数据地址信息和计算任务信息的封装方式，这样驱动程序可按照约定的存储协议将上述API生成的数据地址信息和计算任务信息封装成数据访问请求，进而通过计算节点101中的通信组件将数据访问请求传输给存储节点102，以供存储节点102根据数据地址信息从其存储介质中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理。如图2所示，在计算节点101中，该新的存储协议内嵌在存储节点103的驱动程序中。

可选地，本实施例提供的新的存储协议可满足以下条件：

1)兼容已有的存储协议，如NVMe over Fabric(简称为NoF)协议或NVMe协议，增加了对计算任务信息的支持；可选地，新的存储协议可作为已有存储协议中的某个或某些字段内容实现，从而实现与已有存储协议的兼容。

2)新的存储协议中包括：计算任务的类型字段、版本号字段、优先级字段，1组或多组数据起始地址和长度字段、计算任务相关的私有数据字段等。值得说明的是，凡是可以携带计算任务信息的协议格式均适用于本申请实施例。

可选地，在新的存储协议下，由计算节点发往存储节点的封装格式以及由存储节点发往计算节点的封装格式的示例分别如图3a和图3b所示。计算节点中的驱动程序可以按照图3a所示封装格式，将数据地址信息和计算任务信息进行封装得到数据访问请求，之后发送给存储节点。同理，存储节点可根据计算任务信息对相关数据进行计算处理，并按照图3b所示的封装格式对计算结果进行封装，之后发送给计算节点。

参见图3a，由计算节点发往存储节点的封装格式中包括以下字段：

逻辑代码(Magic code)字段：是一协议起始字段，用于标识新的存储协议的内容的开始，该字段的取值不做限定，可以根据应用需求适应性设置。

目标设备(target device)字段：用于存储在存储节点102中计算所需的数据所在的目标存储介质(如SSD)的地址。

数据片段(data segments)字段：是一数据起始字段，用于标识新的存储协议中的数据内容的开始；

若干组起始数据地址(start data address)和数据长度(data length)字段：用于携带计算所需的数据在目标存储介质中的起始地址和长度。图3a中示出两组，分别是起始数据地址1与数据长度1，以及起始数据地址2与数据长度2，但不限于此。

类型(type)字段：用于存储计算任务编码，计算任务编码可唯一标识计算任务及其类型。例如，该类型字段的取值可以标识计算任务是数据库的投影任务，还是数据库的过滤任务等。

版本(version)字段：是一预留字段，用于在类型字段指定计算任务的类型的情况下，限定该计算任务的版本号。值得说明的是，并不是所有类型的计算任务都有版本号，对于具有版本号的计算任务，不同版本号对应的计算任务的格式、参数等会有所不同。

优先级(prio)字段：是一全局字段，用于存储计算任务的优先级。在同一时间段内，存储节点102可能接收到多个计算任务，在不同计算任务之间设置优先级，便于存储节点102优先处理优先级较高的计算任务。多个计算任务可以来自不同计算节点，也可以来自同一计算节点。

若干个私有数据(private data)字段：用于存储计算任务描述信息，可以作为计算任务的元信息，该元信息包括计算任务的逻辑、格式、语义等信息，用于供存储节点102据此完成计算任务。

值得说明的是，图3a所示各字段以及各字段的组织顺序均为示例，并不限于此。在图3a所示字段基础上还可以增加其他字段，当然，图3a中的一些非必要字段也可以根据应用需求灵活取舍。

参见图3b，由存储节点发往计算节点的封装格式中包括以下字段：

逻辑代码字段(Magic code)：是一协议起始字段，用于标识新的存储协议的内容的开始，该字段的取值不做限定，可以根据应用需求适应性设置。

版本(version)字段：是一预留字段，用于在图3a所示封装格式中的类型字段指定计算任务的类型的情况下，限定该计算任务的版本号。

状态(status)字段：用于存储对应计算任务的执行状态，例如成功、失败或部分成功。

序号(seq)字段：是时序上的id，用于记录返回的计算结果的序号，以便于计算节点根据该序号字段对接收到的计算结果进行拼接或组合。

若干个数据(data)字段：用于记录返回的计算结果的内容。

值得说明的是，图3b所示各字段以及各字段的组织顺序均为示例，并不限于此。在图3b所示字段基础上还可以增加其他字段，当然，图3b中的一些非必要字段也可以根据应用需求灵活取舍。

在图2所示的软件框架中，计算节点101的一个或多个处理器所执行的计算机程序包括：文件系统中的API和支持新的存储协议的驱动程序；一个或多个处理器执行这里的API以及驱动程序可实现上述操作。

与计算节点101相对应，存储节点102也需要支持新的存储协议，并具备相应的解析功能。如图2所示，存储节点102在存储介质之上的软件框架包括文件系统、分析引擎(Parsing engine)、计算任务(Processing jobs)以及存储节点102的本地驱动程序。存储节点102中的驱动程序负责接收来自计算节点101的数据访问请求，并按照已有存储协议如NoF协议对数据访问请求进行初步解析，将经过初步解析的数据访问请求发送至分析引擎；分析引擎主要是针对新的存储协议进行解析以及根据解析出来的数据地址信息和计算任务信息创建一个计算卸载任务，将该计算卸载任务发送至计算任务；计算任务执行计算卸载任务，通过文件系统将计算所需的数据从存储节点102的存储介质，例如SSD上读出，并在存储节点102的处理器中的计算进程上完成计算和处理。在存储节点102上可以执行的计算任务包括但不限于：一些简单的计算任务，如CRC，数据库的投影(projection)和过滤(filter)，通过在存储节点102的空闲处理器上做计算，能大大减少不必要的数据搬移，极大地提升某些场景的性能。

值得说明的是，本申请实施例是在存储节点102的处理器上做计算，无论计算所需的数据是否在一个存储介质，例如SSD上，都可以进行计算；另外，因为是在存储节点102的处理器上进行计算，编程模型以及计算能力都大大的超越在存储介质，如SSD内部的计算能力，同时对IO访问的Qos的控制更加方便。

可选地，本申请实施例提供的数据处理系统可实现一种NoF场景。在该NoF场景中，存储节点102采用支持NVMe协议的SSD作为其存储介质，计算节点101和存储节点102之间架设光纤(Fabric)通道，该光纤通道给为计算节点101和存储节点102之间提供物理连接，计算节点101和存储节点102之间支持NVMe over Fabric协议，NVMe over Fabric协议使得计算节点101可以通过网络互联的方式连接远端的NVMe SSD存储资源(即存储节点102)，实现scale out，使得NVMe SSD资源和计算资源得到更好的解耦，方便NVMe SSD更好的扩容，实现存储资源池化的目的。该NoF场景是共享资源池化的场景，存储节点102直接暴露给计算节点101，可选地，存储节点102可以以块设备的形态暴露给计算节点101但不限于块设备形态。

在该NoF场景中，在NVMe over Fabric协议基础上增加新的存储协议，可记为智能协议(smart protocol)，该智能协议用来承载计算任务信息的传输，进而，计算节点101和存储节点102可以按照上述实施例中描述的内容相互配合，从而将计算节点101的部分计算逻辑卸载到存储节点102上，在计算存储分离的基础上，充分利用存储节点102的计算能力，同时又能兼容NoF等存储协议，对应用提供简单的块设备，进行计算逻辑的卸载，大大减少不必要的数据搬移，极大地提升该NoF场景的性能，而这种改动对应用来说是透明的，且面向计算节点101暴露的是存储节点102，不需要搭载一个极其复杂的分布式存储场景。

图4为本申请示例性实施例提供的一种数据处理方法的流程示意图。如图4所示，该方法包括：

401、计算节点根据应用的计算需求，生成数据访问请求；其中，数据访问请求包括数据地址信息和计算任务信息。

402、计算节点将数据访问请求传输给存储节点；其中，计算节点与存储节点通过网络进行通信。

403、存储节点根据数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，并根据数据访问请求中的计算任务信息对所读取的数据进行计算处理。

404、存储节点将计算结果返回给计算节点；相应地，计算节点接收存储节点返回的计算结果。

在本实施例中，当计算节点需要执行计算任务时，可以根据应用的计算需求生成数据访问请求，在该数据访问请求中携带数据地址信息和计算任务信息，并基于两者之间的通信连接将数据访问请求传输给存储节点，以便于将该计算任务卸载到存储节点。其中，数据地址信息用于描述计算任务所需的数据在存储节点上的存储位置；计算任务信息用于描述计算任务的是谁以及该计算任务的计算逻辑等，以指导存储节点完成该计算任务信息所描述的计算任务。

存储节点接收计算节点发送的数据访问请求，根据数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据数据访问请求中的计算任务信息对所读取的数据进行计算处理，并通过其通信组件将计算结果返回给计算节点。计算节点在发送数据访问请求之后，还会等待并接收存储节点返回的计算结果，并在接收到计算结果后确定计算任务被完成。

在一可选实施例中，计算节点根据应用的计算需求，生成数据访问请求，包括：根据应用的计算需求生成数据地址信息和计算任务信息；按照约定的存储协议将数据地址信息和计算任务信息封装成数据访问请求。相应地，存储节点需要根据约定的存储协议对数据访问请求进行解析，从数据访问请求中获取数据地址信息和计算任务信息；进而根据数据地址信息从其存储介质中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理。

进一步可选地，计算节点根据应用的计算需求生成数据地址信息和计算任务信息，包括：从应用的计算需求中解析出计算任务涉及的文件名、数据起始地址和数据长度、计算任务编码以及计算逻辑描述信息；根据文件名、数据起始地址和数据长度，生成数据地址信息，并根据计算任务编码和计算逻辑描述信息生成计算任务信息。

在本实施例中，上述存储节点的操作，实际是由其处理器完成的，即利用存储节点的计算资源代替计算节点完成计算任务，从而实现在靠近数据的地方进行计算的目的，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。另外，由于减少了不必要的数据搬移，有利于减少占用的网络带宽，降低网络拥塞的概率，节约计算节点的功耗，还可以提高IO访问的Qos的稳定性，等等。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤401和402的执行主体可以为计算节点，步骤403和404的执行主体可以为存储节点；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如401、402等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图5为本申请示例性实施例提供的一种计算节点的结构示意图。如图5所示，该计算节点包括：存储介质51、一个或多个处理器52以及通信组件53。

存储介质51，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算节点上的操作。这些数据的示例包括用于在计算节点上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储介质51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

值得说明的是，本实施例的计算节点包括远端的存储介质，所谓远端的存储介质是指为计算节点提供存储服务的存储节点上的存储介质。当然，计算节点也可以包含本地的存储介质。

一个或多个处理器52，与存储介质51耦合，用于执行存储介质51中的计算机程序，以用于：

根据应用的计算需求，生成数据访问请求；其中，数据访问请求包括数据地址信息和计算任务信息；

通过通信组件53将数据访问请求传输给存储节点，以供存储节点根据数据地址信息从其存储介质51中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理；以及

通过通信组件53接收存储节点返回的计算结果。其中，本实施例的计算节点与存储节点通过网络进行通信，即两者分离。

在一可选实施例中，存储介质51存储有应用，例如APP1、文件系统以及存储节点对应的驱动程序。文件系统中内嵌有一API，驱动程序支持新的存储协议。基于此，一个或多个处理器52执行存储介质51中的计算机程序，可以理解为执行文件系统中的API以及驱动程序，用以实现以下操作：

根据应用的计算需求生成数据地址信息和计算任务信息；按照约定的存储协议将数据地址信息和计算任务信息封装成数据访问请求；通过通信组件53将数据访问请求传输给存储节点，以供存储节点根据数据地址信息从其存储介质51中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理；以及通过通信组件53接收存储节点返回的计算结果。

进一步，一个或多个处理器52具体用于：从应用的计算需求中解析出计算任务涉及的文件名、数据起始地址和数据长度，以及计算任务编码和计算逻辑描述信息；根据文件名、数据起始地址和数据长度生成数据地址信息，并根据计算任务编码和计算逻辑描述信息生成计算任务信息。

进一步，如图5所示，该计算节点还包括：显示器54、电源组件55、音频组件56等其它组件。图5中仅示意性给出部分组件，并不意味着计算节点只包括图5所示组件。图5中虚线框中的组件为可选组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算节点执行的各步骤。

图6为本申请示例性实施例提供的一种存储节点的结构示意图。如图6所示，该存储节点包括：存储介质61、一个或多个处理器62以及通信组件63。

存储介质61可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM，EEPROM，EPROM，PROM，ROM，磁存储器，快闪存储器，磁盘或光盘等。存储介质61可以进一步划分为：缓存(如SRAM)，内存(如SDRAM)和硬盘，所述硬盘可以包括U盘(如NANDFLASH)、固态硬盘(Solid State Disk，SSD)、机械硬盘(HDD)、混合硬盘(HHD)等中的至少一种。

存储介质61可被配置为存储各种数据以支持在存储节点上的操作，这些数据的示例包括但不限于：用于在存储节点上操作的任何应用程序、操作系统(OS)或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。除此之外，存储介质61还可被配置为存储其它节点，例如计算节点的日志数据、用户数据等各种数据，从而为计算节点提供存储服务。

值得说明的是，存储节点上的存储介质61一般是本地的，但也不必一定要受此限制。

一个或多个处理器62，与存储介质61耦合，用于执行存储介质61中的计算机程序，以用于：

通过通信组件63接收计算节点发送的数据访问请求，数据访问请求包括数据地址信息和计算任务信息；

根据数据地址信息从存储介质61中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理；以及

通过通信组件63将计算结果返回给计算节点；其中，本实施例的存储节点与计算节点通过网络进行通信，即两者分离。

可选地，一个或多个处理器62还用于：根据约定的存储协议对数据访问请求进行解析，获取数据地址信息和计算任务信息；进而根据数据地址信息从其存储介质中读取计算所需的数据，并根据计算任务信息对所读取的数据进行计算处理。

进一步，如图6所示，该存储节点还包括：显示器64、电源组件65、音频组件66等其它组件。图6中仅示意性给出部分组件，并不意味着存储节点只包括图6所示组件。图6中虚线框中的组件为可选组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质61，计算机程序被执行时能够实现上述方法实施例中可由存储节点执行的各步骤。

上述图5和图6中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

上述图5和图6中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述图5和图6中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种存储节点，通过网络与计算节点通信，其特征在于，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；

所述存储介质，用于存储数据和计算机程序；

所述一个或多个处理器，用于执行所述计算机程序，以用于：

通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息，所述数据地址信息是根据从应用的计算需求中解析出的文件名、数据起始地址和数据长度生成的，所述计算任务信息是根据从应用的计算需求中解析出的计算任务编码和计算逻辑描述信息生成的；

根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及

通过所述通信组件将计算结果返回给所述计算节点。

2.根据权利要求1所述的存储节点，其特征在于，所述一个或多个处理器还用于：根据约定的存储协议对所述数据访问请求进行解析，获取所述数据地址信息和所述计算任务信息。

3.根据权利要求2所述的存储节点，其特征在于，所述一个或多个处理器还用于：根据约定的存储协议对所述计算结果进行封装，通过所述通信组件将封装后的计算结果返回给所述计算节点。

4.根据权利要求1-3任一项所述的存储节点，其特征在于，所述存储介质包括固态硬盘SSD。

5.一种计算节点，通过网络与存储节点通信，其特征在于，所述计算节点包括：存储介质、一个或多个处理器以及通信组件；

所述存储介质，用于存储计算机程序；

所述一个或多个处理器，用于执行所述计算机程序，以用于：

根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；

通过所述通信组件将所述数据访问请求传输给所述存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及通过所述通信组件接收所述存储节点返回的计算结果；

其中，所述一个或多个处理器具体用于：从应用的计算需求中解析出计算任务涉及的文件名、数据起始地址和数据长度，以及计算任务编码和计算逻辑描述信息；根据所述文件名、数据起始地址和数据长度生成数据地址信息，并根据所述计算任务编码和计算逻辑描述信息生成计算任务信息。

6.根据权利要求5所述的计算节点，其特征在于，所述一个或多个处理器具体用于：

按照约定的存储协议将所述数据地址信息和计算任务信息封装成所述数据访问请求。

7.一种数据处理系统，其特征在于，包括：计算节点和存储节点，所述计算节点与所述存储节点通过网络进行通信；

所述计算节点，用于根据应用的计算需求，生成数据访问请求，将所述数据访问请求传输给所述存储节点，以及接收所述存储节点返回的计算结果；其中，所述数据访问请求包括数据地址信息和计算任务信息；

所述存储节点，用于接收所述数据访问请求，根据所述数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据所述数据访问请求中的计算任务信息对所读取的数据进行计算处理，并将计算结果返回给所述计算节点；

所述计算节点在生成数据地址信息和计算任务信息时，具体用于：根据应用的计算需求，确定计算任务涉及的文件名、数据起始地址和数据长度、计算任务编码以及计算逻辑描述信息；根据所述文件名、数据起始地址和数据长度，生成数据地址信息，并根据所述计算任务编码和计算逻辑描述信息生成计算任务信息。

8.根据权利要求7所述的系统，其特征在于，所述计算节点具体用于：

按照约定的存储协议将所述数据地址信息和计算任务信息封装成所述数据访问请求；以及将所述数据访问请求传输至所述存储节点。

9.根据权利要求7-8任一项所述的系统，其特征在于，所述存储节点还用于：根据约定的存储协议对所述数据访问请求进行解析，获取所述数据地址信息和所述计算任务信息。

10.一种数据处理方法，适用于计算节点，其特征在于，所述方法包括：

根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息，且所述数据地址信息和计算任务信息的生成方式，包括：从应用的计算需求中解析出计算任务涉及的文件名、数据起始地址和数据长度、计算任务编码以及计算逻辑描述信息；根据所述文件名、数据起始地址和数据长度，生成数据地址信息，并根据所述计算任务编码和计算逻辑描述信息生成计算任务信息；

将所述数据访问请求传输给存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及

接收所述存储节点返回的计算结果；其中，所述计算节点与所述存储节点通过网络进行通信。

11.根据权利要求10所述的方法，其特征在于，根据应用的计算需求，生成数据访问请求，还包括：

按照约定的存储协议将所述数据地址信息和计算任务信息封装成所述数据访问请求。

12.一种数据处理方法，适用于存储节点，其特征在于，所述方法包括：

接收计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息，所述数据地址信息是根据从应用的计算需求中解析出的文件名、数据起始地址和数据长度生成的，所述计算任务信息是根据从应用的计算需求中解析出的计算任务编码和计算逻辑描述信息生成的；

根据所述数据地址信息从所述存储节点中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及

将计算结果返回给所述计算节点；其中，所述存储节点与所述计算节点通过网络进行通信。

13.根据权利要求12所述的方法，其特征在于，还包括：

根据约定的存储协议对所述数据访问请求进行解析，获取所述数据地址信息和所述计算任务信息。

14.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，可实现权利要求10-11任一项所述方法中的步骤。

15.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，可实现权利要求12或13所述方法中的步骤。

Images