CN107770261A - 一种基于分布式存储系统的计算方法及相关装置 - Google Patents

Abstract

本申请公开了一种基于分布式存储系统的计算方法、计算装置、计算机可读存储介质及服务器，该方法包括：在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，节点包括：存储节点和计算节点；根据扩展计算的信息注册扩展计算的地址，得到扩展计算地址；当存储节点接收到计算节点发送的执行扩展计算的指令时，存储节点根据指令和扩展计算地址执行扩展计算。通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据计算的时候，在存储节点根据该扩展计算的地址执行该扩展计算，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，易于维护。

Description

一种基于分布式存储系统的计算方法及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种基于分布式存储系统的计算方法、计算装置、计算机可读存储介质及服务器。

背景技术

随着信息技术的发展，在网络中传递的数据越来越多，原有的数据存储系统在单一存储节点的情况下已经适应不了大数据的存储环境。分布式存储系统越来越多的被应用在服务器应用领域，以解决大量数据的存储问题。

在分布式存储系统中，当计算节点的某些任务需要从存储节点获取数据，需要对数据进行计算后传输到存储节点中。可以高效的对数据进行处理得到系统需要的结果，获得了大量的应用。但是在数据量较大的情况下，多次传输大数据量，会占用较高的带宽，耗费大量的硬件资源。

一般的会在存储节点中队存储数据执行一些就按，则需要在存储端的软件整体重新编译得到计算逻辑，在此种情况下，存储节点的软件系统维护会变得越来越复杂，不利于系统的日常维护。

因此，如何在不使维护过程更加复杂的情况下降低分布式存储系统内部的资源消耗，是本领域技术人员所关注的重点问题。

发明内容

本申请的目的是提供一种基于分布式存储系统的计算方法、计算装置、计算可读存储介质及服务器，通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据进行处理的时候，在存储节点根据该扩展计算的地址调用执行该扩展计算，得到相应的结果，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，实施复杂度较低，易于使用者开发。

为解决上述技术问题，本申请提供一种基于分布式存储系统的计算方法，包括：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

可选的，还包括：

当所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算时，得到计算结果；

所述存储节点将所述计算结果发送至所述结算节点。

可选的，所述根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址，还包括：

根据所述扩展计算地址进行编译得到解析库，以使所述存储节点根据所述扩展计算的名称解析得到所述扩展计算地址。

可选的，所述当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算，包括：

所述计算节点向所述存储节点发送执行所述扩展计算的所述指令；

所述存储节点根据所述指令和所述解析库解析出所述扩展计算地址；

根据所述扩展计算地址调用所述扩展计算进行计算。

本申请还提供一种基于分布式存储系统的计算装置，包括：

扩展计算定义模块，用于在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

扩展计算注册模块，用于根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

执行扩展计算模块，用于当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

可选的，还包括：

计算结果获取模块，当所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算时，得到计算结果；

计算结果发送模块，所述存储节点将所述计算结果发送至所述结算节点。

可选的，所述扩展计算注册模块，还包括：

解析库编译单元，根据所述扩展计算地址进行编译得到解析库，以使所述存储节点根据所述扩展计算的名称解析得到所述扩展计算地址。

可选的，所述执行扩展计算模块，包括：

指令发送单元，所述计算节点向所述存储节点发送执行所述扩展计算的所述指令；

地址解析单元，所述存储节点根据所述指令和所述解析库解析出所述扩展计算地址；

计算处理单元，根据所述扩展计算地址调用所述扩展计算进行计算。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如下的步骤：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

本申请还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时，实现如下的步骤：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

本申请所提供的一种基于分布式存储系统的计算方法，包括：在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；当所述存储节点接收到计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据进行处理的时候，在存储节点根据该扩展计算的地址调用执行该扩展计算，得到相应的结果，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，实施复杂度较低，易于使用者开发。

本申请还提供一种基于分布式存储系统的计算装置、计算机可读存储介质及服务器，具有上述有益效果，在此不再做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于分布式存储系统的计算方法的流程图；

图2为本申请实施例所提供的一种基于分布式存储系统的计算方法的结果返回的流程图；

图3为本申请实施例所提供的一种基于分布式存储系统的计算方法的执行扩展计算的流程图；

图4为本申请实施例所提供的一种基于分布式存储系统的计算装置的结构示意图。

具体实施方式

本申请的核心是提供一种基于分布式存储系统的计算方法、计算装置、计算机可读存储介质及服务器，通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据进行处理的时候，在存储节点根据该扩展计算的地址调用执行该扩展计算，得到相应的结果，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，实施复杂度较低，易于使用者开发。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种基于分布式存储系统的计算方法的流程图。

本申请实施例提供一种基于分布式存储系统的计算方法，可以包括：

S101，在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，节点包括：存储节点和计算节点；

本步骤旨在，在存储系统的节点中定义扩展计算。

其中，定义指的是对于分布式存储系统的节点扩展一个功能模块，其具体实现可以是软件的功能模块也可以是硬件的功能模块，只要改功能模块可以在不改动原有的软件基础上，创建的功能模块都可以作为本实施例所指的功能模块。对于定义的功能模块，还需要限定其对于存储节点的之间的数据传输可以通过非占用系统带宽的方式进行传输，就可以在存储节点执行任务时可以不占用系统带宽的情况下进行传输，节约存储系统的带宽资源。

因此，在分布式存储系统中对于节点定义的扩展计算，对于节点本身的软件不会做改动。定义好的扩展计算可以通过计算机系统内的地址调用该扩展计算，因此也需要对扩展计算注册地址，使节点在使用的时候可以查找到扩展计算的地址。

需要说明的是，在技术方案中所解决的问题是在计算节点和存储节点之间发生的，因此，本实施例中所指的节点包括计算节点和存储节点。其中，计算节点与存储节点在本事上本无其他区别，计算节点是指在这种问题模式下发出计算请求的一方，而存储节点是在这种问题模式下接收并存储有数据的一方。在一定情况下，计算节点与存储节点的执行关系有可能会发生变化。

此外，在定义扩展计算的计算逻辑的同时还需要定义扩展计算的接口，其他的节点可以通过扩展计算的接口调用该扩展计算。

S102，根据扩展计算的信息注册扩展计算的地址，得到扩展计算地址；

在步骤S101的基础上，本步骤旨在对扩展计算注册其地址。

其中，注册扩展计算的本质是对扩展计算的接口注册地址。对于扩展计算，只能通过调用接口才可以执行该扩展计算，因此注册扩展计算地址的本质就是对扩展计算的接口注册地址。通过地址查找到接口，再通过接口调用扩展计算。

并且，注册的地址范围实在全局地址的范围内，才具有一定的普遍性和可适用性。一般的，地址是通过逻辑二进制码的形式显示出来。

S103，当存储节点接收到计算节点发送的执行扩展计算的指令时，存储节点根据指令和扩展计算地址执行扩展计算。

本步骤旨在，存储节点接收到请求指令时根据指令的内容以及扩展计算的地址，执行该扩展计算。

其中，计算节点发送的指令，包含某个扩展计算的地址标识以及被计算的数据地址，并不附带数据。因此，存储节点也不会向计算节点返回任何数据，大大节约了存储系统的带宽资源。

本实施例中，存储节点会根据指令的内容得到相关扩展计算的信息，据此确定扩展计算的地址，再通过计算地址执行扩展计算。其中确定地址的过程可以通过查找库的方式确定，也可以向别的节点请求扩展计算地址，应视不同的应用情况，选择不同的地址查询方式，在此不做赘述。

综上，本实施例可以通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据进行处理的时候，在存储节点根据该扩展计算的地址调用执行该扩展计算，得到相应的结果，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，实施复杂度较低，易于使用者开发。

请参考图2，图2为本申请实施例所提供的一种基于分布式存储系统的计算方法的结果返回的流程图。

本实施例可以包括：

S201，当存储节点根据指令和扩展计算地址执行扩展计算时，得到计算结果；

本步骤旨在，通过扩展计算得到计算结果。

S202，存储节点将计算结果发送至结算节点。

在上一步骤的基础上，本步骤旨在存储节点将计算结果发送出去。

结合第一实施例，本实施例主要是针对第一实施例中获取注册扩展计算地址做一个扩充，其他部分与第一实施例大体相同，相同部分可以参考第一实施例，在此不再做赘述。

本实施例，包括：

根据扩展计算地址进行编译得到解析库，以使存储节点根据扩展计算的名称解析得到扩展计算地址。

本实施例旨在注册地址时，对地址进行编译得到相应的解析库，存储节点通过扩展计算的简单信息就可以解析出其地址，简化了计算节点在发送指令时的指令数据包大小。

同样的当扩展计算需要维护时，扩展计算的维护不会影响到节点的软件部分，避免了浪费资源且难以维护的方法。

请参考图3，图3为本申请实施例所提供的一种基于分布式存储系统的计算方法的执行扩展计算的流程图。

结合上一实施例，本实施例主要是针对上一实施例中如何执行扩展计算做一个解释，其他部分大体与上一实施例相同，相同部分可以参考上一实施例，在此不做赘述。

本实施例可以包括：

S301，计算节点向存储节点发送执行扩展计算的指令；

本步骤旨在，计算节点向存储节点发送指令。其中，指令的内容大体包含，两个重要部分扩展计算的信息和数据的地址。

S302，存储节点根据指令和解析库解析出扩展计算地址；

在步骤S301的基础上，本步骤旨在接收到指令并解析指令，根据地址的解析库获取到扩展计算的地址。

S303，根据扩展计算地址调用扩展计算进行计算。

在步骤S302的基础上，本步骤旨在根据得到的地址调用对应的扩展计算，并执行计算。

本申请实施例提供了一种基于分布式存储系统的计算方法，通过在存储节点配置扩展计算单元并注册扩展计算的地址，当计算节点需要对数据进行处理的时候，在存储节点根据该扩展计算的地址调用执行该扩展计算，得到相应的结果，省去了将数据传输至计算节点的步骤，在存储系统内部节省了大量的带宽，提高了系统的运行效率。并且不会改动存储端的软件，实施复杂度较低，易于使用者开发。

下面对本申请实施例提供的一种基于分布式存储系统的计算装置进行介绍，下文描述的一种基于分布式存储系统的计算装置与上文描述的一种基于分布式存储系统的计算方法可相互对应参照。

请参考图4，图4为本申请实施例所提供的一种基于分布式存储系统的计算装置的结构示意图。

本实施例可以包括：

扩展计算定义模块100，用于在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，节点包括：存储节点和计算节点；

扩展计算注册模块200，用于根据扩展计算的信息注册扩展计算的地址，得到扩展计算地址；

执行扩展计算模块300，用于当存储节点接收到计算节点发送的执行扩展计算的指令时，存储节点根据指令和扩展计算地址执行扩展计算。

可选的，还可以包括：

计算结果获取模块，当存储节点根据指令和扩展计算地址执行扩展计算时，得到计算结果；

计算结果发送模块，存储节点将计算结果发送至结算节点。

可选的，扩展计算注册模块200，还可以包括：

解析库编译单元，根据扩展计算地址进行编译得到解析库，以使存储节点根据扩展计算的名称解析得到扩展计算地址。

可选的，执行扩展计算模块300，可以包括：

指令发送单元，计算节点向存储节点发送执行扩展计算的指令；

地址解析单元，存储节点根据指令和解析库解析出扩展计算地址；

计算处理单元，根据扩展计算地址调用扩展计算进行计算。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如下的步骤：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，节点包括：存储节点和计算节点；

根据扩展计算的信息注册扩展计算的地址，得到扩展计算地址；

当存储节点接收到计算节点发送的执行扩展计算的指令时，存储节点根据指令和扩展计算地址执行扩展计算。

本申请实施例还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时，实现如下的步骤：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，节点包括：存储节点和计算节点；

根据扩展计算的信息注册扩展计算的地址，得到扩展计算地址；

当存储节点接收到计算节点发送的执行扩展计算的指令时，存储节点根据指令和扩展计算地址执行扩展计算。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种基于分布式存储系统的计算方法、计算装置、计算机可读存储介质及服务器进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种基于分布式存储系统的计算方法，其特征在于，包括：

在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

当所述存储节点接收到所述计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

2.根据权利要求1所述的计算方法，其特征在于，还包括：

当所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算时，得到计算结果；

所述存储节点将所述计算结果发送至所述结算节点。

3.根据权利要求2所述的计算方法，其特征在于，所述根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址，还包括：

根据所述扩展计算地址进行编译得到解析库，以使所述存储节点根据所述扩展计算的名称解析得到所述扩展计算地址。

4.根据权利要求3所述的计算方法，其特征在于，所述当所述存储节点接收到所述计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算，包括：

所述计算节点向所述存储节点发送执行所述扩展计算的所述指令；

所述存储节点根据所述指令和所述解析库解析出所述扩展计算地址；

根据所述扩展计算地址调用所述扩展计算进行计算。

5.一种基于分布式存储系统的计算装置，其特征在于，包括：

扩展计算定义模块，用于在分布式存储系统的节点中执行定义扩展计算操作，得到扩展计算；其中，所述节点包括：存储节点和计算节点；

扩展计算注册模块，用于根据所述扩展计算的信息注册所述扩展计算的地址，得到扩展计算地址；

执行扩展计算模块，用于当所述存储节点接收到所述计算节点发送的执行所述扩展计算的指令时，所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算。

6.根据权利要求5所述的计算装置，其特征在于，还包括：

计算结果获取模块，当所述存储节点根据所述指令和所述扩展计算地址执行所述扩展计算时，得到计算结果；

计算结果发送模块，所述存储节点将所述计算结果发送至所述结算节点。

7.根据权利要求6所述的计算装置，其特征在于，所述扩展计算注册模块，还包括：

解析库编译单元，根据所述扩展计算地址进行编译得到解析库，以使所述存储节点根据所述扩展计算的名称解析得到所述扩展计算地址。

8.根据权利要求7所述的计算装置，其特征在于，所述执行扩展计算模块，包括：

指令发送单元，所述计算节点向所述存储节点发送执行所述扩展计算的所述指令；

地址解析单元，所述存储节点根据所述指令和所述解析库解析出所述扩展计算地址；

计算处理单元，根据所述扩展计算地址调用所述扩展计算进行计算。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的计算方法的步骤。

10.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的计算方法的步骤。