CN105893156B - 存储计算系统中的请求处理方法及存储计算系统 - Google Patents

Abstract

本发明涉及一种存储计算系统中的请求处理方法及存储计算系统。其方法包括：步骤S1，业务管理子系统中的当前节点根据接收到的请求的类型，确定所述类型对应的处理子系统；所述存储计算系统包括所述业务管理子系统和所述处理子系统，所述处理子系统包括数据存储子系统和计算子系统；步骤S2，所述当前节点根据所述类型对应的处理子系统发送所述请求；步骤S3，所述当前节点反馈处理结果。本发明实施例提供的方法及系统，可以支持不同类型的业务请求，提高了系统灵活性，降低了系统实现成本。

Description

存储计算系统中的请求处理方法及存储计算系统

技术领域

本发明涉及请求处理技术领域，尤其是涉及一种存储计算系统中的请求处理方法及存储计算系统。

背景技术

目前，云计算及云存储技术在各行各业得到了广泛应用。例如税务、银行、气象、交通、财政等应用领域。具体在每个应用领域中，会涉及到不同类型的业务，并且不同的业务类型会对应不同的业务请求类型，其处理相应业务请求类型的执行系统不同。例如，交易业务的数据请求，需要相应的数据存储系统支持。又例如，报表生成请求，需要相应的作业执行系统支持。目前对于不同的请求类型，需要开发不同的系统，以支持相应的请求类型。

但是，对于同一个企业或公司而言，例如一家银行，会同时存在各种类型的请求，如数据请求、报表生成请求等，需要采用不同的设备、运算程序或处理系统，则企业或公司需要开发不同的设备，其成本消耗大，资源浪费严重。

因此，开发一种存储计算系统或请求处理方法，能够处理不同类型的请求，是本领域技术人员亟需解决的问题。

发明内容

本发明旨在提供一种存储计算系统中的请求处理方法及存储计算系统，能够处理不同类型的请求。

第一方面，本发明提供一种存储计算系统中的请求处理方法，其具体说明如下：

本发明提供一种存储计算系统中的请求处理方法，具体说明如下：

步骤S1，业务管理子系统中的当前节点根据接收到请求的类型，确定类型对应的处理子系统；存储计算系统包括业务管理子系统和处理子系统，处理子系统包括数据存储子系统和计算子系统；

步骤S2，当前节点向该类型对应的处理子系统发送请求；

步骤S3，当前节点反馈处理结果。

进一步地，该存储计算系统中的请求处理方法在步骤S1之前，还包括当前节点判断本节点是否支持请求的类型；若支持，则执行步骤S1，若不支持，则将请求发送给分布式的业务管理子系统中的指定节点处理。

进一步地，该存储计算系统中的请求处理方法，其步骤S1具体包括：确定请求的类型为数据类型；确定数据类型对应的数据存储集群，数据存储子系统为分布式的数据存储集群。

进一步地，该存储计算系统中的请求处理方法，其步骤S1具体包括：确定请求的类型为作业类型；确定作业类型对应的计算子系统中的目标处理节点，计算子系统为分布式系统。

进一步地，该存储计算系统中的请求处理方法，其步骤S1具体包括：确定请求的类型为作业流请求；确定作业流类型对应的分布式作业流调度子系统，处理子系统包括分布式作业流调度子系统；其步骤S2具体包括：当前节点向分布式作业流调度子系统发送请求；在步骤S2之后，该方法还包括：分布式作业流调度子系统将作业流拆分为若干作业，分别发送给计算子系统中的若干处理节点。

本发明提供存储计算系统中的请求处理方法，能够接收不同类型的请求，并根据具体请求的类型，确定该请求对应的处理子系统，再将各请求发送至相应的处理子系统进行处理，得到处理结果，并将处理结果反馈给用户。本发明存储计算系统中的请求处理方法能够确定具体请求的类型，并在相应的处理子系统中处理各个请求，无需独立开发多个不同的处理系统，采用该存储计算系统及相应的请求处理方法，即可在同一系统处理不同类型的请求，并得到处理结果。

第二方面，本发明提供一种存储计算系统，其具体说明如下：

本发明提供一种存储计算系统，该系统包括业务管理子系统和处理子系统，业务管理子系统用于根据当前节点根据接收到的请求的类型，确定类型对应的处理子系统，并向处理子系统发送请求，反馈处理结果；处理子系统包括数据存储子系统和计算子系统，数据存储子系统用于存储数据，计算子系统用于执行作业。

进一步地，该存储计算系统的业务管理子系统还用于：判断本节点是否支持该请求的类型；若支持，则业务管理子系统根据请求的类型，确定请求对应的处理子系统；若不支持，则业务管理子系统将请求发送给分布式的业务管理子系统中的指定节点处理。

进一步地，该存储计算系统在请求的类型为数据类型时，业务管理子系统具体用于：确定数据类型对应的数据存储集群，数据存储子系统为分布式的数据存储集群。

进一步地，该存储计算系统在请求的类型为作业类型时，业务管理子系统具体用于：确定作业类型对应的计算子系统中的目标处理节点，计算子系统为分布式系统。

进一步地，该存储计算系统在请求的类型为作业流请求时，业务管理子系统具体用于：确定作业流类型对应的分布式作业流调度子系统，处理子系统包括分布式作业流调度子系统；分布式作业流调度子系统用于拆分作业流为若干作业，分别发送给计算子系统中的若干处理节点。

本发明提供的存储计算系统，能够接收不同类型的请求，针对各个请求的类型，确定该请求对应的处理子系统，再将各请求发送至相应的处理子系统进行处理，得到处理结果，并将处理结果反馈给用户，无需独立开发多个不同的处理系统，采用该存储计算系统，即可在同一系统处理不同类型的请求，并得到处理结果。

因此，本发明提供的存储计算系统中的请求处理方法及存储计算系统，能够处理不同类型的请求。

附图说明

图1是本发明提供的第一个存储计算系统中的请求处理方法流程图；

图2是本发明提供的第二个存储计算系统中的请求处理方法流程图；

图3是本发明提供的一个数据请求处理方法流程图；

图4是本发明提供的一个作业请求处理方法流程图；

图5是本发明提供的一个作业流请求处理方法流程图；

图6是本发明提供的一个存储计算系统架构示意图；

图7是本发明提供的另一个存储计算系统架构示意图；

图8是本发明提供的一个工作原理图。

具体实施方式

下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。

第一方面，本发明提供一种存储计算系统中的请求处理方法，其具体说明如下：

本实施例提供一种存储计算系统中的请求处理方法，结合图1，具体说明如下：

步骤S1，业务管理子系统中的当前节点根据接收到请求的类型，确定类型对应的处理子系统；存储计算系统包括业务管理子系统和处理子系统，处理子系统包括数据存储子系统和计算子系统；

步骤S2，当前节点向该类型对应的处理子系统发送请求；

步骤S3，当前节点反馈处理结果。

本实施例提供存储计算系统中的请求处理方法，能够接收不同类型的请求，并根据具体请求的类型，确定该请求对应的处理子系统，再将各请求发送至相应的处理子系统进行处理，得到处理结果，并将处理结果反馈给用户。其中，当前节点是指接收到该请求的节点。本实施例存储计算系统中的请求处理方法能够确定具体请求的类型，并在相应的处理子系统中处理各个请求，无需独立开发多个不同的处理系统，采用该存储计算系统及相应的请求处理方法，即可在同一系统处理不同类型的请求，并得到处理结果。因此，本实施例提供的存储计算系统中的请求处理方法，能够处理不同类型的请求。

优选地，本实施例存储计算系统中的请求处理方法，能够接收不同类型的请求，并且针对不同的类型，该存储计算系统中的请求处理方法还能够判断本节点能否支持，结合图2，具体说明如下：

步骤S21，判断本节点是否支持请求的类型；

若本节点支持该请求的类型，则执行：

步骤S22，业务管理子系统中的当前节点根据接收到请求的类型，确定该类型对应的处理子系统；存储计算系统包括业务管理子系统和处理子系统，处理子系统包括数据存储子系统和计算子系统；

步骤S23，当前节点向该类型对应的处理子系统发送请求；

步骤S24，当前节点反馈处理结果。

若本节点不支持该请求的类型，则执行：

步骤S25，将该请求发送给分布式的业务管理子系统中的指定节点处理。

本实施例存储计算系统中的请求处理方法，能够接收不同类型的请求，其中，也会存在某些请求本地节点无法处理。该存储计算系统中的请求处理方法首先判断本节点能否支持该请求，若能够处理，则在本地节点处理该请求，若不能处理，该存储计算系统中的请求处理方法将该请求路由至指定节点的业务管理子系统进行处理，节省系统、设备等资源，并且能够实现处理不同类型的请求。

具体地，针对数据类型的请求，本实施例存储计算系统中的请求处理方法，结合图3，具体说明如下:

步骤S31，业务管理子系统中的当前节点根据数据类型,确定数据类型对应的数据存储集群，数据存储子系统为分布式的数据存储集群；

步骤S32，当前节点向该数据类型对应的数据存储集群发送请求；

步骤S33，当前节点反馈处理结果。

本实施例存储计算系统中的请求处理方法，针对数据类型的请求，如小票保存请求，该存储计算系统中的请求处理方法确定能够处理该请求的数据存储集群，在相应的数据存储集群中，处理该数据请求，其中数据存储子系统为分布式的数据存储集群。该数据存储子系统包括但不仅限于HDFS、HBase、数据库和文件系统。其中，HDFS适用于超大数据的应用程序，其数据吞吐量高，时延较长，HBase的时延较低。该存储计算系统中的请求处理方法，能够针对数据类型的请求，确定能够处理该请求的数据存储集群，提高数据运算效率，缩短处理时间。

具体地，针对作业类型的请求，本实施例存储计算系统中的请求处理方法，结合图4，具体说明如下:

步骤S41，业务管理子系统中的当前节点根据作业类型,确定作业类型对应的计算子系统中的目标处理节点，计算子系统为分布式系统；

步骤S42，当前节点向该作业类型对应的计算子系统中的目标处理节点发送请求；

步骤S43，当前节点反馈处理结果。

本实施例存储计算系统中的请求处理方法，针对作业类型的请求，如评价报告请求，该存储计算系统中的请求处理方法，能够确定处理该请求的计算子系统目标处理节点，该作业请求在该计算子系统得到处理，并反馈处理结果。该存储计算系统中的请求处理方法针对作业请求，在相应的处理子系统进行处理，保障该作业请求能够得到及时、有效地处理，提高数据运算效率，缩短请求处理时间。

具体地，针对作业流类型的请求，本实施例存储计算系统中的请求处理方法，结合图5，具体说明如下:

步骤S51，业务管理子系统中的当前节点根据作业流类型,确定作业流类型对应的分布式作业流调度子系统，处理子系统包括分布式作业流调度子系统；

步骤S52，当前节点向该作业流类型对应的分布式作业流调度子系统发送请求；

步骤S53，分布式作业流调度子系统将作业流拆分为若干作业，分别发送给计算子系统中的若干处理节点；

步骤S54，当前节点反馈处理结果。

本实施例存储计算系统中的请求处理方法，针对作业流类型的请求，如年报生成类复杂任务，该存储计算系统中的请求处理方法，将该作业流请求发送至分布式作业流调度子系统，拆分为若干作业，发送至计算子系统的若干处理节点处理该作业流请求。该存储计算系统中的请求处理方法能够及时、有效地处理作业流类型的请求，并且数据运算效率高、处理结果可靠、节省系统设备等资源。

第二方面，本发明提供一种存储计算系统，其具体说明如下：

本实施例提供一种存储计算系统，结合图6，该系统包括业务管理子系统61和处理子系统62，业务管理子系统61用于根据当前节点根据接收到的请求的类型，确定类型对应的处理子系统62，并向处理子系统62发送请求，反馈处理结果；处理子系统62可以是数据存储子系统621，也可以是计算子系统622，数据存储子系统621用于存储数据，计算子系统622用于执行作业。

本实施例提供的存储计算系统，能够接收不同类型的请求，针对各个请求的类型，确定该请求对应的处理子系统62，再将各请求发送至相应的处理子系统62进行处理，得到处理结果，并将处理结果反馈给用户，无需独立开发多个不同的处理系统，采用该存储计算系统，即可在同一系统处理不同类型的请求，并得到处理结果。因此，本实施例提供的存储计算系统，能够处理不同类型的请求。

优选地，本实施例存储计算系统，能够接收不同类型的请求，并且针对不同的类型，该存储计算系统还能够判断本节点能否支持该请求的类型，若支持，则业务管理子系统61根据请求的类型，确定请求对应的处理子系统62；若不支持，则业务管理子系统61将请求发送给分布式的业务管理子系统61中的指定节点处理。本实施例存储计算系统的业务管理子系统61首先进行判断，本节点能否支持该请求的类型，若不能处理该请求，则将该请求发送至分布式的业务管理子系统61中的指定节点处理，确保本节点接收的各个类型的请求均得到相应的处理，及时、有效地向用户反馈处理结果，并提高设备资源利用率，降低设备成本。

具体地，本实施例存储计算系统，在请求的类型为数据类型时，业务管理子系统61具体用于：确定数据类型对应的数据存储集群，并向该数据存储集群发送该请求，数据存储子系统621为分布式的数据存储集群。本实施例存储计算系统，针对数据类型的请求，如小票保存请求，确定能够处理该请求的数据存储集群，在相应的数据存储集群中，处理该数据请求，其中数据存储子系统621为分布式的数据存储集群。该数据存储子系统621包括但不仅限于HDFS、HBase、数据库和文件系统。其中，HDFS适用于超大数据的应用程序，其数据吞吐量高，时延较长，HBase的时延较低。该存储计算系统的业务管理子系统61，能够针对数据类型的请求，确定能够处理该请求的数据存储集群，提高数据运算效率，缩短处理时间。

具体地，本实施例存储计算系统，在请求的类型为作业类型时，业务管理子系统61具体用于：确定作业类型对应的计算子系统622中的目标处理节点，计算子系统622为分布式系统。本实施例存储计算系统，针对作业类型的请求，如评价报告请求，确定能够处理该请求的计算子系统622中的目标处理节点，该作业请求在该计算子系统622得到处理，并反馈处理结果。该存储计算系统的业务管理子系统61将作业请求发送至相应的处理子系统62进行处理，保障该作业请求能够得到及时、有效地处理，提高数据运算效率，缩短请求处理时间。

具体地，本实施例存储计算系统，在请求的类型为作业流类型时，业务管理子系统61具体用于：确定作业流类型对应的分布式作业流调度子系统，处理子系统62还可以是分布式作业流调度子系统；分布式作业流调度子系统用于拆分作业流为若干作业，分别发送给计算子系统622中的若干处理节点。本实施例存储计算系统，针对作业流类型的请求，如年报生成类复杂任务，

采用分布式作业流调度子系统，将作业流拆分为若干作业，在相应的计算子系统622的若干处理节点处理该作业流请求，能够保证作业流请求得到及时、有效的处理，并且将复杂作业流拆分为若干作业，在计算子系统622的若干节点得到相应处理，提高数据运算效率。

本实施例提供另一种存储计算系统，结合图7，该系统包括数据服务管理单元71、数据存储单元72、数据计算单元73和分布式作业流调度引擎，其中数据服务管理单元71为上述业务管理子系统，数据存储单元72、数据计算单元73和分布式作业流调度引擎共同实现上述处理子系统的功能。该数据服务管理单元71包括数据服务管理模块和驱动管理模块。从逻辑上划分，该分布式存储计算系统包括若干个数据服务管理单元71、若干个数据存储单元72、若干个数据计算单元73；从硬件上划分，该分布式存储计算系统包括若干个本地磁盘、以太网交换机或者IB交换机。为了充分利用资源，每个节点或本地磁盘上均布置有数据服务管理单元71、数据存储单元72和数据计算单元73。结合图8，每个数据服务管理模块中包括服务注册和发现子模块、侦听分发子模块、任务库子模块、任务执行线程池子模块和接口服务线程池子模块。每个驱动管理器包括各个存储单元的驱动，如HDFS驱动、HBase驱动、JDBC驱动、File驱动等。

当侦听分发子模块接收到请求，对该请求进行解析，通过解析获知该请求的类型，如数据请求、作业请求或作业流请求，并根据本节点任务库子模块支持的服务类型判断是否由本节点进行后续处理；其中，任务库子模块存储至少一种任务类型，如读取任务、数据处理、数据操作、安全审计、统计分析、入库任务、位置服务、迁移装载、计算分析、并行检索。

若判断本节点无法执行后续处理，与服务注册和发现子模块进行通信，由服务注册和发现子模块指定数据服务管理模块，并返回指定的数据服务管理模块的地址；当前节点的侦听分发子模块根据接收到的地址，将请求路由到指定的数据服务管理模块的接口服务线程池。

对于数据请求，例如小票保存请求，接口服务线程池直接或通过任务执行线程池触发本节点的驱动管理器工作，由驱动管理器向分布式集群发送数据访问请求。

对于作业请求，例如评价报告，接口服务线程池向数据计算单元发送作业请求。

对于作业流请求，例如年报生成，接口服务线程池将该请求发送给JSS分布式调度引擎，由JSS分布式调度引擎基于DAG图将作业流拆分成若干作业，并分发给数据计算单元，其中JSS分布式调度引擎即分布式作业流调度引擎。

最后，数据服务管理单元将各种类型请求的处理结果反馈给请求者。

尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于实施方案，而归于权利要求的范围，其包括每个因素的等同替换。

Claims (10)

1.一种存储计算系统中的请求处理方法，其特征在于，所述方法包括:

步骤S1，业务管理子系统中的当前节点的侦听分发子模块接收请求，并对所述请求进行解析，获取该请求的类型，根据接收到的该请求的类型和任务库子模块支持的任务类型，确定所述类型对应的处理子系统；所述任务库子模块存储至少一种任务类型，所述存储计算系统包括所述业务管理子系统和所述处理子系统，所述处理子系统包括数据存储子系统、计算子系统和分布式作业流调度子系统；

步骤S2，所述当前节点的侦听分发子模块通过接口服务线程池或任务执行线程池触发驱动管理器，由所述驱动管理器向所述处理子系统中的分布式数据存储集群发送所述请求；

或所述当前节点的侦听分发子模块通过接口服务线程池向所述处理子系统的数据计算单元发送所述请求；

或所述当前节点的侦听分发子模块通过接口服务线程池向所述分布式作业流调度子系统发送所述请求；

所述业务管理子系统包括所述侦听分发子模块、所述任务库子模块、所述接口服务线程池、所述任务执行线程池和所述驱动管理器；

步骤S3，所述当前节点的侦听分发子模块反馈处理结果。

2.根据权利要求1所述存储计算系统中的请求处理方法，其特征在于，步骤S1之前，该方法还包括：所述当前节点判断本节点是否支持所述请求的类型；若支持，执行所述步骤S1，若不支持，将所述请求发送给分布式的所述业务管理子系统中的指定节点处理。

3.根据权利要求1所述存储计算系统中的请求处理方法，其特征在于，所述步骤S1具体包括：

确定所述请求的类型为数据类型；

确定所述数据类型对应的数据存储集群，所述数据存储子系统为分布式的数据存储集群。

4.根据权利要求1所述存储计算系统中的请求处理方法，其特征在于，

所述步骤S1具体包括：

确定所述请求的类型为作业类型；

确定所述作业类型对应的所述计算子系统中的目标处理节点，所述计算子系统为分布式系统。

5.根据权利要求1所述存储计算系统中的请求处理方法，其特征在于，

所述步骤S1具体包括：

确定所述请求的类型为作业流类型；

确定所述作业流类型对应的分布式作业流调度子系统，所述处理子系统包括所述分布式作业流调度子系统；

步骤S2具体包括：所述当前节点向所述分布式作业流调度子系统发送所述请求；

所述步骤S2之后，该方法还包括：所述分布式作业流调度子系统将作业流拆分为若干作业，分别发送给所述计算子系统中的若干处理节点。

6.一种存储计算系统，其特征在于，所述系统包括：

业务管理子系统和处理子系统，

所述业务管理子系统的侦听分发子模块用于接收请求，并对所述请求进行解析，获取该请求的类型，根据接收到的该请求的类型和任务库子模块支持的任务类型，确定所述类型对应的处理子系统，

所述业务管理子系统的侦听分发子模块还用于通过接口服务线程池或任务执行线程池触发驱动管理器，由所述驱动管理器向分布式的数据存储集群发送所述请求，数据存储子系统为分布式的数据存储集群；或当前节点的侦听分发子模块通过接口服务线程池向所述处理子系统的数据计算单元发送所述请求；或所述当前节点的侦听分发子模块通过接口服务线程池向分布式作业流调度子系统发送所述请求；反馈处理结果，所述任务库子模块存储至少一种任务类型，所述业务管理子系统包括所述侦听分发子模块、所述任务库子模块、所述接口服务线程池、所述任务执行线程池和所述驱动管理器；

所述处理子系统包括数据存储子系统、计算子系统和分布式作业流调度子系统；

所述数据存储子系统用于存储数据；

所述计算子系统用于执行作业。

7.根据权利要求6所述的存储计算系统，其特征在于，

所述业务管理子系统还用于判断本节点是否支持所述请求的类型；

若支持，则所述业务管理子系统根据所述类型，确定所述请求对应的处理子系统；

若不支持，则所述业务管理子系统将所述请求发送给分布式的所述业务管理子系统中的指定节点处理。

8.根据权利要求6所述的存储计算系统，其特征在于，

在所述请求的类型为数据类型时，所述业务管理子系统具体用于：

确定所述数据类型对应的数据存储集群，所述数据存储子系统为分布式的数据存储集群。

9.根据权利要求6所述的存储计算系统，其特征在于，

在所述请求的类型为作业类型时，所述业务管理子系统具体用于：

确定所述作业类型对应的所述计算子系统中的目标处理节点，所述计算子系统为分布式系统。

10.根据权利要求6所述的存储计算系统，其特征在于，

在所述请求的类型为作业流类型时，所述业务管理子系统具体用于：

确定所述作业流类型对应的分布式作业流调度子系统，所述处理子系统包括所述分布式作业流调度子系统；所述分布式作业流调度子系统用于拆分作业流为若干作业，分别发送给所述计算子系统中的若干处理节点。