CN109491789A - 一种分布式存储系统业务均衡处理方法、装置及设备 - Google Patents

Abstract

本发明公开了一种分布式存储系统业务均衡处理方法，包括：接收客户端执行业务操作后发送的多个业务请求，分析业务操作的业务类型；依据预设的调整规则确定业务类型对应的调整策略；若业务类型对应于延时提高型策略，则控制业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；业务缓存层中保存有自当前时刻之前的预设时间段内的业务处理数据；若业务类型对应于吞吐量提高型策略，则控制业务请求对底层系统的数据进行读写。本发明能够依据业务操作的类型分析出其性能需求，从而选择合适的处理方式进行处理，来提高分布式存储系统的整体性能。本发明还公开一种包括基于上述方法的装置、设备及计算机可读存储介质。

Description

一种分布式存储系统业务均衡处理方法、装置及设备

技术领域

本发明涉及业务均衡分配技术领域，特别是涉及一种分布式存储系统业务均衡处理方法。本发明还涉及一种分布式存储系统业务均衡处理装置、设备及计算机可读存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

衡量分布式存储系统性能常见的指标是系统的吞吐量和系统的响应延迟，吞吐量是在一段时间内可以处理的请求总数，可以用QPS(Query Per Second，每秒查询次数)和TPS(Transaction Per second，每秒传输包个数)衡量，在实际应用中影响吞吐量的因素主要是业务请求将数据写入系统的速度。而响应延迟是指某个请求发出到接收到返回结果所消耗的时间，通常用平均延迟来衡量，在实际应用中影响的响应延迟因素主要是业务请求读取系统内的数据的速度。这两个指标往往是矛盾的，追求高吞吐量，比较难做到低延迟，追求低延迟，吞吐量会受影响。这样导致系统进行业务均衡时，通常只能牺牲某一项来处理，导致对另一项要求高的业务处理性能较差，影响系统的整体性能。

因此，如何提供一种整体性能好的分布式存储系统业务均衡处理方法是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种分布式存储系统业务均衡处理方法，能够依据业务操作的类型分析出其性能需求，从而选择合适的处理方式进行处理，来提高分布式存储系统的整体性能；本发明的另一目的是提供一种包括基于上述方法的装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供了一种分布式存储系统业务均衡处理方法，包括：

接收所述客户端执行业务操作后发送的多个业务请求，分析所述业务操作的业务类型；

依据预设的调整规则确定所述业务类型对应的调整策略；

若所述业务类型对应于延时提高型策略，则控制所述业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；所述业务缓存层中保存有自当前时刻之前的预设时间段内的业务处理数据；

若所述业务类型对应于吞吐量提高型策略，则控制所述业务请求对所述底层系统的数据进行读写。

优选地，所述业务类型对应于吞吐量提高型策略时，控制所述业务请求对所述底层系统的数据进行读写之前，还包括：

验证所述业务操作发送的第一个业务请求的签名，验证通过后，所述业务操作对应的多个业务请求依次对所述底层系统的数据进行读写。

优选地，所述业务请求对所述底层系统的数据进行读写之后，还包括：

缓存每个业务请求读写完成后的处理结果；

等待预设个数的业务请求读写完成后，将所述预设个数的业务请求的处理结果打包作为一个响应返回至所述客户端。

优选地，所述业务类型包括：文件检索、单一文件读写、多文件读写中的任一种。

优选地，所述分析所述业务操作的业务类型之后，依据预设的调整规则确定所述业务类型对应的调整策略之前还包括：

将所述业务类型转换为对应的操作码；

相应的，所述依据预设的调整规则确定所述业务类型对应的调整策略的过程具体为：

依据预设的调整规则确定所述操作码对应的调整策略。

优选地，所述调整规则具体包括操作表；所述操作表内包括操作码以及每个操作码对应的调整策略。

为解决上述技术问题，本发明还提供了一种分布式存储系统业务均衡处理装置，包括：

分析模块，用于接收所述客户端执行业务操作后发送的多个业务请求，分析所述业务操作的业务类型；

动态调整模块，用于依据预设的调整规则确定所述业务类型对应的调整策略；若所述业务类型对应于延时提高型策略，则将所述业务请求发送至中间件缓存模块；若所述业务类型对应于吞吐量提高型策略，则将所述业务请求发送至直写模块；

所述中间件缓存模块，用于控制所述业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；

所述直写模块，用于控制所述业务请求对所述底层系统的数据进行读写；

所述业务缓存层，用于保存有自当前时刻之前的预设时间段内的业务处理数据。

优选地，所述直写模块还用于：

缓存每个业务请求读写完成后的处理结果；等待预设个数的业务请求读写完成后，将所述预设个数的业务请求的处理结果打包作为一个响应返回至所述客户端。

为解决上述技术问题，本发明还提供了一种分布式存储系统业务均衡处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上任一项所述的分布式存储系统业务均衡处理方法的步骤。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一项所述的分布式存储系统业务均衡处理方法的步骤。

本发明提供了一种分布式存储系统业务均衡处理方法，在接收到客户端执行业务操作后发送的业务请求后，据此分析该次业务操作的业务类型，之后根据业务类型的情况，来确认该业务类型是对应于延时提高型策略还是对应于吞吐量提高型策略。可以理解的是，对应延时提高型策略的业务类型表明该业务比较注重响应延时的特性，需要提高业务请求读取数据的速度，因此，本发明中设置了一个位于底层系统之前的业务缓存层，在业务缓存层内保存自当前时刻之前的预设时间段内的业务处理数据，这样使得业务请求处理时所需的大部分数据不需要去底层系统读取，而是直接从业务缓存层内读取即可，读取数据的路径缩短，从而提高了业务请求读取数据的速度，缩短了响应延时。另一方面，对应吞吐量提高型策略的业务类型表明该业务比较注重吞吐量时的特性，需要提高业务请求写入数据的速度，因此，本发明此时令业务请求直接对底层系统的数据进行读写，相比对业务缓存层进行写入然后再对底层系统进行写入的方式，直接写入底层数据的方式，写入速度较快，从而提高了吞吐量。由此可见，本发明使分布式存储系统即能够提供响应延时较优的方案，又能够提供吞吐量较优的方案，并且能够依据业务操作的类型分析出其性能需求，从而选择合适的处理方式进行处理，来提高分布式存储系统的整体性能。本发明还提供了一种包括基于上述方法的装置、设备及计算机可读存储介质。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种分布式存储系统业务均衡处理方法的过程的流程图；

图2为本发明提供的一种分布式存储系统业务均衡处理装置的结构示意图。

具体实施方式

本发明的核心是提供一种分布式存储系统业务均衡处理方法，能够依据业务操作的类型分析出其性能需求，从而选择合适的处理方式进行处理，来提高分布式存储系统的整体性能；本发明的另一核心是提供一种包括基于上述方法的装置、设备及计算机可读存储介质。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种分布式存储系统业务均衡处理方法，参见图1所示，图1为本发明提供的一种分布式存储系统业务均衡处理方法的过程的流程图；该方法包括：

步骤s1：接收客户端执行业务操作后发送的多个业务请求，分析业务操作的业务类型；

可以理解的是，客户端每执行一次业务操作后，会发送数个请求包至分布式存储系统内。

步骤s2：依据预设的调整规则确定业务类型对应的调整策略；

这些业务操作具有不同的类型，因此，具有不同的业务性能需求。在某些操作，例如复制一个大文件到集群，用户比较在意系统的吞吐量，而对系统的响应延迟要求较低，而在查询目录等操作时，用户更在意系统的响应延迟，而对系统的吞吐量要求比较低。因此，需要根据业务类型确定其是对吞吐量更为在意还是对响应延迟更为在意。本发明中，根据业务需求的不同，有针对性的选择具有不同性能优点的业务处理方式，若对响应延迟更为在意，则选择延时提高型策略，即缩短业务处理的响应延迟，响应延迟性能更优；若对吞吐量更为在意，则选择吞吐量提高型策略，即增大业务处理的吞吐量，吞吐量性能更优。这种方式能够满足用户需求，提高系统的整体性能。由于本发明仅针对吞吐量和响应延迟，因此上述调整规则对应的调整策略仅分为两类，即延时提高型策略和吞吐量提高型策略，调整规则的内容即为延时提高型策略对应的全部业务类型和吞吐量提高型策略对应的全部业务类型，步骤s2中根据当前处理的业务类型属于哪一类，来确定其对应的调整策略。

步骤s3：若业务类型对应于延时提高型策略，则控制业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；业务缓存层中保存有自当前时刻之前的预设时间段内的业务处理数据；

可以理解的是，对应延时提高型策略的业务类型表明该业务比较注重响应延时的特性，需要提高业务请求读取数据的速度，因此，本发明中设置了一个位于底层系统之前的业务缓存层，在业务缓存层内保存自当前时刻之前的预设时间段内的业务处理数据。通常情况下，业务处理时的数据需要去底层系统读取，而本发明中，通过设置业务缓存层，使得业务请求处理时所需的大部分数据不需要去底层系统读取，而是直接从业务缓存层内读取即可。由于业务缓存层位于底层系统之前，因此，业务缓存层距离当前数据处理单元的距离要比底层系统更近，即读取业务缓存层内的数据的路径要比读取低层系统内的数据的路径短，通过缩短读取数据的路径，能够提高业务请求读取数据的速度，缩短了响应延时。但是由于这种情况下，数据写入时，也需要首先写入业务缓存层，再写入底层系统，会导致数据写入过程较慢，降低了系统的吞吐量。

这里的预设时间段可以为5分钟之内的，当然，本发明不限定预设时间段的具体数值。

步骤s4：若业务类型对应于吞吐量提高型策略，则控制业务请求对底层系统的数据进行读写。

可以理解的是，对应吞吐量提高型策略的业务类型表明该业务比较注重吞吐量时的特性，需要提高业务请求写入数据的速度，因此，本发明此时令业务请求直接对底层系统的数据进行读写，相比对业务缓存层进行写入然后再对底层系统进行写入的方式，直接写入底层数据的方式，写入速度较快，从而提高了吞吐量。但是，该种方法中，由于需要直接读取底层系统的数据，因此，数据读取的过程较慢，因此，响应延迟较长。

本发明提供了一种分布式存储系统业务均衡处理方法，在接收到客户端执行业务操作后发送的业务请求后，据此分析该次业务操作的业务类型，之后根据业务类型的情况，来确认该业务类型是对应于延时提高型策略还是对应于吞吐量提高型策略。由此可见，本发明使分布式存储系统即能够提供响应延时较优的方案，又能够提供吞吐量较优的方案，并且能够依据业务操作的类型分析出其性能需求，从而选择合适的处理方式进行处理，来提高分布式存储系统的整体性能。

作为优选地，步骤s4中，控制业务请求对底层系统的数据进行读写之前，还包括：

验证业务操作发送的第一个业务请求的签名，验证通过后，业务操作对应的多个业务请求依次对底层系统的数据进行读写。

可以理解的是，客户端每进行一次业务操作，均会生成多个业务请求，这些业务请求通常均携带有签名，需要由分布式存储系统进行验证，即分布式存储系统需要验证每个业务请求的签名，操作复杂，影响业务处理效率。由于这些业务请求均是由同一个客户端的同一次业务操作产生的，因此通常只要其中一个没有问题，则其他的应该也没有问题，因此本实施例基于此思想，仅对该业务操作产生的第一个业务请求进行签名验证，只要验证通过，则该业务操作产生的后续的业务请求则不再进行验证，而是全部直接通过。这种方式下，能够节省大量的验证时间，提高业务处理速度，进而增大业务处理的吞吐量。

在一优选实施例中，业务请求对底层系统的数据进行读写之后，还包括：

缓存每个业务请求读写完成后的处理结果；

等待预设个数的业务请求读写完成后，将预设个数的业务请求的处理结果打包作为一个响应返回至客户端。

可以理解的是，由于分布式存储系统与客户端之间的带宽是有限的，若每个业务请求的处理结果均返回一个响应的话，则会占用较多的带宽，并且这些响应通常需要串行返回客户端，因此会占用较多的时间。本实施例中，每个业务请求处理完成后，不立即返回响应至客户端，而是积攒预设个数的业务请求的处理结果，打包为一个响应后发回客户端。这种方式不仅节省带宽，并且相比每个处理结果分别发送的方式，本实施例响应回复占用的时间较少，进而提高了业务处理效率，从而提高系统的吞吐量。

其中，上述业务类型包括：文件检索、单一文件读写、多文件读写中的任一种。这里的单一文件读写主要指的是大文件读写，多文件读写指的主要是大量的小文件的读写。当然，业务类型也可按照其他规则进行划分，业务类型的内容本发明也不作具体限定。

作为优选地，步骤s1之后，步骤s2之前还包括：将业务类型转换为对应的操作码；相应的，步骤s2的过程具体为：依据预设的调整规则确定操作码对应的调整策略。

可以理解的是，业务类型和调整策略采用文字对应的方式的话，不太方便识别业务类型对应的调整策略，因此，本实施例将业务类型转换为操作码，后续将操作码和调整策略进行对应，由于操作码相比文字的方式，更容易进行识别，因此，方便了后续调整策略的确定。举例来说，可以用数字1,2,3……来表明各个业务类型，之后调整规则内确定每个调整策略对应的数字范围，从而使后续只需要查找当前业务类型对应的数字范围，即可确定调整策略。另外，调整规则内，也可以用编码表征本发明中提到的两类调整策略，例如1为延时提高型策略，2为吞吐量提高型策略，调整规则内每个业务类型均对应有1或2，来表明该类型业务对应的调整策略内容。当然，以上仅为几种优选实施例，本发明不限定操作码以及表征调整策略的编码的类型和内容。并且，也可不采用操作码或者调整策略编码的方式，本发明对此不作限定。

进一步的，调整规则具体包括操作表；操作表内包括操作码以及每个操作码对应的调整策略。

可以理解的是，将调整规则以表格的形式进行表现，能够方便调整规则内数据的读取和利用，表格中的内容相比文本形式的内容，数据读取和查找更为方便。当然，以上仅为优选实施例，调整规则具体采用哪种文件形式保存，本发明不作限定。

本发明还提供了一种分布式存储系统业务均衡处理装置，参见图2所示，图2为本发明提供的一种分布式存储系统业务均衡处理装置的结构示意图。该装置包括：

分析模块1，用于接收客户端执行业务操作后发送的多个业务请求，分析业务操作的业务类型；

动态调整模块2，用于依据预设的调整规则确定业务类型对应的调整策略；若业务类型对应于延时提高型策略，则将业务请求发送至中间件缓存模块3；若业务类型对应于吞吐量提高型策略，则将业务请求发送至直写模块4；

中间件缓存模块3，用于控制业务请求对设置于底层系统6之前的业务缓存层5中的数据进行读写；

直写模块4，用于控制业务请求对底层系统6的数据进行读写；

业务缓存层5，用于保存有自当前时刻之前的预设时间段内的业务处理数据。

作为优选地，直写模块4还用于：

缓存每个业务请求读写完成后的处理结果；等待预设个数的业务请求读写完成后，将预设个数的业务请求的处理结果打包作为一个响应返回至客户端。

本发明提供的分布式存储系统业务均衡处理装置是用于实现前述的分布式存储系统业务均衡处理方法的，分布式存储系统业务均衡处理装置与以上分布式存储系统业务均衡处理方法一一对应实现。

本发明还提供了一种分布式存储系统业务均衡处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如以上任一项的分布式存储系统业务均衡处理方法的步骤。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任一项的分布式存储系统业务均衡处理方法的步骤。

以上的几种具体实施方式仅是本发明的优选实施方式，以上几种具体实施例可以任意组合，组合后得到的实施例也在本发明的保护范围之内。应当指出，对于本技术领域的普通技术人员来说，相关专业技术人员在不脱离本发明精神和构思前提下推演出的其他改进和变化，均应包含在本发明的保护范围之内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式存储系统业务均衡处理方法，其特征在于，包括：

接收所述客户端执行业务操作后发送的多个业务请求，分析所述业务操作的业务类型；

依据预设的调整规则确定所述业务类型对应的调整策略；

若所述业务类型对应于延时提高型策略，则控制所述业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；所述业务缓存层中保存有自当前时刻之前的预设时间段内的业务处理数据；

若所述业务类型对应于吞吐量提高型策略，则控制所述业务请求对所述底层系统的数据进行读写。

2.根据权利要求1所述的分布式存储系统业务均衡处理方法，其特征在于，所述业务类型对应于吞吐量提高型策略时，控制所述业务请求对所述底层系统的数据进行读写之前，还包括：

验证所述业务操作发送的第一个业务请求的签名，验证通过后，所述业务操作对应的多个业务请求依次对所述底层系统的数据进行读写。

3.根据权利要求1或2所述的分布式存储系统业务均衡处理方法，其特征在于，所述业务请求对所述底层系统的数据进行读写之后，还包括：

缓存每个业务请求读写完成后的处理结果；

等待预设个数的业务请求读写完成后，将所述预设个数的业务请求的处理结果打包作为一个响应返回至所述客户端。

4.根据权利要求1所述的分布式存储系统业务均衡处理方法，其特征在于，所述业务类型包括：文件检索、单一文件读写、多文件读写中的任一种。

5.根据权利要求1所述的分布式存储系统业务均衡处理方法，其特征在于，所述分析所述业务操作的业务类型之后，依据预设的调整规则确定所述业务类型对应的调整策略之前还包括：

将所述业务类型转换为对应的操作码；

相应的，所述依据预设的调整规则确定所述业务类型对应的调整策略的过程具体为：

依据预设的调整规则确定所述操作码对应的调整策略。

6.根据权利要求5所述的分布式存储系统业务均衡处理方法，其特征在于，所述调整规则具体包括操作表；所述操作表内包括操作码以及每个操作码对应的调整策略。

7.一种分布式存储系统业务均衡处理装置，其特征在于，包括：

分析模块，用于接收所述客户端执行业务操作后发送的多个业务请求，分析所述业务操作的业务类型；

动态调整模块，用于依据预设的调整规则确定所述业务类型对应的调整策略；若所述业务类型对应于延时提高型策略，则将所述业务请求发送至中间件缓存模块；若所述业务类型对应于吞吐量提高型策略，则将所述业务请求发送至直写模块；

所述中间件缓存模块，用于控制所述业务请求对设置于底层系统之前的业务缓存层中的数据进行读写；

所述直写模块，用于控制所述业务请求对所述底层系统的数据进行读写；

所述业务缓存层，用于保存有自当前时刻之前的预设时间段内的业务处理数据。

8.根据权利要求7所述的分布式存储系统业务均衡处理装置，其特征在于，所述直写模块还用于：

缓存每个业务请求读写完成后的处理结果；等待预设个数的业务请求读写完成后，将所述预设个数的业务请求的处理结果打包作为一个响应返回至所述客户端。

9.一种分布式存储系统业务均衡处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的分布式存储系统业务均衡处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的分布式存储系统业务均衡处理方法的步骤。