CN110502339A - 数据服务资源分配方法、装置、系统和存储介质 - Google Patents

Abstract

本发明公开一种数据服务资源分配方法、装置、系统和存储介质，属于数据分析技术领域。方法包括：在接收到数据请求时，对数据请求进行解析，其中，数据请求至少包括查询请求和导出请求中的一个；根据数据请求的解析结果，获取数据请求的复杂度；确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。本发明通过对查询请求或导出请求自动分级控制，根据数据请求的复杂度等级分发给不同的服务资源进行处理，合理分配资源，实现了各级服务的同步进行，解决了资源抢占或分配不均的问题，并能够加速处理占时较少的数据请求，从而避免影响用户实时分析。

Description

数据服务资源分配方法、装置、系统和存储介质

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据服务资源分配方法、装置、系统和存储介质。

背景技术

目前，市场上比较常见的tableau、cognos等BI分析工具，在报表数据查询服务或导出服务场景下存在如下几种情况：

1)资源抢占或分配不均：查询与导出功能，集中部署，会出现查询与导出抢占资源；而分开部署，资源隔离，则会出现部分资源使用频繁，导致部分资源使用率低；

2)复杂报表导出难度大：报表设计复杂或符合条件的数据量非常大时，导出往往受数据量限制，且导出非常缓慢；

3)报表导出受限：绝大部分系统考虑到服务资源问题，对导出做管道控制，限制导出的并发量，这样当占时较长的导出执行时，很多占时较少的导出出现等待状态，从而影响用户实时分析。

发明内容

为了解决上述背景技术中提到的至少一个问题，本发明提供了一种数据服务资源分配方法、装置、系统和存储介质，以合理地对服务资源进行分配。

根据本发明的一个实施例，提供一种数据服务资源分配方法，所述方法包括：

在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

根据所述数据请求的解析结果，获取所述数据请求的复杂度；

确定所述复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

进一步地，所述解析结果至少包括所述数据请求所涉及的维度组合，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积与预设系数的乘积，计算出所述数据请求的复杂度，所述预设系数大于等于1。

进一步地，所述解析结果还包括所述维度组合涉及的数据表个数、出现列拆分的数据表个数、所述维度组合中是否出现分组合计中的至少一个，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积，以及根据所述维度组合涉及的数据表个数所确定的第一基数、所述出现列拆分的数据表个数所确定的第二基数、所述维度组合中是否出现分组合计所确定的第三基数中的至少一个与所述预设系数的乘积，计算出所述数据请求的复杂度。

进一步地，所述至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配，包括：

当所述复杂度等级为高复杂度时，对所述数据请求分配到spark集群进行处理，或者将所述数据请求分配到任务服务器，以使所述任务服务器对所述数据请求生成spark任务并发送至spark集群处理；

当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源；

当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源；

其中，所述中复杂度对应的复杂度范围大于所述低复杂度对应的复杂度范围且小于所述高复杂度对应的复杂度范围。

进一步地，所述当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源，包括：

判断所述数据请求的用户等级是否为高优先级；

若为高优先级，则将所述数据请求优先分配到所述第二服务资源；

若不为高优先级，则将所述数据请求分配到所述第一服务资源。

进一步地，所述当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源，包括：

判断所述第二服务资源的当前服务状态是否空闲；

若所述第二服务资源的当前服务状态空闲，则将所述数据请求分配到所述第二服务资源，否则，则判断所述第一服务资源的当前服务状态是否空闲；

若所述第一服务资源的当前服务状态空闲，则将所述数据请求分配到所述第一服务资源，否则，则将所述数据请求继续分配给所述第二服务资源。

根据本发明的又一个实施例，提供一种数据服务资源分配装置，所述装置包括：

请求解析单元，用于在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

复杂度获取单元，用于根据所述数据请求的解析结果，获取所述数据请求的复杂度；

复杂度等级确定单元，用于确定所述复杂度对应的复杂度等级；

服务资源分配单元，用于至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

进一步地，所述解析结果至少包括所述数据请求所涉及的维度组合，所述复杂度获取单元具体用于：

根据所述维度组合的笛卡尔积与预设系数的乘积，计算出所述数据请求的复杂度，所述预设系数大于等于1。

进一步地，所述解析结果还包括所述维度组合涉及的数据表个数、出现列拆分的数据表个数、所述维度组合中是否出现分组合计中的至少一个，所述复杂度获取单元具体用于：

根据所述维度组合的笛卡尔积，以及根据所述维度组合涉及的数据表个数所确定的第一基数、所述出现列拆分的数据表个数所确定的第二基数、所述维度组合中是否出现分组合计所确定的第三基数中的至少一个与所述预设系数的乘积，计算出所述数据请求的复杂度。

进一步地，所述服务资源分配单元具体用于：

当所述复杂度等级为高复杂度时，对所述数据请求分配到spark集群进行处理，或者将所述数据请求分配到任务服务器，以使所述任务服务器对所述数据请求生成spark任务并发送至spark集群处理；

当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源；

当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源；

其中，所述中复杂度对应的复杂度范围大于所述低复杂度对应的复杂度范围且小于所述高复杂度对应的复杂度范围。

进一步地，所述服务资源分配单元具体还用于：

当所述复杂度等级为中复杂度时，判断所述数据请求的用户等级是否为高优先级；

若为高优先级，则将所述数据请求分配到所述第二服务资源；

若不为高优先级，则将所述数据请求分配到所述第一服务资源。

进一步地，所述服务资源分配单元具体还用于：

当所述复杂度等级为低复杂度时，判断所述第二服务资源的当前服务状态是否空闲；

若所述第二服务资源的当前服务状态空闲，则将所述数据请求分配到所述第二服务资源，否则，则判断所述第一服务资源的当前服务状态是否空闲；

若所述第一服务资源的当前服务状态空闲，则将所述数据请求分配到所述第一服务资源，否则，则将所述数据请求继续分配给所述第二服务资源。

根据本发明的又一个实施例，提供一种用于实现如上述实施例所述方法的数据服务资源分配系统，所述系统包括请求处理设备和网关设备，其中：

所述请求处理设备，用于在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

所述请求处理设备，还用于根据所述数据请求的解析结果，获取所述数据请求的复杂度，发送所述数据请求的复杂度至所述网关设备；

所述网关设备，用于在接收到所述请求处理设备发送的所述数据请求的复杂度时，确定所述复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

根据本发明的又一个实施例，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项所述方法的步骤。

根据本发明的又一个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例任一项所述的方法的步骤。

本发明实施例提供的技术方案具有如下技术效果：

1)对查询请求或导出请求自动分级控制，根据数据请求的复杂度等级分发给不同的服务资源进行处理，合理分配资源，实现了各级服务的同步进行，解决了资源抢占或分配不均的问题；

2)根据数据请求的复杂度进行解耦，能够加速处理占时较少的数据请求(例如轻小类型的数据请求)，从而能够避免影响用户实时分析。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据服务资源分配方法的应用环境示意图；

图2是本发明实施例一提供的数据服务资源分配方法的流程示意图；

图3是本发明实施例提供的数据服务资源分配方法流程示意图；

图4是本发明实施例二提供的数据服务资源分配装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

此外，在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为本发明实施例提供的数据服务资源分配方法的应用环境示意图。如图1所示，请求处理设备102通过网络分别与web服务器101、网关设备103进行通信，网关设备103通过网络分别与第一服务器104、第二服务器105和任务服务器106进行通信，任务服务器106通过网络与spark服务集群107进行通信。其中，web服务器101用于接收终端发送的数据请求(比如数据查询请求或、数据导出请求)，请求处理设备102接收web服务器101转发的数据请求，根据对该数据请求进行解析得到的解析结果，获取数据请求的复杂度，发送至网关设备103，网关设备103确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。其中，web服务器101、请求处理设备102、网关设备103、第一服务器104、第二服务器105和任务服务器106均可以用独立的服务器或者是多个服务器组成的服务集群来实现。集群一般包括多台计算机设备(机器)。本发明中的服务资源可以是一个集群中的某台机器或多台机器。本发明实施例提供的数据服务资源分配方法一般应用于可视化报表数据查询或数据导出的场景中。

实施例一

本发明实施例提供一种数据服务资源分配方法，如图2所示，该方法包括以下步骤：

步骤201，在接收到数据请求时，对数据请求进行解析，其中，数据请求至少包括查询请求和导出请求中的一个。

具体地，请求处理设备在获取到数据请求时，例如接收到终端通过web服务器发送的数据查询请求或数据导出请求，对该数据请求进行解析分析，可以解析得到数据请求的请求参数以及发出该数据请求的用户信息。其中，请求参数可以包括数据请求所涉及的数据维度、数据表等相关信息，用户信息可以包括用户标识、用户权限信息、用户岗位角色信息等等。

本发明实施例对具体的解析过程不作限定。

步骤202，根据数据请求的解析结果，获取数据请求的复杂度。

本实施例中，解析结果中至少包括数据请求所涉及的维度组合。

其中，维度组合内包含多个维度，例如，维度组合内包含时间维度、地域维度、产品维度、权限维度等维度。其中，权限维度用于表示数据请求的用户所具有的查询权限或导出权限。比如，当用户请求对某个时间段内的不同销售区域的某一类别商品的销售量进行查询，可以解析得到该数据查询请求所涉及的时间维度、地域维度和权限维度。

具体地，根据维度组合的笛卡尔积与预设系数的乘积，计算出数据请求的复杂度，预设系数大于等于1。

其中，维度组合的笛卡尔积可以根据维度组合中的各个维度的维度值取值数量计算得到，其中，各个维度所涉及的数据可以从动态缓存的数据表中获取到。例如，用户请求查询7月1日至7月10日这一时间段内的华东销售区域的某一类别商品的销售量，可以解析到维度组合内包含时间维度、地域维度和权限维度，其中，时间维度的维度值取值数量为10(即对应7月1日至7月10日，10天)，而结合数据请求的用户权限维度，对应华东销售区域中的20个销售点的数据(华东销售区域内不限于20个销售点)，可得到在用户权限维度下，地域维度的维度值取值数量为20(即对应20个销售点)，从而计算出维度组合的笛卡尔积等于10*20。

其中，预设系数的值大于等于1，预设系数可以根据促销等级进行预先设定，这里的促销等级包括日常销售等级、节假日促销等级、周年庆促销等级、双十二促销等级、8.16促销等级等，对不同的促销等级设定不同的系数，促销等级对应的促销力度越大，预设系数越大，例如，对日常销售等级设定的系数为1，对节假日促销等级设定的系数为1.1，对周年庆促销等级设定的系数为1.3等等。这样通过对不同促销等级设定不同的系数，使得在不同促销场景下的数据请求的复杂度计算结果不同，能够表征出不同促销场景下的数据处理需求，由此可以提升服务资源的分配合理性。

此外，解析结果中除了包括数据请求所涉及的维度组合之外，还可以包括维度组合涉及的数据表个数、出现列拆分的数据表个数、维度组合中是否出现分组合计中的至少一个。

其中，维度组合涉及的数据表，是指数据请求所涉及的各个维度的数据来源，处理该数据请求是否跨表跨源操作，维度组合涉及的数据表越多，表明该数据请求的复杂度越大，处理该数据请求处理所需的服务资源越多。

其中，出现列拆分的数据表，是指出现表列拆分为多张表的数据表(即，出现垂直拆分的数据表)，出现表列拆分的数据表越多，表明该数据请求的复杂度越大，处理该数据请求处理所需的服务资源越多。

其中，维度组合中是否出现分组合计，是指是否对维度组合内的一个或多个维度进行分组，例如，对地域维度进行分组合计，将江苏、上海、浙江多个区域进行分组合计为华中区域组。

具体地，根据维度组合的笛卡尔积，以及根据维度组合涉及的数据表个数所确定的第一基数、出现列拆分的数据表个数所确定的第二基数、维度组合中是否出现分组合计所确定的第三基数中的至少一个与预设系数的乘积，计算出数据请求的复杂度。

这里，第一基数、第二基数和第三基数均用于量化数据请求的复杂度。

其中，第一基数可以通过如下过程确定：在第一预设表中对维度组合涉及的数据表个数查找对应的第一基数，第一预设表中记录有维度组合涉及的数据表个数与第一基数之间的对应关系，维度组合涉及的数据表个数越多，第一基数越大。例如，维度组合涉及的数据表个数不超过3个时，第一基数为A1，数据表个数介于3个至5个之间时，第一基数为A2，数据表个数超过5个时，第一基数为A3，其中，A3>A2>A1≥1。

其中，第二基数可以通过如下过程确定：在第二预设表中对出现列拆分的数据表个数查找对应的第二基数，第二预设表中记录有出现列拆分的数据表个数与第二基数之间的对应关系，出现列拆分的数据表个数越多，第二基数越大。例如，出现列拆分的数据表个数不超过3个时，第一基数为B1，出现列拆分的数据表个数介于3个至5个之间时，第一基数为B2，数据表个数超过5个时，第一基数为B3，其中，B3>B2>B1≥1。

其中，第三基数可以通过如下过程确定：在第三预设表中对维度组合是否出现分组合计查找对应的第三基数，第三预设表中记录有维度组合是否出现分组合计与第三基数之间的对应关系，维度组合出现分组合计所对应的第三基数大于维度组合未出现分组合计所对应的第三基数。例如，维度组合出现分组合计时，第三基数为C1，维度组合未出现分组合计时，第三基数为C2，其中，C2>C1≥1。

需要说明的是，上述的第一预设表、第二预设表和第三预设表可以是分别独立的数据表，也可以整合在同一个数据表中。

作为优选方案，可以采用如下计算公式计算出数据请求的复杂度：

复杂度＝N*A*B*C*P；

其中，N为数据请求所涉及的维度组合的笛卡尔积，A为维度组合涉及的数据表个数所确定的第一基数，B为出现列拆分的数据表个数所确定的第二基数，C为维度组合中是否出现分组合计所确定的第三基数，P为预设系数。

请求处理设备可以将计算出的数据请求的复杂度发送至网关设备，此外，还可以在发送复杂度至网关设备的同时，发送该数据请求的用户信息至网关设备，其中，用户信息可以包括用户标识、用户权限信息、用户岗位角色信息等等，以使得网关设备可以确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。

步骤203，确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。

具体地，网关设备可以接收请求处理设备发送的数据请求的复杂度，此外，还可以在接收复杂度的同时，接收请求处理设备发送的该数据请求的用户信息，其中，用户信息可以包括用户标识、用户权限信息、用户岗位角色信息等等。

其中，确定复杂度对应的复杂度等级，该过程可以包括：

网关设备根据预设的复杂度取值范围与复杂度等级之间的对应关系，确定复杂度对应的复杂度等级。当复杂度大于第一预设阈值时，对应的复杂度等级为高复杂度，当复杂度介于第二预设阈值与第一预设阈值之间时，对应的复杂度等级为中复杂度，当复杂度小于第二预设阈值时，对应的复杂度等级为低复杂度，其中，第一预设阈值大于第二预设阈值度。其中，该第一预设阈值、第二预设阈值可以根据当前促销等级进行动态配置，例如：复杂度低于50000，复杂度等级为低复杂度；复杂度介于50000与500000之间，复杂度等级为中复杂度；复杂度大于500000，复杂度等级为高复杂度。

其中，至少根据确定出的复杂度等级，对数据请求进行服务资源分配，该过程可以包括：

当复杂度等级为高复杂度时，网关设备对数据请求分配到spark集群进行处理，或者将数据请求分配到任务服务器，以使任务服务器对数据请求生成spark任务并发送至spark集群处理；当复杂度等级为中复杂度时，将数据请求分配到第一服务资源；当复杂度等级为低复杂度时，将数据请求分配到第二服务资源。

在具体实现过程中，第一服务资源可以配置为第一服务器，第二服务资源可以配置为第二服务器，第一服务器、第二服务器均可以用独立的服务器或者是多个服务器组成的服务集群来实现，其中，第一服务资源和第二服务资源可以根据服务器的IP地址预先划分得到。不同的服务资源执行不同复杂度等级的数据查询请求或数据导出请求。网关设备可以根据预设的复杂度等级与服务资源之间的对应关系，将数据请求分配到该数据请求的复杂度等级对应的服务资源上，由对应的服务资源进行该数据请求的执行，即执行查询请求的查询任务或导出请求的导出任务，其中，在第一服务资源中可以采用负载均衡调度的方式为分配到的数据请求分配服务资源，在第二服务资源中也可以采用负载均衡调度的方式为分配到的数据请求分配服务资源。

本实施例中，通过网关设备对查询请求或导出请求自动分级控制，能够实现对各个复杂度等级的数据请求的服务同步执行；当复杂度等级为高复杂度时，网关设备可以对数据请求生成将数据请求分配到任务服务器，通过任务服务器对数据请求生成spark任务并发送至spark集群处理，如此，可以将高复杂度的报表查询或导出通过spark任务转交给spark集群进行处理，此外，也可以直接将数据请求分配到spark集群进行处理，藉由spark集群对大数据量的高性能计算功能，解决现有技术中的复杂报表导出难度大的问题；同时，中、低复杂度的报表查询或导出将不会受到高复杂度的报表查询或导出的影响，从而能够避免复杂报表的数据请求对整体资源的占用与抢占；另外，当复杂度等级为中复杂度时，网关设备将数据请求分配到第一服务资源，而当复杂度等级为低复杂度时，网关设备将数据请求分配到第二服务资源，这样能够避免部分服务资源使用频繁，部分服务资源使用率低，不但解决了服务资源分配不均的问题，而且也可以优先保障高需报表的数据请求能够得到快速处理，另外，也能够避免占时较长的查询或导出执行时，很多占时较少的查询或导出出现等待状态的情形出现，从而避免影响用户实时分析。

进一步地，上述的当复杂度等级为中复杂度时，将数据请求分配到第一服务资源，可以包括：

当复杂度等级为中复杂度时，判断数据请求的用户等级是否为高优先级，若为高优先级，则将数据请求优先分配到第二服务资源，若不为高优先级，则将数据请求分配到第一服务资源。

其中，网关设备可以根据请求处理设备发送的数据请求的用户信息，判断数据请求的用户等级是否为高优先级。例如，当用户信息指示用户为高级管理人员时，用户等级为高优先级。

其中，当数据请求的用户等级为高优先级，则将数据请求优先分配到第二服务资源，进一步可以包括：

判断第二服务资源的当前服务状态是否空闲；

若第二服务资源的当前服务状态空闲，则将数据请求分配到第二服务资源，否则，则判断第一服务资源的当前服务状态是否空闲；

若第一服务资源的当前服务状态空闲，则将数据请求分配到第一服务资源，否则，则将数据请求继续分配给第二服务资源。

其中，网关设备可以根据各服务资源的网络地址，通过服务广播插件将服务状态获取请求广播至各服务资源上，并接收各服务资源返回的服务状态查询结果。这里，服务状态包括但不限于资源使用状态、网络连接状态信息。

本实施例中，通过当数据请求的用户等级为高优先级，则将数据请求优先分配到第二服务资源，可以保证高优先级用户的数据请求得到快速处理。

进一步地，上述的当复杂度等级为低复杂度时，将数据请求分配到第二服务资源，可以包括：

判断第二服务资源的当前服务状态是否空闲；

若第二服务资源的当前服务状态空闲，则将数据请求分配到第二服务资源，否则，则判断第一服务资源的当前服务状态是否空闲；

若第一服务资源的当前服务状态空闲，则将数据请求分配到第一服务资源，否则，则将数据请求继续分配给第二服务资源。

如此，可以进一步优先保障低复杂度的报表查询请求或报表导出请求能够得到快速处理，另外，也能够避免占时较长的查询或导出执行时，很多占时较少的查询或导出出现等待状态的情形出现，从而避免影响用户实时分析。

进一步地，本发明提供的方法还可以包括：

根据分配到数据请求的服务资源所返回的数据，生成图表，并写入报表中。

具体地，可以通过获取echart图表的Base64码，解码对服务资源所返回的数据生成图表，写入报表中，还可以通过java方式调用外部组件对服务资源所返回的数据生成echart图表，写入报表中，其中，图表可以包括多种形式，比如，折线图、饼图、雷达图等图形。

如此，可以使得导出的数据不局限于表格数据，还可以支持折线图、饼图等图形的导出，更便于用户对数据进行分析。

在实际应用的过程中，数据服务资源分配可以通过执行如图3所示的流程进行分配。参照图3所示，图3是本发明实施例提供的数据服务资源分配方法流程示意图，请求处理设备在接收到数据服务请求时，首先判断数据服务请求URL是否为查询请求或导出请求，若否，则结束流程，若是，则计算数据请求复杂值并发送至网关设备，网关设备判断请求处理设备计算出的复杂值是否处于高等级范围内，网关设备若判断出复杂值处于高等级范围内，则对数据服务请求通过任务服务器生成spark任务并发送至spark集群处理，若复杂值不处于高等级范围内，则判断复杂值是否处于中等级范围内，若复杂值处于中等级范围内，则判断数据服务请求的用户等级是否为高等级用户，若不是高等级用户，则将数据服务请求分发至第一服务资源进行处理。若是处于中等级范围内的数据服务请求的用户等级为高等级用户或者服务请求的复杂值低于中等级范围，则判断第二服务资源是否空闲；若第二服务资源空闲，则将服务请求分发至第二服务资源进行处理，若第二服务资源不空闲，则判断第一服务资源是否空闲，若第一服务资源空闲，则将服务请求分发至第一服务资源进行处理，若第一服务资源不空闲，则将服务请求继续分发至第二服务资源进行处理。

本发明实施例中，通过在接收到数据请求时，对数据请求进行解析，并根据数据请求的解析结果，获取数据请求的复杂度，确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配，如此能够实现对查询请求或导出请求自动分级控制，根据数据请求的复杂度等级分发给不同的服务资源进行处理，合理分配资源，实现了各级服务的同步进行，解决了资源抢占或分配不均的问题，并可以对数据请求的复杂度进行解耦，从而能够加速处理占时较少的数据请求(例如轻小类型的数据请求)，进而能够避免影响用户实时分析。

需要说明的是，本发明实施例提供的数据服务资源分配方法，可以由请求处理设备来执行步骤201至步骤202，由网关设备来执行步骤203，请求处理设备、网关设备均可以用独立的服务器或者是多个服务器组成的服务集群来实现，如此在出现大量用户访问、高并发数据请求的情形下，能够避免步骤201至步骤203由同一个服务器执行而可能出现的服务器宕机问题，另外还可以使得后续对请求处理设备进行添加新的服务处理逻辑时而不会影响到网关设备的其他服务功能。当然，本领域技术人员可以理解的是，在不考虑数据请求高并发的场景下，本发明实施例提供的数据服务资源分配方法也可以由同一个服务器作为执行主体进行执行步骤201至步骤203的过程，本发明实施例对此不作限定。

实施例二

本发明实施例提供了一种数据服务资源分配装置，如图4所示，该装置可以包括请求解析单元41、复杂度获取单元42、复杂度等级确定单元43和服务资源分配单元44，其中：

请求解析单元41，用于在接收到数据请求时，对数据请求进行解析，其中，数据请求至少包括查询请求和导出请求中的一个；

复杂度获取单元42，用于根据数据请求的解析结果，获取数据请求的复杂度；

复杂度等级确定单元43，用于确定复杂度对应的复杂度等级；

服务资源分配单元44，用于至少根据确定出的复杂度等级，对数据请求进行服务资源分配。

进一步地，解析结果至少包括数据请求所涉及的维度组合，复杂度获取单元42具体用于：

根据维度组合的笛卡尔积与预设系数的乘积，计算出数据请求的复杂度，预设系数大于等于1。

进一步地，解析结果还包括维度组合涉及的数据表个数、出现列拆分的数据表个数、维度组合中是否出现分组合计中的至少一个，复杂度获取单元42具体用于：

根据维度组合的笛卡尔积，以及根据维度组合涉及的数据表个数所确定的第一基数、出现列拆分的数据表个数所确定的第二基数、维度组合中是否出现分组合计所确定的第三基数中的至少一个与预设系数的乘积，计算出数据请求的复杂度。

进一步地，服务资源分配单元44具体用于：

当复杂度等级为高复杂度时，对数据请求分配到spark集群进行处理，或者将数据请求分配到任务服务器，以使任务服务器对数据请求生成spark任务并发送至spark集群处理；

当复杂度等级为中复杂度时，将数据请求分配到第一服务资源；

当复杂度等级为低复杂度时，将数据请求分配到第二服务资源；

其中，中复杂度对应的复杂度范围大于低复杂度对应的复杂度范围且小于高复杂度对应的复杂度范围。

进一步地，服务资源分配单元44具体还用于：

当复杂度等级为中复杂度时，判断数据请求的用户等级是否为高优先级；

若为高优先级，则将数据请求分配到第二服务资源；

若不为高优先级，则将数据请求分配到第一服务资源。

进一步地，服务资源分配单元44具体还用于：

当复杂度等级为低复杂度时，判断第二服务资源的当前服务状态是否空闲；

若第二服务资源的当前服务状态空闲，则将数据请求分配到第二服务资源，否则，则判断第一服务资源的当前服务状态是否空闲；

若第一服务资源的当前服务状态空闲，则将数据请求分配到第一服务资源，否则，则将数据请求继续分配给第二服务资源。

本实施例中，数据服务资源分配装置的请求解析单元41、复杂度获取单元42、复杂度等级确定单元43和服务资源分配单元44可以配置在同一个服务器上；若进一步考虑到出现大量用户访问、高并发数据请求的场景，为防止数据服务资源分配装置的所有功能模块配置在同一个服务器而可能出现的服务器宕机问题，也可以将请求解析单元41、复杂度获取单元42、复杂度等级确定单元43和服务资源分配单元44配置在不同的设备内，在具体实现过程中，可以将请求解析单元41和复杂度获取单元42配置在请求处理设备内，将复杂度等级确定单元43和服务资源分配单元44配置在网关设备内。

需要说明的是：本实施例提供的数据服务资源分配装置中，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，本实施例的数据服务资源分配装置与实施例一中的数据服务资源分配方法实施例属于同一构思，其具体实现过程和有益效果详见数据服务资源分配方法实施例，这里不再赘述。

实施例三

本发明实施例提供一种用于实现如上述实施例所述的数据服务资源分配方法的数据服务资源分配系统，该系统包括请求处理设备和网关设备，其中：

请求处理设备，用于在接收到数据请求时，对数据请求进行解析，其中，数据请求至少包括查询请求和导出请求中的一个；

请求处理设备，还用于根据数据请求的解析结果，获取数据请求的复杂度，发送数据请求的复杂度至网关设备；

网关设备，用于在接收到请求处理设备发送的数据请求的复杂度时，确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。

进一步地，解析结果至少包括数据请求所涉及的维度组合，请求处理设备具体用于：

根据维度组合的笛卡尔积与预设系数的乘积，计算出数据请求的复杂度，预设系数大于等于1。

进一步地，解析结果还包括维度组合涉及的数据表个数、出现列拆分的数据表个数、维度组合中是否出现分组合计中的至少一个，请求处理设备具体用于：

根据维度组合的笛卡尔积，以及根据维度组合涉及的数据表个数所确定的第一基数、出现列拆分的数据表个数所确定的第二基数、维度组合中是否出现分组合计所确定的第三基数中的至少一个与预设系数的乘积，计算出数据请求的复杂度。

进一步地，网关设备具体用于：

当复杂度等级为高复杂度时，对数据请求分配到spark集群进行处理，或者将数据请求分配到任务服务器，以使任务服务器对数据请求生成spark任务并发送至spark集群处理；

当复杂度等级为中复杂度时，将数据请求分配到第一服务资源；

当复杂度等级为低复杂度时，将数据请求分配到第二服务资源；

其中，中复杂度对应的复杂度范围大于低复杂度对应的复杂度范围且小于高复杂度对应的复杂度范围。

进一步地，网关设备具体还用于：

当复杂度等级为中复杂度时，判断数据请求的用户等级是否为高优先级；

若为高优先级，则将数据请求分配到第二服务资源；

若不为高优先级，则将数据请求分配到第一服务资源。

进一步地，网关设备具体还用于：

当复杂度等级为低复杂度时，判断第二服务资源的当前服务状态是否空闲；

若第二服务资源的当前服务状态空闲，则将数据请求分配到第二服务资源，否则，则判断第一服务资源的当前服务状态是否空闲；

若第一服务资源的当前服务状态空闲，则将数据请求分配到第一服务资源，否则，则将数据请求继续分配给第二服务资源。

进一步地，系统还包括web服务器、第一服务器、第二服务器、任务服务器、spark服务集群，第一服务器被配置为第一服务资源，第二服务器被配置为第二服务资源，其中：

web服务器，用于接收终端发送的数据请求，并将数据请求转发至请求处理设备；

第一服务器，用于在接收到网关设备发送的复杂度等级为中复杂度的数据请求时，对数据请求进行处理；

第二服务器，用于在接收到网关设备发送的复杂度等级为低复杂度的数据请求时，对数据请求进行处理；

任务服务器，用于在接收到网关设备发送的复杂度等级为高复杂度的数据请求时，将数据请求生成spark任务并发送至spark集群处理；

spark集群，用于在接收到网关设备发送的复杂度等级为高复杂度的数据请求时，对数据请求进行处理；

spark集群，还用于接收到任务服务器发送的基于高复杂度的数据请求生成的spark任务时，对spark任务进行处理。

根据本发明的又一个实施例，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例的数据服务资源分配方法的步骤。

根据本发明的又一个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的数据服务资源分配方法的步骤。

本领域内的技术人员应明白，本发明实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例中是参照根据本发明实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据服务资源分配方法，其特征在于，所述方法包括：

在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

根据所述数据请求的解析结果，获取所述数据请求的复杂度；

确定所述复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

2.根据权利要求1所述的方法，其特征在于，所述解析结果至少包括所述数据请求所涉及的维度组合，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积与预设系数的乘积，计算出所述数据请求的复杂度，所述预设系数大于等于1。

3.根据权利要求2所述的方法，其特征在于，所述解析结果还包括所述维度组合涉及的数据表个数、出现列拆分的数据表个数、所述维度组合中是否出现分组合计中的至少一个，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积，以及根据所述维度组合涉及的数据表个数所确定的第一基数、所述出现列拆分的数据表个数所确定的第二基数、所述维度组合中是否出现分组合计所确定的第三基数中的至少一个与所述预设系数的乘积，计算出所述数据请求的复杂度。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配，包括：

当所述复杂度等级为高复杂度时，对所述数据请求分配到spark集群进行处理，或者对所述数据请求发送到任务服务器，以使所述任务服务器对所述数据请求生成spark任务并发送至spark集群处理；

当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源；

当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源；

其中，所述中复杂度对应的复杂度范围大于所述低复杂度对应的复杂度范围且小于所述高复杂度对应的复杂度范围。

5.根据权利要求4所述的方法，其特征在于，所述当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源，包括：

判断所述第二服务资源的当前服务状态是否空闲；

若所述第二服务资源的当前服务状态空闲，则将所述数据请求分配到所述第二服务资源，否则，则判断所述第一服务资源的当前服务状态是否空闲；

若所述第一服务资源的当前服务状态空闲，则将所述数据请求分配到所述第一服务资源，否则，则将所述数据请求继续分配给所述第二服务资源。

6.一种数据服务资源分配装置，其特征在于，所述装置包括：

请求解析单元，用于在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

复杂度获取单元，用于根据所述数据请求的解析结果，获取所述数据请求的复杂度；

复杂度等级确定单元，用于确定所述复杂度对应的复杂度等级；

服务资源分配单元，用于至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

7.根据权利要求6所述的装置，其特征在于，所述解析结果至少包括所述数据请求所涉及的维度组合，所述复杂度获取单元具体用于：

根据所述维度组合的笛卡尔积与预设系数的乘积，计算出所述数据请求的复杂度，所述预设系数大于等于1；

优选地，所述解析结果还包括所述维度组合涉及的数据表个数、出现列拆分的数据表个数、所述维度组合中是否出现分组合计中的至少一个，所述复杂度获取单元具体用于：

根据所述维度组合的笛卡尔积，以及根据所述维度组合涉及的数据表个数所确定的第一基数、所述出现列拆分的数据表个数所确定的第二基数、所述维度组合中是否出现分组合计所确定的第三基数中的至少一个与所述预设系数的乘积，计算出所述数据请求的复杂度。

8.根据权利要求6或7所述的装置，其特征在于，所述服务资源分配单元具体用于：

当所述复杂度等级为高复杂度时，对所述数据请求分配到spark集群进行处理，或者将所述数据请求分配到任务服务器，以使所述任务服务器对所述数据请求生成spark任务并发送至spark集群处理；

当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源；

当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源；

其中，所述中复杂度对应的复杂度范围大于所述低复杂度对应的复杂度范围且小于所述高复杂度对应的复杂度范围。

9.一种用于实现如权利要求1至5任意一项所述方法的数据服务资源分配系统，其特征在于，所述系统包括请求处理设备和网关设备，其中：

所述请求处理设备，用于在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

所述请求处理设备，还用于根据所述数据请求的解析结果，获取所述数据请求的复杂度，发送所述数据请求的复杂度至所述网关设备；

所述网关设备，用于在接收到所述请求处理设备发送的所述数据请求的复杂度时，确定所述复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法的步骤。