CN110874371B - 一种数据分析系统、方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据分析系统、方法及装置，该系统包括：应用设备、联机分析集群和联机事务集群；应用设备，接收到业务请求后，确定适用于该业务请求的集群；若确定为联机分析集群，则向联机分析集群发送第一业务指令，以使联机分析集群执行相应的任务；若确定为联机事务集群，则向联机事务集群发送第二业务指令，以使联机事务集群执行相应的任务；本方案中，集群的数据处理能力强，能够对大数据进行分析处理。

Description

一种数据分析系统、方法及装置

技术领域

本发明涉及分布式技术领域，特别是涉及一种数据分析系统、方法及装置。

背景技术

大数据在各行业都发挥着巨大的作用。大数据可以理解为：无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

基于此，需要提供一种对大数据进行分析处理的方案。

发明内容

本发明实施例的目的在于提供一种数据分析系统、方法及装置，以实现对大数据进行分析处理。

为达到上述目的，本发明实施例提供了一种数据分析系统，包括：应用设备、联机分析集群和联机事务集群，所述联机分析集群中包括管理部件、互联通信部件和计算部件，所述联机事务集群中包括分布式中间部件和数据库部件；其中，

所述应用设备，用于接收业务请求，确定适用于所述业务请求的集群；若所确定的集群为联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令；若所确定的集群为联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令；

所述管理部件，用于在接收到所述应用设备发送的第一业务指令后，根据所述第一业务指令，生成所述第一业务指令对应的任务，并通过所述互联通信部件将所生成的任务下发至所述计算部件；

所述计算部件，用于执行所述第一业务指令对应的任务；

所述分布式中间部件，用于在接收到所述应用设备发送的第二业务指令后，根据所述第二业务指令，向所述数据库部件下发所述第二业务指令对应的任务；

所述数据库部件，用于执行所述第二业务指令对应的任务。

可选的，所述系统还包括：公共备用集群，所述公共备用集群包括备用部件；其中，

所述互联通信部件，还用于向所述公共备用集群下发所述第一业务指令对应的任务；所述备用部件，用于执行所述第一业务指令对应的任务；

和/或，

所述分布式中间部件，还用于向所述公共备用集群下发所述第二业务指令对应的任务；所述备用部件，用于执行所述第二业务指令对应的任务。

可选的，所述应用设备，还用于：

在接收到业务请求后，根据所述业务请求的属性，确定适用于所述业务请求的集群；或者，根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群。

可选的，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

为达到上述目的，本发明实施例还提供了一种数据分析方法，包括：

接收业务请求，确定适用于所述业务请求的集群；

若所确定的集群为联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的计算部件执行所述第一业务指令对应的任务；

若所确定的集群为联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的数据库部件执行所述第二业务指令对应的任务。

可选的，所述确定适用于所述业务请求的集群，包括：

根据所述业务请求的属性，确定适用于所述业务请求的集群；

或者，根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群。

可选的，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

为达到上述目的，本发明实施例还提供了一种数据分析装置，包括：

接收模块，用于接收业务请求；

确定模块，用于确定适用于所述业务请求的集群；若所确定的集群为联机分析集群，则触发第一发送模块；若所确定的集群为联机事务集群，则触发第二发送模块；

第一发送模块，用于根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的计算部件执行所述第一业务指令对应的任务；

第二发送模块，用于根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的数据库部件执行所述第二业务指令对应的任务。

可选的，所述确定模块，具体用于：

根据所述业务请求的属性，确定适用于所述业务请求的集群；

或者，根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群。

可选的，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

本发明实施例提供的数据分析系统包括：应用设备、联机分析集群和联机事务集群；应用设备，接收到业务请求后，确定适用于该业务请求的集群；若确定为联机分析集群，则向联机分析集群发送第一业务指令，以使联机分析集群执行相应的任务；若确定为联机事务集群，则向联机事务集群发送第二业务指令，以使联机事务集群执行相应的任务；本方案中，集群的数据处理能力强，能够对大数据进行分析处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据分析系统的第一种结构示意图；

图2为本发明实施例提供的一种联机分析集群的结构示意图；

图3为本发明实施例提供的一种联机事务集群拆分数据库示意图；

图4为本发明实施例提供的数据分析系统的第二种结构示意图；

图5为本发明实施例提供的一种数据分析方法的流程示意图；

图6为本发明实施例提供的一种数据分析装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决上述技术问题，本发明实施例提供了一种数据分析系统、方法及装置，下面首先对该数据分析系统进行介绍。

图1为本发明实施例提供的数据分析系统的第一种结构示意图，包括：应用设备、联机分析集群和联机事务集群。其中，联机分析集群中包括管理部件、互联通信部件和多个计算部件(计算部件1、计算部件2……计算部件M……计算部件N)，联机事务集群中包括分布式中间部件和多个数据库部件(数据库部件1、数据库部件2……数据库部件M……数据库部件N)。图1仅为示例说明，并不对计算部件的数量及数据库部件的数量构成限定。

具体来说，应用设备，用于接收业务请求，确定适用于所述业务请求的集群；若所确定的集群为联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令；若所确定的集群为联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令；

管理部件，用于在接收到所述应用设备发送的第一业务指令后，根据所述第一业务指令，生成所述第一业务指令对应的任务，并通过所述互联通信部件将所生成的任务下发至所述计算部件；

计算部件，用于执行所述第一业务指令对应的任务；

分布式中间部件，用于在接收到所述应用设备发送的第二业务指令后，根据所述第二业务指令，向所述数据库部件下发所述第二业务指令对应的任务；

计算部件，用于执行所述第二业务指令对应的任务。

举例来说，应用设备可以接收来自用户或者其他设备的业务请求，该业务请求可以为查询请求、写数据请求、运算请求等等，具体不做限定。应用设备接收到业务请求后，确定适用于该业务请求的集群。

本实施例提供的数据分析系统中可以但不限于包括两种集群：联机分析集群和联机事务集群。其中，联机分析集群可以为OLAP(Online Analytical Processing，联机分析处理)集群，OLAP并发慢、处理效率较低、但数据关联性较好；联机事务集群可以为OLTP(On-Line Transaction Processing，联机事务处理过程，也称为面向交易的处理过程)集群，OLTP的数据关联性较差，则并发快，处理效率较高。

应用设备确定适用于该业务请求的集群的方式有多种：一种情况下，可以预先设定业务请求发送方与集群之间的绑定关系。比如，设定设备A及设备B与联机分析集群进行绑定，设定设备C及设备D与联机事务集群进行绑定；如果应用设备到来自设备A或设备B的业务请求，则确定适用于该业务请求的集群为联机分析集群；如果应用设备到来自设备C或设备D的业务请求，则确定适用于该业务请求的集群为联机事务集群。

另一种情况下，可以根据业务请求的属性，确定适用于该业务请求的集群。比如，联机分析集群并发慢、处理效率较低、但数据关联性较好，联机事务集群的数据关联性较差，则并发快，处理效率较高；这样，可以根据业务请求的属性，判断该业务请求侧重于关联分析能力，还是侧重于处理效率高；如果侧重于关联分析能力，则确定适用于该业务请求的集群为联机分析集群；如果侧重于并发快，则确定适用于该业务请求的集群为联机事务集群。

为了区分描述，将发送给联机分析集群的业务指令称为第一业务指令，将发送给联机事务集群的业务指令称为第二业务指令。业务指令与业务请求是相对应的：如果业务请求为查询请求，则应用设备发送的是查询指令；如果业务请求是写数据请求，则应用设备发送的是写数据指令；如果业务请求为运算请求，则应用设备发送的是运算指令，等等，不再一一列举。

下面先介绍联机分析集群：举例来说，联机分析集群可以为基于大规模并行处理的分布式数据库，比如，Greenplum数据库，或者也可以为其他，具体不做限定。如图1所示，联机分析集群可以包括管理部件、互联通信部件和多个计算部件计算部件1、计算部件2……计算部件M……计算部件N)，管理部件及该多个计算部件均与互联通信部件相连接。

具体来说，管理部件接收应用设备发送的第一业务指令，在接收到该指令后，根据该指令生成相应的任务，并通过互联通信部件调度计算部件执行所生成的任务。此外，管理部件还可以对计算部件进行负载均衡处理、进行Pipeline(流水线)计算等等，不再一一列举。

互联通信部件用于管理部件与计算部件之间的通信，或者，还可以用于各计算部件之间的通信，具体不做限定。计算部件接收到互联通信部件下发的任务后，执行该任务。

下面参考图2，以联机分析集群为Greenplum数据库为例进行说明：

图2为一种采用MPP(massively parallel processing，大规模并行处理)系统结构的Greenplum数据库示意图：Client(客户端)通过网络(比如LAN，Local Area Network，局域网)与Master Host(主机)通信连接，Master Host以及各Segment Host(数据节点)均与InerConnect(互联通信部件)相连接。映射到本方案中，Client即为应用设备，MasterHost即为管理部件，Segment Host即为计算部件，InerConnect即为互联通信部件。

Greenplum数据库中，Master Host中不存储业务数据，而是负责对Segment Host的管理。Master Host可以对Segment Host进行负载均衡处理、进行Pipeline(流水线)计算等等，不再一一列举。Greenplum数据库中可以包括一台主Master Host和一台备MasterHost，以提高系统的安全性。

Segment Host用于存储、读取业务数据。在Greenplum数据库中，业务数据可以按照设定分布策略分布在各Segment Host中。对于一台硬件设备来说，它可以配置多个Segment(数据文件空间)，或者说，多个Segment可以配置于同一台硬件设备上。Segment可以分为Primary和Mirror两种，Primary可以理解为主数据文件空间，Mirror可以理解为备数据文件空间。

Client可以向Master Host发送第一业务指令，Master Host接收到第一业务指令后，生成该指令对应的任务，通过InerConnect(互联通信部件)将任务下发至各SegmentHost(数据节点)，Segment Host执行该任务。

下面介绍联机事务集群：在联机事务集群中，可以把一个数据库中的数据切分成多份数据，将该多份数据存储在不同的数据库中。举例来说，联机事务集群可以为Cobar系统、或者TDDL(Taobao Distributed Data Layer，淘宝分布式数据访问层)系统、或者，也可以为其他，具体不做限定。

如图1所示，联机事务集群可以包括分布式中间部件和多个数据库部件(数据库部件1、数据库部件2……数据库部件M……数据库部件N)，该多个数据库部件均与该分布式中间部件相连接。分布式中间部件可以接收应用设备发送的第二业务指令，并在接收到该指令后，生成该指令对应的任务，并生成的任务下发至数据库部件。

以Cobar系统为例来说，分布式中间部件可以以proxy(代理)形式存在，分布式中间部件对应用设备开放的接口可以为基于mysql通信协议的接口。该分布式中间部件可以将应用设备的SQL(Structured Query Language结构化查询语言)转换为相应的任务下发至数据库部件，由数据库部件执行该任务。

参考图3介绍下Cobar系统中对数据进行拆分的过程，假设一个待拆分的完整数据库为dbtest，dbtest中包括tb1和tb2两张表，将dbtest拆分dbtest1、dbtest2和dbtest3三个数据库。其中，表tb1映射的数据都存储于数据库dbtest1中，表tb2映射的数据一部分存储于dbtest2中，另一部分存储于dbtest3中。dbtest1、dbtest2和dbtest3这三个数据库对外提供的数据库名可以仍为dbtest，其中包括tb1和tb2两张表。

Cobar系统中，可以将一张表水平拆分成多份放入不同的数据库，也可以将不同的表放入不同的数据库，本实施例并不对Cobar系统中的数据拆分方式进行限定。

本实施例中，业务请求与业务指令、及业务指令的任务都是相对应的：如果业务请求为查询请求，则应用设备发送的是查询指令，计算部件或者数据库部件执行的是查询任务；如果业务请求是写数据请求，则应用设备发送的是写数据指令，计算部件或者数据库部件执行的是写数据任务；如果业务请求为运算请求，则应用设备发送的是运算指令，计算部件或者数据库部件执行的是运算任务，等等，不再一一列举。

作为一种实施方式，该系统中还可以包括：公共备用集群，所述公共备用集群包括备用部件；其中，

所述互联通信部件，还用于向所述公共备用集群下发所述第一业务指令对应的任务；所述备用部件，用于执行所述第一业务指令对应的任务；

和/或，

所述分布式中间部件，还用于向所述公共备用集群下发所述第二业务指令对应的任务；所述备用部件，用于执行所述第二业务指令对应的任务。

如图4所示，系统中包括三个集群：联机分析集群、联机事务集群和公共备用集群。这三个集群中存储的业务数据可以是相同的。比如，可以将业务数据复制为三份，将这三份业务数据分别存储至这三个集群。

具体来说，在联机分析集群中，如果管理部件调度计算部件时，发现联机分析集群中不存在可用的计算部件(计算部件均忙碌或故障)，则管理部件可以通过互联通信部件将任务下发至公共备用集群，由公共备用集群中的备用部件执行该任务。

在联机事务集群中，如果分布式中间部件调度数据库部件时，发现联机事务集群中不存在可用的数据库部件(数据库部件均忙碌或故障)，则分布式中间部件可以将任务下发至公共备用集群，由公共备用集群中的备用部件执行该任务。

本实施方式，一方面，备份数据的存在提高了系统的安全性，另一方面，联机分析集群和联机事务集群共享备份数据，节省了存储空间的占用。

应用本发明实施例，第一方面，集群的数据处理能力强，能够对大数据进行分析处理。第二方面，相关方案中，单独使用联机分析集群进行数据处理时，存在并发慢、处理效率较低的缺点，单独使用联机事务集群进行数据处理时，存在数据关联性较差的缺点；而本方案提供的系统中，将联机分析集群与联机事务集群相融合，对于侧重于关联分析能力的业务请求，利用联机分析集群对其进行处理；对于侧重于处理效率或者说并发速度的业务请求，利用联机事务集群对其进行处理，同时满足了数据关联性和并发速度、处理效率的要求，可以应用于数据量大、复杂筛选、且多表关联分析的场景。第三方面，系统中包括公共备用集群，联机分析集群和联机事务集群共享该公共备用集群，节省了数据资源的占用。

与上述系统实施例相对应，本发明实施例还提供了一种数据分析方法及装置，该方法及装置可以应用于数据分析系统中的应用设备。如图5所示，该方法可以包括：

S501：接收业务请求。

应用设备可以接收来自用户或者其他设备的业务请求，该业务请求可以为查询请求、写数据请求、运算请求等等，具体不做限定。

S502：确定适用于该业务请求的集群；若所确定的集群为联机分析集群，则执行S503，若所确定的集群为联机事务集群，则执行S504。

本实施例提供的数据分析系统中可以包括两种集群：联机分析集群和联机事务集群。其中，联机分析集群可以为OLAP(Online Analytical Processing，联机分析处理)集群，OLAP并发慢、处理效率较低、但数据关联性较好；联机事务集群可以为OLTP(On-LineTransaction Processing，联机事务处理过程，也称为面向交易的处理过程)集群，OLTP的数据关联性较差，则并发快，处理效率较高。

应用设备确定适用于该业务请求的集群的方式有多种：一种情况下，可以预先设定业务请求发送方与集群之间的绑定关系。比如，设定设备A及设备B与联机分析集群进行绑定，设定设备C及设备D与联机事务集群进行绑定；如果应用设备到来自设备A或设备B的业务请求，则确定适用于该业务请求的集群为联机分析集群；如果应用设备到来自设备C或设备D的业务请求，则确定适用于该业务请求的集群为联机事务集群。

另一种情况下，可以根据业务请求的属性，确定适用于该业务请求的集群。比如，联机分析集群并发慢、处理效率较低、但数据关联性较好，联机事务集群的数据关联性较差，则并发快，处理效率较高；这样，可以根据业务请求的属性，判断该业务请求侧重于关联分析能力，还是侧重于处理效率高；如果侧重于关联分析能力，则确定适用于该业务请求的集群为联机分析集群；如果侧重于并发快，则确定适用于该业务请求的集群为联机事务集群。

为了区分描述，将发送给联机分析集群的业务指令称为第一业务指令，将发送给联机事务集群的业务指令称为第二业务指令。业务指令与业务请求是相对应的：如果业务请求为查询请求，则应用设备发送的是查询指令；如果业务请求是写数据请求，则应用设备发送的是写数据指令；如果业务请求为运算请求，则应用设备发送的是运算指令，等等，不再一一列举。

S503：根据该业务请求，向联机分析集群发送第一业务指令。

举例来说，联机分析集群可以为基于大规模并行处理的分布式数据库，比如，Greenplum数据库，或者也可以为其他，具体不做限定。如图1所示，联机分析集群可以包括管理部件、互联通信部件和多个计算部件，管理部件与计算部件均与互联通信部件相连接。

具体来说，管理部件接收应用设备发送的第一业务指令，在接收到该指令后，根据该指令生成相应的任务，并通过互联通信部件调度计算部件执行所生成的任务。此外，管理部件还可以对计算部件进行负载均衡处理、进行Pipeline(流水线)计算等等，不再一一列举。

互联通信部件用于管理部件与计算部件之间的通信，或者，还可以用于各计算部件之间的通信，具体不做限定。计算部件接收到互联通信部件下发的任务后，执行该任务。

下面参考图2，以联机分析集群为Greenplum数据库为例进行说明：

图2为一种采用MPP(massively parallel processing，大规模并行处理)系统结构的Greenplum数据库示意图：Client(客户端)通过网络(比如LAN，Local Area Network，局域网)与Master Host(主机)通信连接，Master Host以及Segment Host(数据节点)均与InerConnect(互联通信部件)相连接。映射到本方案中，Client即为应用设备，Master Host即为管理部件，Segment Host即为计算部件，InerConnect即为互联通信部件。

Greenplum数据库中，Master Host中不存储业务数据，而是负责对Segment Host的管理。Master Host可以对Segment Host进行负载均衡处理、进行Pipeline(流水线)计算等等，不再一一列举。Greenplum数据库中可以包括一台主Master Host和一台备MasterHost，以提高系统的安全性。

Segment Host用于存储、读取业务数据。在Greenplum数据库中，业务数据可以按照设定分布策略分布在各Segment Host中。对于一台硬件设备来说，它可以配置多个Segment(数据文件空间)，或者说，多个Segment可以配置于同一台硬件设备上。Segment可以分为Primary和Mirror两种，Primary可以理解为主数据文件空间，Mirror可以理解为备数据文件空间。

Client可以向Master Host发送第一业务指令，Master Host接收到第一业务指令后，生成该指令对应的任务，通过InerConnect(互联通信部件)将任务下发至各SegmentHost(数据节点)，Segment Host执行该任务。

S503：根据该业务请求，向联机事务集群发送第二业务指令。

在联机事务集群中，可以把一个数据库中的数据切分成多份数据，将该多份数据存储在不同的数据库中。举例来说，联机事务集群可以为Cobar系统、或者TDDL(TaobaoDistributed Data Layer，淘宝分布式数据访问层)系统、或者，也可以为其他，具体不做限定。

如图1所示，联机事务集群可以包括分布式中间部件和多个数据库部件，该多个数据库部件均与该分布式中间部件相连接。分布式中间部件可以接收应用设备发送的第二业务指令，并在接收到该指令后，生成该指令对应的任务，并生成的任务下发至数据库部件。

以Cobar系统为例来说，分布式中间部件可以以proxy(代理)形式存在，分布式中间部件对应用设备开放的接口可以为基于mysql通信协议的接口。该分布式中间部件可以将应用设备的SQL(Structured Query Language结构化查询语言)转换为相应的任务下发至数据库部件，由数据库部件执行该任务。

参考图3介绍下Cobar系统中对数据进行拆分的过程，假设一个待拆分的完整数据库为dbtest，dbtest中包括tb1和tb2两张表，将dbtest拆分dbtest1、dbtest2和dbtest3三个数据库。其中，表tb1映射的数据都存储于物理数据库dbtest1中，表tb2映射的数据一部分存储于dbtest2中，另一部分存储于dbtest3中。dbtest1、dbtest2和dbtest3这三个数据库对外提供的数据库名可以仍为dbtest，其中包括tb1和tb2两张表。

Cobar系统中，可以将一张表水平拆分成多份放入不同的数据库，也可以将不同的表放入不同的数据库，本实施例并不对Cobar系统中的数据拆分方式进行限定。

本实施例中，业务请求与业务指令、及业务指令的任务都是相对应的：如果业务请求为查询请求，则应用设备发送的是查询指令，计算部件或者数据库部件执行的是查询任务；如果业务请求是写数据请求，则应用设备发送的是写数据指令，计算部件或者数据库部件执行的是写数据任务；如果业务请求为运算请求，则应用设备发送的是运算指令，计算部件或者数据库部件执行的是运算任务，等等，不再一一列举。

应用本发明图5所示实施例，接收到业务请求后，确定适用于该业务请求的集群；若确定为联机分析集群，则向联机分析集群发送第一业务指令，以使联机分析集群执行相应的任务；若确定为联机事务集群，则向联机事务集群发送第二业务指令，以使联机事务集群执行相应的任务；本方案中，集群的数据处理能力强，能够对大数据进行分析处理。

本发明实施例还提供了一种数据分析装置，如图6所示，包括：

接收模块601，用于接收业务请求；

确定模块602，用于确定适用于所述业务请求的集群；若所确定的集群为联机分析集群，则触发第一发送模块；若所确定的集群为联机事务集群，则触发第二发送模块；

第一发送模块603，用于根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的计算部件执行所述第一业务指令对应的任务；

第二发送模块604，用于根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的数据库部件执行所述第二业务指令对应的任务。

作为一种实施方式，确定模块602，具体可以用于：

根据所述业务请求的属性，确定适用于所述业务请求的集群；

或者，根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群。

作为一种实施方式，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和存储器702，

存储器702，用于存放计算机程序；

处理器701，用于执行存储器702上所存放的程序时，实现上述任一种数据分析方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例、装置实施例及设备实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种数据分析系统，其特征在于，包括：应用设备、联机分析集群和联机事务集群，所述联机分析集群中包括管理部件、互联通信部件和计算部件，所述联机事务集群中包括分布式中间部件和数据库部件；其中，

所述应用设备，用于接收业务请求，确定适用于所述业务请求的集群；若所确定的集群为联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令；若所确定的集群为联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令；

所述管理部件，用于在接收到所述应用设备发送的第一业务指令后，根据所述第一业务指令，生成所述第一业务指令对应的任务，并通过所述互联通信部件将所生成的任务下发至所述计算部件；

所述计算部件，用于执行所述第一业务指令对应的任务；

所述分布式中间部件，用于在接收到所述应用设备发送的第二业务指令后，根据所述第二业务指令，向所述数据库部件下发所述第二业务指令对应的任务；

所述数据库部件，用于执行所述第二业务指令对应的任务；

所述应用设备，还用于根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群；

其中，所述联机分析集群为联机分析处理OLAP集群，所述联机事务集群为联机事务处理过程OLTP集群；

所述系统还包括：公共备用集群，所述联机分析集群、所述联机事务集群和所述公共备用集群中存储的业务数据是相同的，所述公共备用集群包括备用部件；其中，

所述互联通信部件，还用于如果所述管理部件发现所述联机分析集群中不存在可用的计算部件，向所述公共备用集群下发所述第一业务指令对应的任务；所述备用部件，用于执行所述第一业务指令对应的任务；

和/或，

所述分布式中间部件，还用于如果所述分布式中间部件发现所述联机事务集群中不存在可用的数据库部件，向所述公共备用集群下发所述第二业务指令对应的任务；所述备用部件，用于执行所述第二业务指令对应的任务。

2.根据权利要求1所述的系统，其特征在于，所述应用设备，还用于：

在接收到业务请求后，根据所述业务请求的属性，确定适用于所述业务请求的集群。

3.根据权利要求1所述的系统，其特征在于，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

4.一种数据分析方法，其特征在于，应用于数据分析系统中的应用设备，所述数据分析系统还包括：联机分析集群和联机事务集群，所述联机分析集群包括计算部件，所述联机事务集群包括数据库部件，包括：

接收业务请求，确定适用于所述业务请求的集群；

若所确定的集群为所述联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的计算部件执行所述第一业务指令对应的任务；

若所确定的集群为所述联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的数据库部件执行所述第二业务指令对应的任务；

所述确定适用于所述业务请求的集群，包括：

根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群；

其中，所述联机分析集群为联机分析处理OLAP集群，所述联机事务集群为联机事务处理过程OLTP集群；

所述系统还包括：公共备用集群，所述联机分析集群、所述联机事务集群和所述公共备用集群中存储的业务数据是相同的，所述公共备用集群包括备用部件；

所述方法还包括：

若所确定的集群为所述联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的管理部件发现所述联机分析集群中不存在可用的计算部件时，通过所述联机分析集群中的互联通信部件向所述公共备用集群下发所述第一业务指令对应的任务，以使所述公共备用集群中的备用部件于执行所述第一业务指令对应的任务；

若所确定的集群为所述联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的分布式中间部件发现所述联机事务集群中不存在可用的数据库部件时，通过所述分布式中间部件向所述公共备用集群下发所述第二业务指令对应的任务，以使所述公共备用集群中的备用部件执行所述第二业务指令对应的任务。

5.根据权利要求4所述的方法，其特征在于，所述确定适用于所述业务请求的集群，包括：

根据所述业务请求的属性，确定适用于所述业务请求的集群。

6.根据权利要求4所述的方法，其特征在于，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

7.一种数据分析装置，其特征在于，应用于数据分析系统中的应用设备，所述数据分析系统还包括：联机分析集群和联机事务集群，所述联机分析集群包括计算部件，所述联机事务集群包括数据库部件，包括：

接收模块，用于接收业务请求；

确定模块，用于确定适用于所述业务请求的集群；若所确定的集群为所述联机分析集群，则触发第一发送模块；若所确定的集群为所述联机事务集群，则触发第二发送模块；

第一发送模块，用于根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的计算部件执行所述第一业务指令对应的任务；

第二发送模块，用于根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的数据库部件执行所述第二业务指令对应的任务；

所述确定模块，具体用于：根据所述业务请求的发送方与集群之间的绑定关系，确定适用于所述业务请求的集群

其中，所述联机分析集群为联机分析处理OLAP集群，所述联机事务集群为联机事务处理过程OLTP集群；

所述系统还包括：公共备用集群，所述联机分析集群、所述联机事务集群和所述公共备用集群中存储的业务数据是相同的，所述公共备用集群包括备用部件；

所述第一发送模块，还用于若所确定的集群为所述联机分析集群，则根据所述业务请求，向所述联机分析集群发送第一业务指令，以使所述联机分析集群中的管理部件发现所述联机分析集群中不存在可用的计算部件时，通过所述联机分析集群中的互联通信部件向所述公共备用集群下发所述第一业务指令对应的任务，以使所述公共备用集群中的备用部件于执行所述第一业务指令对应的任务；

所述第二发送模块，还用于若所确定的集群为所述联机事务集群，则根据所述业务请求，向所述联机事务集群发送第二业务指令，以使所述联机事务集群中的分布式中间部件发现所述联机事务集群中不存在可用的数据库部件时，通过所述分布式中间部件向所述公共备用集群下发所述第二业务指令对应的任务，以使所述公共备用集群中的备用部件执行所述第二业务指令对应的任务。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于：

根据所述业务请求的属性，确定适用于所述业务请求的集群。

9.根据权利要求7所述的装置，其特征在于，所述联机分析集群为Greenplum数据库，所述联机事务集群为Cobar系统或者TDDL系统。

Images