CN207764844U - 一种数据处理系统 - Google Patents

Abstract

本申请公开了一种数据处理系统。该系统包括应用服务器集群、关系型数据库服务器集群和Spark内存计算服务器。其中，应用服务器集群用于接收访问终端输出的应用请求，并对访问终端的应用请求进行切分，将交易类的应用请求发送至关系型数据库服务器集群，将大数据处理的应用请求发送至Spark内存计算服务器。与现有技术相比，本实用新型集合了关系型数据库服务器集群处理并发任务的优点和Spark内存计算服务器能快速处理大数据的双重优点，在不影响原有银行系统大规模并发任务处理能力的情况下，提升银行系统对大数据的处理能力。

Description

一种数据处理系统

技术领域

本申请涉及金融领域，更具体地说，涉及一种数据处理系统。

背景技术

随着大数据分析的兴起，银行系统在交易过程中产生了海量的业务数据(即大数据)。目前的银行系统大都基于传统的关系型数据库对业务数据进行处理，虽然传统的关系型数据库具备并发任务处理能力，可快速处理交易类的应用请求，但其对大数据的处理能力较低。

实用新型内容

有鉴于此，本申请提供一种数据处理系统，以在不影响原有银行系统大规模并发任务处理能力的情况下，提升银行系统对大数据的处理能力。

为了实现上述目的，现提出的方案如下：

一种负载均衡调度系统，包括：

接收访问终端输出的应用请求的应用服务器集群，其中所述应用请求包括：第一应用请求和第二应用请求，所述第一应用请求为交易类的应用请求，所述第二应用请求为大数据处理的应用请求；

与所述应用服务器集群相连，用于对所述第一应用请求进行处理的关系型数据库服务器集群；

与所述应用服务器集群相连，用于对所述第一应用请求进行处理的Spark内存计算服务器。

优选的，还包括：

与所述Spark内存计算服务器和所述关系型数据库服务器集群相连，用于存储经过所述Spark内存计算服务器处理后的大数据，且与所述关系型数据库服务器集群进行数据交互的Hadoop服务器集群。

优选的，还包括：

与所述应用服务器集群和所述访问终端相连，用于接收访问终端发送的应用请求，并将所述应用请求转发至所述应用服务器集群的负载均衡服务器。

优选的，所述应用服务器集群至少包括一个应用服务器。

优选的，所述关系型数据库服务器集群至少包括一个数据库服务器。

优选的，所述Hadoop服务器集群至少包括一个分布式文件系统。

经由上述技术方案可知，本申请公开了一种数据处理系统。该系统包括应用服务器集群、关系型数据库服务器集群和Spark内存计算服务器。其中，应用服务器集群用于接收访问终端输出的应用请求，并对访问终端的应用请求进行切分，将交易类的应用请求发送至关系型数据库服务器集群，将大数据处理的应用请求发送至Spark内存计算服务器。与现有技术相比，本实用新型集合了关系型数据库服务器集群处理并发任务的优点和Spark内存计算服务器能快速处理大数据的双重优点，在不影响原有银行系统大规模并发任务处理能力的情况下，提升银行系统对大数据的处理能力。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本实用新型一个实施例公开的一种数据处理系统的结构示意图；

图2示出了本实用新型另一个实施例公开的一种数据处理系统的结构示意图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

参见图1示出了本实用新型一个实施例公开的一种数据处理系统的结构示意图。

由图1可知，该数据处理系统至少包括：应用服务器集群1、关系型数据库服务器集群2以及Spark内存计算服务器3。

其中，所述应用服务器集群1用于接收访问终端发送的应用请求，并对访问终端发送的应用请求切换为第一应用请求和第二应用请求，其中第一应用请求为即交易类的应用请求和第二应用请求为大数据处理应用请求。

所述关系型数据库服务器集群2与所述应用服务器集群1相连，用于接收应用服务器集群1下发的第一应用请求，并对该交易类的应用请求进行处理。

所述Spark内存计算服务器3与所述应用服务器集群1相连，用于接收应用服务器集群1下发的第二应用请求，并对该大数据处理的应用请求进行处理。

由以上实施例可知，本实用新型公开了一种数据处理系统。该系统包括应用服务器集群、关系型数据库服务器集群和Spark内存计算服务器。其中，应用服务器集群用于接收访问终端输出的应用请求，并对访问终端的应用请求进行切分，将交易类的应用请求发送至关系型数据库服务器集群，将大数据处理的应用请求发送至Spark内存计算服务器。与现有技术相比，本实用新型集合了关系型数据库服务器集群处理并发任务的优点和Spark内存计算服务器能快速处理大数据的双重优点，在不影响原有银行系统大规模并发任务处理能力的情况下，提升银行系统对大数据的处理能力。

参见图2示出了本实用新型另一个实施例公开的一种数据处理系统的结构示意图。

由图2可知，该数据处理系统包括：访问终端1、负载均衡服务器2、应用服务器集群2、关系型数据库服务器集群4、Spark内存计算服务器5和Hadoop服务器集群。

其中，所述应用服务器集群至少包括一个应用服务器。所述关系型数据库服务器集群至少包括一个数据库服务器。所述Hadoop服务器集群至少包括一个分布式文件系统(HDFS)。

所述负载均衡服务器2与所述访问终端1相连，用于接收访问终端1下发的访问请求，并将该访问请求发送至应用服务器集群3中相应的应用服务器中。

进而，该应用服务器基于该访问请求的类型(所述访问请求的类型包括：交易类的访问请求和大数据处理的访问请求)将该访问请求下发至关系型数据库服务器集群4或Spark内存计算服务器5中。

具体的，当该访问请求为交易类的访问请求时，应用服务器集群3中的应用服务器将该访问请求发送至数据库服务器集群4中，以便关系型数据库服务器集群4对该访问请求进行处理；当该访问请求为大数据处理的访问请求时，将该访问请求发送至Spark内存计算服务器5中，以便Spark内存计算服务器5对进行大数据处理。

进而，与Spark内存计算服务器5相邻的Hadoop服务器集群对经过Spark内存计算服务器处理后的大数据进行存储。

需要说明的是，在本实施例中，该Hadoop服务器集群还与关系型数据库服务器集群4相连，以进行数据文件交换，以提高的该数据处理系统的数据存储能力。

由以上实施例可知，一、本系统吸取了关系型数据库集群和Hadoop+Spark集群的双重优点，在不影响原有大规模并发任务处理能力的情况下，大幅提升对海量数据的加工性能。

二、本系统装置将海量数据文件存放从Oracle数据库集群迁移到Hadoop HDFS集群，Hadoop集群使用PC服务器，大幅降低系统成本。

三、实现了关系型数据库集群与Hadoop集群的数据文件实时连接，提升数据文件传输效率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据处理系统，其特征在于，包括：

接收访问终端输出的应用请求的应用服务器集群，其中所述应用请求包括：第一应用请求和第二应用请求，所述第一应用请求为交易类的应用请求，所述第二应用请求为大数据处理的应用请求；

与所述应用服务器集群相连，用于对所述第一应用请求进行处理的关系型数据库服务器集群；

与所述应用服务器集群相连，用于对所述第一应用请求进行处理的Spark内存计算服务器。

2.根据权利要求1所述的系统，其特征在于，还包括：

与所述Spark内存计算服务器和所述关系型数据库服务器集群相连，用于存储经过所述Spark内存计算服务器处理后的大数据，且与所述关系型数据库服务器集群进行数据交互的Hadoop服务器集群。

3.根据权利要求1所述的系统，其特征在于，还包括：

与所述应用服务器集群和所述访问终端相连，用于接收访问终端发送的应用请求，并将所述应用请求转发至所述应用服务器集群的负载均衡服务器。

4.根据权利要求1所述的系统，其特征在于，所述应用服务器集群至少包括一个应用服务器。

5.根据权利要求1所述的系统，其特征在于，所述关系型数据库服务器集群至少包括一个数据库服务器。

6.根据权利要求2所述的系统，其特征在于，所述Hadoop服务器集群至少包括一个分布式文件系统。