CN106161520A - 大数据应用平台及基于其的交互方法 - Google Patents

Abstract

本发明涉及计算机技术领域，提供了一种大数据应用平台，用于业务系统与分布式平台的交互，包含至少一应用程序接口，用于与所述业务系统建立连接，并通过所述分布式平台提供的访问接口与其建立连接。如此一来，通过大数据应用平台实现业务系统与分布式平台的松耦合，从而使得业务系统无需了解分布式平台的原理和实现细节，便可从原来的单机存储系统平滑移植到分布式平台。此外，本发明还提供一种基于大数据应用平台的交互方法。

Description

大数据应用平台及基于其的交互方法

技术领域

本发明涉及计算机技术领域，尤其关于一种大数据应用平台及基于大数据应用平台的交互方法。

背景技术

随着信息技术的飞速发展，数据量出现了爆炸式增长，数据量的不断扩张预示着现在已进入大数据时代，然而，传统的关系型数据库已无法满足大数据的数据存储动态扩展及负载均衡等需求。

分布式平台是指将数据存储、数据分析和计算等构建在由多个主机构成的集群上的软件平台。分布式平台相对于单机构成的系统主要区别在于处理问题的规模上，包括数据计算的规模和数据存储的规模。从物理层次上看，分布式平台运行在由多台不共享内存的机器构成的集群上，但是从逻辑层上来看，分布式平台对用户而言就好像一个单机系统，完全感觉不到物理上分布式的存在。分别式平台中分布式存储的运用使我们轻易的可以实现动态扩展及负载均衡的需求，而分布式计算让我们能够实现对大数据的分析，让数据产生价值，分布式计算通过分而治之解决单机计算的性能瓶颈。同时分布式存储及分布式计算无需再与大型数据库及大型服务器绑定，大大降低硬件设备成本，实现去IOE。

一般而言，现有的业务系统想要从原来的单机存储移植到分布式平台，需重新了解分布式平台的原理和实现细节，并对分布式功能进行开发，如此一来，业务系统不仅需要进行自身的业务开发，还要兼顾分布式功能的开发，带来了繁杂的开发工作。

发明内容

为了解决背景技术中存在的问题，本发明提供一种大数据应用平台，通过所述大数据应用平台实现业务系统与分布式平台的松耦合，从而使得业务系统无需了解分布式平台的原理和实现细节，便可从原来的单机存储系统平滑移植到分布式平台，如此可使业务系统更专注于自身业务功能的开发，节省大量的开发工作。

本发明提供的大数据应用平台，用于业务系统与分布式平台的交互，包含至少一应用程序接口，用于与所述业务系统建立连接，并通过所述分布式平台提供的访问接口与其建立连接。

于一变化实施例中，所述大数据应用平台更包含至少一功能模块，所述业务系统通过所述应用程序接口调用所述功能模块，所述功能模块通过所述访问接口与所述分布式平台建立连接。

于一变化实施例中，所述大数据应用平台更包含一分布式队列服务模块，接收和存储来自所述业务系统的服务请求，所述功能模块从所述分布式队列服务模块中读取相应服务请求，并将处理结果返回给相应的所述业务系统。

于一变化实施例中，所述大数据应用平台更包含一分布式协调服务模块，连接于各个功能模块。

本发明还提供一种基于大数据应用平台的交互方法，包含步骤：

S1、大数据应用平台接收来自业务系统的服务请求；

S2、解析转换所述服务请求；

S3、调用分布式平台对所述请求进行处理；

S4、获取并返回处理结果给所述业务系统。

更近一步的，在所述步骤S4的获取后与返回处理结果给所述业务系统前，所述大数据应用平台会对所述处理结果进行解析转换。

本发明通过提供用于业务系统与分布式平台交互的所述大数据应用平台，使得业务系统通过连接访问所述大数据应用平台提供的应用程序接口，即可完成服务请求的发送与处理结果的接收，所述大数据应用平台通过将来自各业务系统的服务请求进行解析转换，并通过调用分布式平台完成请求的处理，进而将处理结果返回至相应的各业务系统，从而完成对来自业务系统服务请求的响应，如此一来，业务系统无需了解分布式平台的原理和实现细节，只需与大数据应用平台进行交换则可完成服务请求的传送与处理结果的接收，避免了大量的程序开发工作。

附图说明

图1绘示本发明一较佳实施例所提供基于大数据应用平台的系统交互示意图；

图2绘示本发明一较佳实施例中的大数据应用平台结构示意图；

图3绘示本发明另一较佳实施例中大数据应用平台结构示意图；

图4绘示本发明另一较佳实施例中大数据应用平台结构示意图；

图5绘示本发明一实施例的基于大数据应用平台的交互方法流程图。

具体实施方式

为使本发明的技术方案及其优点更加明确和详细，以下将参照图示进行说明。

请参阅图1，图1绘示本发明一较佳实施例所提供基于大数据应用平台的系统交互示意图。如图所示，本实施例中，业务系统10通过大数据应用平台20与分布式平台30进行交互，具体而言，大数据应用平台20包含应用程序接口21，用于与业务系统10建立连接，换言之，业务系统10通过应用程序接口21与大数据应用平台10进行连接与交互。分布式平台30提供访问接口31，大数据应用平台20通过访问接口31与分布式平台30进行连接与交互。基于此，业务系统10通过应用程序接口21将服务请求发送给大数据应用平台20，大数据应用平台20将服务请求进行解析转换，通过访问接口31调用分布式平台30进行服务请求的处理并获取处理结果，最终将获取到的处理结果进行解析转换，并响应给发送服务请求的业务系统10。

如此一来，业务系统10可通过大数据应用平台20与分布式平台30进行交互，完成服务请求的处理，从而避免了现有业务系统10从单机存储移植到分布式平台时带来的繁杂工作。

值得注意的是，本发明所通过的大数据应用平台20可同时与多个业务系统进行交互，该些业务系统可通过应用程序接口21与大数据平台20建立连接并进行交互，以完成各自服务请求的处理。由此可见，大数据应用平台20的设立使得现有的业务系统在从单机存储移植到分布式平台时，不仅无需重新了解分布式平台的原理和实现细节，而且还可以避免多个业务系统相同功能需求的重复开发工作。

此外，本实施例中，大数据应用平台20仅提供一个统一的应用程序接口21，可以理解的是，于本发明的其他实施例中，大数据应用平台20可包含多个应用程序接口，业务系统可根据不同的需求访问相应的应用程序接口，或者，不同类型的业务系统可访问的应用程序接口也可不同，由此可在服务请求高度并发时减轻单个应用程序接口的负担。

本发明的其他实施例中，大数据应用平台可更包含至少一个功能模块22，请参阅图2，图2绘示本发明一较佳实施例中的大数据应用平台结构示意图。如图2所示，本实施例中的大数据应用平台20a较上一实施例中的大数据应用平台而言，更包含至少一个功能模块22，其中，该些功能模块22可为数据查询服务模块、数据搜索服务模块、数据采集服务模块、数据挖掘服务模块、分布式文档存储服务模块、分布式离线计算服务模块、分布式实时计算服务模块及分布式数据库服务模块等提供相应服务功能的模块，本发明的实施例中，该些功能模块22通过应用程序接口21供业务系统10按需调用或订阅，接收来自业务系统10的服务请求，对服务请求进行解析和转换，并通过访问接口31对分布式平台30进行调用以将服务请求传送至分布式平台30进行处理，并获取处理结果，再解析转化处理结果后，响应给业务系统。举例而言，业务系统10需要对数据进行查询，那么它可以通过应用程序接口21直接调用数据查询服务模块，数据查询服务模块接收来自业务系统10的服务请求，并将该服务请求解析转换，通过访问接口31对分布式平台30进行调用，将解析转换后的服务请求传送至分布式平台进行处理，获取处理结果后，对其进行解析和转换成业务系统10能识别的形式，并最终响应给业务系统10，从而完成数据查询相关的服务请求的处理。大数据应用平台20将不同功能模块进行单独封装，不仅可方便自身的管理，而且可加速对业务系统的响应，减少了在多个业务系统同时对大数据应用平台20进行调用时出现的排队时间过长问题的出现。

本实施例中，大数据应用平台20a以分布式hadoop平台为基础，构建基于分布式hadoop平台封装各功能模块的应用平台。其中数据抽取及数据挖掘等服务数据查询服务模块，以Impala为基础，客户端根据自己需求，灵活构造查询条件，系统进行语法解析和数据路由决策，分布式并行查询汇聚，构成海量数据查询服务，提供精确及模糊搜索能力。

数据搜索服务模块，以SolrCloud为基础，通过统一搜索入口，提供索引创建，搜索语法解析、并行搜索和汇聚展现等功能，构成海量数据搜索服务。

数据采集服务模块，提供多样性的采集功能，可以从多个终端采集数据，也可以采集多种形式的数据(数据库、文件、网页等)，支持实时及批量数据采集的方式，并通过分布式队列进一步加工处理。

数据挖掘服务模块，提供各种不同类型的算法服务，对预先存储在HDFS和HBASE中的数据做分析，通过存储在分布式系统中的大量数据进行分析挖掘生成更有价值的数据。

分布式文档存储服务模块，是以HDFS为基础，提供分布式文件存储机制，将数据分散存储在多台服务器上，采用元数据管理以及数据存储节点的组成模式，构成海量文档存储服务。

分布式离线计算服务模块，对存储在hdfs和hbase中的海量数据做分布式并行计算，支持基于mapreduce和spark技术，对预先存储在分布式平台中的数据做定期的统计分析，并支持将统计分析结果推送到预先指定的位置。

分布式实时计算服务模块基于spark stream技术实现，提供流式计算、迭代计算、批处理和交互查询等实时计算功能。

分布式数据库服务模块以HBase为基础，提供分布式海量数据存储能力，将数据分散存储在多台服务器上，为高并发、大数据量的数据读写、管理提供支持。

本发明的实施例中，大数据应用平台还可更包含分布式队列服务模块。请参阅图3，图3绘示本发明另一较佳实施例中大数据应用平台结构示意图。如图3所示，本实施例中的大数据应用平台20b较上一实施例中的大数据应用平台20a而言，更包含分布式队列服务模块23，与上一实施例不同的是，本实施例中，业务系统10通过应用程序接口21发送的服务请求将会先统一存储在分布式队列服务模块23中，各功能模块22从分布式队列模块23中读取各自相关的服务请求，并进行解析转换，通过访问接口31调用分布式平台进行请求的处理，获取处理结果后，对其进行解析转换，最后响应给相应的业务系统10。本实施例中，通过使用分布式队列服务模块23统一存储管理来自业务系统10的服务请求，并通过各功能模块22主动从分布式队列服务模块23中读取待处理请求的方式，可减少服务请求大量并发时排队等候的时间，提高处理效率。值得注意的是，本发明的实施例中，分布式队列服务模块23以Kafka为基础，具备分布式、分区的、多副本的、多订阅者的特点，是可提供高吞吐量、高可靠的分布式消息队列服务。

请参阅图4，图4绘示本发明另一较佳实施例中大数据应用平台结构示意图。如图4所示，本实施例中的大数据应用平台20c较上一实施例中的大数据应用平台20b而言，更包含分布式协调服务模块24，连接于各功能模块22及分布式队列服务模块。分布式协调服务模块24以Zookeeper为基础，针对大型分布式系统，构建应用间一致性服务，提供的功能包括：配置维护、名字服务、分布式锁、组服务、队列管理等。举例而言，分布式协调服务模块24对来自业务系统10的服务请求进行分析，确认其服务请求中所需的功能模块22，并对该些功能模块22间的调用顺序进行整理，以完成业务系统10的服务请求的处理，同时也可对分布式队列模块23等其他资源进行规划和整合，从而提升系统的整体性能，以快速响应业务系统的服务请求。

值得注意的是，本发明的实施例中，大数据应用平台20、20a及20b是以分布式hadoop平台为基础，构建基于分布式hadoop平台封装各功能模块的应用平台，较于传统的单机系统而言，它是部署在一个计算机集群上的分布式应用平台，包含一个主节点及至少一个子节点，主节点用于协调控制子节点。而被封装在该应用平台上的各功能模块、分布式队列服务模块以及分布式协调服务模块也同样是被部署在一个计算机集群上，各自包含一个主节点及至少一个子节点，主节点用于协调控制子节点。通过该方式，使得大数据应用平台本身具有高度的可扩展性。

可以理解的是，上述实施例中，业务系统10都是通过大数据应用平台20所提供的统一应用程序接口21对大数据应用平台20上的各功能模块22进行调用，而该应用程序接口21是独立于各功能模块22的，本发明的其他实施例中，各功能模块22也可以提供单独的应用程序接口供业务系统10直接调用，换言之，该应用程序接口21是由各功能模块22提供的，而并非独立于各功能模块22存在，如此一次，业务系统10可根据服务请求的类型，直接通过各功能模块22提供的应用程序接口直接对其进行调用，从而加速了服务请求的响应。

本发明还提供一种基于大数据应用平台的交互方法，请参阅图5，图5绘示本发明一实施例的基于大数据应用平台的交互方法。

如图5所示，基于大数据应用平台的交互方法包含步骤：

S1，大数据应用平台接收来自业务系统的服务请求。请再次参照图1，业务系统10通过大数据应用平台20提供的应用程序接口21发送服务请求至大数据应用平台20，大数据应用平台20对通过应用程序接口21进入的服务请求进行接收。

S2，解析转换服务请求。大数据应用平台20通过步骤S1接收到来自业务系统10的服务请求后，对其进行解析转换，使得该条服务请求符合分布式平台30的格式标准，从而后续能被分布式平台30读取识别。

S3，调用分布式平台对服务请求进行处理。大数据应用平台20通过访问接口31调用分布式平台30对服务请求进行处理。

S4，获取并返回处理结果给所述业务系统。大数据应用平台20从分布式平台30获取处理结果，并将处理结果返回给业务系统10。值得注意的是，大数据应用平台20从分布式平台30获取到处理结果后，会先对处理结果进行解析转换，使其能被业务系统10所读取和识别，解析转换完成后，大数据应用平台20才会把处理结果返回给业务系统10。

综上所述，本发明通过提供一种大数据应用平台及基于大数据应用平台的交互方法，使得业务系统无需直接与分布式平台建立连接，而是通过大数据应用平台进行间接耦合，以完成从传统单机系统到分布式平台的平滑转移。使得业务系统无需了解分布式平台的原理和实现细节，只需与大数据应用平台进行交换则可完成服务请求的传送与处理结果的接收，避免了大量的程序开发工作。

Claims (6)

1.一种大数据应用平台，用于业务系统与分布式平台的交互，其特征在于，包含至少一应用程序接口，用于与所述业务系统建立连接，并通过所述分布式平台提供的访问接口与其建立连接。

2.如权利要求1所述的大数据应用平台，其特征在于，所述大数据应用平台更包含至少一功能模块，所述业务系统通过所述应用程序接口调用所述功能模块，所述功能模块通过所述访问接口与所述分布式平台建立连接。

3.如权利要求2所述的大数据应用平台，其特征在于，所述大数据应用平台更包含一分布式队列服务模块，接收和存储来自所述业务系统的服务请求，所述功能模块从所述分布式队列服务模块中读取相应服务请求，并将处理结果返回给相应的所述业务系统。

4.如权利要求3所述的大数据应用平台，其特征在于，所述大数据应用平台更包含一分布式协调服务模块，连接于各个功能模块。

5.一种基于大数据应用平台的交互方法，其特征在于，包含步骤：

S1、大数据应用平台接收来自业务系统的服务请求；

S2、解析转换所述服务请求；

S3、调用分布式平台对所述请求进行处理；

S4、获取并返回处理结果给所述业务系统。

6.如权利要求5所述的基于大数据应用平台的交互方法，其特征在于，在所述步骤S4的获取后与返回处理结果给所述业务系统前，所述大数据应用平台会对所述处理结果进行解析转换。