CN107948035A

CN107948035A - 基于私有云大数据交互的企业数据服务总线构建方法

Info

Publication number: CN107948035A
Application number: CN201711214391.7A
Authority: CN
Inventors: 吴永欢; 孙煜华; 张雨; 廖嘉炜; 池燕清; 徐炫东
Original assignee: Guangzhou Power Supply Bureau Co Ltd
Current assignee: Guangzhou Power Supply Bureau Co Ltd
Priority date: 2017-11-28
Filing date: 2017-11-28
Publication date: 2018-04-20

Abstract

本发明公开了一种基于私有云大数据交互的企业数据服务总线构建方法，包括软件部属、硬件部署、平台部署以及应用部署的步骤，在软件部属中通过在裸的物理服务器上安装Linux操作系统、并部署基于容器的Hadoop大数据平台、用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像、在大数据平台上用start命令启动容器等操作步骤来实现秒级别的启停服务。本发明能够提供对SQL的统一支持，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB到100PB的数据，并且在每个数量级上，其性能都比开源Hadoop版本快10x~100x倍，大大提高了数据分析的灵活高效性。

Description

基于私有云大数据交互的企业数据服务总线构建方法

技术领域

本发明涉及网络技术领域，特别是一种企业用数据服务总线的构建方法。

背景技术

企业服务总线（Enterprise Service Bus，简称ESB）的概念是从面向服务体系架构（Service Oriented Architecture，简称SOA）发展而来的，为分散服务提供了交互、组合和治理的基础架构。SOA描述了一种IT基础设施的应用集成模型，其中的软件构架描述的对象是直接构成系统的抽象组件，各个组件之间的连接则明确和相对细致地描述组件之间的通讯，是一种定义清晰的层次化结构相互耦合；一个ESB就是一个预先组装的SOA实现，它包含了实现SOA分层目标所必需的基础功能部件。

近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库等开源软件框架，在各行各业具有愈发广泛的应用。基于现有技术的发展，企业可以建构基于大数据的数据服务总线。

发明内容

本发明需要解决的技术问题是提供一种基于私有云大数据交互的企业数据服务总线的构建方法，使企业各类应用可以统一在大数据平台上进行数据流转交互，提高数据分析的灵活高效性。

为解决上述技术问题，本发明所采取的技术方案如下。

基于私有云大数据交互的企业数据服务总线构建方法，具体包括以下步骤：

1）软件部属

11）在裸的物理服务器上安装Linux操作系统，并部署基于容器的Hadoop大数据平台；

22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；

33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间；

2）硬件部署

通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；

3）平台部署

平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；

4）应用部署

通过Web UI、REST API或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。

上述基于私有云大数据交互的企业数据服务总线构建方法，步骤11）中所述的操作系统为CentOS或Redhat操作系统。

上述基于私有云大数据交互的企业数据服务总线构建方法，步骤12）中所述的容器利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明能够提供对SQL的统一支持，企业无需建构各种复杂技术混合架构的数据处理平台，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理10GB到100PB的数据，并且在每个数量级上，其性能都比开源Hadoop版本快10x~100x倍，大大提高了数据分析的灵活高效性。本发明的应用范围可覆盖各种规模和不同数据量的企业，并且还可以伴随企业的业务数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。

具体实施方式

下面将结合具体实施例对本发明进行进一步详细说明。

本发明使用容器技术有效地将企业各个业务系统原属于单个操作系统管理的资源都划分到孤立的组中，以此来调节各项业务的资源使用需求。这样容器可以在核心CPU本地运行指令，而不需要任何专门的解释机制，既不需要指令级模拟，也不需要即时编译，每个容器内运行一个应用，不同的容器相互隔离，容器之间建立通信机制；容器自身对资源的需求十分有限，远比虚拟机本身占用的资源少，因此其创建和停止都十分快速（秒级）。

传统的Oracle数据库以及大数据平台的各个组件，都可以依据固定的模板，创建成为一个个可以在云操作系统上运行的容器镜像，Oracle数据库以及大数据平台的各个组件都在容器内部运行，各种功能都可以通过接口来供使用者调用，以及实现不同平台和组件之间的数据交互。

基于分布式容器集群管理系统构建的服务器虚拟化私有仓库，可为大数据平台系统的各类应用、分布式计算和存储服务组件提供多租户隔离的容器资源调配管理、应用打包部署及SLA管理、作业调度管理以及统一运维监控管理。

本发明所述的一种基于私有云大数据交互的企业数据服务总线，该企业数据服务总线应用于电网企业中，能够通过容器封装实现渠道全景监控和95598客户服务热线的状态监控。其构建方法具体包括以下步骤：

1）软件部属

11）在裸的物理服务器上安装Linux操作系统，操作系统优选为CentOS或Redhat操作系统；然后部署基于容器的Hadoop大数据平台。Hadoop相关服务采用docker image的方式安装，并且各个组件的选择按照实际业务需要进行搭配安装，被依赖的服务自动关联。大数据平台安装后可以在线扩容、在线升级。

22）用容器镜像封装工具将所开发的应用进行封装成为标准的容器镜像，将所有容器镜像采用push命令上传至企业数据服务总线的私有仓库；容器之间利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。

容器镜像一旦创建即封装在企业总线的私有仓库内，也可与其他集群之间进行镜像的复制和移动。

33）在大数据平台上用start命令启动容器，为每一个容器内的服务创建一个独立的进程隔离空间。在服务未启动时，CPU、内存等底层硬件计算资源是应用于其他服务的，而容器启动后则由此类服务部分占用。服务停止时，容器自动销毁，其原来所占用的资源又得以释放，供其他服务所使用，达到了众多电网服务业务的灵活启停和集群弹性扩容、缩容的目的。

2）硬件部署

通过负载均衡设备以及应用服务器集群策略在生产区部署云平台系统，与互联网完全隔离；做到私有化，并保证了整个平台的安全性。云平台系统支持硬件系统性能升级与数量扩充，可持续满足并发访问用户数的增长，可以动态扩展。

3）平台部署

平台采用图形化管理界面安装，包括docker组件和kubernetes的一键安装，market和registry的部署；在云平台系统中可以提供各个组件各项关键指标的监控。

4）应用部署

通过Web UI、REST API或者命令行一键安装和部署应用，自动根据服务的依赖性安装所需的其他服务组件。Docker作为装载进程的容器，不用重新启动操作系统，秒级别的启停服务，可以在数据中心创建或销毁，没有额外消耗。

本发明构建的企业数据服务总线，在作业过程中，集群内使用统一的NTP时钟同步源，以保持数据的实时有效性。

本实施例中，企业数据服务总线应用到电网中时，能够准确实时地总览电网企业全渠道及二级部门的业务和工单情况，并对营销关健指标，如实收电费笔数和实收金额、业扩工单数量等情况进行实时监控等，提高了数据分析的灵活高效性。

采用本发明构建的企业数据服务总线，具有以下特点：

1）具有大数据平台上的所有功能，可以完整支持大数据处理的场景，包括：离线批处理、实时流处理、高并发精确检索、模糊搜索、数据挖掘、交互式分析等。

2）支持完整的SQL 99标准和SQL 2003核心扩展语法，可以运行TPC-DS标准测试集的全部99个测试项；是支持存储过程的SQL on Hadoop引擎，兼容98%以上的Oracle PL/SQL与80%以上的DB2 SQL PL语法，支持存储过程、函数、控制流、游标、异常处理等各类语法；是支持ACID分布式事务的大数据SQL引擎。

3）高速SQL引擎的执行性能比开源Apache Hadoop快10倍左右，比开源Spark稳定高效，比主流MPP数据库快1.5到5倍。全部组件实现了高可用性，解决了大数据处理中的各种不稳定问题，保证业务7*24小时不间断运行。

4）具备超高并发查询能力，支持全局和局部索引，能够提供毫秒级的查询性能，单节点每秒处理的并发请求数可以达到几万，满足高并发、低延时的业务应用需要。是支持SSD的基于Hadoop的高效存储引擎，比基于硬盘的引擎快一个数量级；高效支持内存/闪存/硬盘混合存储，可提供高性价比的存储配置；可用于建立各种数据集市，对接多种主流报表工具。

5）支持上百种分布式统计算法和机器学习算法，同时整合超过5000个R语言算法包，适合数据挖掘、文本分析、精准营销等应用。结合高效快速的数据挖掘能力以及平台对主流可视化和BI的支持，可以将新的大数据应用轻松融合进原有业务中。用户可以根据实际业务需求套用模板进行数据挖掘探索，大大加速用户数据挖掘的效率。

6）可以进行本地化裸机部署，也可以部署在容器技术支持的私有云操作系统上，直接用封装在Docker容器内的镜像进行服务的启停以及集群弹性扩容、缩容，无需使用虚拟化软件虚拟操作系统。

Claims

1.基于私有云大数据交互的企业数据服务总线构建方法，其特征在于，具体包括以下步骤：

1）软件部属

2）硬件部署

3）平台部署

4）应用部署

2.根据权利要求1所述的基于私有云大数据交互的企业数据服务总线构建方法，其特征在于，步骤11）中所述的操作系统为CentOS或Redhat操作系统。

3.根据权利要求1所述的基于私有云大数据交互的企业数据服务总线构建方法，其特征在于，步骤12）中所述的容器利用namespace实现系统环境的隔离，利用Cgroup实现资源限制，利用镜像实现根目录环境的隔离。