CN106709016A - 一种基于服务总线的数据交换方法 - Google Patents

Abstract

本发明公开了一种基于服务总线的数据交换方法，它包括以下过程：数据流的自动调度：以数据流形式进行多数据源的自动调度；多源异构数据间的数据互联互通：对多源异构数据进行抽取转换，处理后数据与源数据进行交换；数据的输入输出：将多源异构数据进行有效输入输出。本发明从多数据源以数据流形式进行自动调度，抽取转换，经过处理的数据与源数据交换或转发到其他目标位置，将多源异构数据进行有效的输入输出，通过采用能够实现数据流自动调度和交换的服务总线，利用数据交换引擎收集并处理数据调用服务请求，通过数据接口实现数据的共享交换。使所有的业务数据互联互通，实现数据在系统中进行自动流转，可以方便参与上层的业务流程。

Description

一种基于服务总线的数据交换方法

技术领域

本发明涉及一种基于服务总线的数据交换方法，属于通信技术领域。

背景技术

随着信息时代的迅猛发展，结构化、半结构化、非结构化数据的长期积累，信息化系统的多样性造成的“数据孤岛”已然成为各行业的突出问题，数据间无法互联互通，数据库种类不一，数据结构定义混杂，面对庞大的数据资产无法使其发挥最大作用，数据资产得不到充分利用。现有的数据存储方式是单节点上的串行存储，单节点上存储容量有限，扩展后也是串行方式读取，磁盘I/O受限于单台节点。

数据交换是是各类业务数据采集工具之一，能够实现上下级业务数据之间的纵向数据交换，实现同级之间的统一的横向数据交换渠道，满足各种数据的交换要求。为了使各系统之间的基础数据得以共享,迫切需要设计一种数据交换方案来信息化系统的“数据孤岛”问题。

发明内容

针对上述不足，本发明提供了一种基于服务总线的数据交换方法，其能够有效实现数据间的互联互通，能够解决信息化系统的“数据孤岛”问题。

本发明解决其技术问题采取的技术方案是：一种基于服务总线的数据交换方法，其特征是，包括以下过程：

数据流的自动调度：以数据流形式进行多数据源的自动调度；

多源异构数据间的数据互联互通：对多源异构数据进行抽取转换，处理后数据与源数据进行交换；

数据的输入输出：将多源异构数据进行有效输入输出。

进一步地，所述数据流的自动调度过程包括以下步骤：

S11，定义作业：定义作业执行的开始时间，作业执行间隔时间，以及作业启动周期；

S12，定义作业执行程序：选择作业执行过程中需要调用的任务和顺序，根据顺序形成执行过程；

S13，启动作业：作业启动后，会根据预先定义的作业参数进行定时执行；

S14，作业异常处理：当作业执行过程中出现错误时，作业自动停止，并在错误位置重新执行，重新执行后如果仍有错误则显示红色标识块提示检查程序内容；

S15，作业执行完成：作业执行完成后相关数据已调用完毕，可从目标库中或文件中进行查找使用。

进一步地，所述多源异构数据间的数据互联互通过程包括以下步骤：

S21，定义数据源：设置数据库的登录用户名和密码，以及数据库中文件的访问路径；

S22，定义数据落地：对数据库的访问路径及登录用户名和密码进行测试，测试数据源连接是否正常，并进行多库抽取测试目标数据落地路径是否畅通；

S23，数据抽取：使用JDBC或程序接口方式提取数据源中的数据；

S24，数据清洗、整理：对数据进行筛选、过滤处理；

S25，数据转换：对数据进行转换，转为标准的数据格式；

S26，数据加载：根据业务需要将转换后的数据加载到数据库中，用于数据挖掘、统计分析展现；

S27，数据回传：对需要回传的数据加载后写回数据源，进行数据交互。

进一步地，所述的数据库包括MySQL、SQLServer和Oracle数据库。

进一步地，在步骤S24中，对数据进行筛选、过滤处理的过程包括空值处理、规范数据格式、拆分数据、验证数据的正确性和数据替换。

进一步地，所述的服务总线包括：

服务请求监听器：用于进行服务监听，接受来自客户端的数据请求；

服务定义模块：用于为数据服务提供接入口，按照不同业务、数据请求模式将数据服务划分为不同的数据服务；

接口控制模块：用于按照请求业务和数据的不同调用不同的服务接口；

日志监控模块：用于每次请求、响应后进行操作留痕，为日后数据追查、统计使用；

管道管理模块：用于为程序提供多种传输管道，进行处理不同服务业务请求；

服务解释处理器：用于根据请求的具体业务情况将数据提交到不同的数据传输管道中；

传输管道：用于将数据从数据源数据库进行数据抽取、加密、压缩、转换处理后保存到数据库中。

本发明的有益效果是：本发明从多数据源以数据流形式进行自动调度，抽取转换，经过处理的数据与源数据交换或转发到其他目标位置，将多源异构数据进行有效的输入输出，通过采用能够实现数据流自动调度和交换的服务总线，利用数据交换引擎收集并处理数据调用服务请求，通过数据接口实现数据的共享交换。使所有的业务数据互联互通，实现数据在系统中进行自动流转，可以方便参与上层的业务流程。

附图说明

下面结合说明书附图对本发明进行说明。

图1为本发明的方法流程图；

图2为本发明所述数据流的自动调度过程的流程图；

图3为本发明所述服务总线的原理框图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，本发明的一种基于服务总线的数据交换方法，它包括以下过程：

数据流的自动调度：以数据流形式进行多数据源的自动调度；

多源异构数据间的数据互联互通：对多源异构数据进行抽取转换，处理后数据与源数据进行交换；

数据的输入输出：将多源异构数据进行有效输入输出。

如图2所示，本发明所述数据流的自动调度过程包括以下具体步骤：

S11，定义作业：定义作业执行的开始时间，作业执行间隔时间，以及作业启动周期；

S12，定义作业执行程序：选择作业执行过程中需要调用的任务(Task)和顺序，根据顺序形成执行过程；

S13，启动作业：作业启动后，会根据预先定义的作业参数进行定时执行；

S14，作业异常处理：当作业执行过程中出现错误时，作业自动停止，并在错误位置重新执行，重新执行后如果仍有错误则显示红色标识块提示检查程序内容；

S15，作业执行完成：作业执行完成后相关数据已调用完毕，可从目标库(HBase或Hive)中或文件中进行查找使用。

本发明所述多源异构数据间的数据互联互通过程包括以下步骤：

S21，定义数据源：设置数据库的登录用户名和密码，以及数据库中文件的访问路径；

S22，定义数据落地：对数据库的访问路径及登录用户名和密码进行测试，测试数据源连接是否正常，并进行多库抽取测试目标数据落地路径是否畅通；

S23，数据抽取：使用JDBC或程序接口方式提取数据源中的数据；

S24，数据清洗、整理：对数据进行筛选、过滤处理，对数据进行筛选、过滤处理的过程包括空值处理、规范数据格式、拆分数据、验证数据的正确性和数据替换；

S25，数据转换：对数据进行转换，转为标准的数据格式；

S26，数据加载：根据业务需要将转换后的数据加载到数据库中，用于数据挖掘、统计分析展现；

S27，数据回传：对需要回传的数据加载后写回数据源，进行数据交互。

进一步地，所述的数据库MySQL、SQLServer和Oracle数据库。在具体应用过程中，不同的数据源可以采用不同的数据库。

如图3所示，本发明所述的服务总线包括：

服务请求监听器：用于进行服务监听，接受来自客户端的数据请求；

服务定义模块：用于为数据服务提供接入口，按照不同业务、数据请求模式将数据服务划分为不同的数据服务；

接口控制模块：用于按照请求业务和数据的不同调用不同的服务接口；

日志监控模块：用于每次请求、响应后进行操作留痕，为日后数据追查、统计使用；

管道管理模块：用于为程序提供多种传输管道，进行处理不同服务业务请求；

服务解释处理器：用于根据请求的具体业务情况将数据提交到不同的数据传输管道中；

传输管道：用于将数据从数据源数据库进行数据抽取、加密、压缩、转换处理后保存到数据库中。

下面介绍本发明的具体应用过程，采用本发明的服务总线进行数据交换的操作过程如下：

步骤一：建立Hbase表结构或Hive数据仓库，(根据业务所需，要求实时查询的采用Hbase，允许时间范围内统计预测结果的采用Hive，本系统Hbase与Hive同时安装)，设置数据抽取后进入Hbase或Hive。如果采用Hive数据仓库形式进行存储，定义Hive中数据表结构，用SQL语句的语法形式对Hive中的文件内容进行读取。若采用HBase形式存储数据，HBase是Hadoop的分布式数据库，HBase数据文件存储在HDFS中，对HBase的操作遵循语法规则增删查改即可。Hive数据仓库方式适用于离线计算，HBase适用于实时查询，亦可用于离线计算。

步骤二：定义数据源的地址、端口，通过连接测试确保数据库(或文件)网络访问正常。

步骤三：查询Hbase或Hive中的数据截止点，有效防止数据重复抽取，除平台第一次抽取全量数据外，以后使用过程中都为增量数据抽取。

步骤四：定义作业名称，选取抽取时间，定时定量抽取，按照作业顺序进行统一调度管理，让作业逻辑清晰可维护。

步骤五：针对实际业务建立数据模型，定义数据结构，厘清数据间的关系和脉络，定期对数据质量进行跟踪和改进，组织数据抽取、清洗、转换方式，在数据清洗整合过程中，对不完整的数据、错误的数据、重复的数据进行检查过滤，按照数据的规范要求对相关业务数据进行位数及其他关键数据项非空校验检查。数据模型是通过算法(如：数学、统计学、概率学、经济学等)推导出新的公式，寻找影响数据间因素的相关性，通过加载大量数据进行算法验证，检验公式的正确性与准确性，公式的准确率越高，模型越精确，将该模型公式转换成模型算法，通过java代码以程序编码形式实现最终展现在界面上。

步骤六：点击“执行作业”，程序根据预先定义的规则与逻辑逐步执行，作业在启动执行中、执行成功、执行失败等状态以颜色标识。

步骤七：当多个作业执行时，采取排队方式，程序可自行调度，所有调度信息存储成元数据，调度程序读取元数据信息安排作业调度顺序和作业状态监管。

步骤八：当作业正常执行完成后，到Hbase或Hive中查找相关内容即可，数据已按照既定方式进入Hadoop分布式集群中进行存储，供数据分析使用。

由于使用了Hadoop和Sqoop的API接口功能，不需要在多源数据服务器上部署，只需在Hadoop集群中搭建基础组件，因此在性能和效率方面都有明显优势。在数据自动调用处理过程中，底层通过Hadoop的MapReduce执行，当业务过程中进行全过程监管。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (6)

1.一种基于服务总线的数据交换方法，其特征是，包括以下过程：

数据流的自动调度：以数据流形式进行多数据源的自动调度；

多源异构数据间的数据互联互通：对多源异构数据进行抽取转换，处理后数据与源数据进行交换；

数据的输入输出：将多源异构数据进行有效输入输出。

2.根据权利要求1所述的一种基于服务总线的数据交换方法，其特征是，数据流的自动调度过程包括以下步骤：

S11，定义作业：定义作业执行的开始时间，作业执行间隔时间，以及作业启动周期；

S12，定义作业执行程序：选择作业执行过程中需要调用的任务和顺序，根据顺序形成执行过程；

S13，启动作业：作业启动后，会根据预先定义的作业参数进行定时执行；

S14，作业异常处理：当作业执行过程中出现错误时，作业自动停止，并在错误位置重新执行，重新执行后如果仍有错误则显示红色标识块提示检查程序内容；

S15，作业执行完成：作业执行完成后相关数据已调用完毕，可从目标库中或文件中进行查找使用。

3.根据权利要求1所述的一种基于服务总线的数据交换方法，其特征是，多源异构数据间的数据互联互通过程包括以下步骤：

S21，定义数据源：设置数据库的登录用户名和密码，以及数据库中文件的访问路径；

S22，定义数据落地：对数据库的访问路径及登录用户名和密码进行测试，测试数据源连接是否正常，并进行多库抽取测试目标数据落地路径是否畅通；

S23，数据抽取：使用JDBC或程序接口方式提取数据源中的数据；

S24，数据清洗、整理：对数据进行筛选、过滤处理；

S25，数据转换：对数据进行转换，转为标准的数据格式；

S26，数据加载：根据业务需要将转换后的数据加载到数据库中，用于数据挖掘、统计分析展现；

S27，数据回传：对需要回传的数据加载后写回数据源，进行数据交互。

4.根据权利要求3所述的一种基于服务总线的数据交换方法，其特征是，所述数据库包括MySQL、SQLServer和Oracle数据库。

5.根据权利要求3所述的一种基于服务总线的数据交换方法，其特征是，在步骤S24中，对数据进行筛选、过滤处理的过程包括空值处理、规范数据格式、拆分数据、验证数据的正确性和数据替换。

6.根据权利要求1至5任意一项所述的一种基于服务总线的数据交换方法，其特征是，所述服务总线包括：

服务请求监听器：用于进行服务监听，接受来自客户端的数据请求；

服务定义模块：用于为数据服务提供接入口，按照不同业务、数据请求模式将数据服务划分为不同的数据服务；

接口控制模块：用于按照请求业务和数据的不同调用不同的服务接口；

日志监控模块：用于每次请求、响应后进行操作留痕，为日后数据追查、统计使用；

管道管理模块：用于为程序提供多种传输管道，进行处理不同服务业务请求；

服务解释处理器：用于根据请求的具体业务情况将数据提交到不同的数据传输管道中；

传输管道：用于将数据从数据源数据库进行数据抽取、加密、压缩、转换处理后保存到数据库中。