CN103516814A - 一种大数据量的数据交换方法 - Google Patents

Abstract

本发明提供一种大数据量的数据交换方法，其具体实现过程为：搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成，然后由数据交换模块完成数据交换过程。该一种大数据量的数据交换方法和现有技术相比，数据交换平台实现了逻辑上的总线功能，连接了各个不同应用系统，负责不同应用系统的数据源间的数据交换与共享，实现不同系统之间的任意的数据交换与共享。

Description

一种大数据量的数据交换方法

技术领域

本发明涉及信息处理技术领域，具体的说是一种采用集群方式、提高系统可靠性的大数据量的数据交换方法。

背景技术

在当前的社会情况下，各行业、部门在开发自己系统时都很少考虑到整体规划问题，由此产生了各系统间缺乏统一的数据标准。在局域网、内部网的应用系统间的数据交换与共享，大多采用开发独立的数据交换程序来完成所需，过多的点对点连接增加系统的复杂性和不稳定性，造成数据交换困难，“信息孤岛”问题愈发突出。随着信息共享需求的不断增加，原有各系统间的交互性就越来越必要，为了使各系统能够更顺利的实现信息共享，实现信息的一致性的要求越来越迫切。

一般系统间实现信息共享有两种方式：一是针对需求开发单独数据交换程序，使各应用系统兼容。但是这种方法耗时耗力，而且存在系统耦合度高，显然这种方案是一般人无法接受的。二就是构建一个能够兼容各行业、部门的数据交换平台，平台内部制定数据交换标准。

基于此，本发明提供一种基于大数据量的数据交换方法，该方法采用的数据交换平台应用第二种实现方式构建。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种大数据量的数据交换方法。

本发明的技术方案是按以下方式实现的，该一种大数据量的数据交换方法，其具体实现过程为:

一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成：

配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式；

数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成：其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、加密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用；

监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能；

数据资源模块提供数据需要的文件系统和数据库；

二、由数据交换模块完成数据交换过程：

1）数据交换任务根据执行策略从数据资源模块中调用报文接入；

2）报文处理完成报文处理及报文的加解密工作；

3）通过报文传输将报文发送到相应的外部系统。

在上述技术方案中，数据交换平台实现了逻辑上的总线功能，连接了各个不同应用系统，负责不同应用系统的数据源间的数据交换与共享。数据交换平台可实现不同系统之间的任意的数据交换与共享。

所述配置管理模块具体包括：任务管理、传送方式设置、加密解密设置、压缩解压设置、监控设置、路由设置、目录管理和服务管理。

所述监控管理模块具体包括：查询统计、日志监控、发送监控、接收监控、报文监控和队列监控。

所述数据交换模块中的报文接入具体包括：协议适配、安全认证、逻辑检查和数据缓存；报文处理具体包括格式转换、报文拆分、压缩解压、加密解密；报文传输具体包括：报文发送、报文接收。

所述报文传输对下列不同的应用进行技术协议适配：Web Service、FTP、MQ、JMS交换协议。

所述步骤二的详细过程为：

1）定时任务根据执行策略调用业务处理服务；

2）业务处理服务获取需推送文件或数据；

3）业务处理程序将数据拼装成报文；

4）根据加密解密设置对报文进行加密解密；

5）根据压缩解压设置对报文进行压缩解压；

6）将加密后的二进制数据转换成字符串格式；

7）将大批量交换报文的拆分为多个小报文；

8）根据报文中的外部系统ID，将报文发送到相应的外部系统适配器；

9）适配器将报文发送给外部系统。

本发明与现有技术相比所产生的有益效果是：

本发明的一种大数据量的数据交换方法提供的数据交换平台采用基于EJB3.0分布式架构，使系统具备了高可扩展能力；采用B/S模式设计；实现了集中管理灵活配置，用户只需通过简单的操作，就可完成数据共享交换的配置；采用队列机制来进行压力缓冲和流量控制；支持同构、异构、批量、增量等多种数据复制机制，适应不同类型的数据同步复制场景；提供多种技术适配的绑定方式，包括WS、EJB、JMS、MQ、FTP等；支持自定义的数据格式转换，包括XML之间以及XML同其他结构化文本的相互转换；支持大批量交换报文的拆分或合并、压缩或解压缩、编码或解码、加签或验签、加密或解密；采用高可靠性的批量数据传输机制，支持多种模式的数据交换方式。传输过程因意外中断，当系统恢复时，数据会重新传输，实现断点续传；采用了WS-Security安全标准。数据传输采用安全性较高的SSL协议；采用前置机模式，实现了对源业务系统的隔离，保证了不对业务系统造成破坏和压力的增加；提供监控管理服务，以便对共享交换过程的有关情况进行记录，包括发起方、接受方、采用的共享/交换规则,策略的运行情况等；统一的安全权限认证服务，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性，例如CA、用户名/密码、动态口令、IP等；采用集群的方式，提高系统的可靠性；实用性强，适用范围广泛，易于推广。

附图说明

附图1是本发明的数据交换平台示意框图。

具体实施方式

下面结合附图对本发明的一种大数据量的数据交换方法作以下详细说明。

本发明提供一种大数据量的数据交换方法，的数据交换平台是用来数据同步和数据交换的工具。其他外部系统只要遵守了共同约定的数据规范（在该平台中使用的是XML报文方式进行数据传输），就可以实现系统间的数据交换。系统分为配置管理、监控管理、接入控制、报文处理、服务路由和报文传输。数据交换平台采用异步发送方式和同步发送方式进行数据交换。异步发送方式支持JMS、MQ、FTP。同步发送方式支持WebService、EJB。如附图1所示，其具体实现过程为:

一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成：

配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式；

数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成：其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、加密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用；

监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能；

数据资源模块提供数据需要的文件系统和数据库；

二、由数据交换模块完成数据交换过程：

1）数据交换任务根据执行策略从数据资源模块中调用报文接入；

2）报文处理完成报文处理及报文的加解密工作；

3）通过报文传输将报文发送到相应的外部系统。

所述配置管理模块具体包括：任务管理、传送方式设置、加密解密设置、压缩解压设置、监控设置、路由设置、目录管理和服务管理。

所述监控管理模块具体包括：查询统计、日志监控、发送监控、接收监控、报文监控和队列监控。

所述数据交换模块中的报文接入具体包括：协议适配、安全认证、逻辑检查和数据缓存；报文处理具体包括格式转换、报文拆分、压缩解压、加密解密；报文传输具体包括：报文发送、报文接收。

所述报文传输对下列不同的应用进行技术协议适配：Web Service、FTP、MQ、JMS交换协议。

所述步骤二的详细过程为：

1）定时任务根据执行策略调用业务处理服务；

2）业务处理服务获取需推送文件或数据；

3）业务处理程序将数据拼装成报文；

4）根据加密解密设置对报文进行加密解密；

5）根据压缩解压设置对报文进行压缩解压；

6）将加密后的二进制数据转换成字符串格式；

7）将大批量交换报文的拆分为多个小报文；

8）根据报文中的外部系统ID，将报文发送到相应的外部系统适配器；

9）适配器将报文发送给外部系统。

除说明书所述的技术特征外，均为本专业技术人员的公知技术。

Claims (6)

1.一种大数据量的数据交换方法，其特征在于：其具体实现过程为:

一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成：

配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式；

数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成：其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、加密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用；

监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能；

数据资源模块提供数据需要的文件系统和数据库；

二、由数据交换模块完成数据交换过程：

1）数据交换任务根据执行策略从数据资源模块中调用报文接入；

2）报文处理完成报文处理及报文的加解密工作；

3）通过报文传输将报文发送到相应的外部系统。

2.根据权利要求1所述的一种大数据量的数据交换方法，其特征在于：所述配置管理模块具体包括：任务管理、传送方式设置、加密解密设置、压缩解压设置、监控设置、路由设置、目录管理和服务管理。

3.根据权利要求1所述的一种大数据量的数据交换方法，其特征在于：所述监控管理模块具体包括：查询统计、日志监控、发送监控、接收监控、报文监控和队列监控。

4.根据权利要求1所述的一种大数据量的数据交换方法，其特征在于：所述数据交换模块中的报文接入具体包括：协议适配、安全认证、逻辑检查和数据缓存；报文处理具体包括格式转换、报文拆分、压缩解压、加密解密；报文传输具体包括：报文发送、报文接收。

5.根据权利要求1或4所述的一种大数据量的数据交换方法，其特征在于：所述报文传输对下列不同的应用进行技术协议适配：Web Service、FTP、MQ、JMS交换协议。

6.根据权利要求5所述的一种大数据量的数据交换方法，其特征在于：所述步骤二的详细过程为：

1）定时任务根据执行策略调用业务处理服务；

2）业务处理服务获取需推送文件或数据；

3）业务处理程序将数据拼装成报文；

4）根据加密解密设置对报文进行加密解密；

5）根据压缩解压设置对报文进行压缩解压；

6）将加密后的二进制数据转换成字符串格式；

7）将大批量交换报文的拆分为多个小报文；

8）根据报文中的外部系统ID，将报文发送到相应的外部系统适配器；

9）适配器将报文发送给外部系统。

Images