CN104866326A - 一种集成交换中间件及其实现方法 - Google Patents

Abstract

本发明公开了一种集成交换中间件及其实现方法，集成交换中间件包括：数据采集适配器：用于发布数据标准下载；实现对采集数据的适配，形成数据采集的规则；运行管理；进行日志记录与监控监管，实现日志记录与查看，同时对运行情况提供实现监控管理；集成交换中间件中心端：用于实现标准化管理、配置管理、运行管理和实现集成交换中间件中心端的日志记录与查看，同时为运行情况提供监控管理；数据接收适配器：用于下载接收数据系统交换规范，进行用户配置、接收数据集与接收系统用户表关系与字段映射、接口逻辑配置；运行管理；实现接收适配器的日志记录与查看，为运行情况提供监控管理。本发明使得不同的应用软件集成的复杂度大大降低，接入成本基本为零，有效的解决了应用软件的集成问题。

Description

一种集成交换中间件及其实现方法

技术领域

本发明涉及应用软件信息交换领域，特别是一种集成交换中间件及其实现方法。

背景技术

中间件(Middleware)是处于操作系统和应用程序之间的软件，是有一种有效解决异构系统集成的技术实现。中间件采用标准接口提高了系统的可移植性；采用标准协议提高了系统的互操作性，所以许多标准化工作中间件已成为主要组成部分。中间件通过程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件如何更新换代，只需要将中间件进行升级更新，并保持中间件对外的服务接口定义不变，应用软件不需作任何修改，从而有效的保护了企业在应用软件开发和维护中的重大投资。

中间件解决异构系统集成时都需要接入系统(发送数据系统、接收数据系统)，按照标准接口进行程序改造，从而增加了系统的开发成本与运维成本。

现有技术不能进行交换标准固化，导致集成交换中间件的交换标准定义与扩充能力弱；现有技术都是定义标准的接口规范，让接入系统进行程序改造，完成与中间件的集成，使得集成的时间周期长、协调工作量大、接入成本高。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种集成交换中间件及其实现方法。

为解决上述技术问题，本发明所采用的技术方案是：一种集成交换中间件，包括：

数据发布适配器：通过集成交换中间件中心端的标准下载接口下载发布交换规范；实现对发布系统数据的适配，形成数据采集的规则；对发布系统数据进行定时器服务、数据变更捕获、变更数据订阅、数据分页、清洗、转换和上传；实现数据订阅适配器的日志记录与查看，同时对运行情况提供实现监控管理；

集成交换中间件中心端：用于实现数据元管理、数据集模板管理、数据集管理、交换标准发布、定义数据存储标准、存储标准发布、发布者管理、订阅者管理、订阅规则管、定义消息队列、消息队列工作方式；实现定时器服务、订阅规则服务、入库消息队列管理服务、消息入库服务、发布消息队列管理服务、发布队列消息出库模块服务、订阅消息队列管理、消息推送服务；实现集成交换中间件中心端的日志记录与查看，同时对运行情况提供实现监控管理，包括正常运行日志查看、错误日志查看、入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控；

数据订阅适配器：根据定义订阅者编码，通过集成交换中间件中心端的标准下载接口进行订阅交换规范下载，包括所述订阅交换规范包括数据集、数据元、值域代码、数据子集之间的逻辑关系；实现对订阅系统接收数据的适配，形成数据接收的规则；实现数据接收、数据解析与合法性校验、数据存储逻辑计算、数据入库功能；实现数据订阅适配器的日志记录与查看，同时对运行情况提供实现监控管理，包括正常运行日志查看、错误日志查看、数据实时接收监控。

所述数据发布适配器包括：

发布者参数配置模块：用于定义发布系统的发布者编码，与集成交换中间件中心端发布者管理模块中的定义发布者进行对应，如果不对应，数据发布适配器不能进行发布标准下载；同时数据集成交换中间件验证接收数据时会认为是非法的发布；

发布交换规范下载模块：用于根据发布者参数配置模块中定义的发布者编码，通过集成交换中间件的标准下载接口进行发布交换规范下载；

发布用户管理模块：用于定义发布用户信息和定义数据库的连接信息；

采集表管理模块：用于根据发布用户管理模块的连接信息确定发布用户下需要采集的表信息，即采集表，同时根据数据的特点，自动形成变更表的信息，如果有CDC特性，则通过CDC特性形成变更表的结构，同时根据CDC特性捕获变更数据，如果没有CDC特性，则通过对采集表的结构分析生成变更表，同时自动在源表建立触发器进行采集表数据变化的捕获，并将捕获的数据变化自动存入变更表中；

发布交换规范与采集表配置模块：用于建立发布交换规范中各子集与采集表的匹配关系，形成发布交换规范下各子集与采集表的对应关系；

数据发布接口配置模块：用于根据发布交换规范与采集表配置模块的对应关系，建立发布交换规范中子集的数据元与发布表字段的映射关系，同时对转换逻辑进行配置；

数据上传启停模块：对数据上传服务进行停用与启用操作，同时配置各数据集上传的时间频度，所述时间频度包括时间单位与时间间隔；

定时器服务模块：用于根据数据上传启停模块的上传启停时间频度，定时调度订阅变更数据模块、数据分页模块、定时上传模块的任务；

数据捕获模块：用于根据采集表的配置信息，动态捕获采集表的数据变化，形成采集表变更数据信息，并将所述变更数据信息存入变更表；

订阅变更数据模块：用于根据数据捕获模块捕获的采集表变更数据信息，形成订阅上传信息初始化信息；

数据分页模块：用于对订阅变更数据模块获得的订阅上传信息初始化信息进行分页处理，形成分页上传信息，提升上传的性能；

定时上传模块：用于根据数据上传启停模块的配置信息，对数据分页模块形成的分页上传信息进行清洗与转换，定时调用集成交换中间件中心端提供的服务接口，发布清洗与转换后的数据到集成交换中间件中心端的数据中心；

数据发布适配器日志管理模块：用于记录数据发布适配器中上述所有模块的运行日志，提供正常运行日志与错误日志查看功能，并实时监控数据分页模块、定时上传模块。

所述集成交换中间件中心端包括：

数据元管理模块：用于定义数据项字段属性；

数据集模板管理模块：用于根据业务的特点和数据元管理模块定义的数据字段属性，定义某个业务在信息系统中的数据元构成；

数据集管理模块：用于数据集分类维护，定义数据集的数据集子集信息，根据数据集模板管理模块定义的数据元构建数据集子集之间的逻辑关系，同时维护数据集子集的数据元构成，形成数据交换规范，所述数据交换规范包括发布交换标准与订阅交换标准；

定义数据存储标准模块：用于以数据集管理模块定义的数据集为基础，定义数据集的物理存储标准；

交换标准发布模块：用于根据数据集管理模块形成的数据交换规范发布数据交换标准，形成正式版本的交换标准；

存储标准发布模块：用于发布定义数据存储标准模块定义的物理存储标准，生成集成交换中件间数据中心的物理表；

发布者管理模块：用于定义发布者编码、名称、发布数据格式、发布用的协议类型、服务地址；发布者发布的数据交换规范，分配入库消息队列；

订阅者管理模块：用于定义订阅者编码、名称、订阅数据格式、订阅数据采用的协议、服务地址、调用方法；定义订阅者订阅数据交换规范及定阅订阅规则，同时分配订阅消息队列；

消息队列定义模块：用于定义入库消息队列、发布消息队列、订阅消息队列三种消息队列的数量；定义入库消息队列各队列对应的发布数据集及订阅消息队列对应的发布者信息；

消息队列工作方式定义模块：用于定义入库消息队列出库的时间频度、发布消息队列出库的时间频度、订阅消息队列的出库的时间频度，所述时间频度包括时间单位与间隔时间；

中心端定时器服务模块：用于根据消息队列定义模块、消息队列工作方式定义模块、发布者管理模块、订阅者管理模块定义的信息，定时调度数据从入库队列出队、数据从发布队列出库、数据从订阅队列出库任务；

数据接收模块：用于接收发布系统发布的数据，同时进行发布者验证、发布数据校验、数据转换，把数据送入入库消息队列；

消息入库模块：用于定时从入库消息队列中获取入库数据，进行数据存储表查找，通过数据计算判断数据的操作类型，分配数据存储表唯一的主键键值，完成消息入库存储；同时把入库的消息送入发布消息队列；

消息发布队列出库模块：用于定时从发布消息队列中取出消息，调用订阅规则服务模块进行订阅计算，确定消息的订阅者及订阅者的订阅信息；同时把订阅者的订阅信息送入订阅消息队列；

消息推送服务模块：用于根据订阅者管理模块定义的所有配置信息，定时从订阅消息队列中取出消息，并进行订阅者的订阅数据推送；

集成交换中间件中心端日志管理模块：用于记录集成交换中间件中心端上述所有模块的运行日志，提供正常运行日志、错误日志查看功能，实时监控消息入库模块、消息发布队列出库模块、消息推送服务模块、订阅者管理模块。

所述数据字段属性包括数据元编码、数据元名称、数据类型、数据长度、数据精度、单位、取值范围、值域规范。

所述物理存储标准包括主键、外键、索引、非空、物理表名。

所述数据订阅适配器包括：

订阅者参数配置模块：用于定义订阅系统的订阅者编码，与集成交换中间件发布者管理模块中的定义订阅者进行对应，如果不对应，数据订阅适配器不能进行订阅交换标准下载；同时数据订阅适配器在接收集成交换中间件推送的数据时，验证订阅用户失败，信息不能正常推送；

订阅交换标准下载模块：用于根据订阅者参数配置模块定义的订阅者编码，通过集成交换中间件的标准下载接口进行订阅交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系；

订阅用户管理模块：用于定义接收用户信息，定义数据库的连接信息；

订阅交换标准与源表配置模块：用于根据订阅用户管理模块的连接信息建立订阅交换标准中数据集中各子集与订阅用户源表的对应关系；

接收数据接口配置模块：用于根据所述订阅交换标准与源表配置模块建立的对应关系配置订阅交换标准中数据子集与源表的字段映射关系和数据转换逻辑；

接收数据接口扩展模块：用于根据接收数据接口配置模块配置的映射关系和数据转换逻辑配置接收数据存储逻辑；

数据接收模块：用于接收集成交换中间件中心端消息推送服务模块推送的数据；

数据解析与验证模块：用于根据接收数据接口扩展模块配置的接收数据存储逻辑，将数据接收模块接收的数据解析成可识别的对象，同时根据订阅交换标准与源表配置的对应关系、接收数据接口配置的映射关系，验证接收数据是否符合数据规范；

数据存储逻辑计算模块：用于根据数据解析与验证模块的验证结果和接收数据接口扩展配置的接收数据存储逻辑，进行逻辑计算形成入库的存储数据逻辑；

数据入库模块：用于根据数据存储逻辑计算模块行程的存储数据逻辑进行数据入库操作；

数据订阅适配器日志管理模块：用于记录数据订阅适配器上述所有模块的运行日志，提供正常运行日志、错误日志查看功能，实时监控数据接收模块。

本发明的集成交换中间件还包括：

日志分类模块：用于根据日志的类别将运行日志分为正常的系统运行日志、系统运行错误日志；

日志记录模块：用于根据日志分类模块分类的结果，记录数据发布适配器日志、数据订阅适配器日志、集成交换中间件中心端日志。

本发明还提供了一种上述集成交换中间件的实现方法，包括以下步骤：

1)通过数据元定义，形成数据集，在数据集的基础上形成交换标准与物理存储标准；所述交换标准包括发布交换标准和订阅交换标准；

2)通过交换标准与发布系统数据库中物理表、字段建立匹配映射关系，形成数据库中的数据表与交换标准之间的逻辑关系，利用所述逻辑关系，在发布系统数据上传时完成发布系统数据标准与交换标准的转换；

3)利用数据库本身的CDC功能或触发器功能，实现发布系统变更数据的自动捕获，以变更数据作为数据交换的基础，采用订阅与分页技术获取上传数据，经过数据清洗与转换后发布变更数据；

4)接收发布系统发布的上述变更数据，将交换标准、物理存储标准共同的依赖对象数据集作为转换对象，对接收到的数据进行数据存储表查找，通过计算判断数据的操作类型，分配数据存储表唯一的主键键值，完成消息入库存储，自动化形成数据中心；同时通过消息服务总线进行异步消息传送，采用订阅/发布技术、消息格式转换、消息规则过滤、智能推送技术把数据推送给订阅系统；

5)通过交换标准与订阅系统数据库中的物理表、表字段匹配映射关系，形成订阅系统数据库中的数据表与交换标准之间的逻辑关系，利用该逻辑关系，在订阅系统接收订阅数据后进行交换标准与订阅系统数据标准的转换；同时利用该逻辑关系生成订阅系统接收数据的存储逻辑；

6)订阅系统接收到订阅的数据，对数据进行解析与转换，形成数据存储逻辑后，完成数据自动入库功能。

与现有技术相比，本发明所具有的有益效果为：本发明以数据集为中间转换载体建立发布交换标准，通过数据发布适配器与发布系统建立连接，与发布交换标准与发布用户下的表建立逻辑匹配关系，采用自动化的数据捕获手段，实现变更数据获取，通过数据订阅、分页、数据的清洗、转换等操作步骤，发布数据给集成交换中间件服务端的消息队列，发布系统数据上传不需要再进行程序改造，大大提高了接入效率，降低了接入成本；以发布、订阅模型基础，以消息队列为载体，通过订阅规则实现订阅者数据的获取，采用数据推送的方式推送给订阅者，通过数据接收适配器的接口配置功能，实现了接收系统的数据的自动化接收，实现了接收系统零编程方式的数据接收；建立数据元为基础的数据集，以数据集为中间转换载体建立数据存储规范，实现了数据中心物理模型的结构自动构建，在数据交换过程中完成数据的自动整合，实现了数据中心数据的不断扩展，大大减少了各系统数据孤立的现象，提高了数据共享的程度。

附图说明

图1为本发明中间件结构原理图；

图2为本发明实施例数据发布适配器结构框图；

图3为本发明实施例集成交换中间件中心端结构框图；

图4为本发明实施例数据订阅适配器结构框图；

图5为本发明实施例中间件设计过程示意图；

图6为本发明中间件实现流程图。

具体实施方式

如图1～图4所示，本发明的集成交换中间件包括以下部分：

1、数据发布适配器，主要实现以下功能：

1)发布交换标准下载：通过集成交换中间件的标准下载接口进行发布交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系。

2)配置管理，实现对发布系统数据的适配，形成数据采集的规则，由发布者参数维护、发布用户管理、采集表管理、发布交换标准与采集表配置、数据发布接口配置、数据上传启停组成；

3)运行管理：由定时器服务、数据变更捕获、订阅变更数据、数据分页、数据清选、数据转换、上传功能组成；

4)日志记录与监控管理：实现发布适配器的日志记录与查看，同时对运行情况提供实现监控管理，主要功能：正常运行日志查看、错误日志查看、分页上传实时监控、上传实时监控。

2、集成交换中间件中心端，主要实现以下功能：

1)标准化管理：包括数据元管理、数据集模板管理、数据集管理、交换标准发布、定义数据存储标准、存储标准发布组成。

2)配置管理：包括发布/订阅管理与消息总线配置管理，其中包括订阅管理包括发布者管理、订阅者管理、订阅规则管理；消息总线配置管理：包括定义消息队列、消息队列工作方式；

3)运行管理：包括定时程序、数据接收、入库消息队列管理、消息入库、发布消息队列管理、发布消息出库、订阅规则服务、订阅消息队列管理、消息推送服务；

4)日志记录与监控管理：实现集成交换中间件中心端的日志记录与查看，同时对运行情况提供实现监控管理，主要功能：正常运行日志查看、错误日志查看、入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控。

3、数据订阅适配器，主要实现以下功能：

1)接收数据标准下载：根据订阅者配置中定义订阅者编码，通过集成交换中间件的标准下载接口进行订阅交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系。

2)配置管理：实现对订阅系统接收数据的适配，形成数据接收的规则，由订阅者参数维护、订阅用户管理、订阅交换标准与源表配置、接收数据接口配置、接收数据接口扩展；

3)运行管理：包括数据接收、数据解析与合法性校验、数据存储逻辑计算、数据入库功能；

4)日志记录与监控管理：实现数据订阅适配器的日志记录与查看，同时对运行情况提供实现监控管理，主要功能：正常运行日志查看、错误日志查看、数据实时接收监控。

本发明设计过程如图5所示：

1、设计标准规范管理工具

1)数据元管理：定义数据项字段属性，如数据元编码、数据元名称、数据类型、数据长度、数据精度、单位、取值范围、值域规范；

2)数据集模板管理：根据业务的特点，定义某个业务的在信息系统中的数据元构成。

3、数据集管理：进行数据集分类维护，定义数据集的各子集组成及数据集子集之间的逻辑关系，同时维护数据集子集的数据元构成，形成数据交换规范，包括发布交换标准与订阅交换标准。

4)定义数据存储标准：以数据集管理定义的数据集为基础，定义数据集的物理存储标准，如主键、外键、索引、非空、物理表名等。

5)交换标准发布：发布数据交换标准(包括发布交换标准与订阅交换标准)，形成正式版本的交换标准。

6)存储标准发布：发布定义的数据存储标准，生成数据中心的物理表。

2、设计消息总线管理与配置方法

1)定义消息队列：定义入库消息队列、发布消息队列、订阅消息队列三种消息队列的数量；定议入库消息队列各队列对应的发布数据集及订阅消息队列对应的发布者信息。

2)定义消息队列工作方式，定义入库消息队列出库的时间频度、发布消息队列出库的时间频度、订阅消息队列的出库的时间频度，频度包括时间单位与间隔时间。

3、设计发布订阅者管理方法

1)发布者管理：定义发布者编码、名称、发布数据格式、发布用的协议类型、服务地址；发布者发布的数据交换规范，分配入库消息队列。

2)订阅者管理：定义订阅者编码、名称、订阅数据格式、订阅数据采用的协议、服务地址、调用方法；定义订阅者订阅数据交换规范及定阅订阅规则，同时分配订阅消息队列。

4、设计数据发布适配器

1)发布者参数配置：定义发布系统的发布者编码，与集成交换中间件发布者管理中的定义发布者进行对应。如果不对应，数据发布适配器将不能进行发布标准下载；同时数据集成交换中间件验证接收数据时会认为是非法的发布。

2)发布交换规范下载：根据发布者配置中定义发布者编码，通过集成交换中间件的标准下载接口进行发布交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系。

3)发布用户管理：定义发布者的用户信息，定义数据库的连接信息，如用户名、别名信息等。

4)采集表管理：确定发布用户下需要采集的表，同时根据数据的特点，自动形成变更表的信息，如果有CDC特性，则通过CDC特性形成变更表的结构，同时根据CDC特性捕获变更数据，如果没有CDC特性，则通过对采集表的结构分析生成变更表，同时自动在源表建立触发器进行采集表数据变化的捕获，捕获的数据变化自动存入变更表中；

5)发布交换规范与采集表配置：建立发布交换规范中各子集与采集表的匹配关系，形成发布交换规范下各子集与采集表的对应关系；

6)数据发布接口配置：建立发布交换规范中子集的数据元与发布表字段的映射关系，同时对于转换逻辑进行配置，如值域转换、基础数据转、计算逻辑等。

7)数据上传启停：停用与启用数据上传服务，同时配置各数据集上传的时间频度，包括时间单位与时间间隔。

8)定时器服务：根据上传启停的时间频度，定时调度各项任务，如订阅变更数据、数据分页、数据上传。

9)数据捕获：根据采集表的配置信息，动态捕获采集表的数据变化，形成采集表变更数据信息存入变更表。

10)订阅变更数据：订阅步骤9中变更表的变化数据，形成订阅上传信息初始化信息。

11)数据分页：对获得的订阅变更数据进行分页处理，形成分页上传数据，提升上传的性能。

12)定时上传：对步骤11产生的数据，根据步骤6的转换逻辑，对分页上传数据进行数据清洗与转换，定时调用集成交换中间件中心端提供的服务接口，发布数据到集成交换中间件中心端的数据中心。

5、设计数据接收、入库、发布、订阅模式

1)定时器服务：根据配置信息，定时调度各项作业任务，如数据从入库队列出队、数据从发布队列出库、数据从订阅队列出库。

2)数据接收：接收发布系统(包括发布适配器)发布的数据，同时进行发布者验证、发布数据校验、数据转换，把数据送入入库消息队列。

3)消息入库：定时从入库消息队列中获取入库数据，进行数据存储表查找，通过计算判断数据的操作类型，分配数据存储表唯一的主键键值，完成消息入库存储；同时把入库的消息送入发布消息队列。

4)消息发布队列出库模块：用于将发布系统发布的数据转变为发布消息，并存储所述发布消息，定时取出发布消息，根据订阅规则进行订阅计算，确定消息的订阅者及订阅者的订阅信息；同时把订阅者的订阅信息送入订阅消息队列；

5)消息推送服务：根据订阅者管理配置信息，定时从订阅消息队列中取出消息进行订阅者的订阅数据推送。

6、设计数据订阅适配器

1)订阅者参数配置：定义订阅系统的订阅者编码，与集成交换中间件发布者管理中的定义订阅进行对应。如果不对应，数据订阅适配器将不能进行订阅交换标准下载；同时数据订阅适配器在接收集成交换中间件推送的数据时，验证订阅用户失败，信息不能正常推送。

2)订阅交换标准下载：根据订阅者参数配置中定义订阅者编码，通过集成交换中间件的标准下载接口进行订阅交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系。

3)订阅用户管理：定义接收用户信息，定义数据库的连接信息，如用户名、别名信息等。

4)订阅交换标准与源表配置：建立订阅交换标准中数据集中各子集与订阅用户源表的对应关系；

5)接收数据接口配置：配置订阅交换标准中数据子集与源表的字段映射关系，数据转换逻辑，如值域代码、基础数据转换、计算关系。

6)接收数据接口扩展：配置接收数据存储逻辑，如新增、修改、删除逻辑及其他数据计算逻辑。

7)数据接收：接收集成交换中间件数据推送服务推送给的数据。

8)数据解析与验证：根据步骤6，对接收的数据进行解析成可识别的对象，根据步骤4、步骤5的配置信息，验证接收数据是否符合数据规范。

9)数据存储逻辑计算：根据步骤7的结果，根据步骤6的配置信息，进行逻辑计算形成入库的存储数据逻辑。

10)数据入库：根据步骤9的计算结果进行数据入库操作。

7、设计集成交换中间件日志记录与监控管理方法

1)日志分类方法：根据日志的类别分为：正常的系统运行日志、系统运行错误日志。

2)不同部件的运行日志：根据日志分类方法，分门别类的记录三个部件的运行日志：数据发布适配器日志、数据订阅适配器日志、集成交换中间件中心端日志。

3)数据发布适配器日志管理：记录运行日志，提供正常运行日志与错误日志查看；提供分页上传实时监控、上传实时监控。

4)数据订阅适配器日志管理：记录运行日志，提供正常运行日志、错误日志查看；提供数据实时接收监控。

5)集成交换中间件中心端日志管理：记录运行日志，提供正常运行日志、错误日志查看；提供入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控。

如图6所示，本发明实现原理如下：

1、通过数据元定义，形成数据集，在数据集的基础上形成交换标准与物理存储标准；

2、通过交换标准与发布系统数据库中物理表、字段建立匹配映射关系，形成数据库中的数据表与交换标准之间的逻辑关系。利用这种逻辑关系，在发布系统数据上传时完成发布系统数据标准与交换标准的转换；

3、利用数据库本身的CDC功能或触发器功能，实现发布系统变更数据的自动捕获，以变更数据作为数据交换的基础，采用订阅与分页技术获取上传数据，经过数据清洗与转换后发布变更数据；

4、接收发布系统的数据，通过交换标准、物理存储标准共同的依赖对象数据集作为转换对象，对接收到的数据进行数据存储表查找，通过计算判断数据的操作类型，分配数据存储表唯一的主键值，完成消息入库存储，自动化形成数据中心；

5、同时通过消息服务总线进行异步消息传送，采用订阅/发布技术、消息格式转换、消息规则过滤、智能推送等技术把接收到的数据推送给订阅系统；

6、通过交换标准与订阅系统数据库中的物理表、表字段匹配映射关系，形成订阅系统数据库中的数据表与交换标准之间的逻辑关系。利用这种逻辑关系，在订阅系统接收订阅数据后进行交换标准与订阅系统数据标准的转换；同时利用这种逻辑关系生成订阅系统接收数据的存储逻辑；

7、订阅系统接收到订阅的数据，对数据进行解析与转换，通过计算形成数据存储逻辑后，完成数据自动入库功能。

Claims (8)

1.一种集成交换中间件，其特征在于，包括：

数据发布适配器：通过集成交换中间件中心端的标准下载服务接口下载发布交换规范；实现对发布系统数据的适配，形成数据采集的规则；对发布系统数据进行定时器服务、数据变更捕获、变更数据订阅、数据分页、清洗、转换和数据上传；实现数据订阅适配器的日志记录与查看，同时对运行情况提供实现监控管理；

集成交换中间件中心端：用于实现数据元管理、数据集模板管理、数据集管理、交换标准发布、定义数据存储标准、存储标准发布、发布者管理、订阅者管理、订阅规则管、定义消息队列、消息队列工作方式；实现定时器服务、订阅规则服务、入库消息队列管理服务、消息入库服务、发布消息队列管理服务、消息发布队列出库服务、订阅消息队列管理、消息推送服务；实现集成交换中间件中心端的日志记录与查看，同时对运行情况提供实现监控管理，包括正常运行日志查看、错误日志查看、入库实时监控、发布实时监控、订阅实时监控、数据推送实时监控；

数据订阅适配器：根据定义订阅者编码，通过集成交换中间件中心端的标准下载接口进行订阅交换规范下载，包括所述订阅交换规范包括数据集、数据元、值域代码、数据子集之间的逻辑关系；实现对订阅系统接收数据的适配，形成数据接收的规则；实现数据接收、数据解析与合法性校验、数据存储逻辑计算、数据入库功能；实现数据订阅适配器的日志记录与查看，同时对运行情况提供实现监控管理，包括正常运行日志查看、错误日志查看、数据实时接收监控。

2.根据权利要求1所述的集成交换中间件，其特征在于，所述数据发布适配器包括：

发布者参数配置模块：用于定义发布系统的发布者编码，与集成交换中间件中心端发布者管理模块中的定义发布者进行对应，如果不对应，数据发布适配器不能进行发布标准下载；同时数据集成交换中间件验证接收数据时会认为是非法的发布；

发布交换规范下载模块：用于根据发布者参数配置模块中定义的发布者编码，通过集成交换中间件的标准下载接口进行发布交换规范下载；

发布用户管理模块：用于定义发布用户信息和定义数据库的连接信息；

采集表管理模块：用于根据发布用户管理模块的连接信息确定发布用户下需要采集的表信息，即采集表，同时根据数据的特点，自动形成变更表的信息，如果有CDC特性，则通过CDC特性形成变更表的结构，同时根据CDC特性捕获变更数据，如果没有CDC特性，则通过对采集表的结构分析生成变更表，同时自动在源表建立触发器进行采集表数据变化的捕获，并将捕获的数据变化自动存入变更表中；

发布交换规范与采集表配置模块：用于建立发布交换规范中各子集与采集表的匹配关系，形成发布交换规范下各子集与采集表的对应关系；

数据发布接口配置模块：用于根据发布交换规范与采集表配置模块的对应关系，建立发布交换规范中数据集子集的数据元与发布表字段的映射关系，同时对转换逻辑进行配置；

数据上传启停模块：对数据上传服务进行停用与启用操作，同时配置各数据集上传的时间频度，所述时间频度包括时间单位与时间间隔；

定时器服务模块：用于根据数据上传启停模块的上传启停时间频度，定时调度订阅变更数据模块、数据分页模块、定时上传模块的任务；

数据捕获模块：用于根据采集表的配置信息，动态捕获采集表的数据变化，形成采集表变更数据信息，并将所述变更数据信息存入变更表；

订阅变更数据模块：用于根据数据捕获模块捕获的采集表变更数据信息，形成订阅上传信息初始化信息；

数据分页模块：用于对订阅变更数据模块获得的订阅上传信息进行数据分页处理，形成分页上传信息，提升上传的性能；

定时上传模块：用于根据数据上传启停模块的配置信息，对数据分页模块形成的分页上传信息进行清洗与转换，定时调用集成交换中间件中心端提供的服务接口，发布清洗与转换后的数据到集成交换中间件中心端；

数据发布适配器日志管理模块：用于记录数据发布适配器中上述所有模块的运行日志，提供正常运行日志与错误日志查看功能，并实时监控数据分页模块、定时上传模块。

3.根据权利要求2所述的集成交换中间件，其特征在于，所述集成交换中间件中心端包括：

数据元管理模块：用于定义数据项字段属性；

数据集模板管理模块：用于根据业务的特点和数据元管理模块定义的数据字段属性，定义某个业务在信息系统中的数据元构成；

数据集管理模块：用于数据集分类维护，定义数据集的数据集子集信息，根据数据集模板管理模块定义的数据元构建数据集子集之间的逻辑关系，同时维护数据集子集的数据元构成，形成数据交换规范，所述数据交换规范包括发布交换标准与订阅交换标准；

定义数据存储标准模块：用于以数据集管理模块定义的数据集为基础，定义数据集的物理存储标准；

交换标准发布模块：用于根据数据集管理模块形成的数据交换规范发布数据交换标准，形成正式版本的交换标准；

存储标准发布模块：用于发布定义数据存储标准模块定义的物理存储标准，生成集成交换中件间数据中心的物理表；

发布者管理模块：用于定义发布者编码、名称、发布数据格式、发布用的协议类型、服务地址；发布者发布的数据交换规范，分配入库消息队列；

订阅者管理模块：用于定义订阅者编码、名称、订阅数据格式、订阅数据采用的协议、服务地址、调用方法；定义订阅者订阅数据交换规范及定阅订阅规则，同时分配订阅消息队列；

消息队列定义模块：用于定义入库消息队列、发布消息队列、订阅消息队列三种消息队列的数量；定义入库消息队列各队列对应的发布数据集及订阅消息队列对应的发布者信息；

消息队列工作方式定义模块：用于定义入库消息队列出库的时间频度、发布消息队列出库的时间频度、订阅消息队列的出库的时间频度，所述时间频度包括时间单位与间隔时间；

中心端定时器服务模块：用于根据消息队列定义模块、消息队列工作方式定义模块、发布者管理模块、订阅者管理模块定义的信息，定时调度数据从入库队列出队、数据从发布队列出库、数据从订阅队列出库任务；

订阅规则服务模块：用于根据订阅者管理模块定义的订阅规则，提供订阅规则计算服务，确定消息的订阅者；

数据接收模块：用于接收发布系统发布的数据，同时进行发布者验证、发布数据校验、数据转换，把数据送入入库消息队列；

消息入库模块：用于定时从入库消息队列中获取入库数据，进行数据存储表查找，判断数据的操作类型，分配数据存储表唯一的主键键值，完成消息入库存储，形成数据中心的数据；同时把入库的消息送入发布消息队列；

消息发布队列出库模块：用于定时从发布消息队列中取出消息，调用订阅规则服务模块进行订阅计算，确定消息的订阅者及订阅者的订阅信息；同时把订阅者的订阅信息送入订阅消息队列；

消息推送服务模块：用于根据订阅者管理模块定义的配置信息，定时从订阅消息队列中取出消息，并进行订阅者的订阅数据推送；

集成交换中间件中心端日志管理模块：用于记录集成交换中间件中心端上述所有模块的运行日志，提供正常运行日志、错误日志查看功能，实时监控消息入库模块、消息发布队列出库模块、消息推送服务模块、订阅者管理模块。

4.根据权利要求3所述的集成交换中间件，其特征在于，所述数据字段属性包括数据元编码、数据元名称、数据类型、数据长度、数据精度、单位、取值范围、值域规范。

5.根据权利要求4所述的集成交换中间件，其特征在于，所述物理存储标准包括主键、外键、索引、非空、物理表名。

6.根据权利要求5所述的集成交换中间件，其特征在于，所述数据订阅适配器包括：

订阅者参数配置模块：用于定义订阅系统的订阅者编码，与集成交换中间件发布者管理模块中的定义订阅者进行对应，如果不对应，数据订阅适配器不能进行订阅交换标准下载；同时数据订阅适配器在接收集成交换中间件推送的数据时，验证订阅用户失败，信息不能正常推送；

订阅交换标准下载模块：用于根据订阅者参数配置模块定义的订阅者编码，通过集成交换中间件的标准下载接口进行订阅交换规范下载，包括数据集、数据元、值域代码、数据子集之间的逻辑关系；

订阅用户管理模块：用于定义接收用户信息，定义数据库的连接信息；

订阅交换标准与源表配置模块：用于根据订阅用户管理模块的连接信息建立订阅交换标准中数据集中各子集与订阅用户源表的对应关系；

接收数据接口配置模块：用于根据所述订阅交换标准与源表配置模块建立的对应关系配置订阅交换标准中数据子集与源表的字段映射关系和数据转换逻辑；

接收数据接口扩展模块：用于根据接收数据接口配置模块配置的映射关系和数据转换逻辑配置接收数据存储逻辑；

数据接收模块：用于接收集成交换中间件中心端推送服务模块推送的消息；

数据解析与验证模块：用于根据接收数据接口扩展模块配置的接收数据存储逻辑，将数据接收模块接收的数据解析成可识别的对象，同时根据订阅交换标准与源表配置的对应关系、接收数据接口配置的映射关系，验证接收数据是否符合数据规范；

数据存储逻辑计算模块：用于根据数据解析与验证模块的验证结果和接收数据接口扩展配置的接收数据存储逻辑，进行逻辑计算形成入库的存储数据逻辑；

数据入库模块：用于根据数据存储逻辑计算模块行程的存储数据逻辑进行数据入库操作；

数据订阅适配器日志管理模块：用于记录数据订阅适配器上述所有模块的运行日志，提供正常运行日志、错误日志查看功能，实时监控数据接收模块。

7.根据权利要求6所述的集成交换中间件，其特征在于，还包括：

日志分类模块：用于根据日志的类别将运行日志分为正常的系统运行日志、系统运行错误日志；

日志记录模块：用于根据日志分类模块分类的结果，记录数据发布适配器日志、数据订阅适配器日志、集成交换中间件中心端日志。

8.一种权利要求1～7之一所述集成交换中间件的实现方法，其特征在于，包括以下步骤：

1)通过数据元定义，形成数据集，在数据集的基础上形成交换标准与物理存储标准；所述交换标准包括发布交换标准和订阅交换标准；

2)通过交换标准与发布系统数据库中物理表、字段建立匹配映射关系，形成数据库中的数据表与交换标准之间的逻辑关系，利用所述逻辑关系，在发布系统数据上传时完成发布系统数据标准与交换标准的转换；

3)利用数据库本身的CDC功能或触发器功能，实现发布系统变更数据的自动捕获，以变更数据作为数据交换的基础，采用订阅与分页技术获取上传数据，经过数据清洗与转换后发布变更数据；

4)接收发布系统发布的上述变更数据，将交换标准、物理存储标准共同的依赖对象数据集作为转换对象，对接收到的数据进行数据存储表查找，通过计算判断数据的操作类型，分配数据存储表唯一的主键键值，完成消息入库存储，自动化形成数据中心；同时通过消息服务总线进行消息格式转换、消息规则过滤、异步消息传送，采用订阅/发布技术、智能推送技术把数据推送给订阅系统；

5)通过交换标准与订阅系统数据库中的物理表、表字段匹配映射关系，形成订阅系统数据库中的数据表与交换标准之间的逻辑关系，利用该逻辑关系，在订阅系统接收订阅数据后进行交换标准与订阅系统数据标准的转换；同时利用该逻辑关系生成订阅系统接收数据的存储逻辑；

6)订阅系统接收到订阅的数据，对数据进行解析与转换，形成数据存储逻辑后，完成数据自动入库功能。