CN110532313A - 数据交换装置 - Google Patents

数据交换装置 Download PDF

Info

Publication number
CN110532313A
CN110532313A CN201910806089.3A CN201910806089A CN110532313A CN 110532313 A CN110532313 A CN 110532313A CN 201910806089 A CN201910806089 A CN 201910806089A CN 110532313 A CN110532313 A CN 110532313A
Authority
CN
China
Prior art keywords
data
unit
data exchange
database
adapter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910806089.3A
Other languages
English (en)
Inventor
黄勇
肖焱青
牛淑珍
陈淑贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Triman Information & Technology Co Ltd
Original Assignee
Shanghai Triman Information & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Triman Information & Technology Co Ltd filed Critical Shanghai Triman Information & Technology Co Ltd
Priority to CN201910806089.3A priority Critical patent/CN110532313A/zh
Publication of CN110532313A publication Critical patent/CN110532313A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323Visualisation of programs or trace data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Abstract

本发明提出一种数据交换装置,在异构应用系统或者异构数据库之间进行数据交换,包括:监控及管理组件,监控及管理组件提供多种接口,调度并监控数据交换的业务流程,记录数据交换的日志,监控及管理组件以图形化展示数据交换的业务流程,对数据进行加密并管理用户权限;数据交换组件,数据交换组件在异构应用系统或者异构数据库之间进行消息通信,对来自不同应用系统或者数据库的消息进行转换和校验,以统一格式在异构应用系统或者异构数据库之间进行消息通信;传输组件,传输组件在异构应用系统或者异构数据库之间进行端对端的数据传输。本发明能在异构应用系统或异构数据库之间进行数据交换,实现不同结构的子系统之间的数据整合。

Description

数据交换装置
技术领域
本发明涉及数据库技术领域,更具体地说,涉及一种在异构数据库或者异构应用系统之间进行数据交换的装置。
背景技术
在诸如政府部门、大型企业使用的管理系统中,大致可以分为以下三个层:客户层、业务层和数据库层。客户层提供完整的人机交互界面。解决系统的输入和输出,实现数据采集、外设管理和使用、资料的显示和打印等功能。客户层接受业务层的约束,依据业务功能的要求提供特定的应用界面序列。客户层的客户端通常通过浏览器实现。业务层形成业务逻辑,业务层同时也提供了资源管理,规则服务,安全服务,日志管理,消息服务等功能。数据库层主要存放系统数据,数据库层包括数据库管理系统、数据库应用软件、数据及文件。
对于政府部门和大型企业使用的管理系统而言,通常是通过整合下属的多个部门或者多个分公司的系统而组成,而下属部门或者分公司由自己的管理子系统,各个部门或者分公司的管理子系统使用的应用系统或者数据库的结构可能有所不同,形成异构数据库或者异构应用系统。而在进行系统整合时需要在异构数据库和异构应用系统之间进行数据交换和数据传输,面临数据格式不统一的问题。
发明内容
本发明提出一种数据交换装置,在异构应用系统或者异构数据库之间进行数据交换,该数据交换装置包括:
监控及管理组件,监控及管理组件提供多种接口,调度并监控数据交换的业务流程,记录数据交换的日志,监控及管理组件以图形化展示数据交换的业务流程,对数据进行加密并管理用户权限;
数据交换组件,数据交换组件在异构应用系统或者异构数据库之间进行消息通信,对来自不同应用系统或者数据库的消息进行转换和校验,以统一格式在异构应用系统或者异构数据库之间进行消息通信;
传输组件,传输组件在异构应用系统或者异构数据库之间进行端对端的数据传输。
根据本发明的一个实施例,监控及管理组件包括:
接口管理单元,接口管理单元提供多种接口,不同的接口使用不同的适配器在本地数据格式和统一数据格式之间进行映射;
图形化展示单元,图形化展示单元提供人机交互界面,以图形化展示数据交换的业务流程并接收用户指令;
调度监控单元,依据用户指令对数据交换的业务流程进行调度和监控,并进行异常处理;
日志记录单元,记录数据交换的业务流程的日志;
安全管理单元,对数据进行加密并管理用户权限。
根据本发明的一个实施例,接口管理单元使用的适配器包括:数据库适配器、数据库转换器、消息中间件适配器、Web Services适配器、XML适配器、HTML适配器、COM适配器、CORBA适配器,通过适配器将本地数据格式映射为统一的XML格式。
根据本发明的一个实施例,数据交换组件在异构应用系统或者异构数据库之间建立消息总线,通过消息总线进行消息的收发,消息转换,消息校验和路由控制。
根据本发明的一个实施例,数据交换组件包括:
数据收发单元,数据收发单元进行消息的收发;
数据解析单元,数据解析单元进行路由控制;
数据抽取单元,数据抽取单元进行消息校验;
数据封装单元,数据封装单元进行消息转换;
监听单元,监听单元进行队列监听和任务监听。
根据本发明的一个实施例,传输组件包括:
JMS应用适配器,JMS应用适配器进行大数据量的异步传输;
Web Service应用适配器,Web Service应用适配器进行小数据量的实时传输;
辅助应用适配器,辅助应用适配器进行特殊数据的传输。
根据本发明的一个实施例,数据交换装置以初始化加载或者增量加载的方式在异构应用系统或者异构数据库之间进行交换数据;
初始化加载传输源应用系统或者源数据库中的所有数据;
增量加载仅传输源应用系统或者源数据库中自上一个刷新周期以来产生变化的数据。
根据本发明的一个实施例,数据交换装置以下述方式进行增量加载:
依据触发器进行增量加载,源应用系统或者源数据库发生数据变化时触发触发器,触发器触发增量加载;
依据时间戳进行增量加载,为源应用系统或者源数据库的数据增加时间戳,对时间戳晚于上一刷新周期的数据进行增量加载;
依据全表对比进行增量加载,周期性地为源应用系统或者源数据库的数据计算校验码,对校验码进行全表对比,依据全表对比的结果进行增量加载;
依据日志对比进行增量加载,周期性地获取源应用系统或者源数据库的日志,依据日志进行增量加载。
根据本发明的一个实施例,数据具有不同的密级,密级与加载权限相对应,数据需要经过与其密级相对应的加载权限的授权后才能被加载。
根据本发明的一个实施例,数据具有权威分级,经加载的数据由具有对应的权威分级的校验方进行校验。
本发明的数据交换装置能在异构应用系统或异构数据库之间进行数据交换,实现不同结构的子系统之间的数据整合。
附图说明
图1揭示了本发明的一个实施例的数据交换装置的结构框图。
图2揭示了本发明的一个实施例的数据交换装置的应用场景。
具体实施方式
图2揭示了本发明的一个实施例的数据交换装置的应用场景。参考图2所示,在该应用场景中,管理系统包括:客户层201、业务层202和数据库层203。客户层201提供完整的人机交互界面。解决系统的输入和输出,实现数据采集、外设管理和使用、资料的显示和打印等功能。客户层接受业务层的约束,依据业务功能的要求提供特定的应用界面序列。客户层201的客户端211通常通过浏览器实现。业务层202形成数个业务逻辑221,业务层同时也提供了资源管理,规则服务,安全服务,日志管理,消息服务等功能。数据库层203主要存放系统数据,数据库层包括数据库管理系统、数据库应用软件、数据及文件。在数据库层203中,需要将子系统的各个数据库232、233等中的数据都加载到主数据库231中。由于各个子系统可能采用了不同的应用系统或者结构,因此数据库232、233等与主数据库231构成异构数据库。本发明的数据交换装置100的功能就是在异构数据库之间进行数据交换。如图2所示,本发明的数据交换装置100位于主数据库231和子系统的数据库232、233之间,在异构数据库或者异构应用系统之间进行数据交换。
图1揭示了本发明的一个实施例的数据交换装置的结构框图。参考图1所示,该数据交换装置100在异构应用系统或者异构数据库之间进行数据交换,该数据交换装置100包括:监控及管理组件101、数据交换组件102和传输组件103。
监控及管理组件101提供多种接口,调度并监控数据交换的业务流程,记录数据交换的日志,监控及管理组件以图形化展示数据交换的业务流程,对数据进行加密并管理用户权限。在图1所示的实施例中,监控及管理组件101包括:接口管理单元111、图形化展示单元112、调度监控单元113、日志记录单元114和安全管理单元115。接口管理单元111提供多种接口,不同的接口使用不同的适配器在本地数据格式和统一数据格式之间进行映射。在一个实施例中,接口管理单元111使用的适配器包括:数据库适配器、数据库转换器、消息中间件适配器、Web Services适配器、XML适配器、HTML适配器、COM适配器、CORBA适配器,通过适配器将本地数据格式映射为统一的XML格式。接口管理单元支持TCP/IP上的各种协议,使业务系统通过消息服务通信服务器与各种其他外部和内部的系统进行联接,而无需修改业务系统本身。业务系统中各业务模块可以灵活地通过消息服务,在应用系统间交换数据。接口管理单元提供XML到本地数据格式的映射,确定XML schema与本地系统中数据的对应关系,其提供了各种适配器,包括上述的数据库适配器、数据库转换器、消息中间件适配器、Web Services适配器、XML适配器、HTML适配器、COM适配器、CORBA适配器。图形化展示单元112提供人机交互界面,以图形化展示数据交换的业务流程并接收用户指令。图形化展示单元112提供图形化的管理配置,数据交换管理功能提供图形化的业务流程的定义、布置、管理功能,用以理通系统间信息交换的流程。同时其无需编码的设计方式将大大减少开发、应用、维护的成本和工程量,利于实施。图形化展示单元112使各应用系统、数据库融合成一个整体。通过简单的流程定义工具,以拖动的方式来定义出多系统协同的业务流程。调度监控单元113依据用户指令对数据交换的业务流程进行调度和监控,并进行异常处理。调度监控单元113监控系统中的各类软件运行实体(如进程、队列等),通过监控命令的交换,对非本地交换系统实施上述监控功能,并对异常情况提供报警功能。日志记录单元114记录数据交换的业务流程的日志。为了保证系统的安全性,在数据交换层面提供日志功能,日志记录单元114记录数据传输事件和流程整合事件以备分析和跟踪使用,对所有的申请及其处理过程进行追踪调查、记录并进行分类已备统计分析使用。这一方面保证了系统的安全性;另一方面通过对用户操作的记录,有助于在发生突发故障后,对系统数据恢复整理工作的进行。日志记录包括用户登录时间、用户名、执行的操作、用户退出时间、传输量等。系统提供了强大的日志查询和分析功能。比如,在指定时间内按照进入/转出、目的地/来源地、数据文件名称/数据文件大小等项目进行查询和统计,或是在指定的时间段内按照已成功传输/未成功传输对原始数据文件进行查询和统计。通过对数据文件交换状态(如等待处理、正在进行、处理完毕、回执收到、处理中断等)的监控,追踪某个指定数据文件的状态。安全管理单元115对数据进行加密并管理用户权限。交换安全管理是数据交换中的重要部分,尤其是对于部分涉密的数据,如果涉密数据受到外来的蓄意修改、破坏,其影响无疑是十分巨大的。因此数据交换平台的安全问题必须得到高度的重视,安全管理单元115进行用户管理、用户权限设置、数据加密以及数据备份功能。在用户管理功能中,安全管理单元提供统一的用户管理,用于用户的新增、分组、修改、删除等。通过数据备份功能,可以有效的避免由于不可预见的故障,导致交换过程数据丢失与破坏。在数据加密功能中,采用数据加密机制确保交换平台数据传输的安全性,通过消息总线提供的消息处理机制自动实现消息的加密和解密过程,整个过程由消息总线进程完成,不需要应用程序参与。安全管理单元还进行系统管理,提供交换路由表的维护、中间件参数配置维护、本地信息维护等和传输相关的所有配置表的维护功能,并结合严格的权限控制。
数据交换组件102在异构应用系统或者异构数据库之间进行消息通信,对来自不同应用系统或者数据库的消息进行转换和校验,以统一格式在异构应用系统或者异构数据库之间进行消息通信。数据交换组件102在异构应用系统或者异构数据库之间建立消息总线,通过消息总线进行消息的收发,消息转换,消息校验和路由控制。在图1所示的实施例中,数据交换组件包括:数据收发单元121、数据解析单元122、数据抽取单元123、数据封装单元124和监听单元125。数据收发单元121进行消息的收发。数据解析单元122进行路由控制。数据抽取单元123进行消息校验。数据封装单元124进行消息转换。监听单元125进行队列监听和任务监听。数据交换组件102主要提供数据交换功能。数据交换功能作为数据交换平台的核心部分,提供集中统一的数据交换服务,主要实现异构应用系统和异构数据库系统之间的信息通讯。通过数据交换平台自身提供的XML消息(XML Messaging)系统,在分布式的信息系统之间架起了一个高速、可靠和安全的信息交换和系统消息总线(MessageBus),功能包括数据接收与发送、消息转换和消息校验、消息服务、路由控制等。消息服务利用多种协议的传输手段,包括HTTP/HTTPS,FTP,File,SMTP等,实现异地系统间的数据传输。使用标准PKI体系实现数据的加密传输方式,从而数据异地传输安全性的保证也得以实现。消息服务的传输协议主要采用TCP/IP标准协议,包括HTTP(SSL)、FTP、SMTP、SOAP、DCOM、Socket端口直接传送、MSMQ,以及TUXEDO等中间件之间的专用协议调用。路由控制使用基于规则的路由使得向不同的应用系统间建立联系,这一功能减少了手工干预,使得操作变得更为快捷和正确。为了保证数据能够进行可靠的投递,数据的传输可以在第一次传送失败的情况下进行最大限度的尝试。如果多次尝试仍然失败,数据将被送入队列之中等待手工处理。
传输组件103在异构应用系统或者异构数据库之间进行端对端的数据传输。在图示的实施例中,传输组件103包括:JMS应用适配器131、Web Service应用适配器132和辅助应用适配器133。JMS应用适配器131进行大数据量的异步传输。JMS方式满足异步交换需求,能实现数据交换平台两个节点之间数据安全、可靠地传输。Web Service应用适配器132进行小数据量的实时传输。Web Service方式满足小数据量、及时性要求高的传输需求。辅助应用适配器133进行特殊数据的传输。辅助应用适配器满足一些特殊情况下的数据交换,提供网站、设计Mail等方式可作为补充。
在一个实施例中,本发明的数据交换装置以初始化加载或者增量加载的方式在异构应用系统或者异构数据库之间进行交换数据。初始化加载传输源应用系统或者源数据库中的所有数据。增量加载仅传输源应用系统或者源数据库中自上一个刷新周期以来产生变化的数据。在完成初始的加载后,可以选择只提取新的或已修改的数据,然后更新目标系统。识别并只加载已变化的数据称为变化数据捕捉(CDC)。捕捉的只是从上一个刷新周期以来发生变化的增量数据。
在一个实施例中,初始化加载的过程如下:
1)创建一个连接到特定实例的数据存储。
2)定义第一个数据存储配置。此数据存储配置包含所有可配置的属性,如数据库类型、数据库连接名称、用户名、密码、数据库版本和区域设置信息。为适配器数据存储定义配置时,请确保相关的作业服务器正在运行,以便作业能查找该数据存储的所有可用的接口实例。
3)在数据存储配置中定义一组别名到所有者的映射。使用配置的别名时,ETL工具会使用元数据别名而不是使用实际所有者名称来导入所有对象。这就允许将数据库对象用于对其他数据库实例而言为透明的作业。
4)此点仅供参考,也可导创建只读用户,在作业内部定义表或视图的所有者。
5)导入数据库对象,使用这些对象开发作业,然后运行作业。
6)为支持在不同的实例下执行作业,为每个其他实例添加数据库连接配置。
7)定义作业调节模式,进行实际作业运行。
在一个实施例中,增量数据变化捕捉的过程如下:
1)基于源的增量标识
此处要要依靠源表的具体结构,如果具有增量标识字段,如:时间字段,即可定义作业时间参数,进行某个时间段的增量抽取。此方式,应用最为广泛。
2)基于源的实时和CDC
基于源的变化数据捕捉只从源中提取变化的行。它有时称为增量提取。此方法提取最少数量的行,这可提高性能。可作业实时增量抽取和变化增量抽取。
3)从源数据库中进行CDC。
如果环境必须使大量的数据保持最新状态,ETL产品提供变化数据捕捉(CDC)功能,只读取最新操作(INSERT、UPDATE、DELETE)的源允许设计较小和较快的增量加载。
在一个实施例中,数据交换装置以下述方式进行增量加载:
依据触发器进行增量加载,源应用系统或者源数据库发生数据变化时触发触发器,触发器触发增量加载。要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有一定的影响。
依据时间戳进行增量加载,为源应用系统或者源数据库的数据增加时间戳,对时间戳晚于上一刷新周期的数据进行增量加载。时间戳是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作。另外,无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。
依据全表对比进行增量加载,周期性地为源应用系统或者源数据库的数据计算校验码,对校验码进行全表对比,依据全表对比的结果进行增量加载。典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表,该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时,对源表和MD5临时表进行MD5校验码的比对,从而决定源表中的数据是新增、修改还是删除,同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小(仅需要建立一个MD5临时表),但缺点也是显而易见的,与触发器和时间戳方式中的主动通知不同,MD5方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,MD5方式的准确性较差。
依据日志对比进行增量加载,周期性地获取源应用系统或者源数据库的日志,依据日志进行增量加载。通过分析数据库自身的日志来判断变化的数据。改变数据捕获(CDC,Changed Data Capture)技术是这方面的代表。CDC特性是在数据库中引入的。CDC能够帮助你识别从上次抽取之后发生变化的数据。利用CDC,在对源表进行insert、update或delete等操作的同时就可以提取数据,并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据,然后利用数据库视图以一种可控的方式提供给目标系统。CDC体系结构基于发布者/订阅者模型。发布者捕捉变化数据并提供给订阅者。订阅者使用从发布者那里获得的变化数据。通常,CDC系统拥有一个发布者和多个订阅者。发布者首先需要识别捕获变化数据所需的源表。然后,它捕捉变化的数据并将其保存在特别创建的变化表中。它还使订阅者能够控制对变化数据的访问。订阅者需要清楚自己感兴趣的是哪些变化数据。一个订阅者可能不会对发布者发布的所有数据都感兴趣。订阅者需要创建一个订阅者视图来访问经发布者授权可以访问的变化数据。CDC分为同步模式和异步模式,同步模式实时的捕获变化数据并存储到变化表中,发布者与订阅都位于同一数据库中。异步模式则是基于流复制技术。
在一个实施例中,数据具有不同的密级,密级与加载权限相对应,数据需要经过与其密级相对应的加载权限的授权后才能被加载。比如,在表1中所列举的数据具有不同的密级,也需要对应的加载权限的授权后才能被加载。
表1
在一个实施例中,数据具有权威分级,经加载的数据由具有对应的权威分级的校验方进行校验。以人口信息为例进行说明。人口信息具有分布广、数据量大、维护部门多的特点,因此与其他信息,人口信息资源库在加载维护时需要考虑的因素相对比较多,加载所需遵循的原则也相对比较复杂。因此为保证人口信息资源库数据的长效性、及时性,需要进行设计以支持数据加载校核。数据具有不同的权威分级。权威部门维护权威数据机制。权威部门是指该部门唯一具有法律、法规所赋予的登记、发布该项数据的职责的部门,该数据也称该部门的权威数据。例如户籍人口的身份证号码、籍贯、出生年月等数据只能以到公安部门登记过的为准,因此这些数据的权威部门是公安,同时这些数据也就是公安的权威数据。所谓权威部门维护权威数据是指有隶属部门的权威数据只能以它所属的权威部门产生的数据为准,其他部门得到的该类数据不管其方式、时间如何,数据加载比对时都以权威部门为准。普通数据多个普通部门维护。普通数据是指不止一个部门唯一具有法律、法规所赋予的登记、发布该项数据的职责的部门。如离婚信息数据民政、法院等部门都具有法律、法规所赋予的登记权力,因此离婚信息数据对民政、法院都具有一定的权威性。同时由于在离婚手续办理上存在一定的异地性,因此这两个部门获得的离婚信息还不能覆盖所有的属地范围内的离婚事件,缺失的一块只有靠街道排摸,所以街道排摸数据也是离婚信息数据的重要来源。因此民政、法院、街道等部门都可以维护离婚信息数据,那么在数据加载时到底如何更新,这要根据数据的采集时间、采集方式、原数据的状态而定。
本发明的数据交换装置能在异构应用系统或异构数据库之间进行数据交换,实现不同结构的子系统之间的数据整合。

Claims (10)

1.一种数据交换装置,其特征在于,在异构应用系统或者异构数据库之间进行数据交换,该数据交换装置包括:
监控及管理组件,监控及管理组件提供多种接口,调度并监控数据交换的业务流程,记录数据交换的日志,监控及管理组件以图形化展示数据交换的业务流程,对数据进行加密并管理用户权限;
数据交换组件,数据交换组件在异构应用系统或者异构数据库之间进行消息通信,对来自不同应用系统或者数据库的消息进行转换和校验,以统一格式在异构应用系统或者异构数据库之间进行消息通信;
传输组件,传输组件在异构应用系统或者异构数据库之间进行端对端的数据传输。
2.如权利要求1所述的数据交换装置,其特征在于,所述监控及管理组件包括:
接口管理单元,接口管理单元提供多种接口,不同的接口使用不同的适配器在本地数据格式和统一数据格式之间进行映射;
图形化展示单元,图形化展示单元提供人机交互界面,以图形化展示数据交换的业务流程并接收用户指令;
调度监控单元,依据用户指令对数据交换的业务流程进行调度和监控,并进行异常处理;
日志记录单元,记录数据交换的业务流程的日志;
安全管理单元,对数据进行加密并管理用户权限。
3.如权利要求2所述的数据交换装置,其特征在于,所述接口管理单元使用的适配器包括:数据库适配器、数据库转换器、消息中间件适配器、Web Services适配器、XML适配器、HTML适配器、COM适配器、CORBA适配器,通过适配器将本地数据格式映射为统一的XML格式。
4.如权利要求1所述的数据交换装置,其特征在于,所述数据交换组件在异构应用系统或者异构数据库之间建立消息总线,通过消息总线进行消息的收发,消息转换,消息校验和路由控制。
5.如权利要求4所述的数据交换装置,其特征在于,所述数据交换组件包括:
数据收发单元,数据收发单元进行消息的收发;
数据解析单元,数据解析单元进行路由控制;
数据抽取单元,数据抽取单元进行消息校验;
数据封装单元,数据封装单元进行消息转换;
监听单元,监听单元进行队列监听和任务监听。
6.如权利要求1所述的数据交换装置,其特征在于,所述传输组件包括:
JMS应用适配器,JMS应用适配器进行大数据量的异步传输;
Web Service应用适配器,Web Service应用适配器进行小数据量的实时传输;
辅助应用适配器,辅助应用适配器进行特殊数据的传输。
7.如权利要求1所述的数据交换装置,其特征在于,所述数据交换装置以初始化加载或者增量加载的方式在异构应用系统或者异构数据库之间进行交换数据;
初始化加载传输源应用系统或者源数据库中的所有数据;
增量加载仅传输源应用系统或者源数据库中自上一个刷新周期以来产生变化的数据。
8.如权利要求7所述的数据交换装置,其特征在于,所述数据交换装置以下述方式进行增量加载:
依据触发器进行增量加载,源应用系统或者源数据库发生数据变化时触发触发器,触发器触发增量加载;
依据时间戳进行增量加载,为源应用系统或者源数据库的数据增加时间戳,对时间戳晚于上一刷新周期的数据进行增量加载;
依据全表对比进行增量加载,周期性地为源应用系统或者源数据库的数据计算校验码,对校验码进行全表对比,依据全表对比的结果进行增量加载;
依据日志对比进行增量加载,周期性地获取源应用系统或者源数据库的日志,依据日志进行增量加载。
9.如权利要求7所述的数据交换装置,其特征在于,数据具有不同的密级,密级与加载权限相对应,数据需要经过与其密级相对应的加载权限的授权后才能被加载。
10.如权利要求7所述的数据交换装置,其特征在于,数据具有权威分级,经加载的数据由具有对应的权威分级的校验方进行校验。
CN201910806089.3A 2019-08-29 2019-08-29 数据交换装置 Pending CN110532313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806089.3A CN110532313A (zh) 2019-08-29 2019-08-29 数据交换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806089.3A CN110532313A (zh) 2019-08-29 2019-08-29 数据交换装置

Publications (1)

Publication Number Publication Date
CN110532313A true CN110532313A (zh) 2019-12-03

Family

ID=68664918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806089.3A Pending CN110532313A (zh) 2019-08-29 2019-08-29 数据交换装置

Country Status (1)

Country Link
CN (1) CN110532313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447156A (zh) * 2020-03-23 2020-07-24 京东数字科技控股有限公司 一种数据交换方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447156A (zh) * 2020-03-23 2020-07-24 京东数字科技控股有限公司 一种数据交换方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20190005210A1 (en) Centralized consent management
CN106874461B (zh) 一种工作流引擎支持多数据源配置安全访问系统及方法
CN103136249A (zh) 多模态异构数据整合系统及方法
CN103281368A (zh) 一种基于云计算的数据共享交换模型及方法
CN102291464B (zh) BPM中业务流程动态生成Web Service的系统及方法
CN106777227A (zh) 基于云平台的多维数据融合分析系统及方法
CN104376237A (zh) 一种针对生产过程中信息的安全控制方法和系统
CN104156798A (zh) 企业权威源系统数据实时推送架构及方法
CN103745599A (zh) 一种基于云计算平台的车辆智能管理系统
CN104392308A (zh) 渔村信息化服务平台
CN104036365A (zh) 一种企业级数据服务平台建设方法
CN104484187B (zh) 一种信息集成方法和系统
CN107819824A (zh) 一种城市数据开放与信息服务系统及服务方法
CN107798037A (zh) 用户特征数据的获取方法及服务器
CN110532313A (zh) 数据交换装置
US8332473B1 (en) System and method for managing multiple message format communication
CN106657282B (zh) 一种换流站设备运行状态信息的集成方法及装置
CN112765245A (zh) 一种电子政务大数据处理平台
Thompson Agents, grids, and middleware
CN204288515U (zh) 一种基于云计算平台的车辆智能管理系统
CN110569026A (zh) 一种基于j2ee框架面向服务的系统架构方法
Wang et al. Design of Satellite Ground Management System Based on Microservices
KR102130003B1 (ko) 원격 전력 모니터링 시스템
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
Liu et al. Web service integrated cloud computing management information system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication