CN102447620A

CN102447620A - 一种关联型数据库实时交换管理方法、装置以及系统

Info

Publication number: CN102447620A
Application number: CN2011103553578A
Authority: CN
Inventors: 顾涛
Original assignee: JIANGSU DEYI SOFTWARE TECHNOLOGY CO LTD
Current assignee: JIANGSU DEYI SOFTWARE TECHNOLOGY CO LTD
Priority date: 2011-11-10
Filing date: 2011-11-10
Publication date: 2012-05-09

Abstract

本发明公开了一种关联型数据库实时交换管理方法，包括：A1.接收第一应用程序发出请求数据信息并发送给区域服务器；A2.所述的区域服务器查找具有相应数据信息的第二应用程序并发送请求；A3.第二应用程序将所述的相应数据信息以数据包的形式发送给所述的区域服务器；A4.所述的区域服务器将所述的数据包发送给所述的第一应用程序。本发明还公开了一种关联型数据库实时交换管理装置及系统。本发明能实现应用程序中数据互联互通，提高数据的利用效率。

Description

一种关联型数据库实时交换管理方法、装置以及系统

技术领域

本发明涉及网络数据处理领域，更具体地说，涉及一种关联型数据库实时交换管理方法、装置以及系统。

背景技术

随着信息时代的不断发展，不同部门、不同地区间的信息交流逐步增加，计算机网络技术的发展为信息传输提供了保障。当大量的空间数据隐藏于应用程序中，面对多种多样的数据格式，我们怎样才能有效地利用它们呢？数据共享就是让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。

一个应用程序可以将自己的数据完全暴露出去，外界根本看不到，也不用看到这个应用程序暴露的数据是如何存储的，或者是使用数据库还是使用文件，还是通过网上获得，这些一切都不重要，重要的是外界可以通过这一套标准及统一的接口和这个程序里的数据打交道，例如：添加(insert)、删除(delete)、查询(query)、修改(update)，当然需要一定的权限才可以。

实现应用程序中的数据交换管理以及共享，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用，而把精力重点放在开发新的应用程序及系统集成上。由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，因而给数据共享带来了很大困难，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息的棘手问题，严重地阻碍了数据在各部门和各软件系统中的流动与共享。

发明内容

本发明要解决的技术问题在于，提供一种互联互通的、提高数据信息资源利用效率的一种关联型数据库实时交换管理方法、装置以及系统。

本发明公开了一种关联型数据库实时交换管理方法，包括：

A1.接收第一应用程序发出请求数据信息并发送给区域服务器；

A2.所述的区域服务器查找具有相应数据信息的第二应用程序并发送请求；

A3.第二应用程序将所述的相应数据信息以数据包的形式发送给所述的区域服务器；

A4.所述的区域服务器将所述的数据包发送给所述的第一应用程序。

在本发明所述的关联型数据库实时交换管理方法中，还包括下列步骤：

A5.当所述的第二应用程序上的相应数据信息发生改变时，生成一个事件；

A6.将所述的事件发送给所述的区域服务器；

A7.所述的区域服务器查找订阅过所述的相应数据信息的第一应用程序并发送；

A8.第一应用程序更新相应的数据信息。

在本发明所述的关联型数据库实时交换管理方法中，所述数据包具有XML文件。

在本发明所述的关联型数据库实时交换管理方法中，所述的XML文件包括：描述交互协议的报文以及报文发送的对象。

本发明公开了一种关联型数据库实时交换管理装置，用于实现上述的方法，包括：

接收原始请求单元：用于接收第一应用程序发出请求数据信息并发送给区域服务器；

查找数据信息单元：与所述的接收原始请求单元相连，用于所述的区域服务器查找具有相应数据信息的第二应用程序并发送请求；

返回数据信息单元：与所述的查找数据信息单元相连，用于第二应用程序将所述的相应数据信息以数据包的形式发送给所述的区域服务器；

接收数据包单元：与所述的返回数据信息单元相连，用于所述的区域服务器将所述的数据包发送给所述的第一应用程序。

在本发胆所述的关联型数据库实时交换管理装置中，还包括：

事件生成单元：用于当所述的第二应用程序上的相应数据信息发生改变时，生成一个事件；

事件发送单元：与所述的事件生成单元相连，用于将所述的事件发送给所述的区域服务器；

查找订阅单元：与所述的事件发送单元相连，用于所述的区域服务器查找订阅过所述的相应数据信息的第一应用程序并发送；

更新数据单元：与所述的查找订阅单元相连，用于第一应用程序更新相应的数据信息。

在本发胆所述的关联型数据库实时交换管理装置中，所述数据包具有XML文件。

本发明公开了一种关联型数据库实时交换管理系统，包括数据源层、用于数据抽取/存储的数据源访问层、数据加工处理的数据处理层、用于数据交换的数据交换层以及监控数据的监控配置层、所述的数据源层、数据源访问层、数据处理层、数据交换层、监控配置层依次相连，其特征在于，所述的关联型数据库实时交换管理系统还包括上述的关联型数据库实时交换管理装置。

如本发明所述的关联型数据库实时交换管理系统中，所述的数据源层包括应用软件系列数据库、监管指挥系列数据库、中心数据库。

如本发明所述的关联型数据库实时交换管理系统中，还包括置于内/外网的关联型数据库实时交换管理系统的网闸。

实施本发明的一种关联型数据库实时交换管理方法、装置以及系统，具有以下有益的技术效果：

1.可广泛应用于高性能计算、网站、云存储、云计算、大型企业数据中心等各类IT架构或应用程序中的共享式数据访问；

2.分散建设的若干应用信息系统进行整合，通过计算机网络构建信息交换平台，从而使若干个应用子系统进行信息/数据的传输及共享，最大范围提高信息资源的利用率；

3.数据共享具有更高的可靠性、扩展性和性能，可较好解决云计算、数据中心等海量数据环境下的存储和共享访问问题。

附图说明

图1是本发明实施例一种关联型数据库实时交换管理方法流程图；

图2为本发明实施例一种关联型数据库实时交换管理装置模块方框图；

图3为本发明实施例一种关联型数据库实时交换管理系统结构图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种关联型数据库实时交换管理方法，包括：

每个应用程序软件都创建代理程序，它们充当应用程序与区域服务器之间的接口，代理程序之间并不直接通信，而是通过区域服务器间接通信，区域服务器是框架中所有代理程序的集成点。

在工作过程中，当第一应用程序(或者说：应用软件A)需要相关的信息时，管理员不希望自己录入，而是希望直接从第二应用程序(或者说：应用程序B)中获取，管理员就通过软件发出请求相关数据的消息，代理将消息发给区域服务器，区域服务器检查消息发现是请求相关信息的，区域服务器检查到相关信息是有应用程序B提供的，就将请求消息转发给应用程序B。

应用程序B收到请求后，就根据请求的内容将相关信息打包成XML文件，并将文件发给区域服务器。

本发明的实质是一种报文接发协议所使用并描述所有对象的公共XML数据词汇。该词汇中最重要的两个部分是：描述交互协议的报文和报文发送的对象。对象包括数据对象和事件对象，事件对象是对数据对象所定义信息的变化的描述，报文可以看作是数据对象和事件对象的载体。

区域服务器再将文件传给应用软件A的代理，应用软件A的代理收到数据后就可以进行处理，将相关信息按照要求存到应用软件A数据库中，这样相关基本信息就自动建立起来了，管理员就不需要重复录入。

当应用软件B增加了一条信息或对一条信息进行修改时，就会产生一个事件。

A6.将所述的事件发送给所述的区域服务器；

区域服务器收到事件消息后，会检查有没有其它程序订阅了这类信息的事件，经过检查发现应用软件A订阅了这类信息的事件，区域服务器就将变动的消息发给应用软件A的代理。

A8.第一应用程序更新相应的数据信息。

代理在收到消息后就可以相应地对相关信息进行处理，这样就保持了系统内部各种信息的一致性，也提高了管理的水平和效率。

本发明中，各个软件系统之间的数据交换主要实现两类数据交换的模式：一类是一个系统主动获取另一个系统的数据，如步骤A1至A4所示；另一类是一个系统的数据变化时，对其他共享其数据的系统中相应数据进行更新，如步骤A5至A8所示。因此，本发明实时数据交换技术创建了两类数据交换模式：一个是“请求与应答模式”，想要获取数据的系统向区域服务器发出请求，区域服务器将请求传递给数据提供系统，该系统向区域服务器发回所请求的数据，区域服务器再将其返回给数据请求者；另一个是“发布与预约模式”，数据请求者系统向区域服务器发出“预约”，当被预约的数据所在的系统数据更新时，该系统向区域服务器发布更新信息，区域服务器将信息数据发送给预约者，从而实现数据的更新。

请参阅图2，一种关联型数据库实时交换管理装置1，用于实现上述的方法，包括：接收原始请求单元10、查找数据信息单元20、返回数据信息单元30、接收数据包单元40、事件生成单元50、事件发送单元60、查找订阅单元70、更新数据单元80。

接收原始请求单元海10：用于接收第一应用程序发出请求数据信息并发送给区域服务器；查找数据信息单元20：与接收原始请求单元10相连，用于所述的区域服务器查找具有相应数据信息的第二应用程序并发送请求；返回数据信息单元30：与查找数据信息单元20相连，用于第二应用程序将所述的相应数据信息以数据包的形式发送给所述的区域服务器；接收数据包单元40：与返回数据信息单元30相连，用于所述的区域服务器将所述的数据包发送给所述的第一应用程序；事件生成单元50：用于当所述的第二应用程序上的相应数据信息发生改变时，生成一个事件；事件发送单元60：与事件生成单元50相连，用于将所述的事件发送给所述的区域服务器；查找订阅单元70：与事件发送单元60相连，用于所述的区域服务器查找订阅过所述的相应数据信息的第一应用程序并发送；更新数据单元80：与查找订阅单元70相连，用于第一应用程序更新相应的数据信息。其中，所述数据包具有XML文件。

请参阅图3，一种关联型数据库实时交换管理系统，包括数据源层100、用于数据抽取/存储的数据源访问层110、数据加工处理的数据处理层120、用于数据交换的数据交换层130以及监控数据的监控配置层140、数据源层100、数据源访问层110、数据处理层120、数据交换层130、监控配置层140依次相连，所述的关联型数据库实时交换管理系统还包括如上述的关联型数据库实时交换管理装置1，数据库实时交换管理装置1各模块设置于所述系统的各层中。其中，所述的数据源层包括应用软件系列数据库、监管指挥系列数据库、中心数据库。

为实现孤立信息系统之间的数据交换，消除“信息孤岛”，本发明提供了符合CORBA标准的、基于“软总线+软构件”模式的数据交换平台系统方案。数据交换平台就象一根智能消息传输总线，连接了分布的异构系统中的各个构件。

数据交换平台提供客户接入端软件部署在每个应用系统的前置机上，实现数据交换平台和各信息系统的有机结合。客户接入端实现数据的自动提取与转换。

本系统分为通过以下技术方案实现共享应用程序中的数据，即：核心设计策略、数据交换策略、内外网数据交换策略。

核心设计策略：关联型数据库实时交换管理系统采用的设计架构，通过其易用性的配置界面，提供基于数据库信息发布的通用适配组件，该组件采用SQL定义的方式提供标准的数据内容及标识的定义，可以直接从应用系统数据库中读取数据或插入数据，并将其结果以XML的方式返回给数据使用者。

数据源层100包括：应用软件系列数据库、监管指挥系列数据库、中心数据库等多个数据库。

数据源访问层110屏蔽了各系统间数据源多样式不能访问性，打开了各系统间数据互通共享的通道。数据源访问层110数据抽取时，依据以上配置访问数据源抽取数据，对数据进行加工处理，配合中间件和数据交换层，实现对数据的加工处理、流量控制、断点续传、路由；同理，在存储数据时按照这些配置内容对数据进行汇总、比对、审核后写入数据源。

数据处理层120对每个软件系统中能共享的数据项，从数据的完整性、一致性方面分类做成能访问各业务软件系统数据源的代理程序，对代理程序统一编码进行配置管理；每个代理程序的数据在传输过程中是否需要压缩/解压缩和以何种方式压缩、加密/解密和何种方式加密、签名、数据格式翻译和翻译成的目标格式、传输测策略、访问权限、传输优先级、动态路由等等，均在此配置成数据加工处理参数。

数据交换层130数据交换平台对配置形成的插件，按应用系统管理和用户管理要求，进行权限分配，管理控制应用系统软件间的数据交换，与安全支撑平台配合实现用户的统一权限、认证管理，达到数据共享、应用系统协同工作的目的。

监控配置层140通过动态配置管理，加强了数据传输的安全性、一致性，提高了系统的易用性、可维护性和可扩展性，实现了快速应用集成能力。

数据交换策略：数据资源管理中心的建设包括操作数据存贮(ODS)、数据仓库(和数据集市)、OLAP服务和J2EE应用服务器。通过应用适配器，按照业务需求订阅不同主题的消息，并进行信息集成和存贮到ODS中；ODS中的数据最终会按照时间和主题批次装载到数据仓库，日常查询不需要涉及的数据就直接集成和存贮到数据仓库中。

为了解决多数据源远程数据访问，支持各种异构数据源的数据抽取与自动转换，隔离数据逻辑和业务逻辑，保证系统具有良好的开放性及可扩展性，本项目提供一个对多种数据源实施统一访问的功能构件，实施对数据源抽取的集中管理。

统一数据访问构件的主体由客户接口、服务管理程序、数据库访问服务组成，客户接口、服务管理程序、数据库访问服务之间，通过符合CORBA标准的InforBus中间件进行通信。由于使用了这种松耦合的连接关系，一个客户端进程可以同时访问多个数据库访问服务，这些数据库访问服务可以访问相同的或者不同的数据源，且地理分布广泛；多个客户端进程也可以访问同一个数据库访问服务，由于在数据库访问服务做了数据库访问连接池的管理，可以连接复用，大大节省了数据库资源的开销。数据抽取遵循以下原则：

数据抽取原则：提供定时抽取、固定间隔和Rule-based Trigger等策略；提供强有力的数据加工处理能力，包括数据过滤、转换、压缩、数据加密、签名、数据填充等；

支持自定义数据处理逻辑的即插即用；

数据复制：支持快照复制和增量复制等数据复制手段；

数据装载：支持数据的一致性检查和单子性(无重复性)。

处理流程是根据教育部门的业务特点，对于各业务数据的抽取采用不同的方法。

(1).定时抽取：对于一些基础字典和静态类型数据采用该抽取策略，这类数据的特点是时效性不是很强，并且一般情况下数据的变动频率非常低。

(2).固定间隔：对于那些动态数据采用该抽取策略，这类数据的特点是可能会频繁变动，并且这类数据对于船舶安全和航道安全等非常重要。

(3).Rule-based Trigger：对于那些敏感数据采用该抽取策略。这类数据的特点是随时可能变动，且时效性非常强。

内外网数据交换策略：对于内外网间数据交换的需求，提供的设计方案是通过网闸进行内外网的物理隔离，并进行数据传递。在网闸内侧放置数据交换平台服务器，完成数据抽取、数据存储和与网闸的交互任务。网闸外侧放置数据交换适配器，完成网闸与外间的交互。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种关联型数据库实时交换管理方法，其特征在于，包括：

2.根据权利要求1所述的关联型数据库实时交换管理方法，其特征在于，还包括下列步骤：

A6.将所述的事件发送给所述的区域服务器；

A8.第一应用程序更新相应的数据信息。

3.根据权利要求1所述的关联型数据库实时交换管理方法，其特征在于，所述数据包具有XML文件。

4.根据权利要求3所述的关联型数据库实时交换管理方法，其特征在于，所述的XML文件包括：描述交互协议的报文以及报文发送的对象。

5.一种关联型数据库实时交换管理装置，用于实现权利要求1所述的方法，其特征在于，包括：

6.根据权利要求5所述的关联型数据库实时交换管理装置，其特征在于，

7.根据权利要求6所述的关联型数据库实时交换管理装置，其特征在于，所述数据包具有XML文件。

8.一种关联型数据库实时交换管理系统，包括数据源层、用于数据抽取/存储的数据源访问层、数据加工处理的数据处理层、用于数据交换的数据交换层以及监控数据的监控配置层、所述的数据源层、数据源访问层、数据处理层、数据交换层、监控配置层依次相连，其特征在于，所述的关联型数据库实时交换管理系统还包括如权利要求5所述的关联型数据库实时交换管理装置。

9.如权利要求8所述的关联型数据库实时交换管理系统，其特征在于，所述的数据源层包括应用软件系列数据库、监管指挥系列数据库、中心数据库。

10.如权利要求8所述的关联型数据库实时交换管理系统，其特征在于，还包括置于内/外网的关联型数据库实时交换管理系统的网闸。