CN109033253A - 数据集成方法及装置 - Google Patents

Abstract

本发明提供了一种数据集成方法，所述方法应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述方法包括：当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。本发明提供的数据集成方法，将源数据库中的数据同步到目标数据库中，从客户端需要集成数据，发送数据查询指令时，从所述目标数据库中查找客户端需要查询的数据，避免了直接从源数据库中获取数据，保障了源数据库的安全性，提高了数据集成的效率。

Description

数据集成方法及装置

技术领域

本发明涉及数据处理领域，特别涉及一种数据集成方法及装置。

背景技术

在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了“信息孤岛”。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。因此，数据集成技术在各个技术领域得到广泛应用。

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集成，从而为企业提供全面的数据共享。现有进行数据集成的过程中，共享数据的数据来源一般通过查询手段从源数据库中进行获取，各个部门均从源数据库获取数据，对源数据库中数据的安全性缺乏有效保障，容易导致源数据库崩溃，造成数据丢失，降低了数据集成效率。

发明内容

本发明所要解决的技术问题是提供一种数据集成方法，将源数据库中的数据同步至目标数据库中，从所述目标数据库中获取数据，进行数据集成，从而保障了源数据库的安全性，避免数据丢失，提高了数据集成效率。

本发明还提供了一种数据集成装置，用以保证上述方法在实际中的实现及应用。

一种数据集成方法，，所述方法应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述方法包括：

当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

上述的方法，可选的，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，包括：

调用数据同步软件解析所述源数据库中的数据增量变化，并触发所述数据同步软件将解析获得的所述数据增量变化应用至所述目标数据库，以实现所述源数据库与所述目标数据库的数据同步。

上述的方法，可选的，所述当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接；

当与所述目标数据库连接成功时，在所述目标数据库中查询与所述数据查询指令对应的目标数据。

上述的方法，可选的，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的数据筛选条件；

遍历所述目标数据库中的各个数据，查找满足所述数据筛选条件的数据；

将满足所述筛选条件的数据作为与所述数据查询指令对应的目标数据。

上述的方法，可选的，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的多个数据筛选条件；

遍历所述目标数据库中的各个数据，分别查找满足各个数据筛选条件的数据；

对查找到的各个筛选条件对应的数据进行合并，并将经过合并的数据作为所述数据查询指令对应的目标数据。

上述的方法，可选的，所述将所述目标数据发送至所述客户端，包括：

根据所述目标数据的数据量，对所述目标数据进行分页；

将获得的各个分页数据，依次发送至所述客户端。

一种数据集成装置，所述装置应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述装置包括：

查询单元，用于当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

发送单元，用于将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

上述的装置，可选的，所述查询单元包括：

建立子单元，用于当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接。

一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述的数据集成方法。

一种电子设备，包括存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据集成方法。

与现有技术相比，本发明包括以下优点：

本发明提供了一种数据集成方法，所述方法应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述方法包括：当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。本发明提供的数据集成方法，将源数据库中的数据同步到目标数据库中，从客户端需要集成数据，发送数据查询指令时，从所述目标数据库中查找客户端需要查询的数据，避免了直接从源数据库中获取数据，保障了源数据库的安全性，提高了数据集成的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据集成方法的方法流程图；

图2为本发明提供的一种数据集成的原理示意图；

图3为本发明提供的一种数据集成方法的又一方法流程图；

图4为本发明提供的一种数据集成方法的又一方法流程图；

图5为本发明提供的一种数据集成装置的结构示意图；

图6为本发明提供的一种数据集成装置的又一结构示意图；

图7为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种数据集成方法，该方法可以应用在数据交换平台中，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，该方法的执行主体可以为平台中的系统服务器，也可以为各种终端的处理器，所述终端可以为计算机、手机等终端，所述方法包括：

S101：当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

本发明实施例提供的方法，客户端需要进行数据集成时，向服务器发送数据查询指令，服务器在接收到客户端输入的数据查询指令时，在目标数据库中查询与数据查询指令对应的目标数据。

S102：将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

本发明实施例提供的方法中，服务器将查询获得的目标数据发送至客户端，以实现目标数据库与客户端质检的数据集成。

本发明实施例提供的数据集成方法，将源数据库中的数据同步至目标数据库中，在客户端需要进行数据集成查询数据时，从所述目标数据库中进行数据查询，从而避免了从源数据库中获取数据，造成源数据库访问量过大，安全性降低的问题，保障了源数据库的安全，提升了数据集成的效率。

本发明实施例提供的方法中，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，包括：

调用数据同步软件解析所述源数据库中的数据增量变化，并触发所述数据同步软件将解析获得的所述数据增量变化应用至所述目标数据库，以实现所述源数据库与所述目标数据库的数据同步。

本发明实施例提供的方法中，可以应用OGG(Oracle Golden Gate)软件实现源数据库与目标数据库之间的数据同步。OGG软件是一种基于日志的结构化数据复制备份软件，通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。

本发明实施例提供的方法中，服务器可以调用OGG软件，实时监测源数据库中的增量变化，并将增量变化同步应用到目标数据库中。

参考图2，示出了本发明实施例提供的数据集成方法的一原理示意图，本发明提供的方法可以应用在多种系统平台中，用户系统的数据集成，在图2中，本发明实施例提供的方法可以具体实例化为，应用在电票系统中，所涉及的数据交换平台可以为OGG数据交换平台。

在图2中，可以通过OGG数据交换平台中的OGG软件，将电票系统中的数据库中的数据同步到OGG数据交换平台的目标数据库。客户在企业客户端进行电票业务申请操作。系统通过数据库查询语句查询目标数据库中满足申请条件的数据，并获得OGG数据交换平台返回的查询结果，系统向客户展示查询结果，客户可选择需要的票据信息进行相关的申请业务操作。

本发明实施例提供的方法中，所述当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接；

当与所述目标数据库连接成功时，在所述目标数据库中查询与所述数据查询指令对应的目标数据。

本发明实施例提供的方法中，客户端与目标数据库之间通过建立TCP连接。通过TCP接口连接实现客户端与目标数据库之间数据通信。

本发明实施例提供的方法中，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的数据筛选条件；

遍历所述目标数据库中的各个数据，查找满足所述数据筛选条件的数据；

将满足所述筛选条件的数据作为与所述数据查询指令对应的目标数据。

本发明实施例提供的方法中，所述查询指令中可以包含一个数据筛选条件，依据所述数据筛选条件，在目标数据库中查找与其对应的数据。

本发明实施例提供的方法中，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的多个数据筛选条件；

遍历所述目标数据库中的各个数据，分别查找满足各个数据筛选条件的数据；

对查找到的各个筛选条件对应的数据进行合并，并将经过合并的数据作为所述数据查询指令对应的目标数据。

本发明实施例提供的方法中，所述查询指令中可以包含多个数据筛选条件，例如可以为查找年龄为18岁，且性别为女的所有人的数据，则需要在数据库中查找满足条件年龄为18岁的所有人，然后与性别女的数据进行合并，以获得目标数据。

本发明实施例提供的方法中，所述将所述目标数据发送至所述客户端，包括：

根据所述目标数据的数据量，对所述目标数据进行分页；

将获得的各个分页数据，依次发送至所述客户端。

本发明实施例提供的方法中，针对现有的接口集成方式，每次查询获取的数据均为数据库中的全量数据，系统响应时间长，且无法进行分页的问题。本发明在客户端系统配置目标数据库的数据源，通过数据源访问目标数据库，从而实现了分页查询，提高了效率。当需要增加查询条件或结果时，仅仅需要在客户端系统修改查询语句即可满足企业客户的需求。

本发明可以涉及的数据集成领域包括：贴现业务、背书业务、提示付款业务、票据业务签收业务、质押业务、追索业务、质押解除业务、同意清偿业务、应收查询业务。

参考图3示出了本发明实施例一方法流程图，在具体执行本发明实施例提供的数据集成方法中，企业客户经办人员登录客户端系统。企业客户通过录入查询条件查询可以做背书申请业务的票据信息。系统与OGG数据交换平台建立TCP连接。通过查询语句获取OGG数据数据交换平台目标数据库中可做背书申请业务的票据信息。选择需要的票据信息做背书申请业务，点击“提交”按钮，将申请提交给审批人员。

以上以背书申请业务为例进行描述。

参考图4，示出了本发明实施例提供的数据集成方法的又一方法流程图，从审批人员的角度进行介绍：

审批人员登录客户端系统，查询需要授权的背书申请业务。审批人员查看经办提交的信息是否正确。审批人员判断该业务是授权通过还是拒绝。若授权通过，完成背书申请业务；若拒绝，需要审批人员录入拒绝原因。

与图1所述的方法相对应的，本发明实施例还提供了一种数据集成装置，用于对图1中方法的具体实现，本发明实施例提供的数据集成装置，可以应用在数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述装置的结构示意图如图5所示，所述装置包括：

查询单元201，用于当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

发送单元202，用于将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

本发明实施例提供的数据集成装置，将源数据库中的数据同步至目标数据库中，在客户端需要进行数据集成查询数据时，从所述目标数据库中进行数据查询，从而避免了从源数据库中获取数据，造成源数据库访问量过大，安全性降低的问题，保障了源数据库的安全，提升了数据集成的效率。

参考图6示出了本发明实施例提供的数据集成装置的又一结构示意图，所述查询单元201包括：

建立子单元203，用于当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述数据集成方法，所述方法具体包括：

一种数据集成方法，所述方法应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述方法包括：

当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

上述的方法，可选的，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，包括：

调用数据同步软件解析所述源数据库中的数据增量变化，并触发所述数据同步软件将解析获得的所述数据增量变化应用至所述目标数据库，以实现所述源数据库与所述目标数据库的数据同步。

上述的方法，可选的，所述当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接；

当与所述目标数据库连接成功时，在所述目标数据库中查询与所述数据查询指令对应的目标数据。

上述的方法，可选的，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的数据筛选条件；

遍历所述目标数据库中的各个数据，查找满足所述数据筛选条件的数据；

将满足所述筛选条件的数据作为与所述数据查询指令对应的目标数据。

上述的方法，可选的，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的多个数据筛选条件；

遍历所述目标数据库中的各个数据，分别查找满足各个数据筛选条件的数据；

对查找到的各个筛选条件对应的数据进行合并，并将经过合并的数据作为所述数据查询指令对应的目标数据。

上述的方法，可选的，所述将所述目标数据发送至所述客户端，包括：

根据所述目标数据的数据量，对所述目标数据进行分页；

将获得的各个分页数据，依次发送至所述客户端。

本发明实施例还提供了一种电子设备，其结构示意图如图7所示，具体包括存储器301，以及一个或者一个以上的程序302，其中一个或者一个以上程序302存储于存储器301中，且经配置以由一个或者一个以上处理器303执行所述一个或者一个以上程序302包含用于进行以下操作的指令：

当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据集成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据集成方法，其特征在于，所述方法应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述方法包括：

当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

2.根据权利要求1所述的方法，其特征在于，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，包括：

调用数据同步软件解析所述源数据库中的数据增量变化，并触发所述数据同步软件将解析获得的所述数据增量变化应用至所述目标数据库，以实现所述源数据库与所述目标数据库的数据同步。

3.根据权利要求1所述的方法，其特征在于，所述当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接；

当与所述目标数据库连接成功时，在所述目标数据库中查询与所述数据查询指令对应的目标数据。

4.根据权利要求1或3所述的方法，其特征在于，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的数据筛选条件；

遍历所述目标数据库中的各个数据，查找满足所述数据筛选条件的数据；

将满足所述筛选条件的数据作为与所述数据查询指令对应的目标数据。

5.根据权利要求1或3所述的方法，其特征在于，所述在所述目标数据库中查询与所述数据查询指令对应的目标数据，包括：

获取所述查询指令中包含的多个数据筛选条件；

遍历所述目标数据库中的各个数据，分别查找满足各个数据筛选条件的数据；

对查找到的各个筛选条件对应的数据进行合并，并将经过合并的数据作为所述数据查询指令对应的目标数据。

6.根据权利要求4或5所述的方法，其特征在于，所述将所述目标数据发送至所述客户端，包括：

根据所述目标数据的数据量，对所述目标数据进行分页；

将获得的各个分页数据，依次发送至所述客户端。

7.一种数据集成装置，其特征在于，所述装置应用于数据交换平台，所述数据交换平台包括源数据库和目标数据库，所述源数据库中的数据通过数据同步软件同步至所述目标数据库中，所述装置包括：

查询单元，用于当接收到客户端输入的数据查询指令时，在所述目标数据库中查询与所述数据查询指令对应的目标数据；

发送单元，用于将所述目标数据发送至所述客户端，以实现所述目标数据库与所述客户端之间的数据集成。

8.根据权利要求7所述的装置，其特征在于，所述查询单元包括：

建立子单元，用于当接收到所述客户端输入的数据查询指令时，建立与所述目标数据库之间的TCP连接。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1～6任意一项所述的数据集成方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～6任意一项所述的数据集成方法。