CN108829767A - 数据交换系统及其方法、装置和计算机存储介质 - Google Patents

Abstract

本发明提供一种数据交换系统及其方法、装置和计算机存储介质，由数据交换装置、数据处理装置、源系统服务器、以及目标系统服务器构成数据交换系统，数据交换装置分别连接源系统服务器、目标系统服务器，源系统服务器连接数据处理装置。数据交换装置分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息，并按第一数据服务信息的提取方法和目录结构，获取源系统服务器中的数据文件，再根据第二数据服务信息，并行推送多个数据文件供目标系统获取。本发明能够建立统一的批量数据交换接口规范和管理办法，对数据交换进行统一管理，加强对数据的管控；建设统一的批量数据交换系统，保证批量数据交换的可靠性、安全性、一致性。

Description

数据交换系统及其方法、装置和计算机存储介质

技术领域

本发明涉及计算机技术领域。尤其是涉及数据交换系统及其方法、装置和计算机存储介质。

背景技术

随着企业系统间数据交换与数据深化应用，传统基于ESB(企业服务总线)的数据交换模式，基本满足小批量数据同步交换的要求，但在大批量数据交换背景下，ESB数据交换的方式明显不能满足业务需求，对于大批量数据异步在系统间快速、安全、一致的数据交换需求越来越迫切。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据交换系统及其方法、装置和计算机存储介质，用于解满足现有技术中企业系统间大批量数据交换背景下，对于大批量数据异步交换在系统间的稳定性、安全性、一致性等要求。

为实现上述目的及其他相关目的，本发明提供一种数据交换方法，应用于数据交换装置，所述数据交换装置连接源系统服务器、以及目标系统服务器；所述方法包括：分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息；按所述第一数据服务信息的提取方法和目录结构，获取所述源系统服务器中的数据文件；所述数据文件包括：由源系统主动生成并上传至所述源系统服务器中第一指定目录的数据文件；和/或，由ETL从源系统的ETL接口抽取数据，生成并上传至所述源系统服务器中第二指定目录的数据文件；所述第一指令目录、以及所述第二指定目录是在所述数据交换装置预先注册的；通过所述第二数据服务信息，并行推送多个所述数据文件至所述目标系统服务器以供目标系统获取。

于本发明的一实施例中，所述提取方法包括：按照预设检索间隔时间，定期对所述源系统服务器进行检索；若检索到所述数据文件，则进行提取；若连续若干次数均无法检索到所述数据文件，则转入手动触发提取。

于本发明的一实施例中，还包括：向所述源系统服务器发送用户信息及口令以供鉴权；在鉴权通过的情况下，根据所述源系统服务器所设置的与该用户信息对应的获取权限进行获取数据的操作。

于本发明的一实施例中，还包括：向所述目标系统服务器发送用户信息及口令以供鉴权；在鉴权通过的情况下，根据所述目标系统服务器所设置的与该用户信息对应的读取和/或写入权限进行读取和/或写入数据的操作。

于本发明的一实施例中，还包括：所述源系统服务器和/或所述目标系统服务器为SFTP服务器。

为实现上述目的及其他相关目的，本发明还提供一种数据发送方法，应用于数据处理装置，所述数据处理装置连接源系统服务器，所述方法包括：主动生成并上传数据文件；和/或，开放ETL接口，以供ETL抽取数据，生成并上传数据文件。

为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的数据交换方法；或者，实现所述的数据发送方法。

为实现上述目的及其他相关目的，本发明还提供一种数据交换装置，包括：通信器、处理器、及存储器；所述通信器连接源系统服务器、目标系统服务器、以及外部设备；所述存储器用于存储程序；所述处理器运行程序实现所述的数据交换方法。

为实现上述目的及其他相关目的，本发明还提供一种数据处理装置，包括：通信器、处理器、存储器、及ETL接口；所述通信器通信连接源系统服务器；所述存储器用于存储程序；所述处理器运行程序实现所述的数据交换方法；所述ETL接口，以供ETL抽取数据。

为实现上述目的及其他相关目的，本发明还提供一种数据交换系统，包括：所述的数据交换装置、所述的数据处理装置、源系统服务器、以及目标系统服务器；所述数据交换装置分别连接所述源系统服务器、以及所述目标系统服务器；所述源系统服务器连接所述数据处理装置。

如上所述，本发明的一种数据交换系统及其方法、装置和计算机存储介质，由数据交换装置、数据处理装置、源系统服务器、以及目标系统服务器构成数据交换系统，数据交换装置分别连接源系统服务器、以及目标系统服务器，源系统服务器连接数据处理装置，由数据交换装置分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息，并按第一数据服务信息的提取方法和目录结构，获取源系统服务器中的数据文件，数据交换装置再根据第二数据服务信息，并行推送多个数据文件至目标系统服务器以供目标系统获取，具有以下有益效果：

能够建立统一的批量数据交换接口规范和管理办法，对数据交换进行统一管理，加强对数据的管控；建设统一的批量数据交换系统，保证批量数据交换的可靠性、安全性、一致性。

附图说明

图1显示为本发明于一实施例中的数据交换方法的流程示意图。

图2显示为本发明于一实施例中的提取方法的流程示意图。

图3显示为本发明于一实施例中的向源系统服务器发送用户信息及口令的流程示意图。

图4显示为本发明于一实施例中的向目标系统服务器发送用户信息及口令的流程示意图。

图5显示为本发明于一实施例中的数据交换装置示意图。

图6显示为本发明于一实施例中的数据处理装置示意图。

图7显示为本发明于一实施例中的数据交换系统示意图。

元件标号说明

S101～S103 方法步骤

S201～S203 方法步骤

S301～S302 方法步骤

S401～S402 方法步骤

500 数据交换装置

501 存储器

502 处理器

503 通信器

600 数据处理装置

601 存储器

602 处理器

603 通信器

604 ETL接口

701 数据处理装置

702 源系统服务器

703 数据交换装置

704 目标系统服务器

705 目标系统

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本发明于一实施例中的数据交换方法的流程示意图，所述方法应用于数据交换装置，所述数据交换装置连接源系统服务器、以及目标系统服务器；所述方法包括：

步骤S101：分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息。

所述源系统的第一数据服务信息、以及所述目标系统的第二数据服务信息包括：数据服务名称、代码、数据生成周期、数据提取时间、以及业务信息。

其中，所述代码与所述数据文件名称一致，以保证数据交换的一致性；所述数据生成周期以日为单位；所述业务信息可为金融、期货、基金、及股票等理财数据信息，例如T+N(黄金+白银)的波动数据信息。

另外，数据交换装置分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息的同时，数据交换装置还分别并行获取源系统信息、以及目标系统信息。

所述源系统信息、以及所述目标系统信息包含多个字段，所述字段包括系统名称、代码、服务器连接信息、联系人邮箱、联系人电话中的任何一个或多个。

其中，所述代码与服务器根目录下文件存放路径一致，且全局唯一，以保证数据交换的一致性。

步骤S102：按所述第一数据服务信息的提取方法和目录结构，获取所述源系统服务器中的数据文件；所述数据文件包括：由源系统主动生成并上传至所述源系统服务器中第一指定目录的数据文件；和/或，由ETL从源系统的ETL接口抽取数据，生成并上传至所述源系统服务器中第二指定目录的数据文件；所述第一指令目录、以及所述第二指定目录是在所述数据交换装置预先注册的。

如图2所示，展示本发明于一实施例中的提取方法的流程示意图，所述方法包括：

步骤S201：按照预设检索间隔时间，定期对所述源系统服务器进行检索。

步骤S202若检索到所述数据文件，则进行提取。

步骤S203：若连续若干次数均无法检索到所述数据文件，则转入手动触发提取。

所述源系统服务器中第一指定目录、以及所述第二指定目录构成第一数据服务信息中的目录结构，所述源系统服务器中第一指定目录构、以及所述第二指定目录预先在数据交换装置注册并记录。

所述第一数据服务信息的提取方法预先在数据交换装注册并记录，。

所述预设检索时间间隔优选为15分钟。

所述若干次数优选为3次。

所述提取方法包括：自动定期对源系统服务器进行检索并提取、以及手动提取，所述自动定期对源系统服务器进行检索并提取的提取方法优先级高于所述手动提取的提取方法。

所述数据交换装置获取源系统服务器中的数据文件保存周期优选为30天。

当获取所述源系统服务器中的数据文件时，对应在数据交换装置中生成源系统服务器文件路径。

例如：在日期为20160720获取数据文件，所述源系统服务器文件路径形式为：<SFTP根目录>/<系统代码>/20160720/<数据服务代码>.TXT)。

所述ETL，英文缩写为Extract-Transform-Load，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL还指在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle等。

所述ETL接口用于ETL或ETL工具抽取数据，其中涉及ETL规范参考现有技术中关于ETL规范的描述。

步骤S103：通过所述第二数据服务信息，并行推送多个所述数据文件至所述目标系统服务器以供目标系统获取。

通过所述第二数据服务信息，可并行推送多个所述数据文件至所述目标系统服务器以供目标系统获取。当源系统有最新数据发布时，数据交换装置将在获取数据文件后，及时推送数据文件至目标系统服务器中，并对应在目标系统服务器中生成目标系统服务器文件路径。

例如：在日期为20170720获取数据文件，所述目标系统服务器文件路径形式为：<SFTP根目录>/<系统代码>/20170720/<数据服务代码>.TXT)。

如图3所示，展示本发明于一实施例中的向源系统服务器发送用户信息及口令的流程示意图，包括：

步骤S301：向所述源系统服务器发送用户信息及口令以供鉴权。

步骤S302在鉴权通过的情况下，根据所述源系统服务器所设置的与该用户信息对应的获取权限进行获取数据的操作。

所述源系统服务器发送用的户信息及口令信息为源系统服务器信息，所述源系统服务器信息包含多个字段，所述字段包括服务器系统名称、IP地址、端口、用户、口令、创建人、创建时间、维护人、维护时间、管理员、管理员邮箱、以及管理员电话中的任何一个或多个。

所述源系统服务器信息是在所述数据交换装置预先注册的。

所述鉴权及获取权的设定，用于保证数据交换的安全性。

如图4所示，展示本发明于一实施例中的向目标系统服务器发送用户信息及口令的流程示意图，包括：

步骤S401：向所述目标系统服务器发送用户信息及口令以供鉴权。

步骤S402：在鉴权通过的情况下，根据所述目标系统服务器所设置的与该用户信息对应的读取和/或写入权限进行读取和/或写入数据的操作。

所述目标系统服务器发送用的户信息及口令信息为目标系统服务器信息，所述目标系统服务器信息包含多个字段，所述字段包括服务器系统名称、IP地址、端口、用户、口令、创建人、创建时间、维护人、维护时间、管理员、管理员邮箱、以及管理员电话中的任何一个或多个。

所述目标系统服务器信息是在所述数据交换装置预先注册的。

所述鉴权及获取权的设定，用于保证数据交换的安全性。

于本发明的一实施例中，还包括：所述源系统服务器和/或所述目标系统服务器为SFTP服务器。

SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议，可以为传输文件提供一种安全的网络的加密方法，因为SFTP是使用加密传输认证信息和传输的，所以，使用SFTP是非常安全，SFTP服务器即为使用SFTP安全文件传送协议为数据文件提供加密传输认证信息和传输的服务器。

本发明任一实施例中所述源系统服务器、及目标系统服务器均优选为SFTP服务器。

为实现上述目的及其他相关目的，本发明还提供一种数据发送方法，应用于数据处理装置，所述数据处理装置连接源系统服务器，所述方法包括：主动生成并上传数据文件；

和/或，开放ETL接口，以供ETL抽取数据，生成并上传数据文件。

所述数据处理装置连接源系统服务器，为源系统服务器提供数据，并在源系统服务器中存储相对应的数据文件。

所述ETL，英文缩写为Extract-Transform-Load，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL还指在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle等。

所述ETL接口用于ETL或ETL工具抽取数据，其中涉及ETL规范参考现有技术中关于ETL规范的描述。

为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的数据交换方法；或者，实现所述的数据发送方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质

如图5所示，展示本发明于一实施例中的数据交换装置示意图，本发明提供的一种数据交换装置500，包括：通信器503、处理器502、及存储器501；所述通信器503连接源系统服务器、目标系统服务器、以及外部设备；所述存储器501用于存储程序；所述处理器502运行程序实现如图1所述的数据交换方法，以及实现图2、图3、图4的各步骤程序。

所述外部设备包括：用户终端、以及安装有Oracle资料库的设备；所述用户终端包括移动终端或固定终端。

所述数据交换装置500通信连接源系统服务器、目标系统服务器、以及外部设备。

所述通信器503用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接，所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如，通信方式为网络通信方式，包括：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。

所述存储器501可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述处理器502可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图6所示，展示本发明于一实施例中的数据处理装置示意图，本发明提供的一种数据处理装置600，包括：通信器603、处理器602、存储器601、及ETL接口604；所述通信器603连接源系统服务器；所述存储器601用于存储程序；所述处理器602运行程序实现所述的数据交换方法；所述ETL接口604，以供ETL抽取数据。

所述数据处理装置600通信连接源系统服务器。

所述通信器603用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接，所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如，通信方式为网络通信方式，包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。

所述存储器601可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述处理器602可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图7所示，展示本发明于一实施例中的数据交换系统示意图，本发明提供的一种数据交换系统，包括：所述的数据交换装置703、所述的数据处理装置701、源系统服务器702、以及目标系统服务器704；所述数据交换装置703分别连接所述源系统服务器702、以及所述目标系统服务器704；所述源系统服务器702连接所述数据处理装置701。

所述目标系统服务器704连接目标系统705。

所述数据交换装置703可以是图5所述数据交换装置500。

所述数据处理装置701可以是图6所述数据处理装置600。

所述连接方式优选为通信连接，可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如，通信连接方式可为网络通信，包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。

综上所述，本发明的一种数据交换系统及其方法、装置和计算机存储介质，由数据交换装置、数据处理装置、源系统服务器、以及目标系统服务器构成数据交换系统，数据交换装置分别连接源系统服务器、以及目标系统服务器，源系统服务器连接数据处理装置，由数据交换装置分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息，并按第一数据服务信息的提取方法和目录结构，获取源系统服务器中的数据文件，数据交换装置再根据第二数据服务信息，并行推送多个数据文件至目标系统服务器以供目标系统获取。

本发明能够建立统一的批量数据交换接口规范和管理办法，对数据交换进行统一管理，加强对数据的管控；建设统一的批量数据交换系统，保证批量数据交换的可靠性、安全性、一致性。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种数据交换方法，其特征在于，应用于数据交换装置，所述数据交换装置连接源系统服务器、以及目标系统服务器；所述方法包括：

分别并行获取源系统的第一数据服务信息、以及目标系统的第二数据服务信息；

按所述第一数据服务信息的提取方法和目录结构，获取所述源系统服务器中的数据文件；所述数据文件包括：由源系统主动生成并上传至所述源系统服务器中第一指定目录的数据文件；和/或，由ETL从源系统的ETL接口抽取数据，生成并上传至所述源系统服务器中第二指定目录的数据文件；所述第一指令目录、以及所述第二指定目录是在所述数据交换装置预先注册的；

通过所述第二数据服务信息，并行推送多个所述数据文件至所述目标系统服务器以供目标系统获取。

2.根据权利要求1所述的数据交换方法，其特征在于，所述提取方法包括：

按照预设检索间隔时间，定期对所述源系统服务器进行检索；

若检索到所述数据文件，则进行提取；

若连续若干次数均无法检索到所述数据文件，则转入手动触发提取。

3.根据权利要求1所述的数据交换方法，其特征在于，还包括：

向所述源系统服务器发送用户信息及口令以供鉴权；

在鉴权通过的情况下，根据所述源系统服务器所设置的与该用户信息对应的获取权限进行获取数据的操作。

4.根据权利要求1所述的数据交换方法，其特征在于，还包括：

向所述目标系统服务器发送用户信息及口令以供鉴权；

在鉴权通过的情况下，根据所述目标系统服务器所设置的与该用户信息对应的读取和/或写入权限进行读取和/或写入数据的操作。

5.根据权利要求1至4中任一项所述的数据交换方法，其特征在于，还包括：所述源系统服务器和/或所述目标系统服务器为SFTP服务器。

6.一种数据发送方法，其特征在于，应用于数据处理装置，所述数据处理装置连接源系统服务器，所述其特征在于，所述方法包括：

主动生成并上传数据文件；

和/或，开放ETL接口，以供ETL抽取数据，生成并上传数据文件。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述的数据交换方法；或者，实现权利要求6中所述的数据发送方法。

8.一种数据交换装置，其特征在于，包括：通信器、处理器、及存储器；

所述通信器连接源系统服务器、目标系统服务器、以及外部设备；所述存储器用于存储程序；所述处理器运行程序实现权利要求1至5中任一项所述的数据交换方法。

9.一种数据处理装置，其特征在于，包括：通信器、处理器、存储器、及ETL接口；

所述通信器连接源系统服务器；所述存储器用于存储程序；所述处理器运行程序实现权利要求6中所述的数据交换方法；所述ETL接口，以供ETL抽取数据。

10.一种数据交换系统，其特征在于，包括：如权利要求8中所述的数据交换装置、如权利要求9中所述的数据处理装置、源系统服务器、以及目标系统服务器；

所述数据交换装置分别连接所述源系统服务器、以及所述目标系统服务器；所述源系统服务器连接所述数据处理装置。