CN104111834A - 一种在异构数据库之间交换数据的方法和装置 - Google Patents

一种在异构数据库之间交换数据的方法和装置 Download PDF

Info

Publication number
CN104111834A
CN104111834A CN201410319872.4A CN201410319872A CN104111834A CN 104111834 A CN104111834 A CN 104111834A CN 201410319872 A CN201410319872 A CN 201410319872A CN 104111834 A CN104111834 A CN 104111834A
Authority
CN
China
Prior art keywords
database
data
node
heterogeneous
authentication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410319872.4A
Other languages
English (en)
Inventor
张侃
蔡适择
王永光
王彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201410319872.4A priority Critical patent/CN104111834A/zh
Publication of CN104111834A publication Critical patent/CN104111834A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种在异构数据库之间交换数据的方法和装置，有助于降低数据导入导出工具的维护成本，并有助于提高不同种类的数据库之间数据交换的速度。本发明的在异构数据库之间交换数据的方法包括：向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息；在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。

Description

一种在异构数据库之间交换数据的方法和装置
技术领域
本发明涉及计算机网络技术领域，特别地涉及一种在异构数据库之间交换数据的方法和装置。
背景技术
企业内部数据库系统繁多，有sqlserver，mysql，oracle,mongodb，redis，hive，hbase等等，它们使用各不相同的数据格式，操作数据库的语句的语法也各不相同，习惯上称之为异构数据库。如何在异构数据库之间交换数据是一个很大的问题。传统的技术方案基本上都是依赖数据库本身的工具，比如sqlserver的bcp，mysql的mysqldump，先将数据导入到本地文件系统，再将数据加载到另外一种数据库。数据导入导出的工具比较多，但是只支持一个或者几个特定类型的数据库。这样带来一个问题，如果我们有很多不同类型的数据库，并且经常需要在他们之间交换数据，那就需要维护很多工具。
图1是根据现有技术中的需要交换数据的多个异构数据库之间的关系的示意图。在图1中，直线两端的数据库之间有数据交换。从图1可以看出，不同数据源之间的交换需要多种不同的工具，并且这些工具还要同时支持另外的所有数据库，例如数据库11中的工具需能支持数据库12、13、14、15。对于现有的数据库产品来说，这几乎是不可能的。另外，在使用的多种数据库各自具有数据导入导出工具的情况下，维护这些工具的成本也比较高。
发明内容
有鉴于此，本发明提供一种在异构数据库之间交换数据的方法和装置，有助于降低数据导入导出工具的维护成本，并有助于提高不同种类的数据库之间数据交换的速度。
为实现上述目的，根据本发明的一个方面，提供了一种在异构数据库之间交换数据的方法。
本发明的在异构数据库之间交换数据的方法包括：向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息；在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。
可选地，所述鉴权信息包括用户名和密码。
根据本发明的另一方面，提供了一种在异构数据库之间交换数据的装置。
本发明的在异构数据库之间交换数据的装置包括：读模块，用于向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息，以及在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；写模块，用于将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。
可选地，包括多个写模块，每个写模块对应一种数据库；所述目标数据库的类型为所述写模块对应的数据库的类型。
可选地，所述鉴权信息包括用户名和密码。
根据本发明的技术方案，采用中间交换节点，从一种数据库中读到数据，进行格式转换之后写入另一种数据库，使多个异构数据库之间能够方便地实现数据交换并且数据交换的路径较短；读取的数据保存在计算机内存而非本地文件中，具有很快的读写速度。这样无需维护现有数据库中的数据交换工具，有助于降低成本。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据现有技术中的需要交换数据的多个异构数据库之间的关系的示意图；
图2是根据本发明实施例的运行多个数据库的计算机系统的示意图；
图3是根据本发明实施例的在异构数据库之间交换数据的方法的主要步骤的示意图；
图4是根据本发明实施例的在异构数据库之间交换数据的装置的主要结构的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本发明实施例中，在多个数据库中间增加一个交换节点，参考图2，图2是根据本发明实施例的运行多个数据库的计算机系统的示意图。节点21、22、23、24、25运行的数据库为异构数据库，中间节点20与上述节点连接，上述节点之间可以连接或不连接。中间节点即按本实施例提供的方法，从上述的一个节点的数据库中读取数据然后写到另一个节点的数据库中。以下结合图3对该方法举例说明，图3是根据本发明实施例的在异构数据库之间交换数据的方法的主要步骤的示意图。在图3所示的流程中，节点20从节点21的数据库中读取数据然后写入节点22的数据库中。此时节点21作为源数据库，节点22作为目标数据库。
步骤S31：节点20向节点21发送连接信息。连接信息主要是鉴权信息。在配置时需要在节点20中保存该鉴权信息，另外保存节点21的网络地址，以及符合节点21中的数据库语法的语句，例如读取数据库的语句等。
步骤S32：节点21对连接信息进行校验，若通过，则进行步骤S33，否则结束流程。
步骤S33：节点20从节点21中读取数据。
步骤S34：节点20将读取的数据保存在自身的内存中。
步骤S35：节点20对自身内存中的上述数据进行格式转换。该转换是将上述数据的格式转换为节点22中的数据库适用的格式。
步骤S36：节点20将转换格式之后的上述数据写入节点22的数据库中。至此即完成节点21与节点22的数据交换。其他节点间的数据交换方式与上述步骤类似，都是由节点20从一个节点中的数据库读取然后写入另一个节点的数据库中。当然节点20也可以写入多个数据库，此时就需节点20将读取的数据形成多个副本，并且每个副本的格式适用于要写入的数据库。
以下结合图4对本发明实施例的在异构数据库之间交换数据的装置的结构加以说明，图4是根据本发明实施例的在异构数据库之间交换数据的装置的主要结构的示意图。该装置可以设置在计算机网络的节点中，例如设置在图2中的节点20中。另外，如果节点21至25中有一个节点与其他所有节点连接，该装置也可以设置在该节点中。如图4所示，在异构数据库之间交换数据的装置40主要包括读模块41和写模块42，图中仅示出了一个读模块和写模块，在实现中该装置也可以是一个读模块、多个写模块，该读模块可以从多种数据库中读取数据，而各个写模块各自对应一种数据库，能够向该数据库写入数据。该装置也可以有多个读模块、多个写模块，一对读模块和写模块用来从一种数据库读取数据以及向该种数据库写入数据。
读模块41用于向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息，以及在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；写模块42用于将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。
根据本发明实施例的技术方案，采用中间交换节点，从一种数据库中读到数据，进行格式转换之后写入另一种数据库，使多个异构数据库之间能够方便地实现数据交换并且数据交换的路径较短；读取的数据保存在计算机内存而非本地文件中，具有很快的读写速度。这样无需维护现有数据库中的数据交换工具，有助于降低成本。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来开发出的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (5)

1.一种在异构数据库之间交换数据的方法，其特征在于，包括：
向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息；
在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；
将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。
2.根据权利要求1所述的方法，其特征在于，所述鉴权信息包括用户名和密码。
3.一种在异构数据库之间交换数据的装置，其特征在于，包括：
读模块，用于向源数据库发送连接信息，该连接信息包括源数据库的鉴权信息，以及在所述鉴权信息正确的情况下，从所述源数据库中读取数据然后保存在计算机内存中；
写模块，用于将所述计算机内存中的所述数据的格式转换为适用于目标数据库的格式，然后写入该目标数据库中；所述源数据库与目标数据库为异构数据库。
4.根据权利要求3所述的装置，其特征在于，包括多个写模块，每个写模块对应一种数据库；所述目标数据库的类型为所述写模块对应的数据库的类型。
5.根据权利要求3或4所述的装置，其特征在于，所述鉴权信息包括用户名和密码。
CN201410319872.4A 2014-07-07 2014-07-07 一种在异构数据库之间交换数据的方法和装置 Pending CN104111834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410319872.4A CN104111834A (zh) 2014-07-07 2014-07-07 一种在异构数据库之间交换数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410319872.4A CN104111834A (zh) 2014-07-07 2014-07-07 一种在异构数据库之间交换数据的方法和装置

Publications (1)

Publication Number Publication Date
CN104111834A true CN104111834A (zh) 2014-10-22

Family

ID=51708634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410319872.4A Pending CN104111834A (zh) 2014-07-07 2014-07-07 一种在异构数据库之间交换数据的方法和装置

Country Status (1)

Country Link
CN (1) CN104111834A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615630A (zh) * 2014-10-27 2015-05-13 武汉钢铁(集团)公司 异构数据库系统之间数据格式转换的方法
CN106326466A (zh) * 2016-08-31 2017-01-11 天津南大通用数据技术股份有限公司 一种异构表间数据交换方法及装置
CN107844498A (zh) * 2016-09-20 2018-03-27 天脉聚源（北京）科技有限公司 一种数据库大批量导出数据的方法和系统
CN109828947A (zh) * 2019-01-17 2019-05-31 东莞众家联供应链服务有限公司 一种主动式异构数据采集器
CN110471970A (zh) * 2019-08-08 2019-11-19 紫光云技术有限公司 一种灵活可配的规则引擎数据转发方法
CN111538772A (zh) * 2020-04-14 2020-08-14 北京宝兰德软件股份有限公司 数据的交换处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1407465A (zh) * 2001-08-13 2003-04-02 深圳市丛文软件技术有限公司 异构、异种数据库间适用的数据交换方法及装置
CN101165683A (zh) * 2006-10-19 2008-04-23 维豪信息技术有限公司 异构异源异平台数据的整合方法及交换方法
CN101714157A (zh) * 2009-09-29 2010-05-26 金蝶软件（中国）有限公司 异构数据库报表生成方法、装置和异构数据库系统
CN102479182A (zh) * 2010-11-23 2012-05-30 大连兆阳软件科技有限公司 一种异构、异种数据库间的数据交换方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1407465A (zh) * 2001-08-13 2003-04-02 深圳市丛文软件技术有限公司 异构、异种数据库间适用的数据交换方法及装置
CN101165683A (zh) * 2006-10-19 2008-04-23 维豪信息技术有限公司 异构异源异平台数据的整合方法及交换方法
CN101714157A (zh) * 2009-09-29 2010-05-26 金蝶软件（中国）有限公司 异构数据库报表生成方法、装置和异构数据库系统
CN102479182A (zh) * 2010-11-23 2012-05-30 大连兆阳软件科技有限公司 一种异构、异种数据库间的数据交换方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615630A (zh) * 2014-10-27 2015-05-13 武汉钢铁(集团)公司 异构数据库系统之间数据格式转换的方法
CN104615630B (zh) * 2014-10-27 2018-03-27 武汉钢铁(集团)公司 异构数据库系统之间数据格式转换的方法
CN106326466A (zh) * 2016-08-31 2017-01-11 天津南大通用数据技术股份有限公司 一种异构表间数据交换方法及装置
CN107844498A (zh) * 2016-09-20 2018-03-27 天脉聚源（北京）科技有限公司 一种数据库大批量导出数据的方法和系统
CN109828947A (zh) * 2019-01-17 2019-05-31 东莞众家联供应链服务有限公司 一种主动式异构数据采集器
CN110471970A (zh) * 2019-08-08 2019-11-19 紫光云技术有限公司 一种灵活可配的规则引擎数据转发方法
CN111538772A (zh) * 2020-04-14 2020-08-14 北京宝兰德软件股份有限公司 数据的交换处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN104111834A (zh) 一种在异构数据库之间交换数据的方法和装置
Alsulami et al. Fixed Points of Modified F‐Contractive Mappings in Complete Metric‐Like Spaces
CN104216961B (zh) 一种数据处理方法和装置
Cho et al. Coupled fixed point theorems under weak contractions
Karakaya et al. λ‐Statistical Convergence of Sequences of Functions in Intuitionistic Fuzzy Normed Spaces
Altınkaya et al. Fekete‐Szegö Inequalities for Certain Classes of Biunivalent Functions
Bin Ahmad et al. Some fixed and periodic points in abstract metric spaces
Jia On solving event-based optimization with average reward over infinite stages
Sun Delay‐Independent Stability of Switched Linear Systems with Unbounded Time‐Varying Delays
CN110019111A (zh) 数据处理方法、装置、存储介质以及处理器
Mursaleen et al. Sequence Spaces Defined by Musielak‐Orlicz Function over n‐Normed Spaces
Pooseh et al. A numerical scheme to solve fractional optimal control problems
Abbas et al. Fixed Point of T‐Hardy‐Rogers Contractive Mappings in Partially Ordered Partial Metric Spaces
Karapınar et al. On Weakly (C, ψ, ϕ)‐Contractive Mappings in Ordered Partial Metric Spaces
CN106469172B (zh) 分布式文件系统的数据更新方法和装置
Zegeye et al. Extragradient method for solutions of variational inequality problems in Banach spaces
Zhou et al. Discrete‐time indefinite stochastic LQ control via SDP and LMI methods
Jiang et al. Positive Solutions for Nonlinear Fractional Differential Equations with Boundary Conditions Involving Riemann‐Stieltjes Integrals
JP2008287507A (ja) トレーサビリティシステムおよび電子タグ読み書き装置
Zhu et al. Strong convergence on iterative methods of Cesàro means for nonexpansive mapping in Banach space
Yue et al. Strong Convergence of the Split‐Step Theta Method for Stochastic Delay Differential Equations with Nonglobally Lipschitz Continuous Coefficients
Gao The solvability and numerical simulation for the elastic beam problems with nonlinear boundary conditions
Khan Classes of I‐Convergent Double Sequences over n‐Normed Spaces
He Common Fixed Points for Nonlinear Quasi‐Contractions of Ćirić Type
Kannan A note on some generalized closed sets in bitopological spaces associated to digraphs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141022

RJ01 Rejection of invention patent application after publication