CN104462269A - 一种异构数据库数据交换方法及系统 - Google Patents
一种异构数据库数据交换方法及系统 Download PDFInfo
- Publication number
- CN104462269A CN104462269A CN201410683417.2A CN201410683417A CN104462269A CN 104462269 A CN104462269 A CN 104462269A CN 201410683417 A CN201410683417 A CN 201410683417A CN 104462269 A CN104462269 A CN 104462269A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- type
- subtask
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本发明公开了一种异构数据库数据交换方法及系统，其中，所述方法包括：获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数N，N为正整数；根据配置文件中的子任务划分个数N将异构数据交换任务切分为N个子任务；每个子任务独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。本发明实现了集中统一的数据交换，避免了各厂家数据库工具差异带来的无法识别的问题，而且不需增加新的中间件或数据库，降低了成本，提高了性能，中间过程完全是多线程在内存中进行，即提高了速度又保证了数据安全。
Description
技术领域
本发明涉及数据库数据存储领域，具体涉及一种异构数据库数据交换方法及系统。
背景技术
在各个领域信息数据量越来越大的今天，对数据事务处理和分析处理是数据发展的重要方向。尤其是在数据分析的过程中，比如ETL(Extract-Transform-Load，萃取-转置-加载)经常因为各种数据库独特的优势和特性，应用不同的数据库。比如，关联能力强、稳定的传统关系型数据库，主从集群模式的海量并行处理结构MPP(Massive Parallel Processing，简称MPP)数据库，针对大数据量大文件、扩展性强的Hadoop数据库，针对非结构化的NoSQL(Structured Query Language，结构化查询语言)数据库。
目前主流的异构数据库的数据交换方式主要分为三大类：一是各个数据库自己的成熟的数据导入导出工具，但是只能支持一个或者几个特定的数据库，做不到统一交换，由于工具的差异带来的开销，效率差别非常大，而且如果新增数据库类型则开发量大，需要适配每个已存在数据库；二是运用中间件或者中间数据库技术进行交换，这种方法不仅需要加入新的中间件或数据库，在其中的性能损失也不可忽视；三是把文件当成中间介质，统一转换成文件再入库，这种方法在安全性和磁盘的性能方面都可能会有问题。
发明内容
本发明需要解决的技术问题是提供一种异构数据库数据交换方法及系统，实现了集中统一的数据交换，避免了各厂家数据库工具差异带来的无法识别的问题，而且不需增加新的中间件或数据库，降低了成本，提高了性能。
为了解决上述技术问题，本发明提供了一种异构数据库数据交换方法，包括：
获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数N，N为正整数；
根据配置文件中的子任务划分个数N将异构数据交换任务切分为N个子任务；
每个子任务独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
进一步地，每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
所述每个子任务独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
进一步地，所述方法还包括：
设置所述数据队列的缓冲容量，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
进一步地，所述方法还包括：
当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；
当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
为了解决上述技术问题，本发明还提供了一种异构数据库数据交换系统，包括：
获取模块，用于获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数；
切分模块，用于根据配置文件中的子任务划分个数将异构数据交换任务切分为一个或多个子任务；
所述一个或多个子任务，用于独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
进一步地，每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
每个子任务，用于独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
进一步地，所述每个子任务，还用于设置所述数据队列的缓冲容量，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
进一步地，所述每个子任务，还用于当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
与现有技术相比，本发明提供的异构数据库数据交换方法及系统，实现了集中统一的数据交换，避免了各厂家数据库工具差异带来的无法识别的问题，而且不需增加新的中间件或数据库，降低了成本，提高了性能，中间过程完全是多线程在内存中进行，即提高了速度又保证了数据安全。
附图说明
图1是实施例中异构数据库数据交换方法的流程图；
图2是一个应用示例中异构数据库数据交换方法的流程图；
图3是实施例中异构数据库数据交换系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例：
如图1所示，本实施例提供了一种异构数据库数据交换方法，包括以下步骤：
S101：获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数；
其中，所述配置文件为可扩展标记语言XML格式，作为一种优选的方式，其中，读写内容即为需要从源数据库中读取并写入目标数据库的数据信息，可以包括但不限于：源数据库的数据库表名、筛选where条件和筛选的列名；数据格式转换规则包括：如果源数据库与目标数据库类型不相同，则需要进行数据格式转换，其中，数据库类型是指不同的数据库产品的类型，比如oracle，mysql，sqlserver等等数据库，其中，数据格式转换包括但不限于：数据类型的转换和编码转换。
其中，数据类型的转换可以为日期转换，例如，MySQL日期字段分DATE和DATETIME两种，Oracle日期字段只有DATE，包含年月日时分秒信息，例如，mysql中date是YYYY-MM-DD形式，需要转换成oracle的date(‘YYYY-MM-DD‘)。而mysql的datetime格式需要转换成oracle的date(’YYYY-MM-DD HH24:MI:SS’)，数据类型还可以是比如MySQL的decimal、double数据类型转换成oracle的float(24)类型；其中，编码转换可以例如为GBK编码转为UTF8编码。
源数据库信息包括：源数据库IP地址、源数据库端口、源数据库名称、源数据库用户名密码以及源数据库编码方式；目标数据库信息包括：目标数据库IP地址、目标数据库端口、目标数据库名称、目标数据库用户名密码以及目标数据库编码方式。
S102：根据配置文件中的子任务划分个数将异构数据交换任务切分为一个或多个子任务；
其中，子任务划分个数为N个，则将异构数据交换任务切分为N个子任务，N个子任务并行执行数据读写操作。
S103：每个子任务独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
所述每个子任务独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
所述数据队列按照先进先出FIFO排序，将读取的数据从数据队列尾部放入，从头部读出写入目标数据库，读线程和写线程并行操作。
其中，所述方法还包括：
设置所述数据队列的缓冲容量，例如为64个数组，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
作为一种优选的方式，所述方法还包括：
当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；
当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
本实施例提供了与源数据库类型对应的读取接口和与目标数据库类型对应的写入接口，其中，读取接口和写入接口仅需实现对源数据库和目标数据库的访问，开发者可以在短时间内开发一个新的读取接口或写入接口以支持新的源数据库或目标数据库。
本实施例中，数据队列的读取操作是基于内存的，因此，数据读写过程全内存操作，不读写磁盘。比如，需要将服务器A上的数据库同步到服务器C上面，本系统安装在服务器B上面。那么数据是从服务器A的磁盘上读取到服务器A的内存中，直接通过网络传输到服务器C的内存中，再写进C的磁盘的数据库。而不是把A的数据存成A磁盘中的文件再传输到C磁盘上面。读写磁盘的速度较快，操作效率高。
在一个应用示例中，以Oracle向Hive的同步为例，如图2所示，异构数据库数据交换方法，包括以下步骤：
S201：安装oracle客户端，Hadoop的Hive客户端；
安装在本地或者远端均可。
S202：安装本系统，并且安装(若不在支持列表中则需要开发)Oracle读取接口和Hive的写入接口；
S203：读取或修改配置文件；
其中，配置文件包括以下内容：源数据库和目标数据库的数据库类型、主机名/IP、端口号、数据库名、用户名、密码以及需要同步的表名(根据用户需要进行修改)、需要同步的表的列名(根据用户需要进行修改)、数据库编码方式、子任务划分个数N。
S204：执行同步任务，完成后即可在目标数据库查询到同步的表。
执行同步任务，即将同步任务切分为N个子任务，N个子任务并行执行数据读写操作，如步骤S103所述，这里不再赘述。
此外，如图3所示，本实施例还提供了一种异构数据库数据交换系统，包括：
获取模块，用于获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数；
切分模块，用于根据配置文件中的子任务划分个数将异构数据交换任务切分为一个或多个子任务；
所述一个或多个子任务，用于独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
其中，每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
其中，每个子任务，用于独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
其中，所述每个子任务，还用于设置所述数据队列的缓冲容量，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
此外，所述每个子任务，还用于当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
从上述实施例可以看出，相对于现有技术，上述实施例中提供的异构数据库数据交换方法及系统，实现了集中统一的数据交换，避免了各厂家数据库工具差异带来的无法识别的问题，而且不需增加新的中间件或数据库，降低了成本，提高了性能，中间过程完全是多线程在内存中进行，即提高了速度又保证了数据安全。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并非用于限定本发明的保护范围。根据本发明的发明内容，还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种异构数据库数据交换方法，包括：
获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数N，N为正整数；
根据配置文件中的子任务划分个数N将异构数据交换任务切分为N个子任务；
每个子任务独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
2.如权利要求1所述的方法，其特征在于：
每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
所述每个子任务独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
3.如权利要求2所述的方法，其特征在于：所述方法还包括：
设置所述数据队列的缓冲容量，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
4.如权利要求1所述的方法，其特征在于：所述方法还包括：
当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；
当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
5.一种异构数据库数据交换系统，包括：
获取模块，用于获取配置文件，所述配置文件包括：读写内容、数据格式转换规则、源数据库信息、目标数据库信息和子任务划分个数；
切分模块，用于根据配置文件中的子任务划分个数将异构数据交换任务切分为一个或多个子任务；
所述一个或多个子任务，用于独立地根据所述配置文件从源数据库中读取数据并写入目标数据库中。
6.如权利要求5所述的系统，其特征在于：
每个子任务包括读线程和写线程；所述读线程包括一个或多个与源数据库类型对应的读取接口，所述写线程包括一个或多个与目标数据库类型对应的写入接口；所述源数据库信息包括源数据库类型，所述目标数据库信息包括目标数据库类型；
每个子任务，用于独立地根据所述配置文件读取源数据库中的数据并写入目标数据库，包括：
所述读线程根据所述配置文件通过与源数据库类型对应的读取接口从源数据库读取数据，并将读取的数据进行数据格式转换后放入缓冲区维护的数据队列的尾部；
所述写线程从所述数据队列的头部读出数据，并通过与目标数据库类型对应的写入接口写入所述目标数据库。
7.如权利要求6所述的系统，其特征在于：
所述每个子任务，还用于设置所述数据队列的缓冲容量，如果在所述数据队列放入数据时，所述数据队列的容量达到所述缓冲容量，则阻塞所述读进程；如果所述数据队列无数据则阻塞所述写进程。
8.如权利要求5所述的系统，其特征在于：
所述每个子任务，还用于当源数据库类型为新的类型时，创建与所述源数据库类型对应的读取接口；当目标数据库类型为新的类型时，创建与所述目标数据库的类型对应的写入接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410683417.2A CN104462269A (zh) | 2014-11-24 | 2014-11-24 | 一种异构数据库数据交换方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410683417.2A CN104462269A (zh) | 2014-11-24 | 2014-11-24 | 一种异构数据库数据交换方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104462269A true CN104462269A (zh) | 2015-03-25 |
Family
ID=52908305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410683417.2A Pending CN104462269A (zh) | 2014-11-24 | 2014-11-24 | 一种异构数据库数据交换方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104462269A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183901A (zh) * | 2015-09-30 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种数据查询引擎读取数据库表的方法及装置 |
| CN105740175A (zh) * | 2016-01-25 | 2016-07-06 | 安徽立卓智能电网科技有限公司 | 一种任务式接口采集数据的方法 |
| CN106156278A (zh) * | 2016-06-24 | 2016-11-23 | 努比亚技术有限公司 | 一种数据库数据读写方法和装置 |
| CN106326466A (zh) * | 2016-08-31 | 2017-01-11 | 天津南大通用数据技术股份有限公司 | 一种异构表间数据交换方法及装置 |
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
| CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
| CN107122428A (zh) * | 2017-04-12 | 2017-09-01 | 南京南瑞集团公司 | 一种数据库异构数据复制格式转换方法 |
| CN107203645A (zh) * | 2017-06-27 | 2017-09-26 | 浪潮软件集团有限公司 | 一种并发查询多个数据库的方法及Eclipse平台 |
| CN107291794A (zh) * | 2017-04-26 | 2017-10-24 | 杭州沃趣科技股份有限公司 | 一种提高数据库性能的方法 |
| CN107844369A (zh) * | 2017-12-04 | 2018-03-27 | 科大国创软件股份有限公司 | 一种基于任务调度实现大数据传输任务切分的方法 |
| CN108694199A (zh) * | 2017-04-10 | 2018-10-23 | 北京京东尚科信息技术有限公司 | 数据同步装置、方法、存储介质及电子设备 |
| CN109495581A (zh) * | 2018-12-13 | 2019-03-19 | 爱普（福建）科技有限公司 | 一种多异构控制站的通信方法和装置 |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN110300188A (zh) * | 2019-07-25 | 2019-10-01 | 中国工商银行股份有限公司 | 数据传输系统、方法和设备 |
| CN110471977A (zh) * | 2019-08-22 | 2019-11-19 | 杭州数梦工场科技有限公司 | 一种数据交换方法、装置、设备、介质 |
| CN111159264A (zh) * | 2019-11-28 | 2020-05-15 | 京东数字科技控股有限公司 | 一种数据处理方法及装置 |
| CN111708761A (zh) * | 2020-06-18 | 2020-09-25 | 浪潮云信息技术股份公司 | 一种分区自治的分布式异构数据库管理系统及方法 |
| CN112291312A (zh) * | 2020-10-15 | 2021-01-29 | 杭州数梦工场科技有限公司 | Etl数据同步方法及装置、电子设备、存储介质 |
| CN113553329A (zh) * | 2021-07-22 | 2021-10-26 | 北京金山云网络技术有限公司 | 数据集成系统和方法 |
| CN115391459A (zh) * | 2022-08-24 | 2022-11-25 | 南京领行科技股份有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN115658978A (zh) * | 2022-11-14 | 2023-01-31 | 杭州欧若数网科技有限公司 | 图数据库系统多源数据导入方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090019103A1 (en) * | 2007-07-11 | 2009-01-15 | James Joseph Tommaney | Method and system for processing a database query |
| CN102999537A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据迁移系统和方法 |
-
2014
- 2014-11-24 CN CN201410683417.2A patent/CN104462269A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090019103A1 (en) * | 2007-07-11 | 2009-01-15 | James Joseph Tommaney | Method and system for processing a database query |
| CN102999537A (zh) * | 2011-09-19 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据迁移系统和方法 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
| CN105183901A (zh) * | 2015-09-30 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种数据查询引擎读取数据库表的方法及装置 |
| CN105740175B (zh) * | 2016-01-25 | 2018-10-09 | 安徽立卓智能电网科技有限公司 | 一种任务式接口采集数据的方法 |
| CN105740175A (zh) * | 2016-01-25 | 2016-07-06 | 安徽立卓智能电网科技有限公司 | 一种任务式接口采集数据的方法 |
| CN106156278A (zh) * | 2016-06-24 | 2016-11-23 | 努比亚技术有限公司 | 一种数据库数据读写方法和装置 |
| CN106156278B (zh) * | 2016-06-24 | 2020-07-17 | 安徽三禾一信息科技有限公司 | 一种数据库数据读写方法和装置 |
| CN106326466A (zh) * | 2016-08-31 | 2017-01-11 | 天津南大通用数据技术股份有限公司 | 一种异构表间数据交换方法及装置 |
| CN106951536A (zh) * | 2017-03-22 | 2017-07-14 | 努比亚技术有限公司 | 数据转化方法及系统 |
| CN108694199A (zh) * | 2017-04-10 | 2018-10-23 | 北京京东尚科信息技术有限公司 | 数据同步装置、方法、存储介质及电子设备 |
| CN107122428A (zh) * | 2017-04-12 | 2017-09-01 | 南京南瑞集团公司 | 一种数据库异构数据复制格式转换方法 |
| CN107291794A (zh) * | 2017-04-26 | 2017-10-24 | 杭州沃趣科技股份有限公司 | 一种提高数据库性能的方法 |
| CN107203645A (zh) * | 2017-06-27 | 2017-09-26 | 浪潮软件集团有限公司 | 一种并发查询多个数据库的方法及Eclipse平台 |
| CN107844369A (zh) * | 2017-12-04 | 2018-03-27 | 科大国创软件股份有限公司 | 一种基于任务调度实现大数据传输任务切分的方法 |
| CN110196880A (zh) * | 2018-06-08 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN110196880B (zh) * | 2018-06-08 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 异构数据库数据同步方法和装置、存储介质及电子装置 |
| CN109495581A (zh) * | 2018-12-13 | 2019-03-19 | 爱普（福建）科技有限公司 | 一种多异构控制站的通信方法和装置 |
| CN110300188A (zh) * | 2019-07-25 | 2019-10-01 | 中国工商银行股份有限公司 | 数据传输系统、方法和设备 |
| CN110471977A (zh) * | 2019-08-22 | 2019-11-19 | 杭州数梦工场科技有限公司 | 一种数据交换方法、装置、设备、介质 |
| CN110471977B (zh) * | 2019-08-22 | 2022-04-22 | 杭州数梦工场科技有限公司 | 一种数据交换方法、装置、设备、介质 |
| CN111159264A (zh) * | 2019-11-28 | 2020-05-15 | 京东数字科技控股有限公司 | 一种数据处理方法及装置 |
| CN111708761A (zh) * | 2020-06-18 | 2020-09-25 | 浪潮云信息技术股份公司 | 一种分区自治的分布式异构数据库管理系统及方法 |
| CN112291312A (zh) * | 2020-10-15 | 2021-01-29 | 杭州数梦工场科技有限公司 | Etl数据同步方法及装置、电子设备、存储介质 |
| CN112291312B (zh) * | 2020-10-15 | 2022-07-01 | 杭州数梦工场科技有限公司 | Etl数据同步方法及装置、电子设备、存储介质 |
| CN113553329A (zh) * | 2021-07-22 | 2021-10-26 | 北京金山云网络技术有限公司 | 数据集成系统和方法 |
| CN115391459A (zh) * | 2022-08-24 | 2022-11-25 | 南京领行科技股份有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN115658978A (zh) * | 2022-11-14 | 2023-01-31 | 杭州欧若数网科技有限公司 | 图数据库系统多源数据导入方法和装置 |
| CN115658978B (zh) * | 2022-11-14 | 2023-04-07 | 杭州欧若数网科技有限公司 | 图数据库系统多源数据导入方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104462269A (zh) | 一种异构数据库数据交换方法及系统 | |
| US11797558B2 (en) | Generating data transformation workflows | |
| US8930413B2 (en) | Dynamic structure for a multi-tenant database | |
| US9336288B2 (en) | Workflow controller compatibility | |
| US9081837B2 (en) | Scoped database connections | |
| US9424271B2 (en) | Atomic incremental load for map-reduce systems on append-only file systems | |
| CA2997061C (en) | Method and system for parallelization of ingestion of large data sets | |
| CN107577420B (zh) | 文件处理方法和装置、服务器 | |
| CN102999537A (zh) | 一种数据迁移系统和方法 | |
| US11010401B2 (en) | Efficient snapshot generation of data tables | |
| CN111078702B (zh) | 一种sql语句分类管理及统一查询方法和装置 | |
| CN103177059A (zh) | 用于数据库计算引擎的分离处理路径 | |
| CN109145055B (zh) | 一种基于Flink的数据同步方法和系统 | |
| US8577848B2 (en) | Converting two-tier resource mapping to one-tier resource mapping | |
| US20100251227A1 (en) | Binary resource format and compiler | |
| US9384202B1 (en) | Gateway module to access different types of databases | |
| CN105205154B (zh) | 数据迁移方法以及装置 | |
| CN112380180A (zh) | 数据同步处理方法、装置、设备及存储介质 | |
| US11615076B2 (en) | Monolith database to distributed database transformation | |
| US10592153B1 (en) | Redistributing a data set amongst partitions according to a secondary hashing scheme | |
| CN106557307A (zh) | 业务数据的处理方法及处理系统 | |
| Zou et al. | From a stream of relational queries to distributed stream processing | |
| US20150356138A1 (en) | Datastore mechanism for managing out-of-memory data | |
| US10558640B2 (en) | Dynamically adding custom data definition language syntax to a database management system | |
| EP2972666B1 (en) | Visualization interface for information object system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150325 |